DE102020200898A1

DE102020200898A1 - Object recognition in disparity images

Info

Publication number: DE102020200898A1
Application number: DE102020200898.1A
Authority: DE
Inventors: Gabriela Jager
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2020-01-27
Filing date: 2020-01-27
Publication date: 2021-07-29

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen eines Objekts (107); wobei ein Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild des Objekts (107) erstellt wird. Das Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild wird einem künstlichen neuronalen Netz als Eingabe übergeben.The invention relates to a method for recognizing an object (107); wherein a disparity image, V-disparity image and / or H-disparity image of the object (107) is created. The disparity image, V-disparity image and / or H-disparity image is transferred to an artificial neural network as input.

Description

Die Erfindung betrifft ein Verfahren nach dem Oberbegriff von Anspruch 1 und eine Anordnung nach dem unabhängigen Vorrichtungsanspruch.The invention relates to a method according to the preamble of claim 1 and an arrangement according to the independent device claim.

Gemäß der Druckschrift US 2018 150 704 A2 lassen sich mittels eines neuronalen Netzes Personen und Fahrzeuge erkennen. Dabei wird eine mittels einer Stereo-Kamera aufgenommene Videosequenz in eine aus Disparitätsbildern bestehende Videosequenz umgewandelt. Histogramme werden verwendet, um Bereiche in den Disparitätsbildern zu identifizieren, in denen mittels eines künstlichen neuronalen Netzes nach zu erkennenden Objekten gesucht werden soll.According to the publication US 2018 150 704 A2 people and vehicles can be recognized by means of a neural network. A video sequence recorded by means of a stereo camera is converted into a video sequence consisting of disparity images. Histograms are used to identify areas in the disparity images in which an artificial neural network is to be used to search for objects to be recognized.

Der Erfindung liegt die Aufgabe zugrunde, die Erkennung eines Objekts zu verbessern. Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1 und eine Anordnung nach dem unabhängigen Vorrichtungsanspruch. Bevorzugte Weiterbildungen sind in den Unteransprüchen enthalten und ergeben sich aus nachfolgender Beschreibung.The invention is based on the object of improving the detection of an object. This object is achieved by a method according to claim 1 and an arrangement according to the independent device claim. Preferred developments are contained in the subclaims and result from the following description.

Bei dem Objekt handelt es sich beispielsweise um eine Palette. Dies ist eine normierte Tragevorrichtung für zu transportierende und zu lagernde Güter. Insbesondere kann es sich um eine Europalette handeln.The object is, for example, a palette. This is a standardized carrying device for goods to be transported and stored. In particular, it can be a Euro pallet.

Vorzugsweis ist das erfindungsgemäße Verfahren ein computerimplementiertes Verfahren. Ein Computer wird dabei durch Ausführung entsprechender Software gesteuert, das erfindungsgemäße Verfahren auszuführen.The method according to the invention is preferably a computer-implemented method. A computer is controlled by executing appropriate software to execute the method according to the invention.

Das erfindungsgemäße Verfahren sieht vor, dass ein Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild des zu erkennenden Objekts erstellt wird. Dies geschieht bevorzugt unter Verwendung mindestens zweier Kameras, die jeweils ein Bild des Objekts aufnehmen. In den mittels der Kameras aufgenommenen Bildern ist das Objekt bzw. ein Abbild des Objekts enthalten. Die Aufnahme der Bilder durch die Kameras erfolgt gleichzeitig.The method according to the invention provides that a disparity image, V-disparity image and / or H-disparity image of the object to be recognized is created. This is preferably done using at least two cameras, each of which takes an image of the object. The images recorded by the cameras contain the object or an image of the object. The cameras record the images at the same time.

Bei den Kameras handelt es vorzugsweise um zweidimensionale Kameras. Diese zeichnen sich dadurch aus, dass die aufgenommenen Bilder zweidimensional sind, das heißt, sich in genau zwei Raumrichtungen erstrecken.The cameras are preferably two-dimensional cameras. These are characterized by the fact that the recorded images are two-dimensional, that is, they extend in exactly two spatial directions.

Aus den aufgenommenen Bildern wird das Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild erstellt. Geeignete Verfahrensschritte sind dem Fachmann aus dem Stand der Technik bekannt. Ebenso sind dem Fachmann Disparitätsbilder, V-Disparitätsbilder und/oder H-Disparitätsbilder aus dem Stand der Technik bekannt.The disparity image, V-disparity image and / or H-disparity image is created from the recorded images. Suitable process steps are known to the person skilled in the art from the prior art. Likewise, disparity images, V-disparity images and / or H-disparity images are known from the prior art to the person skilled in the art.

Erfindungsgemäß wird mindestens ein Teil des Disparitätsbilds, V-Disparitätsbilds und/oder H-Disparitätsbilds einem künstlichen, bevorzugt computerimplementierten neuronalen Netz als Eingabe übergeben. Vorzugsweise erfolgt eine Übergabe des gesamten Disparitätsbilds, V-Disparitätsbilds und/oder H-Disparitätsbilds. Das Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild wird dem künstlichen neuronalen Netz bevorzugt direkt übergeben. Dies bedeutet, dass das Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild vor der Übergabe keine nicht weiterbearbeitet oder anderweitig geändert wird. Bei Bedarf kann eine Weiterbearbeitung stattfinden, etwa zur Rauschunterdrückung. Kleine Defekte können durch eine Glättung des Bildes durch Anwendung geeigneter Filter reduziert werden. Möglich ist darüber hinaus eine Kompression, d.h. Reduzierung der Bildinformationen. Dies erfolgt beispielsweise durch Unterabtastung, Interpolation oder Erstellung von Bild-Hierarchien von fein nach grob.According to the invention, at least part of the disparity image, V-disparity image and / or H-disparity image is transferred as input to an artificial, preferably computer-implemented, neural network. The entire disparity image, V-disparity image and / or H-disparity image are preferably transferred. The disparity image, V-disparity image and / or H-disparity image is preferably transferred directly to the artificial neural network. This means that the disparity image, V-disparity image and / or H-disparity image will not be further processed or otherwise changed before the transfer. If necessary, further processing can take place, for example for noise suppression. Small defects can be reduced by smoothing the image by using suitable filters. Compression, i.e. reduction of the image information, is also possible. This is done, for example, by subsampling, interpolation or creating image hierarchies from fine to coarse.

Es hat sich gezeigt, dass das Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild für die Erkennung einfacher geometrischer Objekte, wie etwa Paletten, besonders geeignet ist. Zugleich verringert sich durch den Entfall von Zwischenschritten zur Weiterverarbeitung des Disparitätsbilds, V-Disparitätsbilds und/oder H-Disparitätsbilds der erforderliche Rechenaufwand.It has been shown that the disparity image, V-disparity image and / or H-disparity image is particularly suitable for recognizing simple geometric objects such as pallets. At the same time, the elimination of intermediate steps for further processing of the disparity image, V-disparity image and / or H-disparity image reduces the computational effort required.

Das neuronale Netz ist in einer bevorzugten Weiterbildung ausgebildet, das Objekt zu erkennen. Es handelt sich also um ein neuronales Netz, das entsprechend trainiert wurde. Zum Trainieren werden positive und negative Trainingsbilder verwendet. In a preferred development, the neural network is designed to recognize the object. So it is a neural network that has been trained accordingly. Positive and negative training images are used for training.

Bei den Trainingsbildern handelt es sich um Disparitätsbilder, V-Disparitätsbilder und/oder H-Disparitätsbilder.The training images are disparity images, V-disparity images and / or H-disparity images.

Die positiven Trainingsbilder sind aus Kamerabildern erstellt, die das zu erkennende Objekt oder ein gleichartiges Objekt enthalten. Insbesondere können unterschiedliche Ansichten der Objekte und unterschiedliche Umgebungen der Objekte in den Bildern enthalten sein. Handelt es sich bei dem zu erkennenden Objekt um eine Palette, sind vorzugsweise unterschiedliche Palettenarten mit unterschiedlichen Ladungen enthalten.The positive training images are created from camera images that contain the object to be recognized or a similar object. In particular, different views of the objects and different surroundings of the objects can be contained in the images. If the object to be recognized is a pallet, it preferably contains different types of pallets with different loads.

Die Bereiche in den positiven Trainingsbildern, die dem zu erkennenden Objekt entsprechen, werden gekennzeichnet, etwa mittels einer Umrandung. Die Umrandung gibt die Position des zu erkennenden Objekts an. Darüber hinaus können weitere Merkmale des zu erkennenden Objekts, wie beispielsweise die Art der Ladung, der Palettentyp oder die Position zur Kamera als Kennzeichnung vermerkt werden.The areas in the positive training images that correspond to the object to be recognized are marked, for example by means of a border. The border indicates the position of the object to be recognized. In addition, other features of the object to be recognized, such as the type of load, the pallet type or the position in relation to the camera, can be noted as identification.

Negative Trainingsbilder zeichnen sich dadurch aus, dass sie das zu erkennende Objekt nicht enthalten. Negative Trainingsbilder können etwa aus Kamerabildern einer Fertigungshalle erstellt werden. Diese Bilder enthalten beispielsweise Regale, Kisten oder Container, jedoch keine Paletten.Negative training images are characterized by the fact that they do not contain the object to be recognized. Negative training images can be created from camera images from a production hall, for example. These images contain shelves, boxes or containers, for example, but no pallets.

Die erfindungsgemäße Anordnung ist ausgebildet, das erfindungsgemäße Verfahren oder eine bevorzugte Weiterbildung auszuführen. Dazu umfasst die Anordnung zwei Kameras und mindestens eine Rechenvorrichtung.The arrangement according to the invention is designed to carry out the method according to the invention or a preferred development. For this purpose, the arrangement comprises two cameras and at least one computing device.

Die Anordnung kann etwa Teil eines Flurförderzeugs sein. In dem Fall bildet mindestens ein Steuergerät des Flurförderzeugs die mindestens eine Rechenvorrichtung.The arrangement can be part of an industrial truck. In this case, at least one control device of the industrial truck forms the at least one computing device.

Die Rechenvorrichtung implementiert das oben genannte künstliche neuronale Netz. Dies bedeutet, dass die Rechenvorrichtung sich bei Ausführung eines entsprechenden Computerprogramms als neuronales Netz verhält.The computing device implements the above-mentioned artificial neural network. This means that the computing device behaves as a neural network when executing a corresponding computer program.

Weiterhin ist die Rechenvorrichtung ausgebildet, aus zwei von den Kameras gleichzeitig aufgenommenen Bildern, in denen das zu erkennende Objekt enthalten ist, die also ein Abbild des zu erkennenden Objekts enthalten, ein Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild zu erstellen. Das erstellte Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild übergibt die Rechenvorrichtung ohne Weiterverarbeitung oder sonstige Änderung dem neuronalen Netz als Eingabe.Furthermore, the computing device is designed to create a disparity image, a V disparity image and / or an H disparity image from two images recorded simultaneously by the cameras, which contain the object to be recognized, that is to say contain an image of the object to be recognized. The computation device transfers the created disparity image, V-disparity image and / or H-disparity image to the neural network as input without further processing or any other change.

Das von der Rechenvorrichtung implementierte neuronale Netz ist bevorzugt weitergebildet, das Objekt zu erkennen. Dazu ist es, wie oben beschrieben, geeignet trainiert.The neural network implemented by the computing device is preferably further developed to recognize the object. For this purpose, it is suitably trained as described above.

Ein bevorzugtes Ausführungsbeispiel der Erfindung ist in 1 dargestellt. Im Einzelnen zeigt:

1 einen Gabelstapler mit Palettenerkennung.

A preferred embodiment of the invention is shown in 1 shown. In detail shows:

1 a forklift with pallet detection.

Der in 1 dargestellte Gabelstapler 101 weist zwei Kameras 103 und ein Steuergerät 105 auf. Die Kameras 103 sind daten- und signalleitend mit dem Steuergerät 105 verbunden. Auf diese Weise kann das Steuergerät 105 die Kameras 103 auslösen, sodass diese gleichzeitig ein Bild aufnehmen.The in 1 illustrated forklift 101 has two cameras 103 and a control unit 105 on. The cameras 103 conduct data and signals with the control unit 105 connected. In this way the control unit can 105 the cameras 103 trigger so that they take a picture at the same time.

Die von den Kameras 103 aufgenommenen Bilder werden zu dem Steuergerät 105 übertragen. Das Steuergerät berechnet daraus ein Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild.The ones from the cameras 103 Recorded images are sent to the control unit 105 transfer. The control device uses this to calculate a disparity image, a V disparity image and / or an H disparity image.

Zur Verarbeitung der Bilder implementiert das Steuergerät 105 ein künstliches neuronales Netz. Dieses wurde so trainiert, dass es eine von den Kameras 103 aufgenommene Palette 107 in dem Disparitätsbild, V-Disparitätsbild und/oder H-Disparitätsbild erkennt.The control unit implements the processing of the images 105 an artificial neural network. This was trained to be one of the cameras 103 captured pallet 107 detects in the disparity image, V-disparity image and / or H-disparity image.

BezugszeichenlisteList of reference symbols

101101: GabelstaplerForklift
103103: Kameracamera
105105: SteuergerätControl unit
107107: Palettepalette

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2018150704 A2 [0002]

Claims

Method for recognizing an object (107); wherein a disparity image, V-disparity image and / or H-disparity image of the object (107) is created; characterized in that at least a part of the disparity image, V-disparity image and / or H-disparity image is transferred as input to an artificial neural network.

Procedure according to Claim 1 ; characterized in that the neural network is designed to recognize the object (107).

Arrangement with two cameras and at least one computing device; wherein the computing device implements an artificial neural network; wherein the computing device is designed to create a disparity image, V-disparity image and / or H-disparity image from two images recorded simultaneously by the cameras, in which an object (107) is contained, and to transfer this to the neural network as input.

Arrangement according to the preceding claim; characterized in that the neural network is designed to recognize the object (107).