DE102016210056A1

DE102016210056A1 - Camera arrangement for determining the optical flow, driver assistance system and surveillance camera with the camera arrangement

Info

Publication number: DE102016210056A1
Application number: DE102016210056.4A
Authority: DE
Inventors: Gregor Blott; Damian Koesters
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-06-08
Filing date: 2016-06-08
Publication date: 2017-12-14

Abstract

Es wird eine Kameraanordnung 1 zur Bestimmung des optischen Flusses vorgeschlagen, mit einem flächigen optischen Sensor 2 zur Aufnahme eines ersten Bildes 8a zu einem Zeitpunkt t1 und mindestens eines zweiten Bildes 8b zu einem Zeitpunkt t2 in einem Zeitabstand dt1, wobei das erste Bild 8a einen ersten Aufnahmebereich 9a abbildet und das mindestens zweite Bild 8b einen zweiten Aufnahmebereich 9b abbildet, wobei der erste Aufnahmebereich 9a und der zweite Aufnahmebereich 9b einen gemeinsamen Überlappbereich 10 aufweisen, mit einem flächigen Dynamic-Vision-Sensor 3 zur Aufnahme eines Erfassungsbereichs 11, wobei der Erfassungsbereich 11 eine Schnittmenge 12 mit dem Überlappbereich 10 bildet, wobei der Dynamic-Vision-Sensor 3 eine Zellenmatrix mit Zellen umfasst und ausgebildet ist, Intensitätsänderungen in Zellen der Zellenmatrix von einem Zeitpunkt tn1 zu einem Zeitpunkt tn2 als Intensitätsdaten zu bestimmen, wobei t1 ≤ tn1 < tn2 ≤ t2 und wobei tn2 – tn1 = dt2 und dt2 < dt1, mit einem Schätzmodul 4, wobei das Schätzmodul 4 ausgebildet ist, auf Basis der Intensitätsdaten den optischen Fluss bezüglich des ersten Bildes 8a und des zweiten Bildes 8b als eine Flusshypothese abzuschätzen, mit einem Flussbestimmungsmodul 5 zur Bestimmung des optischen Flusses auf Basis der Flusshypothese sowie dem ersten Bild 8a und dem zweiten Bild 8b.A camera arrangement 1 for determining the optical flux is proposed, comprising a two-dimensional optical sensor 2 for capturing a first image 8a at a time t1 and at least one second image 8b at a time t2 at a time interval dt1, the first image 8a a first Imaging area 9a images and the at least second image 8b images a second receiving area 9b, wherein the first receiving area 9a and the second receiving area 9b have a common overlap area 10, with a two-dimensional dynamic vision sensor 3 for receiving a detection area 11, wherein the detection area 11th forms an intersection 12 with the overlap region 10, wherein the dynamic vision sensor 3 comprises a cell matrix with cells and is adapted to determine intensity changes in cells of the cell matrix from a time tn1 to a time tn2 as intensity data, where t1 ≦ tn1 <tn2 ≤ t2 and where tn2 - tn1 = dt2 and dt2 <dt1 , with an estimation module 4, wherein the estimation module 4 is designed to estimate the optical flow with respect to the first image 8a and the second image 8b as a flow hypothesis on the basis of the intensity data, with a flow determination module 5 for determining the optical flow on the basis of the flow hypothesis and first image 8a and the second image 8b.

Description

Stand der TechnikState of the art

Die Erfindung betrifft eine Kameraanordnung zur Bestimmung des optischen Flusses, mit einem flächigen optischen Sensor zur Aufnahme eines ersten Bildes zu einem Zeitpunkt t1 und mindestens eines zweiten Bildes zu einem Zeitpunkt t2 in einem Zeitabstand dt1, wobei das erste Bild einen ersten Aufnahmebereich abbildet und das mindestens zweite Bild einen zweiten Aufnahmebereich abbildet, wobei der erste Aufnahmebereich und der zweite Aufnahmebereich einen gemeinsamen Überlappbereich aufweisen, mit einem flächigen Dynamic-Vision-Sensor zur Aufnahme eines Erfassungsbereiches, wobei der Erfassungsbereich eine Schnittmenge mit dem Überlappbereich bildet, wobei der Dynamic-Vision-Sensor eine Zellenmatrix mit Zellen umfasst und ausgebildet ist, Intensitätsänderungen in Zellen der Zellenmatrix von einem Zeitpunkt tn1 zu einem Zeitpunkt tn2 zu bestimmen, wobei t1 ≤ tn1 < tn2 ≤ t2 und wobei tn2 – tn1 = dt2 und dt2 < dt1, mit einem Schätzmodul, wobei das Schätzmodul ausgebildet ist, auf Basis der Intensitätsdaten den optischen Fluss bezüglich des ersten und des zweiten Bildes als Flusshypothese abzuschätzen, mit einem Flussbestimmungsmodul zur Bestimmung des optischen Flusses auf Basis der Flusshypothese sowie dem ersten Bild und dem zweiten Bild.The invention relates to a camera arrangement for determining the optical flow, comprising a planar optical sensor for recording a first image at a time t1 and at least one second image at a time t2 at a time interval dt1, wherein the first image images a first recording area and the at least second image forms a second recording area, wherein the first recording area and the second recording area have a common overlapping area, with a two-dimensional dynamic vision sensor for recording a detection area, wherein the detection area forms an intersection with the overlap area, wherein the dynamic vision sensor comprises a cell matrix with cells and is adapted to determine intensity changes in cells of the cell matrix from a time tn1 to a time tn2, wherein t1 ≤ tn1 <tn2 ≤ t2 and where tn2 - tn1 = dt2 and dt2 <dt1, with an estimation module the estimation module is designed, a On the basis of the intensity data, estimating the optical flow with respect to the first and the second image as a flow hypothesis, with a flow determination module for determining the optical flow on the basis of the flow hypothesis and the first image and the second image.

In vielen Disziplinen der Bildverarbeitung und Computer-Vision wird auf den optischen Fluss zurückgegriffen. Hierbei wird aus zwei zeitlich beabstandeten Bildern ein Vektorfeld berechnet, welches die Bewegung korrespondierender Objektpunkte und/oder Pixel im Bild beschreibt. Insbesondere wird auf den optischen Fluss in Videoüberwachungssystemen zurückgegriffen, wie beispielsweise in der Überwachung von öffentlichen Plätzen, Bahnhöfen, Straßen oder Gebäuden. In many disciplines of image processing and computer vision, the optical flow is used. Here, a vector field is calculated from two temporally spaced images, which describes the movement of corresponding object points and / or pixels in the image. In particular, the optical flow is used in video surveillance systems, such as the surveillance of public places, railway stations, streets or buildings.

Die Druckschrift DE 10 2007 031 302 A1 , die wohl den nächstkommenden Stand der Technik bildet, offenbart eine Vorrichtung zur Erkennung und/oder Klassifizierung von einem Bewegungsmuster in einer Bildsequenz von einer Überwachungsszene mit einer Vielzahl von bewegten Objekten mit einer Schnittstelle zur Einspielung der Bildsequenz, mit einem Berechnungsmodul zur Bestimmung eines optischen Flussfeldes in der Überwachungsszene durch Auswertung der Bildsequenz und mit einem Erkennungsmodul, welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld mit einem oder mehreren Mustern zu vergleichen, um das Bewegungsmuster in der Bildsequenz zu erkennen. The publication DE 10 2007 031 302 A1 , which is probably the closest prior art, discloses a device for detecting and / or classifying a movement pattern in an image sequence from a surveillance scene with a plurality of moving objects with an interface for recording the image sequence, with a calculation module for determining an optical flow field in the surveillance scene by evaluating the image sequence and with a recognition module, which is designed programmatically and / or circuitry, to compare the optical flow field with one or more patterns to detect the movement pattern in the image sequence.

Offenbarung der ErfindungDisclosure of the invention

Im Rahmen der Erfindung wird eine Kameraanordnung mit den Merkmalen des Anspruchs 1 vorgeschlagen, ein Fahrassistenzsystem mit den Merkmalen des Anspruchs 9 und eine Überwachungskamera mit den Merkmalen des Anspruchs 10. Bevorzugte und/oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren. In the context of the invention, a camera arrangement with the features of claim 1 is proposed, a driver assistance system with the features of claim 9 and a surveillance camera with the features of claim 10. Preferred and / or advantageous embodiments of the invention will become apparent from the dependent claims, the following description and the attached figures.

Die vorgeschlagene Kameraanordnung ist zur Bestimmung des optischen Flusses ausgebildet. Insbesondere wird unter dem optischen Fluss die scheinbare Bewegung eines Helligkeitsmusters in einem Bild verstanden. Vorzugsweise ist der optische Fluss einer Bildsequenz, wobei die Bildsequenz mehrere Einzelbilder umfasst, das Vektorfeld der in eine Bildebene projizierten Geschwindigkeit von sichtbaren Punkten eines Objektraumes im Bezugssystem der Abbildungsoptik. Beispielsweise wird der lokale optische Fluss auf Basis von sich bewegenden Mustern im Bild in einer mehr oder weniger großen Umgebung eines betrachteten Bildpunktes geschätzt. Die Kameraanordnung zur Bestimmung des optischen Flusses kann ferner eingesetzt werden in der Detektion von bewegten Objekten, der Detektion von sich unabhängig bewegender Objekte, der Objektverfolgung, der Robotik oder der Videobearbeitung und Videoverarbeitung. The proposed camera arrangement is designed to determine the optical flow. In particular, optical flow is understood to mean the apparent motion of a brightness pattern in an image. Preferably, the optical flow of an image sequence, wherein the image sequence comprises a plurality of individual images, is the vector field of the velocity of visible points of an object space projected into an image plane in the reference system of the imaging optics. For example, the local optical flow based on moving patterns in the image is estimated in a more or less large environment of a considered pixel. The camera arrangement for determining the optical flow can also be used in the detection of moving objects, the detection of independently moving objects, object tracking, robotics or video editing and video processing.

Die Kameraanordnung umfasst einen flächigen optischen Sensor zur Aufnahme eines ersten Bildes zu einem ersten Zeitpunkt t1 und mindestens eines zweiten Bildes zu einem weiteren Zeitpunkt t2 in einem Zeitabstand dt1. Der optische Sensor ist vorzugsweise zur Aufnahme von weiteren Bildern zu Zeitpunkten tx ausgebildet, insbesondere sind die durch den optischen Sensor aufgenommen Bilder in äquidistanten Zeitabständen dt1 aufgenommen. Der flächige optische Sensor ist vorzugsweise als ein pixelierter Sensor ausgebildet. Beispielsweise ist der Sensor als ein CCD-Sensor oder ein CMOS-Sensor ausgebildet. Insbesondere sind mit dem optischen Sensor Aufnahmen von zweidimensionalen Abbildern aus Licht auf elektrischem Wege möglich. Der optische Sensor ist vorzugsweise halbleiterbasiert und/oder ermöglicht die Aufnahme von Bildern im sichtbaren Spektralbereich des Lichtes, im Infrarotbereich des Lichtes und/oder im UV-Bereich des Lichtes. The camera arrangement comprises a planar optical sensor for recording a first image at a first time t1 and at least one second image at a further time t2 at a time interval dt1. The optical sensor is preferably designed for recording further images at times tx; in particular, the images recorded by the optical sensor are recorded at equidistant time intervals dt1. The planar optical sensor is preferably designed as a pixelated sensor. For example, the sensor is designed as a CCD sensor or a CMOS sensor. In particular, recordings of two-dimensional images of light by electrical means are possible with the optical sensor. The optical sensor is preferably semiconductor-based and / or permits the acquisition of images in the visible spectral range of the light, in the infrared range of the light and / or in the UV range of the light.

Insbesondere basiert der Zeitabstand dt1 auf der Bildwiederholungsfrequenz des optischen Sensors, wobei die Bildwiederholungsfrequenz beispielsweise der Framerate des optischen Sensors entspricht. Vorzugsweise ist der optische Sensor ausgebildet, Bilder mit einer Framerate von 30 fps aufzunehmen, wobei sich beispielsweise bei einer Framerate von 30 fps ein dt1 von etwa 33 Millisekunden ergibt. Alternativ kann die Framerate des optischen Sensors 5 fps, 7 fps, 12.5 fps, 15 fps, 24 fps, 30 fps, 50 fps oder 60 fps betragen.In particular, the time interval dt1 is based on the image repetition frequency of the optical sensor, wherein the image repetition frequency corresponds, for example, to the frame rate of the optical sensor. Preferably, the optical sensor is adapted to take pictures at a frame rate of 30 fps, wherein, for example, in a Frame rate of 30 fps yields a dt1 of about 33 milliseconds. Alternatively, the frame rate of the optical sensor may be 5 fps, 7 fps, 12.5 fps, 15 fps, 24 fps, 30 fps, 50 fps or 60 fps.

Das erste Bild bildet einen ersten Aufnahmebereich ab und das zweite Bild bildet einen zweiten Aufnahmebereich ab. Der erste und/oder zweite Aufnahmebereich ist beispielsweise der Überwachungsbereich einer Überwachungskamera. Vorzugsweise ist der erste und/oder zweite Aufnahmebereich ein Bereich, auf welchen der optische Sensor zur Aufnahme von Bildern gerichtet ist. Der erste Aufnahmebereich des ersten Bildes und der zweite Aufnahmebereich des mindestens zweiten Bildes schneiden sich in einem gemeinsamen Überlappbereich. Insbesondere können der erste Aufnahmebereich und der zweite Aufnahmebereich identische Bereiche des Überwachungsbereiches sein, sodass der Überlappbereich dem Aufnahmebereich entspricht. The first image forms a first recording area and the second image forms a second recording area. The first and / or second receiving area is, for example, the surveillance area of a surveillance camera. Preferably, the first and / or second receiving area is an area on which the optical sensor is directed to receive images. The first recording area of the first image and the second recording area of the at least second image intersect in a common overlapping area. In particular, the first receiving area and the second receiving area may be identical areas of the monitoring area, so that the overlapping area corresponds to the receiving area.

Die Kameraanordnung umfasst einen flächigen Dynamic-Vision-Sensor, auch Sensoreinheit genannt, zur Aufnahme eines Erfassungsbereiches. Der Erfassungsbereich des flächigen Dynamic-Vision-Sensors bildet mit dem Überlappbereich eine Schnittmenge. Insbesondere ist die Arbeitsweise des Dynamic-Vision-Sensors ähnlich der der menschlichen Retina. Beispielsweise ist der Dynamic-Vision-Sensor ausgebildet, statt dem unnötigen Übersenden vollständiger Bilder in konstanter Framerate, nur lokale Änderung in Zellen und/oder Pixeln des Dynamic-Vision-Sensors zu senden, wobei die Änderungen beispielsweise von einer Bewegung in der vom Dynamic-Vision-Sensor zu erfassenden Szene herrührt. Insbesondere ist der Dynamic-Vision-Sensor ausgebildet, Veränderungen in den Pixeln und/oder Zellen an dem Zeitpunkt zu senden, an dem sie auftreten. Dies führt beispielsweise zu einer zeitlichen Auflösung im Mikrosekundenbereich. In Hinsicht auf den Dynamic-Vision-Sensor wird Bezug genommen auf die Anmeldung WO 2013/092666 A9 , deren Inhalt hiermit in diese Anmeldung aufgenommen wird. The camera arrangement comprises a flat dynamic vision sensor, also called a sensor unit, for receiving a detection area. The detection range of the two-dimensional dynamic vision sensor forms an intersection with the overlap area. In particular, the operation of the dynamic vision sensor is similar to that of the human retina. For example, instead of unnecessarily transmitting complete images at a constant frame rate, the Dynamic Vision sensor is configured to send only local change to cells and / or pixels of the Dynamic Vision sensor, such as changes in motion from dynamic to dynamic. Vision sensor comes to scene to be detected. In particular, the dynamic vision sensor is configured to send changes in the pixels and / or cells at the time they occur. This leads, for example, to a temporal resolution in the microsecond range. With respect to the Dynamic Vision sensor, reference is made to the application WO 2013/092666 A9 , the content of which is hereby incorporated into this application.

Der Dynamic-Vision-Sensor umfasst eine Zellenmatrix mit Zellen. Insbesondere können die Zellen der Zellenmatrix als Pixel aufgefasst werden. Der Dynamic-Vision-Sensor ist ausgebildet, Intensitätsänderungen in einer Zelle der Zellenmatrix von einem Zeitpunkt tn1 zu einem Zeitpunkt tn2 als Intensitätsdaten zu bestimmen. Insbesondere gilt, dass t1 ≤ tn1 < tn2 ≤ t2 ist sowie, dass tn2 – tn1 = dt2 ist und dt2 < dt1. Vorzugsweise ergibt sich das Zeitinterwall dt2 aus den vom Dynamic-Vision-Sensor detektierten Zeitpunkten einer Intensitätsänderung, insbesondere sind die Zeitpunkte tn1 und tn2 sowie das Zeitinterwall dt2 veränderlich und nicht zwangsläufig konstant für verschiedene Intensitätsänderungen. Beispielsweise ist das Zeitintervall dt2 variabel und ergibt sich aus den detektierten Intensitätsänderungen in einer Zelle und/oder aus der Übertragungsrate beziehungsweise Detektionsrate des Dynamic-Vision-Sensors.The Dynamic Vision sensor includes a cell matrix with cells. In particular, the cells of the cell matrix can be considered as pixels. The dynamic vision sensor is designed to determine intensity changes in a cell of the cell matrix from a time tn1 to a time tn2 as intensity data. In particular, it holds that t1 ≦ tn1 <tn2 ≦ t2 and that tn2 - tn1 = dt2 and dt2 <dt1. Preferably, the time interval dt2 results from the time points of an intensity change detected by the dynamic vision sensor; in particular, the times tn1 and tn2 and the time interval dt2 are variable and not necessarily constant for different intensity changes. For example, the time interval dt2 is variable and results from the detected intensity changes in a cell and / or from the transmission rate or detection rate of the dynamic vision sensor.

Die Kameraanordnung umfasst ein Schätzmodul, wobei das Schätzmodul beispielsweise softwaretechnisch realisiert ist. Alternativ und/oder ergänzend kann das Schätzmodul hardwaretechnisch umgesetzt sein. Das Schätzmodul ist ausgebildet, auf Basis der Intensitätsdaten den optischen Fluss bezüglich des ersten und des zweiten Bildes als eine Flusshypothese abzuschätzen. The camera arrangement comprises an estimation module, wherein the estimation module is implemented, for example, by software technology. Alternatively and / or additionally, the estimation module can be implemented in terms of hardware. The estimation module is configured to estimate the optical flux with respect to the first and second images as a flow hypothesis based on the intensity data.

Beispielsweise ist das Schätzmodul ausgebildet, auf Basis der Intensitätsdaten abzuschätzen, wohin sich ein Erfassungsbereichsabschnitt hinbewegt und stellt basierend darauf die Flusshypothese auf. Insbesondere stellt die Flusshypothese eine Einschränkung des Bereiches dar, der im zweiten Bild zum Berechnen des optischen Flusses bezüglich ersten und zweiten Bildes auszuwerten ist.By way of example, the estimation module is designed to estimate, based on the intensity data, where a detection area section is moving and sets the flow hypothesis based on it. In particular, the flow hypothesis represents a limitation of the range to be evaluated in the second image for calculating the optical flow with respect to the first and second images.

Die Flusshypothese kann beispielsweise als ein unvollständiges oder nur partielles optisches Flussfeld ausgebildet sein und/oder nur einzelne Flussvektoren umfassen.The flow hypothesis can be designed, for example, as an incomplete or only partial optical flow field and / or comprise only individual flow vectors.

Die Kameraanordnung umfasst ein Flussbestimmungsmodul zur Bestimmung des optischen Flusses auf Basis der Flusshypothese, sowie dem ersten und dem zweiten Bild. Das Flussbestimmungsmodul ist beispielsweise ausgebildet, die Flusshypothese dazu zu nutzen, den Suchbereich zum Bestimmen des optischen Flusses bezüglich ersten und zweiten Bild einzuschränken. Insbesondere dient die Flusshypothese dazu, abzuschätzen, wohin sich ein Pixel und/oder ein Abschnitt des Aufnahmebereich im zweiten Bild hin verschoben hat. Vorzugsweise ist es möglich, das Flussbestimmungsmodul zu nutzen, um den optischen Fluss zwischen den zwei Bildern mehrfach abzuschätzen und die Flusshypothese schon vor der Aufnahme des zweiten Bildes zum Zeitpunkt t2 aufzustellen. The camera arrangement comprises a flow determination module for determining the optical flow on the basis of the flow hypothesis, as well as the first and the second image. For example, the flow determination module is configured to use the flow hypothesis to restrict the search range for determining the optical flow with respect to the first and second images. In particular, the flow hypothesis serves to estimate where a pixel and / or a portion of the capture area has shifted in the second image. Preferably, it is possible to use the flow determination module to multiply estimate the optical flow between the two images and to set up the flow hypothesis before the second image is taken at time t2.

Es ist eine Überlegung der Erfindung, durch die Integration eines Dynamic-Vision-Sensors die Flussberechnung mit einem flächigen optischen Sensor zu robustifizieren und zu verbessern, da durch die Integration des Dynamic-Vision-Sensors mehr Informationen vorliegen, welche sonst geschätzt werden müssen. Ferner ist die Flussberechnung mit einem flächigen optischen Sensor zusammen mit einem flächigen Dynamic-Vision-Sensor schneller als herkömmliche Methoden. Zwischen zwei aufeinanderfolgenden Bildern können mehrfach Flusshypothesen aufgestellt werden und schon bevor das zweite Bild aufgenommen wird, kann ein Algorithmus auf die Intensitätsdaten zugreifen, wo sich ein Pixel oder Abschnitt des Erfassungsbereiches hinbewegt hat und/oder hinbewegen wird. Der Suchbereich zur Bestimmung des optischen Flusses bezüglich eines ersten und eines zweiten Bildes wird hierdurch deutlich eingeschränkt. Der Lösungsraum der Flusskorrespondenzen wird kleiner und die Lösung schneller bestimmbar. Ferner zeigt sich als synergetischer Effekt, dass die Flussberechnung mit einer Kombination von einem flächigen optischen Sensor und einem flächigen Dynamic-Vision-Sensor zusätzlich unempfindlicher gegenüber ein Blenden oder stark variierende Helligkeit im Erfassungsbereich ist, sodass das klassische Problem, welches im klassischen Verfahren zur Bestimmung des optischen Flusses vorherrscht, nämlich das Verletzen der Brightness Constancy Constraint Equation, hier nicht auftritt.It is a consideration of the invention to robustify and improve the flow calculation with a planar optical sensor by integrating a dynamic vision sensor, since the integration of the dynamic vision sensor provides more information that otherwise needs to be estimated. Furthermore, the flow calculation with a planar optical sensor together with a two-dimensional dynamic vision sensor is faster than conventional methods. Multiple flow hypotheses can be established between two consecutive images, and even before the second image is taken, an algorithm can access the intensity data where a pixel or portion of the detection area has moved and / or will move. The search area for Determination of the optical flow with respect to a first and a second image is thereby considerably restricted. The solution space of the flux correspondences becomes smaller and the solution faster determinable. Furthermore, a synergetic effect is that the flux calculation with a combination of a planar optical sensor and a flat dynamic vision sensor is also less sensitive to glare or greatly varying brightness in the detection area, so that the classical problem, which in the classical method for determining of the optical flow, namely violating the Brightness Constancy Constraint Equation, does not occur here.

In einer besonders bevorzugten Ausgestaltung der Erfindung umfassen die Intensitätsdaten zu der Intensitätsänderung in einer Zelle zusätzlich die Position der Zelle in der Zellenmatrix als Positionsinformation, in welcher die Intensitätsänderung detektiert wurde und/oder einen Zeitstempel, wobei der Zeitstempel angibt, wann die Intensitätsänderung stattfand. Insbesondere ist aus dem Zeitstempel das Zeitintervall dt2 bestimmbar. Vorzugsweise ist der Dynamic-Vision-Sensor mit Zellenadressbussen verbunden. Der Dynamic-Vision-Sensor ist vorzugsweise ausgebildet, Intensitätsänderungen in einer Zelle vorzugsweise asynchron und/oder nahezu instantan an den Zellenadressbus zu senden und/oder diese als Intensitätsdaten bereitzustellen. Beispielsweise sind die Intensitätsdaten als Datentupel ausgebildet, wobei das Datentupel die Position der Zelle und den Zeitstempel umfasst. In a particularly preferred embodiment of the invention, the intensity data for the intensity change in a cell additionally include the position of the cell in the cell matrix as position information in which the intensity change was detected and / or a time stamp, wherein the time stamp indicates when the intensity change took place. In particular, the time interval dt2 can be determined from the time stamp. Preferably, the dynamic vision sensor is connected to cell address buses. The dynamic vision sensor is preferably designed to send intensity changes in a cell preferably asynchronously and / or almost instantaneously to the cell address bus and / or to provide these as intensity data. For example, the intensity data is designed as a data tuple, the data tuple comprising the position of the cell and the time stamp.

Besonders bevorzugt ist, dass der Dynamic-Vision-Sensor eine Mehrzahl von Zellen umfasst, wobei jede Zelle Mittel zur Ausgabe eines Fotostromes umfasst. Beispielsweise sind die Mittel zur Ausgabe des Fotostromes Fotodioden und/oder Fototransistoren. Insbesondere ist das Mittel zur Ausgabe eines Fotostromes ausgebildet, die Helligkeit auf eine Zelle der Zellenmatrix zu bestimmen, wie beispielsweise anhand der Höhe des Fotostromes. Vorzugsweise sind die Mittel zur Bestimmung des Fotostromes ausgebildet, einen zur Intensität des einfallenden Lichtes proportionalen Fotostrom zu liefern. Der Dynamic-Vision-Sensor umfasst insbesondere ein Veränderungsdetektionsmodul, wobei das Veränderungsdetektionsmodul mit dem Mittel zur Ausgabe des Fotostroms elektronisch verbunden ist. Das Veränderungsdetektionsmodul ist ausgebildet, ein Veränderungssignal dann und nur dann auszugeben, wenn sich die Intensität des einfallenden Lichtes stärker ändert als eine vorgegebene Schwellenänderung. Insbesondere umfassen die Intensitätsdaten das Veränderungssignal.It is particularly preferred that the dynamic vision sensor comprises a plurality of cells, each cell comprising means for outputting a photocurrent. For example, the means for outputting the photocurrent are photodiodes and / or phototransistors. In particular, the means for outputting a photocurrent is adapted to determine the brightness of a cell of the cell matrix, such as the height of the photocurrent. Preferably, the means for determining the photocurrent are adapted to provide a proportional to the intensity of the incident light photocurrent. In particular, the dynamic vision sensor comprises a change detection module, wherein the change detection module is electronically connected to the means for outputting the photocurrent. The change detection module is configured to output a change signal if and only if the intensity of the incident light changes more than a predetermined threshold change. In particular, the intensity data includes the change signal.

In einer besonders bevorzugten Ausgestaltung der Erfindung ist das Zeitintervall dt2 kleiner als 500 Mikrosekunden, insbesondere kleiner als 50 Mikrosekunden und im Speziellen kleiner als 5 Mikrosekunden. Ferner ist der Zeitabstand dt1 vorzugsweise größer als 1 Millisekunde, insbesondere größer als 10 Millisekunden und im Speziellen größer als 100 Millisekunden. Alternativ und/oder ergänzend ist der Zeitabstand dt1 vorzugsweise größer als zwei Mal dt2 und im Speziellen größer als fünf Mal dt2. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass durch ein Zeitintervall dt2 im Mikrosekundenbereich die Flusshypothese zwischen dem ersten und dem zweiten Bild mehrfach geschätzt werden kann, sodass das Flussbestimmungsmodul auf eine solide Flusshypothese zurückgreifen kann.In a particularly preferred embodiment of the invention, the time interval dt2 is less than 500 microseconds, in particular less than 50 microseconds and in particular less than 5 microseconds. Furthermore, the time interval dt1 is preferably greater than 1 millisecond, in particular greater than 10 milliseconds, and in particular greater than 100 milliseconds. Alternatively and / or additionally, the time interval dt1 is preferably greater than twice dt2 and in particular greater than five times dt2. This embodiment is based on the consideration that the flow hypothesis between the first and the second image can be estimated several times by a time interval dt2 in the microsecond range so that the flow determination module can fall back on a solid flow hypothesis.

In einer besonders bevorzugten Ausgestaltung der Erfindung ist der flächige optische Sensor in einer Kamera angeordnet. Beispielsweise ist die Kamera als eine Videokamera, wie zum Beispiel eine Überwachungskamera ausgebildet. Vorzugsweise umfasst die Kamera ein Kameragehäuse, wobei der optische Sensor in dem Kameragehäuse angeordnet ist. Die Kamera verfügt vorzugsweise über eine Kameraschnittstelle, wobei die Kamera ausgebildet ist, über die Kameraschnittstelle Bilddaten zur externen Nutzung bereitzustellen. Insbesondere umfasst die Kamera ein Kameraobjektiv zum scharfen und kontrastreichen Abbilden eines Aufnahmebereiches.In a particularly preferred embodiment of the invention, the planar optical sensor is arranged in a camera. For example, the camera is designed as a video camera, such as a surveillance camera. Preferably, the camera comprises a camera body, wherein the optical sensor is arranged in the camera body. The camera preferably has a camera interface, the camera being designed to provide image data for external use via the camera interface. In particular, the camera includes a camera lens for sharp and high-contrast imaging of a recording area.

Besonders bevorzugt ist es, dass die Kamera der Kameraanordnung den Dynamic-Vision-Sensor umfasst. Insbesondere sind der Dynamic-Vision-Sensor und der flächige optische Sensor so in der Kamera angeordnet, dass beide einen gemeinsamen Aufnahmebereich aufnehmen. Vorzugsweise umfasst die Kamera neben dem flächigen optischen Sensor und dem flächigen Dynamic-Vision-Sensor ebenfalls das Schätzmodul sowie das Flussbestimmungsmodul. In dieser Ausgestaltung ist es möglich, dass alle Komponenten der Kameraanordnung in dem Kameragehäuse angeordnet sind.It is particularly preferred that the camera of the camera arrangement comprises the dynamic vision sensor. In particular, the dynamic vision sensor and the planar optical sensor are arranged in the camera so that both record a common recording area. In addition to the planar optical sensor and the two-dimensional dynamic vision sensor, the camera preferably also includes the estimation module and the flow determination module. In this embodiment, it is possible that all components of the camera assembly are arranged in the camera body.

In einer besonders bevorzugten Ausgestaltung der Erfindung ist das Schätzmodul ausgebildet, das Abschätzen des optischen Flusses als Flusshypothese auf Basis eines Konturbereiches eines Erfassungsbereichsabschnitts durchzuführen. Der Konturbereich ist insbesondere der äußere Bereich eines Erfassungsbereichsabschnittes und/oder eines Objektes im Erfassungsbereich, wie zum Beispiel dessen Umriss. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass ein Dynamic-Vision-Sensor nur Veränderungen in einer Aufnahmeszene detektiert und der Dynamic-Vision-Sensor nur Helligkeitsänderungen detektiert. Insbesondere ist nur ein Wegfallen von aktiven Pixeln und/oder ein Hinzukommen von aktiven Pixeln vom Dynamic-Vision-Sensor detektierbar. Für ein einfarbiges Objekt oder ein Objekt mit wenig strukturellen Merkmalen, erfasst und/oder sieht der Dynamic-Vision-Sensor beispielsweise nur die Bewegung des Konturbereiches. Das Schätzmodul ist in dieser Ausgestaltung der Erfindung ausgebildet, die Flusshypothese für ein mögliches Objekt im Erfassungsbereich nur auf Basis des Konturbereiches zu schätzen.In a particularly preferred embodiment of the invention, the estimation module is designed to perform the estimation of the optical flow as a flow hypothesis based on a contour region of a detection region section. The contour region is in particular the outer region of a detection region section and / or of an object in the detection region, such as, for example, its outline. This embodiment is based on the consideration that a dynamic vision sensor only detects changes in a recording scene and the dynamic vision sensor only detects changes in brightness. In particular, only dropping active pixels and / or adding active pixels is detectable by the Dynamic Vision sensor. For a monochrome object or an object with few structural features, the Dynamic Vision sensor detects and / or sees, for example only the movement of the contour area. In this embodiment of the invention, the estimation module is designed to estimate the flow hypothesis for a possible object in the detection area only on the basis of the contour area.

In einer besonders bevorzugten Ausgestaltung der Erfindung ist das Schätzmodul ausgebildet, das Abschätzen des optischen Flusses und/oder das Aufstellen der Flusshypothese mindestens zwei Mal innerhalb des Zeitabstandes dt1 zwischen dem ersten und dem zweiten Bild durchzuführen. Beispielsweise ist der Zeitabstand dt1 mindestens doppelt so groß wie der Zeitinterwall dt2. Das Flussbestimmungsmodul ist in dieser Ausgestaltung beispielsweise ausgebildet, den optischen Fluss auf Basis einer gemittelten Flusshypothese zu bestimmen. Alternativ und/oder ergänzend ist das Flussbestimmungsmodul ausgebildet, den optischen Fluss bezüglich erstem und zweitem Bild auf Basis einer integrierten Flusshypothese zu bestimmen, wobei beispielsweise ein Integrationsmodul dazu durch das Schätzmodul abgeschätzte optischen Flüsse aufintegriert und abschätzt, wohin sich ein Pixel und/oder Zellenabschnitt vom ersten Bild zum zweiten Bild hinbewegt hat. Dieser Ausgestaltung liegt die Überlegung zugrunde, dass durch mehrfaches Bestimmen und Abschätzen des optischen Flusses auf Basis der Intensitätsdaten auch komplexe Bewegungen und/oder komplexe optische Flüsse im Erfassungsbereich durch den Dynamic-Vision-Sensor erfasst und/oder abgeschätzt werden können. Diese komplexen Bewegungen können dann von dem ersten auf das zweite Bild übertragen werden, wobei so der Bereich zum Berechnen und oder Bestimmen des optischen Flusses durch das Flussbestimmungsmodul eingegrenzt wird.In a particularly preferred embodiment of the invention, the estimation module is designed to perform the estimation of the optical flow and / or the establishment of the flow hypothesis at least twice within the time interval dt1 between the first and the second image. For example, the time interval dt1 is at least twice as large as the time interval dt2. In this embodiment, the flow determination module is designed, for example, to determine the optical flow on the basis of an averaged flow hypothesis. Alternatively and / or additionally, the flow determination module is designed to determine the optical flow with respect to the first and second image on the basis of an integrated flow hypothesis, wherein, for example, an integration module integrates and estimates optical flows estimated by the estimation module, to which a pixel and / or cell section from first image has moved to the second image. This embodiment is based on the consideration that by multiple determination and estimation of the optical flow on the basis of the intensity data also complex movements and / or complex optical flows in the detection area can be detected and / or estimated by the dynamic vision sensor. These complex motions may then be transmitted from the first to the second image, thus narrowing the range for calculating and / or determining the optical flow through the flow determination module.

Einen weiteren Gegenstand der Erfindung bildet ein Fahrassistenzsystem mit einer Kameraanordnung. Die Kameraanordnung ist insbesondere ausgebildet, wie in den vorherigen Ansprüchen und/oder wie in der vorherigen Beschreibung beschrieben. Das Fahrassistenzsystem mit der Kameraanordnung ermöglicht ein Abschätzen und ein Berechnen des optischen Flusses von Aufnahmen, welche beispielsweise in Fahrtrichtung und/oder gegen die Fahrtrichtung eines Autos aufgenommen wurden. Das Fahrassistenzsystem ist insbesondere ausgebildet, auf Basis des abgeschätzten optischen Flusses das Auto und/oder das Fahrzeug entsprechend zu navigieren, wie zum Beispiel abzubremsen, zu beschleunigen oder zu stoppen.Another object of the invention is a driver assistance system with a camera arrangement. The camera arrangement is designed in particular as described in the preceding claims and / or as described in the previous description. The driving assistance system with the camera arrangement makes it possible to estimate and calculate the optical flow of recordings taken, for example, in the direction of travel and / or against the direction of travel of a car. The driver assistance system is in particular designed to appropriately navigate the car and / or the vehicle based on the estimated optical flow, such as braking, accelerating or stopping, for example.

Einen weiteren Gegenstand der Erfindung bildet eine Überwachungskamera mit der Kameraanordnung nach einem der vorhergehenden Ansprüche beziehungsweise gemäß einer Ausgestaltung der vorhergehenden Beschreibung. Die Überwachungskamera ist beispielsweise ausgebildet, einen Überwachungsbereich wie beispielsweise eine Parkanlage, ein Parkhaus, einen Gebäudebereich oder einen öffentlichen Bereich zu überwachen. Die Überwachungskamera mit der Kameraanordnung ist insbesondere ausgebildet, auf Basis des berechneten optischen Flusses Gegenstände und/oder Objekte wie beispielsweise Menschen im Überwachungsbereich zu tracken. A further subject of the invention is a surveillance camera with the camera arrangement according to one of the preceding claims or according to an embodiment of the preceding description. By way of example, the surveillance camera is designed to monitor a surveillance area such as, for example, a parking facility, a parking garage, a building area or a public area. The surveillance camera with the camera arrangement is in particular designed to track objects and / or objects, such as, for example, humans in the surveillance area on the basis of the calculated optical flow.

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:Further features, advantages and effects of the invention will become apparent from the following description of preferred embodiments of the invention. Showing:

1 ein erstes Ausführungsbeispiel der Kameraanordnung; 1 a first embodiment of the camera assembly;

2 ein zweites Ausführungsbeispiel der Kameraanordnung; 2 a second embodiment of the camera assembly;

3 eine schematische Darstellung der Aufnahmebereiche des Überlappungsbereiches und des Erfassungsbereiches; 3 a schematic representation of the receiving areas of the overlap region and the detection area;

4 eine beispielhafte Darstellung eines ersten Bildes mit eingezeichneten Intensitätsdaten des Dynamic-Vision-Sensors; 4 an exemplary representation of a first image with recorded intensity data of the dynamic vision sensor;

5 ein Zeitablaufschema mit eingezeichneten Zeitpunkten und Zeitdifferenzen. 5 a time schedule with time points and time differences.

1 zeigt in einer stark schematischen Darstellung ein erstes Ausführungsbeispiel der Kameraanordnung 1. Die Kameraanordnung 1 umfasst einen flächigen optischen Sensor 2, einen flächigen Dynamic-Vision-Sensor 3, ein Schätzmodul 4 und ein Flussbestimmungsmodul 5. 1 shows a highly schematic representation of a first embodiment of the camera assembly 1 , The camera arrangement 1 comprises a planar optical sensor 2 , a two-dimensional dynamic vision sensor 3 , an estimation module 4 and a flow determination module 5 ,

Der flächige optische Sensor 2 ist mit einer Aufnahmerichtung 6a auf einen Überwachungsbereich 7 gerichtet. Der optische Sensor 2 ist ausgebildet, den Überwachungsbereich 7 in einem ersten Bild 8a (siehe ) abzubilden, wobei das erste Bild 8a einen ersten Aufnahmebereich 9a abbildet und der erste Aufnahmebereich 9a (siehe 3) Teil des Überwachungsbereiches 7 ist. Insbesondere ist der flächige optische Sensor 2 als ein pixilierter Halbleiterdetektor ausgebildet, den ersten Aufnahmebereich 9a als ein farbiges Vollbild abzubilden. Das erste Bild 8a des Überwachungsbereiches 7 ist zu einem Zeitpunkt t1 aufgenommen. Ferner ist der flächige optische Sensor 2 ausgebildet, zu einem Zeitpunkt t2 mindestens ein weiteres Bild, insbesondere ein zweites Bild 8b, des Überwachungsbereiches 7 aufzunehmen, wobei das zweite Bild 8b einen zweiten Aufnahmebereich 9b abbildet, wobei der zweite Aufnahmebereich 9b ebenfalls Teil des Überwachungsbereiches 7 ist. Insbesondere weist erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b einen gemeinsamen Überlappbereich 10 (3) auf. Der flächige optische Sensor 2 ist insbesondere in einer Überwachungskamera angeordnet. The planar optical sensor 2 is with a recording direction 6a on a surveillance area 7 directed. The optical sensor 2 is trained, the surveillance area 7 in a first picture 8a (please refer ), the first picture 8a a first recording area 9a images and the first recording area 9a (please refer 3 ) Part of the surveillance area 7 is. In particular, the planar optical sensor 2 formed as a pixilated semiconductor detector, the first receiving area 9a as a full color picture. The first picture 8a of the surveillance area 7 is recorded at a time t1. Furthermore, the planar optical sensor 2 formed, at a time t2 at least one further image, in particular a second image 8b , the surveillance area 7 take the second picture 8b a second recording area 9b images, with the second recording area 9b also part of the surveillance area 7 is. In particular, has first receiving area 9a and second recording area 9b a common overlap area 10 ( 3 ) on. Of the planar optical sensor 2 is arranged in particular in a surveillance camera.

Die Kameraanordnung 1 umfasst einen flächigen Dynamic-Vision-Sensor 3 zur Aufnahme eines Erfassungsbereiches 11 (3). Der Dynamic-Vision-Sensor 3 ist mit seiner Aufnahmerichtung 6b zum Überwachungsbereich 7 gerichtet. Insbesondere ist der Erfassungsbereich 11 Teil des Überwachungsbereiches 7. Der Erfassungsbereich 11 bildet mit dem Überlappbereich 11 eine Schnittmenge 12 (3).The camera arrangement 1 includes a flat dynamic vision sensor 3 for recording a detection area 11 ( 3 ). The Dynamic Vision Sensor 3 is with its recording direction 6b to the surveillance area 7 directed. In particular, the coverage area 11 Part of the surveillance area 7 , The coverage area 11 forms with the overlap area 11 an intersection 12 ( 3 ).

Der Dynamic-Vision-Sensor 3 umfasst mehrere Zellen, wobei die Zellen eine Zellenmatrix bilden. Insbesondere sind die Zellen als Pixel des Dynamic-Vision-Sensors 3 zu verstehen. Der Dynamic-Vision-Sensor 3 ist ausgebildet, eine Intensitätsänderung in den Zellen der Zellenmatrix zu detektieren. Insbesondere entspricht die Intensitätsänderung in den Zellen einer Änderung der auf die jeweilige Zelle einfallenden Lichtintensität. Vorzugsweise wird die Intensitätsänderung als eine Änderung von einem Zeitpunkten tn1 zu einem zweiten Zeitpunkt tn2 als Intensitätsdaten bestimmt. Die Zeitpunkte tn1 und tn2 werden beispielsweise dem Dynamic-Vision-Sensor 3 durch die Änderung der Lichtintensität selbst vorgegeben und/oder bestimmt, beispielsweis ist tn2 gerade als der Zeitpunkt, an welchem die Intensitätsänderung in der Zelle stattfindet. Der Dynamic-Vision-Sensor 3 umfasst eine Dynamic-Vision-Sensor-Schnittstelle 13, über welche der Dynamic-Vision-Sensor 3 Intensitätsdaten bereitstellen kann. Die Intensitätsdaten umfassen die Intensitätsänderung in einer Zelle der Zellenmatrix. Insbesondere umfassen die Intensitätsdaten die Position der Zelle innerhalb der Zellenmatrix, in welcher eine Intensitätsänderung stattfand, sowie den Zeitpunkt, an dem sie stattfanden. The Dynamic Vision Sensor 3 comprises several cells, the cells forming a cell matrix. In particular, the cells are as pixels of the dynamic vision sensor 3 to understand. The Dynamic Vision Sensor 3 is designed to detect an intensity change in the cells of the cell matrix. In particular, the change in intensity in the cells corresponds to a change in the light intensity incident on the respective cell. Preferably, the intensity change is determined as a change from a time tn1 to a second time tn2 as intensity data. The times tn1 and tn2, for example, the dynamic vision sensor 3 For example, tn2 is even the time at which the intensity change takes place in the cell. The Dynamic Vision Sensor 3 includes a dynamic vision sensor interface 13 , about which the Dynamic Vision sensor 3 Can provide intensity data. The intensity data includes the intensity change in a cell of the cell matrix. In particular, the intensity data includes the position of the cell within the cell matrix in which a change in intensity occurred and the time it took place.

Das Schätzmodul 4 ist datentechnisch mit der Dynamic-Vision-Sensor-Schnittstelle 8 verbunden. Das Schätzmodul 4 ist ausgebildet, die Intensitätsdaten des Dynamic-Vision-Sensors 3 auszuwerten. Die Auswertung der Intensitätsdaten durch das Schätzmodul 4 entspricht insbesondere der Bestimmung und/oder dem Schätzen eines optischen Flusses bezüglich des ersten Bildes 8a und des zweiten Bildes 8b auf Basis der Intensitätsdaten. Die Flusshypothese ist eine Schätzung auf Basis der Intensitätsdaten, wo sich ein Erfassungsbereichsabschnitt und/oder ein Abschnitt des ersten Aufnahmebereiches 9a zum Zeitpunkt t2 befindet und/oder hinbewegt.The estimation module 4 is data technology with the Dynamic Vision sensor interface 8th connected. The estimation module 4 is formed, the intensity data of the dynamic vision sensor 3 evaluate. The evaluation of the intensity data by the estimation module 4 corresponds in particular to the determination and / or the estimation of an optical flow with respect to the first image 8a and the second picture 8b based on the intensity data. The flow hypothesis is an estimate based on the intensity data, where a coverage area portion and / or a portion of the first exposure area 9a is located and / or moved to the time t2.

Das Flussbestimmungsmodul 5 ist datentechnisch mit dem Schätzmodul 4 und dem flächigen optischen Sensor 2 verbunden. Über die datentechnische Verbindung wird dem Flussbestimmungsmodul 5 insbesondere das erste Bild 8a und das zweite Bild 8b mit dem ersten Aufnahmebereich 9a und dem zweiten Aufnahmebereich 9b bereitgestellt. Das Flussbestimmungsmodul 5 ist ausgebildet, auf Basis des ersten Bildes 8a und des zweiten Bildes 8b sowie unter Einbeziehung der Flusshypothese den optischen Fluss bezüglich ersten Bildes 8a und zweiten Bildes 8b zu bestimmen. Insbesondere nutzt das Flussbestimmungsmodul 5 die Flusshypothese, um den Bereich im zweiten Bild 8b einzuschränken, welches das Flussbestimmungsmodul 5 zur Bestimmung des optischen Flusses eines Erfassungsbereichsabschnitts heranzieht. Das Flussbestimmungsmodul 5 umfasst eine Flussbestimmungsmodulschnittstelle 14, über welche einer externen Rechnereinheit und/oder einem externen Nutzer das erste Bild 8a und/oder das zweite Bild 8b, der optischen Fluss und/oder die Intensitätsdaten bereitstellbar sind.The flow determination module 5 is data-technically with the estimation module 4 and the planar optical sensor 2 connected. About the data connection is the flow determination module 5 especially the first picture 8a and the second picture 8b with the first recording area 9a and the second receiving area 9b provided. The flow determination module 5 is formed based on the first image 8a and the second picture 8b and including the flow hypothesis, the optical flow with respect to the first image 8a and second picture 8b to determine. In particular, the flow determination module uses 5 the flow hypothesis to the area in the second picture 8b restrict which is the flow determination module 5 for determining the optical flow of a detection area portion. The flow determination module 5 includes a flow determination module interface 14 via which an external computer unit and / or an external user the first image 8a and / or the second picture 8b , the optical flow and / or the intensity data can be provided.

2 zeigt ein zweites Ausführungsbeispiel der Kameraanordnung 1. In diesem Ausführungsbeispiel umfasst die Kameraanordnung 1 eine Kamera 15, wobei die Kamera 15 beispielsweise als eine Überwachungskamera oder eine Kamera 15 in einem Fahrassistenzsystem ausgebildet ist. Die Kamera 15 umfasst den Dynamic-Vision-Sensor 3 und den flächigen optischen Sensor 2. Der flächige optische Sensor 2 und der flächige Dynamic-Vision-Sensor 3 sind in der Kamera 15 mit Blickrichtung zu dem Überwachungsbereich 7 angeordnet. Insbesondere sind der flächige optische Sensor 2 und der flächige Dynamic-Vision-Sensor 3 so angeordnet, dass erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b des flächigen optischen Sensors 2 mit der Erfassungsbereich 11 des Dynamic-Vision-Sensors 3 zusammenfallen. Insbesondere sind der flächige Dynamic-Vision-Sensor 3 und der flächige optische Sensor 2 in einem gemeinsamen Kameragehäuse angeordnet. Die Kamera 15 ist datentechnisch mit einer Auswerteeinheit 16 verbunden, wobei die Auswerteeinheit 16 das Schätzmodul 4 und das Flussbestimmungsmodul 5 umfasst. Die Auswerteeinheit 16 sowie das Schätzmodul 4 und/oder das Flussbestimmungsmodul 5 können softwaretechnisch auf einer Rechnereinheit oder hardwaretechnisch ausgebildet sein. Insbesondere ist die Auswerteeinheit 16 separat von der Kamera 11 anordenbar und beispielsweise als eine zentrale Rechnereinheit ausgebildet. In diesem Beispiel ist die Auswerteeinheit 16 datentechnisch mit einer Anzeigeeinheit 17 verbunden, wobei die Anzeigeeinheit 13 ausgebildet ist, das erste Bild 8a und/oder das zweite Bild 8b, alternativ und/oder ergänzend eine Sequenz der von der Kamera 15 aufgenommenen Bilder des Überwachungsbereiches 7 anzuzeigen. Zusätzlich ist die Anzeigeeinheit 13 ausgebildet, in die Bilder des Überwachungsbereiches 7 zusätzlich den optischen Fluss einzuzeichnen. 2 shows a second embodiment of the camera assembly 1 , In this embodiment, the camera arrangement comprises 1 a camera 15 , where the camera 15 for example, as a surveillance camera or a camera 15 is formed in a driver assistance system. The camera 15 includes the Dynamic Vision sensor 3 and the planar optical sensor 2 , The planar optical sensor 2 and the two-dimensional Dynamic Vision sensor 3 are in the camera 15 looking towards the surveillance area 7 arranged. In particular, the planar optical sensor 2 and the two-dimensional Dynamic Vision sensor 3 arranged so that first receiving area 9a and second recording area 9b of the planar optical sensor 2 with the coverage area 11 of the Dynamic Vision sensor 3 coincide. In particular, the two-dimensional dynamic vision sensor 3 and the planar optical sensor 2 arranged in a common camera body. The camera 15 is data technology with an evaluation unit 16 connected, wherein the evaluation unit 16 the estimation module 4 and the flow determination module 5 includes. The evaluation unit 16 and the estimation module 4 and / or the flow determination module 5 can be software-based on a computer unit or hardware technology. In particular, the evaluation unit 16 separately from the camera 11 can be arranged and designed, for example, as a central computer unit. In this example, the evaluation unit 16 in terms of data technology with a display unit 17 connected, wherein the display unit 13 is formed, the first picture 8a and / or the second picture 8b , alternatively and / or additionally a sequence of the camera 15 taken pictures of the surveillance area 7 display. In addition, the display unit 13 trained in the images of the surveillance area 7 additionally draw in the optical flow.

Alternativ und/oder ergänzend kann die Auswerteeinheit 16 die Bilder und den optischen Fluss an eine Trackingeinheit bereitstellen. Die Trackingeinheit ist ausgebildet, ein mögliches Objekt im Überwachungsbereich 7 zu verfolgen. Insbesondere ist die Trackingeinheit mit anderen dergleichen Kameraanordnungen 1 verbindbar, wobei die anderen Kameraanordnungen 1 nicht zwangsläufig auf den gleichen Überwachungsbereich 7 gerichtet sind. Die Trackingeinheit kann auf Basis der bereitgestellten Bilder der Kameraanordnungen 1 und der bereitgestellten optischen Flüsse ein mögliches Objekt von Überwachungsbereich 7 zu Überwachungsbereich 7 verfolgen.Alternatively and / or additionally, the evaluation unit 16 provide the images and the optical flow to a tracking unit. The tracking unit is designed to be a possible object in the monitoring area 7 to pursue. In particular, the tracking unit is with other such camera arrangements 1 connectable, with the other camera arrangements 1 not necessarily on the same surveillance area 7 are directed. The tracking unit may be based on the provided images of the camera arrangements 1 and the provided optical flows a possible object of surveillance area 7 to surveillance area 7 follow.

3 zeigt in einer stark schematisierten Darstellung einen Überwachungsbereich 7 sowie darin kenntlich gemacht einen ersten Aufnahmebereich 9a und einen zweiten Aufnahmebereich 9b sowie einen Erfassungsbereich 11 und deren Überlappungen. Der Überwachungsbereich 7 umfasst als mögliche Objekte in diesem Beispiel einen Menschen als ein sich bewegendes Objekt und einen Baum als ein sich nicht bewegendes statisches Objekt. 3 shows in a highly schematic representation of a monitoring area 7 and indicated therein a first receiving area 9a and a second receiving area 9b as well as a detection area 11 and their overlaps. The surveillance area 7 As possible objects in this example, a human being as a moving object and a tree as a non-moving static object.

Der optische Sensor 2 ist ausgebildet, den Überwachungsbereich 7 abzubilden, wobei die Abbildung des Überwachungsbereiches 7 durch den optischen Sensor zum Zeitpunkt t1 einen ersten Aufnahmebereich 9a in einem ersten Bild 8a zeigt. Der erste Aufnahmebereich 9a bildet in diesem Ausführungsbeispiel den Menschen und den Baum ab. Die Aufnahme des ersten Aufnahmebereiches 9a erfolgt zu einem Zeitpunkt t1. Zusätzlich ist ein zweiter Aufnahmebereich 9b eingezeichnet, wobei der zweite Aufnahmebereich 9b vom optischen Sensor 2 zu einem Zeitpunkt t2 in einem zweiten Bild 8b abgebildet wird. Der zweite Aufnahmebereich 9b bildet ebenfalls einen Teil des Überwachungsbereiches 7. Wie in diesem Beispiel zu sehen, müssen erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b nicht zwangsläufig vollständig zusammenfallen. Erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b überlappen und/oder schneiden sich in einem gemeinsamen Überlappbereich 10. Insbesondere umfasst der Überlappbereich 10 das mögliche Objekt im Überwachungsbereich 7, von welchem der optische Fluss bestimmt werden soll, beziehungsweise von welchem angenommen wird, dass es sich von erstem Bild 8a zu zweitem Bild 8b verändert.The optical sensor 2 is trained, the surveillance area 7 depicting the mapping of the surveillance area 7 through the optical sensor at time t1 a first receiving area 9a in a first picture 8a shows. The first recording area 9a forms in this embodiment, the man and the tree. The recording of the first recording area 9a occurs at a time t1. In addition, there is a second recording area 9b drawn, the second receiving area 9b from the optical sensor 2 at a time t2 in a second image 8b is shown. The second recording area 9b also forms part of the surveillance area 7 , As seen in this example, first recording area must 9a and second recording area 9b not necessarily completely coincide. First recording area 9a and second recording area 9b overlap and / or intersect in a common overlap area 10 , In particular, the overlap area includes 10 the possible object in the surveillance area 7 of which the optical flow is to be determined, or which is assumed to be from the first image 8a to second picture 8b changed.

Zusätzlich ist in 3 der Erfassungsbereich 11 eingezeichnet. In diesem Ausführungsbeispiel ist der Erfassungsbereich 11 kleiner als der erste Aufnahmebereich 9a und/oder der zweite Aufnahmebereich 9b. Alternativ kann der Erfassungsbereich 11 die gleiche Größe wie der erste Aufnahmebereich 9a und/oder zweite Aufnahmebereich 9b aufweisen oder größer als diese sein.Additionally is in 3 the coverage area 11 located. In this embodiment, the detection area is 11 smaller than the first recording area 9a and / or the second receiving area 9b , Alternatively, the detection area 11 the same size as the first recording area 9a and / or second receiving area 9b have or be greater than this.

Insbesondere umfasst der Erfassungsbereich 11 ebenfalls das mögliche Objekt des Überwachungsbereiches 7, von welchem der optische Fluss bestimmt werden soll und/oder von dem ausgegangen wird, dass es sich von Zeitpunkt t1 zum Zeitpunkt t2 verändern wird. Ebenfalls eingezeichnet ist die Schnittmenge 12 vom Erfassungsbereich 11 und Überlappbereich 10. Die Schnittmenge von Überlappbereich 10 und Erfassungsbereich 11 ist insbesondere der Bereich, welcher vom Schätzmodul 4 und/oder vom Flussbestimmungsmodul 5 zur Bestimmung und/oder zum Abschätzen des optischen Flusses genutzt werden kann. In particular, the coverage area includes 11 also the possible object of the surveillance area 7 of which the optical flow is to be determined and / or is assumed to change from time t1 to time t2. Also plotted is the intersection 12 from the detection area 11 and overlap area 10 , The intersection of overlap area 10 and coverage area 11 is in particular the area that the estimation module 4 and / or from the flow determination module 5 can be used to determine and / or estimate the optical flow.

4 zeigt stark schematisiert ein erstes Bild 8a des ersten Aufnahmebereiches 9a aufgenommen vom optischen Sensors 2. Der erste Aufnahmebereich 9a und/oder das erste Bild 8a zeigen einen Tennisspieler 18 zu einem Zeitpunkt t1. Der Tennisspieler 18 bildet in diesem Beispiel ein bewegendes Objekt im Überwachungsbereich 7, welches wenig strukturelle Unterschiede in seiner flächigen Abbildung aufweist. Der Tennisspieler 18 bewegt sich vom Zeitpunkt t1 zu einem Zeitpunkt t2 in Bewegungsrichtung 19 fort. Der Dynamic-Vision-Sensor 3 ist ausgebildet, Intensitätsdaten zwischen den Zeitpunkten t1 und t2 aufzunehmen, also schon bevor der Zeitpunkt t2 eingetreten ist. Der Dynamic-Vision-Sensor 3 detektiert nur Intensitätsänderungen und/oder Helligkeitsänderungen in der Zellenmatrix, wobei die Helligkeitsänderungen aus Helligkeitsänderungen im Überwachungsbereich 7 und oder durch eine Bewegung eines Objekts im Überwachungsbereich 7 resultieren. 4 shows very schematic a first picture 8a of the first recording area 9a recorded by the optical sensor 2 , The first recording area 9a and / or the first picture 8a show a tennis player 18 at a time t1. The tennis player 18 forms in this example a moving object in the surveillance area 7 , which has little structural differences in its areal image. The tennis player 18 moves from the time t1 to a time t2 in the direction of movement 19 continued. The Dynamic Vision Sensor 3 is designed to record intensity data between the times t1 and t2, ie even before the time t2 has occurred. The Dynamic Vision Sensor 3 detects only intensity changes and / or brightness changes in the cell matrix, the brightness changes from brightness changes in the surveillance area 7 and or by movement of an object in the surveillance area 7 result.

Der Tennisspieler 18 sei in diesem Ausführungsbeispiel als ein helles Objekt ausgebildet, wie zum Beispiel mit weißer Tenniskleidung, und der Hintergrund, vor dem sich der Tennisspieler 18 bewegt, sei als ein dunklerer Hintergrund angenommen. Bei der Bewegung des Tennisspielers 18 in Bewegungsrichtung 19 ist der Dynamic-Vision-Sensor 3 ausgebildet, auf der rechten Seite des Tennisspielers 17 eine Änderung in Pixeln von dunkel nach hell zu detektieren. Zur gleichen Zeit und/oder annähernd zeitgleich detektiert der Dynamic-Vision-Sensor 3 auf der linken Seite des Tennisspielers 18 eine Veränderung der Intensitäten in den Pixeln und/oder Zellen von hell nach dunkel. Der Dynamic-Vision-Sensor 3 ist ausgebildet, die Intensitätsänderungen im ersten Bild 8a einzuzeichnen und/oder als Intensitätsdaten bereitzustellen. Ferner ist der Dynamic-Vision-Sensor 3 ausgebildet, zu unterscheiden, ob eine Intensitätsänderung von hell nach dunkel und/oder von dunkel nach hell stattfand und/oder diese unterschiedlich zu Werten und/oder unterschiedlich zu kennzeichnen. In dieser Figur ist die Dunkel-Hell-Intensitätsänderung 20 als gestrichelte Linie eingezeichnet und die Hell-Dunkel-Intensitätsänderung 21 als gepunktete Linie eingezeichnet. The tennis player 18 is formed in this embodiment as a bright object, such as white tennis clothing, and the background in front of which the tennis player 18 moved, is assumed as a darker background. During the movement of the tennis player 18 in the direction of movement 19 is the Dynamic Vision sensor 3 trained, on the right side of the tennis player 17 to detect a change in pixels from dark to light. At the same time and / or approximately at the same time, the Dynamic Vision sensor detects 3 on the left side of the tennis player 18 a change in intensities in the pixels and / or cells from light to dark. The Dynamic Vision Sensor 3 is formed, the intensity changes in the first image 8a draw in and / or provide as intensity data. Further, the Dynamic Vision sensor 3 designed to distinguish whether a change in intensity from light to dark and / or from dark to light took place and / or to mark these differently to values and / or differently. In this figure, the dark-light intensity change 20 drawn as a dashed line and the light-dark intensity change 21 drawn as a dotted line.

Das Schätzmodul 4 ist ausgebildet, auf Basis dieser Informationen, abzuschätzen, an welcher Position sich der Tennisspieler 18 (oder allgemeiner ein sich bewegendes Objekt) zum Zeitpunkt t2 befindet oder in welcher Richtung dieser sich hinbewegt hat. Diese Informationen sind nutzbar zum Abschätzen einer Flusshypothese, wobei die Flusshypothese vom Flussbestimmungsmodul 5 zur Bestimmung des optischen Flusses zwischen erstem Bild 8a und zweitem Bild genutzt 8b wird.The estimation module 4 is trained, based on this information, to estimate at which position the tennis player 18 (or more generally a moving object) at time t2 or in which direction it has moved. This information is useful for estimating a flow hypothesis, where the flow hypothesis is from the flow determination module 5 for determining the optical flux between the first image 8a and second picture 8b becomes.

5 zeigt schematisch einen Zeitstrahl mit den Zeiten t1, t2 und t3. Ebenfalls angezeichnet sind beispielhaft einige Zeitpunkte tn, an welchen der Dynamic-Vision-Sensor 3 eine Intensitätsänderung bestimmt. Als die Zeitpunkte tn sind als Pfeile an den Zeitstrahl angezeichnet, wobei exemplarisch die Zeiten tn1, tn2, tn3, tnX, tnY und tnZ in der Figur beschriftet sind. 5 schematically shows a timeline with the times t1, t2 and t3. Also marked are some times tn, at which the Dynamic Vision sensor 3 determines a change in intensity. As the times tn are indicated as arrows to the timeline, wherein the times tn1, tn2, tn3, tnX, tnY and tnZ are labeled in the figure by way of example.

Das erste Bild 8a, das zum Zeitpunkt t1 vom optischen Sensor aufgenommene wurde zeigt einen ersten Aufnahmebereich 9a einen Baum und einen Menschen, wobei der Mensch links vom Baum angeordnet ist. Nach dem Zeitabstand dt1 ist der Zeitpunkt T2 eingetreten, wobei sich zum Zeitpunkt t2 der Mensch direkt vor dem Baum befindet. Das vom optischen Sensor aufgenommene zweite Bild 8b mit dem abgebildeten zweiten Aufnahmebereichs 9b zum Zeitpunkt T2 zeigt somit auch den Menschen direkt vor dem Baum, erster Aufnahmebereich 9a und zweiter Aufnahmebereich 9b weisen eine Überlappung auf oder sind wie in diesem Beispiel gleich gewählt. Beispielhaft ist in dieser Figur nach einem weiteren gleichgroßen Zeitabstand dt1 nach t2 drittes Bild 8c vom Aufnahmebereich 9c zum Zeitpunkt t3 aufgenommen. Das dritte Bild zeigt den Menschen und den Baum wie im ersten Bild 8a und im zweiten Bild 8b, wobei in diesem dritten Bild 8c der Mensch sich weiterbewegt hat und rechts vom Baum angeordnet ist. The first picture 8a , which has been picked up by the optical sensor at time t1, shows a first pickup area 9a a tree and a human, with the human being placed to the left of the tree. After the time interval dt1, the time T2 has occurred, with the human being located directly in front of the tree at the time t2. The second image taken by the optical sensor 8b with the illustrated second recording area 9b At the time T2 thus also shows the person directly in front of the tree, first receiving area 9a and second recording area 9b have an overlap or are the same as in this example. By way of example, this figure shows a third image after a further equal time interval dt1 after t2 8c from the reception area 9c taken at time t3. The third picture shows the human and the tree as in the first picture 8a and in the second picture 8b , in this third picture 8c the human has moved on and is located to the right of the tree.

Auf der Unterseite des Zeitstrahles sind Zeitpunkt tn als Pfeile am Zeitstrahl eingezeichnet. Die Zeitintervalle zwischen zwei tn´s sind in diesem Ausführungsbeispiel nicht äquidistant und sind beispielhaft als dt2 und dt2´ eingezeichnet. Die Zeitintervalle zwischen wie tn´s betragen dt2 und sind wegen der nicht zwangsläufigen Äquidistanz der tn´s unterschiedlich groß. Die Zeitpunkte tn1, tn2, tn3, tnX, tnY, tnZ usw. entsprechen den Zeitpunkten, zu welchen der Dynamic-Vision-Sensor 3 eine Intensitätsänderung detektierte. Der Dynamic-Vision-Sensor 3 ist insbesondere ausgebildet, Intensitätsänderungen nicht nur zwischen einem Zeitpunkt tn1 und tn2 zu bestimmen, sondern auch Intensitätsänderungen zwischen beliebigen aufeinanderfolgenden tn´s. At the bottom of the timeline, time tn are drawn as arrows on the timeline. The time intervals between two tn's are not equidistant in this embodiment and are shown by way of example as dt2 and dt2 '. The time intervals between how tn's are dt2 and are different because of the non-inevitable equidistance of the tn's. The times tn1, tn2, tn3, tnX, tnY, tnZ, etc. correspond to the times at which the dynamic vision sensor 3 detected a change in intensity. The Dynamic Vision Sensor 3 In particular, it is designed to determine intensity changes not only between a time tn1 and tn2, but also intensity changes between any successive tn's.

Schematisch ist an den Zeitpunkten tn2, tn3 und tnZ noch ein Bild der Intensitätsdaten des Dynamic-Vision-Sensors 3 gezeigt, wie es beispielsweise auch in 4 eingezeichnet ist. Wie in dieser Figur zu sehen, ist im Bild von tn2 vom Dynamic-Vision-Sensor 3 eine Intensitätsänderung auf der linken Seite des Bildes zu sehen, zum Zeitpunkt tn3 eine Intensitätsänderung in der Mitte des Bildes und zum Zeitpunkt tnZ eine Intensitätsänderung auf der rechten Seite des Bildes zu sehen. Diese detektieren Intensitätsänderungen zu den Zeitpunkten tn1, tn3 und tnZ entsprechen gerade den Positionen, an welchen sich der Mensch als bewegtes Objekt im Überwachungsbereich 7 gerade bewegt. Schematically, at the times tn2, tn3 and tnZ is still a picture of the intensity data of the dynamic vision sensor 3 as shown for example in 4 is drawn. As seen in this figure, tn2 in the image of the Dynamic Vision sensor 3 to see an intensity change on the left side of the image, to see an intensity change in the center of the image at time tn3, and an intensity change on the right side of the image at time tnZ. These detect intensity changes at the times tn1, tn3 and tnZ correspond precisely to the positions at which the human being is a moving object in the surveillance area 7 just moved.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102007031302 A1 [0003]
WO 2013/092666 A9 [0009]

Claims

Camera arrangement ( 1 ) for determining the optical flow, with a planar optical sensor ( 2 ) for taking a first image ( 8a ) at a time t1 and at least one second image ( 8b ) at a time t2 at a time interval dt1, wherein the first image ( 8a ) a first receiving area ( 9a ) and the at least second image ( 8b ) a second recording area ( 9b ), the first receiving area ( 9a ) and the second recording area ( 9b ) a common overlap area ( 10 ), with a flat dynamic vision sensor ( 3 ) for recording a coverage area ( 11 ), the coverage ( 11 ) an intersection ( 12 ) with the overlap area ( 10 ), whereby the dynamic vision sensor ( 3 ) comprises a cell matrix with cells and is adapted to determine intensity changes in cells of the cell matrix from a time tn1 to a time tn2 as intensity data, where t1 ≤ tn1 <tn2 ≤ t2 and where tn2 - tn1 = dt2 and dt2 <dt1, with a Estimation module ( 4 ), the estimation module ( 4 ) is formed on the basis of the intensity data, the optical flow with respect to the first image ( 8a ) and the second image ( 8b ) as a flow hypothesis, with a flow determination module ( 5 ) for determining the optical flow on the basis of the flow hypothesis and the first image ( 8a ) and the second image ( 8b ).

Camera arrangement ( 1 ) according to claim 1, characterized in that the intensity data for the intensity change in a cell comprise a position of the cell in the cell matrix and / or a time stamp.

Camera arrangement ( 1 ) according to claim 1 or 2, characterized in that the dynamic vision sensor ( 3 ) comprises a plurality of cells, each cell comprising means for outputting a photocurrent, the photocurrent being proportional to the intensity of the light incident on the cell, each of the cells comprising a change detection module, the change detection module being connected to the means for outputting the photocurrent wherein the change detection module is configured to output a change signal only when the intensity changes more than a predetermined threshold change, the intensity data including the change signal.

Camera arrangement ( 1 ) according to one of the preceding claims, characterized in that dt2 is less than 5 milliseconds and / or dt1 is greater than 10 milliseconds.

Camera arrangement ( 1 ) according to one of the preceding claims, characterized in that the optical sensor ( 3 ) in a camera ( 15 ) is arranged.

Camera arrangement ( 1 ) according to claim 5, characterized in that the camera ( 15 ) the Dynamic Vision sensor ( 3 ).

Camera arrangement ( 1 ) according to one of the preceding claims, characterized in that the estimation of the optical flow as flow hypothesis by the estimation module ( 4 ) for a possible object in the first image ( 8a ) and second image ( 8b ) takes place on the basis of a contour region of the object.

Camera arrangement ( 1 ) according to claim 1, characterized in that the estimation of the optical flow as flow hypothesis by the estimation module ( 4 ) at least twice within the time interval dt1 between the first image ( 8a ) and second image ( 8b ), wherein the flow determination module ( 5 ) is adapted to determine the optical flow based on an averaged and / or integrated flow hypothesis.

Driver assistance system with a camera arrangement ( 1 ) according to one of the preceding claims 1 to 8.

Security camera with a camera arrangement ( 1 ) according to one of the preceding claims 1 to 8.