DE102009014437B4

DE102009014437B4 - Objekterkennungssystem und -verfahren

Info

Publication number: DE102009014437B4
Application number: DE102009014437.4A
Authority: DE
Inventors: Matthias Strauss; Dr. Lüke Stefan
Original assignee: Continental Autonomous Mobility Germany GmbH
Current assignee: Aumovio Autonomous Mobility Germany GmbH
Priority date: 2008-03-26
Filing date: 2009-03-26
Publication date: 2023-01-19
Anticipated expiration: 2029-03-27
Also published as: DE102009014437A1

Abstract

Objekterkennungssystem, umfassend wenigstens eine Bilderfassungseinrichtung (101a, 101b) mit einem einzelnen Bildsensor (201), der rasterförmig angeordnete Sensorelemente eines ersten Typs (202) und eines zweiten Typs (203) umfasst, wobei die Sensorelemente des zweiten Typs (203) innerhalb des Bildsensors zwischen den Sensorelementen des ersten Typs (202) angeordnet sind, wobei mittels der Sensorelemente des ersten Typs ein Bild in einem ersten Spektralbereich erfassbar ist und mittels der Sensorelemente des zweiten Typs ein weiteres Bild in einem zweiten Spektralbereich erfassbar ist, weiterhin umfassend eine Objekterkennungseinrichtung (110), die dazu ausgestaltet ist, anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich zu erkennen, und umfassend eine Plausibilisierungseinrichtung (113), die dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich in dem zweiten, mit den Sensorelementen des anderen Typs erfassten Bild erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung eine Zuverlässigkeit der Objekterkennung zu ermitteln.

Description

Technisches Gebiet
Die Erfindung bezieht sich auf die Erkennung von Objekten anhand von Bilddaten. Insbesondere betrifft die Erfindung ein Objekterkennungssystem und ein Objekterkennungsverfahren. Das Objekterkennungssystem und das Verfahren sind insbesondere für einen Einsatz in einem Kraftfahrzeug geeignet.
Hintergrund der Erfindung
In modernen Kraftfahrzeugen werden in zunehmendem Maße Bilderfassungssysteme eingesetzt, um Objekte im Umfeld des Fahrzeugs zu erkennen. Hierbei kann es sich um Objekte, wie beispielsweise weitere Fahrzeuge oder Fußgänger, handeln, mit denen das Kraftfahrzeug potenziell kollidieren kann. Aufgrund der Erkennung eines derartigen Objekts können in dem Fahrzeug Sicherheitsmaßnahmen ausgeführt werden, die eine Kollision mit dem Objekt verhindern oder Kollisionsfolgen verringern. Des Weiteren können Bilderfassungssysteme eingesetzt werden, um beispielsweise Verkehrsschilder automatisch zu erkennen und den Fahrer auf Beschränkungen aufmerksam zu machen und/oder den Fahrzustand des Fahrzeugs geeignet zu beeinflussen. Ein Beispiel hierfür ist die Erkennung von Verkehrschildern, welche die erlaubte Fahrgeschwindigkeit beschränken.
Die Objekterkennung kann sowohl anhand von Bildern im für den Menschen sichtbaren Spektralbereich erfolgen, als auch anhand von Bildern im nicht sichtbaren Spektralbereich, insbesondere im Infrarotbereich. Infrarotbilder ermöglichen dabei die Erkennung von Objekten auch bei schlechten Sichtverhältnissen, vor allem bei Dunkelheit.
Aus der DE 10 2006 010 295 A1 geht ein Kamerasystem mit zwei Bildaufnehmern hervor, die in unterschiedlichen Spektralbereichen empfindlich sein können. In einer beschriebenen Ausgestaltung ist ein Bildaufnehmer im fernen Infrarotbereich empfindlich und der andere Bildaufnehmer im nahen Infrarotbereich oder im sichtbaren Spektralbereich. Die mit den Bildaufnehmern erfassten Bilder werden zum getrennt voneinander ausgewertet, um darin Objekte zu erkennen. Anhand der redundant erfassten Objekte wird eine Plausibilisierung der Objekterkennung durchgeführt.
Hierzu ist es allerdings erforderlich, dass ein Objekt, das einem Spektralbereich erfasst worden ist, einem Objekt zugeordnet wird, dass in dem anderen Spektralbereich erfasst worden ist. Wenn dies nicht eindeutig gelingt, können Fehler bei der Plausibilisierung auftreten.
Die DE 10 2007 013 664 A1 beschreibt eine Objekterkennung mit zwei gesonderten Bildsensoren, die Bilder in unterschiedlichen Spektralbereichen erfassen können, ähnlich wie das aus der DE 10 2006 010 295 A1 bekannte Kamerasystem. Aus der DE 10 2008 027 588 A1 ist eine Fußgänger-Erfassungsvorrichtung mit einer oder mehreren CCD-Kameras bekannt, die eine erste Fußgänger-Beurteilungseinheit, welche anhand der Größe und des Bewegungszustand eines erkannten Objekts einen Fußgänger detektiert, und eine zweite Fußgänger-Beurteilungseinheit aufweist, welche anhand der Formdaten des erkannten Objekts einen Fußgänger zu detektiert. Eine dritte Fußgänger-Beurteilungseinheit ist vorgesehen, um auf Basis der Beurteilungen der ersten und zweiten Fußgänger-Beurteilungseinheit abschließend festzustellen, ob es sich beim erkannten Objekt um einen Fußgänger handelt.
Darstellung der Erfindung
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine zuverlässigere Plausibilisierung von Objekten zu ermöglichen, die mittels eines bildbasierten Objekterkennungssystems erkannt worden sind.
Die Aufgabe wird gelöst durch ein Objekterkennungssystem mit den Merkmalen des Patentanspruchs 1 und durch ein Verfahren zur Objekterkennung mit dem Merkmalen des Anspruchs 11 Ausführungsformen des Objekterkennungssystems und des Verfahrens sind in den abhängigen Ansprüchen angegeben.
Gemäß einem ersten Aspekt der Erfindung wird ein Objekterkennungssystem vorgeschlagen, das wenigstens eine Bilderfassungseinrichtung mit einem Bildsensor aufweist, der rasterförmig angeordnete Sensorelemente eines ersten Typs und eines zweiten Typs umfasst. Mittels der Sensorelemente des ersten Typs ist ein Bild in einem ersten Spektralbereich erfassbar, und mittels der Sensorelemente des zweiten Typs ist ein weiteres Bild in einem zweiten Spektralbereich erfassbar. Weiterhin umfasst das System eine Objekterkennungseinrichtung, die dazu ausgestaltet ist, anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich zu erkennen, sowie eine Plausibilisierungseinrichtung, die dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich in dem zweiten, mit den Sensorelementen des anderen Typs erfassten Bild erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung eine Zuverlässigkeit der Objekterkennung zu ermitteln.
Gemäß einem zweiten Aspekt der Erfindung wird ein Verfahren zum Erkennen von Objekten vorgeschlagen, bei dem mittels wenigstens eines Bildsensor, der rasterförmig angeordnete Sensorelemente eines ersten Typs und eines zweiten Typs umfasst, zwei Bilder erfasst werden, wobei mittels der Sensorelemente des ersten Typs ein Bild in einem ersten Spektralbereich erfasst wird und mittels der Sensorelemente des zweiten Typs ein weiteres Bild in einem zweiten Spektralbereich erfasst wird. Anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes wird ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich erkannt. Es wird geprüft, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich des zweiten, zweiten, mit den Sensorelementen des anderen Typs erfassten Bilds erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung wird eine Zuverlässigkeit der Objekterkennung ermittelt.
Die Erfindung beinhaltet die Idee, Objekte redundant anhand von Bildern zu erfassen, die im Wesentlichen deckungsgleich sind. Hierdurch kann eine Plausibilisierung durchgeführt werden, die dadurch vereinfacht wird, dass für ein Objekt, das in einem Bildbereich eines Bildes erkannt worden ist, in dem im Wesentlichen gleichen Bildbereich des anderen Bildes geprüft wird, ob das Objekt dort ebenfalls erkannt werden kann oder ob vorgegebenen Merkmale des Objekts in diesem Bildbereich erkennbar sind. Hierdurch wird erreicht, dass in den Bilder abgebildete Objekte einander einfacher und zuverlässiger zugeordnet werden können bzw. in einem Bild enthaltene Merkmale eines Objekts einem in einem anderen Bild erkannten Objekt einfacher und zuverlässiger zugeordnet werden können. Damit wird die Plausibilisierung zuverlässiger.
Ein weiterer Vorteil der Erfindung besteht darin, dass eine Objekterkennung nicht in beiden Bildern durchgeführt zu werden braucht, sondern dass die Plausibilisierung eines in einem Bild erkannten Objekts anhand von in dem zweiten Bild enthaltenen Merkmalen des Objekts vorgenommen werden kann. Hierdurch wird die Plausibilisierung vereinfacht. Insbesondere kann sie ressourcenschonender durchgeführt werden, da eine Objekterkennung in der Regel sehr ressourcenintensiv ist.
Um im Wesentlichen deckungsgleiche Bilder in beiden Spektralbereichen erfassen zu können, ist es erfindungsgemäß vorgesehen, dass die Sensorelemente des zweiten Typs innerhalb des Bildsensors zwischen den Sensorelementen des ersten Typs angeordnet sind. Insbesondere können die Sensorelemente innerhalb des Bildsensors derart angeordnet sein, dass sich Sensorelemente des ersten und zweiten Typs innerhalb des Rasters nach einem vorgegebenen Muster abwechseln.
Die beiden Spektralbereiche sind vorzugsweise voneinander verschiedenen. In einer Ausgestaltung des Objekterkennungssystems und des Verfahrens ist vorgesehen, dass es sich bei dem ersten Spektralbereich um einen sichtbaren Spektralbereich und bei dem zweiten Spektralbereich um einen nicht sichtbaren Spektralbereich handelt. Gleichfalls können jedoch beide Spektralbereiche in einem nicht sichtbaren Unter einem sichtbaren Spektralbereich wird in Rahmen der Erfindung ein Spektralbereich verstanden, der vom Menschen bzw. mittels des menschlichen Auges wahrnehmbar ist. Entsprechend handelt es sich bei dem nicht sichtbaren Spektralbereich um einen Spektralbereich der vom Menschen nicht wahrnehmbar ist.
In einer Ausführungsform des Objekterkennungssystems und des Verfahrens handelt es sich bei dem nicht sichtbaren Spektralbereich um einen Nah- und/oder Ferninfrarotbereich. In diesem Spektralbereichen ist vorteilhaft eine Bilderfassung auch bei Dunkelheit möglich. Sofern eine Bilderfassung im Nahinfrarotbereich vorgesehen ist, weist das Objekterkennungssystem zu diesem Zweck vorzugsweise eine Beleuchtungseinrichtung auf, die den Bilderfassungsbereich der Bilderfassungseinrichtung zumindest teilweise mit Licht im Nahinfrarotbereich ausleuchtet. Der Ferninfrarotbereich umfasst die von Objekten ausgesendete Wärmestrahlung. Damit können Merkmale von Objekte erfasst werden, die unabhängig vom sichtbaren Spektralbereich sind, wodurch die Zuverlässigkeit der Plausibilisierung eines Objekts weiter erhöht werden kann.
Eine Ausgestaltung des Objekterkennungssystems und des Verfahrens beinhaltet, dass es sich bei dem ersten Bild um das im sichtbaren Spektralbereich erfasste Bild handelt und bei dem zweiten Bild um das im nicht sichtbaren Spektralbereich erfasste Bild. Dies ist insbesondere dann zweckmäßig, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, in dem oftmals nur einzelne Merkmale von Objekten erfasst werden können, die für eine zuverlässige Objekterkennung nicht ausreichend sind. Diese können jedoch vorteilhaft zur Plausibilisierung herangezogen werden.
Eine weitere Ausgestaltung des Objekterkennungssystem und des Verfahrens zeichnet sich dadurch aus, dass das erste Bild situationsabhängig auswählbar ist. Somit kann für eine Objekterkennung das Bild herangezogen werden, welches in einer Situation am besten geeignet ist. Bei ausreichender Umgebungshelligkeit kann es sich hierbei um das im sichtbaren Spektralbereich erfasste Bild handeln. Bei Dunkelheit kann es sich hingegen um das im nicht sichtbaren Spektralbereich erfasste Bild handeln.
Eine Ausführungsform des Objekterkennungssystems und des Verfahrens ist dadurch gekennzeichnet, dass es sich bei dem vorgegebenen Merkmal um eine Kontur des Objekts handelt. Auch dann, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, können Konturen bestimmter Objekte, wie beispielsweise die Umrisse von Personen, auch in den im nicht sichtbaren Spektralbereich erfassten Bildern erkannt werden und zur Plausibilisierung und/oder zur Objekterkennung herangezogen werden.
Eine weitere Ausführungsform des Objekterkennungssystems und des Verfahrens zeichnet sich dadurch aus, dass es sich bei dem vorgegebenen Merkmal um eine Wärmequelle des Objekts handelt, die im Bereich der Umrisse des Objekts angeordnet ist. Dies ist insbesondere dann vorteilhaft, wenn es sich bei dem nicht sichtbaren Spektralbereich um den Ferninfrarotbereich handelt, in dem oftmals nur einzelne Merkmale von Objekten erfasst werden können. Die Wärmequelle kann dabei innerhalb der Umrisse des Objekts angeordnet sein oder im Randbereich des Objekts außerhalb seiner Umrisse.
Wie zuvor erwähnt kann eine Plausibilisierung eines Objekts anhand eines vorgegebenen Merkmals des Objekts in einem Bild vorgenommen werden, gleichfalls kann jedoch auch vorgesehen sein, dass auf der Grundlage beider erfassten Bilder eine Objekterkennung durchgeführt wird. Daher sieht eine Ausgestaltung Objekterkennungssystems und des Verfahrens vor, dass die Objekterkennungseinrichtung dazu ausgestaltet ist, eine Objekterkennung bezüglich des in dem ersten Spektralbereich erfassten Bildes und des in dem zweiten Spektralbereich erfassten Bildes durchzuführen, und dass die Plausibilisierungseinrichtung dazu ausgestaltet ist, zu prüfen, ob das Objekt in beiden Bildern im Wesentlichen an der gleichen Bildposition erkennbar ist.
Eine Weiterbildung des Objekterkennungssystems und des Verfahrens zeichnet sich dadurch aus, dass zwei beabstandet angeordnete Bilderfassungseinrichtungen mit in einem Überlappungsbereich überlappenden Bilderfassungsbereichen vorgesehen sind, und dass eine Verarbeitungseinrichtung vorgesehen ist, die dazu ausgestaltet ist, anhand der mittels der Bilderfassungseinrichtungen erfassten Bilder für den ersten und den zweiten Spektralbereich jeweils einen Abstand von in dem Überlappungsbereich enthaltenen Objektpunkten zu einem vorgegebenen Punkt zu bestimmen. Hierdurch können die Bilddaten durch Abstandsinformationen ergänzt werden.
Eine Ausführungsform des Objekterkennungssystems und des Verfahrens beinhaltet, dass die Objekterkennungseinrichtung dazu ausgestaltet ist, anhand der in einem Spektralbereich erfassten Bilder einen Abstand des Objekts zu dem vorgegebenen Punkt zu ermitteln, und dass die Plausibilisierungseinrichtung dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder das vorgegeben Merkmal des Objekts anhand der in dem anderen Spektralbereich erfassten Bilder im wesentlichen im gleichen Abstand zu dem vorgegebenen Punkt erkennbar ist. Damit wird erreicht, dass in den Bildern abgebildete Objekte einander noch einfacher und zuverlässiger zugeordnet werden können bzw. in einem Bild enthaltene Merkmale eines Objekts einem in einem anderen Bild erkannten Objekt noch einfacher und zuverlässiger zugeordnet werden können.
Das Objekterkennungssystem der zuvor beschriebenen Art kann Teil eines Kraftfahrzeugs sein. Vorzugsweise dient das Objekterfassungssystem dabei dazu, Objekte im Umfeld des Fahrzeugs zu erkennen und zu plausibilisieren, mit denen das Fahrzeug potenziell kollidieren könnte. Hierbei handelt es sich insbesondere um Personen im Fahrzeugumfeld und um weitere Fahrzeuge.
Die zuvor genannten und weitere Vorteile, Besonderheiten und zweckmäßige Weiterbildungen der Erfindung werden auch anhand der Ausführungsbeispiele deutlich, die nachfolgend unter Bezugnahme auf die Figuren beschrieben werden.
Figurenliste
Von den Figuren zeigt:

1 eine schematische Blockdarstellung eines erfindungsgemäß ausgestalteten Objekterkennungssystems und
2 eine schematische Darstellung einer rasterförmigen Anordnung von Sensorelementen eines Bildsensors.

Darstellung von Ausführungsbeispielen
1 zeigt Komponenten eines Objekterkennungssystems, das beispielsweise in einem Kraftfahrzeug eingesetzt werden kann, um Objekte im Umfeld des Kraftfahrzeugs zu erkennen und ihre relative Position in Bezug auf das Kraftfahrzeug zu bestimmen. Hierbei kann es sich etwa um Objekte handeln, mit denen das Kraftfahrzeug potenziell kollidieren könnte, wie etwa weitere Fahrzeuge oder Fußgänger handeln, oder um Verkehrsschilder, die etwa Geschwindigkeitsbegrenzungen anzeigen. Gleichfalls kann das Objekterkennungssystem jedoch auch in anderen Anwendungen eingesetzt werden.
Das in der 1 gezeigte Objekterkennungssystem ist als stereoskopisches System ausgestaltet und umfasst zwei Bilderfassungseinrichtungen 101a, 101 b, die beabstandet zueinander angeordnet sind. Die Bilderfassungseinrichtungen erfassen jeweils Bilder eines Bilderfassungsbereichs 102a, 102b, und die Bilderfassungsbereiche 102a, 102b überdecken sich zumindest teilweise in einem Überlappungsbereich 103. Bei einem Einsatz in einem Kraftfahrzeug sind die Bilderfassungsbereiche 102a, 102b vorzugsweise in Vorwärtsfahrtrichtung nach vorne ausgerichtet, so dass Objekte erfasst werden können, denen sich das Fahrzeug bei Vorwärtsfahrt nähert. Innerhalb des Fahrzeugs können die Bilderfassungseinrichtungen 101 a, 101 b beispielsweise im Bereich einer Frontscheibe angeordnet sein, insbesondere im Bereich eines an der Frontscheibe montierten Rückspiegels, so dass das Sichtfeld des Fahrers in möglichst geringem Maße eingeschränkt.
Die Bilderfassungseinrichtungen 101 a, 101b erfassen jeweils Bilder des zugehörigen Bilderfassungsbereichs 102a, 102b in einem für den Menschen sichtbaren Spektralbereich und in einem für den Menschen nicht sichtbaren Spektralbereich. Der nicht sichtbare Spektralbereich ist vorzugsweise ein Ferninfrarotbereich (FIR-Bereich) der von Objekten abgegebene Wärmestrahlung umfasst. Gleichfalls kann der nicht sichtbare Spektralbereich jedoch auch im nahen Infrarotspektrum (NIR-Bereich) liegen.
Sofern eine Bilderfassung im NIR-Bereich vorgesehen ist, verfügt das Objekterkennungssystem vorzugsweise über eine Beleuchtungseinrichtung, die Licht im NIR-Bereich abstrahlt und die Bilderfassungsbereiche 102a, 102b der Bilderfassungseinrichtungen 101a, 101b zumindest teilweise ausleuchtet. Die Beleuchtungseinrichtung kann insbesondere bei schlechten Lichtverhältnissen, wie etwa bei Dunkelheit, aktiviert werden, um eine Bilderfassung zu ermöglichen. Bei einem Einsatz des Objekterkennungssystems in einer Kraftfahrzeug lässt sich dadurch vor allem bei Dunkelheit die Bilderfassung verbessern, da das Licht im NIR-Bereich von weiteren Verkehrsteilnehmer nicht wahrgenommen wird, und daher ein größerer Umfeldbereich ausgeleuchtet werden kann als mit dem sichtbaren Abblendlicht des Fahrzeugs.
Zur Bilderfassung verfügen die Bilderfassungseinrichtungen 101a, 101b jeweils über einen Bildsensor 201. Die Bildsensoren 201 der Bilderfassungseinrichtungen 101a, 102b sind vorzugsweise in gleicher Weise ausgestaltet. Sie umfassen Sensorelemente 202, 203, die in einer Ebene in einem matrixartigen Raster angeordnet sind, wie es in 2 schematisch dargestellt ist. Weiterhin sind optische Elemente vorgesehen, mit denen der jeweilige Bilderfassungsbereich 102a, 102b auf dem Bildsensor 201 abgebildet wird.
Grundsätzlich verfügen die Bildsensoren 201 über Sensorelemente 202 eines ersten Typs (in 2 weiß dargestellt), die im sichtbaren Spektralbereich ansprechen. Jedes Sensorelement 202 des ersten Typs enthält ein lichtempfindliches Halbleiterelement, das ein Signal erzeugt, welches ein Maß für die in das Sensorelement 202, 203 einfallende Lichtmenge ist. Die Halbleiterelemente können beispielsweise entsprechend der CMOS- oder CCD-Technologie hergestellt sein (CMOS: Complementary Metal Oxide Semiconductor; CCD: Charges Coupled Device). Um den Spektralbereich zu begrenzen, in dem ein Sensorelement 202, 203 empfindlich ist, ist das Halbleiterelement in einer Ausgestaltung mit einer Filterschicht überzogen, die nur für Licht in dem gewünschten Spektralbereich durchlässig ist.
Um Farbbilder erfassen zu können, sind unterschiedliche Sensorelemente 202 des ersten Typs vorgesehen, die durch Verwendung einer bestimmten Filterschicht einem vorgegebenen Farbbereich zugeordnet sind. Die verschiedenen vorgesehenen Farbbereiche entsprechend in einer Ausgestaltung jeweils einer der Primärfarben Rot, Grün und Blau, so dass ein Farbbild im RGB-Farbraum oder einem Teil des RGB-Farbraums erzeugt werden kann. Die in verschiedenen Farbbereichen ansprechenden Sensorelemente 202 des ersten Typs sind in einem vorgegebenen Muster in dem Bildsensor 201 verteilt. Vorzugsweise wird dabei eine möglichst gleichmäßige, insbesondere eine möglichst isotrope, Anordnung gewählt.
Gleichfalls können jedoch auch Sensorelemente 202 des ersten Typs verwendet werden, die im Wesentlichen im gesamten sichtbaren Spektralbereich empfindlich sind. Mittels derartiger Sensorelemente lassen sich Grauwertbilder erfassen.
Des Weiteren umfassen die Bildsensoren 201 Sensorelemente 203 eines zweiten Typs (in 2 schwarz dargestellt), die in dem vorgesehenen nicht sichtbaren Spektralbereich empfindlich sind. Insbesondere dann, wenn es sich hierbei um einen NIR-Bereich handelt, können die Sensorelemente 203 des zweiten Typs in gleicher Weise ausgestaltet sein, wie die Sensorelementen 203 des ersten Typs, und eine Filterschicht aufweisen, die im Nahinfrarotbereich lichtdurchlässig ist. Gleichfalls können in anderer Weise ausgestaltete Sensorelemente eingesetzt werden, die in dem vorgesehenen nicht sichtbaren Spektralbereich ansprechen. Im Falle, dass es sich bei dem nicht sichtbaren Spektralbereich um einen Ferninfrarotbereich handelt, kann es sich etwa um mikrobolometrische oder auch pyroelektrische Sensorelemente 203 handeln. Die Sensorelemente 203 des zweiten Typs sind gleichfalls in einem vorgegebenen Muster gleichmäßig in dem Bildsensor 201 verteilt, so dass eine möglichst isotrope Anordnung entsteht.
In der beispielhaften Ausgestaltung der Bildsensoren 201, die in der 2 dargestellt ist, sind in jeder Zeile und Spalte der rasterförmigen Anordnung abwechselnd Sensorelemente 202, 203 des ersten und zweiten Typs vorgesehen. Dies bedeutet insbesondere, dass Sensorelemente 202, 203 des ersten und zweiten Typs in gleicher Anzahl vorliegen. Alternativ kann jedoch auch eine andere Anordnung gewählt werden, insbesondere eine Anordnung mit weniger Sensorelementen 203 des zweiten Typs. So könnte beispielsweise nur in jeder zweiten Zeile des Rasters Sensorelemente 203 des zweiten Typs vorhanden sein, die sich mit Sensorelementen 202 des ersten Typs abwechseln.
Wenn die Erfassung von Farbbildern im sichtbaren Spektralbereich vorgesehen ist, wird die Anordnung von Sensorelementen 202 des ersten Typs, die in unterschiedlichen Farbbereichen empfindlich sind, entsprechend dem vorgesehenen Anwendungsbereich des Objekterkennungssystems gewählt. Bei dem zuvor beschriebenen Einsatz in Kraftfahrzeug ist es etwa vorteilhaft, dass wenigstens Sensorelemente 202 vorgesehen sind, die im roten Spektralbereich empfindlich sind, da Objekte im Straßenverkehr häufig Merkmale aufweisen, die rot gefärbt sind. Beispiele hierfür sind Rück- und/oder Bremsleuchten an Fahrzeugen und rote Bereiche von Verkehrschildern. Darüber hinaus sind vorzugsweise Sensorelemente 202 des ersten Typs vorgesehen, die wenigstens in einem zweiten sichtbaren Spektralbereich empfindlich sind. Hierbei kann es sich etwa um einen blauen Bereich handeln, da Strukturen im grünen bzw. gelben Bereich oftmals weniger gut aufgelöst werden können. Sensorelemente 202 des ersten Typs, die in einem dritten sichtbaren Spektralbereich ansprechen, können gleichfalls vorgesehen werden.
In einer beispielhaften Ausgestaltung der in der 2 gezeigten Konfiguration sind zwei verschiedenen Sensorelementen 202 des ersten Typs vorgesehen, die im roten und blauen Spektralbereich empfindlich sind. Insbesondere können die Sensorelemente 202 des ersten Typs in den ungeraden Zeilen des Rasters im roten Spektralbereich empfindlich sein und in den geraden Zeilen im blauen Spektralbereich. Um auch Sensorelemente 202 des ersten Typs zu integrieren, die beispielsweise im grünen Spektralbereich empfindlich sind, können diese etwa in den gerade oder ungeraden Zeilen des Rasters anstelle der Sensorelemente 203 des zweiten Typs vorgesehen werden.
Den Bilderfassungseinrichtung 101a, 101 b ist jeweils eine Verarbeitungseinrichtung 104a, 104b zugeordnet, welche die Signale des zugeordneten Bildsensors 201 ausliest und Bilder erzeugt, die als Bildsignale ausgegeben werden. Dabei werden in jeder Verarbeitungseinrichtung 104a, 104b die Signale der Sensorelemente 202, 203 des ersten und des zweiten Typs getrennt voneinander ausgelesen und verarbeitet, so dass ein Bild im sichtbaren Spektralbereich und ein Infrarotbild erzeugt wird. Zu diesem Zweck verfügen die Verarbeitungseinrichtungen 104a, 104b jeweils über eine erste Verarbeitungseinheit 105a, 105b, die zur Erzeugung von Bildern im sichtbaren Spektralbereich vorgesehen ist, und eine zweite Verarbeitungseinheit 106a, 106b, die zur Erzeugung von Infrarotbildern vorgesehen ist.
Die Verarbeitungseinheiten 105a, 105b erzeugen anhand der Signale der Sensorelemente 202 des ersten Typs vorzugsweise jeweils ein Bild, das im Folgenden auch als Farbbild bezeichnet wird. Hierunter sind jedoch nicht nur Farbbilder im eigentlichen Sinne zu verstehen, sondern gegebenenfalls auch Graustufenbilder im sichtbaren Spektralbereich. Wenn Sensorelemente 202 des ersten Typs vorgesehen sind, die in unterschiedlichen sichtbaren Spektralbereichen empfindlich sind, wird hierzu eine Farbinterpolation in einer dem Fachmann an sich bekannten Weise vorgenommen. Darüber hinaus können Bildpunkte, die innerhalb der Bildsensoren 201 von Sensorelementen 203 des zweiten Typs belegt sind, durch eine geeignete Interpolation aus den Signalen der umgebenden Sensorelemente 202 des ersten Typs berechnet werden. Auf diese Weise können Farbbilder erzeugt werden, deren Dimensionen denen der Bildsensoren 201 entsprechen.
Die Verarbeitungseinheiten 106a, 106b erzeugen Infrarotbilder aus den Signalen der Sensorelemente 203 des zweiten Typs, die in einer Ausgestaltung als Grauwertbilder ausgestaltet sein können. Die Anzahl der Bildpunkte dieser Bilder bzw. deren Dimension entspricht in einer Ausführungsform der Anzahl der Sensorelemente 203 des zweiten Typs. Gleichfalls können die Anzahl der Bildpunkte jedoch durch eine Interpolation erhöht werden, die in einer dem Fachmann an sich bekannten Weise vorgenommen werden kann. Vorzugsweise werden die Dimensionen des Infrarotbilds dabei durch Interpolation in Übereinstimmung mit den Dimensionen des Farbbilds gebracht. Hierdurch ergeben sich einander überdeckende Bilder desselben Bildausschnitts, welche die gleiche Größe aufweisen.
Die in den Verarbeitungseinrichtungen 104a, 104b erzeugten Bildsignale werden einer Auswerteeinrichtung 107 zugeführt. Die Auswertung der von beiden ersten Verarbeitungseinheiten 105a, 105b erhalten Farbbildsignale erfolgt dabei in eine Farbauswerteeinheit 108 der Auswerteeinrichtung 107, die anhand der erhalten Farbbildsignale Farbstereobilddaten erzeugt. Getrennt hiervon bestimmt eine Infrarotauswerteeinheit 109 aus den erhaltenen Infrarotbildsignalen Infrarotstereobilddaten. Die Stereobilddaten enthalten neben den Farbinformationen bzw. Grauwertinformationen der Bildpunkte Abstandsdaten, die den Abstand zwischen einem abgebildeten Gegenstand und einem definierten Punkt angeben, bei dem es sich beispielsweise um einen Punkt zwischen den beiden Bilderfassungseinrichtungen 101a, 101 b handeln kann. In einer Ausgestaltung enthalten die Bilddaten dabei für jeden Bildpunkt einen zugeordneten Abstandswert.
Die Ermittlung der Stereobilddaten beruht auf einer stereoskopischen Bildauswertung, die für die Farbbildsignale und die Infrarotbildsignale grundsätzlich in der gleichen Weise vorgenommen werden kann. Insbesondere werden dabei anhand von Bildpaaren, die ein mittels der ersten Bilderfassungseinrichtung 101a erfasstes Bild sowie ein zur gleichen Zeit mittels der zweiten Bilderfassungseinrichtung 102 erfasstes Bild umfassen, Abstände zu Gegenständen ermittelt, die in den Bildern abgebildet sind. Hierzu werden die Positionen von einander entsprechenden zu einem Gegenstand gehörenden Bildpunkten innerhalb der beiden Bilder einer Bildpaares miteinander verglichen, um den Abstand des Gegenstand zu den definierten Punkt zu ermitteln.
Alternativ zu der in der 1 gezeigten Konfiguration mit zwei Bilderfassungseinrichtungen 101a, 101b kann auch lediglich eine Bilderfassungseinrichtung vorgesehen sein. In diesem Fall werden Bilddaten bereitgestellt, die keine Abstandsinformationen enthalten. Entsprechend kann bei Verwendung nur einer Bilderfassungseinrichtung auch die Auswerteeinrichtung 107 wegfallen, da eine stereoskopische Bildauswertung nicht vorgenommen werden kann. Die Bilddaten werden dann von einer der Bilderfassungseinrichtung zugeordneten Verarbeitungseinrichtung bereitgestellt, welche die Funktionen einer der zuvor beschriebenen Verarbeitungseinrichtungen 104a, 104b aufweist.
Die ermittelten Bilddaten werden einer Objekterkennungseinrichtung 110 zugeführt. In der Objekterkennungseinrichtung 110 erfolgt die Verarbeitung der Farbbilddaten vorzugsweise zunächst in einem ersten Objekterkennungsmodul 111 getrennt von der Verarbeitung der Infrarotbilddaten, die in einem zweiten Objekterkennungsmodul 112 vorgenommen werden kann. In den Objekterkennungsmodulen 111, 112 werden Objekte vorgegebener Objektklassen anhand von charakteristischen Merkmalen der Objekte erkannt. Dies kann in einer dem Fachmann grundsätzlich bekannten Weise mittels eines oder mehrerer Klassifizierer erfolgen. Beispiele geeigneter Klassifizierer sind Neuronale Netze oder Support Vector Machines. Für die Erkennung von Objekten einer bestimmen Klasse können in den Farbbilddaten und in den Infrarotbilddaten unterschiedliche Merkmale herangezogen werden, die anhand der jeweiligen Bilddaten erkennbar sind.
Alternativ kann es auch vorgesehen sein, das entweder die Farbbilddaten oder die Infrarotbilddaten einem Objekterkennungsmodul 111, 112 zugeführt werden, um anhand der Bilddaten eine Objekterkennung vorzunehmen. Dabei werden der Objekterkennung die Bilddaten zugrunde gelegt, die eine zuverlässigere Erkennung von Objekte der vorgegebenen Objektklassen ermöglichen. Es kann dabei fest vorgegebenen sein, welche Bilddaten als Grundlage für eine Objekterkennung dienen. Gleichfalls kann jedoch auch eine situationsspezifische Auswahl der für die Objekterkennung heranzuziehenden Bilddaten vorgesehen sein. Dies ist insbesondere dann zweckmäßig, wenn das Objekterkennungssystem in unterschiedlichen Situationen eingesetzt wird, in denen die verschiedenen Bilddaten unterschiedlich gut für eine Objekterkennung geeignet sind. Wird das Objekterkennungssystem beispielsweise auch bei Dunkelheit eingesetzt, wie es bei einem Einsatz in einem Kraftfahrzeug in der Regel der Fall ist, kann etwa bei Dunkelheit eine Objekterkennung unter Verwendung der Infrarotbilddaten vorgenommen werden, und bei ausreichender Helligkeit können die Farbbilddaten für die Objekterkennung herangezogen werden.
Die vorgegebenen Objektklassen beziehen sich auf Objekte, die im Hinblick auf den vorgesehenen Einsatzzweck des Objekterkennungssystems relevant sind. Bei einem Einsatz in einem Kraftfahrzeug können beispielsweise Objektklassen vorgesehen sein, die Objekte umfassen, mit denen das Fahrzeug kollidieren könnte. Hierbei handelt es sich um Fußgänger und weitere Fahrzeuge. In Bezug auf weitere Fahrzeuge sind dabei vorzugsweise mehrere Objektklassen vorgesehen entsprechend den unterschiedlichen Typen von Fahrzeugen. Insbesondere können unterschiedliche Objektklassen für Personenkraftwagen, Lastkraftwagen und Zweiräder vorgesehen sein. Letztere können beispielsweise noch in motorisierte und unmotorisierte Zweiräder unterteilt werden.
Nach Durchführung der Objekterkennung in dem Objekterkennungsmodul 111 und/oder in dem Objekterkennungsmodul 112 werden die Erkennungsergebnisse sowie die Bilddaten an eine Plausibilisierungseinrichtung 113 übergeben. Die Erkennungsergebnisse umfassen dabei Angaben zum Objekttyp eines erkannten Objekts, zu dem Bildbereich, in dem ein Objekt erkannt worden ist, sowie gegebenenfalls der Größe des erkannten Objekts Sofern Stereobilddaten bestimmt werden, wird zudem der Abstand des Objekts zu dem definierten Punkt angegeben. Zusätzlich enthalten die Erkennungsergebnisse vorzugsweise Angaben zur Zuverlässigkeit der Erkennung, d.h. zu der Wahrscheinlichkeit, mit der ein erkanntes Objekt tatsächlich vorliegt. Diese Angaben werden in einer dem Fachmann an sich bekannten Weise beispielsweise mittels der verwendeten Klassifizierer bestimmt.
Die Plausibilisierungseinrichtung 113 gleicht die Erkennungsergebnisse, die anhand von Bilddaten eines Typs ermittelt worden sind, mit den Bilddaten des anderen Typs oder mit gegebenenfalls für diese Bilddaten vorliegenden Erkennungsergebnissen ab, um eine Zuverlässigkeit der Objekterkennung zu ermitteln.
Sofern sowohl auf der Grundlage der Farbbilddaten als auch auf der Grundlage der Infrarotbilddaten eine Objekterkennung bezüglich der Objektklasse vorgenommen worden ist, zu der das erkannte Objekt gehört, prüft die Plausibilisierungseinrichtung 113, ob ein Objekt der Objektklasse anhand beider Bilddaten an einem übereinstimmenden Positionen erkannt worden ist. Hierbei werden die Positionen innerhalb des Farbbildes und des Infrarotbildes zugrunde gelegt, die bei tatsächlich vorhandenen Objekten im Wesentlichen übereinstimmen, da die Bilder im Wesentlichen deckungsgleich sind. Geringe Abweichungen der Position eines Objekts, die aufgrund von Ungenauigkeit bei der Objekterkennung entstehen können, werden toleriert. Wenn Stereobilddaten vorliegen, prüft die Plausibilisierungseinrichtung zudem, ob das Objekt anhand der Farbbilddaten und der Infrarotbilddaten mit gleichem Abstand zu dem definierten Punkt erkannt worden ist. Geringe Abweichungen des Abstands werden auch hier zugelassen.
Wenn die Plausibilisierungseinrichtung 113 feststellt, dass ein Objekt lediglich anhand der Bilddaten eines Typs erkannt worden ist, anhand der Bilddaten des anderen Typs jedoch nicht, oder wenn die Positionen des Objekts innerhalb der Bilder der verschiedenen Typen über ein vorgegebenes Maß hinaus voneinander abweichen, dann wird das Objekt verworfen oder die Erkennung des Objekts wird als unsicher eingestuft. Gleiches gilt, wenn gegebenenfalls die anhand der Bilddaten der verschiedenen Typen ermittelten Abstände zu dem Objekt um ein vorgegebenes Maß hinaus voneinander abweichen. Die zulässige Abweichung der Position und Abstände kann dabei in einer Ausgestaltung auch in Abhängigkeit von den Wahrscheinlichkeiten bestimmt werden, mit denen das Objekt in den Bilddaten der beiden Typen erkannt worden ist. Wenn die Positionen und gegebenenfalls die Abstände in den vorgegebenen Grenzen übereinstimmen, dann werden die Erkennungsergebnisse bezüglich des Objekts von der Plausibilisierungseinrichtung 114 als zuverlässig qualifiziert.
Wenn eine Objekterkennung lediglich auf der Grundlage von Bilddaten eines Typs durchgeführt wird, d.h. entweder auf der Grundlage der Farbbilddaten oder der Infrarotbilddaten, dann führt die Plausibilisierungseinrichtung 113 eine Plausibilisierung des Objekts anhand der Bilddaten durch, die nicht zur Objekterkennung herangezogen worden sind. Hierzu werden vorgegebene Merkmale von Objekten der verschiedenen Objektklassen herangezogen, die anhand dieser Bilddaten ermittelbar sind. Dabei wird für ein erkanntes Objekt einer Objektklasse geprüft, ob das vorgegebene Merkmal des Objekts an der Bildposition vorliegen, die für das Objekt aufgrund der Objekterkennung ermittelt worden ist. Dabei wird wiederum ausgenutzt, dass die Bilder der verschiedenen Typen im Wesentlichen deckungsgleich sind. Wenn Stereobilddaten vorliegen, wird zudem geprüft, ob die Merkmale in einem Abstand zu definierten Punkt erkannt werden können, der dem Abstand des Objekts zu dem Punkt entspricht.
Bei dem Merkmal eines Objekts kann es sich um seine Kontur handeln, sofern diese in den Bilddaten erkennbar ist, die nicht für die Objekterkennung herangezogen worden sind. Wenn neben den Farbbilddaten Infrarotbilddaten im NIR-Bereich erfasst werden, dann kann die Kontur eines Objekts in der Regel in den Bilddaten beider Typen erkannt und daher zur Plausibilisierung herangezogen werden. Gleiches gilt in der Regel in Bezug auf die Erkennung von Personen, wenn Infrarotbilddaten im FIR-Bereich erfasst werden. In diesem lassen sie Umrisse der Person bei ausreichend geringer Umgebungstemperatur ebenfalls erkennen.
Wird also beispielsweise eine Person, wie etwa ein Fußgänger oder ein Zweiradfahrer, aufgrund einer in dem Objekterkennungsmodul 111 durchgeführten Objekterkennung erkannt, dann prüft die Plausibilisierungseinrichtung 113, ob an der im Wesentlichen gleichen Bildposition innerhalb der im FIR-Bereich erfassten Infrarotbilddaten die Kontur einer Person erkannt werden kann. Ist dies der Fall, werden die Erkennungsergebnisse bezüglich der Person von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen in der Bildposition werden dabei, wie zuvor bereits beschrieben, zugelassen. Wird in den Infrarotbilddaten hingegen keine Kontur einer Person an der gegebenen Bildposition ermittelt, dann wird die erkannte Person verworfen, oder die Erkennung wird als unsicher qualifiziert.
Sofern Stereobilddaten vorliegen, wird zusätzlich geprüft, ob die Kontur einer Person in einem Abstand zu dem definierten Punkt innerhalb der Infrarotbilddaten erkannt wird, der dem für die Person ermittelten Abstand im Wesentlichen entspricht. Nur wenn dies der Fall ist, werden die Erkennungsergebnisse bezüglich der Person von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen der Abstände werden dabei, wie zuvor bereits beschrieben, zugelassen. Überschreitet die Abweichung ein vorgegebenes Maß werden die Erkennungsergebnisse verworfen oder als unsicher eingestuft.
Gleichfalls können jedoch auch andere vorgegebene Merkmale des Objekts herangezogen werden. Dies ist insbesondere dann zweckmäßig, wenn die Kontur eines Objekts nicht in den Bilddaten beider Typen ermittelt werden kann. Dies ist oftmals der Fall, wenn neben den Farbbilddaten Infrarotbilddaten im FIR-Bereich erfasst werden. In diesem Fall können jedoch oftmals andere Merkmale vorgegeben werden, die eine Plausibilisierung des Objekts ermöglichen. Diese Merkmale können sich insbesondere auf Wärmequellen beziehen, die für ein Objekt charakteristisch sind.
Ein Beispiel hierfür ist der Auspuff eines Kraftfahrzeugs bzw. die von dem Auspuff ausgestoßenen Abgase, die in der Regel eine höhere Temperatur als die Umgebung aufweisen. Wird also etwa ein Kraftfahrzeug aufgrund einer in dem Objekterkennungsmodul 111 durchgeführten Objekterkennung anhand der Farbbilddaten erkannt, dann prüft die Plausibilisierungseinrichtung 113, ob an der im Wesentlichen gleichen Bildposition innerhalb der im FIR-Bereich erfassten Infrarotbilddaten Wärmequellen erkennbar sind, die einem Auspuff oder den Auspuffabgasen entsprechen. Ist dies der Fall, werden die Erkennungsergebnisse bezüglich des Kraftfahrzeugs von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Werden in den Infrarotbilddaten hingegen derartige Wärmequellen an der gegebenen Bildposition nicht ermittelt, dann wird das erkannte Kraftfahrzeug verworfen oder die Erkennung als unsicher qualifiziert.
Liegen Stereobilddaten vor, wird zusätzlich geprüft, ob die Wärmequelle in einem Abstand zu dem definierten Punkt innerhalb der Infrarotbilddaten erkannt wird, der dem für das Kraftfahrzeug ermittelten Abstand im Wesentlichen entspricht. Nur wenn dies der Fall ist, werden die Erkennungsergebnisse von der Plausibilisierungseinrichtung 113 als zuverlässig eingestuft. Geringe Abweichungen der Abstände werden dabei zugelassen. Überschreitet die Abweichung ein vorgegebenes Maß werden die Erkennungsergebnisse verworfen oder als unsicher eingestuft.
Im Hinblick auf eine Erkennung von Fußgängern stellen Hände und Kopf oftmals Wärmequellen dar, deren Temperatur die Umgebungstemperatur übersteigt. Dementsprechend kann anhand dieser Merkmale mittels der Infrarotbilddaten im FIR-Bereich eine Plausibilisierung eines Fußgängers vorgenommen werden, der auf der Grundlage von Farbbilddaten erkannt worden ist. Diese Plausibilisierung kann zusätzlich zu der zuvor beschriebenen Plausibilisierung anhand der Kontur der Person durchgeführt werden, wodurch die Zuverlässigkeit weiter gesteigert werden kann.
Wenn die Erkennungsergebnisse nicht verworfen werden, dann werden sie von der Plausibilisierungseinrichtung 113 ausgegeben und können von weiteren Systemen verwendet werden. Zusätzlich wird die Zuverlässigkeit der Erkennungsergebnisse an das weitere System gemeldet. Bei einem Einsatz des Objekterkennungssystems in einem Kraftfahrzeug kann es sich hierbei beispielsweise um Sicherheitssysteme handeln, die für ein erkanntes Objekt die Wahrscheinlichkeit bestimmen, mit der das Fahrzeug mit dem Objekt kollidieren könnte. Übersteigt diese ein vorgegebenes Maß können Sicherheitsmaßnahmen eingeleitet werden, welche die Kollision verhindern oder Kollisionsfolgen mindern.
In der Regel sind dabei gestufte Maßnahmen vorgesehen, die sich in ihrer Eingriffsstärke unterscheiden. Die Stufe einer auszuführenden Sicherheitsmaßnahme ergibt sich dabei aus der Wahrscheinlichkeit einer Kollision und der Zuverlässigkeit, mit der das Objekt erkannt worden ist. Insbesondere kann bei einer geringeren Zuverlässigkeit eine Maßnahme einer geringeren Stufe durchgeführt werden. So kann es vorgesehen sein, dass die Maßnahme auf eine Warnung des Fahrers des Kraftfahrzeugs beschränkt wird, wenn die Erkennung des Objekts von der Plausibilisierungseinrichtung 113 als unsicher eingestuft worden ist. Bei einer zuverlässigen Erkennung könne beispielsweise auch Eingriffe in das Fahrverhalten des Fahrzeugs vorgenommen werden.
Obwohl die Erfindung in den Zeichnungen und der vorausgegangenen Darstellung im Detail beschrieben wurde, sind die Darstellungen illustrativ bzw. beispielhaft und nicht einschränkend zu verstehen; insbesondere ist die Erfindung nicht auf die erläuterten Ausführungsbeispiele beschränkt.
Beispielsweise kann zusätzlich zu einer Bilderfassung im FIR-Bereich anstelle einer Bilderfassung in einem sichtbaren Spektralbereich eine Bilderfassung in einem nicht sichtbaren Spektralbereich vorgenommen werden. Hierbei kann es sich um einen NIR Bereich handeln. Der Fachmann erkennt, dass die Objekterkennung und - plausibilisierung in diesem analog zu der vorangegangenen Beschreibung durchgeführt werden kann.

Claims

Objekterkennungssystem, umfassend wenigstens eine Bilderfassungseinrichtung (101a, 101b) mit einem einzelnen Bildsensor (201), der rasterförmig angeordnete Sensorelemente eines ersten Typs (202) und eines zweiten Typs (203) umfasst, wobei die Sensorelemente des zweiten Typs (203) innerhalb des Bildsensors zwischen den Sensorelementen des ersten Typs (202) angeordnet sind, wobei mittels der Sensorelemente des ersten Typs ein Bild in einem ersten Spektralbereich erfassbar ist und mittels der Sensorelemente des zweiten Typs ein weiteres Bild in einem zweiten Spektralbereich erfassbar ist, weiterhin umfassend eine Objekterkennungseinrichtung (110), die dazu ausgestaltet ist, anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich zu erkennen, und umfassend eine Plausibilisierungseinrichtung (113), die dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich in dem zweiten, mit den Sensorelementen des anderen Typs erfassten Bild erkennbar ist, und in Abhängigkeit von dem Ergebnis der Prüfung eine Zuverlässigkeit der Objekterkennung zu ermitteln.
Objekterkennungssystem nach Anspruch 1, wobei es sich bei dem ersten Spektralbereich um einen sichtbaren Spektralbereich und bei dem zweiten Spektralbereich um einen nicht sichtbaren Spektralbereich handelt.
Objekterkennungssystem nach Anspruch 2, wobei es sich bei dem nicht sichtbaren Spektralbereich um einen Nah- und/oder Ferninfrarotbereich handelt.
Objekterkennungssystem nach Anspruch 2 oder 3, wobei es sich bei dem ersten Bild um das im sichtbaren Spektralbereich erfasste Bild handelt und bei dem zweiten Bild um das im nicht sichtbaren Spektralbereich erfasste Bild.
Objekterfassungssystem nach einem der vorangegangenen Ansprüche, wobei das erste Bild situationsabhängig auswählbar ist.
Objekterkennungssystem nach einem der vorangegangenen Ansprüche, wobei es sich bei dem vorgegebenen Merkmal um eine Kontur des Objekts handelt.
Objekterkennungssystem nach einem der vorangegangenen Ansprüche, wobei es sich bei dem vorgegebenen Merkmal um eine Wärmequelle des Objekts handelt, die im Bereich der Umrisse des Objekts angeordnet ist.
Objekterkennungssystem nach einem der vorangegangenen Ansprüche, bei dem die Objekterkennungseinrichtung (110) dazu ausgestaltet ist, eine Objekterkennung bezüglich des in dem ersten Spektralbereich erfassten Bildes und des in dem zweiten Spektralbereich erfassten Bildes durchzuführen, wobei die Plausibilisierungseinrichtung (113) dazu ausgestaltet ist, zu prüfen, ob das Objekt in beiden Bildern im Wesentlichen an der gleichen Bildposition erkannt worden ist.
Objekterkennungssystem nach einem der vorangegangenen Ansprüche, umfassend zwei beabstandet angeordnete Bilderfassungseinrichtungen (101a, 101b) mit in einem Überlappungsbereich (103) überlappenden Bilderfassungsbereichen (102a, 102b), und umfassend eine Verarbeitungseinrichtung (107), die dazu ausgestaltet ist, anhand der mittels der Bilderfassungseinrichtungen erfassten Bilder für den ersten und den zweiten Spektralbereich jeweils einen Abstand von in dem Überlappungsbereich enthaltenen Objektpunkten zu einem vorgegebenen Punkt zu bestimmen.
Objekterkennungssystem nach Anspruch 9, wobei die Objekterkennungseinrichtung(110) dazu ausgestaltet ist, anhand der in einem Spektralbereich erfassten Bilder einen Abstand des Objekts zu dem vorgegebenen Punkt zu ermitteln und die Plausibilisierungseinrichtung (113) dazu ausgestaltet ist, zu prüfen, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts anhand der in dem anderen Spektralbereich erfassten Bilder im Wesentlichen im gleichen Abstand zu dem vorgegebenen Punkt erkennbar ist.
Verfahren zum Erkennen von Objekten, bei dem - mittels eines einzelnen Bildsensors (201), der rasterförmig angeordnete Sensorelemente eines ersten Typs (202) und eines zweiten Typs (203) umfasst, wobei die Sensorelemente des zweiten Typs (203) innerhalb des Bildsensors zwischen den Sensorelementen des ersten Typs (202) angeordnet sind, zwei Bilder erfasst werden, wobei mittels der Sensorelemente des ersten Typs ein Bild in einem ersten Spektralbereich erfasst wird und mittels der Sensorelemente des zweiten Typs ein weiteres Bild in einem zweiten Spektralbereich erfasst wird, - anhand eines ersten, mit den Sensorelementen eines Typs erfassten Bildes ein Objekt einer vorgegebenen Objektklasse in einem Bildbereich erkannt wird, - geprüft wird, ob das Objekt und/oder ein vorgegebenes Merkmal des Objekts im Wesentlichen in dem gleichen Bildbereich des zweiten, mit den Sensorelementen des anderen Typs erfassten Bilds erkennbar ist, und - in Abhängigkeit von dem Ergebnis der Prüfung eine Zuverlässigkeit der Objekterkennung ermittelt wird.