-
Die vorliegende Erfindung bezieht sich auf Time-of-Flight- bzw. Laufzeitsensorsysteme und Bild-Sensier- bzw. -Erfassungssysteme.
-
Objekterfassungssysteme werden beispielsweise in Fahrzeugen verwendet, um Objekte vor, hinter oder auf einer Seite eines Fahrzeugs zu erfassen. Die Objekterfassungssensoren können verwendet werden während Parkmanövern, wenn eine Geschwindigkeitsregelvorrichtung aktiv ist und/oder um ein nahendes Fahrzeug zu erfassen. Zwei Beispiele eines Objekterfassungssystems sind ein Time-of-Flight- bzw. Laufzeit-(Time-Of-Flight = TOF-)System und ein Bild-Sensier- bzw. -Erfassungssystem.
-
Ein TOF-System weist wenigstens einen TOF-Sensor auf, welcher verwendet wird, um einen Abstand zwischen dem Sensor und einem Objekt zu erfassen. Beispielhafte TOF-Sensoren sind Radarsensoren und Nah-Infrarot-Spektroskopiesensoren. Ein TOF-System misst die Zeitdauer für ein Signal, welches von dem TOF-System übertragen wird, um sich zu einem Objekt fortzubewegen, von dem Objekt reflektiert zu werden und um zu dem TOF-Sensor zurückzukehren. Als solches kann ein TOF-System verwendet werden, um Abstände zwischen beispielsweise einem Fahrzeug und Objekten in einer Umgebung, welche das Fahrzeug umgibt, zu erfassen.
-
Ein Bild-Sensier- bzw. -Erfassungssystem kann Bild-Sensoren aufweisen wie beispielsweise eine ladungsgekoppelte Vorrichtung (CCD = Charge-Coupled Device) oder eine Matrix bzw. Anordnung von komplementären Metalloxidhalbleiter-(CMOS-)Aktiv-Pixel-Sensoren (CMOS = Complimentary Metal Oxide Semiconductor = komplementäre Metalloxidhalbleiter). Die Bild-Sensoren wandeln ein optisches Bild in ein elektrisches Signal um, welches verwendet wird, um ein Bild zu erzeugen, welches eine Umgebung nach vorne, nach hinten und/oder auf einer Seite eines Fahrzeuges repräsentiert. Bild-Daten von den Bild-Sensoren können verwendet werden, um Objekte in der Umgebung des Fahrzeugs zu erfassen.
-
Aus der
DE 10 2010 055 865 A1 ist eine Kameravorrichtung für einen Kraftwagen bekannt, welche zumindest ein, mehrere Pixel umfassendes integriertes Halbleiterelement aufweist, das dazu ausgebildet ist, ein erstes Bild optisch zu detektieren und räumlich aufgelöste, zweidimensionale Bildinformationen bereitzustellen, und zumindest ein von dem ersten Halbleiterelement verschiedenes zweites, mehrere photoempfindliche Pixel umfassende integriertes Halbleiterbauelement aufweist, das dazu ausgebildet ist, ein zweites Bild optisch zu detektieren und räumlich aufgelöste, dreidimensionale Bildinformationen bereitzustellen, wobei das zumindest eine erste und das zumindest eine zweite Hableiterbauelement in einem gemeinsamen Gehäuse vorliegen.
-
Aus der
US 7 741 961 B1 ein Hinderniserfassungs- und Verfolgungssystem für 3-dimensionale Bildgebungssysteme für Fahrzeuge bekannt. Das System enhält ein Tiefen-Bildgebungssystem, das Tiefendaten von Objekten im Bildfeld einer Detektionszone, die zumindest einen Teil des Fahrwegs des Fahrzeugs umfasst, erfasst. Eine Datenanalyse der Tiefendaten des Objekts identifiziert im 3 dimensionalen X, Y, Z Raum zumindest eine Ebene des Fahrwegs, wonach im Anschluss Schwellwerte für Normalhöhen ober- und unterhalb der Fahrwegebene definiert werden. Erfasste Objekte innerhalb der Detektionszone, die höher oder niedriger als der Normalschwellwert liegen, werden als potentiell gefährlich eingestuft und erzeugen eine Warnung an den Fahrzeugführer.
-
Aus der
DE 10 2009 045 233 A1 ist ein Verfahren zur kombinierten visuellen Anzeige von Video- und Abstandsdaten einer Verkehrssituation, in der sich ein Fahrzeug befindet, bekannt. Das Verfahren umfasst das Aufnehmen von Kameradaten eines Umgebungsabschnitts vom Fahrzeug aus sowie das Erfassen von Entfernungsdaten, die mindestens einen Abstand zwischen dem Fahrzeug und mindestens einem Objekt innerhalb des Umgebungsabschnitts wiedergeben. Das Verfahren sieht vor, zumindest einen Bildabschnitt der Kamerabilddaten abhängig von dem mindestens einen Abstand zu verzerren. Der verzerrte, zumindest eine Bildabschnitt wird daraufhin gezeigt. Ferner umfasst die Erfindung eine Vorrichtung zum Ausführen des erfindungsgemäßen Verfahrens.
-
Aus der
DE 10 2007 004 348 A1 ist ein Imager-Halbleiterbauelement für ein Kamerasystem eines Fahrzeugs bekannt, das eine zweidimensionale integrierte Anordnung von Imager-Pixeln zur Aufnahme von optischer oder infraroter Strahlung und Ausgabe von Bildsignalen aufweist. Erfindungsgemäß ist vorgesehen, dass auf dem Imager-Halbleiterbauelement Mess-Zellen, insbesondere PMD-Messzellen, für eine Entfernungsbestimmung durch Laufzeitmessung von optischer oder infrarorter Strahlung integriert sind. Hierdurch werden ein monokulares Kamerasystem und Verfahren zu dessen Verwendung ermöglicht, bei denen Infrarot-Strahlung für eine Laufzeitmessung ausgesendet wird, und aus von den Imager-Pixeln ausgegebenen Bildsignalen und von den Mess-Zellen ausgegebenen Mess-Zellen-Signalen ein kombiniertes Bild- und Tiefendarstellung erstellt wird, das Entfernungsinformationen der Mess-Zellen-Signale enthält.
-
Die der Erfindung zugrunde liegende Aufgabe wird durch eine Vorrichtung gemäß Anspruch 1 und 9 gelöst. Vorteilhafte Weiterentwicklungen und Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Ein Objekterfassungssystem eines erfindungsgemäßen Fahrzeuges ist ausgestattet mit und weist auf einen Time-of-Flight- bzw. Laufzeit-(TOF = Time-Of-Flight-)Sensor. Der TOF-Sensor empfängt ein reflektiertes Objekterfassungssignal zu einer zweiten Zeit basierend auf einem Objekterfassungssignal, welches zu einer ersten Zeit ausgesandt wird. Ein Bild-Sensor erzeugt ein Bild-Signal, welches ein Bild eines erfassten Objekts aufweist. Der Bild-Sensor ist verschieden von und benachbart zu dem TOF-Sensor. Ein TOF-Steuer- bzw. Regelmodul erzeugt Abstandsdaten basierend auf der ersten Zeit und der zweiten Zeit und bestimmt, ob wenigstens ein Abschnitt eines erfassten Objekts innerhalb eines bestimmten Abstands des Fahrzeugs ist. Ein Bild-Steuer- bzw. Regelmodul erzeugt Bild-Daten basierend auf dem Bild-Signal. Ein Erfassungs-Steuer- bzw. Regelmodul korreliert bzw. setzt die Abstands-Daten und die Bild-Daten zueinander in Beziehung, um eine Warnanzeige zu erzeugen, wenn wenigstens ein Abschnitt des erfassten Objekts innerhalb des vorbestimmten Abstands des Fahrzeugs ist.
-
In einer anderen Ausgestaltung ist ein Objekterfassungssystem vorgesehen, das ein Substrat aufweist. Das Substrat weist einen TOF-Sensor mit N Pixel-Sensoren auf. Der TOF-Sensor empfängt ein reflektiertes TOF-Signal zu einer zweiten Zeit basierend auf einem TOF-Signal, welches zu einer ersten Zeit ausgesandt wird. N ist eine ganze Zahl. Ein Bild-Sensor weist M Pixel-Sensoren, welche verschieden von den N Pixel-Sensoren sind, auf und erzeugt ein Bild-Signal, und ist benachbart zu dem TOF-Sensor, wobei M eine ganze Zahl ist. Ein TOF-Steuer- bzw. Regelmodul erzeugt Abstands-Daten basierend auf der ersten Zeit und der zweiten Zeit und bestimmt, ob wenigstens ein Abschnitt eines erfassten Objekts innerhalb eines vorbestimmten Abstandes eines Fahrzeuges ist. Ein Bild-Steuer- bzw. Regelmodul erzeugt Bild-Daten basierend auf dem Bild-Signal. Ein Erfassungs-Steuer- bzw. Regelmodul korreliert bzw. setzt die Abstands-Daten und die Bild-Daten zueinander in Beziehung, um eine erste Warnanzeige zu erzeugen, wenn wenigstens ein Abschnitt des erfassten Objekts innerhalb des vorbestimmten Abstandes des Fahrzeugs ist.
-
In einer noch anderen Ausgestaltung ist ein Verfahren zum Betreiben eines Objekterfassungs-Systems vorgesehen, das ein Erzeugen einer Übereinstimmungsmatrix zwischen TOF-Pixel-Sensoren eines TOF-Sensors und Bildpixel-Sensoren eines Bild-Sensors aufweist. Abstands-Daten werden von dem TOF-Sensor empfangen. Bild-Daten werden von dem Bild-Sensor empfangen. Die Abstands-Daten werden mit einem Warnabstand verglichen und eine Warnanzeige wird erzeugt. Eine erste Übereinstimmung wird zwischen einer ersten Teilmenge bzw. Untermenge der TOF-Pixel-Sensoren und wenigstens einem von den Bildpixel-Sensoren und den Pixeln einer Anzeige bestimmt. Die erste Untermenge bzw. Teilmenge der TOF-Pixel-Sensoren ist mit Abständen eines erfassten Objekts, welche innerhalb des Warnabstandes sind, verbunden. Das erfasste Objekt und die Warnanzeige werden gemäß der ersten Übereinstimmung angezeigt.
-
Weitere Gebiete der Anwendbarkeit der vorliegenden Erfindung werden aus der detaillierten Beschreibung, welche hierin nachstehend bereitgestellt ist, offensichtlich werden.
-
Die vorliegende Offenbarung wird vollständiger verstanden werden aus der detaillierten Beschreibung und den beigefügten Zeichnungen, in welchen:
-
1 eine Draufsicht auf ein Objekterfassungs-System eines Fahrzeugs ist;
-
2 ine Seitenansicht des Objekterfassungs-Systems der 1 ist;
-
3 ein funktionales Blockdiagramm eines Objekterfassungs-Systems ist, welches einen TOF-Sensor und einen Bild-Sensor auf getrennten Substraten in Übereinstimmung mit der vorliegenden Offenbarung enthält;
-
4 ein funktionales Blockdiagramm eines Sensorchips ist, welches eine Massenmittelpunkt- bzw. Masseschwerpunkt- bzw. Schwerpunktimplementation in Übereinstimmung mit der vorliegenden Offenbarung veranschaulicht;
-
5 ein funktionales Blockdiagramm eines Objekterfassungs-Systems ist, welches einen kombinierten TOF- und Bild-Sensor auf einem gemeinsamen Substrat in Übereinstimmung mit der vorliegenden Offenbarung enthält;
-
6 ein funktionales Blockdiagramm eines Objekterfassungs-Systems ist, welches einen ineinandergeschachtelten bzw. verschachtelten TOF- und Bild-Sensor in Übereinstimmung mit der vorliegenden Offenbarung enthält;
-
7 eine Draufsicht auf einen Sensorchip ist, welche ein Beispiel für eine verschachtelte Pixel-Sensoranordnung in Übereinstimmung mit der vorliegenden Offenbarung veranschaulicht;
-
8 eine Seitenansicht eines Fahrzeuges und eines bevorstehenden Objekts ist, welche eine Beispielwarnung und kritische Abstände in Übereinstimmung mit der vorliegenden Offenbarung veranschaulicht;
-
9 eine Seitenansicht des Fahrzeugs und des bevorstehenden Objekts der 8 ist, welche das Objekt bei dem Warnabstand veranschaulicht;
-
10 eine Seitenansicht des Fahrzeuges und des bevorstehenden Objekts der 8 ist, welche das Objekt bei dem kritischen Abstand veranschaulicht; und
-
11 ein Verfahren zum Betreiben eines Objekterfassungs-Systems in Übereinstimmung mit der vorliegenden Offenbarung veranschaulicht.
-
Es sollte verstanden werden, dass Schritte innerhalb eines Verfahrens in unterschiedlicher Reihenfolge ausgeführt werden können, ohne die Prinzipien der vorliegenden Erfindung zu ändern.
-
Wie hierin verwendet kann sich der Ausdruck „Modul” darauf beziehen, ein Teil zu sein von oder aufzuweisen: eine anwendungsspezifische integrierte Schaltung (ASIC = Application Specific Integrated Circuit = anwendungsspezifische integrierte Schaltung); eine elektronische Schaltung; eine kombinationslogische Schaltung; ein feldprogrammierbares Gate-Array (FPGA = Field Programmable Gate Array = feldprogrammierbares Gate-Array); einen Prozessor (geteilt, dediziert oder Gruppe), welcher Code ausführt; andere geeignete Komponenten, welche die beschriebene Funktionalität aufweisen; oder eine Kombination von einigen oder allen der Vorstehenden, wie beispielsweise in einem System-On-Chip. Der Ausdruck Modul kann einen Speicher (geteilt, dediziert bzw. fest zugeordnet oder Gruppe) aufweisen, welcher Code speichert, welcher durch den Prozessor ausgeführt wird.
-
Der Ausdruck Code, wie er vorstehend verwendet wird, kann Software, Firmware und/oder Micro-Code einschließen und kann sich auf Programme, Routinen, Funktionen, Klassen und/oder Objekte beziehen. Der Ausdruck geteilt, wie er vorstehend verwendet wird, bedeutet, dass einiger oder der gesamte Code von mehreren Modulen ausgeführt werden kann unter Verwendung eines einzelnen (geteilten) Prozessors. Zusätzlich kann einiger oder der gesamte Code von mehreren Modulen durch einen einzelnen (geteilten) Speicher gespeichert werden. Der Ausdruck Gruppe, wie er vorstehend verwendet wird, bedeutet, dass einiger oder der gesamte Code von einem einzelnen Modul ausgeführt werden kann unter Verwendung einer Gruppen von Prozessoren. Zusätzlich kann einiger oder der gesamte Code von einem einzelnen Modul unter Verwendung einer Gruppe von Speichern gespeichert werden.
-
Die Vorrichtungen und Verfahren, welche hierin beschrieben werden, können durch ein oder mehrere Computerprogramme, welche durch einen oder mehrere Prozessoren ausgeführt werden, implementiert sein. Die Computerprogramme weisen prozessorausführbare Instruktionen bzw. Befehle auf, welche auf einem nichtvergänglichen, konkreten bzw. dinghaften computerlesbaren Medium gespeichert sind. Die Computerprogramme können auch gespeicherte Daten aufweisen. Nicht beschränkende Beispiele des nichtvergänglichen dinghaften computerlesbaren Mediums sind ein nichtflüchtiger Speicher, ein magnetischer Speicher und ein optischer Speicher.
-
Objekterfassungs-Sensoren weisen beispielsweise Time-of-Flight- bzw. Laufzeit(Time-Of-Flight = TOF)-Sensoren und Bild-Sensoren auf. Der Ausdruck TOF-Sensor bezieht sich auf eine Anordnung bzw. Matrix oder kollektive Gruppe von TOF-Pixel-Sensoren. Der Ausdruck TOF-Sensor kann sich auf alle TOF-Pixel-Sensoren auf einem Substrat beziehen. Beispielhafte TOF-Sensoren sind Radarsensoren, Nah-Infrarot-Spektroskopie-Sensoren, Ultraschall-Sensoren, Licht-Sensoren, Phasendetektoren etc. Die TOF-Sensoren können Licht von einer gepulsten Lichtquelle, von einer modulierten Funkfrequenzlichtquelle, etc. erfassen. Der Ausdruck Bild-Sensor bezieht sich auf eine Anordnung bzw. Matrix oder kollektive Gruppe von Bild-Pixel-Sensoren, wie beispielsweise Rot-Grün-Blau(RGB = Red-Green-Blue)-Luminanz-Pixel-Sensoren. Der Ausdruck Bild-Sensor kann sich auf alle Bild- oder Luminanz-Pixel-Sensoren auf einem Substrat beziehen. Beispielhafte Bild-Sensoren sind eine ladungsgekoppelte Vorrichtung (Charge-Coupled-Device = CCD), ein komplementärer Metalloxid-Halbleiter(CMOS = Complementary Metal Oxide Seminconductor-)Aktiv-Pixel-Sensor etc. CCDs und CMOS-Aktiv-Pixel-Sensoren sind Beispiele für RGB Luminanz-Pixel-Sensoren.
-
Ein TOF-System weist wenigstens einen TOF-Sensor auf und erfasst Abstände zwischen dem (den) TOF-Sensor(en) und Objekten innerhalb eines Bereiches bzw. der Reichweite des (der) TOF-Sensor(en). Als ein Beispiel kann ein TOF-System eine Laufzeit eines 850 Nanometer (nm) Ausbruches bzw. Impulses von Licht berechnen. Ein Bild-System weist wenigstens einen Bild-Sensor auf und erfasst Objekte innerhalb einer Umgebung. Ein Bild-System ist in seiner Fähigkeit, Abstände zwischen den Bild-Sensoren und den Objekten genau zu bestimmen, beschränkt. Aus diesem Grunde werden typischerweise Bild-Sensor-Daten verwendet, um eine Bild einer Umgebung vorzusehen und sie werden nicht verwendet, um Abstandsinformationen vorzusehen.
-
Ein Objekterfassungs-System, welches sowohl einen TOF-dedizierten Sensor bzw. einen TOF-zugeordneten Sensor und einen Bild-zugeordneten Sensor aufweist, kann sowohl Abstands- als auch Bildinformationen mit den Vorteilen, welche mit TOF- und Bild-Sensoren verbunden sind, bereitstellen. Eine Kollisionsvermeidung und Gegenmaßnahmen können durchgeführt werden basierend auf den Abstands- und Bildinformationen. Diese Art bzw. dieser Typ von Objekterfassungs-Systemen kann verwendet werden, um Objekte in einem Bild zu identifizieren, welche innerhalb vorbestimmter Abstände eines Fahrzeugs bzw. von einem Fahrzeug sind. Die Objekte in einem Bild können hervorgehoben werden oder markiert werden, um einem Bediener eines Fahrzeuges anzuzeigen, dass die Objekte innerhalb eines Warn- oder eines Gefahrenabstandes des Fahrzeugs sind.
-
Bezug nehmend nunmehr auf die 1 und 2 sind eine Draufsicht und eine Seitenansicht eines Objekterfassungs-Systems 10 eines Fahrzeugs 12 gezeigt. Das Objekterfassungs-System 10 kann eine bedruckte Leiterplatte (PCB = Printed Circuit Board) 13 mit einem TOF-Sensormodul 14 und einem Bild-Sensormodul 16 aufweisen. Die Sensormodule 14, 16 werden verwendet, um sowohl Abstands- als auch Bild-Daten zu sammeln, welche mit Objekten in einer Umgebung des Fahrzeugs 12 verbunden sind.
-
Das TOF-Sensormodul 14 kann einen TOF-zugeordneten Sensor (TOF-Sensor) 18 und entsprechende Schaltungskomponenten bzw. Schaltungsbauteile aufweisen. Die Schaltungsbauteile bzw. Schaltungskomponenten können ein TOF-Steuer- bzw. Regelmodul 20 aufweisen, welches ein TOF-Sensor-Signal TOF in ein Abstands-Signal DIST konvertiert bzw. umwandelt. Die Signale TOF und DIST weisen Abstands-Daten auf, welche erfassten Objekten zugeordnet sind.
-
Das Bild-Sensormodul 16 kann einen Bild-zugeordneten Sensor (Bild-Sensor) 22 und entsprechende Schaltungskomponenten bzw. Schaltungsbauteile aufweisen. Die Schaltungskomponenten bzw. Schaltungsbauteile können ein Bild-Steuer- bzw. Regelmodul 24 aufweisen, welches ein Bild-Sensorsignal LUM in ein Bild-Signal IMAGE umwandelt bzw. konvertiert. Die Signale LUM und IMAGE weisen Luminanz- und/oder Bild-Daten einschließlich Daten, welche den erfassten Objekten zugeordnet sind, auf. Der TOF-Sensor 18 und der Bild-Sensor 22 können auf bzw. an einer äußeren Oberfläche des Fahrzeugs 12 (beispielsweise auf einer Fahrzeugstoßstange) platziert sein.
-
Die Abstands- und Bild-Daten können kombiniert werden und auf einer Anzeige 26 einem Fahrzeugbediener über System- und Grafik-Steuer- bzw. Regelmodule 28 gezeigt werden. Die Abstands- und Bild-Daten können verwendet werden, um beispielsweise anzuzeigen, dass ein Objekt innerhalb eines vorbestimmten Abstandes bzw. innerhalb vorbestimmter Abstände des Fahrzeuges 12 ist. Dies ermöglicht es einem Fahrzeug-Gegenmaßnahmen- und/oder -Kollisions-Vermeidungssystem und/oder dem Fahrzeugbediener bzw. Fahrzeugbettiger, Gegenmaßnahmen durchzuführen und eine Kollision mit dem Objekt zu vermeiden.
-
Als ein Beispiel sind Objekte A und B gezeigt. In dem Beispiel, welches gezeigt ist, ist Objekt A auf einer senkrechten bzw. normalen Ebene 30 relativ zu einer TOF-/Bildebene 32 (oder der Mitte eines TOF-/Bildbogens 34) zentriert. Der TOF-/Bildbogen 34 kann beispielsweise sphärisch geformt sein. Objekt B ist weg von der Normalen platziert. Ein Objekt ist weg von der Normalen, wenn das Objekt nicht auf (oder zentriert auf) der senkrechten bzw. normalen Ebene 30 ist. Objekt B ist zu der TOF-/Bildebene 32 durch einen weg-von-der-Normalen-Winkel α weg von der Normalen. Objekt A ist mit ungefähr einem Abstand D1 von der PCB 13, den Modulen 14, 16 und den Linsen 39, 40 gezeigt. Objekt B hat ungefähr einen Abstand D2 von der PCB 13, den Modulen 14, 16 und den Linsen 39, 40, wobei D2 kleiner ist als D1.
-
Die normale Ebene 30 kann sich von einer Referenz-Ebene 36 zwischen dem TOF- und dem Bild-Sensormodul 14, 16 erstrecken. Die normale Ebene 30 ist rechtwinklig zu der TOF-/Bild-Ebene 32. Die normale Ebene 30 kann sich auch von und rechtwinklig zu einer Fahrzeugfahroberfläche (beispielsweise Straße) 42 erstrecken. Die Referenz-Ebene 36 kann sich quer durch eine vordere Oberfläche der TOF- und Bild-Sensoren 18, 22 und/oder quer durch vordere Oberflächen 37, 38 der Linsen 39, 40 erstrecken, wie gezeigt ist. Die Linsen 39 und 40 können relativ zueinander basierend auf einer Referenz angeordnet sein, wie beispielsweise der Referenzebene 36, um eine Unausgeglichenheit bzw. Diskrepanz zwischen Daten der Sensoren 18, 22 zu vermeiden.
-
Obwohl nur eine TOF-/Bild-Ebene (oder TOF-Bild-Bogen) in 1 gezeigt ist, kann irgendeine Anzahl von TOF-/Bild-Ebenen (oder TOF-/Bild-Bögen) verwendet werden. Die TOF-/Bild-Ebene 32 (oder der TOF-/Bild-Bogen 34) kann ein vorbestimmter Abstand von der PCB 13, den Sensoren 18, 22 und/oder den Linsen 39, 40 sein. Andere Beispiele von TOF-/Bild-Ebenen sind in den 8 bis 10 gezeigt.
-
Obwohl das Objekterfassungs-System 10 sowohl Abstands- als auch Bildinformationen vorsieht, können die Abstandsinformationen Fehler aufgrund des Abstandes (z. B. Abstand D1) zwischen Mitten der Sensoren 18, 22 und/oder zwischen Mitten der Linsen 39, 40 aufweisen. Die Abstandsinformationen können Fehler aufweisen, wenn beispielsweise ein Objekt weg von der Normalen relativ zu der TOF-/Bild-Ebene 32 (oder der Mitte des TOF-Bild-Bogens 34) platziert ist, wie beispielsweise das Objekt B. Der Abstand D3 zwischen dem TOF-Sensor 18 (oder der Linse 39) und dem Bild-Sensor 22 (oder der Linse 40) kann beispielsweise 25 bis 50 Millimeter (mm) sein. Je größer der Abstand D3 zwischen den Mitten der Sensoren 18, 22 und/oder zwischen den Mitten der Linsen 39, 40 ist, desto größer sind die Fehler. Auch je größer der weg-von-der-Normalen-Winkel α ist, desto größer ist der Fehler.
-
Eine Technik zum Kompensieren eines Fehlers aufgrund eines Abstandes zwischen den Mitten der Sensoren 18, 22 und/oder zwischen den Mitten der Linsen 39, 40 schließt ein Berechnen der Fehler ein. Abstands- und/oder Bild-Daten werden basierend auf dem Rechner angepasst. Der Fehler wird basierend auf dem Abstand und dem weg-Winkel (beispielsweise Winkel α) des Objekts berechnet. Obwohl diese Technik verwendet werden kann, um den Fehler zu kompensieren, verursacht diese Technik Verarbeitungsverzögerungen. Implementationen sind nachstehend beschrieben, welche Abstände zwischen TOF- und Bild-Sensoren minimieren, um damit verbundene Fehler zu minimieren.
-
In 3 ist ein Objekterfassungs-System 50 gezeigt, welches einen TOF-Sensor 52 und einen Bild-Sensor 54 auf getrennten oder unabhängigen Substraten 56, 58 (beispielsweise getrennten CMOS-Substraten) enthält. Das Objekterfassungs-System 50 kann ein nach vorne gerichtetes, Seiten- und/oder nach hinten gerichtetes Objekterfassungs-System, ein Park-System oder ein anderes Objekterfassungs-System sein. Das Objekterfassungs-System 50 weist ein Verarbeitungsmodul 60 (beispielsweise eine erste PCB) und ein Erfassungsmodul bzw. Sensiermodul 62 (beispielsweise eine zweite PCB) auf. Das Verarbeitungsmodul 60 weist ein Verarbeitungssystem 64 mit einem TOF-Steuer- bzw. Regelmodul 66, einem Bild-Steuer- bzw. Regelmodul 68 und einem System-Steuer- bzw. Regelmodul 70 auf.
-
Das TOF-Steuer- bzw. Regelmodul 64 empfängt ein TOF-Sensor-Signal TOF von dem TOF-Sensor 52. Das TOF-Sensor-Signal TOF kann basierend auf Reflexionen eines Objekterfassungs-Signals erzeugt werden. Das Objekterfassungs-Signal wird zu einer ersten Zeit ausgesandt und das Objekterfassungs-Signal wird durch den TOF-Sensor 52 zu einer zweiten Zeit empfangen, welche auf die erste Zeit nachfolgt. Das Objekterfassungs-Signal kann mittels eines Transmitters bzw. Senders 72 erzeugt werden und von Objekten in der Nähe des Fahrzeuges reflektiert werden. Das TOF-Steuer- bzw. Regelmodul 64 kann das Objekterfassungs-Signal mittels des Transmitters bzw. Senders 72 erzeugen. Der Transmitter 72 kann auf dem Sensiermodul 62 (wie gezeigt), auf dem Verarbeitungsmodul 60, oder auf einem ersten Sensorpaket 80 sein. Der Transmitter 72 kann ein Radar-Transmitter, ein Nah-Infrarot-Spektroskopie-Transmitter, ein Ultraschall-Transmitter, ein Licht-Transmitter etc. sein.
-
Das TOF-Steuer- bzw. Regelmodul 66 verstärkt, filtert und/oder wandelt das TOF-Sensor-Signal TOF in ein Abstands-Signal DIST um. Die Signale TOF und DIST weisen Abstands-Daten auf. Das Abstands-Signal DIST weist vertikale und horizontale TOF-Daten auf, welche auf einer Anzeige 84 (beispielsweise einem grafischen Verwender-Interface bzw. einer grafischen Verwender-Schnittstelle (GUI = Graphical User Interface)) dargestellt werden können. Das Bild-Steuer- bzw. Regelmodul 68 empfängt ein Bild-Sensor-Signal LUM von dem Bild-Sensor 54. Das Bild-Sensor-Signal LUM kann mit aufgenommenen Bild-Daten zu der zweiten Zeit oder einer Zeit entsprechend den gesammelten TOF-Daten verbunden sein bzw. werden. Das Bild-Steuer- bzw. Regelmodul 68 verstärkt, filtert und/oder wandelt das Bild-Sensor-Signal LUM in ein Bild-Signal IMAGE um. Die Signale LUM und IMAGE weisen Luminanz- und/oder Bild-Daten auf. Das Bild-Signal IMAGE weist vertikale und horizontale Bild-Daten auf, welche auf der Anzeige 84 gezeigt werden können.
-
Das System-Steuer- bzw. Regelmodul 70 weist ein Objekterfassungs-Steuer- bzw. Regelmodul 86 auf und erzeugt ein kombiniertes TOF- und Bild-Signal. Das kombinierte TOF- und Bild-Signal ist in ein kombiniertes Grafik-Signal umgewandelt, welches auf der Anzeige 84 über ein Grafik-Steuer- bzw. Regelmodul (GCM = Graphics Control Module) 88 gezeigt wird. Das Objekterfassungs-Steuer- bzw. Regelmodul 86 kombiniert Abstands- und Bild-Daten, um das kombinierte TOF- und Bild-Signal zu erzeugen.
-
Das Objekterfassungs-Steuer- bzw. Regelmodul 86 kombiniert die Abstands- und Bild-Daten gemäß beispielsweise Regeln 90, vom Verwender auswählbare Variablen 92 und Korrelations- bzw. Zuordnungsalgorithmen 94, welche im Speicher 96 gespeichert sind und durch das System-Steuer- bzw. Regelmodul 70 aktualisiert werden. Die Regeln 90 können Kalibrier-Regeln aufweisen, welche durch die Korrelationsalgorithmen 94 verwendet werden, um TOF- und Bild-(oder Luminanz)-Daten von dem TOF und dem Bild-Sensor 52, 54 zu korrelieren bzw. zu verknüpfen. Die TOF- und Bild-Daten können vertikale und horizontale Daten aufweisen. Daten von TOF-Pixel-Sensoren des TOF-Sensors 52 werden mit Daten von Bild-Pixel-Sensoren des Bild-Sensors 54 korreliert bzw. verknüpft, um das kombinierte TOF- und Bild-Signal zu erzeugen.
-
Die Kalibrier-Regeln können physikalische Beziehungen (einschließlich vertikaler und horizontaler Positionen) zwischen TOF-Pixel-Sensoren und Bild-Pixel-Sensoren definieren. Die physikalischen Beziehungen können Pixel-Sensorgrößen, Pixel-Sensor-Platzierungen und TOF-zu-Bild-Pixel-Sensor-Übereinstimmungs-Informationen aufweisen. Die TOF-zu-Bild-Pixel-Sensor-Übereinstimmungs-Informationen können Gruppierungen von TOF- und Bild-Pixel-Sensoren aufweisen und können die Anzahl von Bild-Pixel-Sensoren, welche einem bestimmten TOF-Pixel-Sensor entsprechen, identifizieren.
-
Eine TOF-zu-Bild-Pixel-Sensor-Übereinstimmung kann eine 1:1 Beziehung (d. h. gleiche Auflösung zwischen TOF- und Bild-Pixel-Sensoren) sein. Eine Korrelation zwischen dem TOF- und Bild-Pixel-Sensor kann eine Fehlorientierungskorrelation und eine nichträumliche Platzierungsrelation aufweisen, wenn es eine 1:1 Beziehung gibt. Eine Fehlorientierungskorrelation kann verwendet werden, wenn die Orientierung des TOF und des Bild-Sensors und/oder des TOF- und des Bild-Pixel-Sensors nicht gleich relativ zu einer Referenz wie beispielsweise einer Referenzebene 95 orientiert sind. Dies korrigiert Fehler aufgrund beispielsweise wenn der TOF-Sensor relativ zu dem Bild-Sensor gedreht wird oder nicht ordnungsgemäß mit dem Bild-Sensor ausgerichtet ist. Eine Fehlorientierung von Sensoren und/oder Pixel-Sensoren kann während der Herstellung auftreten. Korrelationen zwischen Abstands-Daten und Bild-Daten können auf einem Winkel-Offset, einem horizontalen Offset, einem vertikalen Offset und einem longitudinalen Offset zwischen dem TOF-Sensor 52 und dem Bild-Sensor 54 und/oder zwischen Pixel-Sensoren davon basiert sein.
-
Es mag eine größere Anzahl von Bild-Pixel-Sensoren relativ zu der Anzahl der TOF-Pixel-Sensoren (beispielsweise N:1 Beziehung, wobei N eine ganze Zahl größer oder gleich 2 ist) geben. Beispielsweise kann der Bild-Sensor 54 eine Video-Grafik-Array (VGA) Auflösung haben und der TOF-Sensor 52 kann eine Viertel-VGA(QVGA = Quarter Video Graphics Array)Auflösung (d. h. ein 4:1 Auflösungsverhältnis) haben basierend auf der Anzahl von Bild- und TOF-Pixel-Sensoren. Beispielsweise können Sätze von Bild-Pixel-Sensoren mit einem einzelnen TOF-Pixel-Sensor gruppiert sein. Als ein Beispiel können 64 Bild-Pixel-Sensoren mit einem einzelnen TOF-Pixel-Sensor gruppiert sein. Beispielhafte TOF- und Bild-Sensor-Anordnungen sind in den 4 und 7 gezeigt.
-
Obwohl es mehr Bild-Pixel-Sensoren als TOF-Pixel-Sensoren geben mag, kann jeder der TOF-Pixel-Sensoren ein größeres Oberflächengebiet als jeder der Bild-Pixel-Sensoren haben. Mit der erhöhten Größe können die TOF-Pixel-Sensoren sensitiver bzw. empfindlicher sein als die Bild-Pixel-Sensoren. Die TOF-Pixel-Sensoren können in der Größe größer sein als die Bild-Pixel-Sensoren, um das Signalrauschverhältnis bzw. die Signalrauschverhältnisse zu maximieren. Dies verbessert die Abstandserfassungsgenauigkeit während eine Verwendung von weniger TOF- und/oder Bild-Pixel-Sensoren ermöglicht wird, was die Sensorgesamtkosten verringert.
-
Eine gesamte nutzbare Oberfläche des TOF- und des Bild-Sensors 52, 54 kann sich auf eine Oberfläche beziehen, wo sich TOF- und Bild-Sensordaten überschneiden oder überlappen. Die TOF-Daten, welche von TOF-Pixel-Sensoren erhalten werden, können im räumlich und/oder zeitlich einem Dithering unterzogen werden, um Schnittlinien (oder Ränder) eines Anzeigebilds zu glätten und/oder weich zu machen. Schnittlinien sind in den 9 und 10 gezeigt. Anti-aliasing und Matrix-Rotationskoeffizienten bzw. Matrix-Drehkoeffizienten können verwendet werden, um die Orientierung eines TOF oder von Warnanzeigen, welche über eine Bild erzeugt und angezeigt werden, zu filtern und anzupassen. Eine TOF- oder Warnanzeige kann sich auf eine Kreuzung bzw. auf einen Schnittpunkt, auf eine Warnanzeige, welche auf einem erfassten Objekt überlagert ist, auf einen Pfeil, welcher ein erfasstes Objekt identifiziert, auf einen Pfeil, welcher eine Platzierung eines erfassten Objekts identifiziert etc. beziehen.
-
Die Kalibrier-Regeln und Korrelationsalgorithmen 94 ermöglichen es, dass TOF-Informationen über einem Bild auf der Anzeige 84 angezeigt werden. Dies kann mittels bzw. über Software und/oder basierend auf physikalischen Platzierungen von TOF- und Bild-Pixel-Sensoren getan werden. TOF-Informationen können über einem Bild direkt von Daten, welche durch TOF- und Bild-Sensoren erzeugt werden angezeigt werden, welche mit einer Schwerpunkts-, einer verschachtelten oder einer anderen gemischten Pixelanordnung zwischen TOF- und Bild-Pixel-Sensoren verbunden sind. Beispiele für Schwerpunkts- und verknüpfte bzw. verschachtelte Anordnungen sind in den 4 und 7 gezeigt. In einer gemischten Pixelanordnung sind die TOF- und die Bild-Pixel in einem einzelnen Sensor auf einem einzelnen Substrat kombiniert. Die TOF-Informationen können über einem Bild indirekt angezeigt werden, wenn die TOF- und die Bild-Sensoren benachbart sind und eigene bzw. individuelle Sensoren sind, wie in 3 gezeigt ist. Eine Software wird verwendet, um Abstandsdaten mit den Bild-Daten zu überlappen, wenn die TOF- und die Bild-Sensoren individuelle bzw. eigene Sensoren sind.
-
Das Objekterfassungs-Steuer- bzw. Regelmodul 86 kombiniert auch Abstandswarninformationen mit den Abstands- und Bild-Daten, wenn es das kombinierte TOF- und Bild-Signal erzeugt. Die Abstandswarninformationen zeigen an, wenn ein Objekt innerhalb vorbestimmter Abstände eines Fahrzeuges ist und/oder zeigt abgeschätzte Abstände von Objekten relativ zu dem Fahrzeug an. Beispielhafte vorbestimmte Abstände sind ein Warnabstand (beispielsweise 8 Meter (m)) und ein kritischer Abstand (beispielsweise 3 m). Vorbestimmte und abgeschätzte Abstände können als Abstandsvariablen 100 in dem Speicher 96 und/oder als Nachrichten 102 gespeichert werden, welche auf der Anzeige 84 angezeigt werden können. Die Nachrichten 102 können auch Warntextnachrichten einschließen. Jegliche Anzahl von vorbestimmten Abständen und abgeschätzten Abständen kann gespeichert und oder angezeigt werden. Die vorbestimmten Abstände wie beispielsweise Warnabstände und kritische Abstände können durch einen Verwender ausgewählt und/oder gesetzt werden und als Teil der vom Verwender auswählbaren Variablen 92 gespeichert werden.
-
Die vom Verwender auswählbaren Variablen 92 können Betriebsvariablen, Anzeigevariablen, Bildvariablen, Warnvariablen etc. einschließen. Die vom Verwender auswählbaren Variablen 92 und/oder die Betriebsvariablen können die Helligkeit, den Kontrast, die Luminanz bzw. Bildleuchtdichte bzw. Helligkeit bzw. Leuchtdichte oder andere Pixelanpassungsparameter einschließen, welche verwendet werden, um Bilder anzupassen oder um Pixel abzubilden. Die vom Verwender auswählbaren Variablen 92 können eine Variable vom Warntyp einschließen, welche identifiziert, ob eine Warnanzeige eine Anzeige vom Audio-, Video- oder Vibrations-Typ ist. Eine Anzeige vom Vibrations-Typ kann ein Vibrieren eines Fahrzeugbedienersitzes, eines Lenkrades etc. einschließen.
-
Beispielsweise kann ein erster Typ von Audio-, Video- und/oder Vibrations-Alarm erzeugt werden, wenn wenigstens ein Teil eines erfassten Objektes innerhalb eines Warnabstandes ist. Ein zweiter Typ eines Audio-, Video- und/oder Vibrations-Alarms kann erzeugt werden, wenn wenigstens ein Abschnitt bzw. Teil eines erfassten Objekts innerhalb eines kritischen Abstandes ist. Beispielhafte Anzeigen bzw. Indikatoren vom Videotyp sind in den 9 und 10 gezeigt.
-
Die Anzeigen vom Videotyp können ein Einfärben, Abmischen (blending), Hervorheben, Blinken, Markieren und visuelle Transparenzeffekte, welche auf der Anzeige 84 gezeigt werden können, einschließen. Abschnitte und/oder alles eines bevorstehenden Objekts können in der Farbe und/oder Transparenz geändert werden, um einen Abstand dieses Objekts anzuzeigen. Beispiele davon sind in den 8–10 gezeigt. Die Farben können basierend auf dem Abstand des Objekts ausgewählt werden. Das bevorstehende Objekt kann beispielsweise mit einem Pfeil, einer Schnittlinie markiert werden und/oder hervorgehoben werden, so dass eine relative Position des Objekts für einen Fahrzeugbediener offensichtlich ist. Abschnitte oder alles eines Objekts können mit halbtransparenten Farben wie beispielsweise Gelb oder Rot abgemischt werden.
-
Die Audio-, visuellen-, und Vibrations-Alarme können sich mit abnehmendem Abstand eines Objekts relativ zu einem Fahrzeug ändern. Beispielsweise können lautere Audio-Anzeigen und/oder strahlendere bzw. hellere Farben verwendet werden, wenn ein Objekt an einem kritischen Abstand ist gegenüber dann, wenn das Objekt an einem Warnabstand ist. Einige andere Beispiele weisen Folgendes auf: Anpassen einer Vibrationsfrequenz, Anpassen einer Transparenz-Prozentzahl eines erfassten Objekts und/oder einer Warnanzeige; und ein Anpassen einer Blinkanzeigefrequenz bzw. Anzeigeblinkfrequenz.
-
Der Speicher 96 kann eine Bibliothek 104 mit den Regeln 90, den Nachrichten 102 und den Icons 106 aufweisen. Die Icons 106 können als Anzeigen vom Videotyp verwendet werden, um einen Fahrzeugbediener vor einem bevorstehenden Objekt zu warnen. Ein Beispiels-Icon kann eine blinkende Box an oder in der Nähe des bevorstehenden Objekts sein und auf der Anzeige 84 gezeigt sein.
-
Das Sensiermodul 62 weist ein Sensiersystem 110 mit der ersten Sensorpackung 80, einer zweiten Sensorpackung 112 und einer Linse 114 auf. Die erste Sensorpackung 80 weist den TOF-Sensor 52 auf dem ersten Substrat 56 auf. Die zweite Sensorpackung 112 weist den Bild-Sensor 54 auf dem zweiten Substrat 58 auf. Die Sensorpackungen 80, 112 können benachbart zu und/oder in Kontakt miteinander sein, um den Abstand D4 zwischen den Sensoren 52, 54 zu minimieren. Die erste und die zweite Sensorpackung 80, 112 sind unabhängig platziert (einzelne Vorrichtungen). Die TOF- und Bild-Sensoren 52, 54 teilen die Linse 114. Licht kann auf Pixel-Sensoren der TOF- und Bild-Sensoren 52, 54 durch die Linse 114 fokussiert werden.
-
In Betrieb empfängt das System-Steuer- bzw. Regelmodul 70 ein Verwender-Auswahlsignal von einer grafischen Verwender-Schnittstelle (GUI = Graphical User Interface) 120. Die GUI 120 kann ein Keypad bzw. eine Folientastatur, ein Keyboard bzw. eine Tastatur, ein Stimm-Erkennungssystem, ein Touchscreen, eine Maus etc. sein. Das System-Steuer- bzw. Regelmodul 70 aktualisiert Parameter in dem Speicher 96 wie z. B. die vom Verwender auswählbaren Variablen basierend auf dem Verwender-Auswahlsignal. Das System-Steuer- bzw. Regelmodul 70 kann dem Objekterfassungs-Steuer- bzw. Regelmodul 86 befehlen, einen bestimmten Korrelationsalgorithmus zu verwenden, wenn es die TOF- und Bild-Daten kombiniert und vergleicht. Das System-Steuer- bzw. Regelmodul 70 signalisiert bzw. meldet dem GCM 88 basierend auf TOF- und Bild-Daten, welche von dem TOF- und Bild-Steuer- bzw. Regelmodul 66, 68 empfangen werden. Das GCM 88 erzeugt ein kombiniertes Anzeige-Signal DISP, welches auf der Anzeige 84 gezeigt wird. Das GCM 88 kann auf Informationen wie beispielsweise die vom Verwender auswählbaren Variablen 92 zugreifen, wenn es das kombinierte Anzeige-Signal DISP erzeugt.
-
In 4 ist ein Sensorchip (Wafer) 150 gezeigt, welcher eine Schwerpunkt-Implementation veranschaulicht. Der Sensorchip 150 weist Schwerpunkt(Center Of Mass = COM)-Pixel-Sensorsätze 152 auf. Jeder der COM-Pixel-Sensorsätze 152 weist einen TOF-Pixel-Sensor 154 und mehrere Bild-Pixel-Sensoren 156 (Rot(R)-, Grün(G)-, Blau(B)-Pixel) auf. Die COM-Pixel-Sensorsätze 152 können auf demselben Substrat platziert sein, wie gezeigt ist, oder können auf einzelnen bzw. getrennten Substraten platziert sein. Ein Objekterfassungs-System mit einer Anordnung mit einem einzelnen Substrat ist in 6 gezeigt.
-
Die Pixel-Sensoren der COM-Pixel-Sensorsätze 152 können mit Pixeln einer Anzeige verbunden sein. Obwohl der TOF-Pixel-Sensor 154 als durch Bild-Pixel-Sensoren umgeben gezeigt ist, können TOF-Daten modifiziert werden, um effektiv TOF-Informationen auf einem Bild und auf der Anzeige gezeigt zu überlappen. Dies ist durch gestrichelte Linien 160 veranschaulicht. Das Überlappen von TOF-Informationen auf einem Bild kann auch mittels einer Software durchgeführt werden, wenn einzelne TOF- und Bild-Sensoren verwendet werden. Obwohl der TOF-Pixel-Sensor 154 in der Mitte des Bild-Pixel-Sensors 156 platziert ist, kann eine TOF-zu-Bild-Daten-Übereinstimmung durchgeführt werden basierend auf den vertikalen und horizontalen Platzierungsdifferenzen bzw. Unterschieden zwischen den TOF- und den Bild-Pixel-Sensoren 154, 156.
-
Die Bild-Pixel-Sensoren 156 können in verschiedenen Muster sein. In 4 sind die Bild-Pixel-Sensoren 156 in einem RGGB(2×2)Matrix-Muster gezeigt. Die Bild-Pixel-Sensoren 156 können mehr Pixel-Sensoren einer bestimmten Farbe als Pixel-Sensoren von anderen Farben aufweisen. Beispielsweise gibt es in dem Beispiel der 4 mehr grüne Pixel-Sensoren als rote und blaue Pixel-Sensoren. Andere Pixel-Sensorfarben können einbezogen werden, wie beispielsweise gelbe Pixel-Sensoren. Die vorgesehene Farbe des Pixel-Sensors kann sich auf die Farbe beziehen, welche durch diesen Pixel-Sensor erfasst wird.
-
Obwohl eine bestimmte Anzahl von Bild-Pixel-Sensoren hinsichtlich eines einzelnen TOF-Pixel-Sensors gezeigt sind, können andere TOF-zu-Bild-Pixel-Sensor-Verhältnisse verwendet werden und andere TOF- und Bild-Pixel-Sensoranordnungen und -muster können verwendet werden. Ein anderes Beispiel ist in 7 gezeigt.
-
Als nochmal ein anderes Beispiel können der TOF-Pixel-Sensor eines Pixel-Sensorsatzes dasselbe Oberflächengebiet wie die Bild-Pixel-Sensoren in diesem Pixel-Sensorsatz haben. Beispielsweise kann ein Pixel-Sensorsatz eine 2×2-Matrix von Bild-Pixel-Sensoren und eine 2×2-Matrix von TOF-Pixel-Sensoren aufweisen. Die Bild-Pixel-Sensoren können ungefähr die gleiche Größe wie die TOF-Pixel-Sensoren haben. Ein Oberflächengebiet der 2×2-Matrix von Bild-Pixel-Sensoren kann dasselbe sein wie das Oberflächengebiet der 2×2-Matrix der TOF-Pixel-Sensoren.
-
Ein weiteres Beispiel weist einen Pixel-Sensorsatz mit einer 10×10-Matrix von Bild-Pixel-Sensoren und einen einzelnen TOF-Pixel-Sensor auf. Das Oberflächengebiet bzw. der Oberflächenbereich der 10×10-Matrix kann gleich zu dem Oberflächengebiet des TOF-Pixel-Sensors sein. Als noch ein anderes Beispiel kann ein kombinierter TOF- und Bild-Sensor mit VGA-Auflösung (d. h. 640×480 Pixel) wenigstens die Hälfte der Pixel der Luminanz zugeordnet haben und die verbleibenden Pixel-Sensoren einem TOF-Sensieren bzw. -Erfassen zugeordnet haben.
-
Bezug nehmend nun auf 3 und 5 ist ein Objekterfassungs-System 200 gezeigt, welches einen kombinierten TOF- und Bild-Sensor 202 auf einem geteilten Substrat 204 enthält. Der Abstand zwischen dem TOF- und dem Bild-Sensor ist minimiert und/oder beseitigt, da TOF- und Bild-Sensoren 206, 208 des kombinierten TOF- und Bild-Sensors 202 auf dem gleichen Substrat platziert sind. Der Abstand D5 zwischen den TOF- und den Bild-Sensoren 206, 208 ist geringer als der Abstand D4 zwischen den TOF- und den Bild-Sensoren 52, 54. Der Abstand D5 kann beispielsweise 5 Millimeter (mm) sein, welcher Fehler 5 bis 10mal relativ zu Fehlern verringern kann, welche mit dem Abstand D4 verbunden sind. Dies verringert Fehler aufgrund eines Raumes zwischen TOF- und Bild-Pixeln weiter.
-
Das Objekterfassungs-System 200 weist ein Verarbeitungsmodul 210 mit einem Verarbeitungs-System 212 und ein Sensiermodul 214 mit einem Sensier-System 216 auf. Das Verarbeitungsmodul 210 weist ein TOF-Steuer- bzw. Regelmodul 66', ein Bild-Steuer- bzw. Regelmodul 68' und ein System-Steuer- bzw. Regelmodul 70' mit einem Objekterfassungs-Steuer- bzw. Regelmodul 86' auf. Das TOF- und das Bild-Steuer- bzw. Regelmodul 66', 68' erzeugen Abstands- und Bild-Signale DIST und IMAGE basierend auf TOF- und Bild-Daten von dem TOF- und dem Bild-Sensor 206, 208. Das System-Steuer- bzw. Regelmodul 70' kann ein kombiniertes TOF- und Bild-Signal erzeugen, welches auf der Anzeige 84 über das Grafik-Steuer- bzw. Regelmodul 88 gezeigt wird. Das Objekterfassungs-System 200 kann den Speicher 96 mit den vom Verwender auswählbaren Variablen 92 aufweisen, die Korrelationsalgorithmen 94, die Abstandsvariablen 100 und die Bibliothek 104. Die Bibliothek 104 kann die Regeln 90, die Nachrichten 102 und die Icons aufweisen. Die Korrelationsalgorithmen 94 können einen Algorithmus für die Positionsanordnung des TOF- und des Bild-Sensors 206, 208 aufweisen.
-
Das Sensiermodul 214 kann das Sensier-System 216 mit einem Sensorchip 218 aufweisen. Der Sensorchip 218 kann den TOF-Sensor 206, den Bild-Sensor 208 und eine Linse 220 aufweisen. Der TOF-Sensor 206 und der Bild-Sensor 208 sind auf dem Substrat 204. Der TOF- und der Bild-Sensor 206, 208 teilen die Linse 220. Licht kann auf Pixel des TOF- und des Bild-Sensors 206, 208 durch die Linse 220 fokussiert werden. Obwohl nicht gezeigt, kann das Sensiermodul 214 einen Transmitter bzw. Sender wie beispielsweise den Transmitter 72 aufweisen.
-
Bezug nehmend nun auf die 6 ist ein Objekterfassungs-System 250 gezeigt, welches einen verschachtelten (interlaced) TOF- und Bild-Sensor 252 enthält. Die Abstände zwischen TOF-Sensor und Bild-Sensor sind verringert oder beseitigt, da TOF- und Bild-Sensor-Pixel auf demselben Substrat 254 verschachtelt sind. Dies reduziert weiterhin Fehler aufgrund von Raum zwischen TOF- und Bild-Pixel-Sensor. Eine Beispielsreihe für einen verschachtelten TOF- und Bild-Sensor ist in 7 gezeigt. TOF- und Bild-Pixel-Sensoren können vertikal und horizontal verschachtelt sein. Verschiedene unterschiedliche Muster des TOF- und des Bild-Pixel-Sensors können verwendet werden.
-
Ein verschachtelter TOF- und Bild-Sensor kann sich auf einen Sensor beziehen, welcher Reihen und/oder Spalten alternierender TOF- und Bild-Pixel-Sensoren aufweist. In dem Beispiel, welches gezeigt ist, sind Fehler, welche mit Pixel-Sensoren in der horizontalen Richtung verbunden sind, beseitigt und Fehler, welche mit Pixel-Sensoren in der vertikalen Richtung verbunden sind, sind minimiert. Demnach können Fehler in der einen Richtung vorhanden sein und können mit Abständen zwischen TOF- und Bild-Pixel-Sensoren von beispielsweise 0,1 mm verbunden sein. Dies verringert Fehler ungefähr 100mal relativ zu Fehlern, welche mit dem Abstand D4 der 3 verbunden sind. Verringerte Fehler führen zu verringerten Fehlerkorrekturen und Gesamtverarbeitungszeiten, um ein TOF-überlagertes Videobild zu erzeugen. Indem der TOF- und der Bild-Pixel-Sensor des verschachtelten TOF- und Bild-Sensors 252 in einer (derselben) Ebene sind, werden eine mechanische Anpassung bzw. Ausrichtung auf dem Sensorniveau und eine Softwarekompensation aufgrund der Sensor-Orientierung nicht benötigt.
-
In 7 ist ein Sensorchip 272 gezeigt, welcher ein Beispiel für einen verschachtelten TOF- und Bild-Sensor (oder eine verschachtelte Pixel-Sensor-Anordnung) veranschaulicht. Der verschachtelte TOF- und Bild-Sensor weist Reihen von Bild-Pixel-Sensoren 274 (zusammen der Bild-Sensor) und Reihen von TOF-Pixel-Sensoren 276 (zusammen der TOF-Sensor) auf. Wie gezeigt ist, weisen die Reihen von Bild-Pixel-Sensoren 274 Bild (RGB)-Pixel-Sensorsätze 278 auf. Jeder Bild-Sensor-Pixelsatz 278 kann eine beliebige Anzahl von Bild-Pixel-Sensoren aufweisen. Als ein Beispiel kann ein Bild-Pixel-Sensorsatz einen RGGB(2×2)-Pixel-Sensorsatz aufweisen. Zeilen des verschachtelten TOF- und Bild-Sensors können zwischen Bild-Pixel-Sensorsätzen und TOF-Pixel-Sensoren wie gezeigt alternieren. Obwohl die Oberflächengebietsdimensionen X1, Y1 der Bild-Pixelsätze 278 als dieselben wie die Oberflächengebietsdimensionen X2, Y2 der TOF-Pixel-Sensoren 280 gezeigt sind, können die Dimensionen X1, Y1 unterschiedlich von den Dimensionen X2, Y2 sein.
-
Bezug nehmend wiederum auf 6 weist das Objekterfassungs-System 250 ein Verarbeitungsmodul 255 mit einem Verarbeitungs-System 256 und ein Sensiermodul 257 mit einem Sensier-System 258 auf. Das Verarbeitungsmodul 255 weist ein TOF-Steuer- bzw. Regelmodul 66'', ein Bild-Steuer- bzw. Regelmodul 68'' und ein System-Steuer- bzw. Regelmodul 70'' mit einem Objekterfassungs-Steuer- bzw. Regelmodul 86'' auf. Das TOF- und das Bild-Steuer- bzw. Regelmodul 66'', 68'' erzeugen Abstands- und Bild-Signale DIST und IMAGE basierend auf TOF- und Bild-Daten von dem TOF- und Bild-Pixel-Sensor des verschachtelten TOF- und Bild-Sensors 252.
-
Das System-Steuer- bzw. Regelmodul 70'' kann ein kombiniertes TOF- und Bild-Signal erzeugen, welches auf der Anzeige 84 über das Grafik-Steuer- bzw. Regelmodul 88 gezeigt wird. Das Objekterfassungs-System 250 kann den Speicher 96 mit den vom Verwender auswählbaren Variablen 92, die Korrelationsalgorithmen 94, die Abstandsvariablen 100 und die Bibliothek 104 aufweisen. Die Bibliothek 104 kann die Regeln 90, die Nachrichten 102 und die Icons 106 aufweisen. Die Korrelationsalgorithmen 94 können einen Algorithmus für die Positionsanordnung des TOF- und Bild-Pixel-Sensors aufweisen.
-
Das Sensiermodul 257 weist das Sensier-System 258 mit einem Sensorchip 272 auf. Der Sensorchip 272 kann den verschachtelten TOF- und Bild-Sensor 252 und eine Linse 270 aufweisen. Der verschachtelte TOF- und Bild-Sensor 254 ist auf dem Substrat 254. Licht kann auf TOF- und Bild-Pixel durch die Linse 270 fokussiert werden. Obwohl nicht gezeigt, kann das Sensiermodul 257 einen Transmitter bzw. Sender wie beispielsweise den Transmitter 72 der 3 aufweisen.
-
In den 8–10 sind Seitenansichten eines Fahrzeuges 300 und eines bevorstehenden Objektes 302 gezeigt, welche einen beispielhaften Warnabstand (WD = Warning Distance = Warnabstand) und einen kritischen Abstand (CD = Critical Distance = Kritischer Abstand) veranschaulichen. Imaginäre Ebenen 304, 306 (unsichtbare Wände) sind für den WD und den CD relativ zu einer Referenz-Ebene 308 gezeigt. Die Referenz-Ebene 308 kann sich auf eine Sensorplatzierung auf bzw. an dem Fahrzeug 300 und/oder einen Punkt an bzw. auf dem Fahrzeug 300 am nächsten zu dem vorstehenden Objekt 302 beziehen (beispielsweise äußere Oberfläche einer Stoßstange des Fahrzeugs 300).
-
Das Fahrzeug 300 weist ein Objekterfassungs-System 310, wie beispielsweise eines der Objekterfassungs-Systeme, welche vorstehend unter Bezugnahme auf die 3, 5 und 6 beschrieben sind, auf. Das Objekterfassungs-System 310 weist ein Verarbeitungsmodul 312 und ein Sensiermodul 314 auf, welche vorstehend beschriebene Verarbeitungs- und Sensier-Systeme aufweisen können. Abstands- und Bild-Daten werden auf einer Anzeige 316 gezeigt. Die angezeigten Bilder können zweidimensionale oder dreidimensionale Bilder sein.
-
In 8 ist das Objekt 302 weiter von dem Fahrzeug 300 entfernt als der WD. Aus diesem Grund ist das Objekt 302 auf der Anzeige 316 gezeigt, es ist jedoch keine Warnanzeige und/oder kritische Anzeige gezeigt. Obwohl nicht gezeigt, kann der Abstand des Objekts 302 auf der Anzeige 316 gezeigt werden. Beispielsweise kann der Abstand des nähesten Punkts des Objekts 302 zu dem Fahrzeug 300 gezeigt werden und abnehmen, wenn das Objekt 302 näher zu dem Fahrzeug 300 kommt.
-
In 9 ist ein Abschnitt des Objekts 302 näher zu dem Fahrzeug als der WD. Aus diesem Grund ist eine Warnanzeige 320 auf der Anzeige 316 gezeigt. Wie gezeigt ist, weist die Warnanzeige 320 ein Schattieren, Hervorheben und/oder Ändern der Farbe des Abschnitts des Objekts 302 innerhalb des WD und auf der Anzeige 316 auf. Eine Schnittlinie 322 ist auf dem Objekt 302 gezeigt, welche einem Schnitt (Kontur) zwischen der WD-Ebene 304 und dem Objekt 302 entspricht. Die Schnittlinie 322 kann hervorgehoben sein.
-
In 10 ist ein erster Abschnitt des Objekts 302 näher zu dem Fahrzeug 300 als der CD und das gesamte Objekt 302 ist näher zu dem Fahrzeug 300 als der WD. Aus diesem Grund sind eine Warn- und eine kritische Anzeige 320', 330 auf der Anzeige 316 gezeigt. Wie gezeigt ist, weist die Warnanzeige 320' ein Schattieren, Hervorheben und/oder Ändern der Farbe des zweiten Abschnitts des Objekts 302 auf, welcher innerhalb des WD ist, jedoch nicht innerhalb des CD ist, unter Verwendung einer ersten Technik. Diese Technik kann dieselben Objektveränderungen bzw. Objektänderungen, welche in 9 durchgeführt werden, aufweisen. Die kritische Anzeige 330 weist ein Schattieren, Hervorheben und/oder Ändern der Farbe des ersten Abschnitts des Objekts 302, welcher innerhalb des CD ist, unter Verwendung einer zweiten Technik auf. Eine Schnittlinie 332 ist auf dem Objekt 302 gezeigt und entspricht einem Schnitt zwischen der CD-Ebene 306 und dem Objekt 302.
-
Als ein Beispiel kann die erste Technik ein Ändern der Farbe des zweiten Abschnitts zu einer hellgelben Farbe hin aufweisen. Die zweite Technik kann ein Ändern der Farbe des ersten Abschnitts zu einer hellroten Farbe aufweisen. Verschiedene andere WD- und CD-Anzeigen können wie vorstehend beschrieben verwendet werden.
-
In 11 ist ein Verfahren zum Betreiben eines Objekterfassungs-Systems wie beispielsweise eines der Objekterfassungs-Systeme, welche in den 3, 5, 6 und 8–10 gezeigt sind, gezeigt. Obwohl die folgenden Arbeitsschritte bzw. Tasks hauptsächlich hinsichtlich der Systeme der 3, 4 und 6 beschrieben sind, können die Arbeitsschritte auch auf andere Implementationen der vorliegenden Offenbarung angewandt werden. Das Verfahren kann bei Arbeitsschritt 350 beginnen.
-
Bei 352 kann ein System-Steuer- bzw. Regelmodul bestimmen, ob ein TOF-Sensieren aktiviert ist. Arbeitsschritt 354 kann durchgeführt werden, wenn ein TOF-Sensieren deaktiviert ist. Arbeitsschritt 356 kann durchgeführt werden, wenn ein TOF-Sensieren aktiviert ist. Obwohl Arbeitsschritt 352 als vor Arbeitsschritt 356 durchgeführt gezeigt ist, kann Arbeitsschritt 352 nachfolgend auf oder während Arbeitsschritt 356 durchgeführt werden. Bei 354 werden Bild-Daten ohne TOF-Daten angezeigt.
-
Bei 356 wird das Objekterfassungs-System initialisiert. Die Initialisierung kann durch das System-Steuer- bzw. Regelmodul durchgeführt werden. Dies kann eine System-Kalibirierung einschließen, das Aufstellen von Warnanzeigen einschließlich des Setzens von WD- und CD-Abstand, das Auswählen von Warn- und kritischen Anzeigen, etc. Eine System-Kalibrierung kann das Erzeugen einer Korrespondenz-Matrix bzw. Übereinstimmungs-Matrix (Mnm) aufweisen bzw. einschließen, wobei n die Anzahl von Zeilen und m die Anzahl von Spalten der Matrix M ist. Die Übereinstimmungs-Matrix Mnm weist Übereinstimmungswerte zwischen TOF-Pixel-Sensoren, welche zugeordnete erfasste Abstände Dij (oder Dij-Pixel-Sensoren) haben, und Bild(oder Video)-Pixel-Sensoren auf, welche zugeordnete Bild-Daten Vkl (Vkl-Pixel-Sensoren) haben, wobei i, j, k und l vertikale und horizontale Pixel-Platzierungen von jeweiligen TOF- und Bild-Pixel-Arrays identifizieren. k kann größer sein als oder gleich zu i sein. l kann größer sein als oder gleich zu j sein.
-
Die Übereinstimmung kann durchgeführt werden unter Verwendung eines Korrelationsalgorithmus bzw. Übereinstimmungsalgorithmus, welcher im Speicher gespeichert ist (beispielsweise einer der Korrelationsalgorithmen 94). Der WD- und CD-Abstand können vorbestimmte und gespeicherte Abstände sein oder können während des Hochfahrens des Objekterfassungs-Systems gesetzt bzw. gewählt und/oder angepasst werden. Der WD- und der CD-Abstand können basiert sein auf gesetzten oder ausgewählten Masseinheiten (beispielsweise englische gegenüber metrischen Einheiten).
-
Die CD-Anzeige kann eingestellt werden, um beispielsweise zu blinken und Pixel von Konturen von angezeigten Objekten innerhalb des CD weiß hervorzuheben. Die WD-Anzeige kann eingestellt werden, um beispielsweise die Luminanz eines Objekts, welches angezeigt wird um 50% zu erhöhen und/oder um eine gelbe Kontur an dem Objekt vorzusehen, wenn es innerhalb des WD ist. Andere CD- und WD-Anzeigen können verwendet werden.
-
Bei 358 empfangen ein TOF-Steuer- bzw. Regelmodul und ein Bild-Steuer- bzw. Regelmodul jeweils TOF- und Bild(Foto-Luminanz)-Daten. Bei 360 bestimmt ein Objekterfassungs-Steuer- bzw. Regelmodul, ob einer der TOF-Pixel-Sensoren anzeigt, dass ein Abschnitt eines erfassten Objekts innerhalb des WD ist. Dies tritt auf, wenn ein Abstand Dij von diesem Pixel geringer ist als der WD. Die TOF-Pixel-Sensoren, welche einem Abschnitt des Objekts zugeordnet sind, der innerhalb des WD ist, werden identifiziert und es wird auf diese Bezug genommen als WDij Pixel-Sensoren. Die WDij Pixel-Sensoren sind eine Teilmenge der Dij Pixel-Sensoren. Der Arbeitsschritt 362 kann durchgeführt werden, wenn die TOF-Pixel-Sensoren nicht anzeigen, dass ein Abschnitt des Objekts innerhalb des WD ist, andernfalls wird der Arbeitsschritt 366 durchgeführt. Die WD-Anzeige kann bei 362 deaktiviert sein. Der Arbeitsschritt 358 kann nach dem Arbeitsschritt 362 durchgeführt werden.
-
Bei 366 bestimmen das System-Steuer- bzw. Regelmodul und/oder das Objekterfassungs-Steuer- bzw. Regelmodul eine Übereinstimmung zwischen den WDij Pixel-Sensoren und den Bild-Pixel-Sensoren Vij, um resultierende WDVij Pixel-Sensoren oder WDVkl Pixel-Sensoren zu bestimmen. Die WDVij Pixel-Sensoren sind eine Untermenge der WDij Pixel-Sensoren. Die WDVkl Pixel-Sensoren beziehen sich auf eine Teilmenge der Vkl Pixel-Sensoren, welche den WDVij Pixel-Sensoren entsprechen. Die Übereinstimmung bzw. Übereinstimmungsbestimmung kann durchgeführt werden unter Verwendung eines Korrelations- bzw. Übereinstimmungs-Algorithmus, welcher im Speicher gespeichert ist (beispielsweise einem der Korrelationsalgorithmen 94). Die Übereinstimmung stellt eine Oberfläche (Pixel-Sensoren) auf dem Bild-Sensor zur Verfügung, welche einer Oberfläche (Pixel-Sensoren) des TOF-Sensor entspricht, welche innerhalb des WD ist. Diese Übereinstimmung kann durchgeführt werden unter Verwendung einer Matrix-Übereinstimmung bzw. Matrix-Korrespondenz.
-
Bei 368 kann das Objekterfassungs-Steuer- bzw. Regelmodul eine erste WD-Anzeige erzeugen, welche das Anpassen von Luminanzwerten der WDVij oder der WDVkl Pixel-Sensoren und/oder der zugeordneten Anzeige Pixel aufweisen kann. Die Luminanz kann beispielsweise um 50% erhöht werden und/oder in gelb hervorgehoben werden. Luminanzwerte der WDVij oder WDVkl Pixel-Sensoren und/oder der zugeordneten Anzeige-Pixel können mit einem vorbestimmten Wert multipliziert werden, um die erhöhte Luminanz zur Verfügung zu stellen. Eine Korrespondenz bzw. Übereinstimmung zwischen Pixel-Sensoren und Display-Pixeln kann durchgeführt werden, wenn es keine 1:1-Beziehung zwischen den Pixel-Sensoren und den Pixeln der Anzeige gibt.
-
Als ein anderes Beispiel können die WDVij oder die WDVkl Pixel-Sensoren und/oder die zugeordneten Anzeige-Pixel mit einer Warnfarbe (beispielsweise 50% transparent Gelb) einem alpha-Blending Vorgang unterzogen werden. Als ein anderes Beispiel kann ein Pfeil angezeigt werden und verwendet werden, um auf eine Grenze oder eine Oberfläche des Objekts mit vorbestimmtem Text zu zeigen, welche in dem angezeigte Bild einem alpha-Blending Vorgang unterzogen kann. Der vorbestimmte Text kann aus Nachrichten in einer Bibliothek (wie beispielsweise den Nachrichten 102 eines Speichers 96) erhalten werden. Der Pfeil und der vorbestimmte Text können basierend auf einer relativen Bewegung zwischen dem Fahrzeug und dem Objekt geändert werden.
-
Bei 370 kann eine zweite WD-Anzeige aktiviert werden. Die zweite WD-Anzeige kann eine hörbare oder eine Vibrations-Warnung einschließen bzw. aufweisen. Beispielsweise kann eine stimmaktivierte Nachricht übertragen werden, um den Fahrzeugbediener vor dem bevorstehenden Objekt zu warnen.
-
Bei 372 bestimmt das Objekterfassungs-Steuer- bzw. Regelmodul, ob irgendein TOF-Pixel-Sensor anzeigt, dass ein Abschnitt eines erfassten Objekts innerhalb des CD ist. Dies tritt auf, wenn ein Abstand Dij dieses Pixels geringer ist als der CD. Die TOF-Pixel-Sensoren, welche einem Abschnitt des Objekts, das innerhalb des CD ist, zugeordnet sind, werden identifziert und auf diese wird Bezug genommen als CDij Pixel-Sensoren. Die CDij Pixel-Sensoren sind eine Teilmenge der Dij Pixel-Sensoren. Ein Arbeitsschritt 374 kann durchgeführt werden, wenn die TOF-Pixel-Sensoren nicht anzeigen, dass ein Abschnitt des Objekts innerhalb des CD ist, andernfalls wird der Arbeitsschritt 378 durchgeführt. Die CD-Anzeige kann bei 374 deaktiviert sein. Der Arbeitsschritt 358 kann nach dem Arbeitsschritt 374 durchgeführt werden.
-
Bei 378 bestimmen das System-Steuer- bzw. Regelmodul und/oder das Objekterfassungs-Steuer- bzw. Regelmodul eine Übereinstimmung zwischen den CDij Pixel-Sensoren und den Bild-Pixel-Sensoren Vkl, um resultierende CDVij Pixel-Sensoren oder VDVkl Pixel-Sensoren zu bestimmen. Die CDVij Pixel-Sensoren sind eine Teilmenge der CDij Pixel-Sensoren. Die CDVkl Pixel-Sensoren sind eine Teilmenge der Vkl Pixel-Sensoren. Die Übereinstimmung kann durchgeführt werden unter Verwendung eines Korrelationsalgorithmus, welcher im Speicher gespeichert ist (beispielsweise eines der Korrelationsalgorithmen 94). Die Übereinstimmung stellt eine Oberfläche (Pixel-Sensoren) auf dem Bild-Sensor bereit, welche einer Oberfläche (Pixel-Sensoren) des TOF-Sensors entspricht, welche innerhalb des CD sind. Diese Übereinstimmung kann durchgeführt werden unter Verwendung einer Matrix-Übereinstimmung bzw. Matrix-Korrespondenz.
-
Bei 380 kann das Objekterfassungs-Steuer- bzw. Regelmodul eine erste CD-Anzeige anzeigen, welche ein Blinken und/oder ein weißes Hervorheben der CDVij oder CDVkl Pixel-Sensoren und/oder zugeordneter Anzeige-Pixel aufweisen kann. Eine Übereinstimmung zwischen Pixel-Sensoren und Anzeige-Pixeln kann durchgeführt werden, wenn es keine 1:1-Beziehung zwischen den Pixel-Sensoren und den Pixeln der Anzeige gibt.
-
Bei 382 kann eine zweite CD-Anzeige aktiviert werden. Die zweite CD-Anzeige kann eine hörbare oder eine Vibrations-Warnung aufweisen. Beispielsweise kann ein Sitz eines Fahrzeugbedieners vibriert werden, um den Fahrzeugbediener vor dem bevorstehenden Objekt zu warnen. Der Arbeitsschritt 358 kann nach dem Arbeitsschritt 382 durchgeführt werden.
-
Die oben beschriebenen Arbeitsschritte sind als veranschaulichende Beispiele gedacht; die Arbeitsschritte können sequentiell bzw. nacheinander, synchron, simultan bzw. gleichzeitig, kontinuierlich, während überlappender Zeitperioden oder in einer verschiedenen Reihenfolge, abhängig von der Anwendung, durchgeführt werden.