DE60130517T2

DE60130517T2 - Integriertes Sichtsystem

Info

Publication number: DE60130517T2
Application number: DE60130517T
Authority: DE
Inventors: Takeshi Takatsuka; Tatsuya Suzuki; Hiroshi Okada
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2000-05-30
Filing date: 2001-05-29
Publication date: 2008-06-12
Anticipated expiration: 2021-05-30
Also published as: JP2001344597A; EP1160541A1; EP1160541B1; DE60130517D1; US20010048763A1

Description

HINTERGRUND DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Integrationssichtsystem, das einer Fahrzeugbesatzung auch bei eigentlich geringer Sicht Ansichten mit hoher visueller Wahrnehmbarkeit liefert.
Fahrzeuge, zum Beispiel Flugzeuge, sind mit einem Sichtsystem ausgestattet, das über Bildsensoren verfügt, wie etwa eine Infrarotkamera, einen im millimetrischen Wellenbereich arbeitenden Radar und einen Laserradar. Das Sichtsystem bietet einem Fahrer oder Piloten künstliche Pseudoansichten, die auf Grundlage von Sichtdaten, die von den Bildsensoren bei geringer Sicht in der Nacht oder bei schlechtem Wetter erzeugt werden, und dreidimensionalen (3-D) Abbildungsdaten erzeugt werden, die im System zur Sicherheit gespeichert sind.
Die ungeprüfte japanische Patentveröffentlichung Nr. 11-72350 offenbart die Erzeugung von Pseudoansichten unter Verwendung von geografischen Weitraumdaten, die auf einer in einem Speicher abgespeicherten 3-D-Abbildung beruhen, und Daten über Hindernisse wie elektrische Hochspannungsleitungen, Hochhäuser und Krane, und das Anzeigen der Pseudoansichten und tatsächlichen Ansichten, die auf einer transparenten Anzeige, die an einem Helm eines Piloten angebracht ist, übereinander zu legen.
Sichtdaten, die von Bildsensoren wie einer Infrarotkamera, einem im millimetrischen Wellenbereich arbeitenden Radar und einem Laserradar gesammelt werden, reichen jedoch für einen Fahrer oder Piloten nicht aus. Darüber hinaus können 3-D-Abbil dungsdaten keine sich tatsächlich verändernden geografischen Bedingungen nachvollziehen. Pseudoansichten, die auf Grundlage dieser Daten erzeugt werden, erfüllen deshalb nicht die Anforderungen eines Fahrers oder Piloten.
Im Einzelnen lassen sich Infrarotkameras bei einem bestimmten Grad geringer Sicht verwenden und können bei Nacht äußerst klare Bilder erzeugen, aufgrund monochromer Bilder fehlt es ihnen jedoch an Wirklichkeitstreue, Perspektive und Nachempfinden von Geschwindigkeit.
Im millimetrischen Wellenbereich arbeitende Radare können auch bei Regenwetter eine relativ lange Strecke abdecken und sind deshalb bei einer Bildanzeige bei geringer Sicht nützlich, können jedoch aufgrund der Wellenlänge, die extrem länger als die von Licht ist, keine klaren Bilder erzeugen, die so für einen Fahrer oder Piloten nicht ausreichen.
Laserradare verfügen über eine ausgezeichnete Hinderniserfassungsfunktion, brauchen jedoch lang, um einen weiten Bereich abzutasten, und legen somit ein geringes Ansprechverhalten an den Tag. Für einen schmalen Abtastbereich liefern sie relativ scharfe Bilder, schmale Ansichten reichen aber so für einen Fahrer oder Piloten zur Sicherheit nicht aus.
Eine Bilderzeugung eines Schauplatzes in einem weiten Sichtbereich, der von einem Fahrer oder Piloten gesehen werden könnte, ist nützlich. Eine solche Bilderzeugung macht eine Entscheidung über den Grad an Kollisionsrisiko erforderlich, die auf einem Vergleich zwischen geografischen Daten, Hindernisdaten und Fahrzeugpositionsdaten (Längengrad, Breitengrad, Flughöhe) beruht. Diese Daten stimmen aber eventuell mit tatsächlichen Geländemerkmalen und Hindernissen nicht überein. Solch eine Bilderzeugung hat somit eine Schwierigkeit beim Abtasten neu auftauchender Hindernisse und macht einen umfangreichen Sicherheitsnachweis erforderlich.
Weitere Information, die den Stand der Technik betrifft, lässt sich im US-Patent 5,983,161 finden, das ein GPS-Fahrzeugkollisionswarn- und -steuersystem und ein GPS-Fahrzeugkollisionswarn- und -steuerverfahren offenbart, wobei GPS-Satellitenreichweitensignale, die an comm1 empfangen werden, und DGPS-Zusatzbereichskorrektur signale und Pseudolit-Trägerphasenunbestimmtheitsauflösungssignale (Pseudolit = Pseudo-Satellit) von einer feststehenden, bekannten Bodenbasisstation, die an comm2 empfangen werden, an einem von mehreren Fahrzeugen/Luftfahrzeugen/Automobilen computerverarbeitet werden, um die eigene kinematische Spurverfolgungsposition auf einem Weg zentimetergenau zu bestimmen. Diese auf GPS beruhende Position wird mit ausgewählter weiterer Statusinformation jedem der anderen mehreren Fahrzeuge, der einen Station und/oder einem von mehreren Kontrollzentren mitgeteilt, und das eine Fahrzeug empfängt von dort jeweils die Statusinformation und kinematische Spurverfolgungsposition der anderen Fahrzeuge. Objekte werden aus allen Richtungen erfasst, und zwar von vielen ergänzenden Einrichtungen, z.B. Video, Radar/Lidar, Laser und optischen Abtastern. Daten und Information werden in neuronalen Netzen in dem einen Fahrzeug computerverarbeitet und analysiert, um Kollisionsgefahren/Objekte zu identifizieren, einzustufen und zu bewerten, wobei ein Expertenoperationsansprechen darauf in einem assoziativen Fuzzy-Speicher bestimmt wird, der Steuersignale erzeugt, die mehrere Steuersysteme in dem einen Fahrzeug koordiniert aktivieren, um es seitlich oder längs zur Vermeidung jeder Kollisionsgefahr zu manövrieren, oder bei Motorfahrzeugen, wenn eine Kollision unvermeidlich ist, die sich daraus ergebende Verletzung oder den sich daraus ergebenden Schaden auf ein Minimum zu begrenzen. Die Bedienperson wird durch eine Helmanzeige und auf andere Weisen gewarnt und kann manuell eingreifen. Eine automatische Kraftfahrzeugkursgeberbetriebsart (Autopilot) ist vorgesehen.
Das US-Patent 5,530,420 offenbart eine Streckenführungsvorrichtung für ein Fahrzeug, die ein Stereoskopbild-Verarbeitungselement, um ein Paar Stereoskopbilder eines Objekts außerhalb eines Fahrzeugs zu verarbeiten, das von einem im Fahrzeug montierten Bildgebungssystem abgebildet wurde, ein Bautenerfassungselement zum Erfassen mehrerer verschiedener Bauten, indem dreidimensionale Positionsdaten verwendet werden, die mit jedem Abschnitt des Objekts berechnet werden, die den Abstandsverteilungsdaten aus dem Stereoskopbildverarbeitungselement entsprechen; ein Zwischenraumabstandsberechnungselement, um jeweils den kürzesten Abstand als rechten und linken Zwischenraumabstand zwischen einer verlängerten Linie auf der rechten oder linken Seite des Fahrzeugs und jeweils den fahrzeugseitigen Enden der mehreren der verschiedenen vom Bautenerfassungselement erfassten Bauten zu berechnen; und ein Informationselement umfasst, um den Fahrer über Daten zu informieren, die sich auf die rechten und linken Zwischenraumdaten beziehen, die vom Zwischenraumabstandsberechnungselement berechnet wurden; um in Übereinstimmung mit einem Triangulierungsprinzip eine Abstandsverteilung eines gesamten Bilds in Abhängigkeit von einem Diskrepanzpositionenbetrags zu erhalten, der dem Paar der Stereoskopbilder entspricht.
Das US-Patent 5,410,346 offenbart ein System zur Überwachung eines Zustands außerhalb eines Fahrzeugs unter Verwendung eines von mehreren Fernsehkameras aufgenommenen Bilds, wobei ein Abstand zwischen einem fahrenden Fahrzeug und einem Objekt mit hoher Zuverlässigkeit über ein aufgenommenes Bild bestimmt wird. Es werden auch dreidimensionale Objekte oder ein Straßenzustand zusammen mit der genauen Position oder Abmessung erfasst. Ein Objekt innerhalb eines Sollbereichs außerhalb eines Fahrzeugs wird von einem stereoskopischen optischen System abgebildet, um das aufgenommen Bild des Objekts in eine Stereoskopbildverarbeitungsvorrichtung einzugeben. Diese verarbeitet das vom stereoskopischen optischen System aufgenommene Bild, um eine Abstandsverteilung über das gesamte Bild zu berechnen. Eine Erfassungsvorrichtung für Straßen/dreidimensionale Objekte berechnet dreidimensionale Positionen jeweiliger Abschnitte von Objekten entsprechend der Information über die Abstandsverteilung, um unter Verwendung dieser dreidimensionalen Positionen den Zustand der Straße und mehrere dreidimensionale Objekte sicher und mit hoher Zuverlässigkeit zu erfassen.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Zweck der vorliegenden Erfindung ist es, ein Integrationssichtsystem bereitzustellen, um einer Besatzung in einem Fahrzeug beinahe reale Pseudoansichten mit hoher visueller Wahrnehmbarkeit wie bei gutem Wetter auch bei geringer Sicht mit einer Erfassung von vor dem Fahrzeug befindlichen Hindernissen für einen gefahrlosen und sicheren Flug oder eine gefahrlose und sichere Fahrt zu bieten.
Die vorliegende Erfindung stellt ein Integrationssichtsystem nach dem unabhängigen Anspruch 1 bereit. Bevorzugte Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen wiedergegeben.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Blockschema eines Integrationssichtsystems nach der vorliegenden Erfindung; und
2 zeigt Anzeigebereiche.
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nun mit Bezug auf die beigefügten Zeichnungen offengelegt.
Ein in 1 gezeigtes Integrationssichtsystem 1 wird in einem Fahrzeug wie einem Automobil, einem Zug und einem Luftfahrzeug installiert. Dieses System 1 bietet einem Fahrer oder Piloten integrierte Ansichten, die als sichtbare, virtuelle Realitätsbilder mit hoher visueller Wahrnehmbarkeit wie bei gutem Wetter erzeugt werden, auch wenn die tatsächliche Sicht bei schlechtem Wetter aufgrund von Dunst oder Nebel oder bei Nacht sehr gering ist.
Nachstehend wird eine Ausführungsform offenbart, bei der das Integrationssichtsystem 1 in einem Luftfahrzeug wie einem Helikopter installiert ist, der in relativ niedriger Höhe fliegt.
Das Integrationssichtsystem 1 ist mit einer Stereokamera 2, um Bilder eines vorn befindlichen Schauplatzes eines vorbestimmten Bereichs aufzunehmen, einer Bildkombinationsvorrichtung 10 und einer Integrationssichtanzeigevorrichtung 20 als Hauptbestandteile ausgestattet.
Zwei Bilder, und zwar ein rechtes und ein linkes Bild, die von der Stereokamera 2 aufgenommen wurden, werden an einem linken und einem rechten Blickpunkt eines Piloten angezeigt, um dreidimensionale (3-D-) Bilder zu erzeugen, die dem Piloten Perspektive und ein Gefühl für Höhe und Geschwindigkeit vermitteln.
Außerdem werden die zwei Bilder, also das rechte und linke Bild, durch Stereobildverarbeitung zur Berechnung von Daten über einen (relativen) Abstand zu eventuellen Objekten verarbeitet. Die Bild- und Abstandsdaten werden durch eine Bilderkennungsverarbeitung verarbeitet, um Hindernisse als Warnung anzuzeigen, wenn die Hindernisse auf oder in der Nähe der Flugstrecke erfasst werden.
Das Integrationssichtsystem 1 ist mit einem Sichtachsenumschalter 3, um eine Sichtachse zu verändern, um die sich die Stereokamera 2 in die vom Piloten oder einem anderen Besatzungsmitglied angeforderte Richtung dreht, einem Anzeigebetriebsartumschalter 4, um die Stereokamera 2 so zu steuern, dass sie 3-D-Bilder "einfriert", und einer Flugdatenschnittstelle 5 ausgestattet, um Flugdaten wie Geschwindigkeit, Höhe, Position und Höhenlage eines Helikopters einzugeben.
Der Sichtachsenumschalter 3 ist nützlich, um vorab die Bedingungen der Flugstrecke in Erfahrung zu bringen, in die der Helikopter einschwenken soll, oder um zu bestimmen, ob sich irgendein Hindernis auf der Strecke befindet. Der Umschalter 3 ist in dieser Ausführungsform ein manueller Schalter, um die optische Achse der Stereokamera 2 zu drehen. Aber nicht nur dies, denn die Stereokamera 2 kann automatisch in jede Richtung gedreht werden, indem der Blickpunkt des Piloten von einer Kopfbewegungserfassungseinrichtung 23 usw., die später noch beschrieben wird, erfasst wird.
Die Stereokamera 2 besteht in dieser Ausführungsform aus zwei Infrarotkameras, um vor allem bei Nacht extrem scharfe Bilder zu erzeugen. Die beiden Infrarotkameras sind mit einem optimalen Abstand (Grundlinienlänge) innerhalb eines zulässigen Bereichs angeordnet, der auf Suchbereich und Entfernungsgenauigkeit beruht, um Hindernisse genau zu erfassen, die unter verschiedenen Flugbedingungen vorhergesagt sind.
Flugbedingungen, unter denen ein Pilot künstliche Sichtunterstützung bei allgemein geringer Sicht braucht, umfassen größtenteils Nacht- oder Dämmerungsflüge. Infrarotkameras, die über eine ausgezeichnete Nachtsichtfunktion verfügen, sind unter solchen Bedingungen nützlich. Insbesondere liefern 3-D-Bilder, die von zwei Infrarotkameras erzeugt werden, einem Piloten eine virtuelle Realität mit Perspektive und einem Gefühl für Flughöhe und Geschwindigkeit, was mit einer einzigen Infrarotkamera nicht erzielt werden kann.
Andere Flugbedingungen können außer mit Infrarotkameras auch mit verschiedenen anderen Arten von Bildsensoren wie einer gewöhnlichen Kamera, einem Verstärker, der auf schwaches Licht anspricht, aktiven/passiven im millimetrischen Wellenbereich arbeitenden Kameras, die eine ausgezeichnete Lichtdurchlässigkeit bei Dunst und Regen aufweisen, und empfindlichen CCDs abgedeckt werden. Diese Sensoren können entsprechend der Ursache für die geringe Sicht selektiv kombiniert werden.
Wenn vom Gewicht her relativ leichte Bildsensoren für die Kameras der Stereokamera 2 verwendet werden, kann die Grundlinienlänge für die Stereokamera 2 dadurch eingestellt werden, dass beide oder eine der Kameras mit den Bildsensoren verschoben wird.
Schwere Bildsensoren können mit einem Objektivlinsenmechanismus in der Röhre eines Periskops installiert werden, wobei die Röhrenlänge variabel ist, um die Grundlinienlänge zu verändern.
Die Bildkombinationsvorrichtung 10 ist mit einem Stereobilderkennungsprozessor 11 zur Erkennung von Hindernissen, indem rechte und linke Bilder aus der Stereokamera 2 zu verarbeitet werden, einem geografischen Bildgenerator 12, um geografische 3-D-Bilder eines Schauplatzes zu erzeugen, die von einem Piloten oder Besatzungsmitglied auf Grundlage von Blickpunktdaten gesehen werden könnten, die von der Kopfbewegungserfassungseinrichtung 23, die später noch beschrieben wird, übertragen werden, und Daten aus der Flugdatenschnittstelle 5, und einem Integrationssichtgenerator 13 ausgestattet, um Integrationsansichten zu erzeugen, bei denen es sich um 3-D-Sichtdaten linker und rechter Bilder aus der Stereokamera 2, Hindernisdaten aus dem Stereobilderkennungsprozessor 11, geografische Daten über eine Weitraumansicht aus dem geografischen Bildgenerator 12 und Daten aus der Flugdatenschnittstelle 5 handelt.
Der Stereobilderkennungsprozessor 11 ist mit einer Bilddatenbank 11a versehen, die verschiedene Arten von 3-D-Daten abgespeichert hat, um verschiedene Arten von Hindernissen, usw. zu erkennen und anzuzeigen.
Der geografische Bildgenerator 12 ist mit einem digitalen 3-D-Speicherabbild 12a ausgestattet, in dem geografische Weitraumdaten abgespeichert sind, die durch Luftbildaufnahmen oder von Satelliten her erhalten werden.
Die Integrationssichtanzeigevorrichtung 20 ist mit einer an einem Helm des Piloten oder eines Besatzungsmitglieds anzubringenden Helmanzeige (HMD) 21, die eine transparente Anzeige hat, wie etwa eine transparente Flüssigkristallanzeige, durch die ein Pilot oder ein Besatzungsmitglied einen tatsächlichen Schauplatz über integrierte Ansichten aus dem Integrationssichtgenerator 13 sehen kann, einer Anzeigeeinstellvorrichtung 22, um Stärke und Kontrast der integrierten Ansichten und die Lichtdurchlässigkeit zu den eigentlichen Ansichten am HMD 21 so einzustellen, dass der Pilot oder ein Besatzungsmitglied die sich überlagernden tatsächlichen und integrierten Ansichten in einem guten Zustand beobachten kann, und der Kopfbewegungserfassungseinrichtung 23 ausgestattet, um die Kopfstellung und Haltung des Piloten oder Besatzungsmitglieds nachzuvollziehen bzw. zu erfassen, um Blickpunktdaten des Piloten oder Besatzungsmitglieds auszugeben.
Zwei Bilder, und zwar ein linkes und ein rechtes Bild, die während des Flugs von der Stereokamera 2 aufgenommen werden, werden als 3-D-Bilder an den Integrationssichtgenerator 13 und auch an den Stereobilderkennungsprozessor 11 übertragen, um vorn befindliche Hindernisse zu erfassen.
Der Stereobilderkennungsprozessor 11 verarbeitet die linken und rechten Bilder aus der Stereokamera 2 durch eine Stereoabgleichverarbeitung, um eine Korrelation zwischen den Bildern zu erhalten, wodurch die Abstandsdaten durch Dreieckvermessung auf Grundlage einer Parallaxe zum selben Objekt, der Position der Stereokamera 2 und ihres Parameters wie etwa Brennweite berechnet werden.
Auf Daten, die in der Bilddatenbank gespeichert sind, wird auf Grundlage der Abstands- und Bilddaten zum Erkennen von Hindernissen und irgendwelchen Objekte zugegriffen, die dem Flug im Wege stehen würden. Das Integrationssichtsystem 1, das in Luftfahrzeugen, zum Beispiel Helikoptern installiert ist, die in relativ niedriger Höhe fliegen, erkennt Strukturen wie Pylone und Hochhäuser oder ein anderes Luftfahrzeug, usw. während eines Nachtflugs in Vorwärtssicht. Wenn das System 1 auch elektrische Hochspannungsleitungen in den Bilddaten unter Erkennung von Pylonen erkennt, generiert es Hindernisdaten, welche die Stromleitungen symbolisieren oder hervorheben, und überträgt die Daten an den Integrationssichtgenerator 13.
Wenn das Integrationssichtsystem 1 Pylone, elektrische Hochspannungsleitungen und Hochhäuser, usw. in Vorwärtssicht über die Stereokamera 2 erkennt, warnt es den Piloten entsprechend unverzüglich über diese Strukturen als Hindernisse, mit denen er kollidieren könnte, so dass der Helikopter sofort eine Ausweichmaßnahme ergreift.
Die vorliegende Erfindung bietet deshalb ein hochsicheres Fliegen und Fahren ohne den Kollisionsrisikograd zu bestimmen, indem in einem digitalen 3-D-Speicherabbild gespeicherte Positionsdaten wie Längengrad, Breitengrad und Höhe mit tatsächlichen Flugdaten verglichen werden.
Der geografische Bildgenerator 12 vollzieht eine Koordinatenumsetzung der Luftfahrzeugdaten wie Geschwindigkeit, Flughöhe, Fluglage und Flugpositionsdaten, die über die Luftfahrzeugflugdatenschnittstelle 5 auf Blickpunkte des Piloten oder eines Besatzungsmitglieds eingegeben werden, die von der Kopfbewegungserfassungseinrichtung 23 eingegeben werden. Der Generator 12 ruft darüber hinaus die konvertierten Daten aus der digitalen 3-D-Speicherabbildung als geografische 3-D-Bilder ab, die vom Piloten oder einem Besatzungsmitglied gesehen werden könnten, und die an den Integrationssichtgenerator 13 übertragen wurden. Bei den 3-D-Bildern handelt es sich um geografische Daten, die weitgefasster sind als der eigentliche Schauplatz in Vorwärtssicht, beispielsweise um eine Bergkette in der Entfernung, die nicht direkt mit der Sicherheit gegen Kollision in Zusammenhang steht. Diese geografischen 3-D-Bilddaten können als beinahe reale Szenen gesehen werden, die auf einer 3-D-Anzeige beruhen, die durch Computergrafik mit geografischer Information wie Ortsnamen, Seen, Straßen und Flüssen beruhen.
Die geografischen 3-D-Bilddaten können anstatt aus der digitalen 3-D-Speicherabbildung 12a auch aus Bildern generiert werden, die von einem im millimetrischen Bereich arbeitenden Weitraumradar erfasst wurden.
Der Integrationssichtgenerator 13 empfängt 3-D-Bilddaten von linken und rechten Bildern, die von der vom Sichtachsenumschalter 3 gesteuerten Stereokamera 2 aufgenommen wurden, und auch die Hindernisbilder, die vom Stereobilderkennungsprozessor 11 erzeugt wurden. Der Generator 13 empfängt auch geografische Weitraumumfangsbilder, die vom geografischen Bildgenerator 12 erzeugt wurden.
Der Integrationssichtgenerator 13 kombiniert unter der Steuerung des Anzeigebetriebsartumschalters 4 die Hindernis- und geografischen Umfangsbilder mit Bildverarbeitung wie etwa Einstellungen an Auflösung, Stärke, Kontrast und Farbe und auch Kantenmischung, um natürliche Bilder ohne sichtbare Kombinationsverbindungsstellen als integrierte Ansichtsdaten herzustellen.
Der Integrationsansichtsgenerator 13 kombiniert wenn nötig die integrierten Ansichtsdaten mit Flugdaten wie Geschwindigkeit, Flughöhe, Position und Fluglage, die von der Flugdatenschnittstelle 5 übertragen werden, und überträgt sie an den HMD 21.
Bei guter Sicht, wie sie etwa bei gutem Wetter herrscht, kann die Stereokamera 2 ausgeschaltet werden, so dass als Integrationsansichtsdaten nicht die 3-D-Bilder der Stereokamera 2, sondern die Hindernisdaten und andere Daten wenn nötig an den HMD 21 übertragen werden.
2 zeigt Sichtbereiche, die von dem HMD 21 abgedeckt werden, wobei die Integrationsansichtsdaten wie vorstehend offenbart verarbeitet werden.
Ein Sichtbereich, der von einer unterbrochenen Strichpunktlinie umgeben ist, wird zur Anzeige der Vorwärtssichtdaten mit Hindernisdaten aus der Stereokamera 2 verwendet. Ein anderer Sichtbereich, der von einer unterbrochenen Punktlinie umgeben ist, sich aber außerhalb der Strichpunktlinie befindet, wird zur Anzeige der Weitraumsichtdaten von geografischen 3-D-Bildern verwendet.
Der Pilot oder ein Besatzungsmitglied kann den tatsächlichen Schauplatz vom Cockpit 30 aus durch Fenster überlagert mit den Integrationsansichten sehen, während er Anzeigen im Cockpit sieht, somit kann der Pilot oder ein Besatzungsmitglied Anzeigedaten zusätzlich zu den Daten sehen, die am HMD 21 angezeigt werden.
Wie vorstehend offenbart liefert das Integrationssichtsystem 1 nach der vorliegenden Erfindung auch bei geringer Sicht einem Piloten oder Besatzungsmitglied in Perspektive, Flughöhe und Geschwindigkeit fast reale 3-D-Bilder, die auf linken und rechten, von der Stereokamera 2 aufgenommenen Bildern beruhen, was mit einer einzigen Kamera nicht erzielt werden kann.
Das Integrationssichtsystem 1 verarbeitet darüber hinaus die aus der Stereokamera 2 stammenden linken und rechten Bilder durch Stereobildverarbeitung zur Bilderkennung unter Nutzung von Abstandsdaten, um Hindernisse auf oder in der Nähe der Flugroute zu erfassen, und zeigt die Hindernisse als Warnung an.
Das Integrationssichtsystem 1 nach der vorliegenden Erfindung bietet somit auch bei geringer Sicht einen pseudovisuellen Flug, um einen Piloten für einen gefahrlosen und sicheren Flug im regulären Dienst oder im Notfall zu unterstützen.
3-D-Bilder können bei guter Sicht nicht unbedingt notwendig sein, jedoch sorgt die Hinderniserfassung zur Warnung durch Stereobilderkennungsverarbeitung für einen noch sichereren Flug.
Die 3-D-Bildanzeige von Vorwärtssichten und die Hinderniserfassung/-warnung erfolgen durch die Stereokamera 2 ohne Sensoren für die jeweiligen Funktionen. Das Integrationssichtsystem 1 nach der vorliegenden Erfindung kann somit als zuverlässiges und leichtes System zu niedrigen Kosten aufgebaut werden.
Wie vorstehend offenbart, liefert die vorliegende Erfindung Besatzungsmitgliedern in einem Fahrzeug auch bei geringer Sicht beinahe reale Pseudoansichten mit guter Sichtbarkeit wie bei schönem Wetter für einen gefahrlosen und sicheren Flug oder eine gefahrlose und sichere Fahrt, wobei vorn befindliche Hindernisse erfasst werden.
Ferner sollte den Fachleuten auf dem Gebiet klar sein, dass es sich bei der vorstehenden Erfindung um eine bevorzugte Ausführungsform des offenbarten Systems handelt, und dass verschieden Änderungen und Modifizierungen an der Erfindung vorgenommen werden können, ohne dass dabei von deren Umfang abgewichen wird.

Claims

Integrationssichtsystem, das Folgendes umfasst: mindestens eine Stereokamera, die in einem Fahrzeug installiert ist, um Bilder eines vorbestimmten Außenbereichs aufzunehmen; eine Stereobilderkennungsvorrichtung zum Verarbeiten eines Paars von Bildern, die von der Stereokamera aufgenommen wurden, um Objekte zu erkennen, die vorn befindliche Hindernisse darstellen, wodurch Hindernisdaten generiert werden; einen Integrationsansichtsdatengenerator zum Generieren von Integrationsansichtsdaten einschließlich dreidimensionaler Sichtdaten auf Grundlage des Paars von Bildern, die von der Kamera aufgenommen wurden, und der Hindernisdaten aus der Stereobilderkennungsvorrichtung, und eine Integrationsbildanzeige zum Anzeigen der Integrationsansichtsdaten als sichtbare Bilder für die Besatzung im Fahrzeug, wobei der Integrationsansichtsdatengenerator in der Lage ist, die dreidimensionalen Sichtdaten aus den Integrationsansichtsdaten zu beseitigen, indem die Stereokamera abgeschaltet wird, während die Hindernisdaten beibehalten werden.
Integrationssystem nach Anspruch 1, wobei der Integrationsansichtsdatengenerator den dreidimensionalen Sichtdaten periphere Weitraumsichtdaten hinzufügt.
Integrationssichtsystem nach einem der Ansprüche 1 oder 2, wobei der Integrationsansichtsdatengenerator eine Helmanzeige umfasst, um die sichtbaren Bilder der Integrationssichtdaten und die tatsächliche Ansicht übereinander zu legen.
Integrationssichtsystem nach einem der Ansprüche 1 bis 3, wobei die Stereokamera zwei Infrarotkameras umfasst, die um einen Abstand getrennt voneinander angeordnet sind, der einer spezifischen Grundlinie entspricht.
Integrationssichtsystem nach einem der Ansprüche 1 bis 4, darüber hinaus mindestens eine erste Stereokamera, eine zweite Stereokamera und eine dritte Stereokamera umfassend, wobei die erste Stereokamera eine Infrarotkamera ist, die zweite Kamera eine im millimetrischen Wellenbereich arbeitende Kamera ist, und die dritte Kamera ein Verstärker ist, wobei die erste, die zweite und die dritte Stereokamera entsprechend den tatsächlichen Ansichten selektiv eingesetzt werden.