DE69232663T2 - Rundumsichtausrichtungssystem mit bewegungsloser kamera - Google Patents

Description

• Die Erfindung betrifft eine Vorrichtung, einen Algorithmus und ein Verfahren zum Transformieren eines hemisphärischen Blick- oder Sichtfeldbilder in ein nicht verzerrtes normal perspektivisches Bild mit beliebiger Orientierung, Drehung und Vergrößerung innerhalb des Sichtfeldes. Die Blick- oder Sichtrichtung, Orientierung und Vergrößerung werden entweder durch Computer oder Fernsteuerungseinrichtungen gesteuert. Spezieller ist diese Vorrichtung das elektronische Äquivalent eines mechanischen Kamerabeobachtungssystems mit Schwenkung, Neigung, Zoom und Drehung, ohne bewegliche Mechanismen.
• Kamerasichtsysteme oder -beobachtungssysteme werden im Überfluß für die Überwachung, Untersuchung, Sicherheit und Fernerfassung eingesetzt. Die Beobachtung aus der Ferne ist relevant für robotische Handhabungsaufgaben. Die Beobachtung aus der Nähe ist notwendig für feinteilige Handhabungsaufgaben, während eine Weitwinkel-Beobachtung die Positionierung des Robotersystems unterstützt, um Kollisionen mit dem Arbeitsraum zu vermeiden. Der Hauptteil der Systeme verwendet entweder eine fest montierte Kamera mit einem begrenzten Blickfeld oder mechanische Schwenk- und Neigeplattformen und mechanisierte Zoomlinsen, um die Kamera zu orientieren und ihr Bild zu vergrößern. In den Anwendungen, in welchen die Orientierung der Kamera und die Vergrößerung ihres Bildes notwendig sind, ist die mechanische Lösung von erheblichem Umfang und kann ein erhebliches Volumen erfordern, so daß es schwierig ist, das Beobachtungssystem zu verbergen oder in geschlossenen Bereichen einzusetzen. Üblicherweise sind mehrere Kameras notwendig, um eine WeitwinkelBeobachtung des Arbeitsraums zu erlauben.
• Um eine maximale Abdeckung bei der Beobachtung oder des unterstützten Winkels vorzusehen, verwenden mechanische Schwenk/Neige-Mechanismen üblicherweise motorisierte Antriebe und Getriebemechanismen zum Manipulieren der vertikalen und horizontalen Orientierung.
• Ein Beispiel einer solchen Einrichtung ist gezeigt in dem U.S. Patent Nr. 4,728,839 von J. B. Coughlan et al., erteilt am 1. März 1988. Kollisionen mit der Arbeitsumgebung, welche durch diese mechanischen Schwenk/Neige-Orientierungsmechanismen verursacht werden, können sowohl die Kamera als auch den Arbeitsraum beschädigen und die Fernbedienungs- Operationen behindern. Gleichzeitig ist die Beobachtung in diesen fernen Umgebungen besonders wichtig für die Leistungsfähigkeit der Überwachungs- und Handhabungsaktivitäten.
• Kamera-Beobachtungssysteme, welche eine interne Optik verwenden, um einen breiten Sichtwinkel vorzusehen, wurden ebenfalls entwickelt, um die Größe und das Volumen der Kamera und deren Eindringen in den Sichtbereich zu minimieren. Diese Systeme verlassen sich auf die Bewegung entweder eines Spiegels oder Prismas zur Veränderung des Neigungswinkels der Orientierung und sehen eine mechanische Drehung der gesamten Kamera vor, um den Neigungs-Orientierungswinkel zu verändern. Bei Verwendung dieser Einrichtung kann die Größe des Kameraausrichtsystems minimiert werden, es ergeben sich jedoch "blinde Flecken" im Zentrum des Sichtfeldes. Diese Systeme haben üblicherweise auch keine Mittel zum Vergrößern des Bildes und/oder zum Erzeugen mehrerer Bilder mit einer einzelnen Kamera.
• JP-02-127877A von Casio beschreibt ein System zum Korrigieren der Verzerrung in jedem von neun vordefinierten Bereichen eines Bildes, das von einer Fischauge-Linse aufgenommen wurde. Verzerrungsdaten, welche für die Korrektur verwendet werden, werden vorab in einem Speicher gespeichert.
• EP-A-0 111 909 beschreibt eine andere Bildverarbeitungsvorrichtung zum Korrigieren eines verzerrten Bildes, das von einer Weitwinkellinse aufgenommen wird.
• WO 8203712A beschreibt ein System zum Transformieren eines Bildes. Eingangsbefehle, welche eine X- und Y-Vorübersetzung, X- und Y-Größensteuerung, Z-Achsendrehung und X- und Y-Nachübersetzung angeben, werden empfangen und dazu verwendet, eine gemischte Transformation zu erzeugen, die in horizontale und vertikale Komponenten aufgeteilt ist, welche auf das Bild angewendet werden.
• In dem Dokument "Movie Maps: An Application of the Optical Video Disc to Computer Graphics" (Siggraph Conference proceedings, 1980, Seiten 32 bis 42) beschreibt A. LIPPMANN ein Videoplattensystem, das gespeicherte Bilder manipuliert, um einem Benutzer zu ermöglichen, eine simulierte "Fahrt" durch einen Raum zu erleben.
• Es ist somit eine Aufgabe der Erfindung, eine Vorrichtung vorzusehen, die ein Bild eines beliebigen Teils des betrachteten Raums innerhalb eines hemisphärischen Blickfeldes liefern kann, ohne die Vorrichtung zu bewegen.
• Es ist eine weitere Aufgabe der Erfindung, die horizontale Orientierung (Schwenken) der Blickrichtung ohne bewegliche Mechanismen vorzusehen.
• Es ist eine weitere Aufgabe der Erfindung, eine vertikale Orientierung (Neigung) der Blickrichtung ohne bewegliche Mechanismen vorzusehen.
• Es ist eine weitere Aufgabe der Erfindung, eine Dreh-Orientierung (Rotation) der Blickrichtung ohne bewegliche Mechanismen vorzusehen.
• Es ist eine andere Aufgabe der Erfindung, die Fähigkeit zum Vergrößern oder Skalieren des Bildes (Zoom-In und Zoom-Out) elektronisch vorzusehen.
• Es ist eine andere Aufgabe der Erfindung, eine elektronische Steuerung der Bildintensität (Iris-Pegel) vorzusehen.
• Es ist eine weitere Aufgabe der Erfindung, die Bildintensität (Iris-Pegel) ohne bewegliche Mechanismen verändern zu können.
• Es ist eine andere Aufgabe der Erfindung, Schwenkung, Neigung, Zoom, Rotation und Iris mit einfachen Eingaben zu realisieren, die von einem Laien mittels eines Joysticks, einer Tastatursteuereinrichtung oder einer computergesteuerten Einrichtung vorgenommen werden.
• Es ist auch eine Aufgabe der Erfindung, eine präzise Steuerung der absoluten Blickrichtung und Orientierung mit Hilfe dieser Eingabeeinrichtungen vorzusehen.
• Eine weitere Aufgabe der Erfindung besteht darin, die Fähigkeit vorzusehen, mehrere Bilder mit verschiedenen Orientierungen und Vergrößerungen gleichzeitig zu erzeugen.
• Eine weitere Aufgabe der Erfindung ist es, diese Bilder mit Realzeit-Videobildraten, z. B. 30 transformierte Bilder pro Sekunde, vorsehen zu können und verschiedene Anzeigeformatstandards zu unterstützen, wie das NTSC RS-170 Anzeigeformat.
• Diese und andere Aufgaben der Erfindung ergeben sich deutlich unter Berücksichtigung der Zeichnungen in Verbindung mit deren vollständiger Beschreibung.
• Die Erfindung sieht ein System gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 13 vor.
• In einer bevorzugten Ausführungsform wird das eingehende Bild durch eine Fischaugen- Linse erzeugt, die einen breiten hemisphärischen oder halbkugelförmigen Blickwinkel hat. Dieses Bild mit hemisphärischem Blickfeld wird in einem elektronischen Speicherpuffer erfaßt. Ein Teil des erfaßten Bildes, das einen interessierenden Bereich enthält, wird von einem Bildverarbeitungscomputer in ein perspektivisch richtiges Bild transformiert. Der Bildverarbeitungscomputer sieht eine direkte Abbildung des interessierenden Bereiches des hemisphärischen Bildes in ein korrigiertes Bild mittels eines orthogonalen Satzes von Transformationsalgorithmen vor. Die Blickausrichtung wird durch ein Befehlssignal angegeben, das entweder von einer menschlichen Bedienungsperson oder einer Computereingabe erzeugt wird. Das transformierte Bild wird in einem zweiten elektronischen Speicherpuffer abgelegt, wo es dann manipuliert wird, um das Ausgangsbild zu erzeugen, wie durch das Befehlssignal angefordert.
• Fig. 1 zeigt ein schematisches Blockdiagramm der vorliegenden Erfindung, welches dessen Hauptkomponenten illustriert;
• Fig. 2 zeigt eine beispielhafte Zeichnung eines üblichen Fischaugen-Bildes, das als einen Eingangswert gemäß der Erfindung verwendet wird.
• Fig. 3 zeigt eine beispielhafte Zeichnung des Ausgangsbildes nach der Korrektur gemäß einer gewünschten Bildausrichtung und Vergrößerung innerhalb des Ursprungsbildes.
• Fig. 4 zeigt ein schematisches Diagramm der Grundgeometrie, welche die vorliegende Erfindung einsetzt, um die Bildtransformation zu realisieren.
• Fig. 5 zeigt ein schematisches Diagramm der Projektion der Objektebene und des Positionsvektors in Bildebenenkoordinaten.
• Um die Größe des Kameraausrichtsystems zu minimieren und gleichzeitig die Fähigkeit zum Zoomen beizubehalten, wurde ein Kameraausrichtsystem entwickelt, welches elektronische Transformationen anstelle von Mechanismen verwendet. Während zahlreiche Patente bezüglich mechanischer Schwenk- und Neigesysteme eingereicht wurden, ist keine Lösung bekannt, die ausschließlich elektronische Transformationen und Fischaugen-Optiken verwendet und früher mit Erfolg umgesetzt wurde. Zusätzlich erlaubt die elektro-optische Lösung, die bei der vorliegenden Erfindung eingesetzt wird, mehrere Bilder aus dem Ausgangssignal einer einzelnen Kamera zu extrahieren. Die Motivation für diese Einrichtung ergab sich aus Anforderungen an Beobachtungssysteme für ferngesteuerte Manipulationsanwendungen, bei denen die Bewegungs-Hüllkurve der Einrichtung der Ausführung einer Aufgabe erhebliche Beschränkung auferlegt.
• Die Grundsätze der vorliegenden Erfindung können mit Bezug auf Fig. 1 verstanden werden. Bei 1 ist schematisch die Fischaugen-Linse gezeigt, die ein Bild der Umgebung mit einem Blickfeld von 180 Grad liefert. Die Fischaugen-Linse ist an einer Kamera 2 angebracht, welche das optische Bild in ein elektrisches Signal umwandelt. Diese Signale werden dann elektronisch digitalisiert 3 und in einem Bildpuffer 4 innerhalb der vorliegenden Erfindung gespeichert. Ein Bildverarbeitungssystem, das aus einem X-MAP-Prozessor und einem Y-MAP- Prozessor, 6 bzw. 7, besteht, führt die zweidimensionale Transformationsabbildung aus. Die Bildtransformationsprozessoren werden über die Microcomputer- und Steuerschnittstelle 5 gesteuert. Die Microcomputer-Steuerschnittstelle liefert Initialisierungs- und Transformationsparameter, die für das System berechnet sind. Die Steuerschnittstelle ermittelt auch die gewünschten Transformationskoeffizienten gestützt auf Orientierungswinkel, Vergrößerung, Drehung und Lichtempfindlichkeit, die über eine Eingabeeinrichtung eingegeben werden, wie eine Joystick-Steuereinrichtung 12 oder eine Computereingabeeinrichtung 13. Das transformierte Bild wird durch ein zweidimensionales Faltungsfilter 8 gefiltert und das ausgegebene gefilterte Bild wird in einem Ausgangsbildpuffer 9 gespeichert. Der Ausgangsbildpuffer 9 wird von einer Anzeigeelektronik 10 in eine Videoanzeigeeinrichtung 11 für die Beobachtung ausgelesen.
• Eine Anzahl von Linsentypen kann zur Unterstützung verschiedener Blickfelder verwendet werden. Die Linsenoptik 1 entspricht direkt den mathematischen Koeffizienten, die mit den X-MAP- und Y-MAP-Prozessoren 6 und 7 verwendet werden, um das Bild zu transformieren.
• Die Fähigkeit zum Schwenken und Neigen des Ausgangsbildes bleibt erhalten, selbst wenn ein anderes maximales Blickfeld mit anderen Linsenelementen vorgesehen wird.
• Die Erfindung kann durch eine geeignete Kombination einer Anzahl von optischen und elektronischen Einrichtungen realisiert werden. Die Fischaugen-Linse 1 wird beispielhaft durch eine einer Reihe von Weitwinkellinsen, z. B. von Nikon, dargestellt, insbesondere die 8 mm F2,8. Jede Videoquelle 2 und Bilderfassungseinrichtung 3, welche das optische Bild für den elektronischen Speicher umwandelt, kann als Eingabe für die Erfindung dienen, z. B. eine Videk Digital Camera in Verbindung mit Texas Instrument's TMS 34061 integrierten Schaltkreisen. Eingangs- und Ausgangsbildpuffer 4 und 9 können unter Verwendung von Texas Instrument's TMS44C251 Video-RAM-Chips oder deren Äquivalent aufgebaut werden. Die Steuerschnittstelle kann mit jedem von einer Vielzahl von Microcontrollern aufgebaut werden, einschließlich der Intel 80C196. Die X-MAP- und Y-MAP-Transformationsprozessoren 6 und 7 und Bildfilter 8 können mit anwendungsspezifischen integrierten Schaltkreisen oder anderen Mitteln realisiert werden, die dem Fachmann bekannt sind. Der Anzeigetreiber kann ebenfalls mit integrierten Schaltkreisen realisiert werden, wie dem Texas Instrument's TMS34061. Das Ausgangsvideosignal kann z. B. das NTSC RS-170 Signal sein, das mit den meisten im Handel erhältlichen Fernsehanzeigen in den USA kompatibel ist. Fernsteuerung 12 und Computersteuerung 13 werden über allgemein erhältliche Schalter und/oder Computersysteme realisierbar, die ebenfalls gut bekannt sind. Diese Komponenten dienen als ein System zum Auswählen eines Teils des Eingangsbildes (Fischauge oder andere Weitwinkel) und dann mathematischen Transformieren des Bildes, um die richtige Perspektive für die Ausgabe vorzusehen. Die Schlüsselelemente für den Erfolg der Erfindung umfassen:
• (1) nicht das gesamte Eingangsbild muß transformiert werden, nur der interessierende Teil;
• (2) die erforderliche mathematische Transformation ist basierend auf die Linseneigenschaften vorhersagbar;
• Die Transformation, die zwischen dem Eingangsspeicherpuffer 4 und dem Ausgangsspeicherpuffer 9 vorgenommen wird und durch die zwei Koordinaten-Transformationsschaltkreise 6 und 7 gesteuert wird, wird mit Bezug auf Fig. 2 und 3 besser verständlich. Das in Fig. 2 gezeigte Bild ist eine graphische Widergabe des Bildes eines Gittermusters, das von einer Fischaugen-Linse erzeugt wird. Dieses Bild hat einen Blickwinkel von 180 Grad und zeigt den Inhalt der Umgebung über eine gesamte Halbkugel. Man beachte, daß das resultierende Bild in Fig. 2 im Vergleich zur menschlichen Wahrnehmung erheblich verzerrt ist. Vertikale Gitterlinien in der Umgebung erscheinen in der Bildebene als 14a, 14b, und 14c. Horizontale Gitterlinien in der Umgebung erscheinen in der Bildebene als 15, 15b, und 15c. Das Bild eines Objekts ist beispielsweise durch 16 dargestellt. Ein Teil des Bildes in Fig. 2 wurde korrigiert, vergrößert und gedreht, um das in Fig. 3 gezeigte Bild zu erzeugen. 17 bezeichnet die korrigierte Darstellung des Objekts auf der Ausgangsanzeige. Das in dem Bild der Fig. 3 gezeigte Ergebnis kann aus jedem Teil des Bildes der Fig. 2 mit Hilfe der vorliegenden Erfindung erzeugt werden. Man beachte die korrigierte Perspektive, welche durch die Begradigung des Gittermusters demonstriert ist, die in Fig. 3 gezeigt ist. Bei der vorliegenden Erfindung können diese Transformationen in Realzeit-Videoraten (z. B. dreißig mal pro Sekunde), die mit üblichen Videostandards kompatibel sind, realisiert werden.
• Die Erfindung, wie hier beschrieben, hat die Fähigkeit, das Ausgangsbild durch das gesamte Blickfeld des Linsenelementes zu schwenken und zu neigen, indem die Eingabeeinrichtung, z. B. der Joystick oder Computer, der Steuereinrichtung verändert wird. Dies erlaubt das Scannen eines großen Bereichs nach Information, was nützlich in Sicherheits- und Überwachungsanwendungen sein kann. Das Bild kann auch durch jeden Teil von 360 Grad um seine Achse gedreht werden, wodurch die wahrgenommene Vertikale des angezeigten Bildes verändert wird. Diese Fähigkeit schafft die Möglichkeit, das vertikale Bild mit dem Schwerkraftvektor auszurechnen, um unabhängig von dem Schwenk- oder Neigungswinkel des Bildes die richtige Perspektive in der Bilddarstellung beizubehalten. Die Erfindung unterstützt auch Modifikationen bei der Vergrößerung, die zum Anzeigen des Ausgangsbildes verwendet wird. Dies geht einher mit einer Zoomfunktion, die eine Veränderung des Blickfeldes des Ausgangsbildes erlaubt. Diese Funktion ist für die Untersuchung und Überwachung besonders nützlich. Die Größe des vorgesehenen Zooms ist eine Funktion der Auflösung der Eingangskamera, der Auflösung der Ausgangsanzeige, der Klarheit der Ausgangsanzeige und des Umfangs der Bildelemente (Pixel)-Mittelung, die in einer gegebenen Anzeige verwendet wird. Die Erfindung unterstützt all diese Funktionen, um Fähigkeiten vorzusehen, die mit traditionellen mechanischen Schwenkeinrichtungen (um 180 Grad), Neigeeinrichtungen (um 180 Grad), Rotationseinrichtungen (um 360 Grad) und Zoomeinrichtungen assoziiert werden. Das digitale System unterstützt auch die Skalierung der Bildintensität, was die Funktionalität einer mechanischen Iris simuliert, indem die Intensität des angezeigten Bildes gestützt auf Befehle von dem Benutzer oder einem externen Computer verschoben wird.
• Die Forderungen (Axiome) und Gleichungen, welche folgen, stützen sich auf die vorliegende Erfindung, die eine Fischaugen-Linse als das optische Element verwendet. Es gibt zwei Grundeigenschaften und zwei Grundforderungen, welche das perfekte Fischaugen- Linsensystem beschreiben. Die erste Eigenschaft einer solchen Fischaugen-Linse ist, daß die Linse ein 2π Steradiant-Sichtfeld hat und das Bild als ein Kreis erzeugt wird. Die zweite Eigenschaft ist, daß alle Objekte in dem Sichtfeld im Fokus sind, d. h. die perfekte Fischaugen- Linse hat eine unendliche Tiefenschärfe. Die zwei wichtigen Forderungen dieses Fischaugen- Linsensystems (siehe Fig. 4 und 5) werden wie folgt formuliert:
Axiom 1 Invariabilität des Azimuthwinkels
• - Für Objektpunkte, die in einer sie enthaltenden Ebene (Inhaltsebene) liegen, welche senkrecht zur Bildebene ist und durch den Ursprung der Bildebene geht, werden all solche Punkte als Bildpunkte auf die Schnittlinie zwischen der Bildebene und der Inhaltsebene abgebildet, d. h. entlang einer radialen Linie. Der Azimuthwinkel der Bildpunkte ist daher für die Elevation irrelevant, und die Objektdistanz ändert sich mit der Inhaltsebene.
Axiom 2 Äquidistante Projektionsregel
• - Der radiale Abstand r vom Ursprung der Bildebene entlang des Azimuthwinkels, der die Projektion des Objektpunktes enthält, ist linear proportional zu dem Zenitwinkel β, wobei β definiert ist als der Winkel zwischen einer senkrechten Linie durch den Ursprung der Bildebene und der Linie von dem Ursprung der Bildebene zum Objekt. Daraus ergibt sich die Beziehung:
• r = kβ (1)
• Unter Verwendung dieser Eigenschaften und Forderungen als Grundlage des Fischaugen- Linsensystems können die mathematischen Transformationen zum Erhalten eines perspektivisch korrigierten Bildes ermittelt werden. Fig. 4 zeigt die Koordinatenbezugsrahmen für die Objektebene und die Bildebene. Die Koordinaten u, v beschreiben Objektpunkte innerhalb der Objektebene. Die Koordinaten x, y, z beschreiben Punkte innerhalb des Bildkoordinaten- Bezugsrahmens.
• Die in Fig. 4 gezeigte Objektebene ist ein typischer interessierender Bereich zur Ermittlung der Abbildungsbeziehung auf die Bildebene, um das Objekt richtig zu korrigieren. Der Blickrichtungsvektor DOV [x, y, z] bestimmt die Zenit- und Azimuthwinkel für die Abbildung der Objektebene UV auf der Bildebene XY. Die Objektebene ist als senkrecht zu dem Vektor DOV [x, y, z] definiert.
• Der Ort des Ursprungs der Objektebene in bezug auf die Bildebene [x, y, z] in Kugel- Koordinaten ist gegeben durch:
• x = D sinβ cos∂
• y = D sinβ sin∂ (2)
• z = D cosβ
• wobei D = skalare Länge von dem Ursprung der Bildebene zum Ursprung der Objektebene, β ist der Zenitwinkel, und ∂ ist der Azimuthwinkel in Kugelkoordinaten der Bildebene. Der Ursprung der Objektebene wird dargestellt als ein Vektor unter Verwendung der Komponenten aus Gleichung 1:
• DOV[x, y, z] = [Dsinβcos∂, Dsinβsin∂, Dcosβ] (3)
• DOV[x, y, z] ist senkrecht zur Objektebene, und ihre skalare Größe D ergibt den Abstand zur Objektebene. Durch Ausrichten der YZ-Ebene zur Wirkungsrichtung von DOV[x, y, z] wird der Azimuth-Winkel 9 entweder 90 Grad oder 270 Grad und daher wird die x-Komponente null, woraus sich die folgenden DOV[x, y, z]-Koordinaten ergeben:
• DOV[x, y, z] = [0, -Dsinβ, Dcosβ] (4)
• Mit Bezug auf Fig. 5 ist der Objektpunkt in bezug auf den Ursprung der UV-Ebene in Koordinaten bezogen auf den Ursprung der Bildebene durch folgende Gleichung gegeben:
• x = u
• y = vcosβ (5)
• z = vsinβ
• Die Koordinaten eines Punkts P(u, v), der in der Objektebene liegt, können als ein Vektor P[x, y, z] in den Koordinaten der Bildebene dargestellt werden:
• P[x, y, z] = [u, vcosβ, vsinβ] (6)
• wobei P[x, y, z] die Position des Objektpunktes in Bildkoordinaten in bezug auf den Ursprung der UV-Ebene beschreibt. Der Objektvektor O[x, y, z], welcher den Objektpunkt in Bildkoordinaten beschreibt, ist dann gegeben durch:
• O[x, y, z] = DOV[x, y, z] + P[x, y, z] (7)
• O[x, y, z] = [u, vcosβ - Dsinβ, vsinβ + Dcosβ] (8)
• Die Projektion auf eine Halbkugel mit Radius R, die an der Bildebene festgemacht ist, wird durch Skalieren des Objektvektors O[x, y, z] bestimmt, um einen Oberflächenvektor S[x, y, z] zu erzeugen:
• Durch Einsetzen der Komponenten von O[x, y, z] aus der Gleichung 8 wird der Vektor S[x, y, z], der die Abbildung der Bildpunkte auf die Halbkugel beschreibt, zu:
• Der Nenner in Gleichung 10 stellt die Länge und den absoluten Wert des Vektors O[x, y, z] dar und kann durch algebraische und trigonometrische Verarbeitung vereinfacht werden, um folgendes zu erhalten:
• Aus Gleichung 11 kann die Abbildung auf die zweidimensionale Bildebene für x und y erhalten werden als:
• Zusätzlich kann der Abstand D des Zentrums der Bildebene zur Objektebene in bezug auf den Fischaugen-Bildkreisradius R durch die folgende Beziehung dargestellt werden:
• D = mR (14)
• wobei m den Skalierungsfaktor in radialen Einheiten R vom Ursprung der Bildebene zum Ursprung der Objektebene darstellt. Das Einsetzen der Gleichung 14 in die Gleichungen 12 und 13 schafft ein Mittel zum Erhalten einer effektiven Skalierungsoperation oder Vergrößerung, die zum Vorsehen der Zoomoperation verwendet werden kann.
• Durch Verwendung der Gleichungen für die zweidimensionale Drehung der Achsen für sowohl die UV-Objektebene als auch die XY-Bildebene können die zwei letzten Gleichungen weiter verarbeitet werden, um einen allgemeineren Gleichungssatz vorzusehen, der die Drehung innerhalb der Bildebene und die Drehung innerhalb der Objektebene berücksichtigt:
• wobei
• A = (cos cos∂ - sin sin∂cosβ)
• B = (sin cos∂ + cos sin∂cosβ) (19)
• C = (cos sin∂ + sin cos∂cosβ)
• D = (sin sin∂ - cos cos∂cosβ)
• und wobei
• R = Radius des Bildkreises
• β = Zenitwinkel
• ∂ = Azimuthwinkel in Bildebene
• = Rotationswinkel der Objektebene
• m = Vergrößerung
• u, v = Koordinaten der Objektebene
• x, y = Koordinaten der Bildebene
• Die Gleichungen 17 und 18 ergeben eine direkte Abbildung von dem UV-Raum in den XY- Bildraum und sind das grundlegende mathematische Ergebnis, welches die Funktion des vorliegenden omnidirektionalen Beobachtungssystems ohne bewegliche Teile unterstützt. Wenn die gewünschten Zenit-, Azimuth- und Rotationswinkel der Objektebene und die Vergrößerung bekannt sind, können die Positionen von x und y in dem Bildfeld bestimmt werden. Diese Lösung schafft ein Mittel zum präzisen Transformieren des Bildes von dem Eingangsvideopuffer in den Ausgangsvideopuffer. Das Fischaugen-Abbildungssystem ist ferner vollständig symmetrisch um den Zenit, so daß die Vektorzuordnungen und resultierenden Vorzeichen der verschiedenen Komponenten abhängig von der gewünschten Orientierung der Objektebene in bezug auf die Bildebene unterschiedlich gewählt werden können. Ferner können diese Forderungen und mathematischen Gleichungen für verschiedene Linsenelemente nach Bedarf für die gewünschte Blickfeldabdeckung in einer gegebenen Anwendung modifiziert werden.
• Die Eingabeeinrichtung definiert den Zenitwinkel β, den Azimuthwinkel 8, die Objektdrehung und die Vergrößerung m. Diese Werte werden in die Gleichung 19 eingesetzt, um die Werte für das Einsetzen in Gleichungen 17 und 18 zu ermitteln. Der Bildkreisradius R ist ein fester Wert, der durch die Kameralinse und die Beziehung der Elemente bestimmt wird. Die Variablen u und v variieren über der Objektebene und bestimmen die Werte für x und y in Koordinaten der Bildebene.
• Aus dem Vorstehenden kann man erkennen, daß eine Fischaugen-Linse eine im wesentlichen halbkugelförmige Ansicht liefert, die von einer Kamera aufgenommen wird. Das Bild wird dann in ein korrigiertes Feld mit einer gewünschten Schwenkung, Neigung, Vergrößerung, Drehung und Fokus gestützt auf die gewünschte Ansicht, abhängig von einem Steuereingang korrigiert. Das Bild wird dann an eine Fernsehanzeige mit korrigierte Perspektive ausgegeben. Es sind somit keine mechanischen Einrichtungen notwendig, um diese extensive Analyse und Darstellung der Ansicht einer Umgebung über 180 Grad Schwenkung, 180 Grad Neigung, 360 Grad Drehung und verschiedene Grade der Zoomvergrößerung zu erreichen.

Claims (28)

1. System zum Vorsehen perspektivisch korrigierter Ansichten eines ausgewählten Teils eines empfangenen optischen Bildes, das mit einer Weitwinkellinse (1) aufgenommen ist, wobei das empfangene optische Bild verzerrt ist, mit folgenden Merkmalen:

eine Bilderfassungseinrichtung (3) zum Empfangen von Signalen, welche dem empfangenen optischen Bild entsprechen, und zum Digitalisieren des Signals;

eine Eingangsbildspeichereinrichtung (4) zum Empfangen des digitalisierten Signals;

eine Eingabeeinrichtung (12, 13) zum Auswählen eines Teils des empfangenen Bildes für die Betrachtung;

eine Bildtransformationsverarbeitungseinrichtung (5) zum Verarbeiten der digitalisierten Signale zum Erzeugen eines Ausgangssignals, welches einem perspektivisch korrigierten Bild des ausgewählten Teils des empfangenen Bildes entspricht;

eine Ausgangsbildspeichereinrichtung (9) zum Empfangen des Ausgangssignals von der Bildtransformationsverarbeitungseinrichtung (5); und

eine Ausgabeeinrichtung (10, 11), die mit der Ausgangsbildspeichereinrichtung (9) verbunden ist, zum Aufzeichnen oder Anzeigen des perspektivisch korrigierten Bildes des ausgewählten Teils;

dadurch gekennzeichnet, daß

die Bildtransformationsverarbeitungseinrichtung (5) eine Transformationsparameterrecheneinrichtung zum Berechnen von Transformationsparametern für den ausgewählten Teil des Bildes umfaßt und das digitalisierte Signal gestützt auf die berechneten Transformationsparameter verarbeitet, um das Ausgangssignal zu erzeugen.

2. System nach Anspruch 1, mit einem Kameraabbildungssystem (2) zum Empfangen des optischen Bildes und zum Erzeugen der Signale, welche dem empfangenen optischen Bild entsprechen, zur Ausgabe an die Bilderfassungseinrichtung (3).

3. System nach Anspruch 2, mit einer Weitwinkellinseneinrichtung (1), die an dem Kameraabbildungssystem angebracht ist, zum Erzeugen des optischen Bildes für die optische Übertragung an das Kameraabbildungssystem.

4. System nach Anspruch 3, wobei die Linseneinrichtung eine oder mehrere Fischaugen- Linsen (1) umfaßt.

5. System nach einem der vorangehenden Ansprüche, wobei die Eingabeeinrichtung (12, 13) eine Eingabe für die Bildtransformationsverarbeitungseinrichtung aus einem oder mehreren der folgenden vorsieht: Blickrichtung; Neigung eines Blickwinkels; Drehung eines Blickwinkels; Schwenken des Blickwinkels; Brennpunkt des Bildes und Vergrößerung des ausgewählten Teiles des Bildes.

6. System nach Anspruch 5, wobei das Neigen des Blickwinkels um wenigstens 180º vorgesehen ist.

7. System nach Anspruch 5 oder Anspruch 6, wobei die Drehung des Blickwinkels um 360º vorgesehen ist.

8. System nach einem der Ansprüche 5 bis 7, wobei das Schwenken des Blickwinkels um wenigstens 180º vorgesehen ist.

9. System nach Anspruch 8, wobei das Schwenken des Blickwinkels um 360º vorgesehen ist.

10. System nach einem der vorangehenden Ansprüche, wobei die Eingabeeinrichtung eine von einem Benutzer bedienbare Einstell-Schalteinrichtung (12) ist.

11. System nach einem der Ansprüche 1 bis 9, wobei die Eingabeeinrichtung ein Signal von einer Computereingabeeinrichtung (13) vorsieht.

12. System nach einem der vorangehenden Ansprüche, wobei die Bildtransformationsverarbeitungseinrichtung (5) programmiert ist, um die folgenden zwei Gleichungen zu realisieren

wobei

A = (cos cos∂ - sin sin∂cosβ)

B = (sin cos∂ + cos sin∂cosβ)

C = (cos sin∂ + sin cos∂cosβ)

D = (sin sin∂ + cos cos∂cosβ)

und wobei

R = Radius des Bildkreises

β = Zenitwinkel

∂ = Azimuthwinkel in Bildebene

= Drehwinkel der Objektebene

m = Vergrößerung

u, v = Koordinaten in Objektebene

x, y = Koordinaten in Bildebene.

13. Verfahren zum Vorsehen perspektivisch korrigierter Ansichten eines ausgewählten Teils eines optischen Bildes, das mit einer Weitwinkellinse (1) erfaßt wird, wobei das empfangene optische Bild verzerrt ist, mit folgenden Verfahrensschritten:

Vorsehen eines digitalisierten Signals, das dem optischen Bild entspricht;

Auswählen eines Teils des optischen Bildes;

Transformieren des digitalisierten Signals zum Erzeugen eines Ausgangssignals, das einem perspektivisch korrigierten Bild des ausgewählten Teils des empfangenen Bildes entspricht; und

Anzeigen oder Aufzeichnen des perspektivisch korrigierten Bildes des ausgewählten Teils;

dadurch gekennzeichnet, daß

der Schritt des Transformierens des digitalen Signals das Berechnen von Transformationsparametern für den ausgewählten Teil des Bildes umfaßt, wobei die berechneten Transformationsparameter dazu verwendet werden, die Transformation des digitalisierten Signals zum Erzeugen des Ausgangssignals zu steuern.

14. Verfahren nach Anspruch 13, bei dem zuerst das optische Bild empfangen und Signale erzeugt werden, welche dem empfangenen optischen Bild entsprechen, und diese Signale digitalisiert werden.

15. Verfahren nach Anspruch 13 oder 14, bei dem das optische Bild mit einer oder mehreren Fischaugen-Linsen (1) erfaßt wird.

16. Verfahren nach einem der Ansprüche 13 bis 15, wobei der Schritt des Auswählens des Teils bis zur Betrachtung des Bildes das Auswählen eines oder mehrerer der folgenden umfaßt: Blickrichtung; Neigung eines Blickwinkels; Drehung eines Blickwinkels; Schwenken des Blickwinkels; Brennpunkt des Bildes und Vergrößerung des ausgewählten Teiles des Bildes.

17. Verfahren nach Anspruch 16, wobei der Blickwinkel um wenigstens 180º geneigt werden kann.

18. Verfahren nach Anspruch 16 oder Anspruch 17, wobei der Blickwinkel um 360º gedreht werden kann.

19. Verfahren nach einem der Ansprüche 16 bis 18, wobei der Blickwinkel um wenigstens 180º geschwenkt werden kann.

20. Verfahren nach Anspruch 19, wobei der Blickwinkel um 360º geschwenkt werden kann.

21. Verfahren nach einem der Ansprüche 13 bis 20, wobei das Auswählen des Teils des zu betrachtenden Bildes mittels einer von einem Benutzer bedienten Einstellschalteinrichtung (12) durchgeführt wird.

22. Verfahren nach einem der Ansprüche 13 bis 20, wobei das Auswählen des Teils des zu betrachtenden Bildes durch ein Signal von einer Computereingabeeinrichtung (13) gesteuert wird.

23. Verfahren nach einem der Ansprüche 13 bis 22, wobei die Bildtransformation die folgenden zwei Gleichungen realisiert:

wobei

A = (cos cos∂ - sin sin∂cosβ)

B = (sin cos∂ + cos sin∂cosβ)

C = (cos sin∂ + sin cos∂cosβ)

D = (sin sin∂ + cos cos∂cosβ)

und wobei

R = Radius des Bildkreises

β = Zenitwinkel

∂ = Azimuthwinkel in Bildebene

= Drehwinkel der Objektebene

m = Vergrößerung

u, v = Koordinaten in Objektebene

x, y = Koordinaten in Bildebene.

24. Verfahren nach einem der Ansprüche 13 bis 23, wobei mehrere Teile des Bildes für die Betrachtung ausgewählt und entweder gleichzeitig oder nacheinander angezeigt werden.

25. Verfahren nach einem der Ansprüche 13 bis 24, wobei das Bild interaktiv betrachtet wird, indem die Schritte des Auswählens, Transformierens und Anzeigen des Teiles des Bildes wiederholt werden.

26. Verfahren nach Anspruch 13, wobei der Schritt des Transformierens des Bildes auf Linseneigenschaften der Weitwinkellinse (1) basiert.

27. Verfahren nach Anspruch 26, wobei der Schritt des Transformierens auf einer Invariabilität des Azimuthwinkels und einer äquidistanten Projektion basiert.

28. Verfahren nach Anspruch 13, wobei der Schritt des Transformierens des Bildes mit Realzeit-Videoraten durchgeführt wird.