-
1. GEBIET
DER ERFINDUNG
-
Die
Erfindung betrifft ein Rundum-Beobachtungssystem zum Verarbeiten
eines Bilds, das durch Bilddaten repräsentiert ist, die durch eine
Rundumkamera unter Verwendung eines Hyperboloids erhalten werden, um
dreidimensionale Projektionsbilddaten zur Anzeige zur erzeugen.
Die Erfindung betrifft auch ein Bildverarbeitungsverfahren, ein
Steuerungsprogramm und einen lesbaren Aufzeichnungsträger, die
bei diesem Rundum-Beobachtungssystem verwendet werden.
-
2. BESCHREIBUNG DER EINSCHLÄGIGEN TECHNIK
-
Herkömmlicherweise
besteht, damit ein visueller Sensor eines Roboters oder einer Sicherheitskamera Information
hinsichtlich eines großen
Gesichtsfeldbereichs erhalten kann, Bedarf an einer Kamera, die
ein Bild von einem Gesichtsfeldbereich von bis zu 360° um sie herum
erfassen kann. Techniken zum Drehen einer Videokamera um sich herum
oder das Verwenden mehrerer Videokameras wurden dazu verwendet,
ein Rundumbild über
ein Gesichtsfeld von 360° zu
erhalten.
-
Wenn
jedoch eine oder mehrere Videokameras verwendet werden, bestehen
Probleme wie die folgenden: das Erzeugen eines Bilds für einen
Rahmen benötigt
Zeit; es bestehen Schwierigkeiten beim Verarbeiten zusammengesetzter
Abschnitte von Bildern; und der Ansteuerungsabschnitt einer Videokamera
benötigt
Wartung. Daher besteht Bedarf an einer Rundumkamera, die auf einmal
ein Bild erhalten kann, das Information hinsichtlich eines Gesichtsfeldbereichs
von bis zu 360° um
sie herum enthält.
-
So
erfolgten Studien zum Erhalten einer Rundumkamera, die auf einmal
ein Bild, das Information betreffend einen Gesichtsfeldbereich von
360° um
sie herum unter Verwendung eines Verfahren zum Erfassen eines Bilds
auf Grundlage von durch einen konvexen Spiegel, wie einen Kugelspiegel
oder einen Kegelspiegel reflektierten Lichts, erfassen kann, oder
eines Verfahrens zum Erfassen eines Bilds unter Verwendung einer Fischaugenlinse
erfassen kann. Selbst bei einer derartigen Rundumkamera bestehen
jedoch immer noch Schwierigkeiten beim Erzeugen eines perspektivischen
Projektionsbilds, das so angesehen werden kann, als sei das Bild
in Echtzeit durch eine Videokamera erfasst.
-
Um
ein derartiges Problem zu lösen,
ist in der Patentoffenlegungsveröffentlichung
Nr. 6-295333, "Omnidirectional
visual system" einer
japanischen Patentoffenlegungsveröffentlichung Folgendes vorgeschlagen: eine
Rundumkamera, die ein Bild, das Information betreffend einen Gesichtsfeldbereich
von bis zu 360° unter Verwendung
eines zweischaligen Hyperboloids erhalten kann; und eine Technik
zum Ausführen
einer vorgegebenen Transformation auf Grundlage der visuellen Information,
um schnell perspektivische Projektionsbilddaten mit einem Projektionszentrum
in einem der Brennpunkte des zweischaligen Hyperboloids zu erhalten.
-
Es
erfolgten angestrengte Untersuchungen zum Erhalten eines Rundum-Beobachtungssystems,
das ein perspektivisches Projektionsbild in Echtzeit auf Grundlage
eines Bilds erzeugen und anzeigen kann, das durch eine Rundumkamera
mit einem zweischaligen Hyperboloid gemäß der oben angegebenen Technik
so erfasst werden kann, dass das perspektivische Projektionsbild
ein Projektionszentrum in einem Brennpunkt des zweischaligen Hyperboloids
aufweist und in einer beliebigen Richtung geneigt ist, die durch
einen Panoramawinkel, der ein Winkel in einer horizontalen Richtung
ist, und durch einen Kippwinkel repräsentiert ist, der einen Höhenwinkel
oder Absenkwinkel anzeigt.
-
Eine
herkömmliche
Rundumkamera unter Verwendung eines zweischaligen Hyperboloids sowie
ein Verfahren zum Erzeugen eines perspektivischen Projektionsbilds,
wie sie in der japanischen Patentoffenlegungsveröffentlichung Nr. 6-295333 beschrieben
sind, werden nun unter Bezugnahme auf die 7 bis 12 beschrieben.
-
Als
erstes wird unter Bezugnahme auf die 7 und 8 die
herkömmliche
Rundumkamera unter Verwendung eines zweischaligen Hyperbolspiegels
beschrieben.
-
Die
7 ist
ein Diagramm zum Darstellen eines zweischaligen Hyperboloids. Wie
es in der
7 dargestellt ist, entspricht
ein zweischaliger Hyperbo loid gekrümmten Flächen, die dadurch erhalten
werden, dass Hyperbelkurven um eine reelle Achse (eine Achse Z
0) gedreht werden. Das zweischalige Hyperboloid verfügt über zwei
Brennpunkte, nämlich
einen Brennpunkt Om der einen seiner Schalen sowie einen Brennpunkt
Oc seiner anderen Schale. Es sei ein dreidimensionales Koordinatensystem
O-X
0Y
0Z
0 betrachtet,
bei dem die Z
0-Achse die vertikale Achse
ist. Die zwei Brennpunkte des zweischaligen Hyperboloids befinden
sich in (0, 0, +c) bzw. (0, 0, –c).
Das zweischalige Hyperboloid ist durch den folgenden Ausdruck (1)
repräsentiert:
wobei a und b Konstanten
zum Bestimmen der Form der Hyperbelkurve sind.
-
Bei
der Rundumkamera wird eine Lage des zweischaligen Hyperboloids,
die im Bereich liegt, in dem Z0 > 0 gilt, als Spiegel
verwendet.
-
Die 8 ist
ein schematisches Diagramm einer herkömmlichen Rundumkamera 20.
Wie es in der 8 dargestellt ist, verfügt die Rundumkamera 20 über einen
Hyperbolspiegel 21, der so vorhanden ist, dass er in der
vertikalen Richtung nach unten zeigt und im Bereich positioniert
ist, in dem Z0 > 0 gilt, und eine Kamera 22 unter
dem Hyperbolspiegel 21, die in der vertikalen Richtung
nach oben zeigt. In diesem Fall liegen der Brennpunkt Om des Hyperbolspiegels 21 und
der Hauptpunkt Oc einer Linse 23 der Kamera 22 an
zwei Brennpunkten (0, 0, +c) bzw. (0, 0, –c) eines zweischaligen Hyperboloids.
Ein Bildaufnahmeelement 24, wie ein CCD-Bildaufnahmeelement,
oder eine CMOS-Bildaufnahmeeinrichtung,
ist so vorhanden, dass sie um die Brennweite f der Linse entfernt
vom Hauptpunkt Oc der Linse liegt.
-
Als
nächstes
werden unter Bezugnahme auf die 9 und 10 ein
Merkmale eines optischen Systems der Rundumkamera 20 unter
Verwendung des Hyperbolspiegels 21 sowie ein Verfahren
zum Erzeugen eines zweischaligen Projektionsbilds auf Grundlage
eines durch die Rundumkamera 20 unter Verwendung des Hyperbolspiegels 21 erhaltenen
Bilds beschrieben.
-
Die 9 ist
ein Diagramm zum Erläutern
des in der 8 dargestellten optischen Systems
und eines perspektivischen Projektionsbilds.
-
Bei
einem optischen System, das so konfiguriert ist, wie es in der 9 dargestellt
ist, wird Licht, das von der Umgebung des Hyperbolspiegels 21 zu
dessen Brennpunkt Om läuft,
durch ihn reflektiert. Das reflektierte Licht läuft durch die Linse 23 und
wird durch das Bildaufnahmeelement 24, wie ein CCD, in
ein Bild gewandelt. In der 9 ist von
einem dreidimensionalen Koordinatensystem Om-XYZ, dessen Ursprung
der Brennpunkt Om des Hyperbolspiegels 21 bildet, wobei
die optische Achse der Linse 23 die Z-Achse ist, und einem
zweidimensionalen Koordinatensystem xy ausgegangen.
-
Wie
es in der 9 dargestellt ist, liegt der
Ursprung einer xy-Ebene einer Bildfläche 25 an einem Punkt,
der in der Z-Achse um die Brennweite f der Linse 23 entlang
der positiven Richtung der Z-Achse entfernt vom Hauptpunkt Oc der
Linse 23 liegt. Die xy-Ebene verläuft orthogonal zur Z-Achse
und horizontal in Bezug auf eine XY-Ebene. In der xy-Ebene der Bildfläche 25 entsprechen
die x- und die y-Achse der Richtung einer langen Seite bzw. der
Richtung einer kurzen Seite des Bildaufnahmeelements 24 (d.
h. der horizontalen und vertikalen Achse eines Bilds), und die X-
und die Y-Achse des Koordinatensystems Om-XYZ sind gerade Linien,
die jeweils parallel zur x- bzw. y-Achse verlaufen. Die Rundumkamera 20 unter
Verwendung des Hyperbolspiegels 21 erfasst ein Bild auf
Grundlage von Licht, das vom Hauptpunkt Oc der Linse 23 über die
Bildfläche 25 läuft und
durch den Hyperbolspiegel 21 reflektiert wird. Der Schnittpunkt
zwischen dem reflektierten Licht und der Bildfläche 25 ist durch einen
Abbildungspunkt p(x, y) repräsentiert.
-
Nun
sei ein Ort eines Abbildungspunkts P in der xy-Ebene von Licht betrachtet,
das von einem Punkt P emittiert wird, der durch das dreidimensionale
Koordinatensystem Om-XYZ repräsentiert
ist. Es wird davon ausgegangen, dass ein Abbildungspunkt in der
Bildfläche 25,
der einem beliebigen Punkt P(X, Y, Z) im dreidimensionalen Koordinatensystem
entspricht, durch p(x, y) repräsentiert
ist. In diesem Fall wird Licht, das vom Punkt P(X, Y, Z) zum Brennpunkt
Om läuft,
so durch den Hyperbolspiegel 21 reflektiert, dass es zum
Brennpunkt Oc der Linse 23 gerichtet wird und durch den
Punkt p(x, y) in der Bildfläche 25 läuft, um
dadurch ein Bild aufzunehmen. Bei der Rundumkamera 20 unter
Verwendung eines zweischaligen Hyperbolspiegels wird vom Punkt P
zum Brennpunkt Om laufendes Licht durch den Hyperbolspiegel 21 vollständig reflektiert,
um auf den Hauptpunkt Oc der Linse 23 gerichtet zu werden,
und daher wird entlang einer Verlängerung der Linie Om-P laufendes
Licht ganz auf den Abbildungspunkt p(x, y) abgebildet. In diesem
Fall wird der Horizontalwinkel des reflektierten Lichts aufrecht
erhalten, und daher wird ein Azimutwinkel am Punkt P, der durch
Y/X bestimmt ist, dadurch erhalten, dass der Azimutwinkel Θ des Abbildungspunkts
p durch Bestimmen mittels y/x berechnet wird.
-
Hier
wird der Azimutwinkel θ als "Panoramawinkel" bezeichnet. Genauer
gesagt, beträgt
ein Panoramawinkel entlang der positiven Richtung der X-Achse 0°, ein Panoramawinkel
entlang der negativen Richtung der X-Achse beträgt 180°, ein Panoramawinkel entlang
der positiven Richtung der Y-Achse beträgt 90°, und ein Panoramawinkel entlang
der negativen Richtung der Y-Achse beträgt 270°.
-
Die
10 ist
ein Zustandsdiagramm zum Veranschaulichen eines Vertikalschnitts
mit dem Punkt p(x, y, z) und der Z-Achse, wie sie in der
9 dargestellt
sind. Unter der Annahme, dass der Vertikalschnitt den Punkt P und
die Z-Achse in einem Koordinatensystem mit dem Ursprung bei Om(0,
0, 0) enthält,
wie es in der
10 dargestellt ist, existieren
Beziehungen zwischen einem Punkt P und einem Abbildungspunkt p,
wie sie durch die folgenden Ausdrücke (2), (3) und (4) repräsentiert
sind:
-
Hier
wird ein in der 10 dargestellter Winkel α, der durch
den obigen Ausdruck (3) ausgedrückt
werden kann, als "Kippwinkel" am Punkt P bezeichnet.
Genauer gesagt, kann ein auf eine Ebene, die Z = 0 erfüllt, bezogener
Winkel, d. h. der Kippwinkel, durch einen positiven Wert einen Höhenwinkel
und durch einen negativen Wert einen Absenkwinkel repräsentieren.
-
Wie
oben beschrieben, erfolgt das Positionieren des Hauptpunkts der
Linse
23 der Kamera
22 an der Brennposition Oc
des Hyperboloids und daher werden der Panoramawinkel θ und der
Kippwinkel α,
die durch die X-Achse und eine Linie, die sich vom Brennpunkt Om
des Hyperbolspiegels
21 aus erstreckt, und den Punkt P
gebildet werden, eindeutig auf Grundlage des Abbildungspunkts p(x,
y) erhalten. In diesem Fall werden durch Transformieren der obigen
Ausdrücke
(1) bis (4) zum Berechnen der Werte von x und y die folgenden Ausdrücke (5)
und (6) erhalten:
-
Die
Ausdrücke
(5) und (6) beinhalten keine trigonometrische Funktion, und daher
wird die Berechnung leicht ausgeführt. Durch Zuweisen eines Punkts
P(X, Y, Z) in einer dreidimensionalen Umgebung zu den obigen Ausdrücken (5)
und (6) können
leicht Werte des Punkts p(x, y) in der Bildfläche 25, dem Punkt
P entsprechend, erhalten werden.
-
Als
Nächstes
wird ein perspektivisches Projektionsbild beschrieben.
-
Es
wird eine gerade Linie Om-G gezogen, die sich vom Brennpunkt Om
des Hyperbolspiegels 21 zu einem Punkt G im dreidimensionalen
Koordinatensystem erstreckt, der um einen Abstand D entfernt vom Brennpunkt
Om liegt, wie es in der 9 dargestellt ist, und es wird
eine perspektivische Projektionsbildoberfläche 26 betrachtet,
wobei die gerade Linie OM-G einer orthogonalen Linie entspricht.
Licht, das vom Punkt P(X, Y, Z) zum Brennpunkt Om läuft, schneidet
die perspektivische Projektionsbildoberfläche 26 an einem Punkt
P'(X', Y', Z'). In diesem Fall
bezeichnet ein perspektivisches Projektionsbild ein Bild, das dadurch
erhalten wird, dass Umgebungsinformation unter der Annahme gewandelt
wird, dass die perspektivische Projektionsbildoberfläche 26 ein
Schirm ist, dessen Projektionszentrum im Brennpunkt Om des Hyperbolspiegels 21 liegt,
und digitale Bilddaten, die ein derartiges perspektivisches Projektionsbild
repräsentieren,
werden als "perspektivische
Projektionsbilddaten" bezeichnet.
-
Nun
sei ein Bild betrachtet, das sich am Punkt P'(X',
Y', Z') auf der perspektivischen
Projektionsbildoberfläche 26 befindet.
Aufgrund der Eigenschaften des Hyperbolspiegels 21 repräsentiert
ein derartiges Bild ein Objekt, das in einer Verlängerung
der geraden Linie Om-P' liegt.
In diesem Fall wird, wenn ein Objekt in der Verlängerung der Linie Om-P', das dem Hyperbolspiegel 21 am
nächsten
liegt, am Punkt P(X, Y, Z) positioniert wird, das Bild am Punkt
P' auf der perspektivischen
Projektionsbildoberfläche 26 auf
Grundlage von Licht vom Punkt P(X, Y, Z) erhalten.
-
Jedoch
wird Licht, das entlang der Verlängerung
der geraden Linie Om-P' verläuft, auf
den Abbildungspunkt p(x, y) auf der Bildfläche 25 abgebildet,
und daher können
durch Zuweisen von Werten des Punkts P'(X', Y', Z') zu den obigen Ausdrücken (5)
und (6) leicht Werte des Abbildungspunkts p(x, y) erhalten werden,
ohne dass der Ort des Punkts P(X, Y, Z) zu berücksichtigen wäre. Daher
wird der Abbildungspunkt p auf der Bildfläche 25 sequenziell
auf Grundlage dreidimensionaler Koordinaten für jeden Punkt auf der perspektivischen
Projektionsbildoberfläche 26 erhalten,
wodurch ein perspektivisches Projektionsbild erzeugt wird.
-
Als
Nächstes
wird unter Bezugnahme auf die 11 und 12 ein
Verfahren zum Erzeugen eines perspektivischen Projektionsbilds unter
Bezugnahme auf einen Fall beschrieben, bei dem die Kamera 22 in der
in der 9 dargestellten Rundumkamera 20 so vorhanden
ist, dass sie über
eine vertikale optische Achse verfügt (d. h., die Z-Achse ist
eine vertikale Achse).
-
Die 11 ist
ein Diagramm zum Erläutern
des Verfahrens zum Erzeugen eines perspektivischen Projektionsbilds
dann, wenn die herkömmliche
Kamera 22 so vorliegt, dass ihre optische Achse (die Z-Achse)
eine vertikale Achse ist. In der 11 ist,
wie im in Verbindung mit der 9 beschriebenen
Fall, ein dreidimensionales Koordinatensystem Om-XYZ betrachtet,
dessen Ursprung am Brennpunkt Om des Hyperbolspiegels 21 liegt.
-
Wie
es in der 11 dargestellt ist, ist die
Kamera 22 so vorhanden, dass die z-Achse, die eine optische
Achse des Hyperbolspiegels 21 ist, eine vertikale Achse
ist. In diesem Fall ist die vertikale Aufwärtsrichtung entlang der Z-Achse
positiv. Die Bildfläche 25 entspricht
einem durch die Kamera 22 erhaltenen Eingangsbild. Wenn
ein zweidimensionales Koordinatensystem (x, y) betrachtet wird,
dessen, Ursprung am Schnittpunkt g zwischen der optischen Achse
des Hyperbolspiegels 21 und der Bildfläche 25 liegt, sind
die x- und die y-Achse
gerade Linien parallel zu einer langen bzw. einer kurzen Seite des
Bildaufnahmeelements 24 der Kamera 22, und die
X- und Y-Achse des Koordinatensystems Om-XYZ verlaufen parallel
zur x- bzw. y-Achse.
-
Die
perspektivische Projektionsbildoberfläche 26 ist eine Ebene,
in der die gerade Linie Om-G eine orthogonale Linie ist. Es sei
ein zweidimensionales Koordinatensystem (i, j) betrachtet, dessen
Ursprung am Punkt G liegt, wobei eine i-Achse eine horizontale Achse
parallel zur Ebene XY ist, und eine j-Achse eine vertikale Achse ist, die
die i-Achse und die Achse Om-G unter einem Winkel von 90° schneidet.
Der Abstand von der perspektivischen Projektionsbildoberfläche 26 zum
Brennpunkt Om des Hyperbolspiegels 21 ist D, und die Breite
und die Höhe
der perspektivischen Projektionsbildoberfläche 26 sind W bzw.
H. In diesem Fall verläuft die
i-Achse immer parallel zur XY-Ebene, und daher wird bei einem perspektivischen
Projektionsbild, wie es dann erhalten wird, wenn die Z-Achse eine
vertikale Achse ist, eine horizontale Fläche immer horizontal angezeigt.
-
Hier
werden die gerade Linie Om-G und der Punkt G als "Transformationszentrumsachse" bzw. "Transformationszentrumspunkt" bezeichnet. Die
Transformationszentrumsachse wird dadurch repräsentiert, dass ein Panoramawinkel θ, ein Kippwinkel Φ und ein
Abstand D verwendet werden. Der Panoramawinkel θ wird durch die X-Achse und
die auf die XY-Ebene projizierte gerade Linie Om-G gebildet, und
er kann im durch den folgenden Ausdruck (7) repräsentierten
Bereich von 0° bis
360° liegen. θ = tan–1(Y/X)
= tan–1(y/x) (7)
-
In
diesem Fall entspricht der oben genannte Kippwinkel Φ dem Winkel
zwischen der XY-Ebene und der geraden Linie Om-G, der im Bereich
von –90° bis +90° liegen kann,
wobei ein Winkel zwischen der XY-Ebene und einer über ihr
verlaufenden gerade Linie Om-G (Z > 0)
einen "+"-Wert aufweist, während ein
Winkel zwischen der XY-Ebene und einer unter dieser verlaufenden
geraden Linie Om-G (Z < 0)
ein "–"-Wert aufweist. Der
Abstand ist derselbe, wie er bereits in Zusammenhang mit der 9 beschrieben
wurde. Ein Betrachtungswinkel eines perspektivischen Projektionsbilds
wird auf Grundlage des Abstands D sowie der Breite W und der Höhe H der
perspektivischen Projektionsbildoberfläche 26 bestimmt.
-
Als
nächstes
wird eine Prozedur zum Erzeugen des perspektivischen Projektionsbilds
beschrieben.
-
In
einem ersten Schritt werden der Panoramawinkel θ, der Kippwinkel Φ und ein
Abstand D der Transformationszentrumsachse bestimmt. Dann werden
in einem zweiten Schritt Koordinatenwerte P(X, Y, Z) im dreidimensionalen
Koordinatensystem erhalten, die einem zweidimensionalen Koordinatensystempunkt
P(i, j) auf der perspektivischen Projektionsbildoberfläche 26 entsprechen.
Ein Ausdruck zum Erhalten von Werten eines Punkts im dreidimensionalen
Koordinatensystem auf Grundlage des Panoramawinkels θ, des Kippwinkels Φ und des
Abstands D können
durch den folgenden Ausdruck (8) repräsentiert werden. X = R·cosθ – i·sinθ
Y = R·sinθ + i·cosθ
Z = D·sinΦ – j·cosΦ
(R = D·cosΦ + j·sinΦ) (8)
-
Ferner
werden, in einem dritten Schritt, Werte des Punkts P(X, Y, Z) den
obigen Ausdrücken
(5) und (6) zugewiesen, um dadurch Werte des Abbildungspunkts p(x,
y) in der Bildfläche 25 entsprechend
dem Punkt P(i, j) in der perspektivischen Projektionsbildoberfläche 26 zu
erhalten.
-
Auf
diese Weise ist es, durch Erhalten von Werten von Punkten in der
Bildfläche 25 entsprechend
allen Punkten im perspektivischen Projektionsbild 26 möglich, ein
perspektivisches Projektionsbild zu erzeugen, dessen Projektionszentrum
im Brennpunkt Om des Hyperbolspiegels 21 liegt.
-
Die 12 ist
ein Diagramm zum Veranschaulichen eines Beispiels, bei dem ein Bild
eines horizontal platzierten Objekts "ABC" durch
eine Rundumkamera unter Verwendung eines Hyperbolspiegels, der so
vorhanden ist, dass eine optische Achse eine vertikale Achse ist,
erfasst wird.
-
Wie
es in der 12 dargestellt ist, wird, wenn
die optische Achse der in der 11 dargestellten
Kamera 22 eine vertikale Achse ist, ein Bild, das auf Grundlage
von Licht erhalten wird, das von einem horizontal platzierten Objekt 27,
auf das die Buchstaben "ABC" geschrieben sind,
zum Hyperbolspiegel 21 läuft, unter der Annahme, dass
die perspektivische Projektionsbildoberfläche 261 ein Schirm
ist, wie ein perspektivisches Projektionsbild 281 gesehen.
Wenn die optische Achse der Kamera 22 eine vertikale Achse
ist, ist eine Querachse der perspektivischen Projektionsbildoberfläche 261 eine
horizontale Achse. Daher wird, wenn das horizontal platzierte Objekt 27 betrachtet
wird, dasselbe im perspektivischen Projektionsbild 281 als
horizontal platziertes Objekt angezeigt.
-
Das
oben beschriebene herkömmliche
Rundum-Beobachtungssystem wurde unter der Annahme entwickelt, dass
das perspektivische Projektionsbild 281 mit der Kamera 22 erzeugt
und angezeigt wird, die in der Rundumkamera 20 enthalten
ist, die so vorhanden ist, dass sie über eine optische Achse verfügt, die
immer in einer vertikalen Richtung liegt. Aufgrund der Eigenschaften
einer Rundumkamera 20 unter Verwendung eines konvexen Spiegels
wird jedoch durch die Kamera 22 selbst reflektiertes Licht
in ein Bild gewandelt, und daher besteht ein Problem dahingehend,
dass ein Bereich, der im wesentlichen direkt unter der Kamera 22 liegt,
zu einem blinden Fleck wird, wenn ein Bild um das herkömmliche
Rundum-Beobachtungssystem herum erfasst wird.
-
Um
ein Bild eines herkömmlichen
Blindbereichs zu erfassen, der im Wesentlichen direkt unter dem Rundum-Beobachtungssystem
unter Verwendung des Hyperbolspiegels 21 liegt, ist es
denkbar, dass die Rundumkamera 20 auf geneigte Weise angebracht
wird, um ein Bild eines Bereichs, der im wesentlichen direkt unter
dem System positioniert ist, auf den Hyperbolspiegel 21 zu
projizieren, wobei Abbildungsdaten für das projizierte Bild als
Bilddaten verwendet werden.
-
Die 13 ist
ein Diagramm zum Erläutern
eines Verfahrens zum Erzeugen eines perspektivischen Projektionsbilds
für den
Fall, dass eine Rundumkamera so vorhanden ist, dass ihre optische
Achse (Z-Achse) geneigt ist.
-
In
der 13 wird, wie beim in Zusammenhang mit der 12 beschriebenen
Fall, ein Bild, das auf Grundlage von Licht erhalten wird, das vom
Objekt 27, auf das die Buchstaben "ABC" geschrieben
sind, zum Hyperbolspiegel 21 läuft, unter der Annahme, dass
eine perspektivische Projektionsbildoberfläche 262 ein Schirm
ist, wie ein perspektivisches Projektionsbild 282 gesehen.
In die sem Fall ist die optische Achse in Bezug auf eine vertikale
Achse geneigt, und demgemäß ist dann,
wenn das herkömmliche
Verfahren zum Erzeugen eines perspektivischen Projektionsbilds verwendet,
die Projektionsbildoberfläche 262 so
geneigt, dass ihre Neigung mit der der optischen Achse gekoppelt
ist. Daher wird, wie es in der 13 dargestellt
ist, im perspektivischen Projektionsbild 282, wie es unter
der Annahme erzeugt wird, dass die perspektivische Projektionsbildoberfläche 262 ein
Schirm ist, das horizontal platzierte Objekt 27 so angezeigt,
als sei es geneigt.
-
Darüber hinaus
werden, da der Kippwinkel der Kamera 22 in der Rundumkamera 20 durch
die XY-Ebene und die Transformationszentrumsachse gebildet ist,
wenn die optische Achse eine vertikale Achse ist, ein Höhenwinkel
und ein Absenkwinkel genau so repräsentiert, dass ein Kippwinkel
mit positivem Wert ein Höhenwinkel
ist und ein Kippwinkel mit negativem Wert ein Absenkwinkel ist.
Daher ist es durch Spezifizieren des Panoramawinkels θ, des Kippwinkels Φ und des
Abstands D möglich,
ein vorgegebenes perspektivisches Projektionsbild zu erzeugen. Wenn
jedoch die optische Achse geneigt ist, ist auch die XY-Ebene in
Bezug auf eine horizontale Ebene geneigt, und daher zeigt selbst
dann, wenn der Panoramawinkel θ,
der Kippwinkel Φ und der
Abstand D wie im herkömmlichen
Fall spezifiziert werden, ein perspektivisches Projektionsbild 282,
wie es erzeugt würde,
einen anderen Kippwinkel als ein gemäß dem herkömmlichen Verfahren erzeugtes
perspektivisches Projektionsbild 282.
-
Genauer
gesagt, ist beim herkömmlichen
Rundum-Beobachtungskamerasystem, wenn die Kamera 22 so
vorhanden ist, dass sie über
eine optische Achse verfügt,
die in Bezug auf eine vertikale Achse geneigt ist, um einen Blindbereich
zu beseitigen, der im wesentlichen direkt unter der Kamera 22 liegt,
ein perspektivisches Projektionsbild 282, wie es erzeugt
würde,
in Bezug auf die horizontale Ebene geneigt. Daher besteht ein Problem
dahingehend, dass kein Bild erhalten werden kann, wie es normalerweise
mit dem bloßen
Auge gesehen würde.
-
Die
Veröffentlichung "Visual Surveillance
and Monitoring System Using an Omnidirectional Video Camera" von Yoshio Onoe,
Naokazu Yokoya, Kazumasa Yamazawa und Haruo Takemura, Proceedings
Fourteenth Int. Conf. on Pattern Recognition, 16.–20. August
1998, Brisbane, Qld. Australien, Vol. 1, Seiten 588–592 erörtert ein
visuelles Beobachtungs- und Überwachungssystem
auf Grundlage einer Rundum-Bildaufnahme.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Gemäß der Erfindung
ist Folgendes geschaffen: ein Rundum-Beobachtungssystem zum Erzeugen perspektivischer
Projektionsbilddaten zur Anzeige durch Verarbeiten von durch eine
Rundumkamera unter Verwendung eines Hyperbolspiegels übertragener
Bilddaten, das über
einen Koordinatenverarbeitungsabschnitt zum Transformieren dreidimensionaler
Koordinaten, die jeden Punkt der perspektivischen Projektionsbilddaten
in einem ersten Koordinatensystem kennzeichnen, entsprechend einem
Neigungswinkel der optischen Achse des Hyperbolspiegels in Bezug
auf eine vertikale Achse in neue dreidimensionale Koordinaten, die
entsprechende Punkte transformierter perspektivischer Projektionsbilddaten
in einem zweiten Koordinatensystem, das in der Richtung entgegengesetzt
zur Neigungsrichtung verdreht ist, verfügt.
-
Bei
einer Ausführungsform
der Erfindung erhält,
wenn die optische Achse der Rundumkamera einer Z-Achse eines dreidimensionalen
Koordinatensystems XYZ entspricht, bei dem die X-, die Y- und die
Z-Achse orthogonal zueinander verlaufen, mit dem Brennpunkt des
Hyperbolspiegels als Ursprung, der Koordinatenrotations-Verarbeitungsabschnitt
ein neues dreidimensionales Koordinatensystem auf Grundlage jeder
Winkeleinzelinformation, wie sie durch Zerlegen eines Neigungswinkels
der Z-Achse in Bezug auf die vertikale Achse in einen Rotationswinkel,
wenn die X-Achse als Rotationsachse erhalten wird, einen Rotationswinkel
für den Fall,
dass die Y-Achse als Rotationsachse verwendet wird, und einen Rotationswinkel
für den
Fall, dass die Z-Achse als Rotationsachse verwendet wird, zerlegt
wird.
-
Bei
einer anderen Erscheinungsform der Erfindung verlaufen die X- und
die Y-Achse einer
XY-Ebene im dreidimensionalen XYZ-Koordinatensystem parallel zu
einer langen bzw. einer kurzen Seite eines Bildaufnahmeelements
der Rundumkamera.
-
Bei
noch einer anderen Ausführungsform
der Erfindung ist der Koordinatenrotations-Verarbeitungsabschnitt
ein uniaxialer oder doppelaxialer Koordinatenrotations-Verarbeitungsabschnitt,
der die X- und/oder die Y-Achse als Rotationswinkel verwendet.
-
Vorzugsweise
ist das Rundum-Beobachtungssystem ferner mit Folgendem versehen:
einer
Rundumkamera zum Erfassen eines Bilds auf Grundlage von Bildlicht,
das dadurch erhalten wird, dass durch einen Hyperbolspiegel reflektiertes
Licht gesammelt wird; und ein Bildverarbeitungsabschnitt zum Erzeugen,
aufgrund eingegebener, von der Rundumkamera erhaltener Bilddaten,
perspektivischer Projektionsbilddaten zur Anzeige, die ein perspektivisches
Projektionsbild repräsentieren,
bei dem das Projektionszentrum im Brennpunkt des Hyperbolspiegels
liegt; wobei die Rundumkamera in solcher Weise vorhanden ist, dass ihre
optische Achse um einen vorgegebenen Winkel in Bezug auf eine vertikale
Achse geneigt ist; und wobei der Bildverarbeitungsabschnitt perspektivische
Projektionsbilddaten zur Anzeige erzeugt, die das perspektivische
Projektionsbild horizontal anzeigen können.
-
Bei
einer Ausführungsform
der Erfindung erhält,
wenn die optische Achse der Rundumkamera der Z-Achse eines dreidimensionalen
XYZ-Koordinatensystems entspricht, bei dem die X-, die Y- und die
Z-Achse im Brennpunkt des Hyperbolspiegels als Ursprung senkrecht
aufeinander stehen, der Koordinatenrotations-Verarbeitungsabschnitt
neue dreidimensionale Koordinaten auf Grundlage jeder Winkeleinzelinformation, wie
sie dadurch erhalten wird, dass ein Neigungswinkel der Z-Achse in
Bezug auf die vertikale Achse in einen Rotationswinkel, wenn die
X-Achse als Rotationsachse verwendet wird, einen Rotationswinkel,
wenn die Y-Achse als Rotationsachse verwendet wird, und einen Rotationswinkel,
wenn die Z-Achse als Rotationsachse verwendet, zerlegt wird.
-
Bei
einer anderen Erscheinungsform der Erfindung verlaufen die X- und
die Y-Achse einer
XY-Ebene im dreidimensionalen XYZ-Koordinatensystem parallel zu
einer langen bzw. einer kurzen Seite eines Bildaufnahmeelements
der Rundumkamera.
-
Bei
noch einer anderen Ausführungsform
der Erfindung ist der Koordinatenrotations-Verarbeitungsabschnitt
ein uniaxialer oder ein doppelaxialer Koordinatenrotations-Verarbeitungsabschnitt,
der die X- und/oder die Y-Achse als Rotationswinkel verwendet.
-
Bei
noch einer anderen Ausführungsform
der Erfindung kann der Bildverarbeitungsabschnitt, in Reaktion auf
eine Manipulation eines Panoramawinkels für ein perspektivisches Projektionsbild,
sequenziell Daten für
ein perspektivisches Projektionsbild erzeugen, bei dem ein Kippwinkel
invariabel ist, da ei ne durch einen Brennpunkt des Hyperbolspiegels
verlaufende vertikale Achse als Rotationswinkel verwendet wird.
-
Gemäß der Erfindung
ist ein Bildverarbeitungsverfahren mit den folgenden Schritten geschaffen:
Ausführen
einer Verarbeitung zum Erhalten dreidimensionaler Koordinaten, die
jeden Punkt perspektivischer Projektionsbilddaten in einem ersten
Koordinatensystem angeben, auf Grundlage von Bilddaten, die durch
eine Rundumkamera unter Verwendung eines Hyperbolspiegels übertragen
werden; und Ausführen
einer Koordinatenrotationsverarbeitung zum Transformieren der dreidimensionalen
Koordinaten, die an jedem Punkt der perspektivischen Projektionsbilddaten
in einem ersten Koordinatensystem, entsprechend einem Neigungswinkel
der optischen Achse des Hyperbolspiegels in Bezug auf die vertikale
Achse in neue dreidimensionale Koordinaten, die entsprechende Punkte
transformierter perspektivischer Projektionsbilddaten in einem zweiten Koordinatensystem
angeben, das relativ zum ersten Koordinatensystem in der Richtung
entgegengesetzt zur Neigungsrichtung verdreht ist.
-
Bei
einer Ausführungsform
der Erfindung erhält
dann, wenn die optische Achse der Rundumkamera der Z-Achse eines
dreidimensionalen XYZ-Koordinatensystems entspricht, wobei die X-,
die Y- und die Z-Achse im Brennpunkt des Hyperbolspiegels als Ursprung
senkrecht aufeinander stehen, die Koordinatenrotationsverarbeitung
neue dreidimensionale Koordinaten auf Grundlage von Rotationsdeterminanten,
die dadurch erhalten wurden, dass der Neigungswinkel der Z-Achse in Bezug auf
die vertikale Achse zugewiesen wurde, um den Rotationswinkel um
die X-Achse, den Rotationswinkel um die Y-Achse und den Rotationswinkel
um die Z-Achse zu bestimmen.
-
Gemäß noch einer
anderen Erfindung ist ein Steuerungsprogramm geschaffen, das es
einem Computer ermöglicht,
jede Verarbeitungsprozedur des Bildverarbeitungsverfahrens gemäß der dritten
Erscheinungsform der Erfindung auszuführen.
-
Gemäß noch einer
anderen Erscheinungsform der Erfindung ist ein durch einen Computer
lesbarer Aufzeichnungsträger
geschaffen, auf dem das Steuerungsprogramm gemäß der vierten Erfindung aufgezeichnet
ist.
-
Bei
der obigen Konfiguration wird ein dreidimensionales Koordinatensystem,
in dem jeder Punkt in einem perspektivischen Projektionsbild spezifiziert
wird, entlang einer Richtung entgegengesetzt zur Neigungsrichtung
der optischen Achse in Bezug auf die vertikale Achse um den Neigungswinkel
der optischen Achse gedreht, um ein neues dreidimensionales Koordinatensystem
zu erhalten. Daher ist es selbst dann, wenn die optische Achse in
Bezug auf die vertikale Achse um einen vorgegebenen Winkel geneigt
ist, möglich,
perspektivische Projektionsbilddaten zu erzeugen, die es ermöglichen,
ein perspektivisches Projektionsbild so anzuzeigen, dass ein horizontal
platziertes Objekt in ihm horizontal so angezeigt wird, als würde das
Objekt mit dem bloßen
Auge gesehen.
-
Nachfolgend
wird, die Funktion der Erfindung unter Bezugnahme auf die 5 detailliert
beschrieben.
-
Die 5 ist
ein Diagramm zum Erläutern
perspektivischer Projektionsbildflächendaten für eine Rundumkamera, deren
optische Achse in Bezug auf eine vertikale Achse geneigt ist.
-
In
der 5 ist davon ausgegangen, dass ein Panoramawinkel θ, ein Kippwinkel Φ und ein
Abstand D spezifiziert werden, um perspektivische Projektionsbildflächendaten
zu erzeugen. Eine perspektivische Projektionsbildoberfläche 82 wird
so erzeugt, dass eine geneigte optische Achse 80 einer
Z-Achse entspricht. Eine perspektivische Projektionsbildoberfläche 83 wird
auf solche Weise erzeugt, dass eine vertikale Achse 81 der Z-Achse
entspricht. Die perspektivische Projektionsbildoberfläche 83 entspricht
einer herkömmlichen
perspektivischen Projektionsbildoberfläche. Genauer gesagt, wird die
perspektivische Projektionsbildoberfläche 82 dadurch erhalten,
dass die perspektivische Projektionsbildoberfläche 83 um den Neigungsgrad
der optischen Achse in Bezug auf die vertikale Achse 81 (um
einen Neigungswinkel α)
geneigt wird.
-
Gemäß einer
Ausführungsform
der Erfindung werden Koordinaten jedes Punkts P(X, Y, Z) in der
perspektivischen Projektionsbildoberfläche 82 in einem dreidimensionalen
Koordinatensystem unter der Annahme erhalten, dass die perspektivische
Projektionsbildoberfläche 82 die
optische Achse 80 als Referenzachse auf Grundlage des Panoramawinkels θ, des Kippwinkels Φ und des
Abstands D verwendet. Dann werden Werte des Punkts P'(X', Y', Z') in der perspektivischen
Projektionsbildoberfläche 83,
die dem Punkt P(X, Y, Z) in der perspektivischen Projektionsbildoberfläche 82 entsprechen,
erhalten. Wie es in der 5 dargestellt ist, wird die
perspektivische Projektionsbildoberfläche 83 unter Verwendung
eines Koordinatenrotations-Verarbeitungsabschnitts 142a (1)
erhalten, wobei die perspektivische Projektionsbildoberfläche 82 unter
Ver wendung des Koordinatenrotations-Verarbeitungsabschnitts 142a zum
Ausführen
einer Koordinatenrotation entlang einer Richtung B entgegengesetzt
zur Richtung A, entlang der die optische Achse 80 in Bezug
auf die vertikale Achse 81 geneigt ist, um den Neigungswinkel α zu neigen.
Die oben beschriebene Operation wird sequenziell wiederholt, um
Koordinaten jedes Punkts in der perspektivischen Projektionsbildoberfläche 83 zu erhalten.
Durch Zuweisen der Werte jedes Punkts P'(X',
Y', Z') in der perspektivischen
Projektionsbildoberfläche 83 zu
den obigen Ausdrücken
(5) und (6) ist es möglich,
perspektivische Projektionsbilddaten zu erzeugen, die es ermöglichen,
ein Zielobjekt (ein Objekt), selbst dann auf horizontale Weise anzuzeigen,
wenn die Rundumkamera 12 so vorhanden ist, dass ihre optische
Achse um einen vorgegebenen Neigungswinkel α geneigt ist.
-
Daher
ist es möglich,
die vertikal ausgerichtete perspektivische Projektionsbildoberfläche 82 in
die herkömmliche
perspektivische Projektionsbildoberfläche 83 zu transformieren
(d. h., es ist möglich,
eine Koordinatenrotationsverarbeitung auszuführen), und auf Grundlage dieser
herkömmlichen
perspektivischen Projektionsbildoberfläche 83 perspektivische
Projektionsbilddaten zu erzeugen. Ähnlich dem herkömmlichen
Fall ist es durch Spezifizieren des Panoramawinkels θ und des
Kippwinkel Φ in
Bezug auf die vertikale Achse 81 möglich, ein horizontal platziertes
Objekt auf einem Anzeigeschirm horizontal so anzuzeigen wie dann,
wenn das Objekt mit dem bloßen
Auge gesehen wird.
-
Im
Allgemeinen kann die Neigung eines Objekts in Rotationswinkel in
einem dreidimensionalen O-XYZ-Koordinatensystem unterteilt werden,
bei dem das Rotationszentrum dem Ursprung entspricht, d. h. in einen
Rotationswinkel um die X-Achse, einen Rotationswinkel um die Y-Achse
und einen Rotationswinkel um die Z-Achse.
-
Das
Nachfolgende sind Rotationsdeterminanten (Ausdrücke 9 bis 11) zum Erhalten
von Werten des Punkts P'(X', Y', Z') entsprechend einem
Punkt, der dadurch erhalten wird, dass der Punkt P(X, Y, Z) im dreidimensionalen
Koordinatensystem O-XYZ um einen Winkel von α° um die X-Achse, einen Winkel
von β° um die X-Achse und einen Winkel
von γ° um die Z-Achse
geneigt wird.
-
-
-
In
diesem Fall werden, gemäß den obigen
Rotationsdeterminanten (Ausdrücke
(9), (10) und (11)) Werte des Punkts P'(X',
Y', Z') erhalten, der einem
Punkt entspricht, der dadurch erhalten wird, dass der Punkt P(X, Y,
Z) entlang einer Richtung entgegengesetzt zur Neigungsrichtung der
optischen Achse der Rundumkamera 12 um die Achse X, Y und
Z gedreht wird, um Daten für
ein perspektivisches Projektionsbild zu erzeugen, das horizontal
in Bezug auf eine horizontale Ebene liegt. Wenn beispielsweise die
Rundumkamera 12 um einen Winkel von α° um die X-Achse, einen Winkel
von β° um die Y-Achse
und einen Winkel von γ° um die Z-Achse geneigt
wird, kann der Punkt P'(X', Y', Z') dadurch erhalten
werden, dass -α,
-β und -γ einer Determinante
zugewiesen werden, in der die Rotationsmatrizen der Ausdrücke (9)
bis (11) kombiniert sind.
-
Jedoch
bestehen in der Praxis, wie oben beschrieben, Schwierigkeiten beim
Bestimmen des Rotationswinkels um jede der Achsen X, Y und Z auf
Grundlage eines durch die Rundumkamera 12 erfassten Bilds, und
demgemäß besteht
ein Problem dahingehend, dass die Rechenkomplexität zunimmt,
wenn Berechnungen zum Bestimmen von Rotationswinkeln um die Achsen
X, Y und Z ausgeführt
werden.
-
Ein
perspektivisches Projektionsbild, wie es durch eine Rundumkamera
erhalten wird, soll Information betreffend einen Gesichtsfeldbereich
von 360° um
sie herum enthalten, weswegen dann, wenn der Zweck des Erhaltens
des perspektivischen Projektionsbilds nur darin besteht, perspektivische
Projektionsbilddaten zum horizontalen Anzeigen eines horizontal
platzierten Objekts zu erzeugen, der Rotationswinkel um die Z-Achse unberücksichtigt
bleiben kann, wenn eine optische Achse der Rundumkamera der Z-Achse
entspricht. Selbstverständlich
kann eine Rundumkamera verwendet werden, die so konfiguriert ist,
dass die Z-Achse nicht drehbar ist. Demgemäß ist es möglich, die Rechenkomplexität dadurch
zu verringern, dass der Ausdruck (11) unberücksichtigt bleibt.
-
Darüber hinaus
ist, wenn ein Mechanismus verwendet wird, der um einen vorgegebenen
Winkel um eine Rotationsachse gedreht werden kann, der einer Achse
parallel entweder zu einer Längsachse
oder einer Querachse eines in der Rundumkamera enthaltenen Bildaufnahmeelements
entspricht, nur ein Ausdruck zum Bestimmen des Rotationswinkels
um die X- oder die Y-Achse erforderlich, weswegen die Rechenkomplexität weiter
verringert werden kann.
-
Demgemäß ermöglicht die
hier beschriebene Erfindung den Vorteil, dass Folgendes geschaffen
ist: ein Rundum-Beobachtungssystem, das perspektivische Projektionsbilddaten
zum horizontalen Anzeigen eines Objekts, das horizontal um das System
platziert wird, so, als würde
das Objekt mit dem bloßen
Auge gesehen, selbst dann erhalten kann, wenn eine Rundumkamera
so vorhanden ist, dass eine optische Achse derselben in Bezug auf
eine horizontale Ebene geneigt ist, um ein Bild in einem Bereich
aufzunehmen, der im Wesentlichen direkt unter ihr vorhanden ist;
ein Bildverarbeitungsverfahren zur Verwendung bei diesem System;
ein Steuerungsprogramm zur Verwendung bei diesem System; und ein
lesbarer Aufzeichnungsträger
bei diesem System.
-
Diese
und andere Vorteile der Erfindung werden dem Fachmann beim Lesen
und Verstehen der folgenden detaillierten Beschreibung unter Bezugnahme
auf die beigefügten
Figuren ersichtlich werden.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 ist
ein Blockdiagramm, das eine Hauptkonstruktion eines Rundum-Beobachtungssystems
gemäß einer
Ausführungsform
der Erfindung zeigt.
-
2 ist
eine schematische, perspektivische Ansicht zum Darstellen eines
Beispiels betreffend das Bereitstellen einer Rundumkamera mit einer
optischen Achse, die nur um eine X-Achse geneigt ist.
-
3 ist
ein Diagramm, das ein beispielhaftes Eingabebild zeigt, wie es durch
die in der 1 dargestellte Rundumkamera übertragen
wird.
-
4 ist
ein Diagramm, das ein beispielhaftes perspektivisches Projektionsbild
zeigt, wie es durch einen in der 1 Abschnitt
für perspektivische
Projektionstransformation erzeugt wird.
-
5 ist
ein Diagramm zum Erläutern
einer perspektivische Projektionsbildoberfläche einer Rundumkamera, bei
der eine optische Achse in Bezug auf eine vertikale Achse geneigt
ist.
-
6 ist
ein Flussdiagramm zum Veranschaulichen des Vorgangs des Erzeugens
perspektivischer Projektionsbilddaten beim in der 1 dargestellten
Rundum-Beobachtungssystem zum Erhalten von Daten für ein Bild
entsprechend einer Repräsentation
durch einen beliebigen Punkt in einem perspektivischen Projektionsbild.
-
7 ist
ein Diagramm zum Veranschaulichen eines zweischaligen Hyperboloids.
-
8 ist
ein schematisches Diagramm einer herkömmlichen Rundumkamera.
-
9 ist
ein Diagramm zum Erläutern
eines in der 8 dargestellten optischen Systems
und eines perspektivischen Projektionsbilds.
-
10 ist
ein Diagramm zum Veranschaulichen eines Querschnitts mit einem Punkt
P und einer Z-Achse, wie sie in der 9 dargestellt
sind.
-
11 ist
ein Diagramm zum Erläutern
eines Verfahrens zum Erzeugen eines perspektivischen Projektionsbilds
dann, wenn eine herkömmliche
Rundumkamera so vorhanden ist, dass eine optische Achse (Z-Achse)
eine vertikale Achse ist.
-
12 ist
ein Diagramm zum Veranschaulichen eines herkömmlichen, beispielhaften perspektivischen
Projektionsbilds, wie es durch Aufnehmen eines Bilds eines horizontal
platzierten Objekts "ABC" durch eine Rundumkamera
unter Verwendung eines Hyperbolspiegels erhalten wird, der so vorhanden
ist, dass er über
eine optische Achse verfügt,
die eine vertikale Achse ist.
-
13 ist
ein Diagramm zum Erläutern
eines Verfahrens zum Erzeugen eines herkömmlichen perspektivischen Projektionsbilds
dann, wenn eine Rundumkamera so vorhanden ist, dass eine optische
Achse (Z-Achse) derselben geneigt ist.
-
BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
Nachfolgend
wird ein Rundum-Beobachtungssystem gemäß der Erfindung unter Bezugnahme
auf die beigefügten
Zeichnungen und für
Ausführungsformen
eines Systems mit Rundumkamera zum Erzeugen perspektivischer Projektionsbilddaten
in solcher Weise, dass ein horizontal platziertes Objekt selbst
dann auf horizontale Weise angezeigt wird, wenn eine Rundumkamera
so vorhanden ist, dass eine optische Achse derselben geneigt ist,
wie beschrieben.
-
Die 1 ist
ein Blockdiagramm, das eine Hauptkonstruktion eines Rundum-Beobachtungssystems gemäß einer
Ausführungsform
der Erfindung zeigt;
-
In
der 1 verfügt
ein Rundum-Beobachtungssystem 10 über Folgendes: einen Kamerabefestigungsabschnitt 11;
eine Rundumkamera 12, die am Kamerabefestigungsabschnitt 11 so
befestigt ist, dass sie frei neigbar ist; einen Bedienungsabschnitt 13,
der es einem Benutzer ermöglicht,
eine Eingabebedienung auszuführen;
einen Bildverarbeitungsabschnitt 14; und einen Bildanzeigeabschnitt 16.
-
Wie
es in der 2 dargestellt ist, verfügt der Kamerabefestigungsabschnitt 11 über ein
Paar von Kamerabefestigungselementen 111. Ein Ende jedes
Kamerabefestigungselements 111 wird an einer Decke, einer Wand
oder dergleichen befestigt, und sein anderes Ende wird an der Rundumkamera 12 so
befestigt, dass diese zwischen dem Paar von Kamerabefestigungselementen 111 eingebettet
ist. Genauer gesagt, fixiert das Paar von Kamerabefestigungselementen 111 die
Rundumkamera 12 in einer axialen Richtung parallel zur
in der 2 dargestellten X-Achse, während sie so gehalten wird,
dass sie um die X-Achse drehbar ist. Bei dieser Konfiguration ist
die Rundumkamera um eine einzelne Achse (die X-Achse bei der vorliegenden
Ausführungsform)
verdrehbar, wobei ihre optische Achse (Z-Achse) um einen vorgegebenen
Winkel von α° in Bezug auf
eine vertikale Achse geneigt ist.
-
Die
Rundumkamera 12 weist Folgendes auf: eine CCD-Kamera 121 mit
einer Sammellinse und einem CCD-Bildaufnahmeelement; einen Hyperbolspiegel 122 zum Sammeln
von Umgebungslicht für
ein Bild eines Gesichtsfeldbereichs von 360° in einer Richtung; einen Spiegelhalter 123 zum
Halten des Hyperbolspiegels 122; und einen transparenten
Haltekörper 129 zum
Abdecken des am Spiegelhalter 123 befestigten Hyperbolspiegels 122.
Die Rundumkamera 12 gibt Eingangsbilddaten, die auf Grundlage
des Umgebungslichts ein durch sie selbst aufgenommenes Bild mit
einem Gesichtsfeldbereich von 360° erhalten
wurden, an den Bildverarbeitungsabschnitt 14 aus. In diesem
Fall betrifft die oben angegebene X-Achse eine gerade Linie, die
parallel zu einer langen (oder kurzen) Seite des Bildaufnahmeelements
(entsprechend dem in der 11 dargestellten
Bildaufnahmeelement (24) der CCD-Kamera 121 verläuft und
die vertikale Achse und die optische Achse rechtwinklig schneidet.
Das Paar der Kamerabefestigungselemente 111 ist am Außenumfang
des Spiegelhalters 123 befestigt.
-
Der
Bedienungsabschnitt 13 ist eine Benutzerschnittstelle zum
Bildverarbeitungsabschnitt 14, und er verfügt über eine
Tastatur oder eine spezielle Steuerungseinrichtung. Der Bedienungsabschnitt 13 ermöglicht es
einem Benutzer, eine Eingabebedienung auszuführen, um eine Anzahl von Parametern
zu ändern,
wie einen Panoramawinkel θ,
einen Kippwinkel Φ und
einen Zoomabstand D für
ein perspektivisches Projektionsbild sowie einen Neigungswinkel α der optischen
Achse. Es sei darauf hingewiesen, dass dann, wenn der Neigungswinkel α kein Winkel
von 0° ist,
die Rundumkamera 12 so vorhanden ist, dass ihre optische
Achse (Z-Achse) geneigt ist, während
dann, wenn der Neigungswinkel α ein
Winkel vom Wert 0 ist, die Rundumkamera so vorhanden ist, dass die
optische Achse (Z-Achse) nicht geneigt ist, d. h. sie in einer vertikalen
Richtung liegt.
-
Der
Bildverarbeitungsabschnitt verfügt über einen
Eingangsbild-Speicherabschnitt 141,
einen Transformationsabschnitt 142 für perspektivische Projektionsbilder
sowie einen Speicherabschnitt 143 für perspektivische Projektionsbilder.
Der Bildverarbeitungsabschnitt 14 führt eine Zwischenspeicherung
von durch die Rundumkamera 12 übertragenen Eingangsbilddaten
in einem vorgegebenen Eingangsbild-Speicherbereich des Eingangsbild-Speicherabschnitts 141 aus.
Der Bildverarbeitungsabschnitt 14 kann perspektivische
Projektionsbilddaten über
den jeweiligen Transformationsabschnitt 142 für perspektivische
Projektionsbilder an den Speicherabschnitt 143 für perspektivische
Projektionsbilder liefern, um eine Speicherung auf Grundlage der
im Eingangsbild-Speicherabschnitt 141 gespeicherten Eingangsbilddaten
und einer Benutzereingabebedienung (Anzahl von Parametern, wie der
Panoramawinkel θ,
der Kippwinkel Φ und
der Zoomabstand D und der Neigungswinkel α der optischen Achse) vorzunehmen.
Die Eingangsbilddaten und die perspektivischen Projektionsbilddaten
können
durch den Bildverarbeitungsabschnitt 14 an den Bildanzeigeabschnitt 15 übertragen
werden. Es sei darauf hingewiesen, dass der Eingangsbild-Speicherabschnitt 141 und
der Speicherabschnitt 143 für perspektivische Projektionsbilder
jeweils einen umschreibbaren Hochgeschwindigkeits-Datenspeicher verwenden.
-
Der
Transformationsabschnitt 142 für perspektivische Projektionsbilder
verfügt über einen
Koordinatenrotations-Verarbeitungsabschnitt 142a, und er
erzeugt perspektivische Projektionsbilddaten auf Grundlage der Eingangsbilddaten,
die von der Rundumkamera 12 übertragen wurden, die so vorhanden
ist, dass ihre optische Achse in Bezug auf die vertikale Achse geneigt
ist. In diesem Fall ermöglicht
eine Koordinatenrotationsverarbeitung durch den Koordinatenrotations-Verarbeitungsabschnitt 142a eine
Koordinatentransformation beispielsweise in solcher Weise, dass
ein horizontal platziertes Objekt im Bildanzeigeabschnitt 15 horizontal angezeigt
wird und perspektivische Projektionsbilddaten zur Anzeige auf Grundlage
der transformierten Koordinaten erhalten werden. Genauer gesagt,
dreht der Koordinatenrotations-Verarbeitungsabschnitt 142a,
der später
detailliert beschrieben wird, da er eines der Merkmale der Erfindung
bildet, dreidimensionale Koordinaten, die jeden Punkt in einem perspektivischen
Projektionsbild angeben, entlang einer Richtung entgegengesetzt
zur Neigungsrichtung der optischen Achse in Bezug auf die vertikale
Achse um den Neigungswinkel α der
optischen Achse, um ein horizontal platziertes Objekt horizontal
anzuzeigen, wobei neue dreidimensionale Koordinaten erhalten werden.
Abweichend vom herkömmlichen
Verfahren berechnet der Koordinatenrotations-Verarbeitungsabschnitt 142a nicht
die dreidimensionale Position einer perspektivischen Projektionsbildoberfläche unter
Verwendung eines XYZ-Koordinatensystems, bei dem die optische Achse
der Z-Achse entspricht, um ein perspektivisches Projektionsbild
horizontal in Bezug auf die horizontale Ebene selbst dann zu erzeugen,
wenn die optische Achse der Rundumkamera 12 geneigt ist.
Um jedoch ein derartiges perspektivisches Projektionsbild zu erzeugen,
berechnet der Koordinatenrotations-Verarbeitungsabschnitt 142a dreidimensionale
Koordinaten der perspektivischen Projektionsbildoberfläche auf
Grundlage der Achsen X, Y und Z, wobei die Z-Achse der vertikalen
Achse entspricht.
-
Der
Bildanzeigeabschnitt 15 verfügt über eine Kathodenstrahlröhre oder
einen Flüssigkristallmonitor (ein
Flüssigkristalldisplay),
und er zeigt die oben angegebenen Eingangsbilddaten oder die perspektivischen Projektionsbilddaten
als Bild an.
-
Die
durch die Rundumkamera 12 übertragenen Eingangsbilddaten
werden nun unter Bezugnahme auf die 3 detaillierter
beschrieben.
-
Wie
es in der 3 dargestellt ist, verfügt ein Eingangsbild 101 über eine
k-Achse entlang einer Querachsenrichtung ausgehend vom Ursprung
(0, 0) in der oberen linken Ecke zur rechten Seite hin, und eine l-Achse
entlang der Richtung einer vertikalen Achse vom Ursprung nach unten.
Die Breite und die Höhe
des Eingangsbilds 101 sind w bzw. h. Ein Reflexionsbildbereich 102 entspricht
einem erfassten Bild mit einem Gesichtsfeldbereich von 360° um das Rundum-Beobachtungssystem 10 herum,
das auf Grundlage von durch den Hyperbolspiegel 122 reflektiertem
Licht erhalten wird. Ein Blindbereich 103 entspricht einem
Bereich, der durch die Kameravorrichtung selbst ausgeblendet ist,
d. h. ein Bildaufnahmebauteil mit einer Kamera-Sammellinse oder
einem Bildaufnahmeelement. Ein Direkteingabebereich 104 entspricht
einem Bereich, auf den durch den Hyperbolspiegel 122 reflektiertes
Licht fällt,
und einem direkt durch die Kameravorrichtung (das Bildaufnahmebauteil)
erfassten Bild. Der in der 3 dargestellte
Mittelpunkt g(gx, gy) entspricht einer Koordinate, die das Linsenzentrum
angibt, durch das die optische Achse (Z-Achse) verläuft. Eine
xy-Ebene, in der
sich die x-Achse ausgehend vom Mittelpunkt g(gx, gy) als Ursprung
zur rechten Seite hin entlang einer Querachse erstreckt, und die
y-Achse, die sich
vom Ursprung entlang einer vertikalen Achse erstreckt, entspricht
der in der 11 dargestellten Bildfläche 25.
In diesem Fall kann ein Punkt p(x, y) im xy-Koordinatensystem im
Eingangsbild 101 durch einen Punkt p(k – gx, gy – 1) im kl-Koordinatensystem
des Eingangsbilds 101 repräsentiert werden:
Als Nächstes wird
eine durch den Abschnitt 142 für perspektivische Projektionstransformation
ausgeführte Verarbeitung
zum Erzeugen perspektivischer Projektionsbilddaten unter Verwendung
eines in der 4 dargestellten beispielhaften
perspektivischen Projektionsbilds beschrieben.
-
Gemäß der 4 wird
ein perspektivisches Projektionsbild 105 unter den in der 11 dargestellten Bedingungen
für die
perspektivische Projektions bildoberfläche 26 erzeugt. Das
perspektivische Projektionsbild 105 verfügt über eine
k-Achse, die sich entlang einer Querachsenrichtung ausgehend vom
Ursprung (0, 0) in der oberen linken Ecke zur rechten Seite hin
erstreckt, und eine l-Achse entlang der Richtung einer vertikalen
Achse ausgehend vom Ursprung nach unten. Die Breite und die Höhe des perspektivischen
Projektionsbilds 105 sind W bzw. H. Der Punkt G(Gx, Gy)
des Transformationszentrums entspricht dem in der 11 dargestellten
Punkt G, und er ist direkt durch einen Panoramawinkel θ, einen
Kippwinkel Φ und
einen Abstand D repräsentiert.
Eine i-Achse ist so vorhanden, dass sie sich vom Punkt G(Gx, Gy)
als Ursprung entlang einer Querachse zur rechten Seite hin erstreckt,
und eine j-Achse ist so vorhanden, dass sie sich vom Punkt G(Gx, Gy)
entlang einer vertikalen Achse nach unten erstreckt. Punkte in der
in der 11 dargestellten perspektivischen
Projektionsbildoberfläche 26 sind
unter Verwendung der Koordinaten i und j repräsentiert. In diesem Fall kann
ein Punkt P(i, j) im ij-Koordinatensystem
durch einen Punkt P(k – Gx,
Gy – 1)
im kl-Koordinatensystem und einem Punkt P(X, Y, Z) im in der 5 dargestellten
XYZ-Koordinatensystem repräsentiert
werden.
-
Unter
Verwendung der obigen Konfiguration wird nun der Vorgang zum Erzeugen
der perspektivischen Projektionsbilddaten nachfolgend unter Bezugnahme
auf die 5 und 6 beschrieben.
-
Die 6 ist
ein Flussdiagramm, das den Vorgang des Erzeugens der perspektivischen
Projektionsbilddaten zum Erhalten von Daten für ein Bild, wie durch) einen
beliebigen Punkt im perspektivischen Projektionsbild repräsentiert,
zeigt.
-
Wie
es in der 6 dargestellt ist, werden in
einem Schritt S1 Koordinaten auf der i- und der j-Achse im perspektivischen
Projektionsbild auf Grundlage von Werten eines Punkts P(k, l) im
in der 4 dargestellten perspektivischen Projektionsbild
erhalten. Wie oben beschrieben, werden Koordinaten des Punkts P(i,
j) als P(i, j) = P(k – Gx,
Gy – 1)
repräsentiert.
Werte des Punkts P(X, Y, Z) in der perspektivischen Projektionsbildoberfläche 82,
unter Verwendung einer optischen Achse 80 als Referenzachse,
wie in der 5 dargestellt, werden auf Grundlage
der Koordinaten des Punkts P(i, j) unter Verwendung des obigen Ausdrucks
(8) erhalten.
-
Als
Nächstes
werden, in einem Schritt S2, Werte des Punkts P'(X',
Y', Z') in einer perspektivischen
Projektionsbildoberfläche
83 entsprechend
dem Punkt P(X, Y, Z) in der perspektivischen Projektionsbildoberfläche
82 unter
Verwendung der optischen Achse
80 als Referenzachse erhalten.
Wie es in der
5 dargestellt ist, wird die
perspektivische Projektionsbildoberfläche
83 dadurch erhalten,
dass die perspektivische Projektionsbildoberfläche
82 entlang einer
Richtung B entgegengesetzt zur Richtung A, entlang der die optische
Achse
80 der Rundumkamera
12 in Bezug auf eine
Vertikalachse
81 geneigt ist, geneigt wird. Bei der vorliegenden Ausführungsform
ist es unter der Annahme, dass die Rundumkamera
12 so vorhanden
ist, dass die optische Achse
80 um einen Winkel von α° um die X-Achse
in Bezug auf die vertikale Achse
81 geneigt ist, durch
Zuweisen des Werts -α zu
einem Koordinatenrotationsausdruck (9) möglich, Werte eines Punkts in
einer perspektivischen Projektionsbildoberfläche zu erhalten, die dadurch
erhalten wird, dass die ursprüngliche
perspektivische Projektionsbildoberfläche in einer Richtung entgegengesetzt
zur Richtung geneigt wird, in der eine optische Achse in Bezug auf
eine vertikale Achse geneigt ist. Wenn der Wert von -α dem Koordinatenrotationsausdruck
(9) zugewiesen wird, wird der folgende Ausdruck (12) erhalten:
-
Wenn
der obige Ausdruck (12) expandiert wird, wird der folgende
Ausdruck (13) erhalten: X' = X·
Y' = Y·cosα – Z·sinα
Z' = Y·sinα + Z·cosα (13)
-
Bei
der vorliegenden Ausführungsform
erfolgt die Rotationsverarbeitung auf Grundlage des obigen Ausdrucks
(13), um Werte für
den Punkt P'(X', Y', Z') in der perspektivischen
Projektionsbildoberfläche 83 unter Verwendung
der vertikalen Achse 81 als Referenzachse zu erhalten.
-
Ferner
werden, in einem Schritt S3, dreidimensionale Koordinatenwerte P'(X', Y', Z') nach dem Ausführen der
Koordinatenrotationsverarbeitung den Aus drücken (5) und (6) zugewiesen,
um Werte des Punkts p(x, y) im in der 5 dargestellten
Eingangsbild zu berechnen.
-
Schließlich wird,
in einem Schritt S4, der Punkt p(x, y) in der Bildfläche in einen
Punkt p(k, l) im Koordinatensystem kl gewandelt. Koordinaten des
Punkts p(k, l) werden als Punkt p(x + gx + gy – y) repräsentiert. Durch den Punkt p(k,
l) spezifizierte Bilddaten werden vom Eingangsbild-Speicherabschnitt 141 erhalten
und an einen Ort im Speicherabschnitt 143 für perspektivische
Projektionsbilder kopiert, der durch den Punkt p(k, l) im perspektivischen
Projektionsbild spezifiziert ist.
-
Auf
die oben beschriebene Weise werden, gemäß dem in der 6 dargestellten
Flussdiagramm, Punkte in einem Eingangsbild entsprechend allen Punkten
in einem perspektivischen Projektionsbild, erhalten, um Bilddaten
zu kopieren und um dadurch ein perspektivisches Projektionsbild
zu erzeugen. Ein derartiges perspektivisches Projektionsbild wird
sequenziell erzeugt und auf dem Bildanzeigeabschnitt 15 angezeigt,
um dadurch dynamische Bilder zu verarbeiten.
-
Die
vorliegende Ausführungsform
wurde für
den Fall beschrieben, dass die X-Achse
die einzige Achse ist, um die sich die Rundumkamera 12 drehen
kann, wenn sie so vorhanden ist, dass ihre optische Achse (die Z-Achse)
geneigt ist. Jedoch ist die Erfindung nicht hierauf eingeschränkt. Die
Y-Achse kann die einzige Achse sein, um die sich die Rundumkamera 12 drehen
kann. Darüber
hinaus kann sich die Rundumkamera 12 um zwei Achsen drehen,
d. h. die X- und die Y-Achse. Es ist von Vorteil, wenn sich die
Rundumkamera 12 nur um die X- oder die Y-Achse, d. h. eine einzelne
Achse, dreht, wie im oben beschriebenen Fall, da die Rechenkomplexität der Koordinatenrotationsverarbeitung
im Vergleich zum Fall verringert ist, bei dem sich die Rundumkamera 12 um
zwei oder drei Achsen dreht.
-
Alternativ
ist es dann, wenn sich die Rundumkamera 12 um beispielsweise
drei Achsen dreht, wenn die optische Achse derselben als Z-Achse
des dreidimensionalen Koordinatensystems verwendet wird, bei dem
die Koordinatenachsen X, Y und Z rechtwinklig zueinander verlaufen,
mit dem Brennpunkt des Hyperbolspiegels 122 als Ursprung,
möglich,
neue dreidimensionale Koordinaten auf Grundlage jeder Winkeleinzelinformation
zu erhalten, wie sie durch Zerlegen eines Neigungswinkels der Z-Achse
in Bezug auf die vertikale Achse in einen Rotati onswinkel für den Fall,
dass die X-Achse als Rotationsachse verwendet wird, einen Rotationswinkel
für den
Fall, dass die Y-Achse als Rotationsachse verwendet wird, und einen
Rotationswinkel für den
Fall, dass die Z-Achse als Rotationsachse verwendet wird, erhalten
wird.
-
Obwohl
die vorliegende Ausführungsform
nicht unter spezieller Berücksichtigung
der speziellen Konfiguration des Abschnitts 142 für eine perspektivische
Projektionstransformation beschrieben wurde, kann dieser ein Mikrocomputer
mit einem Programm oder ein spezieller IC-Chip sein.
-
Wie
es in der 1 dargestellt ist, verfügt der Abschnitt 192 für perspektivische
Projektionstransformation über
eine CPU (zentrale Verarbeitungseinheit) 142c (einen Steuerungsabschnitt),
wie einen Mikrocomputer, eine MPU (Mikroverarbeitungseinheit) oder
dergleichen. Der Abschnitt 142 für perspektivische Projektionstransformation
führt jeden
Schritt eines Bildverarbeitungsverfahrens gemäß der Erfindung auf Grundlage eines
durch einen Computer ausführbaren
Steuerungsprogramms, wie es in einem Programmspeicher gespeichert
ist, und einer Anzahl von Datentypen aus. Das Steuerungsprogramm
gemäß der Erfindung
beinhaltet Folgendes: einen Koordinatenerzeugungsschritt zum Erzeugen
von Koordinaten eines perspektivischen Projektionsbilds, um dreidimensionale
Koordinaten zu erhalten, die jeden Punkt im perspektivischen Projektionsbild
auf Grundlage von Bilddaten angeben, wie sie durch die Rundumkamera 12 unter
Verwendung des Hyperbolspiegel 122 übertragen werden; und einen
Koordinatenrotationsschritt zum Erhalten neuer dreidimensionaler
Koordinaten durch Drehen der im Koordinatenerzeugungsschritt erzeugten
dreidimensionalen Koordinaten um einen Neigungswinkel einer optischen
Achse entlang einer Richtung entgegengesetzt zur Neigungsrichtung
der optischen Achse in Bezug auf eine vertikale Achse. Der Koordinatenerzeugungsschritt
und der Koordinatenrotationsschritt werden durch einen Koordinatenerzeugungsabschnitt 142b bzw.
den Koordinatenrotations-Verarbeitungsabschnitt 142a ausgeführt. Wenn
die optische Achse der Rundumkamera 12 als Z-Achse des
dreidimensionalen Koordinatensystems verwendet wird, bei dem die
Koordinatenachsen X, Y und Z rechtwinklig zueinander verlaufen und
sich der Ursprung im Brennpunkt des Hyperbolspiegels 122 befindet,
enthält
der Koordinatenrotationsschritt neue dreidimensionale Koordinaten
auf Grundlage jeder Winkeleinzelinformation, die dadurch erhalten
wird, dass ein Neigungswinkel der Z-Achse in Bezug auf die vertikale Achse
in einen Rotationswinkel für
den Fall, dass die X-Achse als Rotationsachse verwendet wird, einen
Rotationswinkel für
den Fall, dass die Y-Achse als Rotationsachse verwendet wird, und
einen Rotationswinkel für den
Fall, dass die Z-Achse als Rotationsachse verwendet wird, zerlegt
wird. Ein durch einen Computer lesbarer Aufzeichnungsträger (ein
Programmspeicher 142d), auf dem das Steuerungsprogramm
gemäß der Erfindung
aufgezeichnet ist, ist beispielsweise ein ROM (einschließlich einer
CD-ROM), ein EPROM, ein EEPROM oder dergleichen, und er fungiert
als Speicherabschnitt des Rotationswinkels 10.
-
Wie
oben beschrieben, ist es, gemäß der Erfindung
selbst dann, wenn eine Rundumkamera so vorhanden ist, dass eine
optische Achse derselben in Bezug auf eine horizontale Ebene geneigt
ist, durch eine Koordinatenrotation der perspektivischen Projektionsbildoberfläche entlang
einer Richtung entgegengesetzt zur Neigungsrichtung der optischen
Achse, möglich,
perspektivische Projektionsbilddaten zu erzeugen, um ein horizontal
platziertes Objekt horizontal so anzuzeigen, als würde es mit
dem bloßen
Auge gesehen. Demgemäß ist es
selbst dann, wenn die Rundumkamera auf geneigte Weise vorhanden
ist, um ein Bild in einem Bereich im wesentlichen unmittelbar unter
ihr aufzunehmen, möglich,
ein perspektivisches Projektionsbild anzuzeigen, bei dem ein horizontal
platziertes Objekt horizontal so angezeigt wird, als würde es mit
dem bloßen Auge
gesehen werden, was durch Vorgänge ähnlich denen
erfolgt, wie sie bei einem herkömmlichen
Rotationswinkel ausgeführt
werden.