DE60106997T2

DE60106997T2 - Bildaufnahmesystem und fahrzeugmontiertes Sensorsystem

Info

Publication number: DE60106997T2
Application number: DE60106997T
Authority: DE
Inventors: Noboru Itami-shi Katta; Hirotsugu Sakai-shi Kawata; Susumu Sakai-shi Ibaraki; Takahisa Amagasaki-shi Sakai; Toshiaki Mino-shi Mori; Akihiro Osaka-shi Yamamoto; Toshihiko Kobe-shi Kurosaki; Yuji Hirakata-shi Mizuguchi
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 2000-02-29
Filing date: 2001-02-27
Publication date: 2005-12-01
Anticipated expiration: 2021-02-28
Also published as: US6972796B2; EP1134718B1; EP1134718A3; EP1134718A2; EP1471482B1; DE60106997D1; EP1471483B1; US20010019363A1; EP1471483A1; EP1471482A1; DE60140320D1; DE60137655D1

Description

Die vorliegende Erfindung bezieht sich auf Bildaufnahmesysteme und, genauer, auf ein Bildaufnahmesystem zum gleichzeitigen Aufnehmen mehrerer Bilder und zum Zusammenführen dieser in eines zur Anzeige. Die vorliegende Erfindung bezieht sich auch auf Sensorsysteme und, genauer, auf ein auf einem Fahrzeug befestigtes Sensorsystem zum Erfassen und Benachrichtigen eines Fahrers eines Fahrzeugs, als eine Sicherheitsmaßnahme, in welchem Umgebungszustand ein bestimmter Bereich um das Fahrzeug ist.
Beschreibung des technischen Hintergrunds
(Erster technischer Hintergrund)
38 zeigt eine beispielhafte Struktur einer herkömmlichen Bildaufnahmevorrichtung. In 38 beinhaltet die herkömmliche Bildaufnahmevorrichtung einen Bildaufnahmeteil 91, einen Signalverarbeitungsteil 92 und ROM 93.
Der Bildaufnahmeteil 91 beinhaltet zum Beispiel einen CCD, und ein optisch aufgenommenes Bild wird darin in ein elektrisches Signal konvertiert zur Ausgabe als Bildaufnahmedaten. Die Bildaufnahmedaten werden dann an den Signalverarbeitungsteil 92 weitergeleitet zur Verarbeitung wie zum Beispiel Verstärkung und Filterung, resultierend in Bilddaten.
Das ROM 93 speichert im Voraus Steuerdaten, welche zu dem Signalverarbeitungsteil 92 weitergeleitet werden. Gemäß den Steuerdaten stellt der Signalverarbeitungsteil 92 ein Verstärkungsverhältnis und einen Filterkoeffizienten während solcher Verarbeitung wie Verstärkung und Filterung ein. Mit solcher Einstellung können die durch die herkömmliche Bildaufnahmevorrichtung bereitgestellten Bilddaten das resultierende Bild in einer gewünschten Bildqualität (zum Beispiel Helligkeit, Kontrast) machen.
(Zweiter technischer Hintergrund)
Es wurden Sensorsysteme von auf einem Fahrzeug befestigten Typ bereitgestellt eines Typs des Erfassens und Benachrichtigens eines Fahrers eines Fahrzeugs, als eine Sicherheitsmaßnahme, in welchem Umgebungszustand ein bestimmter Bereich um das Fahrzeug ist. Ein herkömmlicher Sensortyp beinhaltet eine Kamera, welche ein Bild in einem bestimmten Bereich aufnimmt, und einen Ultraschalldetektor zum Erkennen irgendeines Hindernisses in einem vorherbestimmten Bereich, zum Beispiel mit Ultraschallwellen.
In solch einem herkömmlichen, auf einem Kraftfahrzeug befestigten Typ eines Sensorsystems, ist eine Kamera oder ein Detektor so positioniert, um die toten Winkel des Fahrers abzudecken, zum Beispiel jeglichen Bereich, der niedriger als die Sichtlinie des Fahrers ist. Als solches weiß der Fahrer, ob es irgendein Hindernis um sein/ihr Fahrzeug gibt durch einen Monitor, welcher Bilder anzeigt, die von der Kamera aufgenommen wurden, und falls so, wird der Fahrer durch einen Warnschirm oder Pieptöne gemäß einem Signal von dem Detektor gewarnt.
WO 96 38319 A offenbart ein Sichtsystem nach hinten für ein Fahrzeug, welches eine Vielzahl von Bildaufnahmevorrichtungen beinhalten kann, die im Verhältnis zur Fahrtrichtung des Fahrzeugs nach hinten gerichtet sind, und ein Anzeigesystem zum Anzeigen eines einheitlichen Bildes, das aus den Ausgaben der Bildaufnahmevorrichtungen synthetisiert wird, welches eine nach hinten gerichtete Ansicht aus einer einzigen Stelle, wie zum Beispiel vorne des Fahrzeugs, annähert.
(Erstes Problem)
Betrachtet wird hier ein Fall des Zusammenführens zur Anzeige verschiedener Bilder, die gleichzeitig durch verschiedene herkömmliche Bildaufnahmevorrichtungen wie im ersten technischen Hintergrund beschrieben aufgenommen werden. Mögliche Techniken dazu sind, zum Beispiel, das Zusammenführen dieser Bilder in einer Art und Weise für panoramische Anzeigen (auf solche Technik wird sich bezogen als Panoramabildzusammenführungstechnik), und Anordnen der aufgenommenen Bilder (wobei diese, falls notwendig, in Größe verändert werden) in einem Bild zur Anzeige (auf diese Technik wird sich bezogen als Multibildzusammenführungstechnik).
Das Problem hier ist, dass die Bildaufnahmevorrichtungen jeweils das Verstärkungsverhältnis und die Filterkoeffizienten unterschiedlich einstellen. Dementsprechend mangelt es, falls die resultierenden Bilddaten von jeder der Bildaufnahmevorrichtungen zusammengeführt werden, einem Bild nach Zusammenführung im Allgemeinen an Bildqualität. Besonders für ein Panoramabild sehen Teile, wo die Bilder zusammengeführt sind, auffällig aus.
(Zweites Problem)
Wie in dem zweiten technischen Hintergrund beschrieben, mit dem herkömmlichen Sensorsystem vom auf einem Fahrzeug befestigten Typ, ist der Fahrer gut über tote Winkel um sein/ihr Fahrzeug informiert. Daher kann es der Fahrer leicht vermeiden, gegen ein Hindernis zu stoßen, während er Bilder betrachtet, die auf dem Monitor angezeigt werden. Es wurden durch viele Hersteller verschiedene Arten solcher Sensorsysteme vom auf einem Fahrzeug befestigten Typ entwickelt.
Was einen Sensor betrifft, so wurden seine Leistungen kontinuierlich verbessert, und um eine Kamera als ein Beispiel zu nehmen, so kommen immer wieder neue Produkte auf den Markt mit höherer Auflösung und Empfindlichkeit.
Das Problem ist jedoch, dass der in dem System ausgestattete Sensor ein dezidierter Typ spezifisch für das System ist. Daher ist ein Austausch solch eines Sensors, zum Beispiel mit Sensoren eines anderen Herstellers oder irgendeinem anderen höher-performanten Sensor, nicht gerade einfach. Nach einem Austausch wird der Fahrer durch die Veränderung der Sensoreinstellungen, -auflösung und – empfindlichkeitseinstellung, und -positionierung belästigt, und dies mag extensives Wissen erfordern.
ZUSAMMENFASSUNG DER ERFINDUNG
Daher ist es eine erste Aufgabe der vorliegenden Erfindung, ein Bildaufnahmesystem bereitzustellen, in welchem mehrere Bilder gleichzeitig aufgenommen werden, und diese in ein Bild zusammenzuführen mit einer sichergestellten konsistenten Bildqualität auf einer Anzeige.
Eine zweite Aufgabe der vorliegenden Erfindung ist es, ein Sensorsystem vom auf einem Fahrzeug befestigten Typ bereitzustellen zum Aufnehmen und Benachrichtigen eines Fahrers eines Fahrzeugs, als eine Sicherheitsmaßnahme, in welchem Umgebungszustand ein bestimmter Bereich um das Fahrzeug ist, und ein darin ausgestatteter Sensor leicht austauschbar ist mit irgendeinem anderen Sensor, der zum Beispiel eine unterschiedliche Auflösung hat.
Diese Aufgaben werden erfüllt gemäß der vorliegenden Erfindung durch eine Steuervorrichtung zum Steuern einer Vielzahl von Bildaufnahmevorrichtungen, wie in Anspruch 1 definiert, und ein Steuerverfahren, wie in Anspruch 15 definiert. Vorteilhafte Ausführungsformen der Vorrichtung sind in den abhängigen Ansprüchen 2 bis 14 beansprucht.
Diese und andere Aufgaben, Eigenschaften, Aspekte und Vorteile der vorliegenden Erfindung werden ersichtlicher werden aus der folgenden detaillierten Be schreibung der vorliegenden Erfindung, wenn in Zusammenhang genommen mit der beigefügten Zeichnung.
KURZE BESCHREIBUNG DER ZEICHNUNG
1 ist ein Blockdiagramm, welches eine beispielhafte Struktur eines Bildaufnahmesystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt;
2 ist ein Blockdiagramm, welches beispielhaft eine modifizierte Struktur des Bildaufnahmesystems der ersten Ausführungsform zeigt;
3 ist ein Blockdiagramm, welches eine beispielhafte Struktur einer Steuervorrichtung 3 von 1 zeigt;
4A und 4B sind Blockdiagramme, welche beispielhaft zwei Arten von Strukturen einer Bildaufnahmevorrichtung 1 von 1 zeigen;
5 ist ein Blockdiagramm, welches beispielhaft einen anderen Typ von Struktur der Bildaufnahmevorrichtung 1 von 1 zeigt;
6A und 6B sind Blockdiagramme, welche beispielhaft zwei Typen von Strukturen einer Anzeigevorrichtung 2 von 1 zeigen; 7 ist ein Flussdiagramm, welches den Betrieb der Steuervorrichtung 3 von 1 in einer zweiten Ausführungsform zeigt;
8 ist ein Flussdiagramm, welches den Betrieb der Steuervorrichtung 3 von 1 in einer dritten Ausführungsform zeigt;
9 ist ein Flussdiagramm, welches den Betrieb der Steuervorrichtung 3 von 1 in einer vierten Ausführungsform zeigt;
10 ist ein Flussdiagramm, welches den Betrieb der Steuervorrichtung 3 von 1 in einer fünften Ausführungsform zeigt;
11 ist ein Flussdiagramm, welches den Betrieb der Steuervorrichtung 3 von 1 in einer sechsten Ausführungsform zeigt;
12 ist ein Flussdiagramm, welches den Betrieb der Steuervorrichtung 3 von 1 in einer siebten Ausführungsform zeigt;
13A bis 13C sind Diagramme, welche den Schritt S63 von 12 in einer bestimmten Weise zeigen;
14 ist ein Blockdiagramm, welches eine andere mögliche Struktur des Bildaufnahmesystems der vorliegenden Erfindung zeigt (eine Anzeigevorrichtung 201 ist versehen mit einer Einstellfunktion eines Bildsqualitätsparameters, und die Steuervorrichtung 3 steuert den Bildqualitätsparameter, der dadurch gesetzt wird);
15 ist ein Diagramm, welches die Bildaufnahmevorrichtungen (1₁ bis 1₄ ) von 1 in einem Fahrzeug befestigt zeigt;
16 zeigt ein beispielhaftes Multibild nach Bildzusammenführung, das durch die Anzeigevorrichtung 2 von 1 angezeigt wird;
17A und 17B zeigen jeweils ein Panoramabild nach Bildzusammenführung, das durch die Anzeigevorrichtung 2 von 1 angezeigt wird;
18 ist ein Diagramm, das Bildqualitätssteuerung (um die Bildqualität in einem einzelnen Bild zu verändern) zeigt, die durch die Steuervorrichtung 3 in der vierten Ausführungsform auf einem panoramischen Bild ausgeführt wird, erzeugt durch Zusammenführen von Bilddaten, die von den drei Bildaufnahmevorrichtungen 1₁ bis 1₄ von 1 ausgegeben wurden;
19 zeigt eine beispielhafte Tabelle, die in der Steuervorrichtung 3 aus 1 in der siebten Ausführungsform gespeichert ist;
20 ist ein Blockdiagramm, welches die Struktur eines Kamerasystems vom in einem Fahrzeug befestigten Typ gemäß einer achten Ausführungsform der vorliegenden Erfindung zeigt;
21 ist ein Blockdiagramm, welches eine beispielhafte Struktur einer Kamera 1001 (oder 1001') von 20 zeigt;
22 ist ein Blockdiagramm, welches eine beispielhafte Struktur eines Knotens 1004 von 20 zur Verbindung mit einer Signalverarbeitungsvorrichtung zeigt;
23 ist ein Blockdiagramm, welches eine beispielhafte Struktur eines Knotens 1002 von 20 zur Verbindung mit einer Kamera zeigt;
24 ist ein Blockdiagramm, welches eine beispielhafte Struktur einer Signalverarbeitungsvorrichtung 1003 von 20 zeigt;
25 ist ein Blockdiagramm, welches eine beispielhafte Struktur eines Bildverarbeitungsteils 1401 von 24 zeigt;
26 ist ein Speicherabbild, welches die Speicherinhalte des ROMs 1503 von 25 zeigt;
27 ist ein Diagramm, welches genauer die Inhalte (zum Beispiel erste bis dritte Verbindungen) einer Verbindungstabelle 1602 von 26 zeigt;
28 ist ein Speicherabbild, welches die Speicherinhalte vom RAM 1502 aus 25 zeigt;
29 ist ein Flussdiagramm, welches die Systemsteuerung/Bildverarbeitung zeigt, die durch den Bildverarbeitungsteil 1401 von 24 ausgeführt wird;
30A und 30B sind Diagramme, welche einen jeweiligen Bildaufnahmebereich zeigen, wenn das System von 20 in der ersten Verbindung ist, und ein resultierendes, anzuzeigendes panoramisches Bild;
31A und 31B sind Diagramme, welche jeweils einen Bildaufnahmebereich zeigen, wenn das System von 20 in der zweiten Verbindung ist, und ein resultierendes, anzuzeigendes panoramisches Bild;
32A und 32B sind Diagramme, welche jeweils einen Bildaufnahmebereich zeigen, wenn das System von 20 in der dritten Verbindung ist, und ein resultierendes, anzuzeigendes panoramisches Bild;
33 ist ein Diagramm, welches beispielhaft eine andere Struktur der Kamera 1001 von 20 zeigt, genauer ist ein Bussteuerteil 1301 nicht in dem Knoten 1002 beinhaltet, sondern in der Kamera 1001;
34 ist ein Diagramm, welches beispielhaft eine nochmals andere Struktur der Kamera 1001 von 20 zeigt, genauer ist die Kamera 1001 von 21 zusätzlich mit dem Antriebsteil 1901 versehen;
35 ist ein Diagramm, welches beispielhaft eine nochmals andere Struktur der Kamera 1001 von 20 zeigt, genauer ist die Kamera 1001 von 33 zusätzlich mit dem Antriebsteil 1901 versehen;
36 ist ein Diagramm, welches den Speicherinhalt von ROM 1503 in dem Fall zeigt, dass die Kamera 1001 von 20 so strukturiert ist wie in 33 und 34, genauer, der Antriebsteil 1901 ist beinhaltet und ein Orientierungssteuerprogramm 1605 ist zusätzlich in den Speicherinhalten beinhaltet; und
37 ist ein Diagramm, welches ein beispielhaftes Sensorssystem vom Fahrzeug-befestigten Typ zeigt, beinhaltend sowohl die Kamera 1001 als auch einen Ultraschalldetektor 2009 (hier werden die Kamera und der Ultraschalldetektor gemeinsam als Sensor bezeichnet); und
38 ist ein Blockdiagramm, welches eine beispielhafte Struktur einer herkömmlichen Bildaufnahmevorrichtung zeigt.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
Mit Bezug auf die beigefügte Zeichnung werden nun Ausführungsformen der vorliegenden Erfindung beschrieben.
(Erste Ausführungsform)
1 ist ein Blockdiagramm, welches die Struktur eines Bildaufnahmesystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung zeigt. In 1 beinhaltet das Bildaufnahmesystem eine Vielzahl von Bildaufnahmevorrichtungen 1 (bezeichnet mit 1₁ bis 1_n , wobei n eine beliebige ganze Zahl von zwei oder mehr ist), eine Anzeigevorrichtung 2, und eine Steuervorrichtung 3. Die Bildaufnahmevorrichtungen 1 sind jede mit der Anzeigevorrichtung 2 verbunden über eine Übertragungsleitung für Bilddaten, und mit der Steuervorrichtung 3 über sowohl eine Übertragungsleitung für Steuerdaten und diejenige für Zustandsdaten.
Die Steuervorrichtung 3 ist mit der Anzeigevorrichtung 2 über eine Übertragungsleitung für zusammengeführte Bild-/Zusammenführungstechnikdaten verbunden.
Man bemerke hierin, dass solch eine Verbindung nicht immer notwendig ist, und es genügt, dass jede der Bildaufnahmevorrichtungen 1 verbunden ist mit der Anzeigevorrichtung 2 über die Übertragungsleitung für Bilddaten, und mit der Steuervorrichtung 3 über die Übertragungsleitung für Steuerdaten (Details werden zur späteren Beschreibung belassen). Hier beinhaltet die oben beschrieben Übertragungsleitung besonders ein Kabel, optische Faser, Schaltungsverkabelung, IC-Verkabelung, und ähnliches. Dies ist sicherlich nicht beschränkend, und jegliche Leitung ist in Ordnung, solange ein digitales Signal dadurch übertragen werden kann.
Was das Bildaufnahmesystem dieser Ausführungsform betrifft, ist solch eine Struktur wie in 1 gezeigt nicht beschränkend, und 2 zeigt ein modifiziertes Beispiel davon. Das Bildaufnahmesystem von 2 beinhaltet die Vielzahl von Bildaufnahmevorrichtungen 1, die Anzeigevorrichtung 2, die Steuervorrichtung 3, ein Kommunikationsteil 41 bereitgestellt zu jeder der Bildaufnahmevorrichtungen 1, einen Übertragungspfad 42, ein Kommunikationsteil 43, bereitgestellt in Verbindung mit der Anzeigevorrichtung 2, und ein Kommunikationsteil 44, bereitgestellt in Verbindung mit dem Steuerteil 3.
Jede der Bildaufnahmevorrichtungen 1 und die Anzeigevorrichtung 2 sind miteinander verbunden über jeweils entsprechende Kommunikationsteile 41, den Übertragungspfad 42 und den Übertragungsteil 43 für Multiplexübertragung von Bilddaten von den Bildaufnahmevorrichtungen 1 an die Anzeigevorrichtung 2. Auch sind jede der Bildaufnahmevorrichtungen 1 und die Steuervorrichtung 3 miteinander verbunden über jeweils entsprechende Kommunikationsteile 41, den Übertragungspfad 42 und den Kommunikationsteil 44 für Multiplexüberiragung von Zustandsdaten und Steuerdaten. Hier werden die Zustandsdaten von Bildaufnahmevorrichtung 1 an den Steuerteil 3 übertragen, während die Steuerdaten von der Steuervorrichtung 3 an die Bildaufnahmevorrichtung 1 übertragen werden. Der Übertragungspfad 42 ist beispielhaft gegeben für eine Kommunikationsschaltung oder das Internet. Die Anzeigevorrichtung 2 ist mit der Steuervorrichtung 3 über eine Übertragungsleitung für zusammengeführte Bild-/Zusammenführungstechnikdaten verbunden.
Die Bildaufnahmevorrichtung 1, die Anzeigevorrichtung 2 und die Steuervorrichtung 3 in 2 arbeiten ähnlich zu denjenigen mit denselben Bezugszeichen in 1, und der Fluss von Daten in dem System von 2 ist auch derselbe wie derjenige von 1. Ein einziger Unterschied zwischen diesen zwei Systemen von 1 und 2 ist die Verbindung unter den Bildaufnahmevorrichtungen 1, der Anzeigevorrichtung 2 und der Steuervorrichtung 3. Das heißt, die Verbindung in dem System von 1 ist direkt über die Übertragungsleitung, während diejenige in dem System von 2 eine Kommunikationsverbindung über den Übertragungspfad 42 ist. Daher wird sich hiernach auf 1 bezogen werden für die Struktur des Bildaufnahmesystems dieser Ausführungsform.
Die Operation des Bildaufnahmesystems in solcher Struktur ist untenstehend beschrieben.
In 1 nimmt die Bildaufnahmevorrichtung 1 optisch ein Bild auf, konvertiert das Bild in ein elektrisches Signal, und A/D-konvertiert das Signal (komprimiert es, falls notwendig) zur Ausgabe als Bilddaten. Die Bildaufnahmevorrichtung 1 setzt auch Bildqualitätsparameter für die Bilddaten basierend auf den Steuerdaten, welche von der Steuervorrichtung 3 über die Übertragungsleitung kommen.
Hier werden die Bildqualitätsparameter verwendet, um die Bildqualität der Bilddaten zu definieren und beinhalten zum Beispiel diejenigen, die in einem optischen System 10 (s. 4; später beschrieben) gesetzt werden für Brennweite, Blende, Zoomvergrößerung und ähnlichem, diejenigen in einem Bildaufnahmeteil 11 für Empfindlichkeit, die Anzahl von Pixeln, und ähnlichem, und diejenigen in einem Signalverarbeitungsteil 12 für Bildausschnittsgröße, Kompressionsverhältnis, Verstärkungsverhältnis (Verstärkung), Farbton und ähnlichem. Hiernach wird sich auf solche Bildqualitätsparameter gemeinschaftlich in der Einzahl bezogen werden, können aber auch die im obigen beispielhaft gegebenen Bildqualitätsparameter in Vielzahl beinhalten.
Die Bildaufnahmevorrichtung 1 gibt an die Steuervorrichtung 3 Zustandsdaten aus, welche einen Bildqualitätsparameter, der darin bereits gesetzt wurde, anzeigen. Abhängig davon, welche Steuertechnik die Steuervorrichtung 3 anwendet, hat hier die Bildverarbeitungsvorrichtung 1 nicht notwendigerweise eine solche Funktion des Ausgebens der Zustandsdaten.
Die Anzeigevorrichtung 2 führt die von jeder der Bildaufnahmevorrichtungen 1 ausgegebenen Bilddaten zusammen (um ein Panoramabild zu erzeugen, zum Beispiel) zur Anzeige. Von der Anzeigevorrichtung 2 werden zwei Arten von Daten an die Steuervorrichtung 3 ausgegeben; eine sind die resultierenden Bilddaten nach Bildzusammenführung (hiernach, zusammengeführte Bilddaten), und die anderen sind Daten, welche anzeigen, welche Zusammenführungstechnik angewandt wurde (hiernach, Zusammenführungstechnikdaten). Abhängig davon, welche Steuertechnik die Steuervorrichtung 3 anwendet, hat hier die Anzeigevorrichtung 2 nicht notwendigerweise eine solche Funktion des Ausgebens der zusammengeführten Bild-/Zusammenführungstechnikdaten.
Die Steuervorrichtung 3 bestimmt, ob die Bildqualität des zusammengeführten Bildes auf der Anzeigevorrichtung 2 konsistent ist. Falls Nein bestimmt wird, gibt die Steuervorrichtung 3 Steuerdaten, die jede den Bildaufnahmevorrichtungen 1 entsprechen, aus. Mit den Steuerdaten steuert die Steuervorrichtung 3 den Bildqualitätsparameter auf der Basis der Bildaufnahmevorrichtung 1, um die Bildqualität des resultierenden Bildes nach Zusammenführung konsistent zu machen. Für einen Fall, ein Panoramabild zu erzeugen, werden die Bildqualitätsparameter jeweils so gesteuert, um die Grenze, wo die zwei Bilddaten zusammengeführt werden (hiernach einfach als Grenze bezeichnet), unauffällig zu machen.
Hier, um zu sehen, ob die Bildqualität des zusammengeführten Bildes konsistent ist, vergleicht die Steuervorrichtung 3 die Bildqualitätsparameter miteinander auf der Basis der Bildaufnahmevorrichtung 1. In einer alternativen Weise kann das zusammengeführte Bild untersucht werden, ob die Bildqualität desselben konsistent ist.
Um den Bildqualitätsparameter zu steuern, ist eine erste Steuertechnik die einfachste unter allen dreien, die hier diskutiert werden. In der ersten Technik steuert die Steuervorrichtung 3 die Bildaufnahmevorrichtungen 1 zur geteilten Verwendung eines gemeinsamen Bildqualitätsparameters (fester Wert), der zuvor in der Steuervorrichtung 3 gespeichert wurde.
In der ersten Technik jedoch werden die Bildqualitätsparameter in jeder der Bildaufnahmevorrichtungen 1 in Übereinstimmung mit dem gemeinsamen Bildqualitätsparameter, der im Wert fixiert ist, gezwungen. Als Ergebnis wird die Bildqualität des resultierenden zusammengeführten Bilds sicherlich konsistent, aber die Bildqualität ist vielleicht nicht auf einem gewünschten Niveau.
Zur Verbesserung ist, in einer zweiten Steuertechnik, der gemeinsame Bildqualitätsparameter nicht zuvor in der Steuervorrichtung 3 gespeichert, sondern durch die Steuervorrichtung 3 bestimmt, basierend auf den Zustandsdaten, die von jeder der Bildaufnahmevorrichtungen 1 kommen. Wie oben beschrieben, sind die Zustandsdaten diejenigen, welche die bereits gesetzten Bildqualitätsparameter anzeigen. Der so bestimmte gemeinsame Bildqualitätsparameter wird in den Bildaufnahmevorrichtungen 1 gesetzt zur geteilten Verwendung unter diesen. Typischerweise berechnet die Steuervorrichtung 3 einen Durchschnitt für den Bildqualitätsparameter, der in jeder der Bildaufnahmevorrichtungen 1 gesetzt ist, und steuert die Bildaufnahmevorrichtungen 1 zur geteilten Verwendung des Durchschnittswerts (oder Näherungswerts) als den Bildqualitätsparameter.
In einer dritten Steuertechnik werden die Bildqualitätsparameter in den Bildaufnahmevorrichtungen 1 so gesteuert, die Bildqualität um Grenzen in dem zusammengeführten Bild konsistent zu machen. Diese Steuerung wird gemacht basie rend auf den zusammengeführten Bilddaten, die von der Anzeigevorrichtung 2 einer Steuervorrichtung 3 bereitgestellt werden.
Im Detail werden die Bildqualitätsparameter für die Bildaufnahmevorrichtungen 1₁ und 1₂ so bestimmt, die Bildqualität um eine Grenze herum (erste Grenze) zwischen Bilddaten von der ersten Bildaufnahmevorrichtung 1₁ und denen von der zweiten Bildaufnahmevorrichtung 1₂ konsistent zu machen. Ähnlich werden die Bildqualitätsparameter für die Bildaufnahmevorrichtung 1₂ und 1₃ so bestimmt, die Bildqualität um eine Grenze herum (zweite Grenze) zwischen Bilddaten von der Bildaufnahmevorrichtung 1₂ und denen von der Bildaufnahmevorrichtung 1₃ konsistent zu machen. Das gleiche ist anwendbar auf eine Grenze ((n-1)te Grenze) zwischen Bilddaten von der Bildaufnahmevorrichtung 1(_n-1) und denen von der Bildaufnahmevorrichtung 1_n .
Dann, basierend auf der Bildqualität um die erste Grenze und der um die zweite Grenze, wird die Bildqualität des Abschnitts zwischen diesen zwei Grenzen bestimmt. Typischerweise wird die Bildqualität des Abschnitts so bestimmt, sich linear zu verändern. So bestimmte Bildqualitätsparameter, welche Funktionen sind, die Werte in jedem Teil eines Bildes repräsentieren, werden zu jeder der Bildaufnahmevorrichtung 1 gesetzt, um die Bildqualität des resultierten zusammengeführten Bildes konsistent zu machen.
Um den Bildqualitätsparameter mit der ersten Steuertechnik zu steuern, muss die Steuervorrichtung 3 lediglich einen fixen Wert zum Beispiel im ROM speichern. Die Zustandsdaten werden nicht notwendigerweise von Bildaufnahmevorrichtungen 1 an die Steuervorrichtung 3 weitergeleitet, und die zusammengeführten Bilddaten von der Anzeigevorrichtung 2 an die Steuervorrichtung 3.
Mit der zweiten Technik werden die Zustandsdaten von jeder der Bildaufnahmevorrichtungen 1 an die Steuervorrichtung 3 weitergeleitet. Hier leitet die Anzeige vorrichtung 2 nicht notwendigerweise die zusammengeführten Bilddaten an die Steuervorrichtung 3 weiter.
Mit der dritten Technik werden die zusammengeführten Bilddaten von der Anzeigevorrichtung 2 an die Steuervorrichtung 3 bereitgestellt. Hier werden die Zustandsdaten nicht notwendigerweise von den Bildaufnahmevorrichtungen 1 an die Steuervorrichtung 3 weitergeleitet.
Das Bildaufnahmesystem von 1 arbeitet als solches. Als nächstes werden die Operationen von allen Komponenten in dem Bildaufnahmesystem von 1 beschrieben.
3 ist ein Blockdiagramm, welches eine beispielhafte Struktur der Steuervorrichtung 3 zeigt. In 3 beinhaltet die Steuervorrichtung 3 eine CPU 301, RAM 302 und ROM 303. Das ROM 303 speichert ein Programm 304 zum Arbeiten für die CPU 301. Die CPU 301 führt das in dem ROM 303 gespeicherte Programm 304 aus, während sie das RAM 302 als Arbeitsbereich verwendet, wobei der Steuervorrichtung 3 ermöglicht wird, die Bildaufnahmevorrichtungen 1 zu steuern, um, zum Beispiel, die Bildqualität des zusammengeführten Bildes konsistent auf der Anzeigevorrichtung 2 zu machen (erste bis dritte Steuertechniken). Die durch die Steuervorrichtung 3 ausgeführte Steuerverarbeitung ist im Detail in der zweiten Ausführungsform und danach beschrieben.
Als nächstes wird unten, mit Bezug auf 4A und 4B, die Operation der Bildaufnahmevorrichtung 1 beschrieben.
4A und 4B sind Blockdiagramme, welche jeweils eine beispielhafte Struktur der Bildaufnahmevorrichtung 1 von 1 zeigen.
Die Bildaufnahmevorrichtung 1 von 4A beinhaltet den Bildaufnahmeteil 11 und den Signalverarbeitungsteil 12. Der Bildaufnahmeteil 11 ist zum Beispiel durch einen CCD- und einen CMOS-Sensor implementiert. Darin wird ein optisch aufgenommenes Bild in ein elektrisches Signal konvertiert, und dann wird das Signal A/D-konvertiert, um als Bildaufnahmedaten ausgegeben zu werden.
In 4A verarbeitet der Signalverarbeitungsteil 12 die Bildaufnahmedaten basierend auf dem Bildqualitätsparameter (gemäß den Steuerdaten von der Steuervorrichtung 3) und gibt Bilddaten aus. In dem Fall, dass der Bildqualitätsparameter für Verstärkungswert, Filterkoeffizient, Ladungsspeicherzeit, Kompressionsverhältnis, zum Beispiel, ist, führt der Signalverarbeitungsteil 12 dementsprechend Verstärkungssteuerung, Farbfilterung, digitale Filterung durch, und steuert die Ladungsspeicherzeit und das Kompressionsverhältnis von Daten in dem Bildaufnahmeteil 11.
In einem anderen Fall, dass die Bildqualitätsparameter für das ist, was sich auf A/D-Konvertierung bezieht, wie zum Beispiel Abtastrate, Quantisierungsskala, Quantisierungsbitanzahl, steuert der Bildverarbeitungsteil 12 den Bildaufnahmeteil 11.
Man bemerke, dass der Bildaufnahmeteil 11 auch als Aufnahmeröhre zum Ausgeben eines analogen Bildsignals oder durch einen Infrarotsensor implementiert sein kann. Falls dies der Fall ist, ist es der Signalverarbeitungsteil 12, der A/D-Konversion bezüglich des analogen Bildsignals von dem Bildaufnahmeteil 11 ausführt.
Weiterhin kann, basierend auf den Steuerdaten von der Steuervorrichtung 3, der Signalverarbeitungsteil 12 einen neuen Bildqualitätsparameter setzen und den bereits gesetzten Bildqualitätsparameter zurücksetzen.
Hierin werden die Steuerdaten als der zu setzende Bildqualitätsparameter angenommen. Das heißt, die Steuervorrichtung 3 spezifiziert einen Bildqualitätsparameter, der zu setzen ist, in jeder Bildaufnahmevorrichtung 1. Dies ist nicht be schränkend, und die Steuerdaten können Zwischeninformation zum Bestimmen des Bildqualitätsparameters sein (zum Beispiel Information zum Spezifizieren von Helligkeit, Farbton, Schärfe, AN/AUS eines Rauschfilters), eine Anweisung, um den Bildqualitätsparameter und Zwischeninformation zu erhöhen oder zu vermindern, oder eine Kombination dieser.
Weiterhin sind die Bildqualitätsparameter, die durch die Steuervorrichtung 3 steuerbar sind, nicht auf diese obigen beschränkt, und jeglicher beliebige Bildqualitätsparameter, der für die Bildqualität relevant ist, genügt.
Die Bildaufnahmevorrichtung 1 von 4B beinhaltet das optische System 10, den Bildaufnahmeteil 11, den Signalverarbeitungsteil 12, ein Steuerteil 13, ein Speicherteil 14, einen Sensor 15, ein Mechanismussystem 16 und ein Stromversorgungsteil 17. Hierin arbeiten das Bildaufnahmesystem 11 und der Signalverarbeitungsteil 12 ähnlich zu den obigen, außer dass der Bildqualitätsparameter über den Steuerteil 13 bereitgestellt wird, und werden daher nicht wieder beschrieben.
Das optische System 10 ist beispielhaft für eine Linse und einen Antriebsteil davon erläutert und verändert sich in Brennweite, Zoomvergrößerung, Blende, und ähnlichem, gemäß optischen Parametern, die durch den Steuerteil 13 gesetzt werden. Der Sensor 15 fühlt um die Bildaufnahmevorrichtungen 1 herum nach der Helligkeit, Hintergrundbeleuchtung oder nicht, und ähnlichem, und gibt das Ergebnis dann an den Steuerteil 13 aus. Der Stromversorgungsteil 17 stellt Leistung an die Bildaufnahmevorrichtungen 1 bereit und ist AN/AUS schaltbar unter der Steuerung des Steuerteils 13. Das Mechanismussystem 16 richtet die Bildaufnahmevorrichtungen unter der Steuerung des Steuerteils 13 aus.
Das Steuerteil 13 steuert, basierend auf den Steuerdaten von der Steuervorrichtung 3, den Signalverarbeitungsteil 12, das optische System 10, das Mechanismussystem 16, den Stromversorgungsteil 17, und ähnliches.
Die Steuerdaten beinhalten zum Beispiel Bildqualitätsparameter, Ausschnittsbereichsparameter, Richtungsparameter und Leistung-AN/AUS-Anweisung, und der Steuerteil 13 steuert dementsprechend die obigen Komponenten.
Hier wird, unter diesen Bildqualitätsparametern, jeglicher Parameter zum Definieren der Helligkeit des Bildes sowie Empfindlichkeit, Verstärkungsverhältnis, Blende, nun als „Helligkeitsparameter" bezeichnet. Als nächstes unten, obwohl der Helligkeitsparameter als ein Beispiel zum Beschreiben einer Steuerprozedur dafür genommen wird, werden andere Typen von Parametern ähnlich gesteuert.
Man bemerke, dass der Steuerteil 13 mehrere Komponenten durch allein ein Steuerdatum steuern kann. Zum Beispiel werden sowohl der Signalverarbeitungsteil 12 und das optische System 10 durch das Steuerdatum gesteuert, das anzeigend für den Helligkeitsparameter ist. Als ein Beispiel wird, um Helligkeit gemäß dem Steuerdatum zu erhöhen, der Signalverarbeitungsteil 12 in seiner Empfindlichkeit erhöht, und das optische System 10 wird in seiner Blende größer gesetzt (kleiner in F-Nummer).
Zusätzlich zu den Daten beschrieben in 4A gibt der Steuerteil 13 auch, als Einstelldaten, die von dem Sensor 15 aufgenommene Information, AN/AUS des Stromversorgungsteils 17, und ähnliches aus. Hier werden die Einstelldaten an die Steuervorrichtung 3 weitergeleitet, und basierend darauf steuert die Steuervorrichtung 3 den Bildqualitätsparameter.
Mit solch einer Struktur wie in 4B, werden die Bildaufnahmevorrichtungen 1 in Richtung zur Bildaufnahme einstellbar und mit der Stromversorgung schaltbar. In dem Bildaufnahmesystem, das solche Aufnahmevorrichtung 1 ausgestattet hat, kann die Steuervorrichtung 3 auch die Bildaufnahmevorrichtung 1 in eine gewünschte Richtung ausrichten und wahlweise welche Bildaufnahmevorrichtung 1 auch immer AN schalten.
5 ist ein Blockdiagramm, das eine andere beispielhafte Struktur der Bildaufnahmevorrichtung 1 von 1 zeigt. Die Bildaufnahmevorrichtung 1 von 5 beinhaltet einen CMOS-Sensor 111, einen Pixeleinheitssignalverarbeitungsteil 112 und einen Signalverarbeitungsteil 121. Der CMOS-Sensor 111 und der Pixeleinheitssignalverarbeitungsteil 112 entsprechen dem Bildaufnahmeteil 11 von 4.
In einer solch strukturierten Bildaufnahmevorrichtung ist der CMOS-Sensor 111 derjenige, welcher ein Bild in ein elektrisches Signal konvertiert. Das elektrische Signal wird dann an den Pixeleinheitssignalverarbeitungsteil 112 weitergeleitet, um auf einer Pixelbasis verarbeitet zu werden und dann als Bildaufnahmedaten ausgegeben zu werden.
Die Bildaufnahmedaten werden an den Signalverarbeitungsteil 121 bereitgestellt, zusammen mit den Steuerdaten von der Steuervorrichtung 3. Basierend auf den Steuerdaten steuert der Signalverarbeitungsteil 121 den Bildqualitätsparameter (zum Beispiel Empfindlichkeit, Speicherzeit, Verstärkung), die in dem CMOS-Sensor 111 und dem Pixeleinheitssignalverarbeitungsteil 112 gesetzt sind. Hier sind die Steuerdaten, die an den Signalverarbeitungsteil 121 bereitgestellt werden, diejenigen, welche den Bildqualitätsparameter nicht auf einer Bildbasis, sondern auf einer Pixelbasis steuern. Daher kann der Bildqualitätsparameter für jedes Pixel, das in dem Bild beinhaltet ist, gesteuert werden.
Man bemerkt, dass in der Bildaufnahmevorrichtung 1 von 5 der Bildqualitätsparameter auf einer Pixelbasis gesteuert wird. Dies ist nicht beschränkend und der Bildqualitätsparameter kann auf einer Blockbasis gesteuert werden. Hier setzt sich der Block aus mehreren Pixeln zusammen, zum Beispiel 8 mal 8 Pixel, und dementsprechend werden die Steuerdaten reduziert, und so auch die Verarbeitungslast des Signalverarbeitungsteils 121.
Als nächstes wird im Detail die Operation der Anzeigevorrichtung 2 beschrieben.
6A und 6B sind Blockdiagramme, welche jeweils eine beispielhafte Struktur der Anzeigevorrichtung 2 von 1 zeigen. Die Anzeigevorrichtung 2 von 6A beinhaltet einen Zusammenführungsteil 20 und einen Anzeigeteil 24. Der Zusammenführungsteil 20 führt die Bilddaten, welche von mehreren Bildaufnahmevorrichtungen 1 kommen, zur Ausgabe als einen Satz Bilddaten zusammen. Zum Zusammenführen kann die Panoramabildzusammenführungstechnik und die Multibildzusammenführungstechnik angewandt werden. Eine Technik zum Umschalten mehrerer Bilddaten mit dem Verlauf von Zeit auf einer Anzeige, oder eine Kombination dieser obigen Techniken wie Verkleinern panoramischer Bilder, um diese in ein Bild einzupassen, können auch eine Möglichkeit sein. Diese Techniken sind nur beispielhaft, und der Zusammenführungsteil 20 kann sicherlich wahlweise jegliche andere mögliche Technik anwenden, um einen Satz Bilddaten von mehreren zu erzeugen.
Der Anzeigeteil 24 empfängt die resultierenden zusammengeführten Bilddaten von dem Zusammenführungsteil 20 und zeigt ein zusammengeführtes Bild an. Der Anzeigeteil 24 zeigt typischerweise darauf sich bewegende Bilder an, wie CRT, Flüssigkristallanzeigen und Plasmaanzeigen. Dies ist nicht beschränkend, und ein Drucker, der feststehende Bilder auf einem Papier druckt, genügt, solange wie Bilder dadurch sichtbar werden.
Die zusammengeführten Bilddaten, die von dem Zusammenführungsteil 20 ausgegeben werden, werden, falls notwendig, der Steuervorrichtung 3 zurückgeführt. Falls sie zurückgeführt werden, erzeugt die Steuervorrichtung 3 neue Steuerdaten, um die Bildqualität des zusammengeführten Bildes konsistent zu machen.
Die Anzeigevorrichtung 2 von 6B ist mit Speichern 21₁ bis 21_n zum Speichern von Bilddaten, die von jeder entsprechenden Bildaufnahmevorrichtung 1₁ bis 1_n kommen, einem Speicher 22 zum Speichern von zusammengeführten Bilddaten, einem Zusammenführungsteil 23 zum Ausführen von Bilddatenzusammen führung bei gleichzeitigem Steuern der Speicher 21 und 22, und dem Anzeigeteil 24 versehen. In 6B arbeitet der Anzeigeteil 24 ähnlich zu dem von 6A.
Die Speicher 21 und 22 und der Zusammenführungssteuerteil 23 strukturieren den Zusammenführungsteil 20. Der Zusammenführungsteil 20 entspricht dem Zusammenführungsteil 20 von 6A. In dem Zusammenführungsteil 20 von 6B werden die Bilddaten zuerst in den entsprechenden Speichern 21₁ bis 21_n gespeichert. Dann werden die Bilddaten durch den Zusammenführungssteuerteil 23 daraus gelesen, um in den Speicher 22 geschrieben zu werden. Zu dieser Zeit spezifiziert der Zusammenführungssteuerteil 23 sowohl eine Leseadresse zum Lesen der Bilddaten von den Speichern 21 als auch eine Schreibadresse zum Schreiben der so gelesenen Bilddaten in den Speicher 22. Daher werden die zusammengeführten Bilddaten in dem Speicher 22 erzeugt.
Bevor die Bilddaten, die von dem Speicher 21 gelesen werden, in den Speicher 22 geschrieben werden, führt der Zusammenführungssteuerteil 23 Signalverarbeitung durch, um die Bilddaten zu interpolieren und Bilddaten, die von den Speichern 21 bereitgestellt werden, zusammenzuführen.
Als solches kann, mit derartiger Signalverarbeitung und Adresssteuerung ausgeführt durch den Zusammenführungssteuerteil 23, der Anzeigeteil 24 einfach das zusammengeführte Bild darauf anzeigen.
Der Zusammenführungssteuerteil 23 gibt auch, falls notwendig, Zusammenführungstechnikdaten (anzeigend, welche Technik angewandt wurde, zum Beispiel die Panoramabildzusammenführungstechnik oder die Multibildzusammenführungstechnik), Bildqualitätsinformation über die jeweiligen Bilddaten in den zusammengeführten Bilddaten, und ähnliches, aus. Solche Daten und Informationen werden zurückgeführt zu der Steuervorrichtung 3. Wenn die Bildqualitätsinformation zurückgeführt wird, erzeugt die Steuervorrichtung 3 dementsprechend neue Steuerdaten zum Erreichen der konsistenten Bildqualität. Mit den zurückgeführten Zusammenführungstechnikdaten steuert die Steuervorrichtung 3 die Bildaufnahmevorrichtungen 1 für den Bildausschnittsbereich.
Obwohl hierin angenommen wird, dass die Anzeigevorrichtung 2 einfach die zusammengeführten Bilddaten anzeigt, ist dies nicht beschränkend. Die Anzeigevorrichtung 2 kann eine vorherbestimmte Bildverarbeitung basierend auf den zusammengeführten Bilddaten ausführen. Falls dies so ist, 6A als ein Beispiel nehmend, wird der Anzeigeteil 24 durch einen Bildverarbeitungsteil (nicht gezeigt) ersetzt, um die vorherbestimmte Bildverarbeitung auszuführen.
Der Bildverarbeitungsteil kann zum Beispiel die zusammengeführten Bilddaten statistisch verarbeiten oder die zusammengeführten Bilddaten analysieren, um jegliches Objekt zu erkennen oder die Bewegung desselben in einem resultierenden Bild zu bestätigen. Auch können jegliche 3D-Formdaten aus den zusammengeführten Bilddaten extrahiert werden.
Wenn ein zusammengeführtes Bild angezeigt wird, ist die oben beschriebene Steuerung für konsistente Bildqualität effektiv, um Grenzen unauffällig erscheinen zu lassen. In der Bildverarbeitung wie oben ist die Steuerung für konsistente Bildqualität auch effektiv, um, in Genauigkeit, die statistische Verarbeitung, Objekterkennung, Objektbewegungsbestätigung, 3D-Datenextraktion und ähnliches zu verbessern.
Wie aus dem obigen bekannt ist, gemäß der ersten Ausführungsform, kann ein Bild, das durch Zusammenführung mehrerer gleichzeitig aufgenommener Bilder erzeugt wurde, sicherlich konsistente Bildqualität auf einer Anzeige haben. Weiterhin kann, abhängig davon, welche Zusammenführungstechnik angewandt wurde, ein Bildqualitätsparameter auf einer Ausschnittbereichsbasis gesteuert werden. Überdies sind in dem Bildaufnahmesystem die Bildaufnahmevorrichtungen 1 unabhängig AN/AUS schaltbar.
(Zweite Ausführungsform)
In einer zweiten Ausführungsform wird ein Bildaufnahmesystem beschrieben, welches die in der ersten Ausführungsform beschriebene erste Steuertechnik anwendet. In der ersten Steuertechnik steuert die Steuervorrichtung 3 die Bildaufnahmevorrichtungen 1 zur geteilten Verwendung eines gemeinsamen Bildqualitätsparameters, der in der Steuervorrichtung 3 zuvor gespeichert wurde.
Das Bildaufnahmesystem der zweiten Ausführungsform ist ähnlich zu dem der 1 (oder 2). Weiterhin sind die Bildaufnahmevorrichtung 1, die Anzeigevorrichtung 2 und die Steuervorrichtung 3 von 1 (oder 2) ähnlich denen von 3 bis 6. Die zweite Ausführungsform ist zum Beschreiben der Operation der Steuervorrichtung 3 zu einem weitergehenden Grad gegeben, und andere Komponenten, die bereits in der ersten Ausführungsform erschienen, werden als betrieblich dieselben betrachtet, und nicht beschrieben, solange nicht anderweitig angegeben.
3 zeigt die Struktur der Steuervorrichtung 3. In 3 arbeitet die CPU 301 gemäß dem in dem ROM 303 gespeicherten Programm 304, während sie das RAM 302 als Arbeitsbereich verwendet, was der Steuervorrichtung 3 erlaubt, solche wie in einem Flussdiagramm von 7 gezeigte Steuerverarbeitung auszuführen.
7 ist ein Flussdiagramm, welches die Operation der Steuervorrichtung 3 zeigt. In 7 speichert die Steuervorrichtung 3, im Voraus, einen gemeinsamen Bildqualitätsparameter in dem ROM 303, zum Beispiel (Schritt S1). Die Steuervorrichtung 3 bestimmt zuerst, ob die Bildqualität eines zusammengeführten Bildes auf der Anzeigevorrichtung 2 konsistent (Schritt 2). Falls Ja bestimmt wird, ist die Steuervorrichtung 3 nun im Standby.
Hier, um zu sehen, ob die Bildqualität des zusammengeführten Bildes konsistent ist, vergleicht die Steuervorrichtung 3 Bildqualitätsparameter miteinander. Der Bildqualitätsparameter ist derjenige, der bereits in jeder Bildaufnahmevorrichtung 1 gespeichert ist, und davon als Zustandsdaten übertragen. Bestimmungsfaktor ist hier, ob diese Bildqualitätsparameter zueinander gleich sind, oder ob ein Unterschied darunter ein Schwellwert ist oder kleiner. In einer alternativen Weise kann die Steuervorrichtung 3 die zusammengeführten Bilddaten von der Anzeigevorrichtung 2 empfangen, um das resultierende zusammengeführte Bild zu untersuchen, ob die Bildqualität desselben konsistent ist. Falls dies der Fall ist, muss die Anzeigevorrichtung 2 die Steuervorrichtung 3 darüber informieren, welcher Teil des zusammengeführten Bildes eine Grenze ist.
Andererseits, falls in dem Schritt S2 Nein bestimmt wird, erzeugt die Steuervorrichtung 3 Steuerdaten zur Ausgabe an jede der Bildaufnahmevorrichtungen 1 (Schritt S3). Die neuen Kontrolldaten sind dazu da, die bereits gesetzten Bildqualitätsparameter in der Bildaufnahmevorrichtung 1 in Übereinstimmung mit dem gemeinsamen Bildqualitätsparameter zu bringen.
Mit den Steuerdaten von der Steuervorrichtung 3 wird der gemeinsame Bildqualitätsparameter in den Bildaufnahmevorrichtungen 1 zur geteilten Verwendung darunter gesetzt, wodurch dabei die Bildqualität des zusammengeführten Bildes auf der Anzeigevorrichtung 2 konsistent gemacht wird. Zum Beispiel, wenn ein Bild angezeigt wird, das durch die Multibildzusammenführungstechnik erzeugt wurde, wird die Bildqualität, zum Beispiel Helligkeit, konsistent. Für ein Bild, das durch die Panoramabildzusammenführungstechnik erzeugt wurde, erscheinen Grenzen darin unauffällig.
Hier kann, als der gemeinsame Bildqualitätsparameter, in der Steuervorrichtung 3 ein einziger oder mehrere gesetzt sein. Der Fall, dass die Steuervorrichtung 3 allein einen gemeinsamen Bildqualitätsparameter speichert, ist im Vorhergehenden beschrieben. Wenn mehrere gespeichert sind, kann ein Benutzer auswählen, wel chen, durch Anweisen der Steuervorrichtung 3, oder die Steuervorrichtung 3 kann nach ihrem Ermessen auswählen, welchen.
Dieser Fall ist als nächstes im Detail beschrieben. Hier, unter der Annahme, dass das Bildaufnahmesystem ein auf einem Fahrzeug befestigter Typ ist, und dass die Bildaufnahmevorrichtung 1 vorne, hinten, rechts und links, wie in 15 gezeigt, platziert ist. Diese vier Bildaufnahmevorrichtungen 1₁ bis 1₄ leiten jeweils Bilddaten an die Anzeigevorrichtung 2 zur Bildzusammenführung darin weiter. Dann wird auf der Anzeigevorrichtung 2 solch ein Bild, wie in 16, 17A und 17B gezeigt, angezeigt.
Das Bild der 16 ist dasjenige, das durch die Multibildzusammenführungstechnik erzeugt wurde, während die Bilder von 17A und 17B jeweils Bilder sind, die durch die Panoramabildzusammenführungstechnik erzeugt wurden. Genauer deckt das Bild von 17A die vorderen zwei Drittel des Fahrzeugs ab (d.h., entspricht den Bildaufnahmevorrichtungen 1₁ bis 1₃ ), und das Bild von 17B deckt die hinteren zwei Drittel davon ab (d.h. entsprechend den Bildaufnahmevorrichtungen 1₁ , 1₃ und 1₄ ).
Wenn solch ein Typ eines zusammengeführten Bildes angezeigt wird, muss ein Bildqualitätsparameter auf Umgebungsänderungen um das Fahrzeug herum, die beobachtet werden, wie das Fahrzeug sich bewegt und die Zeit fortschreitet, reagieren. Typischerweise spielt ein Helligkeitsparameter (zum Beispiel Helligkeit, Blende, Verstärkungsverhältnis) eine wichtige Rolle in solch einem Fall. Als ein Beispiel, wenn die Steuervorrichtung 3 nur einen gemeinsamen Bildqualitätsparameter speichert unter Berücksichtigung nur für Tageszeit, ist eine Bildaufnahme zur Nachtzeit unwahrscheinlich (sogar wenn ausgeführt resultierend in einem dunklen Bild).
Daher speichert die Steuervorrichtung 3 hier zwei gemeinsame Qualitätsparameter für Tageszeit bzw. Nachtzeit. In diesem Fall spezifiziert der Benutzer welchen, und die Steuervorrichtung 3 wählt entsprechend den spezifizierten gemeinsamen Bildqualitätsparameter.
Alternativ, wie in 15 gezeigt, kann das Fahrzeug mit einem Sensor 53 zum Aufnehmen der Helligkeit daherum ausgestattet sein. Der Sensor 53 ist mit der Steuervorrichtung 3 verbunden. Falls ausgestattet, basierend auf dem dadurch erhaltenen Ergebnis, kann die Steuervorrichtung 3 selber eine Auswahl machen, welchen gemeinsamen Bildqualitätsparameter.
Wie aus dem obigen bekannt ist, gemäß der zweiten Ausführungsform, werden die Bildqualitätsparameter in jeder Bildaufnahmevorrichtung 1 mit Nachdruck verändert, so dass sie mit dem gemeinsamen Bildqualitätsparameter übereinstimmen. Daher wird durch eine einfache Steuerverarbeitung die Bildqualität eines zusammengeführten Bildes konsistent.
(Dritte Ausführungsform)
In einer dritten Ausführungsform wird ein Bildaufnahmesystem beschrieben, welches die in der ersten Ausführungsform beschriebene zweite Steuertechnik anwendet. In der zweiten Steuertechnik wird ein gemeinsamer Bildqualitätsparameter bestimmt durch die Steuervorrichtung 3 basierend auf den bereits gesetzten Bildqualitätsparametern, die von den jeweiligen Bildaufnahmevorrichtungen 1 übertragen werden. Der so bestimmte gemeinsame Bildqualitätsparameter wird in den Bildaufnahmevorrichtungen 1 zur geteilten Verwendung darunter gesetzt. Das Bildaufnahmesystem der dritten Ausführungsform ist ähnlich zu dem von 1 (oder 2). Weiter sind die Bildaufnahmevorrichtung 1, die Anzeigevorrichtung 2 und die Steuervorrichtung 3 von 1 (oder 2) ähnlich denen von 3 bis 6.
Die dritte Ausführungsform ist zum Beschreiben der Operation der Steuervorrichtung 3 zu einem nochmals weitergehenden Grad gegeben, und andere Komponen ten, die bereits in der ersten Ausführungsform in Erscheinung getreten sind, werden als betrieblich die gleichen betrachtet und nicht weiter beschrieben, solange nicht anderweitig angegeben.
8 ist ein Flussdiagramm, welches die Operation der Steuervorrichtung 3 zeigt. In 8 speichert die Steuervorrichtung 3, im Voraus, mehrere gemeinsame Bildqualitätsparameter als Potentielle, zum Beispiel (Schritt S11). Die Steuervorrichtung 3 bestimmt zuerst, ob die Bildqualität eines zusammengeführten Bildes auf der Anzeigevorrichtung 2 konsistent ist (Schritt S12). Falls Ja bestimmt wird, ist die Steuervorrichtung 3 nun im Standby. Siehe die zweite Ausführungsform darüber, wie dies zu bestimmen ist.
Hier hat die Steuervorrichtung 3 soweit als Zustandsdaten die Bildqualitätsparameter empfangen, die bereits in jeder der Bildaufnahmevorrichtungen 1 gesetzt sind. Falls in Schritt S12 Nein bestimmt wird, basierend auf den Zustandsdaten, wählt die Steuervorrichtung 3 irgendeinen gemeinsamen Qualitätsparameter aus diesen mehreren Potentiellen aus (Schritt S13). Um genauer zu sein berechnet, in Schritt S13, die Steuervorrichtung 3 zuerst einen Durchschnitt dieser bereits gesetzten Bildqualitätsparameter. Dann wird der berechnete Durchschnitt verglichen mit diesen mehreren Potentiellen, um herauszufinden, welcher gemeinsame Bildqualitätsparameter der am nächsten liegende ist. Der so gefundene wird als der gemeinsame Bildqualitätsparameter bestimmt.
Als nächstes erzeugt die Steuervorrichtung 3 Steuerdaten zur Ausgabe an jede der Bildaufnahmevorrichtungen 1, um den bereits gesetzten Bildqualitätsparameter darin in Übereinstimmung mit dem so bestimmten gemeinsamen Bildqualitätsparameter zu machen (Schritt S14).
In Antwort auf die Steuerdaten verändern alle der Bildaufnahmevorrichtungen 1 dementsprechend ihre Bildqualitätsparameter. Dies führt erfolgreich dazu, die konsistente Bildqualität eines Bildes nach Zusammenführung herbeizuführen.
In dieser Weise, zusätzlich zu den Effekten, die in der zweiten Ausführungsform erzielt wurden, kann die Werteveränderung der Bildqualitätsparameter in den Bildaufnahmevorrichtungen 1 minimiert werden dank dem Durchschnittswert, der berechnet wurde zum Vergleich mit mehreren potentiellen gemeinsamen Bildqualitätsparametern. Zum Beispiel kann die Helligkeit des zusammengeführten Bildes konsistent sein mit weniger Variation in Helligkeit. Ähnlich, wenn die Bildaufnahmevorrichtungen 1 jede mit einer Funktion des automatischen Einstellens ihrer Bildqualitätsparameter gemäß der Umgebungsveränderung daherum (zum Beispiel Helligkeit) ausgestattet sind, wird das resultierende zusammengeführte Bild immer optimal in seiner Bildqualität (Helligkeit).
In dem obigen speichert die Steuervorrichtung 3 im Voraus mehrerer gemeinsame Bildqualitätsparameter als Potentielle zum Vergleich mit einem Durchschnittswert, der zu berechnen ist. Dies ist nicht beschränkend, und der Durchschnittswert kann einfach als ein gemeinsamer Bildqualitätsparameter bestimmt werden. Oder die Steuervorrichtung 3 kann die bereits gesetzten Bildqualitätsparameter der Bildaufnahmevorrichtungen 1 nach dem im Wert dem Durchschnitt nächsten durchsuchen, und den so gefundenen als einen gemeinsamen Bildqualitätsparameter bestimmten.
Hierin, bezüglich einer generelleren Weise, die Veränderung der Bildqualitätsparameter minimiert zu machen, kann ein gemeinsamer Bildqualitätsparameter einfach durch Betrachten, welche Werte die bereits gesetzten Bildqualitätsparameter zeigen, bestimmt werden.
Weiter sind die Zustandsdaten, welche von jeder der Bildaufnahmevorrichtungen 1 an die Steuervorrichtung 3 weitergeleitet werden, nicht auf die bereits gesetzten Bildqualitätsparameter beschränkt. Jegliche Daten genügen, solange die Daten den Zustand der Bildaufnahmevorrichtungen 1 anzeigen. Zum Beispiel, wenn die Bildaufnahmevorrichtung 1 mit dem Sensor 15 zum Aufnehmen der Helligkeit daherum ausgestattet ist, und wenn ein Bildqualitätsparameter (zum Beispiel Empfindlichkeit) darin automatisch gesetzt wird, basierend auf der gefühlten Helligkeit, benachrichtigt von der Bildaufnahmevorrichtung 1 an die Steuervorrichtung 3 mag nicht dessen Bildqualitätsparameter, sondern die durch den Sensor 15 gefühlte Helligkeit werden. Falls dies der Fall ist, berechnet die Steuervorrichtung 3 einen Durchschnitt der Helligkeit und bestimmt von diesen darin gespeicherten Potentiellen, welcher den zu dem Durchschnitt nächstgelegenen Wert zeigt.
(Vierte Ausführungsform)
In einer vierten Ausführungsform ist ein Bildaufnahmesystem beschrieben, welches die in der ersten Ausführungsform beschriebene dritte Steuertechnik anwendet. Die dritte Steuertechnik wird spezifisch angewendet, um ein Panoramabild zu erzeugen. Im Detail werden die Bildqualitätsparameter in den Bildaufnahmevorrichtungen so gesteuert, die Bildqualität um Grenzen in dem zusammengeführten Bild herum konsistent zu machen. Diese Steuerung wird gemacht basierend auf den zusammengeführten Bilddaten oder Bildqualitätsinformation, die von der Anzeigevorrichtung 2 zu der Steuervorrichtung 3 bereitgestellt wird.
Das Bildaufnahmesystem der vierten Ausführungsform ist ähnlich zu dem von 1 (oder 2). Weiter sind die Bildaufnahmevorrichtung 1, die Anzeigevorrichtung 2 und die Steuervorrichtung 3 von 1 (oder 2) ähnlich denen von 3 bis 6.
Die vierte Ausführungsform wird bereitgestellt zum Beschreiben der Operation der Steuervorrichtung 3 zu einem weitergehenden Grad, und andere Komponenten, die bereits in der ersten Ausführungsform in Erscheinung traten, werden als betrieblich dieselben betrachtet und nicht beschrieben, solange nicht anderweitig angegeben.
3 zeigt die Struktur der Steuervorrichtung 3. Hierin ist das in dem ROM 303 gespeicherte Programm 304 unterschiedlich von dem der ersten Ausführungsform, und auch die Operation der Steuervorrichtung wie in 9 gezeigt.
Hierin wird der Bildqualitätsparameter auf einer Pixel-(oder einer Blockkammer zusammengesetzt aus mehreren Pixeln) Basis gesetzt, im Gegensatz zu den zweiten und dritten Ausführungsformen auf einer Bildbasis. Auch wird der Bildqualitätsparameter nicht verändert, um mit dem gemeinsamen Bildqualitätsparameter in Übereinstimmung zu kommen, sondern wird verändert auf solche Weise, dass Grenzen in einem zusammengeführten Bild unauffällig erscheinen.
Im Detail wird die Bildqualität des zusammengeführten Bildes in den zweiten und dritten Ausführungsformen gänzlich betrachtet. Auf der anderen Seite ist in der vierten Ausführungsform die Bildqualität nur um Grenzen herum zwischen irgendeinem Paar von Pixeln oder Blöcken konsistent. In solch einem Fall ist die Bildqualität um eine Grenze herum nicht konsistent mit der um eine Grenze herum, die dazu nächstliegend ist. In Betrachtung dessen wird der Bildqualitätsparameter auf einer Pixel- (oder Block-)Basis gesteuert, so dass ein Abschnitt zwischen diesen zwei Grenzen sich in Bildqualität linear (oder graduell) verändert.
9 ist ein Flussdiagramm, welches die Operation der Steuervorrichtung 3 zeigt. In 9 speichert die Steuervorrichtung 3 im Voraus einen Schwellwert, der ein Unterschied der Bildqualität zwischen zwei Bereichen um die Grenze herum ist (Schritt S31).
Sobald sie die zusammengeführten Bilddaten von der Anzeigevorrichtung 2 empfangen hat, erkennt die Steuervorrichtung 3 zuerst die Bildqualität darin um eine erste Grenze, welche zwischen einem Paar von Pixeln oder Blöcken beobachtet wird (Schritt S32).
18 ist ein Diagramm, das visuell Bildqualitätssteuerung zeigt, die durch die Steuervorrichtung 3 ausgeführt wird in der vierten Ausführungsform auf einem Panoramabild, das erzeugt wurde durch zusammenführen von Bilddaten, welche von den drei Bildaufnahmevorrichtungen 1₁ bis 1₃ von 1 ausgegeben wurden. In Schritt S32, wie in 18 gezeigt, wird die Bildqualität (zum Beispiel Helligkeit) von Bereichen 31A und 31B um die erste Grenze herum erkannt. Hierin werden die Bildqualitätsparameter von den Bereichen 31A und 31B als „10" bzw. „7" angenommen.
Die Steuervorrichtung 3 berechnet dann einen Unterschied zum Beispiel in Helligkeit zwischen den Bildqualitätsparametern, die in Schritt S32 erkannt wurden (Schritt S33). Der so berechnete Unterschied wird dann mit dem zuvor gespeicherten Schwellwert verglichen, um zu sehen, ob der Unterschied gleich dem oder kleiner als der Schwellwert ist (Schritt S34).
Falls in Schritt S34 Nein bestimmt wird, verändert die Steuervorrichtung 3 die Bildqualitätsparameter, um den Unterschied gleich dem oder kleiner als den Schwellwert zu machen (Schritt S35). Dann geht die Prozedur zu Schritt S36.
In dem Beispiel von 18, da die Bildqualitätsparameter „10" und „7" sind, ist daher ein Unterschied in Bildqualität um die erste Grenze „ 3". Angenommen, dass der Schwellwert „1" ist, bestimmt die Steuervorrichtung 3 den Unterschied als den Schwellwert überschreitend und verändert dementsprechend die Bildqualitätsparameter. Zum Beispiel wird der Bildqualitätsparameter für den Bereich 31a zu „9" verändert, während derjenige für den Bereich 31b zu „8" verändert wird. Dies ist sicherlich nicht beschränkend, und der Bildqualitätsparameter für den Bereich 31a kann zu „8" verändert werden, aber derjenige für den Bereich 31b kann so wie er ist belassen werden.
Falls im Schritt S34 Ja bestimmt wird, bestimmt die Steuervorrichtung 3 dann, ob jede Grenze einer Verarbeitung unterworfen wurde (Schritt S36).
Wenn im Schritt S36 Nein bestimmt wurde, wird die nächste Grenze (hier, eine zweite Grenze) für Verarbeitung ausgewählt (Schritt S37), und die Prozedur wiederholt den Schritt S32 und weiter.
In dem Beispiel von 18 wird die Bildqualität von Bereichen 32a und 32b um die zweite Grenze erkannt. Hierin werden die Bildqualitätsparameter der Bereiche 32a und 32b als „7" bzw. „12" angenommen. In diesem Fall, da der Unterschied der Bildqualitätsparameter „5" ist, bestimmt die Steuervorrichtung 3, dass der Wert über der Schwelle (=1) liegt und verändert dementsprechend die Bildqualitätsparameter. Hierin wird angenommen, dass der Bildqualitätsparameter für den Bereich 32a auf „9" verändert wird, und der für den Bereich 32b auf „10".
Solche Verarbeitung wird wiederholt, bis jede Grenze in dem Panoramabild durch ist, und sobald in dem Schritt S36 Ja bestimmt wird, geht die Prozedur zu Schritt S38, und dann Schritt S39.
In Schritt S38 bestimmt die Steuervorrichtung 3 Bildqualitätsparameter für einen Abschnitt zwischen zwei Grenzen basierend auf dem Ergebnis in Schritt S35, genauer die Bildqualitätsparameter für die Grenzen von der ersten bis zu der (n-1)ten. Im Detail wird eine lineare Linie (oder eine graduelle Kurve) gezogen von dem Bildqualitätsparameter für die erste Grenze herum zu dem für die zweite Grenze herum, und dann werden, entlang der Linie, Bildqualitätsparameter für einen Abschnitt dazwischen auf einer Pixel- oder Blockbasis bestimmt.
In dem Beispiel von 18 ist der Bildqualitätsparameter für eine 0te Grenze „10", und der für den Bereich 31a ist „9". Dementsprechend werden Bildqualitätsparameter in einem Abschnitt zwischen diesen zwei Grenzen bestimmt durch eine lineare Linie, die so gezeichnet ist, dass sie durch zwei Punkte von (0, 10), und (1, 9) hindurchläuft. Zum Beispiel wird, da ein Zwischenpunkt zwischen den Punkten (0, 10) und (1, 9) berechnet wird als (0, 5, 9, 5), ein Bildqualitätsparame ter für den Zwischenpunkt zwischen der 0ten und ersten Grenze als „9,5" bestimmt.
Hier ist der Bestimmungsfaktor für die Bildqualitätsparameter in einem Abschnitt nicht begrenzt dahingehend, eine solche lineare Linie zu sein und kann eine graduelle Kurve sein, wie eine Sekundärfunktion und Log-Funktion.
Ein Abschnitt zwischen der ersten und zweiten Grenze und ein Abschnitt zwischen der zweiten und dritten Grenze werden in derselben Weise wie oben bestimmt.
In dem nächsten Schritt S39 erzeugt die Steuervorrichtung 3 Steuerdaten zur Ausgabe an jede der Bildaufnahmevorrichtungen 1. Mit den Steuerdaten werden die Bildqualitätsparameter, die bereits in den Bildaufnahmevorrichtungen 1 gesetzt wurden, verändert, um in Übereinstimmung zu sein mit den Bildqualitätsparametern, die in Schritt S35 für die Bereiche um Grenzen bestimmt wurden, und den Bildqualitätsparametern, die in Schritt S38 für die Abschnitte bestimmt wurden. Dies ist das Ende der Verarbeitung.
Im Vorhergehenden bestimmt, zusätzlich zu den Bildqualitätsparametern für die Bereiche um Grenzen, die Steuervorrichtung 3 auch diejenigen für die Abschnitte zwischen den Grenzen. Dies ist nicht beschränkend, und die Bildqualitätsparameter für die Bereiche um Grenzen können auf der Seite der Bildaufnahmevorrichtung 1 bestimmt werden.
Falls dies der Fall ist, gibt die Steuervorrichtung 3 die Bildqualitätsparameter, die im Schritt S35 bestimmt wurden, zu jeder entsprechenden Bildaufnahmevorrichtung 1 aus. Genauer werden Bildqualitätsparameter für die Bereiche um die erste Grenze an die Billdaufnahmevorrichtungen 1₁ und 1₂ ausgegeben, die Bildqualitätsparameter für die Bereiche um die zweite Grenze werden an die Bildaufnahmevorrichtungen 1₂ und 1₃ ausgegeben, und die Bildqualitätsparameter für die Bereiche um die (n-1)te Grenze werden an die Bildaufnahmevorrichtungen 1_(n-1) und 1_n ausgegeben.
Zum Beispiel verändert, unter Berücksichtigung des Bildqualitätsparameters für den Bereich 31a, die Bildaufnahmevorrichtung 1₁ den Bildqualitätsparameter für den Abschnitt zwischen der 0ten und der ersten Grenze von „10" auf „9". Das heißt, der Bildqualitätsparameter für den Bereich 31a wird auf „9" reduziert. Daher werden, in dem Abschnitt zwischen der 0ten und ersten Grenze, Bildqualitätsparameter so bestimmt, sich linear (oder graduell) zu verändern.
In ähnlicher Weise verändert, unter Berücksichtigung des Bildqualitätsparameters für den Bereich 31a, die Bildaufnahmevorrichtung 1₂ den Bildqualitätsparameter für den Abschnitt zwischen der ersten und zweiten Grenze von „7" auf „8". Das heißt, der Bildqualitätsparameter für den Bereich 31b wird auf „8" erhöht. Unter Berücksichtigung des Bildqualitätsparameters für den Bereich 31b verändert die Bildaufnahmevorrichtung 1 auch den Bildqualitätsparameter für den Abschnitt zwischen den zweiten und den dritten Grenzen von „7" auf „9". Das heißt, der Bildqualitätsparameter für den Bereich 32a wird auf „9" erhöht. Daher werden in dem Abschnitt zwischen der ersten und zweiten Grenze die Bildqualitätsparameter so bestimmt, sich linear (oder graduell) zu verändern.
Die Bildaufnahmevorrichtung 1₃ führt eine Bildqualitätsparameterveränderung in derselben Weise aus. Als ein Ergebnis werden die Bildqualitätsparameter um jede Grenze herum gleich dem oder kleiner als der Schwellwert (=1), wodurch Grenzen in einem Panoramabild nach Zusammenführen auf der Anzeigevorrichtung 2 unauffällig erscheinen. Man bemerke, dass der Schwellenwert sicherlich nicht auf 1 begrenzt ist und jeglicher gewünschte Wert sein kann, wie „ 2" und „0,5". Oder ein Unterschied in der Bildqualität kann als „0" gesetzt werden, und falls so, stimmen die Bildqualitätsparameter für Bereiche um eine Grenze herum miteinander überein.
In den zweiten bis vierten Ausführungsformen oben wurden die Techniken zum Erzielen eines zusammengeführten Bildes mit konsistenter Bildqualität durch Steuerung auf die Bildqualitätsparameter in der Bildaufnahmevorrichtung 1 beschrieben. Als eine fünfte Ausführungsform, die direkt hiernach folgt, werden die Bildaufnahmevorrichtungen 1 für einen Ausschnittsbereich gesteuert, so dass der Betrag an Information über das zusammengeführte Bild gesteuert wird. Oder als eine sechste Ausführungsform werden die Bildaufnahmevorrichtungen 1 AN/AUS gesteuert, so dass eine Leistungsreduzierung erreicht werden kann.
(Fünfte Ausführungsform)
In einer fünften Ausführungsform ist eine Technik zum Steuern der Bildaufnahmevorrichtungen 1 für einen Bildausschnittsbereich beschrieben, um den Betrag an Information über ein zusammengeführtes Bild zu reduzieren, der zu der Anzeigevorrichtung 2 übertragen wird. Anstatt den Betrag an Information zu reduzieren, kann die Bildqualität verbessert werden.
Das Bildaufnahmesystem der fünften Ausführungsform ist ähnlich zu dem von 1 (oder 2). Weiters sind die Bildaufnahmevorrichtung 1, die Anzeigevorrichtung 2 und die Steuervorrichtung 3 von 1 (oder 2) ähnlich denen von 3 bis 6. Die fünfte Ausführungsform ist zum Beschreiben der Operation der Steuervorrichtung 3 zu einem weitergehenden Grad gegeben, und andere Komponenten, die bereits in der ersten Ausführungsform erschienen sind, werden als betrieblich die gleichen betrachtet und nicht weiter beschrieben, sofern nicht anders angegeben.
Hierin ist es den Bildaufnahmevorrichtungen 1 erlaubt, ein Bild auszuschneiden nur für einen zuvor gesetzten Bereich zur Ausgabe. Der zuvor gesetzte Ausschnittsbereich wird durch die Steuervorrichtung 3 gesteuert, und die Bildaufnahmevorrichtungen 1 folgen dementsprechend der Steuerung.
3 zeigt die Struktur der Steuervorrichtung 3. Hierin ist das in dem ROM 303 gespeicherte Programm 304 unterschiedlich von dem in der ersten Ausführungsform, und auch der Betrieb der in der 10 gezeigten Steuervorrichtung.
10 ist ein Flussdiagramm, welches den Betrieb der Steuervorrichtung 3 zeigt. In 10 speichert die Steuervorrichtung 3 im Voraus verschiedene Ausschnittsbereiche als Potentielle, um die Bildaufnahmevorrichtung 1 ihre Bilddaten teilweise oder gänzlich ausschneiden zu lassen (Schritt S41).
Hier wird angenommen, dass zwei Potentielle gespeichert werden; einer ist ein erster Ausschnittsbereich, der die Bildaufnahmevorrichtungen 1 veranlasst, die Bilddaten in ihrer Gesamtheit auszuschneiden, und ein zweiter Ausschnittsbereich, um nur einen zuvor gesetzten Bereich auszuschneiden.
Was die Anzeigevorrichtung 2 betrifft, so sind ein Panoramabildzusammenführungsmodus und ein Multibildzusammenführungsmodus gespeichert, welche zum Zusammenführen von Bilddaten von den Bildaufnahmevorrichtungen 1 sind. In dem Panoramabildzusammenführungsmodus werden die Bilddaten teilweise ausgeschnitten (gestutzt) und in ein Panoramabild zusammengeführt. In dem Multibildzusammenführungsmodus werden die Bilddaten von den Bildaufnahmevorrichtungen 1 in ein Bild angeordnet (falls notwendig in Größe verändert).
Daher muss, wenn der Multibildzusammenführungsmodus in der Anzeigevorrichtung 2 angewandt ist, jede der Bildaufnahmevorrichtungen 1 die Bilddaten in ihrer Gänze an die Anzeigevorrichtung 2 übertragen. Auf der anderen Seite, wenn der Panoramabildzusammenführungsmodus angewandt wird, müssen die Bildaufnahmevorrichtungen 1 lediglich die Bilddaten in einem benötigten Bereich für ein Panoramabild, das zu erzeugen ist, übertragen. Dementsprechend kann der Betrag von Bilddaten, die zu der Anzeigevorrichtung 2 übertragen werden, reduziert werden.
Es wird sich zurück auf das Flussdiagramm von 10 bezogen. Basierend auf den Zusammenführungstechnikdaten von der Anzeigevorrichtung 2 erkennt die Steuervorrichtung 3, welche Zusammenführungstechnik in der Anzeigevorrichtung 2 angewandt wurde (der Panoramabildzusammenführungsmodus oder der Multibildzusammenführungsmodus) (Schritt S42). Dann wählt die Steuervorrichtung 3 irgendeinen Ausschnittsbereich unter diesen Potentiellen heraus, der der in Schritt S42 erkannten Zusammenführungstechnik entspricht (Schritt S43). Der solchermaßen ausgewählte Ausschnittsbereich wird als Ausschnittsbereich bestimmt.
Um genau zu sein wählt, mit dem Multibildzusammenführungsmodus, die Steuervorrichtung einen ersten Ausschnittsbereich (Gesamtbilddaten), welcher dem multizusammengeführten Bild entspricht. Andererseits, mit dem Panoramabildzusammenführungsmodus, wird ein zweiter Ausschnittsbereich (Teilbilddaten) gewählt, der dem panoramazusammengeführten Bild entspricht.
Die Steuervorrichtung 3 erzeugt dann Steuerdaten, um den Ausschnittsbereich, der bereits in den Bildaufnahmevorrichtungen 1 gesetzt ist, auf den in Schritt S43 bestimmten zu verändern. Die Steuerdaten werden an die Bildaufnahmevorrichtungen 1 ausgegeben (Schritt S44).
Als ein Beispiel, wenn die Zusammenführungstechnik in der Anzeigevorrichtung 2 zu dem Panoramabildzusammenführungsmodus umgeschaltet wird, während der bereits in den Bildaufnahmevorrichtungen 1 gesetzte Ausschnittsbereich der erste Ausschnittsbereich ist, bestimmt die Steuervorrichtung 3 den zweiten Ausschnittsbereich als neuen Ausschnittsbereich. Dann überträgt die Steuervorrichtung 3 die Steuerdaten an die Bildaufnahmevorrichtungen 1, um den ersten Ausschnittsbereich auf den zweiten zu verändern.
In Antwort auf die Steuerdaten von der Steuervorrichtung 3 wechselt jede der Bildaufnahmevorrichtungen 1 ihren inneren Ausschnittsbereich. Daher kann jede der Bildaufnahmevorrichtungen 1 ihren Ausschnittsbereich verändern abhängig von der Zusammenführungstechnik, welche die Anzeigevorrichtung 2 angewandt hat.
Im Vorhergehenden bestimmt die Steuervorrichtung 3 den Ausschnittsbereich in Antwort auf die Benachrichtigung, die von der Anzeigevorrichtung 2 bereitgestellt wird. Dies ist nicht beschränkend, und ein Benutzer kann die Steuervorrichtung 3 anweisen. Falls dies der Fall ist, in Schritt S43, empfängt die Steuervorrichtung 3 die Anweisungen des Benutzers, wählt den Ausschnittsbereich auf die Anforderung des Benutzers hin aus diesen mehreren Potentiellen aus und bestimmt dann den so ausgewählten Bereich als Ausschnittsbereich.
(Sechste Ausführungsform)
In einer sechsten Ausführungsform wird im Detail eine Technik zum AN/AUS steuern einer Stromversorgung für jede der Bildaufnahmevorrichtungen 1 beschrieben. Mit dieser Technik wird eine Leistungsreduzierung erzielt und dass weniger Information von den Bildaufnahmevorrichtungen an die Anzeigevorrichtung 2 übertragen wird. Alternativ kann anstelle des Reduzierens von Information die Bildqualität verbessert werden.
Das Bildaufnahmesystem der sechsten Ausführungsform ist ähnlich zu dem von 1 (oder 2). Weiters sind die Bildaufnahmevorrichtung 1, die Anzeigevorrichtung 2 und die Steuervorrichtung 3 von 1 (oder 2) ähnlich denen von 3 bis 6. Die sechste Ausführungsform ist gegeben zur Beschreibung der Operation der Steuervorrichtung 3 zu einem nochmals weitergehenden Grad, und andere Komponenten, die bereits in der ersten Ausführungsform erschienen sind, werden als betrieblich die gleichen betrachtet und nicht beschrieben, solange nichts anderes angegeben wird.
3 zeigt die Struktur der Steuervorrichtung 3. Hierin ist das in dem ROM 303 gespeicherte Programm 304 unterschiedlich von dem in der ersten Ausführungsform, und auch der Betrieb der Steuervorrichtung wie in 11 gezeigt.
11 ist ein Flussdiagramm, welches die Operation der Steuervorrichtung 3 zeigt. In 11 speichert die Steuervorrichtung 3 im Voraus mehrere Instruktionen als Potentielle, um die Stromversorgung von jeder der Bildaufnahmevorrichtungen 1 AN/AUS zu schalten (Schritt S51).
Hierin gespeichert sind, zum Beispiel in 15, eine erste AN/AUS Anweisung, um jede Bildaufnahmevorrichtung 1₁ bis 1₄ AN zu schalten, eine zweite AN/AUS Anweisung, um die Bildaufnahmevorrichtung 1₄ AUS zu schalten, aber die anderen AN zu schalten, und eine dritte Anweisung, um die Bildaufnahmevorrichtung 1₂ AUS zu schalten, aber die anderen AN zu schalten.
Was eine Zusammenführungstechnik zum Zusammenführen von Bilddaten, welche durch die Bildaufnahmevorrichtungen 1 geliefert werden, betrifft, kann die Anzeigevorrichtung 2 zwischen einem Multibildzusammenführungsmodus, einem ersten Halbpanoramabildzusammenführungsmodus und einem zweiten Halbpanoramabildzusammenführungsmodus umgeschaltet werden.
In dem Multibildzusammenführungsmodus werden alle Bilddaten von den Bildaufnahmevorrichtungen 1₁ bis 1₄ in ein Panoramabild zusammengeführt. In dem ersten Halbpanoramabildzusammenführungsmodus werden die Bilddaten von drei Bildaufnahmevorrichtungen 1₁ bis 1₃ zusammengeführt, welche in den hinteren zwei Dritteln des Fahrzeugs befestigt sind. In dem zweiten Halbpanoramabildzusammenführungsmodus werden die Bilddaten von drei Bildaufnahmevorrichtungen 1₁ , 1₃ und 1₄ in ein Panoramabild zusammengeführt, welche in den vorderen zwei Dritteln des Fahrzeugs befestigt sind.
Als solches muss; wenn der Multibildzusammenführungsmodus in der Anzeigevorrichtung 2 angewandt wird, jede Bildaufnahmevorrichtung 1₁ bis 1₄ AN geschaltet sein. Andererseits wird, mit den ersten und zweiten Halbpanoramabildzusammenführungsmodi, der Leistungsverbrauch reduziert, indem nicht alle von denen AN geschaltet werden, d.h., nur drei Bildaufnahmevorrichtungen 1₁ bis 1₃ , oder 1₁ , 1₃ und 1₄ AN geschaltet werden. Mit diesen Modi kann die Information von den Bildaufnahmevorrichtungen 1 an die Anzeigevorrichtung 2 auch reduziert werden.
Mit Bezug zurück auf das Flussdiagramm von 11 erkennt, gemäß den Zusammenführungstechnikdaten, welche durch die Anzeigevorrichtung 2 bereitgestellt werden, die Steuervorrichtung 3, welche Zusammenführungstechnik in der Anzeigevorrichtung 2 angewandt wurde (der Multibildzusammenführungsmodus, der erste vordere Panoramabildzusammenführungsmodus oder der zweite Halbpanoramabildzusammenführungsmodus) (Schritt S52). Dann wählt die Steuervorrichtung 3 irgendeine AN/AUS Anweisung unter diesen Potentiellen aus, welche der in Schritt S52 erkannten Zusammenführungstechnik entspricht (Schritt S53). Die so gewählte wird als AN/AUS Anweisung bestimmt.
Um genau zu sein, wenn der Multibildzusammenführungsmodus benachrichtigt wird, wählt die Steuervorrichtung 3 die entsprechende erste AN/AUS Anweisung (schalte jede Bildaufnahmevorrichtung 1₁ bis 1₄ AN) aus. Für den ersten Halbpanoramabildzusammenführungsmodus wird die entsprechende zweite AN/AUS Anweisung ausgewählt, die Bildvorrichtung 1₄ AUS zu schalten, aber die anderen AN zu schalten. Für den zweiten Halbpanoramabildzusammenführungsmodus wird die entsprechende dritte AN/AUS Anweisung ausgewählt, die Bildaufnahmevorrichtung 1₂ AUS zu schalten, aber die anderen AN zu schalten.
Dann erzeugt die Steuervorrichtung 3 Steuerdaten, welche anzeigen, welche AN/AUS Anweisung in Schritt S53 zur Ausgabe an die Bildaufnahmevorrichtungen 1 bestimmt wurde (Schritt S54).
Als ein Beispiel, wenn die Anzeigevorrichtung 2 aus dem Multizusammenführungsbildmodus zu dem ersten Halbpanoramabildzusammenführungsmodus wechselt, bestimmt die Anzeigevorrichtung 2 die zweite AN/AUS Anweisung als eine neue AN/AUS Anweisung. Dann überträgt die Steuervorrichtung 3 solche Steuerdaten an die Bildaufnahmevorrichtungen 1.
Die Bildaufnahmevorrichtungen 1 folgen jede den Steuerdaten von der Steuervorrichtung 3. In dieser Weise schalten die Bildaufnahmevorrichtungen 1 jede ihre Stromversorgung AN/AUS, gemäß zu der in der Anzeigevorrichtung 2 gewählten Zusammenführungstechnik, wodurch Leistung reduziert wird durch AUS schalten jeglicher ungewünschter Bildaufnahmevorrichtung 1.
Im Vorhergehenden bestimmt die Steuervorrichtung 3 die AN/AUS Anweisung in Antwort auf die Benachrichtigung, die von der Anzeigevorrichtung 2 bereitgestellt wird. Dies ist nicht beschränkend, und ein Benutzer kann die Steuervorrichtung 3 anweisen. Falls dies der Fall ist, in Schritten S52 und S53, empfängt die Steuervorrichtung 3 die Anweisung des Benutzers, wählt die AN/AUS Anweisung auf die Anforderung des Benutzers hin aus diesen mehreren Potentiellen aus und bestimmt dann die so gewählte Anweisung als eine AN/AUS Anweisung.
(Siebte Ausführungsform)
In einer siebten Ausführungsform, unter der Annahme, dass die Bildaufnahmevorrichtungen 1 in einem Fahrzeug befestigt sind, wird eine Technik zum Steuern der Bildqualitätsparameter in den Bildaufnahmevorrichtungen 1 beschrieben, abhängig davon, in welchem Zustand das Fahrzeug ist. Zum Beispiel, wenn das Fahrzeug sein Licht AN schaltet, werden die Bildaufnahmevorrichtungen in Empfindlichkeit erhöht.
Das Bildaufnahmesystem der siebten Ausführungsform ist ähnlich zu dem von 1 (oder 2). Weiter sind die Bildaufnahmevorrichtung 1, die Anzeigevorrichtung 2 und die Steuervorrichtung 3 von 1 (oder 2) ähnlich denen von 3 bis 6.
Die siebte Ausführungsform ist gegeben zum Beschreiben der Operation der Steuervorrichtung 3 zu einem weitergehenden Grad, und andere Komponenten, die bereits in der ersten Ausführungsform erschienen sind, werden als betrieblich dieselben betrachtet und nicht beschrieben, sofern nicht anders angegeben.
Hierin, wie in 15 gezeigt, ist das Fahrzeug mit einem Licht 51 und einem Scheibenwischer 52 versehen. Sobald das Licht 51 und der Scheibenwischer 52 AN geschaltet werden, erhöht die Steuervorrichtung 3 dementsprechend den Helligkeitsparameter (zum Beispiel Empfindlichkeit) der Bildaufnahmevorrichtungen 1.
Auch kann die Steuervorrichtung 3 erkennen, ob das Fahrzeug geradeaus fährt, nach links oder rechts abbiegt. Zum Beispiel, wenn sie erkennt, dass das Fahrzeug eine Abbiegung nach links macht, vermindert die Steuervorrichtung 3 die Auflösung der Bildaufnahmevorrichtung 1₃ , die auf der rechten Seite des Fahrzeugs befestigt ist.
3 zeigt die Struktur der Steuervorrichtung 3. Hierin ist das in dem ROM 303 gespeicherte Programm 304 unterschiedlich von dem in der ersten Ausführungsform, und auch der Betrieb der Steuervorrichtung wie in 12 gezeigt.
12 ist ein Flussdiagramm, welches die Operation der Steuervorrichtung 3 zeigt. In 12 speichert die Steuervorrichtung 3 zuvor, beispielsweise in dem ROM 303, eine Tabelle, welche den Zusammenhang zwischen dem Zustand des Fahrzeugs und dem Bildqualitätsparameter zeigt (Schritt S61).
In diesem Beispiel wird eine Tabelle wie in 19 gezeigt gespeichert. In der Tabelle von 19 beinhaltet der Zustand des Fahrzeugs vier Zustände von „Licht AN", „Scheibenwischer AN", „Abbiegen links" und „Abbiegen rechts". Für jeden dieser Zustände wird ein entsprechender Bildqualitätsparameter (hierin, Helligkeitsparameter und Auflösung) bereitgestellt.
Diese Tabelle zeigt, dass, wenn das Fahrzeug sein Licht und seinen Scheibenwischer AN schaltet, jede Bildaufnahmevorrichtung 1 hoch in Empfindlichkeit wird. Man bemerke, dass hohe Empfindlichkeit hierin bedeutet, dass die Empfindlichkeit relativ hoch ist in Anbetracht der Empfindlichkeit, wenn das Licht 51 und der Scheibenwischer 52 beide AUS geschaltet sind. Auch wird, wenn das Fahrzeug nach links abbiegt, die Bildaufnahmevorrichtung 1₁ auf der linken Seite des Fahrzeugs hoch in Auflösung, aber die Bildaufnahmevorrichtung 1₃ auf der rechten Seite wird niedrig in Auflösung. Umgekehrt, wenn das Fahrzeug nach rechts abbiegt, wird die Bildaufnahmevorrichtung 1₃ auf der rechten Seite des Fahrzeugs hoch in Auflösung, und die Bildaufnahmevorrichtung 1₁ auf der linken Seite wird niedrig in Auflösung. Man bemerke, dass hohe/niedrige Auflösung hierin bedeutet, dass die Auflösung relativ hoch/niedrig ist in Anbetracht der Auflösung, wenn das Fahrzeug geradeaus läuft.
Es wird sich zurück auf das Flussdiagramm von 12 bezogen. Die Steuervorrichtung 3 erkennt zuerst, in welchem Zustand das Fahrzeug ist (Schritt S62). In Anbetracht des dadurch erhaltenen Ergebnisses bestimmt die Steuervorrichtung 3 dann dementsprechend den Bildqualitätsparameter, indem sie auf die gespeicherte Tabelle Bezug nimmt (Schritt S63).
Um genau zu sein, wie in Schritt S631 von 13A gezeigt, wenn die in Schritt S62 gemachte Erkennung „Licht AN" ist, wird jede Bildaufnahmevorrichtung 1 in Empfindlichkeit hoch gemacht. Ähnlich, wie in Schritt S632 von 13B gezeigt, wenn die in Schritt S62 gemachte Erkennung „Scheibenwischer AN" ist, wird jede Bildaufnahmevorrichtung 1 in Empfindlichkeit hoch gemacht. Wie in Schritt S633 von 13 C gezeigt, wenn die in Schritt S62 gemachte Erkennung „abbiegen links" oder „abbiegen rechts" ist, werden die Bildaufnahmevorrichtungen 1 in Auflösung verändert, abhängig davon, für welchen Bereich die Bildaufnahmevorrichtung 1 zuständig ist. Im Detail wird mit „abbiegen links" die Auflösung hoch für den linken Bereich, aber niedrig auf dem rechten und mit „abbiegen rechts" wird die Auflösung hoch für den rechten Bereich, aber niedrig auf dem linken.
Die Steuervorrichtung 3 erzeugt dann Steuerdaten, um die Bildqualitätsparameter, die bereits in den Bildaufnahmevorrichtungen 1 gesetzt sind, in Übereinstimmung mit dem Bildqualitätsparameter zu bringen, der in Schritt S63 bestimmt wurde. Die Steuerdaten werden dann an die Bildaufnahmevorrichtungen 1 ausgegeben (Schritt S64).
Die Bildaufnahmevorrichtungen 1 verändern dann entsprechend jede ihren Bildqualitätsparameter. In dieser Weise kann der Bildqualitätsparameter in den Bildaufnahmevorrichtungen 1 abhängig davon gesteuert werden, in welchem Zustand das Fahrzeug ist.
In dem Vorhergehenden steuert die Steuervorrichtung 3 die Bildaufnahmevorrichtungen 1. Dies ist nicht beschränkend, und wie in 14 gezeigt, kann die Anzeigevorrichtung 201 mit einer Einstellfunktion des Bildqualitätsparameters versehen sein, und die Steuervorrichtung 3 steuert entsprechend die Anzeigevorrichtung 201.
In dem Beispiel von 14, in der Anzeigevorrichtung 201, stellt jeder der Signalkonvertierungsteile 25 die Bildqualität der Bilddaten gemäß dem so gesetzten Bildqualitätsparameter ein. Dann, in Antwort auf die Steuerdaten von der Steuervorrichtung 3, wird der bereits gesetzte Bildqualitätsparameter entsprechend verändert.
Auch wurde in dem Vorhergehenden die Steuerung über Bildqualitätsparameter und Ausschnittsbereich ausgeführt, wenn die Bildqualität nicht konsistent ist oder die Zusammenführungstechnik verändert wurde. Dies ist nicht beschränkend und solche Steuerung kann ausgeführt werden, wenn das Bildaufnahmesystem AN geschaltet wird, oder zu beliebigen Zeitintervallen, wie einmal pro mehreren Millisekunden, Sekunden, Stunden oder Tagen, zum Beispiel.
(Achte Ausführungsform)
20 ist ein Blockdiagramm, welches die Struktur eines Sensorsystems, das von einem auf einem Fahrzeug befestigten Typ ist, gemäß einer achten Ausführungsform der vorliegenden Erfindung zeigt. In 20 ist das Sensorsystem vom auf einem Fahrzeug befestigten Typ mit einer Vielzahl von Kameras 1001 zur Bildaufnahme, einer Vielzahl von Knoten (in diesem Beispiel fünf Knoten von 1002₁ bis 1002₅ ), die in jeweils vorherbestimmten Positionen in einem Fahrzeug 1000 zur Verbindung mit den Kameras 1001 angeordnet sind, einer Signalverarbeitungsvorrichtung 1003 zum Verarbeiten eines Bildaufnahmesignals von jeder der Kameras 1001 und Ausgeben eines resultierenden Bildsignals, einem Knoten 1004 zur Verbindung mit der Signalverarbeitungsvorrichtung 1003, und einem Monitor 1005 zur Anzeige des Bildsignals von der Signalverarbeitungsvorrichtung 1003 versehen.
20 zeigt beispielhaft eine solche erste Verbindung, wobei das Sensorsystem drei Kameras 1002₂ bis 1002₄ mit Standardauflösung beinhaltet, und jede von diesen mit jeweiligen Knoten 1002₂ bis 1002₄ verbunden ist.
Mit zwei weiteren Kameras 1001₁ und 1001₂ mit Standardauflösung und zwei weiteren Knoten 1002₁ und 1002₂ zur Verbindung daran, kann die erste Verbindung in eine zweite Verbindung gewechselt werden.
Durch Ersetzen der Kamera 1001₃ mit Standardauflösung, die an den Knoten 1002₃ verbunden ist, mit einer Kamera 1001' mit hoher Auflösung, kann die erste Verbindung in einer dritte Verbindung gewechselt werden.
Man bemerke, dass, was „Verbindung" bedeutet, und Details über die ersten bis dritten Verbindungen, zur späteren Beschreibung belassen werden. Hierin sind die ersten bis dritten Verbindungen nicht mehr als typische Beispiele zum einfachen Verständnis von Eigenschaften der vorliegenden Erfindung, und einige Verbindungen mehr sind möglich. Die Unterschiede zwischen den ersten bis dritten Verbindungen sind auch nicht beschränkend, und einige Unterschiede mehr können in Betracht gezogen werden.
21 ist ein Blockdiagramm, welches eine beispielhafte Struktur der Kamera 1001 (oder 1001') von 20 zeigt. In 21 beinhaltet die Kamera 1001 einen Bildaufnahmeteil 1101, einen Bildaufnahmeverarbeitungsteil 1102 und einen Speicherteil 1103. Der Bildaufnahmeteil 1101 nimmt ein Bild optisch auf und konvertiert das Bild in ein elektrisches Signal zur Ausgabe als ein Bildaufnahmesignal. Der Bildaufnahmeverarbeitungsteil 1102 empfängt das Bildaufnahmesignal von dem Bildaufnahmeteil 1101 und verarbeitet das Signal, um es als ein Bildsignal auszugeben. Das Bildsignal wird auf einen Bus 1106 durch den Knoten 1002 ausgesandt.
Der Speicherteil 1103 speichert im Voraus ein Kameraattribut 1104. Das Kameraattribut 1104 ist Information, die anzeigt, welches Attribut die Kamera 1001 hat, und kann Auflösung (Bildgröße) und Rahmenrate, zum Beispiel, sein.
Sobald die Kamera 1001 mit dem Knoten 1002 verbunden ist, liest der Bildaufnahmeverarbeitungsteil 1102 das Kameraattribut 1104 aus dem Speicherteil 1103 zur Benachrichtigung an den Knoten 1002.
Mit Bezug zurück auf 20 sind die Knoten 1002 zur Verbindung mit einer Kamera und der Knoten 1004 zur Verbindung mit einer Signalverarbeitungsvorrichtung beide an den ringförmigen Bus 1006 zum Kommunikationsaustausch dazwischen verbunden. Den Knoten 1002₁ bis 1002₅ zur Verbindung mit der Kamera werden jeweils eine eindeutige ID zugewiesen, wie 1 bis 5.
22 ist ein Blockdiagramm, welches eine beispielhafte Struktur des Knotens 1004 von 20 zur Verbindung mit der Signalverarbeitungsvorrichtung zeigt. In 22 beinhaltet der Knoten 1004 einen Bussteuerteil 1201. Der Bussteuerteil 1201 steuert die Signalverarbeitungsvorrichtung 1003, die mit dem Knoten 1004 verbunden ist, und die Kameras 1001, die mit dem Bus 1006 verbunden sind, durch den Knoten 1002 zur Kommunikation dazwischen. Die Steuerung wird gemacht basierend auf einem Protokoll von dem Bus 1006. Hier wird, da solche protokollbasierte Kommunikationssteuerung eine wohlbekannte Technik ist und keine Relevanz für die Eigenschaften der vorliegenden Erfindung hat, hier keine Beschreibung gegeben.
23 ist ein Blockdiagramm, welches eine beispielhafte Struktur des Knotens 1002 zur Verbindung mit der Kamera zeigt. In 23 beinhaltet der Knoten 1002 ein Bussteuerteil 1301 und ein Speicherteil 1302. Der Bussteuerteil 1301 steuert die Kamera 1001, die mit dem Knoten 1002 verbunden ist, und die Signalverarbeitungsvorrichtung 1003, die mit dem Bus 1006 durch den Knoten 1004 zur Kommunikation dazwischen verbunden ist. Die Steuerung basiert auch auf dem Protokoll des Busses 1006.
Der Speicherteil 1302 speichert im Voraus eine Knotenposition 1303. Die Knotenposition 1303 ist Information, die anzeigend für eine Position des Knotens 1002 auf dem Fahrzeug 1000 ist, und beinhaltet, zum Beispiel, 3D-Koordinaten (x, y, z), welche einen bestimmten Punkt auf dem Fahrzeug 1000 als ihren Ursprungspunkt haben.
Man bemerke hierin, dass der Knoten 1002 in Position auf dem Fahrzeug 1000 befestigt ist, und daher kann die ID des Knotens 1002 gespeichert werden (wird später beschrieben).
Sobald die Kamera 1001 mit dem Knoten 1002 verbunden ist, liest der Bussteuerteil 1301 seine Knotenposition 1303 von dem Speicherteil 1302. Wie bereits beschrieben, benachrichtigt zu diesem Zeitpunkt die Kamera 1001 das Kameraattribut 1104, und der Bussteuerteil 1301 gibt entsprechend die gelesene Knotenposition 1303 zusammen mit dem benachrichtigten Kameraattribut 1104 auf den Bus 1106 durch den Knoten 1002 aus.
24 ist ein Blockdiagramm, welches eine beispielhafte Struktur der Signalverarbeitungsvorrichtung 1003 von 1 zeigt. In 5 beinhaltet die Signalverarbeitungsvorrichtung 1003 ein Bildverarbeitungsteil 1401 und fünf Bildspeicher 1402₁ bis 1402₅ .
Der Bildverarbeitungsteil 1401 empfängt ein Bildaufnahmesignal von jeder der Kameras 1001 durch den Knoten 1004 und schreibt die Signale in jeweilige entsprechende Bildspeicher 1401. Der Bildverarbeitungsteil 1401 empfängt auch die Knotenposition 1301 und das Kameraattribut 1104, die durch jeden der Knoten 1002 über den Knoten 1004 übertragen werden. Danach liest der Bildverarbeitungsteil 1401 das Bildaufnahmesignal von jedem der Bildspeicher 1401, um Bildverarbeitung auszuführen, basierend auf den empfangenen Knotenpositionen 1303 und den Kameraattributen 1104. Das resultierende Bildsignal wird auf einen Monitor 1005 ausgegeben.
Die Bildverarbeitung ist typischerweise eine Verarbeitung zum Zusammenführen mehrerer Bilddaten in ein Panoramabild. Für Panoramabildzusammenführung muss der Bildverarbeitungsteil 1401 im Voraus wissen, durch welche Kamera 1001 mit welchem Kameraattribut die zusammenzuführenden Bilddaten aufge nommen werden, und welchen Bereich um das Fahrzeug 1000 die Bilddaten abdecken.
In dem herkömmlichen Kamerasystem vom auf einem Fahrzeug befestigten Typ ist eine für das System zugeordnete Kamera in einer vorherbestimmten Position ausgestattet, daher braucht die Signalverarbeitungsvorrichtung 1003 nur im Voraus die ausgestattete Position und das Attribut davon zu speichern.
Auf der anderen Seite werden in dem vorliegenden Kamerasystem vom in einem Fahrzeug befestigten Typ die Knoten 1002 in dem Fahrzeug 1000 bereitgestellt, so dass die Kameras 1001, die in Attribut variieren, dazu angeschlossen werden können. Dementsprechend benachrichtigt, sobald die Kamera 1001 angeschlossen ist, der Knoten 1002 seine eigene Position und das Attribut der Kamera 1001 an die Signalverarbeitungsvorrichtung 1003 (genauer den Bildverarbeitungsteil 1401 darin).
In dieser Ausführungsform sind die Knoten 1002 jeweils in Position befestigt in der vorherbestimmten Position auf dem Fahrzeug 1000.
Indem der Bildverarbeitungsteil 1401 eine Positionstabelle 1601 speichert, welche die IDs und Positionen der Knoten 1002 (siehe 26; später beschrieben) beinhaltet, ist es daher nur erforderlich, dass der Knoten 1002 seine eigene ID anstelle seiner Position benachrichtigt.
Ferner kann, mit solch einer Struktur, wobei die Positionen der Knoten 1002 in der Tabelle auf der Seite der Signalverarbeitungsvorrichtung 1003 verwaltet werden, eine positionelle Veränderung der Knoten 1002 einfach gehandhabt werden, indem die Positionstabelle 1601 einfach aktualisiert wird.
Der Bildverarbeitungsteil 1401 speichert im Voraus eine Verbindungstabelle 1602 (siehe 26), welche jede mögliche Kombination der Knotenpositionen 1303 und der Kameraattribute 1104 beinhaltet. Weiter wird für jede Kombination, die in der Verbindungstabelle 1602 beinhaltet ist, ein zugeordnetes Bildverarbeitungsprogramm 1603 (siehe 26) gespeichert. Das bedeutet, dass die Anzahl der Bildverarbeitungsprogramme 1603, die in dem Bildverarbeitungsteil 1401 gespeichert sind, gleich zu der der Verbindungen in der Verbindungstabelle 1602 ist.
Hier kann, anstelle jeweils unterschiedliche Bildverarbeitungsprogramme 1603 zu speichern, ein einziges Bildverarbeitungsprogramm gespeichert sein, das eine Hauptroutine beinhaltet für lediglich eine gemeinsame Verarbeitung für jede Verbindung, und Unterroutinen für jeweils unterschiedliche Verarbeitungen, die für jede Verbindung einzigartig sind. In anderen Worten ist dieses Bildverarbeitungsprogramm zusammengesetzt aus einer Hauptroutine und mehreren Unterroutinen, gleich in Anzahl zu den Kombinationen in der Verbindungstabelle 1602. Solch ein Bildverarbeitungsprogramm kann die Speicherkapazität auf dem Bildverarbeitungsteil 1401 verringern im Vergleich zum Speichern jeweils unterschiedlicher mehrerer Bildverarbeitungsprogramme 1603.
Als nächstes ist die Operation eines so strukturierten Kamerasystems vom auf einem Fahrzeug befestigten Typ beschrieben. In diesem Beispiel wird angenommen, dass das Kamerasystem vom auf einem Fahrzeug befestigten Typ bei Auslieferung in einer ersten Verbindung ist. Im Detail sind in dem Kamerasystem, wie in 20 gezeigt, drei Knoten 1002₂ bis 1002₄ mit den Kameras 1001₂ bis 1001₄ mit Standardbildqualität verbunden, und die Knoten 1002₁ und 1002₅ sind frei von Verbindung.
25 ist ein Blockdiagramm, welches eine beispielhafte Struktur des Bildverarbeitungsteils 1401 von 24 zeigt. In 6 beinhaltet der Bildverarbeitungsteil 1401 eine CPU 1501, RAM 1502, ROM 1503, GPU 1504 und V-RAM 1505.
26 ist ein Speicherabbild, welches die Speicherinhalte des ROMs 1503 von 6 zeigt. In 26 speichert das ROM 1503 die Positionstabelle 1601, die Verbindungstabelle 1602, mehrere Bildverarbeitungsprogramme 1603 und ein Systemsteuerprogramm 1604.
Die Positionstabelle 1601 beinhaltet IDs (1, 2,..., 5) und Positionen {(x₁, y₁, z₁), (x₂, Y₂, z₂), ..., (x₅, y₅, z₅)} der Knoten 1002₁ bis 1002₅ .
Die Verbindungstabelle 1602 beinhaltet jede mögliche Verbindung {(erste Verbindung), (zweite Verbindung),...}. Zum Beispiel sind, in der ersten Verbindung bei Auslieferung, drei Knoten 1002₂ bis 1002₄ jeweils mit den Kameras 1001₂ bis 1001₄ mit Standardauflösung verbunden, und die Knoten 1002₁ und 1002s sind frei von Verbindung.
Eine zweite Verbindung ist ein Zustand, in welchem fünf Knoten 1002₁ bis 1002₅ jeweils mit den Kameras 1001, bis 1001₅ mit Standardauflösung verbunden sind. Das heißt, der Fahrer kauft neu zwei Kameras 1001 mit Standardauflösung zur Verbindung mit den Knoten 1002₁ und 1002₅ , die von Verbindung frei waren.
Eine dritte Verbindung ist ein Zustand, in dem zwei Knoten 1002₂ und 1002₄ jeweils mit den Kameras 1001₂ und 1001₄ verbunden sind, und der Knoten 1002₃ ist es mit der hochauflösenden Kamera 1001'. Das heißt, der Fahrer kauft zusätzlich eine hochauflösende Kamera 1001' und ersetzt damit die Kamera 1001₃ von Standardbildqualität, die mit dem Knoten 1002₃ verbunden war.
27 zeigt beispielhaft die ersten bis dritten Verbindungen im Detail. In 27 bedeutet ein Ausdruck von (1, -), dass nichts mit dem Knoten 1002₁ , dessen ID „1" ist, verbunden ist. Ein Ausdruck von (2, 240 mal 320) bedeutet, dass der Knoten 1002₂ , dessen ID „ 2" ist, mit einer Kamera verbunden ist, deren Auflösung „240 mal 320" ist (d.h., die Kamera 1001 mit Standardauflösung). Ein Ausdruck von (3, 480 mal 320) bedeutet, dass der Knoten 1002₃ , dessen ID „ 3" ist, mit einer Kamera verbunden ist, deren Auflösung 480 mal 320 ist (d.h., die hochauflösende Kamera 1001').
27 ist ein Speicherabbild, welches die Inhalte des RAMs 1502 von 25 zeigt. In 28 beinhaltet das RAM 1502 einen Knotenpositions-/Kameraattributsspeicherbereich 1801 zum Speichern der Knotenposition 1303 und des Kameraattributs 1104, die von den Bildaufnahmeknoten 1002 weitergeleitet werden, und einen Verbindungsspeicherbereich 1802 zum Speichern der erkannten Verbindung.
In 25, 26 und 28 arbeitet die CPU 1501 gemäß dem Systemsteuerprogramm 1604, das in dem ROM 1503 gespeichert ist, während es das RAM 1502 als Arbeitsbereich verwendet, wobei sie den Bildverarbeitungsteil 1401 dazu bringt, Systemsteuerung-/Programmauswahlverarbeitung wie in 29 gezeigt auszuführen. Weiterhin veranlasst die CPU 1501 die GPU 1504, das Bildaufnahmesignal zu verarbeiten, das von jeder der Bildspeicher 1402 gelesen wurde, gemäß einem Bildverarbeitungsprogramm 1603, das aus denen, die in dem ROM 1503 gespeichert sind, ausgewählt wurde. Daher kann der Bildverarbeitungsteil 1401 die vorherbestimmte Bildverarbeitung ausführen, wie Verarbeitung zum Zusammenführen von Bildaufnahmesignalen von mehreren Kameras 1001 in ein Panoramabild.
29 ist ein Flussdiagramm, welches die Systemsteuerung/Bildverarbeitung zeigt, die durch den Bildverarbeitungsteil 1401 von 5 ausgeführt wird. In 29 weist der Bildverarbeitungsteil 1401 zuerst durch den Knoten 1004 den Knoten 1002 an, das Attribut der Kamera 1001, die an ihn angeschlossen ist, zu erfassen (Schritt S101). Obwohl solch eine Anweisung gleichzeitig an jeden Knoten 1002 gemacht wird, ist dies nicht beschränkend, und kann sequentiell gemacht werden (d.h. durch Pollen).
Hier ist das Timing für Schritt S101 typischerweise wenn das System aktiviert ist. Als eine alternative Weise kann, zusätzlich zu dem Timing zur Zeit der Systemaktivierung, es in vorherbestimmten Zeitintervallen wiederholt werden. Zum Beispiel kann das Timing zur Zeit der Systemaktivierung, und auch danach in Abständen von jeweils einer Minute, sein.
In Antwort auf die Anweisung fordern die Knoten 1002 jeweils die daran verbundene Kamera 1001 auf, ihr Attribut zu melden. Die Kameras 1001 melden dementsprechend das in dem Speicherteil 1103 gespeicherte Kameraattribut 1104.
Als nächstes weist der Bildverarbeitungsteil 1401, durch den Knoten 1004, jeden der Knoten 1002 an, seine eigene Position und das Kameraattribut 1104 zu übertragen (Schritt S102).
In Antwort auf die Anweisung überträgt jeder Knoten 1002 entsprechend die Knotenposition, die in dem Speicherteil 1302 gespeichert ist, und das erfasst Kameraattribut 1104.
Dann empfängt der Bildverarbeitungsteil 1401 die Knotenposition 1303 und das Kameraattribut 1104 von jedem der Knoten 1002 durch den Knoten 1004 (Schritt S103), und speichert diese in den Knotenpositions-/Kameraattributspeicherbereich 1801 in dem RAM 1502 (Schritt S104).
Dann bestimmt, basierend auf den Knotenpositionen 1303 und den Kameraattributen 1104, die in dem Schritt S103 empfangen wurden, der Bildverarbeitungsteil 1401, ob die Verbindung sich geändert hat (Schritt S105).
Hier wird die Bestimmung in Schritt S105 durchgeführt, wie direkt unten beschrieben. Das heißt, da der Knotenpositions-/Kameraattributspeicherbereich 1801 die Knotenpositionen 1303 und Kameraattribute 1104 trägt, die zuvor darin gespeichert wurden, vergleicht der Bildverarbeitungsteil 1401 diese mit den ge genwärtig empfangenen Knotenpositionen 1303 und den Kameraattributen 1104, um zu sehen, ob die Verbindung sich geändert hat.
Genauer, angenommen, dass die vorherige Knotenposition 1303 und die Kameraattribute 1104, die in dem Knotenpositions-/Kameraattributspeicherbereich 1801 gespeichert sind, die sind, die durch ein Bezugszeichen 1701 von 27 bezeichnet sind, und die gegenwärtigen Knotenpositionen 1303 und die Kameraattribute 1104 wie durch ein Bezugzeichen 1702 bezeichnet sind, bedeutet das, dass die Verbindung von der ersten zu der zweiten gewechselt hat.
Mit Bezug zurück auf 29, wenn im Schritt S105 Ja bestimmt wird, bezieht sich der Bildverarbeitungsteil 1401 auf die Verbindungstabelle 1602, die in dem ROM 1503 gespeichert ist, um eine neue Verbindung nach Wechsel zu erkennen (Schritt S106) und diese in einem Verbindungsspeicherbereich 1802 in dem RAM 1502 zu speichern (Schritt S107). Dann geht die Prozedur zu Schritt S108.
Wenn in Schritt S105 Nein bestimmt wird, springt die Prozedur zu Schritt S108.
In Schritt S108, aus den Bildverarbeitungsprogrammen 1603, die in dem ROM 1503 gespeichert sind, wählt der Bildverarbeitungsteil 1401 dasjenige aus und führt es aus, das der Verbindung entspricht, die in dem Verbindungsspeicherbereich 1802 des RAMs 1502 gespeichert ist. Wenn kein Wechsel für die Verbindung beobachtet wird, wird das gleiche Bildverarbeitungsprogramm 1603 wie zuvor ausgeführt, aber falls es einen Wechsel gibt, wird das Bildverarbeitungsprogramm 1603, unterschiedlich von dem vorhergehenden, ausgeführt, das der neuen Verbindung nach Wechsel entspricht.
Zum Beispiel, wenn das System in der ersten Verbindung ist, sind die drei Knoten von 1002₂ bis 1002₄ mit den Kameras 1001₂ bis 1001₄ jeweils verbunden, und die Knoten 1002₁ und 1002₅ sind frei von Verbindung. In diesem Zustand ist der Bildaufnahmebereich wie in 30A gezeigt. Ein erstes Bildverarbeitungspro gramm 1603 ist ein Programm zum Zusammenführen solcher Bildaufnahmesignale, wie in 30A gezeigt, in ein Panoramabild, und mit dem ersten Bildverarbeitungsprogramm 1603, das durch den Bildverarbeitungsteil 1401 ausgeführt wird, wird ein Panoramabildsignal wie in 30B gezeigt in dem V-RAM 1505 erzeugt.
Wenn das System in der zweiten Verbindung ist, sind fünf Knoten von 1002₁ bis 1002₅ jeweils mit den Kameras 1001₁ bis 1001₅ mit Standardauflösung verbunden, und dementsprechend ist der Bildaufnahmebereich wie in 31A gezeigt. Ein zweites Bildverarbeitungsprogramm 1603 ist ein Programm zum Zusammenführen solcher Bildaufnahmesignale wie in 31A gezeigt in ein Panoramabild. Der Bildverarbeitungsteil 1401 führt solch ein zweites Bildverarbeitungsprogramm 1603 aus, und so wird ein Panoramabildsignal wie in 31B gezeigt in dem V-RAM 1505 erzeugt.
Wenn das System in der dritten Verbindung ist, sind jeweils zwei Knoten 1002₂ und 1002₄ mit den Kameras 1001₂ und 1001₄ mit Standardauflösung verbunden, der Knoten 1002₃ ist mit der hochauflösenden Kamera 1001' verbunden, und die Knoten 1002₁ und 1002₅ sind frei von Verbindung. Daher ist der Bildaufnahmebereich wie in 32A gezeigt. Ein drittes Bildverarbeitungsprogramm 1603 ist ein Programm zum Zusammenführen solcher Bildaufnahmesignale wie in 32A gezeigt in ein Panoramabild. Der Bildverarbeitungsteil 1401 führt solch ein drittes Bildverarbeitungsprogramm 1603 aus, und so wird ein Panoramabildsignal wie in 32B gezeigt in dem V-RAM 1505 erzeugt.
Es wird sich zurück auf 29 bezogen. Der Bildverarbeitungsteil 1401 gibt dann das resultierende Bildsignal an den Monitor 1005 aus (Schritt S109). Als solches zeigt der Monitor 1005 ein Panoramabild an, entsprechend der Verbindung, im Detail, abhängig davon, welche Kamera 1001 mit welchem Attribut an den Knoten 1002 angeschlossen ist.
Das ist die Operation des Kamerasystems vom auf einem Fahrzeug befestigten Typ der vorliegenden Erfindung.
Man bemerke, dass in dem vorliegenden Kamerasystem vom in einem Fahrzeug befestigten Typ, wie in 21 und 22 gezeigt, der Bussteuerteil 1301 nicht in den Kameras 1001, sondern in dem Knoten 1002 beinhaltet ist. Das ist nicht beschränkend, und der Bussteuerteil 1301 kann in der Kamera 1001 beinhaltet sein, wie in 33 gezeigt. Falls dies der Fall ist, erfasst die Kamera 1001 die Knotenposition 1303 von dem Knoten 1002 und sendet die Knotenposition 1303 zusammen mit ihrem eigenen Kameraattribut 1104 auf den Bus 1006 aus.
Alternativ kann die Kamera 1001 von 21 zusätzlich mit einem Antriebsteil 1901 zum Verändern der Ausrichtung des Bildaufnahmeteils 1101 versehen sein (wodurch der Bildaufnahmebereich durch die Kamera 1001 auch verändert wird). 34 zeigt einen anderen Typ von Kamera 1001, welcher den Antriebsteil 1901 zusätzlich versehen hat zu der Kamera 1001 von 21. 35 zeigt einen nochmals weiteren Typ von Kamera 1001, welcher den Antriebsteil 1901 zusätzlich versehen hat zu der Kamera 1001 von 33.
In 34 und 35, in Antwort auf die Anweisung, die durch den Bildverarbeitungsteil 1401 gemacht wird (siehe 24), in der Signalverarbeitungsvorrichtung 1003 durch den Bildaufnahmeverarbeitungsteil 1102 in der Kamera 1001, verändert der Antriebsteil 1901 die Ausrichtung des Bildaufnahmeteils 1101. Zu diesem Zeitpunkt, wie in 36 gezeigt (Vergleich mit 26), speichert das ROM 1503 zusätzlich verschiedene Ausrichtungssteuerprogramme für den Bildverarbeitungsteil 1401, um den Antriebsteil 1901 zu steuern, den Bildaufnahmeteil 1101 in einer Weise zu steuern, die entsprechend der derzeitigen Verbindung ist.
In dem Vorhergehenden wurde das typische Kameraattribut 1104 als die Auflösung angenommen, kann aber auch eine Rahmenrate, Empfindlichkeit, Kompres sionsmodus, und die Kombination davon sein. Mit diesen zeigt die Prozedur keine Veränderung, d.h. zuerst wird die Verbindung erkannt, basierend auf den Knotenpositionen 1303 und den Kameraattributen 1104 von den Knoten 1002, und dann wird das Bildverarbeitungsprogramm 1603, das der Verbindung entspricht, ausgeführt. Man bemerke, dass, wenn mehrere Attribute zusammen kombiniert werden, die Anzahl der Bildverarbeitungsprogramme 1603, die im Voraus präpariert werden müssen, erhöht wird.
Auch wird im Vorhergehenden das Kamerasystem vom in einem Fahrzeug befestigten Typ beschrieben, welches Bilder aufnimmt von jeglichem Hindernis, das in einem vorherbestimmten Bereich beobachtet wird. Darin kann anstelle der Kameras 1001 ein Detektor (zum Beispiel Infrarotdetektor, Ultraschalldetektor) zur Erkennung solcher Hindernisse bereitgestellt sein. Alternativ kann ein Temperatursensor, ein Helligkeitssensor, ein Gradientensensor (zum Beispiel Gyro) zum Fühlen der Temperatur, Helligkeit, Gradient (zum Beispiel ein Grad der Neigung eines Gefälles), und ähnliches in einem vorherbestimmten Bereich verwendet werden.
Weiter, in dem Fall, dass jegliche Vorrichtung, wie die Kameras 1001, Detektor und Sensoren, bereitgestellt zum Fühlen eines Umgebungszustands in einem vorherbestimmten Bereich um das Fahrzeug (d.h. Aufnehmen von Bildern oder einfach Erkennen irgendeines Hindernisses, Temperatur und ähnliches), gemeinhin als „Sensor" bezeichnet sind, ist ein Sensorsystem vom auf einem Fahrzeug befestigten Typ verwirklicht zum Fühlen, in welchem Umgebungszustand ein vorherbestimmter Bereich um das Fahrzeug 1000 ist, durch Ersetzen der Kamera 1001 mit einem Sensor von einem allgemeineren Typ.
In solch einem Fall wird in dem System von 20 die Kamera 1001 mit einem Sensor (1001) ersetzt, und auch der Bildverarbeitungsteil 1401 in der Signalverarbeitungsvorrichtung 1003 wird mit einen Sensorverarbeitungsteil (1401) zur Verarbeitung eines Ergebnisses, das durch den Sensor gefühlt wurde, ersetzt.
Der Sensor speichert ein Sensorattribut (1104) zur Benachrichtigung an den entsprechenden Knoten (1002). Dann überträgt der Knoten 1002 seine Knotenposition 1303 und das Sensorattribut.
Die Sensorverarbeitungsvorrichtung speichert im Voraus eine Vielzahl von Sensorverarbeitungsprogrammen (1603), wobei jedes der Verbindung entspricht, d.h. welcher Knoten 1002 mit welchem Sensor mit welchem Attribut verbunden ist. Die Sensorverarbeitungsvorrichtung empfängt die Knotenpositionen 1303 und die Sensorattribute von jedem der Knoten 1002, erkennt die Verbindung und führt dann das Sensorverarbeitungsprogramm aus, das dem erkannten Ergebnis entspricht. Dementsprechend wird auf dem Monitor 1005 das Ergebnis angezeigt, das erhalten wurde durch die Verarbeitung durch die Sensorverarbeitungsvorrichtung, zum Beispiel, ein Warnschirm, der den Fahrer warnt, dass er/sie sich einem Hindernis nähert.
In dem obigen Sensorsystem vom auf einem Fahrzeug befestigten Typ kann der Sensor entweder die Kamera 1001 oder der Detektor sein, so lange Information, die den Typ des Sensors anzeigt, im Voraus bereitgestellt wird. Das heißt, der Fahrer kann zwischen der Kamera 1001 und dem Detektor, der als Sensor verwendet werden soll, zum Zeitpunkt des Kaufs wählen. 37 zeigt ein beispielhaftes Sensorsystem vom auf einem Fahrzeug befestigten Typ, welches sowohl die Kameras 1001 und den Detektor beinhaltet.
In 37 beinhaltet die Signalverarbeitungsvorrichtung 2001 ein Verarbeitungsprogrammspeicherteil 2001a für eine Kamera und ein Verarbeitungsprogrammspeicherteil 2001b für einen Ultraschalldetektor. Der Verarbeitungsprogrammspeicherteil 2001a speichert eine Vielzahl von Verarbeitungsprogrammen zur Verwendung, wenn der Sensor eine Kamera 2008 ist, während der Verarbeitungsprogrammspeicherteil 2001b eine Vielzahl von Verarbeitungsprogrammen zur Verwendung speichert, wenn der Sensor ein Ultraschalldetektor 2009 ist.
Die Signalverarbeitungsvorrichtung 2001 erkennt zuerst die Verbindung basierend auf den Knotenpositionen 1303 und den Sensorattributen von den Knoten 2002 bis 2006, dann erkennt sie für jeden Knoten, ob die Kamera 2008 oder der Ultraschalldetektor 2009 angeschlossen ist. Falls die Kamera 2008 angeschlossen ist, bestimmt die Signalverarbeitungsvorrichtung 2001, welches Verarbeitungsprogramm für die Kamera ausgeführt werden soll, und falls der Ultraschalldetektor angeschlossen ist, bestimmt sie dasjenige, das aus den Verarbeitungsprogrammen für den Ultraschalldetektor ausgewählt wurde.
Fernerhin können, was das in 37 gezeigte System betrifft, sowohl die Kamera 2008 als auch der Ultraschalldetektor 2009 verwendet werden. Falls dies der Fall ist, im Gegensatz zu dem in 35, werden die Verarbeitungsprogramme, die durch die Signalverarbeitungsvorrichtung 2001 ausgeführt werden, zur geteilten Verwendung zwischen der Kamera und dem Ultraschalldetektor bereitgestellt. Zum Beispiel wird der Sensorverarbeitungsteil zusätzlich zu dem Verarbeitungsprogramm für einen Fall, wo die Kamera 2008 mit den Knoten 2002 bis 2006 verbunden ist, und den Verarbeitungsprogrammen für einen Fall, wo der Ultraschalldetektor 2009 mit den Knoten 2002 bis 2006 verbunden ist, ein Verarbeitungsprogramm für einen Fall bereitgestellt, wo zum Beispiel die Kamera 2008 mit den Knoten 2003 bis 2005 verbunden ist und der Ultraschalldetektor 2009 mit den Knoten 2002 und 2006.
Wie im Vorhergehenden beschrieben, in der vorliegenden Ausführungsform, sind jede erkennbare Verbindung und eine Vielzahl von Verarbeitungsprogrammen, die jeweils den Verbindungen entsprechen, zuvor gespeichert, und dann, basierend auf Knotenpositionen und Sensorattributen von Knoten, wird die derzeitige Verbindung erkannt, um zu bestimmen, welches Verarbeitungsprogramm dem entspricht. Auf diese Weise wird der Fahrer von Einstellveränderung befreit, sogar wenn sein/ihr Sensor ausgetauscht wird, und dementsprechend wird ein Sensoraustausch zu einem anderen, der ein anderes Attribut hat, einfacher.
Fernerhin können eine Vielzahl von Ausrichtungssteuerprogrammen, jeweils entsprechend zu der Verbindung, im Voraus gespeichert werden. Falls so, werden zur Erkennung der derzeitigen Verbindung sowohl das Verarbeitungsprogramm und das Ausrichtungssteuerprogramm ausgeführt. Dementsprechend wird der Fahrer auch von Sensorausrichtungseinstellung befreit, was einen Sensoraustausch zu einem größeren Ausmaß einfacher macht.
Während die Erfindung im Detail beschrieben wurde, ist die vorhergehende Beschreibung in allen Aspekten rein illustrativ und nicht beschränkend. Es wird verstanden werden, dass zahlreiche andere Modifikationen und Varianten erdacht werden können, ohne den Bereich der Erfindung zu verlassen.

Claims

Steuervorrichtung (3) zum Steuern einer Vielzahl von Bildaufnahmevorrichtungen (1), bereitgestellt in einem Bildaufnahmesystem, in welchem mehrere Bilder gleichzeitig von den Bildaufnahmevorrichtungen aufgenommen werden gemäß einem Bildqualitätsparameter, der darin um die Bildqualität eines Bildes zu definieren gesetzt ist, und eine Anzeigevorrichtung (2) führt diese in eines zum Anzeigen zusammen, dadurch gekennzeichnet, dass die Steuervorrichtung umfasst: ein Bestimmungsmittel (301 bis 304) zum Bestimmen, ob die Bildqualität eines zusammengeführten Bildes konsistent ist auf der Anzeigevorrichtung oder nicht, und ein Bildqualitätssteuermittel (301 bis 304) zum Ausgeben, wenn das Bestimmungsmittel bestimmt, dass die Bildqualität des zusammengeführten Bildes nicht konsistent ist, eines Bildqualitätsparameters zu jeder der Bildaufnahmevorrichtungen, so dass die Bildqualität des zusammengeführten Bildes konsistent wird auf der Anzeigevorrichtung.
Steuervorrichtung (3) gemäß Anspruch 1, worin das Bildqualitätssteuermittel (301 bis 304) vorher einen vorbestimmten gemeinsamen Bildqualitätsparameter speichert und den Bildqualitätsparameter, der in jeder der Bildaufnahmevorrichtungen (1) gespeichert ist, verändert, um mit dem gemeinsamen Bildqualitätsparameter übereinzustimmen.
Steuervorrichtung (3) gemäß Anspruch 1, worin das Bildqualitätssteuermittel (301 bis 304) einen gemeinsamen Bildqualitätsparameter basierend auf den Bildqualitätsparametem bestimmt, die in jeder der Bildaufnahmevorrichtungen gesetzt sind, und den bestimmten gemeinsamen Bildqualitätsparameter an jede der Bildaufnahmevorrichtungen (1) ausgibt.
Steuervorrichtung (3) gemäß Anspruch 3, worin das Bildqualitätssteuermittel (301 bis 304) den Mittelwert der Bildqualitätsparameter berechnet, die in jeder der Bildaufnahmevorrichtungen (1) gespeichert sind, und den berechneten Mittelwert oder einen Näherungswert davon als den gemeinsamen Bildqualitätsparameter setzt.
Steuervorrichtung (3) gemäß Anspruch 1, worin jede der Bildaufnahmevorrichtungen in der Lage ist, Bildaufnahme gemäß dem darin gesetzten Bildqualitätsparameter für jedes Pixel oder Blöcke von Pixeln auszuführen, und das Bildqualitätssteuermittel (301 bis 304) den Bildqualitätsparameter an jede der Bildaufnahmevorrichtungen (1) ausgibt, so dass die Bildqualität des zusammengeführten Bildes auf der Anzeigevorrichtung konsistent wird und der Bildqualitätsparameter auf einer Pixel- oder auf einer Blockbasis ausgegeben wird.
Steuervorrichtung (3) gemäß Anspruch 1, worin jede der Bildaufnahmevorrichtungen (1) in der Lage ist, Bildaufnahme gemäß dem darin gesetzten Bildqualitätsparameter für jedes Pixel oder jeden Block von Pixeln auszuführen, die Anzeigevorrichtung (2) Bilddaten von jeder der Bildaufnahmevorrichtungen zusammenführt um ein Panoramabild zu erzeugen, und das Bildqualitätssteuermittel (301 bis 304) das Panoramabild von der Anzeigevorrichtung (2) empfängt und an jede der Bildaufnahmevorrichtungen den Bildqualitätsparameter ausgibt, so dass die Bildqualität des zusammengeführten Bildes konsistent wird auf der Anzeigevorrichtung, wo der Bildqualitätsparameter auf einer Pixel- oder auf einer Blockbasis so ausge geben wird, dass die Bildqualität einer Grenze in dem Panoramabild konsistent wird.
Steuervorrichtung (3) gemäß Anspruch G, worin das Bildqualitätssteuermittel (301 bis 304) die Bildqualität eines Paars von Pixeln oder Pixelblöcken vergleicht, welche dazwischen eine Grenze haben (S32 bis S34), und basierend auf dem dadurch erhaltenen Ergebnis einen Bildqualitätsparameter für diese Pixel oder Blöcke bestimmt (S35); und entlang einer geraden Linie oder einer graduellen Kurve, die durch die so bestimmten Bildqualitätsparameter für die Grenze und einen ähnlich bestimmten Bildqualitätsparameter für eine nächste Grenze hindurchgeht, Bildqualitätsparameter für Pixel und Blöcke bestimmt, welche zwischen diesen zwei Grenzen liegen (S38).
Steuervorrichtung (3) gemäß Anspruch 1, worin das Bildaufnahmesystem weiterhin einen Sensor (53) umfasst, der um die Bildaufnahmevorrichtungen (1) herum fühlt, und das Bildqualitätssteuermittel (301 bis 304) den Bildqualitätsparameter basierend auf dem Ergebnis bestimmt, das von dem Sensor (53) gefühlt wird.
Steuervorrichtung (3) gemäß Anspruch 8, worin der Sensor (53) um die Bildaufnahmevorrichtung (1) herum die Helligkeit fühlt, der Bildqualitätsparameter einen Helligkeitsparameter zum Definieren der Helligkeit eines Bildes enthält, und das Bildqualitätssteuermittel (301 bis 304) den Helligkeitsparameter jeder der Bildaufnahmevorrichtungen (1) erhöht, wenn der Sensor (53) die Helligkeit als nicht hoch genug fühlt.
Steuervorrichtung (3) gemäß Anspruch 1, worin jede der Bildaufnahmevorrichtungen (1) in einem Fahrzeug befestigt ist, und das Bildqualitätssteuermittel (301 bis 304) erkennt, in welchem Zustand das Fahrzeug ist, und darauf basierend den Bildqualitätsparameter bestimmt.
Steuervorrichtung (3) gemäß Anspruch 10, worin das Fahrzeug mit einem Licht (51) versehen ist, der Bildqualitätsparameter einen Helligkeitsparameter zum Definieren der Helligkeit eines Bildes beinhaltet, und das Bildqualitätssteuermittel (301 bis 304) den Helligkeitsparameter jeder der Bildaufnahmevorrichtungen (1) erhöht, wenn das Licht als AN gefühlt wird.
Steuervorrichtung (3) gemäß Anspruch 10, worin das Fahrzeug mit einem Scheibenwischer (52) versehen ist, der Bildqualitätsparameter einen Helligkeitsparameter zum Definieren der Helligkeit eines Bildes beinhaltet, und das Bildqualitätssteuermittel den Helligkeitsparameter jeder der Bildaufnahmevorrichtungen (1) erhöht, wenn der Scheibenwischer (52) als AN gefühlt wird.
Steuervorrichtung (3) gemäß Anspruch 10, worin die Bildaufnahmevorrichtungen in dem Fahrzeug vorne, hinten, rechts und links befestigt sind, der Bildqualitätsparameter eine Auflösung beinhaltet, und das Bildqualitätssteuermittel die Auflösung der Bildaufnahmevorrichtung senkt, die an der rechten Seite des Fahrzeugs befestigt ist, wenn das Fahrzeug als eine Linkskurve machend gefühlt wird.
Steuervorrichtung (3) gemäß Anspruch 10, worin die Bildaufnahmevorrichtungen in dem Fahrzeug vorne, hinten, rechts und links befestigt sind, der Bildqualitätsparameter eine Auflösung beinhaltet, und das Bildqualitätssteuermittel die Auflösung der Bildaufnahmevorrichtung (1) senkt, die an der linken Seite des Fahrzeugs befestigt ist, wenn das Fahrzeug als eine Rechtskurve machend gefühlt wird.
Steuerverfahren zum Steuern einer Vielzahl von Bildaufnahmevorrichtungen (1), die in einem Bildaufnahmesystem bereitgestellt werden, in welchem mehrere Bilder gleichzeitig durch die Bildaufnahmevorrichtungen aufgenommen werden gemäß einem darin gesetzten Bildqualitätsparameter um die Bildqualität eines Bildes zu definieren, umfassend die Schritte des: Bestimmens, ob die Bildqualität eines zusammengeführten Bildes auf der Anzeigevorrichtung konsistent ist oder nicht (S1, S12), und Ausgebens eines Bildqualitätsparameters an jede der Bildaufnahmevorrichtungen, so dass die Bildqualität des zusammengeführten Bildes konsistent wird auf der Anzeigevorrichtung, wenn bestimmt wird, dass die Bildqualität des zusammengeführten Bildes nicht konsistent ist (S3, S14).
Computerprogramm (304), das in einer Steuervorrichtung (3) beinhaltet ist, zum Steuern einer Vielzahl von Bildaufnahmevorrichtungen (1), die in einem Bildaufnahmesystem bereitgestellt werden, in welchem mehrere Bilder gleichzeitig durch die Bildaufnahmevorrichtungen gemäß einem Bildqualitätsparameter aufgenommen werden, der darin gesetzt ist um die Bildqualität eines Bildes zu definieren, welche Softwarecode-Teile umfasst zum Ausführen der Schritte des: Bestimmens, ob die Bildqualität eines zusammengeführten Bildes auf der Anzeigevorrichtung konsistent ist oder nicht (S1, S12), und Ausgebens eines Bildqualitätsparameters an jede der Bildaufnahmevorrichtungen, so dass die Bildqualität des zusammengeführten Bildes konsistent wird auf der Anzeigevorrichtung, wenn bestimmt wird, dass die Bildqualität des zusammengeführten Bildes nicht konsistent ist (S3, S14) wenn das Computerprogramm auf einem Computer (301) ausgeführt wird.