DE102005002697A1

DE102005002697A1 - Three dimensional image recording system e.g. stereo camera system, for motor vehicle, has two image recording channels that are spaced apart, common recording chip and optical units that deflect beam of rays from channels on chip

Info

Publication number: DE102005002697A1
Application number: DE102005002697A
Authority: DE
Inventors: Christian Dipl.-Ing. Lang (FH); Thomas Dipl.-Ing. Grevel (FH); Georg Dipl.-Ing. Kunert; Werner Dipl.-Ing. Steiner (Fh)
Original assignee: 3D IMAGE PROC GmbH; 3D-IMAGE PROCESSING GmbH; Conti Temic Microelectronic GmbH
Current assignee: 3Ality Digital Systems GmbH
Priority date: 2005-01-19
Filing date: 2005-01-19
Publication date: 2006-07-27

Abstract

The system has two image recording channels spaced apart, and a common recording chip (1). Optical units e.g. lens system and deflecting unit, deflect beam of rays from the channels on the chip. The units are arranged such that the beam of rays is reproduced on the areas of the chip, where the areas are spatially separated. A common closure terminates picture recording before selection of the chip. An independent claim is also included for a motor vehicle with an image recording system.

Description

Die Erfindung betrifft ein Bildaufnahmesystem mit mindestens zwei beabstandeten Aufnahmekanälen gemäß dem Oberbegriff des Patentanspruchs 1.The The invention relates to an image acquisition system having at least two spaced ones receiving channels according to the generic term of claim 1

Ein bekanntes Beispiel für ein Mehrbildkanalsystem ist das Stereokamerasystem, das zur Aufnahme von dreidimensionalen Bildern eingesetzt wird. Ein Stereokamerasystem umfasst zwei getrennte beabstandete Bildkanäle, die die gleiche Szene aus verschiedenen Perspektiven aufnehmen und mit entsprechenden optischen Mitteln auf jeweils einen Aufnahme-Chip abbilden. Pro Kanal ist ein Aufnahme-Chip vorgesehen. Die Entfernungsgenauigkeit des Systems hängt unter anderem vom Basisabstand der Kanäle ab.One well-known example for a multi-frame channel system is the stereo camera system for recording is used by three-dimensional images. A stereo camera system includes two separate spaced image channels that make up the same scene take different perspectives and with appropriate optical Means to represent each on a recording chip. Per channel is a recording chip provided. The distance accuracy of the system hangs down other than the base pitch of the channels from.

Nachteilig an einer solchen Anordnung ist, dass sich der Basisabstand und damit die Entfernungsgenauigkeit aufgrund von äußeren Einflüssen, wie z. B. Temperatur und mechanische Einwirkung, verändern kann. Das gilt insbesondere dann, wenn sich die Position der optischen Mittel vor den beiden Aufnahme-Chips nicht in gleicher Weise verändern. Die Kosten für ein Stereokamerasystem steigen mit der Größe der photoaktiven Fläche der Aufnahme-Chips. Einen weiteren Kostenfaktor stellen elektronische Bauteile dar, die z. B. die Bildaufnahme und die Ausleseprozedur so steuern, dass die Bilder der beiden Kanäle synchron zueinander sind.adversely At such an arrangement is that the base distance and thus the removal accuracy due to external influences, such. B. temperature and mechanical action, change can. This is especially true when the position of the optical Do not change the means in front of the two recording chips in the same way. The costs for a stereo camera system increase with the size of the photoactive surface of the Receiving chips. Another cost factor is electronic Components that z. B. the image capture and the readout procedure control so that the images of the two channels are in sync with each other.

Es ist daher Aufgabe der hier vorliegenden Erfindung, eine gegenüber äußeren Einflüssen weniger empfindliche und kostengünstige Alternative zu herkömmlichen Kamerasystemen vorzustellen, welche die gleiche Funktionalität aufweist.It is therefore an object of the present invention, one against external influences less sensitive and cost-effective Alternative to conventional Camera systems that has the same functionality.

Die Aufgabe ist durch die Merkmale des Patentanspruchs 1 gelöst, vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen. Mögliche Anwendung des Bildaufnahmesystems ist die Generierung von dreidimensionalen Bildern, wobei das Zielgebiet der Aufnahmekanäle zu großen Teilen übereinstimmt, oder Panoramaaufnahmen, wobei jeder Aufnahmekanal im Wesentlichen auf ein eigenes Zielgebiet ausgerichtet ist und eine Szene in einem großen Raumwinkelbereich aufgenommen wird.The The object is solved by the features of claim 1, advantageous Further developments can be found in the dependent claims. Possible application of the image acquisition system is the generation of three-dimensional Images, where the target area of the recording channels is largely identical, or panoramic, each receiving channel essentially on its own target area is aligned and a scene taken in a large solid angle area becomes.

Die erfinderische Idee besteht darin, einen gemeinsamen Aufnahme-Chip mit den geeigneten optischen Mitteln für mehrere Aufnahmekanäle zu verwenden. Vorzugsweise sind die optischen Mittel so angeordnet, dass die Strahlung der Bildaufnahmekanäle auf räumlich getrennte Bereiche des Aufnahme-Chips abgebildet wird. Als Aufnahme-Chips sind z. B. kommerziell erhältliche Bildaufnehmer vorgesehen, deren Pixelzahl z.B. dem CIF- oder VGA-Format entsprechen. Das geeignete Format ergibt sich aus der für die Anwendung benötigten Bildauflösung und der Anzahl der Kanäle.The inventive idea is a common recording chip to be used with the appropriate optical means for multiple recording channels. Preferably, the optical means are arranged so that the radiation the image capture channels in spatial terms separate areas of the recording chip is mapped. As recording chips are z. B. commercially available Imager provided whose pixel number, e.g. CIF or VGA format correspond. The appropriate format is that for the application required resolution and the number of channels.

In einer vorteilhaften Ausführungsform wird die Bildaufnahme vor der Ausleseprozedur zeitsynchron beendet, z. B. mit Hilfe eines mechanischen oder elektronischen Shutters. Diese Vorrichtung stellt sicher, dass alle Bildpunkte und damit die aufgenommenen Bilder zueinander synchron sind, obwohl die Pixel nacheinander ausgelesen werden. Eine Synchronisierung, wie sie bei Mehrkanalsystemen mit mehreren Aufnahme-Chips notwendig ist, entfällt.In an advantageous embodiment the image acquisition is completed synchronously before the readout procedure, z. B. by means of a mechanical or electronic shutter. This device ensures that all pixels and thus the captured images are in sync with each other, even though the pixels be read out one after the other. A synchronization, as with Multi-channel systems with multiple recording chips is necessary deleted.

Eine weitere Möglichkeit zur Aufnahme von mindestens zwei Bildern mit einem gemeinsamen Aufnahme-Chip besteht darin, die Strahlung aus den Bildaufnahmekanälen zeitlich versetzt auf die ganze Fläche des Aufnahme-Chips abzubilden, wobei immer nur die Strahlung eines Kanals auf den Aufnahme-Chip gelenkt wird und die anderen Kanäle z. B. durch einen Shutter verschlossen sind. Diese Ausführungsform ist besonders geeignet, wenn eine hohe Bildauflösung benötigt wird und die Synchronisation der Kanäle von untergeordneter Bedeutung ist, z.B. bei der Aufnahme von unbewegten Objekten oder wenn keine dreidimensionale Abbildung benötigt wird. In einer vorteilhaften Ausführungsform sind die optischen Mittel fest miteinander verbunden und werden als ein Modul an den Aufnahmechip gekoppelt. Durch Verbindung der einzelnen Optikkomponenten zu einem Optikmodul ist eine vereinfachte Ankopplung an den Aufnahme-Chip gewährleistet. In einer weiteren vorteilhaften Ausführung sind die optischen Mittel einstückig gefertigt. Somit ist für die Justage der Optik nur ein Arbeitsschritt notwendig, wohingegen bei einem herkömmlichen System an jeden Aufnahme-Chip eine Optik vorgesehen ist. Auch Temperatur- und mechanische Einflüsse auf die Optik können sich weniger stark auf die Genauigkeit des Bildaufnahmesystems auswirken. Als optische Mittel sind vorzugsweise ein Linsensystem und Umlenkeinheiten für die entsprechende Abbildung des Strahls auf den Aufnahmechip vorgesehen. Vorzugsweise gibt es verschiedene Auslesemodi des Aufnahmechips, z. B. werden alle Pixel des Chips sukzessive ausgelesen. In einem weiteren möglichen Modus werden nur einzelne relevante Bereiche (Windowing) ausgelesen, wobei der Vorteil einer gezielten Überwachung von relevanten Bildausschnitten die Möglichkeit einer erhöhten Auslesefrequenz ist. Eine vorteilhafte Ausführung des Bildaufnahmesystems umfasst genau zwei beabstandete Bildaufnahmekanäle und ist zur Stereoaufnahme von 3D-Bildern vorgesehen. Das beschriebene Bilderfassungssystem wird vorzugsweise in Kraftfahrzeugen zur Überwachung des Fahrzeuginnenraums oder der Fahrzeugumgebung eingesetzt oder in der industriellen Fertigung, z.B. zur Überwachung und/oder Prozesssteuerung in Produktionsstraßen.Another possibility for recording at least two images with a common recording chip is to image the radiation from the image recording channels offset in time to the entire surface of the recording chip, whereby only the radiation of a channel is directed to the recording chip and the other channels z. B. are closed by a shutter. This embodiment is particularly suitable when a high image resolution is required and the synchronization of the channels is of minor importance, for example, when recording immobile objects or when no three-dimensional image is needed. In an advantageous embodiment, the optical means are firmly connected to each other and are coupled as a module to the receiving chip. By connecting the individual optical components to an optical module, a simplified coupling to the recording chip is ensured. In a further advantageous embodiment, the optical means are manufactured in one piece. Thus, only one step is necessary for the adjustment of the optics, whereas in a conventional system to each recording chip optics is provided. Also, temperature and mechanical influences on the optics can have less effect on the accuracy of the image acquisition system. As optical means, a lens system and deflecting units are preferably provided for the corresponding imaging of the beam onto the receiving chip. Preferably, there are different readout modes of the recording chip, z. For example, all pixels of the chip are read out successively. In another possible mode, only individual relevant areas (windowing) are read out, the advantage of a targeted monitoring of relevant image sections being the possibility of an increased readout frequency. An advantageous embodiment of the image acquisition system comprises exactly two spaced image acquisition channels and is provided for stereo recording of 3D images. The imaging system described is preferably used in motor vehicles for monitoring the vehicle interior or the vehicle surroundings used or in industrial production, eg for monitoring and / or process control in production lines.

Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels und einer Abbildung näher beschrieben.The Invention will be described below with reference to an embodiment and an illustration described in more detail.

In 1 ist schematisch ein Bildaufnahmesystem mit zwei beabstandeten Aufnahmekanälen A, B dargestellt, das zur stereoskopen Bildaufnahme vorgesehen ist. Der Abstand der Eintrittsaperturen 7a, 7b beträgt einige Zentimeter. In den im Bild linken Aufnahmekanal A tritt das Strahlenbündel 5 durch die Eintrittsapertur 7a ein, und wird durch ein Linsensystem 2a abgebildet, zwei Prismen 3a, 4a lenken das Strahlenbündel 5 auf den Aufnahmechip 1. Die Abbildung des Linsensystems 2a und die Position der Prismen 3a, 4a ist so gewählt, dass der Bereich 1a des Aufnahmechips beleuchtet wird. Im zweiten Aufnahmekanal B wird das Strahlenbündel 6 mit einem zu Kanal A analogen Linsen und Prismensystem zum Aufnahme-Chip 1 umgelenkt. Die optischen Mittel sind so gewählt und positioniert, dass Bereich 1b des Aufnahmechips bestrahlt wird. Virtuell ist der Aufnahme-Chip 1 also in zwei Hälften 1a, 1b aufgeteilt, und es werden zwei Bilder gleichzeitig von einem gemeinsamen Chip 1 aufgenommen. Vor dem Auslesen der beiden Bilder wird die Bildaufnahme durch einen „global shutter" beendet. Optional ist auch ein „rolling shutter" denkbar. Ebenso sind mechanische Shutteranordungen möglich, die entweder die jeweiligen Aufnahmekanäle verschließen oder den Aufnahme-Chip. Als Aufnahme-Chip ist ein kommerziell erhältlicher CMOS-Chip vorgesehen, optional können relevante Bildbereiche separat aus jedem aufgenommenen Bild mit einer hohen Frequenz ausgelesen werden. Die optischen Mittel (2a, 3a, 4a, 2b, 3b, 4b) sind mechanisch miteinander verbunden und werden als ein Modul an den Aufnahmechip gekoppelt, so dass im Vergleich zu herkömmlichen Stereosystemen nur eine Justage ausgeführt werden muss. Alternativ ist auch eine einstückige Fertigung der optischen Mittel möglich.In 1 schematically illustrated an image pickup system with two spaced recording channels A, B, which is provided for stereoscopic image acquisition. The distance of the entrance apertures 7a . 7b is a few centimeters. In the left in the picture recording channel A, the beam occurs 5 through the entrance aperture 7a a, and is through a lens system 2a pictured, two prisms 3a . 4a steer the beam 5 on the recording chip 1 , The illustration of the lens system 2a and the position of the prisms 3a . 4a is chosen so that the area 1a of the recording chip is illuminated. In the second receiving channel B, the beam is 6 with a lens analogous to channel A and prism system to the recording chip 1 diverted. The optical means are chosen and positioned that area 1b the recording chip is irradiated. Virtual is the recording chip 1 so in half 1a . 1b split, and there are two images simultaneously from a common chip 1 added. Before the two images are read out, the image acquisition is ended by a "global shutter." Optionally, a "rolling shutter" is also conceivable. Similarly, mechanical Shutteranordungen are possible, either the respective receiving channels close or the recording chip. As a recording chip, a commercially available CMOS chip is provided, optionally relevant image areas can be read out separately from each recorded image at a high frequency. The optical means ( 2a . 3a . 4a . 2 B . 3b . 4b ) are mechanically interconnected and are coupled as a module to the receiving chip, so that compared to conventional stereo systems only one adjustment must be performed. Alternatively, a one-piece production of the optical means is possible.

Claims

Image recording system having at least two spaced image recording channels (A, B), characterized in that a common recording chip ( 1 ) and optical means ( 2a . 3a . 4a . 2 B . 3b . 4b ) the radiation ( 5 . 6 ) of the recording channels (A, B) on the recording chip ( 1 ) redirect.

Image recording system according to claim 1, characterized in that the optical means ( 2a . 3a . 4a . 2 B . 3b . 4b ) are arranged so that the radiation ( 5 . 6 ) of the recording channels (A, B) to spatially separated areas ( 1a . 1b ) of the common recording chip is mapped.

Image recording system according to one of the preceding claims, characterized in that the radiation ( 5 . 6 ) of the recording channels (A, B) is time synchronously imaged on the common recording chip.

Image recording system according to one of the preceding claims, characterized in that a common closure ( 8th ) the image acquisition before reading the recording chip ( 1 ) completed.

Image recording system according to claim 1 or 2, characterized in that the radiation ( 5 . 6 ) of the recording channels (A, B) is staggered in time on the common recording chip.

Image recording system according to claim 5, characterized in that the radiation ( 5 . 6 ) of the recording channels (A, B), each with a shutter can be interrupted.

Image recording system according to one of the preceding claims, characterized in that the optical means ( 2a . 3a . 4a . 2 B . 3b . 4b ) are manufactured as a module and the optical module to the receiving chip ( 1 ) is coupled.

Image recording system according to one of the preceding claims, characterized in that the optical means ( 2a . 3a . 4a . 2 B . 3b . 4b ) manufactured in one piece and to the receiving chip ( 1 ) are coupled.

Image recording system according to one of the preceding claims, characterized in that a lens system ( 2a . 2 B ) and diverting units ( 3a . 4a . 3b . 4b ) are provided.

Image recording system according to one of the preceding claims, characterized in that optionally individual regions of the image acquisition chip ( 1 ) can be read out.

Imaging system according to one of the preceding claims provided as a stereo camera, wherein two spaced image channels (A, B) to take three-dimensional images on an at least partially common target area.

Motor vehicle with image recording system after a the previous claims.