[go: up one dir, main page]

WO2011029440A1 - Image capturing and visualization providing a spatial image impression - Google Patents

Image capturing and visualization providing a spatial image impression Download PDF

Info

Publication number
WO2011029440A1
WO2011029440A1 PCT/DE2010/001100 DE2010001100W WO2011029440A1 WO 2011029440 A1 WO2011029440 A1 WO 2011029440A1 DE 2010001100 W DE2010001100 W DE 2010001100W WO 2011029440 A1 WO2011029440 A1 WO 2011029440A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
sub
cameras
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2010/001100
Other languages
German (de)
French (fr)
Inventor
Stefan Hahn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE112010003641T priority Critical patent/DE112010003641A5/en
Publication of WO2011029440A1 publication Critical patent/WO2011029440A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/16Stereoscopic photography by sequential viewing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/006Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Definitions

  • the cited protection document indicates that the vertical arrangement of the pick-up positions produces less negative effects than horizontal. As a vertical distance of the recording points are assumed there 1-1, 5cm, as a frame rate of 4-lOHz. The reasons for the better results with vertical rather than horizontal camera arrangement were previously unknown. This is explicitly stated in the protective paper.
  • the described invention has for its object to find a device and a method with which a spatial visual impression can also be achieved without aids and without restriction to the location of the observer, but in which no irritations arise.
  • the object of the invention is based on the recognition of why a vertical camera arrangement as described in US Pat. No. 4,429,328 is used for the representation of spatial alternating pictures is more suitable than a horizontal one.
  • the solution uses these findings for a device and a method for particularly advantageous recording, design, processing and presentation of the image material.
  • An imaging device with a vertical arrangement of two or more digital sub-cameras is particularly important that the device in the operation of a classic camera corresponds or can be combined with such.
  • partial camera means a combination of optics and a digital image sensor
  • the device according to the invention combines two or more of these vertically stacked sub-cameras into a "3D camera”.
  • Figure 1 shows a device which is mounted instead of an interchangeable lens to a single-lens reflex camera with a large image sensor. It realizes the function of the described 3D by means of vertically superimposed optics. Camera. The optics depict the scene on the large image sensor in the camera body. Since these sensors are usually installed in landscape format, the camera must be held upright for shooting with the special lens drawn. For this purpose, for many SLR systems standard vertical handles - shaded here, which allow a comfortable hold and release in this position.
  • Figure 2 shows an embodiment of the 3D camera, which is plugged as an accessory in the hot shoe of a conventional camera.
  • FIG. 3 shows an embodiment of the 3D camera as an additional device to a flash unit.
  • FIG. 4 shows an embodiment of the 3D camera as an additional device in a camera tripod.
  • FIG. 5 shows an embodiment of the 3D camera, in which groups of extremely miniaturized wafer-level cameras are used as subcameras which are separated for the entire visible light spectrum (106) " or for the subregions red (105), green
  • the same vertical array of sub-cameras is located a second time to the right of the first, with a different focal length from that of the first row (110) adjustable in pairs.
  • FIG. 6 shows an embodiment of the 3D camera as an additional device in an otherwise commercially available mobile radio device.
  • FIG. 7 shows the 3D camera plugged together from independent partial camera components.
  • FIG. 8 shows a different arrangement of independent partial camera components from FIG. 7, in which the base width is realized by shifting the partial cameras relative to one another.
  • gear (102) and racks (103) ensures that the distance of the sub-cameras changes to the same extent.
  • [23] b here denotes the vertical amplitude of the simulated eye movement.
  • the sub-cameras 0 and 1 or 3 and 4 have a distance of only 4.5mm. Therefore, in this arrangement, the cameras 0 and 4 are required in an embodiment with particularly small dimensions. Modern wafer-level camera modules have an edge length of less than 3 mm and are therefore particularly suitable for such a camera arrangement.
  • the non-equidistant arrangement of the sub-cameras described in this way achieves a pleasant, smooth motion representation in the generated image sequence compared to the prior art.
  • the 3D camera can be designed so that this distance is variably adjustable, so that the photographer can determine the strength of the spatial visual impression by selecting the base width (which in the present vertical arrangement would actually have to be called "base height") during the recording
  • base width which in the present vertical arrangement would actually have to be called "base height”
  • Such a adjustability is particularly advantageously realized in such a way that the ratio of the spacings of the sub-cameras remains constant.
  • Another possibility that does not require moving sub-cameras is to provide the photographer with only a small number of discrete base widths by switching between multiple sets of sub-cameras before shooting or after shooting the pictures of the matching subcameras can be selected.
  • the image sequence K 5 , k 5 , k 0 , k 2 , k 4 , k 6 , k 6 , k 4 , k 2 corresponds geometrically exactly to the original image sequence with a base width increased by 62%.
  • the addition of a further subcamera pair at a distance of d5 * d5 / d0 allows recording with a further 62% larger base width.
  • each half of the sub-cameras remains unused for later playback. This can be avoided by the fact that the sub-cameras are mounted in a housing pluggable. The photographer can thus change the sub-cameras at positions kl and k3 to positions k5 and k6 and analogously those at positions k0 and k4 to positions k7 and k8.
  • the focal length of a normal lens When using the focal length of a normal lens, this will reach the limit of 1% with 2.5cm distance of the top and bottom camera for objects at 5m distance, i.
  • the closest object, including the ground, should be 5m or more apart. If, for example, the minimum distance to the imaged objects is instead 10m, the basic width can be doubled to 5cm according to the described criterion according to these criteria for a normal lens.
  • An extreme case is an oblique aerial photograph with a minimum distance of the objects of 200m distance, where the optimal 3D camera according to the invention will have a basic width of typically approx. 100 cm. If large base widths are to be covered by the camera, but the housing should still be made compact, it is advantageous to run the camera so that the housing or a portion thereof vertically by 180 °, for example, as in the mobile device StarTac des Manufacturer Motorola can be opened.
  • the sub-cameras are in this case in place of the display and keyboard and have so in the unfolded state, a significantly greater maximum distance than the height of the camera body corresponds. In addition, they are protected during transport. A similar effect can be achieved if the partial lenses are mounted on two housing parts, which are telescoped into each other and are pushed apart for recording.
  • Another ergonomically particularly advantageous design of the 3D camera is to execute it as an additional component for a conventional camera. This can be done, for example, that the 3D camera can be plugged into the hot shoe of the conventional camera - as shown in Figure 2.
  • the electrical connection between conventional camera and 3D camera transmits the triggering impulse.
  • Other recording parameters for the conventional camera such as exposure information, may also be transmitted and affect the exposure settings of the sub-cameras.
  • the image information of the sub-cameras be transferred to the image memory of the conventional camera.
  • a complete or partial transmission of information via radio-based communication, such as Bluetooth or WLAN is another possible implementation.
  • the hot shoe to connect the SD camera to a conventional camera has the disadvantage that the hot shoe itself can not be used to connect a flash.
  • the 3D camera is integrated into a flash unit such that the housing of the flash unit picks up the sub-cameras - see FIG. 3.
  • the 3D camera can of course also be connected via other connectivity on demand with a conventional camera.
  • a conventional camera it is possible, as shown in Figure 4, to accommodate the 3D camera in the top telescope segment of a conventional tripod, so that the photographer can use the 3D function as soon as the conventional camera has connected to the tripod.
  • the combination of the 3D camera with a conventional camera allows the photographer to simultaneously make a 3D version and a conventional shot and use it as needed. For example, in the classical image presentation on paper - where he will use the conventional recording - and in the presentation on a dynamic medium, a TFT picture frame or the website, where he can use the 3D version.
  • Special recording conditions may mean that a 3D camera - for example due to a high required photosensitivity - is not usable or - if the recorded scene has no depth graduation - has no effect. Even in these cases, the photographer will resort to conventional recording.
  • the sub-images of the 3D camera still have a value: when conventional camera and the 3D sub-cameras are calibrated to each other, the 3D sub-images can be evaluated for the overwhelming majority of the pixels by means of stereo evaluation the conventional recording to calculate the actual distance.
  • the "depth image” obtained in this way can be used as a mask for the further image processing of the conventional recording, for example for the release of objects or persons or for the subsequent generation of distance-dependent blurring.
  • 3D cameras can also be realized in the form of a building block that can be configured by the photographer himself from subcameras.
  • a digital camera of the company Kyocera was only 18mm high, in which the front lens of the optics is located on a narrow side.
  • Such a camera can be extended to a sub-camera module when it is provided with a mechanical device for vertically interconnecting a plurality of sub-cameras and an electronic communication means for common setting of recording parameters and a common triggering and recording to obtain a 3D camera according to the invention.
  • a possible mechanical connection via a dovetail construction is shown in FIG. 7. With mechanically compatible intermediate pieces which can be inserted between the stacked cameras by the photographer, the base width is variably adjustable.
  • a more advantageous geometric arrangement of flat modular sub-cameras results when the front lens of the optics is not on a narrow side, but as close to an edge on the adjacent largest surface of the camera body. If the mechanical stacking device is designed so that the longitudinal displacement between the cameras is variable adjustable, so that a variable base width without additional intermediate pieces is possible. It is beneficial to assist the photographer in using three or more of the sub-camera modules in the adjustment of the base width of the distance from each two adjacent modules is the same.
  • the sub-cameras are each mechanically independent units of optics and sensor.
  • the shutter for all sub-cameras can consist of a single mechanical unit as in the Nimstec analog Nimslo camera from the 1980s. The shutter is described on page 48 in ISBN 0-939617-00-5: Reel 3-D Enterprises' Guide to the Nimslo 3D Camera, 1988.
  • Another possibility of mechanical combination consists of using the same sensor chip for more than one sub-camera.
  • Subcameras eg only from separate optics, each illuminate different sections of one and the same large-scale image sensor.
  • the interchangeable lens carries here, for example, the optics of each sub-cameras or the lens attachment corresponding mirror or lens designs.
  • Figure 1 shows such an arrangement.
  • the images of the partial objectives must be arranged along the longitudinal side of the sensor chip.
  • conventional stereo photography for all three enumerated embodiments in the 1980's, conventional stereo photography with horizontal arrangement of the photographs - single optics, front optics or face prism, e.g. under the brand name Stereotar or Steritar of the manufacturer Zeiss Ikon.
  • a particularly simple solution to the problem arises if no movement occurs in the scene to be photographed or a periodic movement of scene elements in addition to the desired periodic movement of the camera height does not bother.
  • a conventional lens design can be used, in which the entrance pupil is about 1/3 larger than the desired amplitude of movement with fully open aperture. If one replaces the aperture of the lens by a height-shiftable aperture at most 1/3 of the maximum aperture and shifts the aperture with the desired low-frequency soft, periodic motion pattern, the lens generates in the image plane exactly the desired temporal image sequence, which was recorded by the sensor and can be recorded subsequently.
  • the function-determining element is an image sensor which sits upright in the imaging plane of the optics with cylindrical lenticular lenses arranged horizontally on the surface, each of which distributes the light rays arriving from the objective onto at least n individual lines (where n is the number of desired partial images of the different vertical acquisition positions within the entrance pupil).
  • n is the number of desired partial images of the different vertical acquisition positions within the entrance pupil.
  • This hazard can be avoided by having a relay optic create a real image in an intermediate plane and the photographer can mount the lenticular a few microns away from this real image, or by designing the camera so that the entire conventional sensor passes through one second sensor is replaced with applied lenticular.
  • the achievable image quality is much less sensitive to typical sensor errors such as hot pixels, etc. So it can be installed with the lenticular grid with more false pixels and therefore cheaper sensor, as for conventional photographic purposes.
  • the second variant of the method is to select the refresh rate per se much higher than the presentation time of the fields.
  • This allows the Images k 0 , ..., k n -i of n sub-cameras, which are arranged in a freely selectable, eg equidistant vertical distance d 0 , ..., d n from the plane of symmetry of the vertical sinusoidal movement by repetitions for a different duration can be presented.
  • a soft sinusoidal motion is now approximated by the fact that for the periodic image sequence b 0 , i, b m -x to be generated, the one most suitable partial image k j is inserted at the position i, ie for the
  • the third and last variant of the method consists in the fact that not only the images taken directly by the sub-cameras are used in the reproduction of the sequence, but intermediate images are interpolated.
  • the vertically superimposed cameras in number and position are much less strictly defined than in the two variants described so far.
  • Methods and methods for image interpolation are known from various applications. The simplest solutions are found in commercially available televisions with "100 Hz technology" in which intermediate images are determined by interpolation.Such image interpolation methods are typically based on that in a first
  • Step the optical flow of the image sequence is calculated, the intermediate images are formed by the fact that the flow vectors are completed by interpolation and smoothing and proportionally reduced and the respective interpolated intermediate image is reconstructed from the thus reduced flow vectors.
  • the objects in the image have traveled only a proportionally reduced distance in the interpolated intermediate images.
  • Another measure to improve the resulting from interpolation image quality over known methods for video conferencing systems is achieved in that instead of conventional correlation method for calculating the disparities and subsequent filtering and smoothing slower, but more precise global optimizing method for calculating much denser low-noise Disparity values are used.
  • An example of such a useful method is e.g. published in Heiko Hirschmuller, Frank Scholten, Gerd Hirzinger: Stereo Vision Based Reconstruction of Huge Urban Areas from Airborne Pushbroom Camera (HRSC).
  • HRSC Airborne Pushbroom Camera
  • d n in this case denotes the reconstructed vertical position of the n-th image of the periodic image sequence, K the length of the period. This is calculated as indicated by interpolation of the real images from the above and below sub-cameras.
  • the amplitude b is chosen so that the resulting motion in the image does not exceed 1% of the image height.
  • the number of real sub-cameras in this procedure is at least two.
  • the distance of the outer sub-cameras is chosen so that the vertical camera position of the interpolated sinusoidal vertical movement is always above or at the position of the lowest and lower or on the position of the uppermost sub-camera.
  • Using more than two sub-cameras is advantageous because it reduces the interpolated shifts for the intermediate images and results in less ambiguity and artifacts in the resulting images, especially in complicated occlusion situations where parts of the background are visible only through small recesses in foreground objects or if there are reflections on curved surfaces in the image.
  • the correct representation of the relative displacement of a foreground with recesses of height h requires a stationary approach. background a maximum distance of h / 2 between the vertical positions of the images.
  • a particularly flexible design is obtained when geometrically very small cameras, such as wafer-level cameras as sub-cameras in the shortest possible distance in a length of several centimeters are arranged one above the other.
  • geometrically very small cameras such as wafer-level cameras as sub-cameras in the shortest possible distance in a length of several centimeters are arranged one above the other.
  • a particularly advantageous embodiment results when the spacings of the sub-cameras grow progressively from bottom to top (or vice versa), so that e.g. at the positions 0cm, l, 5cmm 3cm, 9cm, 16cm.
  • Subcameras are mounted. With only five sub-cameras, a range of the base width of 0cm to 16cm can be subsequently infinitely realized and the 3D effect can be adapted to the recorded scene. A variable distance adjustment between the sub-cameras for the photographer, as described above, is thereby unnecessary.
  • Figure 5 shows an arrangement in which groups of four such single cameras with different color sensitivities (eg entire spectrum (106), red (105), blue (108), green (107) are arranged directly next to each other and four such groups are vertically stacked on top of each other.)
  • the five individual camera groups each generate one color image, the four Groups thus color images of five vertically superimposed recording positions, which are treated in the processing as previously described for recording complete sub-cameras with a single color-suitable optics.
  • the 3D recording and reproducing method according to the invention causes a spatial impression in the observer only because the human perception is able to differentiate even the smallest vertical movements of the displayed image sequence and to interpret them as an object distance.
  • a choice according to the invention of a particularly small frequency of the vertical movement of less than 2 Hz for optimum image effect an undesirable negative effect of this extreme perception sensitivity becomes particularly clear: even more pronounced than in the case of classical stereo reproduction
  • Even the smallest differences in the optical properties of the optics and sensors used in the recording process lead to irritating movement, flickering and wobbly effects.
  • the images of the sub-cameras must be very similar except for the desired vertical displacement or be adjusted by pre-processing each other.
  • the required similarity in brightness and color reproduction and recording time is achieved most advantageously by the use of identical sensors, optics, aperture, focal length and focus and the simultaneous triggering of all sub-cameras with identical exposure time.
  • certain distortion parameters of all sub-cameras are stored in a data memory with this or another method.
  • the distortion parameters consist of the so-called “internal camera parameters”, which describe the optical and geometric properties of each individual sub-camera and the “external camera parameters”, which represent the position of the cameras in the room - ideally based on the position of one of the sub-cameras.
  • a possible compromise between the two requirements is that the camera - e.g. consisting of four sub-cameras at a distance of 2 cm each - to mount on a tripod, to take a first picture and then to vertically tilt the camera by e.g. learn to act at height.
  • the first 4 images are used as the "master" to compute the vertical motion, and in the areas of the scene where the software detects no change in the first versus the second, the second four shots of the subcameras become additional
  • the use of such a recording method is particularly easy for the photographer, if he does not have to adjust the shift between shots on the tripod, but a vertical adjustment by one or more fixed or adjustable amounts (in the example 1cm) already in the tripod mount the camera or in an adapter between tripod and camera is integrated.
  • the method comprises processing spatial 3D sequences, - reading in single images taken from vertically superimposed positions,
  • a further advantageous method of implementing the third variant of the method described is to perform the described interpolation of intermediate images only on the playback device.
  • the playback device receives only the geometrically and optionally color and intensity corrected images of the subcameras and possibly the already calculated disparities and carries out the calculation of the intermediate images independently.
  • essential parameters of the reproduction such as frequency and amplitude of the vertical movement need only be set at the time and place of the playback and thus can be adapted to the local conditions.
  • the frequency and amplitude of the simulated motion during playback on a small image section of the internet presence of a daily newspaper can be selected more aggressively than when presenting a recording on a large monitor in a photography exhibition. Also, it is easier to calculate the same motion pattern on multiple monitors in the same room when calculating the intermediate images on the ground, so as to total one
  • the present document describes by means of several examples the generation of a soft sinusoidal movement by appropriate arrangement of sub-cameras or application of interpolation methods.
  • the advantageous spatial perception effect is not only in the representation of a sinusoidal movement given. Rather, other similar forms of exercise may be used.
  • Another equally effective example is given when the movement of the simulated eye movement, for example, is substantially linear and is smoothly transmitted at the reversal points by a parabola.
  • the present document describes the advantageous spatial representation on the basis of two or more simultaneous camera shots of a scene.
  • the advantageous representation by a simulated vertical camera movement is analogously applicable to any other implicitly or explicitly present 3D information.
  • the scene to be visualized is in the form of a 3D animation or CAD model, which is rendered with a corresponding vertical camera movement.
  • a conventional stereo photography or a stereo film can also be used as the starting material if the disparity or distance information is first calculated conventionally from this material, and then this distance information is simulated as in a CAD model for generating the vertical periodic simulations Camera movement is used.
  • the camera distance of individual picture elements in the scene can be calculated from the stereo information already contained in the material and then a vertical camera movement can be simulated by means of this distance information.
  • the method described here for calculating the moving camera sequence from individual recordings can be implemented as a computer program and stored on a data carrier such as a hard disk, CD or memory card.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

An apparatus and a method for photographing and reproducing images providing a spacial impression are disclosed. The reproduction of spatial photographs, e.g. stereophotographs, usually requires technical aids, such as eyeglasses or special monitors having restricted fields of view, placed close to the head. The method used aims to do away with such restrictions. To achieve this aim, several photographic capturing devices arranged vertically above each other are used, a virtual, periodic slow and soft vertical camera motion is calculated from the images thus obtained, and said images are reproduced on a commercially available monitor. The spatial impression is created as a result of the similarity of the motion thus simulated to the vertical motion of the human eye during walking. The method and the apparatus are suitable for 3-D representation on any devices that are suitable for reproducing image sequences, such as computer monitors, cinema screens, and electronic billboards. The vertical animation is not limited to the visualization of real images but can also be produced by rendering appropriate virtual camera positions of any 3-D models.

Description

Bildaufnahme und Visualisierung mit räumlichem Bildeindruck Image acquisition and visualization with spatial image impression

Beschreibung description

[1] Für Dokumentationszwecke und aus ästhetischen Gründen werden Verfahren zur räumlichen Bildaufnahme und -wiedergäbe seit dem 19. Jahrhundert untersucht. Die Vorteile dieser Verfahren bei fotografischen Anwendungen liegen im Gegensatz zur traditionellen einäugigen Fotografie darin, dass Informationen über die 3D-Strukturen der Szene mit dokumentiert werden und dass störende Einflüsse bei der zweidimensionalen Abbildung wie „aus den Köpfen herauswachsende Laternenpfähle", „Stürzende Linien" oder Reflexionen auf bildwichtigen Elementen vom Betrachter vom eigentlichen Objekt separiert werden können und deshalb weniger stören. Typische Beispiele für 3D-Fotografie sind Stereo-Verfahren, bei denen zwei Kameras mit horizontalem Abstand montiert und gleichzeitig ausgelöst werden. Im Laufe der Zeit wurden viele Methoden entwickelt, die beiden Aufnahmen getrennt dem Auge des Betrachters zuzuführen. Die Wiedergabe des Bildmaterials ist jedoch mit hohem Aufwand verbunden. So trägt der Betrachter entweder eine Stereobrille mit Färb- oder Polarisationsfiltern oder sein Standort ist - bei autostereoskopischen Verfahren - innerhalb enger Bereiche festgelegt. Zudem ca. 5% der Bevölkerung nicht in der Lage, stereoskopisch zu sehen.  For documentation purposes and for aesthetic reasons, methods for spatial image acquisition and reproduction have been studied since the 19th century. The advantages of these methods in photographic applications, in contrast to traditional one-eyed photography, are that information about the 3D structures of the scene is also documented and that disturbing influences in the two-dimensional image such as "out of the heads lampposts", "Falling lines" or Reflections on visual elements can be separated from the viewer by the actual object and therefore less disturbing. Typical examples of 3D photography are stereo techniques in which two cameras are mounted horizontally and triggered simultaneously. Over time, many methods have been developed to deliver the two images separately to the eye of the beholder. The reproduction of the image material is associated with great effort. Thus, the observer wears either a stereo goggle with color or polarization filters or his location is - within autostereoscopic procedures - set within narrow ranges. In addition, about 5% of the population is unable to see stereoscopically.

[2] Diese Nachteile vermeidet das in der US Schrift 4,429,328 beschriebene Verfahren, welches für Bewegtbilder entwickelt und unter der Marke VISIDEP publiziert wurde. Bei diesem werden die Aufnahmen von zwei vertikal übereinander befindlichen Kameras mit hoher Frequenz umgeschaltet und so abwechselnd dem Bildschirm des Betrachters zugeführt. Das menschliche Sehsystem errechnet aus der unterschiedlichen Amplitude der Bewegungen im Bild die dreidimensionale Struktur der aufgenommenen Szene. Allerdings stört der schnelle, abrupte Wechsel zwischen den Einzelaufnahmen beim Betrachten erheblich. Quellen berichten sogar von Unwohlsein als Folge längeren Betrachtens derar- tiger „Wackelbilder". So findet sich in Internet-Wikis ein Kommentar aus 2008 eines an der Entwicklung beteiligten ehemaligen Studenten „VISIDEP was a guaranteed headache Generator". Die zitierte Schutzschrift gibt an, dass durch die vertikale Anordnung der Aufnahmepositionen weniger negative Effekte entstehen als durch eine horizontale. Als Vertikalabstand der Aufnahmepunkte werden dort 1-1, 5cm angenommen, als Bildfrequenz 4-lOHz. Die Gründe für die besseren Ergebnisse bei vertikaler statt horizontaler Kameraanordnung waren bisher unbekannt. Dieses ist in der Schutzschrift explizit vermerkt. [2] These disadvantages are avoided by the method described in US Pat. No. 4,429,328, which was developed for moving pictures and published under the brand VISIDEP. In this case, the images are switched by two vertically superimposed cameras with high frequency and so alternately supplied to the screen of the viewer. The human visual system calculates the three-dimensional structure of the recorded scene from the different amplitude of the movements in the image. However, the fast, abrupt change between the individual shots disturbs the viewing considerably. Sources even report discomfort as a result of prolonged consideration of such tiger "Wackelbilder." For example, in Internet wikis there is a comment from a former student involved in the development of "VISIDEP was a guaranteed headache generator" in 2008. The cited protection document indicates that the vertical arrangement of the pick-up positions produces less negative effects than horizontal. As a vertical distance of the recording points are assumed there 1-1, 5cm, as a frame rate of 4-lOHz. The reasons for the better results with vertical rather than horizontal camera arrangement were previously unknown. This is explicitly stated in the protective paper.

[3] Später wurde das Verfahren für künstliche computergenerierte Szenen untersucht (T. Barham et al, some variations on VISIDEP using Computer graphics, Optical Engineering 29(12), 1990) . Durch das Einfügen von Zwischenbildern werden der springende Ablauf und dessen negative Nebeneffekte reduziert. Da hier allerdings ganz bewusst die hohe Bewegungsfrequenz dadurch beibehalten wird, dass die Bildfrequenz entsprechend erhöht wird, bleibt der störende Eindruck einer hohen Bewegungsfrequenz und ein ruckartiger Bewegungseindruck in den Umkehrpunkten. Insbesondere ist es dem Betrachter durch die hohe vertikale Bewegungsfrequenz nicht möglich, sich ohne Irritation auf die schnell bewegten Bildausschnitte in der Nähe zu konzentrieren, eine kontemplative Beschäftigung mit dem Bildinhalt, wie sie insbesondere bei künstlerisch anspruchsvollen Fotografien praktiziert wird, ist deshalb unmöglich.  [3] Later, the method for artificial computer-generated scenes was investigated (T. Barham et al., Some variations on VISIDEP using computer graphics, Optical Engineering 29 (12), 1990). By inserting intermediate images, the jumping process and its negative side effects are reduced. However, since the high frequency of movement is deliberately maintained by increasing the frame rate accordingly, the disturbing impression of a high frequency of movement and a jerky impression of movement remain in the reversal points. In particular, the high vertical frequency of movement makes it impossible for the observer to focus on the rapidly moving image sections in the vicinity without irritation; a contemplative preoccupation with the image content, as practiced in artistically demanding photographs, is therefore impossible.

[4] Der beschriebenen Erfindung liegt die Aufgabe zugrunde, ein Vorrichtung und ein Verfahren zu finden, mit dem ein räumlicher Seheindruck ebenfalls ohne Hilfsmittel und ohne Einschränkung an den Standort des Betrachters erzielt werden kann, bei dem aber keine Irritationen entstehen. The described invention has for its object to find a device and a method with which a spatial visual impression can also be achieved without aids and without restriction to the location of the observer, but in which no irritations arise.

[5] Die erfindungsgemäße Lösung der Aufgabe beruht auf der Erkenntnis darüber, warum eine wie in US 4,429,328 beschriebene vertikale Kameraanordnung für die Darstellung von räumli- chen Wechselbildern geeigneter ist als eine horizontale. Die Lösung nutzt diese Erkenntnisse für eine Vorrichtung und ein Verfahren zur besonders vorteilhaften Aufnahme, Ausgestaltung, Aufbereitung und Darstellung des Bildmaterials. [5] The object of the invention is based on the recognition of why a vertical camera arrangement as described in US Pat. No. 4,429,328 is used for the representation of spatial alternating pictures is more suitable than a horizontal one. The solution uses these findings for a device and a method for particularly advantageous recording, design, processing and presentation of the image material.

[6] Diese neue Erkenntnis über die besondere Eignung einer vertikalen Kameraanordnung beruht darauf, dass ein vertikal bewegter Augpunkt zur natürlichen Lebenserfahrung des Menschen gehört. Die vertikale Komponente seiner Augenbewegung beim Gehen kann durch eine sinusförmige Vertikalbewegung mit einer Frequenz, die seiner aktuellen Schrittfrequenz entspricht, nachempfunden werden. Das Abbild stationärer Gegenstände in seiner Umgebung bewegt sich deshalb mit einer in der Amplitude abstandsabhängigen Vertikalschwingung auf der Netzhaut. Der Mensch schätzt anhand dieser unterschiedlichen Vertikalgeschwindigkeit die relativen Abstände von Elementen der Szene ab. Bei einer typischen vertikalen Amplitude von 2,5cm und einer Schrittfrequenz von 1,5Hz ist - bei einer bekannten Messempfindlichkeit von ca. 1 Bogenminute/s die räumliche Trennung von in der Tiefe gestaffelten Objekten der Szene vergleichbar mit der Leistungsfähigkeit beim voll ausgebildeten beidäugigen Stereosehen, bei dem eine Empfindlichkeit von 20 Bogensekunden bei 6,5 cm Basis"breite als typische Werte 'bekannt sind. Die Entfernungsschätzung aufgrund der Vertikalbewegung beim Gehen hat zusätzlich den Vorteil, dass sie im gesamten Sichtbereich gleichzeitig wirkt. Während der Mensch beim beidäugigen Stereosehen nur einen eingeschränkten Entfernungsbereich um den des aktuellen Fixationspunkt analysieren kann, ihm der Rest als Doppelbilder erscheint und in weiteren Wahrnehmungsschritten in der Verarbeitung unterdrückt wird, wird die durch die Vertikalbewegung des Auges induzierte Bewegung der Objektabbilder auf der Netzhaut in der gesamten Szene wahrgenommen. Als Konsequenz wirken durch vertikale Bewegung dargestellte räumliche Szenen natürlicher als herkömmliche Stereobilder. [7] Die erfindungsgemäße Lösung der Aufgabe wird durch die folgenden Vorrichtungen bzw. Verfahren realisiert. [6] This new finding about the particular suitability of a vertical camera arrangement is based on the fact that a vertically moving eye point belongs to the natural life experience of humans. The vertical component of its eye movement while walking can be modeled by a sinusoidal vertical movement at a frequency corresponding to its current pace. The image of stationary objects in its surroundings therefore moves with a distance-dependent vertical oscillation on the retina. Humans estimate the relative distances of elements of the scene based on this different vertical velocity. At a typical vertical amplitude of 2.5 cm and a step frequency of 1.5 Hz, the spatial separation of objects staggered in depth is comparable with the performance of the fully trained binocular stereo view, with a known measurement sensitivity of about 1 arc minute / s. in which a sensitivity of 20 arc seconds at 6.5 cm base are known as typical values '' wide. the distance estimation due to the vertical movement when walking in addition, while the man in the binocular stereo vision has the advantage that it acts in the entire field of view simultaneously. only one Restricted distance range around that of the current fixation point can analyze, it appears the rest as double images and is suppressed in further perception steps in the processing, the vertical movement of the eye induced movement of the object images on the retina in the entire scene perceived z spatial scenes represented by vertical motion appear more natural than conventional stereo images. [7] The solution of the problem according to the invention is realized by the following devices or methods.

[8] Der Wahl einer Bewegungsfrequenz unterhalb von 2Hz typischerweise 0,5Hz. [8] The choice of a movement frequency below 2Hz typically 0.5Hz.

[9] Ein Bildaufnahmegerät mit einer vertikalen Anordnung von zwei oder mehr digitalen Teilkameras. Für die Anwendbarkeit durch klassische Nutzer von fotografischen Geräten ist insbesondere wichtig, dass das Gerät in der Bedienung einem klassischen Fotoapparat entspricht oder mit einem solchen kombiniert werden kann.  [9] An imaging device with a vertical arrangement of two or more digital sub-cameras. For the applicability by classical users of photographic equipment is particularly important that the device in the operation of a classic camera corresponds or can be combined with such.

[10] Der Generierung der Bildfolge einer weichen, z.B. sinusförmigen Bewegung aus diesen Kamerabildern durch geeignete Wahl der vertikalen Abstände der Teilkameras bzw. der angenommenen Vertikalposition bei der Interpolation von Zwischenbildern .  [10] The generation of the image sequence of a soft, e.g. Sinusoidal movement from these camera images by a suitable choice of the vertical distances of the sub-cameras or the assumed vertical position in the interpolation of intermediate images.

[11] Im Rahmen dieser Schrift bedeutet der Begriff „Teilkamera" eine Kombination aus Optik und digitalem Bildsensor. Die erfindungsgemäße Vorrichtung kombiniert zwei oder mehr dieser vertikal übereinander angeordneten Teilkameras zu einer „3D-Kamera" . In the context of this document, the term "partial camera" means a combination of optics and a digital image sensor The device according to the invention combines two or more of these vertically stacked sub-cameras into a "3D camera".

[12] Nachfolgend wird anhand von Ausführungsbeispielen und mit Hilfe von Figuren die Erfindung im Detail erläutert. The invention will be explained in detail with reference to embodiments and with the aid of figures.

[13] Zur besseren Erläuterung ist die Optik der jeweils obersten Teilkamera in allen relevanten Figuren mit (101) bezeichnet . [13] For a better explanation, the optics of the respective uppermost subcamera in all relevant figures is designated (101).

[14] Figur 1 zeigt eine Vorrichtung, die anstelle eines Wechselobjektives an eine Spiegelreflexkamera mit großem Bildsensor montiert wird. Sie realisiert mittels vertikal übereinanderliegender Optiken die Funktion der beschriebenen 3D- Kamera. Die Optiken bilden die Szene auf den großen Bildsensor im Kameragehäuse ab. Da diese Sensoren üblicherweise im Querformat eingebaut werden, muss die Kamera für die Aufnahme mit dem gezeichneten Spezialobjektiv hochkant gehalten werden. Zu diesem Zweck existieren für viele Spiegelreflexsysteme handelsübliche Hochformatgriffe - hier schraffiert gezeichnet, die eine komfortables Halten und Auslösen auch in dieser Position erlauben . Figure 1 shows a device which is mounted instead of an interchangeable lens to a single-lens reflex camera with a large image sensor. It realizes the function of the described 3D by means of vertically superimposed optics. Camera. The optics depict the scene on the large image sensor in the camera body. Since these sensors are usually installed in landscape format, the camera must be held upright for shooting with the special lens drawn. For this purpose, for many SLR systems standard vertical handles - shaded here, which allow a comfortable hold and release in this position.

[15] Figur 2 zeigt eine Ausprägung der 3D-Kamera, welche als Zusatzgerät in den Blitzschuh einer konventionellen Kamera gesteckt wird. Figure 2 shows an embodiment of the 3D camera, which is plugged as an accessory in the hot shoe of a conventional camera.

[16] Figur 3 zeigt eine Ausprägung der 3D-Kamera als Zusatzeinrichtung zu einem Blitzgerät. FIG. 3 shows an embodiment of the 3D camera as an additional device to a flash unit.

[17] Figur 4 zeigt eine Ausprägung der 3D-Kamera als Zusatzeinrichtung in einem Kamerastativ. FIG. 4 shows an embodiment of the 3D camera as an additional device in a camera tripod.

[18] Figur 5 zeigt eine Ausprägung der 3D-Kamera, wobei als Teilkameras Gruppen von extrem miniaturisierten Wafer-Level- Kameras eingesetzt werden, welche getrennt für das gesamte sichtbare Lichtspektrum (106) "bzw. für die Teilbereiche Rot (105), Grün (107) und Blau (108) des Spektrums empfindlich sind. Die gleiche vertikale Anordnung von Teilkameras befindet sich ein zweites Mal rechts von der ersten, mit einer von der ersten Reihe unterschiedlichen Brennweite. Der Vertikalabstand der Teilkameras ist über zwei Spindeltriebe (109) und (110) paarweise einstellbar. FIG. 5 shows an embodiment of the 3D camera, in which groups of extremely miniaturized wafer-level cameras are used as subcameras which are separated for the entire visible light spectrum (106) " or for the subregions red (105), green The same vertical array of sub-cameras is located a second time to the right of the first, with a different focal length from that of the first row (110) adjustable in pairs.

[19] Figur 6 zeigt eine Ausprägung der 3D-Kamera als Zusatzeinrichtung in einem ansonsten handelsüblichen Mobilfunkgerät . [20] Figur 7 zeigt die 3D-Kamera zusammengesteckt aus eigenständigen Teilkamera-Komponenten . FIG. 6 shows an embodiment of the 3D camera as an additional device in an otherwise commercially available mobile radio device. FIG. 7 shows the 3D camera plugged together from independent partial camera components.

[21] Figur 8 zeigt eine von Figur 7 unterschiedliche Anordnung von eigenständigen Teilkamera-Komponenten, bei denen die Basisbreite durch Verschiebung der Teilkameras gegeneinander realisiert wird. Durch eine beispielhaft dargestellte Konstruktion aus Zahnrad (102) und Zahnstangen (103) wird sichergestellt, dass sich der Abstand der Teilkameras in gleichem Maße ändert. FIG. 8 shows a different arrangement of independent partial camera components from FIG. 7, in which the base width is realized by shifting the partial cameras relative to one another. By an exemplified construction of gear (102) and racks (103) ensures that the distance of the sub-cameras changes to the same extent.

[22] Die erfinderische Lösung der Aufgabe durch eine Vorrichtung gemäß den unabhängigen Anspruch 1 und 3 bzw. den daraus abgeleiteten Ansprüchen sowie einem Verfahren gemäß dem unabhängigen Anspruch 36 und daraus abgeleiteten Ansprüchen und einem Wiedergabegerät gemäß Anspruch 54 wird durch eine vertikale Anordnung mehrerer Teilkameras erreicht. Im einfachsten Fall wird der weiche, sinusförmige Bewegungseindruck dadurch erzeugt, dass die aufgenommenen Bilder der Teilkameras an den passenden Vertikalpositionen innerhalb der gewünschten Sinusschwingung liegen und sequentiell und zyklisch wiedergegeben werden. Bei einer simulierten Schrittfrequenz von 1,5Hz und einer für eine flüssige Bewegungsperzeption notwendigen Bildfrequenz von 15 Hz ist die Verwendung von 5 Teilkameras erforderlich. Dieses ergibt sich, da die Bildfolge für eine Periode aus 10 Einzelbildern (15Hz Bildfrequenz / 1,5Hz Schrittfrequenz) bestehen muss. Diese Anzahl von Einzelbildern kann von K=5 Teilkameras in der im Folgenden angegebenen geometrischen Anordnung und Reihenfolge erzeugt werden. Da die üblichen Darstellungsmedien nur eine konstante Bildfrequenz erlauben, werden die Vertikalpositionen der Kameras so gewählt, dass sich die angestrebte weiche Sinusbewegung ergibt. Wenn die Teilkameras von oben nach unten mit k0,ki..k4 durchnumeriert werden, hat die Teilkamera kn von einer zentralen Symmetrieebene den Vertikalabstand [22] The inventive solution of the problem by a device according to the independent claims 1 and 3 or the claims derived therefrom and a method according to the independent claim 36 and claims derived therefrom and a reproducing apparatus according to claim 54 is achieved by a vertical arrangement of several sub-cameras , In the simplest case, the soft, sinusoidal impression of movement is produced by the fact that the recorded images of the sub-cameras are at the appropriate vertical positions within the desired sine oscillation and are reproduced sequentially and cyclically. With a simulated step frequency of 1.5 Hz and a frame rate of 15 Hz necessary for a smooth motion perception, the use of 5 sub-cameras is required. This results because the image sequence for a period must consist of 10 individual images (15 Hz frame rate / 1.5 Hz step rate). This number of frames can be generated by K = 5 sub-cameras in the following geometric arrangement and order. Since the usual display media only allow a constant frame rate, the vertical positions of the cameras are chosen so that the desired soft sinusoidal movement results. If the subcameras are numbered from top to bottom with k 0 , ki..k 4 , the subcamera k n has a central one Symmetry plane the vertical distance

dn = b(cos(pi*(n+0,5)/K) ) /2 d n = b (cos (pi * (n + 0.5) / K)) / 2

[23] b bezeichnet hier die Vertikalamplitude der simulierten Augenbewegung. Für nachgebildete Schreitbewegungen kann sie mit in etwa 1,25cm angenommen werden, Es ergibt sich ein Abstand zwischen den Scheitelpunkten von 2,5cm.  [23] b here denotes the vertical amplitude of the simulated eye movement. For simulated walking movements, it can be assumed to be about 1.25 cm, resulting in a distance between the vertices of 2.5 cm.

[24] Mit diesem Wert ergibt sich ein Abstand di = -d2 = 7,3mm bzw. d0 = -d4 = 11,9mm von der zentralen vertikalen Symmetrielinie. Die Bildsequenz bei der Wiedergabe der simulierten Augenbewegung lautet k0, k0, ki, k2, k3, k4, k4, k3, k2, ki [24] This value gives a distance di = -d2 = 7.3mm or d 0 = -d 4 = 11.9mm from the central vertical line of symmetry. The image sequence in the simulation of the simulated eye movement is k 0 , k 0 , ki, k 2 , k 3 , k 4 , k 4 , k 3 , k 2 , ki

[25] Bei dieser Wahl von b haben allerdings die Teilkameras 0 und 1 bzw. 3 und 4 einen Abstand von nur 4,5mm. Es sind deshalb bei dieser Anordnung die Kameras 0 und 4 in einer Ausführung mit besonders kleinen Dimensionen erforderlich. Moderne Wafer-Level-Kameramodule haben eine Kantenlänge von unter 3mm und sind deshalb für eine derartige Kamera-Anordnung besonders geeignet .  In this choice of b, however, the sub-cameras 0 and 1 or 3 and 4 have a distance of only 4.5mm. Therefore, in this arrangement, the cameras 0 and 4 are required in an embodiment with particularly small dimensions. Modern wafer-level camera modules have an edge length of less than 3 mm and are therefore particularly suitable for such a camera arrangement.

[26] Erfindungsgemäß wird durch die so beschriebene nicht- äquidistante Anordnung der Teilkameras gegenüber dem Stand der Technik eine angenehme weiche Bewegungsdarstellung in der generierten Bildfolge erreicht.  In accordance with the invention, the non-equidistant arrangement of the sub-cameras described in this way achieves a pleasant, smooth motion representation in the generated image sequence compared to the prior art.

[27] An einer späteren Stelle der vorliegenden Schrift werden Verfahren beschrieben, welche den gewünschte Bewegungseindruck durch eine Nachverarbeitung des Bildmaterials auch mit dem Einsatz von weniger als den hier beschriebenen fünf Teilkameras bei der Aufnahme bei erzielen können. Deshalb sind die im Folgenden beschriebenen Varianten der Gestaltung der Kameras auch dann für die Aufgabe einsetzbar, wenn Sie weniger als fünf - im Einzelfall auch nur zwei - vertikal übereinander liegende Einzelaufnahmen erzeugen.  At a later stage of the present document methods are described which can achieve the desired motion impression by a post-processing of the image material with the use of less than the five sub-cameras described here during recording. Therefore, the variants of the design of the cameras described below can be used for the task, even if you produce less than five - in an individual case, only two - vertically superimposed single shots.

[28] Aus der klassischen Stereo-Fotografie ist der so genannte „Puppenstubeneffekt" bekannt. Er entsteht dadurch, dass die Aufnahmen für das linke und rechte Auge nicht einen typischen menschlichen Augenabstand sondern eine - zum Teil um ein Vielfaches größere - Basisbreite aufweisen. Dieses führt beim Be- trachten der Aufnahmen dazu, dass der räumliche Eindruck verstärkt wird, so als ob der Betrachter eine um den entsprechenden Faktor verkleinerte Szene in einem um den selben Faktor verkürzten Abstand betrachtet. [28] The so-called "dollhouse effect" is known from classical stereo photography, which results from the fact that the images for the left and right eye have not a typical human eye distance but a base width - sometimes many times greater leads to the seeks to enhance the spatial impression, as if the observer looks at a scene reduced by the corresponding factor by a factor shortened by the same factor.

[29] Eine derartige Verstärkung des räumlichen Eindrucks ist auch bei der hier beschriebenen 3D-Kamera erzielbar, indem der Abstand zwischen den Teilkameras um einen entsprechenden Faktor vergrößert wird. Erfindungsgemäß kann die 3D-Kamera so gestaltet sein, dass dieser Abstand variabel einstellbar ist, so dass der Fotograf die Stärke des räumlichen Seheindrucks durch Wahl der Basisbreite (die bei der vorliegenden vertikalen Anordnung eigentlich „Basishöhe" genannt werden müsste) bei der Aufnahme bestimmen kann. Besonders vorteilhaft wird eine derartige Einstellbarkeit so realisiert, dass das Verhältnis der Abstände der Teilkameras konstant bleibt.  Such a reinforcement of the spatial impression is also achievable in the 3D camera described here by the distance between the sub-cameras is increased by a corresponding factor. According to the invention, the 3D camera can be designed so that this distance is variably adjustable, so that the photographer can determine the strength of the spatial visual impression by selecting the base width (which in the present vertical arrangement would actually have to be called "base height") during the recording Such a adjustability is particularly advantageously realized in such a way that the ratio of the spacings of the sub-cameras remains constant.

[30] Dieses wird am Beispiel der später erläuterten Aufnahme durch ein große Anzahl von Miniaturkameras in Figur 5 durch zwei mit einem festen Steigungs- bzw. Drehzahlverhältnis verkoppelte Spindeltriebe (109) und (110) gewährleistet, von denen (109) die den Abstand der Teilkameras 0 und 4 relativ zur zentralen Kamera 2 vergrößert bzw. verkleinert und (110) die Kameras 1 und 3 um einen proportional jeweils kleineren Anteil verschiebt. Bei gleich gewählter Steigung der Spindeltriebe muss deren Drehzahlverhältnis genau dem Verhältnis Abstände der von ihnen bewegten Teilkamera-Gruppen zur Symmetrieebene entsprechen .  This is the example of the later explained recording by a large number of miniature cameras in Figure 5 by two with a fixed slope or speed ratio coupled spindle drives (109) and (110), of which (109) the distance of the Partial cameras 0 and 4 relative to the central camera 2 increases or decreases and (110) the cameras 1 and 3 shifts by a proportionally smaller proportion. If the pitch of the spindle drives is the same, the speed ratio thereof must correspond exactly to the ratio between the distances of the sub-camera groups moved by them to the plane of symmetry.

[31] Eine weitere Möglichkeit, die ohne bewegliche Teilkameras auskommt, besteht darin, dem Fotografen nur die Auswahl aus einer kleinen Anzahl von diskreten Basisbreiten zur Verfügung zu stellen, indem zwischen mehreren Sätzen von Teilkameras vor der Aufnahme umgeschaltet werden kann bzw. nach der Aufnahme die Bilder der passenden Teilkameras ausgewählt werden können. So können beispielsweise die fünf beschriebenen Teilkameras um weiteres Teilkamerapaar k5 und k6 im Abstand von d5 = -d6 = do*d0/di bezogen auf die zentrale vertikale Symmetrielinie ergänzt werden. [31] Another possibility that does not require moving sub-cameras is to provide the photographer with only a small number of discrete base widths by switching between multiple sets of sub-cameras before shooting or after shooting the pictures of the matching subcameras can be selected. Thus, for example, the five sub-cameras described by another sub-camera pair k 5 and k 6 at a distance of d 5 = -d 6 = do * d 0 / di be added to the central vertical line of symmetry.

[32] Die Bildsequenz K5, k5, k0, k2, k4, k6, k6, k4, k2 entspricht geometrisch genau der ursprünglichen Bildsequenz mit einer um 62% vergrößerten Basisbreite. Die Hinzunahme eines weiteren Teilkamerapaars im Abstand von d5*d5/d0 erlaubt die Aufnahme mit einer um weitere 62% vergrößerten Basisbreite. Bei einer solchen Anordnung bleibt jeweils die Hälfte der Teilkameras für die spätere Wiedergabe ungenutzt. Dieses lässt sich dadurch vermeiden, dass die Teilkameras in einem Gehäuse steckbar angebracht werden. Der Fotograf also die Teilkameras an den Positionen kl und k3 auf die Position k5 und k6 und analog diejenigen auf den Positionen kO und k4 auf die Positionen k7 und k8 umstecken kann. [32] The image sequence K 5 , k 5 , k 0 , k 2 , k 4 , k 6 , k 6 , k 4 , k 2 corresponds geometrically exactly to the original image sequence with a base width increased by 62%. The addition of a further subcamera pair at a distance of d5 * d5 / d0 allows recording with a further 62% larger base width. In such an arrangement, each half of the sub-cameras remains unused for later playback. This can be avoided by the fact that the sub-cameras are mounted in a housing pluggable. The photographer can thus change the sub-cameras at positions kl and k3 to positions k5 and k6 and analogously those at positions k0 and k4 to positions k7 and k8.

[33] Der Fotograf wird sich bei der Wahl der Basisbreite in der Regel davon leiten lassen, den stärksten räumlichen Seheindruck zu erzeugen, bei dem die oszillierende Bewegung im Bild soeben nicht als störend empfunden wird. Erfahrungsgemäß ist das für Bewegungsamplitude bis zu 1% der Bildhöhe sicher der Fall, in Einzelfällen sind aber auch 5% der Bildhöhe noch tolerabel .  [33] When choosing the base width, the photographer will generally be guided by the idea of producing the strongest spatial visual impression in which the oscillating motion in the image is not perceived as disturbing. Experience has shown that this is certainly the case for motion amplitude up to 1% of the image height, but in some cases 5% of the image height is still tolerable.

[34] Bei Verwendung der Brennweite eines Normalobjektivs wird diese wird die Grenze von 1% bei 2,5cm Abstand der obersten und untersten Teilkamera bei Objekten in 5m Entfernung erreicht, d.h. das naheste abgebildete Objekt, einschließlich des Untergrundes, sollte einen Abstand von 5m oder mehr besitzen. Ist beispielsweise der minimale Abstand zu den abgebildeten Objekten stattdessen 10m entfernt kann nach dem beschriebenen Kriterium nach diesen Kriterien bei einem Normalobjektiv auch die Basisbreite auf 5cm verdoppelt werden.  When using the focal length of a normal lens, this will reach the limit of 1% with 2.5cm distance of the top and bottom camera for objects at 5m distance, i. The closest object, including the ground, should be 5m or more apart. If, for example, the minimum distance to the imaged objects is instead 10m, the basic width can be doubled to 5cm according to the described criterion according to these criteria for a normal lens.

[35] Einen Extremfall stellt eine Schrägbild-Luftaufnahme mit einer Minimalentfernung der Objekte von 200m Entfernung dar, bei dem die optimale erfindungsgemäße 3D-Kamera eine Basisbreite von typisch ca. 100cm aufweisen wird. [36] Wenn große Basisbreiten durch die Kamera abgedeckt werden sollen, das Gehäuse aber dennoch kompakt ausgeführt sein soll, ist es von Vorteil, die Kamera so auszuführen, dass das Gehäuses bzw. ein Teil davon vertikal um 180° z.B wie beim Mobilfunkgerät StarTac des Herstellers Motorola aufgeklappt werden kann. Die Teilkameras befinden sich in diesem Fall an Stelle von Display und Tastatur und haben so im aufgeklappten Zustand einen deutlich größeren Maximalabstand als der Höhe des Kameragehäuses entspricht. Zusätzlich sind sie während des Transportes geschützt. Ein ähnlicher Effekt lässt sich erreichen, wenn die Teilobjektive auf zwei Gehäuseteilen angebracht sind, welche teleskopartig ineinander gesteckt sind und zur Aufnahme auseinandergeschoben werden. [35] An extreme case is an oblique aerial photograph with a minimum distance of the objects of 200m distance, where the optimal 3D camera according to the invention will have a basic width of typically approx. 100 cm. If large base widths are to be covered by the camera, but the housing should still be made compact, it is advantageous to run the camera so that the housing or a portion thereof vertically by 180 °, for example, as in the mobile device StarTac des Manufacturer Motorola can be opened. The sub-cameras are in this case in place of the display and keyboard and have so in the unfolded state, a significantly greater maximum distance than the height of the camera body corresponds. In addition, they are protected during transport. A similar effect can be achieved if the partial lenses are mounted on two housing parts, which are telescoped into each other and are pushed apart for recording.

[37] Bei der Gestaltung der 3D-Kamera ist es sinnvoll, dass die Ergonomie - bis auf die zusätzliche beschriebene Einstellmöglichkeit der Basisbreite - möglichst wenig von der Bedienung einer konventionellen Kamera abweicht. Sie ist deshalb vorteilhaft so ausgestaltet, dass sie über einen Auslöser an der Oberseite und rechts bzw. links der Optik Bereiche zum Greifen und Führen mit den Händen verfügt. [37] When designing the 3D camera, it makes sense that the ergonomics - apart from the additional setting option described for the basic width - deviate as little as possible from the operation of a conventional camera. It is therefore advantageously designed so that it has a trigger on the top and right or left of the optics areas for gripping and guiding with the hands.

[38] Eine andere ergonomisch besonders vorteilhafte Gestaltung der 3D-Kamera besteht darin, sie als Zusatzkomponente für eine konventionelle Kamera auszuführen. Diese kann beispielsweise dadurch geschehen, dass die 3D-Kamera in den Blitzschuh der konventionellen Kamera gesteckt werden kann - wie in Figur 2 gezeigt . [38] Another ergonomically particularly advantageous design of the 3D camera is to execute it as an additional component for a conventional camera. This can be done, for example, that the 3D camera can be plugged into the hot shoe of the conventional camera - as shown in Figure 2.

[39] Die elektrische Verbindung zwischen konventioneller Kamera und 3D-Kamera überträgt hierbei den Auslöseimpuls. Weitere Aufnahmeparameter für die konventionelle Kamera, wie Belichtungsinformationen können ebenfalls mit übertragen werden und die Belichtungseinstellungen der Teilkameras beeinflussen. In umgekehrter Richtung kann die Bildinformation der Teilkameras zum Bildspeicher der konventionellen Kamera übertragen werden. Eine vollständige oder teilweise Übertragung der Information über funkbasierte Kommunikation, etwa durch Bluetooth oder WLAN ist eine weitere mögliche Realisierung. [39] The electrical connection between conventional camera and 3D camera transmits the triggering impulse. Other recording parameters for the conventional camera, such as exposure information, may also be transmitted and affect the exposure settings of the sub-cameras. In the opposite direction, the image information of the sub-cameras be transferred to the image memory of the conventional camera. A complete or partial transmission of information via radio-based communication, such as Bluetooth or WLAN is another possible implementation.

[40] Die Verwendung des Blitzschuhs zur Verbindung der SD- Kamera mit einer konventionellen Kamera hat den Nachteil, dass der Blitzschuh selber nicht mehr für den Anschluss eines Blitzes verwendet werden kann. In einer besonders vorteilhaften Ausführung wird deshalb die 3D-Kamera in ein Blitzgerät derart integriert, dass das Gehäuse des Blitzgerätes die Teilkameras aufnimmt - siehe Figur 3.  [40] Using the hot shoe to connect the SD camera to a conventional camera has the disadvantage that the hot shoe itself can not be used to connect a flash. In a particularly advantageous embodiment, therefore, the 3D camera is integrated into a flash unit such that the housing of the flash unit picks up the sub-cameras - see FIG. 3.

[41] Statt über den Blitzschuh kann die 3D-Kamera natürlich auch über andere Verbindungsmöglichkeiten bei Bedarf mit einer konventionellen Kamera verbunden werden. So ist es möglich, wie in Figur 4 gezeigt, die 3D-Kamera im obersten Teleskopsegment eines herkömmlichen Stativs unterzubringen, so dass der Fotograf die 3D-Funktion nutzen kann, sobald die konventionelle Kamera mit dem Stativ verbunden hat. [41] Instead of the hot shoe, the 3D camera can of course also be connected via other connectivity on demand with a conventional camera. Thus, it is possible, as shown in Figure 4, to accommodate the 3D camera in the top telescope segment of a conventional tripod, so that the photographer can use the 3D function as soon as the conventional camera has connected to the tripod.

[42] Die Verbindung der 3D-Kamera mit einer konventionellen Kamera ermöglicht dem Fotografen, gleichzeitig eine 3D-Version und eine konventionelle Aufnahme anzufertigen und diese bedarfsgerecht einzusetzen. Etwa bei der klassischen Bildpräsentation auf Papier - bei der er die konventionelle Aufnahme verwenden wird - und bei der Präsentation auf einem dynamischen Medium, einem TFT-Bildrahmen oder der Webseite, bei er die 3D-Version verwendet kann. [42] The combination of the 3D camera with a conventional camera allows the photographer to simultaneously make a 3D version and a conventional shot and use it as needed. For example, in the classical image presentation on paper - where he will use the conventional recording - and in the presentation on a dynamic medium, a TFT picture frame or the website, where he can use the 3D version.

[43] Spezielle Aufnahmebedingungen können dazu führen, dass eine 3D-Kamera - etwa wegen einer hohen geforderten Lichtempfindlichkeit -nicht einsetzbar ist oder - wenn die aufgenommene Szene keine Tiefenstaffelung aufweist - keine Wirkung hat. Auch in diesen Fällen wird der Fotograf auf die konventionelle Aufnahme zurückgreifen. [44] Auch bei Verwendung der konventionellen 2D-Aufnähme haben die Teilbilder der 3D-Kamera noch einen Wert: wenn konventionelle Kamera und die 3D-Teilkameras aufeinander kalibriert sind, lässt sich mittels Stereo-Auswertung der 3D-Teilbilder für den überwiegenden Teil der Bildpunkte der konventionellen Aufnahme die tatsächliche Entfernung berechnen. Das so erhaltene „Tiefenbild" kann als Maske für die weitere Bildbearbeitung der konventionellen Aufnahme, etwa zur Freistellung von Objekten oder Personen oder zur nachträglichen Generierung von abstandsabhängiger Unscharfe verwendet werden. [43] Special recording conditions may mean that a 3D camera - for example due to a high required photosensitivity - is not usable or - if the recorded scene has no depth graduation - has no effect. Even in these cases, the photographer will resort to conventional recording. [44] Even when using conventional 2D capturing, the sub-images of the 3D camera still have a value: when conventional camera and the 3D sub-cameras are calibrated to each other, the 3D sub-images can be evaluated for the overwhelming majority of the pixels by means of stereo evaluation the conventional recording to calculate the actual distance. The "depth image" obtained in this way can be used as a mask for the further image processing of the conventional recording, for example for the release of objects or persons or for the subsequent generation of distance-dependent blurring.

[45] 3D-Kameras sind auch in Form eines vom Fotografen aus Teilkameras selber konfigurierbaren Baukastens realisierbar. So wurde bis 2005 unter der Bezeichnung SL300r eine nur 18mm hohe Digitalkamera der Firma Kyocera vertrieben, bei denen sich die Vorderlinse der Optik an einer Schmalseite befindet. Eine derartige Kamera kann zu einem Teilkameramodul erweitert werden, wenn sie mit einer mechanischen Vorrichtung zur vertikalen Verbindung mehrerer Teilkameras und einem elektronischen Kommunikationsmittel zur gemeinsamen Einstellung von Aufnahmeparametern und einer gemeinsamen Auslösung und Aufzeichnung versehen wird, um eine erfindungsgemäße 3D-Kamera zu erhalten. Eine mögliche mechanische Verbindung über eine Schwalbenschwanzkonstruktion zeigt Figur 7. Mit mechanisch kompatiblen Zwischenstücken, die zwischen den gestapelten Kameras vom Fotografen eingefügt werden können, ist die Basisbreite variabel einstellbar.  [45] 3D cameras can also be realized in the form of a building block that can be configured by the photographer himself from subcameras. Thus, until 2005 under the name SL300r a digital camera of the company Kyocera was only 18mm high, in which the front lens of the optics is located on a narrow side. Such a camera can be extended to a sub-camera module when it is provided with a mechanical device for vertically interconnecting a plurality of sub-cameras and an electronic communication means for common setting of recording parameters and a common triggering and recording to obtain a 3D camera according to the invention. A possible mechanical connection via a dovetail construction is shown in FIG. 7. With mechanically compatible intermediate pieces which can be inserted between the stacked cameras by the photographer, the base width is variably adjustable.

[46] Eine vorteilhaftere geometrische Anordnung von flachen modularen Teilkameras ergibt sich, sich wenn die Vorderlinse der Optik nicht an einer Schmalseite, sondern möglichst nahe an einer Kante auf der benachbarten größten Fläche des Kamerakörpers befindet. Ist die mechanische Stapelvorrichtung so gestalten, dass die Längsverschiebung zwischen den Kameras variable einstellbar wird, ist damit eine variable Basisbreite ohne zusätzliche Zwischenstücke möglich. Es ist vorteilhaft, den Fotografen dabei zu unterstützen, dass bei der Verwendung von drei oder mehr der Teilkamera-Module bei der Verstellung der Basisbreite der Abstand von jeweils zwei benachbarten Modulen gleich ist. A more advantageous geometric arrangement of flat modular sub-cameras results when the front lens of the optics is not on a narrow side, but as close to an edge on the adjacent largest surface of the camera body. If the mechanical stacking device is designed so that the longitudinal displacement between the cameras is variable adjustable, so that a variable base width without additional intermediate pieces is possible. It is beneficial to assist the photographer in using three or more of the sub-camera modules in the adjustment of the base width of the distance from each two adjacent modules is the same.

[47] Im einfachsten Fall kann dieses durch konkrete Rastpunkte für diskrete Verschiebungen realisiert werden, so dass es dem Fotografen erleichtert wird, die jeweils gleiche diskrete Verschiebung einzustellen. Noch einfacher handhabbar ist eine mechanische Verkopplung z.B. über Zahnräder und Zahnstangen, wie in Figur 8 für eine Teilkamera beispielhaft eingezeichnet.  [47] In the simplest case, this can be realized by concrete detent points for discrete shifts, so that it is easier for the photographer to set the same discrete shift each. Even easier to handle is a mechanical coupling, e.g. about gears and racks, as shown in Figure 8 for a sub-camera example.

Auch eine durch die jeweiligen Teilkameras synchron vorgenommene Verschiebung über einen elektromechanischen Antrieb stellt dem Fotografen eine besonders bequeme Art der gleichmäßigen Einstellung einer variablen Basisbreite zur Verfügung. Even a synchronized by the respective sub-cameras shift over an electromechanical drive provides the photographer a particularly convenient way of uniform adjustment of a variable base width available.

[48] Mobiltelefone werden in zunehmendem Maße mit Digitalkameras ausgerüstet. Wenn die entsprechenden Optiken an der Schmalseite platziert werden, lässt sich eine ähnliche modula- re Anordnung erreichen. Es ist jedoch ebenfalls möglich, eine erfindungsgemäße 3D-Kamera als Zusatzfunktion eines einzigen Mobilgerätes zu konfigurieren, indem statt der marktüblichen einzelnen Kamera mehrere davon im Gerät integriert werden - siehe Figur 6. [48] Mobile phones are increasingly being equipped with digital cameras. If the corresponding optics are placed on the narrow side, a similar modular arrangement can be achieved. However, it is likewise possible to configure a 3D camera according to the invention as an additional function of a single mobile device by integrating several of these in the device instead of the commercially available individual camera - see FIG. 6.

[49] In den bisher beschriebenen Ausführungsformen sind die Teilkameras jeweils mechanisch unabhängige Einheiten von Optik und Sensor. Es ist jedoch ebenfalls möglich, einzelne Elemente der Kameras mechanisch zu kombinieren. So kann etwa der Verschluss für alle Teilkameras aus einer einzigen mechanischen Einheit bestehen wie bei der analogen Nimslo Kamera der Firma Nimstec aus den 1980er Jahren. Der Verschluss ist beschrieben auf Seite 48 in ISBN 0-939617-00-5: Reel 3-D Enterprises' Guide to the Nimslo 3D Camera, 1988. [49] In the embodiments described so far, the sub-cameras are each mechanically independent units of optics and sensor. However, it is also possible to mechanically combine individual elements of the cameras. For example, the shutter for all sub-cameras can consist of a single mechanical unit as in the Nimstec analog Nimslo camera from the 1980s. The shutter is described on page 48 in ISBN 0-939617-00-5: Reel 3-D Enterprises' Guide to the Nimslo 3D Camera, 1988.

[50] Eine weitere Möglichkeit der mechanischen Kombination besteht aus der Verwendung des gleichen Sensorchips für mehr als eine Teilkamera. In einer möglichen Ausprägung bestehen die Teilkameras z.B. nur noch aus getrennten Optiken, die jeweils unterschiedliche Ausschnitte ein- und desselben großflächigen Bildsensors beleuchten. Auf diese Art und Weise lässt sich die 3D-Kamera über Wechselobjektive, Objektivvorsätze oder austauschbare Frontoptiken für konventionelle Digitalkameras realisieren. Das Wechselobjektiv trägt hier z.B. die Optiken der einzelnen Teilkameras bzw. der Objektivvorsatz entsprechende Spiegel- oder Linsenkonstruktionen. Figur 1 zeigt eine solche Anordnung . [50] Another possibility of mechanical combination consists of using the same sensor chip for more than one sub-camera. In one possible form they exist Subcameras eg only from separate optics, each illuminate different sections of one and the same large-scale image sensor. In this way, the 3D camera via interchangeable lenses, lens attachments or replaceable front optics for conventional digital cameras can be realized. The interchangeable lens carries here, for example, the optics of each sub-cameras or the lens attachment corresponding mirror or lens designs. Figure 1 shows such an arrangement.

[51] Um die Sensorfläche bestmöglich auszunutzen, müssen die Abbilder der Teilobjektive entlang der Längsseite des Sensorchips angeordnet werden. Das bedingt entweder eine Hochformatbzw. Hochkantkonfiguration des zugrundeliegenden Kameragehäuses oder aber Griffmöglichkeiten, um das Gehäuse bequem im Hochformat halten zu können. Derartige Hochformatgriffe sind als Systemzubehör für Spiegelreflexkameras handelsüblich. In der konventionellen Stereofotografie finden für alle drei aufgezählten Ausführungsformen in den 1980er Jahren für die konventionelle Stereofotografie mit horizontaler Anordnung der Aufnahmen - Einzeloptik, Frontoptik oder Vorsatzprisma z.B. unter den Markennamen Stereotar bzw. Steritar des Herstellers Zeiss Ikon.  [51] In order to make the best possible use of the sensor surface, the images of the partial objectives must be arranged along the longitudinal side of the sensor chip. This requires either a portrait format. Upright configuration of the underlying camera body or handle options to comfortably hold the case in portrait orientation. Such portrait grips are commercially available as system accessories for SLR cameras. In conventional stereo photography, for all three enumerated embodiments in the 1980's, conventional stereo photography with horizontal arrangement of the photographs - single optics, front optics or face prism, e.g. under the brand name Stereotar or Steritar of the manufacturer Zeiss Ikon.

[52] Für die vorliegende Aufgabe sind sie allerdings in der handelsüblichen Form nicht sinnvoll verwendbar. Vielmehr müssen deren Konstruktionsparameter so abgeändert werden, dass anstelle der üblicherweise vorgesehenen 6-8cm „Augenabstand" die für den Bereich zwischen 5m und 10m optimale Basisbreite von 2,5cm realisiert wird. Sonderlösungen mit entsprechend verkleinerter Basisbreite existieren zwar bereits unter Varianten der Steritare, sind allerdings ausschließlich für Makro- aufnahmen im kurzen Entfernungsbereich im Sinne eines inversen „Puppenstubeneffektes" gedacht und verwendbar.  [52] For the present task, however, they are not useful in the commercial form. Rather, their design parameters must be modified so that instead of the usually provided 6-8cm "eye relief" the optimum for the range between 5m and 10m base width of 2.5cm is realized special solutions with correspondingly reduced base width already exist under variants of Steritare however, intended and usable exclusively for macro shots in the short distance range in the sense of an inverse "dollhouse effect".

[53] Des Weiteren ist es vorteilhaft, eine größere Anzahl als die in der konventionellen Stereofotografie erzeugten zwei Abbilder zu generieren. Wenn die Längsseite des Bildsensors die Summe aus Basisbreite und Schmalseite eines Teilbildes übersteigt, genügt die Integration weiterer Teilobjektive wie in Figur 1 für den Fall von 3 Teilbildern gezeigt. Wenn der Bildsensor kleiner ist, lassen sich die erwähnten Spiegel- oder Prismenoptiken in der Basisbreite verkleinern. Durch ein Auseinanderziehen der zwei dem Objektiv am nächsten liegenden Spiegel oder Prismen lässt sich zusätzlich ein drittes Teilbild erzeugen, indem das Objektiv durch den entstehenden Zwischenraum die vorausliegende Szene ohne Strahlumlenkung zusätzlich abbildet. [53] Furthermore, it is advantageous to generate a larger number than the two images generated in conventional stereo photography. If the long side of the image sensor the Exceeds the sum of base width and narrow side of a field, the integration of further partial lenses is sufficient as shown in Figure 1 for the case of 3 fields. If the image sensor is smaller, the mentioned mirror or prism optics in the base width can be reduced. By pulling apart the two mirrors or prisms closest to the lens, it is additionally possible to produce a third partial image in that the objective additionally images the preceding scene without beam deflection by means of the resulting intermediate space.

[54] Eine weitere Möglichkeit, optische Elemente für Teilkameras gemeinsam zu nutzen ist die Verwendung mehrerer über einander liegender Aperturblenden, die objektseitig eine gemeinsame und sensorseitig individuelle Optik verwenden. Dieses ist für den Fall dreier Optiken in US 20080204900 beschrieben.  Another way to share optical elements for sub-cameras is the use of multiple overlapping aperture, the object side use a common and sensor-side individual optics. This is described for the case of three optics in US 20080204900.

[55] Eine besonders einfache Lösung der gestellten Aufgabe ergibt sich, wenn in der zu fotografierenden Szene keine Bewegung auftritt oder eine periodische Bewegung von Szenenelementen zusätzlich zur gewollten periodischen Bewegung der Kamerahöhe nicht stört. In einem solchen Fall kann ein übliches Objektiv-Design verwendet werden, bei dem die Eintrittspupille bei voll geöffneter Blende um ca. 1/3 größer ist als die gewünschte Bewegungsamplitude. Ersetzt man jetzt die Blende des Objektivs durch eine in der Höhe verschiebbare Blende höchstens 1/3 der Maximalblende und verschiebt die Blende mit dem gewünschten niederfrequenten weichen, periodischen Bewegungsmuster, so erzeugt das Objektiv in der Bildebene genau die gewünschte zeitliche Bildsequenz, welche vom Sensor aufgenommen und nachfolgend aufgezeichnet werden kann.  [55] A particularly simple solution to the problem arises if no movement occurs in the scene to be photographed or a periodic movement of scene elements in addition to the desired periodic movement of the camera height does not bother. In such a case, a conventional lens design can be used, in which the entrance pupil is about 1/3 larger than the desired amplitude of movement with fully open aperture. If one replaces the aperture of the lens by a height-shiftable aperture at most 1/3 of the maximum aperture and shifts the aperture with the desired low-frequency soft, periodic motion pattern, the lens generates in the image plane exactly the desired temporal image sequence, which was recorded by the sensor and can be recorded subsequently.

[56] Eine weitere Lösung der gestellten Aufgabe, bei denen nur ein einzelnes Objektiv für die Erzeugung diskreter in der Augpunkthöhe gestaffelter Einzelbilder ausreicht besteht in der Anwendung des plenoptischen Prinzips wie beschrieben in "Single Lens Stereo with a Plenoptic Camera", by Adelson and Wang, IEEE Transactions on Pattern Analysis and Machine Intel- ligence, vol. 14, No. 2, pp. 99-106, Feb. 1992. Erforderlich ist wiederum ein Standard-Objektiv, dessen Eintrittspupille bei größter Öffnung die Amplitude der zu erzeugende Vertikalbewegung deutlich übersteigt. Funktionsbestimmendes Element ist ein Bildsensor, der hochkant in der Abbildungsebene der Optik sitzt mit horizontal auf der Oberfläche angeordnete zylindrischen Lentikularlinsen, von denen jede die aus dem Objektiv eintreffenden Lichtstrahlen auf mindestens n einzelne Zeilen verteilen (wobei n die Anzahl der gewünschten Teilbilder der unterschiedlichen vertikalen Aufnahmepositionen innerhalb der Eingangspupille darstellt) . Zur Erzeugung einer vertikal und horizontal homogenen Bildschärfe ist eine über die erwähnte Veröffentlichung hinausgehende Veränderung des Strahlengangs erforderlich. Die Blendenöffnung muss in horizontaler Richtung die gleiche Unschärfe erzeugen, die auch ein Teilbild in vertikaler Richtung erhält. Dieses kann z.B. dadurch erreicht werden, dass die Standardblende des Objektivs durch eine rechteckige Blende ergänzt oder ersetzt wird, welche in der Höhe die volle Öffnung der Standardblende aufweist und in der Breite dem gegenüber um den Faktor n verkleinert wird. Besonders vorteilhaft für die universelle Verwendung der Kamera ist es, wenn der Fotograf das Linsenraster-Array und die rechteckige Blende bei Bedarf einsetzen oder entfernen kann und so eine Standardkamera mit großer Blendenöffnung innerhalb kurzer Zeit in eine erfindungsgemäße 3D-Kamera umkonfigurieren kann. Da der Abstand des Linsenraster-Arrays vom Bildsensor nur wenige Mikrometer beträgt, ist ein solcher Austausch allerdings sehr anfällig für Störungen - etwa durch Staub. Diese Gefahr kann dadurch vermieden werden, dass eine Relais-Optik ein reelles Bild in einer Zwischenebene erzeugt und der Fotograf das Linsenraster wenige Mikrometer von diesem reellen Bild entfernt anbringen kann oder dadurch, dass die Kamera so ausgelegt wird, dass der gesamte konventionelle Sensor durch einen zweiten Sensor mit aufgebrachtem Linsenraster ersetzt wird. Da auf dem Sensor mit Linsenraster das Bild mehrfach aus nur leicht unterschiedlicher Perspektive erzeugt wird, ist die erzielbare Bildqualität sehr viel unempfindlicher gegenüber typischen Sensorfehlern wie Hotpixel, etc. Es kann also mit dem Linsenraster ein mit mehr Fehlpixeln und deshalb preiswerterer Sensor verbaut werden, als für konventionelle fotografische Zwecke. Es ist weiterhin vorteilhaft, für die Erfassung von Farben auf dem Bildsensor ein anderes als das übliche Bayer- Muster zu verwenden, z.B. vertikale, durchgehende, ein Pixel breite Streifen abwechselnd in den Farben Rot, Grün, Blau bzw. Rot, Grün, Blau, Grün. Eine derartige Anordnung erhöht zu einen die Auflösung in Vertikalrichtung und damit auch die Bestimmbarkeit der für den Eindruck wichtigen Vertikalbewegung. Die Auflösungserhöhung in Vertikalrichtung geht auf Kosten der Horizontalauflösung und führt damit zu einem ausgewogeneren Gesamteindruck, da die Vertikalauflösung durch das Linsenraster, welches das Bild in verschränkte Teilbilder aufteilt, von sich aus bereits gegenüber der Horizontalauflösung reduziert ist . [56] A further solution of the stated problem, in which only a single lens is sufficient for generating discrete frames staggered in the eye-point height, consists in the application of the plenoptic principle as described in "Single Lens Stereo with a Plenoptic Camera", by Adelson and Wang , IEEE Transactions on Pattern Analysis and Machine Intel- ligence, vol. 14, no. 2, pp. 99-106, Feb. 1992. In turn, a standard objective lens is required, the entrance pupil of which at the greatest aperture clearly exceeds the amplitude of the vertical movement to be generated. The function-determining element is an image sensor which sits upright in the imaging plane of the optics with cylindrical lenticular lenses arranged horizontally on the surface, each of which distributes the light rays arriving from the objective onto at least n individual lines (where n is the number of desired partial images of the different vertical acquisition positions within the entrance pupil). To produce a vertically and horizontally homogeneous image sharpness, a change of the beam path that goes beyond the mentioned publication is required. The aperture must produce the same blur in the horizontal direction, which also receives a partial image in the vertical direction. This can be achieved, for example, by supplementing or replacing the standard diaphragm of the objective with a rectangular diaphragm which has the full aperture of the standard diaphragm in its height and which is reduced in width by a factor of n compared to the other. It is particularly advantageous for the universal use of the camera if the photographer can insert or remove the lenticular array and the rectangular aperture as needed and so reconfigure a standard camera with a large aperture in a short time in a 3D camera according to the invention. However, since the distance of the lenticular array from the image sensor is only a few microns, such an exchange is very susceptible to interference - such as dust. This hazard can be avoided by having a relay optic create a real image in an intermediate plane and the photographer can mount the lenticular a few microns away from this real image, or by designing the camera so that the entire conventional sensor passes through one second sensor is replaced with applied lenticular. As on the sensor with lenticular the picture multiple times only slightly different perspective is generated, the achievable image quality is much less sensitive to typical sensor errors such as hot pixels, etc. So it can be installed with the lenticular grid with more false pixels and therefore cheaper sensor, as for conventional photographic purposes. It is also advantageous to use for the detection of colors on the image sensor other than the usual Bayer pattern, for example, vertical, continuous, one pixel wide stripes alternately in the colors red, green, blue or red, green, blue, Green. Such an arrangement increases the resolution in the vertical direction and thus also the determinability of the vertical movement that is important for the impression. The increase in resolution in the vertical direction comes at the expense of horizontal resolution and thus leads to a more balanced overall impression, since the vertical resolution is reduced by the lenticular, which splits the image into interlaced fields, already compared to the horizontal resolution.

[57] Das oben zunächst beschriebene einfache Verfahren zur Erzeugung und Bearbeitung des Bildmaterials beruht darauf, dass durch eine geeignete Anordnung von Teilkameras mit vorgegebenen nicht-äquidistanten Abständen und der direkten Wiedergabe der von diesen Teilkameras aufgenommenen Bilder in einer Sequenz der gewünschte weiche Bewegungsablauf realisiert wird. Für Design, Fertigung und Nutzung einer 3D-Kamera ist es jedoch vorteilhafter, wenn die Vertikalabstände der Teilkameras nicht im Vorhinein auf den weichen sinusförmigen Verlauf der zu generierenden Bildsequenz eingerichtet werden müssen, sondern frei wählbar sind. Zwei weitere Varianten des Verfahrens, welche dieses gewährleisten finden sich in den folgenden Beschreibungen.  [57] The above-described simple method for generating and processing the image material is based on the fact that the desired smooth motion sequence is realized in a sequence by a suitable arrangement of sub-cameras with predetermined non-equidistant distances and the direct reproduction of the images taken by these sub-cameras , For design, manufacture and use of a 3D camera, however, it is more advantageous if the vertical distances of the sub-cameras need not be set in advance to the soft sinusoidal profile of the image sequence to be generated, but are freely selectable. Two other variants of the method which ensure this can be found in the following descriptions.

[58] Die zweite Variante des Verfahrens besteht darin, die Bildwiederholfrequenz per se sehr viel höher zu wählen als die Präsentationsdauer der Teilbilder. Dieses ermöglicht, dass die Bilder k0,..., kn-i von n Teilkameras, die in einem frei wählbaren, z.B. äquidistantem vertikalen Abstand d0,...,dn von der Symmetrieebene der vertikalen Sinusbewegung angeordnet sind durch Wiederholungen für eine jeweils unterschiedliche Dauer präsentiert werden können. Eine weiche Sinusbewegung wird jetzt dadurch angenähert, dass für dass an der Stelle i der zu generierenden periodischen Bildfolge b0, i, bm-x dasjenige am besten passende Teilbild kj eingesetzt wird, d.h. für das The second variant of the method is to select the refresh rate per se much higher than the presentation time of the fields. This allows the Images k 0 , ..., k n -i of n sub-cameras, which are arranged in a freely selectable, eg equidistant vertical distance d 0 , ..., d n from the plane of symmetry of the vertical sinusoidal movement by repetitions for a different duration can be presented. A soft sinusoidal motion is now approximated by the fact that for the periodic image sequence b 0 , i, b m -x to be generated, the one most suitable partial image k j is inserted at the position i, ie for the

[59] I kj-b (cos (2pi* ( j+0, 5) /m) ) /2 I minimal wird. Die Bildwiederholfrequenz wird dabei so gewählt, dass m größer ist als 2*n. [59] I k j -b (cos (2pi * (j + 0, 5) / m)) / 2 I becomes minimal. The refresh rate is chosen so that m is greater than 2 * n.

[60] Die dritte und letzte Variante des Verfahrens besteht darin, dass bei der Wiedergabe der Sequenz nicht nur die direkt durch die Teilkameras aufgenommen Bilder verwendet werden, sondern Zwischenbilder interpoliert werden. Dabei sind die vertikal übereinanderliegenden Kameras in Anzahl und Position wesentlich weniger strikt festgelegt als bei den zwei bisher beschriebenen Varianten. Methoden und Verfahren zur Bildinterpolation sind aus diversen Anwendungen bekannt. Die einfachsten Lösungen finden sich in marktüblichen Fernsehern mit „lOOHz-Technologie" bei denen Zwischenbilder durch Interpolation bestimmt werden. Derartige Bildinterpolationsverfahren beruhen typischerweise darauf, dass in einem ersten The third and last variant of the method consists in the fact that not only the images taken directly by the sub-cameras are used in the reproduction of the sequence, but intermediate images are interpolated. The vertically superimposed cameras in number and position are much less strictly defined than in the two variants described so far. Methods and methods for image interpolation are known from various applications. The simplest solutions are found in commercially available televisions with "100 Hz technology" in which intermediate images are determined by interpolation.Such image interpolation methods are typically based on that in a first

Schritt der optische Fluss der Bildfolge berechnet wird, die Zwischenbilder entstehen dadurch, dass die Flussvektoren durch Interpolation und Glättung vervollständigt und proportional verkleinert werden und das jeweilige interpolierte Zwischenbild aus den derart verkleinerten Flussvektoren rekonstruiert wird. Die Objekte im Bild haben in den interpolierten Zwischenbildern dadurch nur eine proportional verkleinerte Strecke zurückgelegt. Diese bekannten Verfahren zur Flussberechnung lassen Objektbewegungen in beliebige Richtungen auf der zweidimensionalen Bildebene zu. Da es sich bei den Bildern der Teilkameras jedoch um vertikal angeordnete Stereo-Bild- paare handelt, ist die mögliche Bewegungsrichtung der Objekte zwischen den Teilbildern auf die jeweiligen Epipolarlinien begrenzt. Es sind deshalb zur Interpolation der Teilbilder statt der beschriebenen zweidimensionalen Berechung des optischen Flusses bekannte Verfahren zur Berechnung von Zwischenansichten aus Stereobildpaaren besser geeignet, wie sie z.B. für den Fall einer horizontale Kameraanordnung aus der Videokonferenz bekannt sind. Da es bei der Aufgabenstellung in der Foto anders als bei Videokonferenzen auf Echtzeitfähigkeit der Berechnung nicht ankommt, kann man bei der Realisierung der Verfahren zusätzlichen Wert auf die Bildqualität legen. So ist es vorteilhaft, wenn die Berechnung der Objektverschiebung im Bild auf Bruchteile von Pixelpositionen (subpixel-) genau erfolgen und die Ergebnisbilder durch dem Fachmann bekannte „Super-Resolution" Verfahren in Bildrauschen und Schärfe optimiert werden. Eine einfache und bekannte Methode, Subpixelge- nauigkeit zu erhalten ist, alle Ausgangsbilder durch Interpolation zu vergrößern - etwa um einen linearen Faktor 2 oder 4, auf die vergrößerten Bilder die bekannten pixelgenauen Algorithmen anzuwenden und die zeitlich interpolierten Ergebnisbilder wieder um den gleichen Faktor zu verkleinern. Step, the optical flow of the image sequence is calculated, the intermediate images are formed by the fact that the flow vectors are completed by interpolation and smoothing and proportionally reduced and the respective interpolated intermediate image is reconstructed from the thus reduced flow vectors. As a result, the objects in the image have traveled only a proportionally reduced distance in the interpolated intermediate images. These known methods for flux calculation allow object movements in arbitrary directions on the two-dimensional image plane. However, since the images of the sub-cameras are vertically arranged stereo image couples, the possible direction of movement of the objects between the sub-images is limited to the respective epipolar lines. Therefore, instead of the described two-dimensional calculation of the optical flow, known methods for calculating intermediate views from stereo image pairs are better suited for interpolating the partial images, as are known, for example, in the case of a horizontal camera arrangement from the video conference. Since, in contrast to video conferencing, the real-time capability of the calculation is not important for the task in the photo, it is possible to place additional value on the image quality when implementing the method. Thus, it is advantageous if the calculation of the object shift in the image is carried out to fractions of pixel positions (subpixel-) exactly and the resulting images are optimized by super-resolution methods known to the person skilled in the art in image noise and sharpness. To obtain accuracy is to enlarge all output images by interpolation - about a linear factor 2 or 4, apply to the enlarged images the known pixel-precise algorithms and to reduce the temporally interpolated result images again by the same factor.

[61] Eine weitere Maßnahme zur Verbesserung der aus der Interpolation resultierenden Bildqualität gegenüber bekannten Verfahren für Videokonferenzsysteme wird dadurch erreicht, dass statt üblicher Korrelationsverfahren zur Berechnung der Disparitäten und nachfolgender Filter- und Glättungsschritte langsamere, dafür aber präzisere global optimierende Verfahren zur Berechnung wesentlich dichterer rauscharmer Disparitätswerte verwendet werden. Beispiel für ein brauchbares derartiges Verfahren ist z.B. veröffentlicht in Heiko Hirschmüller, Frank Schölten, Gerd Hirzinger: Stereo Vision Based Reconstruction of Huge Urban Areas from an Airborne Pushbroom Camera (HRSC) . DAGM-Symposium 2005: 58-66. Another measure to improve the resulting from interpolation image quality over known methods for video conferencing systems is achieved in that instead of conventional correlation method for calculating the disparities and subsequent filtering and smoothing slower, but more precise global optimizing method for calculating much denser low-noise Disparity values are used. An example of such a useful method is e.g. published in Heiko Hirschmuller, Frank Scholten, Gerd Hirzinger: Stereo Vision Based Reconstruction of Huge Urban Areas from Airborne Pushbroom Camera (HRSC). DAGM Symposium 2005: 58-66.

[62] Eine weitere Maßnahme zur Verbesserung der aus der Interpolation resultierenden Bildqualität gegenüber bekannten Ver- fahren für VideokonferenzSysteme wird dadurch erreicht, dass statt der Berücksichtigung von zwei Stereobildern drei oder mehr Aufnahmen zur Berechnung der Disparität herangezogen werden, für drei Aufnahmepositionen sind die entsprechenden Verfahren unter der Bezeichnung trinokulares Stereo bekannt. [62] Another measure to improve the image quality resulting from the interpolation compared to known Driving for videoconferencing systems is achieved by using three or more recordings to calculate the disparity instead of taking two stereo images into account. For three recording positions, the corresponding methods are known as trinocular stereo.

[63] Für die Wahl der durch Interpolation zu rekonstruierenden vertikalen Kamerapositionen der Zwischenbilder gilt das gleiche wie für die zuvor beschriebenen nicht-äquidistanten Positionen der realen Teilkameras einschließlich der oben für die Vertikalposition angegebenen Formel. [63] The same applies to the selection of the vertical camera positions of the intermediate images to be reconstructed by interpolation as for the previously described non-equidistant positions of the real sub-cameras, including the formula given above for the vertical position.

[64] dn = b (cos (2pi* (n+0, 5) /K) ) /2 [64] d n = b (cos (2pi * (n + 0, 5) / K)) / 2

[65] dn bezeichnet in diesem Fall die rekonstruierte Vertikalposition des n-ten Bildes der periodischen Bildfolge, K die Länge der Periode. Dieses wird wie angegeben durch Interpolation der realen Bilder aus den darüber und darunter liegenden Teilkameras berechnet. [65] d n in this case denotes the reconstructed vertical position of the n-th image of the periodic image sequence, K the length of the period. This is calculated as indicated by interpolation of the real images from the above and below sub-cameras.

Für eine unaufdringliche 3D-Darstellung wird die Amplitude b wird so gewählt, dass die resultierende Bewegung im Bild 1% der Bildhöhe nicht überschreitet. Die Anzahl der realen Teilkameras beträgt bei dieser Vorgehenswiese mindestens zwei. Der Abstand der äußeren Teilkameras wird dabei so gewählt, dass die vertikale Kameraposition der interpolierten sinusförmige Vertikalbewegung stets über oder auf der Position der untersten und unter oder auf der Position der obersten Teilkamera liegt. Eine Verwendung von mehr als zwei Teilkameras ist vorteilhaft, da dadurch die interpolierten Verschiebungen für die Zwischenbilder kleiner werden und weniger Mehrdeutigkeiten und Artefakte in den Ergebnisbildern auftreten, dieses gilt insbesondere für komplizierte Verdeckungssituationen, bei denen Teile des Hintergrundes nur durch kleine Aussparungen in Vordergrundobjekten sichtbar sind oder wenn sich Reflexe an gekrümmten Oberflächen im Bild befinden. Generell erfordert die korrekte Darstellung der relativen Verschiebung eines Vordergrundes mit Aussparungen der Höhe h vor einem stationären Hin- tergrund eine Maximalentfernung von h/2 zwischen den Vertikalpositionen der Aufnahmen. For an unobtrusive 3D rendering, the amplitude b is chosen so that the resulting motion in the image does not exceed 1% of the image height. The number of real sub-cameras in this procedure is at least two. The distance of the outer sub-cameras is chosen so that the vertical camera position of the interpolated sinusoidal vertical movement is always above or at the position of the lowest and lower or on the position of the uppermost sub-camera. Using more than two sub-cameras is advantageous because it reduces the interpolated shifts for the intermediate images and results in less ambiguity and artifacts in the resulting images, especially in complicated occlusion situations where parts of the background are visible only through small recesses in foreground objects or if there are reflections on curved surfaces in the image. In general, the correct representation of the relative displacement of a foreground with recesses of height h requires a stationary approach. background a maximum distance of h / 2 between the vertical positions of the images.

[66] Eine besonders flexible Ausführung ergibt sich, wenn geometrisch sehr kleine Kameras, etwa Wafer-Level-Kameras als Teilkameras in kürzestmöglichem Abstand in einer Länge von mehreren Zentimetern übereinander angeordnet werden. Durch Auswahl der für eine Sequenz jeweils passenden Teilkameras und ggf. zusätzlicher Interpolation in der beschriebenen Art und Weise lässt sich so eine der Szene angepasste vertikal oszillierende Bildfolge erzeugen. Bei näherer Betrachtung zeigt sich jedoch, dass die volle Bestückung gar nicht erforderlich ist :  A particularly flexible design is obtained when geometrically very small cameras, such as wafer-level cameras as sub-cameras in the shortest possible distance in a length of several centimeters are arranged one above the other. By selecting the respectively appropriate for a sequence sub-cameras and possibly additional interpolation in the manner described can thus create a scene adapted vertical oscillating image sequence. On closer inspection, however, shows that the full assembly is not required:

[67] eine besonders vorteilhafte Ausführung ergibt sich, wenn die Abstände der Teilkameras von unten nach oben (bzw. umgekehrt) progressiv wachsen, so dass z.B. an den Positionen 0cm, l,5cmm 3cm, 9cm, 16cm. Teilkameras montiert sind. Mit nur fünf Teilkameras lässt sich so nachträglich ein Bereich der Basisbreite von 0cm bis 16cm stufenlos realisieren und der 3D- Effekt an die aufgenommene Szene anpassen. Eine variable Abstandseinstellung zwischen den Teilkameras für den Fotografen, wie zuvor beschrieben, wird dadurch überflüssig.  [67] a particularly advantageous embodiment results when the spacings of the sub-cameras grow progressively from bottom to top (or vice versa), so that e.g. at the positions 0cm, l, 5cmm 3cm, 9cm, 16cm. Subcameras are mounted. With only five sub-cameras, a range of the base width of 0cm to 16cm can be subsequently infinitely realized and the 3D effect can be adapted to the recorded scene. A variable distance adjustment between the sub-cameras for the photographer, as described above, is thereby unnecessary.

[68] Es ist naheliegend, bei den hier beschriebenen 3D-Kameras übliche Farbsensoren zu verwenden, jedoch ist die Verwendung von Farbfiltern im Vergleich mit reinen Schwarz/Weiß Sensoren mit einem erheblichen Verlust an Empfindlichkeit verbunden. Insbesondere bei der Verwendung extrem miniaturisierter Wafer- Level-Kameras führt dieser Verlust zu einem merklichen Bildrauschen und Verlust an Dynamik. Es ist deshalb vorteilhaft, bei Teilkameras mit Miniaturoptiken die Farbfilter nicht als Mosaik auf den einzelnen Sensoren vorzusehen, sondern die Anzahl der Wafer-Level-Kameras zu vervielfachen und durch Verwendung z.B. von Vorsatzfiltern auf bestimmte Farben bzw. Dynamikbereiche zu spezialisieren. Figur 5 zeigt eine Anordnung, bei der jeweils Gruppen von vier derartigen Einzelkameras mit unterschiedlicher Farbempfindlichkeit (z.B. gesamtes Spektrum (106), rot (105), blau(108), grün(107) direkt nebeneinander angeordnet sind und vier derartige Gruppen sich vertikal übereinander befinden. Die fünf Einzelkamera-Gruppen generieren hier jeweils ein Farbbild, die vier Gruppen also Farbbilder von fünf vertikal übereinanderliegenden Aufnahmepositionen, die in der Weiterverarbeitung so behandelt werden, wie zuvor für die Aufnahmen kompletter Teilkameras mit einer einzigen farbtauglichen Optik beschrieben. [68] It is obvious to use common color sensors in the 3D cameras described here, but the use of color filters is associated with a significant loss of sensitivity compared to pure black / white sensors. Especially with the use of extremely miniaturized wafer-level cameras, this loss leads to noticeable image noise and loss of dynamics. It is therefore advantageous, in partial cameras with miniature optics, not to provide the color filters as a mosaic on the individual sensors, but to multiply the number of wafer-level cameras and to specialize, for example, by using intent filters for specific colors or dynamic ranges. Figure 5 shows an arrangement in which groups of four such single cameras with different color sensitivities (eg entire spectrum (106), red (105), blue (108), green (107) are arranged directly next to each other and four such groups are vertically stacked on top of each other.) The five individual camera groups each generate one color image, the four Groups thus color images of five vertically superimposed recording positions, which are treated in the processing as previously described for recording complete sub-cameras with a single color-suitable optics.

[69] Die extreme Miniaturisierung der Aufnahmeelemente als Wa- fer-Level-Kameras erlaubt hier sogar eine noch größere Flexibilität für den Fotografen dadurch, dass die gesamte Anordnung von fünf übereinanderliegenden Teilkameras ä je vier Einzelkameras mit einer z.B. um den Faktor 2 vergrößerten Brennweite ein zweites Mal verbaut wird. Der Fotograf kann noch nach der Aufnahme auswählen, welche Brennweite er für die Aufnahme verwenden möchte. Statt der zuvor beschriebenen Zusammenfassung von je vier Kameras zu einer farbtauglichen Teilkamera sind natürlich auch andere Formen der Aufbereitung der Einzelkamera-Signale möglich, z.B. können auch zunächst die Bildsignale der Einzelkameras mit jeweils gleicher spektraler Empfindlichkeit so wie zuvor beschrieben kombiniert und das Farbbild aus den Ergebnissen dieses Berechnungsschrittes zusammen- gefasst werden.  [69] The extreme miniaturization of the recording elements as wafer-level cameras even allows even greater flexibility for the photographer in that the entire arrangement of five superimposed sub-cameras, each with four individual cameras, with one e.g. 2 times the focal length increased by a factor of 2. The photographer can still choose the focal length he wants to use after shooting. Of course, other forms of processing the single-camera signals are possible, for example, instead of the previously described combination of four cameras each into a color-capable partial camera, e.g. For example, the image signals of the individual cameras, each with the same spectral sensitivity, can also be combined as described above, and the color image can be combined from the results of this calculation step.

[70] Das erfindungsgemäße 3D Aufnahme- und Wiedergabeverfahren bewirkt nur deshalb einen räumlichen Eindruck beim Betrachter, weil die menschliche Wahrnehmung in der Lage ist, auch kleinste vertikale Bewegungen der dargestellten Bildfolge zu differenzieren und als Objektabstand zu interpretieren. Insbesondere bei einer erfindungsgemäßen Wahl einer besonders kleinen Frequenz der Vertikalbewegung von unter 2 Hz für eine optimale Bildwirkung wird eine unerwünschte negative Auswirkung dieser extremen Wahrnehmungsempfindlichkeit besonders deutlich: noch viel ausgeprägter als bei der klassischen Stereowiedergabe führen auch kleinste Unterschiede der optischen Eigenschaften der bei der Aufnahme verwendeten Optiken und Sensoren unkor- rigiert zu irritierenden Bewegungs-, Flacker- und Wackeleffekten . [70] The 3D recording and reproducing method according to the invention causes a spatial impression in the observer only because the human perception is able to differentiate even the smallest vertical movements of the displayed image sequence and to interpret them as an object distance. In particular, with a choice according to the invention of a particularly small frequency of the vertical movement of less than 2 Hz for optimum image effect, an undesirable negative effect of this extreme perception sensitivity becomes particularly clear: even more pronounced than in the case of classical stereo reproduction Even the smallest differences in the optical properties of the optics and sensors used in the recording process lead to irritating movement, flickering and wobbly effects.

[71] Um derartige Irritationen zu vermeiden müssen die Bilder der Teilkameras bis auf die gewollte Vertikalverschiebung sehr ähnlich sein bzw. durch Vorverarbeitung einander angeglichen werden. Die geforderte Ähnlichkeit in Helligkeit und Farbwiedergabe und Aufnahmezeitpunkt wird am vorteilhaftesten durch die Verwendung identischer Sensoren, Optiken, Blendenöffnung, Brennweite und Fokussierung und der gleichzeitigen Auslösung aller Teilkameras mit identischer Belichtungszeit erreicht. In order to avoid such irritations, the images of the sub-cameras must be very similar except for the desired vertical displacement or be adjusted by pre-processing each other. The required similarity in brightness and color reproduction and recording time is achieved most advantageously by the use of identical sensors, optics, aperture, focal length and focus and the simultaneous triggering of all sub-cameras with identical exposure time.

[72] Ungewünschte Bewegungseindrücke im Bild, die in der Regel auf fertigungsbedingt unvermeidliche leicht unterschiedliche Brennweiten und Verzerrungen der Optiken zurückzuführen sind, können dadurch behoben werden, dass die Verzerrungen durch eine geometrische Vorverarbeitung der Bilder kompensiert werden. Sowohl zur Bestimmung der geometrischen Verzeichnungsparameter der Teilkameras als auch zur nachträglichen Entzerrung der mit der 3D-Kamera vorgenommenen Bildaufnahmen unter Verwendung eben dieser zuvor bestimmten Verzeichnungsparameter kann der Fachmann z.B. gängige Software-Programme zum sogenannten „Stitchen" von Panorama-Aufnahmen verwenden, z.B. die von Helmut Dersch, FH Furtwangen, im Internet publizierten und vielfach verwendeten Panorama-Tools in Verbindung mit einem Frontend wie z.B. PTGUI der „New House Internet Services BV" . [72] Unwanted image motion inaccuracies, which are usually due to production-related unavoidable slightly different lens focal lengths and distortions, can be resolved by compensating for the distortions through geometric preprocessing of the images. Both for the determination of the geometric distortion parameters of the sub-cameras and for the subsequent equalization of the image recordings made with the 3D camera using precisely these previously determined distortion parameters, the person skilled in the art can e.g. Common software programs for so-called "stitching" of panoramic recordings use, for example, by Helmut Dersch, FH Furtwangen, published on the Internet and widely used panoramic tools in conjunction with a front-end such as PTGUI the "New House Internet Services BV".

[73] Im Gegensatz zum vorgesehenen Anwendungszweck derartiger Programme, dem Zusammenfügen von in unterschiedlichen Raumrichtungen aufgenommener Einzelaufnahmen wird hier die geometrische und ggf. Färb- und Helligkeitskorrektur von Einzelaufnahmen in identischer Aufnahmerichtung bewerkstelligt. Die Bestimmung der Verzeichnungsparameter erfolgt allerdings nach wie vor auf bekannte Art und Weise über Aufnahmen - bevorzugt von weit entfernten Objekten in unterschiedliche Raumrichtungen. Der Fachmann wird mit der 3D-Kamera Aufnahmen einer bildfüllend kontrastreichen, in einem Abstand von mehr als 50m entfernten Szene in unterschiedliche Richtungen, etwa von Aussichtsturm herab, anfertigen. Einzelne Aufnahmen variieren hierbei idealerweise um +/- 25% der Bildbreite und -höhe gegenüber einer zentralen Aufnahmerichtung . Schließlich wird er sämtliche Aufnahmen sämtlicher Teilkameras in die Panoramasoftware einlesen und korrespondierende Bildpunkte automatisch bestimmen lassen und ggf. manuell nachkorrigieren. Daraufhin wird der Fachmann schrittweise nacheinander die Verzeichnungsparameter jeder einzelnen Teilkamera für die in der Software realisierte Bündelausgleichsrechnung freigeben und so berechnen lassen. Eine andere Möglichkeit zur Berechnung und Applikation der Verzeichnungsparameter findet man in der frei verfügbaren, weit verbreiteten und offenen Bildverarbeitungsbibliothek „Opencv", abrufbar unter www.willowgarage.com. Die dort beschriebenen Verfahren sind insoweit weniger aufwendig als der zuvor beschriebene Weg der Nutzung von Panorama- Software, weil hier keine Aufnahmen über Entfernungen von 50m notwendig sind, sondern ein vorgefertigtes Schachbrettmuster über geringere Entfernungen von üblicherweise weniger als 5m aufgenommen wird. [73] In contrast to the intended use of such programs, the joining of recorded in different spatial directions single shots here the geometric and, if necessary, color and brightness correction of individual shots in identical recording direction accomplished. However, the determination of the distortion parameters is still done in a known manner via recordings - preferably from distant objects in different spatial directions. The person skilled in the art will use the 3D camera to take pictures of a scene that is full of high-contrast images at a distance of more than 50 m in different directions, for example from the observation tower. In this case, individual images ideally vary by +/- 25% of the image width and height compared to a central recording direction. Finally, he will read in all the images of all sub-cameras in the panorama software and have corresponding pixels automatically determined and possibly nachkorrigieren manually. Subsequently, the expert will gradually release the distortion parameters of each individual sub-camera for the bundle-compensation calculation realized in the software and can thus be calculated. Another possibility for calculating and applying the distortion parameters can be found in the freely available, widely used and open image processing library "Opencv", available at www.willowgarage.com The methods described there are less complicated than the previously described method of using Panorama - Software, because it does not take recordings over distances of 50m, but instead acquires a prefabricated checkerboard pattern over smaller distances, usually less than 5m.

[74] Erfindungsgemäß werden mit dieser oder einer anderen Methode bestimmte Verzeichnungsparameter aller Teilkameras in einem Datenspeicher abgelegt. Die Verzeichnungsparameter bestehen aus den so genannten „internen Kameraparametern", welche die optischen und geometrischen Eigenschaften jeder einzelnen Teilkamera beschreiben und den „externen Kameraparametern", welche die Lage der Kameras im Raum - idealerweise bezogen auf die Position einer der Teilkameras - wiedergeben.  [74] According to the invention, certain distortion parameters of all sub-cameras are stored in a data memory with this or another method. The distortion parameters consist of the so-called "internal camera parameters", which describe the optical and geometric properties of each individual sub-camera and the "external camera parameters", which represent the position of the cameras in the room - ideally based on the position of one of the sub-cameras.

[75] Der Inhalt des Datenspeichers wird später bei der Aufbereitung aufgenommener Bilder zur 3D-Sequenz abgerufen und bei deren Entzerrung und Farbangleichung auf die gleiche Art einberechnet, wie in der oben erwähnten handelsüblichen Pano- ramasoftware bei der Generierung der entzerrten und korrigierten Teilbilder vornimmt. [75] The contents of the data memory are retrieved later during the processing of recorded images into the 3D sequence and are included in their equalization and color matching in the same way, as in the above-mentioned commercial Pano ramasoftware during the generation of the corrected and corrected partial images.

[76] Wegen der Empfindlichkeit der menschlichen Wahrnehmung auf Änderungen im Bild ist es wie beschrieben besonders wichtig, dass die Aufnahmen der Teilkameras zum genau gleichen Zeitpunkt erfolgen. Jegliche Bewegung von Objekten im Bild zwischen den Aufnahmen würde sonst als periodische Irritationen erscheinen - so würden z.B. Wolkenbewegungen zwischen den einzelnen Aufnahmen als periodische Vorwärts- und Rückwärtsbewegungen irritieren. Trotz dieser Einschränkung ist es jedoch hilfreich, auch Aufnahmen, die zu leicht unterschiedlichen Zeitpunkten entstanden sind, in die Berechnung der periodischen 3D Animation mit einzubeziehen, um die Informationsmenge in Bereichen der Szene, die sich nicht bewegt haben, zu erhöhen .  [76] Because of the sensitivity of human perception to changes in the image, it is particularly important, as described, that the images of the sub-cameras are taken at exactly the same time. Any movement of objects in the image between shots would otherwise appear as periodic irritations - e.g. Cloud movements between the individual images irritate as periodic forward and backward movements. However, despite this limitation, it may be helpful to include shots that were taken at slightly different times in the calculation of the periodic 3D animation to increase the amount of information in areas of the scene that did not move.

[77] Ein möglicher Kompromiss zwischen beiden Forderungen besteht darin, die Kamera - z.B. bestehend aus vier Teilkameras im Abstand von jeweils 2cm - auf einem Stativ zu montieren, eine erste Aufnahme anzufertigen und die Kamera danach vertikal um z.B. lern in der Höhe zu verfahren. Bei der Berechnung der interpolierten Bilder werden die ersten 4 Aufnahmen als „Master" zur Berechnung der vertikalen Bewegung verwendet. In den Bereichen der Szene, an denen die Software keine Veränderung der ersten gegenüber der zweiten Aufnahme feststellt, werden die zweiten vier Aufnahmen der Teilkameras zusätzlich zur Berechnung mit herangezogen. Die Nutzung eines derartigen Aufnahmeverfahrens wird für den Fotografen besonders einfach, wenn er die Verschiebung zwischen den Aufnahmen nicht am Stativ einstellen muss, sondern eine Vertikalverstellung um einen oder mehrere festgelegte oder einstellbare Beträge (im Beispiel 1cm) bereits in die Stativbefestigung der Kamera oder in einem Adapter zwischen Stativ und Kamera integriert ist.  [77] A possible compromise between the two requirements is that the camera - e.g. consisting of four sub-cameras at a distance of 2 cm each - to mount on a tripod, to take a first picture and then to vertically tilt the camera by e.g. learn to act at height. When calculating the interpolated images, the first 4 images are used as the "master" to compute the vertical motion, and in the areas of the scene where the software detects no change in the first versus the second, the second four shots of the subcameras become additional The use of such a recording method is particularly easy for the photographer, if he does not have to adjust the shift between shots on the tripod, but a vertical adjustment by one or more fixed or adjustable amounts (in the example 1cm) already in the tripod mount the camera or in an adapter between tripod and camera is integrated.

[78] Gemäß der vorstehenden Beschreibung umfasst das Verfahren zur Aufbereitung von räumlich wirkenden 3D-Sequenzen, - Einlesen von Einzelbildern, welche von vertikal übereinanderliegenden Positionen aufgenommen wurden, [78] As described above, the method comprises processing spatial 3D sequences, - reading in single images taken from vertically superimposed positions,

- Entzerrung und ggf. Farbangleichung der Einzelaufnahmen, der Erzeugung einer Bildfolge aus allen oder einer Teilmenge der Einzelaufnahmen ggf. unter Hinzufügung von interpolierten Zwischenbildern  - Equalization and possibly color matching of the individual images, the generation of a sequence of images from all or a subset of the individual images possibly with the addition of interpolated intermediate images

- Abspeicherung auf einem Datenträger als animierte Bildfolge bzw. als periodischer Film.  - Storage on a data medium as an animated sequence of images or as a periodic film.

[79] Es ist möglich die Schritte des beschriebenen Verfahrens nacheinander auf unterschiedlichen Geräten zur Bildbearbeitung ablaufen zu lassen, so etwa die Aufnahme durch eine 3D-Kamera vornehmen zu lassen und die Bilddaten und Kalibrierparameter daraufhin an ein zweites Gerät zur Weiterverarbeitung zu übertragen . [79] It is possible to run the steps of the method described successively on different devices for image processing, such as make the recording by a 3D camera and then transfer the image data and calibration parameters to a second device for further processing.

[80] Besonders vorteilhaft ist jedoch das Verfahren in Gänze auf der 3D-Kamera ablaufen zu lassen, so dass der Fotograf dann nur noch die periodische Bildsequenz als Endprodukt aus der Kamera übertragen muss. Des Weiteren hat er die Möglichkeit, auf dem Monitor der Kamera oder durch einen in diese integrierten Projektor bereits die Wirkung der vollständig bearbeiteten Sequenz beurteilen zu können.  [80] However, it is particularly advantageous for the method to run in its entirety on the 3D camera, so that the photographer then only has to transfer the periodic image sequence as end product out of the camera. He also has the ability to judge on the monitor of the camera or by a built-in this projector already the effect of the fully edited sequence.

[81] Eine weitere vorteilhafte Methode, die dritte beschriebene Variante des Verfahrens zu implementieren besteht darin, die beschriebene Interpolation von Zwischenbildern erst auf dem Wiedergabegerät durchzuführen. Das Wiedergabegerät erhält in diesem Fall nur die geometrisch und ggf. bezüglich Farbe und Intensität korrigierten Aufnahmen der Teilkameras und ggf. die bereits berechneten Disparitäten und führt die Berechnung der Zwischenbilder selbständig durch. Der Vorteil einer solchen Lösung besteht darin, dass wesentliche Parameter der Wiedergabe wie Frequenz und Amplitude der Vertikalbewegung erst zum Zeitpunkt und am Ort der Wiedergabe eingestellt werden müssen und somit an die örtlichen Gegebenheiten angepasst werden können. [82] So werden z.B. Frequenz und Amplitude der simulierten Bewegung bei einer Wiedergabe auf einem kleinen Bildausschnitt des Internet-Auftritts einer Tageszeitung aggressiver gewählt werden können als bei der Präsentation einer Aufnahme auf einem großen Monitor in einer Fotografie- Ausstellung. Auch ist es bei der Berechnung der Zwischenbilder vor Ort einfacher, auf mehreren im gleichen Raum befindlichen Monitoren das gleiche Bewegungsmuster darzustellen, um so eine insgesamt [81] A further advantageous method of implementing the third variant of the method described is to perform the described interpolation of intermediate images only on the playback device. In this case, the playback device receives only the geometrically and optionally color and intensity corrected images of the subcameras and possibly the already calculated disparities and carries out the calculation of the intermediate images independently. The advantage of such a solution is that essential parameters of the reproduction such as frequency and amplitude of the vertical movement need only be set at the time and place of the playback and thus can be adapted to the local conditions. [82] Thus, for example, the frequency and amplitude of the simulated motion during playback on a small image section of the internet presence of a daily newspaper can be selected more aggressively than when presenting a recording on a large monitor in a photography exhibition. Also, it is easier to calculate the same motion pattern on multiple monitors in the same room when calculating the intermediate images on the ground, so as to total one

beruhigendere Atmosphäre zu erzeugen als wenn alle Monitore die simulierte Vertikalbewegungen unkoordiniert wiedergäben. Die Echtzeitberechnung von interpolierten Zwischenbildern aus Stereoaufnahmen mit horizontaler Stereobasis wird u.a. beschrieben in Francesco Isgrö, Emanuele Trucco, Li-Qun Xu, "Towards Teleconferencing by View Synthesis and Large-Baseline Stereo," ICIAP, S.0198, (ICIAP'01), 2001. Neuere Arbeiten befassen sich mit der Implementierung derartiger Verfahren auf mobilen Endgeräten, so dass man bei der Realisierung entsprechender Wiedergabegeräte bei der Auswahl des Interpolationsverfahrens auf den Stand der Technik zurückgreifen kann. To create a more soothing atmosphere than when all the monitors reproduced the simulated vertical movements uncoordinated. The real-time calculation of interpolated intermediate images from stereo recordings with a horizontal stereo base is i.a. described in Francesco Isgrö, Emanuele Trucco, Li-Qun Xu, "Towards Teleconferencing by View Synthesis and Large-Baseline Stereo," ICIAP, p. 0198, (ICIAP'01), 2001. More recent work is concerned with the implementation of such techniques mobile terminals, so that one can fall back on the state of the art in the implementation of appropriate playback devices in the selection of the interpolation method.

[83] Der gleiche Vorteil einer zum Wiedergabezeitpunkt einstellbaren Frequenz und Amplitude der Vertikalbewegung lässt sich dadurch erreichen, dass interpolierte Zwischenbilder für eine große Anzahl von vertikal fein abgestuften Positionen ggf. in einem anderen Gerät vorausberechnet und in einem Datenspeicher vorgehalten werden. Es werden so wesentlich mehr Bilder vorgehalten als für die erfindungsgemäße Darstellung mit einer Periode von 0,5..2 Hz notwendig ist. Aus diesen vorgehaltenen Zwischenbildern ruft das Darstellungsgerät dann eine zu den jeweils eingestellten Parametern Frequenz und Amplitude passende Sequenz von Zwischenbildern aus dem Speicher ab.  [83] The same advantage of a frequency and amplitude of the vertical movement which can be set at the time of reproduction can be achieved by precomputing interpolated intermediate images for a large number of vertically finely graduated positions, if necessary, in another device and storing them in a data memory. Thus, considerably more images are kept available than is necessary for the representation according to the invention with a period of 0.5. 2 Hz. From these pre-maintained intermediate images, the presentation device then retrieves from the memory a sequence of intermediate images which matches the respectively set parameters of frequency and amplitude.

[84] Die vorliegende Schrift beschreibt anhand mehrerer Beispiele die Erzeugung einer weichen Sinusbewegung durch entsprechende Anordnung von Teilkameras bzw. Anwendung von Interpolationsverfahren. Der vorteilhafte räumliche Wahrnehmungseffekt ist jedoch nicht nur bei Darstellung einer Sinusbewegung gegeben. Es können vielmehr auch andere ähnliche Bewegungsformen verwendet werden. Ein weiteres ebenso wirksames Beispiel ist gegeben, wenn die Bewegung der simulierten Augenbewegung z.B. im Wesentlichen linear verläuft und an den Umkehrpunkten durch eine Parabel weich übergeleitet wird. [84] The present document describes by means of several examples the generation of a soft sinusoidal movement by appropriate arrangement of sub-cameras or application of interpolation methods. However, the advantageous spatial perception effect is not only in the representation of a sinusoidal movement given. Rather, other similar forms of exercise may be used. Another equally effective example is given when the movement of the simulated eye movement, for example, is substantially linear and is smoothly transmitted at the reversal points by a parabola.

[85] Die vorliegende Schrift beschreibt die vorteilhafte räumliche Darstellung auf der Basis von zwei oder mehreren gleichzeitigen Kamera-Aufnahmen einer Szene. Die vorteilhafte Darstellung durch eine simulierte vertikale Kamerabewegung ist in analoger Weise auch auf jegliche andere implizit oder explizit vorliegende 3D-Informationen anwendbar. So kann z.B. die zu visualisierende Szene in Form eines 3D Animations- oder CAD- Modells vorliegen, welches mit einer entsprechenden vertikalen Kamerabewegung gerendert wird.  [85] The present document describes the advantageous spatial representation on the basis of two or more simultaneous camera shots of a scene. The advantageous representation by a simulated vertical camera movement is analogously applicable to any other implicitly or explicitly present 3D information. Thus, e.g. the scene to be visualized is in the form of a 3D animation or CAD model, which is rendered with a corresponding vertical camera movement.

[86] Auch eine konventionelle Stereofotografie bzw. ein Stereo-Film kann als Ausgangsmaterial verwendet werden, wenn aus diesem Material zunächst die Disparität bzw. Entfernungsinformation auf konventionelle Art berechnet werden und diese Entfernungsinformation dann wie bei einem CAD-Modell zur Generierung der vertikalen periodischen simulierten Kamerabewegung verwendet wird.  [86] A conventional stereo photography or a stereo film can also be used as the starting material if the disparity or distance information is first calculated conventionally from this material, and then this distance information is simulated as in a CAD model for generating the vertical periodic simulations Camera movement is used.

[87] Das beschriebene Verfahren eignet sich nicht nur zur Visualisierung statischer Objekte oder Fotografien sondern auch - ähnlich wie von dem anfangs zitierten VISIDEP-Verfahren ursprünglich vorgesehen, auch zur besseren 3D-Wahrnehmung von Video- oder Film-Material. Für die Erstellung des Video-bzw. Film-Materials sind dabei unterschiedliche Verfahren anwendbar:  [87] The method described is suitable not only for the visualization of static objects or photographs but also - as originally intended by the initially quoted VISIDEP method, also for better 3D perception of video or film material. For the creation of the video or. Film materials are different methods applicable:

[88] Eine Aufnahme analog zur VISIDEP-Lösung mit zwei oder mehr übereinanderliegenden Videokameras. Erfindungsgemäß wird bei der Aufbereitung des Materials eine weiche, langsame Vertikalbewegung zwischen den Kamerapositionen interpoliert.  [88] An image analogous to the VISIDEP solution with two or more superimposed video cameras. According to the invention, a soft, slow vertical movement between the camera positions is interpolated in the preparation of the material.

[89] Bei 3D-Animationsfilmen ist eine entsprechende Aufbereitung am einfachsten möglich. Hier wird der virtuellen Ka- meraposition beim Rendern des Filmes eine erfindungsgemäße weiche Vertikalbewegung überlagert. [89] For 3D animated films, editing is the easiest way. Here, the virtual Ka meraposition when rendering the film superimposed on a soft vertical movement according to the invention.

[90] Auch konventionell oder per Animation erstellte 3D Filme lassen sich entsprechend bearbeiten. In diesem Fall kann aus den bereits im Material enthaltenen Stereoinformationen der Kameraabstand einzelner Bildelemente in der Szene berechnet werden und mittels dieser Abstandsinformation dann eine vertikale Kamerabewegung simuliert werden.  [90] Even conventionally or animated 3D movies can be edited accordingly. In this case, the camera distance of individual picture elements in the scene can be calculated from the stereo information already contained in the material and then a vertical camera movement can be simulated by means of this distance information.

[91] Für einige schmale Ausschnitte der Bildinformation, welche durch die simulierte vertikale Kameraposition „aufgedeckt" werden, fehlt dieser Vorgehensweise die notwendige Information. Wie bei gängigen Verfahren der 3D-Film-Generierung aus 2D- Filmen können derartige Stellen durch sogenanntes „Impainting" gefüllt werden.  [91] For some narrow sections of the image information, which are "uncovered" by the simulated vertical camera position, this procedure lacks the necessary information.As with conventional methods of 3D film generation from 2D films, such sites can be identified by so-called "impainting". be filled.

[92] Es ist vorteilhaft, bei der Wiedergabe von derart gewonnenem räumlichem Video- oder Film-Material die erfindungsgemäße Überlagerung einer weichen vertikalen Bewegung der Kameraposition nur dann einzusetzen, wenn es für die Erzeugung eines räumlichen Effektes erforderlich ist. So generieren z.B. vertikale bzw. laterale Kamerafahrten des zugrundeliegenden Materials bereits einen in der Regel vollkommen ausreichenden räumlichen Eindruck der Szene, so dass der erfindungsgemäße Effekt sinnvollerweise nur dann verwendet wird, wenn die Szene eine 3D-Staffeiung aufweist und die Kamera sich nicht  [92] It is advantageous in the reproduction of spatial video or film material obtained in this way to use the superimposition of a soft vertical movement of the camera position according to the invention only if it is necessary for the generation of a spatial effect. To generate e.g. vertical or lateral camera movements of the underlying material already a generally perfectly sufficient spatial impression of the scene, so that the effect of the invention is usefully used only if the scene has a 3D-Staffeiung and the camera is not

translatorisch bewegt. moved in translation.

[93] Das hier beschriebene Verfahren zur Berechnung der bewegten Kamerasequenz aus einzelnen Aufnahmen lässt sich als Computerprogramm realisieren und auf einem Datenträger wie einer Festplatte, CD oder Speicherkarte hinterlegen.  [93] The method described here for calculating the moving camera sequence from individual recordings can be implemented as a computer program and stored on a data carrier such as a hard disk, CD or memory card.

Claims

Ansprüche claims 1. Kamera zur Erzeugung fotografischer Bilddaten einer Szene, welche geeignet sind für eine Bearbeitung mit dem Verfahren nach den Ansprüchen 36 bis 53, umfassend eine Optik, mittels welcher die durch diese er- fasste Szene aus unterschiedlich vertikal übereinanderliegenden Positionen erfasst und auf wenigstens einem Bildsensor abgebildet wird, umfassend eine Auslöseeinrichtung, welche die Synchronisierung der Aufnahme der Bilddaten der durch die Optik abgebildeten Szene bewirkt, dadurch gekennzeichnet, dass die Optik derart ausgestaltet ist, dass die Betätigung der Auslöseeinrichtung eine synchrone Bildaufnahme aus drei oder mehr vertikal übereinanderliegenden Positionen bewirkt. 1. A camera for producing photographic image data of a scene, which are suitable for processing with the method according to claims 36 to 53, comprising an optical system, by means of which the scene detected by this detected from different vertically superimposed positions and on at least one image sensor comprising a triggering device, which causes the synchronization of the recording of the image data of the scene imaged by the optics, characterized in that the optics is designed such that the actuation of the triggering device causes a synchronous image recording from three or more vertically superimposed positions. 2. Kamera nach Anspruch 1, dadurch gekennzeichnet, dass die Kamera einen Datenspeicher umfasst, welcher 2. Camera according to claim 1, characterized in that the camera comprises a data memory, which Kalibrierparameter oder Verzeichnungsparameter enthält, bestehend aus einer Teilmenge von inneren und äußeren Kalibrierparametern von Optik und Sensor.  Contains calibration parameters or distortion parameters, consisting of a subset of internal and external calibration parameters of optics and sensor. 3. Kamera zur Erzeugung fotografischer Bilddaten einer Szene, welche geeignet sind für eine Bearbeitung mit dem Verfahren nach den Ansprüchen 36 bis 53, umfassend eine Optik, mittels welcher die durch diese er- fasste Szene aus zwei unterschiedlichen vertikal überei- nanderliegenden Positionen erfasst und auf wenigstens einem Bildsensor abgebildet wird, umfassend eine Auslöseeinrichtung, welche die Synchronisierung der Aufnahme der Bilddaten der durch die Optik abgebildeten Szene bewirkt, dadurch gekennzeichnet, dass die Kamera einen Datenspeicher umfasst, welcher Kalibrierparameter oder Verzeichnungsparameter enthält, bestehend aus einer Teilmenge von inneren und äußeren Kalibrierparametern von Optik und Sensor. 3. A camera for generating photographic image data of a scene, which are suitable for processing with the method according to claims 36 to 53, comprising an optical system, by means of which the scene captured by said scene consists of two different vertical overrides. detected positions and is mapped to at least one image sensor, comprising a triggering device, which causes the synchronization of the recording of the image data of the scene imaged by the optics, characterized in that the camera comprises a data memory containing calibration parameters or distortion parameters, consisting of a subset of internal and external calibration parameters of optics and sensor. 4. Kamera nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Erfassung und Abbildung der Szene aus unterschiedlich vertikalen Positionen durch ein einzelnes Objektiv erfolgt, welches insbesondere nach dem 4. A camera according to any one of claims 1 to 3, characterized in that the detection and imaging of the scene from different vertical positions is performed by a single lens, which in particular after the plenoptischen Prinzip gestaltet ist, wobei das Objektiv mit einer Optik versehen ist, durch welche die auf das Objektiv einfallenden Lichtstrahlen auf mindestens n einzelne Zeilen verteilt, wobei n der Anzahl der durch das Objektiv abzubildenden Teilbilder, welchen unterschiedliche vertikale Aufnahmepositionen zuzuordnen sind, entspricht.  plenoptic principle is designed, wherein the lens is provided with an optical system by which the light rays incident on the lens distributed on at least n individual lines, where n corresponds to the number of images to be imaged by the lens sub-images, which are assigned to different vertical shooting positions. 5. Kamera nach Anspruch 4, dadurch gekennzeichnet, dass vor dem Bildsensor bzw. einer Abbildungsebene ein horizontal angeordnetes Linsenraster oder gleichartig wirkende optische Elemente, insbesondere zylindrische 5. A camera according to claim 4, characterized in that in front of the image sensor or an imaging plane horizontally arranged lenticular or like-looking optical elements, in particular cylindrical Lentikularlinsen, angeordnet sind, wobei die Apertur der Optik in horizontaler Richtung so eingeschränkt ist, dass sie in etwa der durch das Linsenraster pro Einzelbild wirksamen Apertur in vertikaler Richtung entspricht. Lenticular are arranged, wherein the aperture of the optics in the horizontal direction is limited so that it corresponds approximately to the effective through the lens grid per frame aperture in the vertical direction. 6. Kamera nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Optik zur Erfassung und Abbildung der Szene aus unterschiedlich vertikalen Positionen, wenigstens zwei vertikal übereinander angeordnete Teiloptiken umfasst . 6. Camera according to one of claims 1 to 3, characterized in that the optics for detecting and imaging the scene from different vertical positions, at least two vertically stacked sub-optics comprises. 7. Kamera nach Anspruch 6, dadurch gekennzeichnet, dass die vertikal übereinander angeordneten Teiloptiken durch Teilkameras (101) gebildet sind, welche aus einer Kombination aus Optik und Bildsensor bestehen. 7. A camera according to claim 6, characterized in that the vertically stacked sub-optics are formed by sub-cameras (101), which consist of a combination of optics and image sensor. 8. Kamera nach Anspruch 7, dadurch gekennzeichnet, dass die Teilkameras (101) nicht äquidistant zueinander angeordnet sind. 8. A camera according to claim 7, characterized in that the sub-cameras (101) are not arranged equidistant from each other. 9. Kamera nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Teilkameras (101) als eigenständige Teilkamera- Module zumindest bestehend jeweils aus Optik und Bildsensor ausgebildet sind, wobei die Teilkameras (101) mechanisch und mittels elektronischer Kommunikationsmittel miteinander verbunden sind. 9. A camera according to claim 7 or 8, characterized in that the sub-cameras (101) are formed as independent sub-camera modules at least each consisting of optics and image sensor, wherein the sub-cameras (101) are mechanically connected to each other and by electronic communication means. 10. Kamera nach Anspruch 9, dadurch gekennzeichnet, dass die Teilkamera-Module als Module ausgeführt sind, welche ohne die Benutzung von Werkzeugen in Anzahl und/oder geometrischer Anordnung kombiniert werden können. 10. A camera according to claim 9, characterized in that the sub-camera modules are designed as modules, which can be combined without the use of tools in number and / or geometric arrangement. 11. Kamera nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass die Optik der einzelnen Teilkamera- Module an deren Schmalseite platziert werden. 11. A camera according to any one of claims 9 or 10, characterized in that the optics of the individual partial camera modules are placed on the narrow side. 12. Kamera nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die Teilkamera-Module zu deren Kombination mechanisch kompatible Zwischenstücke, insbesondere eine Schwalbenschwanzkonstruktion aufweisen . 12. A camera according to any one of claims 9 to 11, characterized in that the sub-camera modules to the combination of mechanically compatible intermediate pieces, in particular a Dovetail construction have. 13. Kamera nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass eine Mechanik vorgesehen ist, mittels welcher die die vertikale Positionierung der einzelnen Teilkamera-Module zueinander variiert werden kann, wobei insbesondere Rastpunkte für eine diskrete Variation der Positionen der einzelnen Teilkamera-Module vorgesehen sind. 13. A camera according to any one of claims 9 to 12, characterized in that a mechanism is provided, by means of which the vertical positioning of the individual sub-camera modules can be varied to each other, in particular locking points for a discrete variation of the positions of the individual sub-camera modules are provided. 14. Kamera nach Anspruch 13, dadurch gekennzeichnet, dass die Mechanik aus einem Gehäuse besteht, in welches die einzelnen Teilkamera-Module in unterschiedlichen vertikalen Positionen eingesteckt werden können. 14. A camera according to claim 13, characterized in that the mechanism consists of a housing, in which the individual sub-camera modules can be inserted in different vertical positions. 15. Kamera nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera mit einer Vorrichtung, insbesondere einem Stativ, so verbunden ist, dass der vertikale Abstand zur Vorrichtung um ein oder mehrere feste oder einstellbare Beträge variiert werden kann. 15. Camera according to one of the preceding claims, characterized in that the camera with a device, in particular a tripod, is connected so that the vertical distance to the device by one or more fixed or adjustable amounts can be varied. 16. Kamera nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Teilkameras als Wafer-Level-Kameras ausgeführt werden . 16. A camera according to claim 7 or 8, characterized in that the sub-cameras are designed as wafer-level cameras. 17. Kamera nach Anspruch 9 - 16, dadurch gekennzeichnet, dass die die Abstände der Teilkameras von unten nach oben bzw. umgekehrt progressiv wachsen. 17. Camera according to claim 9 - 16, characterized in that the distances of the sub-cameras grow progressively from bottom to top or vice versa. 18. Kamera nach einem der Ansprüche 9 - 17, dadurch gekennzeichnet, dass die Teilkameras vervielfacht ausgeführt sind und insbesondere durch die Verwendung von Vorsatzfiltern auf bestimmte Farben (105, 106, 107, 108) 18. A camera according to any one of claims 9 - 17, characterized in that the sub-cameras are made multiplied and in particular by the use of intent filters on certain colors (105, 106, 107, 108) und/oder Dynamikbereiche spezialisiert sind.  and / or dynamic ranges are specialized. Kamera nach einem der Ansprüche 16 bis 18, dadurch kennzeichnet, dass mehrere Anordnungen von Teilkameras mit unterschiedlicher Brennweite verbaut werden. Camera according to one of claims 16 to 18, characterized indicates that several arrangements of partial cameras with different focal lengths are installed. 20. Kamera nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Teilkameras gemeinsam in einem einzelnen Gerät oder einer einzelnen Gerätekomponente integriert sind. 20. A camera according to claim 7 or 8, characterized in that the sub-cameras are integrated together in a single device or a single device component. 21. Kamera nach Anspruch 20, dadurch gekennzeichnet, dass die Teilkameras in einem Blitzgerät, einem an einen Blitzschuh einer konventionellen Kamera adaptierbaren Gehäuse, einem Kamerastativ, einem Mobilfunkgerät oder einem Mobiltelefon integriert sind. 21. A camera according to claim 20, characterized in that the sub-cameras are integrated in a flash unit, an adaptable to a hot shoe of a conventional camera housing, a camera tripod, a mobile device or a mobile phone. 22. Kamera nach einem der Ansprüche 20 oder 21, dadurch gekennzeichnet, dass die Teilkameras in einem klappbaren Gerät montiert sind, insbesondere verteilt auf mehrere dessen klappbarer Elemente, und insbesondere an der Seite dieser Elemente, welche in zusammengeklappten Zustand nicht die Außenseite des Gerätes bilden. 22. A camera according to any one of claims 20 or 21, characterized in that the sub-cameras are mounted in a hinged device, in particular distributed over several of its hinged elements, and in particular on the side of these elements, which do not form the outside of the device in the folded state , 23. Kamera nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Optik zur Erfassung und Abbildung der Szene aus unterschiedlich vertikalen Positionen in Art eines konventionellen Wechselobjektives zur Montage an einer für die Aufnahme von Wechselobjektiven eingerichteten Kamera, insbesondere einer Spiegelreflexkamera, ausgebildet ist, wobei insbesondere das Wechselobjektiv in Form von Teilobjektiven die Optiken der einzelnen Teilkameras oder als Objektivvorsatz die entsprechenden Spiegel- oder Linsenkonstruktionen trägt und wobei insbesondere diese Teilobjektive entlang der Längsseite des Sensorchips angeordnet sind. 23. A camera according to any one of the preceding claims, characterized in that the optics for detecting and imaging the scene from different vertical positions in the manner of a conventional interchangeable lens for mounting on a camera adapted for the reception of interchangeable lenses, in particular a single-lens reflex camera, is formed In particular, the interchangeable lens in the form of partial lenses, the optics of the individual sub-cameras or as a lens attachment carries the corresponding mirror or lens designs, and in particular these partial lenses are arranged along the longitudinal side of the sensor chip. Kamera nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Optik über eine Schnittstelle wie einen Blitzkontakt und/oder eine funkbasierte Kommunikation, insbesondere auf Basis Bluetooth oder WLA , mit einer konventionellen Kamera verbunden wird. Camera according to one of the preceding claims, characterized in that the optics are connected to a conventional camera via an interface such as a flash contact and / or radio-based communication, in particular based on Bluetooth or WLA. 25. Kamera nach Anspruch 24, dadurch gekennzeichnet, dass die Schnittstelle so ausgestaltet ist, dass von der konventionellen Kamera der Auslöseimpuls und/oder weitere Aufnahmeparameter zur Kamera übertragen werden. 25. A camera according to claim 24, characterized in that the interface is designed so that are transmitted from the conventional camera, the trigger pulse and / or other recording parameters to the camera. 26. Kamera nach einem der Ansprüche 24 oder 25, dadurch gekennzeichnet, dass die Schnittstelle so ausgestaltet ist, dass Belichtungseinstellungen der Teilkameras beeinflusst werden können. 26. A camera according to any one of claims 24 or 25, characterized in that the interface is designed so that exposure settings of the sub-cameras can be influenced. 27. Kamera nach einem der Ansprüche 24 bis 26, dadurch gekennzeichnet, dass die Schnittstelle so ausgestaltet ist, dass die Bildinformationen der Teilkameras zum Bildspeicher der konventionellen Kamera übertragen werden. 27. A camera according to any one of claims 24 to 26, characterized in that the interface is designed so that the image information of the sub-cameras are transmitted to the image memory of the conventional camera. 28. Kamera nach einem der Ansprüche 24 bis 27, dadurch gekennzeichnet, dass die konventionelle Kamera, welche konventionelle 2D-Aufnahmen erzeugt, unabhängig betreibbar ist und dass die Komponenten zur räumlichen Bildaufnahme und die konventionelle Kamera aufeinander kalibriert sind. 28. A camera according to any one of claims 24 to 27, characterized in that the conventional camera, which generates conventional 2D images, is independently operable and that the components for spatial imaging and the conventional camera are calibrated to each other. 29. Kamera nach einem der Ansprüche 7 bis 28, dass der Verschluss aller Teilkameras aus einer einzigen mechanischen Einheit besteht, insbesondere aus einer Einheit von mehreren übereinanderliegenden Aperturblenden, welche objektseitig eine gemeinsame und sensorseitig eine individuelle Optik verwenden . 29. A camera according to any one of claims 7 to 28, that the closure of all sub-cameras consists of a single mechanical unit, in particular of a unit of a plurality of superimposed aperture diaphragms, which use an object side and a common sensor side individual optics. 30. Kamera nach einem der Ansprüche 7 bis 29, dass die Mehrzahl von Teilkameras in mehrere Sätze von Untermengen der Teilkameras gegliedert ist, zwischen denen bei der Aufnahme umgeschaltet werden kann. 30. A camera according to any one of claims 7 to 29, that the plurality of sub-cameras is divided into several sets of subsets of sub-cameras, which can be switched between when recording. 31. Kamera nach einem der vorhergehenden Ansprüche, dass sich der der Auslöseeinrichtung zugeordnete Auslöser an der Oberseite der Vorrichtung befindet und insbesondere rechts beziehungsweise links der Optik Bereiche zum Greifen und Führen der Kamera vorgesehen sind. 31. Camera according to one of the preceding claims, that the triggering device associated trigger is located at the top of the device and in particular right or left of the optics areas are provided for gripping and guiding the camera. 32. Kamera nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera eine Bilddatenverarbeitungseinheit umfasst, welche die aufgenommenen Bilddaten zu einer zur Bildwidergabe geeigneten Bildfolge aufbereiten, wobei die Bildfolge wenigstens die durch die Optik in unterschiedlich Position erfassten Abbildungen der Szene miteinander kombiniert, wobei Abbildungen in der Bildfolge derart kombiniert werden, dass sich in der Abfolge die diesen Bilddaten zuor- denbaren vertikalen Erfassungspositionen periodisch auf und ab bewegen, 32. Camera according to one of the preceding claims, characterized in that the camera comprises an image data processing unit, which process the recorded image data to a suitable image reproduction image sequence, wherein the image sequence at least combined by the optics in different positions captured images of the scene with each other Images in the image sequence are combined in such a way that, in the sequence, the vertical detection positions which can be assigned to these image data move periodically up and down, 33. Kamera nach Anspruch 32, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung gemeinsam mit der die Szene abbildenden Optik und der Auslöseeinrichtung in einem Gerät integriert ist. 33. Camera according to claim 32, characterized in that the image processing device is integrated together with the scene-imaging optics and the triggering device in a device. 34. Kamera nach Anspruch 32, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung in einem von der Optik und der Auslöseeinrichtung trennbaren Gerät, insbesondere in einer Vorrichtung zur Erzeugung einer Folge von Einzelbildern zur räumlichen Bildwidergabe, integriert ist. 34. A camera according to claim 32, characterized in that the image processing device in a separable from the optics and the triggering device, in particular in a device for generating a sequence of individual images for spatial image reproduction, is integrated. 35. Kamera nach einem der Ansprüche 32 bis 34, dass die Bildverarbeitungseinrichtung eine Vorrichtung zur Erzeugung einer Folge von Einzelbildern zur räumlichen Bildwiedergabe umfasst. 35. Camera according to one of claims 32 to 34, that the image processing device comprises a device for generating a sequence of individual images for spatial image reproduction. 36. Verfahren zur Erzeugung einer Bildfolge für eine räumliche Bilddarstellung, bei welchem Bilddaten mittels einer Bildverarbeitungseinrichtung zu einer zur Bildwidergabe geeigneten Bildfolge aufbereiten werden, wobei die Bildfolge Bilddaten kombiniert, denen unterschiedlich vertikaler Erfassungsposition zuordenbar sind, dadurch gekennzeichnet, dass Abbildungen in der Bildfolge derart kombiniert werden, dass sich in der Abfolge die diesen Bilddaten zuor- denbaren vertikalen Erfassungspositionen periodisch auf und ab bewegen, wobei diese periodische Bewegung im Bereich ihrer Richtungsumkehr einen weichen Verlauf beschreibt, und insbesondere einen sinusförmigen oder in weiten Teilen linearen und im Bereich der Richtungsumkehr parabel- förmigen Verlauf beschreibt. 36. A method for generating an image sequence for a spatial image representation, in which image data are processed by means of an image processing device to a suitable image reproduction image sequence, wherein the image sequence combined image data to which different vertical detection position can be assigned, characterized in that mappings combined in the image sequence in the sequence, the vertical detection positions attributable to these image data move periodically up and down, whereby this periodic motion describes a smooth course in the region of their reversal of direction, and in particular a sinusoidal or in many parts linear and parabolic directional reversal. describes a shaped course. Verfahren nach Anspruch 36, dadurch gekennzeichnet, da die aufbereiteten Bilddaten einer Kamera zur Erzeugung einer räumlichen Bildaufnahme entstammen, bei welcher mittels einer Optik die durch diese erfasste Szene aus unterschiedlich vertikalen Positionen erfasst und auf wenigstens einem Bildsensor abgebildet wird. A method according to claim 36, characterized in that the processed image data originate from a camera for generating a spatial image recording, in which is detected by means of an optics detected by this scene from different vertical positions and mapped to at least one image sensor. 38. Verfahren nach Anspruch 36, dadurch gekennzeichnet, dass die aufbereiteten Bilddaten künstlich erzeugt sind und insbesondere in Form eines dreidimensionalen Animationsoder CAD-Modell vorliegen, wobei die Bilddaten Ansichten des Modells aus unterschiedlichen Betrachtungspositionen repräsentieren . 38. The method according to claim 36, characterized in that the processed image data are artificially generated and in particular in the form of a three-dimensional animation or CAD model, the image data representing views of the model from different viewing positions. 39. Verfahren nach einem der Ansprüche 37 oder 38, dadurch gekennzeichnet, dass die Bilddaten eine zeitliche Sequenz abbilden und in Form von Film- oder Videomaterial der Bildverarbeitung zugeführt werden. 39. The method according to any one of claims 37 or 38, characterized in that the image data depict a temporal sequence and are supplied in the form of film or video material of the image processing. 40. Verfahren nach einem der Ansprüche 37 bis 39, dadurch gekennzeichnet, dass mittels der Bilddaten Bildfolgen generiert werden, welche eine Überlagerung der zeitlichen Bildsequenz des Film- oder Videomaterials mit einer simulierten periodischen Vertikalbewegung des Kamerastandpunktes entsprechen. 40. The method according to any one of claims 37 to 39, characterized in that by means of the image data image sequences are generated which correspond to a superposition of the temporal image sequence of the film or video material with a simulated periodic vertical movement of the camera point. 41. Verfahren nach Anspruch 40, dadurch gekennzeichnet, dass die Vertikalbewegung der Kamera nicht für die gesamte Sequenz simuliert wird, insbesondere dann nicht, wenn auf Grund einer translatorischen Kamerafahrt die in den Bilddaten dargestellten Objekte über die Zeit bereits aus mehreren in ihrer Ausrichtung variierenden Beobachtungspositionen dargestellt werden. 41. Method according to claim 40, characterized in that the vertical movement of the camera is not simulated for the entire sequence, in particular not if, due to a translatory camera movement, the objects represented in the image data over time already consist of a plurality of observation positions varying in their orientation being represented. 42. Verfahren nach einem der Ansprüche 36 bis 40, dadurch gekennzeichnet, dass bei der Verwendung von Abbildungen aus Teilkameras, welche insbesondere durch Vorsatzfilter auf bestimmte Farben spezialisiert sind, für die Weiterverarbeitung durch Kombination der Daten der farbspezifischen Einzelkamera-Gruppen einzelne Farbabbildung erzeugt werden . 42. The method according to any one of claims 36 to 40, characterized in that when using images from sub-cameras, which in particular by intent filter on special colors are produced, for which further processing by combining the data of the color-specific single camera groups individual color image are generated. 43. Verfahren nach einem der Ansprüche 36 bis 42, dass zur Generierung der Bildfolge nicht nur direkt durch die Teilkameras aufgenommenen Abbildungen herangezogen werden, sondern dass aus diesen Abbildungen durch Interpolation weitere Abbildungen generiert werden, welche ebenfalls mit zur Generierung der Bildfolge herangezogen werden . 43. The method according to claim 36, wherein not only images mapped directly by the subcameras are used to generate the image sequence, but further mappings are generated from these images by interpolation, which images are also used to generate the image sequence. 44. Verfahren nach Anspruch 43, dadurch gekennzeichnet, dass im Rahmen der Interpolation das Bildrauschen und die Bildschärfe optimiert werden. 44. The method according to claim 43, characterized in that the image noise and the image sharpness are optimized in the context of the interpolation. 45. Verfahren nach einem der Ansprüche 43 oder 44, dadurch gekennzeichnet, dass zur Berechnung der Disparitäten zwischen zwei Abbildungen drei oder mehr Abbildungen herangezogen werden. 45. The method according to any one of claims 43 or 44, characterized in that are used to calculate the disparities between two images three or more mappings. 46. Verfahren nach einem der Ansprüche 43 bis 45, dadurch gekennzeichnet, dass fehlende oder fehlerhafte Bilddaten bei der Generierung von Einzelbildern durch sogenanntes Impainting ersetzt werden. 46. The method according to any one of claims 43 to 45, characterized in that missing or incorrect image data in the generation of individual images are replaced by so-called impainting. 47. Verfahren nach einem der Ansprüche 43 bis 46, dadurch gekennzeichnet, dass zu Beseitigung von Artefakten in Teilbereichen der den mittels der Interpolation erzeugten Bilddaten zur Interpolation in diesen Teilbereichen weitere Bilddaten herangezogen werden, denen in Bezug auf die ursprünglich herangezogenen Bilddaten andere vertikale Positionen zuzuordnen sind. 47. Method according to claim 43, characterized in that, in order to eliminate artifacts in subareas of the image data generated by the interpolation for interpolation in these subareas, further image data are used to assign other vertical positions to the original image data used are. 48. Verfahren nach einem der Ansprüche 36 bis 47, dadurch gekennzeichnet, dass die Bildfolge derart gestaltet wird, dass bei deren Wiedergabe die Frequenz des periodischen Verlaufs der den Einzelbildern zuzuordnenden Positionen unterhalb von 2 Hz, vorzugsweise bei 0,5 Hz liegt. 48. The method according to any one of claims 36 to 47, characterized in that the image sequence is designed such that when reproduced the frequency of the periodic course of the individual images to be assigned positions below 2 Hz, preferably at 0.5 Hz. 49. Verfahren nach einem der Ansprüche 36 bis 48, dadurch gekennzeichnet, dass die Bildwiederholfrequenz bei der Wiedergabe viel höher gewählt wird als dies der Präsentationsdauer einzelnen Teilbilder der Bildfolge entspricht. 49. The method according to any one of claims 36 to 48, characterized in that the refresh rate is selected much higher during playback than corresponds to the presentation duration individual fields of the image sequence. 50. Verfahren nach einem der Ansprüche 36 bis 49, dass bei der Generierung der Bildfolge Abbildungen ausgewählt werden, bei denen sich aus deren am weitest beabstandeten zuordenbaren Positionen eine Basisbreite ergibt, bei welchem die resultierenden Vertikalbewegungen von Bildpunkten in etwa 1 Prozent der Bildhöhe beträgt. 50. The method according to any one of claims 36 to 49, that in the generation of the image sequence images are selected in which results from their most distant assignable positions, a base width at which the resulting vertical movements of pixels in about 1 percent of the image height. 51. Verfahren nach einem der Ansprüche 36 bis 50, dadurch gekennzeichnet, dass die Abbildungen, aus denen die Bildverarbeitungseinrichtung die Bildfolge erzeugt, durch einen Vorverarbeitung aneinander angepasst werden, insbesondere hinsichtlich deren Helligkeit und/oder deren Farbwiedergabe und/oder zur Vermeidung irritierender Be- wegungs-, Flacker- und Wackeleffekte. 51. The method according to claim 36, characterized in that the images from which the image processing device generates the image sequence are adapted to one another by preprocessing, in particular with respect to their brightness and / or their color rendering and / or to avoid irritating processing. movement, flickering and wobbly effects. 52. Verfahren nach Anspruch 51, dadurch gekennzeichnet, dass zur Vorverarbeitung der Bilddaten Daten über Kalibrierparameter oder Verzeichnungsparameter der Optik, insbesondere der Teilkameras, aus einem Datenspeicher ausgelesen werden und insbesondere die Bilddaten dahingehende nachverarbeitet werden, dass die Verzerrungen der Optik für angeglichen werden. 52. The method as claimed in claim 51, characterized in that for the preprocessing of the image data, data about calibration parameters or distortion parameters of the optics, in particular of the subcameras, are read from a data memory and, in particular, the image data are processed so that the distortions of the optics are adjusted for. 53. Verfahren nach einem der Ansprüche 36 bis 41, dadurch ge- kennzeichnet, dass das Verfahren auf einem anderem als dem zur Erzeugung der zu verarbeitenden Bilddaten dienenden Gerät ausgeführt wird. 53. The method according to any one of claims 36 to 41, characterized indicates that the method is executed on a device other than that used to generate the image data to be processed. 54. Vorrichtung zur Erzeugung einer räumlichen Wiedergabe einer Bildfolge, umfassend eine Schnittstelle zum Empfang von Bilddaten, und umfassend wenigstens einen Bildschirm oder Projektor zur Darstellung der Bildfolge, dadurch gekennzeichnet, dass die Vorrichtung eine Bildverarbeitungseinrichtung umfasst, welche die empfangenen Bilddaten, nach dem Verfahren gemäß einem der Patentansprüche 36 bis 53 verarbeitet . 54. An apparatus for generating a spatial reproduction of an image sequence, comprising an interface for receiving image data, and comprising at least one screen or projector for displaying the image sequence, characterized in that the device comprises an image processing device, the received image data, according to the method of one of the claims 36 to 53 processed. 55. Vorrichtung nach Anspruch 54, dadurch gekennzeichnet, 55. Apparatus according to claim 54, characterized dass die Vorrichtung zum Empfang der Kalibrierdaten zu den die Bildfolge repräsentierenden Bilddaten umfasst.  in that the device for receiving the calibration data comprises image data representing the image sequence. 56. Vorrichtung nach einem der Ansprüche 54 oder 55, dadurch gekennzeichnet, dass die Vorrichtung gemeinsam mit wenigstens einer weiteren Vorrichtung zur Bildwiedergabe verbunden werden kann und eine Synchronisiereinrichtung umfasst, zur Synchronisation der gleichzeitigen Wiedergabe der Bildfolge auf den verbundenen Vorrichtungen. 56. Device according to one of claims 54 or 55, characterized in that the device can be connected in common with at least one further device for image reproduction and comprises a synchronizing means for synchronizing the simultaneous reproduction of the image sequence on the connected devices. 57. Vorrichtung nach einem der Ansprüche 54 bis 56, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung mit einem Bildspeicher in Verbindung steht, aus dem gezielt aus einer Übermenge Einzelbilder abgerufen und zu der wiederzugebenden Bildfolge kombiniert werden. 57. Device according to one of claims 54 to 56, characterized in that the image processing device is in communication with an image memory, retrieved from the targeted from a superset of individual images and combined to the image sequence to be displayed. 58. Vorrichtung nach einem der Ansprüche 54 bis 57, dadurch gekennzeichnet, dass die Vorrichtung ein Stellmittel um- fasst, mittels welchem die Amplitude und die Frequenz der simulierten Vertikalbewegung, welche sich aus der Abfolge der den Einzelbildern der Bildfolge zuordenbaren vertikalen Positionen ergibt, eingestellt werden kann. 58. Device according to one of claims 54 to 57, characterized in that the device comprises an adjusting means by means of which the amplitude and the frequency of the simulated vertical movement, which results from the sequence of the individual images of the image sequence assignable vertical positions set can be. 59. Computerprogrammprodukt zur Durchführung eines Verfahrens nach einem der Ansprüche 36 bis 53. 59. Computer program product for carrying out a method according to one of claims 36 to 53. Digitales Speichermedium, insbesondere Diskette, CD-ROM oder DVD, auf welchem ein Computerprogrammprodukt gemäß Anspruch 59 gespeichert ist. Digital storage medium, in particular floppy disk, CD-ROM or DVD, on which a computer program product according to claim 59 is stored.
PCT/DE2010/001100 2009-09-14 2010-09-09 Image capturing and visualization providing a spatial image impression Ceased WO2011029440A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112010003641T DE112010003641A5 (en) 2009-09-14 2010-09-09 PICTURE RECORDING AND VISUALIZATION WITH SPATIAL PICTURE IMPRINT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009041186.0 2009-09-14
DE102009041186A DE102009041186A1 (en) 2009-09-14 2009-09-14 Image acquisition and visualization with spatial image impression

Publications (1)

Publication Number Publication Date
WO2011029440A1 true WO2011029440A1 (en) 2011-03-17

Family

ID=43499898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2010/001100 Ceased WO2011029440A1 (en) 2009-09-14 2010-09-09 Image capturing and visualization providing a spatial image impression

Country Status (2)

Country Link
DE (2) DE102009041186A1 (en)
WO (1) WO2011029440A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100301A1 (en) * 2013-12-23 2015-07-02 Jingyi Yu 3-d light field camera and photography method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4429328A (en) 1981-07-16 1984-01-31 Cjm Associates Three-dimensional display methods using vertically aligned points of origin
JPH08237687A (en) * 1995-02-24 1996-09-13 Matsushita Electric Ind Co Ltd Pseudo stereoscopic image display device
US20040165062A1 (en) * 2001-04-14 2004-08-26 Seung-Yeon Kang Apparatus for recording three dimensional video and movie camera
US20070188601A1 (en) * 2006-02-13 2007-08-16 Janos Rohaly Three-channel camera systems with non-collinear apertures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4429328A (en) 1981-07-16 1984-01-31 Cjm Associates Three-dimensional display methods using vertically aligned points of origin
JPH08237687A (en) * 1995-02-24 1996-09-13 Matsushita Electric Ind Co Ltd Pseudo stereoscopic image display device
US20040165062A1 (en) * 2001-04-14 2004-08-26 Seung-Yeon Kang Apparatus for recording three dimensional video and movie camera
US20070188601A1 (en) * 2006-02-13 2007-08-16 Janos Rohaly Three-channel camera systems with non-collinear apertures
US20080204900A1 (en) 2006-02-13 2008-08-28 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Reel 3-D Enterprises' Guide to the Nimslo 3D Camera", 1980, NIMSLO KAMERA DER FIRMA NIMSTEC, pages: 48
ADELSON; WANG: "Single Lens Stereo with a Plenoptic Camera", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTEL LIGENCE, vol. 14, no. 2, February 1992 (1992-02-01), pages 99 - 106
BARHAM P T ET AL: "SOME VARIATIONS ON VISIDEP USING COMPUTER GRAPHICS", OPTICAL ENGINEERING, SOC. OF PHOTO-OPTICAL INSTRUMENTATION ENGINEERS, BELLINGHAM, vol. 29, no. 12, 1 December 1990 (1990-12-01), pages 1504 - 1506, XP000169297, ISSN: 0091-3286 *
FRANCESCO ISGRÖ; EMANUELE TRUCCO; LI-QUN XU: "Towards Teleconferencing by View Synthesis and Large-Baseline Stereo", ICIAP, S.0198, (ICIAP'01), 2001
HEIKO HIRSCHMÜLLER; FRANK SCHOLTEN; GERD HIRZINGER: "Stereo Vision Based Reconstruction of Huge Urban Areas from an Airborne Pushbroom Camera", DAGM-SYMPOSIUM, 2005, pages 58 - 66

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100301A1 (en) * 2013-12-23 2015-07-02 Jingyi Yu 3-d light field camera and photography method
CN106170822A (en) * 2013-12-23 2016-11-30 特拉华大学 3D light field camera and photography method
US10397545B2 (en) 2013-12-23 2019-08-27 University Of Deleware 3-D light field camera and photography method
CN106170822B (en) * 2013-12-23 2020-03-24 特拉华大学 3D light field camera and photography method

Also Published As

Publication number Publication date
DE112010003641A5 (en) 2012-12-20
DE102009041186A1 (en) 2011-03-24

Similar Documents

Publication Publication Date Title
DE102005063503B4 (en) 3D display and 3D projector
US9013477B2 (en) Method and system for producing a virtual output image from data obtained by an array of image capturing devices
Cooper et al. The perceptual basis of common photographic practice
US20140226041A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
CN103733133B (en) Camera head and control method thereof
JPH06194758A (en) Method and apparatus for formation of depth image
AT394459B (en) METHOD FOR OBTAINING IMAGES FOR USE IN REPRESENTING A THREE-DIMENSIONAL SHEET IMAGE RECORDING CARRIER ON WHICH THE FIRST AND SECOND GROUPS OF SERIES OF SUCH IMAGES ARE STORED
EP0722256A2 (en) Viewer-adaptive autostereoscopic display screen with shutter
JP2010531102A (en) Method and apparatus for generating and displaying stereoscopic image with color filter
DE202007010389U1 (en) Device for automatic positioning of coupled cameras for plastic imaging
ITTO950789A1 (en) STEREOSCOPIC CAMERA.
DE102010024042B4 (en) Method and device for recording three-dimensional image material for different presentation sizes using the full depth budget
DE19500699A1 (en) Personal adaptive stereoscopic picture screen (PASS)
WO2011029440A1 (en) Image capturing and visualization providing a spatial image impression
WO1994000798A1 (en) Method and equipment for printing 3-d stereograph
DE19537499A1 (en) Autostereoscopic image reproduction device
US6044232A (en) Method for making three-dimensional photographs
WO2003058951A1 (en) Video-camera unit
DE19528661A1 (en) Combined picture divider for film or video camera taking lens
DE202011105267U1 (en) Device for generating three-dimensional images
DE10311389B4 (en) Position Adaptive, Autostereoscopic 3D Reproduction System (PARSC)
DE19512293A1 (en) Method and device for generating spatial images
DE10123933C1 (en) Stereoscopic information representation method uses laser beam for scanning projection surface with structured pixel elements
WO2000078056A1 (en) Projection device and projection method for carrying out simulated three-dimensional reproduction
RU106765U1 (en) DEVICE FOR STEREOSCOPIC IMAGES WITH ONE CAMERA

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10792811

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112010003641

Country of ref document: DE

Ref document number: 1120100036411

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10792811

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112010003641

Country of ref document: DE

Effective date: 20121220