EP4165869A1 - Device for displaying images, and use of a device of this type - Google Patents
Device for displaying images, and use of a device of this typeInfo
- Publication number
- EP4165869A1 EP4165869A1 EP21735847.2A EP21735847A EP4165869A1 EP 4165869 A1 EP4165869 A1 EP 4165869A1 EP 21735847 A EP21735847 A EP 21735847A EP 4165869 A1 EP4165869 A1 EP 4165869A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- image display
- user
- camera
- area
- display area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
Definitions
- the conversation is not dynamic and intuitive as in a real conversation, but is determined by the technology and the operation of the technology.
- the first user is preferably recorded by as many cameras as there are other users.
- areas on the image display area can be selected on the image display area for all further users of the video conference and possibly also for the first user, at which the first user looks, for example when he speaks to one of the further users. It is thus possible for the first user to decide which camera to look into.
- the direction of view of a further user is specified by the position of the representation of the further user on the image display area.
- the cameras of the other users are arranged next to the image display area, preferably exactly above and exactly below the virtual camera positions calculated in a line or curved line at eye level.
- a large screen with several conversation partners and an individually selected size of the area of the image display area for a conversation partner ensures that the recording and playback viewing angles are not restricted. Gestures are clearly transmitted.
- the conversation partners can be shown in original size with the full upper body including arms and hands.
- the area of the image display area at which the first user is looking can also be displayed enlarged, or those areas that are assigned to users who are currently speaking can be displayed enlarged.
- FIG. 3 shows an arrangement with two interlocutors
- the projection can be deflected using a spherical mirror.
- Several projectors can be used for larger radii.
- the projector or projectors are positioned above the screen.
- An undistorted image display is achieved by means of shifting, warping and / or projection mapping.
- the deflection can also take place by means of a special lens such as a fisheye lens, for example.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
Vorrichtung zur Darstellung von Bildern sowie Verwendung einer solchen Vorrichtung Device for displaying images and the use of such a device
[01] Die Erfindung betrifft eine Vorrichtung zur Darstellung von Bildern mit einer Oberfläche, die eine Bilddarstellungsfläche bildet, und einem Mikrofon. The invention relates to a device for displaying images with a surface that forms an image display area and a microphone.
[02] Insbesondere für Videokonferenzen sind Vorrichtungen bekannt, die Bilder auf einer Bilddarstellungsfläche abbilden, wobei auf der Bilddarstellungsfläche in der Regel das Bild des Konferenzpartners gezeigt wird und in der Nähe der Bilddarstellungsfläche ein Mikrofon angeordnet wird, um die Sprache des Videokonferenzteilnehmers aufzunehmen. In particular for video conferencing devices are known which display images on an image display area, the image of the conference partner being shown on the image display area and a microphone being arranged near the image display area in order to record the speech of the video conference participant.
[03] Wenn von der Darstellung von Bildern gesprochen wird, so impliziert dies die Darstellung von stehenden Bilden, bewegten Bildern oder Videos. Insbesondere bei Videokonferenzen sollen die Konferenzteilnehmer Sprache und Bild jedes Konferenzteilnehmers nachverfolgen können. Hierfür sind verschiedene Videokommunikationssysteme bekannt, die jedoch unterschiedliche Mängel aufweisen. When speaking of the representation of pictures, this implies the representation of still pictures, moving pictures or videos. In the case of video conferences in particular, the conference participants should be able to track the voice and image of each conference participant. Various video communication systems are known for this purpose, but they have different deficiencies.
[04] Zunächst muss sich jeder Nutzer während der Videokonferenz entscheiden, ob er in die Kamera oder auf die bildliche Darstellung des Gesprächspartners auf den Bildschirm oder Display blickt. Jeder Videokonferenzteilnehmer sieht zwar die Konferenzpartner, aber es entsteht kein echter Blickkontakt. [04] First of all, each user has to decide during the video conference whether he is looking into the camera or the graphic representation of the conversation partner on the screen or display. Every video conference participant sees the conference partner, but there is no real eye contact.
[05] Meistens ist der Aufnahme- und Blickwinkel so eingeschränkt, dass Gesten der Gesprächsteilnehmer nur unzureichend erkannt werden. [05] Most of the time, the viewing angle and viewing angle are so limited that the participants' gestures are only inadequately recognized.
[06] Da jeder Gesprächsteilnehmer für die eigene Darstellung mit seiner Kamera sorgt, werden die Gesprächsteilnehmer in der Regel auf unterschiedliche Art und Weise mit unterschiedlichen Bildausschnitten aufgenommen und dargestellt. [06] Since each participant in the conversation takes care of his own representation with his camera, the participants in the conversation are usually recorded and displayed in different ways with different image details.
[07] Dies führt dazu, dass die Gesprächsführung nicht wie in einem realen Gespräch dynamisch und intuitiv ist, sondern durch die Technik und die Bedienung der Technik bestimmt ist. [07] As a result, the conversation is not dynamic and intuitive as in a real conversation, but is determined by the technology and the operation of the technology.
BESTATIGUNGSKOPIE [08] Daher liegt der Erfindung zunächst die Aufgabe zu Grunde, eine Vorrichtung zur Darstellung von Bildern mit einer Oberfläche, die eine Bilddarstellungsfläche bildet, und einem Mikrofon so weiter zu entwickeln, dass auf einfache Art und Weise ein Blickkontakt entsteht. CONFIRMATION COPY [08] The invention is therefore initially based on the object of further developing a device for displaying images with a surface that forms an image display area and a microphone in such a way that eye contact is easily established.
[09] Diese Aufgabe wird dadurch gelöst, dass bei einer gattungsgemäßen Vorrichtung im Bereich der Bilddarstellungsfläche mindestens eine Kamera angeordnet ist. [09] This object is achieved in that, in a device of the generic type, at least one camera is arranged in the area of the image display area.
[10] Während im Stand der Technik die Kamera immer neben der Bilddarstellungsfläche angeordnet ist, wird erfindungsgemäß vorgeschlagen, dass innerhalb der Bilddarstellungsfläche die Kamera angeordnet ist. Die Bilddarstellungsfläche kann dafür kleine Löcher aufweisen oder die Kamera kann so klein sein, dass sie innerhalb der Bilddarstellungsfläche kaum oder gar nicht sichtbar ist. Außerdem kann die Kamera durch die Bilddarstellungsfläche Bilder aufnehmen, wenn sie beispielsweise in die Bilddarstellungsfläche integriert ist. Die Bilddarstellungsfläche kann aber auch aus mehreren Teilflächen aufgebaut sein, wobei dann zwischen den Teilflächen Kameras positioniert werden. Umso mehr Teilflächen gebildet werden, umso genauer können Kameras positioniert werden. Alternativ können die Bilder, die eine oder mehrere innerhalb der Bilddarstellungsfläche angeordnete Kameras erzeugen würden, auch mittels Software von mindestens zwei Kameras errechnet werden, welche an beliebiger Position wie beispielsweise auch neben der Bilddarstellungsfläche angeordnet sein können. While in the prior art the camera is always arranged next to the image display area, it is proposed according to the invention that the camera be arranged within the image display area. The image display surface can have small holes for this, or the camera can be so small that it is barely visible or not at all visible within the image display surface. In addition, the camera can record images through the image display area if it is integrated into the image display area, for example. The image display area can, however, also be constructed from a plurality of partial areas, with cameras then being positioned between the partial areas. The more partial areas are formed, the more precisely cameras can be positioned. Alternatively, the images that one or more cameras arranged within the image display area would generate can also be calculated by means of software from at least two cameras, which can be arranged at any position such as, for example, next to the image display area.
[11] Besonders vorteilhaft ist es, wenn die Oberfläche, die die Bilddarstellungsfläche bildet, gewölbt ist oder sogar sphärisch gewölbt ist. Dabei kann die Oberfläche einen Radius von mehr als 0,5 m und insbesondere von mehr als 0,8 m aufweisen. Vorteilhaft ist es, wenn die Bilddarstellungsfläche einen Radius von weniger als 2 m und vorzugsweise weniger als 1,5 m aufweist. It is particularly advantageous if the surface that forms the image display area is curved or is even spherically curved. The surface can have a radius of more than 0.5 m and in particular of more than 0.8 m. It is advantageous if the image display area has a radius of less than 2 m and preferably less than 1.5 m.
[12] Die gewölbte oder sogar sphärisch gewölbte Oberfläche ermöglicht es, den mit der Kamera aufgenommenen Gesprächsteilnehmer so aufzunehmen, wie er auf die Bilddarstellungsfläche schaut. Dafür kann die Bilddarstellungsfläche in der Höhe der Augen des Gesprächsteilnehmers positioniert werden und bei einer gewölbten oder sogar sphärisch gewölbten Oberfläche können der Kopf und insbesondere das Auge im Zentrum der Wölbung liegen. Dadurch wird der immersive Effekt verbessert und die Augen müssen sich nicht auf der Bilddarstellungsfläche neu fokussieren, wenn verschiedene Flächen der Bilddarstellungsfläche angesehen werden. [12] The curved or even spherically curved surface makes it possible to record the conversation partner recorded with the camera as he is looking at the image display surface. For this purpose, the image display surface can be positioned at the level of the eyes of the conversation partner and, in the case of a curved or even spherically curved surface, the head and in particular the eye can lie in the center of the curvature. This improves the immersive effect and the Eyes do not have to refocus on the image display area when different areas of the image display area are viewed.
[13] Besonders vorteilhaft ist es, wenn die Bilddarstellungsfläche mehrere Kameras aufweist. Dies ermöglicht es, unterschiedlichen auf der Bilddarstellungsfläche abgebildeten Personen einer Videokonferenz jeweils eine Kamera zuzuordnen, die in dem Bereich angeordnet ist, in dem der Videokonferenzteilnehmer auf der Bilddarstellungsfläche abgebildet ist. It is particularly advantageous if the image display surface has several cameras. This makes it possible to assign different people of a video conference depicted on the image display surface each to a camera which is arranged in the area in which the video conference participant is displayed on the image display surface.
[14] Vorteilhaft ist es, wenn diese Kameras auf Augenhöhe des die Bilddarstellungsfläche betrachtenden Nutzers angeordnet sind. Konstruktiv wird dies dadurch erreicht, dass die Kameras auf einer Linie angeordnet sind. Diese Linie kann eine Bogenlinie sein und sie ist in der Regel vorzugsweise gerade. Bei einer sphärisch gewölbten Bilddarstellungsfläche sind die Kameras vorzugsweise auf dem Äquator der Bilddarstellungsfläche angeordnet. Bei mittels Software errechneten Kamerabildern sind die Kameras neben der Bilddarstellungsfläche oder neben den Bilddarstellungsflächen vorzugsweise genau über und genau unter den in einer Linie oder Bogenlinie auf Augenhöhe berechneten virtuellen Kamerapositionen angeordnet. It is advantageous if these cameras are arranged at eye level with the user viewing the image display area. In terms of design, this is achieved by arranging the cameras on a line. This line can be an arcuate line, and it is usually preferably straight. In the case of a spherically curved image display surface, the cameras are preferably arranged on the equator of the image display surface. In the case of camera images calculated by means of software, the cameras are arranged next to the image display area or next to the image display area, preferably exactly above and exactly below the virtual camera positions calculated in a line or curved line at eye level.
[15] Da auf der Bilddarstellungsfläche Bilder dargestellt werden, entsteht insbesondere bei Bildprojektionen das Problem, dass das für die Darstellung der Bilder verwendete Licht auf die Kameras strahlt und die Qualität der Kamera beeinträchtigt. Daher wird vorgeschlagen, dass die Kamera einen Ampelschirm aufweist. Ein Ampelschirm ist von Verkehrsampeln bekannt und schützt die Kamera vor seitlich einfallendem Licht. Ein Ampelschirm kann sich daher je nach Lichteinfall nur um einen Teil der Kamera oder um die ganze Kamera herum erstrecken. Alternativ oder kumulativ kann das seitlich einfallende Licht auch mit einer Software aus dem Kamerabild eliminiert werden, da ja zu jeder Zeit bekannt ist, welches Licht seitlich der Kamera auf die Bilddarstellungsfläche trifft oder von ihr erzeugt wird. [15] Since images are displayed on the image display surface, the problem arises, particularly with image projections, that the light used to display the images shines on the cameras and impairs the quality of the camera. It is therefore proposed that the camera have a traffic light screen. A traffic light umbrella is known from traffic lights and protects the camera from light falling from the side. A traffic light umbrella can therefore only extend around part of the camera or around the entire camera, depending on the incidence of light. Alternatively or cumulatively, the laterally incident light can also be eliminated from the camera image with software, since it is known at all times which light hits the image display surface from the side of the camera or is generated by it.
[16] Eine erste Ausfuhrungsform sieht vor, dass die Bilddarstellungsfläche ein Display wie insbesondere ein LCD, ein LED oder ein OLED-Bildschirm ist. Die Bilddarstellungsfläche zeigt somit aktiv das Bild, vorzugsweise beleuchtet in unterschiedlichenA first embodiment provides that the image display surface is a display such as, in particular, an LCD, an LED or an OLED screen. The image display area thus actively shows the image, preferably illuminated in different ways
Farben. [17] Dabei können das Display oder die Oberfläche Bildsensoren als Kamera aufweisen. Diese Bildsensoren können sichtbar auf der Bilddarstellungsfläche als Kamera erkennbar sein. Sie können jedoch auch in das Display so integriert sein, dass sie möglichst nicht sichtbar sind. Beispielsweise können die Bildsensoren in den Schichtaufbau des Displays integriert sein. Colours. [17] The display or the surface can have image sensors as cameras. These image sensors can be seen as a camera on the image display surface. However, they can also be integrated into the display in such a way that they are as invisible as possible. For example, the image sensors can be integrated into the layer structure of the display.
[18] Eine alternative Ausflihrungsform sieht vor, dass die Vorrichtung einen Beamer aufweist und die Bilddarstellungsfläche eine Reflexionsfläche ist. Dies erleichtert es in die Bilddarstellungsfläche Kameras bzw. Bildsensoren zu integrieren, die möglichst unsichtbar und zumindest nicht störend sind. [18] An alternative embodiment provides that the device has a beamer and the image display surface is a reflection surface. This makes it easier to integrate cameras or image sensors into the image display surface, which are as invisible as possible and at least not disruptive.
[19] Darüber hinaus ist es vorteilhaft, wenn die Bilddarstellungsfläche mehrere Lautsprecher aufweist. Dies ermöglicht es, verschiedenen Stellen der Bilddarstellungsfläche jeweils einen Lautsprecher zuzuordnen, sodass auf der Bilddarstellungsfläche akustisch erkannt werden kann, von wo der Ton kommt. Dies erleichtert es, eine Sprache einem speziellen auf der Bilddarstellungsfläche abgebildeten Videokonferenzteilnehmer zuzuordnen. [19] In addition, it is advantageous if the image display surface has several loudspeakers. This makes it possible to assign a loudspeaker to different points of the image display area, so that it can be recognized acoustically on the image display area where the sound is coming from. This makes it easier to assign a language to a special video conference participant depicted on the image display area.
[20] Vorteilhaft ist es, wenn die Lautsprecher auf einer oder mehreren vorzugsweise waagerechten Linien angeordnet sind. Dadurch können verschiedene Videokonferenzteilnehmer auf einer waagerechten Linie dargestellt werden und die unterschiedlichen Lautsprecher sind jeweils einem Videokonferenzteilnehmer dort zugeordnet, wo er auf der Bilddarstellungsfläche abgebildet ist. Die Lautsprecher können aber auch über die Bilddarstellungsfläche verteilt angeordnet sein und es wird dann immer derjenige Lautsprecher aktiviert, der der sprechenden Person am nächsten ist. Die Tonwiedergabe kann aber auch in Teilflächen der Bilddarstellungsfläche integriert sein, indem die Bilddarstellungsfläche zur Tonerzeugung mitverwendet wird. Dies geschieht beispielsweise durch Biegewellen-Schallumwandlung. It is advantageous if the loudspeakers are arranged on one or more preferably horizontal lines. As a result, different video conference participants can be displayed on a horizontal line and the different loudspeakers are each assigned to a video conference participant where he is shown on the image display surface. The loudspeakers can, however, also be arranged distributed over the image display area and the loudspeaker that is closest to the speaking person is then always activated. The sound reproduction can, however, also be integrated in partial areas of the image display area in that the image display area is also used for sound generation. This is done, for example, by means of flexural wave sound conversion.
[21] Die der Erfindung zugrunde liegende Aufgabe wird auch mit einem Verfahren zur Verwendung derartiger Vorrichtungen gelöst, bei dem eine erste Vorrichtung relativ zu einem ersten Nutzer so positioniert wird, dass die Augen des Nutzers auf die mindestens eine Kamera ausgerichtet sind, Positionieren weiterer Nutzer vor weiteren derartigen Vorrichtungen an entfernten Orten, Darstellung der Aufnahme der weiteren Nutzer an bestimmten Bereichen der Bilddarstellungsfläche des ersten Nutzers, wie beispielsweise um einen virtuellen Tisch angeordnet, Aufnehmen eines Bildes des ersten Nutzers mit der Kamera und Ermitteln, auf welchen Bereich der Bilddarstellungsfläche die Blickrichtung des ersten Nutzers weist. The object on which the invention is based is also achieved with a method for using such devices, in which a first device is positioned relative to a first user in such a way that the user's eyes are aligned with the at least one camera, positioning of further users in front of other such devices at remote locations, display of the recording of the other users at certain areas of the image display area of the first user, such as arranged around a virtual table, recording an image of the first user with the camera and determining which area of the image display area the direction of gaze of the first user points to.
[22] Vorzugsweise wird der erste Nutzer von so vielen Kameras aufgenommen, wie es weitere Nutzer gibt. Dadurch können auf der Bilddarstellungsfläche für alle weiteren Nutzer der Videokonferenz und gegebenenfalls auch für den ersten Nutzer Flächen auf der Bilddarstellungsfläche ausgewählt werden, auf die der erste Nutzer schaut, beispielsweise wenn er einen der weiteren Nutzer anspricht. Somit ist es möglich, dass der erste Nutzer entscheidet, in welche Kamera er blickt. Die Blickrichtung auf einen weiteren Nutzer wird durch die Position der Darstellung des weiteren Nutzers auf der Bilddarstellungsfläche vorgegeben. Bei alternativ mittels Software errechneten Kamerabil- dem sind die Kameras der anderen Nutzer neben der Bilddarstellungsfläche vorzugsweise genau über und genau unter den in einer Linie oder Bogenlinie auf Augenhöhe berechneten virtuellen Kamerapositionen angeordnet. [22] The first user is preferably recorded by as many cameras as there are other users. As a result, areas on the image display area can be selected on the image display area for all further users of the video conference and possibly also for the first user, at which the first user looks, for example when he speaks to one of the further users. It is thus possible for the first user to decide which camera to look into. The direction of view of a further user is specified by the position of the representation of the further user on the image display area. In the case of camera images calculated alternatively by means of software, the cameras of the other users are arranged next to the image display area, preferably exactly above and exactly below the virtual camera positions calculated in a line or curved line at eye level.
[23] Die Blickrichtung kann aber auch beispielsweise mit einem Bildverarbeitungsprogramm ermittelt werden, dadurch ist dem System bekannt, auf welchen Bereich der Bilddarstellungsfläche der erste Nutzer blickt. Die dort angeordnete Kamera kann dann dazu verwendet werden, der auf diesem Bereich der Bilddarstellungsfläche abgebildeten Person genau das Bild der dort positionierten Kamera zu zeigen. [23] The viewing direction can also be determined, for example, with an image processing program, so that the system knows which area of the image display area the first user is looking at. The camera arranged there can then be used to show the person depicted in this area of the image display surface exactly the image of the camera positioned there.
[24] Vorteilhaft ist es daher, wenn mehrere Bilder des ersten Nutzers mit mehreren Kameras der ersten Vorrichtung aufgenommen werden und diejenige Kamera ermittelt wird, die dem Bereich der Bilddarstellungsfläche, auf den die Blickrichtung des ersten Nutzers weist, am nächsten angeordnet ist. Ein Bildverarbeitungsprogramm sieht somit vor, auf welchen Bereich der Bilddarstellungsfläche der erste Nutzer blickt. Dazu wird aus den Bildern der mehreren Kameras diejenige Kamera ausgewählt, die am ehesten einem direkten Blickkontakt entspricht. Bei mehreren Videokonferenzteilnehmern werden mehrere Bereiche auf der Bilddarstellungsfläche benötigt, die jeweils einem Videokonferenzteilnehmer zugeordnet sind und diesen Videokonferenzteilnehmer zeigen. Die Bildverarbeitungseinrichtung ermittelt, auf welchen der Videokonferenzteilnehmer der erste Nutzer blickt. Dadurch gelingt eine direkte Ansprache eines Teilnehmers mit Blickkontakt. Dies ermöglicht es auch die Bilder des ersten Nutzers mit mehreren Kameras der ersten Vorrichtung aufzunehmen, um mittels eines motion-capture- Verfahrens diese Bilder dazu zu verwenden, die Bewegungen und Gesten des ersten Nutzers zu erfassen und für Interaktionen zu nutzen. Insbesondere die Steuerung der Funktionen der ersten Vorrichtung, wie auch weiteren Vorrichtungen, ist dadurch möglich. Die Erfassung der Bewegung des ersten Nutzers beinhaltet auch Augenbewegungen, um ein eye-tracking für die Steuerung zu nutzen. It is therefore advantageous if several images of the first user are recorded with several cameras of the first device and the camera is determined which is closest to the area of the image display area to which the direction of view of the first user points. An image processing program thus provides which area of the image display area the first user is looking at. For this purpose, the camera that most closely corresponds to direct eye contact is selected from the images from the multiple cameras. If there are several video conference participants, several areas are required on the image display surface, each of which is assigned to a video conference participant and shows this video conference participant. The image processing device determines which of the video conference participants the first user is looking at. This enables a participant to be addressed directly Eye contact. This also makes it possible to record the images of the first user with several cameras of the first device in order to use these images by means of a motion capture method to record the movements and gestures of the first user and to use them for interactions. In particular, the control of the functions of the first device, as well as other devices, is possible as a result. The detection of the movement of the first user also includes eye movements in order to use eye tracking for the control.
[25] Es kann derjenige Nutzer ermittelt werden, der dem Bereich entspricht, auf den die Blickrichtung des ersten Nutzers gerichtet ist, und diesem Nutzer wird das Bild derjenigen Kamera angezeigt, die dem Bereich der Bilddarstellungsfläche, auf den die Blickrichtung des ersten Nutzers weist, am nächsten angeordnet ist. Es wird somit zunächst ermittelt, auf welchen Bereich der Bilddarstellungsfläche der erste Nutzer blickt. Dies geschieht durch eine Kamera oder mehrere Kameras im Bereich der Bilddarstellungsfläche. Dann wird genau diejenige Kamera, in deren Richtung der erste Nutzer blickt, aktiviert und demjenigen Nutzer, dem das Bild auf dieser Bilddarstellungsfläche entspricht nur das Bild dieser Kamera übermittelt. [25] The user can be determined who corresponds to the area to which the direction of gaze of the first user is directed, and this user is shown the image of that camera that corresponds to the area of the image display area to which the direction of gaze of the first user points, closest to you. It is thus first determined which area of the image display area the first user is looking at. This is done by a camera or several cameras in the area of the image display area. Then precisely that camera in the direction of which the first user is looking is activated and only the image of this camera is transmitted to the user to whom the image on this image display surface corresponds.
[26] In der Praxis blickt somit der erste Nutzer auf einen bestimmten Bereich der Bilddarstellungsfläche und somit zu einem bestimmten Videokonferenzteilnehmer und dieser Videokonferenzteilnehmer erhält ein Bild einer Kamera, die direkt auf den ersten Nutzer ausgerichtet ist. Dadurch entsteht ein direkter Blickkontant zu dem Nutzer, auf den der erste Nutzer blickt. Diese Funktion ist vorzugsweise zweiseitig ausgerichtet, sodass Nutzer, die jeweils auf einen Bereich der Bilddarstellungsfläche mit einem Videokonferenzpartner schauen, direkt in die diesem Videokonferenzpartner zugeordnete Kamera schauen, sodass sie miteinander direkten Blickkontant haben, solange sie auf einen bestimmten Bereich der Bilddarstellungsfläche schauen, auf der ein bestimmter Videokonferenzpartner abgebildet ist. In practice, the first user looks at a certain area of the image display area and thus at a certain video conference participant and this video conference participant receives an image from a camera that is aimed directly at the first user. This creates a direct eye-catching view of the user at whom the first user looks. This function is preferably aligned on both sides, so that users who are each looking at an area of the image display area with a video conference partner look directly into the camera assigned to this video conference partner so that they can see each other directly as long as they are looking at a certain area of the image display area on the a specific video conference partner is shown.
[27] Bei n Videokonferenzteilnehmern wird für jeden Videokonferenzteilnehmer jeweils ein Bereich der Bilddarstellungsfläche reserviert und diesem Bereich ist aus n Kameras jeweils eine Kamera zugeordnet. Diese Kameras können auf einer waagerechten Linie auf der Bilddarstellungsfläche nebeneinander angeordnet sein. Sie können jedoch auch beispielsweise auf einem Kreisbogen, wie an einem runden Tisch, ange- ordnet sein und auf diesem Kreisbogen angeordneten Bereichen der Bilddarstellungsfläche zugeordnet sein, die jeweils einem Videokonferenzteilnehmer zugeordnet sind. [27] With n video conference participants, one area of the image display area is reserved for each video conference participant and one camera from n cameras is assigned to this area. These cameras can be arranged next to one another on a horizontal line on the image display surface. However, they can also, for example, be placed on an arc of a circle, such as on a round table. be assigned and assigned to areas of the image display area arranged on this arc, which are each assigned to a video conference participant.
[28] Auf diese Art und Weise kann zunächst ein direkter Blickkontakt zwischen Vi- deokonferenzteilnehmem erzielt werden. Darüber hinaus kann jedoch auch der Ton bzw. die Sprache eines Videokonferenzteilnehmers genau aus dem Bereich der Bilddarstellungsfläche ertönen, der dem jeweiligen Videokonferenzteilnehmer zugeordnet ist. Dafür wird vorgeschlagen, dass der Ton des ersten Nutzers mit dem Mikrofon aufgenommen wird und bei den weiteren Nutzern über einen Lautsprecher wiedergegeben wird, der dem Bereich der Bilddarstellungsfläche, auf den die Blickrichtung des ersten Nutzers weist, am nächsten angeordnet ist. [28] In this way, direct eye contact between the video conference participants can initially be achieved. In addition, however, the sound or the speech of a video conference participant can also sound precisely from the area of the image display surface that is assigned to the respective video conference participant. For this purpose, it is proposed that the sound of the first user is recorded with the microphone and played back to the other users via a loudspeaker that is closest to the area of the image display area to which the direction of view of the first user points.
[29] Bei der Verwendung einer derartigen Vorrichtung, insbesondere mit einem derartigen Verfahren, muss sich jeder Nutzer während der Nutzung nicht mehr entscheiden, ob er in eine Kamera auf der Bilddarstellungsfläche blickt. Beim Blick auf einen Gesprächspartner auf der Bilddarstellungsfläche blickt der Nutzer automatisch in die Kamera, die diesem Gesprächspartner zugeordnet ist. Die Nutzer können sich gegenseitig ansehen, wie dies im realen Gespräch üblich ist. Auch Personen, die gerade nicht sprechen, können sich ansehen und durch die Verwendung von mehreren Kameras weiß jeder Beteiligte, wer wen gerade ansieht. When using such a device, in particular with such a method, each user no longer has to decide during use whether he is looking into a camera on the image display surface. When looking at a conversation partner on the image display area, the user automatically looks into the camera that is assigned to this conversation partner. The users can look at each other, as is usual in a real conversation. Even people who are not speaking can look at each other and, thanks to the use of multiple cameras, everyone involved knows who is looking at whom.
[30] Ein großer Bildschirm mit mehreren Gesprächspartnern und einer individuell ausgewählten Größe des Bereichs der Bilddarstellungsfläche für einen Gesprächspartner sorgt dafür, dass die Aufnahme- und Wiedergabe-Blickwinkel nicht eingeschränkt sind. Gesten werden erkennbar übertragen. Die Gesprächspartner können in Originalgröße mit dem vollen Oberkörper samt Armen und Händen abgebildet werden. Dabei kann auch der Bereich der Bilddarstellungsfläche, auf den der erste Nutzer schaut, vergrößert dargestellt werden oder es können diejenigen Bereiche, die Nutzem zugeordnet sind, die gerade sprechen, vergrößert dargestellt werden. [30] A large screen with several conversation partners and an individually selected size of the area of the image display area for a conversation partner ensures that the recording and playback viewing angles are not restricted. Gestures are clearly transmitted. The conversation partners can be shown in original size with the full upper body including arms and hands. The area of the image display area at which the first user is looking can also be displayed enlarged, or those areas that are assigned to users who are currently speaking can be displayed enlarged.
[31] Alternativ dazu können alle Gesprächsteilnehmer auch in gleicher Art aufgenommen und wiedergegeben werden, sodass alle Gesprächsteilnehmer gleichberechtigt am Gespräch teilnehmen. Dies erlaubt es, die Gesprächsführung wie in realen Gesprächssituationen dynamisch und intuitiv zu führen. [32] Ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung und ein Verfahren zur Verwendung einer derartigen Vorrichtung werden im Folgenden als Ausfuhrungsbeispiel beschrieben. Es zeigt [31] Alternatively, all call participants can also be recorded and played back in the same way so that all call participants take part in the conversation with equal rights. This allows the conversation to be conducted dynamically and intuitively as in real conversation situations. [32] An exemplary embodiment of a device according to the invention and a method for using such a device are described below as an exemplary embodiment. It shows
Figur 1 eine perspektivische Darstellung eines ersten Nutzers vor einer Bilddarstellungsfläche, Figure 1 is a perspective view of a first user in front of an image display area,
Figur 2 einen Schnitt durch die in Figur 1 gezeigte Anordnung, Figure 2 is a section through the arrangement shown in Figure 1,
Figur 3 eine Anordnung mit zwei Gesprächspartnern, FIG. 3 shows an arrangement with two interlocutors,
Figur 4 eine Anordnung mit drei Gesprächspartnern, FIG. 4 shows an arrangement with three interlocutors,
Figur 5 eine Anordnung mit vier Gesprächspartnern, FIG. 5 shows an arrangement with four interlocutors,
Figur 6 eine Anordnung mit fünf Gesprächspartnern und Figure 6 shows an arrangement with five interlocutors and
Figur 7 eine Anordnung mit sechs Gesprächspartnern. FIG. 7 shows an arrangement with six interlocutors.
[33] Die in Figur 1 gezeigte Vorrichtung 1 hat einen großen sphärischen Bildschirm 2, dessen Innenseite eine Bilddarstellungsfläche 3 bildet. Diese Bilddarstellungsfläche 3 hat sechs Bereiche 4 bis 9, denen jeweils eine Kamera 10 (nur exemplarisch beziffert) und ein Mikrofon 11 (nur exemplarisch beziffert) zugeordnet ist, Die innere Oberfläche 13 des Bildschirms 2 ist sphärisch gewölbt und der Sitz 13 des ersten Nutzers 14 ist so eingestellt, dass die Augen seines Kopfes 15 waagerecht zu den Mikrofonen 11 und den Kameras 10 blicken. Im Ausfuhrungsbeispiel mit der sphärischen Oberfläche der Bilddarstellungsfläche 3 sind die Augen 16 etwa im Zentrum des Mittelpunkts des Schirms 2 angeordnet. Der Radius 17 zwischen den Augen 16 des Nutzers 14 und der Oberfläche 12 des Schirms 2 beträgt 0,9 m oder etwa 1 m. Die Mikrofone 11 können auch wie die Kameras 10a und 10 b am Rand der Bilddarstellungsfläche angeordnet sein. The device 1 shown in FIG. 1 has a large spherical screen 2, the inside of which forms an image display surface 3. This image display area 3 has six areas 4 to 9, each of which is assigned a camera 10 (only numbered as an example) and a microphone 11 (only numbered as an example), the inner surface 13 of the screen 2 is spherically curved and the seat 13 of the first user 14 is set so that the eyes of his head 15 look horizontally towards the microphones 11 and the cameras 10. In the exemplary embodiment with the spherical surface of the image display area 3, the eyes 16 are arranged approximately in the center of the center point of the screen 2. The radius 17 between the eyes 16 of the user 14 and the surface 12 of the screen 2 is 0.9 m or approximately 1 m. Like the cameras 10a and 10b, the microphones 11 can also be arranged at the edge of the image display area.
[34] Die Kameras 10 sind in Augenhöhe der Person 14 angeordnet und im vorliegenden Ausführungsbeispiel auf einer waagerechten Linie 18. [35] Die Bilddarstellungsfläche 3 ist im Ausflihrungsbeispiel ein Display mit Bildsensoren als Kamera 10. Alternativ kann jedoch auch mit einem Beamer (nicht gezeigt) ein Bild auf die Bilddarstellungsfläche 3 projiziert werden. The cameras 10 are arranged at eye level with the person 14 and, in the present exemplary embodiment, on a horizontal line 18. [35] In the exemplary embodiment, the image display area 3 is a display with image sensors as a camera 10. Alternatively, however, an image can also be projected onto the image display area 3 using a beamer (not shown).
[36] Außerdem können an Stelle der Kameras 10 auch am oberen Rand der Bilddarstellungsfläche Kameras 10 a und am unteren Rand der Bilddarstellungsfläche 2 Kameras 10 b angeordnet sein. Ein Rechner 10 c ermöglicht es, aus den Bildern der Kameras 10 a und 10 b virtuelle Bilder zu berechnen, die den Bildern entsprechen, die innerhalb der Bilddarstellungsfläche positionierte Kameras 10 aufnehmen würden. In addition, instead of the cameras 10, cameras 10a can also be arranged on the upper edge of the image display area and cameras 10b can be arranged at the lower edge of the image display area 2. A computer 10 c enables virtual images to be calculated from the images from cameras 10 a and 10 b, which correspond to the images that cameras 10 positioned within the image display area would record.
[37] Neben Kamera 10 und Mikrofon 11 ist jeweils ein Lautsprecher 19 in den Bereichen 4 bis 9 der Bilddarstellungsfläche 3 angeordnet. Die Lautsprecher 19 können auch wie die Kameras 10a und 10b am Rand der Bilddarstellungsfläche angeordnet werden. Sowohl die Mikrofonaufnahme als auch die Lautsprecherwiedergabe können wie bei einem Stereoeffekt so bearbeitet werden, dass sie die räumlich perfekte Aufnahme und Wiedergabe ermöglichen, die auf die aktuelle Position des Nutzers abgestimmt ist. [37] In addition to the camera 10 and microphone 11, a loudspeaker 19 is arranged in each of the areas 4 to 9 of the image display area 3. Like the cameras 10a and 10b, the loudspeakers 19 can also be arranged at the edge of the image display surface. Both the microphone recording and the loudspeaker playback can be edited like a stereo effect in such a way that they enable spatially perfect recording and playback that is tailored to the current position of the user.
[38] In der Praxis werden zwei bis n-Apparaturen gleichzeitig zur Kommunikation von zwei bis n Nutzem verwendet. Bei steigender Anzahl n der Nutzer sollte der Radius 17 des Bildschirms 2 vergrößert werden. Alternativ dazu kann bei gleichbleibendem Radius 17 die Darstellung der Gesprächsteilnehmer verkleinert werden. [38] In practice, two to n devices are used simultaneously for communication by two to n users. As the number n of users increases, the radius 17 of the screen 2 should be increased. Alternatively, with the radius 17 remaining the same, the representation of the call participants can be reduced in size.
[39] Die Vorrichtungen 1 der jeweiligen Nutzer 14 und 20 bis 24 befinden sich dabei vorzugsweise an unterschiedlichen Orten. The devices 1 of the respective users 14 and 20 to 24 are preferably located at different locations.
[40] Bei der Verwendung der Vorrichtungen leitet der erste Nutzer 14 mittels einer Software unter Verwendung bekannter Datenübertragungseinrichtungen eine Videokonferenz ein. Dabei lädt er die Nutzer 20 bis 24 als Gesprächspartner zur Teilnahme ein. Die Gesprächspartner werden als weitere Nutzer 20 bis 24 der Reihenfolge der Einwilligung zur Teilnahme, beispielsweise im Uhrzeigersinn an einem virtuellen runden Besprechungstisch 25 platziert. Real befindet sich jedoch jeder Nutzer 14 im geometrischen Mittelpunkt des Bildschirms 2 der von ihm benutzen Vorrichtung 1. When using the devices, the first user 14 initiates a video conference by means of software using known data transmission devices. He invites users 20 to 24 to participate as conversation partners. The conversation partners are placed as further users 20 to 24 in the order in which they consented to participate, for example in a clockwise direction at a virtual round meeting table 25. In reality, however, each user 14 is located in the geometric center of the screen 2 of the device 1 used by him.
[41] Auf jeder Bilddarstellungsfläche 3 der Nutzer 14 und 20 bis 24 wird ein anderes Gesamtbild dargestellt. Die Bilddarstellungen werden je nach Anzahl der Nutzer 14 und 20 bis 24 aus den verwendeten Kameras 10 mittels einer Software und einem Computersystem zur Bild- und Tonbearbeitung und Übertragung zusammengestellt. [41] A different overall image is displayed on each image display area 3 of the users 14 and 20 to 24. The image displays are depending on the number of users 14 and 20 to 24 compiled from the cameras 10 used by means of software and a computer system for image and sound processing and transmission.
[42] Während der Videokonferenz werden mehrere Bilder des ersten Nutzers 14 mit mehreren Kameras 10 der ersten Vorrichtung 1 aufgenommen und es wird diejenige Kamera 10 ermittelt, die dem Bereich der Bilddarstellungsfläche 3, auf den die Blickrichtung 26 des ersten Nutzers 14 weist, am nächsten angeordnet ist. Außerdem wird der Nutzer 20 bis 24 ermittelt, der dem Bereich 4 bis 9 entspricht, auf das die Blickrichtung 26 des ersten Nutzers 14 gerichtet ist. Diesem Nutzer 20 bis 24 wird das Bild derjenigen Kamera 10 angezeigt, die dem Bereich 20 bis 24 der Bilddarstellungsfläche 3, auf den die Blickrichtung 26 des ersten Nutzers 14 weist, am nächsten angeordnet ist. During the video conference, several images of the first user 14 are recorded with several cameras 10 of the first device 1 and that camera 10 is determined which is closest to the area of the image display area 3 to which the viewing direction 26 of the first user 14 points is arranged. In addition, the user 20 to 24 is determined, which corresponds to the area 4 to 9 to which the viewing direction 26 of the first user 14 is directed. This user 20 to 24 is shown the image of that camera 10 which is arranged closest to the area 20 to 24 of the image display area 3 to which the viewing direction 26 of the first user 14 points.
[43] Beispielhaft wird nachfolgend eine Videokonferenz mit vier Teilnehmern gemäß Figur 5 beschrieben. Die vier Teilnehmer sind die Nutzer 14 und 20 bis 22. Auf jeder Bilddarstellungsfläche 3 der einzelnen Nutzer 14 und 20 bis 22 werden jeweils drei Gesprächsteilnehmer abgebildet. Der vierte Gesprächsteilnehmer ist jeweils der Nutzer, der die Vorrichtung 1 nutzt. Die drei Nutzer 20 bis 22 werden dem ersten Nutzer 14 nebeneinander auf seiner Bilddarstellungsfläche 3 angezeigt und zwar bei den Positionen horizontal 45 0 links der Mitte, mittig bei 0 0 und 45 0 rechts der Mitte. [43] A video conference with four participants according to FIG. 5 is described below as an example. The four participants are users 14 and 20 to 22. On each image display area 3 of the individual users 14 and 20 to 22, three conversation participants are shown. The fourth call participant is the user who uses the device 1. The three users 20 to 22 are displayed to the first user 14 next to one another on his image display area 3, namely in the horizontal positions 45 0 to the left of the center, in the middle at 0 0 and 45 0 to the right of the center.
[44] Die Augenhöhe der abgebildeten Nutzer 20 bis 22 entspricht der Augenhöhe des ersten Nutzers 14. Jeder Nutzer 14 und 20 bis 22 wird von drei Kameras 10 gefilmt, welche sich in den gleichen Positionen wie die Projektionen der anderen Teilnehmer befinden: bei horizontal 45 0 links der Mitte, mittig bei 0 ° und 45 0 rechts der Mitte. Blicken sich zwei Nutzer 14 und 20 an, so stimmen Kamerawinkel und Projektionswinkel überein. Der immersive Eindruck einer direkten Konversation entsteht und wird durch die radial gekrümmte Bilddarstellungsfläche 3 noch verstärkt. The eye level of the depicted users 20 to 22 corresponds to the eye level of the first user 14. Each user 14 and 20 to 22 is filmed by three cameras 10, which are in the same positions as the projections of the other participants: at horizontal 45 0 left of center, centered at 0 ° and 45 0 right of center. If two users 14 and 20 look at each other, the camera angle and projection angle match. The immersive impression of a direct conversation arises and is reinforced by the radially curved image display surface 3.
[45] Wendet sich ein Nutzer 14, 20 bis 22 einem anderen Teilnehmer zu, wird dieser dies anhand der Blickrichtung 26 und der Ausrichtung des Kopfes und des abgebildeten Oberkörpers des Teilnehmers erkennen. Wie in einem realen Tischgespräch kann sich der Gesprächsverlauf somit dynamisch entwickeln. [46] Die einfachste Ausführungsvariante ist in Figur 3 gezeigt. Hier sitzen sich die Nutzer 14 und 20 direkt gegenüber und den Nutzem wird jeweils das durch die bei 0 ° angeordnete Kamera 10 vermittelt. [45] If a user 14, 20 to 22 turns to another participant, this participant will recognize this on the basis of the viewing direction 26 and the orientation of the head and the depicted upper body of the participant. As in a real table conversation, the course of the conversation can develop dynamically. The simplest variant is shown in FIG. Here the users 14 and 20 sit directly opposite one another and the camera 10 arranged at 0 ° communicates this to the users in each case.
[47] Bei dem in Figur 4 gezeigten Ausführungsbeispiel kann der Nutzer 14 seine Blickrichtung 26 zum Nutzer 20 oder zum Nutzer 21 richten. Nutzt er die Blickrichtung 26 zum Nutzer 20, der auf der Bilddarstellungsfläche 3 im linken Bereich dargestellt ist, wird die dort vorgesehene Kamera verwendet, sodass der Nutzer 20 auf seiner Bilddarstellungsfläche 3 das Bild des in die Kamera schauenden Nutzers 14 erhält. Der Nutzer 21, auf den die Blickrichtung 26 gerade nicht gerichtet ist, erhält das Bild der rechten Kamera, die den Nutzer 14 von der Seite zeigt. In the exemplary embodiment shown in FIG. 4, the user 14 can direct his line of sight 26 to the user 20 or to the user 21. If he uses the viewing direction 26 to the user 20, who is shown on the image display area 3 in the left area, the camera provided there is used so that the user 20 receives the image of the user 14 looking into the camera on his image display area 3. The user 21, to whom the viewing direction 26 is not currently directed, receives the image from the right camera, which shows the user 14 from the side.
[48] Entsprechend erhalten die Nutzer der in den Figuren 6 und 7 dargestellten Nutzer 20 bis 24 jeweils unterschiedliche Bilder, die von unterschiedlichen Kameras aufgenommen sind. So sitzen sich die Nutzer 14 und 20 bis 24 in Figur 7 optisch in einem Winkel von 60 ° gegenüber. Fünf Personen werden jeweils auf den Bilddarstellungsflächen 3 der Nutzer abgebildet und dafür werden Kameras in Positionen horizontal 60 0 und 30 0 links der Mitte, mittig bei 0 0 sowie 30 0 und 60 0 rechts der Mitte verwendet, um jedem Nutzer 20 bis 24 das ihm entsprechende Bild in der richtigen Ausrichtung auf den ersten Nutzer 14 zur Verfügung zu stellen. [48] Accordingly, the users of the users 20 to 24 shown in FIGS. 6 and 7 each receive different images that are recorded by different cameras. The users 14 and 20 to 24 in FIG. 7 sit visually opposite one another at an angle of 60 °. Five people are each depicted on the image display surfaces 3 of the users and for this purpose cameras are used in horizontal positions 60 0 and 30 0 to the left of the center, in the middle at 0 0 as well as 30 0 and 60 0 to the right of the center, to give each user 20 to 24 that to provide the corresponding image in the correct orientation to the first user 14.
[49] Bei n Teilnehmern sitzen diese sich optisch im Winkel a = 360 0 / n gegenüber. N - 1 Personen werden abgebildet. Die Kameras werden horizontal gleichmäßig auf 180 0 / n aufgeteilt positioniert und verwendet. Bei der Darstellung von Sitzkonstellationen an elliptischen oder ovalen Tischen werden die Winkel entsprechend angepasst. [49] With n participants, they sit visually opposite each other at an angle a = 360 0 / n. N - 1 people are shown. The cameras are positioned and used horizontally evenly distributed over 180 0 / n. When presenting seating constellations on elliptical or oval tables, the angles are adjusted accordingly.
[50] Da die Vorrichtungen für möglichst viele Gesprächsteilnehmer geeignet sein sollten, werden an der Vorrichtung möglichst viele Kameras angebracht, die dann für unterschiedliche Gesprächsteilnehmer verwendet werden können. [50] Since the devices should be suitable for as many call participants as possible, as many cameras as possible are attached to the device, which can then be used for different call participants.
[51] Damit die Nutzer 14 und 20 bis 24 auch ein Gefühl dafür bekommen, welcher Nutzer gerade spricht, wird der Ton des ersten Nutzers 14 mit einem Mikrofon 11 aufgenommen und bei den weiteren Nutzem 20 bis 24 über einen Lautsprecher wiederge- geben, der dem Bereich 4 bis 9 der Bilddarstellungsfläche 3, auf den die Blickrichtung 26 des ersten Nutzers 14 weist, am nächsten angeordnet ist. [51] So that the users 14 and 20 to 24 also get a feeling for which user is speaking, the sound of the first user 14 is recorded with a microphone 11 and played back to the other users 20 to 24 via a loudspeaker. which is arranged closest to the area 4 to 9 of the image display area 3 to which the viewing direction 26 of the first user 14 points.
[52] Kern der Erfindung ist daher das Augen-zu-Augen-Prinzip der übereinstimmenden Blickrichtungen bei Aufnahme und Wiedergabe des Bildes und vorzugsweise auch des Tones. [52] The core of the invention is therefore the eye-to-eye principle of matching viewing directions when recording and reproducing the image and preferably also the sound.
[53] Der Bildschirm 2 der Vorrichtung 1 kann beispielsweise als flächige Schale ausgebildet sein oder auf einer faltbaren oder verschiebbaren Unterkonstruktion montiert sein. Auf Augenhöhe des ersten Nutzers sind dann kleine Kameras in verschiedenen Winkelpositionen in die Bilddarstellungsfläche integriert. Bei einem Durchmesser von beispielsweise ca. 3 mm für eine Kamera ist auf die Distanz des Betrachts von beispielsweise 0,9 m diese Fehlstelle im Display kaum wahrnehmbar. The screen 2 of the device 1 can, for example, be designed as a flat shell or be mounted on a foldable or displaceable substructure. Small cameras in different angular positions are then integrated into the image display area at the eye level of the first user. With a diameter of, for example, approx. 3 mm for a camera, this flaw in the display is barely perceptible at a viewing distance of, for example, 0.9 m.
[54] Bei der Projektion mittels eines Beamers kann die Projektion über einen kugelförmigen Spiegel umgelenkt werden. Bei größeren Radien können mehrere Beamer zum Einsatz kommen. Der Projektor bzw. die Projektoren werden dabei oberhalb der Bildleinwand positioniert. Mittels Shiften, warping und/oder projection mapping wird eine unverzerrte Bilddarstellung erreicht. Die Umlenkung kann auch mittels eines speziellen Objektivs wie beispielsweise eines Fischaugenobjektivs erfolgen. [54] When projecting using a beamer, the projection can be deflected using a spherical mirror. Several projectors can be used for larger radii. The projector or projectors are positioned above the screen. An undistorted image display is achieved by means of shifting, warping and / or projection mapping. The deflection can also take place by means of a special lens such as a fisheye lens, for example.
Claims
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102020003522.1A DE102020003522B4 (en) | 2020-06-12 | 2020-06-12 | Device for displaying images and use of such a device |
| PCT/DE2021/000101 WO2021249586A1 (en) | 2020-06-12 | 2021-05-28 | Device for displaying images, and use of a device of this type |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| EP4165869A1 true EP4165869A1 (en) | 2023-04-19 |
Family
ID=76695446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP21735847.2A Pending EP4165869A1 (en) | 2020-06-12 | 2021-05-28 | Device for displaying images, and use of a device of this type |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12432315B2 (en) |
| EP (1) | EP4165869A1 (en) |
| CN (1) | CN116134805A (en) |
| DE (1) | DE102020003522B4 (en) |
| WO (1) | WO2021249586A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11831454B2 (en) | 2020-12-21 | 2023-11-28 | Christopher Max Schwitalla | Full dome conference |
| EP4203464A1 (en) * | 2021-12-21 | 2023-06-28 | Christopher Max Schwitalla | Full dome conference |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000270306A (en) * | 1999-03-18 | 2000-09-29 | Sony Corp | Image processing apparatus and method, and providing medium |
| US7535468B2 (en) * | 2004-06-21 | 2009-05-19 | Apple Inc. | Integrated sensing display |
| US9759420B1 (en) * | 2013-01-25 | 2017-09-12 | Steelcase Inc. | Curved display and curved display support |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1192618C (en) * | 2000-04-28 | 2005-03-09 | 瑞士电信流动电话公司 | Method and system for video conferencing |
| US20070002130A1 (en) | 2005-06-21 | 2007-01-04 | David Hartkop | Method and apparatus for maintaining eye contact during person-to-person video telecommunication |
| AU2008257572A1 (en) | 2007-05-25 | 2008-12-04 | Cropdesign N.V. | Yield enhancement in plants by modulation of maize Alfins |
| US8223188B2 (en) * | 2008-09-16 | 2012-07-17 | Alcatel Lucent | Monitor having integral camera and method of operating the same |
| US20100208029A1 (en) * | 2009-02-13 | 2010-08-19 | Samsung Electronics Co., Ltd | Mobile immersive display system |
| WO2013006170A1 (en) | 2011-07-06 | 2013-01-10 | Hewlett-Packard Development Company, L.P. | Telepresence portal system |
| WO2014055058A1 (en) * | 2012-02-15 | 2014-04-10 | Thomson Licensing | Video conference system and method for maintaining participant eye contact |
| EP2828148A4 (en) | 2012-03-20 | 2015-12-09 | Crane Cohasset Holdings Llc | Image monitoring and display from unmanned vehicle |
| DE102012216615A1 (en) | 2012-09-18 | 2014-03-20 | LivePoint GmbH | Camera system e.g. webcam system, for use with computer system for e.g. online video conference, has camera fixed at display screen system and set within imaging area before image-radiating device of display screen system |
| US8994780B2 (en) * | 2012-10-04 | 2015-03-31 | Mcci Corporation | Video conferencing enhanced with 3-D perspective control |
| KR20150087017A (en) * | 2014-01-21 | 2015-07-29 | 한양대학교 산학협력단 | Audio control device based on eye-tracking and method for visual communications using the device |
| GB2542054B (en) * | 2014-05-13 | 2021-04-14 | Crutchfield Corp | Virtual simulation of spatial audio characteristics |
| US10452195B2 (en) * | 2014-12-30 | 2019-10-22 | Samsung Electronics Co., Ltd. | Electronic system with gesture calibration mechanism and method of operation thereof |
| US9681096B1 (en) | 2016-07-18 | 2017-06-13 | Apple Inc. | Light field capture |
| US10921523B2 (en) | 2016-09-23 | 2021-02-16 | L-3 Technologies, Inc. | Display system and components |
| US10182210B1 (en) | 2016-12-15 | 2019-01-15 | Steelcase Inc. | Systems and methods for implementing augmented reality and/or virtual reality |
| CN110324553B (en) * | 2018-03-28 | 2021-02-26 | 北京富纳特创新科技有限公司 | Reality window system based on video communication |
| CN110324559B (en) * | 2018-03-28 | 2021-11-30 | 北京富纳特创新科技有限公司 | Video communication apparatus and method |
| US10764533B2 (en) * | 2018-11-09 | 2020-09-01 | Google Llc | Computerworkstation with curved lenticular display |
-
2020
- 2020-06-12 DE DE102020003522.1A patent/DE102020003522B4/en active Active
-
2021
- 2021-05-28 US US18/009,640 patent/US12432315B2/en active Active
- 2021-05-28 EP EP21735847.2A patent/EP4165869A1/en active Pending
- 2021-05-28 WO PCT/DE2021/000101 patent/WO2021249586A1/en not_active Ceased
- 2021-05-28 CN CN202180061313.6A patent/CN116134805A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000270306A (en) * | 1999-03-18 | 2000-09-29 | Sony Corp | Image processing apparatus and method, and providing medium |
| US7535468B2 (en) * | 2004-06-21 | 2009-05-19 | Apple Inc. | Integrated sensing display |
| US9759420B1 (en) * | 2013-01-25 | 2017-09-12 | Steelcase Inc. | Curved display and curved display support |
Non-Patent Citations (1)
| Title |
|---|
| See also references of WO2021249586A1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102020003522B4 (en) | 2022-04-14 |
| DE102020003522A1 (en) | 2021-12-16 |
| CN116134805A (en) | 2023-05-16 |
| WO2021249586A1 (en) | 2021-12-16 |
| US12432315B2 (en) | 2025-09-30 |
| US20230231970A1 (en) | 2023-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE3536044C2 (en) | ||
| DE10084867B4 (en) | A method and apparatus for allowing a videoconference participant to appear focused on the associated users in the camera | |
| DE19539048B4 (en) | A video conferencing system and method for providing parallax correction and creating a sense of presence | |
| DE60317139T2 (en) | Integrated design for omnidirectional camera and microphone arrangement | |
| US8355040B2 (en) | Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method | |
| US6950119B2 (en) | Videoconference system, terminal equipment included therein and data delivery method | |
| US8319819B2 (en) | Virtual round-table videoconference | |
| DE69803168T2 (en) | VIDEO CONFERENCE SYSTEM | |
| DE102004063577A1 (en) | Method and system for displaying facial features on non-planar surfaces | |
| EP2930926A1 (en) | Method, software product and device for managing a conference | |
| EP4165869A1 (en) | Device for displaying images, and use of a device of this type | |
| EP3926442A1 (en) | Video conferencing method and video conferencing system | |
| CN119096270A (en) | Autonomous video conferencing system using virtual director assistance | |
| US8310519B2 (en) | Device for carrying out a video conference | |
| DE112018006602T5 (en) | VIRTUAL WINDOW FOR TELEPHONE CONFERENCES | |
| DE102010026572B4 (en) | Method for recording and reproducing panorama representations | |
| KR102619761B1 (en) | Server for TelePresentation video Conference System | |
| DE102018115302A1 (en) | Presentation system and presentation method | |
| DE102022121634A1 (en) | System, method, computer program and computer-readable medium | |
| DE202009016630U1 (en) | Telepromptervorrichtung | |
| DE102023127310A1 (en) | IP-based remote video conferencing system | |
| DE10026489A1 (en) | Video conference operating method has synchronised representation of video conference scene provided at each video conference terminal | |
| CN112738309A (en) | Electronic equipment with double front lenses and shooting method | |
| DE102010035834A1 (en) | An imaging system and method for detecting an object | |
| EP1978738A2 (en) | Method and device for recording, transferring and/or displaying image files, in particular videoconference image files |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
| 17P | Request for examination filed |
Effective date: 20230106 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
| DAV | Request for validation of the european patent (deleted) | ||
| RAX | Requested extension states of the european patent have changed |
Extension state: ME Payment date: 20230106 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
| 17Q | First examination report despatched |
Effective date: 20250506 |