KR100976141B1 - Image Position Control System and Method for Autostereoscopic Display Using Depth Camera - Google Patents
Image Position Control System and Method for Autostereoscopic Display Using Depth Camera Download PDFInfo
- Publication number
- KR100976141B1 KR100976141B1 KR1020080134516A KR20080134516A KR100976141B1 KR 100976141 B1 KR100976141 B1 KR 100976141B1 KR 1020080134516 A KR1020080134516 A KR 1020080134516A KR 20080134516 A KR20080134516 A KR 20080134516A KR 100976141 B1 KR100976141 B1 KR 100976141B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- display
- right eye
- left eye
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이 쪽에 깊이 카메라를 설치하고, 깊이 카메라를 통해 시청자의 양안의 위치를 파악하여, 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 관한 것으로서, 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 사전에 정해진 거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 얼굴영역 추출부; 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 양안위치 필터부; 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 디스플레이 조정부를 포함하는 구성을 마련한다.A depth camera is installed on the side of a parallax barrier type stereoscopic display, the position of both eyes of the viewer is determined through the depth camera, and the position of the left eye image and the right eye image on the screen of the display according to the position of both eyes. An image position control system and method for adjusting an autostereoscopic display, the method comprising: receiving image and distance data from the depth camera, and extracting data other than a predetermined distance from the image data to extract image data of a face region; A facial region extractor; A binocular position filter unit for filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; And a display adjusting unit which transmits a signal for disposing a left eye image and a right eye image on a screen of the display to a display such that the left eye image and the right eye image are exposed to the coordinates of the left eye and the right eye, respectively.
상기와 같은 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 의해, 패럴렉스 배리어 방식의 무안경 입체 디스플레이를 시청할 때 시청자가 시청 위치를 바꾸더라도 좌우 영상이 바뀌지 않으면서 자연스런 입체 영상을 시청할 수 있다.According to the image position control system and method of the autostereoscopic display as described above, even when the viewer changes the viewing position when viewing the parallax barrier type autostereoscopic display, it is possible to watch a natural stereoscopic image without changing the left and right images.
패럴렉스 배리어, parallax barrier, 입체 영상, 깊이 카메라, 양안, 눈 Parallax barrier, parallax barrier, depth of field, depth camera, binocular, eyes
Description
본 발명은 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이 쪽에 깊이 카메라를 설치하고, 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고, 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 관한 것이다.The present invention is to install a depth camera on the three-dimensional display side of the parallax barrier (parallax barrier), grasp the position of both eyes of the viewer through the depth camera, the left eye image and the right eye image on the screen of the display according to the position of both eyes A system and method for controlling image position of an autostereoscopic display for adjusting the position of an image.
특히, 본 발명은 깊이 카메라를 이용하여 시청자의 얼굴영역을 추출하고, 추출된 얼굴영역을 형판 정합(Template Matching) 방식에 의하여 양안의 위치좌표를 구하고, 양안의 위치좌표에 의하여 디스플레이의 영상위치를 제어하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 관한 것이다.In particular, the present invention extracts the viewer's face region by using a depth camera, obtains the position coordinates of both eyes by the template matching method, and determines the image position of the display by the position coordinates of both eyes. An image position control system and method for an autostereoscopic display to control.
일반적으로 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이는 화면에 좌우 영상을 교차하여 출력하고 화면 정면에 패럴렉스 배리어(parallax barrier)를 부착하여, 좌우 영상이 각각 시청자의 좌안과 우안에 노출하게 한다. 따라서 시청자는 좌우 영상을 좌안과 우안에서 따로 받아들임으로써 별도의 입체 안경을 끼지 않아도 입체감을 느낄 수 있다.In general, a three-dimensional display of a parallax barrier type outputs a left and right image crosswise on a screen and a parallax barrier is attached to the front of the screen so that the left and right images are respectively exposed to the left and right eyes of the viewer. . Therefore, the viewer can receive the left and right images separately in the left eye and the right eye, so that the viewer can feel the stereoscopic feeling without wearing separate stereoscopic glasses.
패럴렉스 배리어 방식의 무안경 입체 디스플레이의 원리를 도 1을 참조하여 보다 구체적으로 설명한다. 패럴렉스 배리어 방식은 1903년에 미국의 F.E.Ives가 패럴렉스 스테레오그램으로 불리는 입체 영상을 보는 방법을 제안하는데 기인한다.The principle of the parallax barrier type autostereoscopic display will be described in more detail with reference to FIG. 1. The parallax barrier method is based on 1903 by F.E.Ives of the United States suggesting a way to view stereoscopic images called parallax stereograms.
도 1a에서 보는 바와 같이, 패럴렉스 배리어 방식은 슬릿 상의 광학적인 배리어(Barrier)에 의해 좌우 영상을 분리하는 방법이다. 도 1a에서는 작은 개구부(Aperture)(12)를 배리어(11) 사이에 놓고 2점 좌안영상 L(22)과 우안영상 R(21)을 들여다보는 경우를 나타내고 있다. 양안의 위치에서 보면 우안(32)에서는 점 R(21)만을 좌안(31)에서는 점 L(22)만을 볼 수 있다. 또 배리어(11)의 크기를 제한하여 우안(32)에서는 점 L(22)을 볼 수 없도록 한 것은 도 1a에서 쉽게 이해할 수 있다.As shown in FIG. 1A, the parallax barrier method is a method of separating left and right images by an optical barrier on a slit. In FIG. 1A, a
도 1b에서 보는 바와 같이, 점 L, R(22, 21)을 좌우 영상의 한 화소(R+G+B)(22, 21)라고 가정하고 이 위치에 액정 등의 평면 디스플레이를 사용하며 슬릿(12)도 한 개가 아니고 등간격의 다수의 슬릿(12)을 가지는 패널(20)을 놓는 것으로 무안경 입체 디스플레이를 만들 수 있다. 즉, 이 방법은 도 1b에서 볼 수 있듯이 패럴렉스 배리어(11)로 불리는 가느다란 슬릿상의 개구부(aperture)(12) 뒤쪽에 적당한 간격을 두고 좌우 2안에 대한 2개의 영상을 교대로 배치하여 특정한 시점에서 이 개구부(12)를 통해 보았을 때 정확하게 분리해서 볼 수 있는 방식이다. 단, 좌우 2안에 대한 영상밖에 표시하고 있지 않기 때문에 시점을 이동해서 자유롭게 볼 수는 없다.As shown in FIG. 1B, assuming that the points L and R (22, 21) are one pixel (R + G +
패럴렉스 배리어 방식의 경우 2D/3D전환하는 방법이 간단하다는 장점을 가지고 있어 핸드폰, PDA, 노트북등 주로 휴대용 기기에 적용되어 그 응용이 활발하게 진행되고 있다. 그러나 패럴렉스 배리어 방식은 위치 고정적이란 가장 큰 단점을 가지고 있다. 시청자가 디스플레이 장치에 대해 시청위치를 좌 또는 우로 이동하게 되면 좌우영상이 서로 교차되어 보이게 된다. 이러한 경우에 올바른 입체 영상을 관찰 할 수 없게 된다. 즉, 정확한 위치를 잡아야만 정상적인 영상을 관찰 할 수 있다. 이러한 문제를 해결하는 방식으로 2안식 패럴렉스 배리어에 시청자의 위치 추적(Header tracking)을 적용하여, 시청자가 이동하더라도 이동된 위치에 적합한 영상으로 전환(그림 보정 또는 하드웨어적인 TN 보정 제어)한다.In the case of the parallax barrier method, the method of 2D / 3D conversion is simple, and its application is being actively applied to mobile devices such as mobile phones, PDAs, and laptops. However, the parallax barrier method has the biggest disadvantage of being fixed in position. When the viewer moves the viewing position to the left or right with respect to the display device, the left and right images cross each other. In this case, the correct stereoscopic image cannot be observed. In other words, you must be able to observe a normal image only by positioning it correctly. In order to solve this problem, a viewer's position tracking (Header tracking) is applied to the binocular Parallax barrier, so that even if the viewer moves, the image is converted (image correction or hardware TN correction control).
패럴렉스 배리어 방식의 좌우 영상이 서로 교차하여 관찰되는 문제점을 도 2를 참조하여 구체적으로 설명한다.The problem that the left and right images of the parallax barrier system are observed to cross each other will be described in detail with reference to FIG. 2.
도 2는 시청자의 위치 추적(Header tracking)을 하지 않고 패럴렉스 배리어(11)를 통해 영상을 관찰할 때의 시뮬레이션 그래프이다. 도 2는 개구부(12)와 배리어(11)를 50:50 으로 설정하고 좌측 눈(좌안)으로 들어오는 빛의 양의 평균치 를 측정한 값들로서, 관찰자(또는 시청자)가 우측으로 이동할 때 이동거리마다 측정되는 빛의 평균치를 표시한 그래프이다. 이때 빛의 양은 디스플레이 화면에 출력되는 좌안 영상에서 나오는 빛의 양만을 대상으로 한다.2 is a simulation graph when observing an image through the
즉, 도 2에서, x축은 시청자의 좌우 위치를 표시하고, y축은 좌안으로 들어오는 좌안 영상의 빛의 양을 표시하고 있다. 개구부(12)가 전체 화면 면적의 50%이기 때문에, 빛의 양의 최대값은 50이고, 도 2a에서도 최대값은 50임을 알 수 있다.That is, in FIG. 2, the x-axis indicates the left and right positions of the viewer, and the y-axis indicates the amount of light in the left eye image coming into the left eye. Since the opening 12 is 50% of the total screen area, it can be seen that the maximum value of the amount of light is 50, and the maximum value is 50 in FIG. 2A.
관찰자가 빛의 양이 최대인 지점에서 우측으로 이동하면, 좌안으로 들어오는 빛의 양이 점차 감소한다. 빛의 양(y축 값)이 0(x좌표가 13, 37 등)이 되는 부분은 빛이 통과 하지 못하는 위치를 나타낸다. 도 2에서 동그라미를 친 부분들이다.As the observer moves to the right from the point where the amount of light is at its maximum, the amount of light entering the left eye gradually decreases. The portion where the amount of light (y-axis value) becomes 0 (x
좌안 영상과 우안 영상이 모두 출력되는 패럴렉스 배리어 방식의 실제 입체 디스플레이인 경우, 도 2의 동그라미 부분인 시청위치에서, 좌안 영상의 빛은 통과하지 못하고, 대신 우안 영상의 빛이 통과한다. 따라서 y축 값이 0이 될 때의 시청위치(또는 양안의 위치)는 좌, 우 영상이 완전히 뒤바뀌는 위치를 의미한다.In the case of the actual stereoscopic display of the parallax barrier type in which both the left eye image and the right eye image are output, the light of the left eye image does not pass, instead, the light of the right eye image passes at the viewing position, which is a circle part of FIG. 2. Therefore, the viewing position (or the position of both eyes) when the y-axis value is 0 means the position where the left and right images are completely reversed.
다시 말하면, 패럴렉스 배리어 방식은 시청위치가 변하면 좌우 영상이 서로 바뀌어 보이게 되므로, 시청위치를 고정해야 하는 단점을 가지고 있다.In other words, the parallax barrier method has a disadvantage in that the viewing position is fixed since the left and right images are changed when the viewing position changes.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이 쪽에 깊이 카메라를 설치하 고, 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고, 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 제공하는 것이다.An object of the present invention is to solve the problems described above, install a depth camera on the side of the parallax barrier (parallax barrier) stereoscopic display, to determine the position of both eyes of the viewer through the depth camera, It is to provide an image position control system and method for an autostereoscopic display for adjusting the position of the left eye image and the right eye image on the screen of the display according to the position of.
또, 본 발명의 목적은 깊이 카메라를 이용하여 시청자의 얼굴영역을 추출하고, 추출된 얼굴영역을 형판 정합(Template Matching) 방식에 의하여 양안의 위치좌표를 구하고, 양안의 위치좌표에 의하여 디스플레이의 영상위치를 제어하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 제공하는 것이다.In addition, an object of the present invention is to extract the viewer's face region by using a depth camera, to obtain the position coordinates of both eyes by the template matching method, the image of the display by the position coordinates of both eyes An image position control system and method for an autostereoscopic display for controlling position are provided.
상기 목적을 달성하기 위해 본 발명은 화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비한 무안경 입체 디스플레이 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는, 깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어시스템에 관한 것으로, 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 시청거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 얼굴영역 추출부; 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 양안위치 필터부; 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌 안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 디스플레이 조정부를 포함하는 것을 특징으로 한다.To achieve the above object, the present invention provides an autostereoscopic display having a left eye image and a right eye image on the screen and having a parallax barrier on the front of the screen, and a depth camera installed on the side of the stereoscopic display. Connected, the image position control of the autostereoscopic display using the depth camera to determine the position of both eyes of the viewer through the depth camera and to adjust the position of the left eye image and the right eye image on the screen of the display according to the position of the binocular A system comprising: a face region extracting unit receiving an image and a sense of distance from the depth camera, and extracting image data of a face region by removing data other than a viewing distance from the image data; A binocular position filter unit for filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; And a display adjusting unit configured to transmit a signal for disposing a left eye image and a right eye image on a screen of the display so that the left eye image and the right eye image are exposed to the coordinates of the left eye and the right eye, respectively.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 얼굴영역 추출부는, 상기 얼굴영역의 영상 데이터를 마스크(mask)로 침식(erosion)과 팽창(dilation)을 반복하여 잡음(noise)을 제거하는 것을 특징으로 한다.In another aspect of the present invention, in the image position control system of an autostereoscopic display, the face region extracting unit repeats erosion and dilation of the image data of the face region with a mask to generate noise. ) To be removed.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 양안위치 필터부는, 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구하는 것을 특징으로 한다.In another aspect, the present invention is characterized in that the image position control system of the autostereoscopic display, wherein the binocular position filter unit is to filter the template of the eye to the image data of the face area to obtain the coordinates of the left and right eyes, respectively. do.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 양안위치 필터부는, 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성하는 것을 특징으로 한다.In addition, the present invention is characterized in that in the image position control system of the autostereoscopic display, the binocular position filter unit is configured of a mask having a size inversely proportional to the viewing distance.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 디스플레이 조정부는, 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 최대값의 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송하는 것을 특징으로 한다.In addition, the present invention is an image position control system of an autostereoscopic display, wherein the display adjustment unit, the left eye image or right eye image disposed on the display in the coordinates of the left eye or right eye is the amount of
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 디스플레이 조정부는, 상기 좌안과 우안의 좌표를 평균하여 평균좌표를 구하고, 상기 평균좌표의 위치에 의하여, 상기 디스플레이에 배치된 좌안 영상과 우안 영상 을 교체시키는 신호를 전송하는 것을 특징으로 한다.In addition, in the image position control system of the autostereoscopic display, the display adjustment unit obtains an average coordinate by averaging the coordinates of the left eye and the right eye, and the left eye disposed on the display by the position of the average coordinate. It is characterized by transmitting a signal to replace the image and the right eye image.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 디스플레이 조정부는, DDC통신을 이용하여, 상기 디스플레이에 신호를 전송하는 것을 특징으로 한다.In addition, the present invention is characterized in that in the image position control system of the autostereoscopic display, the display adjustment unit transmits a signal to the display using DDC communication.
또한, 본 발명은 화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비한 무안경 입체 디스플레이 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는, 깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어방법에 관한 것으로서, (a) 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 사전에 정해진 거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 단계; (b) 상기 추출된 영상데이터가 얼굴영상인 것을 검증하는 단계; (c) 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 단계; (d) 상기 구한 좌안과 우안의 좌표가 상기 얼굴영역의 영상 데이터에서 눈의 위치에 있는 것인지를 검증하는 단계; (e) 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 단계를 포함하는 것을 특징으로 한다.In addition, the present invention is connected to the autostereoscopic display having a parallax barrier on the front of the screen and outputs the left eye image and the right eye image on the screen and connected to the depth camera installed on the side of the three-dimensional display, A method of controlling image position of an autostereoscopic display using a depth camera, which detects the position of both eyes of a viewer through a depth camera and adjusts the position of a left eye image and a right eye image on a screen of the display according to the position of both eyes. (a) receiving image and distance sensing data from the depth camera and extracting image data of a face region by removing data other than a predetermined distance from the image data; (b) verifying that the extracted image data is a face image; (c) filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; (d) verifying whether the obtained coordinates of the left eye and the right eye are at the position of the eye in the image data of the face region; and (e) transmitting to the display a signal for arranging the left eye image and the right eye image on the screen of the display such that the left eye image and the right eye image are exposed at the left eye and right eye coordinates, respectively.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법에 있어서, 상기 (c) 단계는, 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구하는 것을 특징으로 한다.In another aspect, the present invention provides a method for controlling an image position of an autostereoscopic display, wherein the step (c) includes filtering the template of the eye to the image data of the face region to obtain coordinates of the left and right eyes. It is done.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법에 있어서, 상기 (c) 단계는, 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성하는 것을 특징으로 한다.In addition, the present invention is a method for controlling the image position of an autostereoscopic display, wherein step (c) is characterized in that the template of the eye is composed of a mask having a size inversely proportional to the viewing distance.
또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법에 있어서, 상기 (c)단계는, 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송하는 것을 특징으로 한다.In addition, the present invention provides a method for controlling an image position of an autostereoscopic display, wherein in step (c), a left eye image or a right eye image disposed on the display in the coordinates of the left eye or the right eye has an amount of light of 50% or less. When exposed, it is characterized in that for transmitting a signal for replacing the left eye image and the right eye image disposed on the display.
또한, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention also relates to a computer-readable recording medium recording a method for controlling image position of an autostereoscopic display.
상술한 바와 같이, 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 의하면, 패럴렉스 배리어 방식의 무안경 입체 디스플레이를 시청할 때 시청자가 시청 위치를 바꾸더라도 좌우 영상이 바뀌지 않으면서 자연스런 입체 영상을 시청할 수 있는 효과가 얻어진다.As described above, according to the image position control system and method of the autostereoscopic display according to the present invention, when viewing a parallax barrier type autostereoscopic display, even if the viewer changes the viewing position, the left and right images are not changed naturally. The effect of viewing an image is obtained.
또, 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방 법에 의하면, 시청자의 얼굴은 허공에 위치하기 때문에 깊이 카메라로 얼굴영역을 보다 정확하게 추출함으로써, 실시간으로 보다 정확하게 시청위치에 따라 입체 영상을 조정할 수 있는 효과가 얻어진다.In addition, according to the image position control system and method of the autostereoscopic display according to the present invention, since the viewer's face is located in the air, by extracting the face area more accurately with a depth camera, the stereoscopic display according to the viewing position more accurately in real time. The effect of adjusting the image is obtained.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in describing this invention, the same code | symbol is attached | subjected and the repeated description is abbreviate | omitted.
먼저, 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 실시하기 위한 전체 시스템의 구성에 대하여 도 3을 참조하여 설명한다.First, the configuration of the entire system for implementing the image position control system and method of the autostereoscopic display according to the present invention will be described with reference to FIG.
도 3에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 입체 디스플레이(20), 깊이 카메라(40), 영상위치 제어시스템(50)으로 구성된다.As shown in FIG. 3, the entire system for implementing the present invention is composed of a
입체 디스플레이(20)는 패럴렉스 배리어(parallax barrier) 방식의 무안경 입체 디스플레이이다. 입체 디스플레이(20)는 일반 디스플레이와는 달리 좌안 영상과 우안 영상을 동시에 입력받아 화면에 출력한다. 또, 앞서 설명한 바와 같이, 입체 디스플레이(20)는 좌안 영상과 우안영상을 교대로 화면에 일정한 간격으로 배치하여 출력한다. 화면 정면에는 슬릿(또는 개구부)이 일정한 간격으로 배치되어 구비된 배리어(barrier)가 설치된다.The
한편, 입체 디스플레이(20)는 좌안 영상과 우안영상을 교대로 화면에 배치하 나, 좌안영상과 우안영상의 위치를 바꿔 배치할 수 있도록 제어할 수 있다. 예를 들면, 입체 디스플레이(20)의 화면에 L, R, L, R, ..., L, R 형태로 좌안 영상을 먼저 출력하여, 교대로 일정한 간격으로 배치하는 제어가 첫 번째 방식이라면, 반대로 우안 영상을 먼저 출력하여, 교대로 배치하는 R, L, R, L, ..., R, L 형태의 배치방식이 두 번째 방식이다. 즉, 입체 디스플레이(20)는 상기 첫 번째 방식과 두 번째 방식을 선택하여 출력할 수 있다.Meanwhile, the
깊이 카메라(40)는 도 5와 같이, 입체 디스플레이(20) 쪽에 설치되어 시청자의 얼굴부분을 촬영한다. 깊이 카메라(40)는 사물을 촬영 또는 측정하여 영상과 거리감 데이터를 추출하는 카메라이다. 즉, 깊이 카메라(40)는 일반적인 카메라(40)와 같이 사물을 촬상하여 영상 또는 이미지 데이터를 만들고, 각 영상의 픽셀에 해당하는 실제 위치에서 카메라로부터의 거리를 측정하여 거리감 데이터를 만든다.The
예를 들면, 깊이 카메라(40)로서 3D-TOF 카메라(Camera) 등이 이용될 수 있다. 3D-TOF 카메라는 이름에서 알 수 있듯이 TOF는 Time of flight 이론에 의해 깊이를 측정하는 카메라이다. 즉, 상기 카메라는 적외선 LED를 이용하여 매우 짧은 펄스(약 20MHz)로 발광시키고, 되돌아오는 위상 시간차를 계산해서 깊이 값을 찾아내는 방식이다. 마치 레이더와 같은 개념이 적용된 카메라이다.For example, a 3D-TOF camera or the like may be used as the
도 5에서 보는 바와 같이, 깊이 카메라(40)는 사물을 촬영할 때 거리감 정보를 필터링하여 특정 거리 내에 있는 물체(object)만을 골라낼 수 있다. 즉, 도 5에서, 깊이 카메라(40)의 거리감 데이터를 이용하여, 근거리 위치(near field)와 원거리 위치(far field)의 물체는 제외하고, 목표로 하는 특정거리 위치(depth field)에 위치하는 물체들만 골라(segmentation)낼 수 있다.As shown in FIG. 5, the
영상위치 제어시스템(50)은 상기 입체디스플레이(20)와 깊이 카메라(40)와 연결되어 데이터를 송수신할 수 있다. 특히, 영상위치 제어시스템(50)은 깊이 카메라(40)로부터 촬영 또는 측정된 영상 및 거리감 데이터를 입력받는다. 그리고 좌안영상과 우안영상의 배치 방식에 대한 신호를 입체 디스플레이(20)에 전송한다.The image
한편, 바람직하게는, 영상위치 제어시스템(50)은 깊이 카메라(40)로부터 입력받은 영상 및 거리감 데이터를 분석하여, 시청자의 양안의 위치좌표를 구한다. 위치좌표에 따라 입체 디스플레이(20)의 좌안 영상과 우안 영상의 배치신호를 생성하여 입체 디스플레이(20)에 전송한다.On the other hand, preferably, the image
한편, 바람직하게는, 영상위치 제어시스템(50)은 상기 입체 디스플레이(20)와 DDC(Data Display Channel) 방식으로 연결한다. 일반적으로 컴퓨터 모니터 등 LCD 모니터는 기본적으로 VGA 콘넥터를 이용한 DDC(Data Display Channel) 통신이 가능하다. VESA에서 정의한 DDC의 확장 형태인 DDC/CI (Data Display Channel / Command Interface)의 규격에 의하여 컴퓨터 디스플레이와 그래픽카드의 디지털적 결합으로 각종 기능을 제어할 수 있다. 또, DDC는 VGA 커넥터, DVI 커넥터 또는 HMDI 커넥터의 데이터(data), 클럭(clock), 접지(ground)의 3핀을 통하여 데이터가 전송된다. 즉, DDC통신은 컴퓨터 프로그램을 이용하여 모니터의 상태를 알 수도 있고 제어도 가능하다.On the other hand, preferably, the image
다음으로, 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템의 구성을 도 4를 참조하여 설명한다.Next, a configuration of an image position control system of an autostereoscopic display according to an embodiment of the present invention will be described with reference to FIG. 4.
도 4에서 보는 바와 같이, 본 발명의 일실시예에 따른 영상위치 제어 시스템(50)은 얼굴영역 추출부(51), 양안위치 필터부(52), 디스플레이 조정부(53)를 포함하여 구성한다. 또, 필요한 데이터를 저장하기 위한 메모리(55)를 추가적으로 구성할 수 있다.As shown in FIG. 4, the image
얼굴영역 추출부(51)는 상기 깊이 카메라(40)로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 시청거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출한다.The
패럴렉스 배리어를 장착한 디스플레이(20)는 시청위치를 시청자가 임의로 바꿀 수 없다. 그 이유는 패럴렉스 배리어 방식의 디스플레이(20)는 앞에서 설명한 바와 같이 특정 거리 내에서만 관측이 가능하기 때문이다. 따라서 시청거리는 사전에 정해진다. 본 발명에 따른 구체적 일례는 병원에서 시술시 입체 영상을 관찰하기 위한 거리를 목표로 설정된다. 즉, 시청거리를 130 cm (오차범위 ± 10 cm) 로 정한다. 그리고 입체영상의 시청가능 각도는 4,8도로 정한다.In the
따라서 얼굴영역 추출부(51)는 상기 깊이 카메라(40)로부터 입력받은 영상과 거리감 데이터을 분석하여, 거리감 데이터가 130 ± 10 cm 이내에 있지 않는 영상은 모두 제외하고, 상기 시청거리 내에 있는 영상만 추출한다.Therefore, the face
한편, 상기 시청거리에 위치하는 영상 데이터에는 가슴이나 어깨 등 시청자의 얼굴이외의 부분도 포함될 것이다. 특정 거리로 제한된 영상은 정상적인 사람의 특성상 위 부분은 머리에 해당되고 아래 부분은 몸에 해당된 것으로 가정하고 얼굴 영역만 추출한다.On the other hand, the image data located at the viewing distance will include parts other than the viewer's face such as chest or shoulder. The image limited to a certain distance is extracted by assuming that the upper part corresponds to the head and the lower part corresponds to the body due to the characteristics of a normal person.
깊이 카메라(40)로부터 입력되는 영상 데이터으로부터 상기 거리감 데이터에서 얼굴이 위치하는 일정한 거리의 영역만 추출한 결과는 도 6a와 같다.6A is a result of extracting only a region of a predetermined distance where the face is located from the distance data from the image data input from the
그런데 도 6a의 영역내에 촬영된 영상은 많은 잡음(noise)를 가지고 있다. 따라서 영상 데이터를 쉽게 다루기 위해서, 잡음을 제거하여야 한다. 즉, 영상(gray image)의 값은 8 bit(0~255) 분해능 중에 제한(threshold) 값으로 100을 설정한다. 또, 영상의 잡음(noise)을 제거하기 위해 마스크(mask)의 크기를 3x3으로 하고 두 번의 침식(erosion)과 5회의 팽창(dilation)한다. 상기 과정에 의해 생성되는 이미지가 도 6b에 보여주고 있다.However, the image captured in the region of FIG. 6A has a lot of noise. Therefore, in order to easily handle image data, noise must be removed. That is, the gray image value is set to 100 as a threshold value during 8 bit (0 to 255) resolution. Also, in order to remove noise of the image, the mask size is 3x3, and two erosions and five dilations are performed. An image generated by the above process is shown in FIG. 6B.
한편, 얼굴영역 추출부(51)는 추출된 얼굴영역의 영상데이터가 실제 얼굴인지를 확인한다.Meanwhile, the
양안위치 필터부(52)는 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구한다. 특히, 양안위치 필터부(52)는 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구한다. 이 때의 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성한다.The
양안위치 필터부(52)는 잡음(noise)가 제거된 상기 영상에서 눈의 형판을 이용하여 양안의 위치를 구한다. 바람직하게는, 마스크(mask)의 크기는 20x16으로 만든다.The
앞서 설명한 바와 같이, 시청거리는 일정하게 사전에 정해지므로, 시청자의 얼굴의 크기도 일정하게 정해질 수 있다. 시청거리가 가까워지면 형판의 크기가 커져야 하고 멀어지면 형판의 크기 또한 작아져야 한다. 깊이 카메라에서 분리된 얼굴 영역은 특정 거리에 존재함을 이미 알 수 있기 때문에 선정된 얼굴 후보 영상은 일정한 크기 범위 내 속해 있어야 한다. 본 발명에서는 특정 거리에 존재 하는 시청자만을 분리해내고 입체 영상을 관측하기 위한 제한된 응용 임으로 형판 정합의 크기를 다양하게 준비할 필요는 없다. 또, 사람마다의 얼굴의 크기가 차이는 있으나, 전체 얼굴크기에 비하면 그 차이가 작다. 따라서 시청거리에 반비례하는 크기로 마스크(mask)의 크기를 정한다.As described above, since the viewing distance is constantly determined in advance, the size of the viewer's face may also be determined constantly. The closer the viewing distance is, the larger the template should be and the farther the template should be. Since the face region separated from the depth camera already exists at a certain distance, the selected face candidate image should be within a certain size range. In the present invention, it is not necessary to prepare various sizes of template matching because it is a limited application for separating only viewers existing at a specific distance and observing stereoscopic images. In addition, although the size of each person's face is different, the difference is small compared to the overall face size. Therefore, the size of the mask is determined to be in inverse proportion to the viewing distance.
한 쪽 눈을 찾은 후 좌측 또는 우측에서 나머지 눈을 찾는다.Find one eye and find the other eye on the left or right.
양안을 모두 찾으면 찾은 눈이 실제 눈이 맞는지를 검증해야 한다. 검증하는 방법은 양안이 서로 대칭적으로 위치하는지, 양안의 좌표상의 거리와 실제 눈 사이의 거리의 차이, 얼굴영역의 상단에 위치하는 것인가 등을 확인하여 판단한다. 앞서 설명한 예제에서는 눈의 간격은 65± 3 mm으로 정하여 양안의 거리가 상기 눈의 간격 내에 있는지를 확인한다.When both eyes are found, you must verify that the eye you found is the correct one. The verification method determines whether both eyes are symmetrically located, whether the distance between the coordinates of the eyes and the distance between the actual eyes, and whether the eyes are located at the top of the face region. In the above-described example, the eye distance is set to 65 ± 3 mm to check whether the distance between both eyes is within the eye distance.
디스플레이 조정부(53)는 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송한다.The
특히, 디스플레이 조정부(53)는 상기 좌안 또는 우안의 좌표에서 상기 디스 플레이에 배치된 좌안 영상 또는 우안 영상이 최대값의 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.In particular, if the left or right eye image disposed on the display is exposed to an amount of light equal to or less than 50% of the maximum value, the
한편, 입체 디스플레이를 관찰할 때 좌우이동 성분( x축) 만 관여되고 세로축 (y축)은 영상 괄찰과는 상관없다. 따라서 좌우 이동 성분인 x값만을 이용한다. 또, 디스플레이 조정부(53)는 상기 좌안과 우안의 좌표를 평균하여 평균좌표를 구하고, 상기 평균좌표의 위치에 의하여, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.On the other hand, when observing a stereoscopic display, only the left and right shift component (x-axis) is involved, and the vertical axis (y-axis) has nothing to do with image bracketing. Therefore, only the x value which is a left-right moving component is used. In addition, the
또, 다른 실시예로서, 디스플레이 조정부(53)는 상기 좌안과 우안의 좌표를 평균하여 평균좌표를 구하고, 상기 평균좌표의 위치에 의하여, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.In another exemplary embodiment, the
또한, 디스플레이 조정부(53)는 DDC통신을 이용하여, 상기 입체 디스플레이(20)에 신호를 전송한다. 앞서 영상위치 제어시스템(50)이 입체 디스플레이(20)와 통신하는 방식을 설명한 바와 같다.In addition, the
다음으로, 본 발명에 따른 무안경 입체 디스플레이에서 시청자의 시청위치에 따라 한쪽 영상이 한쪽 눈에 노출하는 빛의 양을 측정한 결과를 도 7을 참조하여 설명한다.Next, the result of measuring the amount of light that one image is exposed to one eye according to the viewing position of the viewer in the autostereoscopic display according to the present invention will be described with reference to FIG.
도 7에서, x축은 시청자의 좌우 위치를 표시하고, y축은 좌안(또는 우안)으로 들어오는 좌안(또는 우안) 영상의 빛의 양을 표시하고 있다. 앞서 배경기술과 같이, 개구부(12)가 전체 화면 면적의 50%로 가정한다. 따라서 빛의 양의 최대값은 50이다.In FIG. 7, the x axis represents the left and right positions of the viewer, and the y axis represents the amount of light of the left eye (or right eye) image coming into the left eye (or right eye). As in the background above, it is assumed that the
도 7은 y축 값이 0인 위치가 되기 전, 즉, 최대값의 50% 미만으로 떨어질 때 좌우의 영상을 바꿔주었을 때, 빛의 양을 그래프로 표시한 것이다. y축 값이 0인 위치가 되기 전에 좌우의 영상을 바꿔주면 영상이 바뀌는 상황에 따른 어지럼증을 개선할 수가 있다.FIG. 7 is a graph showing the amount of light before the y-axis value is zero, that is, when the left and right images are swapped when they fall below 50% of the maximum value. If the left and right images are swapped before the y-axis value is 0, dizziness due to the changing image can be improved.
도 7에서 보는 바와 같이, 좌우 영상이 최대값의 50% 미만으로 떨어질 때 좌우 영상을 바뀌줌(swap)으로써 수직 값이 0으로 떨어지지 않고 다시 투과 되는 값의 평균치가 커짐을 알 수 있다. 도 7과 같이, 최소값은 25%이므로, 평균치는 배경기술의 도 2에 비하여 크게 개선되고 있다.As shown in FIG. 7, it can be seen that when the left and right images fall below 50% of the maximum value, the left and right images are swapped so that the average value of the transmitted values is increased without falling to zero. As shown in Fig. 7, the minimum value is 25%, so the average value is greatly improved compared to Fig. 2 of the background art.
여기서 영상의 좌, 우 데이터를 바꾸는 방식은 하드웨어적인 방식이든 소프트웨어적인 방식으로 처리하든 결과는 같게 나타난다. 결론적으로, 일반적인 패럴렉스 배리어 방식의 무안경 입체 디스플레이에 시청자의 위치를 추적하여 입체 영상 관찰에서 좌우 영상이 뒤바뀌는 문제를 다소나마 해결한 결과를 확인할 수 있다.Here, the method of changing the left and right data of the image is the same whether processed in hardware or software. In conclusion, the results of tracking the viewer's position on a general parallax barrier type autostereoscopic display can solve the problem of inverting the left and right images in stereoscopic observation.
다음으로, 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어방법을 도 8을 참조하여 설명한다.Next, an image position control method of an autostereoscopic display according to an embodiment of the present invention will be described with reference to FIG. 8.
본 발명의 일실시예에 따른 영상위치 제어방법은 화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비 한 무안경 입체 디스플레이(20) 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라(40)와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 방법이다.According to an exemplary embodiment of the present invention, an image position control method includes an
도 8에서 보는 바와 같이, 본 발명의 일실시예에 따른 영상위치 제어방법은 (a) 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 사전에 정해진 거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 단계(S10); (b) 상기 추출된 영상데이터가 얼굴영상인 것을 검증하는 단계(S20); (c) 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 단계(S30); (d) 상기 구한 좌안과 우안의 좌표가 상기 얼굴영역의 영상 데이터에서 눈의 위치에 있는 것인지를 검증하는 단계(S40); (e) 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 단계(S50)로 나뉜다.As shown in Figure 8, the image position control method according to an embodiment of the present invention (a) receives an image and a sense of distance data from the depth camera, removes data other than a predetermined distance from the image data to the face Extracting image data of an area (S10); (b) verifying that the extracted image data is a face image (S20); (c) filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes (S30); (d) verifying whether the obtained coordinates of the left eye and the right eye are at the position of the eye in the image data of the face region (S40); (e) a step of transmitting a signal for disposing a left eye image and a right eye image on a screen of the display to the display such that the left eye image and the right eye image are respectively exposed at the coordinates of the left eye and the right eye.
상기 (c) 단계는, 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구한다. 특히, 상기 (c) 단계는, 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성한다.In the step (c), the template of the eye is filtered to the image data of the face region, respectively, to obtain coordinates of the left eye and the right eye. In particular, step (c) comprises a template of the eye size inversely proportional to the viewing distance.
또, 상기 (e)단계는 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.Also, in the step (e), when the left eye image or the right eye image disposed on the display is exposed to an amount of 50% or less of light, the left eye image and the right eye image disposed on the display are replaced. Send a signal.
상기 (b)단계에서, 추출된 영상데이터가 얼굴영상인지를 검증하는 방법은 상관계수를 이용하여 검증하는 종래의 얼굴인식 방법을 사용한다. 또, 상기 (d)단계에서 눈의 위치를 검증하는 방법도 종래의 얼굴에서의 눈 인식 방법을 사용한다. 즉, 좌안과 우안이 대칭적으로 위치하는가, 또는 좌안과 우안이 얼굴영역의 중간 위쪽에 위치하는가 등에 의하여 판단한다.In the step (b), a method of verifying whether the extracted image data is a face image uses a conventional face recognition method of verifying using a correlation coefficient. In addition, the method of verifying the position of the eye in the step (d) also uses a conventional eye recognition method. That is, it is determined whether the left and right eyes are symmetrically positioned, or whether the left and right eyes are located above the middle of the face region.
상기 무안경 입체 디스플레이의 영상위치 제어방법에 대한 설명 중 미흡한 부분은 앞서 설명한 무안경 입체 디스플레이의 영상위치 제어시스템에 대한 설명을 참고한다.For the insufficient description of the image position control method of the autostereoscopic display, refer to the description of the image position control system of the autostereoscopic display described above.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.As mentioned above, although the invention made by this inventor was demonstrated concretely according to the said Example, this invention is not limited to the said Example, Of course, a various change is possible in the range which does not deviate from the summary.
본 발명은 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이를 개발하는데 적용이 가능하다. 특히, 시청자가 시청 위치를 바꾸더라도 좌우 영상이 바뀌지 않으면서 자연스런 입체 영상을 시청할 수 있는 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이를 개발하는데 이용이 가능하다.The present invention is applicable to the development of a three-dimensional display of the parallax barrier method. In particular, it is possible to develop a three-dimensional display of the parallax barrier (parallax barrier) method that can watch a natural three-dimensional image without changing the left and right image even if the viewer changes the viewing position.
도 1은 종래의 패럴렉스 배리어 방식의 무안경 입체 디스플레이의 원리를 설 명하는 도면이다.1 is a view for explaining the principle of a conventional parallax barrier type autostereoscopic display.
도 2는 종래의 패럴렉스 배리어 방식의 무안경 입체 디스플레이에서 시청자의 눈의 위치에 따라 한쪽 영상이 한쪽 눈에 노출하는 빛의 양을 측정한 그래프를 도시한 도면이다.FIG. 2 is a diagram illustrating a graph measuring the amount of light exposed to one eye according to the position of the viewer's eye in a conventional parallax barrier type autostereoscopic display.
도 3은 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.3 is a diagram showing the configuration of the entire system for implementing the image position control system and method of the autostereoscopic display according to the present invention.
도 4는 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템의 구성에 대한 블록도이다.4 is a block diagram of a configuration of an image position control system of an autostereoscopic display according to an embodiment of the present invention.
도 5는 도 4의 구성요소인 깊이 카메라의 거리감 데이터를 측정하는 원리를 도시한 도면이다.FIG. 5 is a diagram illustrating a principle of measuring distance data of a depth camera that is a component of FIG. 4.
도 6은 본 발명의 일실시예에 따라 양안의 위치를 측정하는 단계에서 얻어지는 결과를 도시한 도면이다.6 is a view showing the results obtained in the step of measuring the position of both eyes in accordance with an embodiment of the present invention.
도 7은 본 발명에 따른 무안경 입체 디스플레이에서 시청자의 눈의 위치에 따라 한쪽 영상이 한쪽 눈에 노출하는 빛의 양을 측정한 그래프를 도시한 도면이다.FIG. 7 is a graph illustrating an amount of light exposed to one eye by one image according to the position of the viewer's eye in the autostereoscopic display according to the present invention.
도 8은 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어방법을 설명하는 흐름도이다.8 is a flowchart illustrating a method of controlling an image position of an autostereoscopic display according to an embodiment of the present invention.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
11 : 패럴렉스 배리어 12 : 개구부11: parallax barrier 12: opening
20 : 디스플레이 21 : 화면의 우안 영상20: display 21: right eye image of the screen
22 : 화면의 좌안 영상 30: 시청자22: left eye image of the screen 30: viewers
31 : 시청자의 좌안 32 : 시청자의 우안31: left eye of viewer 32: right eye of viewer
40 : 깊이 카메라 50 : 영상위치 조정시스템40: depth camera 50: image position adjustment system
51 : 얼굴영역 추출부 52 : 양안위치 필터부51: face area extraction unit 52: binocular position filter unit
53 : 디스플레이 조정부 55 : 메모리53: display adjustment section 55: memory
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080134516A KR100976141B1 (en) | 2008-12-26 | 2008-12-26 | Image Position Control System and Method for Autostereoscopic Display Using Depth Camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080134516A KR100976141B1 (en) | 2008-12-26 | 2008-12-26 | Image Position Control System and Method for Autostereoscopic Display Using Depth Camera |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100076461A KR20100076461A (en) | 2010-07-06 |
KR100976141B1 true KR100976141B1 (en) | 2010-08-16 |
Family
ID=42638185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080134516A Expired - Fee Related KR100976141B1 (en) | 2008-12-26 | 2008-12-26 | Image Position Control System and Method for Autostereoscopic Display Using Depth Camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100976141B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101227569B1 (en) | 2011-05-26 | 2013-01-29 | 한국과학기술연구원 | Body Segments Localization Device and Method for Analyzing Motion of Golf Swing |
WO2013039491A1 (en) * | 2011-09-14 | 2013-03-21 | Hewlett-Packard Development Company, L.P. | Image-viewing systems with an integrated light-steering panel |
KR101298317B1 (en) | 2012-04-23 | 2013-08-20 | 엘지디스플레이 주식회사 | Test appratus for stereoscopic image display device |
WO2013148963A1 (en) * | 2012-03-30 | 2013-10-03 | Intel Corporation | Intelligent depth control |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101675961B1 (en) | 2010-12-29 | 2016-11-14 | 삼성전자주식회사 | Apparatus and Method for Rendering Subpixel Adaptively |
KR101883200B1 (en) * | 2011-12-16 | 2018-08-01 | 에스케이플래닛 주식회사 | The depth measurement device and method in stereoscopic image |
KR101408591B1 (en) * | 2012-04-27 | 2014-06-17 | 삼성전기주식회사 | Glassless 3D image display apparatus and the method thereof |
KR101956134B1 (en) | 2012-06-15 | 2019-03-13 | 삼성디스플레이 주식회사 | Three-dimension display apparatus |
KR101566198B1 (en) * | 2013-06-28 | 2015-11-05 | 삼성전자주식회사 | Method for moving display of ultrasound diagnostic device, and ultrasound diagnostic apparatus |
KR102490304B1 (en) * | 2016-08-12 | 2023-01-20 | 삼성전자주식회사 | Display apparatus and recording media |
KR20210130281A (en) * | 2020-04-21 | 2021-11-01 | 삼성디스플레이 주식회사 | Method for controlling of mobile communication device, and mobile communication device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100560464B1 (en) | 2005-03-30 | 2006-03-13 | (주)디노스 | How to configure a multiview image display system adaptive to the observer's point of view |
KR100820639B1 (en) | 2006-07-25 | 2008-04-10 | 한국과학기술연구원 | Eye-based 3D interaction system and method and 3D eye tracking system and method |
KR20080102826A (en) * | 2007-05-22 | 2008-11-26 | 광주과학기술원 | Method and apparatus for generating depth information supplemented using depth camera and recording medium recording program for performing the method |
-
2008
- 2008-12-26 KR KR1020080134516A patent/KR100976141B1/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100560464B1 (en) | 2005-03-30 | 2006-03-13 | (주)디노스 | How to configure a multiview image display system adaptive to the observer's point of view |
KR100820639B1 (en) | 2006-07-25 | 2008-04-10 | 한국과학기술연구원 | Eye-based 3D interaction system and method and 3D eye tracking system and method |
KR20080102826A (en) * | 2007-05-22 | 2008-11-26 | 광주과학기술원 | Method and apparatus for generating depth information supplemented using depth camera and recording medium recording program for performing the method |
Non-Patent Citations (1)
Title |
---|
논문 : 한국광학회지* |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101227569B1 (en) | 2011-05-26 | 2013-01-29 | 한국과학기술연구원 | Body Segments Localization Device and Method for Analyzing Motion of Golf Swing |
WO2013039491A1 (en) * | 2011-09-14 | 2013-03-21 | Hewlett-Packard Development Company, L.P. | Image-viewing systems with an integrated light-steering panel |
US9669260B2 (en) | 2011-10-21 | 2017-06-06 | Korea Institute Of Science And Technology | Apparatus and method for tracking the position of each part of the body for golf swing analysis |
WO2013148963A1 (en) * | 2012-03-30 | 2013-10-03 | Intel Corporation | Intelligent depth control |
US9807362B2 (en) | 2012-03-30 | 2017-10-31 | Intel Corporation | Intelligent depth control |
KR101298317B1 (en) | 2012-04-23 | 2013-08-20 | 엘지디스플레이 주식회사 | Test appratus for stereoscopic image display device |
Also Published As
Publication number | Publication date |
---|---|
KR20100076461A (en) | 2010-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100976141B1 (en) | Image Position Control System and Method for Autostereoscopic Display Using Depth Camera | |
EP2299728B1 (en) | Stereoscopic image display apparatus | |
KR101761751B1 (en) | Hmd calibration with direct geometric modeling | |
US9451242B2 (en) | Apparatus for adjusting displayed picture, display apparatus and display method | |
US8760502B2 (en) | Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same | |
US11284059B2 (en) | Method and apparatus for calibrating parameter of three-dimensional (3D) display apparatus | |
KR101763592B1 (en) | Method for processing image of display system outputting 3 dimensional contents and display system enabling of the method | |
US9294755B2 (en) | Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations | |
US9307228B2 (en) | Depth of field maintaining apparatus, 3D display system and display method | |
US20120194905A1 (en) | Image display apparatus and image display method | |
JPH09121370A (en) | 3D TV device | |
CN101674491A (en) | Apparatus, method, and computer program for analyzing image data | |
CN103533340A (en) | Naked eye 3D (three-dimensional) playing method of mobile terminal and mobile terminal | |
CN104247411B (en) | Method and device for correcting distortion errors due to accommodation effect in stereoscopic display | |
EP3982629B1 (en) | Method and apparatus for measuring dynamic crosstalk | |
KR20120051287A (en) | Image providing apparatus and image providng method based on user's location | |
JP5608569B2 (en) | Display device, information processing device, and display control method | |
US8983125B2 (en) | Three-dimensional image processing device and three dimensional image processing method | |
US9185395B2 (en) | Method and system for automatically adjusting autostereoscopic 3D display device | |
KR20110025083A (en) | 3D image display device and method in 3D image system | |
US20130050448A1 (en) | Method, circuitry and system for better integrating multiview-based 3d display technology with the human visual system | |
JP2014241473A (en) | Image processing device, method, and program, and stereoscopic image display device | |
Kim et al. | Generation of flat viewing zone in DFVZ autostereoscopic multiview 3D display by weighting factor | |
JP5962125B2 (en) | Display device, synchronization method, and program | |
CN109508574A (en) | A kind of Nakedness-yet stereoscopic display method, device and equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
PR1002 | Payment of registration fee |
Fee payment year number: 1 St.27 status event code: A-2-2-U10-U11-oth-PR1002 |
|
PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |
Not in force date: 20130811 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE St.27 status event code: A-4-4-U10-U13-oth-PC1903 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
PC1903 | Unpaid annual fee |
Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20130811 St.27 status event code: N-4-6-H10-H13-oth-PC1903 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |