[go: up one dir, main page]

KR100976141B1 - Image Position Control System and Method for Autostereoscopic Display Using Depth Camera - Google Patents

Image Position Control System and Method for Autostereoscopic Display Using Depth Camera Download PDF

Info

Publication number
KR100976141B1
KR100976141B1 KR1020080134516A KR20080134516A KR100976141B1 KR 100976141 B1 KR100976141 B1 KR 100976141B1 KR 1020080134516 A KR1020080134516 A KR 1020080134516A KR 20080134516 A KR20080134516 A KR 20080134516A KR 100976141 B1 KR100976141 B1 KR 100976141B1
Authority
KR
South Korea
Prior art keywords
image
display
right eye
left eye
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080134516A
Other languages
Korean (ko)
Other versions
KR20100076461A (en
Inventor
이승현
채호병
김영우
신민선
이성중
이형철
감기택
김은수
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020080134516A priority Critical patent/KR100976141B1/en
Publication of KR20100076461A publication Critical patent/KR20100076461A/en
Application granted granted Critical
Publication of KR100976141B1 publication Critical patent/KR100976141B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이 쪽에 깊이 카메라를 설치하고, 깊이 카메라를 통해 시청자의 양안의 위치를 파악하여, 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 관한 것으로서, 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 사전에 정해진 거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 얼굴영역 추출부; 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 양안위치 필터부; 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 디스플레이 조정부를 포함하는 구성을 마련한다.A depth camera is installed on the side of a parallax barrier type stereoscopic display, the position of both eyes of the viewer is determined through the depth camera, and the position of the left eye image and the right eye image on the screen of the display according to the position of both eyes. An image position control system and method for adjusting an autostereoscopic display, the method comprising: receiving image and distance data from the depth camera, and extracting data other than a predetermined distance from the image data to extract image data of a face region; A facial region extractor; A binocular position filter unit for filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; And a display adjusting unit which transmits a signal for disposing a left eye image and a right eye image on a screen of the display to a display such that the left eye image and the right eye image are exposed to the coordinates of the left eye and the right eye, respectively.

상기와 같은 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 의해, 패럴렉스 배리어 방식의 무안경 입체 디스플레이를 시청할 때 시청자가 시청 위치를 바꾸더라도 좌우 영상이 바뀌지 않으면서 자연스런 입체 영상을 시청할 수 있다.According to the image position control system and method of the autostereoscopic display as described above, even when the viewer changes the viewing position when viewing the parallax barrier type autostereoscopic display, it is possible to watch a natural stereoscopic image without changing the left and right images.

패럴렉스 배리어, parallax barrier, 입체 영상, 깊이 카메라, 양안, 눈 Parallax barrier, parallax barrier, depth of field, depth camera, binocular, eyes

Description

깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법 { An automatic sync or back-up system using a removable storage device and the method thereof }Image position control system and method of autostereoscopic display using depth camera {An automatic sync or back-up system using a removable storage device and the method

본 발명은 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이 쪽에 깊이 카메라를 설치하고, 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고, 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 관한 것이다.The present invention is to install a depth camera on the three-dimensional display side of the parallax barrier (parallax barrier), grasp the position of both eyes of the viewer through the depth camera, the left eye image and the right eye image on the screen of the display according to the position of both eyes A system and method for controlling image position of an autostereoscopic display for adjusting the position of an image.

특히, 본 발명은 깊이 카메라를 이용하여 시청자의 얼굴영역을 추출하고, 추출된 얼굴영역을 형판 정합(Template Matching) 방식에 의하여 양안의 위치좌표를 구하고, 양안의 위치좌표에 의하여 디스플레이의 영상위치를 제어하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 관한 것이다.In particular, the present invention extracts the viewer's face region by using a depth camera, obtains the position coordinates of both eyes by the template matching method, and determines the image position of the display by the position coordinates of both eyes. An image position control system and method for an autostereoscopic display to control.

일반적으로 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이는 화면에 좌우 영상을 교차하여 출력하고 화면 정면에 패럴렉스 배리어(parallax barrier)를 부착하여, 좌우 영상이 각각 시청자의 좌안과 우안에 노출하게 한다. 따라서 시청자는 좌우 영상을 좌안과 우안에서 따로 받아들임으로써 별도의 입체 안경을 끼지 않아도 입체감을 느낄 수 있다.In general, a three-dimensional display of a parallax barrier type outputs a left and right image crosswise on a screen and a parallax barrier is attached to the front of the screen so that the left and right images are respectively exposed to the left and right eyes of the viewer. . Therefore, the viewer can receive the left and right images separately in the left eye and the right eye, so that the viewer can feel the stereoscopic feeling without wearing separate stereoscopic glasses.

패럴렉스 배리어 방식의 무안경 입체 디스플레이의 원리를 도 1을 참조하여 보다 구체적으로 설명한다. 패럴렉스 배리어 방식은 1903년에 미국의 F.E.Ives가 패럴렉스 스테레오그램으로 불리는 입체 영상을 보는 방법을 제안하는데 기인한다.The principle of the parallax barrier type autostereoscopic display will be described in more detail with reference to FIG. 1. The parallax barrier method is based on 1903 by F.E.Ives of the United States suggesting a way to view stereoscopic images called parallax stereograms.

도 1a에서 보는 바와 같이, 패럴렉스 배리어 방식은 슬릿 상의 광학적인 배리어(Barrier)에 의해 좌우 영상을 분리하는 방법이다. 도 1a에서는 작은 개구부(Aperture)(12)를 배리어(11) 사이에 놓고 2점 좌안영상 L(22)과 우안영상 R(21)을 들여다보는 경우를 나타내고 있다. 양안의 위치에서 보면 우안(32)에서는 점 R(21)만을 좌안(31)에서는 점 L(22)만을 볼 수 있다. 또 배리어(11)의 크기를 제한하여 우안(32)에서는 점 L(22)을 볼 수 없도록 한 것은 도 1a에서 쉽게 이해할 수 있다.As shown in FIG. 1A, the parallax barrier method is a method of separating left and right images by an optical barrier on a slit. In FIG. 1A, a small aperture 12 is placed between the barriers 11 to look into a two-point left eye image L 22 and a right eye image R 21. From the position of both eyes, only the point R (21) can be seen in the right eye 32 and only the point L (22) in the left eye 31. In addition, it is easily understood in FIG. 1A that the size of the barrier 11 is limited so that the point L 22 cannot be seen from the right eye 32.

도 1b에서 보는 바와 같이, 점 L, R(22, 21)을 좌우 영상의 한 화소(R+G+B)(22, 21)라고 가정하고 이 위치에 액정 등의 평면 디스플레이를 사용하며 슬릿(12)도 한 개가 아니고 등간격의 다수의 슬릿(12)을 가지는 패널(20)을 놓는 것으로 무안경 입체 디스플레이를 만들 수 있다. 즉, 이 방법은 도 1b에서 볼 수 있듯이 패럴렉스 배리어(11)로 불리는 가느다란 슬릿상의 개구부(aperture)(12) 뒤쪽에 적당한 간격을 두고 좌우 2안에 대한 2개의 영상을 교대로 배치하여 특정한 시점에서 이 개구부(12)를 통해 보았을 때 정확하게 분리해서 볼 수 있는 방식이다. 단, 좌우 2안에 대한 영상밖에 표시하고 있지 않기 때문에 시점을 이동해서 자유롭게 볼 수는 없다.As shown in FIG. 1B, assuming that the points L and R (22, 21) are one pixel (R + G + B) 22, 21 of the left and right images, a flat display such as a liquid crystal is used in this position, and the slit ( 12 can also make an autostereoscopic display by placing the panel 20 having a plurality of slits 12 at equal intervals instead of just one. In other words, as shown in Fig. 1b, the method alternately arranges two images of the left and right binoculars at an appropriate interval behind the thin slit-shaped aperture 12, called the parallax barrier 11, at a specific viewpoint. When viewed through the opening 12 in the manner can be seen to be separated correctly. However, since only the images for the left and right two eyes are displayed, the viewpoint cannot be moved freely.

패럴렉스 배리어 방식의 경우 2D/3D전환하는 방법이 간단하다는 장점을 가지고 있어 핸드폰, PDA, 노트북등 주로 휴대용 기기에 적용되어 그 응용이 활발하게 진행되고 있다. 그러나 패럴렉스 배리어 방식은 위치 고정적이란 가장 큰 단점을 가지고 있다. 시청자가 디스플레이 장치에 대해 시청위치를 좌 또는 우로 이동하게 되면 좌우영상이 서로 교차되어 보이게 된다. 이러한 경우에 올바른 입체 영상을 관찰 할 수 없게 된다. 즉, 정확한 위치를 잡아야만 정상적인 영상을 관찰 할 수 있다. 이러한 문제를 해결하는 방식으로 2안식 패럴렉스 배리어에 시청자의 위치 추적(Header tracking)을 적용하여, 시청자가 이동하더라도 이동된 위치에 적합한 영상으로 전환(그림 보정 또는 하드웨어적인 TN 보정 제어)한다.In the case of the parallax barrier method, the method of 2D / 3D conversion is simple, and its application is being actively applied to mobile devices such as mobile phones, PDAs, and laptops. However, the parallax barrier method has the biggest disadvantage of being fixed in position. When the viewer moves the viewing position to the left or right with respect to the display device, the left and right images cross each other. In this case, the correct stereoscopic image cannot be observed. In other words, you must be able to observe a normal image only by positioning it correctly. In order to solve this problem, a viewer's position tracking (Header tracking) is applied to the binocular Parallax barrier, so that even if the viewer moves, the image is converted (image correction or hardware TN correction control).

패럴렉스 배리어 방식의 좌우 영상이 서로 교차하여 관찰되는 문제점을 도 2를 참조하여 구체적으로 설명한다.The problem that the left and right images of the parallax barrier system are observed to cross each other will be described in detail with reference to FIG. 2.

도 2는 시청자의 위치 추적(Header tracking)을 하지 않고 패럴렉스 배리어(11)를 통해 영상을 관찰할 때의 시뮬레이션 그래프이다. 도 2는 개구부(12)와 배리어(11)를 50:50 으로 설정하고 좌측 눈(좌안)으로 들어오는 빛의 양의 평균치 를 측정한 값들로서, 관찰자(또는 시청자)가 우측으로 이동할 때 이동거리마다 측정되는 빛의 평균치를 표시한 그래프이다. 이때 빛의 양은 디스플레이 화면에 출력되는 좌안 영상에서 나오는 빛의 양만을 대상으로 한다.2 is a simulation graph when observing an image through the parallax barrier 11 without performing the tracking of the viewer. FIG. 2 is a measurement of the average value of the amount of light entering the left eye (left eye) with the opening 12 and the barrier 11 set at 50:50, and the movement distance when the observer (or the viewer) moves to the right. It is a graph showing the average value of the measured light. At this time, the amount of light targets only the amount of light from the left eye image output on the display screen.

즉, 도 2에서, x축은 시청자의 좌우 위치를 표시하고, y축은 좌안으로 들어오는 좌안 영상의 빛의 양을 표시하고 있다. 개구부(12)가 전체 화면 면적의 50%이기 때문에, 빛의 양의 최대값은 50이고, 도 2a에서도 최대값은 50임을 알 수 있다.That is, in FIG. 2, the x-axis indicates the left and right positions of the viewer, and the y-axis indicates the amount of light in the left eye image coming into the left eye. Since the opening 12 is 50% of the total screen area, it can be seen that the maximum value of the amount of light is 50, and the maximum value is 50 in FIG. 2A.

관찰자가 빛의 양이 최대인 지점에서 우측으로 이동하면, 좌안으로 들어오는 빛의 양이 점차 감소한다. 빛의 양(y축 값)이 0(x좌표가 13, 37 등)이 되는 부분은 빛이 통과 하지 못하는 위치를 나타낸다. 도 2에서 동그라미를 친 부분들이다.As the observer moves to the right from the point where the amount of light is at its maximum, the amount of light entering the left eye gradually decreases. The portion where the amount of light (y-axis value) becomes 0 (x coordinates 13, 37, etc.) indicates the position where light cannot pass. 2 are circled parts.

좌안 영상과 우안 영상이 모두 출력되는 패럴렉스 배리어 방식의 실제 입체 디스플레이인 경우, 도 2의 동그라미 부분인 시청위치에서, 좌안 영상의 빛은 통과하지 못하고, 대신 우안 영상의 빛이 통과한다. 따라서 y축 값이 0이 될 때의 시청위치(또는 양안의 위치)는 좌, 우 영상이 완전히 뒤바뀌는 위치를 의미한다.In the case of the actual stereoscopic display of the parallax barrier type in which both the left eye image and the right eye image are output, the light of the left eye image does not pass, instead, the light of the right eye image passes at the viewing position, which is a circle part of FIG. 2. Therefore, the viewing position (or the position of both eyes) when the y-axis value is 0 means the position where the left and right images are completely reversed.

다시 말하면, 패럴렉스 배리어 방식은 시청위치가 변하면 좌우 영상이 서로 바뀌어 보이게 되므로, 시청위치를 고정해야 하는 단점을 가지고 있다.In other words, the parallax barrier method has a disadvantage in that the viewing position is fixed since the left and right images are changed when the viewing position changes.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이 쪽에 깊이 카메라를 설치하 고, 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고, 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 제공하는 것이다.An object of the present invention is to solve the problems described above, install a depth camera on the side of the parallax barrier (parallax barrier) stereoscopic display, to determine the position of both eyes of the viewer through the depth camera, It is to provide an image position control system and method for an autostereoscopic display for adjusting the position of the left eye image and the right eye image on the screen of the display according to the position of.

또, 본 발명의 목적은 깊이 카메라를 이용하여 시청자의 얼굴영역을 추출하고, 추출된 얼굴영역을 형판 정합(Template Matching) 방식에 의하여 양안의 위치좌표를 구하고, 양안의 위치좌표에 의하여 디스플레이의 영상위치를 제어하는 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 제공하는 것이다.In addition, an object of the present invention is to extract the viewer's face region by using a depth camera, to obtain the position coordinates of both eyes by the template matching method, the image of the display by the position coordinates of both eyes An image position control system and method for an autostereoscopic display for controlling position are provided.

상기 목적을 달성하기 위해 본 발명은 화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비한 무안경 입체 디스플레이 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는, 깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어시스템에 관한 것으로, 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 시청거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 얼굴영역 추출부; 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 양안위치 필터부; 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌 안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 디스플레이 조정부를 포함하는 것을 특징으로 한다.To achieve the above object, the present invention provides an autostereoscopic display having a left eye image and a right eye image on the screen and having a parallax barrier on the front of the screen, and a depth camera installed on the side of the stereoscopic display. Connected, the image position control of the autostereoscopic display using the depth camera to determine the position of both eyes of the viewer through the depth camera and to adjust the position of the left eye image and the right eye image on the screen of the display according to the position of the binocular A system comprising: a face region extracting unit receiving an image and a sense of distance from the depth camera, and extracting image data of a face region by removing data other than a viewing distance from the image data; A binocular position filter unit for filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; And a display adjusting unit configured to transmit a signal for disposing a left eye image and a right eye image on a screen of the display so that the left eye image and the right eye image are exposed to the coordinates of the left eye and the right eye, respectively.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 얼굴영역 추출부는, 상기 얼굴영역의 영상 데이터를 마스크(mask)로 침식(erosion)과 팽창(dilation)을 반복하여 잡음(noise)을 제거하는 것을 특징으로 한다.In another aspect of the present invention, in the image position control system of an autostereoscopic display, the face region extracting unit repeats erosion and dilation of the image data of the face region with a mask to generate noise. ) To be removed.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 양안위치 필터부는, 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구하는 것을 특징으로 한다.In another aspect, the present invention is characterized in that the image position control system of the autostereoscopic display, wherein the binocular position filter unit is to filter the template of the eye to the image data of the face area to obtain the coordinates of the left and right eyes, respectively. do.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 양안위치 필터부는, 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성하는 것을 특징으로 한다.In addition, the present invention is characterized in that in the image position control system of the autostereoscopic display, the binocular position filter unit is configured of a mask having a size inversely proportional to the viewing distance.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 디스플레이 조정부는, 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 최대값의 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송하는 것을 특징으로 한다.In addition, the present invention is an image position control system of an autostereoscopic display, wherein the display adjustment unit, the left eye image or right eye image disposed on the display in the coordinates of the left eye or right eye is the amount of light 50% or less of the maximum value When exposed, it is characterized in that for transmitting a signal for replacing the left eye image and right eye image disposed on the display.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 디스플레이 조정부는, 상기 좌안과 우안의 좌표를 평균하여 평균좌표를 구하고, 상기 평균좌표의 위치에 의하여, 상기 디스플레이에 배치된 좌안 영상과 우안 영상 을 교체시키는 신호를 전송하는 것을 특징으로 한다.In addition, in the image position control system of the autostereoscopic display, the display adjustment unit obtains an average coordinate by averaging the coordinates of the left eye and the right eye, and the left eye disposed on the display by the position of the average coordinate. It is characterized by transmitting a signal to replace the image and the right eye image.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서, 상기 디스플레이 조정부는, DDC통신을 이용하여, 상기 디스플레이에 신호를 전송하는 것을 특징으로 한다.In addition, the present invention is characterized in that in the image position control system of the autostereoscopic display, the display adjustment unit transmits a signal to the display using DDC communication.

또한, 본 발명은 화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비한 무안경 입체 디스플레이 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는, 깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어방법에 관한 것으로서, (a) 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 사전에 정해진 거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 단계; (b) 상기 추출된 영상데이터가 얼굴영상인 것을 검증하는 단계; (c) 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 단계; (d) 상기 구한 좌안과 우안의 좌표가 상기 얼굴영역의 영상 데이터에서 눈의 위치에 있는 것인지를 검증하는 단계; (e) 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 단계를 포함하는 것을 특징으로 한다.In addition, the present invention is connected to the autostereoscopic display having a parallax barrier on the front of the screen and outputs the left eye image and the right eye image on the screen and connected to the depth camera installed on the side of the three-dimensional display, A method of controlling image position of an autostereoscopic display using a depth camera, which detects the position of both eyes of a viewer through a depth camera and adjusts the position of a left eye image and a right eye image on a screen of the display according to the position of both eyes. (a) receiving image and distance sensing data from the depth camera and extracting image data of a face region by removing data other than a predetermined distance from the image data; (b) verifying that the extracted image data is a face image; (c) filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; (d) verifying whether the obtained coordinates of the left eye and the right eye are at the position of the eye in the image data of the face region; and (e) transmitting to the display a signal for arranging the left eye image and the right eye image on the screen of the display such that the left eye image and the right eye image are exposed at the left eye and right eye coordinates, respectively.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법에 있어서, 상기 (c) 단계는, 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구하는 것을 특징으로 한다.In another aspect, the present invention provides a method for controlling an image position of an autostereoscopic display, wherein the step (c) includes filtering the template of the eye to the image data of the face region to obtain coordinates of the left and right eyes. It is done.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법에 있어서, 상기 (c) 단계는, 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성하는 것을 특징으로 한다.In addition, the present invention is a method for controlling the image position of an autostereoscopic display, wherein step (c) is characterized in that the template of the eye is composed of a mask having a size inversely proportional to the viewing distance.

또, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법에 있어서, 상기 (c)단계는, 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송하는 것을 특징으로 한다.In addition, the present invention provides a method for controlling an image position of an autostereoscopic display, wherein in step (c), a left eye image or a right eye image disposed on the display in the coordinates of the left eye or the right eye has an amount of light of 50% or less. When exposed, it is characterized in that for transmitting a signal for replacing the left eye image and the right eye image disposed on the display.

또한, 본 발명은 무안경 입체 디스플레이의 영상위치 제어방법을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention also relates to a computer-readable recording medium recording a method for controlling image position of an autostereoscopic display.

상술한 바와 같이, 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법에 의하면, 패럴렉스 배리어 방식의 무안경 입체 디스플레이를 시청할 때 시청자가 시청 위치를 바꾸더라도 좌우 영상이 바뀌지 않으면서 자연스런 입체 영상을 시청할 수 있는 효과가 얻어진다.As described above, according to the image position control system and method of the autostereoscopic display according to the present invention, when viewing a parallax barrier type autostereoscopic display, even if the viewer changes the viewing position, the left and right images are not changed naturally. The effect of viewing an image is obtained.

또, 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방 법에 의하면, 시청자의 얼굴은 허공에 위치하기 때문에 깊이 카메라로 얼굴영역을 보다 정확하게 추출함으로써, 실시간으로 보다 정확하게 시청위치에 따라 입체 영상을 조정할 수 있는 효과가 얻어진다.In addition, according to the image position control system and method of the autostereoscopic display according to the present invention, since the viewer's face is located in the air, by extracting the face area more accurately with a depth camera, the stereoscopic display according to the viewing position more accurately in real time. The effect of adjusting the image is obtained.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the drawings.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.In addition, in describing this invention, the same code | symbol is attached | subjected and the repeated description is abbreviate | omitted.

먼저, 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 실시하기 위한 전체 시스템의 구성에 대하여 도 3을 참조하여 설명한다.First, the configuration of the entire system for implementing the image position control system and method of the autostereoscopic display according to the present invention will be described with reference to FIG.

도 3에서 보는 바와 같이, 본 발명을 실시하기 위한 전체 시스템은 입체 디스플레이(20), 깊이 카메라(40), 영상위치 제어시스템(50)으로 구성된다.As shown in FIG. 3, the entire system for implementing the present invention is composed of a stereoscopic display 20, a depth camera 40, and an image position control system 50.

입체 디스플레이(20)는 패럴렉스 배리어(parallax barrier) 방식의 무안경 입체 디스플레이이다. 입체 디스플레이(20)는 일반 디스플레이와는 달리 좌안 영상과 우안 영상을 동시에 입력받아 화면에 출력한다. 또, 앞서 설명한 바와 같이, 입체 디스플레이(20)는 좌안 영상과 우안영상을 교대로 화면에 일정한 간격으로 배치하여 출력한다. 화면 정면에는 슬릿(또는 개구부)이 일정한 간격으로 배치되어 구비된 배리어(barrier)가 설치된다.The stereoscopic display 20 is an autostereoscopic stereoscopic display of a parallax barrier type. Unlike the general display, the stereoscopic display 20 receives a left eye image and a right eye image at the same time and outputs them to the screen. In addition, as described above, the stereoscopic display 20 alternately arranges the left eye image and the right eye image at regular intervals on the screen and outputs the same. A barrier provided with slits (or openings) arranged at regular intervals is provided in front of the screen.

한편, 입체 디스플레이(20)는 좌안 영상과 우안영상을 교대로 화면에 배치하 나, 좌안영상과 우안영상의 위치를 바꿔 배치할 수 있도록 제어할 수 있다. 예를 들면, 입체 디스플레이(20)의 화면에 L, R, L, R, ..., L, R 형태로 좌안 영상을 먼저 출력하여, 교대로 일정한 간격으로 배치하는 제어가 첫 번째 방식이라면, 반대로 우안 영상을 먼저 출력하여, 교대로 배치하는 R, L, R, L, ..., R, L 형태의 배치방식이 두 번째 방식이다. 즉, 입체 디스플레이(20)는 상기 첫 번째 방식과 두 번째 방식을 선택하여 출력할 수 있다.Meanwhile, the stereoscopic display 20 may alternately arrange the left eye image and the right eye image on the screen, or control the position of the left eye image and the right eye image by changing the positions. For example, if the first method of controlling the left eye image in the form of L, R, L, R, ..., L, R first on the screen of the stereoscopic display 20 and alternately arranging them at regular intervals, On the contrary, the second, the R, L, R, L, ..., R, L type arrangement method that outputs the right eye image first and alternately arranges them. That is, the stereoscopic display 20 may select and output the first and second methods.

깊이 카메라(40)는 도 5와 같이, 입체 디스플레이(20) 쪽에 설치되어 시청자의 얼굴부분을 촬영한다. 깊이 카메라(40)는 사물을 촬영 또는 측정하여 영상과 거리감 데이터를 추출하는 카메라이다. 즉, 깊이 카메라(40)는 일반적인 카메라(40)와 같이 사물을 촬상하여 영상 또는 이미지 데이터를 만들고, 각 영상의 픽셀에 해당하는 실제 위치에서 카메라로부터의 거리를 측정하여 거리감 데이터를 만든다.The depth camera 40 is installed on the stereoscopic display 20 side as shown in FIG. 5 to photograph the viewer's face. The depth camera 40 is a camera that photographs or measures an object and extracts an image and a sense of distance data. That is, the depth camera 40 generates an image or image data by capturing an object like the general camera 40 and measures distance from the camera at an actual position corresponding to the pixel of each image to generate distance data.

예를 들면, 깊이 카메라(40)로서 3D-TOF 카메라(Camera) 등이 이용될 수 있다. 3D-TOF 카메라는 이름에서 알 수 있듯이 TOF는 Time of flight 이론에 의해 깊이를 측정하는 카메라이다. 즉, 상기 카메라는 적외선 LED를 이용하여 매우 짧은 펄스(약 20MHz)로 발광시키고, 되돌아오는 위상 시간차를 계산해서 깊이 값을 찾아내는 방식이다. 마치 레이더와 같은 개념이 적용된 카메라이다.For example, a 3D-TOF camera or the like may be used as the depth camera 40. 3D-TOF cameras, as the name suggests, TOF is a camera that measures depth by time of flight theory. That is, the camera emits light with a very short pulse (about 20 MHz) using an infrared LED, and calculates a return time difference to find a depth value. It's like a radar camera.

도 5에서 보는 바와 같이, 깊이 카메라(40)는 사물을 촬영할 때 거리감 정보를 필터링하여 특정 거리 내에 있는 물체(object)만을 골라낼 수 있다. 즉, 도 5에서, 깊이 카메라(40)의 거리감 데이터를 이용하여, 근거리 위치(near field)와 원거리 위치(far field)의 물체는 제외하고, 목표로 하는 특정거리 위치(depth field)에 위치하는 물체들만 골라(segmentation)낼 수 있다.As shown in FIG. 5, the depth camera 40 may filter only distance information when capturing an object, and select only an object within a specific distance. That is, in FIG. 5, by using the sense of distance data of the depth camera 40, an object of a near field and a far field, except for an object in a near field and a far field, is located at a target depth field. Only objects can be segmented.

영상위치 제어시스템(50)은 상기 입체디스플레이(20)와 깊이 카메라(40)와 연결되어 데이터를 송수신할 수 있다. 특히, 영상위치 제어시스템(50)은 깊이 카메라(40)로부터 촬영 또는 측정된 영상 및 거리감 데이터를 입력받는다. 그리고 좌안영상과 우안영상의 배치 방식에 대한 신호를 입체 디스플레이(20)에 전송한다.The image position control system 50 may be connected to the stereoscopic display 20 and the depth camera 40 to transmit and receive data. In particular, the image position control system 50 receives the image or distance sensed data taken or measured from the depth camera 40. And a signal for the arrangement of the left eye image and the right eye image is transmitted to the stereoscopic display 20.

한편, 바람직하게는, 영상위치 제어시스템(50)은 깊이 카메라(40)로부터 입력받은 영상 및 거리감 데이터를 분석하여, 시청자의 양안의 위치좌표를 구한다. 위치좌표에 따라 입체 디스플레이(20)의 좌안 영상과 우안 영상의 배치신호를 생성하여 입체 디스플레이(20)에 전송한다.On the other hand, preferably, the image position control system 50 analyzes the image and distance data received from the depth camera 40, to obtain the position coordinates of both eyes of the viewer. According to the position coordinates, a batch signal of the left eye image and the right eye image of the stereoscopic display 20 is generated and transmitted to the stereoscopic display 20.

한편, 바람직하게는, 영상위치 제어시스템(50)은 상기 입체 디스플레이(20)와 DDC(Data Display Channel) 방식으로 연결한다. 일반적으로 컴퓨터 모니터 등 LCD 모니터는 기본적으로 VGA 콘넥터를 이용한 DDC(Data Display Channel) 통신이 가능하다. VESA에서 정의한 DDC의 확장 형태인 DDC/CI (Data Display Channel / Command Interface)의 규격에 의하여 컴퓨터 디스플레이와 그래픽카드의 디지털적 결합으로 각종 기능을 제어할 수 있다. 또, DDC는 VGA 커넥터, DVI 커넥터 또는 HMDI 커넥터의 데이터(data), 클럭(clock), 접지(ground)의 3핀을 통하여 데이터가 전송된다. 즉, DDC통신은 컴퓨터 프로그램을 이용하여 모니터의 상태를 알 수도 있고 제어도 가능하다.On the other hand, preferably, the image position control system 50 is connected to the stereoscopic display 20 in the DDC (Data Display Channel) method. In general, LCD monitors such as computer monitors are basically capable of DDC (Data Display Channel) communication using a VGA connector. According to the specification of DDC / CI (Data Display Channel / Command Interface), an extension of DDC defined by VESA, various functions can be controlled by digital combination of computer display and graphic card. In addition, DDC transmits data through three pins of data, clock, and ground of a VGA connector, a DVI connector, or an HMDI connector. That is, the DDC communication can be used to know the status of the monitor and control using a computer program.

다음으로, 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템의 구성을 도 4를 참조하여 설명한다.Next, a configuration of an image position control system of an autostereoscopic display according to an embodiment of the present invention will be described with reference to FIG. 4.

도 4에서 보는 바와 같이, 본 발명의 일실시예에 따른 영상위치 제어 시스템(50)은 얼굴영역 추출부(51), 양안위치 필터부(52), 디스플레이 조정부(53)를 포함하여 구성한다. 또, 필요한 데이터를 저장하기 위한 메모리(55)를 추가적으로 구성할 수 있다.As shown in FIG. 4, the image position control system 50 according to the exemplary embodiment of the present invention includes a face region extractor 51, a binocular position filter 52, and a display adjuster 53. In addition, a memory 55 for storing necessary data can be further configured.

얼굴영역 추출부(51)는 상기 깊이 카메라(40)로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 시청거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출한다.The face region extractor 51 receives an image and a sense of distance from the depth camera 40, and extracts image data of the face region by removing data other than the viewing distance from the image data.

패럴렉스 배리어를 장착한 디스플레이(20)는 시청위치를 시청자가 임의로 바꿀 수 없다. 그 이유는 패럴렉스 배리어 방식의 디스플레이(20)는 앞에서 설명한 바와 같이 특정 거리 내에서만 관측이 가능하기 때문이다. 따라서 시청거리는 사전에 정해진다. 본 발명에 따른 구체적 일례는 병원에서 시술시 입체 영상을 관찰하기 위한 거리를 목표로 설정된다. 즉, 시청거리를 130 cm (오차범위 ± 10 cm) 로 정한다. 그리고 입체영상의 시청가능 각도는 4,8도로 정한다.In the display 20 equipped with the parallax barrier, the viewer cannot change the viewing position arbitrarily. The reason is that the parallax barrier type display 20 can be observed only within a specific distance as described above. Therefore, the viewing distance is predetermined. Specific example according to the present invention is set to target the distance for observing the stereoscopic image during the procedure in the hospital. That is, the viewing distance is set to 130 cm (error range ± 10 cm). The viewing angle of the stereoscopic image is set to 4 and 8 degrees.

따라서 얼굴영역 추출부(51)는 상기 깊이 카메라(40)로부터 입력받은 영상과 거리감 데이터을 분석하여, 거리감 데이터가 130 ± 10 cm 이내에 있지 않는 영상은 모두 제외하고, 상기 시청거리 내에 있는 영상만 추출한다.Therefore, the face region extracting unit 51 analyzes the image received from the depth camera 40 and the sense of distance data, and extracts only the image within the viewing distance, except for all the images having no sense of distance within 130 ± 10 cm. .

한편, 상기 시청거리에 위치하는 영상 데이터에는 가슴이나 어깨 등 시청자의 얼굴이외의 부분도 포함될 것이다. 특정 거리로 제한된 영상은 정상적인 사람의 특성상 위 부분은 머리에 해당되고 아래 부분은 몸에 해당된 것으로 가정하고 얼굴 영역만 추출한다.On the other hand, the image data located at the viewing distance will include parts other than the viewer's face such as chest or shoulder. The image limited to a certain distance is extracted by assuming that the upper part corresponds to the head and the lower part corresponds to the body due to the characteristics of a normal person.

깊이 카메라(40)로부터 입력되는 영상 데이터으로부터 상기 거리감 데이터에서 얼굴이 위치하는 일정한 거리의 영역만 추출한 결과는 도 6a와 같다.6A is a result of extracting only a region of a predetermined distance where the face is located from the distance data from the image data input from the depth camera 40.

그런데 도 6a의 영역내에 촬영된 영상은 많은 잡음(noise)를 가지고 있다. 따라서 영상 데이터를 쉽게 다루기 위해서, 잡음을 제거하여야 한다. 즉, 영상(gray image)의 값은 8 bit(0~255) 분해능 중에 제한(threshold) 값으로 100을 설정한다. 또, 영상의 잡음(noise)을 제거하기 위해 마스크(mask)의 크기를 3x3으로 하고 두 번의 침식(erosion)과 5회의 팽창(dilation)한다. 상기 과정에 의해 생성되는 이미지가 도 6b에 보여주고 있다.However, the image captured in the region of FIG. 6A has a lot of noise. Therefore, in order to easily handle image data, noise must be removed. That is, the gray image value is set to 100 as a threshold value during 8 bit (0 to 255) resolution. Also, in order to remove noise of the image, the mask size is 3x3, and two erosions and five dilations are performed. An image generated by the above process is shown in FIG. 6B.

한편, 얼굴영역 추출부(51)는 추출된 얼굴영역의 영상데이터가 실제 얼굴인지를 확인한다.Meanwhile, the face region extractor 51 checks whether the extracted image data of the face region is a real face.

양안위치 필터부(52)는 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구한다. 특히, 양안위치 필터부(52)는 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구한다. 이 때의 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성한다.The binocular position filter 52 filters the shapes of both eyes from the image data of the face region by a template matching method, and obtains coordinates of the left and right eyes. In particular, the binocular position filter 52 filters the template of the eye to the image data of the face region to obtain the coordinates of the left and right eyes, respectively. The eye template at this time is composed of a mask having a size inversely proportional to the viewing distance.

양안위치 필터부(52)는 잡음(noise)가 제거된 상기 영상에서 눈의 형판을 이용하여 양안의 위치를 구한다. 바람직하게는, 마스크(mask)의 크기는 20x16으로 만든다.The binocular position filter 52 calculates the position of both eyes using the eye template in the image from which the noise is removed. Preferably, the size of the mask is made 20x16.

앞서 설명한 바와 같이, 시청거리는 일정하게 사전에 정해지므로, 시청자의 얼굴의 크기도 일정하게 정해질 수 있다. 시청거리가 가까워지면 형판의 크기가 커져야 하고 멀어지면 형판의 크기 또한 작아져야 한다. 깊이 카메라에서 분리된 얼굴 영역은 특정 거리에 존재함을 이미 알 수 있기 때문에 선정된 얼굴 후보 영상은 일정한 크기 범위 내 속해 있어야 한다. 본 발명에서는 특정 거리에 존재 하는 시청자만을 분리해내고 입체 영상을 관측하기 위한 제한된 응용 임으로 형판 정합의 크기를 다양하게 준비할 필요는 없다. 또, 사람마다의 얼굴의 크기가 차이는 있으나, 전체 얼굴크기에 비하면 그 차이가 작다. 따라서 시청거리에 반비례하는 크기로 마스크(mask)의 크기를 정한다.As described above, since the viewing distance is constantly determined in advance, the size of the viewer's face may also be determined constantly. The closer the viewing distance is, the larger the template should be and the farther the template should be. Since the face region separated from the depth camera already exists at a certain distance, the selected face candidate image should be within a certain size range. In the present invention, it is not necessary to prepare various sizes of template matching because it is a limited application for separating only viewers existing at a specific distance and observing stereoscopic images. In addition, although the size of each person's face is different, the difference is small compared to the overall face size. Therefore, the size of the mask is determined to be in inverse proportion to the viewing distance.

한 쪽 눈을 찾은 후 좌측 또는 우측에서 나머지 눈을 찾는다.Find one eye and find the other eye on the left or right.

양안을 모두 찾으면 찾은 눈이 실제 눈이 맞는지를 검증해야 한다. 검증하는 방법은 양안이 서로 대칭적으로 위치하는지, 양안의 좌표상의 거리와 실제 눈 사이의 거리의 차이, 얼굴영역의 상단에 위치하는 것인가 등을 확인하여 판단한다. 앞서 설명한 예제에서는 눈의 간격은 65± 3 mm으로 정하여 양안의 거리가 상기 눈의 간격 내에 있는지를 확인한다.When both eyes are found, you must verify that the eye you found is the correct one. The verification method determines whether both eyes are symmetrically located, whether the distance between the coordinates of the eyes and the distance between the actual eyes, and whether the eyes are located at the top of the face region. In the above-described example, the eye distance is set to 65 ± 3 mm to check whether the distance between both eyes is within the eye distance.

디스플레이 조정부(53)는 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송한다.The display adjustment unit 53 transmits a signal for disposing a left eye image and a right eye image on the screen of the display so that the left eye image and the right eye image are exposed to the coordinates of the left eye and the right eye, respectively.

특히, 디스플레이 조정부(53)는 상기 좌안 또는 우안의 좌표에서 상기 디스 플레이에 배치된 좌안 영상 또는 우안 영상이 최대값의 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.In particular, if the left or right eye image disposed on the display is exposed to an amount of light equal to or less than 50% of the maximum value, the display adjustment unit 53 may display the left eye image and the right eye disposed on the display. Send a signal to replace the image.

한편, 입체 디스플레이를 관찰할 때 좌우이동 성분( x축) 만 관여되고 세로축 (y축)은 영상 괄찰과는 상관없다. 따라서 좌우 이동 성분인 x값만을 이용한다. 또, 디스플레이 조정부(53)는 상기 좌안과 우안의 좌표를 평균하여 평균좌표를 구하고, 상기 평균좌표의 위치에 의하여, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.On the other hand, when observing a stereoscopic display, only the left and right shift component (x-axis) is involved, and the vertical axis (y-axis) has nothing to do with image bracketing. Therefore, only the x value which is a left-right moving component is used. In addition, the display adjusting unit 53 obtains an average coordinate by averaging the coordinates of the left eye and the right eye, and transmits a signal for replacing the left eye image and the right eye image disposed on the display by the position of the average coordinate.

또, 다른 실시예로서, 디스플레이 조정부(53)는 상기 좌안과 우안의 좌표를 평균하여 평균좌표를 구하고, 상기 평균좌표의 위치에 의하여, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.In another exemplary embodiment, the display adjusting unit 53 obtains an average coordinate by averaging the coordinates of the left eye and the right eye, and converts a left eye image and a right eye image disposed on the display by a position of the average coordinate. send.

또한, 디스플레이 조정부(53)는 DDC통신을 이용하여, 상기 입체 디스플레이(20)에 신호를 전송한다. 앞서 영상위치 제어시스템(50)이 입체 디스플레이(20)와 통신하는 방식을 설명한 바와 같다.In addition, the display adjusting unit 53 transmits a signal to the stereoscopic display 20 using DDC communication. As described above, the image position control system 50 communicates with the stereoscopic display 20.

다음으로, 본 발명에 따른 무안경 입체 디스플레이에서 시청자의 시청위치에 따라 한쪽 영상이 한쪽 눈에 노출하는 빛의 양을 측정한 결과를 도 7을 참조하여 설명한다.Next, the result of measuring the amount of light that one image is exposed to one eye according to the viewing position of the viewer in the autostereoscopic display according to the present invention will be described with reference to FIG.

도 7에서, x축은 시청자의 좌우 위치를 표시하고, y축은 좌안(또는 우안)으로 들어오는 좌안(또는 우안) 영상의 빛의 양을 표시하고 있다. 앞서 배경기술과 같이, 개구부(12)가 전체 화면 면적의 50%로 가정한다. 따라서 빛의 양의 최대값은 50이다.In FIG. 7, the x axis represents the left and right positions of the viewer, and the y axis represents the amount of light of the left eye (or right eye) image coming into the left eye (or right eye). As in the background above, it is assumed that the opening 12 is 50% of the total screen area. Thus, the maximum amount of light is 50.

도 7은 y축 값이 0인 위치가 되기 전, 즉, 최대값의 50% 미만으로 떨어질 때 좌우의 영상을 바꿔주었을 때, 빛의 양을 그래프로 표시한 것이다. y축 값이 0인 위치가 되기 전에 좌우의 영상을 바꿔주면 영상이 바뀌는 상황에 따른 어지럼증을 개선할 수가 있다.FIG. 7 is a graph showing the amount of light before the y-axis value is zero, that is, when the left and right images are swapped when they fall below 50% of the maximum value. If the left and right images are swapped before the y-axis value is 0, dizziness due to the changing image can be improved.

도 7에서 보는 바와 같이, 좌우 영상이 최대값의 50% 미만으로 떨어질 때 좌우 영상을 바뀌줌(swap)으로써 수직 값이 0으로 떨어지지 않고 다시 투과 되는 값의 평균치가 커짐을 알 수 있다. 도 7과 같이, 최소값은 25%이므로, 평균치는 배경기술의 도 2에 비하여 크게 개선되고 있다.As shown in FIG. 7, it can be seen that when the left and right images fall below 50% of the maximum value, the left and right images are swapped so that the average value of the transmitted values is increased without falling to zero. As shown in Fig. 7, the minimum value is 25%, so the average value is greatly improved compared to Fig. 2 of the background art.

여기서 영상의 좌, 우 데이터를 바꾸는 방식은 하드웨어적인 방식이든 소프트웨어적인 방식으로 처리하든 결과는 같게 나타난다. 결론적으로, 일반적인 패럴렉스 배리어 방식의 무안경 입체 디스플레이에 시청자의 위치를 추적하여 입체 영상 관찰에서 좌우 영상이 뒤바뀌는 문제를 다소나마 해결한 결과를 확인할 수 있다.Here, the method of changing the left and right data of the image is the same whether processed in hardware or software. In conclusion, the results of tracking the viewer's position on a general parallax barrier type autostereoscopic display can solve the problem of inverting the left and right images in stereoscopic observation.

다음으로, 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어방법을 도 8을 참조하여 설명한다.Next, an image position control method of an autostereoscopic display according to an embodiment of the present invention will be described with reference to FIG. 8.

본 발명의 일실시예에 따른 영상위치 제어방법은 화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비 한 무안경 입체 디스플레이(20) 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라(40)와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는 방법이다.According to an exemplary embodiment of the present invention, an image position control method includes an autostereoscopic display 20 having a left eye image and a right eye image on a screen, and having a parallax barrier in front of the screen, and the stereoscopic image. Connected to the depth camera 40 installed on the side of the display, it is a method of determining the position of both eyes of the viewer through the depth camera and adjust the position of the left eye image and the right eye image on the screen of the display according to the position of both eyes.

도 8에서 보는 바와 같이, 본 발명의 일실시예에 따른 영상위치 제어방법은 (a) 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 사전에 정해진 거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 단계(S10); (b) 상기 추출된 영상데이터가 얼굴영상인 것을 검증하는 단계(S20); (c) 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 단계(S30); (d) 상기 구한 좌안과 우안의 좌표가 상기 얼굴영역의 영상 데이터에서 눈의 위치에 있는 것인지를 검증하는 단계(S40); (e) 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 단계(S50)로 나뉜다.As shown in Figure 8, the image position control method according to an embodiment of the present invention (a) receives an image and a sense of distance data from the depth camera, removes data other than a predetermined distance from the image data to the face Extracting image data of an area (S10); (b) verifying that the extracted image data is a face image (S20); (c) filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes (S30); (d) verifying whether the obtained coordinates of the left eye and the right eye are at the position of the eye in the image data of the face region (S40); (e) a step of transmitting a signal for disposing a left eye image and a right eye image on a screen of the display to the display such that the left eye image and the right eye image are respectively exposed at the coordinates of the left eye and the right eye.

상기 (c) 단계는, 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구한다. 특히, 상기 (c) 단계는, 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성한다.In the step (c), the template of the eye is filtered to the image data of the face region, respectively, to obtain coordinates of the left eye and the right eye. In particular, step (c) comprises a template of the eye size inversely proportional to the viewing distance.

또, 상기 (e)단계는 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송한다.Also, in the step (e), when the left eye image or the right eye image disposed on the display is exposed to an amount of 50% or less of light, the left eye image and the right eye image disposed on the display are replaced. Send a signal.

상기 (b)단계에서, 추출된 영상데이터가 얼굴영상인지를 검증하는 방법은 상관계수를 이용하여 검증하는 종래의 얼굴인식 방법을 사용한다. 또, 상기 (d)단계에서 눈의 위치를 검증하는 방법도 종래의 얼굴에서의 눈 인식 방법을 사용한다. 즉, 좌안과 우안이 대칭적으로 위치하는가, 또는 좌안과 우안이 얼굴영역의 중간 위쪽에 위치하는가 등에 의하여 판단한다.In the step (b), a method of verifying whether the extracted image data is a face image uses a conventional face recognition method of verifying using a correlation coefficient. In addition, the method of verifying the position of the eye in the step (d) also uses a conventional eye recognition method. That is, it is determined whether the left and right eyes are symmetrically positioned, or whether the left and right eyes are located above the middle of the face region.

상기 무안경 입체 디스플레이의 영상위치 제어방법에 대한 설명 중 미흡한 부분은 앞서 설명한 무안경 입체 디스플레이의 영상위치 제어시스템에 대한 설명을 참고한다.For the insufficient description of the image position control method of the autostereoscopic display, refer to the description of the image position control system of the autostereoscopic display described above.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.As mentioned above, although the invention made by this inventor was demonstrated concretely according to the said Example, this invention is not limited to the said Example, Of course, a various change is possible in the range which does not deviate from the summary.

본 발명은 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이를 개발하는데 적용이 가능하다. 특히, 시청자가 시청 위치를 바꾸더라도 좌우 영상이 바뀌지 않으면서 자연스런 입체 영상을 시청할 수 있는 패럴렉스 배리어(parallax barrier) 방식의 입체 디스플레이를 개발하는데 이용이 가능하다.The present invention is applicable to the development of a three-dimensional display of the parallax barrier method. In particular, it is possible to develop a three-dimensional display of the parallax barrier (parallax barrier) method that can watch a natural three-dimensional image without changing the left and right image even if the viewer changes the viewing position.

도 1은 종래의 패럴렉스 배리어 방식의 무안경 입체 디스플레이의 원리를 설 명하는 도면이다.1 is a view for explaining the principle of a conventional parallax barrier type autostereoscopic display.

도 2는 종래의 패럴렉스 배리어 방식의 무안경 입체 디스플레이에서 시청자의 눈의 위치에 따라 한쪽 영상이 한쪽 눈에 노출하는 빛의 양을 측정한 그래프를 도시한 도면이다.FIG. 2 is a diagram illustrating a graph measuring the amount of light exposed to one eye according to the position of the viewer's eye in a conventional parallax barrier type autostereoscopic display.

도 3은 본 발명에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템 및 방법을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.3 is a diagram showing the configuration of the entire system for implementing the image position control system and method of the autostereoscopic display according to the present invention.

도 4는 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어 시스템의 구성에 대한 블록도이다.4 is a block diagram of a configuration of an image position control system of an autostereoscopic display according to an embodiment of the present invention.

도 5는 도 4의 구성요소인 깊이 카메라의 거리감 데이터를 측정하는 원리를 도시한 도면이다.FIG. 5 is a diagram illustrating a principle of measuring distance data of a depth camera that is a component of FIG. 4.

도 6은 본 발명의 일실시예에 따라 양안의 위치를 측정하는 단계에서 얻어지는 결과를 도시한 도면이다.6 is a view showing the results obtained in the step of measuring the position of both eyes in accordance with an embodiment of the present invention.

도 7은 본 발명에 따른 무안경 입체 디스플레이에서 시청자의 눈의 위치에 따라 한쪽 영상이 한쪽 눈에 노출하는 빛의 양을 측정한 그래프를 도시한 도면이다.FIG. 7 is a graph illustrating an amount of light exposed to one eye by one image according to the position of the viewer's eye in the autostereoscopic display according to the present invention.

도 8은 본 발명의 일실시예에 따른 무안경 입체 디스플레이의 영상위치 제어방법을 설명하는 흐름도이다.8 is a flowchart illustrating a method of controlling an image position of an autostereoscopic display according to an embodiment of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

11 : 패럴렉스 배리어 12 : 개구부11: parallax barrier 12: opening

20 : 디스플레이 21 : 화면의 우안 영상20: display 21: right eye image of the screen

22 : 화면의 좌안 영상 30: 시청자22: left eye image of the screen 30: viewers

31 : 시청자의 좌안 32 : 시청자의 우안31: left eye of viewer 32: right eye of viewer

40 : 깊이 카메라 50 : 영상위치 조정시스템40: depth camera 50: image position adjustment system

51 : 얼굴영역 추출부 52 : 양안위치 필터부51: face area extraction unit 52: binocular position filter unit

53 : 디스플레이 조정부 55 : 메모리53: display adjustment section 55: memory

Claims (12)

화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비한 무안경 입체 디스플레이 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는, 깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어시스템에 있어서,A stereoscopic display with a parallax barrier on the front of the screen and outputting the left and right eye images on the screen, connected to a depth camera installed on the side of the stereoscopic display, and connected to the viewer through the depth camera. In the image position control system of the autostereoscopic display using a depth camera, to determine the position of both eyes and to adjust the position of the left eye image and the right eye image on the screen of the display according to the position of both eyes, 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 시청거리 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 얼굴영역 추출부;A face region extraction unit configured to receive an image and a sense of distance from the depth camera, and extract image data of a face region by removing data other than a viewing distance from the image data; 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 양안위치 필터부;A binocular position filter unit for filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하는 디스플레이 조정부를 포함하고,And a display adjusting unit which transmits a signal for disposing a left eye image and a right eye image on a screen of the display so that the left eye image and the right eye image are exposed to the coordinates of the left eye and the right eye, respectively. 상기 양안위치 필터부는,The binocular position filter unit, 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어시스템.An image position control system of an autostereoscopic display, characterized in that to obtain coordinates of the left and right eyes by filtering the template of the eye to the image data of the face area, respectively. 제 1항에 있어서, 상기 얼굴영역 추출부는,The method of claim 1, wherein the face area extraction unit, 상기 얼굴영역의 영상 데이터를 마스크(mask)로 침식(erosion)과 팽창(dilation)을 반복하여 잡음(noise)을 제거하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어시스템.The image position control system of the autostereoscopic display, characterized in that to remove the noise by repeating the erosion and dilation of the image data of the face area (mask). 삭제delete 제 1항에 있어서, 상기 양안위치 필터부는,The method of claim 1, wherein the binocular position filter unit, 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어시스템.And the template of the eye comprises a mask having a size in inverse proportion to the viewing distance. 제 1항에 있어서, 상기 디스플레이 조정부는,The display apparatus of claim 1, wherein the display adjustment unit comprises: 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 최대값의 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어시스템.When the left eye image or the right eye image disposed on the display is exposed to an amount of light of 50% or less of the maximum value in the coordinates of the left eye or the right eye, transmitting a signal for replacing the left eye image and the right eye image disposed on the display. An image position control system for autostereoscopic displays, characterized by the above-mentioned. 제 1항에 있어서, 상기 디스플레이 조정부는,The display apparatus of claim 1, wherein the display adjustment unit comprises: 상기 좌안과 우안의 좌표를 평균하여 평균좌표를 구하고, 상기 평균좌표의 위치에 의하여, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어시스템.An average coordinate is obtained by averaging the coordinates of the left eye and the right eye, and the position of the image of the autostereoscopic display according to the position of the average coordinate transmits a signal for replacing the left eye image and the right eye image arranged on the display. Control system. 제 1항에 있어서, 상기 디스플레이 조정부는,The display apparatus of claim 1, wherein the display adjustment unit comprises: DDC(Data Display Channel)통신을 이용하여, 상기 디스플레이에 신호를 전송하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어시스템.The image position control system of the autostereoscopic display, characterized in that for transmitting a signal to the display using DDC (Data Display Channel) communication. 화면에 좌안영상과 우안영상을 교차하여 출력하고 화면의 정면에 패럴렉스 배리어(parallax barrier)를 구비한 무안경 입체 디스플레이 및, 상기 입체 디스플레이 측면에 설치된 깊이 카메라와 연결되어, 상기 깊이 카메라를 통해 시청자의 양안의 위치를 파악하고 상기 양안의 위치에 따라 상기 디스플레이의 화면에 좌안영상과 우안영상의 위치를 조정하는, 깊이 카메라를 이용한 무안경 입체 디스플레이의 영상위치 제어방법에 있어서,A stereoscopic display with a parallax barrier on the front of the screen and outputting the left and right eye images on the screen, connected to a depth camera installed on the side of the stereoscopic display, and connected to the viewer through the depth camera. In the image position control method of the autostereoscopic display using a depth camera to determine the position of both eyes and to adjust the position of the left eye image and the right eye image on the screen of the display according to the position of both eyes, (a) 상기 깊이 카메라로부터 영상과 거리감 데이터를 입력받고, 상기 영상 데이터 중에서 사전에 정해진 거리(이하 시청거리) 이외의 데이터를 제거하여 얼굴영역의 영상 데이터를 추출하는 단계;(a) receiving image and distance sensing data from the depth camera, and extracting image data of a face region by removing data other than a predetermined distance (hereinafter, referred to as viewing distance) from the image data; (b) 상기 추출된 영상데이터가 얼굴영상인 것을 검증하는 단계;(b) verifying that the extracted image data is a face image; (c) 얼굴영상인 것이 검증되면, 형판 정합(Template Matching) 방식에 의하여, 상기 얼굴영역의 영상 데이터에서 양안의 모양을 필터링을 하고, 좌안과 우안의 좌표를 구하는 단계;(c) if the face image is verified, filtering the shapes of both eyes from the image data of the face region by a template matching method, and obtaining coordinates of the left and right eyes; (d) 상기 구한 좌안과 우안의 좌표가 상기 얼굴영역의 영상 데이터에서 눈의 위치에 있는 것인지를 검증하는 단계;(d) verifying whether the obtained coordinates of the left eye and the right eye are at the position of the eye in the image data of the face region; (e) 상기 좌안과 우안의 좌표가 검증되면, 상기 좌안과 우안의 좌표에 각각 좌안 영상과 우안 영상이 노출되도록 좌안 영상과 우안 영상을 상기 디스플레이의 화면에 배치하는 신호를 디스플레이에 전송하고,(e) when the coordinates of the left eye and the right eye are verified, a signal for disposing the left eye image and the right eye image on the screen of the display is transmitted to the display such that the left eye image and the right eye image are exposed to the coordinates of the left eye and the right eye, respectively, 상기 (c) 단계는,In step (c), 눈의 형판(template)을 각각 상기 얼굴영역의 영상데이터에 필터링하여 좌안과 우안의 좌표를 구하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어방법.And a template of the eye to filter the image data of the face area to obtain coordinates of the left eye and the right eye, respectively. 삭제delete 제 8항에 있어서, 상기 (c) 단계는,The method of claim 8, wherein step (c) comprises: 상기 눈의 형판(template)을 상기 시청거리에 반비례하는 크기의 마스크로 구성하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어방법.And the template of the eye comprises a mask having a size in inverse proportion to the viewing distance. 제 8항에 있어서, 상기 (e)단계는,The method of claim 8, wherein step (e) 상기 좌안 또는 우안의 좌표에서 상기 디스플레이에 배치된 좌안 영상 또는 우안 영상이 최대값의 50% 이하의 빛의 양이 노출되면, 상기 디스플레이에 배치된 좌안 영상과 우안 영상을 교체시키는 신호를 전송하는 것을 특징으로 하는 무안경 입체 디스플레이의 영상위치 제어방법.When the left eye image or the right eye image disposed on the display is exposed to an amount of light of 50% or less of the maximum value in the coordinates of the left eye or the right eye, transmitting a signal for replacing the left eye image and the right eye image disposed on the display. An image position control method of an autostereoscopic display, characterized in that the. 제8항, 제10항, 제11항 중 어느 한 항의 무안경 입체 디스플레이의 영상위치 제어방법을 실행하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for executing the image position control method of the autostereoscopic display according to any one of claims 8, 10 and 11.
KR1020080134516A 2008-12-26 2008-12-26 Image Position Control System and Method for Autostereoscopic Display Using Depth Camera Expired - Fee Related KR100976141B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080134516A KR100976141B1 (en) 2008-12-26 2008-12-26 Image Position Control System and Method for Autostereoscopic Display Using Depth Camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080134516A KR100976141B1 (en) 2008-12-26 2008-12-26 Image Position Control System and Method for Autostereoscopic Display Using Depth Camera

Publications (2)

Publication Number Publication Date
KR20100076461A KR20100076461A (en) 2010-07-06
KR100976141B1 true KR100976141B1 (en) 2010-08-16

Family

ID=42638185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080134516A Expired - Fee Related KR100976141B1 (en) 2008-12-26 2008-12-26 Image Position Control System and Method for Autostereoscopic Display Using Depth Camera

Country Status (1)

Country Link
KR (1) KR100976141B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227569B1 (en) 2011-05-26 2013-01-29 한국과학기술연구원 Body Segments Localization Device and Method for Analyzing Motion of Golf Swing
WO2013039491A1 (en) * 2011-09-14 2013-03-21 Hewlett-Packard Development Company, L.P. Image-viewing systems with an integrated light-steering panel
KR101298317B1 (en) 2012-04-23 2013-08-20 엘지디스플레이 주식회사 Test appratus for stereoscopic image display device
WO2013148963A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Intelligent depth control

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675961B1 (en) 2010-12-29 2016-11-14 삼성전자주식회사 Apparatus and Method for Rendering Subpixel Adaptively
KR101883200B1 (en) * 2011-12-16 2018-08-01 에스케이플래닛 주식회사 The depth measurement device and method in stereoscopic image
KR101408591B1 (en) * 2012-04-27 2014-06-17 삼성전기주식회사 Glassless 3D image display apparatus and the method thereof
KR101956134B1 (en) 2012-06-15 2019-03-13 삼성디스플레이 주식회사 Three-dimension display apparatus
KR101566198B1 (en) * 2013-06-28 2015-11-05 삼성전자주식회사 Method for moving display of ultrasound diagnostic device, and ultrasound diagnostic apparatus
KR102490304B1 (en) * 2016-08-12 2023-01-20 삼성전자주식회사 Display apparatus and recording media
KR20210130281A (en) * 2020-04-21 2021-11-01 삼성디스플레이 주식회사 Method for controlling of mobile communication device, and mobile communication device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100560464B1 (en) 2005-03-30 2006-03-13 (주)디노스 How to configure a multiview image display system adaptive to the observer's point of view
KR100820639B1 (en) 2006-07-25 2008-04-10 한국과학기술연구원 Eye-based 3D interaction system and method and 3D eye tracking system and method
KR20080102826A (en) * 2007-05-22 2008-11-26 광주과학기술원 Method and apparatus for generating depth information supplemented using depth camera and recording medium recording program for performing the method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100560464B1 (en) 2005-03-30 2006-03-13 (주)디노스 How to configure a multiview image display system adaptive to the observer's point of view
KR100820639B1 (en) 2006-07-25 2008-04-10 한국과학기술연구원 Eye-based 3D interaction system and method and 3D eye tracking system and method
KR20080102826A (en) * 2007-05-22 2008-11-26 광주과학기술원 Method and apparatus for generating depth information supplemented using depth camera and recording medium recording program for performing the method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문 : 한국광학회지*

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227569B1 (en) 2011-05-26 2013-01-29 한국과학기술연구원 Body Segments Localization Device and Method for Analyzing Motion of Golf Swing
WO2013039491A1 (en) * 2011-09-14 2013-03-21 Hewlett-Packard Development Company, L.P. Image-viewing systems with an integrated light-steering panel
US9669260B2 (en) 2011-10-21 2017-06-06 Korea Institute Of Science And Technology Apparatus and method for tracking the position of each part of the body for golf swing analysis
WO2013148963A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Intelligent depth control
US9807362B2 (en) 2012-03-30 2017-10-31 Intel Corporation Intelligent depth control
KR101298317B1 (en) 2012-04-23 2013-08-20 엘지디스플레이 주식회사 Test appratus for stereoscopic image display device

Also Published As

Publication number Publication date
KR20100076461A (en) 2010-07-06

Similar Documents

Publication Publication Date Title
KR100976141B1 (en) Image Position Control System and Method for Autostereoscopic Display Using Depth Camera
EP2299728B1 (en) Stereoscopic image display apparatus
KR101761751B1 (en) Hmd calibration with direct geometric modeling
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
US11284059B2 (en) Method and apparatus for calibrating parameter of three-dimensional (3D) display apparatus
KR101763592B1 (en) Method for processing image of display system outputting 3 dimensional contents and display system enabling of the method
US9294755B2 (en) Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US9307228B2 (en) Depth of field maintaining apparatus, 3D display system and display method
US20120194905A1 (en) Image display apparatus and image display method
JPH09121370A (en) 3D TV device
CN101674491A (en) Apparatus, method, and computer program for analyzing image data
CN103533340A (en) Naked eye 3D (three-dimensional) playing method of mobile terminal and mobile terminal
CN104247411B (en) Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
EP3982629B1 (en) Method and apparatus for measuring dynamic crosstalk
KR20120051287A (en) Image providing apparatus and image providng method based on user's location
JP5608569B2 (en) Display device, information processing device, and display control method
US8983125B2 (en) Three-dimensional image processing device and three dimensional image processing method
US9185395B2 (en) Method and system for automatically adjusting autostereoscopic 3D display device
KR20110025083A (en) 3D image display device and method in 3D image system
US20130050448A1 (en) Method, circuitry and system for better integrating multiview-based 3d display technology with the human visual system
JP2014241473A (en) Image processing device, method, and program, and stereoscopic image display device
Kim et al. Generation of flat viewing zone in DFVZ autostereoscopic multiview 3D display by weighting factor
JP5962125B2 (en) Display device, synchronization method, and program
CN109508574A (en) A kind of Nakedness-yet stereoscopic display method, device and equipment

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Not in force date: 20130811

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20130811

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000