KR101521008B1 - Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof - Google Patents
Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof Download PDFInfo
- Publication number
- KR101521008B1 KR101521008B1 KR1020130002797A KR20130002797A KR101521008B1 KR 101521008 B1 KR101521008 B1 KR 101521008B1 KR 1020130002797 A KR1020130002797 A KR 1020130002797A KR 20130002797 A KR20130002797 A KR 20130002797A KR 101521008 B1 KR101521008 B1 KR 101521008B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- coordinate system
- fisheye lens
- angle
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명의 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법은, 광각 카메라의 어안렌즈를 통해 얻은 제1 영상을 불러오는 제1 과정; 상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정; 상기 이미지 좌표계에서 이미지 센서 좌표계로 변환시키는 제3 과정; 상기 이미지 센서 좌표계에서 한 지점에 대한 천정각(θ)과 방위각(φ)을 계산하는 제4 과정; 및 상기 한 지점에 대한 직각좌표계 상의 좌표 P(x, y, z)를 계산하여 3차원 가상공간을 구성하는 제5 과정을 포함하는 기술을 제공함에 기술적 특징이 있다.A method of correcting a distorted image obtained using a fish-eye lens of the present invention includes: a first step of retrieving a first image obtained through a fish-eye lens of a wide-angle camera; A second step of constructing an image coordinate system for the first image; A third process of converting the image coordinate system into an image sensor coordinate system; A fourth step of calculating a zenith angle θ and an azimuth angle φ with respect to one point in the image sensor coordinate system; And a fifth step of constructing a three-dimensional virtual space by calculating the coordinates P (x, y, z) on the rectangular coordinate system with respect to the point.
Description
본 발명은 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템에 관한 것으로, 더욱 상세하게는 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 구성 한 후 통상적인 투영(projection) 기법을 적용하여 왜곡이 없는 2차원 이미지를 구현하는 기술을 제공하는, 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템에 관한 것이다. The present invention relates to a correction method for a distorted image obtained using a fisheye lens and an image display system for implementing the method. More particularly, the present invention relates to a method of correcting a distortion image obtained by using a fisheye lens, A correction method for a distorted image obtained by using a fisheye lens and a technique for implementing a two-dimensional image without distortion by applying a conventional projection technique after constructing a virtual space represented by a rectangular coordinate system And more particularly, to a video display system.
현재 광역의 영상을 획득할 수 있도록 하는 시스템으로는 크게 기계적으로 PTZ(Pan Tilt Zoom) 카메라를 이용하는 시스템, 어안 렌즈(fisheye lens)를 구비하는 카메라를 이용하는 시스템, 다수개의 CCD 카메라를 이용하는 다중 카메라 시스템 및 특수 제작된 NTSC(National Television System Committee method) 카메라를 이용하는 카타디옵트릭(catadioptric) 시스템 등이 존재한다.Currently, systems that can acquire wide-area images include a system that uses a PTZ (Pan Tilt Zoom) camera mechanically, a system that uses a camera having a fisheye lens, a multi-camera system that uses a plurality of CCD cameras And a catadioptric system using a specially manufactured National Television System Committee (NTSC) camera.
이상의 시스템들 중 본 발명에서 특히 관심을 가지는 시스템은, 어안 렌즈(fisheye lens)를 구비하는 카메라를 이용하는 시스템이다. Of the above systems, a system of particular interest in the present invention is a system using a camera with a fisheye lens.
여기서 어안 렌즈(fisheye lens)는 의도적으로 통 모양의 왜곡(barrel distortion)을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로써, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 되어, 획득된 영상은 필연적으로 심한 왜곡을 가지게 된다. Here, the fisheye lens intentionally produces barrel distortion, which allows uniform brightness and sharpness to be maintained over an angle of view of 180 degrees or more. The object at the focal point of the lens is extremely large The surroundings are taken very small, and the acquired images inevitably have severe distortion.
이로 인해 어안 렌즈를 통해 촬영된 영상에 대한 왜곡(distortion)을 보정하기 위한 많은 시도가 종전부터 있어 왔지만, 종래 기술에 의할 때 왜곡을 보정하는 방법이 복잡할 뿐 아니라 많은 비용이 소요되는 문제점이 있었다. Therefore, many attempts have been made to correct distortion of an image photographed through a fisheye lens. However, according to the related art, a method of correcting distortion is complicated, there was.
또한 종래 기술은 3차원 공간을 바라보는 기법 이를 테면, 천정형, 벽면형, 사선형, 다시점 기술 등을 적용하여 촬영된 영상에 대해 왜곡을 보정하고, 보정된 2차원 이미지를 모니터에 실시간적으로 디스플레이 하는 기술을 제공하지 못하는 문제점이 있었다. In addition, in the related art, a method for viewing a three-dimensional space, such as a ceiling type, a wall type, a quadratic type, a back-point technique, etc., is applied to compensate for distorted images and a corrected two- There is a problem that the technology for displaying is not provided.
본 발명이 해결하고자 하는 기술적 과제는, 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 구성 한 후 통상적인 투영(projection) 기법을 적용하여 왜곡이 없는 2차원 이미지를 구현하는 기술을 제공하는 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템을 제공하는데 있다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to provide a fisheye lens system and a fisheye lens system, which can calculate a direction and a position of a light beam incident on a fisheye lens, construct a virtual space represented by a three- There is provided a correction method for a distorted image obtained by using a fisheye lens that provides a technique for implementing a two-dimensional image without distortion, and an image display system for implementing the method.
상기 기술적 과제를 이루기 위한 본 발명에 따른 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법은, 광각 카메라의 어안렌즈를 통해 얻은 제1 영상을 불러오는 제1 과정; 상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정; 상기 이미지 좌표계에서 이미지 센서 좌표계로 변환시키는 제3 과정; 상기 이미지 센서 좌표계에서 한 지점에 대한 천정각(θ)과 방위각(φ)을 계산하는 제4 과정; 상기 한 지점에 대한 직각좌표계 상의 좌표 P(x, y, z)를 계산하여 3차원 가상공간을 구성하는 제5 과정을 포함하는 기술을 제공한다. According to an aspect of the present invention, there is provided a correction method for a distorted image obtained using a fisheye lens, the method including: a first step of loading a first image obtained through a fisheye lens of a wide-angle camera; A second step of constructing an image coordinate system for the first image; A third process of converting the image coordinate system into an image sensor coordinate system; A fourth step of calculating a zenith angle θ and an azimuth angle φ with respect to one point in the image sensor coordinate system; And a fifth step of constructing a three-dimensional virtual space by calculating coordinates P (x, y, z) on the rectangular coordinate system for the point.
또한 상기 기술적 과제를 이루기 위한 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템은, 180도 이상의 화각(Field Of View, FOV)을 촬영하기 위해 어안 렌즈가 구비된 광각 카메라; 상기 광각 카메라가 촬영한 영상으로부터 상기 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 3차원의 직각 좌표계로 표현되는 가상공간을 구성한 후 투영(projection) 기법을 적용하여 왜곡이 없는 2차원 이미지를 구현하는 영상 처리부; 상기 영상 처리부에서 처리한 상기 2차원 이미지를 모니터에 디스플레이 하는 디스플레이부; 및 상기 광각 카메라, 상기 영상 처리부 및 상기 디스플레이부를 제어하는 제어부를 포함하는 기술을 제공한다. According to another aspect of the present invention, there is provided an image display system for correcting a distorted image obtained using a fisheye lens, comprising: a wide-angle camera having a fisheye lens for photographing a field of view (FOV) of 180 degrees or more; A direction and a position of a light ray incident on the fisheye lens are calculated from the image taken by the wide angle camera, a virtual space represented by a three-dimensional rectangular coordinate system is formed, and then a projection method is applied to obtain a two- An image processing unit for implementing the image processing unit; A display unit for displaying the two-dimensional image processed by the image processing unit on a monitor; And a control unit for controlling the wide angle camera, the image processing unit, and the display unit.
본 발명은 간단한 방법을 사용하여 어안 렌즈가 획득한 영상의 왜곡을 보정하고, 실시간적으로 왜곡이 보정된 2차원 이미지를 모니터에 디스플레이 함으로써 실내외의 보안, 감시, 범죄 예방, 자동차의 후방 카메라 등 다양하게 활용될 수 있는 기술적 효과가 있다. The present invention differs from indoor and outdoor security, surveillance, crime prevention, and the rear camera of a vehicle by correcting distortion of an image acquired by a fisheye lens using a simple method and displaying a two- There is a technical effect that can be utilized.
도 1은 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템의 구성을 나타낸 것이다.
도 2는 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 과정을 순서도로 나타낸 것이다.
도 3a는 본 발명에 따른 왜곡영상에 대한 이미지 좌표계를 나타낸 것이다.
도 3b는 본 발명에 따른 어안 렌즈를 통과한 빛이 이미지 센서에 이미지를 형성할 때의 일반적인 관계를 설명하기 위해 도시한 것이다.
도 3c는 본 발명에 따른 왜곡영상에 대한 이미지 센서 좌표계를 나타낸 것이다.
도 3d는 3차원 직교 좌표계의 변수와 3차원 극좌표계의 변수의 관계를 설명하기 위해 도시한 것이다.
도 4는 본 발명에 따른 일 실시예로 왜곡이 포함된 전체영상을 왜곡이 보정된 부분영상으로 모니터에 디스플레이 하는 과정을 나타낸 것이다. 1 shows a configuration of an image display system for correcting a distorted image obtained using a fish-eye lens according to the present invention.
2 is a flowchart illustrating a process of correcting a distorted image obtained using a fish-eye lens according to the present invention.
3A shows an image coordinate system for a distorted image according to the present invention.
3B is a view for explaining a general relationship when light passing through a fish-eye lens according to the present invention forms an image on an image sensor.
3C shows an image sensor coordinate system for a distorted image according to the present invention.
FIG. 3D is a diagram for explaining the relationship between the parameters of the three-dimensional rectangular coordinate system and the parameters of the three-dimensional polar coordinate system.
FIG. 4 is a flowchart illustrating a process of displaying a distortion-corrected partial image on a monitor according to an exemplary embodiment of the present invention.
이하에서는 본 발명의 구체적인 실시예를 도면을 참조하여 상세히 설명하도록 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템의 구성을 나타낸 것이다. 1 shows a configuration of an image display system for correcting a distorted image obtained using a fish-eye lens according to the present invention.
도 1을 참조하면, 본 발명에 따른 어안 렌즈를 사용하여 얻은 왜곡영상을 보정하는 영상 디스플레이 시스템(100)은, 광각 카메라(110), 영상 처리부(120), 디스플레이부(130), 사용자 인터페이스(140) 및 제어부(150)를 포함하여 구성된다. 1, an
광각 카메라(110)는 고해상도를 지원하는 CCD(Charge Coupled Device) 카메라 또는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라를 사용하며, 어안 렌즈(fisheye lens)를 통해 180도 이상의 화각(Field Of View, FOV)을 가지는 3차원의 영상으로부터 왜곡이 보정되지 않은 2차원 이미지를 획득한다. The
여기서 어안 렌즈(fisheye lens)는 의도적으로 통모양의 왜곡(barrel distortion)을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로써, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. Here, the fisheye lens intentionally produces barrel distortion, which allows uniform brightness and sharpness to be maintained over an angle of view of 180 degrees or more. The object at the focal point of the lens is extremely large Things around are taken very small.
즉, 어안 렌즈(fisheye lens)는 광역의 영상을 획득할 수 있는 장점이 있으나, 획득된 영상은 심한 왜곡을 가지는 단점이 있다. That is, the fisheye lens has the advantage of obtaining a wide-area image, but the obtained image has a disadvantage that it has severe distortion.
영상 처리부(120)는 왜곡이 보정되지 않은 2차원 이미지로부터 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 구성한 후 통상적인 투영(projection) 기법을 적용하여, 왜곡이 없는 2차원 이미지를 구현하는 작업을 수행한다. The
상기 영상 처리부(120)가 수행하는 각각의 작업에 대한 구체적인 내용은 도2에서 상세히 설명한다. The details of each task performed by the
디스플레이부(130)는 왜곡이 보정된 2차원 이미지를 모니터에 디스플레이 한다. The
사용자 인터페이스(140)는 마우스 또는 복수개의 키 버튼들을 구비하며, 디스플레이부(130)의 동작 모드, 동작 시점 등을 선택한다. The
제어부(150)는 광각 카메라(110), 영상 처리부(120), 디스플레이부(130) 및 사용자 인터페이스(140)의 전반적인 동작을 제어한다. The
도 2는 본 발명에 따른 어안렌즈를 사용하여 얻은 왜곡영상을 보정하는 과정을 순서도로 나타낸 것이다. 2 is a flowchart illustrating a process of correcting a distorted image obtained using a fish-eye lens according to the present invention.
이하 도 1 및 도 2를 참조하여, 본 발명에 따른 어안렌즈를 사용하여 얻은 왜곡영상을 보정하는 과정을 설명한다. Hereinafter, a process of correcting a distorted image obtained using a fish-eye lens according to the present invention will be described with reference to FIGS. 1 and 2. FIG.
우선 광각 카메라(110)의 어안렌즈를 통해 얻은 제1 영상을 불러오는 제1 과정(S10)을 갖는다. 이 경우 제1 영상은 왜곡이 보정되지 않은 2차원 이미지를 갖는다. First, a first step (S10) of loading a first image obtained through a fish-eye lens of the wide-
여기서 광각 카메라(110)는 3차원 공간을 구성하기 위해 복수 개 사용할 수 있고, 3차원 공간을 바라보는 기법 이를 테면, 천정형, 벽면형, 사선형, 다시점 기술 등을 사용할 수 있음은 당연하다. Here, the
다음 과정으로 상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정(S20)을 갖는다. And a second step (S20) of constructing an image coordinate system for the first image in the next step.
여기서 이미지 좌표계(Cimage )는 모니터 화면상에 보이는 한 점의 2차원 좌표를 표현한 것으로, 도 3a에 도시된 바대로, X축, Y축의 2차원 직각좌표계를 구성하며, 이미지 상의 대상이 되는 임의의 한 점은 좌측 상단에 위치한 이미지상의 원점(Oim)을 기준으로 직각 좌표(xim , yim)로 표현된다. Here, the image coordinate system (C image ) Represents a two-dimensional coordinate of a point on the monitor screen. As shown in FIG. 3A, the coordinate system constitutes a two-dimensional Cartesian coordinate system of X and Y axes. (X im , y im ) with respect to the origin (O im )
이 때, ximmax는 모니터에서 해상도의 가로 값을 나타내며, yimmax는 모니터에서 해상도의 세로 값을 나타낸 것으로, 이들 값을 적절히 설정함에 따라 해상도를 640*480 또는 1024*768 등의 값으로 변경시킬 수 있다. In this case, x immax represents the horizontal value of the resolution on the monitor, y immax represents the vertical value of the resolution on the monitor, and when these values are properly set, the resolution is changed to a value of 640 * 480 or 1024 * 768 .
다음 과정으로 이미지 좌표계(Cimage )에서 이미지 센서 좌표계(Csensor )로 변환시키는 제3 과정(S30)을 갖는다. And a third step (S30) of converting the image coordinate system (C image ) to the image sensor coordinate system (C sensor ) in the following process.
도 3b를 참조하면, 광각 카메라(110)의 내부는 어안 렌즈와 이미지 센서를 구비하며, 입사광선이 어안 렌즈의 중심선과 만들어지는 소정의 각도로 입사되는 경우 이 각도를 천정각(θ), 이미지 센서의 중심(Of)에서 상이 맺힌 위치(P) 까지의 거리(Rf)로 정의한다. 3B, the inside of the
이 경우 거리(Rf)와 천정각(θ)의 관계식으로 정의되는 화각식은 렌즈 제조사에서 공급하는데, 이를테면 화각이 240도인 어안 렌즈의 경우 하기 [수학식 1]로 표현된다. In this case, the angle of view defined by the relational expression of the distance R f and the zenith angle θ is supplied by the lens manufacturer. For example, in the case of a fisheye lens having an angle of view of 240 degrees,
한편 천정각(θ), 방위각(φ)을 갖고 입사된 광선은 이미지 센서 평면에 거리 Rf(θ)를 갖는 벡터에 의한 상이 맺히는데, 이 거리 Rf(θ)를 픽셀(pixel) 개수로 나누면 실제 화면상의 해상도로 표현된다. The zenith angle (θ), the beam is incident has the azimuth angle (φ) is divided by a different temperature may cause problems for, this distance R f (θ) by a vector having a distance R f (θ) on the image sensor plane by the number of pixels (pixel) It is expressed in actual screen resolution.
이하 도 3a 및 도 3c를 참조하여, 이미지 좌표계(Cimage)에서 이미지 센서 좌표계(Csensor)로 변환시키는 과정을 상세히 설명한다. Hereinafter, the process of converting the image coordinate system (C image ) to the image sensor coordinate system (C sensor ) will be described in detail with reference to FIGS. 3A and 3C.
도 3c를 참조하면, Of는 이미지 센서 상의 원점, 임의 지점(xf, yf)는 이미지 센서 상의 대상이 되는 한 점에 대한 픽셀로 이루어진 좌표값, xfmax는 이미지 센서의 최대 가로 픽셀 개수, yfmax는 이미지 센서의 최대 세로 픽셀 개수, Rf는 Of에서 (xf, yf)까지의 거리를 픽셀 개수로 나타낸 값, φ는 xfmax 축으로부터 임의 지점(xf, yf)까지 각도로 이를 방위각으로 정의한다. Referring to FIG. 3C, O f is a coordinate value made up of pixels for a point on the image sensor, which is an origin, an arbitrary point (x f, y f ) on the image sensor, x fmax The maximum number of horizontal pixels of the image sensor, y fmax , The maximum number of vertical pixels of the image sensor, R f , At o f (x f, y f ), and φ represents a distance from the x fmax axis Define this as an azimuth angle to an arbitrary point (x f, y f ).
우선, 이미지 좌표계(Cimage)에서 (ximmax, yimmax)와 이미지 센서 좌표계(Csensor )에서 (xfmax, yfmax)는 비율에 의해 서로 스케일(scale) 되므로, (xtmp1, ytmp1)는 하기 [수학식 2]로 표현된다. Because first, the image coordinate system (C image) in the (x immax, y immax) and the image sensor coordinate system (C sensor) in the (x fmax, y fmax) is a scale (scale) from each other by a ratio, (x tmp1, y tmp1) Is expressed by the following equation (2).
한편, ytmp1의 경우 원점이 상하가 반대이므로, 이 점을 고려하면 (xtmp2, ytmp2)는 하기 [수학식 3]으로 표현된다. On the other hand, the y tmp1 (X tmp2, y tmp2 ) is expressed by the following equation (3) , considering that this point is taken into consideration.
이미지 센서 좌표계(Csensor)의 경우 원점(Of)이 이미지 센서 화면의 정 가운데 위치하므로, 이미지 센서 상의 대상이 되는 한 점에 대한 좌표(xf, yf)는 하기 [수학식 4]로 표현된다. In the case of the image sensor coordinate system (C sensor ), since the origin (O f ) is positioned at the center of the image sensor screen, the coordinates (x f, y f ) for one point on the image sensor can be expressed by the following equation Is expressed.
다음 과정으로, 극 좌표계에서 천정각(θ)과 방위각(φ)을 계산하는 제4 과정(S40)을 갖는다. In the next step, there is a fourth step (S40) of calculating the zenith angle &thetas; and the azimuth angle [phi] in the polar coordinate system.
도 3c 및 도 3d를 참조하면, 천정각(θ)은 Of에서 (xf, yf )까지의 거리를 픽셀 개수로 나타낸 값인 Rf와 비례 관계에 있으므로 하기 [수학식 5]로 표현된다. When Fig. 3c and 3d, see, zenith angle (θ) is from O f (x f, y f ) is proportional to R f , which is a value expressed by the number of pixels, and is represented by the following equation (5).
여기서 θmax는 어안렌즈의 스펙(spec)에 의해 결정되는 최대 화각의 절반값을 의미하며, Rfmax는 Rf의 최댓값을 의미한다. Here, θ max denotes a half value of the maximum angle of view determined by the specification of the fisheye lens, and R fmax And the maximum value of R f .
방위각(φ)은 xfmax 축으로부터 Of를 중심으로 (xf, yf)까지 각도로 하기 [수학식 6]으로 표현된다.The azimuth angle (φ) is calculated from the x fmax axis around O f (x f, y f ) is expressed by the following equation (6).
다음 과정으로 직교 좌표계에서 공간상의 임의 지점의 좌표 P(x, y, z)를 계산하여 3차원 가상공간을 구성하는 제5 과정(S50)을 갖는다. In the next step, there is a fifth step (S50) of constructing a three-dimensional virtual space by calculating coordinates P (x, y, z) of an arbitrary point in space in the orthogonal coordinate system.
도 3d를 참조하면, 원점 O에서 공간상의 임의 지점 P까지의 가상 거리를 R 이라 하면, 극 좌표계에서의 좌표 P(R, θ, φ)로부터 직각 좌표계에서 좌표 P(x, y, z)는 하기 [수학식 7]로 표현된다. 3D, the coordinate P (x, y, z) in the rectangular coordinate system from the coordinate P (R,?,?) In the polar coordinate system is Is expressed by the following equation (7).
한편 θ와 φ는 각각 상기 [수학식 5]와 [수학식 6]으로 주어지므로 x, y, z 값을 계산할 수 있고, 이로써 어안렌즈를 통해 획득한 제1 영상의 임의 지점의 위치 P(x, y, z) 정보를 획득할 수 있으므로, 결국 모든 공간에 대한 3차원 가상공간을 구성할 수 있게 된다. On the other hand, the values of x, y, and z can be calculated because the values of [theta] and [phi] are given by Equations 5 and 6, respectively, , y, z) information can be obtained, so that a three-dimensional virtual space for all the spaces can be constructed.
마지막 과정으로, 상기 3차원 가상공간에 대해 투영(projection) 기술을 사용하여 왜곡이 보정된 제2 영상을 모니터에 디스플레이 하는 제6 과정(S60)을 갖는다. As a final step, there is a sixth step (S60) of displaying a second image whose distortion is corrected using a projection technique on the three-dimensional virtual space on a monitor.
여기서 투영(projection) 기술은 3차원 그래픽의 물체를 2차원 화상으로 변환시키는 3차원 컴퓨터 그래픽 기술을 의미하며, 통상적으로 모델링 변환 ---> 뷰 방향 행렬 ---> 뷰 사상 행렬 ----> 클리핑 및 2차원 화면 좌표계로의 변환 과정을 갖는다. Here, the projection technique refers to a three-dimensional computer graphic technique for converting an object of a three-dimensional graphic into a two-dimensional image, and typically, a modeling transformation ---> a view direction matrix ---> a view mapping matrix-- > Clipping and conversion into a two-dimensional screen coordinate system.
이로써 모니터에 디스플레이 되는 상기 제2 영상은 왜곡이 보정된 2차원 이미지를 갖는다. Whereby the second image displayed on the monitor has a two-dimensional image with distortion corrected.
도 4는 본 발명에 따른 일 실시예로 왜곡이 포함된 전체영상을 왜곡이 보정된 부분영상으로 모니터에 디스플레이 하는 과정을 나타낸 것이다. FIG. 4 is a flowchart illustrating a process of displaying a distortion-corrected partial image on a monitor according to an exemplary embodiment of the present invention.
도 4에 도시된 바대로, 위쪽 화면은 어안 렌즈(fisheye lens)를 사용하여 광역의 영상을 획득하였지만, 영상의 상하좌우 끝단으로 갈수록 심한 왜곡을 갖고 있어 사용자가 영상을 바라보는데 불편감을 느끼게 한다. As shown in FIG. 4, the upper screen acquires a wide-area image using a fisheye lens, but has a severe distortion toward the upper, lower, left, and right ends of the image, making the user feel uncomfortable in viewing the image.
이로 인해 본 발명의 영상 처리부(120)를 통해 어안 렌즈에 입사되는 광선의 방향과 위치를 계산하고, 이를 통해 3차원의 직각 좌표계로 표현되는 가상공간을 구성한 후 투영(projection) 기술을 적용하여, 상부 좌측(좌측 화면 참조) 또는 상부 우측(우측 화면 참조)의 일부 영상을 모니터에 각각 디스플레이 하였다. Accordingly, the direction and position of the light beam incident on the fisheye lens are calculated through the
이로써, 사용자는 디스플레이를 원하는 상하좌우 등 모든 방향에 대해 왜곡이 보정된 2차원의 이미지를 제공 받을 수 있게 된다.Thus, the user can be provided with a two-dimensional image in which distortion is corrected for all directions, such as up, down, left, and right, which are desired to be displayed.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit of the invention.
110 : 광각 카메라
120 : 영상 처리부
130 : 디스플레이부
140 : 사용자 인터페이스
150 : 제어부110: Wide angle camera
120:
130:
140: User interface
150:
Claims (4)
상기 제1 영상에 대하여 이미지 좌표계를 구성하는 제2 과정;
상기 이미지 좌표계에서 이미지 센서 좌표계로 변환시키는 제3 과정;
상기 이미지 센서 좌표계에서 한 지점에 대한 천정각(θ)과 방위각(φ)을 계산하는 제4 과정; 및
상기 한 지점에 대한 직각 좌표계 상의 좌표 P(x, y, z)를 계산하여 3차원 가상공간을 구성하는 제5 과정을 포함하며,
상기 제4 과정에서는, 상기 이미지 센서 좌표계의 한 지점을 (xf, yf)라고 하고, 상기 이미지 센서 좌표계의 원점에서 (xf, yf)까지의 거리를 Rf라고 하고, Rf의 최댓값을 Rfmax라고 하고, 상기 어안렌즈의 최대 화각의 절반값을 θmax라고 할 때, 다음 식에 의해 상기 천정각(θ)과 방위각(φ)이 계산되는 것을 특징으로 하는 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법.
θ = Rf * θmax / Rfmax
φ = tan-1(yf/xf)A first step of retrieving a first image obtained through a fish-eye lens of a wide angle camera;
A second step of constructing an image coordinate system for the first image;
A third process of converting the image coordinate system into an image sensor coordinate system;
A fourth step of calculating a zenith angle θ and an azimuth angle φ with respect to one point in the image sensor coordinate system; And
And a fifth step of constructing a three-dimensional virtual space by calculating coordinates P (x, y, z) on the rectangular coordinate system for the point,
In the fourth step, one point of the image sensor coordinate system is referred to as (x f, y f ), and at the origin of the image sensor coordinate system (x f, y f ) is R f , the maximum value of R f is R fmax , and the half value of the maximum angle of view of the fish-eye lens is θ max , the zenith angle θ ) And an azimuth angle (?) Are calculated. A method for correcting a distorted image obtained by using a fish-eye lens.
? = R f * ? max / R fmax
? = tan -1 (y f / x f )
상기 제5 과정 이후에, 상기 3차원 가상공간에 대해 투영(projection) 기술을 적용하여 제2 영상을 모니터에 디스플레이 하는 제6 과정을 더 포함하는 것을 특징으로 하는 어안렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법.The method according to claim 1,
And a sixth step of displaying a second image on a monitor by applying a projection technique to the 3D virtual space after the fifth step. For calibration.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130002797A KR101521008B1 (en) | 2013-01-10 | 2013-01-10 | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130002797A KR101521008B1 (en) | 2013-01-10 | 2013-01-10 | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140090775A KR20140090775A (en) | 2014-07-18 |
| KR101521008B1 true KR101521008B1 (en) | 2015-05-19 |
Family
ID=51738223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130002797A Active KR101521008B1 (en) | 2013-01-10 | 2013-01-10 | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101521008B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017213288A1 (en) * | 2016-06-08 | 2017-12-14 | 한화테크윈 주식회사 | Monitoring apparatus and monitoring system |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101694651B1 (en) * | 2016-02-15 | 2017-01-09 | 이화여자대학교 산학협력단 | Distortion compensation apparatus and method for wide-angle imaging lens using three-dimensional position estimate |
| CN109696122A (en) * | 2017-10-24 | 2019-04-30 | 华晶科技股份有限公司 | The method and video capturing device of taken the photograph object coordinates are calculated using flake image |
| CN110021044B (en) * | 2018-01-10 | 2022-12-20 | 华晶科技股份有限公司 | Method for calculating coordinates of shot object by using double-fisheye image and image acquisition device |
| KR102028469B1 (en) | 2018-01-15 | 2019-10-04 | 주식회사 스트리스 | System and Method for Removing Distortion of Fisheye Lens and Omnidirectional Image |
| CN108335273B (en) * | 2018-02-06 | 2022-02-08 | 大唐终端技术有限公司 | Real-time distortion elimination method for large wide-angle fisheye panoramic lens camera |
| KR102498870B1 (en) * | 2018-04-09 | 2023-02-10 | 한화테크윈 주식회사 | Camera system and method for processing image thereof |
| KR102146839B1 (en) * | 2019-02-20 | 2020-08-21 | 강영호 | System and method for building real-time virtual reality |
| CN112116530B (en) * | 2019-06-19 | 2023-08-18 | 杭州海康威视数字技术股份有限公司 | Fisheye image distortion correction method, device and virtual display system |
| KR102209866B1 (en) * | 2020-03-03 | 2021-01-29 | 대한민국 | Preprocessing Method of Distortion Image for Ground Based Total Cloude Cover Automatic Retrieval |
| KR102631472B1 (en) * | 2021-07-05 | 2024-01-31 | 주식회사 에이치엘클레무브 | Methods and device for lossless correction of fisheye distortion image |
| KR102596080B1 (en) | 2021-07-30 | 2023-10-31 | 대한민국 | Method of Calculating Day and Night Total Cloud Cover using Photographing Image Ground Camera-based and Support Vector Machine Algorithm |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010171914A (en) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | Image data converter |
| KR100988872B1 (en) * | 2009-07-08 | 2010-10-20 | 주식회사 나노포토닉스 | Method and imaging system for obtaining complex images using rotationally symmetric wide-angle lens and image sensor for hardwired image processing |
| KR20110002688A (en) * | 2009-07-02 | 2011-01-10 | 한국오므론전장주식회사 | Top View Image Correction System and Its Method |
-
2013
- 2013-01-10 KR KR1020130002797A patent/KR101521008B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010171914A (en) * | 2008-12-24 | 2010-08-05 | Fujitsu General Ltd | Image data converter |
| KR20110002688A (en) * | 2009-07-02 | 2011-01-10 | 한국오므론전장주식회사 | Top View Image Correction System and Its Method |
| KR100988872B1 (en) * | 2009-07-08 | 2010-10-20 | 주식회사 나노포토닉스 | Method and imaging system for obtaining complex images using rotationally symmetric wide-angle lens and image sensor for hardwired image processing |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017213288A1 (en) * | 2016-06-08 | 2017-12-14 | 한화테크윈 주식회사 | Monitoring apparatus and monitoring system |
| US10999486B2 (en) | 2016-06-08 | 2021-05-04 | Hanwha Techwin Co., Ltd. | Monitoring apparatus and monitoring system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140090775A (en) | 2014-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101521008B1 (en) | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof | |
| TWI393072B (en) | Multi-sensor array module with wide viewing angle; image calibration method, operating method and application for the same | |
| TWI524306B (en) | Image transformation and multi-view output systems and methods | |
| JP6330987B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US7570280B2 (en) | Image providing method and device | |
| CN109348119B (en) | Panoramic monitoring system | |
| US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| US9946955B2 (en) | Image registration method | |
| JP5454674B2 (en) | Image generation apparatus, image generation program, synthesis table generation apparatus, and synthesis table generation program | |
| TWI535285B (en) | Conference system, surveillance system, image processing device, image processing method and image processing program, etc. | |
| KR102225617B1 (en) | Method of setting algorithm for image registration | |
| CN112399033B (en) | Camera assembly and monitoring camera | |
| EP3451649B1 (en) | Method and apparatus for generating indoor panoramic video | |
| WO2012060269A1 (en) | Image processing method, image processing device, and imaging device | |
| WO2014208230A1 (en) | Coordinate computation device and method, and image processing device and method | |
| CN109920004A (en) | Image processing method, device, calibration material combination, terminal equipment and calibration system | |
| KR101916419B1 (en) | Apparatus and method for generating multi-view image from wide angle camera | |
| KR100596976B1 (en) | Distortion image correction device and method and image display system using same | |
| KR101233948B1 (en) | Method and imaging system for obtaining digital pan·tilt images using rotationally symmetric wide-angle lens | |
| US10089726B2 (en) | Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image | |
| US11928775B2 (en) | Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image | |
| CN104363421B (en) | The method and apparatus for realizing Multi-angle camera monitoring effect | |
| JP2003141527A (en) | Calibration device and calibration method for multi-view image processing system | |
| KR20240009094A (en) | Camera device capable of pan-tilt-zoom operation and video surveillance system and method using the same | |
| KR20170055455A (en) | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20130110 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20140121 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20141128 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20150511 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20150511 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20180426 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180426 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190507 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190507 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200510 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210510 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240610 Start annual number: 10 End annual number: 10 |