[go: up one dir, main page]

KR101949968B1 - Apparatus and method for determining the visibility distance of an image containing a fog component - Google Patents

Apparatus and method for determining the visibility distance of an image containing a fog component Download PDF

Info

Publication number
KR101949968B1
KR101949968B1 KR1020180064485A KR20180064485A KR101949968B1 KR 101949968 B1 KR101949968 B1 KR 101949968B1 KR 1020180064485 A KR1020180064485 A KR 1020180064485A KR 20180064485 A KR20180064485 A KR 20180064485A KR 101949968 B1 KR101949968 B1 KR 101949968B1
Authority
KR
South Korea
Prior art keywords
distance
input image
value
fog
moving means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180064485A
Other languages
Korean (ko)
Inventor
한진현
김국진
배태욱
Original Assignee
주식회사 유에스티21
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유에스티21 filed Critical 주식회사 유에스티21
Priority to KR1020180064485A priority Critical patent/KR101949968B1/en
Application granted granted Critical
Publication of KR101949968B1 publication Critical patent/KR101949968B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/24Fluid dynamics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법 및 장치를 제공한다. 일 실시예에 따른, 시정거리 결정 장치는 안개 성분이 포함된 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 입력 이미지의 패치 영역 별 전달량을 산출할 수 있다. 또한, 시정거리 결정 장치는 가이디드 필터(guided filter)를 이용하여 산출된 전달량을 보정하고, 보정된 전달량에 기초하여 입력 이미지에서 안개 경계선을 결정할 수 있다. 시정거리 결정 장치는 안개 경계선에 기초하여 상기 입력 이미지의 시정거리를 결정할 수 있다.The present invention provides a method and apparatus for determining the corrective distance of an image containing a fog component. According to an embodiment, the correction distance determining apparatus may calculate a transmission amount of an input image by patch region by applying a DCP (Dark Channel Prior) algorithm to an input image including a fog component. Further, the correction distance determining apparatus may correct the calculated amount of transmission using a guided filter, and determine a fog boundary line in the input image based on the corrected transmission amount. The corrective distance determining apparatus can determine the corrective distance of the input image based on the fog boundary line.

Description

안개 성분이 포함된 이미지의 시정거리를 결정하는 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING THE VISIBILITY DISTANCE OF AN IMAGE CONTAINING A FOG COMPONENT}[0001] APPARATUS AND METHOD FOR DETERMINING THE VISIBILITY DISTANCE OF AN IMAGE CONTAINING A FOG COMPONENT [0002]

본 개시는 안개 성분이 포함된 이미지의 시정거리를 결정하는 장치 및 방법을 제공한다.The present disclosure provides an apparatus and method for determining the corrective distance of an image containing a fog component.

해무 발생 시 해양사고 발생률이 증가하므로 이를 방지하기 위해 선박운항을 통제를 하고 있다. 그러나, 정량적이고 과학적인 근거 없이 선박운항을 통제함에 따라 섬 주민 및 어민들의 선박운항 규정 개선을 지속적으로 요구하는 실정이다. To prevent this, the marine accidents are increased when the marine accident occurs. However, as the vessel operation is controlled without quantitative and scientific grounds, there is a need to continuously improve the regulations of the ship 's people.

이를 해결하기 위하여 정량적인 시정거리 산출이 필요하지만 현재 사용중인 광학시정계의 경우 관측지점에 대한 시정거리만을 측정하기 때문에 바다 위에 해무가 발생해도 이를 탐지하지 못하는 문제가 있다. In order to solve this problem, it is necessary to calculate a quantitative correction distance. However, in the case of the currently used optical visual system, only the correction distance for the observation point is measured.

이에 따라, 사람이 눈으로 관측하는 것처럼 2차원적인 시정관측을 위하여 카메라가 촬영한 이미지를 바탕으로 한 시정거리 산출 기술에 대한 필요성이 존재한다.Accordingly, there is a need for a technique for calculating a correction distance based on an image taken by a camera for a two-dimensional visibility observation as a human eye observes.

안개 성분이 포함된 이미지의 시정거리를 결정하는 장치 및 방법을 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.And an apparatus and method for determining a corrective distance of an image including a fog component. The technical problem to be solved by this embodiment is not limited to the above-mentioned technical problems, and other technical problems can be deduced from the following embodiments.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법에 있어서, 안개 성분이 포함된 입력 이미지를 수신하는 단계; 상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하는 단계; 상기 다크 채널 값에 기초하여 상기 패치 영역 별 전달량을 산출하는 단계; 가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하는 단계; 상기 보정된 전달량에 기초하여 상기 입력 이미지를 이진화하고, 상기 이진화된 입력 이미지에서 안개 경계선을 결정하는 단계; 및 상기 안개 경계선에 기초하여 상기 입력 이미지의 시정거리를 결정하는 단계;를 포함하는, 방법을 제공할 수 있다.According to a first aspect of the present disclosure, there is provided a method of determining a corrective distance of an image including a fog component, the method comprising: receiving an input image including a fog component; Calculating a value of a dark channel for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image; Calculating an amount of transmission per patch area based on the dark channel value; Correcting the calculated transmission amount using a guided filter; Binarizing the input image based on the corrected amount of transmission and determining a fog boundary line in the binarized input image; And determining a corrective distance of the input image based on the fog boundary line.

본 개시의 제2 측면은, 안개 성분이 포함된 이미지의 시정거리를 결정하는 장치에 있어서, 적어도 하나의 프로그램이 저장된 메모리; 안개 성분이 포함된 입력 이미지를 수신하는 통신부; 및 상기 메모리에 저장된 상기 적어도 하나의 프로그램을 실행함으로써, 상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하고, 상기 다크 채널 값에 기초하여 상기 패치 영역 별 전달량을 산출하고, 가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하고, 상기 보정된 전달량에 기초하여 상기 입력 이미지를 이진화하고, 상기 이진화된 입력 이미지에서 안개 경계선을 결정하며, 상기 안개 경계선에 기초하여 상기 입력 이미지의 시정거리를 결정하는 프로세서;를 포함하는, 장치를 제공할 수 있다.According to a second aspect of the present disclosure, there is provided an apparatus for determining a corrective distance of an image including a fog component, the apparatus comprising: a memory in which at least one program is stored; A communication unit for receiving an input image including a fog component; And applying a DCP (Dark Channel Prior) algorithm to the input image to calculate a value of a dark channel for each patch region of the input image by executing the at least one program stored in the memory, Calculating a transmission amount per patch area, correcting the calculated amount of transmission using a guided filter, binarizing the input image based on the corrected transmission amount, and calculating a fog boundary line from the binarized input image And determining a corrective distance of the input image based on the fog boundary line.

본 개시의 제 3 측면은, 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.The third aspect of the present disclosure can provide a computer-readable recording medium on which a program for causing a computer to execute the method of the first aspect is recorded.

본 발명에 따르면, DCP(Dark Channel Prior) 알고리즘을 이용하여 이미지의 안개 성분을 결정할 수 있다. 계산 속도 향상을 위하여, DCP(Dark Channel Prior) 알고리즘 적용 시 가이디드 필터(guided filter)를 사용하는 방법 및 장치를 제안한다. 또한, 보다 정교화된 거리맵을 생성하여 이미지의 시정거리를 계산함으로써, 과학적이고 정량적인 시정거리 산출 방법 및 장치를 제안한다.According to the present invention, a fog component of an image can be determined using a DCP (Dark Channel Prior) algorithm. In order to improve the calculation speed, a method and an apparatus using a guided filter in applying the DCP (Dark Channel Prior) algorithm are proposed. In addition, a more sophisticated distance map is generated to calculate the correction distance of the image, thereby proposing a scientific and quantitative correction distance calculation method and apparatus.

도 1은 일 실시예에 따른 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법의 흐름도이다.
도 2는 일 실시예에 따른 DCP(Dark Channel Prior) 알고리즘을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 가이디드 필터(guided filter)를 이용하여 전달량을 보정하는 예시를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 입력 이미지에서 안개 경계선을 결정하는 예시를 설명하기 위한 도면이다.
도 5a 내지 도 5d는 일 실시예에 따른 거리맵을 생성하는 예시를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 조위차를 고려하여 거리값을 보정하는 예시를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 안개 경계선과 거리맵 간의 행렬 요소별 곱셈(element-wise product) 연산을 수행하는 예시를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 입력 이미지의 시정거리를 결정하는 예시를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 시정거리 결정 장치의 하드웨어 구성을 도시한 블록도이다.
1 is a flow chart of a method for determining the corrective distance of an image containing a fog component according to an embodiment.
FIG. 2 is a diagram for explaining a DCP (Dark Channel Prior) algorithm according to an embodiment.
3 is a diagram for explaining an example of correcting the amount of transmission using a guided filter according to an embodiment.
4 is a diagram for explaining an example of determining a fog boundary line in an input image according to an embodiment.
5A to 5D are diagrams for explaining an example of generating a distance map according to an embodiment.
6 is a view for explaining an example of correcting the distance value in consideration of the tide difference according to the embodiment.
FIG. 7 is a diagram for explaining an example of performing an element-wise product operation between a fog boundary line and a distance map according to an embodiment.
8 is a diagram for explaining an example of determining a correction distance of an input image according to an embodiment.
FIG. 9 is a block diagram illustrating a hardware configuration of a fixation distance determining apparatus according to an embodiment.

본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.The phrases " in some embodiments " or " in one embodiment " appearing in various places in this specification are not necessarily all referring to the same embodiment.

본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 또한, 명세서에 기재된 "?부", "?모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and / or software configurations that perform particular functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function. Also, for example, the functional blocks of the present disclosure may be implemented in various programming or scripting languages. The functional blocks may be implemented with algorithms running on one or more processors. In addition, the present disclosure may employ conventional techniques for electronic configuration, signal processing, and / or data processing, and the like. Terms such as " mechanism, " " element, " " means, " and " configuration " and the like are widely used and are not limited to mechanical and physical configurations. Also, the terms " part ", "? Module ", etc. in the specification mean a unit for processing at least one function or operation, which may be implemented by hardware or software or by a combination of hardware and software.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.Also, the connection lines or connection members between the components shown in the figures are merely illustrative of functional connections and / or physical or circuit connections. In practical devices, connections between components can be represented by various functional connections, physical connections, or circuit connections that can be replaced or added.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 일 실시예에 따른 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법의 흐름도이다. 1 is a flow chart of a method for determining the corrective distance of an image containing a fog component according to an embodiment.

도 1을 참조하면, 단계 110에서 시정거리 결정 장치는 안개 성분이 포함된 입력 이미지를 수신할 수 있다.Referring to FIG. 1, in step 110, the corrective distance determining apparatus may receive an input image including a fog component.

시정거리 결정 장치는 외부 카메라로부터, 외부 카메라가 촬영한 촬영 지역에 대한 입력 이미지를 수신할 수 있다. 일 실시예에서 외부 카메라는 감시, 보안 또는 정보제공의 목적으로 촬영 지역에 대한 RGB로 구성된 입력 이미지를 생성하고, 시정거리 결정 장치는 외부 카메라로부터 입력 이미지를 수신할 수 있다. 외부 카메라는 CCTV(Closed-Circuit Television)일 수 있으나, 이에 제한되지 않는다.The corrective distance determining apparatus can receive an input image from an external camera for a photographing region photographed by an external camera. In one embodiment, the external camera generates an input image composed of RGB for the shooting area for monitoring, security, or information providing purposes, and the correction distance determining device can receive the input image from the external camera. The external camera may be, but is not limited to, Closed-Circuit Television (CCTV).

외부 카메라가 촬영하는 촬영 지역의 기상상황에 따라, 시정거리 결정 장치가 수신한 입력 이미지에는 안개 성분이 포함될 수 있다. 일 실시예에서 시정거리 결정 장치가 해상의 특정 지역을 촬영하는 외부 카메라로부터 입력 이미지를 수신한 경우, 입력 이미지에는 안개 성분 즉, 해무 성분이 포함될 수 있다.The input image received by the correction distance determining apparatus may include a fog component in accordance with the weather condition of the photographing region photographed by the external camera. In one embodiment, when the corrective distance determining apparatus receives an input image from an external camera that photographs a specific area of the sea, the input image may include a fog component, i.e., a sea component.

한편, 시정거리 결정 장치에는 카메라가 탑재될 수도 있으며, 이 경우 시정거리 결정 장치는 탑재된 카메라를 이용하여 특정 지역을 촬영하고, 촬영 지역에 대한 입력 이미지를 직접 생성할 수 있다.In the meantime, the camera may be mounted on the correction distance determining device. In this case, the correction distance determining device can photograph a specific area using the mounted camera and directly generate an input image for the photographing area.

단계 120에서 시정거리 결정 장치는 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 입력 이미지의 패치 영역 별 다크 채널(Dark Channel) 값을 결정할 수 있다.In step 120, the corrective distance determining apparatus may determine a dark channel value for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image.

시정거리 결정 장치는 입력 이미지를 RGB 채널로 분리할 수 있다. 다크 채널이란, 각 색상 채널 즉, R, G 및 B 채널 중에서 최소 밝기 값을 갖는 채널을 의미한다. 또한, 시정거리 결정 장치는 입력 이미지를 패치(patch) 영역으로 분할하고, 패치 영역 별 R, G 및 B 채널 중에서 최소 밝기 값을 갖는 채널을 해당 패치 영역에 대한 다크 채널로 결정할 수 있다. 일 실시예에서 다크 채널 값이란 특정 패치 영역에 대한 다크 채널의 화소값을 의미할 수 있으나, 이에 제한되지 않는다.The correction distance determining apparatus can separate an input image into RGB channels. The dark channel means a channel having the minimum brightness value among the respective color channels, that is, the R, G, and B channels. Further, the correction distance determining apparatus may divide the input image into patch regions and determine a channel having a minimum brightness value among the R, G, and B channels for each patch region as a dark channel for the patch region. In one embodiment, the dark channel value may refer to a pixel value of a dark channel for a particular patch region, but is not limited thereto.

단계 130에서 시정거리 결정 장치는 다크 채널 값에 기초하여 패치 영역 별 전달량을 산출할 수 있다.In step 130, the corrective distance determining device may calculate the amount of transmission per patch area based on the dark channel value.

전달량은 빛이 산란되지 않고 카메라까지 도달된 정도를 나타내며, 안개 성분이 존재하는 패치 영역의 다크 채널 값은 큰 값을 갖는다는 성질을 이용하여 전달량이 산출될 수 있다.The amount of transmission can be calculated using the property that the light is not scattered and reaches the camera and the dark channel value of the patch region in which the fog component exists has a large value.

단계 140에서 시정거리 결정 장치는 가이디드 필터(guided filter)를 이용하여, 산출된 전달량을 보정할 수 있다.In step 140, the corrective distance determining apparatus can correct the calculated amount of transmission using a guided filter.

단계 120에서 다크 채널 값을 결정하고, 단계 130에서 전달량을 산출하는 과정은 패치 영역 별로 수행되므로, 안개가 제거된 이미지를 복원하는 과정에서 패치 영역의 경계선 부분에서 계단 현상이 발생할 수 있다. 즉, 안개가 제거된 이미지를 복원 시 정밀도가 저하될 수 있다. Since the process of determining the dark channel value in step 120 and calculating the amount of transmission in step 130 is performed for each patch area, stepping may occur in a boundary part of the patch area in the process of restoring the fog removed image. That is, when the fog removed image is restored, the accuracy may be lowered.

종래에는 소프트 매팅(Soft Matting) 알고리즘을 적용하여 정밀도 저하를 방지하였으나, 소프트 매팅 알고리즘에서는 고연산량을 요구하는 라플라스 변환(Laplacian Transformation)이 수행되므로 연산 속도가 느리다.Conventionally, a soft matting algorithm is applied to prevent a reduction in precision, but a soft matting algorithm has a slow computation speed because it performs Laplacian transformation requiring a high computational complexity.

시정거리 결정 장치는 소프트 매팅 알고리즘 대신, 가이디드 필터를 이용하여 산출된 전달량을 실시간으로 보정함으로써 정밀도 저하를 방지할 수 있다.Instead of the soft matting algorithm, the correction distance determining apparatus can correct the amount of transmission calculated using the guarded filter in real time, thereby preventing a reduction in accuracy.

일 실시예에서 입력 이미지에 광원(예를 들어, 태양광, 태양 반사광, 헤드라이트 등)이 포함될 수 있다. 입력 이미지에 포함된 광원의 크기가 패치 영역의 크기보다 큰 경우, 시정거리 결정 장치는 광원을 안개 성분으로 오분류할 수 있다. 광원이 안개 성분으로 오분류되는 것을 방지하기 위해, 시정거리 결정 장치는 입력 이미지 내 특정 패치 영역에 대한 다크 채널 값이 기 설정된 임계값 이상인 경우, 특정 패치 영역의 전달량을 조정할 수 있다. 즉, 이러한 경우 시정거리 결정 장치는 특정 패치 영역의 전달량을 조정으로써 광원이 안개 성분으로 오분류 되는 것을 방지할 수 있다.In one embodiment, the input image may include a light source (e.g., solar, sunlight, headlight, etc.). When the size of the light source included in the input image is larger than the size of the patch area, the corrective distance determining apparatus can classify the light source as a mist component. In order to prevent the light source from being misclassified as mist components, the correction distance determining apparatus can adjust the amount of transmission of a specific patch region when the dark channel value for a specific patch region in the input image is equal to or greater than a predetermined threshold value. That is, in this case, the corrective distance determining apparatus can prevent the light source from being misclassified as a mist component by adjusting the amount of transmission of the specific patch region.

단계 150에서 시정거리 결정 장치는 보정된 전달량에 기초하여, 입력 이미지에서 안개 경계선을 결정할 수 있다.In step 150, the corrective distance determining device can determine the fog boundary line in the input image based on the corrected amount of transmission.

일 실시예에서 시정거리 결정 장치는 보정된 전달량에 기초하여 입력 이미지를 이진화하고, 이진화된 입력 이미지에서 안개 경계선을 결정할 수 있다.In one embodiment, the corrective distance determining device may binarize the input image based on the corrected transmission amount and determine a fog boundary line in the binarized input image.

예를 들어, 시정거리 결정 장치는, 입력 이미지의 패치 영역 중에서 보정된 전달량이 기 설정된 임계값 이상인 패치 영역에는 제1 색상을 적용하고, 보정된 전달량이 기 설정된 임계값 미만인 패치 영역에는 제2 색상을 적용할 수 있다. 예를 들어, 제1 색상은 흰색, 제2 색상은 검정색일 수 있다.For example, the corrective distance determining apparatus applies a first color to a patch region whose corrected transmission amount is equal to or greater than a predetermined threshold value in a patch region of an input image, and applies a second color to a patch region whose corrected transmission amount is less than a predetermined threshold value Can be applied. For example, the first color may be white and the second color may be black.

시정거리 결정 장치는 제1 색상의 패치 영역과 제2 색상의 패치 영역 간의 경계선을 안개 경계선으로 결정할 수 있다.The corrective distance determining apparatus can determine the boundary line between the patch region of the first color and the patch region of the second color as the fog boundary line.

단계 160에서 시정거리 결정 장치는 안개 경계선에 기초하여 입력 이미지의 시정거리를 결정할 수 있다.In step 160, the corrective distance determining device can determine the corrective distance of the input image based on the fog boundary.

일 실시예에서 시정거리 결정 장치는 안개 경계선 상의 시정거리의 평균을 산출하거나, 안개 경계선 상의 최소시정거리를 선택함으로써 시정거리를 결정할 수 있다.In one embodiment, the corrective distance determining device can determine the corrective distance by calculating an average of the corrective distance on the fog boundary line or by selecting the minimum corrective distance on the fog boundary line.

또한, 시정거리 결정 장치는 입력 이미지를 복수의 영역으로 구분한 후, 복수의 영역 중에서 사용자가 선택한 관심 영역에 대한 평균 시정거리 및/또는 최소 시정거리를 제공할 수 있다.Further, the correction distance determining apparatus may divide the input image into a plurality of regions, and then provide an average correction distance and / or a minimum correction distance for a region of interest selected by the user among the plurality of regions.

한편, 시정거리 결정 장치는 입력 이미지에 대한 보다 정확한 시정거리를 결정하기 위해 거리맵을 이용할 수 있다. 시정거리 결정 장치는 입력 이미지의 안개 경계선을 나타내는 행렬값과 거리맵의 거리값을 나타내는 행렬값 간의 요소별 곱셈(element-wise product) 연산을 수행함으로써, 입력 이미지의 안개 경계선에 해당하는 픽셀의 거리값을 결정할 수 있다. 시정거리 결정 장치는 안개 경계선의 거리값을 이용하여 입력 이미지에 대한 시정거리를 결정할 수 있다. 거리맵에 대한 설명은 도 5a 내지 도 5d에서 후술하기로 한다.On the other hand, the correction distance determining apparatus can use the distance map to determine a more accurate correction distance for the input image. The corrective distance determining apparatus performs an element-wise product operation between a matrix value representing a fog boundary line of an input image and a matrix value representing a distance value of the distance map, thereby calculating a distance of a pixel corresponding to a fog boundary of the input image Value can be determined. The corrective distance determining device can determine the corrective distance for the input image by using the distance value of the fog boundary line. The description of the distance map will be described later in Figs. 5A to 5D.

도 2는 일 실시예에 따른 DCP(Dark Channel Prior) 알고리즘을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining a DCP (Dark Channel Prior) algorithm according to an embodiment.

도 2를 참조하면, 시정거리 결정 장치는 카메라(210)(외부 카메라 또는 시정거리 결정 장치에 탑재된 카메라)로부터, 카메라(210)가 촬영한 촬영 지역(220)에 대한 입력 이미지를 수신할 수 있다. 입력 이미지에는 안개 성분이 포함될 수 있다. Referring to Fig. 2, the correction distance determining apparatus is capable of receiving an input image from a camera 210 (a camera mounted on an external camera or a corrective distance determining apparatus) to a photographing area 220 photographed by the camera 210 have. The input image may contain fog components.

먼저, 안개 성분을 포함하는 입력 이미지는 아래 수학식 1과 같이 표현될 수 있다. 여기서, I(x)는 안개 성분이 포함된 입력 이미지, J(x)는 안개 성분이 제거된 원이미지 또는 피사체 고유의 복사량(scene radiance), A는 대기 산란광(global atmospheric light), t(x)는 투과도(transmission)를 의미한다.First, an input image including a fog component can be expressed by the following equation (1). (X) is the original image from which the fog component is removed, or the scene radiance of the subject, A is the global atmospheric light, t (x) is the input image containing the fog component, ) Means transmission.

Figure 112018055014019-pat00001
Figure 112018055014019-pat00001

투과도 t(x)는 이미지의 깊이에 따라 달라지며, 아래 수학식 2와 같이 표현될 수 있다. 여기서, β는 대기의 산란계수(scattering coefficient), d(x)는 이미지의 x위치에서의 깊이(depth)를 의미한다.The transmittance t (x) depends on the depth of the image, and can be expressed as shown in Equation 2 below. Where β is the scattering coefficient of the atmosphere and d (x) is the depth at the x position of the image.

Figure 112018055014019-pat00002
Figure 112018055014019-pat00002

한편, β는 날씨에 따라 달라지는 값이며, 입력 이미지에 안개 성분이 존재하지 않는 겨우 β=0 (즉, t(x)=1, I(x)=J(x)) 이며, 안개가 짙을수록 β도 커진다.On the other hand, β is a value that varies with the weather, and if there is no fog component in the input image, β = 0 (ie t (x) = 1, I (x) = J The larger the recording β.

다크 채널 프라이어(Dark Channel Prior, DCP) 알고리즘(이하, DCP 알고리즘)은 입력 이미지에서 절대적인 이미지 깊이를 실제로 구하는 대신, 상대적인 이미지 깊이를 구하는 알고리즘이다. 입력 이미지는 RGB 채널로 분리될 수 있고, 각 색상 채널 즉, R, G 및 B 채널 중에서 최소 밝기 값을 갖는 채널을 다크 채널이라 부른다.The Dark Channel Prior (DCP) algorithm (hereinafter referred to as the DCP algorithm) is an algorithm for obtaining a relative image depth instead of actually obtaining the absolute image depth in the input image. The input image can be separated into RGB channels, and a channel having the minimum brightness value among the respective color channels, that is, the R, G, and B channels, is called a dark channel.

다크 채널 값(

Figure 112018055014019-pat00003
)은 아래 수학식 3을 통해 결정될 수 있다. 아래 수학식 3에서, x 및 y는 2차원 벡터로서 이미지에서의 위치,
Figure 112018055014019-pat00004
는 입력 이미지의 R, G 및 B 채널 별 이미지,
Figure 112018055014019-pat00005
는 x를 중심으로 하는 입력 이미지의 패치 영역을 의미한다. 예를 들어, 는
Figure 112018055014019-pat00006
패치 영역을 의미할 수 있다.Dark channel value (
Figure 112018055014019-pat00003
Can be determined through Equation (3) below. In the following Equation (3), x and y are positions in the image as two-dimensional vectors,
Figure 112018055014019-pat00004
Is an image for each R, G and B channel of the input image,
Figure 112018055014019-pat00005
Is the patch area of the input image centered at x. For example,
Figure 112018055014019-pat00006
May refer to a patch area.

Figure 112018055014019-pat00007
Figure 112018055014019-pat00007

실험적 관측을 통해, 안개 성분이 존재하지 않는 입력 이미지의 다크 채널 값(

Figure 112018055014019-pat00008
)은 0이 된다. 반면, 안개 성분이 존재하는 입력 이미지에서는 A(1-t(x)) 성분이 더해짐에 따라(수학식 1 참조) 다크 채널 값(
Figure 112018055014019-pat00009
)은 큰 값을 갖는다.Through empirical observations, the dark channel value of the input image without the fog component (
Figure 112018055014019-pat00008
) Becomes zero. On the other hand, as the A (1-t (x)) component is added in the input image in which the fog component exists (see Equation 1), the dark channel value
Figure 112018055014019-pat00009
) Has a large value.

전달량은 빛이 산란되지 않고 카메라까지 도달된 정도를 나타내며, 안개 성분이 존재하는 패치 영역의 다크 채널 값이 크다는 것을 이용하여 전달량이 산출될 수 있다.The amount of transmission represents the extent to which the light is not scattered and reaches the camera, and the amount of transmission can be calculated using the fact that the dark channel value of the patch region in which the fog component is large is large.

전달량을 추정하기 위해 수학식 3의 양변에서, R, G 및 B 각 채널 및 패치 영역에 대해 min 연산을 취하고, A로 나누어 정리하면 아래 수학식 4와 같다. 아래 수학식 4에서,

Figure 112018055014019-pat00010
는 구하고자 하는 전달량을 의미하며, 패치 영역(
Figure 112018055014019-pat00011
)내부에서는 동일한 전달량을 갖는 것으로 가정한다.In order to estimate the amount of transmission, a min operation is performed on each of the R, G, and B channels and patch regions in both sides of Equation (3). In Equation (4) below,
Figure 112018055014019-pat00010
Means the amount of transmission to be obtained, and the patch area (
Figure 112018055014019-pat00011
) Are assumed to have the same amount of transmission.

Figure 112018055014019-pat00012
Figure 112018055014019-pat00012

수학식 2와 안개 성분이 존재하지 않는 입력 이미지의 다크 채널 값(

Figure 112018055014019-pat00013
)이 0이라는 것에 의해, 수학식 4의 우변에서 J가 포함된 항은 0으로 근사할 수 있다. 결과적으로, 전달량(
Figure 112018055014019-pat00014
)은 아래 수학식 5와 같이 표현할 수 있다. 아래 수학식 5에서, I는 입력 이미지, A는 대기 산란광(global atmospheric light)을 의미한다.(2) and the dark channel value of the input image in which the fog component does not exist
Figure 112018055014019-pat00013
) Is 0, the term including J in the right side of Equation (4) can be approximated to zero. As a result,
Figure 112018055014019-pat00014
) Can be expressed by the following Equation (5). In Equation (5), I denotes an input image and A denotes a global atmospheric light.

Figure 112018055014019-pat00015
Figure 112018055014019-pat00015

즉, 수학식 5를 참조하면, 입력 이미지(I)를 대기 산란광(A)으로 나누고, 수학식 3과 같은 다크 채널 값을 구하는 방식을 적용하여 전달량(

Figure 112018055014019-pat00016
)을 산출할 수 있다. 결과적으로 전달량(
Figure 112018055014019-pat00017
)은 다크 채널이 가장 벗어난 영역, 즉 다크 채널의 화소값이 큰 영역으로부터 구할 수 있다.That is, referring to Equation (5), the input image I is divided by the atmospheric scattering light A and the dark channel value as shown in Equation (3)
Figure 112018055014019-pat00016
) Can be calculated. As a result,
Figure 112018055014019-pat00017
) Can be obtained from the region where the dark channel is the outermost, that is, from the region where the pixel value of the dark channel is large.

상술한 내용을 토대로, 안개 성분이 제거된 입력 이미지(J)는 아래 수학식 6로 정리할 수 있다.Based on the above description, the input image J from which the fog component is removed can be summarized by the following equation (6).

Figure 112018055014019-pat00018
Figure 112018055014019-pat00018

도 3은 일 실시예에 따른 가이디드 필터(guided filter)를 이용하여 전달량을 보정하는 예시를 설명하기 위한 도면이다.3 is a diagram for explaining an example of correcting the amount of transmission using a guided filter according to an embodiment.

도 2에서 상술한 DCP 알고리즘은 입력 이미지의 패치 영역 별로 수행되므로, 안개가 제거된 이미지를 복원 시 패치 영역의 경계선 부분에서 계단 현상이 발생할 수 있다. 즉, 안개가 제거된 이미지를 복원하는 과정에서 정밀도가 저하될 수 있다. Since the DCP algorithm described above in FIG. 2 is performed for each patch region of the input image, a staircase phenomenon may occur at the boundary portion of the patch region when restoring the fog removed image. That is, in the process of restoring the fog removed image, the accuracy may be lowered.

종래에는 소프트 매팅(Soft Matting) 알고리즘을 적용하여 정밀도 저하를 방지하였으나, 소프트 매팅 알고리즘에서는 고연산량을 요구하는 라플라스 변환(Laplacian Transformation)을 수행하므로 연산 속도가 느리다.Conventionally, the soft matting algorithm is applied to prevent the degradation of the precision, but the soft matting algorithm performs the Laplacian transformation which requires a high computational complexity, so that the computation speed is slow.

시정거리 결정 장치는 소프트 매팅 알고리즘 대신, 가이디드 필터를 이용하여 산출된 전달량을 실시간으로 보정함으로써 정밀도 저하를 방지할 수 있다.Instead of the soft matting algorithm, the correction distance determining apparatus can correct the amount of transmission calculated using the guarded filter in real time, thereby preventing a reduction in accuracy.

가이디드 필터를 이용한 필터링 기법은 입력 이미지를 기 설정된 가이던스(guidance)에 대비시켜 필터링함으로써 가이던스에 대응하는 출력을 얻는 방법이다. A filtering method using a guided filter is a method of obtaining an output corresponding to a guidance by filtering an input image against a predetermined guidance.

가이디드 필터의 주요 전제는 가이던스(I)와 필터를 통과해서 나오는 출력 이미지(q) 간의 지역 선형이다. q는, 중심픽셀이 k인 윈도우 wk에서 I의 선형 변형으로 간주되며, 이를 수학식 7과 같이 나타낼 수 있다. 여기서, 윈도우 wk는 가이디드 필터에서의 패치를 의미한다.The main premise of the guided filter is the local linearity between the guidance (I) and the output image (q) passing through the filter. q is, the center pixel is considered in the window w k k linear transformation of I, it can be expressed as shown in Equation (7). Here, the window w k denotes a patch in this bonded filter.

Figure 112018055014019-pat00019
Figure 112018055014019-pat00019

수학식 7에서, ak, bk는 wk에서 일정한 것으로 간주되는 선형계수이다. 선형계수를 구하기 위해 아래 수학식 8과 같은 cost 함수를 최소화해야 한다.In Equation (7), a k , b k is a linear coefficient considered constant at w k . To obtain the linear coefficient, the cost function as shown in Equation (8) below must be minimized.

Figure 112018055014019-pat00020
Figure 112018055014019-pat00020

수학식 8에서, ε은 ak가 무한대로 커지는 것을 방지하기 위한 파라미터이고, p는 입력 이미지를 나타낸다. 수학식 8을 풀기 위하여 선형회귀시키면 아래 수학식 9와 같은 해를 구할 수 있다.In Equation (8),? Is a parameter for preventing a k from becoming infinitely large, and p represents an input image. By solving Equation (8) by linear regression, the following Equation (9) can be obtained.

Figure 112018055014019-pat00021
Figure 112018055014019-pat00021

수학식 9에서, uk와 σk는 I에서 추출한 wk의 평균과 분산이고,

Figure 112018055014019-pat00022
는 wk에서의 픽셀의 개수,
Figure 112018055014019-pat00023
는 wk에서의 p의 평균값이다. 수학식 9를 수학식 7에 적용하여 가이디드 필터의 결과를 수학식 10과 같이 도출할 수 있다.In Equation (9), u k and σ k are the mean and variance of w k extracted from I,
Figure 112018055014019-pat00022
Is the number of pixels at w k ,
Figure 112018055014019-pat00023
Is the average value of p in the k w. Equation (9) can be applied to Equation (7) to derive the result of the guided filter as shown in Equation (10).

Figure 112018055014019-pat00024
Figure 112018055014019-pat00024

도 3을 참조하면, 입력 이미지(310)에 DCP 알고리즘을 적용함으로써 중간 이미지(320)가 생성될 수 있다. DCP 알고리즘은 입력 이미지(310)의 패치 영역 별로 수행되므로, DCP 알고리즘이 적용되어 생성된 중간 이미지(320)에 계단 현상이 발생할 수 있다. 즉, 중간 이미지(320)의 일부 영역이 뭉개질 수 있다.Referring to FIG. 3, an intermediate image 320 may be generated by applying a DCP algorithm to the input image 310. Since the DCP algorithm is performed for each patch region of the input image 310, a stepping phenomenon may occur in the intermediate image 320 generated by applying the DCP algorithm. That is, a partial area of the intermediate image 320 may be crushed.

중간 이미지(320)에 상술한 가이디드 필터가 적용됨으로써 최종 이미지(330)가 생성될 수 있다. 중간 이미지(320)에 가이디드 필터가 적용됨으로써 계단 현상이 제거된 보다 선명한 최종 이미지(330)가 생성될 수 있다. 즉, 중간 이미지(320)의 뭉개진 영역이 가이디드 필터에 의해 복원됨으로써, 디테일이 살아난 최종 이미지(330)가 생성될 수 있다.The final image 330 can be generated by applying the guiding filter described above to the intermediate image 320. [ A guiding filter may be applied to the intermediate image 320 to produce a sharper final image 330 that is stepped away. That is, the blurred area of the intermediate image 320 is restored by the guided filter, so that the final image 330 in which the detail has survived can be generated.

도 4는 일 실시예에 따른 입력 이미지에서 안개 경계선을 결정하는 예시를 설명하기 위한 도면이다.4 is a diagram for explaining an example of determining a fog boundary line in an input image according to an embodiment.

도 4를 참조하면, 1 단계(410)에서 시정거리 결정 장치는 카메라로부터, 카메라가 촬영한 촬영 지역에 대한 입력 이미지를 수신할 수 있다. 입력 이미지에는 안개 성분이 포함될 수 있다.Referring to FIG. 4, in step 410, the corrective distance determining device may receive an input image from a camera for a photographing area photographed by the camera. The input image may contain fog components.

일 실시예에서 카메라는 CCTV일 수 있으며, 시정거리 결정 장치는 CCTV로부터 스트리밍 영상을 수신하고, 스트리밍 영상에서 스틸컷을 추출함으로써 입력 이미지를 생성할 수 있다.In one embodiment, the camera may be a CCTV, the correction distance determining apparatus may receive the streaming image from the CCTV, and extract the still cut from the streaming image to generate an input image.

2 단계(420)에서 시정거리 결정 장치는 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용함으로써, 입력 이미지의 패치 영역 별 다크 채널 값을 결정하고, 다크 채널 값에 기초하여 패치 영역 별 전달량을 산출할 수 있다.In step 420, the corrective distance determining apparatus determines a dark channel value for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image, and calculates a transmission amount per patch region based on the dark channel value can do.

3 단계(430)에서 시정거리 결정 장치는 입력 이미지에 포함된 광원(예를 들어, 태양광, 태양 반사광, 헤드라이트 등)이 안개 성분으로 오분류되는 것을 방지하기 위해, 광원 오분류 제거 알고리즘을 적용할 수 있다. In step 430, the corrective distance determining apparatus determines whether the light source (e.g., sunlight, sunlight, headlight, etc.) included in the input image is misclassified as a fog component, Can be applied.

일 실시예에서 입력 이미지에 포함된 광원의 크기가 패치 영역의 크기보다 큰 경우 광원이 안개 성분으로 오분류될 수 있으므로, 시정거리 결정 장치는 입력 이미지 내 특정 패치 영역에 대한 다크 채널 값이 기 설정된 임계값 이상인 경우, 특정 패치 영역의 전달량을 조정할 수 있다. In one embodiment, when the size of the light source included in the input image is larger than the size of the patch area, the light source may be misclassified as a mist component, so that the correction distance determining device determines that the dark channel value If it is equal to or greater than the threshold value, the amount of transmission of the specific patch area can be adjusted.

예를 들어, 시정거리 결정 장치는 입력 이미지의 다크 채널 값이 0~1 사이가 되도록 정규화시킬 수 있다. 입력 이미지 내 특정 패치 영역의 다크 채널 값이 0.7 이상인 경우, 시정거리 결정 장치는 특정 패치 영역이 안개 성분으로 결정되도록 설정할 수 있다. 이 때, 시정거리 결정 장치는 기 설정된 임계값을 0.92로 설정하고, 특정 패치 영역의 다크 채널 값이 0.92 이상인 경우에는 특정 패치 영역을 광원으로 분류함으로써 특정 패치 영역의 전달량을 조정할 수 있다. 즉, 시정거리 결정 장치는 특정 패치 영역의 다크 채널 값이 0.92 이상인 경우 특정 패치 영역의 전달량을 조정함으로써 광원이 안개 성분으로 오분류 되는 것을 방지할 수 있다. 한편, 특정 패치 영역이 안개 성분으로 결정되는 다크 채널 값 및 광원으로 분류되는 다크 채널 값은 이에 제한되지 않는다.For example, the correction distance determining apparatus can normalize the dark channel value of the input image to be between 0 and 1. When the dark channel value of the specific patch region in the input image is 0.7 or more, the correction distance determining apparatus can be set so that the specific patch region is determined as the fog component. At this time, the fixation distance determining apparatus sets a predetermined threshold value to 0.92, and when the dark channel value of the specific patch region is 0.92 or more, the amount of the specific patch region can be adjusted by classifying the specific patch region as a light source. That is, when the dark channel value of a specific patch region is 0.92 or more, the correction distance determining apparatus can prevent the light source from being misclassified as a mist component by adjusting the amount of transmission of a specific patch region. On the other hand, the dark channel value in which the specific patch region is determined as the fog component and the dark channel value classified in the light source are not limited thereto.

4 단계(440)에서 시정거리 결정 장치는 가이디드 필터를 이용하여 산출된 전달량을 보정할 수 있다. 2 단계(420)에서 이용된 DCP 알고리즘은 입력 이미지의 패치 영역 별로 적용되므로, 안개가 제거된 이미지를 복원 시 패치 영역의 경계선 부분에서 계단 현상이 발생할 수 있다. 즉, 안개가 제거된 이미지를 복원하는 과정에서 정밀도가 저하될 수 있다.In step 440, the corrective distance determining apparatus can correct the calculated amount using the guided filter. Since the DCP algorithm used in the second step 420 is applied to each patch region of the input image, a staircase phenomenon may occur at the boundary portion of the patch region when the fog removed image is restored. That is, in the process of restoring the fog removed image, the accuracy may be lowered.

시정거리 결정 장치는 고연산량을 요구하는 라플라스 변환(Laplacian Transformation)을 이용하는 소프트 매팅 알고리즘 대신, 가이디드 필터를 이용하여 산출된 전달량을 실시간으로 보정함으로써 정밀도 저하를 방지할 수 있다.Instead of a soft matting algorithm that uses Laplacian transformations that require a high computational complexity, the Corrected Distance Correction Device can prevent the degradation of precision by correcting the calculated amount of transmission using a guided filter in real time.

5 단계(450)에서 시정거리 결정 장치는 보정된 전달량에 기초하여 입력 이미지를 이진화할 수 있다.In step 5, the corrective distance determining device may binarize the input image based on the corrected transmission amount.

시정거리 결정 장치는, 입력 이미지의 패치 영역 중에서 보정된 전달량이 기 설정된 임계값 이상인 패치 영역에는 제1 색상을 적용하고, 보정된 전달량이 기 설정된 임계값 미만인 패치 영역에는 제2 색상을 적용할 수 있다. 예를 들어, 제1 색상은 흰색, 제2 색상은 검정색일 수 있다.The corrective distance determining apparatus applies a first color to a patch region whose corrected transmission amount is equal to or greater than a preset threshold value in a patch region of an input image and applies a second color to a patch region whose corrected transmission amount is less than a predetermined threshold value have. For example, the first color may be white and the second color may be black.

일 실시예에서 사용자가 가이디드 필터가 적용된 입력 이미지를 눈으로 확인하였을 때 안개로 판단할 수 있는 영역의 값을 임계값으로 설정하고, 설정된 임계값을 기준으로 가이디드 필터가 적용된 입력 이미지를 이진화할 수 있다.In one embodiment, when a user confirms an input image to which a guided filter is applied, the value of an area that can be determined as fog is set as a threshold value, and an input image to which a guided filter is applied is binarized can do.

또한, 입력 이미지를 이진화하는데 기준이 되는 기 설정된 임계값은 광학시정계의 시정거리와 상관관계에 기초하여 결정될 수 있다.In addition, the predetermined threshold value, which is a reference for binarizing the input image, can be determined based on the correlation with the correcting distance of the optical visual system.

6 단계(460)에서 시정거리 결정 장치는 이진화된 입력 이미지에서 안개 경계선(461)을 결정할 수 있다.In step 660, the corrective distance determining unit may determine a fog boundary line 461 in the binarized input image.

시정거리 결정 장치는 이진화된 이미지에서의 패치 영역 별 색상에 기초하여 안개 경계선(461)을 결정할 수 있다. 일 실시예에서 시정거리 결정 장치는 제1 색상의 패치 영역과 제2 색상의 패치 영역 간의 경계선을 안개 경계선(461)으로 결정할 수 있다.The corrective distance determining apparatus can determine the fog boundary line 461 based on the patch region-specific hue in the binarized image. In one embodiment, the corrective distance determining apparatus may determine a boundary line between the patch region of the first color and the patch region of the second color by the fog boundary line 461.

도 5a 내지 도 5d는 일 실시예에 따른 거리맵을 생성하는 예시를 설명하기 위한 도면이다.5A to 5D are diagrams for explaining an example of generating a distance map according to an embodiment.

도 5a 내지 도 5c를 참조하면, 시정거리 결정 장치는 입력 이미지를 촬영하는 카메라로부터, 카메라의 촬영 지역을 이동하는 이동수단(520a 내지 520c)을 촬영한 촬영 이미지(510a 내지 510c)를 수신할 수 있다. 촬영 이미지(510a 내지 510c)는 카메라로부터 수신된 스트리밍 영상의 스틸컷일 수 있다.Referring to Figs. 5A to 5C, the correction distance determining apparatus is capable of receiving a captured image 510a to 510c obtained by photographing moving means 520a to 520c for moving the photographing region of the camera from a camera that photographs an input image have. The shot images 510a to 510c may be still cuts of the streaming image received from the camera.

도 5a를 참조하면, 시정거리 결정 장치는 GPS(Global Positioning System)에 따른 이동수단(520a)의 위치 및 카메라의 위치에 기초하여, 이동수단(520a)과 카메라 간의 거리값을 산출할 수 있다. 또한, 시정거리 결정 장치는 촬영 이미지(510a) 내 이동수단(520a)이 위치한 영역(530a)을 산출된 거리값으로 설정할 수 있다.Referring to FIG. 5A, the correction distance determining apparatus can calculate the distance value between the moving means 520a and the camera based on the position of the moving means 520a and the position of the camera according to the GPS (Global Positioning System). The fixation distance determining apparatus can set the area 530a in which the moving means 520a is located in the shot image 510a as the calculated distance value.

보다 구체적으로, 시정거리 결정 장치는 거리값을 산출하는데 이용된 이동수단(520a)의 위치가 측정된 시간과 촬영 이미지(510a)가 촬영된 시간을 비교할 수 있다. 측정된 시간과 촬영된 시간이 동일한 경우, 촬영 이미지(510a) 내 이동수단(520a)이 위치한 영역(530a)을 산출된 거리값으로 설정할 수 있다.More specifically, the corrective distance determining apparatus can compare the time at which the position of the moving means 520a used for calculating the distance value is measured and the time at which the photographing image 510a is photographed. If the measured time and the photographed time are the same, the area 530a in which the moving means 520a is located in the shot image 510a can be set to the calculated distance value.

마찬가지 방식으로, 도 5b 내지 도 5c에서 시정거리 결정 장치는 촬영 이미지(510b 내지 510c) 내 이동수단(520b 내지 520c)이 위치한 영역(530b 내지 530c)을 산출된 거리값으로 설정할 수 있다.Similarly, in Figs. 5B to 5C, the corrective distance determining apparatus can set the areas 530b to 530c in which the moving means 520b to 520c are located in the shot images 510b to 510c as the calculated distance values.

도 5d를 참조하면, 시정거리 결정 장치는 도 5a 내지 도 5c에서 이동수단(520a 내지 520c)이 위치한 영역(530a 내지 530c)에 설정된 거리값으로 구성된 거리맵(540)을 생성할 수 있다. 시정거리 결정 장치는 이동수단의 항적도에 따라 산출된, 이동수단과 카메라 간의 거리값으로 구성된 거리맵(540)을 생성할 수 있다.Referring to FIG. 5D, the fixation distance determination apparatus may generate a distance map 540 composed of distance values set in the regions 530a to 530c in which the moving means 520a to 520c are located in FIGS. 5A to 5C. The corrective distance determining apparatus can generate the distance map 540 composed of the distance value between the moving means and the camera, which is calculated according to the degree of trajectory of the moving means.

또한, 시정거리 결정 장치는 거리맵(540)에 호모그래피(homography) 기법을 적용하여 거리맵(540)에 설정된 거리값 외에 거리맵(540)을 구성하는 나머지 거리값을 산출할 수 있다. 호모그래피 기법은 한 평면을 다른 평면에 투영시켰을 때 투영된 대응점들 사이에는 일정한 변환관계가 성립한다는 이론으로 평면형 물체에 적용 가능하다. 한편, 촬영 이미지에 하늘이 포함된 경우, 시정거리 결정 장치는 촬영 이미지의 하늘 부분을 관측 최대값으로 설정함으로써 거리맵(540)을 완성할 수 있다.The correction distance determining apparatus may calculate a remaining distance value constituting the distance map 540 in addition to the distance value set in the distance map 540 by applying a homography technique to the distance map 540. [ The homography technique is applicable to a planar object as a theory that a certain transformation relation is established between projected corresponding points when one plane is projected on another plane. On the other hand, when the sky is included in the shot image, the correction distance determining apparatus can complete the distance map 540 by setting the sky portion of the shot image to the observation maximum value.

본 실시예에 따르면, 보다 정교화된 거리맵을 생성할 수 있다. 기존에 설치된 다양한 규격의 카메라들(예를 들어, CCTV들)을 활용하여 카메라 왜곡보정이나 카메라의 특성 등을 고려하지 않고도 촬영 이미지의 시정거리를 산출할 수 있도록, 카메라가 촬영중인 촬영 지역을 GPS측량하고, 호모그래피 기법을 적용하여 거리맵을 완성할 수 있다.According to the present embodiment, a more refined distance map can be generated. In order to calculate the correcting distance of the photographed image without considering the camera distortion correction or the characteristics of the camera by using the cameras (for example, CCTVs) of various standards installed in the past, And a distance map can be completed by applying a homography technique.

도 6은 일 실시예에 따른 조위차를 고려하여 거리값을 보정하는 예시를 설명하기 위한 도면이다.6 is a view for explaining an example of correcting the distance value in consideration of the tide difference according to the embodiment.

시정거리 결정 장치는 CCTV(610)로부터, CCTV(610)가 촬영한 이동수단이 포함된 입력 이미지를 수신할 수 있다. The corrective distance determining apparatus can receive, from the CCTV 610, an input image including the moving means taken by the CCTV 610. [

도 6을 참조하면, 이동수단이 선박인 경우, 시시각각 변하는 조위차(630)에 의해 이동수단에 대한 GPS 관측 값이 시간에 따라 변할 수 있다. 예를 들어, 조위차(630)에 따라 이동수단이 제 1 높이(620a)에 있는 경우 CCTV(610)와 이동수단 간의 거리는 제 1 거리값(640a)이 되지만, 이동수단이 제 2 높이(620b)에 있는 경우 CCTV(620)와 이동수단 간의 거리는 제 2 거리값(640b)일 수 있다.Referring to FIG. 6, when the moving means is a ship, the GPS observation value for the moving means can be changed with time by the steep changing tide 630. For example, if the moving means is at the first height 620a according to the tilt angle 630, the distance between the CCTV 610 and the moving means becomes the first distance value 640a, The distance between the CCTV 620 and the mobile means may be the second distance value 640b.

이동수단이 제 2 높이(620b)에 있는 경우, 시정거리 결정 장치는 거리값을 산출하는데 이용된 이동수단의 위치가 측정된 시간을 획득할 수 있다. 시정거리 결정 장치는 GPS에 따른 이동수단의 위치에 기초하여, 획득된 시간에서의 조위차(630)를 획득할 수 있다. When the moving means is at the second height 620b, the corrective distance determining apparatus can obtain the time at which the position of the moving means used to calculate the distance value is measured. The corrective distance determining apparatus can acquire the tide difference 630 at the obtained time based on the position of the moving means according to the GPS.

시정거리 결정 장치는 조위차(630)를 이용하여 제 2 거리값(640b)을 제 1 거리값(640a)으로 보정할 수 있다. 먼저, 시정거리 결정 장치는 조위차(630)를 이용하여 CCTV(610)의 설치높이와 이동수단의 높이를 기본수준면(Datum level)으로 변환할 수 있다. 즉, 시정거리 결정 장치는 조위차(630)를 이용하여 이동수단의 높이를 제 2 높이(620b)에서 제 1 높이(620a)로 변환할 수 있다. 시정거리 결정 장치는 변환된 제 1 높이(620a)에서의 이동수단과 CCTV(610) 간의 거리값(640a)을 산출할 수 있다.The corrective distance determining apparatus can correct the second distance value 640b to the first distance value 640a by using the tilt difference 630. [ First, the fixation distance determining apparatus can convert the installation height of the CCTV 610 and the height of the moving means into a datum level using the tilt gauge 630. That is, the fixation distance determining apparatus can convert the height of the moving means from the second height 620b to the first height 620a using the tilt angle difference 630. [ The corrective distance determining apparatus can calculate the distance value 640a between the moving means and the CCTV 610 at the converted first height 620a.

시정거리 결정 장치는 보정된 거리값으로 구성된 거리맵을 생성할 수 있다.The corrective distance determining apparatus can generate a distance map composed of corrected distance values.

도 7은 일 실시예에 따른 안개 경계선과 거리맵 간의 행렬 곱셈 연산을 수행하는 예시를 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining an example of performing a matrix multiplication operation between a fog boundary line and a distance map according to an embodiment.

도 7을 참조하면, 거리맵(710)은 거리값을 구성요소로 갖는 행렬이고, 안개 경계선 맵(720)은 안개 성분과 안개 외 성분에 대응되는 값을 구성요소로 갖는 행렬이다. Referring to FIG. 7, the distance map 710 is a matrix having a distance value as a component, and the fog boundary line map 720 is a matrix having components corresponding to fog components and non-fog components.

구체적으로, 거리맵(710)의 구성요소는 카메라로부터 촬영 이미지 내 이동수단이 위치한 실제 지역까지의 거리값이며, 안개 경계선 맵(720)의 구성요소 중에서 안개 성분은 '1', 안개 외 성분은 '0'을 갖는다.Specifically, the components of the distance map 710 are distance values from the camera to the actual area where the moving means is located in the shot image, the fog component is' 1 ', the fog component is' Quot; 0 ".

시정거리 결정 장치는 거리맵(710)과 안개 경계선 맵(720) 간의 행렬 요소별 곱셈(element-wise product) 연산을 수행함으로써, 안개 경계선에 해당하는 픽셀의 거리값을 결정할 수 있다.The fixation distance determining apparatus can perform an element-wise product operation between the distance map 710 and the fog boundary line map 720 to determine the distance value of the pixel corresponding to the fog boundary line.

도 8은 일 실시예에 따른 입력 이미지의 시정거리를 결정하는 예시를 설명하기 위한 도면이다.8 is a diagram for explaining an example of determining a correction distance of an input image according to an embodiment.

시정거리 결정 장치는 안개 경계선(840)에 기초하여 입력 이미지(800)의 시정거리를 결정할 수 있다. 일 실시예에서 시정거리 결정 장치는 입력 이미지를 복수의 관심 영역으로 구분한 후, 복수의 관심 영역 중에서 사용자가 선택한 관심 영역에 대한 평균 시정거리 및/또는 최소 시정거리를 제공할 수 있다.The corrective distance determining apparatus can determine the corrective distance of the input image 800 based on the fog boundary line 840. In one embodiment, the correction distance determining apparatus may divide an input image into a plurality of ROIs, and then provide an average ROI and / or a minimum ROI for the ROI selected by the user.

도 8을 참조하면, 시정거리 결정 장치는 입력 이미지(800)를 세 개의 관심 영역(810 내지 830)으로 구분할 수 있다. 일 실시예에서 사용자가 제 1 관심 영역(810)을 선택한 경우, 제 1 관심 영역(810) 내 안개 경계선(840)에 기초하여 입력 이미지(800)의 시정거리를 결정할 수 있다.Referring to FIG. 8, the correction distance determining apparatus may divide an input image 800 into three regions of interest 810 to 830. FIG. In one embodiment, if the user selects the first region of interest 810, the corrective distance of the input image 800 may be determined based on the fog boundary 840 in the first region of interest 810.

일 실시예에서 시정거리 결정 장치는 안개 경계선 상의 시정거리의 평균을 산출하거나, 안개 경계선 상의 최소시정거리를 선택함으로써 시정거리를 결정할 수 있다.In one embodiment, the corrective distance determining device can determine the corrective distance by calculating an average of the corrective distance on the fog boundary line or by selecting the minimum corrective distance on the fog boundary line.

도 9는 일 실시예에 따른 시정거리 결정 장치의 하드웨어 구성을 도시한 블록도이다.FIG. 9 is a block diagram illustrating a hardware configuration of a fixation distance determining apparatus according to an embodiment.

도 9를 참조하면, 시정거리 결정 장치(900)는 제어부(910), 통신부(920) 및 메모리(930)를 포함할 수 있다. 도 9의 시정거리 결정 장치(900)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 9에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.9, the correction distance determining apparatus 900 may include a controller 910, a communication unit 920, and a memory 930. Only the components related to the embodiment are shown in the corrective distance determination device 900 of Fig. Therefore, it will be understood by those skilled in the art that other general-purpose components other than the components shown in FIG. 9 may be further included.

시정거리 결정 장치(900)는 PC(personal computer), 서버 디바이스, 모바일 디바이스, 임베디드 디바이스 등의 다양한 종류의 디바이스들로 구현될 수 있다.The corrective distance determining apparatus 900 may be implemented by various types of devices such as a personal computer (PC), a server device, a mobile device, and an embedded device.

제어부(910)는 도 1 내지 도 8에서 상술한 안개 성분이 포함된 이미지의 시정거리를 결정 위한 일련의 프로세스를 제어할 수 있다. 제어부(910)는 시정거리 결정 장치(900)를 제어하기 위한 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 제어부(910)는 시정거리 결정 장치(900) 내의 메모리(930)에 저장된 프로그램들을 실행함으로써, 시정거리 결정 장치(900)를 전반적으로 제어한다. 제어부(910)는 시정거리 결정 장치(900) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.The control unit 910 may control a series of processes for determining the corrective distance of the image including the fog component described above with reference to Figs. The control unit 910 controls the overall functions for controlling the corrective distance determining apparatus 900. For example, the control unit 910 generally controls the corrective distance determining apparatus 900 by executing programs stored in the memory 930 in the corrective distance determining apparatus 900. [ The controller 910 may be implemented by a central processing unit (CPU), a graphics processing unit (GPU), an application processor (AP), or the like, provided in the fixation distance determination apparatus 900, but is not limited thereto.

통신부(920)는 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다. 통신부(920)는 외부 카메라로부터 외부 카메라가 촬영한 촬영 지역에 대한 입력 이미지를 수신할 수 있다. 통신부(920)에서 수신한 입력 이미지에는 카메라의 촬영 지역을 이동하는 이동수단이 포함될 수 있다. 일 실시예에서 통신부(920)는 CCTV로부터 스트리밍 영상을 수신할 수 있다. The communication unit 920 may include a local communication unit, a mobile communication unit, and a broadcast receiving unit. The communication unit 920 can receive an input image for a shooting region captured by an external camera from an external camera. The input image received by the communication unit 920 may include a moving means for moving the photographing area of the camera. In one embodiment, the communication unit 920 may receive the streaming video from the CCTV.

메모리(930)는 시정거리 결정 장치(900) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(930)는 통신부(920)에서 수신한 안개 성분이 포함된 입력 이미지, 시정거리 결정 장치(9000)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(930)는 시정거리 결정 장치(900)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(930)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.The memory 930 is a hardware for storing various data processed in the corrective distance determining apparatus 900. For example, the memory 930 stores an input image including a mist component received by the communication unit 920, And can store the processed data and the data to be processed in the determination apparatus 9000. [ In addition, the memory 930 may store applications, drivers, and the like to be driven by the corrective distance determining apparatus 900. [ The memory 930 may be a random access memory (RAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a dynamic random access memory (DRAM) ROM, Blu-ray or other optical disk storage, a hard disk drive (HDD), a solid state drive (SSD), or a flash memory.

본 실시예들은 전자 디바이스에 의해 실행 가능한 명령어 및 데이터를 저장하는 전자 디바이스로 읽을 수 있는 기록매체에 저장된 어플리케이션의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.The embodiments may be implemented in the form of an application stored on a recording medium readable by an electronic device that stores instructions and data executable by the electronic device. The command may be stored in the form of program code, and when executed by the processor, may generate a predetermined program module to perform a predetermined operation. In addition, the instructions, when executed by a processor, may perform certain operations of the disclosed embodiments.

본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The embodiments may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically comprise any information delivery media, including computer readable instructions, data structures, other data of a modulated data signal such as program modules, or other transport mechanisms.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Also, in this specification, the term " part " may be a hardware component such as a processor or a circuit, and / or a software component executed by a hardware component such as a processor.

전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the specification is for illustrative purposes only and that those skilled in the art will readily understand that various changes in form and details may be made therein without departing from the spirit and scope of the invention. It will be possible. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as including the claims.

Claims (10)

안개 성분이 포함된 이미지의 시정거리를 결정하는 방법에 있어서,
안개 성분이 포함된 입력 이미지를 수신하는 단계;
상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하는 단계;
상기 다크 채널의 값에 기초하여 상기 패치 영역 별 전달량을 산출하는 단계;
상기 입력 이미지에 포함된 광원이 상기 안개 성분으로 오분류되는 것을 방지하기 위해, 상기 입력 이미지 내 특정 패치 영역에 대한 다크 채널의 값이 제1 임계값 이상인 경우, 상기 특정 패치 영역의 전달량을 조정하는 단계;
가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하는 단계;
상기 보정된 전달량에 기초하여 상기 입력 이미지에서 안개 경계선을 결정하는 단계;
상기 입력 이미지를 촬영하는 카메라로부터, 상기 카메라의 촬영 지역을 이동하는 이동수단을 촬영한 촬영 이미지를 수신하는 단계;
GPS(Global Positioning System)에 따른 상기 이동수단의 위치 및 상기 카메라의 위치에 기초하여, 상기 이동수단과 상기 카메라 간의 거리값을 산출하는 단계;
상기 촬영 이미지 내 상기 이동수단이 위치한 영역을 상기 산출된 거리값으로 설정하는 단계;
상기 설정된 거리값으로 구성된 거리맵을 생성하는 단계; 및
상기 안개 경계선과 상기 거리맵에 기초하여 상기 입력 이미지의 시정거리를 결정하는 단계;
를 포함하는, 방법.
A method for determining a corrective distance of an image including a fog component,
Receiving an input image including a fog component;
Calculating a value of a dark channel for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image;
Calculating an amount of transmission per patch area based on the value of the dark channel;
Wherein when the value of the dark channel for a specific patch region in the input image is equal to or greater than a first threshold value to prevent the light source included in the input image from being misclassified as the mist component, step;
Correcting the calculated transmission amount using a guided filter;
Determining a fog boundary line in the input image based on the corrected transmission amount;
Receiving a shot image of a moving means for moving a shooting region of the camera from a camera that shoots the input image;
Calculating a distance value between the moving means and the camera based on the position of the moving means and the position of the camera according to a GPS (Global Positioning System);
Setting an area where the moving means is located in the shot image as the calculated distance value;
Generating a distance map composed of the set distance values; And
Determining a corrective distance of the input image based on the fog boundary line and the distance map;
/ RTI >
삭제delete 제 1 항에 있어서,
상기 입력 이미지에서 안개 경계선을 결정하는 단계는,
상기 보정된 전달량에 기초하여 상기 입력 이미지를 이진화하는 단계;
를 포함하고,
상기 입력 이미지를 이진화하는 단계는,
상기 입력 이미지의 패치 영역 중에서, 상기 보정된 전달량이 제2 임계값 이상인 패치 영역은 제1 색상을 적용하고, 상기 보정된 전달량이 제2 임계값 미만인 패치 영역은 제2 색상을 적용하는 단계; 및
제1 색상의 패치 영역과 상기 제2 색상의 패치 영역 간의 경계선을 상기 안개 경계선으로 결정하는 단계;
를 포함하는, 방법.
The method according to claim 1,
Wherein the step of determining a fog boundary in the input image comprises:
Binarizing the input image based on the corrected transmission amount;
Lt; / RTI >
Wherein the step of binarizing the input image comprises:
Applying a first color to a patch region of the input image in which the corrected transmission amount is equal to or greater than a second threshold value and applying a second color to a patch region in which the corrected transmission amount is less than a second threshold value; And
Determining a boundary line between the patch region of the first color and the patch region of the second color as the fog boundary line;
/ RTI >
삭제delete 제 1 항에 있어서,
상기 설정하는 단계는,
상기 거리값을 산출하는데 이용된 상기 이동수단의 위치가 측정된 시간과, 상기 촬영 이미지가 촬영된 시간을 비교하는 단계; 및
상기 측정된 시간과 상기 촬영된 시간이 동일한 경우, 상기 촬영 이미지 내 상기 이동수단이 위치한 영역을 상기 산출된 거리값으로 설정하는 단계;
를 포함하는, 방법.
The method according to claim 1,
Wherein the setting step comprises:
Comparing the time at which the position of the moving means used to calculate the distance value is measured and the time at which the taken image was taken; And
Setting an area where the moving means is located in the shot image as the calculated distance value when the measured time and the taken time are the same;
/ RTI >
제 1 항에 있어서,
상기 거리맵을 생성하는 단계는,
상기 거리값을 산출하는데 이용된 상기 이동수단의 위치가 측정된 시간을 획득하는 단계;
상기 GPS에 따른 상기 이동수단의 위치에 기초하여, 상기 획득된 시간에서의 조위차(range of tide)를 획득하는 단계;
상기 조위차를 이용하여 상기 설정된 거리값을 보정하는 단계; 및
상기 보정된 거리값으로 구성된 거리맵을 생성하는 단계;
를 포함하는, 방법.
The method according to claim 1,
Wherein the generating the distance map comprises:
Obtaining a time at which the position of the moving means used to calculate the distance value is measured;
Obtaining a range of tide at the acquired time based on the position of the moving means according to the GPS;
Correcting the set distance value using the tidal elevation; And
Generating a distance map composed of the corrected distance values;
/ RTI >
제 1 항에 있어서,
상기 거리맵을 생성하는 단계는,
상기 거리맵에 호모그래피(homography) 기법을 적용하여 상기 거리맵에 설정된 거리값 외에 거리맵을 구성하는 나머지 거리값을 산출하는 단계; 및
상기 설정된 거리값 및 상기 나머지 거리값을 이용하여 상기 거리맵을 생성하는 단계;
를 포함하는, 방법.
The method according to claim 1,
Wherein the generating the distance map comprises:
Calculating a remaining distance value constituting the distance map in addition to the distance value set in the distance map by applying a homography technique to the distance map; And
Generating the distance map using the set distance value and the remaining distance value;
/ RTI >
제 1 항에 있어서,
상기 시정거리를 결정하는 단계는,
상기 안개 경계선 상의 시정거리의 평균을 산출하거나, 상기 안개 경계선 상의 최소시정거리를 선택함으로써 상기 시정거리를 결정하는 단계;
를 포함하는, 방법.
The method according to claim 1,
Wherein the step of determining the corrective distance comprises:
Calculating an average of the correcting distance on the fog boundary line or determining the correcting distance by selecting a minimum correcting distance on the fog boundary line;
/ RTI >
안개 성분이 포함된 이미지의 시정거리를 결정하는 장치에 있어서,
적어도 하나의 프로그램이 저장된 메모리;
안개 성분이 포함된 입력 이미지를 수신하는 통신부; 및
상기 메모리에 저장된 상기 적어도 하나의 프로그램을 실행함으로써, 상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하고, 상기 다크 채널의 값에 기초하여 상기 패치 영역 별 전달량을 산출하고, 상기 입력 이미지에 포함된 광원이 상기 안개 성분으로 오분류되는 것을 방지하기 위해, 상기 입력 이미지 내 특정 패치 영역에 대한 다크 채널의 값이 제1 임계값 이상인 경우, 상기 특정 패치 영역의 전달량을 조정하고, 가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하고, 상기 보정된 전달량에 기초하여 상기 입력 이미지에서 안개 경계선을 결정하며,
상기 입력 이미지를 촬영하는 카메라로부터, 상기 카메라의 촬영 지역을 이동하는 이동수단을 촬영한 촬영 이미지를 수신하고, GPS(Global Positioning System)에 따른 상기 이동수단의 위치 및 상기 카메라의 위치에 기초하여, 상기 이동수단과 상기 카메라 간의 거리값을 산출하고, 상기 촬영 이미지 내 상기 이동수단이 위치한 영역을 상기 산출된 거리값으로 설정하고, 상기 설정된 거리값으로 구성된 거리맵을 생성하며,
상기 안개 경계선과 상기 거리맵에 기초하여 상기 입력 이미지의 시정거리를 결정하는 프로세서;
를 포함하는, 장치.
An apparatus for determining a corrective distance of an image including a fog component,
A memory in which at least one program is stored;
A communication unit for receiving an input image including a fog component; And
Calculating a value of a dark channel for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image by executing the at least one program stored in the memory, Wherein when a value of a dark channel for a specific patch region in the input image is equal to or greater than a first threshold value in order to prevent the light source included in the input image from being misclassified as the mist component, Adjusting a transmission amount of the specific patch region, correcting the calculated amount of transmission using a guided filter, determining a fog boundary line in the input image based on the corrected transmission amount,
A camera for photographing an input image, a camera for capturing an image of a moving means for moving a photographing area of the camera, and for receiving, based on the position of the moving means and the position of the camera according to a GPS (Global Positioning System) A distance value between the moving means and the camera is calculated, an area in which the moving means is located in the shot image is set as the calculated distance value, a distance map is formed with the set distance value,
A processor for determining a corrective distance of the input image based on the fog boundary line and the distance map;
.
제 1항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium storing a program for executing the method of claim 1 in a computer.
KR1020180064485A 2018-06-04 2018-06-04 Apparatus and method for determining the visibility distance of an image containing a fog component Active KR101949968B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180064485A KR101949968B1 (en) 2018-06-04 2018-06-04 Apparatus and method for determining the visibility distance of an image containing a fog component

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180064485A KR101949968B1 (en) 2018-06-04 2018-06-04 Apparatus and method for determining the visibility distance of an image containing a fog component

Publications (1)

Publication Number Publication Date
KR101949968B1 true KR101949968B1 (en) 2019-02-21

Family

ID=65585050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180064485A Active KR101949968B1 (en) 2018-06-04 2018-06-04 Apparatus and method for determining the visibility distance of an image containing a fog component

Country Status (1)

Country Link
KR (1) KR101949968B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398054B2 (en) 2020-07-22 2022-07-26 Seoul Institute Of Technology Apparatus and method for detecting fog on road
KR102460705B1 (en) * 2021-08-31 2022-11-03 (주)유에스티21 Method for discriminating sea fog using image based on artificial intelligence and apparatus thereof
KR102471542B1 (en) * 2022-01-04 2022-11-28 재단법인 서울특별시 서울기술연구원 Road Fog Detection System and Method Using Open API based CCTV during Nighttime

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364727B1 (en) * 2012-09-28 2014-02-20 (주)한일에스티엠 Method and apparatus for detecting fog using the processing of pictured image
KR101728507B1 (en) * 2016-01-29 2017-04-21 주식회사 누리플랜 Device for Measuring Visibility for Fog Guardian Device
KR101748524B1 (en) * 2016-01-26 2017-06-27 (주)스마트테크놀로지 Apparatus and method for fog detection using visibility estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364727B1 (en) * 2012-09-28 2014-02-20 (주)한일에스티엠 Method and apparatus for detecting fog using the processing of pictured image
KR101748524B1 (en) * 2016-01-26 2017-06-27 (주)스마트테크놀로지 Apparatus and method for fog detection using visibility estimation
KR101728507B1 (en) * 2016-01-29 2017-04-21 주식회사 누리플랜 Device for Measuring Visibility for Fog Guardian Device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
배현우, 김태환, "전달량 보정에 기반한 고품질 안개 제거 알고리즘", 대한전자공학회 학술대회, 2014. 06, pp. 713-716.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398054B2 (en) 2020-07-22 2022-07-26 Seoul Institute Of Technology Apparatus and method for detecting fog on road
KR102460705B1 (en) * 2021-08-31 2022-11-03 (주)유에스티21 Method for discriminating sea fog using image based on artificial intelligence and apparatus thereof
KR102471542B1 (en) * 2022-01-04 2022-11-28 재단법인 서울특별시 서울기술연구원 Road Fog Detection System and Method Using Open API based CCTV during Nighttime
US20230215177A1 (en) * 2022-01-04 2023-07-06 Seoul Institute Of Technology Nighttime road fog detection system using open information of cctv and detection method thereof
US11881026B2 (en) * 2022-01-04 2024-01-23 The Seoul Institute Nighttime road fog detection system using open information of CCTV and detection method thereof

Similar Documents

Publication Publication Date Title
CN110149482B (en) Focusing method, focusing device, electronic equipment and computer readable storage medium
CN113766125B (en) Focusing method and apparatus, electronic device, computer-readable storage medium
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
CN110248096B (en) Focusing method and apparatus, electronic device, computer-readable storage medium
CN110572573B (en) Focusing method and device, electronic equipment and computer readable storage medium
CN107680128B (en) Image processing method, image processing device, electronic equipment and computer readable storage medium
US8983202B2 (en) Smile detection systems and methods
Wang et al. Single image defogging by multiscale depth fusion
US8059870B2 (en) Time-of-flight sensor-assisted iris capture system and method
US9754356B2 (en) Method and system for processing an input image based on a guidance image and weights determined thereform
CN110650291B (en) Target focus tracking method and device, electronic equipment and computer readable storage medium
US9100559B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel
EP1215626A1 (en) Automatically producing an image of a portion of a photographic image
WO2019105262A1 (en) Background blur processing method, apparatus, and device
WO2018201809A1 (en) Double cameras-based image processing device and method
US20160189354A1 (en) Image processing system, image processing device, and image processing method
CN110191287B (en) Focusing method and apparatus, electronic device, computer-readable storage medium
CN109712177B (en) Image processing method, apparatus, electronic device, and computer-readable storage medium
CN110349163B (en) Image processing method and apparatus, electronic device, computer-readable storage medium
CN108717530B (en) Image processing method, apparatus, computer-readable storage medium and electronic device
CN109146906B (en) Image processing method and apparatus, electronic device, computer-readable storage medium
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN107800965B (en) Image processing method, image processing device, computer-readable storage medium and computer equipment
CN110650288B (en) Focus control method and apparatus, electronic device, computer-readable storage medium
KR101949968B1 (en) Apparatus and method for determining the visibility distance of an image containing a fog component

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180604

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20180607

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20180604

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180820

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181227

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180820

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20181227

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180913

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20190212

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20190124

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20181227

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180913

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190213

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190214

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220127

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230202

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240227

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250106

Start annual number: 7

End annual number: 7