KR101949968B1 - Apparatus and method for determining the visibility distance of an image containing a fog component - Google Patents
Apparatus and method for determining the visibility distance of an image containing a fog component Download PDFInfo
- Publication number
- KR101949968B1 KR101949968B1 KR1020180064485A KR20180064485A KR101949968B1 KR 101949968 B1 KR101949968 B1 KR 101949968B1 KR 1020180064485 A KR1020180064485 A KR 1020180064485A KR 20180064485 A KR20180064485 A KR 20180064485A KR 101949968 B1 KR101949968 B1 KR 101949968B1
- Authority
- KR
- South Korea
- Prior art keywords
- distance
- input image
- value
- fog
- moving means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/24—Fluid dynamics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명은 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법 및 장치를 제공한다. 일 실시예에 따른, 시정거리 결정 장치는 안개 성분이 포함된 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 입력 이미지의 패치 영역 별 전달량을 산출할 수 있다. 또한, 시정거리 결정 장치는 가이디드 필터(guided filter)를 이용하여 산출된 전달량을 보정하고, 보정된 전달량에 기초하여 입력 이미지에서 안개 경계선을 결정할 수 있다. 시정거리 결정 장치는 안개 경계선에 기초하여 상기 입력 이미지의 시정거리를 결정할 수 있다.The present invention provides a method and apparatus for determining the corrective distance of an image containing a fog component. According to an embodiment, the correction distance determining apparatus may calculate a transmission amount of an input image by patch region by applying a DCP (Dark Channel Prior) algorithm to an input image including a fog component. Further, the correction distance determining apparatus may correct the calculated amount of transmission using a guided filter, and determine a fog boundary line in the input image based on the corrected transmission amount. The corrective distance determining apparatus can determine the corrective distance of the input image based on the fog boundary line.
Description
본 개시는 안개 성분이 포함된 이미지의 시정거리를 결정하는 장치 및 방법을 제공한다.The present disclosure provides an apparatus and method for determining the corrective distance of an image containing a fog component.
해무 발생 시 해양사고 발생률이 증가하므로 이를 방지하기 위해 선박운항을 통제를 하고 있다. 그러나, 정량적이고 과학적인 근거 없이 선박운항을 통제함에 따라 섬 주민 및 어민들의 선박운항 규정 개선을 지속적으로 요구하는 실정이다. To prevent this, the marine accidents are increased when the marine accident occurs. However, as the vessel operation is controlled without quantitative and scientific grounds, there is a need to continuously improve the regulations of the ship 's people.
이를 해결하기 위하여 정량적인 시정거리 산출이 필요하지만 현재 사용중인 광학시정계의 경우 관측지점에 대한 시정거리만을 측정하기 때문에 바다 위에 해무가 발생해도 이를 탐지하지 못하는 문제가 있다. In order to solve this problem, it is necessary to calculate a quantitative correction distance. However, in the case of the currently used optical visual system, only the correction distance for the observation point is measured.
이에 따라, 사람이 눈으로 관측하는 것처럼 2차원적인 시정관측을 위하여 카메라가 촬영한 이미지를 바탕으로 한 시정거리 산출 기술에 대한 필요성이 존재한다.Accordingly, there is a need for a technique for calculating a correction distance based on an image taken by a camera for a two-dimensional visibility observation as a human eye observes.
안개 성분이 포함된 이미지의 시정거리를 결정하는 장치 및 방법을 제공하는데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.And an apparatus and method for determining a corrective distance of an image including a fog component. The technical problem to be solved by this embodiment is not limited to the above-mentioned technical problems, and other technical problems can be deduced from the following embodiments.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법에 있어서, 안개 성분이 포함된 입력 이미지를 수신하는 단계; 상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하는 단계; 상기 다크 채널 값에 기초하여 상기 패치 영역 별 전달량을 산출하는 단계; 가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하는 단계; 상기 보정된 전달량에 기초하여 상기 입력 이미지를 이진화하고, 상기 이진화된 입력 이미지에서 안개 경계선을 결정하는 단계; 및 상기 안개 경계선에 기초하여 상기 입력 이미지의 시정거리를 결정하는 단계;를 포함하는, 방법을 제공할 수 있다.According to a first aspect of the present disclosure, there is provided a method of determining a corrective distance of an image including a fog component, the method comprising: receiving an input image including a fog component; Calculating a value of a dark channel for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image; Calculating an amount of transmission per patch area based on the dark channel value; Correcting the calculated transmission amount using a guided filter; Binarizing the input image based on the corrected amount of transmission and determining a fog boundary line in the binarized input image; And determining a corrective distance of the input image based on the fog boundary line.
본 개시의 제2 측면은, 안개 성분이 포함된 이미지의 시정거리를 결정하는 장치에 있어서, 적어도 하나의 프로그램이 저장된 메모리; 안개 성분이 포함된 입력 이미지를 수신하는 통신부; 및 상기 메모리에 저장된 상기 적어도 하나의 프로그램을 실행함으로써, 상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하고, 상기 다크 채널 값에 기초하여 상기 패치 영역 별 전달량을 산출하고, 가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하고, 상기 보정된 전달량에 기초하여 상기 입력 이미지를 이진화하고, 상기 이진화된 입력 이미지에서 안개 경계선을 결정하며, 상기 안개 경계선에 기초하여 상기 입력 이미지의 시정거리를 결정하는 프로세서;를 포함하는, 장치를 제공할 수 있다.According to a second aspect of the present disclosure, there is provided an apparatus for determining a corrective distance of an image including a fog component, the apparatus comprising: a memory in which at least one program is stored; A communication unit for receiving an input image including a fog component; And applying a DCP (Dark Channel Prior) algorithm to the input image to calculate a value of a dark channel for each patch region of the input image by executing the at least one program stored in the memory, Calculating a transmission amount per patch area, correcting the calculated amount of transmission using a guided filter, binarizing the input image based on the corrected transmission amount, and calculating a fog boundary line from the binarized input image And determining a corrective distance of the input image based on the fog boundary line.
본 개시의 제 3 측면은, 제 1 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.The third aspect of the present disclosure can provide a computer-readable recording medium on which a program for causing a computer to execute the method of the first aspect is recorded.
본 발명에 따르면, DCP(Dark Channel Prior) 알고리즘을 이용하여 이미지의 안개 성분을 결정할 수 있다. 계산 속도 향상을 위하여, DCP(Dark Channel Prior) 알고리즘 적용 시 가이디드 필터(guided filter)를 사용하는 방법 및 장치를 제안한다. 또한, 보다 정교화된 거리맵을 생성하여 이미지의 시정거리를 계산함으로써, 과학적이고 정량적인 시정거리 산출 방법 및 장치를 제안한다.According to the present invention, a fog component of an image can be determined using a DCP (Dark Channel Prior) algorithm. In order to improve the calculation speed, a method and an apparatus using a guided filter in applying the DCP (Dark Channel Prior) algorithm are proposed. In addition, a more sophisticated distance map is generated to calculate the correction distance of the image, thereby proposing a scientific and quantitative correction distance calculation method and apparatus.
도 1은 일 실시예에 따른 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법의 흐름도이다.
도 2는 일 실시예에 따른 DCP(Dark Channel Prior) 알고리즘을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 가이디드 필터(guided filter)를 이용하여 전달량을 보정하는 예시를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 입력 이미지에서 안개 경계선을 결정하는 예시를 설명하기 위한 도면이다.
도 5a 내지 도 5d는 일 실시예에 따른 거리맵을 생성하는 예시를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 조위차를 고려하여 거리값을 보정하는 예시를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 안개 경계선과 거리맵 간의 행렬 요소별 곱셈(element-wise product) 연산을 수행하는 예시를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 입력 이미지의 시정거리를 결정하는 예시를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 시정거리 결정 장치의 하드웨어 구성을 도시한 블록도이다.1 is a flow chart of a method for determining the corrective distance of an image containing a fog component according to an embodiment.
FIG. 2 is a diagram for explaining a DCP (Dark Channel Prior) algorithm according to an embodiment.
3 is a diagram for explaining an example of correcting the amount of transmission using a guided filter according to an embodiment.
4 is a diagram for explaining an example of determining a fog boundary line in an input image according to an embodiment.
5A to 5D are diagrams for explaining an example of generating a distance map according to an embodiment.
6 is a view for explaining an example of correcting the distance value in consideration of the tide difference according to the embodiment.
FIG. 7 is a diagram for explaining an example of performing an element-wise product operation between a fog boundary line and a distance map according to an embodiment.
8 is a diagram for explaining an example of determining a correction distance of an input image according to an embodiment.
FIG. 9 is a block diagram illustrating a hardware configuration of a fixation distance determining apparatus according to an embodiment.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.The phrases " in some embodiments " or " in one embodiment " appearing in various places in this specification are not necessarily all referring to the same embodiment.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 또한, 명세서에 기재된 "?부", "?모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and / or software configurations that perform particular functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function. Also, for example, the functional blocks of the present disclosure may be implemented in various programming or scripting languages. The functional blocks may be implemented with algorithms running on one or more processors. In addition, the present disclosure may employ conventional techniques for electronic configuration, signal processing, and / or data processing, and the like. Terms such as " mechanism, " " element, " " means, " and " configuration " and the like are widely used and are not limited to mechanical and physical configurations. Also, the terms " part ", "? Module ", etc. in the specification mean a unit for processing at least one function or operation, which may be implemented by hardware or software or by a combination of hardware and software.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.Also, the connection lines or connection members between the components shown in the figures are merely illustrative of functional connections and / or physical or circuit connections. In practical devices, connections between components can be represented by various functional connections, physical connections, or circuit connections that can be replaced or added.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 일 실시예에 따른 안개 성분이 포함된 이미지의 시정거리를 결정하는 방법의 흐름도이다. 1 is a flow chart of a method for determining the corrective distance of an image containing a fog component according to an embodiment.
도 1을 참조하면, 단계 110에서 시정거리 결정 장치는 안개 성분이 포함된 입력 이미지를 수신할 수 있다.Referring to FIG. 1, in
시정거리 결정 장치는 외부 카메라로부터, 외부 카메라가 촬영한 촬영 지역에 대한 입력 이미지를 수신할 수 있다. 일 실시예에서 외부 카메라는 감시, 보안 또는 정보제공의 목적으로 촬영 지역에 대한 RGB로 구성된 입력 이미지를 생성하고, 시정거리 결정 장치는 외부 카메라로부터 입력 이미지를 수신할 수 있다. 외부 카메라는 CCTV(Closed-Circuit Television)일 수 있으나, 이에 제한되지 않는다.The corrective distance determining apparatus can receive an input image from an external camera for a photographing region photographed by an external camera. In one embodiment, the external camera generates an input image composed of RGB for the shooting area for monitoring, security, or information providing purposes, and the correction distance determining device can receive the input image from the external camera. The external camera may be, but is not limited to, Closed-Circuit Television (CCTV).
외부 카메라가 촬영하는 촬영 지역의 기상상황에 따라, 시정거리 결정 장치가 수신한 입력 이미지에는 안개 성분이 포함될 수 있다. 일 실시예에서 시정거리 결정 장치가 해상의 특정 지역을 촬영하는 외부 카메라로부터 입력 이미지를 수신한 경우, 입력 이미지에는 안개 성분 즉, 해무 성분이 포함될 수 있다.The input image received by the correction distance determining apparatus may include a fog component in accordance with the weather condition of the photographing region photographed by the external camera. In one embodiment, when the corrective distance determining apparatus receives an input image from an external camera that photographs a specific area of the sea, the input image may include a fog component, i.e., a sea component.
한편, 시정거리 결정 장치에는 카메라가 탑재될 수도 있으며, 이 경우 시정거리 결정 장치는 탑재된 카메라를 이용하여 특정 지역을 촬영하고, 촬영 지역에 대한 입력 이미지를 직접 생성할 수 있다.In the meantime, the camera may be mounted on the correction distance determining device. In this case, the correction distance determining device can photograph a specific area using the mounted camera and directly generate an input image for the photographing area.
단계 120에서 시정거리 결정 장치는 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 입력 이미지의 패치 영역 별 다크 채널(Dark Channel) 값을 결정할 수 있다.In
시정거리 결정 장치는 입력 이미지를 RGB 채널로 분리할 수 있다. 다크 채널이란, 각 색상 채널 즉, R, G 및 B 채널 중에서 최소 밝기 값을 갖는 채널을 의미한다. 또한, 시정거리 결정 장치는 입력 이미지를 패치(patch) 영역으로 분할하고, 패치 영역 별 R, G 및 B 채널 중에서 최소 밝기 값을 갖는 채널을 해당 패치 영역에 대한 다크 채널로 결정할 수 있다. 일 실시예에서 다크 채널 값이란 특정 패치 영역에 대한 다크 채널의 화소값을 의미할 수 있으나, 이에 제한되지 않는다.The correction distance determining apparatus can separate an input image into RGB channels. The dark channel means a channel having the minimum brightness value among the respective color channels, that is, the R, G, and B channels. Further, the correction distance determining apparatus may divide the input image into patch regions and determine a channel having a minimum brightness value among the R, G, and B channels for each patch region as a dark channel for the patch region. In one embodiment, the dark channel value may refer to a pixel value of a dark channel for a particular patch region, but is not limited thereto.
단계 130에서 시정거리 결정 장치는 다크 채널 값에 기초하여 패치 영역 별 전달량을 산출할 수 있다.In
전달량은 빛이 산란되지 않고 카메라까지 도달된 정도를 나타내며, 안개 성분이 존재하는 패치 영역의 다크 채널 값은 큰 값을 갖는다는 성질을 이용하여 전달량이 산출될 수 있다.The amount of transmission can be calculated using the property that the light is not scattered and reaches the camera and the dark channel value of the patch region in which the fog component exists has a large value.
단계 140에서 시정거리 결정 장치는 가이디드 필터(guided filter)를 이용하여, 산출된 전달량을 보정할 수 있다.In
단계 120에서 다크 채널 값을 결정하고, 단계 130에서 전달량을 산출하는 과정은 패치 영역 별로 수행되므로, 안개가 제거된 이미지를 복원하는 과정에서 패치 영역의 경계선 부분에서 계단 현상이 발생할 수 있다. 즉, 안개가 제거된 이미지를 복원 시 정밀도가 저하될 수 있다. Since the process of determining the dark channel value in
종래에는 소프트 매팅(Soft Matting) 알고리즘을 적용하여 정밀도 저하를 방지하였으나, 소프트 매팅 알고리즘에서는 고연산량을 요구하는 라플라스 변환(Laplacian Transformation)이 수행되므로 연산 속도가 느리다.Conventionally, a soft matting algorithm is applied to prevent a reduction in precision, but a soft matting algorithm has a slow computation speed because it performs Laplacian transformation requiring a high computational complexity.
시정거리 결정 장치는 소프트 매팅 알고리즘 대신, 가이디드 필터를 이용하여 산출된 전달량을 실시간으로 보정함으로써 정밀도 저하를 방지할 수 있다.Instead of the soft matting algorithm, the correction distance determining apparatus can correct the amount of transmission calculated using the guarded filter in real time, thereby preventing a reduction in accuracy.
일 실시예에서 입력 이미지에 광원(예를 들어, 태양광, 태양 반사광, 헤드라이트 등)이 포함될 수 있다. 입력 이미지에 포함된 광원의 크기가 패치 영역의 크기보다 큰 경우, 시정거리 결정 장치는 광원을 안개 성분으로 오분류할 수 있다. 광원이 안개 성분으로 오분류되는 것을 방지하기 위해, 시정거리 결정 장치는 입력 이미지 내 특정 패치 영역에 대한 다크 채널 값이 기 설정된 임계값 이상인 경우, 특정 패치 영역의 전달량을 조정할 수 있다. 즉, 이러한 경우 시정거리 결정 장치는 특정 패치 영역의 전달량을 조정으로써 광원이 안개 성분으로 오분류 되는 것을 방지할 수 있다.In one embodiment, the input image may include a light source (e.g., solar, sunlight, headlight, etc.). When the size of the light source included in the input image is larger than the size of the patch area, the corrective distance determining apparatus can classify the light source as a mist component. In order to prevent the light source from being misclassified as mist components, the correction distance determining apparatus can adjust the amount of transmission of a specific patch region when the dark channel value for a specific patch region in the input image is equal to or greater than a predetermined threshold value. That is, in this case, the corrective distance determining apparatus can prevent the light source from being misclassified as a mist component by adjusting the amount of transmission of the specific patch region.
단계 150에서 시정거리 결정 장치는 보정된 전달량에 기초하여, 입력 이미지에서 안개 경계선을 결정할 수 있다.In
일 실시예에서 시정거리 결정 장치는 보정된 전달량에 기초하여 입력 이미지를 이진화하고, 이진화된 입력 이미지에서 안개 경계선을 결정할 수 있다.In one embodiment, the corrective distance determining device may binarize the input image based on the corrected transmission amount and determine a fog boundary line in the binarized input image.
예를 들어, 시정거리 결정 장치는, 입력 이미지의 패치 영역 중에서 보정된 전달량이 기 설정된 임계값 이상인 패치 영역에는 제1 색상을 적용하고, 보정된 전달량이 기 설정된 임계값 미만인 패치 영역에는 제2 색상을 적용할 수 있다. 예를 들어, 제1 색상은 흰색, 제2 색상은 검정색일 수 있다.For example, the corrective distance determining apparatus applies a first color to a patch region whose corrected transmission amount is equal to or greater than a predetermined threshold value in a patch region of an input image, and applies a second color to a patch region whose corrected transmission amount is less than a predetermined threshold value Can be applied. For example, the first color may be white and the second color may be black.
시정거리 결정 장치는 제1 색상의 패치 영역과 제2 색상의 패치 영역 간의 경계선을 안개 경계선으로 결정할 수 있다.The corrective distance determining apparatus can determine the boundary line between the patch region of the first color and the patch region of the second color as the fog boundary line.
단계 160에서 시정거리 결정 장치는 안개 경계선에 기초하여 입력 이미지의 시정거리를 결정할 수 있다.In
일 실시예에서 시정거리 결정 장치는 안개 경계선 상의 시정거리의 평균을 산출하거나, 안개 경계선 상의 최소시정거리를 선택함으로써 시정거리를 결정할 수 있다.In one embodiment, the corrective distance determining device can determine the corrective distance by calculating an average of the corrective distance on the fog boundary line or by selecting the minimum corrective distance on the fog boundary line.
또한, 시정거리 결정 장치는 입력 이미지를 복수의 영역으로 구분한 후, 복수의 영역 중에서 사용자가 선택한 관심 영역에 대한 평균 시정거리 및/또는 최소 시정거리를 제공할 수 있다.Further, the correction distance determining apparatus may divide the input image into a plurality of regions, and then provide an average correction distance and / or a minimum correction distance for a region of interest selected by the user among the plurality of regions.
한편, 시정거리 결정 장치는 입력 이미지에 대한 보다 정확한 시정거리를 결정하기 위해 거리맵을 이용할 수 있다. 시정거리 결정 장치는 입력 이미지의 안개 경계선을 나타내는 행렬값과 거리맵의 거리값을 나타내는 행렬값 간의 요소별 곱셈(element-wise product) 연산을 수행함으로써, 입력 이미지의 안개 경계선에 해당하는 픽셀의 거리값을 결정할 수 있다. 시정거리 결정 장치는 안개 경계선의 거리값을 이용하여 입력 이미지에 대한 시정거리를 결정할 수 있다. 거리맵에 대한 설명은 도 5a 내지 도 5d에서 후술하기로 한다.On the other hand, the correction distance determining apparatus can use the distance map to determine a more accurate correction distance for the input image. The corrective distance determining apparatus performs an element-wise product operation between a matrix value representing a fog boundary line of an input image and a matrix value representing a distance value of the distance map, thereby calculating a distance of a pixel corresponding to a fog boundary of the input image Value can be determined. The corrective distance determining device can determine the corrective distance for the input image by using the distance value of the fog boundary line. The description of the distance map will be described later in Figs. 5A to 5D.
도 2는 일 실시예에 따른 DCP(Dark Channel Prior) 알고리즘을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining a DCP (Dark Channel Prior) algorithm according to an embodiment.
도 2를 참조하면, 시정거리 결정 장치는 카메라(210)(외부 카메라 또는 시정거리 결정 장치에 탑재된 카메라)로부터, 카메라(210)가 촬영한 촬영 지역(220)에 대한 입력 이미지를 수신할 수 있다. 입력 이미지에는 안개 성분이 포함될 수 있다. Referring to Fig. 2, the correction distance determining apparatus is capable of receiving an input image from a camera 210 (a camera mounted on an external camera or a corrective distance determining apparatus) to a photographing
먼저, 안개 성분을 포함하는 입력 이미지는 아래 수학식 1과 같이 표현될 수 있다. 여기서, I(x)는 안개 성분이 포함된 입력 이미지, J(x)는 안개 성분이 제거된 원이미지 또는 피사체 고유의 복사량(scene radiance), A는 대기 산란광(global atmospheric light), t(x)는 투과도(transmission)를 의미한다.First, an input image including a fog component can be expressed by the following equation (1). (X) is the original image from which the fog component is removed, or the scene radiance of the subject, A is the global atmospheric light, t (x) is the input image containing the fog component, ) Means transmission.
투과도 t(x)는 이미지의 깊이에 따라 달라지며, 아래 수학식 2와 같이 표현될 수 있다. 여기서, β는 대기의 산란계수(scattering coefficient), d(x)는 이미지의 x위치에서의 깊이(depth)를 의미한다.The transmittance t (x) depends on the depth of the image, and can be expressed as shown in Equation 2 below. Where β is the scattering coefficient of the atmosphere and d (x) is the depth at the x position of the image.
한편, β는 날씨에 따라 달라지는 값이며, 입력 이미지에 안개 성분이 존재하지 않는 겨우 β=0 (즉, t(x)=1, I(x)=J(x)) 이며, 안개가 짙을수록 β도 커진다.On the other hand, β is a value that varies with the weather, and if there is no fog component in the input image, β = 0 (ie t (x) = 1, I (x) = J The larger the recording β.
다크 채널 프라이어(Dark Channel Prior, DCP) 알고리즘(이하, DCP 알고리즘)은 입력 이미지에서 절대적인 이미지 깊이를 실제로 구하는 대신, 상대적인 이미지 깊이를 구하는 알고리즘이다. 입력 이미지는 RGB 채널로 분리될 수 있고, 각 색상 채널 즉, R, G 및 B 채널 중에서 최소 밝기 값을 갖는 채널을 다크 채널이라 부른다.The Dark Channel Prior (DCP) algorithm (hereinafter referred to as the DCP algorithm) is an algorithm for obtaining a relative image depth instead of actually obtaining the absolute image depth in the input image. The input image can be separated into RGB channels, and a channel having the minimum brightness value among the respective color channels, that is, the R, G, and B channels, is called a dark channel.
다크 채널 값()은 아래 수학식 3을 통해 결정될 수 있다. 아래 수학식 3에서, x 및 y는 2차원 벡터로서 이미지에서의 위치, 는 입력 이미지의 R, G 및 B 채널 별 이미지, 는 x를 중심으로 하는 입력 이미지의 패치 영역을 의미한다. 예를 들어, 는 패치 영역을 의미할 수 있다.Dark channel value ( Can be determined through Equation (3) below. In the following Equation (3), x and y are positions in the image as two-dimensional vectors, Is an image for each R, G and B channel of the input image, Is the patch area of the input image centered at x. For example, May refer to a patch area.
실험적 관측을 통해, 안개 성분이 존재하지 않는 입력 이미지의 다크 채널 값()은 0이 된다. 반면, 안개 성분이 존재하는 입력 이미지에서는 A(1-t(x)) 성분이 더해짐에 따라(수학식 1 참조) 다크 채널 값()은 큰 값을 갖는다.Through empirical observations, the dark channel value of the input image without the fog component ( ) Becomes zero. On the other hand, as the A (1-t (x)) component is added in the input image in which the fog component exists (see Equation 1), the dark channel value ) Has a large value.
전달량은 빛이 산란되지 않고 카메라까지 도달된 정도를 나타내며, 안개 성분이 존재하는 패치 영역의 다크 채널 값이 크다는 것을 이용하여 전달량이 산출될 수 있다.The amount of transmission represents the extent to which the light is not scattered and reaches the camera, and the amount of transmission can be calculated using the fact that the dark channel value of the patch region in which the fog component is large is large.
전달량을 추정하기 위해 수학식 3의 양변에서, R, G 및 B 각 채널 및 패치 영역에 대해 min 연산을 취하고, A로 나누어 정리하면 아래 수학식 4와 같다. 아래 수학식 4에서, 는 구하고자 하는 전달량을 의미하며, 패치 영역()내부에서는 동일한 전달량을 갖는 것으로 가정한다.In order to estimate the amount of transmission, a min operation is performed on each of the R, G, and B channels and patch regions in both sides of Equation (3). In Equation (4) below, Means the amount of transmission to be obtained, and the patch area ( ) Are assumed to have the same amount of transmission.
수학식 2와 안개 성분이 존재하지 않는 입력 이미지의 다크 채널 값()이 0이라는 것에 의해, 수학식 4의 우변에서 J가 포함된 항은 0으로 근사할 수 있다. 결과적으로, 전달량()은 아래 수학식 5와 같이 표현할 수 있다. 아래 수학식 5에서, I는 입력 이미지, A는 대기 산란광(global atmospheric light)을 의미한다.(2) and the dark channel value of the input image in which the fog component does not exist ) Is 0, the term including J in the right side of Equation (4) can be approximated to zero. As a result, ) Can be expressed by the following Equation (5). In Equation (5), I denotes an input image and A denotes a global atmospheric light.
즉, 수학식 5를 참조하면, 입력 이미지(I)를 대기 산란광(A)으로 나누고, 수학식 3과 같은 다크 채널 값을 구하는 방식을 적용하여 전달량()을 산출할 수 있다. 결과적으로 전달량()은 다크 채널이 가장 벗어난 영역, 즉 다크 채널의 화소값이 큰 영역으로부터 구할 수 있다.That is, referring to Equation (5), the input image I is divided by the atmospheric scattering light A and the dark channel value as shown in Equation (3) ) Can be calculated. As a result, ) Can be obtained from the region where the dark channel is the outermost, that is, from the region where the pixel value of the dark channel is large.
상술한 내용을 토대로, 안개 성분이 제거된 입력 이미지(J)는 아래 수학식 6로 정리할 수 있다.Based on the above description, the input image J from which the fog component is removed can be summarized by the following equation (6).
도 3은 일 실시예에 따른 가이디드 필터(guided filter)를 이용하여 전달량을 보정하는 예시를 설명하기 위한 도면이다.3 is a diagram for explaining an example of correcting the amount of transmission using a guided filter according to an embodiment.
도 2에서 상술한 DCP 알고리즘은 입력 이미지의 패치 영역 별로 수행되므로, 안개가 제거된 이미지를 복원 시 패치 영역의 경계선 부분에서 계단 현상이 발생할 수 있다. 즉, 안개가 제거된 이미지를 복원하는 과정에서 정밀도가 저하될 수 있다. Since the DCP algorithm described above in FIG. 2 is performed for each patch region of the input image, a staircase phenomenon may occur at the boundary portion of the patch region when restoring the fog removed image. That is, in the process of restoring the fog removed image, the accuracy may be lowered.
종래에는 소프트 매팅(Soft Matting) 알고리즘을 적용하여 정밀도 저하를 방지하였으나, 소프트 매팅 알고리즘에서는 고연산량을 요구하는 라플라스 변환(Laplacian Transformation)을 수행하므로 연산 속도가 느리다.Conventionally, the soft matting algorithm is applied to prevent the degradation of the precision, but the soft matting algorithm performs the Laplacian transformation which requires a high computational complexity, so that the computation speed is slow.
시정거리 결정 장치는 소프트 매팅 알고리즘 대신, 가이디드 필터를 이용하여 산출된 전달량을 실시간으로 보정함으로써 정밀도 저하를 방지할 수 있다.Instead of the soft matting algorithm, the correction distance determining apparatus can correct the amount of transmission calculated using the guarded filter in real time, thereby preventing a reduction in accuracy.
가이디드 필터를 이용한 필터링 기법은 입력 이미지를 기 설정된 가이던스(guidance)에 대비시켜 필터링함으로써 가이던스에 대응하는 출력을 얻는 방법이다. A filtering method using a guided filter is a method of obtaining an output corresponding to a guidance by filtering an input image against a predetermined guidance.
가이디드 필터의 주요 전제는 가이던스(I)와 필터를 통과해서 나오는 출력 이미지(q) 간의 지역 선형이다. q는, 중심픽셀이 k인 윈도우 wk에서 I의 선형 변형으로 간주되며, 이를 수학식 7과 같이 나타낼 수 있다. 여기서, 윈도우 wk는 가이디드 필터에서의 패치를 의미한다.The main premise of the guided filter is the local linearity between the guidance (I) and the output image (q) passing through the filter. q is, the center pixel is considered in the window w k k linear transformation of I, it can be expressed as shown in Equation (7). Here, the window w k denotes a patch in this bonded filter.
수학식 7에서, ak, bk는 wk에서 일정한 것으로 간주되는 선형계수이다. 선형계수를 구하기 위해 아래 수학식 8과 같은 cost 함수를 최소화해야 한다.In Equation (7), a k , b k is a linear coefficient considered constant at w k . To obtain the linear coefficient, the cost function as shown in Equation (8) below must be minimized.
수학식 8에서, ε은 ak가 무한대로 커지는 것을 방지하기 위한 파라미터이고, p는 입력 이미지를 나타낸다. 수학식 8을 풀기 위하여 선형회귀시키면 아래 수학식 9와 같은 해를 구할 수 있다.In Equation (8),? Is a parameter for preventing a k from becoming infinitely large, and p represents an input image. By solving Equation (8) by linear regression, the following Equation (9) can be obtained.
수학식 9에서, uk와 σk는 I에서 추출한 wk의 평균과 분산이고, 는 wk에서의 픽셀의 개수, 는 wk에서의 p의 평균값이다. 수학식 9를 수학식 7에 적용하여 가이디드 필터의 결과를 수학식 10과 같이 도출할 수 있다.In Equation (9), u k and σ k are the mean and variance of w k extracted from I, Is the number of pixels at w k , Is the average value of p in the k w. Equation (9) can be applied to Equation (7) to derive the result of the guided filter as shown in Equation (10).
도 3을 참조하면, 입력 이미지(310)에 DCP 알고리즘을 적용함으로써 중간 이미지(320)가 생성될 수 있다. DCP 알고리즘은 입력 이미지(310)의 패치 영역 별로 수행되므로, DCP 알고리즘이 적용되어 생성된 중간 이미지(320)에 계단 현상이 발생할 수 있다. 즉, 중간 이미지(320)의 일부 영역이 뭉개질 수 있다.Referring to FIG. 3, an
중간 이미지(320)에 상술한 가이디드 필터가 적용됨으로써 최종 이미지(330)가 생성될 수 있다. 중간 이미지(320)에 가이디드 필터가 적용됨으로써 계단 현상이 제거된 보다 선명한 최종 이미지(330)가 생성될 수 있다. 즉, 중간 이미지(320)의 뭉개진 영역이 가이디드 필터에 의해 복원됨으로써, 디테일이 살아난 최종 이미지(330)가 생성될 수 있다.The
도 4는 일 실시예에 따른 입력 이미지에서 안개 경계선을 결정하는 예시를 설명하기 위한 도면이다.4 is a diagram for explaining an example of determining a fog boundary line in an input image according to an embodiment.
도 4를 참조하면, 1 단계(410)에서 시정거리 결정 장치는 카메라로부터, 카메라가 촬영한 촬영 지역에 대한 입력 이미지를 수신할 수 있다. 입력 이미지에는 안개 성분이 포함될 수 있다.Referring to FIG. 4, in
일 실시예에서 카메라는 CCTV일 수 있으며, 시정거리 결정 장치는 CCTV로부터 스트리밍 영상을 수신하고, 스트리밍 영상에서 스틸컷을 추출함으로써 입력 이미지를 생성할 수 있다.In one embodiment, the camera may be a CCTV, the correction distance determining apparatus may receive the streaming image from the CCTV, and extract the still cut from the streaming image to generate an input image.
2 단계(420)에서 시정거리 결정 장치는 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용함으로써, 입력 이미지의 패치 영역 별 다크 채널 값을 결정하고, 다크 채널 값에 기초하여 패치 영역 별 전달량을 산출할 수 있다.In
3 단계(430)에서 시정거리 결정 장치는 입력 이미지에 포함된 광원(예를 들어, 태양광, 태양 반사광, 헤드라이트 등)이 안개 성분으로 오분류되는 것을 방지하기 위해, 광원 오분류 제거 알고리즘을 적용할 수 있다. In
일 실시예에서 입력 이미지에 포함된 광원의 크기가 패치 영역의 크기보다 큰 경우 광원이 안개 성분으로 오분류될 수 있으므로, 시정거리 결정 장치는 입력 이미지 내 특정 패치 영역에 대한 다크 채널 값이 기 설정된 임계값 이상인 경우, 특정 패치 영역의 전달량을 조정할 수 있다. In one embodiment, when the size of the light source included in the input image is larger than the size of the patch area, the light source may be misclassified as a mist component, so that the correction distance determining device determines that the dark channel value If it is equal to or greater than the threshold value, the amount of transmission of the specific patch area can be adjusted.
예를 들어, 시정거리 결정 장치는 입력 이미지의 다크 채널 값이 0~1 사이가 되도록 정규화시킬 수 있다. 입력 이미지 내 특정 패치 영역의 다크 채널 값이 0.7 이상인 경우, 시정거리 결정 장치는 특정 패치 영역이 안개 성분으로 결정되도록 설정할 수 있다. 이 때, 시정거리 결정 장치는 기 설정된 임계값을 0.92로 설정하고, 특정 패치 영역의 다크 채널 값이 0.92 이상인 경우에는 특정 패치 영역을 광원으로 분류함으로써 특정 패치 영역의 전달량을 조정할 수 있다. 즉, 시정거리 결정 장치는 특정 패치 영역의 다크 채널 값이 0.92 이상인 경우 특정 패치 영역의 전달량을 조정함으로써 광원이 안개 성분으로 오분류 되는 것을 방지할 수 있다. 한편, 특정 패치 영역이 안개 성분으로 결정되는 다크 채널 값 및 광원으로 분류되는 다크 채널 값은 이에 제한되지 않는다.For example, the correction distance determining apparatus can normalize the dark channel value of the input image to be between 0 and 1. When the dark channel value of the specific patch region in the input image is 0.7 or more, the correction distance determining apparatus can be set so that the specific patch region is determined as the fog component. At this time, the fixation distance determining apparatus sets a predetermined threshold value to 0.92, and when the dark channel value of the specific patch region is 0.92 or more, the amount of the specific patch region can be adjusted by classifying the specific patch region as a light source. That is, when the dark channel value of a specific patch region is 0.92 or more, the correction distance determining apparatus can prevent the light source from being misclassified as a mist component by adjusting the amount of transmission of a specific patch region. On the other hand, the dark channel value in which the specific patch region is determined as the fog component and the dark channel value classified in the light source are not limited thereto.
4 단계(440)에서 시정거리 결정 장치는 가이디드 필터를 이용하여 산출된 전달량을 보정할 수 있다. 2 단계(420)에서 이용된 DCP 알고리즘은 입력 이미지의 패치 영역 별로 적용되므로, 안개가 제거된 이미지를 복원 시 패치 영역의 경계선 부분에서 계단 현상이 발생할 수 있다. 즉, 안개가 제거된 이미지를 복원하는 과정에서 정밀도가 저하될 수 있다.In
시정거리 결정 장치는 고연산량을 요구하는 라플라스 변환(Laplacian Transformation)을 이용하는 소프트 매팅 알고리즘 대신, 가이디드 필터를 이용하여 산출된 전달량을 실시간으로 보정함으로써 정밀도 저하를 방지할 수 있다.Instead of a soft matting algorithm that uses Laplacian transformations that require a high computational complexity, the Corrected Distance Correction Device can prevent the degradation of precision by correcting the calculated amount of transmission using a guided filter in real time.
5 단계(450)에서 시정거리 결정 장치는 보정된 전달량에 기초하여 입력 이미지를 이진화할 수 있다.In step 5, the corrective distance determining device may binarize the input image based on the corrected transmission amount.
시정거리 결정 장치는, 입력 이미지의 패치 영역 중에서 보정된 전달량이 기 설정된 임계값 이상인 패치 영역에는 제1 색상을 적용하고, 보정된 전달량이 기 설정된 임계값 미만인 패치 영역에는 제2 색상을 적용할 수 있다. 예를 들어, 제1 색상은 흰색, 제2 색상은 검정색일 수 있다.The corrective distance determining apparatus applies a first color to a patch region whose corrected transmission amount is equal to or greater than a preset threshold value in a patch region of an input image and applies a second color to a patch region whose corrected transmission amount is less than a predetermined threshold value have. For example, the first color may be white and the second color may be black.
일 실시예에서 사용자가 가이디드 필터가 적용된 입력 이미지를 눈으로 확인하였을 때 안개로 판단할 수 있는 영역의 값을 임계값으로 설정하고, 설정된 임계값을 기준으로 가이디드 필터가 적용된 입력 이미지를 이진화할 수 있다.In one embodiment, when a user confirms an input image to which a guided filter is applied, the value of an area that can be determined as fog is set as a threshold value, and an input image to which a guided filter is applied is binarized can do.
또한, 입력 이미지를 이진화하는데 기준이 되는 기 설정된 임계값은 광학시정계의 시정거리와 상관관계에 기초하여 결정될 수 있다.In addition, the predetermined threshold value, which is a reference for binarizing the input image, can be determined based on the correlation with the correcting distance of the optical visual system.
6 단계(460)에서 시정거리 결정 장치는 이진화된 입력 이미지에서 안개 경계선(461)을 결정할 수 있다.In step 660, the corrective distance determining unit may determine a
시정거리 결정 장치는 이진화된 이미지에서의 패치 영역 별 색상에 기초하여 안개 경계선(461)을 결정할 수 있다. 일 실시예에서 시정거리 결정 장치는 제1 색상의 패치 영역과 제2 색상의 패치 영역 간의 경계선을 안개 경계선(461)으로 결정할 수 있다.The corrective distance determining apparatus can determine the
도 5a 내지 도 5d는 일 실시예에 따른 거리맵을 생성하는 예시를 설명하기 위한 도면이다.5A to 5D are diagrams for explaining an example of generating a distance map according to an embodiment.
도 5a 내지 도 5c를 참조하면, 시정거리 결정 장치는 입력 이미지를 촬영하는 카메라로부터, 카메라의 촬영 지역을 이동하는 이동수단(520a 내지 520c)을 촬영한 촬영 이미지(510a 내지 510c)를 수신할 수 있다. 촬영 이미지(510a 내지 510c)는 카메라로부터 수신된 스트리밍 영상의 스틸컷일 수 있다.Referring to Figs. 5A to 5C, the correction distance determining apparatus is capable of receiving a captured
도 5a를 참조하면, 시정거리 결정 장치는 GPS(Global Positioning System)에 따른 이동수단(520a)의 위치 및 카메라의 위치에 기초하여, 이동수단(520a)과 카메라 간의 거리값을 산출할 수 있다. 또한, 시정거리 결정 장치는 촬영 이미지(510a) 내 이동수단(520a)이 위치한 영역(530a)을 산출된 거리값으로 설정할 수 있다.Referring to FIG. 5A, the correction distance determining apparatus can calculate the distance value between the moving means 520a and the camera based on the position of the moving means 520a and the position of the camera according to the GPS (Global Positioning System). The fixation distance determining apparatus can set the area 530a in which the moving
보다 구체적으로, 시정거리 결정 장치는 거리값을 산출하는데 이용된 이동수단(520a)의 위치가 측정된 시간과 촬영 이미지(510a)가 촬영된 시간을 비교할 수 있다. 측정된 시간과 촬영된 시간이 동일한 경우, 촬영 이미지(510a) 내 이동수단(520a)이 위치한 영역(530a)을 산출된 거리값으로 설정할 수 있다.More specifically, the corrective distance determining apparatus can compare the time at which the position of the moving
마찬가지 방식으로, 도 5b 내지 도 5c에서 시정거리 결정 장치는 촬영 이미지(510b 내지 510c) 내 이동수단(520b 내지 520c)이 위치한 영역(530b 내지 530c)을 산출된 거리값으로 설정할 수 있다.Similarly, in Figs. 5B to 5C, the corrective distance determining apparatus can set the
도 5d를 참조하면, 시정거리 결정 장치는 도 5a 내지 도 5c에서 이동수단(520a 내지 520c)이 위치한 영역(530a 내지 530c)에 설정된 거리값으로 구성된 거리맵(540)을 생성할 수 있다. 시정거리 결정 장치는 이동수단의 항적도에 따라 산출된, 이동수단과 카메라 간의 거리값으로 구성된 거리맵(540)을 생성할 수 있다.Referring to FIG. 5D, the fixation distance determination apparatus may generate a
또한, 시정거리 결정 장치는 거리맵(540)에 호모그래피(homography) 기법을 적용하여 거리맵(540)에 설정된 거리값 외에 거리맵(540)을 구성하는 나머지 거리값을 산출할 수 있다. 호모그래피 기법은 한 평면을 다른 평면에 투영시켰을 때 투영된 대응점들 사이에는 일정한 변환관계가 성립한다는 이론으로 평면형 물체에 적용 가능하다. 한편, 촬영 이미지에 하늘이 포함된 경우, 시정거리 결정 장치는 촬영 이미지의 하늘 부분을 관측 최대값으로 설정함으로써 거리맵(540)을 완성할 수 있다.The correction distance determining apparatus may calculate a remaining distance value constituting the
본 실시예에 따르면, 보다 정교화된 거리맵을 생성할 수 있다. 기존에 설치된 다양한 규격의 카메라들(예를 들어, CCTV들)을 활용하여 카메라 왜곡보정이나 카메라의 특성 등을 고려하지 않고도 촬영 이미지의 시정거리를 산출할 수 있도록, 카메라가 촬영중인 촬영 지역을 GPS측량하고, 호모그래피 기법을 적용하여 거리맵을 완성할 수 있다.According to the present embodiment, a more refined distance map can be generated. In order to calculate the correcting distance of the photographed image without considering the camera distortion correction or the characteristics of the camera by using the cameras (for example, CCTVs) of various standards installed in the past, And a distance map can be completed by applying a homography technique.
도 6은 일 실시예에 따른 조위차를 고려하여 거리값을 보정하는 예시를 설명하기 위한 도면이다.6 is a view for explaining an example of correcting the distance value in consideration of the tide difference according to the embodiment.
시정거리 결정 장치는 CCTV(610)로부터, CCTV(610)가 촬영한 이동수단이 포함된 입력 이미지를 수신할 수 있다. The corrective distance determining apparatus can receive, from the
도 6을 참조하면, 이동수단이 선박인 경우, 시시각각 변하는 조위차(630)에 의해 이동수단에 대한 GPS 관측 값이 시간에 따라 변할 수 있다. 예를 들어, 조위차(630)에 따라 이동수단이 제 1 높이(620a)에 있는 경우 CCTV(610)와 이동수단 간의 거리는 제 1 거리값(640a)이 되지만, 이동수단이 제 2 높이(620b)에 있는 경우 CCTV(620)와 이동수단 간의 거리는 제 2 거리값(640b)일 수 있다.Referring to FIG. 6, when the moving means is a ship, the GPS observation value for the moving means can be changed with time by the steep changing
이동수단이 제 2 높이(620b)에 있는 경우, 시정거리 결정 장치는 거리값을 산출하는데 이용된 이동수단의 위치가 측정된 시간을 획득할 수 있다. 시정거리 결정 장치는 GPS에 따른 이동수단의 위치에 기초하여, 획득된 시간에서의 조위차(630)를 획득할 수 있다. When the moving means is at the
시정거리 결정 장치는 조위차(630)를 이용하여 제 2 거리값(640b)을 제 1 거리값(640a)으로 보정할 수 있다. 먼저, 시정거리 결정 장치는 조위차(630)를 이용하여 CCTV(610)의 설치높이와 이동수단의 높이를 기본수준면(Datum level)으로 변환할 수 있다. 즉, 시정거리 결정 장치는 조위차(630)를 이용하여 이동수단의 높이를 제 2 높이(620b)에서 제 1 높이(620a)로 변환할 수 있다. 시정거리 결정 장치는 변환된 제 1 높이(620a)에서의 이동수단과 CCTV(610) 간의 거리값(640a)을 산출할 수 있다.The corrective distance determining apparatus can correct the
시정거리 결정 장치는 보정된 거리값으로 구성된 거리맵을 생성할 수 있다.The corrective distance determining apparatus can generate a distance map composed of corrected distance values.
도 7은 일 실시예에 따른 안개 경계선과 거리맵 간의 행렬 곱셈 연산을 수행하는 예시를 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining an example of performing a matrix multiplication operation between a fog boundary line and a distance map according to an embodiment.
도 7을 참조하면, 거리맵(710)은 거리값을 구성요소로 갖는 행렬이고, 안개 경계선 맵(720)은 안개 성분과 안개 외 성분에 대응되는 값을 구성요소로 갖는 행렬이다. Referring to FIG. 7, the
구체적으로, 거리맵(710)의 구성요소는 카메라로부터 촬영 이미지 내 이동수단이 위치한 실제 지역까지의 거리값이며, 안개 경계선 맵(720)의 구성요소 중에서 안개 성분은 '1', 안개 외 성분은 '0'을 갖는다.Specifically, the components of the
시정거리 결정 장치는 거리맵(710)과 안개 경계선 맵(720) 간의 행렬 요소별 곱셈(element-wise product) 연산을 수행함으로써, 안개 경계선에 해당하는 픽셀의 거리값을 결정할 수 있다.The fixation distance determining apparatus can perform an element-wise product operation between the
도 8은 일 실시예에 따른 입력 이미지의 시정거리를 결정하는 예시를 설명하기 위한 도면이다.8 is a diagram for explaining an example of determining a correction distance of an input image according to an embodiment.
시정거리 결정 장치는 안개 경계선(840)에 기초하여 입력 이미지(800)의 시정거리를 결정할 수 있다. 일 실시예에서 시정거리 결정 장치는 입력 이미지를 복수의 관심 영역으로 구분한 후, 복수의 관심 영역 중에서 사용자가 선택한 관심 영역에 대한 평균 시정거리 및/또는 최소 시정거리를 제공할 수 있다.The corrective distance determining apparatus can determine the corrective distance of the
도 8을 참조하면, 시정거리 결정 장치는 입력 이미지(800)를 세 개의 관심 영역(810 내지 830)으로 구분할 수 있다. 일 실시예에서 사용자가 제 1 관심 영역(810)을 선택한 경우, 제 1 관심 영역(810) 내 안개 경계선(840)에 기초하여 입력 이미지(800)의 시정거리를 결정할 수 있다.Referring to FIG. 8, the correction distance determining apparatus may divide an
일 실시예에서 시정거리 결정 장치는 안개 경계선 상의 시정거리의 평균을 산출하거나, 안개 경계선 상의 최소시정거리를 선택함으로써 시정거리를 결정할 수 있다.In one embodiment, the corrective distance determining device can determine the corrective distance by calculating an average of the corrective distance on the fog boundary line or by selecting the minimum corrective distance on the fog boundary line.
도 9는 일 실시예에 따른 시정거리 결정 장치의 하드웨어 구성을 도시한 블록도이다.FIG. 9 is a block diagram illustrating a hardware configuration of a fixation distance determining apparatus according to an embodiment.
도 9를 참조하면, 시정거리 결정 장치(900)는 제어부(910), 통신부(920) 및 메모리(930)를 포함할 수 있다. 도 9의 시정거리 결정 장치(900)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 9에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.9, the correction
시정거리 결정 장치(900)는 PC(personal computer), 서버 디바이스, 모바일 디바이스, 임베디드 디바이스 등의 다양한 종류의 디바이스들로 구현될 수 있다.The corrective
제어부(910)는 도 1 내지 도 8에서 상술한 안개 성분이 포함된 이미지의 시정거리를 결정 위한 일련의 프로세스를 제어할 수 있다. 제어부(910)는 시정거리 결정 장치(900)를 제어하기 위한 전반적인 기능들을 제어하는 역할을 한다. 예를 들어, 제어부(910)는 시정거리 결정 장치(900) 내의 메모리(930)에 저장된 프로그램들을 실행함으로써, 시정거리 결정 장치(900)를 전반적으로 제어한다. 제어부(910)는 시정거리 결정 장치(900) 내에 구비된 CPU(central processing unit), GPU(graphics processing unit), AP(application processor) 등으로 구현될 수 있으나, 이에 제한되지 않는다.The
통신부(920)는 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다. 통신부(920)는 외부 카메라로부터 외부 카메라가 촬영한 촬영 지역에 대한 입력 이미지를 수신할 수 있다. 통신부(920)에서 수신한 입력 이미지에는 카메라의 촬영 지역을 이동하는 이동수단이 포함될 수 있다. 일 실시예에서 통신부(920)는 CCTV로부터 스트리밍 영상을 수신할 수 있다. The
메모리(930)는 시정거리 결정 장치(900) 내에서 처리되는 각종 데이터들을 저장하는 하드웨어로서, 예를 들어, 메모리(930)는 통신부(920)에서 수신한 안개 성분이 포함된 입력 이미지, 시정거리 결정 장치(9000)에서 처리된 데이터들 및 처리될 데이터들을 저장할 수 있다. 또한, 메모리(930)는 시정거리 결정 장치(900)에 의해 구동될 애플리케이션들, 드라이버들 등을 저장할 수 있다. 메모리(930)는 DRAM(dynamic random access memory), SRAM(static random access memory) 등과 같은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리를 포함할 수 있다.The
본 실시예들은 전자 디바이스에 의해 실행 가능한 명령어 및 데이터를 저장하는 전자 디바이스로 읽을 수 있는 기록매체에 저장된 어플리케이션의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.The embodiments may be implemented in the form of an application stored on a recording medium readable by an electronic device that stores instructions and data executable by the electronic device. The command may be stored in the form of program code, and when executed by the processor, may generate a predetermined program module to perform a predetermined operation. In addition, the instructions, when executed by a processor, may perform certain operations of the disclosed embodiments.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The embodiments may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically comprise any information delivery media, including computer readable instructions, data structures, other data of a modulated data signal such as program modules, or other transport mechanisms.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.Also, in this specification, the term " part " may be a hardware component such as a processor or a circuit, and / or a software component executed by a hardware component such as a processor.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the specification is for illustrative purposes only and that those skilled in the art will readily understand that various changes in form and details may be made therein without departing from the spirit and scope of the invention. It will be possible. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 실시예의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the foregoing detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be interpreted as including the claims.
Claims (10)
안개 성분이 포함된 입력 이미지를 수신하는 단계;
상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하는 단계;
상기 다크 채널의 값에 기초하여 상기 패치 영역 별 전달량을 산출하는 단계;
상기 입력 이미지에 포함된 광원이 상기 안개 성분으로 오분류되는 것을 방지하기 위해, 상기 입력 이미지 내 특정 패치 영역에 대한 다크 채널의 값이 제1 임계값 이상인 경우, 상기 특정 패치 영역의 전달량을 조정하는 단계;
가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하는 단계;
상기 보정된 전달량에 기초하여 상기 입력 이미지에서 안개 경계선을 결정하는 단계;
상기 입력 이미지를 촬영하는 카메라로부터, 상기 카메라의 촬영 지역을 이동하는 이동수단을 촬영한 촬영 이미지를 수신하는 단계;
GPS(Global Positioning System)에 따른 상기 이동수단의 위치 및 상기 카메라의 위치에 기초하여, 상기 이동수단과 상기 카메라 간의 거리값을 산출하는 단계;
상기 촬영 이미지 내 상기 이동수단이 위치한 영역을 상기 산출된 거리값으로 설정하는 단계;
상기 설정된 거리값으로 구성된 거리맵을 생성하는 단계; 및
상기 안개 경계선과 상기 거리맵에 기초하여 상기 입력 이미지의 시정거리를 결정하는 단계;
를 포함하는, 방법.A method for determining a corrective distance of an image including a fog component,
Receiving an input image including a fog component;
Calculating a value of a dark channel for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image;
Calculating an amount of transmission per patch area based on the value of the dark channel;
Wherein when the value of the dark channel for a specific patch region in the input image is equal to or greater than a first threshold value to prevent the light source included in the input image from being misclassified as the mist component, step;
Correcting the calculated transmission amount using a guided filter;
Determining a fog boundary line in the input image based on the corrected transmission amount;
Receiving a shot image of a moving means for moving a shooting region of the camera from a camera that shoots the input image;
Calculating a distance value between the moving means and the camera based on the position of the moving means and the position of the camera according to a GPS (Global Positioning System);
Setting an area where the moving means is located in the shot image as the calculated distance value;
Generating a distance map composed of the set distance values; And
Determining a corrective distance of the input image based on the fog boundary line and the distance map;
/ RTI >
상기 입력 이미지에서 안개 경계선을 결정하는 단계는,
상기 보정된 전달량에 기초하여 상기 입력 이미지를 이진화하는 단계;
를 포함하고,
상기 입력 이미지를 이진화하는 단계는,
상기 입력 이미지의 패치 영역 중에서, 상기 보정된 전달량이 제2 임계값 이상인 패치 영역은 제1 색상을 적용하고, 상기 보정된 전달량이 제2 임계값 미만인 패치 영역은 제2 색상을 적용하는 단계; 및
제1 색상의 패치 영역과 상기 제2 색상의 패치 영역 간의 경계선을 상기 안개 경계선으로 결정하는 단계;
를 포함하는, 방법.The method according to claim 1,
Wherein the step of determining a fog boundary in the input image comprises:
Binarizing the input image based on the corrected transmission amount;
Lt; / RTI >
Wherein the step of binarizing the input image comprises:
Applying a first color to a patch region of the input image in which the corrected transmission amount is equal to or greater than a second threshold value and applying a second color to a patch region in which the corrected transmission amount is less than a second threshold value; And
Determining a boundary line between the patch region of the first color and the patch region of the second color as the fog boundary line;
/ RTI >
상기 설정하는 단계는,
상기 거리값을 산출하는데 이용된 상기 이동수단의 위치가 측정된 시간과, 상기 촬영 이미지가 촬영된 시간을 비교하는 단계; 및
상기 측정된 시간과 상기 촬영된 시간이 동일한 경우, 상기 촬영 이미지 내 상기 이동수단이 위치한 영역을 상기 산출된 거리값으로 설정하는 단계;
를 포함하는, 방법.The method according to claim 1,
Wherein the setting step comprises:
Comparing the time at which the position of the moving means used to calculate the distance value is measured and the time at which the taken image was taken; And
Setting an area where the moving means is located in the shot image as the calculated distance value when the measured time and the taken time are the same;
/ RTI >
상기 거리맵을 생성하는 단계는,
상기 거리값을 산출하는데 이용된 상기 이동수단의 위치가 측정된 시간을 획득하는 단계;
상기 GPS에 따른 상기 이동수단의 위치에 기초하여, 상기 획득된 시간에서의 조위차(range of tide)를 획득하는 단계;
상기 조위차를 이용하여 상기 설정된 거리값을 보정하는 단계; 및
상기 보정된 거리값으로 구성된 거리맵을 생성하는 단계;
를 포함하는, 방법.The method according to claim 1,
Wherein the generating the distance map comprises:
Obtaining a time at which the position of the moving means used to calculate the distance value is measured;
Obtaining a range of tide at the acquired time based on the position of the moving means according to the GPS;
Correcting the set distance value using the tidal elevation; And
Generating a distance map composed of the corrected distance values;
/ RTI >
상기 거리맵을 생성하는 단계는,
상기 거리맵에 호모그래피(homography) 기법을 적용하여 상기 거리맵에 설정된 거리값 외에 거리맵을 구성하는 나머지 거리값을 산출하는 단계; 및
상기 설정된 거리값 및 상기 나머지 거리값을 이용하여 상기 거리맵을 생성하는 단계;
를 포함하는, 방법.The method according to claim 1,
Wherein the generating the distance map comprises:
Calculating a remaining distance value constituting the distance map in addition to the distance value set in the distance map by applying a homography technique to the distance map; And
Generating the distance map using the set distance value and the remaining distance value;
/ RTI >
상기 시정거리를 결정하는 단계는,
상기 안개 경계선 상의 시정거리의 평균을 산출하거나, 상기 안개 경계선 상의 최소시정거리를 선택함으로써 상기 시정거리를 결정하는 단계;
를 포함하는, 방법. The method according to claim 1,
Wherein the step of determining the corrective distance comprises:
Calculating an average of the correcting distance on the fog boundary line or determining the correcting distance by selecting a minimum correcting distance on the fog boundary line;
/ RTI >
적어도 하나의 프로그램이 저장된 메모리;
안개 성분이 포함된 입력 이미지를 수신하는 통신부; 및
상기 메모리에 저장된 상기 적어도 하나의 프로그램을 실행함으로써, 상기 입력 이미지에 DCP(Dark Channel Prior) 알고리즘을 적용하여 상기 입력 이미지의 패치 영역 별 다크 채널의 값을 산출하고, 상기 다크 채널의 값에 기초하여 상기 패치 영역 별 전달량을 산출하고, 상기 입력 이미지에 포함된 광원이 상기 안개 성분으로 오분류되는 것을 방지하기 위해, 상기 입력 이미지 내 특정 패치 영역에 대한 다크 채널의 값이 제1 임계값 이상인 경우, 상기 특정 패치 영역의 전달량을 조정하고, 가이디드 필터(guided filter)를 이용하여 상기 산출된 전달량을 보정하고, 상기 보정된 전달량에 기초하여 상기 입력 이미지에서 안개 경계선을 결정하며,
상기 입력 이미지를 촬영하는 카메라로부터, 상기 카메라의 촬영 지역을 이동하는 이동수단을 촬영한 촬영 이미지를 수신하고, GPS(Global Positioning System)에 따른 상기 이동수단의 위치 및 상기 카메라의 위치에 기초하여, 상기 이동수단과 상기 카메라 간의 거리값을 산출하고, 상기 촬영 이미지 내 상기 이동수단이 위치한 영역을 상기 산출된 거리값으로 설정하고, 상기 설정된 거리값으로 구성된 거리맵을 생성하며,
상기 안개 경계선과 상기 거리맵에 기초하여 상기 입력 이미지의 시정거리를 결정하는 프로세서;
를 포함하는, 장치.An apparatus for determining a corrective distance of an image including a fog component,
A memory in which at least one program is stored;
A communication unit for receiving an input image including a fog component; And
Calculating a value of a dark channel for each patch region of the input image by applying a DCP (Dark Channel Prior) algorithm to the input image by executing the at least one program stored in the memory, Wherein when a value of a dark channel for a specific patch region in the input image is equal to or greater than a first threshold value in order to prevent the light source included in the input image from being misclassified as the mist component, Adjusting a transmission amount of the specific patch region, correcting the calculated amount of transmission using a guided filter, determining a fog boundary line in the input image based on the corrected transmission amount,
A camera for photographing an input image, a camera for capturing an image of a moving means for moving a photographing area of the camera, and for receiving, based on the position of the moving means and the position of the camera according to a GPS (Global Positioning System) A distance value between the moving means and the camera is calculated, an area in which the moving means is located in the shot image is set as the calculated distance value, a distance map is formed with the set distance value,
A processor for determining a corrective distance of the input image based on the fog boundary line and the distance map;
.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180064485A KR101949968B1 (en) | 2018-06-04 | 2018-06-04 | Apparatus and method for determining the visibility distance of an image containing a fog component |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180064485A KR101949968B1 (en) | 2018-06-04 | 2018-06-04 | Apparatus and method for determining the visibility distance of an image containing a fog component |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101949968B1 true KR101949968B1 (en) | 2019-02-21 |
Family
ID=65585050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180064485A Active KR101949968B1 (en) | 2018-06-04 | 2018-06-04 | Apparatus and method for determining the visibility distance of an image containing a fog component |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101949968B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11398054B2 (en) | 2020-07-22 | 2022-07-26 | Seoul Institute Of Technology | Apparatus and method for detecting fog on road |
| KR102460705B1 (en) * | 2021-08-31 | 2022-11-03 | (주)유에스티21 | Method for discriminating sea fog using image based on artificial intelligence and apparatus thereof |
| KR102471542B1 (en) * | 2022-01-04 | 2022-11-28 | 재단법인 서울특별시 서울기술연구원 | Road Fog Detection System and Method Using Open API based CCTV during Nighttime |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101364727B1 (en) * | 2012-09-28 | 2014-02-20 | (주)한일에스티엠 | Method and apparatus for detecting fog using the processing of pictured image |
| KR101728507B1 (en) * | 2016-01-29 | 2017-04-21 | 주식회사 누리플랜 | Device for Measuring Visibility for Fog Guardian Device |
| KR101748524B1 (en) * | 2016-01-26 | 2017-06-27 | (주)스마트테크놀로지 | Apparatus and method for fog detection using visibility estimation |
-
2018
- 2018-06-04 KR KR1020180064485A patent/KR101949968B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101364727B1 (en) * | 2012-09-28 | 2014-02-20 | (주)한일에스티엠 | Method and apparatus for detecting fog using the processing of pictured image |
| KR101748524B1 (en) * | 2016-01-26 | 2017-06-27 | (주)스마트테크놀로지 | Apparatus and method for fog detection using visibility estimation |
| KR101728507B1 (en) * | 2016-01-29 | 2017-04-21 | 주식회사 누리플랜 | Device for Measuring Visibility for Fog Guardian Device |
Non-Patent Citations (1)
| Title |
|---|
| 배현우, 김태환, "전달량 보정에 기반한 고품질 안개 제거 알고리즘", 대한전자공학회 학술대회, 2014. 06, pp. 713-716.* * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11398054B2 (en) | 2020-07-22 | 2022-07-26 | Seoul Institute Of Technology | Apparatus and method for detecting fog on road |
| KR102460705B1 (en) * | 2021-08-31 | 2022-11-03 | (주)유에스티21 | Method for discriminating sea fog using image based on artificial intelligence and apparatus thereof |
| KR102471542B1 (en) * | 2022-01-04 | 2022-11-28 | 재단법인 서울특별시 서울기술연구원 | Road Fog Detection System and Method Using Open API based CCTV during Nighttime |
| US20230215177A1 (en) * | 2022-01-04 | 2023-07-06 | Seoul Institute Of Technology | Nighttime road fog detection system using open information of cctv and detection method thereof |
| US11881026B2 (en) * | 2022-01-04 | 2024-01-23 | The Seoul Institute | Nighttime road fog detection system using open information of CCTV and detection method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110149482B (en) | Focusing method, focusing device, electronic equipment and computer readable storage medium | |
| CN113766125B (en) | Focusing method and apparatus, electronic device, computer-readable storage medium | |
| US9361680B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| CN110248096B (en) | Focusing method and apparatus, electronic device, computer-readable storage medium | |
| CN110572573B (en) | Focusing method and device, electronic equipment and computer readable storage medium | |
| CN107680128B (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
| US8983202B2 (en) | Smile detection systems and methods | |
| Wang et al. | Single image defogging by multiscale depth fusion | |
| US8059870B2 (en) | Time-of-flight sensor-assisted iris capture system and method | |
| US9754356B2 (en) | Method and system for processing an input image based on a guidance image and weights determined thereform | |
| CN110650291B (en) | Target focus tracking method and device, electronic equipment and computer readable storage medium | |
| US9100559B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and image processing program using compound kernel | |
| EP1215626A1 (en) | Automatically producing an image of a portion of a photographic image | |
| WO2019105262A1 (en) | Background blur processing method, apparatus, and device | |
| WO2018201809A1 (en) | Double cameras-based image processing device and method | |
| US20160189354A1 (en) | Image processing system, image processing device, and image processing method | |
| CN110191287B (en) | Focusing method and apparatus, electronic device, computer-readable storage medium | |
| CN109712177B (en) | Image processing method, apparatus, electronic device, and computer-readable storage medium | |
| CN110349163B (en) | Image processing method and apparatus, electronic device, computer-readable storage medium | |
| CN108717530B (en) | Image processing method, apparatus, computer-readable storage medium and electronic device | |
| CN109146906B (en) | Image processing method and apparatus, electronic device, computer-readable storage medium | |
| US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| CN107800965B (en) | Image processing method, image processing device, computer-readable storage medium and computer equipment | |
| CN110650288B (en) | Focus control method and apparatus, electronic device, computer-readable storage medium | |
| KR101949968B1 (en) | Apparatus and method for determining the visibility distance of an image containing a fog component |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20180604 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20180607 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20180604 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20180820 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20181227 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20180820 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20181227 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20180913 Comment text: Amendment to Specification, etc. |
|
| PX0701 | Decision of registration after re-examination |
Patent event date: 20190212 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20190124 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20181227 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20180913 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20190213 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20190214 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20220127 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230202 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240227 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250106 Start annual number: 7 End annual number: 7 |