KR101696086B1 - Method and apparatus for extracting object region from sonar image - Google Patents
Method and apparatus for extracting object region from sonar image Download PDFInfo
- Publication number
- KR101696086B1 KR101696086B1 KR1020150113497A KR20150113497A KR101696086B1 KR 101696086 B1 KR101696086 B1 KR 101696086B1 KR 1020150113497 A KR1020150113497 A KR 1020150113497A KR 20150113497 A KR20150113497 A KR 20150113497A KR 101696086 B1 KR101696086 B1 KR 101696086B1
- Authority
- KR
- South Korea
- Prior art keywords
- reference value
- value
- background
- image
- standard deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52001—Auxiliary means for detecting or identifying sonar signals or the like, e.g. sonar jamming signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52046—Techniques for image enhancement involving transmitter or receiver
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Image Analysis (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
소나 이미지 내의 물체 부분 추출 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법은 배경 학습 이미지를 획득하는 단계; 상기 획득된 배경 학습 이미지에 대하여 각 픽셀별로 평균값과 표준편차값을 산출하고, 이를 이용하여 두 개의 기준값을 산출하는 단계; 상기 두 개의 기준값에 따라 획득되는 소나 이미지의 픽셀을 분류하는 단계; 및 분류된 소나 이미지로부터 물체 영역을 추출하는 단계를 포함한다.A method and apparatus for extracting object parts in a sonar image are provided. According to an embodiment of the present invention, there is provided a method for extracting an object part in a sonar image, comprising: acquiring a background learning image; Calculating an average value and a standard deviation value for each pixel with respect to the obtained background learning image, and calculating two reference values using the average value and the standard deviation value; Classifying pixels of a sonar image obtained according to the two reference values; And extracting object zones from the classified sonar image.
Description
본 발명은 소나 이미지 내의 물체 부분 추출 방법 및 장치물체 부분 추출 방법에 관한 것이다. The present invention relates to a method for extracting an object part in a sonar image and a method for extracting an apparatus object part.
최근에 수중 환경을 탐색하기 위해 이미징 소나(sonar)의 이용이 증가하고 있다. 이러한 소나(Sonar)는 초음파에 의해 수중 물체의 방위 및 거리를 알아내는 장치로서 음향탐지장비 혹은 음탐기로도 불린다. Recently, the use of imaging sonar (sonar) has been increasing to explore the underwater environment. Sonar is a device that detects the direction and distance of an object underwater by ultrasonic waves and is also called an acoustic detection device or a sound detector.
이러한 이미징 소나에 의해 획득되는 소나 이미지는 단일 컬러(gray-scale)이고 물체 부분과 배경 부분의 경계가 선명하지 않다. 따라서 소나 이미지를 분석하기 위해서는 물체 부분만을 따로 분류하는 기술이 필수적이다. 이와 같이, 소나 이미지에서 물체 부분만을 따로 분류(classification)할 수 있으면 물체의 인식 또는 탐색, 항법 기술 등 다양하게 적용될 수 있다.The sonar image obtained by this imaging sonar is a single color (gray-scale) and the boundary between the object part and the background part is not clear. Therefore, in order to analyze the sonar image, it is necessary to classify only the object part separately. As described above, if the object part can be separately classified in the sonar image, it can be applied variously such as recognition or search of an object, navigation technology, and the like.
그러나, 소나 이미지의 특징상 물체 부분의 추출이 용이하지 않다. 또한, 소나 이미지에서 물체의 추출을 위해 기존의 광학 영상에서 사용하는 세그멘테이션 기법(thresholding)을 적용하면 물체 부분만 검출되는 것이 아니라 배경(수중 바닥)부분까지 검출되는 문제점이 있다. 따라서, 배경 부분을 제외하고 오직 물체 부분만 검출할 수 있는 방안이 요구되고 있다. However, it is not easy to extract the object part due to the characteristics of the sonar image. In addition, when thresholding used in conventional optical images is applied to extract objects from a sonar image, not only the object part but also the background (underwater floor) is detected. Therefore, there is a demand for a method capable of detecting only the object portion except for the background portion.
본 발명의 일 실시예는 소나 이미지에서 배경으로부터 물체와 그림자 부분만을 추출할 수 있는 소나 이미지 내의 물체 부분 추출 방법 및 장치를 제공하고자 한다. An embodiment of the present invention is to provide a method and an apparatus for extracting an object part in a sonar image which can extract only an object and a shadow part from a background in a sonar image.
본 발명의 일 측면에 따르면, 배경 학습 이미지를 획득하는 단계; 상기 획득된 배경 학습 이미지에 대하여 각 픽셀별로 평균값과 표준편차값을 산출하고, 이를 이용하여 두 개의 기준값을 산출하는 단계; 상기 두 개의 기준값에 따라 획득되는 소나 이미지의 픽셀을 분류하는 단계; 및 분류된 소나 이미지로부터 물체 영역을 추출하는 단계를 포함하는 소나 이미지 내의 물체 부분 추출 방법이 제공된다.According to an aspect of the present invention, there is provided a method of generating a background learning image, Calculating an average value and a standard deviation value for each pixel with respect to the obtained background learning image, and calculating two reference values using the average value and the standard deviation value; Classifying pixels of a sonar image obtained according to the two reference values; And extracting an object region from the classified sonar image.
이 때, 상기 산출하는 단계는 상기 평균값과 표준편차값의 차를 제1기준값으로, 상기 평균값과 상기 표준편차값의 합을 제2기준값으로 산출할 수 있다. In this case, the calculating step may calculate a difference between the average value and the standard deviation value as a first reference value, and calculate a sum of the average value and the standard deviation value as a second reference value.
이 때, 상기 분류하는 단계는 해당 픽셀 값이 상기 제1기준값보다 작으면, 그림자로, 상기 제1기준값보다 크고, 상기 제2기준값보다 작으면 배경으로, 상기 제2기준값보다 크면 물체로 분류할 수 있다. If the corresponding pixel value is smaller than the first reference value, the classification is classified as an object if it is larger than the first reference value, is smaller than the second reference value, and is larger than the second reference value .
본 발명의 다른 측면에 따르면, 배경 학습 이미지를 획득하는 이미지 획득부; 상기 배경 학습 이미지에 대하여 각 픽셀별로 평균값과 표준편차값을 산출하고, 이를 이용하여 두 개의 기준값을 산출하는 배경 학습 처리부; 상기 두 개의 기준값에 따라 획득되는 소나 이미지의 픽셀을 분류하고, 상기 분류된 소나 이미지로부터 물체 영역을 추출하는 물체 추출부;및 상기 산출된 두 개의 기준값을 저장하는 저장부를 포함하는 소나 이미지 내의 물체 부분 추출 장치가 제공된다. According to another aspect of the present invention, there is provided an image processing apparatus including an image obtaining unit obtaining a background learning image; A background learning processing unit for calculating an average value and a standard deviation value for each pixel for the background learning image and calculating two reference values using the average value and the standard deviation value; An object extracting unit for sorting pixels of a sonar image obtained according to the two reference values and extracting an object region from the classified sonar image and a storage unit for storing the calculated two reference values, An extraction device is provided.
이 때, 상기 배경 학습 처리부는 상기 평균값과 표준편차값의 차를 제1기준값으로, 상기 평균값과 상기 표준편차값의 합을 제2기준값으로 산출할 수 있다. In this case, the background learning processing unit may calculate the difference between the average value and the standard deviation value as a first reference value, and the sum of the average value and the standard deviation value as a second reference value.
이 때, 상기 물체 추출부는 해당 픽셀 값이 상기 제1기준값보다 작으면, 그림자로, 상기 제1기준값보다 크고, 상기 제2기준값보다 작으면 배경으로, 상기 제2기준값보다 크면 물체로 분류할 수 있다. At this time, if the pixel value is smaller than the first reference value, the object extracting unit can classify the object as a shadow if it is larger than the first reference value, is smaller than the second reference value, and is larger than the second reference value have.
본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법 및 장치는 배경 학습 후 개별 픽셀의 분류를 이용하여 물체부분을 배경으로부터 용이하게 분리시킬 수 있다. The method and apparatus for extracting an object part in a sonar image according to an embodiment of the present invention can easily separate an object part from a background using classification of individual pixels after background learning.
도 1은 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법의 학습 단계를 설명하기 위한 도면이다.
도 3은 종래의 물체 부분 추출 방법의 결과를 나타낸 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 장치의 세부 구성을 나타낸 블록도이다. 1 is a flowchart of an object part extraction method in a sonar image according to an embodiment of the present invention.
2 is a diagram for explaining a learning step of an object part extraction method in a sonar image according to an embodiment of the present invention.
3 is a diagram showing a result of a conventional object part extraction method.
4A and 4B are views for explaining an object part extraction method in a sonar image according to an embodiment of the present invention.
5 is a block diagram illustrating a detailed configuration of an object portion extraction device in a sonar image according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
도 1은 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법의 순서도이고, 도 2는 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법의 학습 단계를 설명하기 위한 도면이며, 도 3은 종래의 물체 부분 추출 방법의 결과를 나타낸 도면이고, 도 4a 및 도 4b는 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법을 설명하기 위한 도면이다. FIG. 1 is a flow chart of a method of extracting an object part in a sonar image according to an embodiment of the present invention. FIG. 2 is a diagram for explaining a learning step of an object part extraction method in a sonar image according to an embodiment of the present invention, FIG. 3 is a view showing a result of a conventional object part extraction method, and FIGS. 4A and 4B are views for explaining an object part extraction method in a sonar image according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법을 보다 상세히 설명하도록 한다. Hereinafter, an object part extraction method in a sonar image according to an embodiment of the present invention will be described in more detail with reference to the drawings.
도 1을 참조하면, 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법(100)은 배경 학습에 따라 기준값을 산출하는 단계 (S101 및 S102)), 및 산출된 기준값에 따라 픽셀을 분류하여 물체 부분을 추출하는 단계(S103 내지 S105)를 포함할 수 있다.Referring to FIG. 1, a
본 발명의 일 실시예에 따른 물체 부분 추출 방법은 배경 학습을 통하여 2개의 세그멘테이션 기준값을 결정하고, 결정된 2개의 기준값을 이용하여 개별 픽셀을 분류함으로써 물체 부분을 배경으로부터 분리시킬 수 있다. In the object part extraction method according to an embodiment of the present invention, two segmentation reference values are determined through background learning and the individual pixels are classified using the determined two reference values, thereby separating the object part from the background.
일반적으로 세그멘테이션은 이미지 픽셀(pixel)을 분류(classification)하는 것을 의미하며, 어떤 기준값(threshold value)을 결정하고, 그 값을 경계로 하여 기준값 양쪽으로 서로 다른 분류 값을 갖게 만드는 것이다.In general, segmentation refers to classifying image pixels, which determines a threshold value and makes the threshold value have a different classification value on both sides of the reference value.
그러나, 종래의 세그멘테이션 방법은 하나의 기준값이 모든 픽셀에 공통으로 적용되기 때문에, 물체의 추출과 함께 배경도 함께 추출되지기 때문, 본 발명은 소나 이미지의 각 픽셀마다 고유의 기준값을 할당하여 적용한다. However, in the conventional segmentation method, since one reference value is commonly applied to all pixels, the background is also extracted together with the extraction of the object. Therefore, the present invention applies a unique reference value to each pixel of the sonar image .
보다 구체적으로 설명하면, 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 방법(100)은 먼저, 이미징 소나를 이용하여 배경 학습 이미지를 획득할 수 있다(단계 S101). 여기서, 학습 이미지란, 이미징 소나가 현재 촬영하고 있는 바닥의 소나 이미지를 지칭한다. 특히 물체가 없이 비어있는 바닥의 영상을 일컫는다. More specifically, the
이때, 이미징 소나는 배경 학습을 위한 수중 촬영시 이미징 소나가 바닥으로부터의 고도와 바닥면을 내려다보는 각도를 일정하게 유지할 수 있다. 이와 같이, 일정한 고도와 각도를 유지하면 학습 이미지인 바닥 이미지는 이미징 소나가 이동하더라도 크게 변화하지 않는다. At this time, the imaging sonar can keep the imaging sonar constantly looking at the altitude from the floor and the bottom surface during underwater photographing for background learning. Thus, if a certain altitude and angle are maintained, the floor image, which is a learning image, does not change significantly even if the imaging sonar moves.
즉, 도 2a에 도시된 바와 같이, 바닥에 해당하는 부분은 영상에서 타원 모양으로 거의 동일한 곳에 위치한다. 따라서, 특정 물체가 존재하지 않고 바닥 부분만이 거의 변화없이 나타나는 복수의 학습 이미지를 획득할 수 있다. That is, as shown in FIG. 2A, the portion corresponding to the bottom is located almost at the same position in an elliptic shape in the image. Therefore, it is possible to acquire a plurality of learning images in which a specific object does not exist and only the bottom portion appears with almost no change.
다음으로, 획득한 복수의 이미지로부터 각 픽셀 별로 그림자, 배경 및 물체 영역을 구분하기 위한 기준값을 산출할 수 있다(단계 S102). 여기서, 각 픽셀별로 정해지는 기준값이 바닥 영상으로부터 정해진다는 의미는 이 영상을 기준 영상으로 삼는다는 의미이다. Next, a reference value for distinguishing shadows, backgrounds, and object zones for each pixel from the obtained plurality of images can be calculated (step S102). Here, the reference value determined for each pixel is determined from the bottom image, which means that the reference image is used as the reference image.
즉, 물체가 나타나는 영상이 있다면, 물체로 인식된 부분의 값에 학습했던 배경 영상의 값을 감산함으로써, 물체 부분만을 얻을 수 있다. 예를 들면, 도 2b의 이미지에서 도 2a의 이미지를 감산하는 것이다. That is, if there is an image showing an object, only the object part can be obtained by subtracting the value of the background image that has been learned from the value of the part recognized as the object. For example, subtracting the image of Figure 2a from the image of Figure 2b.
더 구체적으로 설명하면, K개의 학습 이미지가 있고, 각각의 학습 이미지가 N X N의 픽셀을 가진다고 가정한다. 이때,
여기서 α는 파라미터 값으로써 세그멘테이션 세부 효과를 조정하는 사용자 지정 상수이다. 수학식 1은 K개의 학습 이미지에 대하여 임의의 픽셀 위치(i,j)의 픽셀값 평균이고, 수학식 2는 픽셀값의 표준편차이고, 수학식 3 및 수학식 4는 평균과 표준편차를 이용한 2개의 기준값(TH1, TH2)의 산출식이다. Where a is a user-specified constant that adjusts the segmentation detail effect as a parameter value. Equation 1 is a pixel value average of an arbitrary pixel position (i, j) for K training images, Equation 2 is a standard deviation of pixel values, and Equations 3 and 4 use an average and standard deviation Is an expression for calculating two reference values TH1 and TH2.
상기 수학식에서 알 수 있는 바와 같이, 픽셀 위치(i,j)에 해당되는 픽셀값의 평균과 표준편차를 이용해 기준값(TH1, TH2)을 정한다. The reference values TH1 and TH2 are determined using the average and standard deviation of the pixel values corresponding to the pixel positions (i, j).
이때, 평균과 표준편차를 구하는 이유는 하나의 배경만 사용하는 것보다 여러 개의 배경 이미지의 통계 값을 사용하는 것이 세그멘테이션 결과의 편차를 줄이기 때문이다. At this time, the reason why the average and the standard deviation are obtained is that the statistical value of the background image is used rather than the single background, which reduces the deviation of the segmentation result.
결과적으로, 복수의 배경 학습 이미지에 대하여 각 픽셀별로 산출된 평균과 표준 편차를 이용하여 범위를 결정하고 분류하면 물체와 배경 부분을 따로 분리할 수 있다. As a result, if a range is determined and classified by using the average and standard deviation calculated for each pixel for a plurality of background learning images, the object and the background portion can be separated separately.
상기 수학식에서, TH1은 배경과 그림자를 구분하기 위한 기준값이고, TH2는 배경과 물체를 구분하기 위한 기준값이다. In the above equation, TH1 is a reference value for distinguishing a background from a shadow, and TH2 is a reference value for distinguishing a background from an object.
이러한 수식을 통해 모든 픽셀(i,j)에 대하여 TH1과 TH2을 산출할 수 있다. 이때, TH1과 TH2는 대상 소나 이미지의 크기와 같은 매트릭스의 크기로 저장될 수 있다. TH1 and TH2 can be calculated for all the pixels (i, j) through these equations. At this time, TH1 and TH2 can be stored as the size of the matrix such as the size of the target sonar image.
이와 같이 두개의 기준값을 이용하여 세그멘테이션하는 것은 소나 영상에서 바닥에서 반사되는 신호와 물체에서 반사되는 신호를 구분하여 물체 부분만 따로 추출 및 처리하기 위한 것이다. In this way, segmentation using two reference values is for separating the signal reflected from the floor and the signal reflected from the object in the sonar image and extracting and processing the object part separately.
다음으로, 산출된 기준값에 따라 각 픽셀의 영역을 분류할 수 있다(단계 S103). 구체적으로, 이미징 소나에서 획득한 이미지의 모든 픽셀에 기준값을 적용하여 그림자 영역, 배경 영역 및 물체 영역으로 분류할 수 있다. Next, the area of each pixel can be classified according to the calculated reference value (step S103). Specifically, a reference value can be applied to all the pixels of the image obtained in the imaging sonar, and classified into a shadow region, a background region, and an object region.
예를 들면, 획득된 소나 이미지의 특정 픽셀에서 기준값(TH1 및 TH2)을 이용하여, 기준값(TH1)보다 작은 값을 갖는 픽셀들은 그림자 영역으로 판단할 수 있고, 기준값(TH1)보다 크고 기준값(TH2)보다 작은 픽셀은 배경 영역으로 구분할 수 있으며, 기준값(TH2)보다 큰 픽셀은 물체 영역으로 구분할 수 있다. For example, pixels having a value smaller than the reference value TH1 can be determined as a shadow region by using the reference values TH1 and TH2 in a specific pixel of the acquired sonar image, and the pixels are larger than the reference value TH1 and larger than the reference value TH2 ) Can be classified into a background area, and a pixel larger than the reference value TH2 can be classified into an object area.
즉, 도 4(a)에 도시된 바와 같이, 기준값(TH1)보다 작은 값을 가지는 픽셀은 흑색, 기준값(TH1)보다 크고 기준값(TH2)보다 작은 값을 가지는 픽셀은 회색, 기준값(TH2)보다 큰 값을 가지는 픽셀은 백색으로 출력될 수 있다. 4A, a pixel having a value smaller than the reference value TH1 is black, a pixel having a value larger than the reference value TH1 and smaller than the reference value TH2 is gray, and a pixel having a value smaller than the reference value TH2 A pixel having a large value can be output in white.
다음으로, 물체 영역이 분류된 이미지를 후처리 할 수 있다(단계 S104). 예를 들면, 기준값에 따라 픽셀을 분류하면, 도 4b에 도시된 바와 같이 이미지 내에 스펙클(speckle) 또는 빈 곳이 나타나기 때문에 영상을 선명하게 다듬기 위한 처리를 수행할 수 있다. Next, the object region can be post-processed with the classified image (Step S104). For example, if the pixels are classified according to the reference value, a speckle or an empty space appears in the image as shown in FIG. 4B, so that the processing for sharpening the image can be performed.
다음으로, 물체 부분을 추출할 수 있다(단계 S105). 구체적으로, 획득된 소나 이미지를 기준값에 따라 픽셀을 분류한 이미지는 도 4a에 도시된 바와 같이, 배경 부분을 제외하고 물체와 그림자 부분만 표시된다. 이와 같은 소나 이미지로부터 물체 부분을 추출할 수 있다. Next, the object part can be extracted (step S105). Specifically, an image obtained by sorting the pixels according to the reference value of the obtained sonar image has only an object and a shadow portion except for the background portion, as shown in FIG. 4A. An object part can be extracted from such a sonar image.
결과적으로, 종래의 세그멘테이션은, 도 3에 도시된 바와 같이, 소나 이미지에서 물체 영역뿐만 아니라 배경 영역까지 함께 검출되어 물체 영역을 정확하게 분리하기 곤란하지만, 본 발명의 세그멘테이션은 도 4 (a)에 도시된 바와 같이, 소나 이미지에서 그림자 영역, 배경 영역 및 물체 영역으로 구별되어 추출할 수 있다. As a result, in the conventional segmentation, it is difficult to accurately detect the object region by detecting the object region as well as the object region together with the background region as shown in Fig. 3, but the segmentation of the present invention is shown in Fig. 4 (a) As described above, the shadow region, the background region, and the object region can be separately extracted from the sonar image.
이와 같은 방법에 의해, 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 장치는 배경 학습 후 개별 픽셀의 분류를 이용하여 물체부분을 배경으로부터 용이하게 분리시킬 수 있다.According to this method, the object part extraction device in the sonar image according to the embodiment of the present invention can easily separate the object part from the background by using the classification of individual pixels after background learning.
이하, 도 5를 참조하여 본 발명의 실시예에 따른 소나 이미지 내의 물체 부분 추출 장치를 상세하게 설명한다. Hereinafter, an apparatus for extracting object parts in a sonar image according to an embodiment of the present invention will be described in detail with reference to FIG.
도 5는 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 장치의 세부 구성을 나타낸 블록도이다. 5 is a block diagram illustrating a detailed configuration of an object portion extraction device in a sonar image according to an embodiment of the present invention.
물체 부분 추출 장치(500)는 이미지 획득부(510), 이미지 처리부(520) 및 저장부(530)를 포함할 수 있다.The object
이미지 획득부(510)는 초음파 신호를 송출하고 수중 물체 또는 바닥으로부터 반사되어 돌아오는 초음파 신호를 수신함으로써 소나 이미지를 획득할 수 있다. 이때, 물체 부분 추출 장치(500)를 장착한 이미지 소나의 이미지 획득부(510)는 일정한 고도와 각도를 유지한 채 이동할 수 있다. The
이미지 처리부(520)는 배경 학습 처리부(521) 및 물체 추출부(522)를 포함한다. The
배경 학습 처리부(521)는 복수의 배경 학습 이미지로부터 각 픽셀 별로 그림자, 배경 및 물체 영역을 구분하기 위한 기준값을 산출할 수 있다. 여기서 기준값은 배경 학습 이미지의 각 픽셀에 대한 평균값과 표준 편차값을 기초로 산출할 수 있다. The background
즉, 배경 학습 처리부(521)는 배경과 그림자를 구분하기 위한 기준값(TH1)과, 배경과 물체를 구분하기 위한 기준값(TH2)을 산출할 수 있다. 이때, 예를 들면, 기준값(TH1)은 평균값과 표준편차값의 차이고, 기준값(TH2)는 평균값과 표준편차값의 합으로써 산출할 수 있다. 선택적으로, 표준편차값에 세그멘테이션 세부 효과를 조정하기 위한 사용자 지정 상수가 곱해질 수 있다. That is, the background
물체 추출부(522)는 산출된 기준값에 따라 각 픽셀의 영역을 분류하고, 분류된 소나 이미지로부터 물체 영역을 추출할 수 있다. The
이때, 물체 추출부(522)는 해당 픽셀 값이 제1기준값(TH1)보다 작으면 그림자로, 제1기준값(TH1)보다 크고, 상기 제2기준값(TH2)보다 작으면 배경으로, 제2기준값(TH2)보다 크면 물체로 분류할 수 있다. If the corresponding pixel value is smaller than the first reference value TH1, the
따라서, 물체 추출부(522)는 획득된 소나 이미지의 특정 픽셀에서 기준값(TH1 및 TH2)을 이용하여, 기준값(TH1)보다 작은 값을 갖는 픽셀들은 그림자 영역(검정색)으로 판단할 수 있고, 기준값(TH1)보다 크고 기준값(TH2)보다 작은 픽셀은 배경 영역(회색)으로 구분할 수 있으며, 기준값(TH2)보다 큰 픽셀은 물체 영역(흰색)으로 구분할 수 있다.Accordingly, the
이러한 물체 추출부(522)는 선택적으로 픽셀 분류된 이미지에 포함된 스펙클 또는 빈 곳을 제거하여 이미지 내 모양을 선명하게 하기 위한 후처리를 수행할 수 있다. The
저장부(530)는 학습된 배경에서 추출된 정보들을 저장할 수 있다. 예를 들면, 배경 학습 처리부(521)로부터 추출된 그림자 영역 및 배경 영역의 평균 및 표준편차 값이 저장될 수 있다. 또한, 저장부(530)는 해당 평균 및 표준편차 값으로부터 정해지는 그림자 영역과 배경 영역이 구분되는 기준값(TH1)과 배경 영역과 물체 영역이 구분되는 기준값(TH2) 값을 저장할 수 있다. The
이와 같은 구성에 의해, 본 발명의 일 실시예에 따른 소나 이미지 내의 물체 부분 추출 장치는 배경 학습 후 개별 픽셀의 분류를 이용하여 물체부분을 배경으로부터 용이하게 분리시킬 수 있다.With this arrangement, the object portion extraction device in the sonar image according to the embodiment of the present invention can easily separate the object portion from the background by using the classification of individual pixels after the background learning.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
500 : 물체 추출 장치
510 : 이미지 획득부 520 : 이미지 처리부
521 : 배경 학습 처리부 522 : 물체 추출부
530 : 저장부500: object extraction device
510: Image obtaining unit 520: Image processing unit
521: background learning processing unit 522: object extracting unit
530:
Claims (6)
획득된 복수의 상기 배경 학습 이미지에 대하여 각 픽셀별로 평균값과 표준편차값을 산출하고, 이를 이용하여 배경과 그림자를 구분하기 위한 제1기준값과 배경과 물체를 구분하기 위한 제2기준값을 산출하는 단계;
상기 제1기준값과 제2기준값에 따라 획득되는 물체가 포함된 소나 이미지의 픽셀을 분류하는 단계; 및
분류된 소나 이미지로부터 배경 영역을 제거하여 물체 영역을 추출하는 단계를 포함하는 소나 이미지 내의 물체 부분 추출 방법.Acquiring a plurality of background learning images which are images of an empty floor without an object using an imaging sonar;
Calculating a mean value and a standard deviation value for each of the plurality of acquired background learning images, calculating a first reference value for distinguishing a background and a shadow from each other, and a second reference value for distinguishing a background and an object using the average value and the standard deviation value, ;
Classifying pixels of a sonar image including an object obtained according to the first reference value and the second reference value; And
And extracting the object region by removing the background region from the classified sonar image.
상기 산출하는 단계는 상기 평균값과 표준편차값의 차를 제1기준값으로, 상기 평균값과 상기 표준편차값의 합을 제2기준값으로 산출하는 소나 이미지 내의 물체 부분 추출 방법. The method according to claim 1,
Wherein the calculating step calculates the difference between the average value and the standard deviation value as a first reference value and the sum of the average value and the standard deviation value as a second reference value.
상기 분류하는 단계는 해당 픽셀 값이 상기 제1기준값보다 작으면, 그림자로, 상기 제1기준값보다 크고, 상기 제2기준값보다 작으면 배경으로, 상기 제2기준값보다 크면 물체로 분류하는 소나 이미지 내의 물체 부분 추출 방법. 3. The method of claim 2,
Wherein the classifying step includes classifying the image into a background if the pixel value is smaller than the first reference value and is larger than the first reference value and smaller than the second reference value and is larger than the second reference value, Method of extracting object part.
복수의 상기 배경 학습 이미지에 대하여 각 픽셀별로 평균값과 표준편차값을 산출하고, 상기 평균값과 표준편차값을 이용하여 배경과 그림자를 구분하기 위한 제1기준값과 배경과 물체를 구분하기 위한 제2기준값을 산출하는 배경 학습 처리부;
상기 제1기준값과 제2기준값에 따라 획득되는 소나 이미지의 픽셀을 분류하고, 상기 분류된 소나 이미지로부터 배경 영역을 제거하여 물체 영역을 추출하는 물체 추출부;및
상기 제1기준값과 제2기준값을 저장하는 저장부를 포함하는 소나 이미지 내의 물체 부분 추출 장치.An image obtaining unit that obtains a plurality of background learning images which are images of an empty floor without an object using an imaging sonar;
A first reference value for distinguishing a background and a shadow from each other, and a second reference value for distinguishing a background and an object from each other using the average value and the standard deviation value for each of the plurality of background learning images, A background learning processing unit for calculating a background learning process;
An object extracting unit for classifying pixels of the sonar image obtained according to the first reference value and the second reference value and extracting the object region by removing the background region from the classified sonar image;
And a storage unit for storing the first reference value and the second reference value.
상기 배경 학습 처리부는 상기 평균값과 표준편차값의 차를 제1기준값으로, 상기 평균값과 상기 표준편차값의 합을 제2기준값으로 산출하는 소나 이미지 내의 물체 부분 추출 장치. 5. The method of claim 4,
Wherein the background learning processing unit calculates a difference between the average value and a standard deviation value as a first reference value and a sum of the average value and the standard deviation value as a second reference value.
상기 물체 추출부는 해당 픽셀 값이 상기 제1기준값보다 작으면, 그림자로, 상기 제1기준값보다 크고, 상기 제2기준값보다 작으면 배경으로, 상기 제2기준값보다 크면 물체로 분류하는 소나 이미지 내의 물체 부분 추출 장치.5. The method of claim 4,
Wherein the object extracting unit extracts an object in the sonar image to be classified as an object if the corresponding pixel value is smaller than the first reference value and is larger than the first reference value and smaller than the second reference value, Partial extraction device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150113497A KR101696086B1 (en) | 2015-08-11 | 2015-08-11 | Method and apparatus for extracting object region from sonar image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150113497A KR101696086B1 (en) | 2015-08-11 | 2015-08-11 | Method and apparatus for extracting object region from sonar image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101696086B1 true KR101696086B1 (en) | 2017-01-13 |
Family
ID=57835468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150113497A Expired - Fee Related KR101696086B1 (en) | 2015-08-11 | 2015-08-11 | Method and apparatus for extracting object region from sonar image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101696086B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101952291B1 (en) | 2017-09-11 | 2019-05-09 | 포항공과대학교 산학협력단 | Object appearance detection method using multi-beam sonar camera |
| KR20190092869A (en) * | 2018-01-31 | 2019-08-08 | 한양대학교 에리카산학협력단 | Dangerous substance detecting system and method and computer program based visual information |
| KR102186733B1 (en) | 2019-09-27 | 2020-12-04 | 포항공과대학교 산학협력단 | 3D modeling method for undersea topography |
| CN114387280A (en) * | 2020-10-02 | 2022-04-22 | Aptiv技术有限公司 | Method and system for filtering portions of an image |
| KR20250099603A (en) | 2023-12-22 | 2025-07-02 | 콘티랩 주식회사 | Methods and apparatus for optimizing the weight of risk-based lightweight ai based on images for driving mobile applications |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10206525A (en) * | 1997-01-24 | 1998-08-07 | Hitachi Ltd | Target detection device |
| KR20010014492A (en) * | 1999-02-19 | 2001-02-26 | 더 존 피. 로바츠 리서치 인스티튜트 | Automated segmentation method for 3-dimensional ultrasound |
| JP2001083236A (en) * | 1999-09-10 | 2001-03-30 | Hitachi Ltd | Object display method |
| KR20150089835A (en) * | 2014-01-28 | 2015-08-05 | 삼성메디슨 주식회사 | Method and ultrasound apparatus for displaying a ultrasound image |
-
2015
- 2015-08-11 KR KR1020150113497A patent/KR101696086B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10206525A (en) * | 1997-01-24 | 1998-08-07 | Hitachi Ltd | Target detection device |
| KR20010014492A (en) * | 1999-02-19 | 2001-02-26 | 더 존 피. 로바츠 리서치 인스티튜트 | Automated segmentation method for 3-dimensional ultrasound |
| JP2001083236A (en) * | 1999-09-10 | 2001-03-30 | Hitachi Ltd | Object display method |
| KR20150089835A (en) * | 2014-01-28 | 2015-08-05 | 삼성메디슨 주식회사 | Method and ultrasound apparatus for displaying a ultrasound image |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101952291B1 (en) | 2017-09-11 | 2019-05-09 | 포항공과대학교 산학협력단 | Object appearance detection method using multi-beam sonar camera |
| KR20190092869A (en) * | 2018-01-31 | 2019-08-08 | 한양대학교 에리카산학협력단 | Dangerous substance detecting system and method and computer program based visual information |
| KR102308974B1 (en) * | 2018-01-31 | 2021-10-05 | 한양대학교 에리카산학협력단 | Dangerous substance detecting system and method and computer program based visual information |
| KR102186733B1 (en) | 2019-09-27 | 2020-12-04 | 포항공과대학교 산학협력단 | 3D modeling method for undersea topography |
| CN114387280A (en) * | 2020-10-02 | 2022-04-22 | Aptiv技术有限公司 | Method and system for filtering portions of an image |
| KR20250099603A (en) | 2023-12-22 | 2025-07-02 | 콘티랩 주식회사 | Methods and apparatus for optimizing the weight of risk-based lightweight ai based on images for driving mobile applications |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| JP6125188B2 (en) | Video processing method and apparatus | |
| US10216979B2 (en) | Image processing apparatus, image processing method, and storage medium to detect parts of an object | |
| JP6482195B2 (en) | Image recognition apparatus, image recognition method, and program | |
| KR101696086B1 (en) | Method and apparatus for extracting object region from sonar image | |
| US10748294B2 (en) | Method, system, and computer-readable recording medium for image object tracking | |
| US20150139533A1 (en) | Method, electronic device and medium for adjusting depth values | |
| US20160140399A1 (en) | Object detection apparatus and method therefor, and image recognition apparatus and method therefor | |
| KR102195940B1 (en) | System and Method for Detecting Deep Learning based Human Object using Adaptive Thresholding Method of Non Maximum Suppression | |
| KR101635896B1 (en) | Device and method for tracking people based depth information | |
| CA2812117A1 (en) | A method for enhancing depth maps | |
| CN101383005B (en) | Method for separating passenger target image and background by auxiliary regular veins | |
| KR20160037643A (en) | Method and Apparatus for Setting Candidate Area of Object for Recognizing Object | |
| JP5936561B2 (en) | Object classification based on appearance and context in images | |
| KR20130072073A (en) | Apparatus and method for extracting edge in image | |
| US20230009925A1 (en) | Object detection method and object detection device | |
| JP2015148895A (en) | object number distribution estimation method | |
| KR101696089B1 (en) | Method and apparatus of finding object with imaging sonar | |
| GB2522259A (en) | A method of object orientation detection | |
| CN109661683B (en) | Structured light projection method, depth detection method and structured light projection device based on image content | |
| KR102660089B1 (en) | Method and apparatus for estimating depth of object, and mobile robot using the same | |
| Kaneko et al. | Fast 3D edge detection by using decision tree from depth image | |
| Aydin et al. | A new object detection and classification method for quality control based on segmentation and geometric features | |
| JP6334773B2 (en) | Stereo camera | |
| KR20240131600A (en) | System and method for estimating object size using sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-2-2-P10-P22-nap-X000 |
|
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20200107 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20200107 |