KR101599817B1

KR101599817B1 - 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법

Info

Publication number: KR101599817B1
Application number: KR1020140080860A
Authority: KR
Inventors: 양동원; 곽동민; 이용헌; 박현욱
Original assignee: 국방과학연구소
Priority date: 2014-06-30
Filing date: 2014-06-30
Publication date: 2016-03-04
Anticipated expiration: 2034-06-30
Also published as: KR20160002082A

Abstract

본 발명의 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법에서는 BAM(Beam Angle Moment)분석기법으로 경계가 불분명하거나 정보가 작은 열 영상에서 주요 특징점을 추출하고, 추출된 특징점에서 효과적인 문맥정보를 추출하여 사용함으로써 열 영상을 이용한 지상표적분류에 적합하면서도 표적 분류 성능이 크게 개선되는 특징이 구현된다.

Description

표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법{Ground Target Classification Method using Target Trait Context Features}

본 발명은 지상 표적 인지 기법에 관한 것으로, 특히 표적의 주요 특징점 기반 문맥정보 추출 기법(Target Trait Context Method)이 적용됨으로써 열 영상에 적합한 지상 표적 인지 기법에 관한 것이다.

일반적으로 지상 표적을 영상 기반으로 분류하는 방식은 물체 인식 및 표적 분류를 위한 칼라 영상 혹은 회색 음영 영상이 기반된다. 이를 위한 방법은 지역 특징(Local Feature)을 이용해 지상 표적을 영상을 기반으로 분류하는 방법과, 형태 특징(Shape Feature)을 이용해 지상 표적을 영상을 기반으로 분류하는 방법으로 구분될 수 있다.

지역 특징(Local Feature)을 이용한 방법은 SIFT(Scale Invariant Feature Transform), SURF(Speed Up Robust Features), HOG(Histograms of Oriented Gradients) 및 PHOG(Pyramid HOG)가 있고, 형태 특징(Shape Feature)을 이용한 방법은 RFD(Radial Fourier Descriptor), GFD(Generic Fourier Descriptor), SC(Shape Context)가 있다.

특히, SIFT이나 SURF는 영상 내에서 먼저 키포인트(keypoint)를 추출한 뒤 각 키포인트(keypoint)에서 서술자(descriptor)를 이용하여 영상 안의 물체 혹은 표적을 탐지, 인식하는데 활용하는 방식이고, 비교적 강인한 특징을 제공할 수 있다.

국내등록특허 10-1164617(2012년07월04일)

하지만, 군사적 목적으로 지상표적을 분류하는 장치에서는 열 영상을 기반으로 표적을 분류하는 경우 칼라 영상에 비해서 표적의 정보가 적고 불분명한 에지 정보를 가질 수밖에 없으나 군사적 주야간 활용 가능성을 고려하여 열 영상을 기반으로 표적 분류되는 방식이 적용된다.

이로 인해, SIFT(Scale Invariant Feature Transform), SURF(Speed Up Robust Features), HOG(Histograms of Oriented Gradients), PHOG(Pyramid HOG), RFD(Radial Fourier Descriptor), GFD(Generic Fourier Descriptor), SC(Shape Context)는 칼라 영상 혹은 회색 음영 영상을 기반으로 물체 인식 및 표적 분류에 사용하는 기법으로써, 열 영상을 기반으로 표적을 분류하는 시스템에 적용하기에는 한계가 있다.

특히, 열 영상의 경우 칼라 영상이나 회색 음영 영상에 비해서 경계가 불분명하고 적은 정보를 포함하고 있으며, 단지 표적과 배경의 온도 차이만을 밝기 값으로 영상화 될 수밖에 없다. 그러므로, 비교적 강인한 특징으로 알려져 있는 SIFT나 SURF의 방법은 영상 내에서 먼저 키포인트(keypoint)를 추출한 뒤 각 키포인트(keypoint)에서 서술자(descriptor)를 이용하여 영상 안의 물체 혹은 표적을 탐지, 인식 하는데 활용함으로써 키포인트(keypoint)추출의 재현성이 떨어지게 되며, 구별 가능한 서술자(descriptor)를 만들기 어렵다는 한계가 있을 수밖에 없다.

이에 상기와 같은 점을 감안한 본 발명은 BAM(Beam Angle Moment)분석기법으로 경계가 불분명하거나 정보가 작은 열 영상에서 주요 특징점을 추출하고, 추출된 특징점에서 효과적인 문맥정보를 추출하여 사용함으로써 열 영상을 이용한 지상표적분류에 적합하면서도 표적 분류 성능이 크게 개선된 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법의 제공에 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법은 열 영상에서 표적의 TTC(Target Trait Context)정보 추출이 이루어지도록 지상표적의 열 영상과 표적 분할 영상을 입력받는 단계; 상기 TTC(Target Trait Context)정보를 추출하는 과정에서 Beam Angle Moment 분석이 적용되고, 이로부터 주요 특징점이 추출되는 단계; 상기 추출된 주요 특징점을 기반으로 문맥 정보를 추출하는 단계; 상기 추출된 문맥 정보를 기반으로 SVM분류기를 이용하여 표적을 분류하는 단계; 가 포함된 것을 특징으로 한다.

상기 BAM(Beam Angle Moment)의 분석을 통해서 주요 특징점이 추출되는 단계는, (a) 표적 분할 영상을 표적 분할 마스크로 전환해 각 경계 지점(

)과 경계점들의 집합(B)을 정의하고, 임의의 경계에서 생성되는 빔(beam)(L(p(i)))을 정의하며, (b) 임의 지점(i-K, i+K)의 각도(

)와 모든 지점(k)의 사이 각(

)을 계산하고, (c) 상기 사이각의 모멘트(moment)(

)를 구하여 통계적 분석이 수행되며, (d) 상기 모멘트(moment)의 값이 급격하게 변하는 지점(

)을 검출한 후, 최종적인 주요 특징점(Trait Points)(

)이 추출된다.

상기 (a)의 과정에는

,

이 적용되고, 상기(b)의 과정에는

,

이 적용되며, 상기 (c)의 과정에는

이 적용되고, 상기 (d)의 과정에는

이 적용된다.

상기 주요 특징점을 기반으로 표적 형태 기반의 문맥 정보가 추출된다. 또한, 상기 주요 특징점을 기반으로 표적 내부 밝기 분포를 이용하는 문맥 정보가 추출된다.

이러한 본 발명은 열 영상을 이용하여 표적을 분류하는 데 적합한 표적 특징 추출 기법으로 지상표적분류 성능 개선이 이루어짐으로써 주야간 활용 가능성이 높은 군사적 목적에 적합한 효과가 있다.

또한, 본 발명은 BAM(Beam Angle Moment)분석기법으로 경계가 불분명하거나 정보가 작은 열 영상에서 주요 특징점을 추출하고, 추출된 특징점에서 효과적인 문맥정보를 추출하여 사용함으로써 열 영상을 이용한 지상표적분류에 적합하면서도 표적 분류 성능이 크게 개선되는 효과가 있다.

도 1은 본 발명에 따른 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법의 블록도이고, 도 2는 본 발명에 따른 TP(Trait Points) 추출 방법 블록도이며, 도 3은 본 발명에 따른 BAM(Beam Angle Moments) 분석 및 주요 특징점 검출의 도식적인 예이고, 도 4는 본 발명에 따른 BSC(Boundary Shape Context)기반 문맥 정보 추출의 예이며, 도 5는 본 발명에 따른 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법이 적용된 표적 밝기 분포 기반 문맥 정보 추출의 예이다.

이하 본 발명의 실시예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않는다.

도 1은 본 실시예에 따른 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법의 블록도를 나타낸다.

S10과 같이 지상 표적 인지 기법을 위해 열 영상과 표적 분할 영상으로 구분되어 입력된다. 그러면, S20과 같이 표적 분할 영상을 표적 분할 마스크로 전환해 표적의 주요 특징점(Trait Points)이 추출되고, 이어서 S30과 같이 추출된 주요 특징점에서 표적 분할 마스크의 외곽선 분포를 이용한 문맥 정보를 추출하거나 또는 표적 내부 밝기 분포를 이용한 문맥정보가 추출됨으로써 특징으로 활용된다.

이후, S40과 같이 추출된 문맥정보를 SVM(Support Vector Machine)이 기반된 분류기로 학습이 이루어지고, 파라미터가 추출된다. 이로부터 S50과 같이 분류에 적용된 분류 결과가 효과적으로 추출된다.

한편, 도2는 S20의 주요특징점(Trait Points)추출이 이루어지는 상세 과정이고, 도 3은 BAM(Beam Angle Moments) 분석 및 주요 특징점 검출의 도식적인 예를 나타낸다.

S20-2는 S20-1의 표적분할 마스크(이는 S10에서 획득됨)로 부터 표적의 경계 영상을 획득하는 과정이고, 이는 입력 영상 중 표적 분할 마스크를 이용하여 이루어진다. 이로부터 획득한 영상은 표적 경계 영상으로 정의되고, 도 3의 (2)단계는 (1)단계의 표적 입력 영상(10A)에서 획득된 표적경계영상(10B)을 나타낸다.

이어, 상기 표적경계영상(10B)은 도 3의 (3)단계와 같이 표적경계분석영상(10C)으로 전환됨으로써 다음의 수학식1,2가 적용된다.

일례로, 각 경계 지점을

라 하고, 경계점들의 집합을 B라 하면, 상기 B는 수학식 1로 표현될 수 있다.

[수학식 1]

여기서, N은 경계점의 총 개수를 나타낸다.

이 때, 경계 중 하나인 p(i)에서 생성되는 빔(beam)을 L(p(i))라 정의하면, 상기 L(p(i))은 수학식 2로 표현될 수 있다.

[수학식 2]

이어, S20-3은 BA(beam angle)값을 산출하는 과정이고, 이는 표적경계분석영상(10C)을 이용함으로써 다음의 수학식3,4가 적용된다.

일례로, i-K 지점과 i+K 지점의 각도 산출은 수학식 3,4로 각각 표현될 수 있다.

[수학식 3]

[수학식 4]

도 3의 (3)단계의 상기 주요 표적경계분석영상(10C)은 수학식3,4가 적용되고, k=8인 경우의 구체화된 예를 나타낸다. 이와 같이, 각 경계점(boundary point)에서 모든 k에 대하여 사이 각을 계산함으로써 주요 특징점 추출이 이루어 질 수 있다.

이어, S20-4는 통계적 모멘트 분석을 수행함으로써 계산된 BA(beam angle)값을 이용하여 주요 특징점이 추출된다.

이때, BA(beam angle)값은 k값의 크기에 따라 그 값이 민감하게 변화될 수밖에 없다. 하지만, 본 실시예에서는 다음의 수학식 5를 이용함으로써 C_K(i)를 확률 변수로 보고 통계적인 분석을 수행할 때 발생되는 k값의 크기에 민감해 지는 단점을 해소되고, 특히 경계지점의 고유 특성으로 추출이 가능함이 입증되었다.

통계적 분석을 위한 C_K(i)의 1~3차 모멘트(moment)가 구해지는 수학식 5는 다음과 같다.

[수학식 5]

이때, 도 3의 (4)-(6)단계의 제1,2,3 제1,2,3 모멘트 영상(10D,10E,10F)은 각 모멘트(moment)를 분석한 예에 대한 1~3차의 모멘트(moment)를 나타낸다.

그러면, S20-5와 같이 주요 특징점(Trait Point)이 검출되는데, 이는 추출된 모멘트(moment)의 정보를 이용함으로써 모멘트(moment) 값이 급격하게 변하는 지점으로 검출된다. 이를 위해 다음의 수학식 6을 이용하여 검출된다.

[수학식 6]

이와 같이 한 지점을 주요 특징점(Trait Point)으로 활용함으로써 특징점이 추출되고, 추출된 특징점은 도 3의 (7)-(9)단계의 제1,2,3 추출 특징점 영상(10G,10H,10I)를 통해 예시된다.

그러면, 수학식 7을 이용함으로써 상기 P_m이 이용된 최종적인 주요 특징점(Trait Points)이 추출될 수 있다.

[수학식 7]

도 3의 (10)단계는 최종적으로 주요특징점(Trait Points)이 추출된 최종적인 특징점 표적 영상(10L)의 예를 나타낸다.

특히, 이와 같은 특징점 표적 영상(10L)에서 추출되는 주요 특징점에서는 다양한 형태의 특징이 추출될 수 있고, 이로부터 표적 분할 영상을 이용한 경계 형태를 활용한 문맥정보 추출방법과 표적 내부 밝기 분포를 활용한 문맥정보 추출 방법을 사용 가능한 문맥정보로 제시될 수 있다.

일례로, 도 4는 log-polar 좌표계를 이용해서 5개의 거리 방향 cell과 12개의 각도 방향 cell 내부에 경계 지점이 몇 개가 포함되는 가를 히스토그램화 하여 나타내는 BSC(Boundary Shape Context) 특징 추출 기법의 예를 예시하고, 이를 통해 표적의 일부 지점에서 추출된 형태의 표적경계형태 문맥정보 추출 영상(100)의 예를 예시한다.

반면, 도 5는 같은 좌표계와 같은 방법의 cell을 활용하였지만, 경계 지점의 개수가 아닌 표적 내부 밝기 정보를 활용하여 문맥 정보를 추출한 방법에 대한 예를 예시하고, 그 결과에 따른 표적내부밝기분포 문맥정보 추출 영상(200)의 예를 예시한다.

이와 같이 본 실시예에서는 추출된 주요 특징점 및 그 지점에서의 문맥 정보를 활용하여 SVM 분류기를 이용한 분류를 수행한 뒤 분류 결과를 출력할 수 있고, 특히 열 영상을 이용한 지상표적분류에 적합하면서 표적 분류 성능을 크게 개선할 수 있다.

10A : 표적 입력 영상 10B : 표적 경계 영상
10C : 표적경계분석영상
10D,10E,10F : 제1,2,3 모멘트 영상
10G,10H,10I : 제1,2,3 추출 특징점 영상
10L : 최종 특징점 표적 영상
100 : 표적경계형태 문맥정보 추출 영상
200 : 표적내부밝기분포 문맥정보 추출 영상

Claims

열 영상에서 표적의 TTC(Target Trait Context)정보 추출이 이루어지도록 지상표적의 열 영상과 표적 분할 영상을 입력받는 단계;
상기 TTC(Target Trait Context)정보를 추출하는 과정에 BAM(Beam Angle Moment)의 분석이 적용되고, 이로부터 주요 특징점이 추출되는 단계;
상기 추출된 주요 특징점을 기반으로 문맥 정보를 추출하는 단계;
상기 추출된 문맥 정보를 기반으로 SVM(Support Vector Machine)분류기를 이용하여 표적을 분류하는 단계;가 포함되고,
상기 주요 특징점을 기반으로 표적 형태 기반의 문맥 정보가 추출되는
것을 특징으로 하는 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법.
청구항 1에 있어서, 상기 BAM(Beam Angle Moment)의 분석을 통해서 주요 특징점이 추출되는 단계는,
(a) 표적 분할 영상을 표적 분할 마스크로 전환해 각 경계 지점(
)과 경계점들의 집합(B)을 정의하고, 임의의 경계에서 생성되는 빔(beam)(L(p(i)))을 정의하며,
(b) 임의 지점(i-K, i+K)의 각도(
)와 모든 지점(k)의 사이 각(
)을 계산하고,
(c) 상기 사이각의 모멘트(moment)(
)를 구하여 통계적 분석이 수행되며,
(d) 상기 모멘트(moment)의 값이 급격하게 변하는 지점(
)을 검출한 후, 최종적인 주요 특징점(Trait Points)(
)이 추출되는 것을 특징으로 하는 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법.
청구항 2에 있어서, 상기 (a)의 과정에는
,
이 적용되고, 상기(b)의 과정에는
,
이 적용되며, 상기 (c)의 과정에는
이 적용되고, 상기 (d)의 과정에는
이 적용되는 것을 특징으로 하는 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법.
삭제
청구항 1에 있어서, 상기 주요 특징점을 기반으로 표적 내부 밝기 분포를 이용하는 문맥 정보가 추출되는 것을 특징으로 하는 표적의 주요 특징점 정보를 이용한 지상 표적 인지 기법.