KR101149522B1

KR101149522B1 - 장면 전환 검출 시스템 및 방법

Info

Publication number: KR101149522B1
Application number: KR1020080126923A
Authority: KR
Inventors: 윤영석; 유원영; 서용석; 이상광; 이승재; 서영호; 김승환
Original assignee: 한국전자통신연구원
Priority date: 2008-12-15
Filing date: 2008-12-15
Publication date: 2012-05-25
Anticipated expiration: 2028-12-15
Also published as: KR20100068529A; US20100149424A1; US8421928B2

Abstract

본 발명은 장면 전환 검출 기술에 관한 것으로, 디지털 영상기기에서 사용되는 디지털 비디오 데이터를 복호화하여 하나의 코덱 또는 압축되지 않은 데이터로 통일하고, 복호화된 디지털 비디오 데이터에 대한 정규화를 수행하여 정규화된 프레임에서 장면 전환 여부를 검출한다. 이러한 장면 전환 여부 검출을 위해 정규화된 프레임에 대한 최적 모드를 결정하여 결정된 최적 모드들로 장면 전환을 검출하기 위한 비율을 계산하고, 계산된 모드 비율에 발생할 수 있는 오류 제거 후 해당 프레임에 대한 장면 전환 여부를 검출하는 것을 특징으로 한다. 본 발명에 의하면, 디지털 비디오의 공간적 및 시간적 중복성을 이용하여 디지털 비디오의 장면 전환 검출 성능을 향상시킬 수 있으며, 비디오에 따라 발생할 수 있는 다양한 국부적인 오류에 대해서도 유연하게 대처할 수 있다. 또한 장면 전환 검출 시스템의 특징 및 디지털 비디오의 성격에 따라 장면 전환 검출 장치를 결정하여 보다 나은 장면 전환 검출율을 제공할 수 있다.

디지털 비디오, 장면 전환, 장면 전환 검출기

Description

장면 전환 검출 시스템 및 방법{APPARATUS AND METHOD FOR DETECTING SCENE CHANGE}

본 발명은 디지털 영상기기를 이용한 비디오 처리 기술에 관한 것으로서, 특히 디지털 영상기기에 입력된 디지털 비디오 데이터에 복호화 및 정규화를 수행한 후, 정규화된 프레임에 대한 최적 모드를 결정하여 결정된 최적 모드들로 장면 전환을 검출하기 위한 비율을 계산하고, 계산된 모드 비율에 발생할 수 있는 오류 제거 후 해당 프레임에 대한 장면 전환 여부를 검출하는데 적합한 장면 전환 검출 시스템 및 방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-017-02, 과제명: 사용자 중심의 콘텐츠 보호 유통 기술 개발].

일반적으로 디지털 영상기기에서 사용되는 압축하지 않은 디지털 비디오의 경우 자료의 크기가 매우 크므로, 시간적으로 연속된 매우 유사한 프레임의 집합인 장면(scene)에서 장면 전환을 검출하면 디지털 비디오 처리 기술에 많은 유용성을 제공하게 된다.

개인적으로 소장이 가능한 다양한 비디오 캠코더, 녹화기 및 비디오 재생기로부터 전문적인 기능을 담당하는 디지털 비디오 검색, 인식, 추적, 모니터링, 차단 시스템 등에서도 비디오의 대표 프레임(key frame) 추출, 하이라이트 기능 및 인덱싱 기능 등을 지원하려면 장면 전환 검출을 수행해야만 한다.

이에 현재 사용되는 디지털 비디오의 장면 전환 검출 방법은 디지털 비디오의 하이라이트 편집, 장면 분할, 분류, 인식, 검색, 모니터링, 차단, 추적 기술 등의 폭넓은 멀티미디어 서비스에서 이용되고 있다.

이러한 디지털 비디오의 장면 전환 검출을 위한 종래기술로는 비디오 파일을 알아내기 위해서 입력된 비디오는 정지 이미지로 분해하고, 비디오 검색 관리자가 사용자 혹은 관리자의 요구에 따라 반자동으로 키 이미지를 식별하게 된다. 이렇게 얻은 키 이미지로 검색할 비디오 파일들의 집합을 식별하고, 다음으로 이미지 비교 기술을 이용하여 키 이미지의 콘텐츠를 비디오 파일의 콘텐츠와 비교하고 분석하여 동일한 비디오를 찾아내는 방식이다.

다른 방식으로는 영상 프레임간 평균 절대차의 차분치를 이용한 장면 전환 검출 방법으로서, 비디오의 각 프레임간의 평균 절대차(mean absolute difference)의 차분치에 대하여 임계치를 적용하여 장면 전환을 검출하고, 이전 프레임의 장면 전환 정보도 현재 프레임의 장면 전환 검출에 활용하는 것이다.

또 다른 방식으로는 비디오의 각 프레임에 대하여 화소값의 Y, Cb, Cr에 대 한 독립적인 1차원 히스토그램을 계산하고, 연속된 프레임 간 히스토그램의 거리에 비율에 따라 장면 전환을 판단하는 것이다.

또 다른 방식으로는 MPEG 기반으로 비디오를 압축 부호화할 때, I 프레임의 DC 값으로부터 시각 특성에 따라 비선형적으로 히스토그램을 추출하고, 그 거리를 이용하여 장면 전환을 판단하는 것이다.

또 다른 방식으로는 연속한 3개의 프레임간의 칼라 히스토그램의 차를 계산하고, 이것의 배열 특성을 이용하여 장면 전환을 검출한다. 또한 이를 보완하기 위해 매크로 블록 타입의 분포를 조사하여 장면 전환 여부를 검증하게 되는 것이다.

또 다른 방식으로는 연속한 프레임간 휘도 및 채도 히스토그램을 구하고, 이들의 크로스 코릴레이션(correlation)을 계산하고 이를 바탕으로 장면 전환을 검출하는 방식이다.

또 다른 방식으로는 MPEG 기반으로 비디오를 압축 부호화할 때, 발생되는 DCT변환의 AC 계수를 이용하여 모서리 정보를 구하고 이것의 변화 정도를 판별하여 장면 전환 여부를 검출한다. 또한 물체의 움직임에 의한 오검출율을 줄이기 위해서 모서리 영상의 히스토그램 비교시 움직임 보상을 한 후 변화 정도를 측정하는 방식이다.

또 다른 방식으로는 비디오를 압축할 때 발생되는 움직임 벡터를 추정할 시에 발생된 오류 값을 이용하여 장면 전환을 검출하는 방식이다.

또 다른 방식으로는 적응적 장면 전환 검출 방식을 이용한 대표 프레임 인덱싱 방법으로서, 적응적으로 장면 전환을 검출하기 위해 비디오의 종류를 축구, 뉴 스, 뮤직, 다큐멘테이션, 애니메이션, 쇼로 분류하고 해당하는 종류에 따라 지역적 분산, 히스토그램, 엔트로피 코딩, 카메라 움직임을 선택적으로 활용하여 장면 전환을 검출하는 것이다.

또 다른 방식으로는 인접한 프레임 간의 화소 차이의 절대값 합(sum of absolute frame difference)과 히스토그램 차이의 절대값 합(sum of absolute histogram difference)의 비율값을 이용하여 장면 전환을 검출하는 방식이다.

또 다른 방식으로는 인접한 프레임 간의 화소 차이가 일정 값 이상인 비율을 구한 뒤, 장면 전환 검출 필터에 통과시켜 장면 전환이 발생되었는지를 확인하는 방식이다.

또 다른 방식으로는 디지털 비디오가 MPEG 기반의 방식으로 압축이 되었을 때, I 프레임이면 DCT 계수간의 화소 값 차이의 제곱한 평균을, P 프레임이면 순방향 예측된 매크로 블록들의 수를, B 프레임이면 순방향 및 역방향 예측된 매크로 블록들의 수를 가지고 장면 전환을 결정하는 방식이다.

또 다른 방식으로는 영화를 장르별로 분류하기 위하여 다양하게 계산 가능한 영상의 단서를 제안하며, 이 중에서 장면 전환 검출 방식은 색상 공간을 HSV로 전환하고 이들을 각각 8, 4, 4개의 bin을 갖는 히스토그램으로 만든다. 그리고 연속하는 프레임의 히스토그램을 교집합을 구하고 이방성 확산(anisotropic diffusion) 알고리듬을 적용하여 장면 전환을 검출하게 되며. 검출된 장면 전환을 이용하여 각 영화를 장르별로 구분하는 것이다.

상기한 바와 같이 동작하는 종래 기술에 의한 장면 전환 검출 방식에 있어서는, 다양한 장면 검출 방법이 사용되고 있으나, 종래와 같은 장면 검출 방법으로는 디지털 비디오의 공간적 및 시간적 중복성을 이용하는 종래기술이 없었으며, 비디오에 따라 발생할 수 있는 다양한 국부적인 오류에 대한 별다른 대처 방법이 없었다.

또한, 장면 전환 검출 시스템의 특징 및 디지털 비디오의 성격에 따라 장면 검출 상태를 설정할 수 없으므로, 종래기술들은 장면을 검출하기 위한 분석 및 판단과정에 많은 시간이 소요될 수 있으나, 그에 비해 정확한 장면 검출이 이루어지지 않는다는 문제점이 있었다.

이에 본 발명은, 디지털 영상기기에서 사용되는 디지털 비디오 데이터를 복호화하여 하나의 코덱 또는 압축되지 않은 데이터로 통일하고, 복호화된 디지털 비디오 데이터에 대한 정규화를 수행하여 정규화된 디지털 비디오에서 장면 전환 여부를 검출할 수 있는 장면 전환 검출 시스템 및 방법을 제공한다.

또한 본 발명은, 디지털 영상기기에 입력된 디지털 비디오 데이터에 복호화 및 정규화를 수행한 후, 정규화된 프레임에 대한 최적 모드를 결정하여 결정된 최적 모드들로 장면 전환을 검출하기 위한 비율을 계산하고, 계산된 모드 비율에 발생할 수 있는 오류 제거 후 해당 프레임에 대한 장면 전환 여부를 검출할 수 있는 장면 전환 검출 시스템 및 방법을 제공한다.

본 발명의 일 실시예 시스템은, 디지털 영상기기에 입력된 디지털 비디오 데이터를 복호화하여 하나의 코덱으로 압축된 데이터 또는 압축되지 않은 데이터로 변환하는 복호기와, 상기 복호기를 통해 복호화된 디지털 비디오 데이터의 형태를 시간적, 공간적으로 일정하게 정규화하는 정규화기와, 상기 정규화된 프레임에서 특정 모드 결정 및 모드 비율 계산을 통해 계산된 모드 비율이 기 설정된 기준을 초과하는 경우, 해당 모드 비율을 가지는 프레임을 장면 전환된 프레임으로 검출하는 장면 전환 검출기를 포함한다.

본 발명의 일 실시예 방법은, 디지털 영상기기에 입력된 디지털 비디오 데이터를 하나의 코덱으로 압축된 데이터 또는 압축되지 않은 데이터로 변환하는 복호화 과정과, 복호화된 디지털 비디오 데이터의 형태를 시간적, 공간적으로 일정하게 정규화하는 과정과, 정규화된 프레임에서 특정 모드 결정 및 모드 비율 계산을 통해 계산된 모드 비율이 기 설정된 기준을 초과하는 경우, 해당 모드 비율을 가지는 프레임을 장면 전환된 프레임으로 검출하는 과정을 포함한다.

본 발명에 있어서, 개시되는 발명 중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.

본 발명은, 디지털 비디오의 공간적 및 시간적 중복성을 이용하여 디지털 비 디오의 장면 전환 검출 성능을 향상시킬 수 있으며, 비디오에 따라 발생할 수 있는 다양한 국부적인 오류에 대해서도 유연하게 대처할 수 있다. 또한 장면 전환 검출 시스템의 특징 및 디지털 비디오의 성격에 따라 장면 전환 검출 시스템을 결정하여 보다 나은 장면 전환 검출율을 제공할 수 있는 효과가 있다.

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 디지털 영상기기에서 사용되는 디지털 비디오 데이터를 복호화하여 하나의 코덱 또는 압축되지 않은 데이터로 통일하고, 복호화된 디지털 비디오 데이터에 대한 정규화를 수행하여 정규화된 프레임에서 장면 전환 여부를 검출하는 것으로서, 이를 위해 정규화된 프레임에 대한 최적 모드를 결정하여 결정된 최적 모드들로 장면 전환을 검출하기 위한 비율을 계산하고, 계산된 모드 비율에 발생 할 수 있는 오류 제거 후 해당 프레임에 대한 장면 전환 여부를 검출하는 것이다.

도 1은 본 발명의 실시예에 따른 장면 전환 검출 시스템을 개략적으로 도시한 블록도이다.

도 1을 참조하면, 장면 전환 검출 시스템(100)은 비디오 복호기(104), 비디오 정규화기(106), 장면 전환 검출기(108)를 포함한다.

장면 전환 검출 시스템(100)의 비디오 복호기(104)로 입력되는 디지털 비디오(102)는 비디오 복호기(104)에 의해 복원된 데이터로 복호화된다. 디지털 비디오(102)는 다양한 코덱, 비트율, 프레임율, 크기 등을 갖는다. 복호된 비디오 신호를 사용하는 이유는 압축되지 않은 비디오를 디지털 비디오로 바꾸기 위한 많은 부호화 방법이 존재하는데, 이런 부호화 방법에 의존하지 않고 어떠한 부호화 방법에서도 장면 전환을 검출할 수 있도록 하기 위함이다.

그리고 다양한 형태의 비디오를 일정한 형태의 비디오 신호로 변환하여 장면 전환 검출기(108)에 입력하기 위해서, 복호화된 디지털 비디오 데이터를 비디오 정규화기(106)에 입력하여 통해 전처리 과정을 수행하게 된다. 이후 비디오 정규화기(106)로부터 정규화된 비디오 신호를 장면 전환 검출기(108)에 인가하여 다양한 응용 프로그램 및 시스템에서 사용할 수 있는 장면 전환을 검출하게 된다.

구체적으로 비디오 복호기(104)는 모든 압축된 비디오를 복호화할 수 있는 복호기를 지닌 소프트웨어 및 하드웨어를 통칭한다. 디지털 비디오(102)는 다양한 코덱을 이용하여 압축되기 때문에 압축된 비디오 신호를 복원된 비디오 신호로 복호하여 한 가지 코덱(압축되지 않은 데이터)으로 통일하여 사용한다. 물론, 비트율과 코덱에 의하여 디지털 비디오가 압축 적용시 미세한 오류가 발생되므로, 복원된 비디오 신호는 압축하기 이전의 원본 비디오 신호와 정확히 일치하지 않을 수도 있으나, 이러한 복호화 과정을 통하여 장면 전환 검출 시스템이 수많은 디지털 비디오의 코덱에 의존하지 않고 자유로울 수 있다는 장점이 있다.

앞서 설명한 바와 같이 디지털 비디오(102)는 수많은 코덱, 비트율, 프레임율, 크기를 갖고 있으며, 여기서 코덱은 다양한 파일의 형식을 비롯하여 디지털 비디오가 압축된 방식으로서, 디지털 비디오(102)는 코덱에 따라 영향을 받게 된다. 비트율은 압축된 정도에 따라 달라지며 디지털 비디오(102)의 화질과 연관성이 깊다. 프레임율은 디지털 비디오(102)가 초당 조사되는 프레임의 수로 24~30Hz가 일반적이며, 특수한 목적에 따라 프레임율은 다양하게 변할 수 있다. 크기는 디지털 비디오(102)의 프레임에 대한 가로와 세로 크기로 표현되며, 일반적으로 160x120 ? 1920x1080 정도의 범위를 갖는다.

비디오 정규화기(106)에서는 복호화된 디지털 비디오의 프레임 크기, 프레임율, 색 공간 등을 외부로부터 인가되는 제어신호에 따라 결정하며, 제어신호에 따라 잡음에 대처하거나 시스템의 성능을 향상시키기 위해서 특정 필터를 사용하여 성능을 향상시킬 수도 있다.

한편, 비디오란 시간축 상에서의 연속된 프레임들의 집합이며, 의미적으로는 연속된 프레임들이 모여서 하나의 장면을 이루고 다시 장면들이 모여 비디오를 구성한다. 장면과 장면 사이에는 장면 전환이 발생되며, 시간 축 상에서 동일 장면 내부에 연속된 프레임과 달리 장면 전환이 일어난 프레임과 바로 이전의 프레임은 상관성(correlation)이 크게 떨어진다. 연속된 두 프레임 간의 상관성이 떨어지는 것은 디지털 비디오를 압축하는 코덱에서도 유용하게 사용하는 정보가 된다.

일반적으로 디지털 비디오를 압축하기 위해서 사용되는 이전 프레임과 현재 프레임은 상관성이 있으므로, 동일 장면 내에 있는 경우에는 평균적인 정보량 혹은 비트량이 요구된다. 하지만, 장면 전환이 일어나는 경우에는 압축을 수행하기 위해 상대적으로 더 많은 정보량 혹은 비트량이 필요하다. 이에 장면 전환 검출기(108)에서는 이러한 점을 이용하여 장면 전환 프레임을 검출하게 되며, 이는 장면 전환 검출 방법과 디지털 비디오의 압축 방법간의 정보 이론에서의 의미적 동질성을 기반으로 장면 전환 검출기(108)를 포함하는 장면 전환 검출 시스템(100)이 구현되는 것이다.

도 2는 본 발명의 실시예에 따른 장면 전환 검출기의 구조를 도시한 블록도이다.

도 2를 참조하면, 장면 전환 검출 시스템(100) 내의 정면 전환 검출기(108)는 최적 모드 결정기(200), 모드 비율 계산기(202), 오류 제거기(204), 장면 전환 결정기(206)를 포함한다.

장면 전환 검출기(108)로 입력되는 데이터는 비디오 정규화기(106)로부터 출력된 정규화된 프레임이다. 정규화된 프레임은 시간적, 공간적으로 정규화되어 장면 전환 검출 시스템(100)에 동일한 규격의 비디오 프레임을 제공한다. 인가된 정규화된 프레임은 먼저 최적 모드 결정기(200)에 입력된다. 최적 모드 결정기(200)는 H.264/AVC에서 제공되는 최적 모드 결정 과정을 응용 및 확장하여 수행하는 모듈로 디지털 비디오를H.264로 다시 인코딩하는 것이 아닌 장면 전환 검출을 위해 필요한 정보인 최적 모드만을 찾아낸다.

결정된 최적 모드들은 모드 비율 계산기(202)에 입력되어 해당 모드들을 가지고 장면 전환을 검출하기 위한 비율을 계산해낸다. 계산된 모드 비율에 발생할 수 있는 오류를 제거하기 위해서 오류 제거기(204)를 거친다. 이후, 오류 제거기(204)를 통해 최종적으로 처리된 모드 비율은 장면 전환 결정기(206)에 의해 해당 프레임이 장면 전환인지 아닌지를 결정하게 된다.

구체적으로 최신 비디오 압축 표준인 H.264/AVC는 비디오의 중복성을 제거하는 움직임 예측, 모드 결정, 비트율 제어, 엔트로피 부호화 등 다양한 기술이 포함되어 있다. H.264 부호기를 보면, 부호화시 움직임 예측과 모드 결정에 많은 자원을 소모하고 있다. 이것은 비디오의 부호화 효율을 높이고 비디오의 중복성을 제거하는데 가장 중요한 요소임을 잘 표현해 주는 것이다. H.264는 여러 크기의 블록을 사용하여 움직임을 보상하며 그 중 최적의 화질과 최소의 비트를 사용할 수 있도록 모드를 결정한다. 가변블록을 이용한 움직임 보상 기법은 매크로 블록의 크기를 여러 가지로 나눠 영상의 특성을 잘 반영하여 부호화 효율을 증가시킨다. 매크로 블록의 모드를 결정하기 위해서는 비트율 및 왜곡 최적화 방법을 사용한다.

도 3은 본 발명의 실시예에 따른 인터 모드 방식을 나타낸 도면이며, 도 4는 인트라 모드인 I4×4의 예측 방법을 도시한 도면이다.

도 3 내지 도 4를 참조하면, H.264/AVC에서는 매크로 블록 모드를 위해 5개의 인터 모드와 3개의 인트라 모드를 지원한다. 이 중 도 3에서의 SKIP, 16×16, 16×8, 8×16 그리고 P8×8은 인터 모드에 해당되며 움직임 예측을 통해 매크로 블 록을 부호화하는데 이용된다. P8×8 모드는 각각의 8×8 블록 안에서 8×8, 8×4, 4×8, 4×4 중의 하나로 나누어질 수 있다.

또한, I16x16, I8x8, I4x4는 인트라 모드이며, 다양한 방향에 따라 주변의 화소 값을 부호화하는 경우, 참조 값으로 사용하는 것으로, 도 4에서는 I4x4에서 다양한 방향에 따라 주변의 화소값을 예측하는 방법에 대해 나타낸다.

이와 같이 매크로 블록의 모드를 결정하는 것은 H.264 부호기의 가장 중요한 부분이다. H.264가 이전의 압축/부호화 방법과 뚜렷하게 다른 점은 여러 모드에서 최적의 모드를 찾기 위해 왜곡도와 발생된 비트를 같이 고려하는 비트율 및 왜곡 최적화 방법을 라그랑지안(Lagrangian) 함수에 기반한 비용 함수로 사용한다는 것이다. 가변 블록에 대한 움직임 벡터와 매크로 블록 모드를 최적으로 결정하기 위해 사용되는 라그랑지안 함수는 왜곡도, 발생되는 비트 수의 가중치인 라그랑지안 계수와 발생되는 비트량으로 구성된다.

본 발명에서는 비트율 및 왜곡 최적화 방법을 이용하여 각 매크로 블록 모드에 대한 각 매크로 블록 모드에 대해 비트율 및 왜곡 비용을 계산한다. 인터 모드에서는 이 값을 계산하기 전에 움직임 벡터와 참조 영상을 결정해야 한다. 여러 블록에 대한 움직임 벡터와 참조 영상은 하기 <수학식 1>의 최소값을 갖는 것으로 결정한다.

여기서, MV는 움직임 벡터, REF는 참조 영상, λmotion은 양자화 계수에 의존하는 라그랑지안 계수, s는 원 영상, r은 움직인 예측에 의해 보상된 영상, c1과 c2는 각 함수에 대한 가중치, f와 g는 각각 오류의 정도를 표현하는 함수와 발생되는 비트 수를 표현하는 함수로 나타낸다. 가중치 c1, c2와 함수 f, g는 장면 전환 검출 시스템(100)의 활용 및 용도에 따라 적합한 함수를 선택하여 사용할 수 있으며 제어 신호로 입력된다.

P8x8 모드에서 각 8x8 블록에 대한 최적의 부 매크로 블록 모드의 결정, 인트라 모드에서 최적의 예측 방향 결정과 매크로 블록에 대한 최적 모드 결정은 하기 <수학식 2>의 최소 값을 갖는 것으로 결정된다.

여기서, MODE는 매크로 블록 모드, 예측 방향 모드 혹은 부 매크로 블록 모드이다, 또한, λmode는 λmotion의 제곱, c3과 c4는 각 함수에 대한 가중치, h와 i는 MODE에 해당하는 모드로 부호화했을 때 각각 오류의 정도를 표현하는 함수와 발생되는 비트 수를 표현하는 함수로 나타낸다. 가중치 c3, c4와 함수 h, i는 장면 전환 검출 시스템의 활용 및 용도에 따라 적합한 함수를 선택하여 사용할 수 있으며 제어 신호로 입력된다. <수학식 1>과 <수학식 2>에서 사용된 변수 및 함수는 최적 모드 결정기(200)의 제어 신호로 인가된다.

도 5는 본 발명의 실시예에 따른 최적 모드 결정을 위한 절차를 도시한 흐름 도이다.

도 5에 대한 동작 절차는 최적 모드 결정기(200)에서 수행되는 것으로서 도 5를 참조하면, 인터 모드를 위한 움직임 벡터와 참조 영상을 결정하는 A 부분과 최종적으로 최적 모드를 결정하는 B 부분으로 크게 나눌 수 있다. 먼저 500단계에서 16x16, 16x8, 8x16 각 모드마다 <수학식 1>을 계산하여 최소값을 가지는 움직임 벡터와 참조 영상을 저장한다. 그리고 502단계에서는 도 3에 도시한 P8x8 모드의 부 최적 모드를 결정하는 것으로서, P8x8 모드의 부 최적 모드를 결정하는 과정은 8x8, 8x4, 4x8, 4x4 모드마다 움직임 벡터와 참조 영상을 선택하는 과정과 이를 이용하여 최적 모드를 결정하는 과정으로 구성된다.

504단계에서는 SKIP 모드에 대한 움직임 벡터를 구한 뒤, B영역에서 최적 모드를 결정한다. 즉, 506단계에서는 각 모드에 대한 비트율 왜곡 비용 함수 계산을 수행하고, 508단계에서는 최소비용과 모드를 저장하고 인트라 모드들까지 포함하며 모든 모드에 관해 계산을 수행했는지 여부를 판단하여 모든 모드를 계산한 경우에는 510단계로 진행하여 모든 모드에 관해 비용 함수가 최소가 되는 모드가 최적인 모드로 결정한다.

본 발명은 장면 전환 검출을 위해 결정된 최적인 모드 정보를 사용한다. 인터 모드는 시간상으로 이어진 프레임들의 상관성이 크기 때문에 주변의 프레임을 사용하여 원래 프레임을 복원한다. 반대로, 인트라 모드는 이전 프레임과의 상관성이 작으므로, 도 4에 도시한 바와 같이 유사한 주변의 픽셀에서 정보를 얻어 복원한다. 따라서 특정 프레임이 상대적으로 인터 모드로 부호화가 많이 됐다면 동일 장면에서 있을 확률이 크며, 인트라 모드로 부호화가 많이 됐다면 장면 전환이 일어났을 확률이 크므로 이러한 특성을 이용하여 장면 전환을 검출하게 된다. 하기 <수학식 3>을 이용하여 장면 전환 검출을 위해 필요한 인트라 모드 비율을 구할 수 있다.

여기서, IMR은 인트라 모드 비율, n은 n번째 프레임, N(INTRAMODEn)과 N(INTERMODEn)은 각각 n번째 프레임의 인트라 모드 갯수와 인터 모드 갯수, c4와 c5는 각각 N(INTRAMODEn)와 N(INTERMODEn)에 대한 장면 전환 검출 시스템 가중치 계수를 가르킨다. 단 c5는 0이 될 수 없다. 해당 계수들은 모드 비율 계산기(202)의 제어 신호로 사용된다.

모드 비율 계산기(202)에서 계산된 모드 비율은 오류 제거기(204)에 인가된다. 오류 제거기(204)는 밝기의 갑작스러운 변화(플래시, 번개, 폭발), 카메라의 빠른 움직임, 줌인, 줌 아웃 등을 포함하는 영상, 고속의 셔터 스피드를 갖는 카메라에 의해 촬영된 느린 영상, 프레임 수가 작은 애니메이션, CF등과 같이 빠른 장면 전환을 갖는 영상에서 발생된 모드 비율의 오류(국부적인 최대값, 최소값 등)를 제거한다. 이러한 오류 제거기(204)는 다양한 디지털 필터들의 조합으로 이루어질 수 있으며, 국부적인 최대값과 최소값을 제거하는 기존의 필터들 혹은 장면 전환 검출 시스템(100)에 적절한 필터들을 조합하여 사용할 수 있다. 이때,　오류 제거 기(204)로 입력되는 제어 신호는 장면 전환 검출 시스템(100)이 갖는 다양한 필터 중 선택 신호 및 그 필터에 대한 여러 제어 신호를 포함한다. 이러한 오류 제거기(204)는 시스템의 특성에 따라 달라지며. 시스템의 정확도, 용도 및 목적 등에 의해 구성과 위치를 결정할 수 있다.

이와 같이 오류 제거기(204)를 통해 오류가 제거된 모드 비율은 장면 전환 결정기(206)에 입력된다. 이에 장면 전환 결정기(206)에서는 처리된 모드 비율을 이용하여 장면 전환인지 아닌지를 결정한다. 장면 전환 결정기(440)는 이를 구현하는 장면 전환 검출 시스템(100)의 성격에 따라 단순히 고정된 문턱값을 설정하거나, 이전 프레임들을 포함하여 처리된 모드 비율들을 적절히 계산하여 문턱값을 생성하거나, 기계 학습 등을 이용한 다양한 디지털 비디오를 통해 장면 전환이 일어나는 상황을 학습하여 문턱값을 결정하여 결정된 문턱값을 초과하는 계산된 모드 비율을 지니는 프레임을 장면 전환으로 결정할 수 있다. 장면 전환 결정기(206)로 입력되는 제어신호는 장면 전환 검출을 위해 설정하는 문턱값의 계산 방법과 계산에 필요한 모든 변수들을 포함한다.

이상 설명한 바와 같이, 본 발명은 디지털 영상기기에서 사용되는 디지털 비디오 데이터를 복호화하여 하나의 코덱 또는 압축되지 않은 데이터로 통일하고, 복호화된 디지털 비디오 데이터에 대한 정규화를 수행하여 정규화된 프레임에서 장면 전환 여부를 검출하는 것으로서, 이를 위해 정규화된 프레임에 대한 최적 모드를 결정하여 결정된 최적 모드들로 장면 전환을 검출하기 위한 비율을 계산하고, 계산된 모드 비율에 발생할 수 있는 오류 제거 후 해당 프레임에 대한 장면 전환 여부 를 검출한다.

한편 본 발명의 상세한 설명에서는 장면 전환 검출 시스템 및 방법에 대한 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1 은 본 발명의 실시예에 따른 장면 전환 검출 시스템을 개략적으로 도시한 블록도,

도 2는 본 발명의 실시예에 따른 장면 전환 검출기의 구조를 도시한 블록도,

도 3 은 본 발명의 실시예에 따른 인터 모드 방식을 도시한 도면,

도 4는 본 발명의 실시예에 따른 인트라 모드인 I4×4의 예측 방법을 도시한 도면,

도 5는 본 발명의 실시예에 따른 최적 모드 결정을 위한 절차를 도시한 흐름도.

< 도면의 주요 부분에 대한 부호 설명 >

100 : 장면 전환 검출 시스템 102 : 디지털 비디오

104 : 비디오 복호기 106 : 비디오 정규화기

108 : 장면 전환 검출기 200 : 최적 모드 결정기

202 : 모드 비율 계산기 204 : 오류 제거기

206 : 장면 전환 결정기

Claims

디지털 영상기기에 입력된 디지털 비디오 데이터를 복호화하여 하나의 코덱으로 압축된 데이터 또는 압축되지 않은 데이터로 변환하는 복호기와,

상기 복호기를 통해 복호화된 디지털 비디오 데이터의 형태를 시간적, 공간적으로 일정하게 정규화하는 정규화기와,

상기 정규화된 프레임에서 특정 모드 결정 및 모드 비율 계산을 통해 계산된 모드 비율이 기 설정된 기준을 초과하는 경우, 해당 모드 비율을 가지는 프레임을 장면 전환된 프레임으로 검출하는 장면 전환 검출기

를 포함하는 장면 전환 검출 시스템.
제 1항에 있어서,

상기 복호기는,

다양한 비디오 코덱을 사용하여 압축/부호화된 비디오 파일을 압축되지 않은 프레임 형태로 복호화하는 것을 특징으로 하는 장면 전환 검출 시스템.
제 1항에 있어서,

상기 정규화기는,

상기 복호화된 디지털 비디오의 프레임 크기, 프레임 율, 색 공간 정보가 설정된 제어 신호를 입력받아, 상기 제어 신호를 토대로 상기 디지털 비디오의 프레 임 형태를 결정하는 것을 특징으로 하는 장면 전환 검출 시스템.
제 1항에 있어서,

상기 장면 전환 검출기는,

상기 정규화기로부터 출력된 정규화된 프레임의 모든 모드에 관한 계산을 통해 비용 함수가 최소가 되는 모드를 최적 모드로 결정하는 최적 모드 결정기와,

상기 결정된 최적 모드로 장면 전환을 검출하기 위한 비율을 계산하는 모드 비율 계산기와,

상기 모드 비율이 계산된 프레임에서 장면 전환 오검출에 영향을 미칠 수 있는 오류를 제거하는 오류 제거기와,

상기 오류가 제거된 프레임에서 상기 모드 비율에 따라 장면 전환 여부를 결정하는 장면 전환 결정기

를 포함하는 것을 특징으로 하는 장면 전환 검출 시스템.
제 4항에 있어서,

상기 최적 모드 결정기는,

각각의 인터 모드 및 인트라 모드마다 움직임 벡터와 참조 영상을 결정하고, 각 모드에 대한 비트율 왜곡 비용 함수를 계산하여 비용 함수가 최소가 되는 모드를 최적 모드로 결정하는 것을 특징으로 하는 장면 전환 검출 시스템.
제 5항에 있어서,

상기 움직임 벡터와 참조 영상의 결정은,

16x16, 16x8, 8x16 모드마다 최소값을 가지는 움직임 벡터와 참조 영상을 산출하고,

P8x8 모드의 각각의 8x8 블록 안에서 8x8, 8x4, 4x8, 4x4 모드마다 움직임 벡터와 참조 영상을 산출하고,

SKIP 모드에 대한 움직임 벡터를 산출한 후, 인트라 모드의 움직임 벡터와 참조 영상을 산출

하는 것을 특징으로 하는 장면 전환 검출 시스템.
제 5항에 있어서,

상기 인터 모드 및 인트라 모드는,

H.264/AVC에서 매크로 블록 모드를 위해 지원되는 모드인 것을 특징으로 하는 장면 전환 검출 시스템.
제 4항에 있어서,

상기 모드 비율 계산기는,

상기 최적 모드 결정기를 통해 결정된 최적 모드 프레임의 인트라 모드 갯수를 인터모드 갯수와 인트라 모드 갯수의 가중치 합으로 나누어 인트라 모드 비율을 산출하는 것을 특징으로 하는 장면 전환 검출 시스템.
제 4항에 있어서,

상기 오류 제거기는,

빠른 장면 전환을 갖는 영상에서 발생된 모드 비율의 오류인 국부적인 최대값 또는 최소값을 제거하는 것을 특징으로 하는 장면 전환 검출 시스템.
제 4항에 있어서,

상기 장면 전환 결정기는,

상기 오류가 제거된 모드 비율을 확인하여 인터 모드 보다 인트라 모드로의 부호화가 더 많이 된 경우, 해당 프레임을 장면 전환 프레임으로 검출하는 것을 특징으로 하는 장면 전환 검출 시스템.
디지털 영상기기에 입력된 디지털 비디오 데이터를 하나의 코덱으로 압축된 데이터 또는 압축되지 않은 데이터로 변환하는 복호화 과정과,

복호화된 디지털 비디오 데이터의 형태를 시간적, 공간적으로 일정하게 정규화하는 과정과,

정규화된 프레임에서 특정 모드 결정 및 모드 비율 계산을 통해 계산된 모드 비율이 기 설정된 기준을 초과하는 경우, 해당 모드 비율을 가지는 프레임을 장면 전환된 프레임으로 검출하는 과정

을 포함하는 장면 전환 검출 방법.
제 11항에 있어서,

상기 복호화를 수행하는 과정은,

다양한 비디오 코덱을 사용하여 압축/부호화된 비디오 파일을 압축되지 않은 프레임 형태로 복호화하는 것을 특징으로 하는 장면 전환 검출 방법.
제 11항에 있어서,

상기 정규화하는 과정은,

상기 복호화된 디지털 비디오의 프레임 크기, 프레임율, 색 공간 정보가 설정된 제어 신호를 입력받아, 상기 제어 신호를 토대로 상기 디지털 비디오의 프레임 형태를 결정하는 것을 특징으로 하는 장면 전환 검출 방법.
제 11항에 있어서,

상기 장면 전환된 프레임을 검출하는 과정은,

상기 정규화된 프레임의 모든 모드에 관한 계산을 통해 비용 함수가 최소가 되는 모드를 최적 모드로 결정하는 과정과,

상기 결정된 최적 모드들로 장면 전환을 검출하기 위한 모드 비율을 계산하는 과정과,

상기 모드 비율이 계산된 프레임에서 장면 전환 오검출에 영향을 미칠 수 있는 오류를 제거하는 과정과,

상기 오류가 제거된 프레임에서 장면 전환 여부를 결정하는 과정

을 포함하는 것을 특징으로 하는 장면 전환 검출 방법.
제 14항에 있어서,

상기 최적 모드로 결정하는 과정은,

각각의 인터 모드 및 인트라 모드마다 움직임 벡터와 참조 영상을 결정하는 과정과, 각각의 모드에 대한 비트율 왜곡 비용 함수를 계산하여 비용 함수가 최소가 되는 모드를 최적 모드로 결정하는 과정

을 포함하는 것을 특징으로 하는 장면 전환 검출 방법.
제 15항에 있어서,

상기 움직임 벡터와 참조 영상을 결정하는 과정은,

16x16, 16x8, 8x16 모드마다 최소값을 가지는 움직임 벡터와 참조 영상을 산출하는 과정과,

P8x8 모드의 각각의 8x8 블록 안에서 8x8, 8x4, 4x8, 4x4 모드마다 움직임 벡터와 참조 영상을 산출하는 과정과,

SKIP 모드에 대한 움직임 벡터를 산출한 후, 인트라 모드의 움직임 벡터와 참조 영상을 산출하는 과정

을 포함하는 것을 특징으로 하는 장면 전환 검출 방법.
제 15항에 있어서,

상기 인터 모드 및 인트라 모드는,

H.264/AVC에서 매크로 블록 모드를 위해 지원되는 모드인 것을 특징으로 하는 장면 전환 검출 방법.
제 14항에 있어서,

상기 모드 비율을 계산하는 과정은,

상기 결정된 최적 모드 프레임의 인트라 모드 갯수를 인터 모드 갯수와 인트라 모드 갯수의 가중치 합으로 나누어 인트라 모드 비율을 산출하는 것을 특징으로 하는 장면 전환 검출 방법.
제 14항에 있어서,

상기 오류를 제거하는 과정은,

빠른 장면 전환을 갖는 영상에서 발생된 모드 비율의 오류인 국부적인 최대값 또는 최소값을 제거하는 것을 특징으로 하는 장면 전환 검출 방법.
제 14항에 있어서,

상기 장면 전환 여부를 결정하는 과정은,

상기 오류가 제거된 모드 비율을 확인하여 인터 모드 보다 인트라 모드로의 부호화가 더 많이 된 경우, 해당 프레임을 장면 전환 프레임으로 검출하는 것을 특 징으로 하는 장면 전환 검출 방법.