KR100816089B1

KR100816089B1 - 3차원 정보를 가지고 있는 집적영상의 요소영상을워터마크로 사용하는 워터마킹 장치 및 그 방법

Info

Publication number: KR100816089B1
Application number: KR1020060067969A
Authority: KR
Inventors: 김은수; 황동춘; 신동학
Original assignee: 광운대학교 산학협력단; 김은수; 황동춘
Priority date: 2006-07-20
Filing date: 2006-07-20
Publication date: 2008-03-24
Anticipated expiration: 2026-07-20
Also published as: KR20080008556A; US20080025564A1; US7936899B2

Abstract

본 발명은 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법을 제공하기 위한 것으로, 컴퓨터적 픽업에 의해 물체를 3차원적으로 위치시켜 요소영상 워터마크를 획득하는 컴퓨터적 픽업부와; 상기 컴퓨터적 픽업부에서 획득된 요소영상 워터마크를 2차원 영상에 삽입처리하는 삽입처리부와; 상기 삽입처리부에서 삽입처리된 워터마크가 삽입된 2차원 영상을 전송채널을 통해 전송받아 요소영상 워터마크를 추출하는 추출처리부와; 상기 추출처리부에서 추출된 요소영상 워터마크에 대해 컴퓨터적 복원을 수행하여 거리에 따른 영상으로 복원하는 컴퓨터적 복원부;를 포함하여 구성함으로서, 삽입되는 정보를 분산시키고 일부분의 정보를 가지고 삽입된 정보에 대한 복원이 가능하도록 하여 워터마크에 대한 다양한 공격에 대응할 수 있게 되는 것이다.

워터마크, 3차원, 집적영상, 요소영상, 픽업, 복원, 삽입처리, 추출처리

Description

3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법{Apparatus and method for watermarking using element image of integrated image having three dimension information}

도 1는 일반적인 3차원 집적 영상 시스템의 원리를 보인 도면이다.

도 2는 본 발명의 일실시예에 의한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법을 보인 블록구성도이다.

도 3은 도 2에서 컴퓨터적 픽업부의 동작예를 보인 개념도이다.

도 4는 도 2에서 삽입처리부의 동작예를 보인 블록구성도이다.

도 5는 도 4의 삽입처리부에 의해 삽입처리된 영상의 예를 보인 도면이다.

도 6은 도 2에서 추출처리부의 동작예를 보인 블록구성도이다.

도 7은 도 2에서 컴퓨터적 복원부의 동작예를 보인 개념도이다.

도 8은 도 2에서 집적 영상의 디스플레이 수행예를 보인 도면이다.

도 9는 본 발명에 대한 요소영상 워터마크의 정보 분산 특성에 대한 실험을 보인 도면이다.

* 도면의 주요 부분에 대한 부호의 설명 *

10 : 삽입처리부 20 : 컴퓨터적 픽업부

21 : 랜덤시퀀스 발생부 22 : DWT

23 : 양자화부 24 : IDWT

30 : 추출처리부 31 : DWT

32 : 양자화부 33 : 연산부

34 : 랜덤시퀀스 발생부 40 : 컴퓨터적 복원부

본 발명은 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법에 관한 것으로, 특히 집적 영상 기술을 이용하여 3차원 정보에서 픽업된 요소영상을 정보 보호를 위한 새로운 워터마크로 사용되는 기법을 제안함으로써, 삽입되는 정보를 분산시키고 일부분의 정보를 가지고 삽입된 정보에 대한 복원이 가능하도록 하여 워터마크에 대한 다양한 공격에 대응하기에 적당하도록 한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법에 관한 것이다.

일반적으로 디지털 워터마킹 기술은 인간의 시각으로 지각할 수 없는 일정한 소유권 정보인 워터마크(watermark)를 디지털 영상에 삽입 은폐하는 과정으로써, 이를 통해 디지털 영상에 대한 불법 사용 및 조작을 막고 소유권을 인증해 주기 위한 방법 등을 제공해 준다.

디지털 워터마킹 기술은 공간영역에서 주파수영역으로 대상 데이터를 변화시키면서 발전하여 왔으며, 최근에는 주로 주파수 데이터에 워터마킹을 수행하는 기 술이 발표되고 있다.

주파수영역의 워터마킹 기술은 DCT(Discrete Cosine Transform), DFT(Discrete Fourier Transform), DWT(Discrete Wavelet Transform) 등의 변환이 주로 이용된다.

또한 이러한 디지털 워터마킹 기술에서는 은폐된 워터마크가 인간시각에 인지되지 않는 무인지성, 여러 가지 다양한 영상처리 알고리즘에 대한 강건성과 불법적인 내용 변경 또는 위조에 대한 무결성 등이 요구된다.

그러나 종래의 디지털 워터마킹 시술에서 워터마크 영상은 2차원 영상이 사용되어 왔다. 이 때문에 2차원 영상을 워터마크로 사용할 경우 다양한 공격에 민감한 반응을 보이는 문제점이 있었다.

이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 집적 영상 기술을 이용하여 3차원 정보에서 픽업된 요소영상을 정보 보호를 위한 새로운 워터마크로 사용되는 기법을 제안함으로써, 삽입되는 정보를 분산시키고 일부분의 정보를 가지고 삽입된 정보에 대한 복원이 가능하도록 하여 워터마크에 대한 다양한 공격에 대응할 수 있는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 의한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치는,

컴퓨터적 픽업에 의해 물체를 3차원적으로 위치시켜 요소영상 워터마크를 획득하는 컴퓨터적 픽업부와; 상기 컴퓨터적 픽업부에서 획득된 요소영상 워터마크를 2차원 영상에 삽입처리하는 삽입처리부와; 상기 삽입처리부에서 삽입처리된 워터마크가 삽입된 2차원 영상을 전송채널을 통해 전송받아 요소영상 워터마크를 추출하는 추출처리부와; 상기 추출처리부에서 추출된 요소영상 워터마크에 대해 컴퓨터적 복원을 수행하여 거리에 따른 영상으로 복원하는 컴퓨터적 복원부;를 포함하여 이루어짐을 그 기술적 구성상의 특징으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 의한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 방법은,

컴퓨터적 픽업에 의해 물체를 3차원적으로 위치시켜 요소영상 워터마크를 획득하는 컴퓨터적 픽업단계와; 상기 컴퓨터적 픽업단계에서 획득된 요소영상 워터마크를 2차원 영상에 삽입처리하는 삽입처리단계와; 상기 삽입처리단계에서 삽입처리된 워터마크가 삽입된 2차원 영상을 전송채널을 통해 전송하게 되면 요소영상 워터마크를 추출하는 추출처리단계와; 상기 추출처리단계에서 추출된 요소영상 워터마크에 대해 컴퓨터적 복원을 수행하여 거리에 따른 영상으로 복원하는 컴퓨터적 복원단계;를 포함하여 수행함을 그 기술적 구성상의 특징으로 한다.

이하, 상기와 같은 본 발명, 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법의 기술적 사상에 따른 일실시예를 도면을 참조하여 설명하면 다음과 같다.

먼저 본 발명의 일실시예에 의한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치는, 도 2에 도시된 바와 같이, 컴퓨터적 픽업에 의해 물체를 3차원적으로 위치시켜 요소영상 워터마크(Elemental Image Watermark)를 획득하는 컴퓨터적 픽업부(Computational Pickup)(20)와; 상기 컴퓨터적 픽업부(20)에서 획득된 요소영상 워터마크를 2차원 영상(2D Image)에 삽입처리하는 삽입처리부(Embedding Process)(10)와; 상기 삽입처리부(10)에서 삽입처리된 워터마크가 삽입된 2차원 영상(Watermarked 2D Image)을 전송채널(transmission Channel)을 통해 전송받아 요소영상 워터마크를 추출하는 추출처리부(Extraction Process)(30)와; 상기 추출처리부(30)에서 추출된 요소영상 워터마크에 대해 컴퓨터적 복원을 수행하여 거리에 따른 영상으로 복원하는 컴퓨터적 복원부(Computational Reconstruction)(40);를 포함하여 구성된 것을 특징으로 한다.

상기 컴퓨터적 픽업부(20)는, 도 3(a) 및 도 3(b)에 도시된 바와 같이, 실제 사물을 촬영하여 요소 영상을 얻는 직접적 픽업 방식을 사용하여 요소영상 워터마크를 획득하거나 또는 가상의 3차원 물체를 구성하여 요소 영상을 제작하는 컴퓨터 재생(Computer Graphic, CG) 픽업 방식을 사용하여 요소영상 워터마크를 획득하는 것을 특징으로 한다.

상기 삽입처리부(10)는, 도 4에 도시된 바와 같이, 상기 컴퓨터적 픽업부(20)에서 획득된 요소영상 워터마크에 대해 랜덤시퀀스를 발생시켜 요소영상 워터마크를 재배열시키는 랜덤시퀀스 발생부(Random Sequence Generator(seed A))(21)와; 2차원 영상에 대해 DWT를 수행하는 DWT(22)와; 상기 DWT(22)의 출력에 대해 양자화를 수행하는 양자화부(Quantization)(23)와; 상기 랜덤시퀀스 발생부(21)에서 출력된 재배열된 요소영상 워터마크(Reordered Watermark)를 입력받고, 상기 양자화부(23)에 양자화된 값을 입력받아 IDWT(Inverse DWT)를 수행하여 워터마크가 삽입된 2차원 영상을 출력하는 IDWT(24);를 포함하여 구성된 것을 특징으로 한다.

상기 DWT(22)는, 2차원 영상을 고주파 성분과 저주파 성분으로 각각 필터링 하고,

상기 양자화부(23)는, 필터링 된 계수에 양자화를 수행하고,

상기 삽입처리부(10)는, 다음 수학식에 의해 삽입을 수행하고,

여기서

는 재배열된 요소영상 워터마크이고,

는 워터마크가 삽입된 후의 화소값이며,

과

은 요소영상 워터마크가 삽입되는 중간 주파수 성분의 시작 지점과 마지막 지점이고, K는 워터마크의 화소 개수인 것을 특징으로 한다.

상기 IDWT(24)는, 최종적으로 워터마크가 삽입된 영상을 생성하는 것을 특징으로 한다.

상기 추출처리부(30)는, 도 6에 도시된 바와 같이, 워터마크가 삽입된 2차원 영상에 대해 DWT(31)를 수행하는 DWT(31)와; 상기 DWT(31)의 출력에 대해 양자화를 수행하는 양자화부(32)와; 상기 양자화부(32)의 출력에 대해 연산을 수행하여 재배열된 요소영상 워터마크를 추출하는 연산부(Operation)(33)와; 상기 연산부(33)에 의해 추출된 재배열된 요소영상 워터마크에 대해 랜덤시퀀스를 발생시켜 요소영상 워터마크를 획득하는 랜덤시퀀스 발생부(34);를 포함하여 구성된 것을 특징으로 한다.

상기 연산부(33)는, 다음의 수학식을 이용하고,

이에 따라 요소영상 워터마크가 삽입된 주파수 변환 값인

와 1을 연산(And 연산)을 하여, 재배열된 요소영상 워터마크

을 구하는 것을 특징으로 한다.

상기 컴퓨터적 복원부(40)는, 도 7에 도시된 바와 같이, 핀홀 배열 모델 방식을 사용하여 요소영상으로부터 컴퓨터적으로 복원 영상을 얻는 것을 특징으로 한다.

한편 본 발명의 일실시예에 의한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 방법은, 도 2에 도시된 바와 같이, 컴퓨터적 픽업에 의해 물체를 3차원적으로 위치시켜 요소영상 워터마크(Elemental Image Watermark)를 획득하는 컴퓨터적 픽업단계(Computational Pickup)(20)와; 상기 컴 퓨터적 픽업단계(20)에서 획득된 요소영상 워터마크를 2차원 영상에 삽입처리하는 삽입처리단계(Embedding Process)(10)와; 상기 삽입처리단계(10)에서 삽입처리된 워터마크가 삽입된 2차원 영상(Watermarked 2D Image)을 전송채널(transmission Channel)을 통해 전송하게 되면 요소영상 워터마크를 추출하는 추출처리단계(Extraction Process)(30)와; 상기 추출처리단계(30)에서 추출된 요소영상 워터마크에 대해 컴퓨터적 복원을 수행하여 거리에 따른 영상으로 복원하는 컴퓨터적 복원단계(Computational Reconstruction)(40);를 포함하여 수행하는 것을 특징으로 한다.

상기 컴퓨터적 픽업단계(20)는, 도 3(a) 및 도 3(b)에 도시된 바와 같이, 실제 사물을 촬영하여 요소 영상을 얻는 직접적 픽업 방식을 사용하거나 또는 가상의 3차원 물체를 구성하여 요소 영상을 제작하는 컴퓨터 재생(Computer Graphic, CG) 픽업 방식을 사용하여 요소영상 워터마크를 획득하는 것을 특징으로 한다.

상기 삽입처리단계(10)는, 도 4에 도시된 바와 같이, 상기 컴퓨터적 픽업단계(20)에서 획득된 요소영상 워터마크에 대해 랜덤시퀀스를 발생시켜 요소영상 워터마크를 재배열시키는 랜덤시퀀스 발생단계(Random Sequence Generator(seed A))(21)와; 2차원 영상에 대해 DWT를 수행하는 DWT단계(22)와; 상기 DWT단계(22)의 출력에 대해 양자화를 수행하는 양자화단계(Quantization)(23)와; 상기 랜덤시퀀스 발생단계(21)에서 출력된 재배열된 요소영상 워터마크(Reordered Watermark)를 입력받고, 상기 양자화단계(23)에 양자화된 값을 입력받아 IDWT(Inverse DWT)를 수행하여 워터마크가 삽입된 2차원 영상을 출력하는 IDWT단계(24);를 포함하여 수행하 는 것을 특징으로 한다.

상기 추출처리단계(30)는, 도 6에 도시된 바와 같이, 워터마크가 삽입된 2차원 영상에 대해 DWT(31)를 수행하는 DWT단계(31)와; 상기 DWT단계(31)의 출력에 대해 양자화를 수행하는 양자화단계(32)와; 상기 양자화단계(32)의 출력에 대해 연산을 수행하여 재배열된 요소영상 워터마크를 추출하는 연산단계(Operation)(33)와; 상기 연산단계(33)에 의해 추출된 재배열된 요소영상 워터마크에 대해 랜덤시퀀스를 발생시켜 요소영상 워터마크를 획득하는 랜덤시퀀스 발생단계(34);를 포함하여 수행하는 것을 특징으로 한다.

상기 컴퓨터적 복원단계(40)는, 도 7에 도시된 바와 같이, 핀홀 배열 모델 방식을 사용하여 요소영상으로부터 컴퓨터적으로 복원 영상을 얻는 것을 특징으로 한다.

이와 같이 구성된 본 발명에 의한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법의 바람직한 실시예를 첨부한 도면에 의거하여 상세히 설명하면 다음과 같다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 프릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있으며, 이에 따라 각 용어의 의미는 본 명세서 전반에 걸친 내용을 토대로 해석되어야 할 것이다.

일반적으로 디지털 워터마킹 기술에서는 은폐된 워터마크가 인간시각에 인지되지 않는 무인지성, 여러 가지 다양한 영상처리 알고리즘에 대한 강건성과 불법적인 내용 변경 또는 위조에 대한 무결성 등이 요구된다. 기존의 디지털 워터마킹 시술에서 워터마크 영상은 2차원 영상이 사용되어 다양한 공격에 민감한 반응을 보여 왔다. 따라서, 본 발명에서는 종래의 2차원 영상을 대신한 집적영상을 워터마크로 사용하고자 한다.

그래서 본 발명에서는 집적 영상 기술을 이용하여 3차원 정보에서 픽업된 요소영상을 정보 보호를 위한 새로운 워터마크로 사용되는 기법이 제안한다. 요소영상을 워터마크로 사용할 경우 3차원 정보를 포함하고 있기 때문에 홀로그래피 방식과 같이 삽입되는 정보를 분산하는 효과를 가진다. 삽입되는 정보가 분산된 워터마크일 경우 워터마크의 전체가 아닌 일부분의 정보를 가지고 삽입된 정보는 복원이 가능하다.

1908년에 리프만(Lippmann)에 의해서 처음 제안된 집적영상(집적 사진술, Integral Photography, IP) 방식에 대해 많은 연구가 진행되고 있다.

그래서 일반적으로 집적 영상은 도 1과 같이 픽업 과정과 디스플레이 과정으로 구성된다. 집적영상의 픽업과정은 2차원 센서와 렌즈 배열로 구성된다. 여기서 3차원 물체들을 통해서 들어온 제한된 양의 광선들이 렌즈 배열을 통해 픽업된다. 이 때, 그 광선들은 2차원 영상 센서를 통해 3차원 객체 각각의 정보를 가진 요소 영상들로서 디지털 영상으로 저장된다.

반면에 집적영상의 디스플레이 과정은 픽업 과정의 역이다. 요소 영상을 가지고 있는 디지털 영상은 3차원 영상들의 복원을 위한 디스플레이 장치에 표시되고, 렌즈릿(Lenslet) 배열의 앞 부분에 디스플레이 된다.

또한, 요소영상의 광학적 복원 방식을 그대로 모델링 한 컴퓨터를 이용한 복원 방식이 연구 보고 되었다. 이 복원 방식은 3차원 영상을 일정한 거리에 놓인 평면에서 복원하는 방식이다.

워터마크를 삽입할 영상은 2차원 디지털 영상이다.

그리고 워터마크는 컴퓨터적 픽업부(20)에 의한 집적 영상 기술에서 얻어진 요소영상을 사용하기 때문에 삽입되는 정보를 컴퓨터 픽업과정을 통하여 요소영상으로 제작한다. 이때 만들어진 요소영상을 편의상 요소영상 워터마크라고 부른다.

그러면 삽입처리부(10)에 의해 2차원 디지털 영상에 요소영상 워터마크를 삽입하는 과정을 거치고, 전송 채널을 통해 수신단으로 전송된다. 이때 다양한 외부의 잡음이 더해진다.

수신단의 추출처리부(30)에서는 전송되어 온 2차원 디지털 영상에서 워터마크를 추출하는 과정을 거친다.

이렇게 추출된 요소영상 워터마크 패턴은 컴퓨터적 복원부(40)에 의해 컴퓨터적 복원 기법을 이용하여 거리에 따른 영상으로 복원하여 정보 보호 기능을 수행한다.

1. 컴퓨터 재생 픽업 과정을 이용한 워터마크 생성

일반적으로 워터마크는 2차원 영상 데이터가 사용되어 왔다. 하지만 이 기술에서 사용되는 워터마크는 요소 영상으로써 3차원 정보를 가진다.

그래서 요소 영상은 도 3(a) 와 같이 물체를 3차원적으로 위치시켜 획득된다.

집적영상에서 픽업 방법은 크게 실제 사물을 촬영하여 요소 영상을 얻는 직접적 픽업(Direct pickup) 방법과 가상의 3차원 물체를 구성하여 요소 영상을 제작하는 컴퓨터 재생(CG) 픽업 방법이 사용되어 왔다.

도 3(b)는 본 발명에서 제안하는 요소영상 워터마크 생성을 위한 CG 픽업 방법을 나타낸다. 이때 직접적 픽업으로 얻은 요소영상도 워터마크로 사용가능하다.

그래서 삽입되는 정보를 k 번째 핀홀에 대해서 요소영상의 CG 픽업한다고 하자. 즉, 예를 들어 k 번째 핀홀에 대해서 요소영상의 CG 픽업한다고 하자. 그러면 object의 레이들은 픽업 평면에 핀홀을 통하여 역상이 되어 투영된다. 동일한 방법으로 모든 핀홀에 대해서 반복적으로 수행함으로써 전체의 요소영상을 얻을 수 있으며, 이것이 요소영상 워크마크가 된다.

2. 요소영상 워터마크의 삽입

도 4는 도 2에서 삽입처리부의 동작예를 보인 블록구성도로서, 요소영상 워터마크를 삽입하는 워터마킹 기법에 대한 설명을 위한 도면이다.

종래에 연구되었던 방식은 2차원 워터마크를 삽입하였으나, 본 발명에서는 2 차원 워터마크 대신 요소영상 워터마크가 사용되는 것이다.

먼저, 워터마크를 삽입할 2차원 디지털 영상을 DWT 과정을 거쳐 저대역 통과 필터와 고대역 통과 필터를 이용하여 영상을 고주파 성분과 저주파 성분으로 각각 필터링 한다. DWT(22)는 주어진 2차원 데이터를 주파수 성분에 따라 연차적으로 분할하여 영상의 에너지를 저주파 영역으로 집중시킴으로써 저주파 부대역부터 고주파 부대역까지의 계층적 정보를 갖는 네 개의 각각 다른 부대역 영상으로 구성하게 된다.

도 5는 도 4의 삽입처리부에 의해 삽입처리된 영상의 예를 보인 도면이다. 이러한 도 5는 워터마크가 삽입되는 2차원 디지털 영상과 실제 3-레벨 DWT 된 영상의 결과의 예를 각각 나타낸 것으로, 도 5(a)는 2차원 디지털 영상이고, 도 5(B)는 실제 DWT 된 영상 데이터이다.

다음으로, DWT 계수를 양자화부(23)에서 양자화(quantization)한 후 요소영상 워터마크를 삽입한다. 이때 요소영상 워터마크에 공간영역에 대한 공격에 대해 강건하도록 하기 위해 랜덤 시퀀스(random sequence) 발생부(21)를 사용하여 재배치된다. 이 때 재배치된 요소영상 워터마크의 복원을 위해서 시드(seed)값을 배정하여 같은 시드의 경우일 때만 같은 랜덤 시퀀스를 발생할 수 있게 한다.

재배열된 요소영상 워터마크를

라 하면, 다음의 수학식 1에서와 같은 워터마크 삽입 알고리즘을 사용한다. 양자화된 DWT 계수는 짝수로 만든 후 워터마크가 1이면 홀수로 변환되고, 0 이면 그대로 둔다. 그래서 요소영상 워터마크 추출 시 이 원리를 이용하여 원본 이미지를 사용하지 않고 요소영상 워터마크는 추출된다.

여기서,

는 워터마크가 삽입된 후의 화소값,

과

은 요소영상 워터마크가 삽입되는 중간 주파수 성분의 시작 지점과 마지막 지점, K는 워터마크의 화소 개수를 각각 나타낸 것이다.

이렇게 구한

를 기존의 DWT 계수

와 대치시킴으로써 다음의 수학식 2과 같은 워터마크가 삽입된 새로운 DWT 계수

를 얻는다.

그런 다음 IDWT(Inverse DWT)(24) 과정을 통해 최종적으로 워터마크가 삽입된 영상이 생성된다.

3. 집적 영상의 워터마크 추출과정

도 6은 도 2에서 추출처리부의 동작예를 보인 블록구성도로서, 요소영상 워터마크가 삽입된 영상으로부터 요소영상 워터마크를 추출하는 과정을 나타낸 것이 다.

먼저, 요소영상 워터마크가 삽입된 2차원 디지털 영상을 수학식 1과 같은 방법으로 DWT(31)에서 DWT 변환을 수행하면 DWT 계수값을 얻게 된다. 이후 양자화부(32)에서 양자화 과정을 거친 후 최종 주파수 성분인

을 산출하게 된다.

삽입과정에서 원 영상을 DWT 변환한 주파수 성분에 워터마크 영상을 삽입할 때 요소영상 워터마크 값이 1이면 주파수성분 값을 홀수로 바꿔주고, 0이면 짝수로 바꿔주었기 때문에, 삽입된 요소영상 워터마크를 추출하기 위해서는 원 영상 없이 다음의 수학식 3에서와 같이 요소영상 워터마크가 삽입된 주파수 변환 값인

와 1을 연산(And 연산)을 하여, 재배열된 요소영상 워터마크

을 구할 수 있다.

이렇게 구한

는 요소영상 워터마크 삽입시에 랜덤 시퀀스 발생부(21)를 이용하여 랜덤하게 변환되어진 값이므로, 최종적으로 요소영상 워터마크 영상을 얻기 위해서는 삽입 시와 동일한 시드값(seed A)을 랜덤 시퀀스 발생부기에 적용해야만 삽입했을 때와 똑같은 순서로

를 재배열할 수 있고, 이를 통해 원하는 요소 영상 워터마크를 추출하게 된다.

4. 추출된 요소영상 워터마크 컴퓨터적 복원

추출된 요소영상 워터마크는 서로 다른 모양을 가지는 작은 영상들의 조합이다. 이로 부터 삽입된 정보를 찾아내기 위해서는 컴퓨터적 복원 과정이 필요하다.

도 7은 도 2에서 컴퓨터적 복원부의 동작예를 보인 개념도로서, 요소영상으로부터 컴퓨터적으로 복원 영상을 얻는 방법을 설명한다. 이러한 도 7은 CIIR에서 핀홀 배열 모델 방식이다.

그래서 고정된 거리 L에서 광학적 픽업 과정에서 획득된 각 요소영상은 가상의 핀홀 배열을 통과하여 역상이 투영된다. 투영된 각 영상은 가상의 핀홀 배열과 이미지 복원 평면과 거리(L)과 가상의 핀홀 배열과 요소영상 평면과의 거리(g) 사이의 비율에 따라 단순 확대된다. 각 확대된 영상은 각 픽셀 별로 중첩되어 더해진다. 입체감 있는 3차원 물체의 이미지를 디스플레이 하기 위해 서로 다른 이미지 평면단위로 동일한 복원 과정을 반복한다. 컴퓨터적 복원 과정 실행 후 삽입된 정보가 획득된다.

일반적으로 집적 영상은 도 1과 같이 픽업과정과 디스플레이과정으로 구성된다. 집적영상의 픽업과정은 2차원 센서와 렌즈 배열로 구성된다. 여기서 3차원 물체들을 통해서 들어온 제한된 양의 광선들이 렌즈 배열을 통해 픽업된다. 이 때, 그 광선들은 2차원 영상 센서를 통해 3차원 객체 각각의 정보를 가진 요소 영상들로서 디지털 영상으로 저장된다. 여기서 획득된 영상을 워터마크 영상으로 사용한 다. 그리고 워터마크를 추출 한 후 광학적 복원 방식을 이용하여 복원을 할 수 있다. 즉, 집적영상의 디스플레이 과정이 된다. 집적영상의 디스플레이 과정은 픽업 과정의 역이다. 요소 영상을 가지고 있는 워터마크 영상은 3차원 영상들의 복원을 위한 디스플레이 장치에 표시되고, 렌즈릿 배열의 앞부분에 디스플레이 된다. 즉 3차원적인 워터마크 영상은 관측하는 시점에 따라 서로 다른 영상이 보여 진다.

예를 들면 도 8에서와 같이 관측자가 왼쪽에서 관측을 하게 되면 앞쪽에 놓여있는 패턴이 뒤쪽에 있는 패턴보다 오른쪽으로 보이게 되고, 관측자가 오른쪽으로 이동하게 되면 반대의 현상이 일어난다. 이 현상을 이용하여 일부 분산된 정보를 찾아낼 수 있다.

한편 요소영상의 광학적 픽업 및 복원 방식을 그대로 모델링 한 컴퓨터를 이용한 복원 방식이 연구 보고 되었다. 컴퓨터적 픽업 방식은 도 3(b)에 나타난 것처럼 본 발명에서 제안하는 요소영상 워터마크 생성을 위한 CG 픽업 방법을 나타낸다. 삽입되는 정보를 k 번째 핀홀에 대해서 요소영상의 CG 픽업한다고 하자. 예를 들어 k 번째 핀홀에 대해서 요소영상의 CG 픽업한다고 하자. object의 레이들은 픽업 평면에 핀홀을 통하여 역상이 되어 투영된다. 동일한 방법으로 모든 핀홀에 대해서 반복적으로 수행함으로써 전체의 요소영상을 얻을 수 있으며, 이것이 요소영상 워크마크가 된다. 그리고 이 요소영상 워터마크의 복원 방식은 광학적 복원 방식과 컴퓨터적 복원 방식 모두 사용할 수 있다. 컴퓨터적 복원 방식은 3차원 영상을 일정한 거리에 놓인 평면에서 복원하는 방식이다.

또한 일반적으로 워터마크는 2차원 영상 데이터가 사용되어 왔다. 하지만 본 발명에서 사용되는 워터마크는 요소 영상으로써 3차원 정보를 가진다. 집적 영상 기술을 이용하여 3차원 정보에서 픽업된 요소영상을 정보 보호를 위한 새로운 워터마크로 사용되는 기법이 제안된다. 요소영상을 워터마크로 사용할 경우 3차원 정보를 포함하고 있기 때문에 홀로그래피 방식과 같이 삽입되는 정보를 분산하는 효과를 가진다. 삽입되는 정보가 분산된 워터마크일 경우 워터마크의 전체가 아닌 일부분의 정보를 가지고 삽입된 정보는 복원이 가능하다.

이처럼 본 발명은 삽입되는 정보를 분산시키고 일부분의 정보를 가지고 삽입된 정보에 대한 복원이 가능하도록 하여 워터마크에 대한 다양한 공격에 대응하게 되는 것이다.

이상에서 살펴본 바와 같이, 본 발명에 의한 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치 및 그 방법은 집적 영상 기술을 이용하여 3차원 정보에서 픽업된 요소영상을 정보 보호를 위한 새로운 워터마크로 사용되는 기법을 제안함으로써, 삽입되는 정보를 분산시키고 일부분의 정보를 가지고 삽입된 정보에 대한 복원이 가능하도록 하여 워터마크에 대한 다양한 공격에 대응할 수 있는 효과가 있게 된다.

도 9는 본 발명에 대한 요소영상 워터마크의 정보 분산 특성에 대한 실험을 보인 도면이다. 그래서 종래의 2D 워터마크에서 최악의 경우 추출된 워터마크가 잡음에 의해 도 9(a)와 같이 일부 영역에 집중하여 발생할 수 있다. 이 경우 완전히 정보를 잃어버리게 되는 문제점이 있다. 하지만 요소영상의 워터마크를 사용하는 경우는 다르다. 즉 도 9(b)에서와 같이 일부 영역에 집중하여 정보를 잃어버려도 컴퓨터적 복원 기법을 이용하여 이들 정보를 충분히 찾을 수 있다. 도 9(c)~(f)는 각각 컴퓨터적 복원 기법을 이용하여 얻은 영상들이다. 요소영상 워터마크의 거리에 따른 복원된 영상으로 삽입된 정보를 알아낼 수 있다. 이것은 요소영상 워터마크를 사용하는 방식은 정보를 분산하는 기능을 가지고 있음을 보여주는 결과이다.

이상에서 본 발명의 바람직한 실시예에 한정하여 설명하였으나, 본 발명은 이에 한정되지 않고 다양한 변화와 변경 및 균등물을 사용할 수 있다. 따라서 본 발명은 상기 실시예를 적절히 변형하여 응용할 수 있고, 이러한 응용도 하기 특허청구범위에 기재된 기술적 사상을 바탕으로 하는 한 본 발명의 권리범위에 속하게 됨은 당연하다 할 것이다.

Claims

컴퓨터적 픽업에 의해 물체를 3차원적으로 위치시켜 요소영상 워터마크를 획득하는 컴퓨터적 픽업부와;

상기 컴퓨터적 픽업부에서 획득된 요소영상 워터마크를 2차원 영상에 삽입처리하는 삽입처리부와;

상기 삽입처리부에서 삽입처리된 워터마크가 삽입된 2차원 영상을 전송채널을 통해 전송받아 요소영상 워터마크를 추출하는 추출처리부와;

상기 추출처리부에서 추출된 요소영상 워터마크에 대해 컴퓨터적 복원을 수행하여 거리에 따른 영상으로 복원하는 컴퓨터적 복원부;를 포함하여 구성된 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치.
청구항 1에 있어서, 상기 컴퓨터적 픽업부는,

실제 사물을 촬영하여 요소 영상을 얻는 직접적 픽업 방식을 사용하여 요소영상 워터마크를 획득하거나 또는 가상의 3차원 물체를 구성하여 요소 영상을 제작하는 컴퓨터 재생 픽업 방식을 사용하여 요소영상 워터마크를 획득하는 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치.
청구항 1에 있어서, 상기 삽입처리부는,

상기 컴퓨터적 픽업부에서 획득된 요소영상 워터마크에 대해 랜덤시퀀스를 발생시켜 요소영상 워터마크를 재배열시키는 랜덤시퀀스 발생부와;

2차원 영상에 대해 DWT를 수행하는 DWT 수행부와;

상기 DWT 수행부의 출력에 대해 양자화를 수행하는 양자화부와;

상기 랜덤시퀀스 발생부에서 출력된 재배열된 요소영상 워터마크를 입력받고, 상기 양자화부에 양자화된 값을 입력받아 IDWT를 수행하여 워터마크가 삽입된 2차원 영상을 출력하는 IDWT 수행부;를 포함하여 구성된 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 컴퓨터적 복원부는,

핀홀 배열 모델 방식을 사용하여 요소영상으로부터 컴퓨터적으로 복원 영상을 얻는 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 장치.
컴퓨터적 픽업에 의해 물체를 3차원적으로 위치시켜 요소영상 워터마크를 획득하는 컴퓨터적 픽업단계와;

상기 컴퓨터적 픽업단계에서 획득된 요소영상 워터마크를 2차원 영상에 삽입처리하는 삽입처리단계와;

상기 삽입처리단계에서 삽입처리된 워터마크가 삽입된 2차원 영상을 전송채널을 통해 전송받아 요소영상 워터마크를 추출하는 추출처리단계와;

상기 추출처리단계에서 추출된 요소영상 워터마크에 대해 컴퓨터적 복원을 수행하여 거리에 따른 영상으로 복원하는 컴퓨터적 복원단계;를 포함하여 수행하는 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 방법.
청구항 5에 있어서, 상기 컴퓨터적 픽업단계는,

실제 사물을 촬영하여 요소 영상을 얻는 직접적 픽업 방식을 사용하거나 또는 가상의 3차원 물체를 구성하여 요소 영상을 제작하는 컴퓨터 재생 픽업 방식을 사용하여 요소영상 워터마크를 획득하는 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 방법.
청구항 5에 있어서, 상기 삽입처리단계는,

상기 컴퓨터적 픽업단계에서 획득된 요소영상 워터마크에 대해 랜덤시퀀스를 발생시켜 요소영상 워터마크를 재배열시키는 랜덤시퀀스 발생단계와;

2차원 영상에 대해 DWT를 수행하는 DWT단계와;

상기 DWT단계의 출력에 대해 양자화를 수행하는 양자화단계와;

상기 랜덤시퀀스 발생단계에서 출력된 재배열된 요소영상 워터마크를 입력받고, 상기 양자화단계에 양자화된 값을 입력받아 IDWT를 수행하여 워터마크가 삽입된 2차원 영상을 출력하는 IDWT단계;를 포함하여 수행하는 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 방법.
청구항 5 내지 청구항 7 중 어느 한 항에 있어서, 상기 컴퓨터적 복원단계는, 핀홀 배열 모델 방식을 사용하여 요소영상으로부터 컴퓨터적으로 복원 영상을 얻는 것을 특징으로 하는 3차원 정보를 가지고 있는 집적영상의 요소영상을 워터마크로 사용하는 워터마킹 방법.