KR101169826B1

KR101169826B1 - 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법

Info

Publication number: KR101169826B1
Application number: KR20077011147A
Authority: KR
Inventors: 조안 래치; 크리스티나 고밀라; 제프리 알렌 쿠퍼
Original assignee: 톰슨 라이센싱
Priority date: 2004-11-17
Filing date: 2005-10-26
Publication date: 2012-08-03
Anticipated expiration: 2025-10-26
Also published as: AU2005306936A1; JP4965454B2; US9098916B2; MY140149A; HUE044545T2; ES2739452T3; RU2007122487A; MX2007005651A; PL1812905T3; JP2008521345A; AU2005306936B2; RU2372659C2; WO2006055208A1; KR20070084287A; BRPI0517759B1; TR201911138T4; CN101057258A; CA2587117C; CA2587117A1; EP1812905A1

Abstract

비트-어큐리트 필름 그레인 패턴의 생성은 먼저 비트-어큐리트 변환 계수 세트를 설정함으로써 행해진다. 이 비트-어큐리트 변환 계수 세트는 주파수 필터링 및 후속하는 비트-어큐리트 역변환되어 필름 그레인 패턴을 발생시킨다.

필름 그레인 패턴, 주파수 필터링, 변환 계수, 가우스 난수 이미지, 이산 코사인 변환

Description

사전계산된 변환 계수들에 기초한 비트-어큐리트 필름 그레인 시뮬레이션 방법{BIT-ACCURATE FILM GRAIN SIMULATION METHOD BASED ON PRE-COMPUTED TRANSFORMED COEFFICIENTS}

관련 출원에 대한 상호 참조

본 출원은 15 U.S.C. 119(e)에 의거해 2004년 11월 17일자로 출원된 미국 가특허 출원 제60/628,837호의 우선권을 주장하며, 상기 출원의 개시 내용은 본 명세서에 참조결합되어 있다.

본 발명은 전반적으로 이미지에서의 필름 그레인(film grain)을 시뮬레이션하는 방안에 관한 것이다.

동화상 필름은 필름 베이스 상의 박막에 코팅된 에멀젼에 분산되어 있는 실버 핼라이드 크리스털(silver-halide crystal)을 포함한다. 이러한 크리스털의 노출 및 현상은 개별의 미세한 실버 입자들로 구성된 사진 이미지를 형성한다. 컬러 네거티브에서는, 이 실버가 현상 후에 화학적 제거과정을 거치며, 실버 크리스털이 형성하는 지점에 미세한 염료 얼룩이 발생한다. 이러한 미세 염료 얼룩이 컬러 필름에서의 '그레인'으로 통상 지칭된다. 그레인은 원 에멀젼 상의 실버 크리스털의 임의 형성으로 인해 최종 이미지상에 무작위로 분포되어 있다. 균일하게 노출된 영역내에서, 어떤 크리스털은 노출 후에 현상되지만, 다른 크리스털은 현상되지 않는다.

그레인은 크기 및 모양에서 가변적이다. 필름이 고속일수록, 형성된 실버 덩어리 및 생성된 염료 얼룩이 크며, 이들은 임의 패턴으로 더 쉽게 그룹화하는 경향이 있다. 그레인 패턴은 일반적으로 '입도(granularity)'라고 알려져 있다. 0.0002mm로부터 약 0.002mm로 변하는 개별 그레인을 육안으로 식별할 수는 없다. 대신에, 얼룩으로 지칭되는 그레인들의 그룹을 눈으로 볼 수 있다. 보는 사람은 이러한 얼룩 덩어리를 필름 그레인으로 식별한다. 이미지 해상도가 높아짐에 따라, 필름 그레인의 인지력도 높아진다. 필름 그레인은 영화 및 고해상도 이미지에서는 확실히 두드러지지만, SDTV에서는 점차 그 중요성을 상실하고 있으며, 더 작은 포맷에서는 인지할 수 없다.

동화상 필름은 일반적으로 사진 필름의 노출 및 현상의 물리적 처리 또는 그 이미지의 후속 편집 중 어느 하나에서 기인하는 이미지-의존형 잡음을 포함한다. 사진 필름은 그 사진 에멀젼의 물리적 입도로부터 기인하는 특징적인 의사 임의 패턴(quasi-random pattern) 또는 텍스처를 갖는다. 이와 달리, 유사한 패턴이 계산-생성된 이미지를 사진 필름과 혼합하기 위해 그 계산-생성된 이미지에 대해 시뮬레이션될 수 있다. 이 두 경우에, 이러한 이미지-의존형 잡음이 그레인으로 지칭된다. 아주 흔히, 적당한 그레인 텍스처가 동화상에서 바람직한 특성을 제공한다. 몇몇 경우에, 필름 그레인은 2차원 화상의 올바른 인지를 용이하게 하는 시각적 단서(visual cue)를 제공한다. 필름 그레인은 흔히 하나의 필름 내에서 변하여 시간 기준, 관점 등에 관한 다양한 실마리를 제공한다. 동화상 산업에서는 그레인 텍스처를 제어하기 위한 그 밖의 많은 기술적 및 예술적 이용들이 있다. 따라서, 이미지 처리 및 전송시 이미지의 그레인 외관을 유지하는 것이 동화상 산업에서 요구되고 있다.

여러 상업적으로 이용가능한 제품은 흔히 컴퓨터-생성 오브젝트를 자연 풍경에 혼합하기 위한 필름 그레인 시뮬레이션 능력을 가지고 있다. 그레인 시뮬레이션을 구현하는 제1의 디지털 필름 애플리케이션들 중 하나인 뉴욕 로체스터 소재의 Eastman Kodak사의 Cineon®은 많은 그레인 타입에 대해 매우 현실적인 결과를 제공한다. 그러나, Cineon® 애플리케이션은 큰 크기의 그레인 세팅에 대해 그 애플리케이션이 제공하는 감지가능한 대각 스트립으로 인해 많은 고속 필름에 대해서는 양호한 성능을 제공하지는 못한다. 또한, Cineon® 애플리케이션은, 예를 들어 이미지가 복사되거나 디지털 처리될 때와 같이, 그 이미지가 사전 처리될 때에는 그레인을 적절히 시뮬레이션하지 못한다.

필름 그레인을 시뮬레이션하는 다른 상업용 제품에는 Adobe®AfterEffects®의 플러그 인으로 이용되는 Visual Infinity사의 Grain Surgery^TM이 있다. Grain Surgery^TM 제품은 난수 세트를 필터링함으로써 합성 그레인을 생성하고 있다. 이 방안은 계산이 매우 복잡하다는 단점이 있다.

이러한 종래의 방안들 중 어떠한 방안도 압축 영상에서의 필름 그레인을 복원하는 문제를 해결하지 못한다. 필름 그레인은 영상 시퀀스에서의 중복성을 이용 하는 종래의 공간/시간 방법을 통해서는 일반적으로 압축을 행할 수 없는 고주파수 의사 임의 현상(high frequency quasi-random phenomenon)을 낳는다. MPEG-2 또는 ITU-T Rec.H.264｜ISO/IEC 14496-10 압축 기법을 이용하여 필름-기원 이미지를 처리하는 시도는 대개 수용할 수 없을 정도로 압축률이 낮거나 그레인 텍스처를 완전히 손실하게 하는 결과를 가져온다.

따라서, 필름 그레인을 시뮬레이션하는 방안으로, 특히 비교적 복잡하지 않은 방안이 필요하다.

발명의 개요

본 발명의 원리에 따르면, 필름 그레인 패턴을 시뮬레이션하는 방법이 제공된다. 이 방법은 비트-어큐리트 변환 계수 세트(a set of bit-accurate transformed coefficients)를 획득하는 것으로 시작한다. 그 후에, 비트-어큐리트 변환 계수 세트가 필터링된다. 이어서, 필터링된 비트-어큐리트 변환 계수 세트는 비트-어큐리트 역변환되어 필름 그레인 패턴을 발생시킨다.

도 1은 본 발명의 방법을 실시하는데 유용한 필름 그레인 프로세싱 체인에서의 송신기 및 수신기의 조합을 나타내는 개략적인 블록도.

도 2는 가우스 난수 발생기를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.

도 3은 가우스 난수 룩업 테이블을 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.

도 4는 하나의 가우스 잡음 이미지를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.

도 5는 하나의 가우스 잡음 이미지의 사전계산된 이산 코사인 변환(DCT) 계수 세트를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.

도 6은 복수의 가우스 잡음 이미지의 사전계산된 DCT 계수를 이용하여 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 순서도.

필름 그레인 시뮬레이션을 간단히 살펴보는 것이 비트-어큐리트 필름 그레인 패턴을 생성하는 본 발명의 원리를 이해하는데 유용할 것이다. 도 1은 입력 영상 신호를 수신하여 그 출력부에서 압축된 영상 스트림을 생성하는 송신기(10)의 개략적인 블록도를 보여주고 있다. 송신기(10)는 샘플에 존재할 수 있는 필름 그레인을 나타내는 정보를 또한 생성한다. 실제로, 송신기(10)는 케이블 텔레비전 시스템의 헤드-엔드 어레이의 일부, 또는 압축된 영상을 하나 이상의 다운스트림 수신기(11)(도 1에는 하나만이 도시되어 있음)로 분산시키는 그 밖의 이러한 시스템을 포함할 수 있다. 또한, 송신기(10)는 DVD와 같은 미디어를 제공하는 인코더 형태를 띨 수도 있다. 수신기(11)는 코딩된 영상 스트림을 디코딩하고, 송신기(10)로부터 수신되거나 DVD 등의 경우에는 미디어 자체로부터 직접 수신되는 필름 그레인 정보 및 디코딩된 영상에 따라 필름 그레인을 시뮬레이션하여 시뮬레이션된 필름 그레인을 갖는 출력 영상 스트림을 생성한다. 수신기(11)는 압축된 영상을 디코딩하고, 그 영상에서의 필름 그레인을 시뮬레이션하는 셋톱 박스 또는 그 밖의 이러한 메커니즘 형태를 띨 수도 있다.

필름 그레인의 전반적인 관리는 송신기(10)(즉, 인코더)가 입력 영상에서의 필름 그레인에 관한 정보를 제공하는 것을 필요로 한다. 다시 말해, 송신기(10)는 필름 그레인을 "모델링"한다. 또한, 수신기(11)(즉, 디코더)는 송신기(10)로부터 수신되는 필름 그레인 정보에 따라 필름 그레인을 시뮬레이션한다. 송신기(10)는 영상 코딩 프로세스 동안 필름 그레인을 유지하는데 어려움이 있을 때에는 수신기(11)가 영상 신호에서의 필름 그레인을 시뮬레이션하게 함으로써 압축된 영상의 질을 개선한다.

도 1에 도시된 실시예에서, 송신기(10)는 ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준과 같은 잘 알려진 영상 압축 기법들 중 하나를 이용하여 영상 스트림을 인코딩하는 영상 인코더(12)를 포함한다. 선택적으로, 도 1에서 파선으로 도시되어 있는 필터 등과 같은 형태의 필름 그레인 제거기(14)가 인코더(12)의 업스트림에 존재해 인코딩에 앞서 입력되는 영상 스트림에서의 임의의 필름 그레인을 제거할 수 있다. 입력되는 영상이 어떠한 필름 그레인도 포함하고 있지 않다면, 필름 그레인 제거기가 필요치 않을 것이다.

필름 그레인 모델러(16)는 (존재하는 경우에) 필름 그레인 제거기(14)의 출력 신호뿐만 아니라 입력 영상 스트림을 수신한다. 이러한 입력 정보를 이용하여, 필름 그레인 모델러(16)는 입력되는 영상 신호에서의 필름 그레인을 설정한다. 가장 간단한 형태로, 필름 그레인 모델러(16)는 상이한 미사용 필름(film stock)에 대한 필름 그레인 모델을 함유하는 룩업 테이블을 포함할 수 있다. 입력되는 영상 신호에서의 정보는 영상 신호로의 전환에 앞서 그 이미지를 기록하는데 원래 이용되는 특정한 미사용 필름을 지정할 수도 있어, 필름 그레인 모델러(16)가 이러한 미사용 필름에 대해 적절한 필름 그레인 모델을 선택하게 할 수 있다. 이와 달리, 필름 그레인 모델러(16)는 하나 이상의 알고리즘을 실행해 입력 영상을 샘플링하고, 존재하는 필름 그레인 패턴을 결정하는 프로세서 또는 전용 로직 회로를 포함할 수 있다.

수신기(11)는 송신기(10)로부터 수신되는 압축된 영상 스트림을 디코딩하는 영상 디코더(18)를 전형적으로 포함한다. 디코더(18)의 구조는 송신기(10) 내에서 인코더(12)에 의해 수행되는 압축 타입에 좌우될 것이다. 따라서, 예를 들어, ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준을 이용해 출력 영상을 압축하는 인코더(12)의 송신기(10) 내에서의 이용은 H.264-순응 디코더(18)에 대한 필요성을 제기할 것이다. 수신기(11) 내에서, 필름 그레인 시뮬레이터(20)는 필름 그레인 모델러(16)로부터 필름 그레인 정보를 수신한다. 필름 그레인 시뮬레이터(20)는 결합기(22)를 통한 디코딩된 영상 스트림과의 결합을 위해 필름 그레인을 시뮬레이션하는 성능을 갖춘 프로그램된 프로세서 또는 전용 로직 회로의 형태를 띨 수 있다.

필름 그레인 시뮬레이션은 원 필름 컨텐츠의 룩을 시뮬레이션하는 필름 그레인 샘플을 합성하는 것을 목표로 한다. 앞서 설명한 바와 같이, 필름 그레인 모델링은 도 1의 송신기(10)에서 행해지는 반면에, 필름 그레인 시뮬레이션은 수신기(11)에서 행해진다. 특히, 필름 그레인 시뮬레이션은 디코딩된 영상 스트림 출력의 송신기(10) 업스트림으로부터의 입력 영상 스트림을 디코딩하는 것과 함께 수신기(11)에서 행해진다. 수신기(11)에서 행해지는 디코딩 프로세스가 추가된 필름 그레인을 갖는 이미지를 이용하지 않는다는 점에 유의하기 바란다. 필름 그레인 시뮬레이션은 디코딩된 이미지에서의 시뮬레이션된 필름 그레인을 표시를 위해 합성하는 후-처리 방법을 구성한다. 이런 이유로, ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준은 필름 그레인 시뮬레이션 프로세스에 관한 어떠한 사양도 포함하지 않는다. 그러나, 필름 그레인 시뮬레이션은 입력되는 영상 신호에서의 그레인 패턴에 관한 정보를 필요로 하고, 이 정보는 ITU-T Rec.H.264｜ISO/IEC 14496-10 영상 압축 표준을 이용할 때에 그 압축 표준의 Amendment 1(고화질 영상 확장(Fidelity Range Extension))에 의해 지정되는 것과 같이 일반적으로 SEI(Supplemental Enhancement Information) 메시지로 전송된다.

본 발명의 원리에 따르면, HD DVD 시스템에서 필름 그레인 시뮬레이션용으로 데이터베이스에 저장하는 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 여러 구현예가 본 명세서에 개시되어 있다. 이러한 필름 그레인 패턴 데이터베이스는 전술한 바와 같이 H.264｜MPEG-4 AVC 표준에 따른 필름 그레인 SEI 메시지에서의 파라미터에 따라 필름 그레인 시뮬레이션을 가능하게 한다. 보다 구체적으로, 기존의 또는 장래의 HD DVD 사양을 구현하는 장치 및 시스템은 이러한 필름 그레인 패턴 데이터베이스를 이용하여 각기 상이한 주파수 모델 파라미터에 의해 특징지워지는 상이한 필름 그레인 타입의 샘플들을 저장할 수 있다.

상세히 후술하는 바와 같이, 비트-어큐리트 필름 그레인 패턴을 생성하는 본 발명의 방법은 수신기(11) 내에서 여러 상이한 방식으로 구현 가능하게 하는 기본 전략을 이용한다. 비트-어큐리트 필름 그레인 패턴을 생성하는 기본 전략은 N x N 크기(N은 정수임)의 정수형 변환 계수 세트, 전형적으로 이산 코사인 변환(DCT) 계수(필수적이지는 않음)를 설정함으로써 시작된다. "이미지"란 용어는 이러한 정수형 변환 계수 세트를 때때로 지칭할 것이다. 정수형 변환 계수 세트 또는 이미지를 설정하는 단계는 여러 상이한 방식으로 행해질 수 있다. 예컨대, 설정 단계는 후술하는 바와 같이 정수형 변환 계수의 데이터베이스에 액세스하는 도 1의 수신기(11)에서의 프로세서 또는 이산 로직 회로를 수반할 수 있다. 이와 달리, 수신기(11)에서의 프로세서 또는 이산 로직 회로는 이러한 수들의 데이터베이스를 판독하거나 이들을 직접 생성함으로써 가우스 난수 세트 또는 이미지를 설정할 수 있다. 그 후에, 정수형 DCT가 가우스 난수 이미지에 대해 행해져 정수형 DCT 계수 세트를 발생시킨다.

비트-어큐리트 필름 그레인 패턴을 생성하는 기본 프로세스에서의 다음 단계는 원하는 필름 그레인 크기 및 모양에 따라 정수형 변환 계수를 주파수 필터링하는 것을 수반한다. 예컨대, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 f_HL, f_VL, f_HH 및 f_VH를 이용하여 행해질 수 있으며, 여기서, f_HL, f_VL, f_HH 및 f_VH은 수평 차원에서의 로우 컷 오프(low cut-off) 주파수, 수직 차원에서의 로우 컷 오프 주파수, 수평 차원에서의 하이 컷 오프(high cut-off) 주파수, 수직 차원에서의 하이 컷 오프 주파수를 각각 나타낸다. 주파수 필터링에 이어, 정수형 변환 계수는 역변환되어 데이터베이스에서의 후속 저장을 위한 비트-어큐리트 필름 그레인 패턴을 생성한다. 어떤 경우에는, 계수들의 역변환에 이어 스케일링이 행해질 수도 있다.

실제로, 본 발명의 필름 그레인 패턴 생성 방법은 정수형 DCT 및 역 DCT 동작을 이용하므로, 검증 및 테스트 목적에 유용한 비트 어큐러시를 보장한다. 하지만, 후술하는 바와 같이 기본 전략의 다른 구현들은 서로간에 비트 어큐러시를 반드시 제공하지는 않는다. 특정한 구현을 선택하는 것은 메모리 요건과 계산 비용간의 절충에 좌우될 것이다.

도 2는 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제1 구현예를 도시하고 있다. 도 2의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(100)의 실행시에 개시된다. 다음 단계(101)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이러한 루프로의 진입시, 단계(102)에서는, 가우스 임의값의 이미지를 생성한다. 실제로, 가우스 임의 이미지는 N x N 크기의 값을 갖는다. 도 2의 방법에서, 가우스 임의값의 이미지 생성은 가우스 난수 발생기(103)를 통해 이러한 값들을 생성함으로써 행해진다.

단계(102) 동안에 생성된 가우스 임의값의 이미지는, 다른 비트-어큐리트 변환 기법이 존재하지만, 일반적으로 단계(104) 동안에 정수형 이산 코사인 변환(DCT) 동작에 의해 비트 어큐리트 변환된다. 이어서, 단계(102) 동안에 설정된 정수형 DCT 계수들은 단계(106) 동안에 주파수 필터링된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 f_HL, f_VL, f_HH 및 f_VH를 이용하여 행해진다. 다음 단계(108)에서는, 주파수 필터링된 변환 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 비트-어큐리트 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 단계(108)에 이어, 역 변환된 계수 블록의 스케일링이 비트-어큐리트 필름 그레인 패턴의 강도를 변화시키는데 유용할 것이다.

단계(108)에 이어, 단계(110)에서는, 정수형 IDCT 변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 비트-어큐리트 필름 그레인이 데이터베이스(111)에 저장된다. 단계(102 - 110)는 단계(101)에서 시작된 루프의 실행 동안에 반복된다. 이 루프는 모든 가능한 필름 그레인의 크기 및 모양에 대해 계속된 후, 단계(112) 동안에 루프 실행은 종료되고, 본 방법은 단계(114)에서 종료된다.

비트 어큐러시를 달성하기 위해, 도 2의 방법은 비트-어큐리트 난수 발생기, 및 비트-어큐리트 DCT와 역 DCT 변환 동작을 필요로 한다. 본 방법의 상이한 구현예들 중 비트 어큐러시를 달성하기 위해서는 비트-어큐리트 가우스 난수 발생기의 이용을 필요로 한다. 모든 구현예가 동일한 발생기를 이용하는 한 어떤 특정한 가우스 난수 발생기가 이용되느냐는 그렇게 중요하지 않다. 예컨대, "Numerical Recipes in C: The Art of Scientific Computing"(ISBN 0-521-41108-5) 간행물에 개시되어 있는 박스-뮬러 변환(Box-Muller transformation) 기초 비트-어큐리트 가우스 발생기의 정수 근사치를 이용할 수 있다.

비트-어큐리트 가우스 난수 발생기에 추가하여, 이산 코사인 변환의 비트-어큐리트 구현은 전체 시스템에 대한 비트 어큐러시를 제공할 필요가 있다. 본 명세서에 개시된 실시예들은 DCT의 정수 근사치를 이용한다. 정수형 변환에 의해 얻어진 결과가 플로팅 포인트 DCT에 의해 얻어진 결과에 상당히 가깝다면, 임의의 정수 근사치의 이용이 가능하다. 이 요건은, 변환된 도메인에서 행해진 필터링이 주파수 필터링을 구성한다는 것을 보장한다.

개시된 실시예에서, DCT의 정수형 버전은 이 DCT의 플로팅 포인트 버전을 스케일링함으로써 발생한다. N x N DCT 매트릭스는 다음과 같이 계산될 수 있다.

여기서, C(i,j)는 j행과 i열에서의 변환 매트릭스의 계수를 나타낸다.

이어서, 정수형 매트릭스가 다음과 같이 계산된다.

여기서, round(x)는 x의 가장 가까운 정수 근사치로 복귀하고, scaling_factor는 양의 정수값이다. 스케일링 인자의 값은 그 변환을 계산하는데 필요한 비트 수(스케일링 인자가 작을수록, 필요한 비트들이 적다)뿐만 아니라 DCT의 정수 근사치의 질(스케일링 인자가 클수록, 더 양호한 근사치)을 결정한다.

DCT의 정수 근사치가 규정되었다면, DCT 변환은 다음과 같이 계산된다.

여기서, Cint^T는 변환 매트릭스의 전치 버전(transposed version)을 나타낸다. 유사하게, 역변환이 다음과 같이 계산된다.

8 x 8 DCT가 이용되는 특정한 실시예에서는, 정수 근사치가 다음과 같을 것이다.

여기서, 스케일링 인자는 16이다.

도 3은 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제2 구현예를 보여주고 있다. 도 3의 방법은, 초기화(이러한 초기화가 반 드시 행해질 필요는 없음)가 행해지는 시작 단계(200)의 실행시에 개시된다. 다음 단계(201)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이러한 루프로의 진입시, 단계(202)에서는, 가우스 임의값 세트 또는 이미지를 생성한다. 실제로, 가우스 임의 이미지는 N x N 크기의 값을 갖는다. 가우스 임의값의 이미지 생성은, 도 3의 방법의 수행 동안에, 가우스 난수 룩업 테이블(LUT : 203)로부터의 가우스 임의값 세트를 판독함으로써 행해진다.

단계(202) 동안에 얻어진 가우스 임의값의 이미지는, 다른 비트-어큐리트 변환 기법이 존재하지만, 일반적으로 단계(204) 동안에 정수형 이산 코사인 변환(DCT) 동작에 의해 비트 어큐리트 변환된다. 이어서, 단계(202) 동안에 설정된 정수형 변환 계수들은 단계(206) 동안에 주파수 필터링된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 f_HL, f_VL, f_HH 및 f_VH를 이용하여 행해진다. 다음 단계(208)에서는, 주파수 필터링된 변환 계수 블록이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 비트-어큐리트 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 주파수 필터링된 역변환 계수 블록의 스케일링이 유용할 것이다.

그 후, 단계(210)에서는, 정수형 역변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 필름 그레인 패턴이 데이터베이스(211)에 저장된다. 단계(201)에서 시작된 루프 내의 단계(202 - 210)는 모든 가능한 필름 그레인의 크기 및 모 양에 대해 반복된 후, 단계(212) 동안에 루프 실행은 종료되고, 본 방법은 단계(214)에서 종료된다. 이런 식으로, 데이터베이스(211)는 영상 신호에서의 필름 그레인을 시뮬레이션할 때 장래 이용을 위해 복수의 필름 그레인 패턴을 저장한다.

도 2의 방법에 비해, 도 3의 필름 그레인 시뮬레이션 방법은 가우스 난수 발생기를 이용하지 않는다. 대신에, 도 3의 방법은 사전계산된 가우스 임의값을 포함하는 룩업 테이블(203)을 이용한다. 이 방안은 구현에 필요한 필수 하드웨어를 단순화시킨다.

도 4는 본 발명의 원리에 따라 비트 어큐리트 필름 그레인 패턴을 생성하는 방법의 제3 구현예를 보여주고 있다. 도 4의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(300)의 실행시에 개시된다. 다음으로, 단계(302)에서는, 가우스 임의값 세트 또는 이미지를 생성한다. 실제로, 가우스 임의 이미지는 N x N 크기의 값을 갖는다. 가우스 임의값의 이미지 생성은, 도 4의 방법에서, 가우스 난수 룩업 테이블(LUT : 303)로부터의 가우스 임의값 세트를 판독함으로써 행해진다. 가우스 난수 LUT(303)를 생성하는데 이용되는 방법은 비트 어큐러시를 필요로 하지 않는다. 필름 그레인 패턴 데이터베이스 생성의 모든 구현예들이 동일한 LUT를 이용하는 한, 그 결과는 비트 어큐러시를 보장한다. 그러나, 비트 어큐리트 방법을 이용해 이러한 LUT를 생성할 때, LUT 생성은 이 LUT의 영구 저장의 필요성을 피해 필름 그레인 패턴 데이터베이스 생성 프로세스의 초기에 행해질 수 있다. 하나의 변환(단계 304)이 전체의 필름 그레인 패턴 데이터베이스의 생성에 대해 계산될 필요가 있다면, 데이터베이스에 저장된 필름 그레인 패턴의 임의성은 앞서 설명한 구현예(도 2 및 도 4)에서 얻어진 결과에 비해 줄어든다. 하지만, 도 4에 도시된 제3 구현예는 계산 필요성이 더 낮아, 하드웨어 및/또는 실시간 구현에 유용하다. 단계(302) 동안에 생성된 가우스 임의값의 이미지는, 다른 비트-어큐리트 변환 기법이 존재하지만, 일반적으로 단계(304) 동안에 정수형 이산 코사인 변환(DCT) 동작에 의해 비트 어큐리트 변환된다. 단계(304)에 이어, 단계(305)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이 루프 내의 제1 단계인 단계(306)에서는, 단계(304) 동안에 설정된 정수형 DCT 계수의 주파수 필터링이 시작된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 f_HL, f_VL, f_HH 및 f_VH를 이용하여 행해진다. 단계(306)에 이어, 단계(308)에서는, 주파수 필터링된 정수형 DCT 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 비트-어큐리트 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 단계(308)에 이어, 역변환된 계수들로부터 생성된 필름 그레인 패턴의 스케일링이 유용할 것이다. 그 후, 단계(310)에서는, 필름 그레인 패턴이 데이터베이스(311)에 저장된다.

단계(305)에서 시작된 루프 내의 단계(306 - 310)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 행해진 후, 단계(312) 동안에 루프 실행은 종료되고, 본 방법은 단계(314)에서 종료된다. 이런 식으로, 데이터베이스(311)는 모든 필름 그 레인의 크기 및 모양에 대한 필름 그레인 패턴을 저장한다.

도 5는 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제4 구현예를 보여주고 있다. 도 5의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(400)의 실행시에 개시된다. 다음으로, 단계(402)에서는, DCT 계수 세트 또는 이미지가 가우스 임의값의 이미지로부터 생성되는 룩업 테이블(403)로부터 판독된다. 실제로, LUT(403)로부터 판독되는 DCT 계수들의 이미지는 N x N 크기를 갖는다. 따라서, 앞서 설명한 도 2 내지 도 4의 구현예와는 달리, 도 5의 필름 그레인 시뮬레이션 방법은, LUT(403)로부터 판독되는 값이 LUT로의 로딩 이전에 이미 이러한 변환을 경험했기 때문에, 개별의 정수형 DCT 동작을 행할 필요가 없다.

단계(402)에 이어, 단계(405)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 시작한다. 이 루프 내의 제1 단계인 단계(406)에서는, 단계(402) 동안에 얻어진 정수형 DCT 계수의 주파수 필터링이 시작된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 f_HL, f_VL, f_HH 및 f_VH를 이용하여 행해진다. 단계(406)에 이어, 단계(408)에서는, 주파수 필터링된 정수형 DCT 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 필름 그레인 패턴을 발생시킨다. 어떤 환경하에서는, 단계(408)에 이어, 역변환된 계수 블록의 스케일링이 유용할 것이다. 그 후, 단계(410)에서는, 정수형 IDCT 변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 필름 그레인 패턴이 데이터베이스(411)에 저장된다.

단계(405)에서 시작된 루프 내의 단계(406 - 410)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복된 후, 단계(412) 동안에 루프 실행은 종료되며, 본 방법은 단계(414)에서 종료된다. 이런 식으로, 데이터베이스(411)는 모든 필름 그레인의 크기 및 모양에 대한 필름 그레인 패턴을 저장한다.

도 5의 방법은 하나의 사전계산된 변환 계수 블록을 이용하여 데이터베이스(411)의 필름 그레인 패턴을 생성한다. 도 2 내지 도 4와 관련하여 앞서 설명한 구현예에 비해, 도 5의 구현예는 정수형 DCT 변환을 행하는 단계를 없애, 계산 비용을 줄인다.

도 6은 본 발명의 원리에 따라 비트-어큐리트 필름 그레인 패턴을 생성하는 방법의 제5 구현예를 보여주고 있다. 도 6의 방법은, 초기화(이러한 초기화가 반드시 행해질 필요는 없음)가 행해지는 시작 단계(500)의 실행시에 개시된다. 다음으로, 단계(501)에서는, 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복하는 루프로의 진입을 개시한다. 이 루프 내의 제1 단계인 단계(502)에서는, 룩업 테이블(LUT : 503)로부터 정수형 DCT 계수 세트의 이미지의 판독이 시작된다. 실제로는, DCT 계수들의 이미지가 N x N 크기를 갖는다. 도 5의 구현예와 같이, 도 6의 구현예는 정수형 DCT 계수 세트를 LUT(503)로부터 획득함으로써 정수형 변환 계수들의 이미지를 설정한다. 실제로, LUT(503) 내의 값들은 후에 정수형 DCT되는 가우스 임의값들의 이미지로부터 기원한다. 따라서, 앞서 설명한 도 2 내지 도 4의 구현예들과는 다르지만, 도 5의 구현예와는 같은 도 6의 구현예는, 룩업 테이블(503)로부터 판독되는 값이 이 테이블에서의 로딩 이전에 이미 이러한 변환을 경험했기 때문에, 개별의 정수형 DCT를 행할 필요가 없다.

단계(502)에 이어, 단계(506)에서는, 정수형 DCT 계수들이 주파수 필터링된다. 전형적으로, 주파수 필터링은 원하는 필름 그레인 패턴을 특징지우는 (2차원에서의) 필터의 차단 주파수를 나타내는 사전설정된 컷 주파수 세트 f_HL, f_VL, f_HH 및 f_VH를 이용하여 행해진다. 단계(506)에 이어, 단계(508)에서는, 주파수 필터링된 정수형 DCT 계수들이 역 비트-어큐리트 변환, 전형적으로 정수형 역 이산 코사인 변환(IDCT)(필수적이지는 않음)되어 필름 그레인 블록을 발생시킨다. 어떤 환경하에서는, 단계(508)에 이어, 역변환된 계수 블록의 스케일링이 유용할 것이다. 그 후, 단계(510)에서는, 정수형 IDCT 변환(및 스케일링이 행해진 경우에는 스케일링)에 기인한 필름 그레인 블록이 데이터베이스(511)에 저장된다.

단계(501)에서 시작된 루프 내의 단계(502 - 510)는 모든 가능한 필름 그레인의 크기 및 모양에 대해 반복된 후, 단계(512) 동안에 루프 실행은 종료되며, 본 방법은 단계(514)에서 종료된다. 이런 식으로, 데이터베이스(511)는 모든 필름 그레인의 크기 및 모양에 대한 필름 그레인 패턴을 저장한다.

도 6에 관해 설명한 필름 그레인 패턴 생성의 구현예는, 도 2 및 도 3의 구현예와 같이, 상이한 정수형 DCT 계수 세트를 이용한다. 상이한 정수형 DCT 계수 세트를 이용하는 것은 하나의 정수형 변환 계수 블록을 이용하는 도 1, 도 4 및 도 5의 구현예에 비해 더 풍부한 필름 블록 패턴의 데이터베이스 생성을 가능하게 한다. 도 1, 도 4 및 도 5에 관해 설명한 구현예들이 저장 및 계산 요건을 감소시키지만, 이러한 구현예들은 성능면에서 떨어지는데, 이는 동일한 잡음 패턴이 모든 필름 그레인 패턴을 생성하는 기준으로 작용하기 때문이다.

이상, 영상 신호에서의 필름 그레인을 시뮬레이션하기 위해 적어도 하나의 필름 그레인 패턴, 및 바람직하게는 복수의 필름 그레인 패턴을 생성하는 방안의 여러 상이한 구현예들에 대해 설명하였다.

Claims

필름 그레인(film grain)의 패턴을 생성하는 방법으로서,

(a) 한 세트의 비트-어큐리트 변환 계수(bit-accurate transformed coefficient)들을 설정하는 단계;

(b) 상기 한 세트의 비트-어큐리트 변환 계수들을 주파수 필터링(frequency filtering)하는 단계; 및

(c) 필름 그레인 패턴을 생성하기 위해, 상기 주파수 필터링된 변환 계수들에 대해 비트-어큐리트 역변환을 행하는 단계

를 포함하는 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 단계 (a) 내지 (c)는, 필름 그레인의 모든 가능한 크기들 및 모양들에 대해 반복되는, 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 필름 그레인 패턴을 데이터베이스에 저장하는 단계(d)를 더 포함하는 필름 그레인 패턴 생성 방법.
제3항에 있어서,

상기 단계 (a) 내지 (d)는 필름 그레인의 모든 가능한 크기들 및 모양들에 대해 반복되는, 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 필름 그레인 패턴을 스케일링하는 단계를 더 포함하는 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 한 세트의 비트-어큐리트 변환 계수들을 설정하는 단계는, 데이터베이스로부터 한 세트의 정수형 이산 코사인 변환 계수(integer Discrete Cosine Transformed coefficient)들을 판독하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 한 세트의 비트-어큐리트 변환 계수들을 설정하는 단계는, 필름 그레인의 모든 가능한 크기들 및 모양들에 대해 데이터베이스로부터 한 세트의 정수형 이산 코사인 변환 계수들을 판독하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 한 세트의 비트-어큐리트 변환 계수들을 설정하는 단계는,

가우스 난수(Gaussian random number)의 이미지를 생성하는 단계; 및

상기 가우스 난수의 이미지에 대해 정수형 이산 코사인 변환을 행하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 한 세트의 비트-어큐리트 변환 계수들을 설정하는 단계는,

(i) 가우스 난수의 이미지를 생성하는 단계;

(ii) 상기 가우스 난수의 이미지에 대해 정수형 이산 코사인 변환을 행하는 단계; 및

(iii) 필름 그레인의 모든 가능한 크기들 및 모양들에 대해 상기 단계 (i) 및 (ii)를 반복하는 단계

를 포함하는 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 주파수 필터링 단계는, 원하는 필름 그레인 패턴을 특징지우는 필터의 수평 차원에서의 로우 컷-오프(low cut-off) 주파수, 상기 필터의 수직 차원에서의 로우 컷 오프 주파수, 상기 필터의 수평 차원에서의 하이 컷 오프(high cut-off) 주파수, 상기 필터의 수직 차원에서의 하이 컷 오프 주파수를 각각 나타내는 한 세트의 사전설정된 컷 주파수들 f_HL, f_VL, f_HH 및 f_VH을 이용하는 필름 그레인 패턴 생성 방법.
제1항에 있어서,

상기 주파수 필터링된 변환 계수들에 대해 비트-어큐리트 역변환을 행하는 단계는, 정수형 역 이산 코사인 변환을 행하는 단계를 포함하는 필름 그레인 패턴 생성 방법.
(a) 한 세트의 비트-어큐리트 변환 계수들을 설정하는 것,

(b) 상기 한 세트의 비트-어큐리트 변환 계수들을 주파수 필터링하는 것, 및

(c) 필름 그레인 패턴을 생성하기 위해 상기 주파수 필터링된 변환 계수들에 대해 비트-어큐리트 역 변환을 행하는 것

에 의해 필름 그레인의 패턴을 생성하기 위한 프로세서 및 전용 로직 회로 중 하나를 포함하는 필름 그레인 패턴 생성 장치.
제12항에 있어서,

상기 필름 그레인 패턴을 저장하기 위한 제1 메모리를 더 포함하는 필름 그레인 패턴 생성 장치.
제12항에 있어서,

상기 한 세트의 비트-어큐리트 변환 계수들을 설정하는 것은, 적어도 한 세트의 정수형 이산 코사인 변환 계수들을 제2 메모리에 저장하는 것을 포함하는 필름 그레인 패턴 생성 장치.
제13항에 있어서,

상기 한 세트의 비트-어큐리트 변환 계수들을 설정하는 것은, 복수의 세트의 정수형 이산 코사인 변환 계수들을 제2 메모리에 저장하는 것을 포함하는 필름 그레인 패턴 생성 장치.
제12항에 있어서,

상기 프로세서 및 전용 로직 회로 중 하나가,

가우스 난수 이미지를 생성하는 가우스 난수 발생기; 및

상기 한 세트의 비트-어큐리트 변환 계수들을 생성하기 위해 상기 가우스 난수 이미지에 대해 정수형 이산 코사인 변환을 행하는 수단

을 포함하는 필름 그레인 패턴 생성 장치.
제12항에 있어서,

상기 프로세서 및 전용 로직 회로 중 하나가,

가우스 난수 이미지를 저장하기 위한 제2 메모리; 및

상기 한 세트의 비트-어큐리트 변환 계수들을 생성하기 위해 상기 가우스 난수 이미지에 대해 정수형 이산 코사인 변환을 행하는 수단

을 포함하는 필름 그레인 패턴 생성 장치.
필름 그레인의 패턴을 생성하기 위한 장치로서,

한 세트의 비트-어큐리트 변환 계수들을 설정하는 수단;

상기 한 세트의 비트-어큐리트 변환 계수들을 주파수 필터링하는 수단; 및

필름 그레인 패턴을 생성하기 위해, 상기 주파수 필터링된 변환 계수들에 대해 비트-어큐리트 역 변환을 행하는 수단

을 포함하는 필름 그레인 패턴 생성 장치.