KR100816929B1

KR100816929B1 - 비디오 묘화장치와 방법 및 비디오 묘화프로그램을 기록한컴퓨터 독출가능 기록매체

Info

Publication number: KR100816929B1
Application number: KR1020060054463A
Authority: KR
Inventors: 요시유키 고코지마; 가오루 스기타; 마사히로 세키네; 이사오 미하라; 스미히코 야마모토
Original assignee: 가부시끼가이샤 도시바
Priority date: 2005-08-31
Filing date: 2006-06-16
Publication date: 2008-03-27
Anticipated expiration: 2026-06-16
Also published as: CN1924931A; US20090016429A1; US20070046666A1; US7420559B2; KR20070025965A; JP2007066012A

Abstract

본 발명의 장치는, 좌표변환, 카메라, 지오메트리, 광원 및 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하는 기억부와, CG데이터의 좌표계를 카메라 좌표계로 변환하는 변환부, 샘플링한 점을 통과하는 시선벡터와 오브젝트의 교점의 3차원(3D) 좌표를 계산하는 계산부, 상기 교점의 3차원 모션벡터를 계산하는 계산부, 상기 교점의 컬러값을 계산하는 계산부, 상기 3차원 좌표에서의 교점의 오브젝트 ID를 할당하는 할당부, 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하는 투영부, 상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 오브젝트 ID를 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 기억부, 현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 계산부, 상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 계산부, 상기 고해상도 비디오 데이터를 기억하는 기억부 및, 상기 고해상도 비디오 데이터를 제시하는 제시부를 구비하여 구성된 것을 특징으로 한다.

Description

비디오 묘화장치와 방법 및 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체 {VIDEO RENDERING APPARATUS AND METHOD AND COMPUTER READABLE MEDIUM STORING A VIDEO RENDERING PROGRAM}

도 1은 본 발명의 제1실시형태에 따른 비디오 묘화장치의 블록도,

도 2는 도 1의 CG데이터 기억부에 기억되어 있는 CG데이터의 일례를 나타낸 도면,

도 3은 도 1의 좌표변환부에 의해 좌표변환되는 CG데이터의 일례를 나타낸 도면,

도 4는 본 발명의 제1실시형태에서의 3차원 모션벡터를 나타낸 도면,

도 5는 정점의 오브젝트 ID를 나타낸 도면,

도 6은 도 1의 좌표변환부의 처리의 흐름을 나타낸 플로우차트,

도 7은 도 1의 교점좌표 계산부의 처리의 흐름을 나타낸 플로우차트,

도 8은 도 1의 교점 모션벡터 계산부의 처리의 흐름을 나타낸 플로우차트,

도 9는 도 1의 교점 컬러 계산부의 처리의 흐름을 나타낸 플로우차트,

도 10은 도 1의 교점 컬러 계산부에 의해 수행되는 교점 컬러 계산수법을 나타낸 플로우차트,

도 11은 도 1의 교점 오브젝트 ID 할당부의 처리의 흐름을 나타낸 플로우차 트,

도 12는 도 1의 교점 투영부의 처리의 흐름을 나타낸 플로우차트,

도 13은 도 1의 제1해상도 비디오 시퀀스 기억부에 기억되어 있는 저해상도 비디오 데이터의 일례를 나타낸 도면,

도 14는 도 1의 제2해상도 비디오 계산부의 처리의 흐름을 나타낸 플로우차트,

도 15의 (a) 내지 (f)는 도 1의 제2해상도 비디오 계산부에서의 중해상도 비디오 데이터의 계산수법을 설명하기 위한 도면,

도 16은 도 1의 제3해상도 비디오 계산부의 처리의 흐름을 나타낸 플로우차트,

도 17의 (a) 내지 (f)는 도 1의 제3해상도 비디오 계산부에서의 고해상도 비디오 데이터의 계산수법의 일례를 나타낸 도면,

도 18은 본 발명의 제2실시형태에서의 3차원 모션벡터를 나타낸 도면,

도 19는 본 발명의 제2실시형태에서의 도 1의 제2해상도 비디오 계산부의 처리의 흐름을 나타낸 플로우차트,

도 20의 (a) 내지 (f)는 본 발명의 제2실시형태에서의 도 1의 제2해상도 비디오 계산부에서의 중해상도 비디오 데이터의 계산수법을 설명하기 위한 도면,

도 21은 본 발명의 제3실시형태에서의 3차원 모션벡터를 나타낸 도면,

도 22는 본 발명의 제3실시형태에서의 도 1의 제2해상도 비디오 계산부의 처리의 흐름을 나타낸 플로우차트,

도 23의 (a) 내지 (f)는 본 발명의 제3실시형태에서의 도 1의 제2해상도 비디오 계산부에서의 중해상도 비디오 데이터의 계산수법을 설명하기 위한 도면,

도 24는 본 발명의 제4실시형태에 따른 비디오 묘화장치의 블록도,

도 25는 본 발명의 제5실시형태에 따른 비디오 묘화장치의 블록도,

도 26은 본 발명의 제6실시형태에 따른 비디오 묘화장치의 블록도,

도 27은 본 발명의 제7실시형태에 따른 비디오 묘화장치의 블록도,

도 28은 비디오 블록의 일례를 나타낸 도면,

도 29는 본 발명의 제8실시형태에 따른 비디오 묘화장치의 블록도,

도 30은 본 발명의 제9실시형태에 따른 비디오 묘화장치의 블록도,

도 31은 본 발명의 제10실시형태에 따른 비디오 묘화장치의 블록도,

도 32는 본 발명의 제11실시형태에 따른 비디오 묘화장치의 블록도,

도 33은 본 발명의 제12실시형태에 따른 비디오 묘화장치의 블록도,

도 34는 본 발명의 제13실시형태에 따른 비디오 묘화장치의 블록도,

도 35는 본 발명의 제16실시형태에 따른 비디오 묘화장치의 블록도이다.

본 발명은 비디오를 묘화하기 위한 비디오 묘화장치, 방법 및 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체에 관한 것이다.

컴퓨터 그래픽스(computer graphics: CG)의 묘화에 있어서, 글로발 일루미네 이션(global illumination: 광범위한 조명)이라 불리는 기술이 사용되고 있다. 글로발 일루미네이션이란, 신(scene: 장면) 내의 오브젝트(object: 객체)를 묘화할 때, 그 오브젝트의 주위에 있는 다른 오브젝트로부터의 간접광의 영향을 고려하여 조명계산을 수행하는 기술이다.

종래의 조명계산에서는 오브젝트에 닿은 광이 반사해서 다른 오브젝트를 비추는 효과를 재현할 수 없기 때문에, 광이 직접 닿지 않는 부분에는 환경광이라 불리는 균일한 광이 닿고 있는 것이라고 간주해서 조명계산을 수행한다. 이에 대해, 글로발 일루미네이션에서는 현실 세계와 마찬가지의 반사효과나 집광효과를 표현할 수 있기 때문에, 보다 사실적인 비디오를 묘화하는 것이 가능하게 된다.

글로발 일루미네이션에서의 간접광의 계산수법에는, 예컨대 라디오시티(radiosity: 컴퓨터 그래픽스에서 확산광을 계산하는 방법)나 포톤맵(photonmap), 패스 트레이싱(path tracing: 경로 투사) 등 몇 가지의 종류가 있지만, 이들은 모두 비디오의 픽셀(pixel: 화소)을 통과하는 시선[광선(ray)]과 오브젝트의 교차판정에 기초를 두고 있다. 따라서, 기본적으로 계산시간은 이미지의 해상도에 비례한다.

이 때문에, 이미지의 모든 픽셀에 있어서 광선과 오브젝트의 교차판정을 수행하는 것이 아니라, 적당한 간격으로 배치한 저해상도의 샘플링점에서만 교차판정을 수행하고, 후에 그들을 필터링해서 고해상도화함으로써 계산시간을 단축하고, 인터랙티브하게 글로발 일루미네이션 비디오를 묘화하는 시도가 이전부터 이루어지고 있다.

이들 시도에서는, 샘플링점을 균등한 간격으로 배치하는 것이 아니라, 시간적으로 크게 변화하는 곳에 집중적으로 배치시키도록 하거나, 오브젝트의 윤곽선이 흐려지지 않도록 필터링의 탭(tap)위치(어느 점을 필터링하는가를 나타냄)를 바꾸는 등의 궁리가 이루어지고 있다(예컨대, K. Bala, B. Walter, and D. P. Greenberg, "Combining Edges and Points for Interactive High-Quality Rendering", SIGGRAPH2003 참조).

한편, 컴퓨터 비전(computer vision)의 연구분야에서는, 저해상도의 동화상(moving image)으로부터 고해상도의 동화상을 복원하는 연구가 행해지고 있다. 이들 연구는, 1프레임의 이미지만을 이용하는 것과, 복수 프레임의 이미지를 이용하는 것의 크게 2가지 카테고리로 나누어진다. 전자는 얻어지는 정보의 양에 제한이 있기 때문에 복원정밀도는 그다지 높지 않지만, 계산을 비교적 안정하게 행할 수 있다고 하는 특징을 가진다. 이에 대해, 후자는 복수 프레임의 정보를 이용하기 때문에 논리적인 복원정밀도는 높지만, 복수 프레임 사이의 서브픽셀(subpixel) 레벨에서의 매칭을 계산하지 않으면 안되는데, 이 계산을 안정하게 행하는 일이 어렵다(예컨대, Sung Cheol Park, Min Kyu Park, and Moon Gi Kang, "Super-Resolution Image Reconstruction: A Technical Overview", IEEE SIGNAL PROCESSING MAGAZINE, May 2003 참조).

상기한 바와 같이, 종래의 비디오 묘화장치에서는, 글로발 일루미네이션 비디오를 묘화할 때에 저해상도의 샘플링점에서만 광선과 오브젝트의 교차판정을 수행하고, 후에 그들을 필터링해서 고해상도화함으로써 계산시간의 단축을 도모하고 있다.

그러나, 고해상도화의 계산에 있어서 1프레임의 샘플링점 밖에 이용하고 있지 않기 때문에, 고해상도 비디오의 품질을 높게 하기 위해서는 1프레임당 샘플링점의 수를 어느 정도 많게 하지 않으면 안된다. 즉, 계산시간의 단축과 고품질의 요구를 만족시키는 것이 어렵다.

한편, 컴퓨터 비전의 분야에서는 복수 프레임을 이용한 고해상도화 기술이 연구되고 있고, 이 기술을 글로발 일루미네이션의 계산에 응용하는 것을 생각할 수 있다. 그렇지만, 그러한 응용을 위해 필요하게 되는 복수 프레임 사이의 서브픽셀 매칭을 안정하게 계산할 수 없다.

특히, 오브젝트의 모양[텍스처(texture)]이 동질(homogeneous)인 경우나, 오브젝트의 휘도가 시간에 따라 변화하는 경우에, 매칭에러가 종종 발생한다. 상술한 Sung Cheol Park 등에 의한 문헌에는, 통계적인 에러 모델에 기초해서 반복계산함으로써 매칭에러의 영향을 작게 하는 수법 등이 기재되어 있다. 그렇지만, 이 수법은 계산량이 크고, 인터랙티브한 용도로는 그다지 적당하지 않다.

본 발명은, 상술한 바와 같은 사정을 고려하여 이루어진 것으로, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 비디오 묘화장치, 방법 및 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체를 제공하는 것을 목적으로 한다.

본 발명의 제1국면(局面)에 따르면, 좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하는 제1기억부와, 상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하는 변환부, 상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와, 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하는 제1계산부, 상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하는 제2계산부, 상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하는 제3계산부, 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하는 할당부, 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하는 투영부, 상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부, 현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 중해상도 계산부, 상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 고해상도 계산부, 상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 제2기억부 및, 상기 고해상도 비디오 데이터를 제시하는 제시부를 구비하여 구성된 비디오 묘화장치가 제공된다.

본 발명의 제2국면에 따르면, 3차원 데이터 처리부와 2차원 데이터 처리부를 구비하는 비디오 묘화장치에 있어서, 상기 3차원 데이터 처리부가, 좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하는 제1기억부와, 상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하는 변환부, 상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와, 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하는 교점 계산부, 상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하는 제1계산부, 상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하는 제2계산부, 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하는 할당부, 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하는 투영부 및, 상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부를 구비하고 있고, 상기 2차원 데이터 처리부가, 상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부와, 현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 중해상도 계산부, 상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 고해상도 계산부, 상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 제2기억부 및, 상기 고해상도 비디오 데이터를 제시하는 제시부를 구비하고 있는 비디오 묘화장치가 제공된다.

본 발명의 제3국면에 따르면, 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환된 CG데이터를 이용해서, 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와 3차원(3D) 공간 내의 오브젝트의 교점의 복수의 2차원 좌표, 그 교점의 3차원 좌표와 그 3차원 좌표에서의 교점의 3차원 모션벡터를 투영면에 투영해서 얻은 교점의 복수의 2차원 모션벡터, 상기 교점의 3차원 좌표에서의 교점의 복수의 컬러값 및, 오브젝트마다 다른 교점의 복수의 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부와, 현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 중해상도 계산부, 상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 고해상도 계산부, 상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 기억부 및, 상기 고해상도 비디오 데이터를 제시하는 제시부를 구비하여 구성된 것을 특징으로 하는 비디오 묘화장치가 제공된다.

본 발명의 제4국면에 따르면, 좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하는 제1기억부를 준비하는 단계와, 상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하는 단계, 상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하는 단계, 상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하는 단계, 상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하는 단계, 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하는 단계, 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하는 단계, 상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부를 준비하는 단계, 현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 단계, 상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 단계, 상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 제2기억부를 준비하는 단계 및, 상기 고해상도 비디오 데이터를 제시하는 단계를 구비하여 이루어진 비디오 묘화방법이 제공된다.

본 발명의 제5국면에 따르면, 컴퓨터가 좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하도록 명령하는 수단과, 상기 컴퓨터가 상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하도록 명령하는 수단, 상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하도록 명령하는 수단, 상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하도록 명령하는 수단, 상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하도록 명령하는 수단, 상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하도록 명령하는 수단, 상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하도록 명령하는 수단, 상기 컴퓨터가 상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하도록 명령하는 수단, 상기 컴퓨터가 현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하도록 명령하는 수단, 상기 컴퓨터가 상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하도록 명령하는 수단, 상기 컴퓨터가 상기 고해상도 비디오 데이터를 프레임 단위로 기억하도록 명령하는 수단 및, 상기 컴퓨터가 상기 고해상도 비디오 데이터를 제시하도록 명령하는 수단으로서 기능하도록 하기 위한 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체가 제공된다.

(발명의 상세한 설명)

이하, 도면을 참조하면서 본 발명의 실시형태에 따른 비디오 묘화장치, 방법 및 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체에 대해 상세히 설명한다.

본 발명의 각 실시형태는, 상술한 사정을 고려하여 이루어진 것으로, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 비디오 묘화장치, 방법 및 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체를 제공하는 것을 목적으로 한다.

본 발명의 실시형태에 따른 비디오 묘화장치, 방법 및 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체에 의하면, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화할 수 있다.

(제1실시형태): 뒤의 프레임의 중합(superimposition)

본 발명의 제1실시형태에 따른 비디오 묘화장치에 대해 도 1을 참조해서 설명한다.

본 실시형태의 비디오 묘화장치는, 도 1에 나타낸 바와 같이, CG데이터 기억부(101), 좌표변환부(102), 교점좌표 계산부(103), 교점 모션벡터 계산부(104), 교점 컬러 계산부(105), 교점 오브젝트 ID 할당부(106), 교점 투영부(107), 제1해상도 비디오 시퀀스 기억부(108), 제2해상도 비디오 계산부(109), 제3해상도 비디오 계산부(110), 고해상도 비디오 기억부(111), 제시부(112) 및 제어부(113)을 갖추고 있다. 도 1 이하의 도면에서는, 제시부(112)는 비디오 묘화장치에 포함되어 있지 않지만, 포함시켜도 좋다.

CG데이터 기억부(101)는, 좌표변환에 관한 데이터, 카메라(도시하지 않음)에 관한 데이터, 지오메트리(geometry: 기하)에 관한 데이터, 광원에 관한 데이터 및 텍스처(texture)에 관한 데이터로 구성되는 CG데이터를 기억하고 있다.

좌표변환부(102)는, CG데이터 기억부(101)로부터 취득한 CG데이터에 좌표변환을 수행하여 시선으로부터 본 좌표계(카메라 좌표계)로 변환한다.

교점좌표 계산부(103)는, 좌표변환부(102)에 의해 계산된 좌표변환후의 CG데이터를 이용해서, 광선(ray)과 오브젝트(object: 객체)의 교점의 3차원 좌표를 계산한다.

교점 모션벡터 계산부(104)는, 좌표변환부(102)에 의해 계산된 좌표변환후의 CG데이터를 이용해서, 교점좌표 계산부(103)에 의해 계산된 교점의 3차원 좌표에서의 3차원 모션벡터를 계산한다. 교점 모션벡터 계산부(104)는 교점의 3차원 모션벡터를 오브젝트의 다각형 면을 구성하는 정점(頂点)으로부터 보간에 의해 계산한다.

교점 컬러 계산부(105)는, 좌표변환부(102)에 의해 계산된 좌표변환후의 CG데이터를 이용해서, 교점좌표 계산부(103)에 의해 계산된 3차원 좌표에서의 교점의 컬러값을 계산한다. 교점 컬러 계산부(105)는 3차원 좌표에서의 교점의 컬러값을 오브젝트의 다각형 면을 구성하는 정점으로부터 보간에 의해 계산한다.

교점 오브젝트 ID 할당부(106)는, 좌표변환부(102)에 의해 계산된 좌표변환 후의 CG데이터를 이용해서, 교점좌표 계산부(103)에 의해 계산된 교점의 3차원 좌표에서의 각각의 오브젝트에 다른 오브젝트 ID를 할당한다.

교점 투영부(107)는, 좌표변환부(102)에 의해 계산된 좌표변환후의 CG데이터를 이용해서, 교점좌표 계산부(103)에 의해 계산된 교점의 3차원 좌표와, 교점 모션벡터 계산부(104)에 의해 계산된 교점의 3차원 모션벡터를 투영면에 투영함으로써, 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 계산한다.

제1해상도 비디오 시퀀스 기억부(108)는, 교점 투영부(107)에 의해 계산된 교점의 2차원 좌표 및 교점의 2차원 모션벡터와, 교점 컬러 계산부(105)에 의해 계산된 교점의 컬러값 및, 교점 오브젝트 ID 할당부(106)에 의해 할당된 교점의 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억한다.

제2해상도 비디오 계산부(109)는, 제1해상도 비디오 시퀀스 기억부(108)로부터 취득한 현재의 프레임의 저해상도 비디오 데이터에 대해 다른 복수의 프레임의 저해상도 비디오 데이터를 중합시킴으로써 중해상도 비디오 데이터를 계산한다.

제3해상도 비디오 계산부(110)는, 제2해상도 비디오 계산부(109)에 의해 계산된 중해상도 비디오 데이터를 필터링함으로써 고해상도 비디오 데이터를 계산한다.

고해상도 비디오 기억부(111)는, 제3해상도 비디오 계산부(110)에 의해 계산된 고해상도 비디오 데이터를 프레임 단위로 기억해서 유지한다. 고해상도 비디오 데이터는 각 픽셀의 컬러값을 유지하는 일반적인 이미지 데이터이다. 도 1에 나타낸 바와 같이, 고해상도 비디오 데이터는 제3해상도 비디오 계산부(110)에 의해 고 해상도 비디오 기억부(111)에 기록된 후, 제시부(112)가 고해상도 비디오 데이터를 취득해서 유저에게 제시한다.

제시부(112)는, 고해상도 비디오 기억부(111)로부터 취득한 고해상도 비디오 데이터를 유저에게 제시한다. 제시부(112)는 고해상도 비디오 데이터를 유저에게 제시하는 것이 가능한 디스플레이 등으로 구성된다.

또, 본 실시형태에서는 모든 블록이 단일의 제어부(113)에 의해 제어되는 것으로 한다.

이하, 도 1의 비디오 묘화장치의 각 블록의 상세한 동작 및 블록 사이를 흐르는 데이터의 구조에 대해 도 2∼도 17을 참조해서 설명한다.

[CG데이터 기억부(101)]

CG데이터 기억부(101)에 유지되어 있는 CG데이터의 예에 대해 도 2를 참조해서 설명한다. 도 2에 나타낸 바와 같이, CG데이터는 좌표변환 데이터, 카메라 데이터, 지오메트리 데이터(geometry data), 광원데이터, 텍스처 데이터를 포함하고 있다.

좌표변환 데이터는 월드행렬(world matrix), 뷰행렬(view matrix), 투영행렬(projection matrix), 뷰포트 스케일링 행렬(viewport scaling matrix) 등의 좌표변환에 관한 데이터이다.

카메라 데이터는, 뷰볼륨(view volume: 시추대) 등의 카메라에 관한 데이터이다.

지오메트리 데이터는, 오브젝트의 다각형 면을 구성하는 정점의 3차원 좌표, 정점의 인덱스값, 정점의 3차원 모션벡터, 정점의 컬러값, 정점의 텍스처 좌표, 정점의 법선벡터, 정점의 오브젝트 ID 등의 지오메트리(기하)에 관한 데이터이다.

광원데이터는, 광원의 종류, 광원의 3차원 좌표, 광원의 컬러값 등의 광원에 관한 데이터이다.

텍스처 데이터는 텍스처 이미지에 관한 데이터이다.

CG데이터 중 도 3에 나타낸 정점의 3차원 좌표, 정점의 3차원 모션벡터, 정점의 법선벡터, 광원의 3차원 좌표는 각각 고유의 로컬 좌표계, 또는 공통의 월드 좌표계, 또는 카메라 위치를 정점으로 하는 카메라 좌표계의 어느 하나의 좌표계에 있어서 정의되고 있다. 이들 데이터는 좌표변환부(102)에 의해 카메라 좌표계로 좌표변환되고 나서 후단의 블록으로 보내진다.

도 3에 나타낸 것 이외의 CG데이터는 좌표변환부(102)에 의해 처리되지 않고 후단의 블록으로 보내진다.

일반적으로, 정점좌표 및 광원좌표의 값은 3차원 좌표 XYZ 혹은 동차(同次)좌표 XYZW로 표현된다. 그렇지만, 본 명세서에서는 이들을 모두 합쳐서 3차원 좌표라고 표기한다.

또, 정점의 3차원 모션벡터라고 하는 것은, 현재의 프레임에서의 그 정점의 3차원 좌표와, 다른 프레임에서의 정점의 3차원 좌표를 연결하는 벡터이다. 이 벡터는 정점의 시간적인 모션을 나타낸다. 도 4에 나타낸 바와 같이, 본 실시형태에서는 현재의 프레임에서의 각 정점에 대해 현재의 프레임보다도 시간적으로 앞의 복수 프레임에서의 위치로 돌아가는 모션을 나타내는 복수의 벡터가 속성으로서 미 리 할당되어 있다. 이들 복수의 벡터는 CG데이터 기억부(101)에 유지되어 있다.

도 5에 나타낸 바와 같이, 정점의 오브젝트 ID라고 하는 것은, 그 정점이 속하는 다각형 면을 포함하는 오브젝트를 독특하게 식별하기 위한 ID이다. 이러한 ID는, 각 정점에 미리 할당되어 CG데이터 기억부(101)에 유지되어 있다. 예컨대, 도 5에 나타낸 바와 같이 오브젝트 a의 각 정점의 오브젝트 ID는 "a"이다.

도 1은 CG데이터 기억부(101)와 제1해상도 비디오 시퀀스 기억부(108)와 고해상도 비디오 기억부(111)를 다른 블록으로 나타내고 있다. 그렇지만, 이들은 단일의 메모리 상에 모두 합쳐서 구성해도 좋고, 용량이나 억세스 속도가 다른 복수의 메모리 상에 분할해서 구성해도 좋다. 또, CG데이터 기억부(101)에 유지되어 있는 CG데이터는 도 2의 형식에 한정되지 않고, 소망하는 CG를 묘화하기 위해 필요하게 되는 모든 데이터를 포함해도 좋다.

[좌표변환부(102)]

좌표변환부(102)의 처리흐름에 대해 도 6을 참조해서 설명한다.

최초의 스텝 S601에서는, CG데이터 기억부(101)에 유지되어 있는 CG데이터를 취득한다.

스텝 S602에서는, 스텝 S601에서 취득한 CG데이터 중 도 3에 도시되어 있는 정점의 3차원 좌표, 정점의 3차원 모션벡터, 정점의 법선벡터, 광원의 3차원 좌표에 대해, 마찬가지로 CG데이터에 포함되어 있는 월드행렬 및 뷰행렬을 승산함으로써 좌표계를 카메라 좌표계로 변환한다.

행렬의 승산수법은 변환대상의 CG데이터가 어느 좌표계에 있어서 정의되어 있는가에 따라 결정된다. CG데이터가 로컬좌표계에 있어서 정의되어 있는 경우에는, 월드행렬과 뷰행렬의 양쪽을 이 순번으로 승산한다. CG데이터가 월드좌표계에 있어서 정의되어 있는 경우에는, 뷰행렬만을 승산한다. 최초부터 카메라 좌표계에 있어서 정의되어 있는 경우에는, 스텝 S602에서는 아무것도 수행하지 않는다.

스텝 S603에서는, 스텝 S602에서 좌표변환된 CG데이터와, 그 이외의 CG데이터(좌표변환의 대상이 아닌 CG데이터)를, 교점좌표 계산부(103), 교점 모션벡터 계산부(104), 교점 컬러 계산부(105), 교점 오브젝트 ID 할당부(106), 교점 투영부(107)로 출력한다.

[교점좌표 계산부(103)]

교점좌표 계산부(103)의 처리흐름에 대해 도 7을 참조해서 설명한다.

최초의 스텝 S701에서는, 좌표변환부(102)로부터 전송되어 온 CG데이터에 포함되어 있는 뷰볼륨(view volume) 및 정점의 3차원 좌표를 취득한다.

스텝 S702에서는, 스텝 S701에서 취득한 뷰볼륨의 전방 클립면(front clip plane)을, 최종적으로 제시부(112)에 제시하는 고해상도 비디오와 같은 해상도를 갖는 비디오 평면으로서 간주하고, 그 비디오 평면의 픽셀 중에서 적당한 수를 저해상도(제1해상도) 샘플링점으로서 선택한다.

상기한 바와 같이, 예컨대 K. Bala, B. Walter, and D. P. Greenberg, "Combining Edges and Points for Interactive High-Quality Rendering", SIGGRAPH2003 등에 있어서 샘플링점의 선택수단에 관한 연구가 이미 제안되어 있다. 본 발명의 실시형태에 있어서도, 이들 종래 수법과 마찬가지의 수법을 이용해 서 샘플링점을 선택하는 것으로 한다. 그 때문에, 샘플링점의 선택수법의 상세한 설명은 생략한다.

스텝 S703에서는, 스텝 S702에서 선택된 샘플링점을 통과하는 시선벡터[광선(ray)]와, 오브젝트를 구성하는 다각형 면의 교점의 3차원 좌표를 스텝 S701에서 취득한 정점의 3차원 좌표를 참조해서 계산한다.

이 계산은 대단히 처리량이 크다는 것이 널리 알려져 있고, 처리속도를 향상시키기 위한 여러 가지 연구가 이미 제안되어 있다. 본 발명의 실시형태에 있어서도, 이들 종래 수법과 마찬가지의 수법을 이용해서 계산을 수행하는 것으로 한다. 그 때문에, 계산수법의 상세한 설명은 생략한다.

스텝 S704에서는, 스텝 S703에서 계산된 광선과 오브젝트의 교점의 3차원 좌표 중에서 가장 시점 근방에 위치하는 것을 선택한다.

스텝 S705에서는, 스텝 S704에서 선택된 광선과 오브젝트의 교점의 3차원 좌표와, 그 교점이 속하는 다각형 면의 정점에 할당되어 있는 인덱스값을 교점 모션벡터 계산부(104), 교점 컬러 계산부(105), 교점 오브젝트 ID 할당부(106), 교점 투영부(107)로 출력한다.

[교점 모션벡터 계산부(104)]

교점 모션벡터 계산부(104)의 처리흐름에 대해 도 8을 참조해서 설명한다.

최초의 스텝 S801에서는, 좌표변환부(102)로부터 전송되어 온 CG데이터에 포함되어 있는 정점의 3차원 좌표 및 정점의 3차원 모션벡터를 취득한다.

스텝 S802에서는, 교점좌표 계산부(103)로부터 전송되어 온 광선과 오브젝트 의 교점의 3차원 좌표와, 그 교점이 속하는 다각형 면의 정점을 지시하는 인덱스값을 취득한다.

스텝 S803에서는, 스텝 S802에서 취득한 정점의 인덱스값을 이용해서, 스텝 S801에서 취득한 정점의 3차원 좌표 및 정점의 3차원 모션벡터 중에서 광선과 오브젝트의 교점이 속하는 다각형 면을 구성하는 것을 선택한다.

스텝 S804에서는, 스텝 S802에서 취득한 광선과 오브젝트의 교점의 3차원 좌표와, 스텝 S803에서 선택된 정점의 3차원 좌표를 이용해서, 스텝 S803에서 선택된 정점의 3차원 모션벡터를 보간함으로써 교점의 3차원 모션벡터를 계산한다.

스텝 S805에서는, 스텝 S804에서 계산된 교점의 3차원 모션벡터를 교점 투영부(107)로 출력한다.

[교점 컬러 계산부(105)]

교점 컬러 계산부(105)의 처리흐름에 대해 도 9를 참조해서 설명한다.

최초의 스텝 S901에서는, 좌표변환부(102)로부터 전송되어 온 CG데이터에 포함되어 있는 정점의 3차원 좌표, 정점의 컬러값, 정점의 텍스처 좌표, 정점의 법선벡터, 광원의 종류, 광원의 3차원 좌표, 광원의 컬러값 및 텍스처 데이터를 취득한다.

스텝 S902에서는, 교점좌표 계산부(103)로부터 전송되어 온 광선과 오브젝트의 교점의 3차원 좌표와, 그 교점이 속하는 다각형 면의 정점을 지시하는 인덱스값을 취득한다.

스텝 S903에서는, 스텝 S902에서 취득한 정점의 인덱스값을 이용해서, 스텝 S901에서 취득한 정점의 3차원 좌표, 정점의 컬러값, 정점의 텍스처 좌표, 정점의 법선벡터 중에서 광선과 오브젝트의 교점이 속하는 다각형 면을 구성하는 것을 선택한다.

스텝 S904에서는, 스텝 S901에서 취득한 광원의 종류, 광원의 3차원 좌표, 광원의 컬러값, 텍스처 데이터와, 스텝 S902에서 취득한 광선과 오브젝트의 교점의 3차원 좌표 및, 스텝 S903에서 선택된 정점의 3차원 좌표, 정점의 컬러값, 정점의 텍스처 좌표, 정점의 법선벡터를 이용해서, 교점의 컬러값을 계산한다. 교점의 컬러값의 계산에 대해서는 후에 도 10을 참조해서 상세히 설명한다.

스텝 S905에서는, 스텝 S904에서 계산된 교점의 컬러값을 제1해상도 비디오 시퀀스 기억부(108)로 출력한다.

다음에, 스텝 S904의 교점의 컬러값의 계산에 대한 전형적인 처리흐름의 일례에 대해 도 10을 참조해서 설명한다.

최초의 스텝 S1001에서는, 교점이 속하는 다각형 면의 정점의 텍스처 좌표를 보간함으로써, 교점의 텍스처 좌표를 계산한다.

스텝 S1002에서는, 교점이 속하는 다각형 면의 정점의 컬러값을 보간함으로써, 교점의 초기 컬러값을 계산한다.

스텝 S1003에서는, 교점이 속하는 다각형 면의 정점의 법선벡터를 보간함으로써, 교점의 법선벡터를 계산한다.

스텝 S1004에서는, 스텝 S1001에서 계산된 텍스처 좌표에서의 텍스처 데이터를 참조해서 텍스처의 컬러값을 취득한다.

스텝 S1005에서는, 스텝 S1002에서 계산된 교점의 컬러값을, 스텝 S1003에서 계산된 교점의 법선벡터와 스텝 S1004에서 취득한 텍스처의 컬러값 및 광원으로부터의 광의 영향을 고려해서 변화시킨다. 이 경우, 정점이 속하는 다각형 면의 주위에 있는 다른 다각형 면으로부터의 간접광의 영향을 가미함으로써, 글로발 일루미네이션 효과를 실현한다.

글로발 일루미네이션에서의 간접광의 계산수법에는 몇 가지의 종류가 있고, 여러 가지 연구가 이미 제안되어 있다. 본 발명의 실시형태에 있어서도, 이들 종래 수법과 마찬가지의 수법을 이용해서 계산을 수행하는 것으로 한다. 그 때문에, 간접광의 계산수법의 상세한 설명은 생략한다. 또, 도 10의 교점의 컬러값의 계산수법은 어디까지나 일례이고, 본 발명에서의 계산수법은 이 수법에 한정되는 것은 아니다.

[교점 오브젝트 ID 할당부(106)]

교점 오브젝트 ID 할당부(106)의 처리흐름에 대해 도 11을 참조해서 설명한다.

최초의 스텝 S1101에서는, 좌표변환부(102)로부터 전송되어 온 CG데이터에 포함되어 있는 정점의 오브젝트 ID를 취득한다.

스텝 S1102에서는, 교점좌표 계산부(103)로부터 전송되어 온 광선과 오브젝트의 교점이 속하는 다각형 면의 정점을 지시하는 인덱스값을 취득한다.

스텝 S1103에서는, 스텝 S1102에서 취득한 정점의 인덱스값을 이용해서, 스텝 S1101에서 취득한 정점의 오브젝트 ID 중에서 광선과 오브젝트의 교점이 속하는 다각형 면을 구성하고 있는 정점의 오브젝트 ID를 선택한다.

스텝 S1104에서는, 스텝 S1103에서 선택된 정점의 오브젝트 ID를 교점의 오브젝트 ID로서 할당한다.

스텝 S1105에서는, 스텝 S1104에서 할당된 교점의 오브젝트 ID를 제1해상도 비디오 시퀀스 기억부(108)로 출력한다.

[교점 투영부(107)]

교점 투영부(107)의 처리흐름에 대해 도 12를 참조해서 설명한다.

최초의 스텝 S1201에서는, 좌표변환부(102)로부터 전송되어 온 CG데이터에 포함되어 있는 투영행렬 및 뷰포트 스케일링 행렬을 취득한다.

스텝 S1202에서는, 교점좌표 계산부(103)로부터 전송되어 온 광선과 오브젝트의 교점의 3차원 좌표를 취득한다.

스텝 S1203에서는, 교점 모션벡터 계산부(104)로부터 전송되어 온 광선과 오브젝트의 교점의 3차원 모션벡터를 취득한다.

스텝 S1204에서는, 스텝 S1202에서 취득한 교점의 3차원 좌표와, 스텝 S1203에서 취득한 교점의 3차원 모션벡터에 대해, 스텝 S1201에서 취득한 투영행렬을 승산하여 투영면에 투영함으로써, 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 계산한다.

스텝 S1205에서는, 스텝 S1204에서 계산된 교점의 2차원 좌표 및 교점의 2차원 모션벡터에 대해, 스텝 S1201에서 취득한 뷰포트 스케일링 행렬을 승산함으로써, 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 이미지 평면의 적절한 위치로 평행이동시킨다.

스텝 S1206에서는, 스텝 S1205에서 계산된 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 제1해상도 비디오 시퀀스 기억부(108)로 출력한다. 한편, 이들 데이터는 부동소수점 수 또는 고정소수점 수의 형태로 출력하는 것으로 한다.

[제1해상도 비디오 시퀀스 기억부(108)]

제1해상도 비디오 시퀀스 기억부(108)에 유지되어 있는 저해상도 비디오 데이터의 예에 대해 도 13을 참조해서 설명한다.

도 13으로부터 알 수 있는 바와 같이, 저해상도 비디오 데이터는 각 샘플링점을 통과하는 광선과 오브젝트의 교점의 2차원 좌표, 교점의 2차원 모션벡터, 교점의 컬러값, 교점의 오브젝트 ID를 프레임 단위로 모두 합친 것이다. 도 13에서, n_k는 프레임 k의 교점수를 나타낸다.

도 1에 나타낸 바와 같이, 이들 교점에 관한 데이터는 교점 투영부(107), 교점 컬러 계산부(105), 교점 오브젝트 ID 할당부(106)로부터 전송되어 온다.

한편, 제1해상도 비디오 시퀀스 기억부(108)에 유지되어 있는 저해상도 비디오 데이터는 도 13의 형식에 한정되지 않고, 소망하는 CG를 묘화하기 위해 필요하게 되는 모든 데이터를 포함해도 좋다.

[제2해상도 비디오 계산부(109)]

제2해상도 비디오 계산부(109)의 처리흐름에 대해 도 14를 참조해서 설명한다.

최초의 스텝 S1401에서는, 제1해상도 비디오 시퀀스 기억부(108)로부터 현재의 프레임의 저해상도(제1해상도) 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득한다.

스텝 S1402에서는, 도 15의 (a), (b) 및 (c)에 나타낸 바와 같이, 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득한다.

스텝 S1403에서는, 도 15의 (d) 및 (e)에 나타낸 바와 같이, 스텝 S1402에서 취득한 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 각 교점에 할당되어 있는 복수의 2차원 모션벡터 중에서 현재의 프레임으로 돌아가는 모션을 나타내는 2차원 모션벡터를 선택하여 가산함으로써, 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터를, 현재의 프레임의 저해상도 비디오 데이터에 중합시킨다. 예컨대, 도 15의 (a) 내지 (f)의 예에서는, 도 15의 (a)의 저해상도 비디오 데이터와 도 15의 (d)의 저해상도 비디오 데이터 및 도 15의 (e)의 저해상도 비디오 데이터를 중합시켜 도 15의 (f)의 중해상도 비디오 데이터를 얻는다. 이 예에서는, 도 15의 (f)의 데이터의 해상도가 도 15의 (a)의 데이터의 해상도보다 3배 높다. 한편, 본 명세서에서는, 중합에 의해 얻어지는 저해상도 비디오 데이터를 중해상도(제2해상도) 비디오 데이터라고 표기한다.

이 경우, 원래 현재의 프레임에 포함되어 있던 저해상도 비디오 데이터에는 플래그값 0을 할당하고, 새로 현재의 프레임에 중합된 저해상도 비디오 데이터에 대해서는 플래그값 1을 할당한다.

스텝 S1404에서는, 스텝 S1403에서 계산된 중해상도 비디오 데이터를 제3해상도 비디오 계산부(110)로 출력한다.

[제3해상도 비디오 계산부(110)]

제3해상도 비디오 계산부(110)의 처리흐름에 대해 도 16을 참조해서 설명한다.

최초의 스텝 S1601에서는, 제2해상도 비디오 계산부(109)로부터 전송되어 온 중해상도(제2해상도) 비디오 데이터를 취득한다.

스텝 S1602에서는, 제시부(112)에 제시하는 고해상도 비디오와 같은 해상도를 갖는 컬러버퍼를 고해상도 비디오 기억부(111)에 확보한다.

스텝 S1603에서는, 도 17의 (a) 및 (b)에 나타낸 바와 같이, 스텝 S1601에서 취득한 중해상도 비디오 데이터(도 17의 (a))에 포함되어 있는 교점 중에서 스텝 S1602에서 확보한 고해상도 컬러버퍼의 각 픽셀의 근방영역에 위치하는 교점을 선택한다(도 17의 (b)).

상기한 바와 같이, 예컨대 K. Bala, B. Walter, and D. P. Greenberg, "Combining Edges and Points for Interactive High-Quality Rendering", SIGGRAPH2003 등에 있어서 필터링의 탭(tap)위치를 선택할 때의 연구가 이미 제안되어 있다. 본 발명의 실시형태에 있어서도, 도 17의 (a) 및 (b)의 선택수단은 어디까지나 일례이고, 종래 수법과 마찬가지의 수법을 이용해서 필터링에 사용되는 교점을 선택해도 좋다.

여기서 선택된 교점은, 시간적으로 다른 복수의 프레임에 있어서 샘플링된 교점을 중합시킴으로써 얻어진다. 이 때문에, 프레임 간의 오브젝트 및 카메라의 이동에 의해 오브젝트의 가시성이 변화할 때, 실제로는 현재의 프레임에 비추어지지 않을리가 없는 오브젝트에 속하는 교점이 포함되어 있을 가능성이 있다. 그래서, 이후의 스텝에서는 이들 교점을 필터링 대상으로부터 제거하는 처리를 수행한다.

스텝 S1604에서는, 스텝 S1603에서 선택된 교점 중 플래그값 1이 할당되어 있는 교점을 선택한다(도 17의 (a)∼(f)의 사선의 원에 대응).

상기한 바와 같이, 이 플래그값은 제2해상도 비디오 계산부(109)에 의해 각 교점에 할당된다. 원래 현재의 프레임에 포함되어 있던 각 교점에는 플래그값 0이 할당되어 있고, 현재의 프레임과는 다른 프레임으로부터 현재의 프레임에 중합시킨 교점에는 플래그값 1이 할당되어 있다.

스텝 S1605에서는, 스텝 S1604에서 선택된 플래그값 1이 할당되어 있는 각 교점의 근방영역에 위치하는 플래그값 0이 할당되어 있는 교점을 선택한다(도 17의 (c), (d), (e), (f)). 도 17의 (b)에 나타낸 근방영역이나 도 17의 (c), (d), (e) 및 (f)에 나타낸 근방영역의 크기는 오브젝트에 의존한다.

스텝 S1606에서는, 도 17의 (c), (d), (e) 및 (f)에 나타낸 바와 같이, 스텝 S1604에서 선택된 플래그값 1이 할당되어 있는 교점의 오브젝트 ID와, 스텝 1605에서 선택된 플래그값 0이 할당되어 있는 근방의 교점의 오브젝트 ID를 비교한다. 그 결과, 하나라도 오브젝트 ID가 다른 경우에는, 플래그값 1이 할당되어 있는 교 점을 필터링 대상으로부터 제거한다(도 17의 (f)).

스텝 S1607에서는, 스텝 S1606에서 제거되지 않고 남은 교점의 컬러값에 적당한 가중을 부가해서 보간함으로써, 스텝 S1602에서 확보한 고해상도 컬러버퍼의 각 픽셀의 컬러값을 계산한다.

[고해상도 비디오 기억부(111)]

고해상도 비디오 기억부(111)는 고해상도 비디오 데이터를 기억한다. 고해상도 비디오 데이터는 각 픽셀의 컬러값을 유지하는 일반적인 화상 데이터이다. 도 1에 나타낸 바와 같이, 고해상도 비디오 데이터는 제3해상도 비디오 계산부(110)에 의해 기록된 후, 제시부(112)로부터 취득되어 유저에게 제시된다.

이상에 나타낸 바와 같이, 본 실시형태의 비디오 묘화장치에 의하면, CG 이미지를 묘화할 때에 얻어지는 저해상도 샘플링점의 모션벡터와 오브젝트 ID를 이용함으로써, 현재의 프레임보다 시간적으로 뒤의 복수의 프레임의 저해상도 샘플링점을 현재의 프레임에 대해 고속이면서 안정하게 중합시킬 수 있다.

이에 따라, 1프레임당 샘플링점의 수를 종래보다 적게 할 수 있다. 그 결과, 고품질의 고해상도 글로발 일루미네이션(global illumination) 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

(제2실시형태): 앞의 프레임의 중합

제2실시형태에 따른 비디오 묘화장치의 구성은 도 1의 제1실시형태에서의 구성과 같지만, CG데이터 기억부(101)에 유지되어 있는 CG데이터의 내용과, 제2해상 도 비디오 계산부(109)의 처리내용이 다르다. 이하, 이미 설명한 장치부분과 마찬가지의 것은 동일번호를 붙이고 그 설명을 생략한다.

[CG데이터 기억부(101)]

도 18에 나타낸 바와 같이, 본 실시형태에서는 현재의 프레임에서의 각 정점에 대해 현재의 프레임보다 시간적으로 뒤의 복수 프레임에서의 대응하는 위치로 나아가는 모션을 나타내는 복수의 벡터가 속성으로서 미리 할당되어 있다. 이들 벡터는 CG데이터 기억부(101)에 기억해서 유지한다.

[제2해상도 비디오 계산부(109)]

본 실시형태에서의 제2해상도 비디오 계산부(109)의 처리흐름에 대해 도 19를 참조해서 설명한다.

최초의 스텝 S1901에서는, 제1해상도 비디오 시퀀스 기억부(108)로부터 현재의 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득한다.

스텝 S1902에서는, 도 20의 (a), (b) 및 (c)에 나타낸 바와 같이, 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득한다.

스텝 S1903에서는, 도 20의 (d) 및 (e)에 나타낸 바와 같이, 스텝 S1902에서 취득한 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 각 교점에 할당되어 있는 복수의 2차원 모션벡터 중에서 현재의 프레임으로 나아가는 모션을 나타내는 2차원 모션벡터를 선택하여 가산함으로써, 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터를, 현재의 프레임의 저해상도 비디오 데이터에 중합시킨다. 예컨대, 도 20의 (a) 내지 (f)의 예에서는, 도 20의 (c)의 저해상도 비디오 데이터와 도 20의 (d)의 저해상도 비디오 데이터 및 도 20의 (e)의 저해상도 비디오 데이터를 중합시켜 도 20의 (f)의 중해상도 비디오 데이터를 얻는다. 이 예에서는, 도 20의 (f)의 데이터의 해상도가 도 20의 (a)의 데이터의 해상도보다 3배 높다.

스텝 S1904에서는, 스텝 S1903에서 계산된 중해상도 비디오 데이터를 제3해상도 비디오 계산부(110)로 출력한다.

이상에 나타낸 바와 같이, 본 실시형태의 비디오 묘화장치에 의하면, CG 이미지를 묘화할 때에 얻어지는 저해상도 샘플링점의 모션벡터와 오브젝트 ID를 이용함으로써, 현재의 프레임보다 시간적으로 앞의 복수의 프레임의 저해상도 샘플링점을 현재의 프레임에 대해 고속이면서 안정하게 중합시킬 수 있다.

이에 따라, 1프레임당 샘플링점의 수를 종래보다 적게 할 수 있다. 그 결과, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

(제3실시형태): 전후(앞뒤)의 프레임의 중합

제3실시형태에 따른 비디오 묘화장치의 구성은 도 1의 제1실시형태의 구성과 같다. 그렇지만, CG데이터 기억부(101)에 유지되어 있는 CG데이터의 내용과, 제2해상도 비디오 계산부(109)의 처리내용이 다르다.

[CG데이터 기억부(101)]

도 21에 나타낸 바와 같이, 본 실시형태에서는 현재의 프레임에서의 각 정점에 대해 현재의 프레임보다 시간적으로 앞의 복수 프레임에서의 위치로 돌아가는 모션을 나타내는 복수의 벡터와, 현재의 프레임보다 시간적으로 뒤의 복수 프레임에서의 위치로 나아가는 모션을 나타내는 복수의 벡터가 속성으로서 미리 할당되어 있다. 이들 벡터는 CG데이터 기억부(101)에 기억해서 유지한다.

[제2해상도 비디오 계산부(109)]

본 실시형태에서의 제2해상도 비디오 계산부(109)의 처리흐름에 대해 도 22를 참조해서 설명한다.

최초의 스텝 S2201에서는, 제1해상도 비디오 시퀀스 기억부(108)로부터 현재의 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득한다.

스텝 S2202에서는, 도 23의 (a), (b) 및 (c)에 나타낸 바와 같이, 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터와, 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득한다.

스텝 S2203에서는, 도 23의 (d) 및 (e)에 나타낸 바와 같이, 스텝 S2202에서 취득한 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 각 교점과 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터에 포함되어 있는 각 교점에 할당되어 있는 복수의 2차원 모션벡터 중에서 현재의 프레임으로의 모션을 나타내는 2차원 모션벡터를 선택하여 가산함으로써, 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터와 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터를, 현재의 프레임의 저해상도 비디오 데이터에 중합시킨다. 예컨대, 도 23의 (a) 내지 (f)의 예에서는, 도 23의 (b)의 저해상도 비디오 데이터와 도 23의 (d)의 저해상도 비디오 데이터 및 도 23의 (e)의 저해상도 비디오 데이터를 중합시켜 도 23의 (f)의 중해상도 비디오 데이터를 얻는다. 이 예에서는, 도 23의 (f)의 데이터의 해상도가 도 23의 (b)의 데이터의 해상도보다 3배 높다.

스텝 S2204에서는, 스텝 S2203에서 계산된 중해상도 비디오 데이터를 제3해상도 비디오 계산부(110)로 출력한다.

이상에 나타낸 바와 같이, 본 실시형태의 비디오 묘화장치에 의하면, CG 이미지를 묘화할 때에 얻어지는 저해상도 샘플링점의 모션벡터와 오브젝트 ID를 이용함으로써, 현재의 프레임보다 시간적으로 뒤의 복수의 프레임의 저해상도 샘플링점 과, 현재의 프레임보다 시간적으로 앞의 복수의 프레임의 저해상도 샘플링점을 현재의 프레임에 대해 고속이면서 안정하게 중합시킬 수 있다.

(제4실시형태): 비동기 병렬동작(3차원 처리부와 2차원 처리부의 병렬동작)

도 24는 비디오 묘화장치의 구성을 나타낸다. 도 24로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 1의 제1실시형태, 제2실시형태 및 제3실시형태에 따른 비디오 묘화장치를, 3차원(3D) 데이터 처리부(2400)와 2차원(2D) 데이터 처리부(2410)의 2개의 처리부로 분할하고, 각각의 처리부의 비동기 병렬동작을 전용으로 갖춘 제어부(113)에 의해 수행하는 것을 특징으로 한다.

3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)는 각각의 처리부가 전용으로 갖춘 제1해상도 비디오 시퀀스 기억부(108)를 매개로 데이터를 교환한다. 그렇지만, 반드시 각각의 처리부가 전용으로 갖춘 제1해상도 비디오 시퀀스 기억부(108)를 매개로 수행할 필요는 없고, 단일의 제1해상도 비디오 시퀀스 기억부를 공용하도록 구성해도 좋다.

본 실시형태의 비디오 묘화장치에 의하면, 3차원 데이터 처리부(2400)에 포함된 블록의 처리와 2차원 데이터 처리부(2410)에 포함된 블록의 처리를 비동기로 병렬로 수행할 수 있기 때문에, 제1실시형태, 제2실시형태 및 제3실시형태에 따른 비디오 묘화장치와 비교해서 각 블록의 가동률을 높일 수 있다.

그 결과, 고품질의 고해상도 글로발 일루미네이션 비디오를 보다 인터랙티브하게 묘화하는 것이 가능해진다.

(제5실시형태): 범용 비디오 처리(2차원 데이터 처리부만의 범용 비디오 처리)

도 25는 제5실시형태에 따른 비디오 묘화장치의 구성을 나타낸다. 도 25로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 24의 제4실시형태에 따른 비디오 묘화장치의 2차원 데이터 처리부(2410)만을 갖춘 것을 특징으로 한다.

본 실시형태의 비디오 묘화장치에서는, 미리 계산된 복수 프레임의 저해상도 비디오 데이터가 제1해상도 비디오 시퀀스 기억부(108)에 유지되어 있는 것으로 한다.

제1실시형태, 제2실시형태, 제3실시형태 및 제4실시형태에 따른 비디오 묘화장치에서는, CG데이터로부터 저해상도 비디오 데이터를 계산하는 것이 전제로 되어 있다. 이에 대해, 본 실시형태에 따른 비디오 묘화장치에서는 미리 CG데이터 이외의 비디오 소스로부터 다른 수법에 의해 계산된 저해상도 비디오 데이터를 입력할 수 있도록 되어 있다.

본 실시형태에 의하면, CG데이터에 한정되지 않고, 임의의 비디오 소스로부터 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

(제6실시형태): 3차원 데이터 처리부의 멀티코어(Multicore) 구성(프레임 베이스)

도 26은 제6실시형태에 따른 비디오 묘화장치의 구성을 나타낸다. 도 26으로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치(2600)는 도 24의 제4실시형태의 비디오 묘화장치의 3차원 데이터 처리부와 같은 3차원 데이터 처리부(2400)를 복수 갖춘 것을 특징으로 한다.

도 24의 제4실시형태에 따른 비디오 묘화장치에서는, CG데이터 기억부(101)로부터 취득한 CG데이터의 양, 또는 교점좌표 계산부(103)에 의해 계산되는 교점의 수(저해상도 샘플링점의 수), 또는 교점 컬러 계산부(105)에서의 조명계산의 계산량, 또는 제1해상도 비디오 시퀀스 기억부(108)의 밴드폭, 또는 제시부(112)에 제시하는 고해상도 비디오의 해상도, 또는 각 블록의 처리능력 등, 여러 가지 요인에 의존해서 3차원 데이터 처리부(2400)의 처리량과 2차원 데이터 처리부(2410)의 처리량의 밸런스가 동적으로 변화한다. 그 때문에, 어떤 프레임에 있어서, 3차원 데이터 처리부(2400)의 처리가 병목(bottleneck)으로 됨으로써 프레임 속도가 저하되는 경우가 있다.

그래서 본 실시형태의 비디오 묘화장치에서는, 제어부(113)가 복수의 3차원 데이터 처리부(2400)에 대해 다른 프레임의 처리를 할당하여 비동기로 병렬처리를 수행함으로써, 3차원 데이터 처리부(2400)의 처리가 병목으로 되는 것을 방지한다.

본 실시형태에 의하면, 예컨대 어떤 3차원 데이터 처리부(2400)가 1번째의 프레임의 처리를 수행하고 있을 때에, 다른 3차원 데이터 처리부(2400)가 2번째의 프레임 또는 3번째의 프레임 등의 다른 프레임의 처리를 동시에 실행하는 것이 가능해진다.

한편, 제어부(113)는 복수의 3차원 데이터 처리부(2400)에 처리를 할당할 때, 그 시점에서 상대적으로 부하가 작은 3차원 데이터 처리부(2400)를 선택해서 할당하도록 구성해도 좋다.

이상과 같이 본 실시형태의 비디오 묘화장치에 의하면, 제4실시형태의 비디오 묘화장치에 있어서 3차원 데이터 처리부(2400)의 처리가 병목으로 되는 경우에도, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

(제7실시형태): 3차원 데이터 처리부의 멀티코어 구성(블록 베이스)

도 27은 제7실시형태에 따른 비디오 묘화장치(2700)의 구성을 나타낸다. 도 27로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 26의 제6실시형태의 비디오 묘화장치에 대해 저해상도 비디오 블록 결합부(2701)를 추가한 것을 특징으로 한다.

본 실시형태의 비디오 묘화장치에서는, 제어부(113)가 복수의 3차원 데이터 처리부(2400)에 대해 동일 프레임의 다른 비디오 블록의 처리를 할당하여 비동기로 병렬처리시킨다. 그리고, 저해상도 비디오 블록 결합부(2701)가 그 처리결과인 다른 비디오 블록의 저해상도 비디오 데이터를 결합한다.

비디오 블록이라고 하는 것은, 도 28에 나타낸 바와 같이 어떤 프레임의 비 디오를 임의의 직사각형으로 분할함으로써 얻어지는 영역을 나타낸다. 비디오 블록의 크기나 분할수법 등은 모든 프레임에 있어서 동일해도 좋다. 또한, 저해상도 샘플링점의 수가 가능한 한 균등하게 되도록, 제어부(113)가 프레임마다 제어하도록 구성해도 좋다.

이에 따라, 예컨대 어떤 3차원 데이터 처리부(2400)가 1번째의 비디오 블록의 처리를 수행하고 있을 때에, 다른 3차원 데이터 처리부(2400)가 2번째의 비디오 블록 또는 3번째의 비디오 블록 등의 다른 비디오 블록의 처리를 동시에 실행하는 것이 가능해진다. 이 때문에, 3차원 데이터 처리부(2400)의 처리가 병목으로 되는 것을 방지할 수 있다.

(제8실시형태): 2차원 데이터 처리부의 멀티코어 구성(프레임 베이스)

도 29는 제8실시형태에 따른 비디오 묘화장치(2900)의 구성을 나타낸다. 도 29로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 24의 제4실 시형태에 따른 비디오 묘화장치의 2차원 데이터 처리부와 같은 2차원 데이터 처리부(2410)를 복수 갖춘 것을 특징으로 한다.

상술한 바와 같이, 도 24의 제4실시형태에 따른 비디오 묘화장치에서는, 여러 가지 요인에 의존해서 3차원 데이터 처리부(2400)의 처리량과 2차원 데이터 처리부(2410)의 처리량의 밸런스가 동적으로 변화한다. 그 때문에, 어떤 프레임에 있어서, 2차원 데이터 처리부(2410)의 처리가 병목으로 됨으로써 프레임 속도가 저하되는 경우가 있다.

그래서 본 실시형태의 비디오 묘화장치에서는, 제어부(113)가 복수의 2차원 데이터 처리부(2410)에 대해 다른 프레임의 처리를 할당하여 비동기로 병렬처리시킴으로써, 2차원 데이터 처리부(2410)의 처리가 병목으로 되는 것을 방지한다.

이에 따라, 예컨대 어떤 2차원 데이터 처리부(2410)가 1번째의 프레임의 처리를 수행하고 있을 때에, 다른 2차원 데이터 처리부(2410)가 2번째의 프레임 또는 3번째의 프레임 등의 다른 프레임의 처리를 동시에 실행하는 것이 가능해진다.

한편, 제어부(113)는 복수의 2차원 데이터 처리부(2410)에 처리를 할당할 때, 그 시점에서 상대적으로 부하가 작은 2차원 데이터 처리부(2410)를 선택해서 할당하도록 구성해도 좋다.

이상과 같이 본 실시형태의 비디오 묘화장치에 의하면, 제4실시형태의 비디오 묘화장치에 있어서 2차원 데이터 처리부(2410)의 처리가 병목으로 되는 경우에도, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

(제9실시형태): 2차원 데이터 처리부의 멀티코어 구성(블록 베이스)

도 30은 제9실시형태에 따른 비디오 묘화장치(3000)의 구성을 나타낸다. 도 30으로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 29의 제8실시형태에서의 비디오 묘화장치에 대해 저해상도 비디오 블록 분할부(3001)를 추가한 것을 특징으로 한다.

본 실시형태에 따른 비디오 묘화장치에서는, 단일의 3차원 데이터 처리부(2400)로부터 출력되는 어떤 프레임의 저해상도 비디오 데이터를, 저해상도 비디오 블록 분할부(3001)에 의해 분할해서 복수의 2차원 데이터 처리부(2410)에 대해 할당하여 비동기로 병렬처리시킨다. 그리고, 그 처리결과인 다른 비디오 블록의 고해상도 비디오 데이터를, 고해상도 비디오 블록 결합부(3002)에 의해 결합시킨다.

이에 따라, 예컨대 어떤 2차원 데이터 처리부(2410)가 1번째의 비디오 블록의 처리를 수행하고 있을 때에, 다른 2차원 데이터 처리부(2410)가 2번째의 비디오 블록 또는 3번째의 비디오 블록 등의 다른 비디오 블록의 처리를 동시에 실행하는 것이 가능해진다. 이 때문에, 2차원 데이터 처리부(2410)의 처리가 병목으로 되는 것을 방지할 수 있다.

한편, 비디오 블록의 크기나 분할수법 등은 모든 프레임에 있어서 동일해도 좋다. 또한, 저해상도 샘플링점의 수가 가능한 한 균등하게 되도록, 제어부(113)가 저해상도 비디오 블록 분할부(3001)를 프레임마다 제어하도록 구성해도 좋다.

또, 제어부(113)는 복수의 3차원 데이터 처리부(2400)에 처리를 할당할 때, 그 시점에서 상대적으로 부하가 작은 3차원 데이터 처리부(2400)를 선택해서 할당하도록 구성해도 좋다.

(제10실시형태): 3차원 데이터 처리부와 2차원 데이터 처리부의 멀티코어 구성(프레임 베이스, 균일한 병렬도)

도 31은 제10실시형태에 따른 비디오 묘화장치(3100)의 구성을 나타낸다. 도 31로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 24의 제4실시형태에 따른 비디오 묘화장치의 3차원 데이터 처리부와 같은 3차원 데이터 처리부(2400) 및 2차원 데이터 처리부와 같은 2차원 데이터 처리부(2410)의 양쪽을 복수 갖춘 것을 특징으로 한다. 본 실시형태의 비디오 묘화장치에 있어서, 3차원 데이터 처리부(2400)의 수는 2차원 데이터 처리부(2410)의 수와 같고, 그것들은 1 대 1로 접속되어 있다.

상술한 바와 같이, 도 24의 제4실시형태에 따른 비디오 묘화장치에서는, 여러 가지 요인에 의존해서 3차원 데이터 처리부(2400)의 처리량과 2차원 데이터 처리부(2410)의 처리량의 밸런스가 동적으로 변화한다. 그 때문에, 어떤 프레임에 있어서, 3차원 데이터 처리부(2400)의 처리가 병목으로 됨으로써 프레임 속도가 저하되는 경우가 있다. 그와 동시에, 반대로 2차원 데이터 처리부(2410)의 처리가 병목으로 됨으로써 프레임 속도가 저하되는 경우가 있다.

그래서 본 실시형태에 따른 비디오 묘화장치에서는, 제어부(113)가 복수의 3차원 데이터 처리부(2400) 및 이 3차원 데이터 처리부(2400)와 1 대 1로 접속된 복수의 2차원 데이터 처리부(2410)에 대해 다른 프레임의 처리를 할당하여 비동기로 병렬처리시킨다.

이에 따라, 1 대 1로 접속되는 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 조가 1번째의 프레임의 처리를 수행하고 있을 때에, 다른 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 조가 2번째의 프레임 또는 3번째의 프레임 등의 다른 프레임의 처리를 동시에 실행하는 것이 가능해진다. 이 때문에, 3차원 데이터 처리부(2400)의 처리와 2차원 데이터 처리부(2410)의 처리가 병목으로 되는 것을 방지할 수 있다.

한편, 제어부(113)는 복수의 3차원 데이터 처리부(2400) 및 그것과 1 대 1로 접속된 복수의 2차원 데이터 처리부(2410)의 조에 처리를 할당할 때, 그 시점에서 상대적으로 부하가 작은 조를 선택해서 할당하도록 구성해도 좋다.

이상과 같이 본 실시형태의 비디오 묘화장치에 의하면, 제4실시형태의 비디오 묘화장치에 있어서 3차원 데이터 처리부(2400) 및 2차원 데이터 처리부(2410)의 어느 하나의 처리가 병목으로 되는 경우에도, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

(제11실시형태): 3차원 데이터 처리부와 2차원 데이터 처리부의 멀티코어 구성(블록 베이스, 균일한 병렬도)

도 32는 제11실시형태에 따른 비디오 묘화장치(3200)의 구성을 나타낸다. 도 32로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 31의 제10실시형태의 비디오 묘화장치에 대해 고해상도 비디오 블록 결합부(3002)를 추가한 것을 특징으로 한다.

본 실시형태의 비디오 묘화장치에서는, 제어부(113)가 복수의 3차원 데이터 처리부(2400) 및 이 3차원 데이터 처리부(2400)와 1 대 1로 접속된 복수의 2차원 데이터 처리부(2410)에 대해 다른 비디오 블록의 처리를 할당하여 비동기로 병렬처리시킨다. 그리고, 그 처리결과인 다른 비디오 블록의 고해상도 비디오 데이터를, 고해상도 비디오 블록 결합부(3002)에 의해 결합시킨다.

이에 따라, 1 대 1로 접속된 어떤 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 조가 1번째의 비디오 블록의 처리를 수행하고 있을 때에, 다른 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 조가 2번째의 비디오 블록 또는 3번째의 비디오 블록 등의 다른 비디오 블록의 처리를 동시에 실행하는 것이 가능해진다. 이 때문에, 3차원 데이터 처리부(2400)의 처리와 2차원 데이터 처리부(2410)의 처리가 병목으로 되는 것을 방지할 수 있다.

예컨대, 비디오 블록의 크기나 분할수법 등은 모든 프레임에 있어서 동일해도 좋다. 또한, 예컨대 저해상도 샘플링점의 수가 가능한 한 균등하게 되도록, 제 어부(113)가 프레임마다 제어하도록 구성해도 좋다.

또, 제어부(113)는 복수의 3차원 데이터 처리부(2400) 및 그들과 1 대 1로 접속된 복수의 2차원 데이터 처리부(2410)의 조에 처리를 할당할 때, 그 시점에서 상대적으로 부하가 작은 조를 선택해서 할당하도록 구성해도 좋다.

(제12실시형태): 3차원 데이터 처리부와 2차원 데이터 처리부의 멀티코어 구성(프레임 베이스, 불균일한 병렬도)

도 33은 제12실시형태에 따른 비디오 묘화장치(3300)의 구성을 나타낸다. 도 33으로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 24의 제4실시형태에 따른 비디오 묘화장치의 3차원 데이터 처리부와 같은 3차원 데이터 처리부(2400) 및 2차원 데이터 처리부와 같은 2차원 데이터 처리부(2410)의 양쪽을 복수 갖춘 것을 특징으로 한다.

도 24의 제4실시형태에 따른 비디오 묘화장치와는 달리, 본 실시형태에 따른 비디오 묘화장치에서는, 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 수가 같을 필요는 없고, 그것들은 버스를 매개로 서로 접속되어 있다.

본 실시형태에 따른 비디오 묘화장치에서는, 제어부(113)가 복수의 3차원 데 이터 처리부(2400)에 대해 다른 프레임의 처리를 할당함과 더불어, 그들의 처리결과를 그 시점에서 상대적으로 부하가 작은 2차원 데이터 처리부(2410)에 대해 할당한다.

이에 따라, 버스를 매개로 접속되는 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 조가 1번째의 프레임의 처리를 수행하고 있을 때에, 다른 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 조가 2번째의 프레임 또는 3번째의 프레임 등의 다른 프레임의 처리를 동시에 실행하는 것이 가능해진다. 이 때문에, 3차원 데이터 처리부(2400)의 처리와 2차원 데이터 처리부(2410)의 처리가 병목으로 되는 것을 방지할 수 있다.

또, 부하가 작은 2차원 데이터 처리부(2410)에 우선적으로 처리가 할당됨으로써, 각 2차원 데이터 처리부(2410)의 가동률이 향상되고, 그 결과 프레임 속도를 향상시킬 수 있다.

한편, 제어부(113)는 복수의 3차원 데이터 처리부(2400)에 처리를 할당할 때, 그 시점에서 상대적으로 부하가 작은 것을 선택해서 할당하도록 구성해도 좋다.

(제13실시형태): 3차원 데이터 처리부와 2차원 데이터 처리부의 멀티코어 구성(블록 베이스, 불균일한 병렬도)

도 34는 제13실시형태에 따른 비디오 묘화장치(3400)의 구성을 나타낸다. 도 34로부터 알 수 있는 바와 같이, 본 실시형태의 비디오 묘화장치는 도 33의 제12실시형태의 비디오 묘화장치에 대해 저해상도 비디오 블록 분배부(3401)를 추가한 것을 특징으로 한다. 도 33의 제12실시형태에 따른 비디오 묘화장치와 마찬가지로, 본 실시형태의 비디오 묘화장치에서는 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)의 수가 같을 필요는 없다.

본 실시형태에 따른 비디오 묘화장치에서는, 제어부(113)가 복수의 3차원 데이터 처리부(2400)에 대해 다른 비디오 블록의 처리를 할당하여 비동기로 병렬처리시킨다. 저해상도 비디오 블록 분배부(3401)는, 그 처리결과인 다른 비디오 블록의 저해상도 비디오 데이터를, 그 시점에서 상대적으로 부하가 작은 2차원 데이터 처리부(2410)로 분배한다. 이 때, 저해상도 비디오 블록 분배부(3401)는, 3차원 데이터 처리부(2400)로부터 수취한 다른 비디오 블록의 저해상도 비디오 데이터를 일단 결합하고, 임의의 수 또는 임의의 크기의 비디오 블록으로 재분할하고 나서, 2차원 데이터 처리부(2410)로 분배하도록 구성해도 좋다. 이에 따라, 다른 비디오 블록의 처리를 동시에 실행하는 것이 가능해진다.

(제14실시형태): 데이터량 의존의 샘플링점 수의 동적 제어

제14실시형태에 따른 비디오 묘화장치의 구성은, 도 24의 제4실시형태에 따른 구성과 같다. 본 실시형태에 따른 비디오 묘화장치의 특징은, 3차원 데이터 처리부(2400)에 포함된 제1해상도 비디오 시퀀스 기억부(108)와, 2차원 데이터 처리부(2410)에 포함된 제1해상도 비디오 시퀀스 기억부(108) 사이를 흐르는 데이터의 양(제어부(113)에 의해 측정)에 따라, 3차원 데이터 처리부(2400)에 포함되어 있는 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수(1프레임당의 저해상도 비디오 데이터의 양)를 동적으로 제어하는 것이다. 예컨대, 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410)가 네트워크를 매개로 접속되어 있는 경우, 이 네트워크 상을 다른 기기로부터 전송된 데이터가 흐름으로써 네트워크의 혼잡도가 변화하는 경우가 있다.

그래서 본 실시형태의 비디오 묘화장치에서는, 3차원 데이터 처리부(2400)에 포함된 제1해상도 비디오 시퀀스 기억부(108)와, 2차원 데이터 처리부(2410)에 포함된 제1해상도 비디오 시퀀스 기억부(108) 사이를 흐르는 데이터의 양이 상대적으로 많을 때, 3차원 데이터 처리부(2400)에 포함되어 있는 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 적게 함으로써, 1프레임당의 저해상도 비디오 데이터의 양을 줄인다.

이에 따라, 3차원 데이터 처리부(2400)에 포함된 제1해상도 비디오 시퀀스 기억부(108)와 2차원 데이터 처리부(2410)에 포함된 제1해상도 비디오 시퀀스 기억부(108) 사이의 전송이 병목으로 되는 것을 방지할 수 있다. 이 때문에, 안정한 프레임 속도로 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

반대로, 3차원 데이터 처리부(2400)에 포함된 제1해상도 비디오 시퀀스 기억부(108)와 2차원 데이터 처리부(2410)에 포함된 제1해상도 비디오 시퀀스 기억부(108) 사이를 흐르는 데이터의 양이 상대적으로 작을 때, 3차원 데이터 처리부(2400)에 포함되어 있는 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 많게 함으로써, 1프레임당의 저해상도 비디오 데이터의 양을 증가시킨다. 이에 따라, 제3해상도 비디오 계산부(110)에 있어서 이용될 수 있는 교점(샘플링점)의 수가 증가한다. 이 때문에, 보다 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

이상과 같이 본 실시형태의 비디오 묘화장치에 의하면, 3차원 데이터 처리부(2400)와 2차원 데이터 처리부(2410) 사이를 흐르는 데이터의 양이 외부 요인에 의해 변화한 경우에도, 프레임 속도를 안정하게 유지하면서, 가능한 한 고품질의 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

(제15실시형태): 밴드폭 의존의 샘플링점 수의 동적 제어

본 실시형태에 따른 비디오 묘화장치의 특징은, 도 1의 제1실시형태, 제2실시형태 및 제3실시형태에 따른 비디오 묘화장치, 또는 도 24의 제4실시형태에 따른 비디오 묘화장치가 갖춘 제1해상도 비디오 시퀀스 기억부(108)의 밴드폭(대역폭)의 넓이에 따라, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수(1프레임당의 저해상도 비디오 데이터의 양)를 동적으로 제어하는 것이다.

예컨대, 제1해상도 비디오 시퀀스 기억부(108)가 단일의 커다란 메모리의 일부에 구성되어 있고, 그 메모리의 나머지 부분이 다른 기기에 의해 억세스되는 것으로 한다. 어떤 프레임에 있어서 다른 기기로부터의 억세스가 집중하면, 메모리의 밴드폭이 소비되어 버려 제1해상도 비디오 시퀀스 기억부(108)의 밴드폭이 좁아지는 경우가 있다.

그래서 본 실시형태에 따른 비디오 묘화장치에서는, 제1해상도 비디오 시퀀스 기억부(108)의 밴드폭이 상대적으로 좁을 때, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 적게 함으로써, 1프레임당의 저해상도 비디오 데이터의 양을 줄인다. 이에 따라, 제1해상도 비디오 시퀀스 기억부(108)와의 데이터 전송이 병목으로 되는 것을 방지할 수 있다. 이 때문에, 안정한 프레임 속도로 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

반대로, 제1해상도 비디오 시퀀스 기억부(108)의 밴드폭이 상대적으로 넓을 때, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 많게 함으로써, 1프레임당의 저해상도 비디오 데이터의 양을 증가시킨다. 이에 따라, 제3해상도 비디오 계산부(110)에 있어서 이용될 수 있는 교점(샘플링점)의 수가 증가하기 때문에, 보다 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

이상과 같이 본 실시형태의 비디오 묘화장치에 의하면, 제1해상도 비디오 시퀀스 기억부(108)의 밴드폭이 외부 요인에 의해 변화한 경우에도, 프레임 속도를 안정하게 유지하면서, 가능한 한 고품질의 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

(제16실시형태): 인터랙티브 의존의 샘플링점 수의 동적 제어

도 35는 제16실시형태에 따른 비디오 묘화장치의 구성을 나타낸다. 제16실시형태에 따른 비디오 묘화장치의 특징은, 현재의 프레임에 있어서 묘화되는 비디오의 인터랙티브성의 높이에 따라, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수(1프레임당의 저해상도 비디오 데이터의 양)를 동적으로 제어하는 것이다.

예컨대, 현재의 프레임에 있어서 유저의 입력에 따라 동적으로 변화하지 않으면 안되는 비디오를 묘화하고 있을 때, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 적게 함으로써, 1프레임당의 저해상도 비디 오 데이터의 양을 줄인다. 이에 따라, 후단의 블록이 처리하는 데이터량이 적어지기 때문에, 안정한 프레임 속도로 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

반대로, 현재의 프레임에 있어서 유저의 입력에 따라 동적으로 변화하지 않는 정적인 비디오(예컨대 게임에서의 리플레이 신(replay scene)의 비디오)를 묘화하고 있을 때, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 많게 함으로써, 1프레임당의 저해상도 비디오 데이터의 양을 증가시킨다. 이에 따라, 제3해상도 비디오 계산부(110)에 있어서 이용될 수 있는 교점(샘플링점)의 수가 증가하기 때문에, 보다 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화하는 것이 가능해진다.

한편, 현재의 프레임의 인터랙티브성의 높이는 미리 CG데이터 기억부(101)에 수치데이터로서 유지되어 있는 것으로 한다. 인터랙티브성 평가부(3501)는 이 수치데이터를 CG데이터 기억부(101)로부터 취득하고, 그 취득한 값에 기초해서 평가치를 출력한다. 취득한 데이터를 그대로 평가치로 해도 좋고, 또는 취득한 데이터와 모션벡터 등의 다른 CG데이터를 조합시켜 평가치를 계산해도 좋다.

제어부(113)는 인터랙티브성 평가부(3501)로부터 출력되는 평가치를 수신하고, 그 평가치에 기초해서 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 동적으로 제어한다.

이상과 같이 본 실시형태의 비디오 묘화장치에 의하면, 현재의 프레임에 있어서 묘화하고 있는 비디오에 요구되는 인터랙티브성의 높이에 따라 프레임 속도와 품질의 트레이드오프를 동적으로 조정하는 것이 가능해진다.

(제17실시형태): 소비전력 의존의 샘플링점 수의 동적 제어

제17실시형태에 따른 비디오 묘화장치의 특징은, 도 1의 제1실시형태, 제2실시형태 및 제3실시형태에 따른 비디오 묘화장치, 또는 도 24의 제4실시형태에 따른 비디오 묘화장치에 포함된 제어부(113)가 현재의 소비전력에 따라 교점좌표 계산부(103)에 의해 계산되는 교점의 수(1프레임당의 저해상도 비디오 데이터의 양)를 동적으로 제어하는 것이다. 제어부(113)가 현재의 소비전력을 측정한다.

예컨대, 현재의 프레임에서의 소비전력이 상대적으로 높을 때, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 적게 함으로써, 1프레임당의 저해상도 비디오 데이터의 양을 줄인다. 이에 따라, 후단의 프레임이 처리하는 데이터량이 적어지기 때문에, 소비전력의 상승을 억제하면서 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

반대로, 현재의 프레임에서의 소비전력이 상대적으로 낮을 때, 제어부(113)가 교점좌표 계산부(103)에 의해 계산되는 교점의 수를 상대적으로 많게 함으로써, 1프레임당의 저해상도 비디오 데이터의 양을 증가시킨다. 이에 따라, 제3해상도 비디오 계산부(110)에 있어서 이용될 수 있는 교점(샘플링점)의 수가 증가하기 때문에, 보다 고품질의 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

이상과 같이 본 실시형태의 비디오 묘화장치에 의하면, 소비전력의 상승을 억제하면서 가능한 한 고품질의 고해상도 글로발 일루미네이션 비디오를 묘화하는 것이 가능해진다.

이상 설명한 바와 같이 본 발명의 비디오 묘화장치, 방법 및 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체에 의하면, 복수 프레임의 저해상도 샘플링점을 필터링함으로써, 1프레임당의 샘플링점의 수를 종래보다 적게 할 수 있다. 그 결과, 고품질의 고해상도 글로발 일루미네이션 비디오를 인터랙티브하게 묘화할 수 있다. CG 이미지를 묘화할 때에 얻어지는 샘플링점의 모션벡터와 오브젝트 ID를 이용함으로써, 매칭의 계산을 고속이면서 안정하게 실현할 수 있다.

Claims

좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하는 제1기억부와,

상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하는 변환부,

상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와, 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하는 제1계산부,

상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하는 제2계산부,

상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하는 제3계산부,

상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하는 할당부,

상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하는 투영부,

상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부,

현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 중해상도 계산부,

상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 고해상도 계산부,

상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 제2기억부 및,

상기 고해상도 비디오 데이터를 제시하는 제시부를 구비하여 구성된 것을 특징으로 하는 비디오 묘화장치.
청구항 1에 기재된 비디오 묘화장치에 있어서, 상기 중해상도 계산부가, 상기 현재의 프레임의 저해상도 비디오 데이터와 상기 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 것을 특징으로 하는 비디오 묘화장치.
청구항 1에 기재된 비디오 묘화장치에 있어서, 상기 중해상도 계산부가, 상기 현재의 프레임의 저해상도 비디오 데이터와 상기 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 것을 특징으로 하는 비디오 묘화장치.
청구항 1에 기재된 비디오 묘화장치에 있어서, 상기 중해상도 계산부가, 상기 현재의 프레임의 저해상도 비디오 데이터와, 상기 현재의 프레임보다 시간적으로 뒤의 복수 프레임의 저해상도 비디오 데이터 및, 상기 현재의 프레임보다 시간적으로 앞의 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 것을 특징으로 하는 비디오 묘화장치.
청구항 1에 기재된 비디오 묘화장치에 있어서, 상기 중해상도 계산부가,

상기 현재의 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득하는 제1취득부와,

상기 현재의 프레임과는 시간적으로 다른 프레임의 저해상도 비디오 데이터에 포함되어 있는 교점의 2차원 좌표 및 교점의 2차원 모션벡터를 취득하는 제2취득부,

상기 취득된 2차원 모션벡터 중에서 현재의 프레임으로 돌아가는 모션을 나타내는 2차원 모션벡터를 선택하는 선택부 및,

상기 선택된 2차원 모션벡터에 대응하는 저해상도 비디오 데이터와 상기 현 재의 프레임의 저해상도 비디오 데이터를 가산하는 가산부을 구비하고 있는 것을 특징으로 하는 비디오 묘화장치.
청구항 1에 기재된 비디오 묘화장치에 있어서, 상기 고해상도 계산부가,

상기 제시되는 고해상도 비디오 데이터에 따라 복수의 픽셀을 선택하는 선택부와,

상기 픽셀마다 상기 중해상도 비디오 데이터에 포함되어 있는 교점 중에서 픽셀을 중심으로 한 어떤 크기의 영역에 포함되어 있는 복수의 제1교점을 선택하는 선택부,

상기 제1교점 중 현재의 프레임과는 다른 프레임에 포함되어 있던 제2교점을 선택하는 선택부,

상기 선택된 제2교점마다 제2교점을 중심으로 한 상기 오브젝트에 따라 결정되는 크기의 영역에서 현재의 프레임에 포함되어 있는 제3교점을 선택하는 선택부,

상기 제2교점의 오브젝트 ID와 상기 제3교점의 오브젝트 ID를 비교하는 비교부,

상기 비교부에 의해 상기 제2교점의 오브젝트 ID와 상기 제3교점의 오브젝트 ID가 다르다고 판단된 경우에는, 그 제2교점을 중해상도 비디오 데이터로부터 제거하는 제거부 및,

상기 중해상도 비디오 데이터에 포함되어 있는 교점 중에서 제거되지 않은 교점에 기초해서 상기 복수의 픽셀의 컬러값을 계산하는 계산부를 구비하고 있는 것을 특징으로 하는 비디오 묘화장치.
3차원 데이터 처리부와 2차원 데이터 처리부를 구비하는 비디오 묘화장치에 있어서,

상기 3차원 데이터 처리부가,

좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하는 제1기억부와,

상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하는 변환부,

상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와, 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하는 교점 계산부,

상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하는 제1계산부,

상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하는 제2계산부,

상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하는 할당부,

상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하는 투영부 및,

상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부를 구비하고 있고,

상기 2차원 데이터 처리부가,

상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부와,

현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 중해상도 계산부,

상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 고해상도 계산부,

상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 제2기억부 및,

상기 고해상도 비디오 데이터를 제시하는 제시부를 구비하고 있는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 비디오 묘화장치에 있어서, 상기 3차원 데이터 처리부와 상기 2차원 데이터 처리부 사이를 흐르는 데이터의 양을 측정하는 측정부와,

상기 측정된 데이터량에 따라 상기 교점 계산부에 의해 계산되는 교점의 수를 제어하는 제어수단을 더 구비하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 비디오 묘화장치에 있어서, 상기 해상도 기억부의 밴드폭을 측정하는 측정부와,

상기 측정된 밴드폭에 따라 상기 교점 계산부에 의해 계산되는 교점의 수를 제어하는 제어수단을 더 구비하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 비디오 묘화장치에 있어서, 현재의 프레임에서 묘화하고 있는 비디오에 대한 인터랙티브성의 높이를 평가하는 평가부와,

상기 평가된 인터랙티브성의 높이에 따라 상기 교점 계산부에 의해 계산되는 교점의 수를 제어하는 제어수단을 더 구비하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 비디오 묘화장치에 있어서, 현재의 프레임에서의 소비전력을 측정하는 측정부와,

상기 소비전력에 따라 상기 교점 계산부에 의해 계산되는 교점의 수를 제어하는 제어수단을 더 구비하는 것을 특징으로 하는 비디오 묘화장치.
뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환된 CG데이터를 이용해서, 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와 3차원(3D) 공간 내의 오브젝트의 교점의 복수의 2차원 좌표, 그 교점의 3차원 좌표와 그 3차원 좌표에서의 교점의 3차원 모션벡터를 투영면에 투영해서 얻은 교점의 복수의 2차원 모션벡터, 상기 교점의 3차원 좌표에서의 교점의 복수의 컬러값 및, 오브젝트마다 다른 교점의 복수의 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부와,

현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 중해상도 계산부,

상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 고해상도 계산부,

상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 기억부 및,

상기 고해상도 비디오 데이터를 제시하는 제시부를 구비하여 구성된 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 3차원 데이터 처리부를 복수 갖추되, 그 각 3차원 데이터 처리부가 다른 3차원 데이터 처리부에 의해 처리되는 프레임과는 다른 프레임을 처리하고,

청구항 7에 기재된 단일의 2차원 데이터 처리부를 갖추되, 그 2차원 데이터 처리부가 상기 각 3차원 데이터 처리부로부터의 저해상도 비디오 데이터를 수신하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 3차원 데이터 처리부를 복수 갖추되, 그 각 3차원 데이터 처리부가 동일한 프레임의 비디오를 임의의 형상으로 분할한 복수의 영역인 복수의 비디오 블록 중 다른 3차원 데이터 처리부에 의해 처리되는 비디오 블록과는 다른 비디오 블록을 처리하고,

상기 각 3차원 데이터 처리부로부터 비디오 블록마다의 저해상도 비디오 데이터를 수신하고 그 저해상도 비디오 데이터를 프레임마다 결합해서 프레임단위로 모두 합쳐서 저해상도 비디오 데이터를 취득하는 결합부를 갖추며,

청구항 7에 기재된 단일의 2차원 데이터 처리부를 갖추되, 그 2차원 데이터 처리부가 상기 결합부로부터의 저해상도 비디오 데이터를 수신하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 단일의 3차원 데이터 처리부를 갖추고,

청구항 7에 기재된 2차원 데이터 처리부를 복수 갖추되, 그 각 2차원 데이터 처리부가 다른 2차원 데이터 처리부에 의해 처리되는 프레임과는 다른 프레임을 처리하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 단일의 3차원 데이터 처리부를 갖추고,

청구항 7에 기재된 2차원 데이터 처리부를 복수 갖추되, 그 각 2차원 데이터 처리부가 다른 2차원 데이터 처리부에 의해 처리되는 비디오 블록과는 다른 비디오 블록을 처리하며,

상기 저해상도 비디오 데이터를 동일한 프레임의 비디오를 임의의 형상으로 분할한 복수의 영역인 복수의 비디오 블록으로 분할하는 분할부와,

상기 2차원 데이터 처리부에 의해 계산된 고해상도 비디오 데이터의 각 비디오 블록을 결합하는 결합부를 구비하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 3차원 데이터 처리부를 복수 갖추되, 그 각 3차원 데이터 처리부가 다른 3차원 데이터 처리부에 의해 처리되는 프레임과는 다른 프레임을 처리하고,

청구항 7에 기재된 2차원 데이터 처리부를 복수 갖추되, 그 각 2차원 데이터 처리부가 상기 각 3차원 데이터 처리부와 1 대 1로 접속되어 상기 각 3차원 데이터 처리부로부터 프레임마다의 저해상도 비디오 데이터를 수신하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 3차원 데이터 처리부를 복수 갖추되, 그 각 3차원 데이터 처리부가 동일한 프레임의 비디오를 임의의 형상으로 분할한 복수의 영역인 복수의 비디오 블록 중 다른 3차원 데이터 처리부에 의해 처리되는 비디오 블록과는 다른 비디오 블록을 처리하고,

청구항 7에 기재된 2차원 데이터 처리부를 복수 갖추되, 그 각 2차원 데이터 처리부가 상기 각 3차원 데이터 처리부와 1 대 1로 접속되어 상기 각 3차원 데이터 처리부로부터 비디오 블록마다의 저해상도 비디오 데이터를 수신하며,

상기 각 2차원 데이터 처리부에 의해 계산된 고해상도 비디오 데이터의 각 비디오 블록을 결합하는 결합부를 구비하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 3차원 데이터 처리부를 복수 갖추되, 그 각 3차원 데이터 처리부가 다른 3차원 데이터 처리부에 의해 처리되는 프레임과는 다른 프레임을 처리하고,

청구항 7에 기재된 2차원 데이터 처리부를 복수 갖추되, 그 각 2차원 데이터 처리부가 상기 복수의 3차원 데이터 처리부 중에서 어떤 3차원 데이터 처리부를 선택하고, 그 선택된 3차원 데이터 처리부로부터 프레임마다의 저해상도 비디오 데이터를 수신하는 것을 특징으로 하는 비디오 묘화장치.
청구항 7에 기재된 3차원 데이터 처리부를 복수 갖추되, 그 각 3차원 데이터 처리부가 동일한 프레임의 비디오를 임의의 형상으로 분할한 복수의 영역인 복수의 비디오 블록 중 다른 3차원 데이터 처리부에 의해 처리되는 비디오 블록과는 다른 비디오 블록을 처리하고,

청구항 7에 기재된 2차원 데이터 처리부를 복수 갖추되, 그 각 2차원 데이터 처리부가 상기 각 2차원 데이터 처리부의 부하에 대응하는 크기의 비디오 블록의 저해상도 비디오 데이터를 수신하며,

상기 각 3차원 데이터 처리부로부터 비디오 블록마다의 저해상도 비디오 데이터를 수신하고 각 프레임을 임의의 크기의 비디오 블록으로 분할한 저해상도 비디오 데이터를 재구성하는 수신부와,

상기 각 2차원 데이터 처리부에 의해 계산된 고해상도 비디오 데이터의 각 비디오 블록을 결합하는 결합부를 구비하는 것을 특징으로 하는 비디오 묘화장치.
좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하는 제1기억부를 준비하는 단계와,

상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하는 단계,

상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하는 단계,

상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하는 단계,

상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하는 단계,

상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하는 단계,

상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하는 단계,

상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하는 해상도 기억부를 준비하는 단계,

현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하는 단계,

상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하는 단계,

상기 고해상도 비디오 데이터를 프레임 단위로 기억하는 제2기억부를 준비하는 단계 및,

상기 고해상도 비디오 데이터를 제시하는 단계를 구비하여 이루어진 것을 특징으로 하는 비디오 묘화방법.
컴퓨터가 좌표변환에 관한 데이터, 카메라에 관한 데이터, 지오메트리에 관한 데이터, 광원에 관한 데이터, 텍스처에 관한 데이터를 포함하는 CG데이터를 기억하도록 명령하는 수단과,

상기 컴퓨터가 상기 CG데이터의 좌표계를 뷰포인트로부터 본 좌표계인 카메라 좌표계로 변환하도록 명령하는 수단,

상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 표시되는 이미지 평면의 픽셀로부터 샘플링한 샘플링점을 통과하는 시선벡터와 3차원(3D) 공간 내의 오브젝트의 교점의 3차원 좌표를 계산하도록 명령하는 수단,

상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 교점의 3차원 모션벡터를 계산하도록 명령하는 수단,

상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 교점의 컬러값을 계산하도록 명령하는 수단,

상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표에서의 오브젝트마다 다른 교점의 오브젝트 ID를 할당하도록 명령하는 수단,

상기 컴퓨터가 상기 변환된 CG데이터를 이용해서 상기 3차원 좌표와 상기 3차원 모션벡터를 투영면에 투영해서 교점의 2차원(2D) 좌표 및 교점의 2차원 모션벡터를 계산하도록 명령하는 수단,

상기 컴퓨터가 상기 2차원 좌표, 상기 2차원 모션벡터, 상기 컬러값 및 상기 할당된 오브젝트 ID를 프레임마다 모두 합쳐서 저해상도 비디오 데이터로서 기억하도록 명령하는 수단,

상기 컴퓨터가 현재의 프레임의 저해상도 비디오 데이터와 현재의 프레임과는 시간적으로 다른 복수 프레임의 저해상도 비디오 데이터를 중합시켜 중해상도 비디오 데이터를 계산하도록 명령하는 수단,

상기 컴퓨터가 상기 중해상도 비디오 데이터를 필터링해서 고해상도 비디오 데이터를 계산하도록 명령하는 수단,

상기 컴퓨터가 상기 고해상도 비디오 데이터를 프레임 단위로 기억하도록 명령하는 수단 및,

상기 컴퓨터가 상기 고해상도 비디오 데이터를 제시하도록 명령하는 수단으로서 기능하도록 하기 위한 비디오 묘화프로그램을 기록한 컴퓨터 독출가능 기록매체.