JP6332275B2

JP6332275B2 - 映像符号化装置、映像符号化方法及びプログラム

Info

Publication number: JP6332275B2
Application number: JP2015535296A
Authority: JP
Inventors: 慶一蝶野; 誠也柴田; 貴之石田; 謙介霜觸
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2013-09-09
Filing date: 2014-07-25
Publication date: 2018-05-30
Anticipated expiration: 2034-07-25
Also published as: JPWO2015033510A1; EP2975847A4; WO2015033510A1; US20160301941A1; EP2975847A1; KR20150133825A

Description

本発明は、映像符号化処理の計算負荷を分散する技術が適用された映像符号化装置に関する。

非特許文献１に基づいた映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）と呼ぶ。なお、LCU サイズとCTU サイズは同一となる。

CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測およびフレーム間予測を説明する。

イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。非特許文献１では、図26に示す33種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を図26に示す33種類の方向のいずれかに外挿して、イントラ予測信号を生成する。非特許文献１では、33種類の角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以後、イントラ予測に基づいて符号化されたCUをイントラCUと呼ぶ。

フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。図27は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mv_x, mv_y)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて(必要であれば画素補間を用いて)、インター予測信号を生成する。以後、フレーム間予測に基づいて符号化されたCUをインターCUと呼ぶ。

各CUがイントラCU／インターCUのいずれであるかは、非特許文献１に記載されるpred_mode_flagシンタクスによってシグナリングされる。

イントラCUのみで符号化されたフレームはＩフレーム(もしくはＩピクチャ)と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。

図28を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。

図28に示す映像符号化装置は、周波数変換／量子化器1021、エントロピー符号化器1056、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器1025を備える。

図29は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。また、図30は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。各CTU のクアッドツリー構造、すなわち、CU分割形状は、非特許文献１に記載されるsplit_cu_flag シンタクスによってシグナリングされる。

図31は、CUのPU分割形状を示す説明図である。イントラCUの場合、正方形のPU分割を選択できる。インターCUの場合、正方形はもちろん長方形のPU分割も選択できる。各CUのPU分割形状は、特許文献１に記載されるpart_mode シンタクスによってシグナリングされる。

図32は、CUのTU分割例を示す説明図である。上段には、2N×2N PU 分割形状のイントラCUのTU分割例が示されている。イントラCUの場合、クアッドツリーの根（Root）はPUに配置され、各PUの予測誤差がクアッドツリー構造で表現される。下段には、2N×N PU分割形状のインターCUのTU分割例が示されている。インターCUの場合、クアッドツリーの根（Root）はCUに配置され、該CUの予測誤差がクアッドツリー構造で表現される。上述した予測誤差のクアッドツリー構造、すなわち、各CUのTU分割形状は、非特許文献１に記載されるsplit_tu_flag シンタクスによってシグナリングされる。

推定器1025は、CTU 毎に、符号化コストを最小とする、CU分割形状を決定するsplit_cu_flag シンタクス値を決定する。推定器1025は、CU毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、PU分割形状を決定するpart_mode シンタクス値、および、TU分割形状を決定するsplit_tu_flag シンタクス値を決定する。推定器1025は、PU毎に、符号化コストを最小とする、イントラ予測方向、および、動きベクトルなどを決定する。

非特許文献２は、ラグランジュ乗数λに基づいた符号化コストJ を最小とする、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどの決定方法を開示している。

以下、非特許文献２の4.8.3 節 Intra/Inter/PCM mode decisionを参照して、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値の決定プロセスを簡単に説明する。

同節には、CUのpred_mode_flagシンタクス値およびpart_mode シンタクス値を決定する、CUモード決定プロセスが開示されている。また、CUモード決定プロセスを再帰的に実行することによってsplit_cu_flag シンタクス値を決定するCU分割形状プロセスが開示されている。

まず、CUモード決定プロセスを説明する。インター予測のPU分割形状候補の集合をInterCandidate、イントラ予測のPU分割形状候補の集合をIntraCandidate、ある符号化モード（mode）に対する２乗誤差和（SSE: Sum of Square Error）符号化コストJ_SSE(mode)を以下のように定義する。

InterCandidate = { INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NxN }
IntraCandidate = {INTRA_2Nx2N, INTRA_NxN}
J_SSE(mode) = D_SSE(mode) + λ_mode・R_mode(mode)

ただし、D_SSE(mode)、R_mode(mode)、QPは、それぞれ、CUの入力画像信号とmodeを用いて符号化した際に得られる再構築画像信号との２乗誤差和、modeを用いて符号化した際に発生するCUビット数（後述する変換量子化値のビット数も含む）、量子化パラメータを示す。

CUモード決定プロセスは、InterCandidateおよびIntraCandidateから、SSE 符号化コストJ_SSE(mode)を最小とするpred_mode_flagシンタクスおよびpart_mode シンタクスの組であるbestPUmodeを選択する。定式的には、CUモード決定プロセスを以下で定義できる。

PUCandidate = { InterCandidate, IntraCandidate }

次に、CU分割形状決定プロセスを説明する。

図30に示されたように、あるCUDepth のCU （以下、ノードと呼ぶ）のSSE 符号化コストは、該ノードのbestPUmodeのSSE 符号化コストである。つまり、ノードのSSE 符号化コスト J_SSE(node, CUDepth) を、以下のように定義できる。

CUDepth のCUのｉ番目（１≦ｉ≦４）の子CU （以下、子ノードやリーフなどと呼ぶ）のSSE 符号化コストは、CUDepth+1のｉ番目のCUのSSE 符号化コストである。つまり、ｉ番目のリーフのSSE 符号化コストJ_SSE(leaf(i), CUDepth)は、以下のように定義できる。

J_SSE(leaf(i), CUDepth) = J_SSE(node, CUDepth+1)

ノードのSSE 符号化コストがそのリーフのSSE 符号化コストの和よりも大きいか否かを比較することによって、CUを４つの子CUに分割するか否かを決定できる。J_SSE(node, CUDepth) が下記の（１）式の値よりも大きい場合、CUを４つの子CUに分割する（split_cu_flag=1 と決定する）。J_SSE(node, CUDepth) が（１）式の値以下の場合、CUを４つの子CUに分割しない（split_cu_flag=0 と決定する）。

CUクアッドツリー構造決定プロセスは、上述した比較をCUDepth毎に再帰的に実行し、CTUのクアッドツリー構造を決定する。つまり、CUDepth毎にリーフのsplit_cu_flag を決定する。

ラグランジュ乗数λに基づいた符号化コストJを最小化することで、推定器1025は、同様に、split_tu_flag 、イントラ予測方向、動きベクトルなどを決定する。

予測器1024は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。

周波数変換／量子化器1021は、推定器1025が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。

さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。

エントロピー符号化器1056は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および、変換量子化値をエントロピー符号化する。

逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。

上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。

特開２０１２−１０４９４０号公報特開２００１−３５９１０４号公報

High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 14-23 January 2013 High efficiency video coding (HEVC) text specification draft 7 of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 27 April - 7 May 2012 ITU-T H.264 2011/06

split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどを決定する全ての映像符号化処理の負荷が特定の推定器に集中する。

本発明は、映像符号化装置における処理負荷を分散することを目的とする。

なお、特許文献１には、第１符号化部と第２符号化部とを備えた映像符号化装置が記載されている。また、特許文献２には、復号器と符号化器とを備えたトランスコーディング装置が記載されている。しかし、いずれの文献にも、映像符号化装置における負荷を分散するための技術は開示されていない。

本発明による映像符号化装置は、ダウンサンプリングによって入力画像の空間解像度を低減し、空間解像度が低減された入力画像の画素数を最大CUサイズの倍数になるように拡張するサイズ拡張手段と、サイズ拡張された入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、サイズ拡張された入力画像を格納するバッファ手段と、第１の映像符号化手段が生成した第１の符号化データを変換した後、併合して第２の符号化データを生成する符号化データ変換／併合手段と、符号化データ変換／併合手段から供給される第２の符号化データに基づいて、バッファ手段に格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する第２の映像符号化手段とを備え、第１の映像符号化手段は、第２の映像符号化手段が扱う第２符号化処理に包含される第１符号化処理を扱う機能を有し、符号化データ変換／併合手段は、第１符号化処理による符号化データを第２符号化処理に対応する符号化データに変換し、第１の映像符号化手段が対応する空間解像度は、第２の映像符号化手段が対応する空間解像度以下であり、符号化データ変換／併合手段は、第１の映像符号化手段と第２の映像符号化手段が符号化するそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成することを特徴とする。

本発明による映像符号化方法は、入力画像の空間解像度を低減するためのダウンサンプリングを実行し、ダウンサンプリングによって空間解像度が低減された入力画像の画素数を最大CUサイズの倍数になるように拡張し、サイズ拡張された入力画像を符号化して第１の符号化データを生成し、サイズ拡張された入力画像を格納するバッファ手段に格納し、第１の符号化データを変換した後に併合して第２の符号化データを生成し、第１の符号化データを生成する手段が扱う第１符号化処理を包含する第２符号化処理を扱う機能を有する手段を用いて、第２の符号化データに基づいて、バッファ手段に格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成し、第２の符号化データを生成する際に、第１符号化処理による符号化データを第２符号化処理に対応する符号化データに変換し、第１符号化処理が対応する空間解像度は、第２符号化処理が対応する空間解像度以下であり、第１符号化処理と第２符号化処理で符号化されるそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成することを特徴とする。

本発明による映像符号化プログラムは、コンピュータに、入力画像の空間解像度を低減するためのダウンサンプリングを実行させ、ダウンサンプリングによって空間解像度が低減された入力画像の画素数を最大CUサイズの倍数になるように拡張する処理と、サイズ拡張された入力画像を符号化して第１の符号化データを生成する処理と、サイズ拡張された入力画像を格納するバッファ手段に格納する処理と、第１の符号化データを変換した後に併合して第２の符号化データを生成する処理と、第１の符号化データを生成する処理で扱う第１符号化処理を包含する符号化処理を扱う第２符号化処理によって、第２の符号化データに基づいて、バッファ手段に格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する処理とを実行させ、第２の符号化データを生成する際に、第１符号化処理による符号化データを第２符号化処理による符号化データに変換させ、第１符号化処理が対応する空間解像度は、第２符号化処理が対応する空間解像度以下であり、コンピュータに、第１符号化処理と第２符号化処理で符号化されるそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成させることを特徴とする。

本発明によれば、映像符号化処理の計算負荷が第１の映像符号化手段と第２の映像符号化手段とに分配されるので、負荷の集中を避けることができる。

映像符号化装置の第１の実施形態を示すブロック図である。 AVC 符号化データを示す説明図である。マクロブロック中のブロックアドレスのための説明図である。予測の種類を説明するための説明図である。予測の種類を説明するための説明図である。 AVC 方式のTreeの予測形状を示す説明図である。 HEVC符号化データであるHEVCCBを示す説明図である。 I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。 P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。 B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。 HEVCCBの例を示す説明図である。 HEVCCBの例を示す説明図である。第１の実施形態の映像符号化装置の動作を示すフローチャートである。映像符号化装置の第２の実施形態を示すブロック図である。第２の実施形態の映像符号化装置の動作を示すフローチャートである。映像符号化装置の第３の実施形態を示すブロック図である。第３の実施形態の映像符号化装置の動作を示すフローチャートである。画面分割の例を示す説明図である。分割画面を並列処理する映像符号化装置を示すブロック図である。入力ビットストリームをトランスコードする映像符号化装置を示すブロック図である。本発明による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。本発明による映像符号化装置の主要部を示すブロック図である。本発明による他の映像符号化装置の主要部を示すブロック図である。本発明によるさらに他の映像符号化装置の主要部を示すブロック図である。本発明による別の映像符号化装置の主要部を示すブロック図である。 33種類の角度イントラ予測の例を示す説明図である。フレーム間予測の例を示す説明図である。一般的な映像符号化装置の構成を示す説明図である。フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。 CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。 CUのPU分割例を示す説明図である。 CUのTU分割例を示す説明図である。

実施形態１．
図１は、本実施形態の映像符号化装置の構成を示すブロック図である。図1 に示す映像符号化装置において、前段映像符号化器102 が、16×16画素のLCU サイズのCTU と等価であるマクロブロックをサポートするAVC（Advanced Video Coding）映像符号化器であり、後段映像符号化器105が、16×16画素だけでなく32×32画素および64×64画素のCTU をサポートするHEVC映像符号化器である。つまり、前段映像符号化器102 が対応できる最大LCU サイズは、後段映像符号化器105 が対応できる最大LCUサイズ以下である。

本実施形態の映像符号化装置は、サイズ拡張器101 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。

サイズ拡張器101は、入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088)となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 ）でもよい。

サイズ拡張器101 は、サイズ拡張された入力画像を前段映像符号化器102 およびバッファ103 に供給する。前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。

前段映像符号化器102 の構成と動作を説明する。

前段映像符号化器102 は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器（前段推定器）1025を備える。

推定器1025は、サイズ拡張された入力画像とバッファ1023に格納された再構築画像とを用いて、サイズ拡張された入力画像を構成する各マクロブロックのAVC 符号化データを決定する。本明細書において、AVC 符号化データ（AVCMB ）は、図2 に示される、マクロブロックに対応する16×16画素領域のDCT 係数を除く符号化データ（mb_type、sub_mb_type、ref_idx_l0、ref_idx_l1、mv_l0、mv_l1、intra_lumaNxN_pred、transform_size_8x8_flag ）を含む。ここで、mb_type およびsub_mb_type は、それぞれ、非特許文献３のTable 7-11、Table 7-13、Table 7-14で定義されるマクロブロックの符号化モード、および非特許文献３のTable 7-17およびTable 7-18で定義されるサブマクロブロックの符号化モードを示す。また、ref_idx_lx (x=0/1)、mv_lx 、intra_lumaNxN_pred、およびtransform_size_8x8_flag は、それぞれ、参照ピクチャリストx の参照ピクチャインデックス、参照ピクチャリストx の動きベクトル、輝度イントラ予測方向、および、マクロブロックが8×8DCT で符号化されたか否かのフラグを示す。

上述したように、マクロブロックが16×16画素であり、さらに、AVC 方式における最小処理単位が4×4画素であることに着目すると、各マクロブロックにおける各AVC 符号化データの位置は、マクロブロック中の16×16ブロックアドレスb8（0≦b8≦3）（図3 における上段）と、8×8ブロック中のブロックアドレスb4（0≦b4≦3）（図3 における下段）との組によって定義される。例えば、マクロブロック内で(x,y)=(4,4) の位置のintra_lumaNxN_predは、(b8,b4)=(0,1) となり、intra_lumaNxN_pred[0][3]に格納することができる。

推定器1025は、決定した各マクロブロックのAVC 符号化データを予測器1024および符号化データ変換器104 に出力する。

予測器1024は、推定器1025が決定したmb_type シンタクス値、sub_mb_type シンタクス値、ref_idx_l0シンタクス値、ref_idx_l1シンタクス値、mv_l0 シンタクス値、mv_l1 シンタクス値、および、intra_lumaNxN_predシンタクス値に基づいて、各マクロブロックのサイズ拡張された入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。

AVC 方式のイントラ予測については、非特許文献３に記載されているように、mb_type によって定義される、3 種類のブロックサイズのイントラ予測モードIntra_4x4 、Intra_8x8 、Intra_16x16 がある。

図4(a)，(c)を参照すると、Intra_4x4 とIntra_8x8 とはそれぞれ4×4ブロックサイズと8×8ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。

Intra_4x4 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図4(b)に示す9 種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_8x8 のイントラ予測では、図4(c)における右矢印の直下に記載されているローパスフィルタ（1/2 ，1/4 ，1/2 ）によって再構築画像の周辺画素が平滑化された画素を参照画素として図4(b)に示す9 種類の方向に参照画素を外挿して予測信号が形成される。

図5(a)を参照すると、Intra_16x16 は16×16ブロックサイズのイントラ予測であることがわかる。図4 に示された例と同様に、図5 において、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。Intra_16x16 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図5(b)に示す4 種類の方向に参照画素を外挿して予測信号が形成される。

AVC 方式のフレーム間予測については、図6 に記載されているように、mb_type によって定義される、16×16，16×8 ，8×16 ，Tree の予測形状がある。マクロブロックがTreeの場合、各8×8サブマクロブロックは、sub_mb_type によって定義される、8×8，8×4, 4×8，4×4のいずれかの予測形状となる。本明細書では、説明を簡略化するために、mb_type がTreeの場合（P_8x8またはB_8x8の場合）、各8×8サブマクロブロックは8×8だけに限定されるとする。

周波数変換／量子化器1021は、推定器1025が決定したmb_type シンタクス値およびtransform_size_8x8_flag シンタクス値に基づいて、サイズ拡張された入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。

上述した動作に基づいて、前段映像符号化器102はサイズ拡張された入力画像信号を符号化する。

符号化データ変換器104は、各マクロブロックのAVCMBを、図7 に示すマクロブロックに対応する16×16画素の領域のHEVC符号化データ（cu_size ，tu_size ，pred_mode_flag，part_mode ，ref_idx_l0，ref_idx_l1，mv_l0 ，mv_l1 ，intra_lumaNxN_pred，intra_chroma_pred ）であるHEVCCBに変換する。ただし、ここで、cu_size およびtu_size は、それぞれ、CUサイズおよびTUサイズを示す。

図8 〜図10において、V は垂直方向を意味し、H は水平方向を意味する。また、各行は、各々のmb_typeおよびintra_lumaNxN_predに対する変換ルールを示す。

HEVC方式において、LCUの最小サイズが16×16画素、SCUの最小サイズが8×8画素、最小処理単位が4×4画素であることに着目すると、16×16画素単位でHEVC符号化データを管理できる。各16×16画素におけるHEVC符号化データの位置は、AVC 符号化データと同様に、マクロブロック中の8×8ブロックアドレスb8（0≦b8≦3）と8×8ブロック中のブロックアドレスb4（0≦b4≦3）の組によって定義できる。

例えば、CUサイズが16の場合、各16×16画素におけるHEVC符号化データのcu_size[b8] （0≦b8≦3）は、すべて16となる。

図8 に示すI_SLICE マッピング、図9 に示すP_SLICE マッピング、および図10に示すB_SLICE マッピングのそれぞれは、符号化データ変換器104 による、各AVCMBをHEVCCBにマッピング（変換）するルールをピクチャタイプ別に示す。

続いて、符号化データ変換器104 は、図11に示される、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、ならびに、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、４個のHEVCCBのcu_size を32に更新する。

さらに、符号化データ変換器104 は、図12に示される、隣接する１６個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、および、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、１６個のHEVCCBを併合する。具体的には、１６個のHEVCCBのcu_size を64に更新する。

後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。なお、本実施形態の後段映像符号化器105 は、入力画像src を、SCU の倍数ではなく、前段映像符号化器102 のマクロブロックサイズの倍数とする。画像境界に対する前段映像符号化器102 の符号化データの信頼度を高めるためである。

後段映像符号化器105 の構成と動作を説明する。

後段映像符号化器105 は、周波数変換／量子化器1051、逆量子化／逆周波数変換器1052、バッファ1053、予測器1054、推定器（後段推定器）1055、およびエントロピー符号化器1056を備える。

本実施形態の後段映像符号化器105 における推定器1055は、CTU 毎に、split_cu_flag を、HEVC符号化データのcu_size に従って確定できる。例えば、cu_size=64の場合、CUDepth=0 のsplit_cu_flag を0 にすればよい。同様に、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、CUのイントラ予測/インター予測およびPU分割形状を確定できる。もちろん、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、PUのイントラ予測方向、および動きベクトルなどを確定できる。つまり、背景技術の推定器のように、ラグランジュ乗数λに基づいた符号化コストJ を最小とする符号化パラメータを網羅的に探索する必要がない。

予測器1054は、推定器1055が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測もしくはフレーム間予測に基づいて生成される。

周波数変換／量子化器1051は、推定器1055がHEVC符号化データのtu_size に従って確定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。

さらに、周波数変換／量子化器1051は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。

エントロピー符号化器1056は、推定器1055が確定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および変換量子化値をエントロピー符号化する。

逆量子化／逆周波数変換器1052は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1052は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1053に供給される。バッファ1053は、再構築画像を格納する。

上述した動作に基づいて、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。

図13のフローチャートを参照して、本実施形態の映像符号化装置の動作を説明する。

ステップS101において、サイズ拡張器101は、入力画像を前段映像符号化器102 のマクロブロックサイズである16の倍数にサイズ拡張する。

ステップS102において、前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。

ステップS103において、符号化データ変換器104 は、サイズ拡張された入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、さらにHEVCCBの併合を行う。

ステップS104において、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、ビットストリームを出力する。

上述した本実施形態の映像符号化装置において、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。

なお、本実施形態では、前段映像符号化器102 をAVC 映像符号化器としたが、AVC 映像符号化器は一例である。前段映像符号化器102 は、16×16画素のCTUをサポートするHEVC映像符号化器であってもよい。その場合、符号化データ変換器104 は、上述したAVC 符号化データをHEVC符号化データに変換する処理をスキップすればよい。

また、本実施形態の符号化データ変換器104 は、隣接する４個のHEVCCBが以下に示す32×32 2N×N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32および2N×N に更新してもよい。

［32×32 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側２つのHEVCCB動き情報が同一である
・下側２つのHEVCCB動き情報が同一である

同様に、本実施形態の符号化データ変換器104 は、隣接する４個のHEVCCBが以下に示す32×32 N×2N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32およびN×2N に更新してもよい。

［32×32 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flag が0 である
・すべてのHEVCCB動き情報が同一でない
・左側２つのHEVCCB動き情報が同一である
・右側２つのHEVCCB動き情報が同一である

さらに、本実施形態の符号化データ変換器104 は、隣接する１６個のHEVCCBが以下に示す64×64 2N×N 条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64および2N×N に更新してもよい。

［64×64 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側8つのHEVCCB動き情報が同一である
・下側8つのHEVCCB動き情報が同一である

同様に、本実施形態の符号化データ変換器104 は、隣接する１６個のHEVCCBが以下に示す64×64 N×2N条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64およびN×2N に更新してもよい。

［64×64 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・左側８つのHEVCCB動き情報が同一である
・右側８つのHEVCCB動き情報が同一である

実施形態２．
図14は、前段映像符号化器102 が、4:2:0 8-bit の入力フォーマットをサポートする、AVC 映像符号化器であり、後段映像符号化器105 がHEVC映像符号化器である、4:2:0 10-bitの入力フォーマットをサポートする第２の実施形態の映像符号化装置の構成を示すブロック図である。

本実施形態の映像符号化装置は、サイズ拡張器101 、画素ビット深度変換器106 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。

サイズ拡張器101は、4:2:0 10-bitの入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088) となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す512 ）でもよい。

画素ビット深度変換器106 は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された4:2:0 10-bitの入力画像を4:2:0 8-bit に変換する。ビット深度変換において、LSB 2bitを右シフトで切り捨ててもよいし、四捨五入を用いて丸めてもよい。

前段映像符号化器102 は、第１の実施形態の場合と同様に、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像をAVC 方式で符号化する。

符号化データ変換器104 は、画素ビット深度変換器106 から供給される16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像の各マクロブロックのAVC 符号化データをHEVCCBに変換する。

続いて、符号化データ変換器104 は、第１の実施形態の場合と同様に、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0， ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。

さらに、符号化データ変換器104 は、第１の実施形態の場合と同様に、隣接する１６個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0， ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、１６個のHEVCCBを併合する。

後段映像符号化器105 は、第１の実施形態の場合と同様に、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103から供給される16の倍数に拡張された4:2:0 10-bitの入力画像src をHEVC方式で符号化し、ビットストリームを出力する。

図15のフローチャートを参照して、本実施形態の映像符号化装置の動作を説明する。

ステップS201において、画素ビット深度変換器106 は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された4:2:0 10-bitの入力画像を4:2:0 8-bit に変換する。

ステップS202において、前段映像符号化器102 は、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像をAVC 方式で符号化する。

ステップS203において、符号化データ変換器104 は、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、HEVCCBの併合を行う。

ステップS204において、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される16の倍数に拡張された4:2:0 10-bitの入力画像をHEVC方式で符号化し、ビットストリームを出力する。

上述した動作に基づいて、本実施形態の映像符号化装置は4:2:0 10-bitの入力フォーマットに対するビットストリームを生成する。

上述した本実施形態の映像符号化装置は、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。

なお、本実施形態では、前段映像符号化器102 を4:2:0 8-bit の入力フォーマットをサポートするAVC 映像符号化器としたが、AVC 映像符号化器は一例である。前段映像符号化器102 は、4:2:0 8-bitの入力フォーマットをサポートするHEVC映像符号化器であってもよい。その場合、符号化データ変換器104 は、上述したAVC 符号化データをHEVC符号化データに変換する処理とHEVC符号化データに対する併合処理とをスキップすればよい。

また、本実施形態では、画素ビット深度変換器106 は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された入力画像の画素ビット深度を低減したが、映像符号化装置に入力される入力画像の画素ビット深度を低減するようにしてもよい。その場合には、画素ビット深度変換器106 は設けられない。

実施形態３．
図16は、HDTV（High Definition Television）規格の2160p （4K）の入力フォーマットをサポートする第３の実施形態の映像符号化装置の構成を示すブロック図である。第３の実施形態では、前段映像符号化器102 は、1080p （2K）の入力フォーマットをサポートするAVC 映像符号化器である。後段映像符号化器105 がHEVC映像符号化器である。つまり、前段映像符号化器102 が対応できる空間解像度は、後段映像符号化器105 における空間解像度未満である。

本実施形態の映像符号化装置は、ダウンサンプリング器107 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。

ダウンサンプリング器107 は、2160p の入力画像src （src_pic_width =3840, src_pic_height=2160 ）を1080p （src_pic_width =1920, src_pic_height=1080）に縮小する。さらに、ダウンサンプリング器107 は、1080p に縮小された入力画像の幅src_pic_width および高さsrc_pic_heightを16の倍数に拡張する。なお、拡張された領域の画素値は、1080p に縮小された入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 （入力画像が8-bit の場合））でもよい。

前段映像符号化器102 は、第１の実施形態の場合と同様に、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像をAVC 方式で符号化する。

符号化データ変換器104 は、第１の実施形態の場合と同様に、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像の各マクロブロックのAVC 符号化データを変換し、HEVCCBに変換する。ただし、本実施形態の符号化データ変換器104は、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮し、cu_size 、tu_size 、および動き情報の動きベクトルの水平成分の値と垂直成分の値とを２倍にする。

続いて、符号化データ変換器104 は、第１の実施形態の場合と同様に、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮し、符号化データ変換器104 は、４個のHEVCCBのcu_size を64に更新する。

後段映像符号化器105 は、第1実施形態の場合と同様に、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される2160p の入力画像をHEVC方式で符号化し、ビットストリームを出力する。

図17のフローチャートを参照して、本実施形態の映像符号化装置の動作を説明する。

ステップS301において、ダウンサンプリング器107 は、2160p の入力画像を1080p に縮小し、1080p に縮小された入力画像の幅および高さを16の倍数にサイズ拡張する。

ステップS302において、前段映像符号化器102 は、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像をAVC 方式で符号化する。

ステップS303において、符号化データ変換器104 は、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像の各マクロブロックのAVC 符号化データをHEVCCBに変換し、さらにHEVCCBの併合を行う。

ステップS304において、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される2160p の入力画像をHEVC方式で符号化し、ビットストリームを出力する。

なお、上述した本実施形態の後段映像符号化器105 は、動きベクトルの水平成分の値と垂直成分の値とが２倍になっていることを考慮し、HEVC符号化データの動きベクトルの周辺±1 の範囲の動きベクトルをさらに探索してもよい。

また、本実施形態の後段映像符号化器105 は、画像境界に対する前段映像符号化器102 の符号化データの信頼度を高めるために、2160p の入力画像src をSCU の倍数ではなく前段映像符号化器102 のマクロブロックサイズの倍数（32の倍数）で符号化してもよい。

本実施形態において、2160p （4K）の入力フォーマットをサポートする映像符号化装置を例にしたが、同様の構成によって、4320p （8K）の入力フォーマットをサポートすることも可能である。その場合、符号化データ変換器104 は、AVC 符号化データをHEVC符号化データに変換する際に、水平解像度および垂直解像度が４分の１になっていることを考慮し、cu_size 、tu_size 、および動き情報の動きベクトルの水平成分の値および垂直成分の値を４倍にすればよい。また、1080p の16×16画素が、4320p の64×64画素に対応することを考慮し、上述したHEVC符号化データに対する併合処理をスキップすればよい。

上記の各実施形態では、１つの前段映像符号化手段と１つの後段映像符号化手段との組を用いて入力画像を符号化した。しかし、例えば、図18に示すように入力画像を４つの画面に分割し、４つの前段映像符号化器と４つの後段映像符号化器を用いて、４つの各分割画面を並列処理する映像符号化装置に本発明を適用できる。

図19は、分割画面を並列処理する映像符号化装置の構成例を示すブロック図である。図19に示す映像符号化装置は、入力画像を４つの画面に分割する画面分割器1081、各分割画面について符号化を行う前段映像符号化器102A ，102B ，102C ，102D 、バッファ103 、符号化データ変換器104 、バッファ103 から供給される入力画像を４つの画面に分割する画面分割器1082、各分割画面について符号化を行う後段映像符号化器105A ，105B ，105C ，105D 、および、後段映像符号化器105A ，105B ，105C ，105D からの符号化データを多重化してビットストリームを出力する多重化器109 とを備える。

前段映像符号化器102A ，102B ，102C ，102D の機能は、上記の各実施形態における前段映像符号化器102 の機能と同じである。後段映像符号化器105A ，105B ，105C ，105D の機能は、上記の各実施形態における後段映像符号化器105 の機能と同じである。

バッファ103 および符号化データ変換器104 の機能は、上記の各実施形態での機能と同じである。ただし、本実施形態では、符号化データ変換器104 は、４つの前段映像符号化器102A ，102B ，102C ，102D が出力する符号化データの各々を変換して、後段映像符号化器105A ，105B ，105C ，105D に供給する。

上述した実施形態では、後段映像符号化器105 は入力画像を符号化した。しかし、入力ビットストリームをトランスコードする映像符号化装置に本発明を適用できる。

図20は、入力ビットストリームをトランスコードする映像符号化装置の構成例を示すブロック図である。図20に示すように、前段映像符号化器102 が映像復号器110 に置き換えられ、映像復号器110 がビットストリームを復号してバッファ103 に格納する復号画像を後段映像符号化器105 が符号化する。

映像復号器110 は、ビットストリームに含まれる予測パラメータおよび変換量子化値をエントロピー復号して、逆量子化／逆周波数変換器1102および予測器1103に供給するエントロピー復号器1101を備える。逆量子化／逆周波数変換器1102は、変換量子化値を逆量子化し、逆量子化した周波数変換係数を逆周波数変換する。予測器1103は、エントロピー復号した予測パラメータに基づいて、バッファ103 に格納されている再構築画像を用いて予測信号を生成する。

バッファ103 、符号化データ変換器104 および後段映像符号化器105 の機能は、上記の各実施形態での機能と同じである。

また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

図21に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備えている。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

図21に示された情報処理システムにおいて、プログラムメモリ1002には、実施形態のそれぞれの図面に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、上記の各実施形態に示された映像符号化装置の機能を実現する。

図22は、本発明による映像符号化装置の主要部を示すブロック図である。図22に示すように、映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化部11（一例として、図1 に示す前段映像符号化器102 ）と、入力画像を格納するバッファ12（一例として、図1 に示すバッファ103 ）と、第１の映像符号化部11が生成した第１の符号化データを変換した後、併合して第２の符号化データを生成する符号化データ変換／併合部13（一例として、図1 に示す符号化データ変換器104 ）と、符号化データ変換／併合部13から供給される第２の符号化データに基づいて、バッファ12に格納された入力画像を符号化してビットストリームを生成する第２の映像符号化部14（一例として、図1 に示す後段映像符号化器105 ）を備える。第１の映像符号化部11は、第２の映像符号化部14が扱う第２符号化処理と異なる第１符号化処理を扱う機能を有し、符号化データ変換／併合部13は、第１符号化処理による符号化データを第２符号化処理に対応する符号化データに変換する。

図23は、本発明による他の映像符号化装置の主要部を示すブロック図である。図23に示すように、映像符号化装置は、入力画像のサイズを、第１の映像符号化部11が対応する最大CUサイズの倍数に拡張するサイズ拡張部15をさらに備え、第１の映像符号化部11は、サイズ拡張部15（一例として、図14に示すサイズ拡張器101 ）によってサイズ拡張された入力画像を符号化して第１の符号化データを生成し、バッファ12は、サイズ拡張部15によってサイズ拡張された入力画像を格納するように構成されていてもよい。なお、第１の映像符号化部11が対応する最大CUサイズは、第２の映像符号化部14が対応する最大CUサイズ以下である。

図24は、本発明によるさらに他の映像符号化装置の主要部を示すブロック図である。図24に示すように、映像符号化装置は、入力画像の画素ビット深度を低減する画素ビット深度変換部16をさらに備え、第１の映像符号化部11は、画素ビット深度変換部16によって画素ビット深度が低減された入力画像を符号化するように構成されていてもよい。なお、第１の映像符号化部11が対応する画素ビット深度は、第２の映像符号化部14が対応する画素ビット深度以下である。

図25は、本発明による別の映像符号化装置の主要部を示すブロック図である。図25に示すように、映像符号化装置は、入力画像の空間解像度を低減するダウンサンプリング部17をさらに備え、第１の映像符号化部11は、ダウンサンプリング部17によって空間解像度が低減された入力画像を符号化して第１の符号化データを生成し、符号化データ変換／併合部13は、第１の映像符号化部11と第２の映像符号化部14が符号化するそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成するように構成されていてもよい。なお、第１の映像符号化部11が対応する空間解像度は、第２の映像符号化部14が対応する空間解像度以下である。

上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。

（付記１）入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、前記入力画像を格納するバッファ手段と、前記第１の映像符号化手段が生成した前記第１の符号化データを変換した後、併合して第２の符号化データを生成する符号化データ変換／併合手段と、前記符号化データ変換／併合手段から供給される前記第２の符号化データに基づいて、前記バッファ手段に格納された入力画像を符号化してビットストリームを生成する第２の映像符号化手段とを備え、前記第１の映像符号化手段は、前記第２の映像符号化手段が扱う第２符号化処理と異なる第１符号化処理を扱う機能を有し、前記符号化データ変換／併合手段は、前記第１符号化処理による符号化データを前記第２符号化処理に対応する符号化データに変換し、前記第１の映像符号化手段が対応する最大CUサイズが前記第２の映像符号化手段が対応する最大CUサイズ以下であり、前記第１の映像符号化手段が対応する画素ビット深度は、前記第２の映像符号化手段が対応する画素ビット深度以下であり、前記入力画像のサイズを、前記第１の映像符号化手段が対応する最大CUサイズの倍数に拡張するサイズ拡張手段と、前記サイズ拡張手段がサイズ拡張した入力画像の画素ビット深度を低減する画素ビット深度変換手段とをさらに備え、前記第１の映像符号化手段は、前記画素ビット深度変換手段によって画素ビット深度が低減された入力画像を符号化し、前記バッファ手段は、前記サイズ拡張手段によってサイズ拡張された入力画像を格納する映像符号化装置。

（付記２）コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、前記入力画像を格納するバッファ手段に格納する処理と、前記第１の符号化データを変換した後に併合して第２の符号化データを生成する処理と、前記第１の符号化データを生成する処理で扱う符号化処理と異なる符号化処理を扱う処理によって、前記第２の符号化データに基づいて、前記バッファ手段に格納された入力画像を符号化してビットストリームを生成する処理とを実行させ、前記第２の符号化データを生成する際に、前記第１符号化処理による符号化データを前記第２符号化処理による符号化データに変換させるための映像符号化プログラムであって、第１の符号化データを生成する手段が対応する画素ビット深度は、前記ビットストリームを生成する手段が対応する画素ビット深度以下であり、コンピュータに、前記入力画像の画素ビット深度を低減し、前記第１の符号化データを生成する処理で、画素ビット深度が低減された入力画像を符号化させる映像符号化プログラム。

（付記３）コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、前記入力画像を格納するバッファ手段に格納する処理と、前記第１の符号化データを変換した後に併合して第２の符号化データを生成する処理と、前記第１の符号化データを生成する処理で扱う符号化処理と異なる符号化処理を扱う処理によって、前記第２の符号化データに基づいて、前記バッファ手段に格納された入力画像を符号化してビットストリームを生成する処理とを実行させ、前記第２の符号化データを生成する際に、前記第１符号化処理による符号化データを前記第２符号化処理による符号化データに変換させるための映像符号化プログラムであって、前記第１の符号化データを生成する手段が対応する空間解像度は、前記ビットストリームを生成する手段が対応する空間解像度以下であり、コンピュータに、前記入力画像の空間解像度を低減するためのダウンサンプリングを実行する処理と、前記第１の符号化データを生成する処理で、空間解像度が低減された入力画像を符号化して前記第１の符号化データを生成する処理と、前記第１の符号化データを生成する処理と前記ビットストリームを生成する処理とにおけるそれぞれの映像の空間解像度比に基づいて、前記第２の符号化データを生成させる映像符号化プログラム。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１３年９月９日に出願された日本特許出願２０１３−１８５９９４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

11 第１の映像符号化部
12，103，1023，1053 バッファ
13 符号化データ変換／併合部
14 第２の映像符号化部
15 サイズ拡張部
16 画素ビット深度変換部
17 ダウンサンプリング部
101 サイズ拡張器
102，102A，102B，102C，102D 前段映像符号化器
104 符号化データ変換器
105，105A，105B，105C，105D 後段映像符号化器
106 画素ビット深度変換器
107 ダウンサンプリング器
109 多重化器
110 映像復号器
1001 プロセッサ
1002 プログラムメモリ
1003，1004 記憶媒体
1021，1051 周波数変換／量子化器
1022，1052，1102 逆量子化／逆周波数変換器
1024，1054，1103 予測器
1025，1055 推定器
1056 エントロピー符号化器
1081，1082 画面分割器
1101 エントロピー復号器

Claims

ダウンサンプリングによって入力画像の空間解像度を低減し、空間解像度が低減された前記入力画像の画素数を最大CUサイズの倍数になるように拡張するダウンサンプリング手段と、
サイズ拡張された前記入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、
サイズ拡張された前記入力画像を格納するバッファ手段と、
前記第１の映像符号化手段が生成した前記第１の符号化データを変換し、変換された複数のデータを併合して第２の符号化データを生成する符号化データ変換／併合手段と、
前記符号化データ変換／併合手段から供給される前記第２の符号化データに基づいて、前記バッファ手段に格納された前記入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する第２の映像符号化手段とを備え、
前記第１の映像符号化手段は、前記第２の映像符号化手段が扱う第２符号化処理に包含される第１符号化処理を扱う機能を有し、
前記符号化データ変換／併合手段は、前記第１符号化処理による符号化データを前記第２符号化処理に対応する符号化データに変換し、
前記第１の映像符号化手段が対応する空間解像度は、前記第２の映像符号化手段が対応する空間解像度以下であり、
前記符号化データ変換／併合手段は、前記第１の映像符号化手段と前記第２の映像符号化手段が符号化するそれぞれの映像の空間解像度比に基づいて、前記第２の符号化データを生成する
ことを特徴とする映像符号化装置。
前記第１の映像符号化手段が対応する最大CUサイズは、前記第２の映像符号化手段が対応する最大CUサイズ以下である
請求項１記載の映像符号化装置。
入力画像の空間解像度を低減するためのダウンサンプリングを実行し、
ダウンサンプリングによって空間解像度が低減された前記入力画像の画素数を最大CUサイズの倍数になるように拡張し、
サイズ拡張された前記入力画像を符号化して第１の符号化データを生成し、
サイズ拡張された前記入力画像を格納するバッファ手段に格納し、
前記第１の符号化データを変換し、変換された複数のデータを併合して第２の符号化データを生成し、
前記第１の符号化データを生成する手段が扱う第１符号化処理を包含する第２符号化処理を扱う機能を有する手段を用いて、前記第２の符号化データに基づいて、前記バッファ手段に格納された前記入力画像を符号化するシンタクス値を推定してそのビットストリームを生成し、
前記第２の符号化データを生成する際に、前記第１符号化処理による符号化データを前記第２符号化処理に対応する符号化データに変換し、
前記第１符号化処理が対応する空間解像度は、前記第２符号化処理が対応する空間解像度以下であり、
前記第１符号化処理と前記第２符号化処理で符号化されるそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成する
ことを特徴とする映像符号化方法。
前記第１の符号化データを生成する手段が対応する最大CUサイズは、第２符号化処理を扱う機能を有する手段が対応する最大CUサイズ以下である
請求項３記載の映像符号化方法。
コンピュータに、
入力画像の空間解像度を低減するためのダウンサンプリングを実行させ、
ダウンサンプリングによって空間解像度が低減された前記入力画像の画素数を最大CUサイズの倍数になるように拡張する処理と、
サイズ拡張された前記入力画像を符号化して第１の符号化データを生成する処理と、
サイズ拡張された前記入力画像を格納するバッファ手段に格納する処理と、
前記第１の符号化データを変換し、変換された複数のデータを併合して第２の符号化データを生成する処理と、
前記第１の符号化データを生成する処理で扱う第１符号化処理を包含する符号化処理を扱う第２符号化処理によって、前記第２の符号化データに基づいて、前記バッファ手段に格納された前記入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する処理とを実行させ、
前記第２の符号化データを生成する際に、前記第１符号化処理による符号化データを前記第２符号化処理による符号化データに変換させ、
前記第１符号化処理が対応する空間解像度は、前記第２符号化処理が対応する空間解像度以下であり、
コンピュータに、前記第１符号化処理と前記第２符号化処理で符号化されるそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成させる
ための映像符号化プログラム。