JP2009290498A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】パイプライン処理に基づくイントラ予測において好適な予測画像生成を維持した上で回路規模を低減する。
【解決手段】動画像のフレームを分割した複数画素ブロック単位でイントラ予測を行う符号化装置において、原画像を簡易的に符号化する疑似ローカルデコード画像生成部(３１５)と、前記生成された疑似ローカルデコード画像を用いてイントラ予測モードの選択を行うイントラ予測部(３１１)とを備え、パイプライン処理に基づくイントラ予測において、イントラ予測モードの選択処理と、選択されたイントラ予測モードに従って予測画像データを生成する処理とのパイプラインステージを分けた。
【選択図】図１

Description

本発明は画像を符号化する画像符号化装置並びに画像符号化方法に関し、特に、イントラ予測モードの選択のための技術に関する。

近年の画像符号化技術では、画像の持つ空間的相関を利用して圧縮率を高める画面内予測技術（イントラ予測技術）が採用されている。イントラ予測技術は、図１１に示すように、参照ブロック１０３〜１０６の被予測画素１０２を用いて、符号化対象ブロック１０１の予測画像を生成する。ブロックとは複数画素の集合（マクロブロックであり）、例えば、４×４、８×８、又は１６×１６のサイズが用いられている。

この際、規定された予測方向（予測モード）に被予測画素１０２をコピーすることで予測画像が生成される。H.２６４/AVC規格では、図１２に示すような予測モードが用いられており、ブロックサイズによって予測モードの数やモード番号は異なる。例えば、輝度信号では、イントラ４×４予測モードで９種類、イントラ８×８予測モードで９種類、イントラ１６×１６予測モードで４種類のモードが規定されている。また、色差信号では、４種類のイントラ予測モードが規定されている。これらのブロックサイズが考慮された予測モードに応じて符号化対象ブロックの予測画像を生成し、最も符号化コスト値が小さくなる（予測誤差が最も小さい）モードを１つ選択して符号化を行う。

H.２６４/AVCに代表される近年の符号化規格は計算コストが大きいため、ハードウェアで符号化処理を行う際には、一般にパイプライン処理によって処理時間の短縮が図られている。例えば、図１３に示すように、符号化処理をいくつかのステージに分けて並列に処理することで、処理時間を短縮する。図１３は、ＤＭＡ（Direct Memory Access：ダイレクト・メモリ・アクセス）読み込み、粗動き探索、密動き探索、予測画像生成、ＤＭＡ書き込みといったステージで構成される。この例では画像処理に関する主要な部分のみを記述しており、VLC（Video Coding Layer：ビデオ・コーディング・レイヤ）などの可変長符号化処理などは含めていない。ここで、予測画像生成ステージは、例えば図１４のように構成される。被予測画素バッファ１２０１は、参照ブロック１０３〜１０６の被予測画素１０２を格納するバッファである。イントラ予測処理１２０２は、イントラ予測モード選択処理１２０７で決定した予測方向に、被予測画素１０２をコピーすることで予測画像を生成する。直交変換処理１２０３は、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）などの直交変換手法を用いて、予測画像を直交変換係数に変換する。量子化処理１２０４は、直交変換係数を量子化し、量子化係数を出力する。逆量子化処理１２０５は、量子化処理１２０４が出力した量子化係数を逆量子化する。逆直交変換処理１２０６は、逆量子化処理１２０５が出力した逆量子化係数を逆直交変換する。これら、直交変換処理１２０３、量子化処理１２０４、逆量子化処理１２０５、及び逆直交変換処理１２０６を経ることで、前述したイントラ４×４、イントラ８×８、イントラ１６×１６において予測可能な全てのモードでローカルデコード画像を生成する。イントラ予測モード選択処理１２０７は、各モードのローカルデコード画像を比較し、予測誤差が最も小さいイントラ予測モードを選択する。イントラ／インター予測モード選択処理１２０８は、イントラ予測１２０２処理で生成されたイントラ予測画像とインター予測画像を比較し、予測誤差が小さい画像を予測画像として出力する。

イントラ予測において予測可能なモードは非常に多いため、直交変換処理１２０３、量子化処理１２０４、逆量子化処理１２０５、及び逆直交変換処理１２０６をすべてのモードで直列に実行してローカルデコード画像を生成することは処理時間の制約上難しい場合が多い。したがって、図１４の１２０９〜１２１２に示すように、依存関係のない処理別に回路を並列化するなどして処理時間を短縮することができる。しかしながら、回路を並列化すれば回路規模が増大するという問題がある。

回路規模の増加を防ぐためには、処理量の重いイントラ予測モード選択を別のパイプラインステージに移し、ローカルデコード画像の代わりに原画像を用いてイントラ予測モード選択を行う方法が提案されている（非特許文献１）。また、使用する予測モードの数を減らして回路規模を抑える対策が採られることもある。

Seiji Mochizuki, Tetsuya Shibayama, Masaru Hase, Fumitaka Izuhara, Kazushi Akie, Masaki Nobori, Ren Imaoka, Hiroshi Ueda, Kazuyuki Ishikawa, Hiromi Watanabe, A Low Power and High Picture Quality H.２６４/MPEG-４ Video Codec IP for HD Mobile Applications, IEEE Asian Solid-State Circuits Conference Proceedings, pp.１７６-１７９, ２００７.

イントラ予測モード選択と予測画像生成を別のパイプラインステージに分け、原画像を用いてイントラ予測モード選択を行うと、予測精度が低下する場合がある。ローカルデコード画像は符号化及び復号処理を経ており必ずしも原画像と同一ではないからである。また、使用可能な予測モードの数を減らしたとしても、選ばれる予測モードが最適なものであるとは限らない。

本発明は、上記課題を鑑みてなされたものであり、その目的は、パイプライン処理を用いたイントラ予測において好適な予測画像の生成を維持した上で回路規模の低減が可能な画像符号化装置、更には画像符号化方法を提供することである。

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、原画像データと予測画像データとの差分を符号化し、符号化された符号化データを復号してローカルデコード画像データを生成し、イントラ予測モードの選択のために、前記ローカルデコード画像データを生成する処理に比べて原画像データを簡易的に符号化及び復号して疑似ローカルデコード画像データを生成し、疑似ローカルデコード画像データを用いてイントラ予測モードの選択を行う。疑似ローカルデコード画像データの生成では例えばＤＣＴのような周波数変換とその逆変換に代えてアダマール変換とその逆変換を用いる。ローカルデコード画像データに比べて疑似ローカルデコード画像データを取得するための演算処理が軽減される。これにより、各種イントラ予測モードに応じたローカルデコード画像データを並列に生成する回路を要さず、また、原画像データを直接用いてイントラ予測モードの選択を行うことも不要とされる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、本発明によれば、パイプライン処理に基づくイントラ予測において好適な予測画像の生成を維持した上で回路規模の低減が可能となる。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕原画像データと予測画像データとの差分を符号化すると共に符号化データを復号して得られるローカルデコード画像データに基づいて前記予測画像データを生成することが可能な画像符号化装置は、画像データのフレームを分割した複数画素ブロック単位でイントラ予測を用いて前記予測画像データを生成することが可能なイントラ予測部と、前記ローカルデコード画像データを生成する処理に比べて原画像データを簡易的に符号化及び復号する疑似ローカルデコード画像生成部とを有する。前記イントラ予測部は、イントラ予測モードの選択を行うモード選択処理部と、前記モード選択部で選択された動作モードに従ってイントラ予測を用いて前記予測画像データを生成する予測データ生成部とを備える。前記モード選択処理部は、前記疑似ローカルデコード画像生成部で生成された疑似ローカルデコード画像データを用いてイントラ予測モードの選択を行うことが可能である。

ローカルデコード画像データの生成に比べて疑似ローカルデコード画像データの生成は演算処理が軽減されているから、各種イントラ予測モードに応じたローカルデコード画像データを並列に生成する回路を要さず、また、原画像データを直接用いてイントラ予測モードの選択を行うことも不要とされる。したがって、パイプライン処理に基づくイントラ予測において好適な予測画像の生成を維持した上で画像符号化装置の回路規模を低減することが可能となる。

〔２〕項１の画像符号化装置において、前記疑似ローカルデコード画像生成部は、例えばアダマール変換、量子化、逆量子化、及び逆アダマール変換を行うことにより疑似ローカルデコード画像データを生成する。特に演算処理時間の長い周波数変換とその逆変換に代えてアダマール変換とその逆変換を採用するから大幅に演算処理時間を短縮することができる。

〔３〕項１の画像符号化装置において、前記疑似ローカルデコード画像生成部は、量子化および逆量子化を行うことにより疑似ローカルデコード画像データを生成する。特に演算処理時間の長い周波数変換とその逆変換を省略するから、疑似ローカルデコード画像データの生成それ自体は演算処理を短縮できる。但し、この場合には予測精度が低下するため、項２に比べて符号化効率が低下する。

〔４〕項１の画像符号化装置において、前記イントラ予測部は、前記モード選択処理部による処理と、前記予測データ生成部による処理とを異なるパイプラインステージで実行する。パイプラインの1スロットの時間短縮に寄与することができる。

〔５〕項１の画像符号化装置において、前記モード選択処理部によるモード選択に疑似ローカルデコード画像の被予測画素データを用いるか否かを決定する被予測画素選択部を備え、被予測画素選択部が疑似ローカルデコード画像の被予測画素データを用いると決定したとき前記モード選択処理部は疑似ローカルデコード画像の被予測画素データを用いてモード選択を行い、疑似ローカルデコード画像の被予測画素データを用いないと決定したとき前記モード選択処理部はローカルデコード画像データの被予測画素を用いてモード選択を行う。予測モードの選択を急ぐ必要のない性質の画像データを処理する場合には、ローカルデコード画像データの被予測画素を用いてモード選択を行う選択の余地があることにより、より高精度なモード選択も可能になる。

〔６〕項１の画像符号化装置において、前記疑似ローカルデコード画像生部は、入力画素ブロックの疑似ローカルデコード画像データを用いてサブブロックの被予測画素データを選択抽出する。

〔７〕画像符号化方法は第1処理乃至第５処理を含む。第１処理は、原画像データと予測画像データとの差分を符号化する処理、第２処理は、前記第１処理による符号化データを復号してローカルデコード画像データを生成する処理である。第３処理は、前記ローカルデコード画像データを生成する処理に比べて原画像データを簡易的に符号化および復号して疑似ローカルデコード画像データを生成する処理であり、第４処理は前記第３処理で生成された疑似ローカルデコード画像データを用いてイントラ予測モードの選択を行う処理である。第５処理は前記第４処理で選択された動作モードに従って前記ローカルデコード画像データを用いたイントラ予測により前記予測画像データを生成する処理である。

〔８〕項７の画像符号化方法において、前記第２処理は、例えばアダマール変換、量子化、逆量子化、及び逆アダマール変換を行うことにより疑似ローカルデコード画像データを生成する処理である。

〔９〕項７の画像符号化方法において、前記第２処理は、量子化および逆量子化を行うことにより疑似ローカルデコード画像データを生成する処理である。

〔１０〕項７の画像符号化方法において前記第３処理と前記第４処理は異なるパイプラインステージで実行される。

〔１１〕画像符号化方法は第1処理乃至第６処理を含む。第１乃至第３処理は項７と同じである。第４処理はイントラ予測モードの選択に前記第３処理で生成された疑似ローカルデコード画像データを用いるか否かを決定する処理である。第５処理は、前記第４処理にて疑似ローカルデコード画像データを用いると決定したとき疑似ローカルデコード画像データを用いてイントラ予測モードを選択し、前記第４処理にて疑似ローカルデコード画像データを用いないと決定したときローカルデコード画像データを用いてイントラ予測モードを選択する処理である。第６処理は前記第５処理で選択された動作モードに従ってイントラ予測により前記予測画像データを生成する処理である。

２．実施の形態の詳細
実施の形態について更に詳述する。以下、本発明を実施するための形態を図面に基づいて詳細に説明する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。

《実施の形態１》
図１には本発明の実施の形態１に係る画像符号化装置の一例が示される。第１の実施の形態における画像符号化装置は、原画像メモリ３０１、減算器３０２、直交変換部３０３、量子化部３０４、可変長符号化部３０５、逆量子化部３０６、逆直交変換部３０７、加算器３０８、フレームメモリ３０９、インター予測部３１０、イントラ予測部３１１、イントラ／インター予測モード選択部３１２、疑似ローカルデコード画像生成部３１５を備える。

原画像メモリ３０１は、原画像フレームのデータを一時的にバッファリングする。減算器３０２は、原画像データとイントラ／インター予測モード選択部３１２が作成した予測画像データとの差分を取り、差分画像データを作成する。直交変換部３０３は、ＤＣＴなどの直交変換手法を用いて、減算器３０２が作成した差分画像データを直交変換係数に変換する。量子化部３０４は、直交変換係数を量子化し、量子化係数を出力する。可変長符号化部３０５は、ハフマン符号や算術符号などを用いて、量子化部３０４が出力した量子化係数と、イントラ／インター予測モード選択部３１２が出力した予測モード３１３とを符号化し、画像圧縮情報として出力する。逆量子化部３０６は、量子化部３０４が出力した量子化係数を逆量子化する。逆直交変換部３０７は、逆量子化部３０６が出力した逆量子化係数を逆直交変換する。加算器３０８は、逆直交変換部３０７が出力した差分画像データと、イントラ／インター予測モード選択部３１２が出力する予測画像データ３１４を加算し、ローカルデコード画像データを出力する。このローカルデコード画像データはデコーダにおける復号画像データと等しく、H.２６４/AVC規格におけるイントラ予測では、ローカルデコード画像データを参照してイントラ予測が行われる。フレームメモリ３０９は、加算器３０８が作成したローカルデコード画像データを格納する。インター予測部３１０は、原画像メモリ３０１に格納された原画像データと、フレームメモリ３０９に格納されたローカルデコード画像データを用いて動き検出および動き補償を行い、インター予測画像データを生成する。疑似ローカルデコード画像生成部３１５は、原画像メモリ３０１に格納された原画像データを用いて疑似ローカルデコード画像データ３１６を生成する。イントラ予測部３１１は、疑似ローカルデコード画像データ３１６から被予測画素を読み取りイントラ予測モード選択を行う。その後、選択された予測モードに基づき、ローカルデコード画像データを用いてイントラ予測画像（画面内予測画像）データを生成する。イントラ／インター予測モード選択部３１２は、イントラ予測部３１１が生成したイントラ予測画像データと、インター予測部３１０が生成したインター予測画像（画面間予測画像）データのうち、原画像データとの予測誤差が小さい予測画像３１４を出力する。また同時に、予測誤差を最小化する予測モード３１３を出力する。

上述の通りイントラ予測部３１１はイントラ予測モード選択とイントラ予測画像データ（画面内予測画像）の生成を行い、その処理は図２に例示されるように、別のパイプラインステージで処理するものとし、予測画像データ生成の処理量および回路規模を低減した。イントラ予測モード選択ステージは図２のように独立したステージとして設定したが、そのほかのリソースの空いたステージに含めてもかまわない。要はイントラ予測モード選択処理とイントラ予測画像データの生成処理を異なるパイプラインステージに割当てればよい。

図３にはイントラ予測モード選択ステージと予測画像生成ステージのブロック図が示される。原画像バッファ１４０１は、原画像を格納するバッファである。疑似ローカルデコード画像生成処理１４０２は、原画像を簡易的に符号化し、疑似ローカルデコード画像を生成する処理であり、疑似ローカルデコード画像生成部３１５で実行される。この処理の詳細については後述する。イントラ予測モード選択処理１２０７は、疑似ローカルデコード画像生成部３１５において各予測モードで生成された疑似ローカルデコード画像データを比較して、符号化コストが最小（予測誤差が最小）となる予測モードを選択する。予測画像生成ステージにおいて、イントラ予測処理１２０２は、イントラ予測モード選択処理１２０７で決定した予測方向に、被予測画素１０２をコピーすることで予測画像データを生成する。生成された予測画像データに対する直交変換処理１２０３、変換された交変換係数に対する量子化処理１２０４、量子化係数を逆量子化する逆量子化処理１２０５、及び逆量子化係数を逆直交変換する逆直交変換処理１２０６を経ることで、上記予測モードに応ずるローカルデコード画像を生成する。イントラ／インター予測モード選択処理１２０８は、イントラ予測１２０２処理で生成されたイントラ予測画像とインター予測画像を比較し、予測誤差が小さい画像を予測画像として出力する。

疑似ローカルデコード画像生成部３１５の処理を説明する。前述したように、通常、イントラ予測処理では、フレームメモリ３０９に格納されているローカルデコード画像データを用いてイントラ予測モード選択が行われる。しかしながら、背景技術で述べたように、予測可能なモードのすべてでローカルデコード画像データを生成するためには並列実行が必要となる場合が多く、回路規模が増大する。また、回路規模の増大を防ぐために、処理量の重いイントラ予測モード選択を別のパイプラインステージに移し、原画像を用いてイントラ予測モード選択を行ったとしても、予測精度が低下する場合がある。そこで、疑似ローカルデコード画像生成部３１５にて原画像データに所定の変換を施して疑似的なローカルデコード画像データを生成し、イントラ予測モード選択を行うものとした。一般に符号化では、直交変換、量子化、逆量子化、逆直交変換の過程を経るため、この処理を簡易化すれば、処理量を抑えたうえで、疑似ローカルデコード画像データの生成を実現することができる。そこで、本実施の形態では、直交変換をアダマール変換に、逆直交変換を逆アダマール変換に置き換えることで、低演算コストで疑似ローカルデコード画像データの生成を実現する。

図４は、疑似ローカルデコード画像生成部３１５の処理を例示するフローチャートである。まず、ブロック単位で入力される原画像データ４０６を８×８画素単位、４×４画素単位のようにサブブロックに領域分割する（S４０１０）。分割のサイズは１×１画素単位以上であれば、前述したサイズに限らない。その後、領域分割されたサブブロック４０７をアダマール変換する（S４０２０）。アダマール変換は加減算のみで実現可能な直交変換法であり、ｎ次のアダマール行列H_nを入力ブロックに乗じることで簡易的に周波数分解を行うことができる。入力画素ブロックをX（４０７）、アダマール変換による出力係数行列をY（４０８）とする。ここで入力されたブロックサイズが４×４画素単位であったとすると、数１の式によって４×４アダマール変換を行う。Ｈ_４の変換行列は数２の式で示され、Ｈ_４ ^Ｔはその転置行列を意味し、数３の式はＸ、Ｙを例示する。

同様に、入力されたブロックサイズが８×８画素単位であれば、数４の式によって８×８アダマール変換を行う。Ｈ_８の変換行列は数５の式で示され、Ｈ_８ ^Ｔはその転置行列を意味し、数６の式はＸ、Ｙを例示する。

なお、入力されたブロックサイズが１６×１６画素単位であれば、１６×１６ブロックを４×４画素単位に分解して、４×４アダマール変換を行う。または、１６×１６アダマール変換を別途定義して処理してもかまわない。

次に、アダマール変換によって得られた係数行列Y（４０８）を量子化する（S４０３０）。量子化の際は、量子化パラメータに応じて量子化ステップ幅が決定されるため、この値を事前に計算し、ルックアップテーブルに格納しておくことで処理を高速化することができる。その後、逆量子化を行い、逆量子化係数行列Y’（４０９）を得る（S４０４０）。量子化処理と同様に、ルックアップテーブルを用いて処理を高速化することができる。もちろん、これら量子化・逆量子化は通常の演算処理でも構わない。

最後に、逆量子化で得られた逆量子化係数行列Y’（４０９）を逆アダマール変換する（S４０５０）。４×４逆アダマール変換は数７の式、８×８逆アダマール変換は数８の式によって行う。

ここで得られたX’が疑似ローカルデコード画像であり、イントラ予測部（３１１）は、疑似ローカルデコード画像X’（４１０）を用いてイントラ予測を行う。またこの処理を、領域分割したブロックの数だけ繰り返し（S４０６０）、各サブブロックにおける疑似ローカルデコード画像を求める。

図５にはイントラ予測部による処理フローが例示される。まず、疑似ローカルデコード画像から、符号化対象ブロック近傍の参照ブロックの被予測画素を読み取る（S５０１０）。読み取った被予測画素を任意の予測方向にコピーして疑似予測画像を生成する（S５０２０）。予測方向は図１２に示したものでもよいし、それ以外であってもかまわない。次に、疑似予測画像と原画像の残差成分や発生符号量などに基づき、該当するイントラ予測モードの符号化コストを算出する（S５０３０）。これを当該ブロックにおいて予測可能なモードの数だけ繰り返し、各モードの符号化コストを算出する（S５０４０）。最後に、符号化コストが最小となるイントラ予測モードを選択し（S５０５０）、フレームメモリに格納されたローカルデコード画像を用いて当該予測モードのイントラ予測画像を生成する（S５０６０）。

なお、本実施の形態において、符号化装置は図１の構成に限られるものではなく、MPEG-２、MPEG-４、H.２６４/AVC等の既存の符号化方式に疑似ローカルデコード画像生成部３１５およびイントラ予測部３１１を付加した構成であってもかまわない。

以上説明した第１の実施の形態では、処理量の重いイントラ予測モード選択を予測画像生成とは別のパイプラインステージにしている。これによって、予測画像生成ステージでは、イントラ予測モード選択ステージで決定されたモードに従って予測画像を生成すればよいため、直交変換処理（１２０３）、量子化処理（１２０４）、逆量子化処理（１２０５）、及び逆直交変換処理（１２０６）の回路を必ずしも並列に用意する必要はなくなり、回路規模の削減を実現できる。また、高精度な疑似ローカルデコード画像データを作成できるため、イントラ予測モード選択と予測画像生成のパイプラインステージを分けたとしても、ローカルデコード画像を用いたモード選択に近い結果が得られることになり、予測精度の低下を低減することができる。例えば、図６に示すようなマクロブロック境界にライン/エッジ部が存在する画像を考える。イントラ予測モード選択で復号画像が使えない場合、原画像を用いてモード選択を行うことが考えられる。図６の（Ａ）の例では被予測画素にノイズは無いため、予測精度が高く、モード番号が小さい水平予測が選ばれる。しかし、図６の（Ｂ）の場合のように、低ビットレートで符号化を行った場合、復号画像ではエッジ付近に符号化ノイズが生じることが多く、水平予測モードを適用すると、原画像にはなかった線状のノイズが復号画像に生じてしまうことがある。本実施の形態によれば、実際の復号画像に近い疑似ローカルデコード画像を用いてイントラ予測モード選択を行うことができるため、こうしたノイズの発生するモードが選択されるケースは減少し、より好適な復号画像を生成することが可能となる。
《実施の形態２》
図７には本発明の実施の形態２における画像符号化装置が例示される。かかる実施の形態２は、画像符号化装置が被予測画素選択部（７０１）を備える点が図１の画像符号化装置と異なる。なお、図７において図１と同じ構成には同じ符号を付してその詳細な説明は省略する。

被予測画素選択部７０１は、図１で説明した疑似ローカルデコード画像３１６被予測画素を適用するか否かを決定する。通常、符号化対象ブロックの参照ブロックが既に符号化済みであれば、フレームメモリ３０９に格納されているローカルデコード画像を用いた方が、より好適にイントラ予測モード選択を行うことができる。ここでは、符号化対象ブロックの参照ブロックが既に符号化済みであればローカルデコード画像データを用いてイントラ予測モード選択を行い、符号化済みでなければ疑似ローカルデコード画データ像を用いてイントラ予測モード選択を行う。

図７の画像符号化装置では、ローカルデコード画像データと疑似ローカルデコード画像データを適応的に選択して使用することができるため、より好適に予測画像を生成することができる。

《実施の形態３》
図８には疑似ローカルデコード画像生成処理の別の例が示される。個の例では、疑似ローカルデコード画像生成処理において、入力されたブロックサイズの疑似ローカルデコード画像データを用いて、サブブロックサイズの被予測画素を選択抽出する処理（S８０１０）が前述した実施の形態１の図４の処理と異なる。図８において図４と同じ処理には同じ符号を付してその詳細な説明は省略する。

図８では、入力されたブロック単位の原画像を領域分割することなく、アダマール変換（S４０２０）、量子化（S４０３０）、逆量子化（S４０４０）、逆アダマール変換（S４０５０）の各処理を行う。こうして得られた疑似ローカルデコード画像を用いて、入力画素単位より小さなサブブロックサイズの被予測画素を選択抽出する（S８０１０）。例えば、図９のように、まず１６×１６画素ブロック単位で疑似ローカルデコード画像を生成し、 これを元に４×４画素ブロック単位における被予測画素（９０１）、８×８画素ブロック単位における被予測画素（９０２）、および１６×１６画素ブロック単位における被予測画素（９０３）を選択抽出する。当然ブロックサイズはこれらに限定されるものではない。これを分割するブロックサイズの数だけ繰り返し、イントラ予測モード選択に必要な被予測画素を取得する（S８０２０）。

以上説明した第３の実施の形態では、１つのブロックサイズのみに対してアダマール変換（S４０２０）、量子化（S４０３０）、逆量子化（S４０４０）、逆アダマール変換（S４０５０）を行えばよいため、処理速度の向上を実現することができる。

《実施の形態４》
図１０には疑似ローカルデコード画像データ生成処理の更に別の例が示される。かかる実施の形態４は、疑似ローカルデコード画像生成処理において、直交変換を行わず、量子化（S４０３０）と逆量子化（S４０４０）によって疑似ローカルデコード画像データを生成する点が前述した実施の形態１と異なる。なお、実施の形態４において、前述した実施の形態１と同じ構成には同じ符号を付してその詳細な説明は省略する。第４の実施の形態では、処理時間を要する直交変換を行わず、量子化（S４０３０）と逆量子化（S４０４０）のみを行えばよいため、処理速度を向上することができる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

本発明の実施の形態１に係る画像符号化装置を例示するブロック図である。 本発明の実施の形態１に係るパイプラインの構成を例示する説明図である。 本発明の実施の形態１に係るパイプラインステージの構成を例示する説明図である。 本発明の実施の形態１に係る疑似ローカルデコード画像生成処理のフローチャートである。 本発明の実施の形態１に係るイントラ予測処理のフローチャートである。 本発明の実施の形態１の効果を示す説明図である。 本発明の実施の形態２に係る画像符号化装置を例示するブロック図である。 本発明の実施の形態３における疑似ローカルデコード画像生成処理のフローチャートである。 本発明の実施の形態３における被予測画素の選択抽出処理の説明図である。 本発明の実施の形態４における疑似ローカルデコード画像生成処理のフローチャートである。 本発明者が検討したイントラ予測符号化方式の説明図である。 本発明者が検討したイントラ予測符号化方式の説明図である。 本発明者が検討した符号化方式におけるパイプラインの説明図である。 本発明者が検討したパイプライン構成における予測画像生成ステージの説明図である。

符号の説明

１０１…符号化対象ブロック
１０２…被予測画素
１０３、１０４、１０５、１０６…参照ブロック
３０１…原画像メモリ
３０２…減算器
３０３、１２０３…直交変換部
３０４、１２０４…量子化部
３０５…可変長符号化部
３０６、１２０５…逆量子化部
３０７、１２０６…逆直交変換部
３０８…加算器
３０９…フレームメモリ
３１０…インター予測部
３１１…イントラ予測部
３１２、１２０８…イントラ/インター予測モード選択部
３１５、１４０２…疑似ローカルデコード画像生成部
７０１…被予測画素選択部
９０１…４×４画素ブロック単位における被予測画素
９０２…８×８画素ブロック単位における被予測画素
９０３…１６×１６画素ブロック単位における被予測画素
１２０１…被予測画素バッファ
１２０７…イントラ予測モード選択部
１４０１…原画像バッファ

Claims (11)

1. 原画像データと予測画像データとの差分を符号化すると共に符号化データを復号して得られるローカルデコード画像データに基づいて前記予測画像データを生成することが可能な画像符号化装置であって、
   画像データのフレームを分割した複数画素ブロック単位でイントラ予測を用いて前記予測画像データを生成することが可能なイントラ予測部と、
   前記ローカルデコード画像データを生成する処理に比べて原画像データを簡易的に符号化及び復号する疑似ローカルデコード画像生成部とを有し、
   前記イントラ予測部は、イントラ予測モードの選択を行うモード選択処理部と、前記モード選択部で選択された動作モードに従ってイントラ予測を用いて前記予測画像データを生成する予測データ生成部とを備え、
   前記モード選択処理部は、前記疑似ローカルデコード画像生成部で生成された疑似ローカルデコード画像データを用いてイントラ予測モードの選択を行うことが可能である、画像符号化装置。
2. 前記疑似ローカルデコード画像生成部は、アダマール変換、量子化、逆量子化、及び逆アダマール変換を行うことにより疑似ローカルデコード画像データを生成する、請求項１に記載の画像符号化装置。
3. 前記疑似ローカルデコード画像生成部は、量子化および逆量子化を行うことにより疑似ローカルデコード画像データを生成する、請求項１に記載の画像符号化装置。
4. 前記イントラ予測部は、前記モード選択処理部による処理と、前記予測データ生成部による処理とを異なるパイプラインステージで実行する、請求項１記載の画像符号化装置。
5. 前記モード選択処理部によるモード選択に疑似ローカルデコード画像の被予測画素データを用いるか否かを決定する被予測画素選択部を備え、被予測画素選択部が疑似ローカルデコード画像の被予測画素データを用いると決定したとき前記モード選択処理部は疑似ローカルデコード画像の被予測画素データを用いてモード選択を行い、疑似ローカルデコード画像の被予測画素データを用いないと決定したとき前記モード選択処理部はローカルデコード画像データの被予測画素を用いてモード選択を行う、請求項１記載の画像符号化装置。
6. 前記疑似ローカルデコード画像生部は、入力画素ブロックの疑似ローカルデコード画像データを用いてサブブロックの被予測画素データを選択抽出する、請求項１に記載の画像符号化装置。
7. 原画像データと予測画像データとの差分を符号化する第1処理と、
   前記第１処理による符号化データを復号してローカルデコード画像データを生成する第２処理と、
   前記ローカルデコード画像データを生成する処理に比べて原画像データを簡易的に符号化および復号して疑似ローカルデコード画像データを生成する第３処理と、
   前記第３処理で生成された疑似ローカルデコード画像データを用いてイントラ予測モードの選択を行う第４処理と、
   前記第４処理で選択された動作モードに従って前記ローカルデコード画像データを用いたイントラ予測により前記予測画像データを生成する第５処理と、を含む画像符号化方法。
8. 前記第２処理は、アダマール変換、量子化、逆量子化、及び逆アダマール変換を行うことにより疑似ローカルデコード画像データを生成する、請求項７に記載の画像符号化方法。
9. 前記第２処理は、量子化および逆量子化を行うことにより疑似ローカルデコード画像データを生成する、請求項７に記載の画像符号化方法。
10. 前記第３処理と前記第４処理を異なるパイプラインステージにて実行する、請求項７記載の画像符号化方法。
11. 原画像データと予測画像データとの差分を符号化する第1処理と、
    前記第１処理による符号化データを復号してローカルデコード画像データを生成する第２処理と、
    前記ローカルデコード画像データを生成する処理に比べて原画像データを簡易的に符号化及び復号して疑似ローカルデコード画像データを生成する第３処理と、
    イントラ予測モードの選択に前記第３処理で生成された疑似ローカルデコード画像データを用いるか否かを決定する第４処理と、
    前記第４処理にて疑似ローカルデコード画像データを用いると決定したとき疑似ローカルデコード画像データを用いてイントラ予測モードを選択し、前記第４処理にて疑似ローカルデコード画像データを用いないと決定したときローカルデコード画像データを用いてイントラ予測モードを選択する第５処理と、
    前記第５処理で選択された動作モードに従ってイントラ予測により前記予測画像データを生成する第６処理と、を含む画像符号化方法。

Images