JP3677165B2 - 動画像符号化装置および動画像符号化方法 - Google Patents
動画像符号化装置および動画像符号化方法 Download PDFInfo
- Publication number
- JP3677165B2 JP3677165B2 JP11638399A JP11638399A JP3677165B2 JP 3677165 B2 JP3677165 B2 JP 3677165B2 JP 11638399 A JP11638399 A JP 11638399A JP 11638399 A JP11638399 A JP 11638399A JP 3677165 B2 JP3677165 B2 JP 3677165B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- texture
- information
- macroblock
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＳＯ／ＩＥＣ ＪＴＣ／ＳＣ２９／ＷＧ１１において標準化作業が進行中である、動画像符号化の国際標準方式ＭＰＥＧ４で実現される、任意形状のオブジェクトを個別に符号化する機能を利用した動画像符号化装置および動画像符号化方法に関する。
【０００２】
【従来の技術】
現在標準化作業が進行中であるＭＰＥＧ４（ Motion Picture Experts Group phase ４）では、従来の動画像符号化の国際標準方式であるＭＰＥＧ１（ Motion Picture Experts Group phase 1）やＭＰＥＧ２（ Motion Picture Experts Group phase 2）では実現出来ない機能である、任意形状のオブジェクト（例えば、画面内に写っている人物）ごとに個別に符号化する機能が実現されることになっている。
【０００３】
この機能を実現するためには、各オブジェクトの形や大きさを表わす情報（形状情報）が必要であり、この情報は、オブジェクト内部の輝度・色差の変化を表わすテクスチャ情報と共に符号化された後、伝送・蓄積される。
【０００４】
すなわち、背景とオブジェクトからなる画像があったとすると、この画像を背景とオブジェクトに分け、符号化する。そして、背景やオブジェクトを別々に符号化するために、各オブジェクトの形や大きさを表わす情報（形状情報）が別途与えられる。これがアルファマップ信号と呼ばれる形状情報信号である。
【０００５】
このアルファマップ信号は、オブジェクトの形状や画面内の位置を表す例えば２値の副画像情報として与えられる（なお、背景のアルファマップ信号は、オブジェクトのアルファマップ信号から一意に求められる）。
【０００６】
このように、ＭＰＥＧ４では各オブジェクトの形や大きさを表わす情報（形状情報）を、オブジェクト内部の輝度・色差の変化を表わすテクスチャ情報と共に符号化することにより、情報量を小さくして、復号側ではこれを元にオブジェクトを再現できる機能が実現できるようになっている。
【０００７】
ここで、ＭＰＥＧ４の画像符号化および画像復号化装置について概略を説明しておく。図７は、画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式の画像符号化装置のブロック構成図である。この画像符号化装置は、図７に示すように、差分回路１１００、動き補償予測回路（ＭＣ）１１１０、直交変換回路（ＤＣＴ）１１２０、量子化回路１１３０、可変長符号化回路（ＶＬＣ）１１４０、逆量子化回路（ＩＱ）１１５０、逆直交変換回路（ＩＤＣＴ）１１６０、加算回路１１７０、多重化回路１１８０、アルファマップ符号化回路１２００とから構成される。
【０００８】
アルファマップ符号化回路１２００は、入力されたアルファマップを符号化し、この符号化された信号をアルファマップ信号として多重化回路１１８０に出力する機能と、このアルファマップ信号を復号して局部復号信号として出力する機能を有する。
【０００９】
特に、本アルファマップ符号化回路１２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率（倍率）で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報（倍率情報）とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する機能を有する。そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用いる構成である。
【００１０】
差分回路１１００は、動き補償予測回路１１１０より供給される動き補償予測信号と入力画像信号との差分信号を算出するものであり、直交変換回路１１２０は、差分回路１１００から供給された差分信号を、アルファマップの情報にしたがって、直交変換係数に変換して出力するものである。
【００１１】
量子化回路１１３０はこの直交変換回路１１２０により得られた直交変換係数を量子化する回路であり、可変長符号化回路１１４０はこの量子化回路１１３０の出力を符号化して出力するものである。多重化回路１１８０はこの可変長符号化回路１１４０により符号化されたものと、前記アルファマップ信号とを、動きベクトル情報等のサイド情報と共に多重化多重化してビットストリームとして出力するものである。
【００１２】
逆量子化回路１１５０は量子化回路１１３０の出力を逆量子化するものであり、逆直交変換回路１１６０はこの逆量子化回路１１５０の出力を前記アルファマップに基いて逆直交変換するものであり、加算回路１１７０はこの逆直交変換回路１１６０の出力と動き補償予測回路１１１０から与えられる予測信号（動き補償予測信号）とを加算して差分回路１１００に出力するものである。
【００１３】
動き補償予測回路１１１０は、フレームメモリを有し、アルファマップ復号化回路１２００から与えられる局部復号信号にもとづいて動作してオブジェクト領域の信号、背景領域の信号を蓄積する機能を有する。また、動き補償予測回路１１１０は蓄積したオブジェクト領域の画像から動き補償値を予測して予測値として出力し、また、蓄積した背景領域の画像から動き補償値を予測して予測値として出力する機能を有する。
【００１４】
このような構成の本装置の作用を説明する。
本装置には、画像信号とその画像信号のアルファマップが入力される。そして、これらのうち、画像信号はフレーム毎にそれぞれ所定画素サイズ（例えば、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））のブロックに分割された後、ブロック位置順に信号線１０１０を介して差分回路１１００に供給される。そして、差分回路１１００では、この入力（画像信号）と、予測信号（オブジェクト予測回路１１１０からの動き補償予測信号の出力）との差分信号が算出され、直交変換回路１１２０に供給される。
【００１５】
直交変換回路１１２０では、供給された差分信号を、信号線１０４０を介してアルファマップ符号化回路１２００から供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１１３０に供給する。そして、ここで量子化される。量子化回路１１３０にて量子化されて得られた変換係数は、可変長符号化回路１１４０において符号化されると共に、逆量子化回路１１５０に供給される。
【００１６】
逆量子化回路１１５０に供給された変換係数は、ここで逆量子化された後、逆直交変換回路１１６０において逆変換される。そして、加算回路１１７０において動き補償予測回路１１１０より供給される動き補償予測値と加算され、局部復号画像として出力されて、再び動き補償予測回路１１１０に入力される。
【００１７】
そして、この加算回路１１７０の出力である局部復号画像は、動き補償予測回路１１１０内のフレームメモリに蓄えられる。
【００１８】
一方、この動き補償予測回路１１１０は、アルファマップ復号化回路１２００から与えられる局部復号信号に基づいてオブジェクトの領域のブロックの処理のタイミングでは“オブジェクトの動き補償予測値”を、また、それ以外のタイミングでは“背景部分の動き補償予測値”を出力して差分回路１１００に与える。
【００１９】
すなわち、動き補償予測回路１１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応部分の画像信号が差分回路１１００に入力されているのか、あるいは背景部分のブロック対応部分の画像信号が差分回路１１００に入力されているのかを知り、オブジェクトのブロック対応部分の画像信号の入力期間中であれば、オブジェクトの動き補償予測信号を、そして、背景部分のブロック対応部分の画像信号入力期間中であれば、背景の動き補償予測信号を、差分回路１１００に与える。
【００２０】
差分回路１１００では、この入力された画像信号と、その画像の領域対応の予測信号との差を算出するので、その結果、入力画像がオブジェクト対応の領域のものであれば、そのオブジェクトの対応位置での予測値との差分信号が、また、入力画像が背景の領域のものであれば、その背景位置対応の予測値との差分信号が算出され、直交変換回路１１２０に供給される。
【００２１】
直交変換回路１１２０では、供給された差分信号を信号線１０４０を介して供給されるアルファマップの情報にしたがって、離散コサイン変換などの処理を施すことにより、直交変換係数に変換した後、量子化回路１１３０に供給する。そして、直交変換係数はこの量子化回路１１３０にて量子化される。
【００２２】
量子化回路１１３０にて量子化された変換係数は、可変長符号化回路１１４０において符号化されると共に、逆量子化回路１１５０に供給される。そして、逆量子化回路１１５０に供給された変換係数はここで逆量子化された後、逆直交変換回路１１６０において逆変換されて加算回路１１７０に供給される。そして、予測値切り換え回路１５００を介して加算回路１１７０に供給される予測値と加算されることになる。
【００２３】
加算回路１１７０の出力である局部復号画像の信号は、動き補償予測回路１１１０に供給される。そして、この動き補償予測回路１１１０ではアルファマップ信号の局部復号信号から現在、加算回路１１７０からオブジェクトのブロック対応の信号が出力されているのか、あるいは背景部分のブロック対応の信号が出力されているのかを知り、その結果、オブジェクトのブロック対応の信号の出力中であれば、オブジェクト用のフレームメモリに、また、背景部分のブロック対応の信号の出力中であれば、背景用のメモリに与えるべく動作して対応のメモリに蓄える。
【００２４】
そして、これにより、オブジェクト用のフレームメモリにはオブジェクト画像のみが、また、背景用のメモリには背景画像のみの画像が得られることになる。これにより、動き補償予測回路１１１０はオブジェクト画像を利用してオブジェクト画像の予測値を求めることができ、また、背景部分の画像を利用して背景画像の予測値を求めることができる。
【００２５】
上述したように、アルファマップ符号化回路１２００では、入力されるアルファマップを符号化し、この符号化されたアルファマップ信号を信号線３０を介して多重化回路１１８０に供給している。
【００２６】
また、多重化回路１８０には、可変長符号化回路１４０から出力された変換係数が線１０４０を介して供給されている。そして、多重化回路１８０は供給されているこれらアルファマップ信号および変換係数の符号化値とを、動きベクトル情報等のサイド情報と共に多重化した後、信号線１０５０を介して出力して本画像符号化装置の最終出力としての符号化ビットストリームとなる。
【００２７】
一方、図８は復号化装置のブロック図である。復号化装置は、図８に示すように、分離化回路２３００、可変長復号化回路２３１０、逆量子化回路２３２０、逆直交変換回路２３３０、加算回路２３４０、動き補償予測回路２３５０、アルファマップ復号化回路２４００とより構成される。
【００２８】
分離化回路２３００は入力される符号化ビットストリームを分離化処理してアルファマップ信号と画像の符号化信号等を得る回路であり、アルファマップ復号化回路２４００はこの分離化回路２３００にて分離されたアルファマップ信号を復号してアルファマップを再生する回路である。
【００２９】
可変長復号化回路２３１０は、分離化回路２３００にて分離された画像の符号化信号を復号するものであり、逆量子化回路２３２０はこの復号されたものを逆量子化して元の係数に戻すものであり、逆直交変換回路２３３０はこの係数をアルファマップにしたがって逆直交変換して予測誤差信号に戻すものであり、加算回路２３４０は、この予測誤差信号に動き補償予測回路２３５０からの動き補償予測値を加算して再生画像信号として出力するものである。この再生画像信号が復号化装置の最終出力となる。
【００３０】
動き補償予測回路２３５０は、加算回路２３４０から出力された再生画像信号をアルファマップにしたがってフレームメモリに蓄積することによりオブジェクト画像と背景画像とを得ると共に、この蓄積されて得られた画像からオブジェクトの動き補償予測信号、背景の動き補償予測を得るものである。
【００３１】
このような構成の復号化装置においては、符号化ビットストリームは、線２０７０を介して分離化回路２３００に供給され、分離化回路２３００において各々の情報毎に分離されることにより、アルファマップ信号に関する符号と、画像信号の可変長符号とに分けられる。
【００３２】
そして、アルファマップ信号に関する符号は、信号線２０８０を介してアルファマップ復号化回路２４００に供給され、また、画像信号の可変長符号は可変長復号化回路２３１０にそれぞれ供給される。
【００３３】
アルファマップ信号に関する符号はアルファマップ復号化回路２４００においてアルファマップ信号に再生され、信号線２０９０を介して逆直交変換回路２３３０と動き補償予測回路２３５０に出力される。
【００３４】
一方、可変長復号化回路２３１０では、分離化回路２３００から供給される符号を復号し、逆量子化回路２３２０に供給して、ここで逆量子化する。逆量子化された変換係数は、線２０９０を介して供給されるアルファマップにしたがって逆直交変換回路２３３０により逆変換され、加算回路２３４０に供給される。加算回路２３４０では、逆直交変換回路２３３０からの逆直交変換された信号と、動き補償予測回路２３５０より供給される動き補償予測信号とを加算し、再生画像を得る。
【００３５】
以上がＭＰＥＧ４用の画像符号化装置および画像復号化装置の概要である。
【００３６】
ここで、アルファマップの符号化について説明する。アルファマップ、すなわち、形状情報の画素値は２値信号であり、これは“０”，“１”あるいは“０”，“２５５”で表現される。
【００３７】
アルファマップの符号化は、まずはじめに、図９に示されるように、画面（フレーム）内で符号化対象となるオブジェクト（ＭＰＥＧ４では、ＶＯＰ（▲５▼ideo Object Plane）と呼ばれている）を包含する符号化領域（Bounding-Rectangleと呼ばれる）を設定する。そして、この領域内を１６×１６画素のマクロブロックに分割して、各マクロブロック毎に該オブジェクトを符号化する。
【００３８】
ここで、各ＶＯＰ毎に、Ｂｏｕｎｄｉｎｇ−Ｒｃｃｔａｎｇｌｅの大きさ（vop-width，vop-height）と位置ベクトル（Spatial-refference（vop-horizontal-mc-spatial-ref,vop-vertical-mc-spatial-ref））の値が符号化される。
【００３９】
図１０は、各マクロブロックの属性を説明する図である。マクロブロックは分類すると、マクロブロック内にオブジェクトを含まない“透過マクロブロック”（オブジェクトの画素が一つもない）と、マクロブロックが全てオブジェクト内に含まれる“不透過マクロブロック”（全てがオブジェクトの画素で埋められている）と、マクロブロック内の一部がオブジェクトに含まれる“境界マクロブロック”（オブジェクトの画素が一部含まれる）とに分けられる。
【００４０】
従って、マクロブロックは“透過マクロブロック”、“不透過マクロブロック”、“境界マクロブロック”のうちのいずれかの属性を持つことになる。
【００４１】
各マクロブロックの符号化データには、形状情報とテクスチャ情報とが含まれる。なお、透過マクロブロックにはテクスチャ情報は含まれない。
【００４２】
参考文献（三木 編著、“ＭＰＥＧ−４のすべて”第３章、工業調査会、１９９８）を参照して、ＭＰＥＧ４検証（▲５▼erification）モデルのエンコーダにおける形状情報の符号化法と任意形状オブジェクトのテクスチャ情報の符号化法を説明する。
【００４３】
＜形状情報の符号化法＞
形状情報（Ａ）の符号化法を説明する。図１１に従来技術としてのモデルシステムの構成例を示す。形状符号化は、図１１に示す如き構成の形状符号化用エンコーダ（形状情報符号化手段（Binary Shape encoder）５００）によって実施される。当該形状符号化用エンコーダ（形状情報符号化手段５００）は、図１１に示すように、モード判定手段５０１、形状動きベクトル検出手段５０２、動き補償手段５０３、算術符号化手段５０４、動きベクトル予測手段５０５、フレームメモリ５０６、セレクタ５０７、形状動きベクトル情報記憶手段５０８、差分回路５０９、縮小回路５１０，５１１、拡大回路５１２、可変長符号化回路５１３，５１４、マルチプレクサ５１５とから構成されている。
【００４４】
形状動きベクトル検出手段５０２は、フレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検知する符号化領域検出手段（Bounding-rectangle）を介して入力されるアルファマップ信号（形状情報Ａ）と動きベクトル予測手段５０５にて求められた予測ベクトルの情報とフレームメモリ５０６の形状情報信号とから形状動きベクトルを検出してこれを形状動きベクトル情報として出力するものであり、動き補償手段５０３はこの形状動きベクトル検出手段５０２で検出された形状動きベクトル情報とフレームメモリ５０６の形状情報信号と動きベクトル予測回路５０５の出力する予測ベクトルとから動き補償予測のための動きベクトル情報を求めるためのものである。
【００４５】
また、形状動きベクトル情報記憶手段５０８は形状動きベクトル検出手段５０２で検出された形状動きベクトル情報を記憶するためのものであり、動きベクトル予測手段５０５は形状動きベクトル情報記憶手段５０８の保持した形状動きベクトル情報と輝度信号５３とをもとに動きベクトルの予測値である予測ベクトルを求めるものである。
【００４６】
また、差分回路５０９は、形状動きベクトル検出手段５０２の求めた形状動きベクトルと動きベクトル予測手段５０５にて求められた予測ベクトルとの差分を得るためのものであり、モード判定手段５０１は入力される形状情報と動き補償手段５０３の出力する動き補償予測のための動きベクトル情報と形状動きベクトル検出手段５０２の出力する形状動きベクトル情報とからモード判定するものである。
【００４７】
ここで、モード情報は次の７通りある。すなわち、
（モード１）：透過（Transparent）
（モード２）：不透過（Opaque）
（モード３）：２値画像符号化（フレーム内）
（モード４）：動き補償（ＭＶ＝０）
（モード５）：動き補償（ＭＶ＝０）＋算術符号化（フレーム間）
（モード６）：動き補償（ＭＶ≠０）
（モード７）：動き補償（ＭＶ≠０）＋算術符号化（フレーム間）
である。
【００４８】
これらのうち、“モード１”はマクロブロック内の全データが透過、すなわち、マクロブロック内にオブジェクトを一つも含まない場合であり、“モード２”はマクロブロック内の全データが不透過、すなわち、マクロブロック内が全てオブジェクトの場合であり、“モード３”は算術符号化（フレーム内）の場合である。また、“モード４”は動き補償ベクトルがゼロ（ＭＶ＝０）の場合であり、“モード５”は動き補償ベクトルがゼロ（ＭＶ＝０）で、且つ、算術符号化（フレーム間）を行っている場合であり、また、“モード６”は動き補償ベクトルがゼロではない（ＭＶ≠０）場合であり、また、“モード７”は動き補償ベクトルがゼロではなく（ＭＶ≠０）、しかも、算術符号化（フレーム間）を行っている場合である。
【００４９】
算術符号化手段５０４は、モード判定手段５０１のモード判定結果に応じて第１及び第２の縮小手段５１０，５１１の出力のうちの、いずれか一方を算術符号化してマルチプレクサ５１５に出力するものであり、また、セレクタ５０７は、動き補償手段５０３の出力する動き補償予測のための動きベクトル情報と拡大化手段５１２の出力と、予め設定された固定値である透過画素の値（Transparent pixel value；例えば、値“０”）と、予め設定された固定値である不透過画素 の値（Opaque pixel value；例えば、値“１”）が与えられ、これらのうちのいずれか一つをモード判定手段５０１から与えられるモード情報が何であるかにより、選択して出力するものである。
【００５０】
また、フレームメモリ５０６は、セレクタ５０７の出力を形状情報信号として保持するメモリである。
【００５１】
第１の縮小化手段５１０は、アルファマップの２値化信号である形状情報入力を縮小化処理し、算術符号化手段５０４に出力するものであり、第２の縮小化手段５１１は、動き補償手段５０３の出力する動きベクトル情報を縮小化処理し、算術符号化手段５０４に出力するものであり、拡大回路５１２は、第１の縮小化手段５１０の出力をモード判定手段５０１のモード判定結果に応じてセレクタ５０７に出力するものである。
【００５２】
第１の可変長符号化回路５１３は、差分回路５０９の出力を可変長符号化して出力するものであり、第２の可変長符号化回路５１４は、モード判定手段５０１の判定結果を可変長符号化して出力するものであり、マルチプレクサ５１５は、第１及び第２の可変長符号化手段の出力と算術符号化手段５０４の出力を受けてこれらを多重化してこれを形状情報符号化出力５２として出力するものである。
【００５３】
このような構成において、アルファマップの２値化信号である形状情報信号５１が入力される。すると、これを受けたモード判定手段５０１は、当該供給される形状情報と形状動きベクトル検出手段５０２の出力する形状動きベクトルと、動き補償手段５０３の出力する動きベクトル情報を元にモード判定する。そして、このモード判定手段５０１によるマクロブロック毎に決定された各マクロブロックのモードにしたがって、マクロブロック毎に情報が以下の如きに符号化されることになる。
【００５４】
ここで、モード判定手段５０１による判定結果としてのモード情報は次の７通りのいずれかである。“モード１”（透過（Transparent））、“モード２” （不透過（Opaque））、“モード３”（算術符号化（フレーム内））、“モード４”（動き補償（ＭＶ＝０））、“モード５”（（動き補償（ＭＶ＝０）＋算術符号化（フレーム間））、“モード６”（動き補償（ＭＶ≠０））、“モード７”（動き補償（ＭＶ≠０）＋算術符号化（フレーム間））、である。
【００５５】
そして、セレクタ５０７では、モード判定手段５０１の判定したモードの情報にしたがって、マクロブロック毎に再生信号を出力する。そして、出力された各マクロブロックの再生信号はフレームメモリ（ＦＭ）５０６に蓄積されると共に、出力線５４を介してテクスチャ情報の符号化手段に供給され、符号化されることになる。
【００５６】
ここで、モード判定手段５０１からセレクタ５０７に与えられるモード情報が何であるかにより、セレクタ５０７からの出力は次のようになる。
【００５７】
“モード１”の場合： 該マクロブロック内の形状情報の再生画素値を、全て”Transparcnt pixel“（例えば、各画素値を“２５５”）にしたものを出力す る。
【００５８】
“モード３，５，７”の場合： 供給されるマクロブロックの形状情報信号５１を第１の縮小化手段５１０にて縮小処理して得た信号（算術符号化手段５０４の符号化対象）を更に拡大化手段５１２により拡大処理することにより元のサイズに戻して再生画素値にしたものを出力する。
【００５９】
“モード４，６”の場合： マクロブロック内の形状情報の再生画素値を、動き補償手段５０３により動き補償予測して得た値を出力する。
【００６０】
一方、形状動きベクトル検出手段５０２では、入力線５１より入力された形状入力信号と、動きベクトル予測手段５０５にて求められた予測ベクトルと、フレームメモリ（ＦＭ）５０６に蓄積された形状情報信号とから形状動きベクトルの情報を得る。この形状動きベクトル検出手段５０２で検出された形状動きベクトル情報は、各マクロブロックの形状を動き補償手段５０３において動き補償予測するために用いられる動きベクトル情報であり、動き補償手段５０３に供給されると共に、形状動きベクトル情報記憶手段（ＭＶmemoly）５０８に蓄積される。
【００６１】
ここで、形状動きベクトル検出手段５０２では、動きベクトル予測手段５０５にて求められた予測ベクトルを中心に、その周囲±１６画素の範囲で予測誤差ベクトルを検出している。
【００６２】
従って、図３のようにゼロベクトルが検出される頻度が最も多いため、形状動きベクトルがゼロベクトルであるか否かの情報を、モード情報に含めるようにすることで、形状動きベクトル情報の符号量を削減している。また、この性質（ゼロベクトル近傍のベクトルが検出される確率が高い）を用いることで、動きベクトル検出の処理量を削減することも可能になる。
【００６３】
動きベクトル予測手段５０５では、形状動きベクトル情報記憶手段（ＭＶmemoly）５０８に蓄積されている形状動きベクトルと、信号線５３を介して供給されるテクスチャ動きベクトルから、形状動きベクトルの予測値を求めている。
【００６４】
“モード３，５，７”が選択された場合には、算術符号化手段５０４では、フレーム内符号化の場合では第１の縮小化手段５１０によって縮小化処理されて得た信号を算術符号化することになる。また、フレーム間符号化の場合、算術符号化手段５０４では、第１の縮小化手段５１０により縮小化処理されて得られた信号について、第２の縮小化手段５１１により縮小化された信号を参照しつつ算術符号化する。一方、“モード５，７”が選択された場合には、差分回路５０９により得られた予測誤差ベクトルが、可変長符号化手段５１３により可変長符号化されることになる。
【００６５】
そして、算術符号化手段５０４より得られた算術符号あるいは可変長符号化手段５１３により得られた予測誤差ベクトルの可変長符号は、第２の可変長符号化手段５１４により可変長符号化されて得られたモード情報と共に、多重化手段 （ＭＵＸ）５１５に送られ、ここで多重化されて形状情報符号化出力５２として出力される。
【００６６】
ところで、算術符号化手段５０４で符号化された２値画像符号化情報は、各マクロブロック内の詳細な形状を２値画像として扱い、符号化した情報である。ここで、形状動きベクトルは、動きベクトル予測手段５０５にて求められた予測ベクトルの周囲１６画素を探索して求められたものである。
【００６７】
従って、図３のようにゼロベクトルが検出される頻度が最も多いため、形状動きベクトルがゼロベクトルか否かの情報をモード情報に含めることで、形状動きベクトル情報の符号量を削減している。
【００６８】
このようにして、形状情報符号化手段５００による形状情報の符号化処理が行われる。なお、ここでの形状情報は、２階調化したアルファマップを対象としており、アルファマップには多階調グレースケールのものもあるので、これと区別して形状情報と称した。
【００６９】
＜テクスチャ情報の符号化法＞
アルファマップはオブジェクトの形や大きさを表す情報（形状情報）であるが、オブジェクトの内部の輝度や色差の変化を表す情報であるテクスチャ情報がないとオブジェクトの画像を再生できない。従って、ＭＰＥＧ４ではアルファマップと共に、テクスチャ情報も符号化されてアルファマップと対で利用される。
【００７０】
テクスチャ情報（図１２のＹＵＶ）の符号化法を図１２を用いて説明する。
図１２は従来技術のモデルシステムとして構成例を示すエンコーダ部分のブロック構成図である。
図１２において、図に強調表記された構成要素である符号化領域（Bounding-Rectangle）検出手段３０１、参照画像パディング手段３０２、ＬＰＥパディング手段３０３、ゼロパディング手段３０４、ベクトルパディング手段３０６および形状情報符号化手段５００は、任意形状のオブジェクトを符号化するためだけに必要な構成要素である。従って、ＭＰＥＧ１やＭＰＥＧ２のような旧来の符号化法と同様に、矩形のオブジェクトを符号化するためには、これ以外の構成要素、すなわち、図１２における動きベクトル検出手段３０５、フレームメモリ３０７、動き補償手段３０８、切替スイッチ３０９，３１０、動きベクトル予測手段３１１、動きベクトル記憶手段３１２、差分回路３１３、第３の可変長符号化手段３１４、量子化手段３１５、逆量子化手段３１６、直交変換手段３１７、第４の可変長符号化手段３１８、逆直交変換手段３１９、加算回路３２０、スイッチ３２１、マルチプレクサ３２２とから構成される要素が備わっていればよい。
【００７１】
ここで、符号化領域（Bounding-Rectangle）検出手段３０１はフレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検出するためのものであり（図９参照）、形状情報符号化手段５００については、図１１を用いて説明した通りである。
【００７２】
図１２の構成においては、“不透過マクロブロック”と“境界マクロブロック”に対して、テクスチャ情報（ＹＵＶ）の符号化が行われることになるが、これらのうち、“不透過マクロブロック”に対しては、従来の符号化法と同様に、入力されたマクロブロックの信号をそのまま動き補償予測＋ＤＣＴ（離散コサイン変換）法で符号化する。
【００７３】
一方、“境界マクロブロック”に対しては、オブジェクト外部の信号をパディング（補填処理）した後、動き補償予測＋ＤＣＴ法で符号化する。
【００７４】
そして、ここでのパディング（補填処理）には以下の３通りの手法がある。
【００７５】
［１］ 参照画像パディング： これは参照画像パディング手段３０２による補充処理であって、動き補償予測の参照画像をパディングする。境界マクロブロックに対する処理と、透過マクロブロックに対する処理がある。
【００７６】
［２］ ＬＰＥパディング： これはＬＰＥパディング手段３０３による補充処理であって、イントラマクロブロック内のブロックをＤＣＴ（離散コサイン変換）する前に、オブジェクト外の画素（図１３の白丸部）値をオブジェクト内部の画素（図１３の黒丸部）値の平均値で置き換えた後、ローパスフィルタをかけるという処理である。処理単位は、ＤＣＴの場合と同じ８×８画素である。
【００７７】
［３］ ゼロパディング： これはゼロパディング手段３０４による補充処理であって、インターマクロブロック内のブロックをＤＣＴする前に、動き補償予測誤差信号のオブジェクト外の画素（図１３の白丸部）値をゼロ値で置き換えると云う処理である。処理単位は、ＤＣＴと同じ８×８画素である。
【００７８】
ここで、上記［１］のパディングはＭＰＥＧ４の規格における必須の処理であるが、上記［２］と上記［３］のパディングは、符号化効率向上のために必要なものであって、規格上での必須の処理では無いため、上記構成要素による処理に限らず他の手段を用いて実施してもよい。
【００７９】
また、動きベクトル検出手段３０５では、信号線３１を介して符号化領域検出手段３０１より供給される形状信号に基づき、信号線３２を介して供給される原画像の輝度信号（ＹＵＶ）と、信号線３３を介してフレームメモリ３０７から供給される参照画像の輝度信号との間で動きベクトル検出を行う。そして、その結果、得られた動きベクトル３４は動き補償手段（ＭＣ）３０８とベクトルパディング手段（Vector padding）３０６に出力している。
【００８０】
ベクトルパディング手段（Vector padding）３０６では、形状情報符号化手段５００より出力されて供給される形状情報の再生値データ５４に基づいて、動きベクトルの無い８×８画素単位のブロック（透明ブロックやイントラマクロブロック）に適切な動きベクトルを充填した後、動きベクトル記憶手段（MVmemory）３１２に蓄積する。
【００８１】
動きベクトルが検出される際に、参照画像はパディングによりオブジエクト内の画素値と滑らかにつながるように、オブジェクト外の画素値がパディングされている。
【００８２】
一方、原画像ではオブジェクト境界部の画素値はエッジの境界である場合が多いので、画素値変動が大きい。従って、境界マクロブロックで通常のブロックマッチングを行うと、オブジェクト外の画素値のミスマッチが大きく、正常な動きベクトルが検出されない場合が多い。
【００８３】
そこで、従来モデルでは境界マクロブロックに対しては、形状情報を参照してオブジェクト内部の画素値（図１４の黒丸部）のみで誤差を評価して動きベクトルを検出するようにしている（これをポリゴンマッチングと言う）。しかし、この方法は画素毎に、それがオブジェクトの内部か否かを判定しながら動きベクトルを検出することとなるため、勢い処理量が多くなってしまう。
【００８４】
【発明が解決しようとする課題】
上述したように、アルファマップはオブジェクトの形や大きさを表す情報（形状情報）であるが、オブジェクトの内部の輝度や色差の変化を表す情報であるテクスチャ情報がないとオブジェクトの画像を再生できない。従って、ＭＰＥＧ４ではアルファマップと共に、テクスチャ情報も符号化されてアルファマップと対で利用される。
【００８５】
そして、テクスチャ情報（ＹＵＶ）の符号化は、“不透過マクロブロック”と“境界マクロブロック”に対して行われることになるが、これらのうち、“不透過マクロブロック”については、入力されたマクロブロックの信号をそのまま動き補償予測＋ＤＣＴ（離散コサイン変換）法で符号化し、“境界マクロブロック”については、オブジェクト外部の信号をパディング（補填処理）した後、動き補償予測＋ＤＣＴ法で符号化する。
【００８６】
すなわち、“境界マクロブロック”については、動き補償予測が行われるので、動きベクトル検出の際に、参照画像はオブジエクト内の画素値と滑らかにつながるようにオブジェク卜外の画素値をパディングしておくわけである。
【００８７】
しかし、原画像ではオブジェクト境界部の画素値は、エッジの境界である場合が多いので画素値変動が大きく、従って、境界マクロブロックで通常のブロックマッチングを行うと、オブジェクト外の画素値のミスマッチが大きく、正常な動きベクトルが検出されない場合が多い。
【００８８】
そこで、境界マクロブロックに対し、形状情報を参照してオブジェクト内部の画素値（図１４の黒丸部）のみで誤差を評価して動きベクトルを検出する手法であるポリゴンマッチングを採用する。
【００８９】
しかし、この方法は画素毎にオブジェクトの内部か否かを判定しながら動きベクトルを検出することとなることから、処理量が多くなってしまう問題がある。
【００９０】
従って、本発明の目的とするところは、符号化効率向上を図りつつ、少ない演算量で動きベクトルの検出を行うことができるようにした動画像符号化装置および動画像符号化方法を提供することにある。
【００９１】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のように構成する。
【００９２】
［１］ 第１には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、各マクロブロック毎にテクスチャ情報の動きベクトルを検出する手段と、該マクロブロックにおける形状情報の動きベクトルを検出するために、テクスチャ情報の動きベクトルの利用の可否を判定する判定手段と、前記マクロブロックにおける形状情報の動きベクトルを検出するために、テクスチャ情報の動きベクトルの信頼性を評価する評価手段と、形状情報の動きベクトル検出範囲を、テクスチャ情報の動きベクトルが利用不可能時には利用可能時より広く設定され、テクスチャ情報の動きベクトルが利用可能な場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合よりも低い場合の方が広く設定される設定手段と、既に検出されているテクスチャ情報の動きベクトルを利用して前記マクロブロックにおける形状情報の動きベクトルを検出する動きベクトル検出手段とを備えて構成したものである。
そして、この装置は、形状情報とテクスチャ情報とから構成される任意形状オブジェクトを符号化するにあたり、テクスチャ情報の動きベクトルも利用できるように動きベクトル検出手段にはテクスチャ情報の動きベクトルも検出できる機能を持たせ、入力されたオブジェクトの形状情報とテクスチャ情報のうち、テクスチャ情報の動きベクトルが利用できるか否かを識別手段にて識別させ、また、評価手段により、テクスチャ情報の動きベクトルの信頼性を評価し、また、符号化対象のマクロブロックの符号化にあたっては、そのマクロブロックの周辺のマクロブロックの形状動きベクトルを探索して形状動きベクトルを求めるが、その探索範囲はテクスチャ情報の動きベクトルが利用できる場合には狭く、また、テクスチャ情報の動きベクトルが利用できない場合には、利用できる場合よりも広くし、テクスチャ情報の動きベクトルが利用できる場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合よりも信頼性の低い方が広く設定されるようにしてテクスチャ情報の動きベクトルの利用の可否と、信頼性の度合いに応じてマクロブロックの形状動きベクトル探索範囲を適正な範囲にするようにした。
【００９３】
すなわち、この発明は、動きベクトル検出に関する発明であって、このようにした結果、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようになる技術が提供できる。
【００９４】
［２］ また、本発明は、上記目的を達成するため、第２には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、入力されるオブジェクトの形状情報から形状動きベクトルおよびテクスチャ情報の動きベクトルを検出する動きベクトル検出手段を備えると共に、符号化時の誤差を指定するためのしきい値を設定するしきい値設定手段と、探索範囲内を複数の探索範囲に分割する分割手段と、検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する判定手段とを備え、前記動きベクトル検出手段は、前記分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差がしきい値よりも小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する機能を備える構成とする。
【００９５】
ＭＰＥＧ４においては、予測ベクトルがゼロベクトルであった場合、予測ベクトルがゼロベクトルであることを表す情報をモード情報に組み込んで別途符号化することにより、符号化効率を向上させるが、このゼロベクトルを効率的に検出できるようにすることも演算量軽減に大きく寄与する。そこで、本発明では、しきい値設定手段を設けて、符号化時の誤差を指定するためのしきい値を設定しておき、また、分割手段にて探索範囲内を複数の探索範囲に分割する。そして、動きベクトル検出手段は、これら分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、判定手段はこの動きベクトル検出手段にて検出された動きベクトルを元に、当該検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する。そして、動きベクトル検出手段は、最も狭い探索範囲から動きベクトル検出を開始した結果、判定手段が、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きいと判定した場合は、より広い探索範囲で最適な動きベクトルを検出するように動作し、動き補償予測誤差がしきい値よりも小さいと判断した場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する。このように、探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差が大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差が小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力するようにした結果、誤差が小さければ少ない演算量でゼロベクトルを効率的に検出できるようになり、演算量軽減に大きく寄与する。
【００９６】
［３］ また本発明は、上記目的を達成するため、第３には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、形状符号化およびテクスチャ符号化を行うに先立ち、該符号化手段に入力された形状信号を参照して、オブジェクトを一部に含む形態の境界マクロブロックについてはそのマクロブロック内を不連続性解消のためのパディング処理を施こすことによりテクスチャ符号化対象となるマクロブロック内の画素を全て補填処理する手段を有し、形状符号化およびテクスチャ符号化は当該パディング処理済みの画像を使用して行う構成としたものである。
【００９７】
この発明は、“境界マクロブロック”におけるテクスチャ符号化に関する発明であって、原画像は、境界マクロブロックについては、オブジェクト境界部での画素値の不連続性が解消できるパディング処理、すなわち、ＬＰＥパディングにてパディング処理してから、形状符号化およびテクスチャ符号化に供するようにした。そのため、オブジェクト境界部での画素値の不連続性がほとんど無くなることから、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。故に、“境界マクロブロック”において処理量の多いポリゴンマッチングを行わずに済み、計算時間の短縮を図ることができると共に、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。
【００９８】
【発明の実施の形態】
以下、本発明具体例について、図面を参照して説明する。本発明は、ＭＰＥＧ４エンコーダ（動画像符号化装置）の構成要素の処理順序を変更することによる符号化効率向上と、形状動きベクトルの検出法を改良することで、符号化効率を低下させずに、少ない演算量で動きベクトルの検出を行うことができるようにするものであり、以下、詳細を説明する。
【００９９】
＜第１の具体例＞
図を参照して本発明の第１の具体例を説明する。
第１の具体例において説明する技術は、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようにする技術である。
【０１００】
前述した通り、図１１に示した従来技術としてのモデルシステムの構成では、形状動きベクトル（ＭＶｓ）は、動きベクトル予測手段５０５にて求められた予測ベクトル（ＭＶＰｓ）の周囲±１６画素（図３の探索範囲３）を探索して求められる。つまり、予測ベクトルＭＶＰｓからの差分ベクトルＭＶＤｓを検出している（式１）。
【０１０１】
ＭＶＤｓ＝ＭＶｓ−ＭＶＰｓ …（式１）
通常、予測誤差信号の頻度分布は、図１に示す如きに“０”近傍の頻度が高く、“０”から離れるにしたがって頻度が急激に小さくなる傾向がある。図１では、差分ベクトルＭＶＤｓの水平成分を“ｍｖｄｓ_ｙ”、垂直成分を“ｍｖｄｓ_ｙ”と表記している。
【０１０２】
ここで、予測ベクトルＭＶＰｓの予測精度が低い場合は、頻度分布が緩慢となり、ＭＶＰｓの予測精度が高い場合は頻度分布が急峻となる。図２は予測ベクトルＭＶＰｓを求める方法を説明する図である。図２（ａ）は形状信号成分に関して、そして、図２（ｂ）は輝度信号成分に関しての情報をマクロブロック単位で示した図であり、符号化対象のマクロブロックＭＢとその近隣のマクロブロックとして形状動きベクトルＭＶｓ１、ＭＶｓ２、ＭＶｓ３を有するマクロブロックがあることを示している。また、図２（ｂ）は符号化対象のマクロブロックＭＢとその近隣のマクロブロックとして、テクスチャ動きベクトルＭＶ１、ＭＶ２、ＭＶ３を有するマクロブロックがあることを示している。
【０１０３】
そして、この場合、マクロブロックＭＢを符号化するにあたり、本発明システムでは、符号化対象のマクロブロックの符号化処理に際して、まずはじめに、ＭＶｓ１、ＭＶｓ２、ＭＶｓ３の順番でその符号化対象マクロブロックの周囲のマクロブロックについて、形状動きベクトルが存在するか否かを調べ、最初に存在する形状動きベクトルをＭＶＰｓとする。
【０１０４】
形状動きベクトルＭＶｓ１、ＭＶｓ２、ＭＶｓ３のいずれも存在しない場合には、今度はＭＶ１、ＭＶ２、Ｍ▲５▼３の順番でテクスチャ動きベクトルが存在するか否かを調べ、最初に存在する動きべクトルを予測ベクトルＭＶＰｓとする。
【０１０５】
テクスチャ動きベクトルＭＶ１、ＭＶ２、ＭＶ３いずれも存在しない場合は、予測ベクトルＭＶＰｓをゼロベクトルにする。
【０１０６】
本発明システムでは、動きベクトル予測手段５０５にはこのような機能を持たせる。
【０１０７】
なお、前記参考文献にも記載されている通り、テクスチャ動きベクトル（ＭＶ１、ＭＶ２、ＭＶ３）を利用できる場合とできない場合がある。例えば、テクスチャ情報を符号化せずに形状情報だけを符号化するモードや、符号化対象マクロブロックに対する、ＭＶ１、ＭＶ２、ＭＶ３何れも存在しない場合などである。つまり、テクスチャ動きベクトルが信頼できると仮定すれば、この手法においては、テクスチャ動きベクトルを利用できる場合には、利用できない場合と比べて予測ベクトルＭＶｐｓの予測精度が高いといえる。
【０１０８】
（第１の具体例その１）
そこで、本実施例では図３に示すように、探索範囲を数段階分用意し、テクスチャ動きベクトルを利用できる場合には、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えるようにする。例えば、探索範囲を“探索範囲１”、 “探索範囲２”、“探索範囲３”と云った具合に数段分、用意し、“探索範囲１”の領域サイズは４×４画素、“探索範囲２”の領域サイズは８×８画素、“探索範囲３”の領域サイズは１６×１６画素、と云った具合にする。
【０１０９】
そして、図１１に示した構成において、形状動きベクトル検出手段５０２の機能として、このように予測ベクトルＭＶＰｓの予測精度の検出と、この予測精度に応じて動きベクトル探索範囲を切り替える機能を付加した構成に改良することで、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができる。予測精度は、例えば、動きベクトル予測手段５０５の求めた予測ベクトルＭＶＰｓについての誤差の大きさで決めるようにすれば良い。
【０１１０】
動きベクトル探索範囲の具体例としては、テクスチャ動きベクトルが信頼できる場合には最小領域サイズとなる“探索範囲１”内を、そして、テクスチャ動きベクトルが信頼できない場合にはそれよりも幾分広い領域とした“探索範囲２”内を、探索範囲とする。また、テクスチャ動きベクトルが利用できない場合は最も広い領域とした“探索範囲３”を探索領域として探索するようにする。
【０１１１】
すなわち、形状動きベクトル検出手段５０２には、フレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検知する符号化領域検出手段（Bounding-rectangle）を介して入力されるアルファマップ信号（形状情報Ａ）と動きベクトル予測手段５０５にて求められた予測ベクトルの情報とフレームメモリ５０６の形状情報信号とから動きベクトル検出するに当たり、予測ベクトルＭＶＰｓの予測精度を求めて、それに応じて切り替えた最適な動きベクトル探索範囲で形状動きベクトルを検出するように動作させる。そして、これにより検出したベクトルを形状動きベクトル情報として出力させる。
【０１１２】
このようにすると、マクロブロックの符号化に当たり、テクスチャ動きベクトルの予測精度に基づく信頼度を調べた結果、その信頼度が高ければ、符号化しようとしているマクロブロックの周辺の狭い探索範囲を用いて動きベクトル検出の計算を済ませることが可能となり、動きベクトル検出に必要な計算量を低減することができることになる。また、テクスチャ動きベクトルが信頼できない場合やテクスチャ動きベクトルが利用できない場合は探索範囲を広げることで、動きベクトルの検出が可能になる。
【０１１３】
図４は本具体例のフローチャートである。すなわち、テクスチャ動きベクトルが利用できるか否かをチェックし（ステップＳ１１）、その結果、利用できなければ探索範囲を“探索範囲３”とすることとする。ステップＳ１１でのチェックの結果、利用できるのであれば、次にテクスチャ動きベクトルが信頼できるか否かをチェックし（ステップＳ１２）、その結果、信頼できなければ探索範囲を “探索範囲２”とすることとする。ステップＳ１２でのチェックの結果、信頼できるのであれば、探索範囲を“探索範囲１”とする。
【０１１４】
なお、ここではテクスチャ動きクトルの信頼性は、テクスチャ動きベクトルの探索範囲によって判断している。つまり、テクスチャ動きベクトルの検出は、テクスチャ動きベクトルそのものを直接検出しているため、探索範囲が広い場合は大きな動きにも追従できることから、探索範囲が狭い場合よりも信頼性が高いと推測できる。なお、ＭＰＥＧ４では、テクスチャ動きベクトルの探索範囲は±１０２４まで拡張可能である。
【０１１５】
このようにすることで、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えることができるようになり、このような予測ベクトルＭＶＰｓの予測精度に応じた探索範囲切り替えを実施することで、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができる。
【０１１６】
（第１の具体例その２）
予測ベクトルＭＶＤｓがゼロベクトルであった場合、前述したように、当該予測ベクトルＭＶＤｓがゼロベクトルであることを表す情報は、符号化効率向上のためモード情報に組み込まれて別途符号化される。
【０１１７】
そこで、図１２に示したＭＰＥＧ４用の従来技術としてのモデルエンコードシステムでは、ゼロベクトルが検出され易いように、比較基準としての所定のしきい値を定め、ゼロベクトル時の動き補償予測誤差（ＭＣ誤差）をこのしきい値と比較すると共に、当該ゼロベクトル時の動き補償予測誤差（ＭＣ誤差）が前記しきい値よりも小さいときには、その時点で検出を打ち切り、予測ベクトルＭＶＰｓを形状動きベクトルＭＶｓとしている。
【０１１８】
本具体例では、上記打ち切りを更に拡張したもので、たとえば、図３の“探索範囲１”まで検出した際の最適な動きベクトルでの動き補償予測誤差が、所定のしきい値よりも小さいときには、その時点で検出を打ち切るようにする。動き補償予測誤差が所定のしきい値よりも大きい場合には、探索範囲を“探索範囲２”まで拡張し、“探索範囲１”のときと同様に、“探索範囲２”の残りの範囲を探索した際の最適な動きベクトルでの動き補償予測誤差が所定のしきい値よりも小さいときには、その時点で検出を打ち切るようにする。
【０１１９】
つまり、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えるようにし、このような予測ベクトルＭＶＰｓの予測精度に応じた探索範囲切り替えを実施することで、符号化効率を落とすことなく動きベクトル検出の計算量低減を図るようにする。
【０１２０】
図５は、本具体例のフローチャートである。すなわち、予測ベクトルＭＶＤｓを“０”に初期化し（ステップＳ１）、次にＭＣ（動き補償）誤差が閾値より大きいか否かをチェックする（ステップＳ２）。その結果、小さければ処理を終了し、大きければ“探索範囲１”内を探索する（ステップＳ３）。
【０１２１】
そして、次にＭＣ（動き補償）誤差が閾値より大きいか否かをチェックする （ステップＳ４）。その結果、小さければ処理を終了し、大きければ“探索範囲２−探索範囲１”内を探索する（ステップＳ５）。
【０１２２】
そして、次にＭＣ（動き補償）誤差が閾値より大きいか否かをチェックする （ステップＳ６）。その結果、小さければ処理を終了し、大きければ“探索範囲３−探索範囲２”内を探索し（ステップＳ７）、それが終われば処理を終了する。
【０１２３】
このようにすることで、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えることができるようになり、このような予測ベクトルＭＶＰｓの予測精度に応じた探索範囲切り替えを実施することで、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようになる。
【０１２４】
前述したように、ゼロベクトル近傍に差分ベクトルＭＶＤｓの最適値がある可能性が高いため、狭い探索範囲から段階的に探索範囲を拡張し、途中段階で所定の条件を満たした場合は探索を打ち切ることで、符号化効率の低下なしに、動きベクトル検出の計算量を低減することができる。
【０１２５】
“具体例その１”、“具体例その２”共に、図１１のＭＰＥＧ４用モデルエンコーダと比較して、大きさの小さいベクトルが選択されるため、動きベクトルの符号量が低減されて結果として符号化効率が向上する場合もある。
【０１２６】
なお、“具体例その１”と“具体例その２”に示した技術を組み合せれば、さらに動きベクトル検出の計算量の低減が可能になる。
【０１２７】
以上は、ＭＰＥＧ４において、テクスチャ動きベクトルを利用して動きベクトル検出を行うことにより、動きベクトル検出に当たっての計算量を低減することができるようにした技術であった。
【０１２８】
次に、“境界マクロブロック”におけるテクスチャ符号化について説明する。
【０１２９】
＜第２の具体例＞
次に、本発明の第２の具体例を説明する。本具体例は、マクロブロック内の一部にオブジェクトを含む形態である“境界マクロブロック”におけるテクスチャ符号化に関わるものである。
【０１３０】
図６において、図に強調表記された構成要素である符号化領域（Bounding-Rectangle）検出手段３０１、参照画像パディング手段３０２、ＬＰＥパディング手段３０３ａ、ゼロパディング手段３０４、ベクトルパディング手段３０６および形状情報符号化手段５００は、任意形状のオブジェクトを符号化するためだけに必要な構成要素である。従って、ＭＰＥＧ１やＭＰＥＧ２のような旧来の符号化法と同様に、矩形のオブジェクトを符号化するためには、これ以外の構成要素、すなわち、図６における動きベクトル検出手段３０５、フレームメモリ３０７、動き補償手段３０８、切替スイッチ３０９，３１０、動きベクトル予測手段３１１、動きベクトル記憶手段３１２、差分回路３１３、第３の可変長符号化手段３１４、量子化手段３１５、逆量子化手段３１６、直交変換手段３１７、第４の可変長符号化手段３１８、逆直交変換手段３１９、加算回路３２０、スイッチ３２１、マルチプレクサ３２２とから構成される要素が備わっていればよい。
【０１３１】
ここで、動きベクトル検出手段３０５は、ＬＰＥパディング手段３０３の出力するＬＰＥパディング済みのマクロブロックデータと、形状情報符号化手段５００の出力する形状情報の再生値データ５４と、フレームメモリ３０７から供給される参照画像の輝度信号との間で動きベクトル検出を行う。そして、その結果、得られた動きベクトルは、動き補償手段（ＭＣ）３０８とベクトルパディング （Vector padding）手段３０６と差分回路３１３とに出力している。
【０１３２】
フレームメモリ３０７は、参照画像パディング手段３０２から出力されるパディング処理済みの参照画像の輝度信号を保持するためのものである。また、動き補償手段３０８は、動きベクトル検出手段３０５にて検出された動きベクトルと、形状情報符号化手段５００の出力する形状情報の再生値データ５４とを用いて動き補償予測のための動きベクトル情報を求めるためのものであり、切替スイッチ３０９，３１０は、ＬＰＥパディング手段３０３の出力をゼロパディング手段３０４に与えるか、迂回させるかを選択切り換えするための経路切り替えスイッチである。
【０１３３】
直交変換手段３１７は、この切替スイッチ３１０を介して与えられる出力を直交変換（離散コサイン変換）して周波数成分に分解する処理をするためのものであり、量子化手段３１５は、この直交変換手段３１７の出力を量子化して出力するものであり、第４の可変長符号化手段３１８は、この量子化出力を可変長符号化処理してテクスチャストリームとしてマルチプレクサ３２２に出力するものである。
【０１３４】
また、動きベクトル予測手段３１１は、形状情報符号化手段５００の出力する形状情報の再生値データ５４と、動きベクトル記憶手段３１２の保持するデータとを用いて動きベクトルを予測するためのものであり、差分回路３１３は、この動きベクトル予測手段３１１の出力する動きベクトル予測値と動きベクトル検出手段３０５の出力する動きベクトルとの差分値を得るためのものであり、第３の可変長符号化手段３１４は、この差分回路３１３の出力を可変長符号化処理してモーションストリームとしてマルチプレクサ３２２に出力するものである。
【０１３５】
逆量子化手段３１６は、量子化手段３１５の量子化出力を逆量子化してもとのデータに戻して出力するものであり、逆直交変換手段３１９は、この逆量子化手段３１６の出力するデータを逆直交変換（逆離散コサイン変換）して元のゼロパディング処理時点でのデータに戻すためのものである。
【０１３６】
マルチプレクサ３２２は、第３の可変長符号化手段３１４の出力する可変長符号化されたモーションストリームと、第４の可変長符号化手段３１８の出力する可変長符号化されたテクスチャストリームと、符号化領域（Bounding-Rectangle）検出手段３０１の出力する符号化領域の情報と、形状情報符号化手段５００の出力する形状情報の再生値データ５４とを受けてこれらを多重化して出力するものである。
【０１３７】
また、前記逆直交変換手段３１９は、この逆量子化手段３１６の出力するデータを逆直交変換（逆離散コサイン変換）して元のゼロパディング処理時点でのデータに戻すためのものである。
【０１３８】
また、加算回路３２０は、スイッチ３２１を介して与えられる動き補償手段３０８からの動きベクトル情報と逆直交変換手段３１９から与えられる元のゼロパディング処理時点でのデータとを加算して参照画像パディング手段３０２に与えるためのものであり、動きベクトル記憶手段３１２は、ベクトルパディング手段３０６の出力する形状情報の再生値データ５４に基づいて、動きベクトルの無い８×８画素単位のブロック（透明ブロックやイントラマクロブロック）に適切な動きベクトルを充填したデータを受けてこれを蓄積するものである。
【０１３９】
ここで、本実施例でのエンコーダと従来のエンコーダの仕組みの違いに触れておく。従来のエンコーダは図１２に示すように、動きベクトル検出手段３０５は入力されるテクスチャ情報（ＹＵＶ）と符号化領域（Bounding-Rectangle）検出手段３０１からの検出出力とフレームメモリ３０７からの記憶情報とを用いて動きベクトル３４を得るようにしていた。ここで、符号化領域（Bounding-Rectangle）検出手段３０１はフレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検出するためのものである。
【０１４０】
また、ＬＰＥパディング手段３０３はゼロパディング手段３０４と並列におき、入力テクスチャ情報（ＹＵＶ）を条件に応じていずれか一方に与えてパディングさせて、そのパディング処理済みの出力を直交変換手段３１７に与える構成であった。
【０１４１】
これを本発明では、図６に示す如く、ＬＰＥパディング手段３０３は初段において、入力テクスチャ情報（ＹＵＶ）を条件に係わりなく、ＬＰＥパディング処理し、これを動きベクトル検出手段３０５と、そして、条件に応じてゼロパディング手段３０４に与える構成としている。ここで、ＬＰＥパディングとは、前述したように、イントラマクロブロック内のブロックをＤＣＴ（離散コサイン変換）する前に、オブジェクト外の画素（図１３の白丸部）値をオブジェクト内部の画素（図１３の黒丸部）値の平均値で置き換えた後、ローパスフィルタをかける処理であって、処理単位は、ＤＣＴの場合と同様、８×８画素である。また、ゼロパディングは、インターマクロブロック内のブロックをＤＣＴする前に、動き補償予測誤差信号のオブジェクト外の画素（図１３の白丸部）値をゼロ値で置き換える処理であって、処理単位は、ＤＣＴの場合と同様、８×８画素である。これらＬＰＥパディングおよびゼロパディングは、ＭＰＥＧ４の規格において必須の処理ではないが、符号化効率向上のために実施するものである。
【０１４２】
本具体例のブロック構成は図６に示す如きのものである。そして、本具体例の構成は、動きベクトル検出手段３０５の処理位置が図１２に示した従来モデルの構成における動きベクトル検出手段３０５の位置と異なり、また、ＬＰＥパディング３０３の処理位置が従来モデルのＬＰＥパディング３０３の位置と異なる。
【０１４３】
＜ＬＰＥパディング手段＞
まず、本実施例システムにおけるＬＰＥパディング手段３０３ａでの処理と、従来技術としてのシステムにおけるＬＰＥパディング手段３０３での処理との相違点を説明する。
【０１４４】
ＬＰＥパディング手段３０３ａでのパディング処理は、信号線を介して供給されるテクスチャ画像の原信号（ＹＵＶ）４１の境界マクロブロックのみに施される。ここで、境界マクロブロックか否かは符号化領域（Bounding-Rectangle）検出手段３０１を介して供給される形状画像の原信号４２を用いて判断する。つまり、ＬＰＥパディング手段３０３ａでの処理は、符号化の前処理としてＬＰＥパディングを施していることになる。
【０１４５】
当該前処理を行ったことにより、ＬＰＥパディング手段３０３ａから出力されるテクスチャ画像４３は、符号化される前に符号化対象となるマクロブロック内の画素値が全て補填されることになる。
【０１４６】
なお、従来技術としてのモデルシステムにおけるＬＰＥパディング手段３０３では、信号線３５を介して形状情報符号化手段５００より供給される形状画像の局部復号信号に基づき、８×８画素のブロックが境界ブロックであればパディングを施している。
【０１４７】
本具体例では、８×８画素のブロック単位でパディングして、図１４の左上のブロックのように、ブロック内にオブジェクト内の画素を含まない場合は、たとえば、周囲のブロックの平均値でパディングすることで、マクロブロック内の画素が全てパディングされるようにする。
【０１４８】
以上、説明したように、本具体例と従来モデルシステムとでは、第１には、形状画像の原信号に基づきパディングするか、局部復号信号に基づきパディングするかという点が異なる。
【０１４９】
ここで、本発明の手法である“形状画像の原信号に基づきパディング”する方式の効果を具体的に示すために、１次元信号のモデルに対してＬＰＥパディングを施した例を示す。輝度信号をＹ、形状信号をＡ、形状の局部復号信号（その１）をＡ′、形状の局部復号信号（その２）をＡ″とする。そして、これらがそれぞれ以下のような信号であったとする。
【０１５０】
以下の例では、簡単のため、形状信号を“０”（オブジェクト外）か、“１”（オブジェクト内）かで表現している。
【０１５１】
Ｙ＝｛50,50,50,50,180,190,200,210｝
Ａ＝｛0,0,0,0,1,1,1,1,1}
Ａ′＝｛0,0,0,1,1,1,1,1}
Ａ″＝｛0,0,0,0,0,1,1,1}
ここで、輝度信号Ｙを上述のＡ、Ａ′、Ａ″でそれぞれＬＰＥパディングした結果をＹｐ、Ｙｐ′、Ｙｐ″とすると、例えば、以下のようになる。
【０１５２】
Ｙｐ＝｛195,195,195,188,180,190,200,210}
Ｙｐ′＝｛166,166,108,50,180,190,200,210}
Ｙｐ″＝｛200,200,200,200,195,190,200,210｝
すなわち、Ｙｐの場合、もとのＹなるデータの“50”，“50”，“50”，“50”，“180”，“190”，“200”，“210”なるデータ列がパディングの結果、
“195”，“195”，“195”，“188”，“180”，“190”，“200”，“210”となったことを示しており、Ｙｐ′の場合にはデータ値が“166”，“166”，“108”，“50”，“180”，“190”，“200”，“210”となったことを示しており 、Ｙｐ″の場合はデータ値が“200”，“200”，“200”，“200”，“195”， “190”，“200”，“210”となったことを示している。尚、ここに示した数値 は下限値を“０”（白）、上限値を“２５５”（黒）とする２５６段階のグレースケール値である。
【０１５３】
一般に、オブジェクトの境界は、像のエッジ部であり、上記の例のように輝度信号Ｙが大きく変動する。形状情報符号化手段５００での処理において、形状の局部復号信号に誤差が発生した場合には、上記の例（Ｙｐ）のように滑らかにパディングされない場合がある。そのため、“境界マクロブロック”におけるテクスチャ符号化をする場合に、このような誤差を含む信号を用いなければならなくなったときはエッジが不明確となってしまう問題が浮上することとなる。
【０１５４】
しかし、本発明方式の場合は、形状信号を“０”（オブジェクト外）、“１”（オブジェクト内）とすることで、このような心配が全くなくなる。
【０１５５】
＜動きベクトル検出手段＞
次に、本実施例システムにおける動きベクトル検出手段３０５ａの処理と従来モデルのシステムにおける動きベクトル検出手段３０５の処理との相違点を説明する。
本システムにおける動きベクトル検出手段３０５ａでは、形状情報符号化手段５００から出力され、信号線４４を介して供給される形状情報の再生値データ５４と、ＬＰＥパディング手段３０３ａの出力するパディング処理済みデータとに基づいて透過マクロブロック以外のマクロブロックに対する動きべクトルを検出する。
【０１５６】
ＬＰＥパディング手段３０３ａより信号線４５を介して供給される原画像データ（パディング処理済みデータ）と、フレームメモリ３０７から信号線４６を介して供給される参照画像との間で動きベクトルを検出し、この検出した動きベクトルは、信号線４７を介してベクトルパディング（Vector padding）手段３０６と、動き補償手段３０８と、差分回路３１３とに出力する。
【０１５７】
ここで、信号線４５を介して供給される原画像は、すでにＬＰＥパディング４０３により境界マクロブロックがパディングされている。そのため、オブジェクト境界部での画素値の不連続性がほとんど無い。
【０１５８】
従って、従来モデルシステムにおける動きベクトル検出手段３０５の場合と異なり、本発明システムの動きベクトル検出手段３０５ａにおいては、“境界マクロブロック”において処理量の多いポリゴンマッチングを行わずに済み、しかも、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。
【０１５９】
以上、種々の実施例を説明したが、要するに本発明は、第１には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、入力されるオブジェクトの形状情報から動き補償予測に用いるための形状動きベクトルおよびテクスチャ情報の動きベクトルとを検出する動きベクトル検出手段と、入力されるテクスチャ情報から当該テクスチャ情報の動きベクトルの利用の可否を識別する識別手段と、テクスチャ情報における前記検出された動きベクトルの信頼性を評価する評価手段と、形状動きベクトルの探索範囲を、テクスチャ情報の動きベクトル不可能時には利用可能時より広く設定され、テクスチャ情報の動きベクトルが利用可能な場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合より低い方が広く設定される設定手段とを有するものである。そして、この装置は、形状情報とテクスチャ情報とから構成される任意形状オブジェクトを符号化するにあたり、テクスチャ情報の動きベクトルも利用できるように動きベクトル検出手段にはテクスチャ情報の動きベクトルも検出できる機能を持たせ、入力されたオブジェクトの形状情報とテクスチャ情報のうち、テクスチャ情報の動きベクトルが利用できるか否かを識別手段にて識別させ、また、評価手段により、テクスチャ情報の動きベクトルの信頼性を評価し、また、符号化対象のマクロブロックの符号化にあたっては、そのマクロブロックの周辺のマクロブロックの形状動きベクトルを探索して形状動きベクトルを求めるが、その探索範囲はテクスチャ情報の動きベクトルが利用できる場合には狭く、また、テクスチャ情報の動きベクトルが利用できない場合には、利用できる場合よりも広くし、テクスチャ情報の動きベクトルが利用できる場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合よりも信頼性の低い方が広く設定されるようにしてテクスチャ情報の動きベクトルの利用の可否と、信頼性の度合いに応じてマクロブロックの形状動きベクトル探索範囲を適正な範囲にするようにした。
すなわち、この発明は、動きベクトル検出に関する発明であって、このようにした結果、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようになる技術が提供できる。
【０１６０】
また、第２には、本発明は、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、入力されるオブジェクトの形状情報から形状動きベクトルおよびテクスチャ情報の動きベクトルを検出する動きベクトル検出手段を備えると共に、符号化時の誤差を指定するためのしきい値を設定するしきい値設定手段と、探索範囲内を複数の探索範囲に分割する分割手段と、検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する判定手段とを備え、前記動きベクトル検出手段は、前記分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差がしきい値よりも小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する機能を備える構成とした。
【０１６１】
ＭＰＥＧ４においては、予測ベクトルがゼロベクトルであった場合、予測ベクトルがゼロベクトルであることを表す情報をモード情報に組み込んで別途符号化することにより、符号化効率を向上させるが、このゼロベクトルを効率的に検出できるようにすることも演算量軽減に大きく寄与する。そこで、本発明では、しきい値設定手段を設けて、符号化時の誤差を指定するためのしきい値を設定しておき、また、分割手段にて探索範囲内を複数の探索範囲に分割する。そして、動きベクトル検出手段は、これら分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、判定手段はこの動きベクトル検出手段にて検出された動きベクトルを元に、当該検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する。そして、動きベクトル検出手段は、最も狭い探索範囲から動きベクトル検出を開始した結果、判定手段が、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きいと判定した場合は、より広い探索範囲で最適な動きベクトルを検出するように動作し、動き補償予測誤差がしきい値よりも小さいと判断した場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する。このように、探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差が大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差が小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力するようにした結果、誤差が小さければ少ない演算量でゼロベクトルを効率的に検出できるようになり、演算量軽減に大きく寄与する。
【０１６２】
また本発明は、第３には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、形状符号化およびテクスチャ符号化を行うに先立ち、該符号化手段に入力された形状信号を参照して、オブジェクトを一部に含む形態の境界マクロブロックについてはそのマクロブロック内を不連続性解消のためのパディング処理を施こすことによりテクスチャ符号化対象となるマクロブロック内の画素を全て補填処理する手段を有し、形状符号化およびテクスチャ符号化は当該パディング処理済みの画像を使用して行う構成としたものである。
【０１６３】
この発明は、“境界マクロブロック”におけるテクスチャ符号化に関する発明であって、原画像は、境界マクロブロックについては、オブジェクト境界部での画素値の不連続性が解消できるパディング処理、すなわち、ＬＰＥパディングにてパディング処理してから、形状符号化およびテクスチャ符号化に供するようにした。そのため、オブジェクト境界部での画素値の不連続性がほとんど無くなることから、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。故に、“境界マクロブロック”において処理量の多いポリゴンマッチングを行わずに済み、計算時間の短縮を図ることができると共に、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。
【０１６４】
なお、本発明は上述した実施例に限定されるものではなく、要旨を変更しない範囲内で適宜変形して実施可能である。
【０１６５】
【発明の効果】
以上、詳述したように、本発明によれば、任意形状オブジェクトの符号化に必要な構成要素の処理順序を変更することで、処理量の増加なしに符号化効率の向上が図れる。また、形状動きベクトルの検出処理を適応的に打ち切ることで、符号化効率の低下を招くことなく処理量の削減が可能となる。
【図面の簡単な説明】
【図１】差分ベクトルＭＶＤｓの頻度分布の特徴を説明する図。
【図２】予測ベクトルＭＶＰｓを求める方法を説明する図。
【図３】本発明の形状動きベクトルの探索範囲を説明する図。
【図４】本発明を説明するための図であって、本発明の第１の具体例その１での処理例示すフローチャート。
【図５】本発明を説明するための図であって、本発明の第１の具体例その２での処理例示すフローチャート。
【図６】本発明を説明するための図であって、本発明のエンコーダの構成例を示すブロック図。
【図７】画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式の画像符号化装置のブロック構成図。
【図８】復号化装置のブロック図。
【図９】本発明を説明するための図であって、オブジェクトを含む符号化領域を説明する図。
【図１０】本発明を説明するための図であって、各マクロブロックの属性を説明する図。
【図１１】従来技術としてのモデルシステムにおける形状符号化エンコーダ（Binary Shape encoder 500）部分のブロック構成図。
【図１２】従来技術としてのモデルシステムにおけるエンコーダのブロック構成図。
【図１３】オブジェクト内の画素とオブジェクト外の画素を説明する図。
【図１４】本発明のＬＰＥパディングを説明する図。
【符号の説明】
３０１…符号化領域（Bounding-Rectangle）検出手段
３０２…参照画像パディング手段
３０３…ＬＰＥパディング手段
３０４…ゼロパディング手段
３０６…ベクトルパディング手段
５００…形状情報符号化手段（Binary Shape encoder）
３０５，３０５ａ…動きベクトル検出手段
３０７…フレームメモリ
３０８，３０８ａ…動き補償手段
３０９，３１０、…切替スイッチ
３１２…動きベクトル記憶手段
３１３…差分回路
３１４…第３の可変長符号化手段
３１５…量子化手段
３１６…逆量子化手段
３１７…直交変換手段（ＤＣＴ）
３１８…第４の可変長符号化手段
３１９…逆直交変換手段
３２０…加算回路
３２１…スイッチ
３２２…マルチプレクサ
【発明の属する技術分野】
本発明は、ＩＳＯ／ＩＥＣ ＪＴＣ／ＳＣ２９／ＷＧ１１において標準化作業が進行中である、動画像符号化の国際標準方式ＭＰＥＧ４で実現される、任意形状のオブジェクトを個別に符号化する機能を利用した動画像符号化装置および動画像符号化方法に関する。
【０００２】
【従来の技術】
現在標準化作業が進行中であるＭＰＥＧ４（ Motion Picture Experts Group phase ４）では、従来の動画像符号化の国際標準方式であるＭＰＥＧ１（ Motion Picture Experts Group phase 1）やＭＰＥＧ２（ Motion Picture Experts Group phase 2）では実現出来ない機能である、任意形状のオブジェクト（例えば、画面内に写っている人物）ごとに個別に符号化する機能が実現されることになっている。
【０００３】
この機能を実現するためには、各オブジェクトの形や大きさを表わす情報（形状情報）が必要であり、この情報は、オブジェクト内部の輝度・色差の変化を表わすテクスチャ情報と共に符号化された後、伝送・蓄積される。
【０００４】
すなわち、背景とオブジェクトからなる画像があったとすると、この画像を背景とオブジェクトに分け、符号化する。そして、背景やオブジェクトを別々に符号化するために、各オブジェクトの形や大きさを表わす情報（形状情報）が別途与えられる。これがアルファマップ信号と呼ばれる形状情報信号である。
【０００５】
このアルファマップ信号は、オブジェクトの形状や画面内の位置を表す例えば２値の副画像情報として与えられる（なお、背景のアルファマップ信号は、オブジェクトのアルファマップ信号から一意に求められる）。
【０００６】
このように、ＭＰＥＧ４では各オブジェクトの形や大きさを表わす情報（形状情報）を、オブジェクト内部の輝度・色差の変化を表わすテクスチャ情報と共に符号化することにより、情報量を小さくして、復号側ではこれを元にオブジェクトを再現できる機能が実現できるようになっている。
【０００７】
ここで、ＭＰＥＧ４の画像符号化および画像復号化装置について概略を説明しておく。図７は、画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式の画像符号化装置のブロック構成図である。この画像符号化装置は、図７に示すように、差分回路１１００、動き補償予測回路（ＭＣ）１１１０、直交変換回路（ＤＣＴ）１１２０、量子化回路１１３０、可変長符号化回路（ＶＬＣ）１１４０、逆量子化回路（ＩＱ）１１５０、逆直交変換回路（ＩＤＣＴ）１１６０、加算回路１１７０、多重化回路１１８０、アルファマップ符号化回路１２００とから構成される。
【０００８】
アルファマップ符号化回路１２００は、入力されたアルファマップを符号化し、この符号化された信号をアルファマップ信号として多重化回路１１８０に出力する機能と、このアルファマップ信号を復号して局部復号信号として出力する機能を有する。
【０００９】
特に、本アルファマップ符号化回路１２００は、入力されたアルファマップを符号化するにあたり、与えられた縮小率（倍率）で解像度を縮小する処理を行い、この解像度縮小処理されたものを符号化すると共に、この符号化したものと縮小率の情報（倍率情報）とを多重化してこれをアルファマップ信号として多重化回路１８０に出力する機能を有する。そして、局部復号信号としては、解像度縮小処理されたものを元の解像度に戻す処理をして得たものを用いる構成である。
【００１０】
差分回路１１００は、動き補償予測回路１１１０より供給される動き補償予測信号と入力画像信号との差分信号を算出するものであり、直交変換回路１１２０は、差分回路１１００から供給された差分信号を、アルファマップの情報にしたがって、直交変換係数に変換して出力するものである。
【００１１】
量子化回路１１３０はこの直交変換回路１１２０により得られた直交変換係数を量子化する回路であり、可変長符号化回路１１４０はこの量子化回路１１３０の出力を符号化して出力するものである。多重化回路１１８０はこの可変長符号化回路１１４０により符号化されたものと、前記アルファマップ信号とを、動きベクトル情報等のサイド情報と共に多重化多重化してビットストリームとして出力するものである。
【００１２】
逆量子化回路１１５０は量子化回路１１３０の出力を逆量子化するものであり、逆直交変換回路１１６０はこの逆量子化回路１１５０の出力を前記アルファマップに基いて逆直交変換するものであり、加算回路１１７０はこの逆直交変換回路１１６０の出力と動き補償予測回路１１１０から与えられる予測信号（動き補償予測信号）とを加算して差分回路１１００に出力するものである。
【００１３】
動き補償予測回路１１１０は、フレームメモリを有し、アルファマップ復号化回路１２００から与えられる局部復号信号にもとづいて動作してオブジェクト領域の信号、背景領域の信号を蓄積する機能を有する。また、動き補償予測回路１１１０は蓄積したオブジェクト領域の画像から動き補償値を予測して予測値として出力し、また、蓄積した背景領域の画像から動き補償値を予測して予測値として出力する機能を有する。
【００１４】
このような構成の本装置の作用を説明する。
本装置には、画像信号とその画像信号のアルファマップが入力される。そして、これらのうち、画像信号はフレーム毎にそれぞれ所定画素サイズ（例えば、Ｍ×Ｎ画素（Ｍ：水平方向の画素数、Ｎ：垂直方向の画素数））のブロックに分割された後、ブロック位置順に信号線１０１０を介して差分回路１１００に供給される。そして、差分回路１１００では、この入力（画像信号）と、予測信号（オブジェクト予測回路１１１０からの動き補償予測信号の出力）との差分信号が算出され、直交変換回路１１２０に供給される。
【００１５】
直交変換回路１１２０では、供給された差分信号を、信号線１０４０を介してアルファマップ符号化回路１２００から供給されるアルファマップの情報にしたがって、直交変換係数に変換した後、量子化回路１１３０に供給する。そして、ここで量子化される。量子化回路１１３０にて量子化されて得られた変換係数は、可変長符号化回路１１４０において符号化されると共に、逆量子化回路１１５０に供給される。
【００１６】
逆量子化回路１１５０に供給された変換係数は、ここで逆量子化された後、逆直交変換回路１１６０において逆変換される。そして、加算回路１１７０において動き補償予測回路１１１０より供給される動き補償予測値と加算され、局部復号画像として出力されて、再び動き補償予測回路１１１０に入力される。
【００１７】
そして、この加算回路１１７０の出力である局部復号画像は、動き補償予測回路１１１０内のフレームメモリに蓄えられる。
【００１８】
一方、この動き補償予測回路１１１０は、アルファマップ復号化回路１２００から与えられる局部復号信号に基づいてオブジェクトの領域のブロックの処理のタイミングでは“オブジェクトの動き補償予測値”を、また、それ以外のタイミングでは“背景部分の動き補償予測値”を出力して差分回路１１００に与える。
【００１９】
すなわち、動き補償予測回路１１１０ではアルファマップ信号の局部復号信号から現在、オブジェクトのブロック対応部分の画像信号が差分回路１１００に入力されているのか、あるいは背景部分のブロック対応部分の画像信号が差分回路１１００に入力されているのかを知り、オブジェクトのブロック対応部分の画像信号の入力期間中であれば、オブジェクトの動き補償予測信号を、そして、背景部分のブロック対応部分の画像信号入力期間中であれば、背景の動き補償予測信号を、差分回路１１００に与える。
【００２０】
差分回路１１００では、この入力された画像信号と、その画像の領域対応の予測信号との差を算出するので、その結果、入力画像がオブジェクト対応の領域のものであれば、そのオブジェクトの対応位置での予測値との差分信号が、また、入力画像が背景の領域のものであれば、その背景位置対応の予測値との差分信号が算出され、直交変換回路１１２０に供給される。
【００２１】
直交変換回路１１２０では、供給された差分信号を信号線１０４０を介して供給されるアルファマップの情報にしたがって、離散コサイン変換などの処理を施すことにより、直交変換係数に変換した後、量子化回路１１３０に供給する。そして、直交変換係数はこの量子化回路１１３０にて量子化される。
【００２２】
量子化回路１１３０にて量子化された変換係数は、可変長符号化回路１１４０において符号化されると共に、逆量子化回路１１５０に供給される。そして、逆量子化回路１１５０に供給された変換係数はここで逆量子化された後、逆直交変換回路１１６０において逆変換されて加算回路１１７０に供給される。そして、予測値切り換え回路１５００を介して加算回路１１７０に供給される予測値と加算されることになる。
【００２３】
加算回路１１７０の出力である局部復号画像の信号は、動き補償予測回路１１１０に供給される。そして、この動き補償予測回路１１１０ではアルファマップ信号の局部復号信号から現在、加算回路１１７０からオブジェクトのブロック対応の信号が出力されているのか、あるいは背景部分のブロック対応の信号が出力されているのかを知り、その結果、オブジェクトのブロック対応の信号の出力中であれば、オブジェクト用のフレームメモリに、また、背景部分のブロック対応の信号の出力中であれば、背景用のメモリに与えるべく動作して対応のメモリに蓄える。
【００２４】
そして、これにより、オブジェクト用のフレームメモリにはオブジェクト画像のみが、また、背景用のメモリには背景画像のみの画像が得られることになる。これにより、動き補償予測回路１１１０はオブジェクト画像を利用してオブジェクト画像の予測値を求めることができ、また、背景部分の画像を利用して背景画像の予測値を求めることができる。
【００２５】
上述したように、アルファマップ符号化回路１２００では、入力されるアルファマップを符号化し、この符号化されたアルファマップ信号を信号線３０を介して多重化回路１１８０に供給している。
【００２６】
また、多重化回路１８０には、可変長符号化回路１４０から出力された変換係数が線１０４０を介して供給されている。そして、多重化回路１８０は供給されているこれらアルファマップ信号および変換係数の符号化値とを、動きベクトル情報等のサイド情報と共に多重化した後、信号線１０５０を介して出力して本画像符号化装置の最終出力としての符号化ビットストリームとなる。
【００２７】
一方、図８は復号化装置のブロック図である。復号化装置は、図８に示すように、分離化回路２３００、可変長復号化回路２３１０、逆量子化回路２３２０、逆直交変換回路２３３０、加算回路２３４０、動き補償予測回路２３５０、アルファマップ復号化回路２４００とより構成される。
【００２８】
分離化回路２３００は入力される符号化ビットストリームを分離化処理してアルファマップ信号と画像の符号化信号等を得る回路であり、アルファマップ復号化回路２４００はこの分離化回路２３００にて分離されたアルファマップ信号を復号してアルファマップを再生する回路である。
【００２９】
可変長復号化回路２３１０は、分離化回路２３００にて分離された画像の符号化信号を復号するものであり、逆量子化回路２３２０はこの復号されたものを逆量子化して元の係数に戻すものであり、逆直交変換回路２３３０はこの係数をアルファマップにしたがって逆直交変換して予測誤差信号に戻すものであり、加算回路２３４０は、この予測誤差信号に動き補償予測回路２３５０からの動き補償予測値を加算して再生画像信号として出力するものである。この再生画像信号が復号化装置の最終出力となる。
【００３０】
動き補償予測回路２３５０は、加算回路２３４０から出力された再生画像信号をアルファマップにしたがってフレームメモリに蓄積することによりオブジェクト画像と背景画像とを得ると共に、この蓄積されて得られた画像からオブジェクトの動き補償予測信号、背景の動き補償予測を得るものである。
【００３１】
このような構成の復号化装置においては、符号化ビットストリームは、線２０７０を介して分離化回路２３００に供給され、分離化回路２３００において各々の情報毎に分離されることにより、アルファマップ信号に関する符号と、画像信号の可変長符号とに分けられる。
【００３２】
そして、アルファマップ信号に関する符号は、信号線２０８０を介してアルファマップ復号化回路２４００に供給され、また、画像信号の可変長符号は可変長復号化回路２３１０にそれぞれ供給される。
【００３３】
アルファマップ信号に関する符号はアルファマップ復号化回路２４００においてアルファマップ信号に再生され、信号線２０９０を介して逆直交変換回路２３３０と動き補償予測回路２３５０に出力される。
【００３４】
一方、可変長復号化回路２３１０では、分離化回路２３００から供給される符号を復号し、逆量子化回路２３２０に供給して、ここで逆量子化する。逆量子化された変換係数は、線２０９０を介して供給されるアルファマップにしたがって逆直交変換回路２３３０により逆変換され、加算回路２３４０に供給される。加算回路２３４０では、逆直交変換回路２３３０からの逆直交変換された信号と、動き補償予測回路２３５０より供給される動き補償予測信号とを加算し、再生画像を得る。
【００３５】
以上がＭＰＥＧ４用の画像符号化装置および画像復号化装置の概要である。
【００３６】
ここで、アルファマップの符号化について説明する。アルファマップ、すなわち、形状情報の画素値は２値信号であり、これは“０”，“１”あるいは“０”，“２５５”で表現される。
【００３７】
アルファマップの符号化は、まずはじめに、図９に示されるように、画面（フレーム）内で符号化対象となるオブジェクト（ＭＰＥＧ４では、ＶＯＰ（▲５▼ideo Object Plane）と呼ばれている）を包含する符号化領域（Bounding-Rectangleと呼ばれる）を設定する。そして、この領域内を１６×１６画素のマクロブロックに分割して、各マクロブロック毎に該オブジェクトを符号化する。
【００３８】
ここで、各ＶＯＰ毎に、Ｂｏｕｎｄｉｎｇ−Ｒｃｃｔａｎｇｌｅの大きさ（vop-width，vop-height）と位置ベクトル（Spatial-refference（vop-horizontal-mc-spatial-ref,vop-vertical-mc-spatial-ref））の値が符号化される。
【００３９】
図１０は、各マクロブロックの属性を説明する図である。マクロブロックは分類すると、マクロブロック内にオブジェクトを含まない“透過マクロブロック”（オブジェクトの画素が一つもない）と、マクロブロックが全てオブジェクト内に含まれる“不透過マクロブロック”（全てがオブジェクトの画素で埋められている）と、マクロブロック内の一部がオブジェクトに含まれる“境界マクロブロック”（オブジェクトの画素が一部含まれる）とに分けられる。
【００４０】
従って、マクロブロックは“透過マクロブロック”、“不透過マクロブロック”、“境界マクロブロック”のうちのいずれかの属性を持つことになる。
【００４１】
各マクロブロックの符号化データには、形状情報とテクスチャ情報とが含まれる。なお、透過マクロブロックにはテクスチャ情報は含まれない。
【００４２】
参考文献（三木 編著、“ＭＰＥＧ−４のすべて”第３章、工業調査会、１９９８）を参照して、ＭＰＥＧ４検証（▲５▼erification）モデルのエンコーダにおける形状情報の符号化法と任意形状オブジェクトのテクスチャ情報の符号化法を説明する。
【００４３】
＜形状情報の符号化法＞
形状情報（Ａ）の符号化法を説明する。図１１に従来技術としてのモデルシステムの構成例を示す。形状符号化は、図１１に示す如き構成の形状符号化用エンコーダ（形状情報符号化手段（Binary Shape encoder）５００）によって実施される。当該形状符号化用エンコーダ（形状情報符号化手段５００）は、図１１に示すように、モード判定手段５０１、形状動きベクトル検出手段５０２、動き補償手段５０３、算術符号化手段５０４、動きベクトル予測手段５０５、フレームメモリ５０６、セレクタ５０７、形状動きベクトル情報記憶手段５０８、差分回路５０９、縮小回路５１０，５１１、拡大回路５１２、可変長符号化回路５１３，５１４、マルチプレクサ５１５とから構成されている。
【００４４】
形状動きベクトル検出手段５０２は、フレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検知する符号化領域検出手段（Bounding-rectangle）を介して入力されるアルファマップ信号（形状情報Ａ）と動きベクトル予測手段５０５にて求められた予測ベクトルの情報とフレームメモリ５０６の形状情報信号とから形状動きベクトルを検出してこれを形状動きベクトル情報として出力するものであり、動き補償手段５０３はこの形状動きベクトル検出手段５０２で検出された形状動きベクトル情報とフレームメモリ５０６の形状情報信号と動きベクトル予測回路５０５の出力する予測ベクトルとから動き補償予測のための動きベクトル情報を求めるためのものである。
【００４５】
また、形状動きベクトル情報記憶手段５０８は形状動きベクトル検出手段５０２で検出された形状動きベクトル情報を記憶するためのものであり、動きベクトル予測手段５０５は形状動きベクトル情報記憶手段５０８の保持した形状動きベクトル情報と輝度信号５３とをもとに動きベクトルの予測値である予測ベクトルを求めるものである。
【００４６】
また、差分回路５０９は、形状動きベクトル検出手段５０２の求めた形状動きベクトルと動きベクトル予測手段５０５にて求められた予測ベクトルとの差分を得るためのものであり、モード判定手段５０１は入力される形状情報と動き補償手段５０３の出力する動き補償予測のための動きベクトル情報と形状動きベクトル検出手段５０２の出力する形状動きベクトル情報とからモード判定するものである。
【００４７】
ここで、モード情報は次の７通りある。すなわち、
（モード１）：透過（Transparent）
（モード２）：不透過（Opaque）
（モード３）：２値画像符号化（フレーム内）
（モード４）：動き補償（ＭＶ＝０）
（モード５）：動き補償（ＭＶ＝０）＋算術符号化（フレーム間）
（モード６）：動き補償（ＭＶ≠０）
（モード７）：動き補償（ＭＶ≠０）＋算術符号化（フレーム間）
である。
【００４８】
これらのうち、“モード１”はマクロブロック内の全データが透過、すなわち、マクロブロック内にオブジェクトを一つも含まない場合であり、“モード２”はマクロブロック内の全データが不透過、すなわち、マクロブロック内が全てオブジェクトの場合であり、“モード３”は算術符号化（フレーム内）の場合である。また、“モード４”は動き補償ベクトルがゼロ（ＭＶ＝０）の場合であり、“モード５”は動き補償ベクトルがゼロ（ＭＶ＝０）で、且つ、算術符号化（フレーム間）を行っている場合であり、また、“モード６”は動き補償ベクトルがゼロではない（ＭＶ≠０）場合であり、また、“モード７”は動き補償ベクトルがゼロではなく（ＭＶ≠０）、しかも、算術符号化（フレーム間）を行っている場合である。
【００４９】
算術符号化手段５０４は、モード判定手段５０１のモード判定結果に応じて第１及び第２の縮小手段５１０，５１１の出力のうちの、いずれか一方を算術符号化してマルチプレクサ５１５に出力するものであり、また、セレクタ５０７は、動き補償手段５０３の出力する動き補償予測のための動きベクトル情報と拡大化手段５１２の出力と、予め設定された固定値である透過画素の値（Transparent pixel value；例えば、値“０”）と、予め設定された固定値である不透過画素 の値（Opaque pixel value；例えば、値“１”）が与えられ、これらのうちのいずれか一つをモード判定手段５０１から与えられるモード情報が何であるかにより、選択して出力するものである。
【００５０】
また、フレームメモリ５０６は、セレクタ５０７の出力を形状情報信号として保持するメモリである。
【００５１】
第１の縮小化手段５１０は、アルファマップの２値化信号である形状情報入力を縮小化処理し、算術符号化手段５０４に出力するものであり、第２の縮小化手段５１１は、動き補償手段５０３の出力する動きベクトル情報を縮小化処理し、算術符号化手段５０４に出力するものであり、拡大回路５１２は、第１の縮小化手段５１０の出力をモード判定手段５０１のモード判定結果に応じてセレクタ５０７に出力するものである。
【００５２】
第１の可変長符号化回路５１３は、差分回路５０９の出力を可変長符号化して出力するものであり、第２の可変長符号化回路５１４は、モード判定手段５０１の判定結果を可変長符号化して出力するものであり、マルチプレクサ５１５は、第１及び第２の可変長符号化手段の出力と算術符号化手段５０４の出力を受けてこれらを多重化してこれを形状情報符号化出力５２として出力するものである。
【００５３】
このような構成において、アルファマップの２値化信号である形状情報信号５１が入力される。すると、これを受けたモード判定手段５０１は、当該供給される形状情報と形状動きベクトル検出手段５０２の出力する形状動きベクトルと、動き補償手段５０３の出力する動きベクトル情報を元にモード判定する。そして、このモード判定手段５０１によるマクロブロック毎に決定された各マクロブロックのモードにしたがって、マクロブロック毎に情報が以下の如きに符号化されることになる。
【００５４】
ここで、モード判定手段５０１による判定結果としてのモード情報は次の７通りのいずれかである。“モード１”（透過（Transparent））、“モード２” （不透過（Opaque））、“モード３”（算術符号化（フレーム内））、“モード４”（動き補償（ＭＶ＝０））、“モード５”（（動き補償（ＭＶ＝０）＋算術符号化（フレーム間））、“モード６”（動き補償（ＭＶ≠０））、“モード７”（動き補償（ＭＶ≠０）＋算術符号化（フレーム間））、である。
【００５５】
そして、セレクタ５０７では、モード判定手段５０１の判定したモードの情報にしたがって、マクロブロック毎に再生信号を出力する。そして、出力された各マクロブロックの再生信号はフレームメモリ（ＦＭ）５０６に蓄積されると共に、出力線５４を介してテクスチャ情報の符号化手段に供給され、符号化されることになる。
【００５６】
ここで、モード判定手段５０１からセレクタ５０７に与えられるモード情報が何であるかにより、セレクタ５０７からの出力は次のようになる。
【００５７】
“モード１”の場合： 該マクロブロック内の形状情報の再生画素値を、全て”Transparcnt pixel“（例えば、各画素値を“２５５”）にしたものを出力す る。
【００５８】
“モード３，５，７”の場合： 供給されるマクロブロックの形状情報信号５１を第１の縮小化手段５１０にて縮小処理して得た信号（算術符号化手段５０４の符号化対象）を更に拡大化手段５１２により拡大処理することにより元のサイズに戻して再生画素値にしたものを出力する。
【００５９】
“モード４，６”の場合： マクロブロック内の形状情報の再生画素値を、動き補償手段５０３により動き補償予測して得た値を出力する。
【００６０】
一方、形状動きベクトル検出手段５０２では、入力線５１より入力された形状入力信号と、動きベクトル予測手段５０５にて求められた予測ベクトルと、フレームメモリ（ＦＭ）５０６に蓄積された形状情報信号とから形状動きベクトルの情報を得る。この形状動きベクトル検出手段５０２で検出された形状動きベクトル情報は、各マクロブロックの形状を動き補償手段５０３において動き補償予測するために用いられる動きベクトル情報であり、動き補償手段５０３に供給されると共に、形状動きベクトル情報記憶手段（ＭＶmemoly）５０８に蓄積される。
【００６１】
ここで、形状動きベクトル検出手段５０２では、動きベクトル予測手段５０５にて求められた予測ベクトルを中心に、その周囲±１６画素の範囲で予測誤差ベクトルを検出している。
【００６２】
従って、図３のようにゼロベクトルが検出される頻度が最も多いため、形状動きベクトルがゼロベクトルであるか否かの情報を、モード情報に含めるようにすることで、形状動きベクトル情報の符号量を削減している。また、この性質（ゼロベクトル近傍のベクトルが検出される確率が高い）を用いることで、動きベクトル検出の処理量を削減することも可能になる。
【００６３】
動きベクトル予測手段５０５では、形状動きベクトル情報記憶手段（ＭＶmemoly）５０８に蓄積されている形状動きベクトルと、信号線５３を介して供給されるテクスチャ動きベクトルから、形状動きベクトルの予測値を求めている。
【００６４】
“モード３，５，７”が選択された場合には、算術符号化手段５０４では、フレーム内符号化の場合では第１の縮小化手段５１０によって縮小化処理されて得た信号を算術符号化することになる。また、フレーム間符号化の場合、算術符号化手段５０４では、第１の縮小化手段５１０により縮小化処理されて得られた信号について、第２の縮小化手段５１１により縮小化された信号を参照しつつ算術符号化する。一方、“モード５，７”が選択された場合には、差分回路５０９により得られた予測誤差ベクトルが、可変長符号化手段５１３により可変長符号化されることになる。
【００６５】
そして、算術符号化手段５０４より得られた算術符号あるいは可変長符号化手段５１３により得られた予測誤差ベクトルの可変長符号は、第２の可変長符号化手段５１４により可変長符号化されて得られたモード情報と共に、多重化手段 （ＭＵＸ）５１５に送られ、ここで多重化されて形状情報符号化出力５２として出力される。
【００６６】
ところで、算術符号化手段５０４で符号化された２値画像符号化情報は、各マクロブロック内の詳細な形状を２値画像として扱い、符号化した情報である。ここで、形状動きベクトルは、動きベクトル予測手段５０５にて求められた予測ベクトルの周囲１６画素を探索して求められたものである。
【００６７】
従って、図３のようにゼロベクトルが検出される頻度が最も多いため、形状動きベクトルがゼロベクトルか否かの情報をモード情報に含めることで、形状動きベクトル情報の符号量を削減している。
【００６８】
このようにして、形状情報符号化手段５００による形状情報の符号化処理が行われる。なお、ここでの形状情報は、２階調化したアルファマップを対象としており、アルファマップには多階調グレースケールのものもあるので、これと区別して形状情報と称した。
【００６９】
＜テクスチャ情報の符号化法＞
アルファマップはオブジェクトの形や大きさを表す情報（形状情報）であるが、オブジェクトの内部の輝度や色差の変化を表す情報であるテクスチャ情報がないとオブジェクトの画像を再生できない。従って、ＭＰＥＧ４ではアルファマップと共に、テクスチャ情報も符号化されてアルファマップと対で利用される。
【００７０】
テクスチャ情報（図１２のＹＵＶ）の符号化法を図１２を用いて説明する。
図１２は従来技術のモデルシステムとして構成例を示すエンコーダ部分のブロック構成図である。
図１２において、図に強調表記された構成要素である符号化領域（Bounding-Rectangle）検出手段３０１、参照画像パディング手段３０２、ＬＰＥパディング手段３０３、ゼロパディング手段３０４、ベクトルパディング手段３０６および形状情報符号化手段５００は、任意形状のオブジェクトを符号化するためだけに必要な構成要素である。従って、ＭＰＥＧ１やＭＰＥＧ２のような旧来の符号化法と同様に、矩形のオブジェクトを符号化するためには、これ以外の構成要素、すなわち、図１２における動きベクトル検出手段３０５、フレームメモリ３０７、動き補償手段３０８、切替スイッチ３０９，３１０、動きベクトル予測手段３１１、動きベクトル記憶手段３１２、差分回路３１３、第３の可変長符号化手段３１４、量子化手段３１５、逆量子化手段３１６、直交変換手段３１７、第４の可変長符号化手段３１８、逆直交変換手段３１９、加算回路３２０、スイッチ３２１、マルチプレクサ３２２とから構成される要素が備わっていればよい。
【００７１】
ここで、符号化領域（Bounding-Rectangle）検出手段３０１はフレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検出するためのものであり（図９参照）、形状情報符号化手段５００については、図１１を用いて説明した通りである。
【００７２】
図１２の構成においては、“不透過マクロブロック”と“境界マクロブロック”に対して、テクスチャ情報（ＹＵＶ）の符号化が行われることになるが、これらのうち、“不透過マクロブロック”に対しては、従来の符号化法と同様に、入力されたマクロブロックの信号をそのまま動き補償予測＋ＤＣＴ（離散コサイン変換）法で符号化する。
【００７３】
一方、“境界マクロブロック”に対しては、オブジェクト外部の信号をパディング（補填処理）した後、動き補償予測＋ＤＣＴ法で符号化する。
【００７４】
そして、ここでのパディング（補填処理）には以下の３通りの手法がある。
【００７５】
［１］ 参照画像パディング： これは参照画像パディング手段３０２による補充処理であって、動き補償予測の参照画像をパディングする。境界マクロブロックに対する処理と、透過マクロブロックに対する処理がある。
【００７６】
［２］ ＬＰＥパディング： これはＬＰＥパディング手段３０３による補充処理であって、イントラマクロブロック内のブロックをＤＣＴ（離散コサイン変換）する前に、オブジェクト外の画素（図１３の白丸部）値をオブジェクト内部の画素（図１３の黒丸部）値の平均値で置き換えた後、ローパスフィルタをかけるという処理である。処理単位は、ＤＣＴの場合と同じ８×８画素である。
【００７７】
［３］ ゼロパディング： これはゼロパディング手段３０４による補充処理であって、インターマクロブロック内のブロックをＤＣＴする前に、動き補償予測誤差信号のオブジェクト外の画素（図１３の白丸部）値をゼロ値で置き換えると云う処理である。処理単位は、ＤＣＴと同じ８×８画素である。
【００７８】
ここで、上記［１］のパディングはＭＰＥＧ４の規格における必須の処理であるが、上記［２］と上記［３］のパディングは、符号化効率向上のために必要なものであって、規格上での必須の処理では無いため、上記構成要素による処理に限らず他の手段を用いて実施してもよい。
【００７９】
また、動きベクトル検出手段３０５では、信号線３１を介して符号化領域検出手段３０１より供給される形状信号に基づき、信号線３２を介して供給される原画像の輝度信号（ＹＵＶ）と、信号線３３を介してフレームメモリ３０７から供給される参照画像の輝度信号との間で動きベクトル検出を行う。そして、その結果、得られた動きベクトル３４は動き補償手段（ＭＣ）３０８とベクトルパディング手段（Vector padding）３０６に出力している。
【００８０】
ベクトルパディング手段（Vector padding）３０６では、形状情報符号化手段５００より出力されて供給される形状情報の再生値データ５４に基づいて、動きベクトルの無い８×８画素単位のブロック（透明ブロックやイントラマクロブロック）に適切な動きベクトルを充填した後、動きベクトル記憶手段（MVmemory）３１２に蓄積する。
【００８１】
動きベクトルが検出される際に、参照画像はパディングによりオブジエクト内の画素値と滑らかにつながるように、オブジェクト外の画素値がパディングされている。
【００８２】
一方、原画像ではオブジェクト境界部の画素値はエッジの境界である場合が多いので、画素値変動が大きい。従って、境界マクロブロックで通常のブロックマッチングを行うと、オブジェクト外の画素値のミスマッチが大きく、正常な動きベクトルが検出されない場合が多い。
【００８３】
そこで、従来モデルでは境界マクロブロックに対しては、形状情報を参照してオブジェクト内部の画素値（図１４の黒丸部）のみで誤差を評価して動きベクトルを検出するようにしている（これをポリゴンマッチングと言う）。しかし、この方法は画素毎に、それがオブジェクトの内部か否かを判定しながら動きベクトルを検出することとなるため、勢い処理量が多くなってしまう。
【００８４】
【発明が解決しようとする課題】
上述したように、アルファマップはオブジェクトの形や大きさを表す情報（形状情報）であるが、オブジェクトの内部の輝度や色差の変化を表す情報であるテクスチャ情報がないとオブジェクトの画像を再生できない。従って、ＭＰＥＧ４ではアルファマップと共に、テクスチャ情報も符号化されてアルファマップと対で利用される。
【００８５】
そして、テクスチャ情報（ＹＵＶ）の符号化は、“不透過マクロブロック”と“境界マクロブロック”に対して行われることになるが、これらのうち、“不透過マクロブロック”については、入力されたマクロブロックの信号をそのまま動き補償予測＋ＤＣＴ（離散コサイン変換）法で符号化し、“境界マクロブロック”については、オブジェクト外部の信号をパディング（補填処理）した後、動き補償予測＋ＤＣＴ法で符号化する。
【００８６】
すなわち、“境界マクロブロック”については、動き補償予測が行われるので、動きベクトル検出の際に、参照画像はオブジエクト内の画素値と滑らかにつながるようにオブジェク卜外の画素値をパディングしておくわけである。
【００８７】
しかし、原画像ではオブジェクト境界部の画素値は、エッジの境界である場合が多いので画素値変動が大きく、従って、境界マクロブロックで通常のブロックマッチングを行うと、オブジェクト外の画素値のミスマッチが大きく、正常な動きベクトルが検出されない場合が多い。
【００８８】
そこで、境界マクロブロックに対し、形状情報を参照してオブジェクト内部の画素値（図１４の黒丸部）のみで誤差を評価して動きベクトルを検出する手法であるポリゴンマッチングを採用する。
【００８９】
しかし、この方法は画素毎にオブジェクトの内部か否かを判定しながら動きベクトルを検出することとなることから、処理量が多くなってしまう問題がある。
【００９０】
従って、本発明の目的とするところは、符号化効率向上を図りつつ、少ない演算量で動きベクトルの検出を行うことができるようにした動画像符号化装置および動画像符号化方法を提供することにある。
【００９１】
【課題を解決するための手段】
本発明は、上記目的を達成するため、次のように構成する。
【００９２】
［１］ 第１には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、各マクロブロック毎にテクスチャ情報の動きベクトルを検出する手段と、該マクロブロックにおける形状情報の動きベクトルを検出するために、テクスチャ情報の動きベクトルの利用の可否を判定する判定手段と、前記マクロブロックにおける形状情報の動きベクトルを検出するために、テクスチャ情報の動きベクトルの信頼性を評価する評価手段と、形状情報の動きベクトル検出範囲を、テクスチャ情報の動きベクトルが利用不可能時には利用可能時より広く設定され、テクスチャ情報の動きベクトルが利用可能な場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合よりも低い場合の方が広く設定される設定手段と、既に検出されているテクスチャ情報の動きベクトルを利用して前記マクロブロックにおける形状情報の動きベクトルを検出する動きベクトル検出手段とを備えて構成したものである。
そして、この装置は、形状情報とテクスチャ情報とから構成される任意形状オブジェクトを符号化するにあたり、テクスチャ情報の動きベクトルも利用できるように動きベクトル検出手段にはテクスチャ情報の動きベクトルも検出できる機能を持たせ、入力されたオブジェクトの形状情報とテクスチャ情報のうち、テクスチャ情報の動きベクトルが利用できるか否かを識別手段にて識別させ、また、評価手段により、テクスチャ情報の動きベクトルの信頼性を評価し、また、符号化対象のマクロブロックの符号化にあたっては、そのマクロブロックの周辺のマクロブロックの形状動きベクトルを探索して形状動きベクトルを求めるが、その探索範囲はテクスチャ情報の動きベクトルが利用できる場合には狭く、また、テクスチャ情報の動きベクトルが利用できない場合には、利用できる場合よりも広くし、テクスチャ情報の動きベクトルが利用できる場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合よりも信頼性の低い方が広く設定されるようにしてテクスチャ情報の動きベクトルの利用の可否と、信頼性の度合いに応じてマクロブロックの形状動きベクトル探索範囲を適正な範囲にするようにした。
【００９３】
すなわち、この発明は、動きベクトル検出に関する発明であって、このようにした結果、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようになる技術が提供できる。
【００９４】
［２］ また、本発明は、上記目的を達成するため、第２には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、入力されるオブジェクトの形状情報から形状動きベクトルおよびテクスチャ情報の動きベクトルを検出する動きベクトル検出手段を備えると共に、符号化時の誤差を指定するためのしきい値を設定するしきい値設定手段と、探索範囲内を複数の探索範囲に分割する分割手段と、検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する判定手段とを備え、前記動きベクトル検出手段は、前記分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差がしきい値よりも小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する機能を備える構成とする。
【００９５】
ＭＰＥＧ４においては、予測ベクトルがゼロベクトルであった場合、予測ベクトルがゼロベクトルであることを表す情報をモード情報に組み込んで別途符号化することにより、符号化効率を向上させるが、このゼロベクトルを効率的に検出できるようにすることも演算量軽減に大きく寄与する。そこで、本発明では、しきい値設定手段を設けて、符号化時の誤差を指定するためのしきい値を設定しておき、また、分割手段にて探索範囲内を複数の探索範囲に分割する。そして、動きベクトル検出手段は、これら分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、判定手段はこの動きベクトル検出手段にて検出された動きベクトルを元に、当該検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する。そして、動きベクトル検出手段は、最も狭い探索範囲から動きベクトル検出を開始した結果、判定手段が、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きいと判定した場合は、より広い探索範囲で最適な動きベクトルを検出するように動作し、動き補償予測誤差がしきい値よりも小さいと判断した場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する。このように、探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差が大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差が小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力するようにした結果、誤差が小さければ少ない演算量でゼロベクトルを効率的に検出できるようになり、演算量軽減に大きく寄与する。
【００９６】
［３］ また本発明は、上記目的を達成するため、第３には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、形状符号化およびテクスチャ符号化を行うに先立ち、該符号化手段に入力された形状信号を参照して、オブジェクトを一部に含む形態の境界マクロブロックについてはそのマクロブロック内を不連続性解消のためのパディング処理を施こすことによりテクスチャ符号化対象となるマクロブロック内の画素を全て補填処理する手段を有し、形状符号化およびテクスチャ符号化は当該パディング処理済みの画像を使用して行う構成としたものである。
【００９７】
この発明は、“境界マクロブロック”におけるテクスチャ符号化に関する発明であって、原画像は、境界マクロブロックについては、オブジェクト境界部での画素値の不連続性が解消できるパディング処理、すなわち、ＬＰＥパディングにてパディング処理してから、形状符号化およびテクスチャ符号化に供するようにした。そのため、オブジェクト境界部での画素値の不連続性がほとんど無くなることから、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。故に、“境界マクロブロック”において処理量の多いポリゴンマッチングを行わずに済み、計算時間の短縮を図ることができると共に、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。
【００９８】
【発明の実施の形態】
以下、本発明具体例について、図面を参照して説明する。本発明は、ＭＰＥＧ４エンコーダ（動画像符号化装置）の構成要素の処理順序を変更することによる符号化効率向上と、形状動きベクトルの検出法を改良することで、符号化効率を低下させずに、少ない演算量で動きベクトルの検出を行うことができるようにするものであり、以下、詳細を説明する。
【００９９】
＜第１の具体例＞
図を参照して本発明の第１の具体例を説明する。
第１の具体例において説明する技術は、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようにする技術である。
【０１００】
前述した通り、図１１に示した従来技術としてのモデルシステムの構成では、形状動きベクトル（ＭＶｓ）は、動きベクトル予測手段５０５にて求められた予測ベクトル（ＭＶＰｓ）の周囲±１６画素（図３の探索範囲３）を探索して求められる。つまり、予測ベクトルＭＶＰｓからの差分ベクトルＭＶＤｓを検出している（式１）。
【０１０１】
ＭＶＤｓ＝ＭＶｓ−ＭＶＰｓ …（式１）
通常、予測誤差信号の頻度分布は、図１に示す如きに“０”近傍の頻度が高く、“０”から離れるにしたがって頻度が急激に小さくなる傾向がある。図１では、差分ベクトルＭＶＤｓの水平成分を“ｍｖｄｓ_ｙ”、垂直成分を“ｍｖｄｓ_ｙ”と表記している。
【０１０２】
ここで、予測ベクトルＭＶＰｓの予測精度が低い場合は、頻度分布が緩慢となり、ＭＶＰｓの予測精度が高い場合は頻度分布が急峻となる。図２は予測ベクトルＭＶＰｓを求める方法を説明する図である。図２（ａ）は形状信号成分に関して、そして、図２（ｂ）は輝度信号成分に関しての情報をマクロブロック単位で示した図であり、符号化対象のマクロブロックＭＢとその近隣のマクロブロックとして形状動きベクトルＭＶｓ１、ＭＶｓ２、ＭＶｓ３を有するマクロブロックがあることを示している。また、図２（ｂ）は符号化対象のマクロブロックＭＢとその近隣のマクロブロックとして、テクスチャ動きベクトルＭＶ１、ＭＶ２、ＭＶ３を有するマクロブロックがあることを示している。
【０１０３】
そして、この場合、マクロブロックＭＢを符号化するにあたり、本発明システムでは、符号化対象のマクロブロックの符号化処理に際して、まずはじめに、ＭＶｓ１、ＭＶｓ２、ＭＶｓ３の順番でその符号化対象マクロブロックの周囲のマクロブロックについて、形状動きベクトルが存在するか否かを調べ、最初に存在する形状動きベクトルをＭＶＰｓとする。
【０１０４】
形状動きベクトルＭＶｓ１、ＭＶｓ２、ＭＶｓ３のいずれも存在しない場合には、今度はＭＶ１、ＭＶ２、Ｍ▲５▼３の順番でテクスチャ動きベクトルが存在するか否かを調べ、最初に存在する動きべクトルを予測ベクトルＭＶＰｓとする。
【０１０５】
テクスチャ動きベクトルＭＶ１、ＭＶ２、ＭＶ３いずれも存在しない場合は、予測ベクトルＭＶＰｓをゼロベクトルにする。
【０１０６】
本発明システムでは、動きベクトル予測手段５０５にはこのような機能を持たせる。
【０１０７】
なお、前記参考文献にも記載されている通り、テクスチャ動きベクトル（ＭＶ１、ＭＶ２、ＭＶ３）を利用できる場合とできない場合がある。例えば、テクスチャ情報を符号化せずに形状情報だけを符号化するモードや、符号化対象マクロブロックに対する、ＭＶ１、ＭＶ２、ＭＶ３何れも存在しない場合などである。つまり、テクスチャ動きベクトルが信頼できると仮定すれば、この手法においては、テクスチャ動きベクトルを利用できる場合には、利用できない場合と比べて予測ベクトルＭＶｐｓの予測精度が高いといえる。
【０１０８】
（第１の具体例その１）
そこで、本実施例では図３に示すように、探索範囲を数段階分用意し、テクスチャ動きベクトルを利用できる場合には、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えるようにする。例えば、探索範囲を“探索範囲１”、 “探索範囲２”、“探索範囲３”と云った具合に数段分、用意し、“探索範囲１”の領域サイズは４×４画素、“探索範囲２”の領域サイズは８×８画素、“探索範囲３”の領域サイズは１６×１６画素、と云った具合にする。
【０１０９】
そして、図１１に示した構成において、形状動きベクトル検出手段５０２の機能として、このように予測ベクトルＭＶＰｓの予測精度の検出と、この予測精度に応じて動きベクトル探索範囲を切り替える機能を付加した構成に改良することで、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができる。予測精度は、例えば、動きベクトル予測手段５０５の求めた予測ベクトルＭＶＰｓについての誤差の大きさで決めるようにすれば良い。
【０１１０】
動きベクトル探索範囲の具体例としては、テクスチャ動きベクトルが信頼できる場合には最小領域サイズとなる“探索範囲１”内を、そして、テクスチャ動きベクトルが信頼できない場合にはそれよりも幾分広い領域とした“探索範囲２”内を、探索範囲とする。また、テクスチャ動きベクトルが利用できない場合は最も広い領域とした“探索範囲３”を探索領域として探索するようにする。
【０１１１】
すなわち、形状動きベクトル検出手段５０２には、フレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検知する符号化領域検出手段（Bounding-rectangle）を介して入力されるアルファマップ信号（形状情報Ａ）と動きベクトル予測手段５０５にて求められた予測ベクトルの情報とフレームメモリ５０６の形状情報信号とから動きベクトル検出するに当たり、予測ベクトルＭＶＰｓの予測精度を求めて、それに応じて切り替えた最適な動きベクトル探索範囲で形状動きベクトルを検出するように動作させる。そして、これにより検出したベクトルを形状動きベクトル情報として出力させる。
【０１１２】
このようにすると、マクロブロックの符号化に当たり、テクスチャ動きベクトルの予測精度に基づく信頼度を調べた結果、その信頼度が高ければ、符号化しようとしているマクロブロックの周辺の狭い探索範囲を用いて動きベクトル検出の計算を済ませることが可能となり、動きベクトル検出に必要な計算量を低減することができることになる。また、テクスチャ動きベクトルが信頼できない場合やテクスチャ動きベクトルが利用できない場合は探索範囲を広げることで、動きベクトルの検出が可能になる。
【０１１３】
図４は本具体例のフローチャートである。すなわち、テクスチャ動きベクトルが利用できるか否かをチェックし（ステップＳ１１）、その結果、利用できなければ探索範囲を“探索範囲３”とすることとする。ステップＳ１１でのチェックの結果、利用できるのであれば、次にテクスチャ動きベクトルが信頼できるか否かをチェックし（ステップＳ１２）、その結果、信頼できなければ探索範囲を “探索範囲２”とすることとする。ステップＳ１２でのチェックの結果、信頼できるのであれば、探索範囲を“探索範囲１”とする。
【０１１４】
なお、ここではテクスチャ動きクトルの信頼性は、テクスチャ動きベクトルの探索範囲によって判断している。つまり、テクスチャ動きベクトルの検出は、テクスチャ動きベクトルそのものを直接検出しているため、探索範囲が広い場合は大きな動きにも追従できることから、探索範囲が狭い場合よりも信頼性が高いと推測できる。なお、ＭＰＥＧ４では、テクスチャ動きベクトルの探索範囲は±１０２４まで拡張可能である。
【０１１５】
このようにすることで、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えることができるようになり、このような予測ベクトルＭＶＰｓの予測精度に応じた探索範囲切り替えを実施することで、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができる。
【０１１６】
（第１の具体例その２）
予測ベクトルＭＶＤｓがゼロベクトルであった場合、前述したように、当該予測ベクトルＭＶＤｓがゼロベクトルであることを表す情報は、符号化効率向上のためモード情報に組み込まれて別途符号化される。
【０１１７】
そこで、図１２に示したＭＰＥＧ４用の従来技術としてのモデルエンコードシステムでは、ゼロベクトルが検出され易いように、比較基準としての所定のしきい値を定め、ゼロベクトル時の動き補償予測誤差（ＭＣ誤差）をこのしきい値と比較すると共に、当該ゼロベクトル時の動き補償予測誤差（ＭＣ誤差）が前記しきい値よりも小さいときには、その時点で検出を打ち切り、予測ベクトルＭＶＰｓを形状動きベクトルＭＶｓとしている。
【０１１８】
本具体例では、上記打ち切りを更に拡張したもので、たとえば、図３の“探索範囲１”まで検出した際の最適な動きベクトルでの動き補償予測誤差が、所定のしきい値よりも小さいときには、その時点で検出を打ち切るようにする。動き補償予測誤差が所定のしきい値よりも大きい場合には、探索範囲を“探索範囲２”まで拡張し、“探索範囲１”のときと同様に、“探索範囲２”の残りの範囲を探索した際の最適な動きベクトルでの動き補償予測誤差が所定のしきい値よりも小さいときには、その時点で検出を打ち切るようにする。
【０１１９】
つまり、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えるようにし、このような予測ベクトルＭＶＰｓの予測精度に応じた探索範囲切り替えを実施することで、符号化効率を落とすことなく動きベクトル検出の計算量低減を図るようにする。
【０１２０】
図５は、本具体例のフローチャートである。すなわち、予測ベクトルＭＶＤｓを“０”に初期化し（ステップＳ１）、次にＭＣ（動き補償）誤差が閾値より大きいか否かをチェックする（ステップＳ２）。その結果、小さければ処理を終了し、大きければ“探索範囲１”内を探索する（ステップＳ３）。
【０１２１】
そして、次にＭＣ（動き補償）誤差が閾値より大きいか否かをチェックする （ステップＳ４）。その結果、小さければ処理を終了し、大きければ“探索範囲２−探索範囲１”内を探索する（ステップＳ５）。
【０１２２】
そして、次にＭＣ（動き補償）誤差が閾値より大きいか否かをチェックする （ステップＳ６）。その結果、小さければ処理を終了し、大きければ“探索範囲３−探索範囲２”内を探索し（ステップＳ７）、それが終われば処理を終了する。
【０１２３】
このようにすることで、予測ベクトルＭＶＰｓの予測精度に応じて探索範囲を切り替えることができるようになり、このような予測ベクトルＭＶＰｓの予測精度に応じた探索範囲切り替えを実施することで、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようになる。
【０１２４】
前述したように、ゼロベクトル近傍に差分ベクトルＭＶＤｓの最適値がある可能性が高いため、狭い探索範囲から段階的に探索範囲を拡張し、途中段階で所定の条件を満たした場合は探索を打ち切ることで、符号化効率の低下なしに、動きベクトル検出の計算量を低減することができる。
【０１２５】
“具体例その１”、“具体例その２”共に、図１１のＭＰＥＧ４用モデルエンコーダと比較して、大きさの小さいベクトルが選択されるため、動きベクトルの符号量が低減されて結果として符号化効率が向上する場合もある。
【０１２６】
なお、“具体例その１”と“具体例その２”に示した技術を組み合せれば、さらに動きベクトル検出の計算量の低減が可能になる。
【０１２７】
以上は、ＭＰＥＧ４において、テクスチャ動きベクトルを利用して動きベクトル検出を行うことにより、動きベクトル検出に当たっての計算量を低減することができるようにした技術であった。
【０１２８】
次に、“境界マクロブロック”におけるテクスチャ符号化について説明する。
【０１２９】
＜第２の具体例＞
次に、本発明の第２の具体例を説明する。本具体例は、マクロブロック内の一部にオブジェクトを含む形態である“境界マクロブロック”におけるテクスチャ符号化に関わるものである。
【０１３０】
図６において、図に強調表記された構成要素である符号化領域（Bounding-Rectangle）検出手段３０１、参照画像パディング手段３０２、ＬＰＥパディング手段３０３ａ、ゼロパディング手段３０４、ベクトルパディング手段３０６および形状情報符号化手段５００は、任意形状のオブジェクトを符号化するためだけに必要な構成要素である。従って、ＭＰＥＧ１やＭＰＥＧ２のような旧来の符号化法と同様に、矩形のオブジェクトを符号化するためには、これ以外の構成要素、すなわち、図６における動きベクトル検出手段３０５、フレームメモリ３０７、動き補償手段３０８、切替スイッチ３０９，３１０、動きベクトル予測手段３１１、動きベクトル記憶手段３１２、差分回路３１３、第３の可変長符号化手段３１４、量子化手段３１５、逆量子化手段３１６、直交変換手段３１７、第４の可変長符号化手段３１８、逆直交変換手段３１９、加算回路３２０、スイッチ３２１、マルチプレクサ３２２とから構成される要素が備わっていればよい。
【０１３１】
ここで、動きベクトル検出手段３０５は、ＬＰＥパディング手段３０３の出力するＬＰＥパディング済みのマクロブロックデータと、形状情報符号化手段５００の出力する形状情報の再生値データ５４と、フレームメモリ３０７から供給される参照画像の輝度信号との間で動きベクトル検出を行う。そして、その結果、得られた動きベクトルは、動き補償手段（ＭＣ）３０８とベクトルパディング （Vector padding）手段３０６と差分回路３１３とに出力している。
【０１３２】
フレームメモリ３０７は、参照画像パディング手段３０２から出力されるパディング処理済みの参照画像の輝度信号を保持するためのものである。また、動き補償手段３０８は、動きベクトル検出手段３０５にて検出された動きベクトルと、形状情報符号化手段５００の出力する形状情報の再生値データ５４とを用いて動き補償予測のための動きベクトル情報を求めるためのものであり、切替スイッチ３０９，３１０は、ＬＰＥパディング手段３０３の出力をゼロパディング手段３０４に与えるか、迂回させるかを選択切り換えするための経路切り替えスイッチである。
【０１３３】
直交変換手段３１７は、この切替スイッチ３１０を介して与えられる出力を直交変換（離散コサイン変換）して周波数成分に分解する処理をするためのものであり、量子化手段３１５は、この直交変換手段３１７の出力を量子化して出力するものであり、第４の可変長符号化手段３１８は、この量子化出力を可変長符号化処理してテクスチャストリームとしてマルチプレクサ３２２に出力するものである。
【０１３４】
また、動きベクトル予測手段３１１は、形状情報符号化手段５００の出力する形状情報の再生値データ５４と、動きベクトル記憶手段３１２の保持するデータとを用いて動きベクトルを予測するためのものであり、差分回路３１３は、この動きベクトル予測手段３１１の出力する動きベクトル予測値と動きベクトル検出手段３０５の出力する動きベクトルとの差分値を得るためのものであり、第３の可変長符号化手段３１４は、この差分回路３１３の出力を可変長符号化処理してモーションストリームとしてマルチプレクサ３２２に出力するものである。
【０１３５】
逆量子化手段３１６は、量子化手段３１５の量子化出力を逆量子化してもとのデータに戻して出力するものであり、逆直交変換手段３１９は、この逆量子化手段３１６の出力するデータを逆直交変換（逆離散コサイン変換）して元のゼロパディング処理時点でのデータに戻すためのものである。
【０１３６】
マルチプレクサ３２２は、第３の可変長符号化手段３１４の出力する可変長符号化されたモーションストリームと、第４の可変長符号化手段３１８の出力する可変長符号化されたテクスチャストリームと、符号化領域（Bounding-Rectangle）検出手段３０１の出力する符号化領域の情報と、形状情報符号化手段５００の出力する形状情報の再生値データ５４とを受けてこれらを多重化して出力するものである。
【０１３７】
また、前記逆直交変換手段３１９は、この逆量子化手段３１６の出力するデータを逆直交変換（逆離散コサイン変換）して元のゼロパディング処理時点でのデータに戻すためのものである。
【０１３８】
また、加算回路３２０は、スイッチ３２１を介して与えられる動き補償手段３０８からの動きベクトル情報と逆直交変換手段３１９から与えられる元のゼロパディング処理時点でのデータとを加算して参照画像パディング手段３０２に与えるためのものであり、動きベクトル記憶手段３１２は、ベクトルパディング手段３０６の出力する形状情報の再生値データ５４に基づいて、動きベクトルの無い８×８画素単位のブロック（透明ブロックやイントラマクロブロック）に適切な動きベクトルを充填したデータを受けてこれを蓄積するものである。
【０１３９】
ここで、本実施例でのエンコーダと従来のエンコーダの仕組みの違いに触れておく。従来のエンコーダは図１２に示すように、動きベクトル検出手段３０５は入力されるテクスチャ情報（ＹＵＶ）と符号化領域（Bounding-Rectangle）検出手段３０１からの検出出力とフレームメモリ３０７からの記憶情報とを用いて動きベクトル３４を得るようにしていた。ここで、符号化領域（Bounding-Rectangle）検出手段３０１はフレーム画像中の対象とするオブジェクトの存在する領域である符号化領域を検出するためのものである。
【０１４０】
また、ＬＰＥパディング手段３０３はゼロパディング手段３０４と並列におき、入力テクスチャ情報（ＹＵＶ）を条件に応じていずれか一方に与えてパディングさせて、そのパディング処理済みの出力を直交変換手段３１７に与える構成であった。
【０１４１】
これを本発明では、図６に示す如く、ＬＰＥパディング手段３０３は初段において、入力テクスチャ情報（ＹＵＶ）を条件に係わりなく、ＬＰＥパディング処理し、これを動きベクトル検出手段３０５と、そして、条件に応じてゼロパディング手段３０４に与える構成としている。ここで、ＬＰＥパディングとは、前述したように、イントラマクロブロック内のブロックをＤＣＴ（離散コサイン変換）する前に、オブジェクト外の画素（図１３の白丸部）値をオブジェクト内部の画素（図１３の黒丸部）値の平均値で置き換えた後、ローパスフィルタをかける処理であって、処理単位は、ＤＣＴの場合と同様、８×８画素である。また、ゼロパディングは、インターマクロブロック内のブロックをＤＣＴする前に、動き補償予測誤差信号のオブジェクト外の画素（図１３の白丸部）値をゼロ値で置き換える処理であって、処理単位は、ＤＣＴの場合と同様、８×８画素である。これらＬＰＥパディングおよびゼロパディングは、ＭＰＥＧ４の規格において必須の処理ではないが、符号化効率向上のために実施するものである。
【０１４２】
本具体例のブロック構成は図６に示す如きのものである。そして、本具体例の構成は、動きベクトル検出手段３０５の処理位置が図１２に示した従来モデルの構成における動きベクトル検出手段３０５の位置と異なり、また、ＬＰＥパディング３０３の処理位置が従来モデルのＬＰＥパディング３０３の位置と異なる。
【０１４３】
＜ＬＰＥパディング手段＞
まず、本実施例システムにおけるＬＰＥパディング手段３０３ａでの処理と、従来技術としてのシステムにおけるＬＰＥパディング手段３０３での処理との相違点を説明する。
【０１４４】
ＬＰＥパディング手段３０３ａでのパディング処理は、信号線を介して供給されるテクスチャ画像の原信号（ＹＵＶ）４１の境界マクロブロックのみに施される。ここで、境界マクロブロックか否かは符号化領域（Bounding-Rectangle）検出手段３０１を介して供給される形状画像の原信号４２を用いて判断する。つまり、ＬＰＥパディング手段３０３ａでの処理は、符号化の前処理としてＬＰＥパディングを施していることになる。
【０１４５】
当該前処理を行ったことにより、ＬＰＥパディング手段３０３ａから出力されるテクスチャ画像４３は、符号化される前に符号化対象となるマクロブロック内の画素値が全て補填されることになる。
【０１４６】
なお、従来技術としてのモデルシステムにおけるＬＰＥパディング手段３０３では、信号線３５を介して形状情報符号化手段５００より供給される形状画像の局部復号信号に基づき、８×８画素のブロックが境界ブロックであればパディングを施している。
【０１４７】
本具体例では、８×８画素のブロック単位でパディングして、図１４の左上のブロックのように、ブロック内にオブジェクト内の画素を含まない場合は、たとえば、周囲のブロックの平均値でパディングすることで、マクロブロック内の画素が全てパディングされるようにする。
【０１４８】
以上、説明したように、本具体例と従来モデルシステムとでは、第１には、形状画像の原信号に基づきパディングするか、局部復号信号に基づきパディングするかという点が異なる。
【０１４９】
ここで、本発明の手法である“形状画像の原信号に基づきパディング”する方式の効果を具体的に示すために、１次元信号のモデルに対してＬＰＥパディングを施した例を示す。輝度信号をＹ、形状信号をＡ、形状の局部復号信号（その１）をＡ′、形状の局部復号信号（その２）をＡ″とする。そして、これらがそれぞれ以下のような信号であったとする。
【０１５０】
以下の例では、簡単のため、形状信号を“０”（オブジェクト外）か、“１”（オブジェクト内）かで表現している。
【０１５１】
Ｙ＝｛50,50,50,50,180,190,200,210｝
Ａ＝｛0,0,0,0,1,1,1,1,1}
Ａ′＝｛0,0,0,1,1,1,1,1}
Ａ″＝｛0,0,0,0,0,1,1,1}
ここで、輝度信号Ｙを上述のＡ、Ａ′、Ａ″でそれぞれＬＰＥパディングした結果をＹｐ、Ｙｐ′、Ｙｐ″とすると、例えば、以下のようになる。
【０１５２】
Ｙｐ＝｛195,195,195,188,180,190,200,210}
Ｙｐ′＝｛166,166,108,50,180,190,200,210}
Ｙｐ″＝｛200,200,200,200,195,190,200,210｝
すなわち、Ｙｐの場合、もとのＹなるデータの“50”，“50”，“50”，“50”，“180”，“190”，“200”，“210”なるデータ列がパディングの結果、
“195”，“195”，“195”，“188”，“180”，“190”，“200”，“210”となったことを示しており、Ｙｐ′の場合にはデータ値が“166”，“166”，“108”，“50”，“180”，“190”，“200”，“210”となったことを示しており 、Ｙｐ″の場合はデータ値が“200”，“200”，“200”，“200”，“195”， “190”，“200”，“210”となったことを示している。尚、ここに示した数値 は下限値を“０”（白）、上限値を“２５５”（黒）とする２５６段階のグレースケール値である。
【０１５３】
一般に、オブジェクトの境界は、像のエッジ部であり、上記の例のように輝度信号Ｙが大きく変動する。形状情報符号化手段５００での処理において、形状の局部復号信号に誤差が発生した場合には、上記の例（Ｙｐ）のように滑らかにパディングされない場合がある。そのため、“境界マクロブロック”におけるテクスチャ符号化をする場合に、このような誤差を含む信号を用いなければならなくなったときはエッジが不明確となってしまう問題が浮上することとなる。
【０１５４】
しかし、本発明方式の場合は、形状信号を“０”（オブジェクト外）、“１”（オブジェクト内）とすることで、このような心配が全くなくなる。
【０１５５】
＜動きベクトル検出手段＞
次に、本実施例システムにおける動きベクトル検出手段３０５ａの処理と従来モデルのシステムにおける動きベクトル検出手段３０５の処理との相違点を説明する。
本システムにおける動きベクトル検出手段３０５ａでは、形状情報符号化手段５００から出力され、信号線４４を介して供給される形状情報の再生値データ５４と、ＬＰＥパディング手段３０３ａの出力するパディング処理済みデータとに基づいて透過マクロブロック以外のマクロブロックに対する動きべクトルを検出する。
【０１５６】
ＬＰＥパディング手段３０３ａより信号線４５を介して供給される原画像データ（パディング処理済みデータ）と、フレームメモリ３０７から信号線４６を介して供給される参照画像との間で動きベクトルを検出し、この検出した動きベクトルは、信号線４７を介してベクトルパディング（Vector padding）手段３０６と、動き補償手段３０８と、差分回路３１３とに出力する。
【０１５７】
ここで、信号線４５を介して供給される原画像は、すでにＬＰＥパディング４０３により境界マクロブロックがパディングされている。そのため、オブジェクト境界部での画素値の不連続性がほとんど無い。
【０１５８】
従って、従来モデルシステムにおける動きベクトル検出手段３０５の場合と異なり、本発明システムの動きベクトル検出手段３０５ａにおいては、“境界マクロブロック”において処理量の多いポリゴンマッチングを行わずに済み、しかも、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。
【０１５９】
以上、種々の実施例を説明したが、要するに本発明は、第１には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、入力されるオブジェクトの形状情報から動き補償予測に用いるための形状動きベクトルおよびテクスチャ情報の動きベクトルとを検出する動きベクトル検出手段と、入力されるテクスチャ情報から当該テクスチャ情報の動きベクトルの利用の可否を識別する識別手段と、テクスチャ情報における前記検出された動きベクトルの信頼性を評価する評価手段と、形状動きベクトルの探索範囲を、テクスチャ情報の動きベクトル不可能時には利用可能時より広く設定され、テクスチャ情報の動きベクトルが利用可能な場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合より低い方が広く設定される設定手段とを有するものである。そして、この装置は、形状情報とテクスチャ情報とから構成される任意形状オブジェクトを符号化するにあたり、テクスチャ情報の動きベクトルも利用できるように動きベクトル検出手段にはテクスチャ情報の動きベクトルも検出できる機能を持たせ、入力されたオブジェクトの形状情報とテクスチャ情報のうち、テクスチャ情報の動きベクトルが利用できるか否かを識別手段にて識別させ、また、評価手段により、テクスチャ情報の動きベクトルの信頼性を評価し、また、符号化対象のマクロブロックの符号化にあたっては、そのマクロブロックの周辺のマクロブロックの形状動きベクトルを探索して形状動きベクトルを求めるが、その探索範囲はテクスチャ情報の動きベクトルが利用できる場合には狭く、また、テクスチャ情報の動きベクトルが利用できない場合には、利用できる場合よりも広くし、テクスチャ情報の動きベクトルが利用できる場合においてはテクスチャ情報の動きベクトルの信頼性が高い場合よりも信頼性の低い方が広く設定されるようにしてテクスチャ情報の動きベクトルの利用の可否と、信頼性の度合いに応じてマクロブロックの形状動きベクトル探索範囲を適正な範囲にするようにした。
すなわち、この発明は、動きベクトル検出に関する発明であって、このようにした結果、符号化効率を落とすことなく動きベクトル検出の計算量を低減することができるようになる技術が提供できる。
【０１６０】
また、第２には、本発明は、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、入力されるオブジェクトの形状情報から形状動きベクトルおよびテクスチャ情報の動きベクトルを検出する動きベクトル検出手段を備えると共に、符号化時の誤差を指定するためのしきい値を設定するしきい値設定手段と、探索範囲内を複数の探索範囲に分割する分割手段と、検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する判定手段とを備え、前記動きベクトル検出手段は、前記分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差がしきい値よりも小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する機能を備える構成とした。
【０１６１】
ＭＰＥＧ４においては、予測ベクトルがゼロベクトルであった場合、予測ベクトルがゼロベクトルであることを表す情報をモード情報に組み込んで別途符号化することにより、符号化効率を向上させるが、このゼロベクトルを効率的に検出できるようにすることも演算量軽減に大きく寄与する。そこで、本発明では、しきい値設定手段を設けて、符号化時の誤差を指定するためのしきい値を設定しておき、また、分割手段にて探索範囲内を複数の探索範囲に分割する。そして、動きベクトル検出手段は、これら分割された探索範囲のうち、最も狭い探索範囲から動きベクトル検出を開始し、判定手段はこの動きベクトル検出手段にて検出された動きベクトルを元に、当該検出された動きベクトルによる動き補償予測誤差がしきい値よりも大きいか否かを判定する。そして、動きベクトル検出手段は、最も狭い探索範囲から動きベクトル検出を開始した結果、判定手段が、該探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差がしきい値よりも大きいと判定した場合は、より広い探索範囲で最適な動きベクトルを検出するように動作し、動き補償予測誤差がしきい値よりも小さいと判断した場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力する。このように、探索範囲内で検出された最適な動きベクトルによる動き補償予測誤差が大きい場合は、より広い探索範囲で最適な動きベクトルを検出し、動き補償予測誤差が小さい場合は、動きベクトル検出を終了し、該動きべクトルを検出結果として出力するようにした結果、誤差が小さければ少ない演算量でゼロベクトルを効率的に検出できるようになり、演算量軽減に大きく寄与する。
【０１６２】
また本発明は、第３には、画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、形状符号化およびテクスチャ符号化を行うに先立ち、該符号化手段に入力された形状信号を参照して、オブジェクトを一部に含む形態の境界マクロブロックについてはそのマクロブロック内を不連続性解消のためのパディング処理を施こすことによりテクスチャ符号化対象となるマクロブロック内の画素を全て補填処理する手段を有し、形状符号化およびテクスチャ符号化は当該パディング処理済みの画像を使用して行う構成としたものである。
【０１６３】
この発明は、“境界マクロブロック”におけるテクスチャ符号化に関する発明であって、原画像は、境界マクロブロックについては、オブジェクト境界部での画素値の不連続性が解消できるパディング処理、すなわち、ＬＰＥパディングにてパディング処理してから、形状符号化およびテクスチャ符号化に供するようにした。そのため、オブジェクト境界部での画素値の不連続性がほとんど無くなることから、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。故に、“境界マクロブロック”において処理量の多いポリゴンマッチングを行わずに済み、計算時間の短縮を図ることができると共に、通常のブロックマッチングを行った場合でも、正常な動きベクトルを検出することができるようになる。
【０１６４】
なお、本発明は上述した実施例に限定されるものではなく、要旨を変更しない範囲内で適宜変形して実施可能である。
【０１６５】
【発明の効果】
以上、詳述したように、本発明によれば、任意形状オブジェクトの符号化に必要な構成要素の処理順序を変更することで、処理量の増加なしに符号化効率の向上が図れる。また、形状動きベクトルの検出処理を適応的に打ち切ることで、符号化効率の低下を招くことなく処理量の削減が可能となる。
【図面の簡単な説明】
【図１】差分ベクトルＭＶＤｓの頻度分布の特徴を説明する図。
【図２】予測ベクトルＭＶＰｓを求める方法を説明する図。
【図３】本発明の形状動きベクトルの探索範囲を説明する図。
【図４】本発明を説明するための図であって、本発明の第１の具体例その１での処理例示すフローチャート。
【図５】本発明を説明するための図であって、本発明の第１の具体例その２での処理例示すフローチャート。
【図６】本発明を説明するための図であって、本発明のエンコーダの構成例を示すブロック図。
【図７】画像を符号化する場合に、画面内を背景とオブジェクトに分割して符号化する方式の画像符号化装置のブロック構成図。
【図８】復号化装置のブロック図。
【図９】本発明を説明するための図であって、オブジェクトを含む符号化領域を説明する図。
【図１０】本発明を説明するための図であって、各マクロブロックの属性を説明する図。
【図１１】従来技術としてのモデルシステムにおける形状符号化エンコーダ（Binary Shape encoder 500）部分のブロック構成図。
【図１２】従来技術としてのモデルシステムにおけるエンコーダのブロック構成図。
【図１３】オブジェクト内の画素とオブジェクト外の画素を説明する図。
【図１４】本発明のＬＰＥパディングを説明する図。
【符号の説明】
３０１…符号化領域（Bounding-Rectangle）検出手段
３０２…参照画像パディング手段
３０３…ＬＰＥパディング手段
３０４…ゼロパディング手段
３０６…ベクトルパディング手段
５００…形状情報符号化手段（Binary Shape encoder）
３０５，３０５ａ…動きベクトル検出手段
３０７…フレームメモリ
３０８，３０８ａ…動き補償手段
３０９，３１０、…切替スイッチ
３１２…動きベクトル記憶手段
３１３…差分回路
３１４…第３の可変長符号化手段
３１５…量子化手段
３１６…逆量子化手段
３１７…直交変換手段（ＤＣＴ）
３１８…第４の可変長符号化手段
３１９…逆直交変換手段
３２０…加算回路
３２１…スイッチ
３２２…マルチプレクサ
Claims (4)
- 画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化装置において、
マクロブロック毎にテクスチャ情報のテクスチャ動きベクトルを探索するテクスチャ動きベクトル探索手段と、
各マクロブロックにおける形状情報の動きベクトルを検出するために、前記テクスチャ動きベクトルの有無により前記テクスチャ動きベクトルの利用の可否を判定する判定手段と、
前記マクロブロックにおける形状情報の動きベクトルを検出するために、前記テクスチャ動きベクトルの探索範囲の増加に従って前記テクスチャ動きベクトルの信頼性を高く評価する評価手段と、
前記形状情報の動きベクトルの探索範囲を、前記テクスチャ動きベクトルが利用不可能時には利用可能時より広く設定し、前記テクスチャ動きベクトルが利用可能な場合においては前記テクスチャ動きベクトルの信頼性が高い場合よりも低い場合に広く設定する設定手段と、
既に検出されているテクスチャ動きベクトルを利用して前記マクロブロックにおける形状情報の動きベクトルを検出する動きベクトル検出手段と、
を有することを特徴とする動画像符号化装置。 - 画像を構成する所望オブジェクトについて、その所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方式の符号化方法において、
マクロブロック毎にテクスチャ情報のテクスチャ動きベクトルを探索するステップと、
各マクロブロックにおける形状情報の動きベクトルを検出するために、前記テクスチャ動きベクトルの有無により前記テクスチャ動きベクトルの利用の可否を判定するステップと、
前記マクロブロックにおける形状情報の動きベクトルを検出するために、前記テクスチャ動きベクトルの探索範囲の増加に従って前記テクスチャ動きベクトルの信頼性を高く評価するステップと、
前記形状情報の動きベクトルの探索範囲を、前記テクスチャ動きベクトルが利用不可能時には利用可能時より広く設定し、前記テクスチャ動きベクトルが利用可能な場合においては前記テクスチャ動きベクトルの信頼性が高い場合よりも低い場合に広く設定するステップと、
既に検出されているテクスチャ動きベクトルを利用して前記マクロブロックにおける形状情報の動きベクトルを検出するステップと、
を具備することを特徴とする動画像符号化方法。 - 画像を構成する所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化装置において、
マクロブロック毎にテクスチャ情報のテクスチャ動きベクトルを探索するテクスチャ動きベクトル探索手段と、
そのマクロブロックにおける形状情報の動きベクトルを検出するために前記テクスチャ動きベクトルの有無により前記テクスチャ動きベクトルの利用の可否を判定する手段と、
前記テクスチャ動きベクトルの探索範囲の増加に従って前記テクスチャ動きベクトルの信頼性を高く評価する評価手段と、
既に検出されているテクスチャ動きベクトルを利用して前記マクロブロックにおける形状情報の動きベクトルを検出する動きベクトル検出手段と、
を具備し、前記テクスチャ動きベクトルの信頼性が高く、前記形状情報の動きベクトルを検出するために前記テクスチャ動きベクトルが利用可能な場合には、前記形状情報の動きベクトルの探索範囲を第１の領域に制限し、前記テクスチャ動きベクトルの信頼性が低 い場合と、前記テクスチャ動きベクトルが利用不可の場合には、前記第１の領域よりも広い第２の領域を探索範囲とすることを特徴とする動画像符号化装置。 - 画像を構成する所望オブジェクトをマクロブロック単位で形状情報とテクスチャ情報とから構成される任意形状オブジェクトとして符号化する動画像符号化方法において、
マクロブロック毎にテクスチャ情報のテクスチャ動きベクトルを検出し、そのマクロブロックにおける形状情報の動きベクトルを検出するために前記テクスチャ動きベクトルの有無により前記テクスチャ動きベクトルの利用の可否を判定すると共に、前記テクスチャ動きベクトルの探索範囲の増加に従って前記テクスチャ動きベクトルの信頼性を高く評価し、既に検出されているテクスチャ動きベクトルを利用して前記マクロブロックにおける形状情報の動きベクトルを検出し、前記テクスチャ動きベクトルの信頼性が高く、前記形状情報の動きベクトルを検出するために前記テクスチャ動きベクトルが利用可能な場合には、前記形状情報の動きベクトルの検出範囲を第１の領域に制限し、前記テクスチャ動きベクトルの信頼性が低い場合と、前記テクスチャ動きベクトルが利用不可の場合には、前記第１の領域よりも広い第２の領域を探索範囲とすることを特徴とする動画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11638399A JP3677165B2 (ja) | 1999-04-23 | 1999-04-23 | 動画像符号化装置および動画像符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11638399A JP3677165B2 (ja) | 1999-04-23 | 1999-04-23 | 動画像符号化装置および動画像符号化方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004330956A Division JP2005094803A (ja) | 2004-11-15 | 2004-11-15 | 動画像符号化装置および動画像符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000308066A JP2000308066A (ja) | 2000-11-02 |
| JP3677165B2 true JP3677165B2 (ja) | 2005-07-27 |
Family
ID=14685664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11638399A Expired - Fee Related JP3677165B2 (ja) | 1999-04-23 | 1999-04-23 | 動画像符号化装置および動画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3677165B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009116595A1 (ja) * | 2008-03-21 | 2009-09-24 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| WO2009116586A1 (ja) * | 2008-03-21 | 2009-09-24 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2473897C (en) | 2002-11-25 | 2012-10-16 | Matsushita Electric Industrial Co., Ltd. | Motion compensation method, picture coding method and picture decoding method |
| US7408989B2 (en) * | 2003-01-16 | 2008-08-05 | Vix5 Systems Inc | Method of video encoding using windows and system thereof |
| JP4239894B2 (ja) * | 2004-05-11 | 2009-03-18 | 日本ビクター株式会社 | 画像符号化装置及び画像復号化装置 |
-
1999
- 1999-04-23 JP JP11638399A patent/JP3677165B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009116595A1 (ja) * | 2008-03-21 | 2009-09-24 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| WO2009116586A1 (ja) * | 2008-03-21 | 2009-09-24 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| US8497938B2 (en) | 2008-03-21 | 2013-07-30 | Nec Corporation | Image processing method, image processing apparatus and image processing program |
| JP5333791B2 (ja) * | 2008-03-21 | 2013-11-06 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| JP5435242B2 (ja) * | 2008-03-21 | 2014-03-05 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| US8698954B2 (en) | 2008-03-21 | 2014-04-15 | Nec Corporation | Image processing method, image processing apparatus and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000308066A (ja) | 2000-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1528813B1 (en) | Improved video coding using adaptive coding of block parameters for coded/uncoded blocks | |
| KR100803611B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| US7444026B2 (en) | Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith | |
| US5808700A (en) | Motion video coding systems with motion vector detection | |
| JP2002532029A (ja) | ビデオ圧縮のための効率的マクロブロックヘッダ符号化 | |
| US20140105295A1 (en) | Moving image encoding method and apparatus, and moving image decoding method and apparatus | |
| JPH09182084A (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP2001197501A (ja) | 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置 | |
| JP2002527958A (ja) | Ｍｐｅｇ−４形符号化における発生ビデオ速度制御方法 | |
| CN114079782B (zh) | 视频图像重建方法、装置、计算机设备及存储介质 | |
| US20050276331A1 (en) | Method and apparatus for estimating motion | |
| US6697430B1 (en) | MPEG encoder | |
| JPH06311502A (ja) | 動画像伝送装置 | |
| JP3677165B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| WO2003056838A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
| JP2005094803A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP2002058032A (ja) | 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置 | |
| JP2001309388A (ja) | 画像復号装置におけるエラー画像補完方法 | |
| JPH07274182A (ja) | 映像信号符号化方式 | |
| JP2002209213A (ja) | 動きベクトル検出方法及び装置、並びに画像符号化装置 | |
| KR100657714B1 (ko) | 3차원 스캐닝을 이용한 영상데이터 부호화 방법 | |
| KR19980066971A (ko) | 움직임 이동량 검출기능을 갖는 영상 부호화 장치 | |
| Shin et al. | Block effect reduction with content-based AC prediction in an MPEG-2 compressed video | |
| WO1999059342A1 (en) | Method and system for mpeg-2 encoding with frame partitioning | |
| JP2014239373A (ja) | 動画像符号化装置および動画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040914 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050506 |
|
| LAPS | Cancellation because of no payment of annual fees |