JP2004088135A - 画像符号化装置及び画像復号化装置 - Google Patents
画像符号化装置及び画像復号化装置 Download PDFInfo
- Publication number
- JP2004088135A JP2004088135A JP2002204716A JP2002204716A JP2004088135A JP 2004088135 A JP2004088135 A JP 2004088135A JP 2002204716 A JP2002204716 A JP 2002204716A JP 2002204716 A JP2002204716 A JP 2002204716A JP 2004088135 A JP2004088135 A JP 2004088135A
- Authority
- JP
- Japan
- Prior art keywords
- memory
- storage area
- image
- storage
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】フレームメモリの領域再配分（長時間メモリと短時間メモリの記憶領域の記憶容量の再配分）に伴う画像の符号化処理と復号化処理の不一致を回避した画像符号化装置および画像復号化装置を提供する。
【解決手段】先入れ先出し方式の短時間メモリとランダムアクセス方式の長時間メモリの２種類のメモリにフレームを格納するフレームメモリと、短時間メモリのメモリサイズが小さくなる場合、短時間メモリのうち最も古い時刻にフレームが記憶されたメモリ領域を決定し、長時間メモリ開放部１３３を介してそのメモリ領域を長時間メモリとして使用可能にする消失短時間メモリ検出部１５０とを備える。
【選択図】 図１
【解決手段】先入れ先出し方式の短時間メモリとランダムアクセス方式の長時間メモリの２種類のメモリにフレームを格納するフレームメモリと、短時間メモリのメモリサイズが小さくなる場合、短時間メモリのうち最も古い時刻にフレームが記憶されたメモリ領域を決定し、長時間メモリ開放部１３３を介してそのメモリ領域を長時間メモリとして使用可能にする消失短時間メモリ検出部１５０とを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像信号を画面間の相関を利用して効率良く符号化する画像符号化方法と画像符号化装置、および符号化されたものを復号化する画像復号化方法と画像復号化装置、並びにそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画面信号のデジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画面信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。
【０００６】
さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＳＯ／ＩＥＣとＩＴＵの共同で次世代画面符号化方式として、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）の標準化活動が進んでおり、現時点ではジョイント・モデル１（ＪＭ１）と呼ばれるものが最新である。
【０００７】
図１６は従来の画像符号化方法および上記ＪＭ１において検討されているメモリの管理方法から想定される画像符号化装置のブロック図である。この画像符号化装置は、動き検出部１０１、フレームメモリ１０２、動き補償部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０７、逆直交変換部１０８、加算部１０９、可変長符号化部１１０、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１、消失長時間メモリ検出部１３２、長時間メモリ開放部１３３、短時間メモリ開放部１３４、長時間メモリ移動部１３５、管理情報符号化部１３６から構成される。
【０００８】
まず、画像を符号化する動作を説明する。動き検出部１０１は入力画像Ｖｉｎとフレームメモリ１０２の参照画像Ｍ１を比較し、最も両者の差分値が小さくなる参照画像を示す参照画像番号Ｉｄｘを特定するとともに、その画素の動き量である動きベクトルＭＶを算出し、フレームメモリ１０２と、可変長符号化部１１０に出力する。
【０００９】
動き補償部１０３は、フレームメモリ１０２から参照画像番号Ｉｄｘと動きベクトルＭＶで示された領域の画素を動き補償参照画像Ｍ２として読み出し、所定の演算を行って動き補償画像Ｍ３を生成し、加算部１０９に出力する。
【００１０】
減算部１０４は、入力画像Ｖｉｎと動き補償画像Ｍ３の差分値である残差画像Ｍ４を計算して直交変換部１０５に出力し、直交変換部１０５は残差画像Ｍ４を周波数領域に変換した周波数成分Ｍ５を量子化部１０６に出力する。また量子化部１０６は周波数成分Ｍ５を量子化し、動き補償誤差の量子化値Ｍ６を逆量子化部１０７と可変長符号化部１１０に出力する。
【００１１】
さらに逆量子化部１０７は量子化値Ｍ６を逆量子化して逆直交変換部１０８に復号周波数成分Ｍ７を出力し、逆直交変換部１０８は復号周波数成分Ｍ７の周波数領域から画素の差分値である復号残差画像Ｍ８を算出して加算部１０９に出力する。
【００１２】
加算部１０９は、復号残差画像Ｍ８と動き補償画像Ｍ３を加算して復号画像信号Ｍ９を算出し、その復号画像信号Ｍ９をフレームメモリ１０２に格納する。
一方、可変長符号化部１１０は、動きベクトルＭＶ、参照画像番号Ｉｄｘ、量子化値Ｍ６、および後述する管理情報符号化部１３６からの管理情報ＭＭＣＯを符号化し、符号化信号ｓｔｒを外部に出力する。
【００１３】
図１７（ａ）および（ｂ）は画像管理方法の説明図であり、それぞれ短時間メモリと長時間メモリを参照画像用メモリであるフレームメモリ１０２に確保した状態を示している。短時間メモリと長時間メモリを合わせたメモリ領域の数は決まっており、そこに格納される総使用可能画像（フレーム）数は決まっている。
【００１４】
従って、長時間メモリのメモリ領域数ＬＴｓｉｚｅを符号化することで、
短時間メモリのメモリ領域数ＳＴｓｉｚｅ＝総メモリ領域数−長時間メモリのメモリ領域数ＬＴｓｉｚｅ
として短時間メモリのメモリ領域数ＳＴｓｉｚｅが得られる。参照画像が記憶されている各領域には参照画像番号Ｉｄｘが割り当てられている。そして、この参照画像番号Ｉｄｘによって参照画像が識別される。また、短時間メモリと長時間メモリには画像がまだ記憶されていない領域（ｕｎｕｓｅｄ）があるが、この領域には、参照画像番号Ｉｄｘが割り当てられない。
【００１５】
画像を参照して符号化・復号化を行う場合は、前方画像として参照する画像を参照画像番号Ｉｄｘで表現する。
動画像符号化は、前方参照画像として複数の画像（フレーム）から任意の画像（フレーム）を参照画像として選択可能である。図１８は短時間メモリを用いた画像符号化の説明図である。短時間メモリは直前に復号化した数画像を記憶するものであり、いわゆるＭＰＥＧ−１やＭＰＥＧ−２のＰピクチャ（前方予測符号化ピクチャ）およびＢピクチャ（双方向予測符号化ピクチャ）の参照画像に相当する。
【００１６】
図１８（ａ）はＰピクチャの予測例である。Ｐピクチャでは、ＩピクチャもしくはＰピクチャのみを参照することが可能である。Ｆｒａｍｅ ３はＦｒａｍｅ ０を参照し、Ｆｒａｍｅ ６はＦｒａｍｅ ０またはＦｒａｍｅ ３を参照し、Ｆｒａｍｅ ９はＦｒａｍｅ ０、Ｆｒａｍｅ ３またはＦｒａｍｅ ６を参照して符号化・復号化が行える。
【００１７】
図１８（ｂ）はＢピクチャの予測例である。Ｂピクチャでは、Ｉピクチャ、Ｐピクチャを前方画像として参照することが可能である。後方画像はＩピクチャまたはＰピクチャで時間的に最も近い画面を１つ参照可能である。Ｆｒａｍｅ １およびＦｒａｍｅ ２はＦｒａｍｅ ０を前方参照し、Ｆｒａｍｅ ４およびＦｒａｍｅ ５はＦｒａｍｅ ０またはＦｒａｍｅ ３を参照し、Ｆｒａｍｅ ７およびＦｒａｍｅ ８はＦｒａｍｅ ０、Ｆｒａｍｅ ３またはＦｒａｍｅ ６を参照して符号化・復号化が行える。
なお、Ｂピクチャの予測では、Ｉピクチャ、Ｐピクチャに加え、Ｂピクチャを前方画像として参照することも導入されているものもある。
【００１８】
図１９は長時間メモリを用いた画像符号化の説明図である。短時間メモリは時間的に前に（符号化および）復号化した数画像を記憶するものであったが、長時間メモリは時間経過とは無関係に、明示的に画像の記憶および記憶内容の破棄を行うものである。例えば、監視カメラで複数のカメラを切り替えて撮影する際に、各カメラ毎の最終復号画像を長時間メモリに格納しておけば、再度同じカメラで撮影する際に前回同じカメラで撮影し長時間メモリに格納した画像との差分値を符号化すれば、画像間の相関が高く圧縮率が向上できる。
【００１９】
図１９で対象画像ＣｕｒＦｒａｍｅの参照画像として、図１８で示した短時間メモリよりも古い時刻の画面であるＬＴＦｒａｍｅ ０、ＬＴＦｒａｍｅ １、ＬＴＦｒａｍｅ ２、ＬＴＦｒａｍｅ ３を参照していることがわかる。このＬＴＦｒａｍｅ ０、ＬＴＦｒａｍｅ １、ＬＴＦｒａｍｅ ２、ＬＴＦｒａｍｅ ３が長時間メモリに格納される。
【００２０】
次に、フレームメモリ１０２に確保されているメモリの管理の動作を説明する。
長時間メモリサイズ変更信号ＬＴＳが外部より入力されると、長時間メモリサイズ変更信号ＬＴＳによる長時間メモリの新規のサイズが長時間メモリサイズ保持部１３０に保持される。そして、すでに長時間メモリサイズ保持部１３０に保持されている現在のメモリサイズと、長時間メモリサイズ変更信号ＬＴＳによる新規のメモリサイズとがメモリサイズ比較部１３１により比較される。ここで、長時間メモリのメモリサイズはメモリ領域の数に対応する。
【００２１】
次に、長時間メモリ開放部１３３は、メモリサイズ比較部１３１の比較結果により長時間メモリのメモリサイズが小さくなるときは、消失長時間メモリ検出部１３２により決定されるメモリ領域を開放して未使用状態にする。
このとき、長時間メモリのうち未使用状態にしたメモリ領域が短時間メモリのメモリ領域として使用できる。
【００２２】
また、長時間メモリ開放部１３３は、外部信号である長時間メモリ開放信号ＬＴＤにより示されたメモリ領域を開放して未使用状態にする。そして、短時間メモリ開放部１３４は、外部から入力される短時間メモリ開放信号ＳＴＤを受けてフレームメモリ１０２にある短時間メモリのメモリ領域を未使用状態にする。
【００２３】
また、長時間メモリ移動部１３５は、外部から入力される長時間メモリ移動信号ＬＴＭを受けて、フレームメモリ１０２にある短時間メモリのメモリ領域に記憶されている内容を長時間メモリのメモリ領域に移動させる。
そしてまた、これらの長時間メモリサイズ変更信号ＬＴＳ、長時間メモリ開放信号ＬＴＤ、短時間メモリ開放信号ＳＴＤ、長時間メモリ移動信号ＬＴＭは、管理情報符号化部１３６により符号化されて、管理情報ＭＭＣＯが可変長符号化部１１０に出力される。
【００２４】
上述した図１７（ａ）および（ｂ）は、それぞれ長時間メモリおよび短時間メモリのメモリ領域を変更する前と変更した後の状態を示したものである。図１７（ａ）では、短時間メモリのメモリサイズＳＴｓｉｚｅは、画像参照番号Ｉｄｘが０から５で示されるフレームの格納されている６つの各メモリ領域と、未使用状態の１つのメモリ領域で構成され、長時間メモリのメモリサイズＬＴｓｉｚｅは、画像参照番号Ｉｄｘが６から８で示されるフレームの格納されている３つの各メモリ領域と未使用状態の１つのメモリ領域で構成される。
【００２５】
そして、斜線を設けたメモリ領域はフレームが記憶された使用状態であり、斜線のないメモリ領域が未使用状態である。
このとき未使用状態とは、例えば、そのメモリ領域は未使用であるとフラグなどで設定された状態である。
【００２６】
この図１７（ｂ）では、長時間メモリのメモリサイズＬＴｓｉｚｅは２つのメモリ領域で構成され、短時間メモリのメモリサイズＳＴｓｉｚｅは９つのメモリ領域で構成されており、変更後は短時間メモリのメモリサイズＳＴｓｉｚｅが増加し、長時間メモリのメモリサイズＬＴｓｉｚｅが減少している。
一方、図２０（ａ）および（ｂ）は、短時間メモリと長時間メモリの各メモリ領域の変更前と変更後の状態を示しており、変更後で短時間メモリのメモリサイズＳＴｓｉｚｅが減少している。
【００２７】
図２１は従来の画像復号化方法から想定される画像復号化装置のブロック図であり、図１６に示された画像符号化装置で符号化された符号化信号ｓｔｒを復号化する。
図２１において、図１６に示された画像符号化装置のブロック図と同じ動作をするものには同じ番号を付し、その説明を省略する。
【００２８】
可変長復号化部１２０は符号化信号ｓｔｒを復号化し、動きベクトルＭＶ、参照画像番号Ｉｄｘをフレームメモリ１０２に出力し、動き補償誤差の量子化値Ｍ６を逆量子化部１０７に出力し、さらに管理情報ＭＭＣＯを管理情報復号化部２３６に出力する。
また、量子化値Ｍ６は逆量子化部１０７、逆直交変換部１０８を介して復号残差画像Ｍ８として加算部１０９に入力される。
【００２９】
動き補償部１０３は、フレームメモリ１０２から参照画像番号Ｉｄｘ、動きベクトルＭＶで示された領域の画素を動き補償参照画像Ｍ２として読み出し、所定の演算を行って動き補償画像Ｍ３を算出し、加算部１０９へ出力する。
加算部１０９は、復号残差画像Ｍ８と動き補償画像Ｍ３を加算して復号画像Ｖｏｕｔを出力するとともに、後続画像の復号化で参照するためにフレームメモリ１０２に出力する。
【００３０】
また管理情報復号化部２３６は、可変長復号化部１２０から管理情報ＭＭＣＯを取得して復号化し、長時間メモリサイズ変更信号ＬＴＳをフレームメモリ１０２、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１に出力し、長時間メモリ移動部１３５に長時間メモリ移動信号ＬＴＭを出力する。さらに、管理情報復号化部２３６は、長時間メモリ開放部１３３に長時間メモリ開放信号ＬＴＤを出力し、短時間メモリ開放部１３４に短時間メモリ開放信号ＳＴＤを出力する。
尚、短時間メモリ、長時間メモリのメモリ領域を未使用状態にし、それぞれのメモリ領域を変更する動作は、図１６の画像符号化装置と同じためその説明を省略する。
【００３１】
以上の構成により、図１６の画像符号化装置で符号化された符号化信号ｓｔｒを正しく復号化できる。
以上のようにして、フレームメモリを長時間メモリと短時間メモリに分割して参照画像を格納することで、圧縮の効率を図っている。
【００３２】
【発明が解決しようとする課題】
しかしながら、上述した構成であると、メモリ領域の変更時（フレームメモリの領域再配分時）に、短時間メモリのメモリサイズが小さくなる場合は、短時間メモリ内のメモリ領域を未使用状態にするなどの必要があるが、何らかの手当てを施さなければ短時間メモリ内の最新のデータが消えてしまうなどの不都合が生じる。そのために、符号化処理と復号化処理で不一致が生じてしまう。
【００３３】
そこで、本発明は上記の課題を解決するためになされたもので、フレームメモリの領域再配分（長時間メモリと短時間メモリの記憶領域の記憶容量の再配分）に伴う画像の符号化処理と復号化処理の不一致を回避した画像符号化装置および画像復号化装置を提供することにある。
【００３４】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像符号化装置は、入力された画像を参照画像と比較しながら符号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えることを特徴とする。
【００３５】
また、入力された画像を参照画像と比較しながら復号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えることを特徴とする。
【００３６】
また、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像符号化方法であって、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にすることを特徴とする。
【００３７】
また、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像復号化方法であって、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にすることを特徴とする。
【００３８】
【発明の実施の形態】
（実施の形態１）
以下、本発明の第１の実施の形態における画像符号化装置を図面を用いて説明する。
図１は、本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。
画像符号化装置は、動き検出部１０１、フレームメモリ１０２、動き補償部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０７、逆直交変換部１０８、加算部１０９、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１、消失長時間メモリ検出部１３２、長時間メモリ開放部１３３、消失短時間メモリ検出部１５０、短時間メモリ開放部１３４、長時間メモリ移動部１３５、管理情報符号化部１３６により構成されている。
【００３９】
図１６の画像符号化装置のブロック図と同じ動作をする機器は同じ符号を付している。
動き検出部１０１、フレームメモリ１０２、動き補償部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０７、逆直交変換部１０８、加算部１０９、可変長符号化部１１０による符号化は図１６の場合と同一であるため、その説明を省略する。
【００４０】
まず、本画像符号化装置におけるフレームメモリ１０２の管理の構成を説明する。
長時間メモリサイズ保持部１３０は、外部より入力される長時間メモリサイズ変更信号ＬＴＳを受けて長時間メモリの新規のメモリサイズを順次保持する保持部である。そしてメモリサイズ比較部１３１は、長時間メモリサイズ保持部１３０に現在保持されているメモリサイズと、長時間メモリサイズ変更信号ＬＴＳにより設定される新規のメモリサイズとを比較し、その比較結果を消失長時間メモリ検出部１３２と消失短時間メモリ検出部１５０に出力する。
【００４１】
消失長時間メモリ検出部１３２は、メモリサイズ比較部１３１の比較結果を受けて、長時間メモリのうち、記憶内容を未使用状態にするメモリ領域を決定して長時間メモリ開放部１３３にそのメモリ領域のアドレスを示した信号を出力する。
一方、消失短時間メモリ検出部１５０は、メモリサイズ比較部１３１の比較結果を受けて、短時間メモリのうち、記憶内容を未使用状態にするメモリ領域を決定して短時間メモリ開放部１３４にそのメモリ領域のアドレスを示した信号を出力する。
【００４２】
長時間メモリ開放部１３３は、フレームメモリ１０２の長時間メモリのうち、消失長時間メモリ検出部１３２により示されたメモリ領域を未使用状態にするとともに、外部から入力される長時間メモリ開放信号ＬＴＤにより示されるメモリ領域を未使用状態とする。
ここで未使用状態とは、そのメモリ領域は未使用状態であるとフラグなどで設定された状態である。
【００４３】
また、短時間メモリ開放部１３４は、フレームメモリ１０２の短時間メモリのうち、消失短時間メモリ検出部１５０により示されたメモリ領域を未使用状態にするとともに、外部から入力される短時間メモリ開放信号ＳＴＤにより示されるメモリ領域を未使用状態とする。
【００４４】
本願発明では、この消失短時間メモリ検出部１５０は、短時間メモリのうち古い時刻に記憶されたメモリ領域から順番に未使用状態にしている。
さらに、これらのメモリサイズ変更信号ＬＴＳ、長時間メモリ開放信号ＬＴＤ、短時間メモリ開放信号ＳＴＤ、長時間メモリ移動信号ＬＴＭは、管理情報符号化部１３６により符号化されて、管理情報ＭＭＣＯが可変長符号化部１１０に出力される
【００４５】
また、本実施形態において、フレームメモリ１０２に確保されている短時間メモリは、先入れ先出し方式（ＦＩＦＯ）のメモリであり、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数の画像が保存される。不要な画像については、明示的に開放することも可能である。そして、時間が近接する画像のみ保存され、通常のＭＰＥＧ１／２で使用される参照画像と同じ目的で使用される。
【００４６】
一方、長時間メモリは、ランダムアクセス方式のメモリであり、任意の領域にフレームを格納したり、任意の領域に格納されたフレームを読み出したりできる構成を備える。この長時間メモリは、背景画像や、シーン挿入前の画像（１つのシーンに他のシーンを挿入した場合の挿入開始直前）など、長時間後に参照される画像を保存し、上記短時間メモリよりも長い時間分の参照画像を記憶する。
【００４７】
また、長時間メモリに記憶する際は、短時間メモリに記憶されたものが長時間メモリに移動するという形式で行われ、長時間メモリ移動部１３５が長時間メモリ移動信号ＬＴＭを受けて、フレームメモリ１０２に記憶されているメモリのうち、短時間メモリのメモリ領域に記憶されている記憶内容を長時間メモリのメモリ領域に移動させる。
【００４８】
このように構成された画像符号化装置において、長時間メモリサイズ変更信号ＬＴＳを受けたときの動作を４通りの場合について説明する。
【００４９】
まず、図２のフローチャートと図３のメモリ領域の変化を表す図を用いて、第１番目の場合の動作を説明する。第１番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合と増加する場合のいずれの場合においても、減少分のメモリ領域をまず未使用状態にしてから各メモリのメモリサイズを変更する例である。
【００５０】
図３はフレームメモリ１０２のメモリのうち、長時間メモリと短時間メモリの各々の状態を示す図である。図３では、メモリ３１に示すようにメモリ領域番号Ａ０からＡ１０までの１１個のメモリ領域があり、斜線を引いたメモリ領域は使用されており、斜線のないメモリ領域は未使用状態である。
【００５１】
そして、短時間メモリはメモリ領域番号Ａ０からＡ６までの７つのメモリ領域があり、長時間メモリはメモリ領域番号Ａ７からＡ１０までの４つのメモリ領域があり、境界Ｋ１により短時間メモリ領域Ｓと長時間メモリ領域Ｌとに領域が分割されている。ここで短時間メモリ領域Ｓのメモリ領域の数が、短時間メモリのメモリサイズに対応し、長時間メモリ領域Ｌのメモリ領域の数が長時間メモリのメモリサイズに対応する。
【００５２】
短時間メモリ領域Ｓは、メモリ領域番号Ａ０からメモリ領域番号Ａ６の順にメモリに記憶される時刻が古くなっており、メモリ領域番号Ａ６のメモリは未使用状態である。
【００５３】
まず、長時間メモリサイズ変更信号ＬＴＳが外部より入力されると、メモリサイズ比較部１３１は、すでに長時間メモリサイズ保持部１３０に保持されている現在のメモリサイズと、長時間メモリサイズ変更信号ＬＴＳによる新規のメモリサイズとを比較する。すなわち、メモリサイズを変更するか否かの判定処理が行われる（ステップＳ１）。
【００５４】
メモリサイズ比較部１３１の比較結果で長時間メモリのメモリサイズの変更がないと判定された場合（ステップＳ１のＮ）は処理を終了するが、メモリサイズの変更があると判定された場合（ステップＳ１のＹ）、同じくメモリサイズ比較部１３１の比較結果より長時間メモリのメモリ領域を減少させるか否かの判定処理が行われる（ステップＳ２）。
【００５５】
そして、長時間メモリのメモリ領域を減少させる（例えば２つのメモリ領域を減少）と判定されたとき（ステップＳ２のＹ）、長時間メモリ開放部１３３は、長時間メモリのうちのメモリで、消失長時間メモリ検出部１３２により決定されたメモリ領域を未使用状態にする（ステップＳ３）。
すなわち、図３におけるメモリ３２となり、メモリ領域番号Ａ７、Ａ８のメモリ領域が未使用状態となる。
【００５６】
つづいて、消失長時間メモリ検出部１３２は、長時間メモリの未使用状態となったメモリ領域を短時間メモリに属するものとして短時間メモリに加えて記憶し、長時間メモリ領域Ｌと短時間メモリ領域Ｓのメモリサイズを変更する（ステップＳ４）。
【００５７】
この状態が図３のメモリ３３であり、長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界がＫ１からＫ２に変更され、短時間メモリはメモリ領域番号Ａ０からＡ８までの９つのメモリ領域となり、長時間メモリはメモリ領域番号Ａ９、Ａ１０の２つのメモリ領域となるよう長時間メモリと短時間メモリの記憶容量が再配分される。
ここでは、長時間メモリのメモリ領域を短時間メモリとして使用可能な状態とするために、その一例として未使用状態としている。
【００５８】
一方、上述した長時間メモリのメモリ領域を減少させるか否かの判定処理（ステップＳ２）において、メモリサイズ比較部１３１が長時間メモリのメモリ領域を減少させないと判定したとき（ステップＳ２のＮ）、短時間メモリのメモリ領域を減少させる（例えば３つのメモリ領域を減少させる）として、短時間メモリ開放部１３４は短時間メモリのメモリ領域のうち、フレームが記憶された時刻が古いメモリ領域から順に未使用状態にする（ステップＳ５）。このとき、消失短時間メモリ検出部１５０により未使用状態にするメモリ領域が決定される。
【００５９】
この状態を示すのが、図３のメモリ３４であり、短時間メモリ領域Ｓの古い時刻に記憶されたものから３つのメモリ領域（メモリ領域番号Ａ６、Ａ５、Ａ４）が未使用状態になる。この場合、メモリ領域番号Ａ６のメモリ領域は初めから未使用状態のため、短時間メモリ開放部１３４は、メモリ領域番号Ａ５、Ａ４のメモリ領域を未使用状態にする。
【００６０】
そして、短時間メモリ検出部１５０は、短時間メモリの未使用状態となったメモリ領域を長時間メモリに属するものとして長時間メモリに加えて記憶し、長時間メモリ領域Ｌと短時間メモリ領域Ｓのメモリサイズを変更する。
【００６１】
この状態が図３のメモリ３５であり、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界がＫ１からＫ３に変更され、短時間メモリ領域Ｓはメモリ領域番号Ａ０からＡ３までの４つのメモリ領域となり、長時間メモリ領域Ｌはメモリ領域番号Ａ４からＡ１０までの７つのメモリ領域となるよう長時間メモリと短時間メモリの記憶容量が再配分される（ステップＳ４）。
【００６２】
このような処理は、各メモリ領域に対して、そのメモリ領域が短時間メモリに属するのか、あるいは長時間メモリに属するのかを記憶するテーブルや、そのメモリ領域が使用されているのか、未使用であるのかを記憶するテーブルを設けることで簡単に行うことができる。
【００６３】
次に、第２番目の場合の動作を図４のフローチャートと図５の状態の変化を表す図を用いて説明する。第２番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合と増加する場合のいずれの場合においても、最初に長時間メモリと短時間メモリの各メモリのメモリサイズを変更して、次に各メモリのうち、一方の減少するメモリ領域を未使用状態にして他方のメモリに移す例である
【００６４】
図５のメモリ５１は、図３のメモリ３１と同様の構成である。
まず、図４のフローチャートで図２と異なる点、すなわち、メモリサイズを変更するか否かの判定処理（ステップＳ１）で、メモリサイズ比較部１３１が変更すると判定したとき（ステップＳ１でＹ）の処理を説明する。メモリサイズ比較部１３１がメモリサイズを変更すると判定すると、メモリサイズ比較部１３１の比較結果に応じて、消失長時間メモリ検出部１３２あるいは消失短時間メモリ検出部１５０が長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界を変更する。
【００６５】
この場合、長時間メモリ領域Ｌのメモリサイズが小さくなる場合は図５のメモリ５２に示すように、長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界がＫ１からＫ２に変更し、短時間メモリ領域Ｓのメモリサイズが小さくなる場合は、図５のメモリ５４に示すように、境界がＫ１からＫ３に変更する。（ステップＳ１１）。
つづいて、メモリサイズ比較部１３１による長時間メモリのメモリ領域を減少させるか否かを判定する処理（ステップＳ１２）がおこなわれる。
【００６６】
このとき、長時間メモリのメモリ領域を減少させると判定されたとき（ステップＳ１２のＹ）は、図５のメモリ５２に示されるように、短時間メモリ領域Ｓと長時間メモリ領域Ｌとの境界がＫ１からＫ２に変更された（ステップＳ１１において）ということであり、長時間メモリ開放部１３３は、図５のメモリ５３に示すように、消失長時間メモリ検出部１３２により決定されたメモリ領域（メモリ領域番号Ａ７，Ａ８）を未使用状態にする。そして、消失長時間メモリ検出部１３２は、未使用状態にしたメモリ領域を短時間メモリ領域Ｓに移して（ステップＳ１３）、処理を終了する。これにより、メモリ領域が短時間メモリ領域Ｓと長時間メモリ領域Ｌに再配分される。
【００６７】
一方、メモリサイズ比較部１３１が、長時間メモリのメモリサイズを減少させないと判定したとき（ステップＳ１２のＮ）は、図５のメモリ５４で示されるように、短時間メモリ領域Ｓと長時間メモリ領域Ｌとの境界がＫ１からＫ３に変更された（ステップＳ１１において）ということである。
【００６８】
つづいて短時間メモリ開放部１３４は、図５のメモリ５５で示すように、短時間メモリのメモリ領域のうちフレームの記憶された時刻が古い順（メモリ領域番号Ａ６、Ａ５，Ａ４の順）に未使用状態にする。この未使用状態にされるメモリ領域は、消失短時間メモリ検出部１５０により決定される。
【００６９】
そして、消失短時間メモリ検出部１５０は、未使用状態のメモリ領域を長時間メモリ領域Ｌに移し、ステップＳ１４）、処理を終了する。これにより、メモリ領域が短時間メモリ領域Ｓと長時間メモリ領域Ｌに再配分される。
【００７０】
上記処理はすなわち、メモリサイズを変更した時点（ステップＳ１１）では、境界Ｋ２、あるいはＫ３により短時間メモリと長時間メモリの領域（短時間メモリ領域Ｓと長時間メモリ領域Ｌ）が決定されたのであって、長時間メモリ、短時間メモリのうちのどのメモリ領域が他方のメモリに移るかは決定していない状態である。
【００７１】
つづいて、第３番目の場合の動作を図６のフローチャートと図７の状態の変化を表す図を用いて説明する。第３番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合は、減少するメモリ領域を未使用状態にして、各メモリのメモリサイズを変更し、一方長時間メモリのメモリ領域が増加する場合は、まず各メモリのメモリサイズを変更して、次に減少するメモリ領域を未使用状態にし他方のメモリに移す例である。
【００７２】
図７のメモリ７１の状態は、図３のメモリ３１の状態と同様である。
まず、図６のフローチャートで図２と異なる点、すなわち、長時間メモリのメモリ領域を減少させるか否かの判定処理（ステップＳ２）以降の処理について説明する。
【００７３】
メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させると判定したとき（ステップＳ２でＹ）、長時間メモリ開放部１３３は、長時間メモリのうち、消失長時間メモリ検出部１３２により決定されたメモリ領域を未使用状態にする（ステップＳ２１）。
すなわち、図７におけるメモリ７２の状態となり、メモリ領域番号Ａ７、Ａ８のメモリ領域が未使用状態となる。
【００７４】
つづいて、消失長時間メモリ検出部１３２は、図７のメモリ７３に示すように、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界をＫ１からＫ２に変更し、長時間メモリの未使用状態となったメモリ領域を短時間メモリ領域Ｓに移し（ステップＳ２２）、処理を終了する。すなわち、長時間メモリと短時間メモリの記憶容量が再配分される。
【００７５】
一方、メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させないと判定したとき（ステップＳ２でＮ）、消失短時間メモリ検出部１５０が短時間メモリのメモリ領域の数を減少させるようメモリサイズを変更する（ステップＳ２３）。図７のメモリ７４に示す状態がサイズを変更された状態であり、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界がＫ１からＫ３に変更されている。
【００７６】
つづいて短時間メモリ開放部１３４は、図７のメモリ７５で示すように、短時間メモリのメモリ領域のうちフレームの記憶された時刻が古い順（メモリ領域番号Ａ６、Ａ５，Ａ４の順）に未使用状態にする。この未使用状態にされるメモリ領域は、消失短時間メモリ検出部１５０により決定される。そして、消失短時間メモリ検出部１５０は、短時間メモリ領域Ｓで未使用状態になったメモリ領域を、長時間メモリ領域Ｌに移し（ステップＳ２４）、処理を終了する。
【００７７】
上記処理においても、メモリサイズを変更した時点（ステップＳ２３）では、境界Ｋ３により短時間メモリと長時間メモリの領域が決定されただけであって、どの短時間メモリ領域Ｓのどのメモリ領域が長時間メモリ領域Ｌに移るかは決定していない状態である。つまり、メモリサイズを変更した時点では、メモリ領域番号Ａ４、Ａ５、Ａ６のメモリ領域は短時間メモリに属している。
【００７８】
さらに、第４番目の場合の動作を図８のフローチャートと図９の状態の変化を表す図を用いて説明する。第４番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合は、まず各メモリのメモリサイズを変更して、次に減少するメモリ領域を未使用状態にし他方のメモリに移し、一方長時間メモリのメモリ領域が増加する場合は、まず減少するメモリ領域を未使用状態にして、次に各メモリのメモリサイズを変更する例である。
【００７９】
図９のメモリ９１は、図３のメモリ３１と同様の状態である。
まず、図８のフローチャートで図２と異なる点、すなわち、長時間メモリのメモリ領域を減少させるか否かの判定処理（ステップＳ２）以降の処理について説明する。
【００８０】
メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させると判定したとき（ステップＳ２でＹ）、消失長時間メモリ検出部１３２が長時間メモリのメモリ領域数を減少させるようメモリサイズを変更する（ステップＳ３１）。
図９のメモリ９２に示す状態がサイズを変更された状態であり、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界がＫ１からＫ２に変更されている。
【００８１】
つづいて長時間メモリ開放部１３３は、図９のメモリ９３で示すように、消失長時間メモリ検出部１３２により決定される長時間メモリのメモリ領域（メモリ領域番号Ａ７，Ａ８）を未使用状態にする。そして、消失長時間メモリ検出部１３２は、未使用状態になったメモリ領域を短時間メモリ領域Ｓに移し（ステップＳ３２）、処理を終了する。
【００８２】
上記処理は、メモリサイズを変更した時点（ステップＳ３１）では、境界Ｋ２により短時間メモリと長時間メモリの領域が決定されたのであり、長時間メモリ領域Ｓのうちのどのメモリ領域が短時間メモリ領域Ｌに移るかは決定していない状態である。つまり、メモリサイズを変更した時点では、メモリ領域番号Ａ７、Ａ８のメモリは長時間メモリである。
【００８３】
一方、メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させないと判定したとき（ステップＳ２でＮ）、短時間メモリ開放部１３４は、消失短時間メモリ検出部１５０により決定されたメモリ領域を未使用状態にする（ステップＳ３３）。このとき、図９のメモリ９４に示すように、短時間メモリのメモリ領域のうち、記憶された時刻が古い順（メモリ領域番号Ａ６、Ａ５、Ａ４の順番）で３つのメモリ領域が未使用状態となる。
【００８４】
つづいて、消失短時間メモリ検出部１５０は、短時間メモリの未使用状態となったメモリ領域を長時間メモリとするようにメモリサイズを変更して（ステップＳ３４）、処理を終了する。このメモリのサイズを変更した状態が図９のメモリ９５の状態であり、長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界がＫ１からＫ３に変更される。
【００８５】
尚、図３、図５、図７、図９で説明したメモリは、論理的に短時間メモリ領域と長時間メモリ領域との比率が変わることを示しており、物理的なメモリ領域の配置は、物理的に連続する配置である必要はない。
以上のようにして、画像符号化装置が実現できる。
【００８６】
このように本実施の形態によれば、短時間メモリのメモリ領域を未使用状態にして、他方の長時間メモリのメモリ領域に変更させるときに、短時間メモリの古い時刻に記憶されたメモリ領域より未使用状態にしていくため、入力画像をフレームと比較しながら符号化する装置において、入力された画像をより参照になりうる可能性の高い新しいフレームと比較しながら符号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
【００８７】
（実施形態２）
図１０は本発明の画像復号化装置のブロック図であり、図１で示した画像符号化装置で符号化された符号化信号ｓｔｒを復号化する。
図１０において、図１および図１２で示した画像復号化装置と同じものには同じ符号を付しその説明を説明する。
【００８８】
図１０において、画像復号化装置は可変長復号化部１２０と、フレームメモリ１０２と、動き補償部１０３と、逆量子化部１０７と、逆直交変換部１０８と、加算部１０９と、管理情報復号化部２３６と、長時間メモリサイズ保持部１３０と、メモリサイズ比較部１３１と、消失長時間メモリ検出部１３２と、長時間メモリ開放部１３３と、消失短時間メモリ検出部１５０と、短時間メモリ開放部１３４と、長時間メモリ移動部１３５とにより構成されており、入力した符号化信号ｓｔｒを復号化して復号画像Ｖｏｕｔを出力する。
【００８９】
図２１で説明したように、可変長復号化部１２０は符号化信号ｓｔｒを復号化し、動きベクトルＭＶ、参照画像番号Ｉｄｘをフレームメモリ１０２に出力し、量子化値Ｍ６を逆量子化部１０７に出力し、さらに管理情報ＭＭＣＯを管理情報復号化部２３６に出力する。
また、量子化値Ｍ６は逆量子化部１０７、逆直交変換部１０８を介して復号残差画像Ｍ８として加算部１０９に入力される。
【００９０】
動き補償部１０３は、フレームメモリ１０２から参照画像番号Ｉｄｘ、動きベクトルＭＶで示された領域の画素を動き補償参照画像Ｍ２として読み出し、所定の演算を行って動き補償画像Ｍ３を算出し、加算部１０９へ出力する。
加算部１０９は、復号残差画像Ｍ８と動き補償画像Ｍ３を加算して復号画像Ｖｏｕｔを出力するとともに、後続画像の復号化で参照するためにフレームメモリ１０２に出力する。
【００９１】
また管理情報復号化部２３６は、可変長復号化部１２０から管理情報ＭＭＣＯを取得して復号化し、長時間メモリサイズ変更信号ＬＴＳをフレームメモリ１０２、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１に出力し、長時間メモリ移動部１３５に長時間メモリ移動信号ＬＴＭを出力する。さらに、管理情報復号化部２３６は、長時間メモリ開放部１３３に長時間メモリ開放信号ＬＴＤを出力し、短時間メモリ開放部１３４に短時間メモリ開放信号ＳＴＤを出力する。
【００９２】
短時間メモリ、長時間メモリのメモリ領域を未使用状態にし、それぞれのメモリ領域を変更する動作は、図１の画像符号化装置と同じためその説明を省略する。
以上の構成により、図１０の画像符号化装置の符号化された符号化信号ｓｔｒを正しく復号化できる。
【００９３】
以上のように本実施の形態によれば、短時間メモリのメモリ領域を未使用状態にして、他方の長時間メモリのメモリ領域に変更させるときに、短時間メモリの古い時刻に記憶されたメモリ領域より未使用状態にしていくため、入力画像をフレームと比較しながら復号化する装置において、入力された画像をより参照になりうる可能性の高い新しいフレームと比較しながら復号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
尚、上記各実施の形態で「メモリ領域を開放する」とした処理は、メモリ領域の内容を削除する処理を伴ってもよい。
【００９４】
また、上記実施の形態で示した画像符号化装置および画像復号化装置は、ＬＳＩ等の専用ハードウェアで実現することができるだけでなく、パーソナルコンピュータ等の汎用のコンピュータに実行させるプログラムとして実現することもできる。
そして、そのようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどの伝送媒体を介して流通させることができる。
【００９５】
図１１は、上記実施の形態の画像符号化装置に用いた画像符号化方法および画像復号化装置に用いた画像復号化方法をフレキシブルディスクに格納させたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００９６】
図１１（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１１（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法および画像復号化方法が記録されている。
【００９７】
また、図１１（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法および画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００９８】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００９９】
以上のように、本実施の形態では、長時間メモリに関しては、メモリ領域のうちどの部分を長時間メモリに割り当てるかを予め決め、それぞれのメモリを一意に指定することができるインデックスを決める。また、長時間メモリの増加、減少の大きさが明示的に変更される場合は、以下のような処理が行われる。
長時間メモリが減少するときには、長時間メモリのうち例えば、インデックスの大きい領域から順番に短時間メモリに割り当てられる。なお、インデックスの小さい領域から順番に短時間メモリに割り当ててもよい。
一方、短時間メモリに関しては、通常はＦＩＦＯによってメモリ領域の使用の有無が決定されており、長時間メモリが増加する場合は、まず、短時間メモリのうち、使用されていないメモリから長時間メモリに割り当てるようにする。
【０１００】
さらにここで、上記実施の形態で示した画像符号化装置または画像復号化装置の応用例とそれを用いたシステムを説明する。
図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１０１】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１０２】
しかし、コンテンツ供給システムｅｘ１００は図１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１０３】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１０４】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。
【０１０５】
また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。
【０１０６】
なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１０７】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。
【０１０８】
クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１０９】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１１０】
図１３は、上記実施の形態で説明した画像符号化装置および画像復号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアｅｘ２０７、携帯電話ｅｘ１１５に記憶メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記憶メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１１１】
さらに、携帯電話ｅｘ１１５について図１４を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１１２】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１１３】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１１４】
また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１１５】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１１６】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１１７】
画像符号化部ｅｘ３１２は、図１で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１１８】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１１９】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１２０】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１２１】
次に、画像復号化部ｅｘ３０９は、図１０で説明した画像復号化装置を備えた構成であり、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１２２】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１５に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。
【０１２３】
具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。
【０１２４】
この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。
【０１２５】
このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１２６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１４に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１２７】
このように、図１、図１０の実施の形態で示した画像符号化装置、画像復号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、図１、図１０で説明した効果を得ることができる。
【０１２８】
【発明の効果】
以上の説明から明らかなように、本発明に係る画像符号化装置は、入力された画像を参照画像と比較しながら符号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えることを特徴とする。
【０１２９】
これによって、第１の記憶領域の記憶容量が小さくなるとき、古い時刻に記憶された参照画像から消失されるため、入力された画像をより参照になりうる可能性の高い新しい参照画像と比較しながら符号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
【０１３０】
また、入力された画像を参照画像と比較しながら復号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えるようにしてもよい。
【０１３１】
これによって、第１の記憶領域の記憶容量が小さくなるとき、古い時刻に記憶された参照画像から消失されるため、入力された画像をより参照になりうる可能性の高い新しい参照画像と比較しながら復号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。
【図２】同上の画像符号化装置の動作を示すフローチャートである。
【図３】同上の画像符号化装置におけるメモリの状態を示す図である。
【図４】同上の画像符号化装置の他の動作を示すフローチャートである。
【図５】同上の画像符号化装置におけるメモリの他の状態を示す図である。
【図６】同上の画像符号化装置の更に他の動作を示すフローチャートである。
【図７】同上の画像符号化装置におけるメモリの更に他の状態を示す図である。
【図８】同上の画像符号化装置のまた更に他の動作を示すフローチャートである。
【図９】同上の画像符号化装置におけるメモリのまた更に他の状態を示す図である。
【図１０】本発明の第２の実施の形態における画像復号化装置の構成を示すブロック図である。
【図１１】（ａ）（ｂ）（ｃ）はいずれも、本発明における画像符号化方法および画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【図１２】本発明における画像符号化装置および画像復号化装置を用いたコンテンツ供給システムの全体構成を示す構成図である。
【図１３】本発明における画像符号化装置および画像復号化装置を用いた携帯電話の構成を示す外観図である。
【図１４】同上の携帯電話の構成を示すブロック図である。
【図１５】本発明における画像符号化装置および画像復号化装置を用いたディジタル放送システムの全体構成を示す構成図である。
【図１６】従来の画像符号化方法などから想定される画像符号化装置の構成を示すブロック図である。
【図１７】（ａ）（ｂ）はいずれも画像管理方法の説明図である。
【図１８】（ａ）（ｂ）はいずれも短時間メモリを用いた画像符号化の説明図である。
【図１９】長時間メモリを用いた画像符号化の説明図である。
【図２０】（ａ）（ｂ）はいずれも画像管理方法の説明図である。
【図２１】従来の画像復号化方法から想定される画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０１ 動き検出部
１０２ フレームメモリ
１０３ 動き補償部
１０４ 減算部
１０５ 直交変換部
１０６ 量子化部
１０７ 逆量子化部
１０８ 逆直交変換部
１０９ 加算部
１１０ 可変長符号化部
１３０ 長時間メモリサイズ保持部
１３１ メモリサイズ比較部
１３２ 消失長時間メモリ検出部
１３３ 長時間メモリ開放部
１３４ 短時間メモリ開放部
１３５ 長時間メモリ移動部
１３６ 管理情報符号化部
１５０ 消失短時間メモリ検出部
【発明の属する技術分野】
本発明は、動画像信号を画面間の相関を利用して効率良く符号化する画像符号化方法と画像符号化装置、および符号化されたものを復号化する画像復号化方法と画像復号化装置、並びにそれをソフトウェアで実施するためのプログラムが記録された記録媒体に関する。
【０００２】
【従来の技術】
近年、音声，画像，その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
【０００３】
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４ｋｂｐｓ〜１．５Ｍｂｐｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。
【０００４】
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ（国際電気通信連合 電気通信標準化部門）で国際標準化されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
【０００５】
ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、動画面信号のデジタル圧縮の国際規格であり、ＭＰＥＧ−１は、動画面信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Ｍｂｐｓに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号が２〜１５Ｍｂｐｓに圧縮される。
【０００６】
さらに現状では、ＭＰＥＧ−１，ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１） によって、より圧縮率が高いＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても主観的な画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＳＯ／ＩＥＣとＩＴＵの共同で次世代画面符号化方式として、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）の標準化活動が進んでおり、現時点ではジョイント・モデル１（ＪＭ１）と呼ばれるものが最新である。
【０００７】
図１６は従来の画像符号化方法および上記ＪＭ１において検討されているメモリの管理方法から想定される画像符号化装置のブロック図である。この画像符号化装置は、動き検出部１０１、フレームメモリ１０２、動き補償部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０７、逆直交変換部１０８、加算部１０９、可変長符号化部１１０、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１、消失長時間メモリ検出部１３２、長時間メモリ開放部１３３、短時間メモリ開放部１３４、長時間メモリ移動部１３５、管理情報符号化部１３６から構成される。
【０００８】
まず、画像を符号化する動作を説明する。動き検出部１０１は入力画像Ｖｉｎとフレームメモリ１０２の参照画像Ｍ１を比較し、最も両者の差分値が小さくなる参照画像を示す参照画像番号Ｉｄｘを特定するとともに、その画素の動き量である動きベクトルＭＶを算出し、フレームメモリ１０２と、可変長符号化部１１０に出力する。
【０００９】
動き補償部１０３は、フレームメモリ１０２から参照画像番号Ｉｄｘと動きベクトルＭＶで示された領域の画素を動き補償参照画像Ｍ２として読み出し、所定の演算を行って動き補償画像Ｍ３を生成し、加算部１０９に出力する。
【００１０】
減算部１０４は、入力画像Ｖｉｎと動き補償画像Ｍ３の差分値である残差画像Ｍ４を計算して直交変換部１０５に出力し、直交変換部１０５は残差画像Ｍ４を周波数領域に変換した周波数成分Ｍ５を量子化部１０６に出力する。また量子化部１０６は周波数成分Ｍ５を量子化し、動き補償誤差の量子化値Ｍ６を逆量子化部１０７と可変長符号化部１１０に出力する。
【００１１】
さらに逆量子化部１０７は量子化値Ｍ６を逆量子化して逆直交変換部１０８に復号周波数成分Ｍ７を出力し、逆直交変換部１０８は復号周波数成分Ｍ７の周波数領域から画素の差分値である復号残差画像Ｍ８を算出して加算部１０９に出力する。
【００１２】
加算部１０９は、復号残差画像Ｍ８と動き補償画像Ｍ３を加算して復号画像信号Ｍ９を算出し、その復号画像信号Ｍ９をフレームメモリ１０２に格納する。
一方、可変長符号化部１１０は、動きベクトルＭＶ、参照画像番号Ｉｄｘ、量子化値Ｍ６、および後述する管理情報符号化部１３６からの管理情報ＭＭＣＯを符号化し、符号化信号ｓｔｒを外部に出力する。
【００１３】
図１７（ａ）および（ｂ）は画像管理方法の説明図であり、それぞれ短時間メモリと長時間メモリを参照画像用メモリであるフレームメモリ１０２に確保した状態を示している。短時間メモリと長時間メモリを合わせたメモリ領域の数は決まっており、そこに格納される総使用可能画像（フレーム）数は決まっている。
【００１４】
従って、長時間メモリのメモリ領域数ＬＴｓｉｚｅを符号化することで、
短時間メモリのメモリ領域数ＳＴｓｉｚｅ＝総メモリ領域数−長時間メモリのメモリ領域数ＬＴｓｉｚｅ
として短時間メモリのメモリ領域数ＳＴｓｉｚｅが得られる。参照画像が記憶されている各領域には参照画像番号Ｉｄｘが割り当てられている。そして、この参照画像番号Ｉｄｘによって参照画像が識別される。また、短時間メモリと長時間メモリには画像がまだ記憶されていない領域（ｕｎｕｓｅｄ）があるが、この領域には、参照画像番号Ｉｄｘが割り当てられない。
【００１５】
画像を参照して符号化・復号化を行う場合は、前方画像として参照する画像を参照画像番号Ｉｄｘで表現する。
動画像符号化は、前方参照画像として複数の画像（フレーム）から任意の画像（フレーム）を参照画像として選択可能である。図１８は短時間メモリを用いた画像符号化の説明図である。短時間メモリは直前に復号化した数画像を記憶するものであり、いわゆるＭＰＥＧ−１やＭＰＥＧ−２のＰピクチャ（前方予測符号化ピクチャ）およびＢピクチャ（双方向予測符号化ピクチャ）の参照画像に相当する。
【００１６】
図１８（ａ）はＰピクチャの予測例である。Ｐピクチャでは、ＩピクチャもしくはＰピクチャのみを参照することが可能である。Ｆｒａｍｅ ３はＦｒａｍｅ ０を参照し、Ｆｒａｍｅ ６はＦｒａｍｅ ０またはＦｒａｍｅ ３を参照し、Ｆｒａｍｅ ９はＦｒａｍｅ ０、Ｆｒａｍｅ ３またはＦｒａｍｅ ６を参照して符号化・復号化が行える。
【００１７】
図１８（ｂ）はＢピクチャの予測例である。Ｂピクチャでは、Ｉピクチャ、Ｐピクチャを前方画像として参照することが可能である。後方画像はＩピクチャまたはＰピクチャで時間的に最も近い画面を１つ参照可能である。Ｆｒａｍｅ １およびＦｒａｍｅ ２はＦｒａｍｅ ０を前方参照し、Ｆｒａｍｅ ４およびＦｒａｍｅ ５はＦｒａｍｅ ０またはＦｒａｍｅ ３を参照し、Ｆｒａｍｅ ７およびＦｒａｍｅ ８はＦｒａｍｅ ０、Ｆｒａｍｅ ３またはＦｒａｍｅ ６を参照して符号化・復号化が行える。
なお、Ｂピクチャの予測では、Ｉピクチャ、Ｐピクチャに加え、Ｂピクチャを前方画像として参照することも導入されているものもある。
【００１８】
図１９は長時間メモリを用いた画像符号化の説明図である。短時間メモリは時間的に前に（符号化および）復号化した数画像を記憶するものであったが、長時間メモリは時間経過とは無関係に、明示的に画像の記憶および記憶内容の破棄を行うものである。例えば、監視カメラで複数のカメラを切り替えて撮影する際に、各カメラ毎の最終復号画像を長時間メモリに格納しておけば、再度同じカメラで撮影する際に前回同じカメラで撮影し長時間メモリに格納した画像との差分値を符号化すれば、画像間の相関が高く圧縮率が向上できる。
【００１９】
図１９で対象画像ＣｕｒＦｒａｍｅの参照画像として、図１８で示した短時間メモリよりも古い時刻の画面であるＬＴＦｒａｍｅ ０、ＬＴＦｒａｍｅ １、ＬＴＦｒａｍｅ ２、ＬＴＦｒａｍｅ ３を参照していることがわかる。このＬＴＦｒａｍｅ ０、ＬＴＦｒａｍｅ １、ＬＴＦｒａｍｅ ２、ＬＴＦｒａｍｅ ３が長時間メモリに格納される。
【００２０】
次に、フレームメモリ１０２に確保されているメモリの管理の動作を説明する。
長時間メモリサイズ変更信号ＬＴＳが外部より入力されると、長時間メモリサイズ変更信号ＬＴＳによる長時間メモリの新規のサイズが長時間メモリサイズ保持部１３０に保持される。そして、すでに長時間メモリサイズ保持部１３０に保持されている現在のメモリサイズと、長時間メモリサイズ変更信号ＬＴＳによる新規のメモリサイズとがメモリサイズ比較部１３１により比較される。ここで、長時間メモリのメモリサイズはメモリ領域の数に対応する。
【００２１】
次に、長時間メモリ開放部１３３は、メモリサイズ比較部１３１の比較結果により長時間メモリのメモリサイズが小さくなるときは、消失長時間メモリ検出部１３２により決定されるメモリ領域を開放して未使用状態にする。
このとき、長時間メモリのうち未使用状態にしたメモリ領域が短時間メモリのメモリ領域として使用できる。
【００２２】
また、長時間メモリ開放部１３３は、外部信号である長時間メモリ開放信号ＬＴＤにより示されたメモリ領域を開放して未使用状態にする。そして、短時間メモリ開放部１３４は、外部から入力される短時間メモリ開放信号ＳＴＤを受けてフレームメモリ１０２にある短時間メモリのメモリ領域を未使用状態にする。
【００２３】
また、長時間メモリ移動部１３５は、外部から入力される長時間メモリ移動信号ＬＴＭを受けて、フレームメモリ１０２にある短時間メモリのメモリ領域に記憶されている内容を長時間メモリのメモリ領域に移動させる。
そしてまた、これらの長時間メモリサイズ変更信号ＬＴＳ、長時間メモリ開放信号ＬＴＤ、短時間メモリ開放信号ＳＴＤ、長時間メモリ移動信号ＬＴＭは、管理情報符号化部１３６により符号化されて、管理情報ＭＭＣＯが可変長符号化部１１０に出力される。
【００２４】
上述した図１７（ａ）および（ｂ）は、それぞれ長時間メモリおよび短時間メモリのメモリ領域を変更する前と変更した後の状態を示したものである。図１７（ａ）では、短時間メモリのメモリサイズＳＴｓｉｚｅは、画像参照番号Ｉｄｘが０から５で示されるフレームの格納されている６つの各メモリ領域と、未使用状態の１つのメモリ領域で構成され、長時間メモリのメモリサイズＬＴｓｉｚｅは、画像参照番号Ｉｄｘが６から８で示されるフレームの格納されている３つの各メモリ領域と未使用状態の１つのメモリ領域で構成される。
【００２５】
そして、斜線を設けたメモリ領域はフレームが記憶された使用状態であり、斜線のないメモリ領域が未使用状態である。
このとき未使用状態とは、例えば、そのメモリ領域は未使用であるとフラグなどで設定された状態である。
【００２６】
この図１７（ｂ）では、長時間メモリのメモリサイズＬＴｓｉｚｅは２つのメモリ領域で構成され、短時間メモリのメモリサイズＳＴｓｉｚｅは９つのメモリ領域で構成されており、変更後は短時間メモリのメモリサイズＳＴｓｉｚｅが増加し、長時間メモリのメモリサイズＬＴｓｉｚｅが減少している。
一方、図２０（ａ）および（ｂ）は、短時間メモリと長時間メモリの各メモリ領域の変更前と変更後の状態を示しており、変更後で短時間メモリのメモリサイズＳＴｓｉｚｅが減少している。
【００２７】
図２１は従来の画像復号化方法から想定される画像復号化装置のブロック図であり、図１６に示された画像符号化装置で符号化された符号化信号ｓｔｒを復号化する。
図２１において、図１６に示された画像符号化装置のブロック図と同じ動作をするものには同じ番号を付し、その説明を省略する。
【００２８】
可変長復号化部１２０は符号化信号ｓｔｒを復号化し、動きベクトルＭＶ、参照画像番号Ｉｄｘをフレームメモリ１０２に出力し、動き補償誤差の量子化値Ｍ６を逆量子化部１０７に出力し、さらに管理情報ＭＭＣＯを管理情報復号化部２３６に出力する。
また、量子化値Ｍ６は逆量子化部１０７、逆直交変換部１０８を介して復号残差画像Ｍ８として加算部１０９に入力される。
【００２９】
動き補償部１０３は、フレームメモリ１０２から参照画像番号Ｉｄｘ、動きベクトルＭＶで示された領域の画素を動き補償参照画像Ｍ２として読み出し、所定の演算を行って動き補償画像Ｍ３を算出し、加算部１０９へ出力する。
加算部１０９は、復号残差画像Ｍ８と動き補償画像Ｍ３を加算して復号画像Ｖｏｕｔを出力するとともに、後続画像の復号化で参照するためにフレームメモリ１０２に出力する。
【００３０】
また管理情報復号化部２３６は、可変長復号化部１２０から管理情報ＭＭＣＯを取得して復号化し、長時間メモリサイズ変更信号ＬＴＳをフレームメモリ１０２、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１に出力し、長時間メモリ移動部１３５に長時間メモリ移動信号ＬＴＭを出力する。さらに、管理情報復号化部２３６は、長時間メモリ開放部１３３に長時間メモリ開放信号ＬＴＤを出力し、短時間メモリ開放部１３４に短時間メモリ開放信号ＳＴＤを出力する。
尚、短時間メモリ、長時間メモリのメモリ領域を未使用状態にし、それぞれのメモリ領域を変更する動作は、図１６の画像符号化装置と同じためその説明を省略する。
【００３１】
以上の構成により、図１６の画像符号化装置で符号化された符号化信号ｓｔｒを正しく復号化できる。
以上のようにして、フレームメモリを長時間メモリと短時間メモリに分割して参照画像を格納することで、圧縮の効率を図っている。
【００３２】
【発明が解決しようとする課題】
しかしながら、上述した構成であると、メモリ領域の変更時（フレームメモリの領域再配分時）に、短時間メモリのメモリサイズが小さくなる場合は、短時間メモリ内のメモリ領域を未使用状態にするなどの必要があるが、何らかの手当てを施さなければ短時間メモリ内の最新のデータが消えてしまうなどの不都合が生じる。そのために、符号化処理と復号化処理で不一致が生じてしまう。
【００３３】
そこで、本発明は上記の課題を解決するためになされたもので、フレームメモリの領域再配分（長時間メモリと短時間メモリの記憶領域の記憶容量の再配分）に伴う画像の符号化処理と復号化処理の不一致を回避した画像符号化装置および画像復号化装置を提供することにある。
【００３４】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像符号化装置は、入力された画像を参照画像と比較しながら符号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えることを特徴とする。
【００３５】
また、入力された画像を参照画像と比較しながら復号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えることを特徴とする。
【００３６】
また、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像符号化方法であって、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にすることを特徴とする。
【００３７】
また、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像復号化方法であって、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にすることを特徴とする。
【００３８】
【発明の実施の形態】
（実施の形態１）
以下、本発明の第１の実施の形態における画像符号化装置を図面を用いて説明する。
図１は、本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。
画像符号化装置は、動き検出部１０１、フレームメモリ１０２、動き補償部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０７、逆直交変換部１０８、加算部１０９、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１、消失長時間メモリ検出部１３２、長時間メモリ開放部１３３、消失短時間メモリ検出部１５０、短時間メモリ開放部１３４、長時間メモリ移動部１３５、管理情報符号化部１３６により構成されている。
【００３９】
図１６の画像符号化装置のブロック図と同じ動作をする機器は同じ符号を付している。
動き検出部１０１、フレームメモリ１０２、動き補償部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０７、逆直交変換部１０８、加算部１０９、可変長符号化部１１０による符号化は図１６の場合と同一であるため、その説明を省略する。
【００４０】
まず、本画像符号化装置におけるフレームメモリ１０２の管理の構成を説明する。
長時間メモリサイズ保持部１３０は、外部より入力される長時間メモリサイズ変更信号ＬＴＳを受けて長時間メモリの新規のメモリサイズを順次保持する保持部である。そしてメモリサイズ比較部１３１は、長時間メモリサイズ保持部１３０に現在保持されているメモリサイズと、長時間メモリサイズ変更信号ＬＴＳにより設定される新規のメモリサイズとを比較し、その比較結果を消失長時間メモリ検出部１３２と消失短時間メモリ検出部１５０に出力する。
【００４１】
消失長時間メモリ検出部１３２は、メモリサイズ比較部１３１の比較結果を受けて、長時間メモリのうち、記憶内容を未使用状態にするメモリ領域を決定して長時間メモリ開放部１３３にそのメモリ領域のアドレスを示した信号を出力する。
一方、消失短時間メモリ検出部１５０は、メモリサイズ比較部１３１の比較結果を受けて、短時間メモリのうち、記憶内容を未使用状態にするメモリ領域を決定して短時間メモリ開放部１３４にそのメモリ領域のアドレスを示した信号を出力する。
【００４２】
長時間メモリ開放部１３３は、フレームメモリ１０２の長時間メモリのうち、消失長時間メモリ検出部１３２により示されたメモリ領域を未使用状態にするとともに、外部から入力される長時間メモリ開放信号ＬＴＤにより示されるメモリ領域を未使用状態とする。
ここで未使用状態とは、そのメモリ領域は未使用状態であるとフラグなどで設定された状態である。
【００４３】
また、短時間メモリ開放部１３４は、フレームメモリ１０２の短時間メモリのうち、消失短時間メモリ検出部１５０により示されたメモリ領域を未使用状態にするとともに、外部から入力される短時間メモリ開放信号ＳＴＤにより示されるメモリ領域を未使用状態とする。
【００４４】
本願発明では、この消失短時間メモリ検出部１５０は、短時間メモリのうち古い時刻に記憶されたメモリ領域から順番に未使用状態にしている。
さらに、これらのメモリサイズ変更信号ＬＴＳ、長時間メモリ開放信号ＬＴＤ、短時間メモリ開放信号ＳＴＤ、長時間メモリ移動信号ＬＴＭは、管理情報符号化部１３６により符号化されて、管理情報ＭＭＣＯが可変長符号化部１１０に出力される
【００４５】
また、本実施形態において、フレームメモリ１０２に確保されている短時間メモリは、先入れ先出し方式（ＦＩＦＯ）のメモリであり、新規のものが記憶されると記憶した時刻が古い記憶内容が順に破棄され、常に最新の一定フレーム数の画像が保存される。不要な画像については、明示的に開放することも可能である。そして、時間が近接する画像のみ保存され、通常のＭＰＥＧ１／２で使用される参照画像と同じ目的で使用される。
【００４６】
一方、長時間メモリは、ランダムアクセス方式のメモリであり、任意の領域にフレームを格納したり、任意の領域に格納されたフレームを読み出したりできる構成を備える。この長時間メモリは、背景画像や、シーン挿入前の画像（１つのシーンに他のシーンを挿入した場合の挿入開始直前）など、長時間後に参照される画像を保存し、上記短時間メモリよりも長い時間分の参照画像を記憶する。
【００４７】
また、長時間メモリに記憶する際は、短時間メモリに記憶されたものが長時間メモリに移動するという形式で行われ、長時間メモリ移動部１３５が長時間メモリ移動信号ＬＴＭを受けて、フレームメモリ１０２に記憶されているメモリのうち、短時間メモリのメモリ領域に記憶されている記憶内容を長時間メモリのメモリ領域に移動させる。
【００４８】
このように構成された画像符号化装置において、長時間メモリサイズ変更信号ＬＴＳを受けたときの動作を４通りの場合について説明する。
【００４９】
まず、図２のフローチャートと図３のメモリ領域の変化を表す図を用いて、第１番目の場合の動作を説明する。第１番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合と増加する場合のいずれの場合においても、減少分のメモリ領域をまず未使用状態にしてから各メモリのメモリサイズを変更する例である。
【００５０】
図３はフレームメモリ１０２のメモリのうち、長時間メモリと短時間メモリの各々の状態を示す図である。図３では、メモリ３１に示すようにメモリ領域番号Ａ０からＡ１０までの１１個のメモリ領域があり、斜線を引いたメモリ領域は使用されており、斜線のないメモリ領域は未使用状態である。
【００５１】
そして、短時間メモリはメモリ領域番号Ａ０からＡ６までの７つのメモリ領域があり、長時間メモリはメモリ領域番号Ａ７からＡ１０までの４つのメモリ領域があり、境界Ｋ１により短時間メモリ領域Ｓと長時間メモリ領域Ｌとに領域が分割されている。ここで短時間メモリ領域Ｓのメモリ領域の数が、短時間メモリのメモリサイズに対応し、長時間メモリ領域Ｌのメモリ領域の数が長時間メモリのメモリサイズに対応する。
【００５２】
短時間メモリ領域Ｓは、メモリ領域番号Ａ０からメモリ領域番号Ａ６の順にメモリに記憶される時刻が古くなっており、メモリ領域番号Ａ６のメモリは未使用状態である。
【００５３】
まず、長時間メモリサイズ変更信号ＬＴＳが外部より入力されると、メモリサイズ比較部１３１は、すでに長時間メモリサイズ保持部１３０に保持されている現在のメモリサイズと、長時間メモリサイズ変更信号ＬＴＳによる新規のメモリサイズとを比較する。すなわち、メモリサイズを変更するか否かの判定処理が行われる（ステップＳ１）。
【００５４】
メモリサイズ比較部１３１の比較結果で長時間メモリのメモリサイズの変更がないと判定された場合（ステップＳ１のＮ）は処理を終了するが、メモリサイズの変更があると判定された場合（ステップＳ１のＹ）、同じくメモリサイズ比較部１３１の比較結果より長時間メモリのメモリ領域を減少させるか否かの判定処理が行われる（ステップＳ２）。
【００５５】
そして、長時間メモリのメモリ領域を減少させる（例えば２つのメモリ領域を減少）と判定されたとき（ステップＳ２のＹ）、長時間メモリ開放部１３３は、長時間メモリのうちのメモリで、消失長時間メモリ検出部１３２により決定されたメモリ領域を未使用状態にする（ステップＳ３）。
すなわち、図３におけるメモリ３２となり、メモリ領域番号Ａ７、Ａ８のメモリ領域が未使用状態となる。
【００５６】
つづいて、消失長時間メモリ検出部１３２は、長時間メモリの未使用状態となったメモリ領域を短時間メモリに属するものとして短時間メモリに加えて記憶し、長時間メモリ領域Ｌと短時間メモリ領域Ｓのメモリサイズを変更する（ステップＳ４）。
【００５７】
この状態が図３のメモリ３３であり、長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界がＫ１からＫ２に変更され、短時間メモリはメモリ領域番号Ａ０からＡ８までの９つのメモリ領域となり、長時間メモリはメモリ領域番号Ａ９、Ａ１０の２つのメモリ領域となるよう長時間メモリと短時間メモリの記憶容量が再配分される。
ここでは、長時間メモリのメモリ領域を短時間メモリとして使用可能な状態とするために、その一例として未使用状態としている。
【００５８】
一方、上述した長時間メモリのメモリ領域を減少させるか否かの判定処理（ステップＳ２）において、メモリサイズ比較部１３１が長時間メモリのメモリ領域を減少させないと判定したとき（ステップＳ２のＮ）、短時間メモリのメモリ領域を減少させる（例えば３つのメモリ領域を減少させる）として、短時間メモリ開放部１３４は短時間メモリのメモリ領域のうち、フレームが記憶された時刻が古いメモリ領域から順に未使用状態にする（ステップＳ５）。このとき、消失短時間メモリ検出部１５０により未使用状態にするメモリ領域が決定される。
【００５９】
この状態を示すのが、図３のメモリ３４であり、短時間メモリ領域Ｓの古い時刻に記憶されたものから３つのメモリ領域（メモリ領域番号Ａ６、Ａ５、Ａ４）が未使用状態になる。この場合、メモリ領域番号Ａ６のメモリ領域は初めから未使用状態のため、短時間メモリ開放部１３４は、メモリ領域番号Ａ５、Ａ４のメモリ領域を未使用状態にする。
【００６０】
そして、短時間メモリ検出部１５０は、短時間メモリの未使用状態となったメモリ領域を長時間メモリに属するものとして長時間メモリに加えて記憶し、長時間メモリ領域Ｌと短時間メモリ領域Ｓのメモリサイズを変更する。
【００６１】
この状態が図３のメモリ３５であり、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界がＫ１からＫ３に変更され、短時間メモリ領域Ｓはメモリ領域番号Ａ０からＡ３までの４つのメモリ領域となり、長時間メモリ領域Ｌはメモリ領域番号Ａ４からＡ１０までの７つのメモリ領域となるよう長時間メモリと短時間メモリの記憶容量が再配分される（ステップＳ４）。
【００６２】
このような処理は、各メモリ領域に対して、そのメモリ領域が短時間メモリに属するのか、あるいは長時間メモリに属するのかを記憶するテーブルや、そのメモリ領域が使用されているのか、未使用であるのかを記憶するテーブルを設けることで簡単に行うことができる。
【００６３】
次に、第２番目の場合の動作を図４のフローチャートと図５の状態の変化を表す図を用いて説明する。第２番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合と増加する場合のいずれの場合においても、最初に長時間メモリと短時間メモリの各メモリのメモリサイズを変更して、次に各メモリのうち、一方の減少するメモリ領域を未使用状態にして他方のメモリに移す例である
【００６４】
図５のメモリ５１は、図３のメモリ３１と同様の構成である。
まず、図４のフローチャートで図２と異なる点、すなわち、メモリサイズを変更するか否かの判定処理（ステップＳ１）で、メモリサイズ比較部１３１が変更すると判定したとき（ステップＳ１でＹ）の処理を説明する。メモリサイズ比較部１３１がメモリサイズを変更すると判定すると、メモリサイズ比較部１３１の比較結果に応じて、消失長時間メモリ検出部１３２あるいは消失短時間メモリ検出部１５０が長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界を変更する。
【００６５】
この場合、長時間メモリ領域Ｌのメモリサイズが小さくなる場合は図５のメモリ５２に示すように、長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界がＫ１からＫ２に変更し、短時間メモリ領域Ｓのメモリサイズが小さくなる場合は、図５のメモリ５４に示すように、境界がＫ１からＫ３に変更する。（ステップＳ１１）。
つづいて、メモリサイズ比較部１３１による長時間メモリのメモリ領域を減少させるか否かを判定する処理（ステップＳ１２）がおこなわれる。
【００６６】
このとき、長時間メモリのメモリ領域を減少させると判定されたとき（ステップＳ１２のＹ）は、図５のメモリ５２に示されるように、短時間メモリ領域Ｓと長時間メモリ領域Ｌとの境界がＫ１からＫ２に変更された（ステップＳ１１において）ということであり、長時間メモリ開放部１３３は、図５のメモリ５３に示すように、消失長時間メモリ検出部１３２により決定されたメモリ領域（メモリ領域番号Ａ７，Ａ８）を未使用状態にする。そして、消失長時間メモリ検出部１３２は、未使用状態にしたメモリ領域を短時間メモリ領域Ｓに移して（ステップＳ１３）、処理を終了する。これにより、メモリ領域が短時間メモリ領域Ｓと長時間メモリ領域Ｌに再配分される。
【００６７】
一方、メモリサイズ比較部１３１が、長時間メモリのメモリサイズを減少させないと判定したとき（ステップＳ１２のＮ）は、図５のメモリ５４で示されるように、短時間メモリ領域Ｓと長時間メモリ領域Ｌとの境界がＫ１からＫ３に変更された（ステップＳ１１において）ということである。
【００６８】
つづいて短時間メモリ開放部１３４は、図５のメモリ５５で示すように、短時間メモリのメモリ領域のうちフレームの記憶された時刻が古い順（メモリ領域番号Ａ６、Ａ５，Ａ４の順）に未使用状態にする。この未使用状態にされるメモリ領域は、消失短時間メモリ検出部１５０により決定される。
【００６９】
そして、消失短時間メモリ検出部１５０は、未使用状態のメモリ領域を長時間メモリ領域Ｌに移し、ステップＳ１４）、処理を終了する。これにより、メモリ領域が短時間メモリ領域Ｓと長時間メモリ領域Ｌに再配分される。
【００７０】
上記処理はすなわち、メモリサイズを変更した時点（ステップＳ１１）では、境界Ｋ２、あるいはＫ３により短時間メモリと長時間メモリの領域（短時間メモリ領域Ｓと長時間メモリ領域Ｌ）が決定されたのであって、長時間メモリ、短時間メモリのうちのどのメモリ領域が他方のメモリに移るかは決定していない状態である。
【００７１】
つづいて、第３番目の場合の動作を図６のフローチャートと図７の状態の変化を表す図を用いて説明する。第３番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合は、減少するメモリ領域を未使用状態にして、各メモリのメモリサイズを変更し、一方長時間メモリのメモリ領域が増加する場合は、まず各メモリのメモリサイズを変更して、次に減少するメモリ領域を未使用状態にし他方のメモリに移す例である。
【００７２】
図７のメモリ７１の状態は、図３のメモリ３１の状態と同様である。
まず、図６のフローチャートで図２と異なる点、すなわち、長時間メモリのメモリ領域を減少させるか否かの判定処理（ステップＳ２）以降の処理について説明する。
【００７３】
メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させると判定したとき（ステップＳ２でＹ）、長時間メモリ開放部１３３は、長時間メモリのうち、消失長時間メモリ検出部１３２により決定されたメモリ領域を未使用状態にする（ステップＳ２１）。
すなわち、図７におけるメモリ７２の状態となり、メモリ領域番号Ａ７、Ａ８のメモリ領域が未使用状態となる。
【００７４】
つづいて、消失長時間メモリ検出部１３２は、図７のメモリ７３に示すように、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界をＫ１からＫ２に変更し、長時間メモリの未使用状態となったメモリ領域を短時間メモリ領域Ｓに移し（ステップＳ２２）、処理を終了する。すなわち、長時間メモリと短時間メモリの記憶容量が再配分される。
【００７５】
一方、メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させないと判定したとき（ステップＳ２でＮ）、消失短時間メモリ検出部１５０が短時間メモリのメモリ領域の数を減少させるようメモリサイズを変更する（ステップＳ２３）。図７のメモリ７４に示す状態がサイズを変更された状態であり、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界がＫ１からＫ３に変更されている。
【００７６】
つづいて短時間メモリ開放部１３４は、図７のメモリ７５で示すように、短時間メモリのメモリ領域のうちフレームの記憶された時刻が古い順（メモリ領域番号Ａ６、Ａ５，Ａ４の順）に未使用状態にする。この未使用状態にされるメモリ領域は、消失短時間メモリ検出部１５０により決定される。そして、消失短時間メモリ検出部１５０は、短時間メモリ領域Ｓで未使用状態になったメモリ領域を、長時間メモリ領域Ｌに移し（ステップＳ２４）、処理を終了する。
【００７７】
上記処理においても、メモリサイズを変更した時点（ステップＳ２３）では、境界Ｋ３により短時間メモリと長時間メモリの領域が決定されただけであって、どの短時間メモリ領域Ｓのどのメモリ領域が長時間メモリ領域Ｌに移るかは決定していない状態である。つまり、メモリサイズを変更した時点では、メモリ領域番号Ａ４、Ａ５、Ａ６のメモリ領域は短時間メモリに属している。
【００７８】
さらに、第４番目の場合の動作を図８のフローチャートと図９の状態の変化を表す図を用いて説明する。第４番目は、長時間メモリと短時間メモリの記憶容量を再配分するとき、長時間メモリのメモリ領域が減少する場合は、まず各メモリのメモリサイズを変更して、次に減少するメモリ領域を未使用状態にし他方のメモリに移し、一方長時間メモリのメモリ領域が増加する場合は、まず減少するメモリ領域を未使用状態にして、次に各メモリのメモリサイズを変更する例である。
【００７９】
図９のメモリ９１は、図３のメモリ３１と同様の状態である。
まず、図８のフローチャートで図２と異なる点、すなわち、長時間メモリのメモリ領域を減少させるか否かの判定処理（ステップＳ２）以降の処理について説明する。
【００８０】
メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させると判定したとき（ステップＳ２でＹ）、消失長時間メモリ検出部１３２が長時間メモリのメモリ領域数を減少させるようメモリサイズを変更する（ステップＳ３１）。
図９のメモリ９２に示す状態がサイズを変更された状態であり、短時間メモリ領域Ｓと長時間メモリ領域Ｌの境界がＫ１からＫ２に変更されている。
【００８１】
つづいて長時間メモリ開放部１３３は、図９のメモリ９３で示すように、消失長時間メモリ検出部１３２により決定される長時間メモリのメモリ領域（メモリ領域番号Ａ７，Ａ８）を未使用状態にする。そして、消失長時間メモリ検出部１３２は、未使用状態になったメモリ領域を短時間メモリ領域Ｓに移し（ステップＳ３２）、処理を終了する。
【００８２】
上記処理は、メモリサイズを変更した時点（ステップＳ３１）では、境界Ｋ２により短時間メモリと長時間メモリの領域が決定されたのであり、長時間メモリ領域Ｓのうちのどのメモリ領域が短時間メモリ領域Ｌに移るかは決定していない状態である。つまり、メモリサイズを変更した時点では、メモリ領域番号Ａ７、Ａ８のメモリは長時間メモリである。
【００８３】
一方、メモリサイズ比較部１３１が、長時間メモリのメモリ領域を減少させないと判定したとき（ステップＳ２でＮ）、短時間メモリ開放部１３４は、消失短時間メモリ検出部１５０により決定されたメモリ領域を未使用状態にする（ステップＳ３３）。このとき、図９のメモリ９４に示すように、短時間メモリのメモリ領域のうち、記憶された時刻が古い順（メモリ領域番号Ａ６、Ａ５、Ａ４の順番）で３つのメモリ領域が未使用状態となる。
【００８４】
つづいて、消失短時間メモリ検出部１５０は、短時間メモリの未使用状態となったメモリ領域を長時間メモリとするようにメモリサイズを変更して（ステップＳ３４）、処理を終了する。このメモリのサイズを変更した状態が図９のメモリ９５の状態であり、長時間メモリ領域Ｌと短時間メモリ領域Ｓの境界がＫ１からＫ３に変更される。
【００８５】
尚、図３、図５、図７、図９で説明したメモリは、論理的に短時間メモリ領域と長時間メモリ領域との比率が変わることを示しており、物理的なメモリ領域の配置は、物理的に連続する配置である必要はない。
以上のようにして、画像符号化装置が実現できる。
【００８６】
このように本実施の形態によれば、短時間メモリのメモリ領域を未使用状態にして、他方の長時間メモリのメモリ領域に変更させるときに、短時間メモリの古い時刻に記憶されたメモリ領域より未使用状態にしていくため、入力画像をフレームと比較しながら符号化する装置において、入力された画像をより参照になりうる可能性の高い新しいフレームと比較しながら符号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
【００８７】
（実施形態２）
図１０は本発明の画像復号化装置のブロック図であり、図１で示した画像符号化装置で符号化された符号化信号ｓｔｒを復号化する。
図１０において、図１および図１２で示した画像復号化装置と同じものには同じ符号を付しその説明を説明する。
【００８８】
図１０において、画像復号化装置は可変長復号化部１２０と、フレームメモリ１０２と、動き補償部１０３と、逆量子化部１０７と、逆直交変換部１０８と、加算部１０９と、管理情報復号化部２３６と、長時間メモリサイズ保持部１３０と、メモリサイズ比較部１３１と、消失長時間メモリ検出部１３２と、長時間メモリ開放部１３３と、消失短時間メモリ検出部１５０と、短時間メモリ開放部１３４と、長時間メモリ移動部１３５とにより構成されており、入力した符号化信号ｓｔｒを復号化して復号画像Ｖｏｕｔを出力する。
【００８９】
図２１で説明したように、可変長復号化部１２０は符号化信号ｓｔｒを復号化し、動きベクトルＭＶ、参照画像番号Ｉｄｘをフレームメモリ１０２に出力し、量子化値Ｍ６を逆量子化部１０７に出力し、さらに管理情報ＭＭＣＯを管理情報復号化部２３６に出力する。
また、量子化値Ｍ６は逆量子化部１０７、逆直交変換部１０８を介して復号残差画像Ｍ８として加算部１０９に入力される。
【００９０】
動き補償部１０３は、フレームメモリ１０２から参照画像番号Ｉｄｘ、動きベクトルＭＶで示された領域の画素を動き補償参照画像Ｍ２として読み出し、所定の演算を行って動き補償画像Ｍ３を算出し、加算部１０９へ出力する。
加算部１０９は、復号残差画像Ｍ８と動き補償画像Ｍ３を加算して復号画像Ｖｏｕｔを出力するとともに、後続画像の復号化で参照するためにフレームメモリ１０２に出力する。
【００９１】
また管理情報復号化部２３６は、可変長復号化部１２０から管理情報ＭＭＣＯを取得して復号化し、長時間メモリサイズ変更信号ＬＴＳをフレームメモリ１０２、長時間メモリサイズ保持部１３０、メモリサイズ比較部１３１に出力し、長時間メモリ移動部１３５に長時間メモリ移動信号ＬＴＭを出力する。さらに、管理情報復号化部２３６は、長時間メモリ開放部１３３に長時間メモリ開放信号ＬＴＤを出力し、短時間メモリ開放部１３４に短時間メモリ開放信号ＳＴＤを出力する。
【００９２】
短時間メモリ、長時間メモリのメモリ領域を未使用状態にし、それぞれのメモリ領域を変更する動作は、図１の画像符号化装置と同じためその説明を省略する。
以上の構成により、図１０の画像符号化装置の符号化された符号化信号ｓｔｒを正しく復号化できる。
【００９３】
以上のように本実施の形態によれば、短時間メモリのメモリ領域を未使用状態にして、他方の長時間メモリのメモリ領域に変更させるときに、短時間メモリの古い時刻に記憶されたメモリ領域より未使用状態にしていくため、入力画像をフレームと比較しながら復号化する装置において、入力された画像をより参照になりうる可能性の高い新しいフレームと比較しながら復号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
尚、上記各実施の形態で「メモリ領域を開放する」とした処理は、メモリ領域の内容を削除する処理を伴ってもよい。
【００９４】
また、上記実施の形態で示した画像符号化装置および画像復号化装置は、ＬＳＩ等の専用ハードウェアで実現することができるだけでなく、パーソナルコンピュータ等の汎用のコンピュータに実行させるプログラムとして実現することもできる。
そして、そのようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどの伝送媒体を介して流通させることができる。
【００９５】
図１１は、上記実施の形態の画像符号化装置に用いた画像符号化方法および画像復号化装置に用いた画像復号化方法をフレキシブルディスクに格納させたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００９６】
図１１（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１１（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法および画像復号化方法が記録されている。
【００９７】
また、図１１（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法および画像復号化方法をフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００９８】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＣＤ−ＲＯＭ、メモリカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００９９】
以上のように、本実施の形態では、長時間メモリに関しては、メモリ領域のうちどの部分を長時間メモリに割り当てるかを予め決め、それぞれのメモリを一意に指定することができるインデックスを決める。また、長時間メモリの増加、減少の大きさが明示的に変更される場合は、以下のような処理が行われる。
長時間メモリが減少するときには、長時間メモリのうち例えば、インデックスの大きい領域から順番に短時間メモリに割り当てられる。なお、インデックスの小さい領域から順番に短時間メモリに割り当ててもよい。
一方、短時間メモリに関しては、通常はＦＩＦＯによってメモリ領域の使用の有無が決定されており、長時間メモリが増加する場合は、まず、短時間メモリのうち、使用されていないメモリから長時間メモリに割り当てるようにする。
【０１００】
さらにここで、上記実施の形態で示した画像符号化装置または画像復号化装置の応用例とそれを用いたシステムを説明する。
図１２は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０１０１】
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【０１０２】
しかし、コンテンツ供給システムｅｘ１００は図１のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
【０１０３】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０１０４】
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。
【０１０５】
また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。
【０１０６】
なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
【０１０７】
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。
【０１０８】
クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【０１０９】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
【０１１０】
図１３は、上記実施の形態で説明した画像符号化装置および画像復号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアｅｘ２０７、携帯電話ｅｘ１１５に記憶メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記憶メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０１１１】
さらに、携帯電話ｅｘ１１５について図１４を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
【０１１２】
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
【０１１３】
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１１４】
また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【０１１５】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
【０１１６】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
【０１１７】
画像符号化部ｅｘ３１２は、図１で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
【０１１８】
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
【０１１９】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
【０１２０】
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
【０１２１】
次に、画像復号化部ｅｘ３０９は、図１０で説明した画像復号化装置を備えた構成であり、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１２２】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１５に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。
【０１２３】
具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。
【０１２４】
この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。
【０１２５】
このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
【０１２６】
なお、カーナビゲーションｅｘ４１３の構成は例えば図１４に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１２７】
このように、図１、図１０の実施の形態で示した画像符号化装置、画像復号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、図１、図１０で説明した効果を得ることができる。
【０１２８】
【発明の効果】
以上の説明から明らかなように、本発明に係る画像符号化装置は、入力された画像を参照画像と比較しながら符号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えることを特徴とする。
【０１２９】
これによって、第１の記憶領域の記憶容量が小さくなるとき、古い時刻に記憶された参照画像から消失されるため、入力された画像をより参照になりうる可能性の高い新しい参照画像と比較しながら符号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
【０１３０】
また、入力された画像を参照画像と比較しながら復号化する装置であって、データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段とを備えるようにしてもよい。
【０１３１】
これによって、第１の記憶領域の記憶容量が小さくなるとき、古い時刻に記憶された参照画像から消失されるため、入力された画像をより参照になりうる可能性の高い新しい参照画像と比較しながら復号化を行うことができ、符号化処理と復号化処理の不一致を回避できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像符号化装置の構成を示すブロック図である。
【図２】同上の画像符号化装置の動作を示すフローチャートである。
【図３】同上の画像符号化装置におけるメモリの状態を示す図である。
【図４】同上の画像符号化装置の他の動作を示すフローチャートである。
【図５】同上の画像符号化装置におけるメモリの他の状態を示す図である。
【図６】同上の画像符号化装置の更に他の動作を示すフローチャートである。
【図７】同上の画像符号化装置におけるメモリの更に他の状態を示す図である。
【図８】同上の画像符号化装置のまた更に他の動作を示すフローチャートである。
【図９】同上の画像符号化装置におけるメモリのまた更に他の状態を示す図である。
【図１０】本発明の第２の実施の形態における画像復号化装置の構成を示すブロック図である。
【図１１】（ａ）（ｂ）（ｃ）はいずれも、本発明における画像符号化方法および画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
【図１２】本発明における画像符号化装置および画像復号化装置を用いたコンテンツ供給システムの全体構成を示す構成図である。
【図１３】本発明における画像符号化装置および画像復号化装置を用いた携帯電話の構成を示す外観図である。
【図１４】同上の携帯電話の構成を示すブロック図である。
【図１５】本発明における画像符号化装置および画像復号化装置を用いたディジタル放送システムの全体構成を示す構成図である。
【図１６】従来の画像符号化方法などから想定される画像符号化装置の構成を示すブロック図である。
【図１７】（ａ）（ｂ）はいずれも画像管理方法の説明図である。
【図１８】（ａ）（ｂ）はいずれも短時間メモリを用いた画像符号化の説明図である。
【図１９】長時間メモリを用いた画像符号化の説明図である。
【図２０】（ａ）（ｂ）はいずれも画像管理方法の説明図である。
【図２１】従来の画像復号化方法から想定される画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０１ 動き検出部
１０２ フレームメモリ
１０３ 動き補償部
１０４ 減算部
１０５ 直交変換部
１０６ 量子化部
１０７ 逆量子化部
１０８ 逆直交変換部
１０９ 加算部
１１０ 可変長符号化部
１３０ 長時間メモリサイズ保持部
１３１ メモリサイズ比較部
１３２ 消失長時間メモリ検出部
１３３ 長時間メモリ開放部
１３４ 短時間メモリ開放部
１３５ 長時間メモリ移動部
１３６ 管理情報符号化部
１５０ 消失短時間メモリ検出部
Claims (12)
- 入力された画像を参照画像と比較しながら符号化する装置であって、
データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、
前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段と
を備えることを特徴とする画像符号化装置。 - 前記再配分手段は、前記第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を未使用状態にし、未使用状態にした記憶領域を前記第２の記憶領域に加える
ことを特徴とする請求項１記載の画像符号化装置。 - 前記第１の記憶領域は、先入れ先出し方式の記憶領域であり、
前記第２の記憶領域は、ランダムアクセス方式の記憶領域である
ことを特徴とする請求項１又は２記載の画像符号化装置。 - 前記第１の記憶領域は、短時間記憶メモリであり、
前記第２の記憶領域は、前記第１の記憶領域よりも長い時間分の参照画像を記憶する長時間記憶メモリである
ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。 - 入力された画像を参照画像と比較しながら復号化する装置であって、
データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段と、
前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする再配分手段と
を備えることを特徴とする画像復号化装置。 - 前記再配分手段は、前記第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を未使用状態にし、未使用状態にした記憶領域を前記第２の記憶領域に加える
ことを特徴とする請求項５記載の画像復号化装置。 - 前記第１の記憶領域は、先入れ先出し方式の記憶領域であり、
前記第２の記憶領域は、ランダムアクセス方式の記憶領域である
ことを特徴とする請求項５又は６記載の画像復号化装置。 - 前記第１の記憶領域は、短時間記憶メモリであり、
前記第２の記憶領域は、前記第１の記憶領域よりも長い時間分の参照画像を記憶する長時間記憶メモリである
ことを特徴とする請求項５〜７のいずれか１項に記載の画像復号化装置。 - データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像符号化方法であって、
前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする
ことを特徴とする画像符号化方法。 - データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像復号化方法であって、
前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にする
ことを特徴とする画像復号化方法。 - データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像符号化のためのプログラムであって、
前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にするステップをコンピュータに実行させる
ことを特徴とするプログラム。 - データの読み書き方式が異なる第１の記憶領域及び第２の記憶領域に分割して参照画像を格納する記憶手段を用いた画像復号化のためのプログラムであって、
前記第１及び第２の記憶領域の記憶容量の再配分を行う場合に、記憶容量が小さくなる第１の記憶領域において最も古い時刻に参照画像が格納された記憶領域を、記憶容量が大きくなる第２の記憶領域として使用可能な状態にするステップをコンピュータに実行させる
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002204716A JP2004088135A (ja) | 2002-07-02 | 2002-07-12 | 画像符号化装置及び画像復号化装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002194007 | 2002-07-02 | ||
| JP2002204716A JP2004088135A (ja) | 2002-07-02 | 2002-07-12 | 画像符号化装置及び画像復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004088135A true JP2004088135A (ja) | 2004-03-18 |
Family
ID=32071935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002204716A Pending JP2004088135A (ja) | 2002-07-02 | 2002-07-12 | 画像符号化装置及び画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004088135A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7889788B2 (en) | 2004-04-28 | 2011-02-15 | Panasonic Corporation | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof |
-
2002
- 2002-07-12 JP JP2002204716A patent/JP2004088135A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7889788B2 (en) | 2004-04-28 | 2011-02-15 | Panasonic Corporation | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof |
| US7965766B2 (en) | 2004-04-28 | 2011-06-21 | Panasonic Corporation | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof |
| US8442382B2 (en) | 2004-04-28 | 2013-05-14 | Panasonic Corporation | Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5355807B2 (ja) | 符号化データ配信方法および配信システム | |
| JP4355156B2 (ja) | 画像復号化方法及び画像復号化装置 | |
| JP4215197B2 (ja) | 画像符号化方法および画像復号化方法 | |
| JP2009081898A (ja) | 画像符号化方法および画像符号化装置 | |
| JP2004260236A (ja) | 動画像の符号化方法および復号化方法 | |
| JP2004088135A (ja) | 画像符号化装置及び画像復号化装置 | |
| JP4531846B2 (ja) | 符号化方法および符号化装置 |