JP2010171609A - 画像処理装置 - Google Patents

Abstract

【課題】本発明では、高画質化処理と低消費電力のバランスを取り、使用する状況に応じて、適応的にシステムを動作させる画像処理装置を提供することである。
【解決手段】信号処理手段が中間情報を外部メモリにデータをライト、リードする際に、データ量を圧縮伸張する手段を備え、さらに上記データ圧縮手段は、データの圧縮効率が最も悪い際の最悪圧縮率を保証することを特徴とするデータ処理方法を備える。また、画質の重要度に応じて、バンド幅削減方式、信号処理方式を適応的に変更する手段を備える。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、低消費電力と低コストを実現しつつ、かつ、同時に高画質な画像処理を可能にするための技術に関する。

近年、画像や音声の高解像度化や高精度化に伴って、物体認識表示装置を含む信号処理システムにおけるデータの処理量は、増加する傾向にある。例えば、画像に関しては、最近のＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画質の普及により、１フレームあたり水平１９２０画素×垂直１０８０ライン分の画素データが存在し、従来のＮＴＳＣレベルのデータ（７２０画素×４８０ライン）に比べ、約６倍の処理量になっている。さらに、液晶ディスプレイの高画質化のためのフレーム倍速技術では、これまで６０フィールド／ＳＥＣで処理していたものを、１２０フィールド／ＳＥＣにフレーム変換処理を行うため、やはり、これに伴って、信号処理量や途中のデータ格納量も増加する傾向となる。加えて、音声に関する処理においても、従来のステレオ２チャネルから、サラウンド感を創出するために、サブウーハチャネルを加えた５．１チャネル化、７チャネル化などが進んでおり、これに伴って、処理量が大きくなっている。

一方、システムコストが重要な要素となっている家電などの分野においては、特に、信号処理ＬＳＩとデータ格納用メモリとを組み合わせて信号処理を行う事が多い。また、Ｈ．２６４やＭＰＥＧ２に代表される画像圧縮技術と、ガンマ（γ）補正、画像のスケーリング、ＯＳＤ重畳など、所謂、ベースバンド画像に対する処理と、更には、音声圧縮伸張処理及びサラウンドミキシングなどの処理とを、共有化されたＳＤＲＡＭなどで処理することにより、メモリＬＳＩの個数を低減し、システムコストを下げようとする傾向がある。また、メモリＬＳＩの個数を減らすことによれば、接続される信号処理ＬＳＩのメモリとの接続に必要とされるアドレス線、データ線の本数が節約され、これにより、システムＬＳＩのパッケージコスト、チップ面積を小さくする事ができ、やはりＬＳＩ価格を低減することが出来る。

このようなシステム構成において、上述した画像や音声の信号処理量増加は、メモリアクセスのバンド幅増加、消費電力の増加につながる。これらの問題に対処するため、例えば、以下の特許文献１では、メモリのアクセスの際にメモリ側でデータ量を圧縮伸張するような技術が開示されている。これによれば、圧縮伸張を行うメモリにアクセスする際には、データバンド幅を実効的に削減することは出来るが、しかしながら、その最小値の保証については何らの言及もしていない。実際にリアルタイムのシステムを設計する場合には、これら最低限保証されるべきバンド幅や、必要とされる最大のメモリ格納量などの保証値がないと、処理の破綻を生じないリアルタイムなシステムを実現することは極めて困難になる。また、一方で、データ量に圧縮伸張を行うような処理を施す場合には、元データに対する圧縮後のデータ量を小さくすることで、よりメモリ効率を上げ、消費電力を削減する事が可能であるが、その場合、画像情報欠損に伴う画質の劣化が顕著になると言う問題があり、特に、高画質化が求められる場合には、安易に応用し難いという問題点があった。
特開２００１−８６４６０号公報

画像処理をして出力する画像処理装置においては、高画質化を達成するためには、幾つかの高画質化のための処理を行う必要があり、これに伴って、消費電力の増大を伴う。一方で、電池駆動の機器では、消費電力の増大は、装置の動作時間の短縮につながり、ユーザの使い勝手を損なう。従って、高画質化と低消費電力化とは、互いにトレードオフの関係となり、本発明では、ユーザの使い勝手を考慮しながら、上記高画質化と低消費電力化との間のトレードオフを解消することを課題とする。

即ち、本発明では、上述した従来技術における問題点を解消することが可能な画像処理装置を提供することを目的とし、特に、格納するメモリ量やメモリバンド幅などを含め、装置全体として、高画質化処理と低消費電力のバランスを取り、もって、リアルタイム動作や画像の悪化、更には、消費電力の低減などを含めて総合的に解消し、当該装置が使用される状況に応じて適応的にその画像処理動作を制御することが出来る画像処理装置を提供することを目的とする。

即ち、上記課題を解決するため、本発明では、まず、圧縮された中間情報を記録したメモリと、外部メモリと、画像情報を信号処理して出力する信号処理手段と、前記信号処理手段が前記中間情報を前記外部メモリにデータを格納する際、当該データのデータ量を圧縮するデータ圧縮手段と、そして、前記信号処理手段が前記メモリから前記圧縮された中間情報を読み出す際、データを伸張するデータ伸張手段とを備えた画像処理装置であって、前記データ圧縮手段は、更に、データの圧縮効率が最も悪い際の最悪圧縮率を定義する手段を備える画像処理装置が提供される。

また、本発明によれば、やはり上記課題を解決するため、画像情報を信号処理する信号処理部と、前記信号処理部によって出力された画像情報をディスプレイ機器に対して出力する画像出力部とを備えた画像処理装置であって、前記信号処理部は、さらに、前記画像出力部から出力される画質の重要度が低い場合には、消費電力を低下させる手段を有する画像処理装置が提供される。

以上のように、本発明によれば、画像処理の用途に応じて、消費電力と高画質化の両方に対して、柔軟に対応できる画像処理装置を提供することが可能となるという、実用的にも優れた効果を達成する。

以下、本発明の実施の形態について、添付の図面を用いて詳細に説明する。

添付の図１に、本発明の第１の実施例になる画像処理装置のブロック図を示す。なお、本回路は、１９２０×１０８０画素のフレーム解像度を持つ画像データが毎秒６０フレームのスループットで入力され、外部メモリに中間データを格納しつつ信号処理を行った後、同スループットで信号処理後のデータを出力する回路である。図中の符号１はデータ処理回路を示しており、当該データ処理回路１は、更に、その内部には、情報処理回路２、ホストプロセッサ（Ｈｏｓｔ Ｐｒｏｃｅｓｓｏｒ）２０、データ圧縮回路部（Ｅｎｃｏｄｅ）１３、データ伸張処理部（Ｄｅｃｏｄｅ）１７、メモリインタフェース部（Ｍｅｍｏｒｙ Ｉ／Ｆ）１４を備えている。また、図中の符号１１は、上記データ処理回路１の画像入力端子を、そして、符号１９はデータ出力端子を、それぞれ示している。そして、図中の符号１５は、上記データ処理回路１の外部メモリ端子を示しており、当該端子を介して外部メモリ（ＳＤＲＡＭ）へ接続されている。また、上記情報処理回路２は、その内部には、前半処理部（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２と後半処理部（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１８を備えている。

続いて、上記に回路構成を説明した画像処理装置、特に、上記にその構成を説明したデータ処理回路１の動作について、添付の図２〜図６を参照しながら説明する。まず、データ処理回路１の入力端子１１から入力されるデータは、走査線方向の画素毎に入力される。例えば、この入力端子１１には、輝度と色差のデータが、各々、８ビットの量子化データとして、水平及び垂直の同期が、同期用の画素クロックと同時に入力される。なお、ここで、例えば、ＲＥＣ．６５６に代表されるように、特定の同期コード（ＳＡＶ、ＥＡＶ）と共に入力されたデータから同期信号部分をデコードし、所望の有効期間を取り出すインタフェースも、その代表的なものとして挙げることができる。

次に、この入力端子１１へ入力されたデータは、その後、信号処理部２に入力される。ここでは、例えば、当該信号処理部２の前半部１２では、画像のノイズを除去する処理とフレーム内の輝度分布（ヒストグラム）のデータ採取が行われ、その後半部１８では、採取されたデータを基にしてガンマ（γ）補正が行われる。即ち、入力端子１１から入力されたデータは、信号処理部２の前半処理部１２において、そのノイズ除去処理とフレーム内の輝度分布の集計が行われ、順次、走査線方向に従って、データ圧縮部（Ｅｎｃｏｄｅ）１３へ出力される。

一方、データ圧縮部（Ｅｎｃｏｄｅ）１３では、送信されたデータに対し、例えば、ＤＣＴ処理、量子化処理、Ｗａｖｅｌｅｔ変換など、所謂、画像符号化理論で用いられる符号化圧縮を用いることにより、データ圧縮を行う。この時、ホストプロセッサ２０からは、上記の符号化圧縮を行う際、その圧縮効率が低下した場合の圧縮率（圧縮後データ量／圧縮前データ量）を、圧縮率の上限値（最悪値：Ｗｏｒｓｔ Ｒａｔｉｏ）として指定する。そして、この上限値を参照しながら、上記データ圧縮部１３では、その圧縮率が上記上限値（最悪値）以下の圧縮率（≦Ｗｏｒｓｔ Ｒａｔｉｏ）になるように、圧縮が行なわれる。

添付の図２には、上記データ圧縮部（Ｅｎｃｏｄｅ）１３における圧縮方式の一例を示す。なお、本例では、８個の画素サンプルが入力される毎に、１次元のＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を行い、もって、８次の周波数成分に分解する処理を行う。この図２の例では、Ｙ，Ｃｂ，Ｃｒの成分のうち、Ｙ成分についての処理を示す。この図２に示すグラフ２１では、横軸に画素サンプルの位置（画素位置）を、そして、縦軸には各画素の画素値を表現している。また、図において斜線で示す部分は、各画素値（左から、「１３０」、「３５」、「３１」、「５」、「７」、「３」、「２」、「６」）を表現するために必要なビット数（より具体的には、画素値を表現する際に「１」が立つ最上位ビット以下のレンジ）を示す。任意の画素値を表現するためには、８画素分では、８×８＝６４ｂｉｔを必要とする。

この８画素のサンプルをＤＣＴ処理した後は、図２のグラフ２２に示すように、８次の周波数成分（横軸：周波数次元）で表現される。このグラフからも明らかなように、各成分は最大で１２ビットのデータとして表現される。そのため、この段階では、任意の画素に対するＤＣＴ係数を表現するためには、１２ｂｉｔ×８＝９６ｂｉｔのビット数を必要とする。

その後、例えば、図２のグラフ２３に示すように、各成分を、例えば、左から順に「４」、「１６」、「３２」、「３２」、「６４」、「１２８」、「２５６」、「２５６」と決められた量子化ステップで量子化すると、量子化後の各成分は、（各画素値／量子化ステップ）で表現される。これに対し、整数値への切り捨てを行うと、上記のグラフ２１において斜線部で示されたデータは、ＤＣＴ変換後のグラフ２３における斜線部分のビット領域内に変換される。各成分の任意の値に対し、表現するために必要なビット数は、図２のグラフ２４で示すように、具体的には、各成分に対し、図の左から順に、１０ｂｉｔ、８ｂｉｔ、７ｂｉｔ、７ｂｉｔ、６ｂｉｔ、６ｂｉｔ、５ｂｉｔ、４ｂｉｔ、４ｂｉｔが必要となり、合計として５１ｂｉｔが必要となる。逆に言えば、５１ｂｉｔ分の情報があれば、上記量子化ステップの組み合わせの如何なる値に対しても、十分に表現することが可能であり、それ以外のビット情報は削減することが出来ることとなる。そこで、上記のデータ圧縮部（Ｅｎｃｏｄｅ）１３がこの５１ｂｉｔ分のビット量のみを送信するものとすれば、常に、圧縮率（圧縮後／元データ）＝７９．７％で、そのデータ量を削減する事が可能である。

さらに、各成分毎にデータの有無を示すビットを付加し、「０」データの成分はデータを送らないなどの処理を行うことによれば、追加したビット分（＝８ｂｉｔ）のオーバヘッドが追加され、（５１＋８）／６４＝９２．１％となり、これにより、最悪圧縮率は悪化するものの、例えば、上記データでは、左端から３つの成分のみにデータが存在することを示すフラグ（具体的には、２進数で「１１１００００」というデータ）を送信すれば良く、その合計データ量は（１０＋８＋７）ｂｉｔ＋８ｂｉｔ＝３３ｂｉｔとなり、この場合には、３３／６４＝５１．５％となり、更に効率の高い圧縮を実現する事が可能となる。

なお、上述した方式では、圧縮後のデータ量は、元の画像に依存する事になるが、しかしながら、最悪となる圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）を上記の９２．１％として保証する事ができる。そして、上記量子化ステップの列では、例えば、さらに量子化ステップ値を大きくすると、その最悪圧縮率は小さくなり、即ち、圧縮効率は上がることとなるが、その反面、量子化による画質の劣化は大きくなる。一方、量子化ステップ値を小さくすると、最悪圧縮率は大きくなり、即ち、圧縮効率は下がるが、その反面、画質の劣化は少なくなる。そこで、例えば、上記データ圧縮部（Ｅｎｃｏｄｅ）１３に複数種類の量子化ステップの列を用意しておき、ホストプロセッサ２０からの最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）の指示に応じて、量子化ステップ列を一意に選択する処理を行うようにする。このことによれば、ホストプロセッサ２０からの最悪圧縮率の指示に応じて、その指示に適合したデータ圧縮を行う事が可能となる。そして、このように圧縮されたデータは、メモリＩ／Ｆ１４により、他のメモリアクセス（例えば、後述するデータ伸張部のデータ読み出し等）と時分割でデータアクセスするように調停され、外部メモリ端子１５を介して、外部メモリ１６内のメモリ領域内に格納される。

一方、外部メモリ１６内のメモリ領域内に格納されたデータは、メモリＩ／Ｆ１４を介して、データ伸張部（Ｄｅｃｏｄｅ）１７によって読み出され、上記データ圧縮部（Ｅｎｃｏｄｅ）１３において圧縮されたデータの符号化の規則を想定し、データ伸張処理が施される。この時、データ圧縮部（Ｅｎｃｏｄｅ）１３に指示したと同様の最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）が、ホストプロセッサ２０からデータ伸張（Ｄｅｃｏｄｅ）部１７に指示される。このことにより、データ伸張部（Ｄｅｃｏｄｅ）１７は、上記データ圧縮部（Ｅｎｃｏｄｅ）１３で選択されたと同じ、即ち、共通の量子化ステップテーブルを選択する。そして、選択された量子化ステップに対応する各成分のビット割当量は、圧縮時と同様に、一意に決定する事ができ、その規則に基づき、各周波数成分の量子化後のデータを取得する。なお、上述したように、「０」データを送らない場合においても、そのデータをまずデコードすることで、データが存在する位置を特定することが出来ることから、順次、その位置のデータを獲得し、そして、量子化後のデータとして定義する。その後、各成分を、決定された量子化ステップを用いて逆量子化（量子化後データ×各成分の量子化ステップ）を行うことで、量子化前のＤＣＴ係数を再現する事が可能である。その後、８個の画素毎のＩＤＣＴ処理を行うことで、元の画素データに相当する画素サンプルを復元する事が可能となる。これを８画素単位で繰り返すことにより、全データを伸張し、もって、出力する事が可能となる。

なお、上述のようにして伸張されたデータは、その後、信号処理部２の後半処理部１８に転送される。そして、この後半処理部１８では、上述の前半処理部１３から別途転送されたヒストグラム情報に従って、ガンマ（γ）補正処理を施し、もって、フレーム内の輝度レベルを視覚的に見易くして、その後、入力と同様に、走査線方向にデータを出力する。

上記の記述では、特に、ＤＣＴ後の量子化処理を具体的に、その一例として説明したが、指定された最悪圧縮率に対応したデータ量を生成するアルゴリズムによれば、本発明の意図する効果が得られる。例えば、上記ＤＣＴ処理の代わりに、ＡＤＰＣＭを行うことも可能である。このＡＤＰＣＭでは、例えば、各隣接する画素間の差分データを計算し、その後、各差分データ毎に、最悪圧縮率に基づいて選択された量子化ステップを用いて量子化しても、上記と同様の効果が得られる。また、この量子化処理の代わりに、ビットシフト処理を用いても良い。

例えば、最悪圧縮率が５０％と定義された場合、８ｂｉｔのＡＤＰＣＭデータでは、４ｂｉｔまで、ＬＳＢ側にビットシフトする。これにより、そのデータ量は、５０％に圧縮される。また、画質の劣化を減らすために、例えば、４ｂｉｔ以上のデータを持つ差分値の位置をフラグで指示し、その部分にのみビットシフトを施すことによれば、差分値が小さい位置について、データの劣化を生じさせないようにする事が可能である。この場合、８画素毎に８ｂｉｔのオーバヘッドが出るが、しかし、その分加味して最悪圧縮率を計算すれば良い。また、このビットシフトされたデータは、データ伸張時には、最悪圧縮率からビットシフト量を導き、ビットシフト後のビット数ずつデータを展開し、各データを所定ビット数だけ上位側にシフトする。その後、隣接するデータ毎に加算していくことで、データを元の状態に伸張する事ができる。なお、上述したＤＣＴ変換やＡＤＰＣＭなどのデータ処理時において、マイナスの値が出た場合には、符号ビットと絶対値とに分け、符号化ビットをＬＳＢ側に再配置することで、上位ビットに１が集中することを避け、上記と同様に、量子化処理やビットシフト処理を行うことによれば、その圧縮処理の妨げにはならない。

続いて、上記データ圧縮（Ｅｎｃｏｄｅ）部１３から上記メモリＩ／Ｆ１４にデータが転送される際の処理について、添付の図３を用いながら、詳細に説明する。なお、本説明では、外部メモリ（ＤＲＡＭ）１６へのアクセスは、２０４８ｂｉｔ単位での転送を、その基本バーストアクセス単位と仮定する。即ち、データ圧縮部（Ｅｎｃｏｄｅ）１３に入力されるデータは、図中の符号３０〜３３により示すように、各々、８ｂｉｔｘ２５６画素分のデータが入ってくるものとする。

まず、各２５６画素毎に、データ圧縮処理を行う。その際、最悪圧縮率を７５％と定義したとする。この時、各２５６画素毎のデータは、図中の符号４１〜４４により示すように、必ず、元データの７５％以下の圧縮率に圧縮される。なお、この図３の例では、各々、５０％、４３％、７５％、２５％に圧縮された状態を例示している。こられの圧縮されたデータは、各々、ビット単位で、データ圧縮（Ｅｎｃｏｄｅ）部１３において詰めて配置され、バースト単位である８１９２ｂｉｔのデータ量を超えた段階で、メモリＩ／Ｆ１４に出力される。この図３の例では、符号４１〜４４で示すデータは、８１９２ビットの２つのデータ４６、４７として、即ち、２バースト以内に収めて出力することができる。逆に、データ伸張時には、各バーストを順次リードし、データ４６、４７のデータ列からデータ４１〜４４を展開し、さらに、伸張処理を行うことにより、元のデータ３０〜３３に相当する画素数を復元する事が可能である。

更に、添付の図４には、上記図１において符号１６で示した外部メモリ（ＳＤＲＡＭ）内のメモリの活用例について説明する。例えば図１における信号処理部２の前半処理部１２が処理したデータを書き込む領域と、後半処理部１８が処理するためにリードする領域とを、２つのフレームで処理し、毎フレーム期間毎にバッファを切り替えることを想定する。具体的には、例えば、前半処理部１２が図４の左側の「非圧縮時」に示す「ｂｕｆ０」に書き込んでいる期間、後半処理部１８が「ｂｕｆ１」からデータをリードし、次のフレーム期間では、バッファを交換し、かかるトグル処理を繰り返す処理を想定する。その際、データ圧縮を行わない場合には、４：２：０ので割合でＹ、Ｕ、Ｖ成分を持つ１９２０（水平）×１０８０（垂直）のＨＤ画像を記録する際には、片側には、約４．１５ＭＢｙｔｅ分のデータ領域が必要となる。

これに対し、最悪圧縮率５０％として、上記のような仕組みによりデータ圧縮を行うよう、量子化ステップを定義し、又は、ビットシフト量を定義するなどを行うことによれば、各格納領域内のデータ量は、最大時でも、上記４．１５ＭＢｙｔｅ×１／２＝２．０７ＭＢｙｔｅとすることが出来る。ここで、図４の中央部に示す「最悪圧縮率５０％圧縮時」では、非圧縮時と同様のメモリマップに、各々のバッファ毎に、下位詰めでデータを格納した例を示しており、各々、「ａｄｒ０」と「ａｄｒ２」から始まる領域を順次アクセスすれば、上記画像毎に圧縮率が変わった場合にも、データ伸張を行う事が可能である。このように、各バッファへのデータアクセス量は、データ圧縮された分、削減され、単位時間当たりのアクセス量であるデータバンド幅も圧縮率に対応して削減されることになる。

更に、上述のように、最悪圧縮率を定義しているため、図４の左側の「最悪圧縮率５０％圧縮時、データを詰めて配置」に示すように、最悪圧縮率以下のデータになることを利用して、「ｂｕｆ０」と「ｂｕｆ１」を詰めて配置することで、余剰分のデータ領域を削除する事が可能となる。

上記のように、最悪圧縮率を元に、格納するメモリ量、メモリバンド幅のシステム合計値を見積もり、システム全体を設計すれば、リアルタイム処理を破綻させることなく、即ち、リアルタイム処理を保障しながら、各動作を規定する事が可能となる。また、圧縮率の最悪値が規定されることにより、メモリでのデータ保持に必要とされる電力消費量やバンド幅の消費量などを、より正確に見積もる事が可能となり、特に、装置が電池駆動の場合には、その駆動時間の見積もりの精度などを、より向上する事が可能となる。即ち、本実施例によれば、リアルタイム動作を保証した、データ圧縮率の適応的制御が可能となる。

次に、添付の図５により、本発明の第２の実施例になる画像処理装置、特に、かかる装置における画像処理の動作について述べる。なお、この実施例２では、その処理ブロックは上記の図１のブロック図と同様であるが、しかしながら、符号１３で示すデータ圧縮（Ｅｎｃｏｄｅ）部では、可逆圧縮アルゴリズムを用いる。また、本実施例でも、上記第１の実施例と同様、８ｂｉｔ×２５６画素のデータが入力される度に、データの圧縮を掛けていく。

その際、例えば、ＡＤＰＣＭのように各画素の隣接画素間の差分値を取り、ハフマン符号化を行うなどが行われる。シャノンの定理より、理論的には、可逆圧縮符号化を行った場合には、どのようなデータに対しても常に１００％未満の圧縮を実現する方法は存在しない。すなわち、データによって、例えば、ある確率に基づく圧縮符号化によっては、１２０％、１３０％と、元のデータ量より多くなる可能性が存在する。したがって、本実施例では、各８画素毎に、１００％以内の圧縮率となる場合には、上記ＡＤＰＣＭとハフマン符号化を行い、データを圧縮し、他方、１００％以上になる場合には、その増加率を最小限に食い止めるべくオリジナルのデータをそのまま転送する。ただし、圧縮後のデータ列が圧縮されたデータか、オリジナルのデータか否かを示すため。１ビットの識別フラグを付加する（例えば、０＝圧縮されたデータ、１＝オリジナルのデータ）。

その後、データを詰めて配置し、第１の実施例と同様、２０４８ビットごとに、メモリインタフェース１４にデータを送信していく。この図５の例では、符号５０が識別ビットに相当し、５１、５２、５４は、各々、５０％、４３％、２５％に圧縮可能であったため、識別ビット０とともに圧縮後のデータを送信した場合を示す。データ５３については、圧縮した結果が１００％より大きかったため、識別フラグ「１」を付加し、オリジナルのデータを送信する。データ伸張部（Ｄｅｃｏｄｅ）１７では、各データを受信毎に、最初に上記識別フラグを解析し、そして、当該フラグが「０」の場合には、ハフマン符号化を解き、その後、ＡＤＰＣＭの逆処理を行う。他方、識別フラグが「１」の場合には、オリジナルのデータとして扱う。

本方式によれば、上述した識別フラグのデータ量の分だけオーバヘッドは増大するが、しかしメモリの容量およびバンド幅としては、確実に、２０４９ｂｉｔ×バースト分のデータを見込むことで、圧縮率最悪時の挙動を規定する事が可能となる。さらに、画像データを扱う場合には、確率的なモデルを利用した圧縮アルゴリズムを用いることによれば、実効上のバンド幅やメモリ容量を縮小させる事が可能であり、特に、画質が重要視されるような用途においては、本方式は画質劣化を生じさせないというメリットをも奏することとなる。即ち、本実施例は、特に、可逆アルゴリズムを用いたシステムに関しており、当該可逆アルゴリズムを用いた場合でも、最悪時のデータ圧縮率の大幅な悪化を回避することが可能となる。

続いて、添付の図６は、本発明の第３の実施例になる画像処理装置、特に、かかる装置におけるメモリへのデータ格納方式を説明した図である。なお、本実施例の画像処理装置も、上記図１のブロック図と同様の構成を持つが、但し、その外部メモリ（ＳＤＲＡＭ）１６にデータを格納する際、画像データの領域では、上記データ圧縮（Ｅｎｃｏｄｅ）部１３に指示された最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）×ｎバースト（ｎは整数）で区切られた領域毎に、圧縮前にｎバースト分のデータであったデータ量を格納する。

この図６では、例えば、圧縮前のオリジナルデータ４バースト分（ｎ＝４）毎に領域を区切っており、上記図３で説明したように、圧縮前に８１９２ビットあったデータが、３９５３ビットに圧縮された場合には、ｒｏｗアドレス（００（１６進））で、Ｃｏｌｕｍｎアドレス（０００〜０ＥＯ（１６進））のエリアに格納される。次に、５６３２ｂｉｔのデータが圧縮されて格納されたとすると、「０Ｅ０」の続きに格納するのではなく、ｒｏｗアドレス（００（１６進））で、Ｃｏｌｕｍｎアドレス（１８０〜２ＥＯ（１６進））のエリアにスキップして配置される。以下、同様に、８１９２ビットで区切られたデータごとに、圧縮前に４バースト分であったデータを配置する。

本方式によれば、必要されるデータ量は、圧縮前のデータ量をＭｂｙｔｅとすると、Ｍ（ｂｙｔｅ）ｘ最悪圧縮率（％）分のデータとなり、メモリ格納量を削減しつつ、必要メモリを計算する事が可能となる。また、例えば、画像データの一部切り出し表示などで必要とされるメモリのランダムアクセスを行う場合には、ｎバースト単位の精度で、データの格納位置を計算する事ができる。

また、本方式を用いずに、全てのデータを前詰めでメモリに配置した場合には、データがその途中から必要となる場合でも、圧縮符号化を解かないと必要なデータの位置を特定できない。これに対して、本方式では、ランダムアクセス時には、必要な情報は、ｎバースト単位の精度で、必要エリア分だけアドレス計算により読み出し、データ伸張部１７で前のデータに依存せずに伸張する事が可能である。そのため、ＧＵＩ、グラフィックス、画像データの拡大縮小時に、メモリＩ／Ｆ１４からのデータリードアクセスを削減する事ができ、さらには、バンド幅の削減を実現する事が可能である。即ち、本実施例は、データのメモリへの格納に関しており、特に、データ圧縮処理を用いる場合、メモリ内のランダムアクセスが不可能となってデータアクセス量が増大してしまうのを避けると共に、ＧＵＩシステムにもデータ圧縮処理を活用できるようにする。

添付の図７は、本発明の第４の実施例になる画像処理装置のブロック構成を示した図である。なお、本実施例の画像処理装置では、上述した本発明の画像処理装置をディスプレイ表示装置を含む画像処理システムに適用したものであり、予めメモリＩＣ２００に格納された映像のビットストリーム（ビデオＨＤ画質（１９２０ｘ１０８０ ６０ｉがＭＰＥＧ２Ｖｉｄｅｏ（ＩＳＯ／ＩＥＣ１３８１８−２）で記録されたもの）を再生し、もって、同装置内にある小型ＬＣＤ２１９や、外部接続された大型のディスプレイ２２４に表示するものである。

以下、図に示す第４の実施例になる画像処理装置の構成を、図中の記号を用いて説明すると、まず、メモリＩＣ２００には、予め記録されたビデオストリームが格納されている。そして、図示されていないユーザＩ／Ｆ回路により、本装置に対してビデオストリームの再生が指示された場合、最初に、カードＩ／Ｆ部２０１によってデータが読み出される。この読み出されたデータには、上記ビデオストリームのほか、データの管理情報などが含まれる。この読み出されたビデオストリームについては、Ｄｅｍｕｘブロック２０４において、システムデコード処理が行われ、パケット化され、かつ、他の音声データなどと多重化された情報から、次段のビデオデコーダ（Ｄｅｃｏｄｅ）２０５が、復号可能なストリーム形態に処理される。例えば、ＭＰＥＧ２Ｓｙｓｔｅｍｓ規格（ＩＳＯ／ＩＥＣ１３８１８−１）に則った場合には、トランスポートストリーム（ＴＳ）パケット化されているストリームから、ヘッダ類を解析、除去し、ＭＰＥＧ２のエレメンタリストリーム（ＥＳ）レベルのデータを抽出する。抽出されたＥＳデータ（ビデオＥＳ）は、一度、メモリＩ／Ｆ２０２を介して、大容量メモリ（ＳＤＲＡＭ）２０３に格納され、再び、ビデオデコーダ（Ｄｅｃｏｄｅ）２０５によって読み出される。

上述したビデオデコーダ（Ｄｅｃｏｄｅ）２０５によって読み出されたデータは、ＭＰＥＧ２Ｖｉｄｅｏ規格に則ってデコードされ、復号画像がメモリＩ／Ｆ２０２を介してメモリ（ＳＤＲＡＭ）２０３に格納される。次に、この復号画像は、ノイズ除去ブロック２０７、エッジ強調ブロック２０９、ガンマ補正ブロック２１１など、所謂、画像処理ブロックに順次データ転送され、各ブロックでは、それぞれ、ノイズ除去処理、エッジ部分の強調処理、ガンマ補正による色階調調整処理などが行われる。

その場合、各データ処理がメモリ部２０３にアクセスする際には、上述した実施例１、２にも示したようなデータ圧縮伸張処理を行い、もって、バンド幅の圧縮を行う。そして、これらの処理を行う際、特に、画質が重要視される場合には、例えば、デコードを一時停止し、他方、スチル画面で表示する場合、高品位ＴＶに画像を出力するような場合、更には、後述するように、外部の高品位ディスプレイを接続し出力する場合には、ホストＣＰＵ２２３が各データ圧縮／伸張ブロック２０６、２０８、２１０に対して、バンド幅の最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）を引き上げる設定を行うことで、画質を優先する処理を行う事ができる。逆に、装置がバッテリ駆動の状態であり、その消費電力を抑えたい場合には、最悪圧縮率を引き下げる設定をすることで、メモリＩ／Ｆ２０２を介してメモリ（ＳＤＲＡＭ）２０３へのアクセスデータ量を削減する事ができ、もって、消費電力を削減する事が可能となる。

さらに、フレームレートが低いコンテンツをデコードして表示する場合を考える。例えば、１２８０ｘ７２０ｘ３０ｐのコンテンツがメモリカードにあり、デコード後、フレームレート変換部２１３で、フレームレート変換を行う。ここでは、３０ｐ（３０Ｈｚプログレッシブ画像）をフレームレート変換を行うことで、６０ｐ（６０Ｈｚプログレッシブ画像）画像として出力することにより、動きを滑らかに演出する事ができる。この場合も、ＦＲＣでは、３０Ｈｚのデータを読み、６０Ｈｚ化して出力する際に、データ圧縮伸張２１４ブロックでバンド幅圧縮処理を行うことで、消費電力を削減する事が可能である。

上記のように、出力する画像の重要度に応じて、最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）をホストＣＰＵ２２３から制御することも可能である。ガンマ補正後、もしくは、フレームレート変換後の画像は、通常、データ伸張２１６部で、データが伸張され、その後、スケーラ２１７によってディスプレイサイズに合わせてＬＣＤドライバ２１８に転送され、最終的に、備え付けのＬＣＤ２１９に出力される。例えば、１９２０ｘ１０８０の画像をＷＶＧＡサイズＬＣＤに出力する際には、水平、垂直を縮小し、８００ｘ４８０画素のサイズに変換し出力する。

他方、外部に接続されたプラズマＴＶや液晶大型ディスプレイなど、所謂、大型ディスプレイ２２４に出力する場合には、画像データは、データ伸張２２０において、バンド幅圧縮のための符号化が解かれた後、スケーラ２２１において、外部ディスプレイのサイズに合わせた解像度に変換され、その後、ＨＤＭＩインタフェース回路２２２を介して外部の大型ディスプレイ２２４に出力される。さらに、画像出力時に付加するＯＳＤ（オンスクリーンディスプレイ）処理が、ＯＳＤ２１５により施される。すなわち、出力する画像を、メモリ（ＳＤＲＡＭ）２０３からリードし、さらに、合成するグラフィックスデータを、やはり、メモリ（ＳＤＲＡＭ）２０３よりリードし、そして、αブレンディング合成などを行って、再び、メモリ（ＳＤＲＡＭ）２０３に戻す。この際にも、上述した他の画像データと同様に、データ圧縮伸張部２１４により、ＯＳＤデータと復号画像の双方において、バンド幅圧縮を行う事ができる。

上述したように、データ圧縮／伸張を、各画像処理に関連するメモリアクセスのデータパスにおいて執り行うことによれば、画像処理に関するデータアクセス量を削減し、もって、回路の消費電力を削減する事が可能である。また、画像の重要度に応じて、最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）を制御することにより、画質とデータアクセス量削減のバランスを取ることが可能となる。

例えば、６０ｉの画像（４：２：２）画像をリード・ライトアクセスする際には、１９２０×１０８０×８ｂｉｔ×３０×２＝約９９５Ｍｂｐｓのデータアクセスが発生する。また、無圧縮時では、ノイズ除去処理から、ＬＣＤ出力、更には、ＨＤＭＩ−Ｉ／Ｆ２２２に出力するまでのメモリアクセス（データ圧縮／伸張ブロック２０６、２０８、２１０、２１４、２１６、２２０を経由する符号画像データで、フレームレートを変換部）には、９×９９５Ｍｂｐｓ＝８９９５Ｍｂｐｓのバンド幅が必要になる。例えば、メモリＩ／Ｆ２０２が６４ｂｉｔのデータバスである場合には、データがアクセス有効なクロック数のみの場合でも、８９９５／６４＝１４０ＭＨｚを必要とする。

これに対し、しかしながら、一律に、最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）を６５％に設定をした場合には、１４０−１４０×０．６５＝約４９ＭＨｚのクロック数を削減する事ができる。従って、この場合、ホストＣＰＵ２２３は、最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）を各データ圧縮／伸張部（具体的にはデータ圧縮／伸張ブロック２０６、２０８、２１０、２１４、２１６、２２０）に指定した後、メモリＩ／Ｆ部２０３に供給する動作クロックを、クロック発生回路２２５において、４９ＭＨｚだけ低下させることにより、恒常的なクロックの供給に伴ってフリップフロップなどで消費される電量を、大幅に削減する事が可能である。

同様に、メモリ（ＳＤＲＡＭ）２０３が３２ビットのＤＤＲ−ＳＤＲＡＭであったとすると、４９ＭＨｚ分のクロック消費を削減する事ができるため、やはり供給するクロックを削減する事ができる。これにより、メモリ（ＳＤＲＡＭ）２０３とのＩ／Ｏ端子などで消費される電力を削減することが出来、本発明のバンド幅圧縮回路によって得られる消費電力の低減効果は大きいものとなる。しかも、最悪圧縮率によって、リアルタイムデータ処理が破綻しないバンド幅が保証されるという利点をも併せ持つこととなる。なお、上記に加えて、ＯＳＤ処理、フレームレート処理において、上記のバンド幅圧縮処理を行ったときには、さらに、その電力削減効果を大きくする事が出来る。

本実施例では、ＨＤＭＩ経由で外部ディスプレイ（即ち、大型ディスプレイ２２４）を接続しているが、ＨＤＭＩ規格においては、ＣＥＡ−８６１Ｅなどに記載されているように、ディスプレイの画素数や画像サイズについて、ＥＤＩＤ(Extended Display Identification Data)として、信号元に出力する手段を備える。本実施例では、ＨＤＭＩ−ＩＦブロック２２２で、このＥＤＩＤ情報を受け取り、その画素数や画像サイズをホストＣＰＵ２２３に通知する。この通知された情報とバンド幅の最悪圧縮率（Ｗｏｒｓｔ Ｒａｔｉｏ）の対応をあらかじめ設定しておき、そして、画像サイズ又は画素数が大きくなるにつれて、当該最悪圧縮率を１００％に近づけるように制御を行うことにより、知覚される画像の変化を低減しながら、消費電力の削減効果を出す事が可能となる。即ち、外部ディスプレイの接続状況に応じた消費電力の削減や自動化を達成することが可能となる。

なお、本実施例では、メモリＩＣ２００からストリームを読み出してデコードするシステムについて説明しているが、しかしながら、本発明はこれに限定されることなく、例えば、ストリームの入力が、放送受信やネットワーク経由であり、本発明で説明する画像処理システムに入力されてデコードされる場合においても、本発明に記載しているものと同等の効果が得られることは明らかである。

また、本実施例では、ビデオデコーダ（Ｄｅｃｏｄｅ）２０５によって生成された復号画像をメモリ（ＳＤＲＡＭ）２０３に格納し、また、これを読み出しする場合には、バンド幅圧縮伸張処理を施していないが、しかしながら、このデータパス上において、例えば、上記デコード（Ｄｅｃｏｄｅ）２０５とメモリＩ／Ｆ２０２との間に、データ圧縮伸張処理部を挿入し、もって、バンド幅圧縮処理を施しても良い。この場合には、復号画像がデータ圧縮によって元の絵から変化した場合、画像の参照により誤差が蓄積し、そのため、復号が進むにつれて、画像が乱れるという懸念がある。そこで、この場合には、Ｉピクチャ、Ｐピクチャのように、他のフレームから参照できるものについては、可逆圧縮を用いて、もって、伸張後のデータが変化しないようにすることにより、かかる懸念を回避することができる。また、Ｂピクチャのように、他の参照画像として用いられないピクチャについては、非可逆圧縮を用いて、圧縮効果を挙げることを行っても良い。また、上述したＩピクチャやＰピクチャに関しても、画質劣化が許容される範囲で非可逆圧縮を用いても良い。

なお、動画像圧縮規格で用いられる、動き補償による参照画像のデータのアクセス時には、動きベクトルに従って、参照画像領域をランダムにアクセスする場合が生じる。かかる場合においても、上述した実施例２のように、バンド幅圧縮処理を行ってメモリに格納する際に、最悪圧縮率により規定されたデータ区切り毎にアドレス配置すること、圧縮データに対してランダムアクセスを行う事が可能となり、もって、ＭＣ時のデータアクセスのオーバヘッドを減らす事が可能となる。

次に、添付の図８を用いて、本発明の第５の実施例になる画像処理装置について説明する。なお、この図８に示す画像処理装置は、上記図７にも示したビデオデコード（Ｄｅｃｏｄｅ）部２０５の詳細を示した図であり、本実施例では、上述した実施例１〜４までに説明した画像処理のブロック構成を持ち、さらに、ビデオデコードの縮小デコード処理を行う機能を、上記ビデオデコード（Ｄｅｃｏｄｅ）部２０５に備えた装置である。

以下、この図８に従って、１９２０×１０８０の解像度を持つストリームのデコード処理について説明する。なお、ＭＰＥＧ２の規格に則った詳細処理は、さらに複雑な処理が必要であるが、以下では、本発明に関連する主要なデータフローについてのみ説明する。

高画質でデコード画質を求めたい場合の処理は、通常のＭＰＥＧ２に規定されているデコード処理となる。すわなち、ＶＬＤブロック４１０には、デコードすべきビデオＥＳ信号が、前段の、即ち、上記図７に示すＤｅｍｕｘブロック２０４から供給され、処理される。即ち、可変長符号化されたデータを復号し、各ＭＢ毎の量子化ステップ情報、量子化後のＤＣＴ係数、ＤＣＴｔｙｐｅ、更には、動きベクトル情報などを得る。これらの情報のうち、量子化ステップ情報は、後段の逆量子化ブロック４１１に送信され、ここでＭＰＥＧ２の規格に則り逆量子化され、各量子化後のＤＣＴ係数が出力される。

次に、ＤＣＴ係数は、各ＭＢで指定されたＤＣＴｔｙｐｅ（ＦｉｌｅｄＤＣＴ／ＦｒａｍｅＤＣＴなど）に従って、逆ＤＣＴブロック４１２において、逆ＤＣＴ処理が行われ、画像サンプル値（Ｉピクチャについては、画像サンプル値、Ｐ、Ｂピクチャについては、参照画像との差分情報）が得られる。その後、Ｐ，Ｂピクチャに関しては、動きベクトル情報に従って、参照画像がＭＣ（Ｍｏｔｉｏｎ Ｃｏｎｐｅｎｓａｔｉｏｎ）ブロック４１３によって処理され、復号画像が得られる。本実施例では、低電力デコード処理を備える。

ホストＣＰＵ２２３において、デコード処理に対して低電力モードを指示した場合には、ＶＬＤブロックは、量子化後の各ＤＣＴ画像サンプルを出力する際、添付の図９に示すように、オリジナルの全ての画素（図中の符号４２０で示した、８ｘ８＝６４サンプルのＤＣＴ成分を示す。）の代わりに、低周波領域に示す一部のデータ（図中の符号４２１で示した、４ｘ４＝１６サンプルの低周波側の成分）だけを量子化ブロックに転送する。この量子化ブロックでは、送られた１６サンプル分のみ、各対応する逆量子化の式に従って、逆量子化を行う。その後、１６サンプル分のみに逆ＤＣＴを行い、ＭＣブロック４１３に転送する。ＭＣブロック４１３では、Ｉピクチャについて、４×４の画像サイズのデータを順番に並べる。結果として、水平１／２、垂直１／２の画像サイズのデータ（９６０画素×５４０画素）のデータが作成される。

また、Ｐ、Ｂピクチャは、通常の動き補償処理では、符号４２２で示すように、復号中の現在のフレームの各ＭＢ（１６画素×１６画素）毎に、参照画像から動きベクトル（ＭＶ）分だけ移動したところから、データをリードし、逆ＤＣＴ部から出力された１６×１６画素分の画素差分値を参照画像に加算する。しかしながら、低電力デコードモードでは、動きベクトルを１／２化して、即ち、８ｘ８のデータを復号画像からリードする。その後、符号４２１で示した画素差分値を用いて処理を行い、復号画像に加算する。本処理は、量子化前のＤＣＴ係数の段階で、処理するサンプル数を間引くため、その後の画像処理データ数は１／４となる。更に、画像サイズを１／１６化したい場合は、符号４２１により示したデコード処理を行うエリアを、２画素×２画素に絞ることで、更に処理量を削減する事が可能である。

各モードにおける処理時間の変化を、添付の図１０に示す。フルデコード時に、例えば、１／３０Ｈｚで周期的に出力されるＶｓｙｎｃ信号をスタートの基準として、各フレーム期間以内に１／３０秒分の１フレームのデコード処理を行う。デコードはＩ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４（各々、Ｉピクチャ、Ｂピクチャ、Ｂピクチャ、Ｐピクチャ、Ｂピクチャを示す。）の順に処理を行う。

ここで、上記図９で符号４２１により示したように、ＤＣＴ係数を逆量子化前に１／４化する場合（１／４サイズデコード）には、各フレームの処理期間は、概ね１／４のフレーム期間で処理が終了する。そのまま、引き続き、次のフレームデコード処理を行うと、復号画像をバッファするためのメモリがオーバーフローするため、次のフレームのスタートであるＶｓｙｎｃ信号まで、次のフレームのデコード処理を保留し、デコードブロックの動作クロックを休止する。また、次のＶｓｙｎｃを起点に再びクロックが動作するように制御する。同様に、１／１６サイズのデコードを行う際には、各フレームの約１／１６期間で各フレームの処理を行い（図１０の符号４２７を参照）、その後のＶｓｙｎｃまでは、クロックを休止する。

以上のように、Ｖｓｙｎｃ同期でデコードを開始し、デコード期間を終了した段階で、クロックを休止することにより、デコードブロック内のフリップフロップの動作を止める事ができる。一般に、ＬＳＩによる消費電力は、信号処理が実際に動作しているか否かに関わらず、システムクロックが供給されているフリップフロップで消費される電力が非常に多い。従って、本実施例のように、休止期間中にクロックを停止することで大きく消費電力を低減することができる。また、本実施例のように、Ｖｓｙｎｃ期間前半などの一部期間に処理を集中させることで、クロック供給、停止の制御を単純にする事ができ、この点においても、回路のコスト低減に有効である。また、フルデコード時とスループットは変わらないため、復号画像領域、その他の中間データ領域を変更する必要がないため、システム動作の変更を最小限にしつつ動作モードを変更する事ができる。

一方、ＭＣ処理時には、本来とは異なる復号画像を参照することとなり、通常のデコードを行った後に画像を縮小した場合に比べ、一般的には、画像の劣化が大きくなる事が知られている。このため、上記サイズ縮小を伴うデコード処理には、画像の重要度に応じてデコード処理方法を切り替える手段を備えることが望ましい。すなわち、内蔵の小型ＬＣＤ２１９のみで出力する場合には、画像は最終的に８００×４８０画素のデータサイズで出力するため、９６０×５４０画素の１／４デコードを用いてデータを作成しても、さらにスケーラ２１７において縮小処理が行われる。このため、参照画像において通常のデコード時に比べて若干の画像の誤差が生じても、視認されるレベルは小さく、ユーザに違和感を与えることは少ない。

他方、外部ディスプレイに出力する際には、１９２０×１０８０以上の解像度を持つ場合には、９６０×５４０画素以下のデータでは、スケーラ２２１において拡大処理が入り、１／４デコードを行うことで生じる画像の乱れが強調して出力される。従って、小型のＬＣＤに出力する場合には、ホストＣＰＵ２２３は１／４デコードモードを選択し、そして、ビデオデコーダ２０５が１／４デコードモードで動作するように、ビデオデコーダ２０５内の各ブロックの動作を定義する。また、外部ディスプレイに出力する際には、ビデオデコーダ２０５内の各ブロックがフルデコードモードとして動作するように制御する。一般に、小型ＬＣＤのみで出力する場合は、電池駆動での動作が多く、他方、外部ディスプレイに出力する場合は、宅内など、比較的、装置をＡＣ電源に接続し易い状況であることが多いことから、上記デコードモード制御は、画質と消費電力の削減効率とのバランスを取りながら、実際の使い勝手に適した動作を自動的に選択する装置を提供するのに効果的である。

次に、添付の図１１を用いて、本実施例における、フルデコードと、１／４デコードの切り替え制御について説明する。あるコンテンツを再生中に、例えば、それまで接続されていなかった外部ディスプレイが接続されたような場合、ビデオストリームの再生を止めずにデコードモードを変更する。この際、デコードモードは、１／４デコードから、フルデコードに変更されることになるが、デコードモードの切り替わり時には、異なる復号画像サイズのデータが共に存在することになる。例えば、切り替わり後のフルデコードでは、本来参照すべき復号画像が１９２０×１０８０の解像度を持つべきなのに、前方側の参照画像が、９６０×４８０の画像が格納されている場合が生じる。この場合、ＭＣのデコード処理が正しく画像位置を参照できなくなる。

そのため、切り替えが生じたときには、図１１において符号５００で示すように、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の切り替わり部分まで切り替え処理を待ち、切り替わり部分では、前方にあるフルデコード画像からの参照（具体的には、Ｂ２デコード時におけるＰ０の参照、Ｂ３デコード時におけるＰ０の参照）を行わずに、デコード処理を続行する。これにより、参照画像の不整合を解消できる。さらに、後段のスケーラ２１７では、Ｐ０以前の画像は、９６０×４８０のデータから８００×４８０（ＷＶＧＡ）に縮小する処理を行い、Ｂ２以降の画像については、１９２０×９６０のデータから８００×４８０の画像に縮小するように処理を行う。また、Ｂ２、Ｂ３の表示時には、Ｐ０のデータを代わりに出力し、又は、ブランク画面の表示を行うなどにより、参照画像が片方向参照になる影響を画像として見せないようにしても良い。これにより、デコードモードをデコード中に変更しても、画像の乱れを起こさないように出力する事が可能となる。即ち、本実施例によれば、消費電力の削減を、デコード処理の適応的制御により実現することが可能となる。

本発明の第１の実施例（実施例１）である画像処理装置におけるデータ処理回路のブロック構成図である。 上記画像処理装置（実施例１）におけるバンド幅圧縮手段の一例を示す図である。 上記画像処理装置（実施例１）におけるバンド幅圧縮の原理を説明するための図である。 上記画像処理装置（実施例１）におけるバンド幅圧縮、特に、バンド幅削減時のメモリ格納量を説明する図である。 本発明の他の実施例（実施例２）である画像処理装置における可逆圧縮時のメモリ圧縮効率を説明した図である。 本発明の他の実施例（実施例３）である画像処理装置におけるメモリ内の配置を示した図である。 本発明の他の実施例（実施例４）である画像処理装置における画像処理回路のブロック構成図である。 本発明の更に他の実施例（実施例５）になる画像処理装置におけるデコードブロックを説明する図である。 上記デコードブロック（実施例５）における１／４デコード処理を説明する図である。 上記デコードブロック（実施例５）における１／４デコード、１／１６デコード処理の処理時間を説明する図である。 上記デコードブロック（実施例５）におけるデコードモードの切り替え制御を説明する図である。

１…データ処理回路、２…情報処理回路、１１…画像入力端子、１２…情報処理回路内の前半処理部、１３…データ圧縮回路部、１４…メモリインタフェース部、１５…外部メモリ端子、１６…外部メモリ、１７…データ伸張処理部、１８…情報処理回路内の後半処理部、１９…データ出力端子、２０…ホストプロセッサ、８０…画像処理装置、２００…メモリＩＣ、２０１…カードインタフェース、２０２…メモリインタフェース、２０３…メモリ、２０４…Ｄｅｍｕｘブロック、２０５…ビデオデコーダ、２０６…データ圧縮伸張部、２０７…ノイズ除去ブロック、２０８…データ圧縮伸張部、２０９…エッジ強調部、２１０…データ圧縮伸張部、２１１…ガンマ補正部、２１２…データ圧縮伸張部、２１３…フレームレート変換部、２１４…データ圧縮伸張部、２１５…ＯＳＤ処理部、２１６…データ伸張部、２１７…スケーラ、２１８…ＬＣＤドライバ、２１９…小型ＬＣＤ，２２０…データ伸張部、２２１…スケーラ、２２２…ＨＤＭＩインタフェース、２２３…ホストＣＰＵ，２２４…大型ディスプレイ、２２５…クロック発生回路、４１０…ＶＬＤ処理部、４１１…逆量子化部、４１２…逆ＤＣＴ部、４１３…動き補償部。

Claims (17)

1. 圧縮された中間情報を記録したメモリと、
   外部メモリと、
   画像情報を信号処理して出力する信号処理手段と、
   前記信号処理手段が前記中間情報を前記外部メモリにデータを格納する際、当該データのデータ量を圧縮するデータ圧縮手段と、そして、
   前記信号処理手段が前記メモリから前記圧縮された中間情報を読み出す際、データを伸張するデータ伸張手段とを備えた画像処理装置であって、
   前記データ圧縮手段は、更に、データの圧縮効率が最も悪い際の最悪圧縮率を定義する手段を備えることを特徴とする画像処理装置。
2. 前記請求項１に記載した画像処理装置であって、さらに、前記圧縮後の中間データを読み出す際に、アドレス計算によって圧縮前の中間データのデータ位置が小領域ごとに特定する手段を備えることを特徴とする画像処理装置。
3. 前記請求項１に記載した画像処理装置であって、さらに、上記信号処理手段は、動き補償処理を行う画像復号手段を備えており、そして、前記データ圧縮手段と前記データ伸張手段とは、前記動き補償処理を行う際に、前記メモリにアクセスされる復号画像に対して、データの圧縮／伸張処理を施すことを特徴とする画像処理装置。
4. 前記請求項１に記載した画像処理装置であって、さらに、前記信号処理手段は、前記中間情報の読み出し時に、前記中間情報の途中から一部のみを読み出して伸張する手段を備えることを特徴とする画像処理装置。
5. 前記請求項１に記載した画像処理装置であって、さらに、前記データ圧縮手段は、可逆圧縮処理を行う手段を備えていることを特徴とする画像処理装置。
6. 前記請求項５に記載した画像処理装置であって、さらに、前記データ圧縮手段は、圧縮処理により圧縮前のデータよりデータサイズが大きくなると判断した場合には、当該圧縮を実行を停止し、かつ、圧縮を行わないことを識別するためのフラグを付加して出力することを特徴とする画像処理装置。
7. 前記請求項１に記載した画像処理装置であって、さらに、前記データ圧縮手段は、非可逆圧縮処理を行う事を特徴とする画像処理装置。
8. 画像情報を信号処理する信号処理部と、
   前記信号処理部によって出力された画像情報をディスプレイ機器に対して出力する画像出力部とを備えた画像処理装置であって、
   前記信号処理部は、さらに、前記画像出力部から出力される画質の重要度が低い場合には、消費電力を低下させる手段を有することを特徴とする画像処理装置。
9. 前記請求項８に記載した画像処理装置であって、さらに、出力するディスプレイ装置の属性を、出力するディスプレイ機器から、通信により取得する手段を備えており、そして、前記信号処理部は、前記画質の重要度を、当該属性取得手段により取得した属性により判定することを特徴とする画像処理装置。
10. 前記請求項８に記載した画像処理装置であって、さらに、前記信号処理部は、ビデオストリームのデコード処理を行う手段を有しており、前記信号処理部の前記消費電力を低下させる手段は、前記ビデオストリームのデコード処理時の処理サンプル数を削減することで実現することを特徴とする画像処理装置。
11. 前記請求項１０に記載した画像処理装置であって、前記信号処理部は、さらに、前記デコード処理手段の処理サンプル数の削減をデコード処理実行中に変更する手段を有することを特徴とする画像処理装置。
12. 前記請求項８に記載した画像処理装置であって、前記信号処理部は、前記画像処理量を削減して処理時間を短縮することで得られた余裕期間だけ、前記信号処理部を休止させる手段を備えており、もって、その消費電力を低下させることを特徴とする画像処理装置。
13. 前記請求項１２に記載した画像処理装置であって、さらに、前記信号処理部は、休止期間中のクロックを停止する手段を備えており、もって、その消費電力を低下させることを特徴とする画像処理装置。
14. 前記請求項１２に記載した画像処理装置であり、さらに、前記信号処理部は、各フレーム期間の一部に処理を集中させ、もって、次のフレーム期間まで、それ以外の時間、その機能を休止する手段を備えていることを特徴とする画像処理装置。
15. 前記請求項８に記載の画像処理装置であって、さらに、前記画像出力部は、複数のディスプレイに対する出力手段を備えており、かつ、前記信号処理部は、さらに、当該複数のディスプレイのうち最も画質の重要性が高いディスプレイへの出力に合わせて、前記消費電力を低下させる手段を制御するための手段を備えていることを特徴とする画像処理装置。
16. 前記請求項８に記載した画像処理装置であって、前記信号処理部は、さらに、
    外部メモリと、
    画像情報を信号処理し出力する信号処理手段と、
    前記信号処理手段が中間情報を前記外部メモリにデータを格納する際、当該データのデータ量を圧縮するデータ圧縮手段と、
    前記信号処理手段が前記外部メモリから圧縮された中間情報を読み出す際、当該圧縮されたデータを伸張するデータ伸張手段とを備えており、かつ、
    前記消費電力を低下させる手段は、前記データ圧縮手段によって前記外部メモリへアクセスするアクセス量を削減することによって実現することを特徴とする画像処理装置。
17. 前記請求項１６に記載して画像処理装置であって、さらに、前記データ圧縮手段によって前記外部メモリへのアクセス量を削減した場合には、当該外部メモリへのクロック数を低下させる手段を備えており、もって、消費電力を低減することを特徴とする画像処理装置。

Images