JP5576781B2 - 画像処理システム、画像処理システムの動作方法、ホスト装置、プログラム、およびプログラムの作成方法 - Google Patents

Description

本発明は、画像データの伝送技術に関する。

２つの装置間で画像データを伝送する場合、伝送帯域を抑えるため、通常、画像データには、圧縮処理（符号化処理）が施される（例えば、特許文献１）。画像データに対する圧縮方式としては、例えば、Ｈ．２６４、ＭＰＥＧ(Moving Picture Experts Group)−４等の圧縮方式が採用されるが、これらの圧縮方式は、不可逆な圧縮方式であるため、画像データを受信した装置において、伸張処理されて得られる画像データに基づく画像は、画質の劣化した画像となる。

画像データの伝送によって生じる遅延時間と、伝送された画像の画質とは互いに相関関係を有し、遅延時間を短くすると画質が劣化し、画質を維持しようすると遅延時間が長くなる。

特開平１１−２９８８９０号公報

ここで、装置間の画像データの伝送においては、画像データの伝送によって生じる遅延が許容されない場合がある。例えば、画像データを受信した受信側の装置において、画像を視認したユーザによって、受信側の装置に対して何らかの入力操作が行われた場合に、当該入力操作を反映した画像を送信側の装置から取得して表示するシステムでは、ユーザの利便性の観点から、ユーザの入力操作に対する応答は早いことが好ましい。

このようなシステムにおいては、画像データの伝送によって生じる遅延時間を抑えた画像データの伝送が行われるため、受信側の装置には、画質の劣化した画像が表示されることになる。

そこで、本発明は、画像データの伝送によって生じる遅延によりユーザの利便性を損なうことなく、伝送された画像データに基づいて表示される画像の画質を向上させることが可能な技術を提供することを目的とする。

本発明に係る画像処理システムの第１の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記画像処理システムの前記動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況への遷移に応じて、前記表示部に表示される画像の画質を上げる。

また、本発明に係る画像処理システムの第２の態様は、上記第１の態様であって、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力する。

また、本発明に係る画像処理システムの第３の態様は、上記第２の態様であって、前記符号化条件設定手段は、画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアを、前記画質設定手段により出力される画質情報に基づいて特定し、当該単位符号化エリアを前記符号化条件として出力し、前記符号化手段は、１フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記符号化条件に基づいて決定して、量子化パラメータを制御する符号量制御手段と、前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化手段とを有する。

また、本発明に係る画像処理システムの第４の態様は、上記第３の態様であって、前記符号量制御手段は、前記単位符号化エリアに含まれる１マクロブロックあたりの目標符号量を、当該単位符号化エリアの発生符号量が当該単位符号化エリアの総目標符号量に収まるように決定する。

また、本発明に係る画像処理システムの第５の態様は、上記第３の態様または上記第４の態様であって、前記クライアント装置は、前記ホスト装置から伝送される画像データに対して、復号化処理を施す復号化手段を有し、前記画像処理システムは、前記符号化処理と、前記ホスト装置から前記クライアント装置への画像データの伝送処理と、前記復号化処理とを、それぞれ独立して単位符号化エリアごとに順次に行う。

また、本発明に係る画像処理システムの第６の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記画像表示の遅延が許容される前記動作状況には、前記表示部に視聴目的のシーンが表示される状況が含まれる。

また、本発明に係る画像処理システムの第７の態様は、上記第６の態様であって、前記ホスト装置は、前記視聴目的のシーンを再生するためのプログラムを記憶する記憶部を有し、前記プログラムには、前記画質レベルを上げる画質設定命令が組み込まれており、前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第８の態様は、上記第７の態様であって、前記視聴目的のシーンを再生するためのプログラムは、関数として構成され、当該関数のＡＰＩ（ApplicationProgramInterface）はプログラマに公開される。

また、本発明に係る画像処理システムの第９の態様は、上記第６の態様であって、前記ホスト装置は、前記視聴目的のシーンを再生するためのプログラムを記憶する記憶部を有し、前記視聴目的のシーンを再生するためのプログラムのソースコードには、前記視聴目的のシーン名がコメント文として記載され、前記視聴目的のシーン名に関するコメント文は、コンパイルの前に前処理を行うプリプロセッサによって、前記画質レベルを上げる画質設定命令のソースコードに置換され、前記画質設定手段は、前記ソースコードから生成されたオブジェクトコードを含んだ前記プログラムの実行により発行される画質設定命令を受けて、前記画質レベルを設定する。

また、本発明に係る画像処理システムの第１０の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記画像表示の遅延が許容される前記動作状況には、前記表示部を視認するユーザに対して思考時間を必要とさせる特定ジャンルのアプリケーションソフトウェアが実行されている状況が含まれる。

また、本発明に係る画像処理システムの第１１の態様は、上記第１０の態様であって、前記ホスト装置は、アプリケーションソフトウェアのジャンルに応じた画質設定命令を発行させる関数を記憶する記憶部を有し、前記関数は、前記特定ジャンルのアプリケーションソフトウェアにおいて使用され、前記特定ジャンルのアプリケーションソフトウェアには、当該関数の引数として、前記特定ジャンルが設定され、前記画質設定手段は、前記特定ジャンルのアプリケーションソフトウェアの実行により前記画質レベルを上げる画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第１２の態様は、上記第１１の態様であって、アプリケーションソフトウェアのジャンルに応じた画質設定命令を発行させる関数のＡＰＩは、プログラマに公開される。

また、本発明に係る画像処理システムの第１３の態様は、上記第１０の態様であって、前記ホスト装置は、アプリケーションソフトウェアの初期化処理において実行される第１関数と、当該第１関数の引数に設定されたアプリケーションソフトウェアのジャンルに応じた画質設定命令を発行させる第２関数とを記憶する記憶部を有し、前記第１関数は、前記特定ジャンルのアプリケーションソフトウェアにおいて使用され、前記特定ジャンルのアプリケーションソフトウェアでは、前記第１関数の引数として、前記特定ジャンルが設定され、前記第２関数は、前記第１関数の実行によって実行され、前記画質設定手段は、前記特定ジャンルのアプリケーションソフトウェアの実行により前記画質レベルを上げる画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第１４の態様は、上記第１３の態様であって、前記第１関数のＡＰＩは、プログラマに公開される。

また、本発明に係る画像処理システムの第１５の態様は、上記第１０の態様であって、前記特定ジャンルのアプリケーションソフトウェアのソースコードには、当該特定ジャンルがコメント文として記載され、前記特定ジャンルに関するコメント文は、コンパイルの前に前処理を行うプリプロセッサによって、前記画質レベルを上げる画質設定命令のソースコードに置換され、前記画質設定手段は、前記ソースコードから生成されたオブジェクトコードを含んだ前記特定ジャンルのアプリケーションソフトウェアの実行により発行される当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第１６の態様は、画像処理システムであって、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記画像表示の遅延が許容される前記動作状況には、前記ホスト装置がデータを読み出している状況が含まれる。

また、本発明に係る画像処理システムの第１７の態様は、上記第１６の態様であって、前記ホスト装置は、データの読み出しを実行するためのプログラムを記憶する記憶部を有し、前記プログラムには、前記画質レベルを上げる画質設定命令が組み込まれており、前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第１８の態様は、上記第１７の態様であって、データの読み出しを実行するためのプログラムは、関数として構成され、当該関数のＡＰＩはプログラマに公開される。

また、本発明に係る画像処理システムの第１９の態様は、上記第１６の態様から上記第１８の態様のいずれかであって、前記ホスト装置がデータを読み出している状況には、当該ホスト装置に装着された外部記憶媒体からデータを読み出している状況が含まれる。

また、本発明に係る画像処理システムの第２０の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、前記画像表示の遅延が許容される前記動作状況には、前記操作検出手段によって検出されるユーザの操作量が所定量以下である状況が含まれる。

また、本発明に係る画像処理システムの第２１の態様は、上記第２０の態様であって、前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、前記画質設定手段は、前記操作情報に基づいて特定された未操作期間が所定期間以上であった場合、前記画質レベルを上げる画質情報を出力する。

また、本発明に係る画像処理システムの第２２の態様は、上記第２０の態様または上記第２１の態様であって、前記操作検出手段には、ユーザによって前記クライアント装置に与えられる動きを検知する検知センサが含まれ、前記クライアント装置は、前記検知センサによって検知される情報を前記操作情報に含めて前記ホスト装置に伝送し、前記画質設定手段は、前記検知センサによって検知される情報に基づいて特定される前記クライアント装置の移動量が所定時間にわたって変化しない場合、前記画質レベルを上げる。

また、本発明に係る画像処理システムの第２３の態様は、上記第２０の態様であって、前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、前記ホスト装置は、前記操作情報に基づいて、前記クライアント装置に対するユーザの操作を監視する操作監視手段を有し、前記操作監視手段は、ユーザの操作量が所定量以上である場合は、前記画質レベルを下げる画質設定命令を出力し、ユーザの操作量が所定量より少ない場合は、前記画質レベルを上げる画質設定命令を出力する。

また、本発明に係る画像処理システムの第２４の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記画質設定手段は、前記画像表示の遅延が許容される動作状況から前記画像表示の遅延が許容されない動作状況へと変化する時点よりも前の時点において、画質レベルを下げる画質情報を出力する。

また、本発明に係る画像処理システムの第２５の態様は、上記第２０の態様から上記第２４の態様のいずれかであって、前記ホスト装置は、ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更するシーン変更時点よりも前の時点において、所定のイベントを実行するためのプログラムを記憶する記憶部を有し、前記プログラムには、前記画質レベルを下げる画質設定命令が組み込まれており、前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第２６の態様は、上記第２５の態様であって、前記所定のイベントを実行するためのプログラムは、関数として構成され、当該関数のＡＰＩはプログラマに公開される。

また、本発明に係る画像処理システムの第２７の態様は、上記第２０の態様から上記第２４の態様のいずれかであって、前記ホスト装置は、ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更するシーン変更時点におけるイベントを実行させるプログラムを記憶する記憶部を有し、前記シーン変更時点におけるイベントを実行させるプログラムのソースコードには、コンパイルされた際に、前記画質レベルを下げる画質設定命令を、前記シーン変更時点の所定時間前に配置させる特殊命令が含まれ、前記画質設定手段は、前記ソースコードのコンパイルにより生成されたオブジェクトコードを含んだ前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第２８の態様は、上記第２７の態様であって、前記シーン変更時点におけるイベントを実行させるプログラムは、関数として構成され、当該関数のＡＰＩはプログラマに公開される。

また、本発明に係る画像処理システムの第２９の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、前記画像表示の遅延が許容される前記動作状況には、前記ホスト装置において、前記操作情報に基づく指示を受け付けないように設定される状況が含まれる。

また、本発明に係る画像処理システムの第３０の態様は、上記第２９の態様であって、前記ホスト装置は、前記操作情報に基づく指示を受け付けないようにするためのプログラムを記憶する記憶部を有し、前記プログラムには、前記画質レベルを上げる画質設定命令が組み込まれており、前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する。

また、本発明に係る画像処理システムの第３１の態様は、上記第３０の態様であって、前記操作情報に基づく指示を受け付けないようにするためのプログラムは、関数として構成され、当該関数のＡＰＩはプログラマに公開される。

また、本発明に係る画像処理システムの第３２の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記ホスト装置は、３Ｄ画像を生成する画像生成手段を有し、前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、前記画像表示の遅延が許容される前記動作状況には、前記画像生成手段によって生成される前記３Ｄ画像を見る視点位置が移動している状況であって、視点位置の移動前の所定期間において前記操作検出手段によってユーザの操作が検出される状況が含まれる。

また、本発明に係る画像処理システムの第３３の態様は、上記第３２の態様であって、前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、前記画像生成手段は、３Ｄ画像を生成する際に、前記視点位置を連続的に変化させるビューイング変換を行う場合は、前記画質設定手段に対して視点位置の連続的な変化が行われていることを示す信号を出力し、前記画質設定手段は、視点位置の連続的な変化が行われていることを示す信号の入力前の所定期間におけるユーザの操作が、前記操作情報に基づいて検出されなかったときは、前記画質レベルを上げる画質情報を出力する。

また、本発明に係る画像処理システムの第３４の態様は、画像データを出力するホスト装置と、前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備え、前記ホスト装置は、前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、前記ホスト装置は、３Ｄ画像を生成する画像生成手段を有し、前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、前記画像生成手段は、３Ｄ画像を生成する際に、前記視点位置を連続的に変化させるビューイング変換を行う場合は、前記画質設定手段に対して視点位置の連続的な変化が行われていることを示す信号を出力し、前記画質設定手段は、視点位置の連続的な変化が行われていることを示す信号の入力前の所定期間におけるユーザの操作が、前記操作情報に基づいて検出されたときは、前記画質レベルを下げる画質情報を出力する。

また、本発明に係る画像処理システムの第３５の態様は、上記第１の態様であって、前記ホスト装置は、前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、前記画質情報に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記符号化手段は、画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアを、前記画質情報に基づいて特定し、１フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記単位符号化エリアに基づいて決定して、量子化パラメータを制御する符号量制御手段と、前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化手段とを有する。

また、本発明に係る画像処理システムの第３６の態様は、上記第１の態様であって、前記ホスト装置は、前記動作状況に応じて、前記表示部への画像表示の許容遅延時間を設定して、設定した許容遅延時間に関する遅延時間情報を出力する遅延時間設定手段と、前記遅延時間情報に基づいて、前記画像データに対して符号化処理を施す符号化手段とを前記画質制御手段として有し、前記符号化手段は、画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアを、前記遅延時間情報に基づいて特定し、１フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記単位符号化エリアに基づいて決定して、量子化パラメータを制御する符号量制御手段と、前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化手段とを有する。

また、本発明に係るホスト装置の第１の態様は、クライアント装置の表示部に表示させる画像の画像データを生成して、当該画像データを出力する出力手段と、前記ホスト装置および前記クライアント装置を含む画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段とを備え、前記画質制御手段は、前記画像処理システムの前記動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況への遷移に応じて、前記画像の画質を上げる。

また、本発明に係る画像処理システムの動作方法の第１の態様は、画像データを出力するホスト装置と、当該ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備えた画像処理システムの動作方法であって、ａ）前記ホスト装置において、前記画像処理システムの動作状況を把握する工程と、ｂ）前記ａ）工程において把握される、前記画像処理システムの前記動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況への遷移に応じて、前記表示部に表示される画像の画質を上げる工程とを有する。

また、本発明に係る画像処理システムの動作方法の第２の態様は、上記動作方法の第１の態様であって、前記ｂ）工程は、前記ａ）工程において把握される動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定工程と、前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定工程と、前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化工程とを含み、前記画質設定工程では、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報が出力される。

また、本発明に係る画像処理システムの動作方法の第３の態様は、上記動作方法の第２の態様であって、前記符号化条件設定工程では、画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアが、前記ｂ−１工程において出力された画質情報に基づいて特定され、当該単位符号化エリアが前記符号化条件として出力され、前記符号化工程は、１フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記符号化条件に基づいて決定して、量子化パラメータを制御する符号量制御工程と、前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化工程とを含む。

また、本発明に係る画像処理システムの動作方法の第４の態様は、上記動作方法の第３の態様であって、前記符号量制御工程では、前記単位符号化エリアに含まれる１マクロブロックあたりの目標符号量が、当該単位符号化エリアの発生符号量が当該単位符号化エリアの総目標符号量に収まるように決定される。

また、本発明に係る画像処理システムの動作方法の第５の態様は、上記動作方法の第３の態様または上記第４の態様であって、前記ホスト装置から伝送される画像データに対して、前記クライアント装置において復号化処理を施す復号化工程をさらに有し、前記画像処理システムでは、前記符号化処理と、前記ホスト装置から前記クライアント装置への画像データの伝送処理と、前記復号化処理とが、それぞれ独立して単位符号化エリアごとに順次に行われる。

また、本発明に係る画像処理システムの動作方法の第６の態様は、上記動作方法の第２の態様から上記第５の態様のいずれかであって、前記画質設定工程では、前記画像表示の遅延が許容される動作状況から前記画像表示の遅延が許容されない動作状況へと変化する時点よりも前の時点において、画質レベルを下げる画質情報が出力される。

また、本発明に係るプログラムの第１の態様は、画像データを出力するホスト装置と、当該ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備えた画像処理システムの前記ホスト装置に内蔵されたコンピュータに、前記画像処理システムの動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記画像処理システムの動作状況への遷移に応じて、前記表示部に表示される画像の画質レベルを上げる画質設定命令を発行する工程と、前記画質設定命令の発行を受けて前記画質レベルを設定する工程とを実行させる。

また、本発明に係るプログラムの作成方法の第３の態様は、画像データを出力するホスト装置と、当該ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備えた画像処理システムの前記ホスト装置の記憶部に記憶されるプログラムの作成方法であって、ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更するシーン変更時点におけるイベントを実行させるプログラムのソースコードをコンパイルすることによってプログラムを生成する工程を備え、前記ソースコードには、コンパイルの実行によって、前記表示部に表示される画像の画質レベルを下げる画質設定命令を、前記シーン変更時点の所定時間前に配置させる特殊命令が含まれる。

本発明によれば、画像データの伝送によって生じる遅延によりユーザの利便性を損なうことなく、伝送された画像データに基づいて表示される画像の画質を向上させることが可能になる。

本発明の実施形態に係る画像処理システムの概略構成を示す図である。 画像処理システムを構成する画像符号化装置および画像復号化装置の具体構成を示す図である。 符号化部の構成を示すブロック図である。 画質モードと符号化条件との関係を示すテーブルである。 画像符号化装置における符号化処理を説明するための図である。 画像符号化装置における符号化処理を説明するための図である。 画像符号化装置における符号化処理を説明するための図である。 画像符号化装置から画像復号化装置への画像データの伝送動作を示す図である。 ゲームプログラムの設計例である。 ゲームプログラムの設計例である。 ゲームプログラムの設計例である。 シーン変更時点までに、画質モードを低画質側のモードに遷移させる手法を説明するための図である。 シーン変更時点までに、画質モードを低画質側のモードに遷移させる手法を説明するための図である。 変形例に係る画像処理システムの具体構成を示す図である。 変形例に係る画像処理システムの具体構成を示す図である。 ゲームジャンルと画質レベルの変化範囲との関係を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

＜１．実施形態＞
［１−１．概要］
図１は、本発明の実施形態に係る画像処理システム１の概略構成を示す図である。

図１に示されるように、画像処理システム１は、画像符号化装置１０と、画像復号化装置３０とを備えている。

画像処理システム１の画像符号化装置１０は、画像生成部１１において生成した画像データを符号化する。画像符号化装置１０で符号化された画像データは、有線通信または無線通信等の通信手段（出力手段）によって画像符号化装置１０から画像復号化装置３０へと伝送される。画像復号化装置３０に伝送された画像データは、画像復号化装置３０において復号化され表示部３４に表示される。

本実施形態の画像処理システム１は、表示部３４において表示される画像の画質を制御する画質制御部１５を有している。画質制御部１５は、画像処理システム１の動作状況ＳＡを検出し、検出された動作状況ＳＡに応じて、表示部３４に表示される画像の画質を制御する。

また、画像処理システム１では、ユーザ（使用者）によって画像復号化装置３０の操作部３５を介して入力された操作情報が、上記通信手段によって画像復号化装置３０から画像符号化装置１０へと伝送され、画像処理システム１では、操作情報に応じた動作が実行される。

画像処理システム１では、画像符号化装置１０は、システム内で処理の中核となるホスト装置としての役割を有し、画像復号化装置３０は、ホスト装置によって提供される機能またはデータ等を利用して動作するクライアント装置としての役割を有している。このため、画像処理システム１においては、例えば、１つの画像符号化装置１０に対して、複数の画像復号化装置３０が設けられる態様であってもよく、この場合、１つの画像符号化装置１０から複数の画像復号化装置３０に対して、画像データが伝送されることになる。

このような画像処理システム１としては、例えば、ゲームシステムが想定され、当該ゲームシステムでは、画像符号化装置１０がゲーム機本体として動作し、画像復号化装置３０が操作端末機（単に「操作端末」または「端末」とも称する）として動作する。ゲームの操作者は、操作端末の表示部に表示される画像を視認しつつ、操作端末に対して指示操作を与えることによって、ゲームを楽しむことができる。

以下では、画像処理システム１がゲームシステムである場合を想定して、画像処理システム１の詳細について説明する。なお、画像処理システム１は、ゲームシステムのように、表示部を視認したユーザによる操作に対する応答が要求されるシステムの他、表示部への画像の表示に対して、遅れ（遅延）が許容されない他のシステムを含んでいる。

なお、本明細書では、説明の無用の煩雑化を避けるため、混同のおそれのない範囲で、画像の画像データと、画像そのものとを等しく「画像」とも表現する。また、本明細書の「画像」は、静止画像および動画像を含む概念として用いている。

［１−２．構成］
次に、画像処理システム１を構成する画像符号化装置１０と画像復号化装置３０との具体的構成について詳述する。図２は、画像処理システム１を構成する画像符号化装置１０および画像復号化装置３０の具体構成を示す図である。

図２に示されるように、画像符号化装置１０は、画像生成部１１と全体制御部１２と符号化部１３と通信部１４とを備えている。

画像生成部１１は、ＧＰＵ（Graphic Processing Unit）を用いて構成され、動画像を形成する画像の画像データを順次に生成する機能を有している。なお、ＧＰＵは、汎用のＣＰＵと比較して特に画像処理に特化した設計がなされている半導体チップであり、通常のＣＰＵとは別個に画像符号化装置１０に搭載されている。画像生成部１１で生成された画像データは、符号化部１３に出力される。なお、画像生成部１１は、画像符号化装置１０に装着されるメモリカード、ＣＤ−ＲＯＭ等の外部記憶媒体（不図示）に格納された画像データを用いて、動画像の画像データを生成することもできる。

符号化部（「エンコーダ」とも称する）１３は、画像生成部１１から入力される画像データに対して、所定の動画像圧縮方式の圧縮処理（「符号化処理」とも称する）を施して、圧縮画像データを生成する。動画像圧縮方式としては、例えば、Ｈ．２６４、ＭＰＥＧ(Moving Picture Experts Group)−２、ＭＰＥＧ−４等が採用される。なお、符号化部１３の詳細構成については、後述する。

符号化部１３で生成された圧縮画像データは、通信部１４に入力され、通信部１４によって、画像符号化装置１０の外部へと伝送される。

全体制御部１２は、ＣＰＵ、ＲＯＭおよびＲＡＭ等（いずれも不図示）で構成され、画像符号化装置１０および画像処理システム１の各動作を統括的に制御する。また特に、全体制御部１２は、ＲＯＭに格納されたプログラムをＣＰＵで実行することにより、画質設定部１２１および符号化条件設定部１２２を機能的に実現する。画質設定部１２１および符号化条件設定部１２２については後述する。

また、画像符号化装置１０は、クライアント装置としての画像復号化装置３０を使用するユーザ（使用者）によって入力された操作情報を、画像復号化装置３０から受け取り、全体制御部１２において操作情報を解析する。全体制御部１２は、当該操作情報に応答した各種動作を実現する。

一方、画像復号化装置３０は、通信部３１と全体制御部３２と復号化部３３と表示部３４と操作部３５とを備えている。

通信部３１は、画像符号化装置１０によって伝送されたデータ（伝送データ）を受信し、伝送データを全体制御部３２または復号化部３３に出力する。例えば、伝送データに含まれる圧縮画像データは、通信部３１によって復号化部３３に出力される。

復号化部（「デコーダ」とも称する）３３は、圧縮画像データに伸張処理（「復号化処理」とも称する）を施して、画像データを取得する。

復号化された画像データは、ＬＣＤ（Liquid Crystal Display）または有機ＥＬディスプレイ等の表示部３４において表示される。

全体制御部３２は、ＣＰＵ、ＲＯＭおよびＲＡＭ等（いずれも不図示）で構成され、画像復号化装置３０の各動作（例えば、通信動作、復号化処理、および表示処理等）を統括的に制御する。

操作部３５は、方向選択キー、プッシュボタン等で構成され、ユーザの指示操作を画像処理システム１に入力させるためのものである。すなわち、操作部３５は、画像復号化装置３０に対するユーザの操作を検出する操作検出手段として機能する。操作部３５を用いて入力された指示操作は、全体制御部３２において解析され、指示操作に応じた操作情報が画像符号化装置１０に出力される。

［１−３．符号化部の詳細構成］
次に、画像符号化装置１０の符号化部１３について詳述する。図３は、符号化部１３の構成を示すブロック図である。

図３に示されるように、画像生成部１１から出力された画像データは、インターフェース（Ｉ／Ｆ）部２１１を介して画像メモリ（フレームメモリ）２１２に格納される。画像メモリ２１２は、画像データをフレームごとに一時的に記憶する。

その後、メモリ読出部２１３によって、画像を複数の領域に分割して得られるブロック（例えば１６画素×１６画素のブロック）単位で、画像メモリ２１２から画像データが読み出される。読み出されたブロック単位の画像データ（「ブロック画像データ」とも称する）５１は、符号化部１３（詳細には、差分演算部２１７、イントラ予測部２１４およびインター予測部２１５）に入力される。

このように、画像符号化装置１０では、ブロック単位で画像データが読み出され、ブロック（「マクロブロック」または「圧縮ブロック」とも称する）ごとに符号化処理が施されることになる。

画像符号化装置１０の符号化部１３で実行される圧縮処理は、大きく分けて３つの処理、すなわち予測画像生成処理と、残差信号符号化処理と、局所復号処理とに大別される。

予測画像生成処理は、図３におけるイントラ予測部２１４と、インター予測部２１５と、イントラ／インター切替部２１６とで構成される予測画像出力手段によって実現される。

イントラ予測部２１４は、画面内予測を行ってイントラ予測画像を生成する。具体的には、イントラ予測部２１４は、ブロック画像データ５１および符号化済みデータの局所復号画像５２を入力とし、候補となる予測方向の中から符号化効率が最適となる予測方向を決定し、イントラ予測画像（イントラ予測信号）およびイントラ予測情報（予測方向に関する情報）をイントラ情報５３として出力する。

インター予測部２１５は、画面間予測を行ってインター予測画像を生成する。具体的には、インター予測部２１５は、ブロック画像データ５１および符号化済みデータの局所復号画像を入力とし、符号化効率が最適となる動きベクトルを決定し、インター予測画像（インター予測信号）およびインター予測情報（動ベクトルに関する情報）をインター情報５４として出力する。

イントラ／インター切替部２１６は、イントラ情報５３、インター情報５４、およびブロック画像データ５１を入力とし、イントラ情報５３およびインター情報５４のうち、いずれか一方を択一的に選択して出力する。イントラ／インター切替部２１６は、イントラ予測画像とブロック画像データ５１との差分値、およびインター予測画像とブロック画像データ５１との差分値を算出する。そして、イントラ／インター切替部２１６は、２つの差分値を比較することによって、イントラ予測画像およびインター予測画像の中からブロック画像データとの差分の小さい方の画像を予測画像５５として差分演算部２１７および加算演算部２２３に出力する。

またさらに、イントラ／インター切替部２１６は、出力された予測画像５５に関する予測情報５６をエントロピー符号化部２２１に出力する。すなわち、イントラ予測画像が予測画像５５として出力された場合は、イントラ予測情報が予測情報５６として出力され、インター予測画像が予測画像５５として出力された場合は、インター予測情報が予測情報５６として出力されることになる。

残差信号符号化処理は、図３における差分演算部２１７、直交変換部２１８、量子化部２１９、符号量制御部２２０、およびエントロピー符号化部２２１で実現される。

差分演算部２１７は、ブロック画像データ５１と、予測画像５５との間で、画素値の差分を演算し、差分結果の残差信号（差分信号）５７を直交変換部２１８に出力する。

直交変換部２１８では、いわゆる離散コサイン変換（ＤＣＴ）が行われ、残差信号５７が周波数領域のＤＣＴ係数５８へと直交変換される。当該変換によって得られたＤＣＴ係数５８は、量子化部２１９へと入力される。

量子化部２１９では、ＤＣＴ係数５８に対して量子化が行われ、ＤＣＴ係数５８が量子化係数５９へと変換される。このような量子化は、符号量制御部２２０で決定される量子化ステップを用いてＤＣＴ係数５８を除算することによって実現される。量子化部２１９で得られた量子化係数５９は、エントロピー符号化部２２１および局所復号部２２２に入力される。

エントロピー符号化部２２１では、量子化部２１９から入力される量子化係数５９およびイントラ／インター切替部２１６から入力される予測情報５６に対して、例えばハフマン符号化などの可変長符号化処理或いは算術符号化処理が施され、符号化データ６０が生成される。符号化データ６０は、送信バッファ（不図示）に一旦蓄積された後に、圧縮画像データとして符号化部１３の外部に出力される。なお、圧縮画像データには符号化された予測情報５６等の符号化の際の情報が含まれているため、圧縮画像データを受信し、画像を再構成する復号化装置では、符号化の際の当該情報を用いることによって復号化が可能となる。

また、エントロピー符号化部２２１は、生成した符号化データのデータ量（発生符号量）６１を適時に符号量制御部２２０に出力する。

符号量制御部２２０は、量子化に用いられる量子化ステップを決定し、当該量子化ステップを量子化情報６２として量子化部２１９に出力する情報生成手段として機能する。量子化ステップは、量子化の粗さを示しており、量子化ステップが小さいほど、画質の劣化は抑えられるが、符号量は多くなる。符号量制御部２２０では、量子化ステップと所定の関係を有する量子化パラメータを制御することによって、量子化ステップが導出される。量子化パラメータの設定制御は、全体制御部１２の符号化条件設定部１２２から入力される符号化条件に基づいて行われる。量子化パラメータの設定制御については、後述する。

なお、量子化パラメータは、量子化ステップと所定の関係を有する変数であり、例えば、ＭＰＥＧ−２では、量子化パラメータは量子化ステップと比例関係を有し、Ｈ．２６４では、量子化パラメータは、量子化ステップの対数と比例関係を有している。

局所復号処理は、図３における局所復号部２２２、加算演算部２２３、および参照画像メモリ２２４で実現される。

局所復号部２２２では、量子化係数５９に対して逆量子化処理が行われた後に、ＤＣＴとは逆の演算（逆ＤＣＴ）が実行され、演算結果（再構成された残差信号６３）が出力される。加算演算部２２３では、局所復号部２２２の演算結果に対して、イントラ予測部２１４或いはインター予測部２１５で生成された予測画像５５を用いた加算処理が行われ、その加算結果の局所復号画像（「参照画像」とも称される）５２が出力される。局所復号画像は、参照画像メモリ２２４に一時的に蓄積される。

このように、符号化部１３は、画像生成部１１で生成された画像データに基づいて画面内予測または画面間予測を行って、当該画像データを符号化する。

［１−４．画質制御について］
上述のように、画像処理システム１は、画像処理システム１の動作状況に応じて、表示部３４に表示される画像の画質を制御する画質制御部１５を有している。図４は、画質モードと符号化条件との関係を示すテーブルである。

図２に示されるように、画質制御部１５は、全体制御部１２において機能的に実現される画質設定部１２１および符号化条件設定部１２２と、符号化部１３との協働により実現される機能部である。

具体的には、画質設定部１２１は、画像処理システム１の動作状況に応じて、表示部３４に表示させる画像の画質レベルを設定する。画質レベルの設定は、例えば、画質レベルに関するモード（画質モード）を変更することにより行われる。画像処理システム１では、画質モードの種類として、例えば、高画質モード、中画質モードおよび低画質モードの３種類が設けられおり、画質設定部１２１は、これら複数種類の画質モードの中から１種類の画質モードを選択する。

画質モードの選択は、画像処理システム１の動作状況を反映して行われる。ゲームシステムとしての画像処理システム１では、比較的低画質側のモード（低画質モード或いは中画質モード）で動作している場合が多く、動作状況に応じて低画質側のモードから比較的高画質側のモード（高画質モード或いは中画質モード）へと遷移されることになる。

低画質側のモードから高画質側のモードへと遷移される際の、画像処理システム１の動作状況としては、例えば、（１）表示部３４に視聴目的のシーンが表示される状況、（２）ユーザの入力操作が少ないと想定される状況、（３）画像符号化装置１０がデータを読み込んでいる状況、および（４）画像復号化装置３０においてユーザによる操作が実際に行われない状況がある。

（１）〜（３）の各動作状況は、実行中のプログラム（ここでは、ゲームプログラム）に組み込まれた画質設定命令が発行されることによって把握される。

具体的には、全体制御部１２のＣＰＵによるプログラムの実行により、当該プログラムに組み込まれた画質設定命令が発行されると、画質設定部１２１は、画質設定命令に応じて、画質モードを変更する。

（４）の動作状況は、画像復号化装置３０から入力される操作情報に基づいて把握される状況であり、画質設定部１２１は、操作情報に基づいて把握されるユーザの操作状況に応じて画質モードを変更する。詳細は後述する。

画質設定部１２１は、画像符号化装置１０が起動された際および画質モードが変更された際に、現在の画質レベルに関する情報（「画質情報」とも称する）を符号化条件設定部１２２に通知する。ここでは、画質情報として、画質モードが用いられる。画質モードの通知は、例えば、各画質モードに対応して割り当てられたフラグを用いて行われる。

符号化条件設定部１２２は、画質設定部１２１から通知された現在の画質モードに基づいて、符号化の条件（符号化条件）を設定する。符号化条件の設定は、例えば、画質モードと符号化条件との関係を示すテーブルを用いて行うことができる。本実施形態では、図４に示されるような、テーブルＴＢ１を用いて符号化条件を設定する場合について例示する。当該テーブルＴＢ１を用いて符号化条件を設定すると、現在の画質モードが高画質モードであるときは、符号化条件として条件ＥＣ１が設定される。また、現在の画質モードが中画質モードであるときは、符号化条件として条件ＥＣ２が設定され、現在の画質モードが低画質モードであるときは、符号化条件として条件ＥＣ３が設定される。なお、符号化条件設定部１２２は、符号化に用いられる符号化情報を画質情報に基づいて取得する符号化情報取得部とも称される。

符号化条件設定部１２２は、符号化条件の設定が終了すると、設定した符号化条件を符号化部１３に出力する。

符号化部１３は、符号化条件設定部１２２から入力された符号化条件に基づいて、画像データに対して符号化処理を行う。

ここで、画像符号化装置１０において実行される符号化処理について詳述する。図５〜図７は、画像符号化装置１０における符号化処理を説明するための図である。

画像符号化装置１０では、全体制御部１２の符号化条件設定部１２２から入力される符号化条件に基づいて単位符号化エリア（単位符号化領域）を変更して符号化処理が行われる。

単位符号化エリアは、画像データの１フレーム内の領域であり、符号化処理を行う際の発生符号量の管理範囲を表している。例えば、図５に示されるように、１フレームＦＲのうちの１／３の領域ＡＥ１が符号化処理の処理単位となるときは、１／３のフレーム領域ＡＥ１が単位符号化エリアとなる。また、図６に示されるように、１フレームＦＲのうちの２／３の領域ＡＥ２が符号化処理の処理単位となるときは、２／３のフレーム領域ＡＥ２が単位符号化エリアとなる。また、図７に示されるように、１フレームＦＲの全領域ＡＥ３が符号化処理の処理単位となるときは、当該全領域ＡＥ３が単位符号化エリアとなる。

このような単位符号化エリアの変更は、符号化条件設定部１２２から入力される符号化条件に基づいて符号量制御部２２０において行われる。

具体的には、本実施形態では、単位符号化エリアに含まれるマクロブロックの個数（「単位処理ブロック数」とも称する）が符号化条件として用いられ、単位処理ブロック数は、符号化条件ごとに、換言すれば画質モードに応じて、異なる値に設定されている。図４に示されるテーブルＴＢ１を用いる本実施形態では、高画質モードのときは、単位処理ブロック数は１フレーム分のブロック数に設定されている。また、中画質モードのときは、単位処理ブロック数は２／３フレーム分のブロック数に設定され、低画質モードのときは、単位処理ブロック数は１／３フレーム分のブロック数に設定されている。

これにより、符号化条件設定部１２２からは、現在の画質モードの種類に応じて、異なる単位処理ブロック数が出力されることになる。

符号量制御部２２０は、符号化条件設定部１２２から入力される単位処理ブロック数に基づいて単位符号化エリアを特定するので、符号化条件設定部１２２から入力される単位処理ブロック数が変更されると、符号量制御部２２０によって特定される単位符号化エリアは変更されることになる。すなわち、本実施形態の高画質モードのときは、単位符号化エリアは１フレーム分の領域となり、中画質モードのときは、単位符号化エリアは２／３フレーム分の領域となり、低画質モードのときは、単位符号化エリアは１／３フレーム分の領域となる。

このように、単位符号化エリアを変更して符号化処理を行うと、画像データの画質が変更されることになる。

具体的には、符号化部１３は、単位符号化エリアごとの符号量を管理して符号化処理を行う。すなわち、符号化部１３は、単位符号化エリアにおける実際の発生符号量が、当該単位符号化エリアの総目標符号量に収まるように、１マクロブロックあたりの目標符号量（「単位目標符号量」とも称する）を制御して符号化処理を行う。

より詳細には、符号量制御部２２０は、１マクロブロックあたりの基準符号量に、単位符号化エリアを構成するマクロブロック数を乗算することによって、当該単位符号化エリアの総目標符号量「ＴＭ」を得る。また、符号量制御部２２０は、エントロピー符号化部２２１から入力される発生符号量に基づいて、単位符号化エリアに含まれるマクロブロックのうち、符号化処理済みのマクロブロック（処理済みブロック）に関する発生符号量「ＦＡ」を取得する。

そして、符号量制御部２２０は、単位符号化エリアに含まれるマクロブロックのうち、未だ符号化処理を終了していないマクロブロック（未処理ブロック）の数「ＢＮ」を特定して、下記の式（１）の演算を行う。

式（１）の演算は、総目標符号量「ＴＭ」から処理済みブロックの発生符号量「ＦＡ」を減算し、得られた減算値を未処理ブロックの数「ＢＮ」で除算するものであり、当該演算により、符号量制御部２２０は、１マクロブロックあたりの目標符号量「ＴＣ」を取得する。

符号量制御部２２０は、符号化処理の実行中、上記式（１）の演算を適宜に行うことによって、１マクロブロックあたりの目標符号量を更新し、更新された１マクロブロックあたりの目標符号量に基づいて量子化パラメータを制御する。

なお、１マクロブロックあたりの基準符号量は、画像符号化装置１０から画像復号化装置３０への転送ビットレート（例えば、１０Ｍｂｐｓ）を、動画像のフレームレート（例えば、６０ｆｐｓ）、および１フレーム内のマクロブロックの総数で除算することによって得ることができる。

上述のように、符号化処理において、発生符号量を単位符号化エリアごとに管理する場合、単位符号化エリアを大きくして、１マクロブロックあたりの目標符号量を得るための平均区間を長くすれば、１マクロブロックあたりの符号量のピーク値として比較的大きな値が許容されることになる。

例えば、１フレーム全体を単位符号化エリアとする場合、１／３のフレーム領域を単位符号化エリアとする場合に比べて総目標符号量が大きくなる。このため、１フレーム全体を単位符号化エリアとする場合は、１／３のフレーム領域を単位符号化エリアとする場合に比べて、１マクロブロックあたりの符号量のピーク値として比較的大きな値が許容される。

このように単位符号化エリアを大きくすれば、１マクロブロックあたりの符号量のピーク値として比較的大きな値を許容することができる。このため、単位符号化エリアが大きい場合、例えば、高周波成分を多く含んだフレーム内の特定領域に対しては、フレーム内の他の領域と比べて比較的多くの符号量を割り当てることができるので、符号化による当該特定領域の画質劣化を軽減させることができ、ひいては復号化処理後の画像の画質を向上させることが可能となる。

一方、１フレームよりも小さい領域を単位符号化エリアとする場合は、１マクロブロックあたりの符号量のピーク値として許容される値が小さくなるので、復号化処理後の画像の画質は低下することになる。

１フレームよりも小さい領域を単位符号化エリアとする場合、画像処理システム１では、符号化処理後の画質の低下に反して、画像符号化装置１０から画像復号化装置３０への画像データの伝送に要する時間を短縮することができる。図８は、画像符号化装置１０から画像復号化装置３０への画像データの伝送動作を示す図である。

具体的には、画像符号化装置１０は、圧縮画像データを送信バッファに一旦蓄積し、単位符号化エリアの符号化処理が終了した時点で、単位符号化エリアごとに圧縮画像データを伝送する。そして、画像復号化装置３０は、伝送された圧縮画像データを単位符号化エリアごとに復号化し、画像データを取得する。

このとき、画像処理システム１は、画像符号化装置１０における符号化処理と、圧縮画像データの伝送処理と、画像復号化装置３０における復号化処理とをそれぞれ独立して行うことによって、画像符号化装置１０から画像復号化装置３０への画像データの伝送に要する時間を短縮する。

例えば、図８に示されるように、１／３フレーム分の領域を単位符号化エリアとして符号化処理を実行する場合を想定する。

この場合、まず、フレーム上段の１／３フレーム分の領域（上段領域）ＡＵの画像データに対して符号化処理ＥＰ１が実行される。上段領域ＡＵの符号化処理ＥＰ１が終了すると、上段領域ＡＵの圧縮画像データの伝送処理ＴＰ１が実行される。当該伝送処理ＴＰ１により、上段領域ＡＵの圧縮画像データが画像符号化装置１０から画像復号化装置３０へと伝送されると、画像復号化装置３０では、上段領域ＡＵの圧縮画像データに対する復号化処理ＤＰ１が実行される。復号化処理ＤＰ１が終了すると、上段領域ＡＵの画像データの伝送動作（詳細には、符号化処理ＥＰ１、伝送処理ＴＰ１、および復号化処理ＤＰ１）ＧＦ１が完了することになる。

また、画像符号化装置１０では、上段領域ＡＵの符号化処理ＥＰ１が終了すると、フレーム中段の１／３フレーム分の領域（中段領域）ＡＭの符号化処理ＥＰ２が開始される。中段領域ＡＭの符号化処理ＥＰ２が終了すると、中段領域ＡＭの圧縮画像データの伝送処理ＴＰ２が実行される。当該伝送処理ＴＰ２により、中段領域ＡＭの圧縮画像データが画像符号化装置１０から画像復号化装置３０へと伝送されると、画像復号化装置３０では、中段領域ＡＭの圧縮画像データに対する復号化処理ＤＰ２が実行される。復号化処理ＤＰ２が終了すると、中段領域ＡＭの画像データの伝送動作ＧＦ２が完了することになる。

また同様に、画像符号化装置１０では、中段領域ＡＭの符号化処理ＥＰ２が終了すると、フレーム下段の１／３フレーム分の領域（下段領域）ＡＤの符号化処理ＥＰ３が開始される。下段領域ＡＤの符号化処理ＥＰ３が終了すると、下段領域ＡＤの圧縮画像データの伝送処理ＴＰ３が実行される。当該伝送処理ＴＰ３により、下段領域ＡＤの圧縮画像データが画像符号化装置１０から画像復号化装置３０へと伝送されると、画像復号化装置３０では、下段領域ＡＤの圧縮画像データに対する復号化処理ＤＰ３が実行される。復号化処理ＤＰ３が終了すると、下段領域ＡＤの画像データの伝送動作ＧＦ３が完了することになる。

このように、画像処理システム１は、１フレームよりも小さい領域を単位符号化エリアとして符号化処理を実行する場合、単位符号化エリアごとに画像データの伝送動作（符号化処理、伝送処理、および復号化処理）を行うとともに、或る単位符号化エリアの符号化処理が終了すると、次の単位符号化エリアの符号化処理、すなわち次の単位符号化エリアの画像データの伝送動作を開始する。つまり、画像処理システム１では、符号化処理、伝送処理、およぶ復号化処理それぞれが単位符号化エリアごとに順次に行われる。

これによれば、図８に示されるように、画像処理システム１では、単位符号化エリアごとの画像データの伝送動作が一部並行して行われることになる。したがって、画像処理システム１では、１フレームよりも小さい領域を単位符号化エリアとして符号化処理を実行する場合、１フレームの全領域ＡＥ３を単位符号化エリアとして画像データの伝送動作ＧＦ４（詳細には、符号化処理ＥＰ４、伝送処理ＴＰ４、および復号化処理ＤＰ４）を行う場合よりも、画像データの伝送に要する時間を短縮することができる。なお、ここでは、単位符号化エリアが１／３フレーム分の領域である場合と１フレーム分の領域である場合を例にして、画像データの伝送時間の短縮化について説明したが、単位符号化エリアが小さくなるほど、画像データの伝送時間は短縮されることになる。

このように、画像処理システム１では、画像符号化装置１０が画質モードの変更に応じて単位符号化エリアを変更して符号化処理を実行することによって、画質の制御を行う。

また、画像データの伝送時間が短縮されると、画像符号化装置１０の画像生成部１１において画像データが生成されてから、画像復号化装置３０の表示部３４において当該画像データに基づく画像が表示されるまでの時間を短縮することができる。画像符号化装置１０において画像が生成されてから、当該画像が画像復号化装置３０において表示されるまでの時間は、画像表示の遅延時間とも称される。

表示部３４に表示される画像の画質と遅延時間とは相関関係を有し、単位符号化エリアを大きくすれば、画質が向上する反面、遅延時間が長くなる。一方、単位符号化エリアを小さくすれば、画質が低下する反面、遅延時間が短くなる。上記では、低画質側のモードから高画質側のモードへと遷移される際の、画像処理システム１の動作状況として、（１）表示部３４に視聴目的のシーンが表示される状況、（２）ユーザの入力操作が少ないと想定される状況、（３）画像符号化装置１０がデータを読み込んでいる状況、および（４）画像復号化装置３０においてユーザによる操作が実際に行われない状況を挙げたが、これら（１）〜（４）の各動作状況は、画像処理システム１では、画像符号化装置１０から画像復号化装置３０への画像データの伝送によって生じる画像表示の遅延が許容される状況であるとも表現することができる。すなわち、画像表示に関する遅延が許容される各状況、換言すれば遅延時間が長くなっても、画像処理システム１の動作に影響を与えない各状況において、画像処理システム１は、表示部３４に表示する画像の画質を向上させる。

［１−５．各動作状況について］
ここで、低画質側のモードから高画質側のモードへと遷移される際の、画像処理システム１の各動作状況（１）〜（４）について詳述する。

（１）表示部３４に視聴目的のシーンが表示される状況
本実施形態の画像処理システム１において、ユーザによる入力操作を必要としない、視聴が主目的のシーンでは、画質モードは、低画質側のモードから高画質側のモードへと遷移される。視聴目的のシーンには、例えば、リプレイ画像表示シーン（リプレイシーン）または動画像表示シーン（ムービーシーン）等が含まれる。なお、リプレイシーン、ムービーシーンの他に、ゲームの設定を選択するメニューシーン、ゲームの操作方法等を知るためのヘルプシーン等も視聴目的のシーンとみなしてもよい。

視聴目的のシーンを表示する状況は、全体制御部１２が実行中のプログラムに組み込まれた画質設定命令を検出することによって把握される。

画質設定命令は、例えば、アプリケーション開発者（「ゲーム開発者」、または単に「プログラマ」とも称する）に提供される、ソフトウェア開発キット（ＳＤＫ:Software Development Kit）に含まれるライブラリ内の関数に含めればよい。より詳細には、ムービーシーンを再生するための関数（例えば、play movie関数）、またはリプレイシーンを再生するための関数（例えば、play replay関数）内に、高画質側のモードに遷移させる画質設定命令（画質レベルを上げる画質設定命令）を組み込んでおけばよい。

ＳＤＫに含まれるライブラリ内のこれらの関数のアプリケーションプログラムインターフェース（ＡＰＩ:Application Program Interface）は、アプリケーション開発者に公開される。このため、アプリケーション開発者は、アプリケーションソフトウェア（「ゲームプログラム」または単に「アプリケーション」とも称する）を開発する際に、公開されたＡＰＩに従って関数を呼び出してプログラミングすることで、シーンに応じた画質（遅延）の調整を意識することなく、アプリケーションを開発することができる。なお、ＡＰＩは、ライブラリ内の関数を利用するためのプログラム上の手続きを定めた規約である。

なお、上記ライブラリは、画像処理システム１においては、画像符号化装置１０のＲＯＭに予め格納されている態様であってもよい。或いは、ライブラリは、画像符号化装置１０に装着される外部記憶媒体内にゲームプログラムと一緒に格納されており、当該外部記憶媒体の画像符号化装置１０への装着とともに、画像符号化装置１０に提供される態様であってもよい。

（２）ユーザの入力操作が少ないと想定される状況
ユーザの入力操作が少ないと想定される状況としては、例えば、将棋ゲーム等のボードゲーム、パズルゲームおよびシミュレーションゲーム等の思考時間を要するが入力操作を比較的必要としない特定種類（特定ジャンル）のゲームを行っている状況が挙げられる。このように特定ジャンルのゲームプログラム（特定ジャンルのアプリケーションソフトウェア）が実行されている状況では、表示部３４に表示される文字またはオブジェクト（将棋の駒）等の視認性が求められるため、画像表示の遅延時間を減らすことよりも高い画質での画像表示が求められる。

このように、ゲームの種類（ゲームジャンル）に応じた画質モードに遷移させる画質設定命令を発行させる手法としては、例えば、ゲームプログラムにゲームのジャンルを宣言する初期設定関数（ジャンル設定関数）を設けることを、ゲームプログラム作成上の規約として定め、ライブラリ内に画質設定命令を発行させるジャンル設定関数を準備する手法が考えられる。図９は、ゲームプログラムの設計例である。

具体的には、図９に示されるように、ライブラリ内においてゲームのジャンルを宣言するジャンル設定関数ＬＦＮ１を準備する。当該ジャンル設定関数ＬＦＮ１内では引数ＨＳ１で示されたジャンルに応じた画質設定命令が発行されるようになっている。

この場合、ゲーム開発者は、公開されたジャンル設定関数のＡＰＩを参照して、自身が作成するゲームプログラムＰＧ１にジャンル設定関数ＦＮ１を設け、当該ジャンル設定関数ＦＮ１の引数ＨＳ１に、ゲームのジャンル（例えば、「Action」、「Puzzle」、「RPG」等）を設定することになる。

実際に、全体制御部１２によってジャンル設定関数ＦＮ１が実行されると、当該ジャンル設定関数ＦＮ１にリンクしたライブラリ内のジャンル設定関数ＬＦＮ１が呼び出される。ライブラリ内のジャンル設定関数ＬＦＮ１には、引数ＨＳ１として設定されたジャンルに応じた画質設定命令を、ゲームのジャンルと画質設定命令との関係を示すテーブルを参照して発行させる関数ＴＦＮが含まれている。したがって、ライブラリ内のジャンル設定関数ＬＦＮ１が呼び出されると、画質設定命令が発行されることになる。

例えば、ゲームの種類がアクションであれば、低画質側のモードに遷移させる画質設定命令（画質レベルを下げる画質設定命令）が発行される。当該画質設定命令を受けた画質設定部１２１は、画質レベルを下げることになる。また、例えば、ゲームジャンルがパズルであれば、低画質側のモードに遷移させる画質設定命令が発行される。当該画質設定命令を受けた画質設定部１２１は、画質レベルを下げることになる。

また、ゲームジャンルに応じた画質モードに遷移させる画質設定命令を発行させる他の手法としては、例えば、アプリケーションソフトウェアの初期化処理において、必ず実行される関数内に、上記ジャンル設定関数ＦＮ１を埋め込む手法が考えられる。アプリケーションソフトウェアの初期化処理において実行される関数としては、例えば、エンコーダ１３の初期設定（初期化）を行うエンコーダ初期設定関数ＦＮ２が挙げられる。図１０は、ゲームプログラムの設計例である。

具体的には、図１０に示されるように、ライブラリ内に画質設定命令を発行させるジャンル設定関数ＬＦＮ１を設けるとともに、ライブラリ内のエンコーダ初期設定関数ＬＦＮ２の引数を従来のものより一つ増やして、ゲームのジャンルに関する引数ＬＨＳ２を新たに設ける。そして、エンコーダ初期設定関数ＬＦＮ２内に、引数ＬＨＳ２に基づいて画質設定命令を発行させるジャンル設定関数ＦＮ１を準備し、エンコーダ初期設定関数ＬＦＮ２のＡＰＩを公開する。

この場合、ゲーム開発者は、公開されたＡＰＩに基づいて、自身が作成するゲームプログラムＰＧ２のエンコーダ初期設定関数ＦＮ２の引数を一つ増やして、ゲームのジャンルに関する引数ＨＳ２を新たに設定することになる。

実際に、全体制御部１２によってエンコーダ初期設定関数ＦＮ２が実行されると、当該エンコーダ初期設定関数ＦＮ２にリンクしたライブラリ内のエンコーダ初期設定関数ＬＦＮ２が呼び出される。ライブラリ内のエンコーダ初期設定関数ＬＦＮ２が実行されると、今度は、エンコーダ初期設定関数ＬＦＮ２内に埋め込まれた、ジャンル設定関数ＦＮ１が呼び出され、画質設定命令が発行される。

このように、ライブラリに含まれるエンコーダ初期設定関数ＬＦＮ２内にジャンル設定関数ＦＮ１を予め埋め込んでおくことによれば、ゲーム開発者は、ゲーム開発者の負担を軽減することができる。具体的には、エンコーダ初期設定関数ＬＦＮ２内にジャンル設定関数ＦＮ１を予め埋め込んでおく場合、ゲーム開発者は、自身が作成するゲームプログラムＰＧ２において、エンコーダ初期設定関数ＦＮ２の引数ＨＳ２を新たに設定することになる。仮に、ゲーム開発者が、ゲームプログラムＰＧ２を作成する際に引数ＨＳ２の設定を忘れたとしても、ゲームプログラムＰＧ２をコンパイルすると、引数の設定不足によりコンパイルエラーが発生するので、ゲーム開発者に対して、引数ＨＳの設定を促すことができる。これによれば、ゲームジャンルの設定忘れを未然に防止することができるので、ゲーム開発者の負担を軽減することが可能になる。

なお、ここでは、第１関数としてのエンコーダ初期設定関数ＦＮ２内に、第２関数としてのジャンル設定関数ＦＮ１を準備し、第１関数の実行によって第２関数が直接実行される態様を例示していたが、これに限定されない。具体的には、上記第１関数に含まれる他の関数内に上記第２関数を準備し、第１関数の実行によって第２関数が間接的に実行される態様であってもよい。すなわち、第２関数の実行には、第１関数の実行によって実現される直接的な実行および間接的な実行が含まれる。

また、ゲームジャンルに応じた画質モードに遷移させる画質設定命令を発行させる他の手法としては、例えば、ゲームプログラムに記述された、ゲームジャンルに関するコメント文を検出して画質設定命令を発行させる手法が考えられる。図１１は、ゲームプログラムの設計例である。

具体的には、コンパイルの前に前処理を行うプリプロセッサに対して、ゲームジャンルに関するコメント文（文字列）を、コメント文に記載されたゲームジャンルに応じた画質モードに遷移させる画質設定命令のソースコードに置換させる機能を与える。

この場合、図１１に示されるように、ゲーム開発者が、自身が作成するゲームプログラムＰＧ３に、ゲームのジャンルをコメント文ＴＸ１として記述すると、当該ゲームプログラムＰＧ３がコンパイルされた際には、上記画質設定命令のソースコードに応じたオブジェクトコードが生成されることになる。そして、全体制御部１２によって当該ゲームプログラムＰＧ３が実行されると、ゲームジャンルに応じた画質モードに遷移させる画質設定命令が発行されることになる。

なお、ゲームプログラム中のコメント文に基づいて、画質設定命令を発行させる当該手法は、上記（１）の視聴目的のシーンを検出して、画質設定命令を発行させる手法にも利用することができる。

具体的には、プリプロセッサに対して、シーン（シーン名）に関するコメント文を、当該シーンに応じた画質モードに遷移させる画質設定命令のソースコードに置換させる機能を与える。

この場合、ゲーム開発者が、ゲームプログラム内の、或るシーン（例えば、メニューシーン、ヘルプシーン）を記述したソースコード群において、当該シーン名をコメント文として記述すると、全体制御部１２によってゲームプログラムが実行された際には、シーンに応じて画質設定命令が発行されることになる。

（３）画像符号化装置１０がデータを読み込んでいる状況
画像符号化装置１０がデータを読み込んでいる状況においては、ユーザの入力操作を受け付けない場合が多く、画像表示に関する遅延が許容される。

画像符号化装置１０がデータを読み込んでいる状況において、高画質側のモードに遷移させる画質設定命令を発行させる手法としては、データの読み出しに関する関数内に、高画質側のモードに遷移させる画質設定命令を組み込んでおく手法が考えられる。

例えば、外部記憶媒体にアクセスする場合は、その後、外部記憶媒体から取得した画像データの再生表示を行う可能性が高い。そこで、外部記憶媒体にアクセスするための関数内に、高画質側のモードに遷移させる画質設定命令を組み込んでおく。

これによれば、外部記憶媒体へのアクセス要求が発生し、外部記憶媒体にアクセスするための関数のＡＰＩを用いて作成されたプログラムが実行された場合、画質モードが自動的に高画質側のモードに遷移されることになる。

（４）画像復号化装置３０においてユーザによる操作が実際に行われない状況
画像復号化装置３０においてユーザによる操作が実際に行われない状況においては、ユーザの入力操作に応答した画像表示を行う必要がないので、画像表示に関する遅延が許容される。

画像復号化装置３０においてユーザによる操作が実際に行われない状況を検出する手法としては、例えば、画像復号化装置３０から入力される操作情報に基づいて、ユーザの操作量が所定量以下である状況を検出する手法を採用することができる。

具体的には、全体制御部１２は、画像復号化装置３０から入力される操作情報に基づいて、ユーザの操作状態を検出する。全体制御部１２は、検出された操作状態を画質設定部１２１に通知する。画質設定部１２１は、操作状態の通知に基づいて、未操作の期間を特定し、未操作期間に応じて画質モードを可変的に変更する。

未操作期間に応じて画質モードを可変的に変更する手法としては、例えば、複数の異なる閾値を設け、未操作期間が各閾値を超える度に、段階的に画質レベルを上げる手法を採用することができる。本実施形態では、３種類の画質モードが設けられているため、未操作期間に応じて、低画質モード→中画質モード→高画質モードへと画質モードが段階的に変更されることになる。このように段階的に画質モードを変更することによれば、ゲームを楽しむユーザに対して、視覚的に違和感を与えることなく、画質を変更することが可能になる。

なお、段階的な変更を行わず、未操作期間が或る閾値を超えた時点で、画質モードを低画質モードから高画質モードへと一気に遷移させてもよい。また、ユーザによる入力操作が検出され、未操作期間が終了した場合は、高画質モードから低画質モードへと一気に遷移させてもよく、或いは未操作期間が終了した時点から段階的に低画質側のモードへと遷移させてもよい。

また、このような、操作状況に応じた画質モードの可変的な変更は、ミドルウェアにおいて実現してもよく、この場合、アプリケーション開発者は、操作状況に応じた画質モードの可変的な変更に関して特に意識する必要はない。なお、画質モードを変更させるための未操作期間に関する閾値は、ゲーム開発者によって、アプリケーションソフトウェア上でも設定可能とする。なお、ミドルウェアでは、例えば、後述の操作監視タスクが実現され、操作状況に応じた画質モードの可変的な変更が行われる。

また、ユーザによる操作状況を検出する他の手法としては、例えば、以下のような手法が存在する。

具体的には、画像復号化装置３０が、ジャイロセンサ、加速度センサ等の、動きを検知するセンサ（動き検知センサ）を有している場合、当該センサを用いて画像復号化装置３０の動きを検出し、当該動きに応じて画質モードを可変的に変更してもよい。

例えば、画像復号化装置３０の移動量が変化しない場合は、ユーザは、画像復号化装置３０を持っていないと想定される。また、移動量が徐々に少なくなっている場合は、ユーザは操作を行わないと想定される。したがって、所定時間にわたって移動量が変化しない、或いは移動量が徐々に少なくなっている場合は、画質設定部１２１は、画質モードを高画質側のモードに遷移させる。

また、画像復号化装置３０の揺れ量、揺れの回数、揺れの間隔、または揺れ量の変化率に応じて、画質モードを変更してもよい。例えば、揺れ量が大きい、揺れの回数が多い、揺れの間隔が短い、または揺れ量の変化率が大きい場合は、ユーザの操作量が多いと考えられるので、画質モードを低画質側のモードに遷移させ、遅延時間を少なくする。一方、揺れ量が小さい、揺れの回数が少ない、揺れの間隔が長い、または揺れ量の変化率が小さい場合は、ユーザの操作量が少ないと考えられるので、画質モードを高画質側のモードに遷移させる。なお、ここでの画質モードの遷移を段階的に行えば、ユーザに対して視覚的に違和感を与えることなく、画質を変更することが可能になる。なお、動き検知センサによって検知された動き情報は、操作情報として画像復号化装置３０から画像符号化装置１０へと伝送される。

なお、動き検知センサは、操作部３５と同様、画像復号化装置３０に設けられた操作検出手段に含まれ、操作検出手段によって検出された情報は、操作情報として画像符号化装置１０へ伝送される。

また、ユーザによる操作状況を検出する他の手法として、例えば、ユーザによる操作（ここでは、操作部３５を介した入力操作および動き検知センサによって検知される画像復号化装置３０の動きを含む）を監視するタスク（「操作監視タスク」とも称する）を設け、当該タスクによって、ユーザによる操作状況を検出する手法を採用してもよい。

具体的には、操作監視タスク（操作監視手段）は、現在のシーン情報を取得し、当該シーン情報から現在のシーンで期待されるユーザの操作量（期待操作量）を、シーンと期待操作量との関係を示すテーブルを用いて取得する。

そして、操作監視タスクは、ユーザによる実際の操作量（操作回数、操作の間隔、移動量等の動き）が、期待操作量以上であるか否かに応じて、画質設定命令を出力する。すなわち、ユーザによる実際の操作量が、期待操作量以上であった場合は、低画質側のモードに遷移させるための画質設定命令を出力し、ユーザによる実際の操作量が、期待操作量よりも少なかった場合は、高画質側のモードに遷移させるための画質設定命令を出力する。

また特に、同じシーンにおいてユーザによって同じ操作が入力される場合は、ユーザの操作に対して画像表示が遅延しているため、ユーザが同じ操作を行っている状況が想定される。したがって、操作監視タスクは、同じシーンにおいてユーザによって同じ操作が入力される状況を検出した場合は、画質モードを低画質側のモードに遷移させ、遅延時間を少なくする。

なお、ユーザによる操作が実際に行われていない状況を検出して、高画質側のモードに遷移している場合において、急にユーザによる操作が要求されるときがある。例えば、レースゲームでは、スタート前には、操作を必要としないが、スタート直後からは、操作が要求されることになる。このようなときは、ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更する時点（「シーン変更時点」とも称する）までに、画質モードを低画質側のモードに遷移させておくことが好ましい。図１２および図１３は、シーン変更時点までに、画質モードを低画質側のモードに遷移させる手法を説明するための図である。

シーン変更時点までに、画質モードを低画質側のモードに遷移させておく手法としては、例えば、図１２に示されるように、シーン変更時点ＨＰ（図１２では「スタート」）よりも前の時点において、イベントを実行させるプログラムまたは関数に、画質モードを低画質側のモードに遷移させる画質設定命令ＣＭＤを組み込んでおく手法を採用することができる。

シーン変更時点ＨＰよりも前の時点のイベントとしては、例えば、レースゲームを行うゲームの操作者にスタートのタイミングを知らせるカウントダウンイベントが考えられる。この場合、レースのスタートに向けたカウントダウンが開始されたときに、画質モードを低画質側のモードに遷移させる画質設定命令ＣＭＤが発行されるように、当該画質設定命令ＣＭＤをカウントダウンイベントを実行させるプログラムまたは関数に組み込んでおく。これによれば、シーン変更時点ＨＰまでに画質モードを低画質側のモードに遷移させることができる。

なお、ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更するシーン変更時点は、画像表示の遅延が許容される動作状況から、画像表示の遅延が許容されない動作状況へと変化する時点とも表現できる。また、レースのスタートに向けたカウントダウンが開始されたときとは、例えば、６つの信号を順次に点灯させ、全て点灯した状態から一斉にブラックアウト（消灯）したタイミングをスタートのタイミングとするレースゲームの場合、信号の点灯が開始したときである。なお、シーン変更時点ＨＰよりも前の時点のイベントを実行させる関数は、ＳＤＫに含まれるライブラリ内の関数であってもよく、この場合、当該関数のＡＰＩはプログラマに公開される。

また、シーン変更時点までに、画質モードを低画質側のモードに遷移させておく他の手法としては、例えば、図１３に示されるように、シーン変更時点ＨＰにおけるイベントを実行させるプログラムまたは関数に、特殊命令ＳＰＤを組み込む手法を採用してもよい。当該特殊命令ＳＰＤは、上記画質設定命令ＣＭＤをシーン変更時点ＨＰの所定時間前にコンパイラに配置させる命令である。

当該特殊命令ＳＰＤを含んだプログラムまたは関数がコンパイルされた際には、コンパイラはクロック数を計測して上記画質設定命令ＣＭＤをシーン変更時点ＨＰの所定時間前に配置する。これによれば、シーン変更時点ＨＰの所定時間前には、画質設定命令ＣＭＤを発行させることができるので、ゲーム開発者は、図１２に示される手法とは異なりシーン変更時点ＨＰよりも前のどのイベントに画質設定命令ＣＭＤを組み込んでおくかを考慮する必要がなくなる。すなわち、図１３に示される手法によれば、ゲーム開発者の負担を軽減することが可能になる。なお、シーン変更時点ＨＰにおけるイベントを実行させる関数は、ＳＤＫに含まれるライブラリ内の関数であってもよく、この場合、当該関数のＡＰＩはプログラマに公開される。

以上のように、本実施形態の画像処理システム１は、画像データを出力するホスト装置としての画像符号化装置１０と、画像符号化装置１０から伝送された画像データに基づく画像を表示する表示部３４を有するクライアント装置としての画像復号化装置３０とを備え、画像符号化装置１０は、画像処理システム１の動作状況ＳＡに応じて、表示部３４に表示される画像の画質を制御する画質制御部１５を有し、画質制御部１５は、画像符号化装置１０から画像復号化装置３０への画像データの伝送によって生じる画像表示の遅延が許容される動作状況ＳＡにおいて、表示部３４に表示される画像の画質を上げる。

これによれば、画像符号化装置１０から画像復号化装置３０への画像データの伝送によって生じる画像表示の遅延が許容される画像処理システム１の動作状況において、表示部３４に表示される画像の画質を上げるように制御されるので、画像データの伝送によって生じる遅延によりユーザの利便性を損なうことなく、表示部３４に表示される画像の画質を向上させることが可能になる。

＜２．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。

例えば、上記実施形態では、単位符号化エリアに含まれるマクロブロックの個数が符号化条件として符号化部１３に入力されていたが、これに限定されない。図１４は、変形例に係る画像処理システム１Ａの具体構成を示す図である。

具体的には、図１４に示されるように、画像処理システム１Ａでは、画質レベルに関する情報（画質情報）が、符号化部１３（詳細には、符号量制御部２２０）に直接入力される。

具体的には、画像処理システム１Ａは、全体制御部１２において画質設定部１２１を有している。画像処理システム１Ａの画質制御部１５は、画質設定部１２１と符号化部１３との協働により実現される機能部である。なお、画像処理システム１Ａは、画像符号化装置１０Ａの全体制御部１２において符号化条件設定部２２０を有していない点以外は、上記実施形態の画像処理システム１（図２参照）と同様の構造および機能を有しており、共通する部分については同じ符号を付して説明を省略する。

画質情報が入力される、符号量制御部２２０では、入力された画質情報に基づいて、単位符号化エリアが特定され、符号化処理が行われることになる。単位符号化エリアの特定は、例えば、画質レベルと単位符号化エリアの大きさとの関係を示すテーブルを用いて行うことができる。また、画質情報としては、例えば、画質モードを用いてもよく、画質モードを用いる場合、各画質モードに対応して割り当てられたフラグが符号量制御部２２０に入力されることになる。

また、画質レベルと遅延時間とは相関関係を有している。このため、表示部３４における画像表示において許容される遅延時間（許容遅延時間）に関する情報（遅延時間情報）が、符号化部１３（詳細には、符号量制御部２２０）に直接入力される態様としてもよい。図１５は、変形例に係る画像処理システム１Ｂの具体構成を示す図である。

具体的には、図１５に示されるように、変形例に係る画像処理システム１Ｂは、全体制御部１２において遅延時間設定部１２５を新たに有している。画像処理システム１Ｂの画質制御部１５は、遅延時間設定部１２５と符号化部１３との協働により実現される機能部である。なお、画像符号化装置１０Ｂは、上記実施形態の画像処理システム１（図２参照）と比べて、全体制御部１２において遅延時間設定部１２５を有しているが、画質設定部１２１および符号化条件設定部２２０を有していない。画像処理システム１Ｂは、当該差違点以外は、上記実施形態の画像処理システム１と同様の構造および機能を有しており、共通する部分については同じ符号を付して説明を省略する。

遅延時間設定部１２５は、画像処理システム１Ｂの動作状況に応じて、表示部３４への画像表示の許容遅延時間を設定して、設定した許容遅延時間に関する遅延時間情報を出力する。遅延時間情報は、符号量制御部２２０に入力される。

符号量制御部２２０では、入力された遅延時間情報に基づいて、単位符号化エリアが特定され、符号化処理が行われることになる。なお、単位符号化エリアの特定は、例えば、遅延時間と単位符号化エリアの大きさとの関係を示すテーブルを用いて行うことができる。

また、上記実施形態の画質設定部１２１は、未操作の期間を特定し、特定された未操作期間に基づいて画質モードの設定を行っていたが、これに限定されない。具体的には、画質設定部１２１は、所定時間における、未操作の頻度に応じて画質モードの設定を行ってもよい。また、未操作期間および未操作の頻度両方の指標を用いて、画質モードの変更を行うようにしてもよい。

また、上記各実施形態では、画質モードを３種類としていたがこれに限定されず、４種類以上または２種類としてもよい。

また、画質レベルの変化範囲をゲームのジャンルごとに設定してもよい。図１６は、ゲームジャンルと画質レベルの変化範囲との関係を示す図である。

具体的には、図１６に示されるように、比較的操作量が少ないと想定されるゲーム（例えば、ボードゲーム、ＲＰＧ）のときは、画質レベルを高画質側で遷移させる。また、比較的操作量が多いと考えられるゲーム（例えば、レースゲーム、アクションゲーム）のときは、画質レベルを低画質側で遷移させて、遅延時間を少なくする。

このように、ゲームのジャンルに応じて画質レベルの変化範囲を設定することによれば、ユーザは、ゲームの種類に応じた最適な画質で、ゲームを楽しむことができる。

また、上記各実施形態では、画質を変更させる動作状況として、（１）〜（４）の動作状況を例示したが、画質設定部１２１は、他の動作状況（５）において、或いは他の動作状況を検出して、画質レベルを変更させてもよい。

他の動作状況（５−１）としては、例えば、３Ｄ画像の生成において、３Ｄ画像を見る視点の位置が連続的に動いている状況がある。具体的には、３Ｄ画像を生成する際に、当該３Ｄ画像を見る視点の位置が動いているか否かを検出し、視点の位置が連続的に動いている場合は、画質モードを変更させる。ここでの画質モードの変更パターンは、視点移動の所定期間前にユーザによる操作があるか否かに応じて異なる。

より詳細には、３Ｄ画像の視点位置の変更は、３Ｄ画像を生成する画像生成部１１において、指定された視点から見た空間に３Ｄ空間を変換するビューイング変換によって、３Ｄレンダリング前に行われる。画像生成部１１は、ビューイング変換が行われたか否かを検出することによって、視点位置の変化を検出する。そして、画像生成部１１は、視点位置の連続的な変化を検出した場合は、視点位置の連続的な変化が行われていることを示す信号を全体制御部１２に対して出力する。

全体制御部１２は、視点位置の連続的な変化を示す信号が入力された場合において、当該信号の入力前の所定期間にユーザによる操作があったときは、画質モードを低画質側のモードに遷移させる画質設定命令を発行する。また、全体制御部１２は、視点位置の連続的な変化を示す信号が入力された場合において、当該信号の入力前の所定期間にユーザによる操作がなかったときは、画質モードを高画質側のモードに遷移させる画質設定命令を発行する。

このように視点位置の連続的な変化が検出された場合において、視点移動の所定期間前にユーザの操作があったときは、画質モードが低画質側のモードに遷移されるので、ユーザの操作に対してスムーズな画像表示を行うことができる。

また、視点位置の連続的な変化が検出された場合において、視点移動の所定期間前にユーザの操作がなかったときは、画質モードを高画質側のモードに遷移させて、画像表示の遅延を許容する。これによれば、視点位置の変化という画像の大幅な変化によって生じる、圧縮の際の演算処理量の増加が想定される状況において、画像表示の遅延が許容されることになるので、画像符号化装置１０の負荷を低減することが可能になるとともに、高画質の画像を表示することが可能になる。なお、視点位置の連続的な変化が検出された場合において、視点移動の所定期間前にユーザの操作がない状況としては、例えば、ゴルフゲームで、ショットのリプレイ映像を飛んでいるボールの視点から再生して表示するような状況が想定され、この場合高精細な映像を表示することが可能になる。

また、他の動作状況（５−２）としては、例えば、画像符号化装置１０において、画像復号化装置３０の操作部３５からの入力を受け付けないように設定される状況が想定される。このような状況を検出する手法としては、例えば、画像符号化装置１０において操作部３５からの入力を受け付けないようにする関数内に、高画質側のモードに遷移させる画質設定命令を組み込んでおく手法を採用してもよい。具体的には、或る特定のシーンまたは状態においては、画像符号化装置１０は、操作部３５からの入力を受け付けない関数を実行する場合がある。したがって、このような関数に高画質側のモードに遷移させる画質設定命令を組み込んでおけば、ユーザによる操作が行われない状況（正確には、操作が行われても当該操作を受け付けない状況）において、画質モードを高画質側のモードに遷移させることができる。

また、これとは逆に、画像符号化装置１０において操作部３５からの入力を受け付けるようにする関数内に、低画質側のモードに遷移させる画質設定命令を組み込んでおいてもよい。これによれば、操作部３５からの入力を受け付けない状態から、受け付ける状態へと状態変化があったときでも、画質モードを低画質側のモードにスムーズに遷移させることができる。なお、画像符号化装置１０において操作部３５からの入力を受け付けないようにする関数および画像符号化装置１０において操作部３５からの入力を受け付けるようにする関数は、ＳＤＫに含まれるライブラリ内の関数であってもよく、この場合、当該関数のＡＰＩはプログラマに公開される。

また、他の動作状況（５−３）を検出して画質を制御する手法としては、例えば、符号化部１３のインター予測部２１５で検出される動きベクトルに基づいて、画質レベルを制御する手法を採用してもよい。画質設定部１２１は、動きベクトルに関する情報（インター予測情報）を符号化部１３から取得し、例えば、動きベクトルが大きい場合は、画質モードを低画質側のモードに遷移させる。

１，１Ａ，１Ｂ 画像処理システム
１０，１０Ａ，１０Ｂ 画像符号化装置（ホスト装置）
１１ 画像生成部
１２ 全体制御部
１３ 符号化部
１５ 画質制御部
３０ 画像復号化装置（クライアント装置）
３４ 表示部
３５ 操作部
１２１ 画質設定部
１２２ 符号化条件設定部
１２５ 遅延時間設定部

Claims (45)

1. 画像処理システムであって、
   画像データを出力するホスト装置と、
   前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
   を備え、
   前記ホスト装置は、
   前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
   前記画質制御手段は、前記画像処理システムの前記動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況への遷移に応じて、前記表示部に表示される画像の画質を上げる画像処理システム。
2. 前記ホスト装置は、
   前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
   前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
   前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
   を前記画質制御手段として有し、
   前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力する請求項１に記載の画像処理システム。
3. 前記符号化条件設定手段は、
   画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアを、前記画質設定手段により出力される画質情報に基づいて特定し、当該単位符号化エリアを前記符号化条件として出力し、
   前記符号化手段は、
   １フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記符号化条件に基づいて決定して、量子化パラメータを制御する符号量制御手段と、
   前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化手段と、
   を有する請求項２に記載の画像処理システム。
4. 前記符号量制御手段は、前記単位符号化エリアに含まれる１マクロブロックあたりの目標符号量を、当該単位符号化エリアの発生符号量が当該単位符号化エリアの総目標符号量に収まるように決定する請求項３に記載の画像処理システム。
5. 前記クライアント装置は、
   前記ホスト装置から伝送される画像データに対して、復号化処理を施す復号化手段を有し、
   前記画像処理システムは、前記符号化処理と、前記ホスト装置から前記クライアント装置への画像データの伝送処理と、前記復号化処理とを、それぞれ独立して単位符号化エリアごとに順次に行う請求項３または請求項４に記載の画像処理システム。
6. 画像処理システムであって、
   画像データを出力するホスト装置と、
   前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
   を備え、
   前記ホスト装置は、
   前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
   前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
   前記ホスト装置は、
   前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
   前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
   前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
   を前記画質制御手段として有し、
   前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
   前記画像表示の遅延が許容される前記動作状況には、前記表示部に視聴目的のシーンが表示される状況が含まれる画像処理システム。
7. 前記ホスト装置は、前記視聴目的のシーンを再生するためのプログラムを記憶する記憶部を有し、
   前記プログラムには、前記画質レベルを上げる画質設定命令が組み込まれており、
   前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する請求項６に記載の画像処理システム。
8. 前記視聴目的のシーンを再生するためのプログラムは、関数として構成され、
   当該関数のＡＰＩ（Application Program Interface）はプログラマに公開される請求項７に記載の画像処理システム。
9. 前記ホスト装置は、前記視聴目的のシーンを再生するためのプログラムを記憶する記憶部を有し、
   前記視聴目的のシーンを再生するためのプログラムのソースコードには、前記視聴目的のシーン名がコメント文として記載され、
   前記視聴目的のシーン名に関するコメント文は、コンパイルの前に前処理を行うプリプロセッサによって、前記画質レベルを上げる画質設定命令のソースコードに置換され、
   前記画質設定手段は、前記ソースコードから生成されたオブジェクトコードを含んだ前記プログラムの実行により発行される画質設定命令を受けて、前記画質レベルを設定する請求項６に記載の画像処理システム。
10. 画像処理システムであって、
    画像データを出力するホスト装置と、
    前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
    を備え、
    前記ホスト装置は、
    前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
    前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
    前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
    前記画像表示の遅延が許容される前記動作状況には、前記表示部を視認するユーザに対して思考時間を必要とさせる特定ジャンルのアプリケーションソフトウェアが実行されている状況が含まれる画像処理システム。
11. 前記ホスト装置は、アプリケーションソフトウェアのジャンルに応じた画質設定命令を発行させる関数を記憶する記憶部を有し、
    前記関数は、前記特定ジャンルのアプリケーションソフトウェアにおいて使用され、
    前記特定ジャンルのアプリケーションソフトウェアには、当該関数の引数として、前記特定ジャンルが設定され、
    前記画質設定手段は、前記特定ジャンルのアプリケーションソフトウェアの実行により前記画質レベルを上げる画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する請求項１０に記載の画像処理システム。
12. アプリケーションソフトウェアのジャンルに応じた画質設定命令を発行させる関数のＡＰＩは、プログラマに公開される請求項１１に記載の画像処理システム。
13. 前記ホスト装置は、アプリケーションソフトウェアの初期化処理において実行される第１関数と、当該第１関数の引数に設定されたアプリケーションソフトウェアのジャンルに応じた画質設定命令を発行させる第２関数とを記憶する記憶部を有し、
    前記第１関数は、前記特定ジャンルのアプリケーションソフトウェアにおいて使用され、
    前記特定ジャンルのアプリケーションソフトウェアでは、前記第１関数の引数として、前記特定ジャンルが設定され、
    前記第２関数は、前記第１関数の実行によって実行され、
    前記画質設定手段は、前記特定ジャンルのアプリケーションソフトウェアの実行により前記画質レベルを上げる画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する請求項１０に記載の画像処理システム。
14. 前記第１関数のＡＰＩは、プログラマに公開される請求項１３に記載の画像処理システム。
15. 前記特定ジャンルのアプリケーションソフトウェアのソースコードには、当該特定ジャンルがコメント文として記載され、
    前記特定ジャンルに関するコメント文は、コンパイルの前に前処理を行うプリプロセッサによって、前記画質レベルを上げる画質設定命令のソースコードに置換され、
    前記画質設定手段は、前記ソースコードから生成されたオブジェクトコードを含んだ前記特定ジャンルのアプリケーションソフトウェアの実行により発行される当該画質設定命令を受けて前記画質レベルを設定する請求項１０に記載の画像処理システム。
16. 画像処理システムであって、
    画像データを出力するホスト装置と、
    前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
    を備え、
    前記ホスト装置は、
    前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
    前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
    前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
    前記画像表示の遅延が許容される前記動作状況には、前記ホスト装置がデータを読み出している状況が含まれる画像処理システム。
17. 前記ホスト装置は、データの読み出しを実行するためのプログラムを記憶する記憶部を有し、
    前記プログラムには、前記画質レベルを上げる画質設定命令が組み込まれており、
    前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する請求項１６に記載の画像処理システム。
18. データの読み出しを実行するためのプログラムは、関数として構成され、
    当該関数のＡＰＩはプログラマに公開される請求項１７に記載の画像処理システム。
19. 前記ホスト装置がデータを読み出している状況には、当該ホスト装置に装着された外部記憶媒体からデータを読み出している状況が含まれる請求項１６から請求項１８のいずれかに記載の画像処理システム。
20. 画像処理システムであって、
    画像データを出力するホスト装置と、
    前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
    を備え、
    前記ホスト装置は、
    前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
    前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
    前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
    前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、
    前記画像表示の遅延が許容される前記動作状況には、前記操作検出手段によって検出されるユーザの操作量が所定量以下である状況が含まれる画像処理システム。
21. 前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、
    前記画質設定手段は、前記操作情報に基づいて特定された未操作期間が所定期間以上であった場合、前記画質レベルを上げる画質情報を出力する請求項２０に記載の画像処理システム。
22. 前記操作検出手段には、ユーザによって前記クライアント装置に与えられる動きを検知する検知センサが含まれ、
    前記クライアント装置は、前記検知センサによって検知される情報を前記操作情報に含めて前記ホスト装置に伝送し、
    前記画質設定手段は、前記検知センサによって検知される情報に基づいて特定される前記クライアント装置の移動量が所定時間にわたって変化しない場合、前記画質レベルを上げる請求項２０または請求項２１に記載の画像処理システム。
23. 前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、
    前記ホスト装置は、前記操作情報に基づいて、前記クライアント装置に対するユーザの操作を監視する操作監視手段を有し、
    前記操作監視手段は、ユーザの操作量が所定量以上である場合は、前記画質レベルを下げる画質設定命令を出力し、ユーザの操作量が所定量より少ない場合は、前記画質レベルを上げる画質設定命令を出力する請求項２０に記載の画像処理システム。
24. 画像処理システムであって、
    画像データを出力するホスト装置と、
    前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
    を備え、
    前記ホスト装置は、
    前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
    前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
    前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況から前記画像表示の遅延が許容されない動作状況へと変化する時点よりも前の時点において、画質レベルを下げる画質情報を出力する画像処理システム。
25. 前記ホスト装置は、ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更するシーン変更時点よりも前の時点において、所定のイベントを実行するためのプログラムを記憶する記憶部を有し、
    前記プログラムには、前記画質レベルを下げる画質設定命令が組み込まれており、
    前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する請求項２０から請求項２４のいずれかに記載の画像処理システム。
26. 前記所定のイベントを実行するためのプログラムは、関数として構成され、
    当該関数のＡＰＩはプログラマに公開される請求項２５に記載の画像処理システム。
27. 前記ホスト装置は、ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更するシーン変更時点におけるイベントを実行させるプログラムを記憶する記憶部を有し、
    前記シーン変更時点におけるイベントを実行させるプログラムのソースコードには、コンパイルされた際に、前記画質レベルを下げる画質設定命令を、前記シーン変更時点の所定時間前に配置させる特殊命令が含まれ、
    前記画質設定手段は、前記ソースコードのコンパイルにより生成されたオブジェクトコードを含んだ前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する請求項２０から請求項２４のいずれかに記載の画像処理システム。
28. 前記シーン変更時点におけるイベントを実行させるプログラムは、関数として構成され、
    当該関数のＡＰＩはプログラマに公開される請求項２７に記載の画像処理システム。
29. 画像処理システムであって、
    画像データを出力するホスト装置と、
    前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
    を備え、
    前記ホスト装置は、
    前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
    前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
    前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
    前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、
    前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、
    前記画像表示の遅延が許容される前記動作状況には、前記ホスト装置において、前記操作情報に基づく指示を受け付けないように設定される状況が含まれる画像処理システム。
30. 前記ホスト装置は、前記操作情報に基づく指示を受け付けないようにするためのプログラムを記憶する記憶部を有し、
    前記プログラムには、前記画質レベルを上げる画質設定命令が組み込まれており、
    前記画質設定手段は、前記プログラムの実行により画質設定命令が発行されると、当該画質設定命令を受けて前記画質レベルを設定する請求項２９に記載の画像処理システム。
31. 前記操作情報に基づく指示を受け付けないようにするためのプログラムは、関数として構成され、
    当該関数のＡＰＩはプログラマに公開される請求項３０に記載の画像処理システム。
32. 画像処理システムであって、
    画像データを出力するホスト装置と、
    前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
    を備え、
    前記ホスト装置は、
    前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
    前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
    前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
    前記ホスト装置は、３Ｄ画像を生成する画像生成手段を有し、
    前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、
    前記画像表示の遅延が許容される前記動作状況には、前記画像生成手段によって生成される前記３Ｄ画像を見る視点位置が移動している状況であって、視点位置の移動前の所定期間において前記操作検出手段によってユーザの操作が検出されない状況が含まれる画像処理システム。
33. 前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、
    前記画像生成手段は、３Ｄ画像を生成する際に、前記視点位置を連続的に変化させるビューイング変換を行う場合は、前記画質設定手段に対して視点位置の連続的な変化が行われていることを示す信号を出力し、
    前記画質設定手段は、視点位置の連続的な変化が行われていることを示す信号の入力前の所定期間におけるユーザの操作が、前記操作情報に基づいて検出されなかったときは、前記画質レベルを上げる画質情報を出力する請求項３２に記載の画像処理システム。
34. 画像処理システムであって、
    画像データを出力するホスト装置と、
    前記ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置と、
    を備え、
    前記ホスト装置は、
    前記画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段を有し、
    前記画質制御手段は、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況において、前記表示部に表示される画像の画質を上げ、
    前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定手段と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記画質設定手段は、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報を出力し、
    前記ホスト装置は、３Ｄ画像を生成する画像生成手段を有し、
    前記クライアント装置は、当該クライアント装置に対するユーザの操作を検出する操作検出手段を有し、
    前記クライアント装置は、前記操作検出手段によって検出される情報を操作情報として前記ホスト装置に伝送し、
    前記画像生成手段は、３Ｄ画像を生成する際に、前記視点位置を連続的に変化させるビューイング変換を行う場合は、前記画質設定手段に対して視点位置の連続的な変化が行われていることを示す信号を出力し、
    前記画質設定手段は、視点位置の連続的な変化が行われていることを示す信号の入力前の所定期間におけるユーザの操作が、前記操作情報に基づいて検出されたときは、前記画質レベルを下げる画質情報を出力する画像処理システム。
35. 前記ホスト装置は、
    前記動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定手段と、
    前記画質情報に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記符号化手段は、
    画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアを、前記画質情報に基づいて特定し、１フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記単位符号化エリアに基づいて決定して、量子化パラメータを制御する符号量制御手段と、
    前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化手段と、
    を有する請求項１に記載の画像処理システム。
36. 前記ホスト装置は、
    前記動作状況に応じて、前記表示部への画像表示の許容遅延時間を設定して、設定した許容遅延時間に関する遅延時間情報を出力する遅延時間設定手段と、
    前記遅延時間情報に基づいて、前記画像データに対して符号化処理を施す符号化手段と、
    を前記画質制御手段として有し、
    前記符号化手段は、
    画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアを、前記遅延時間情報に基づいて特定し、１フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記単位符号化エリアに基づいて決定して、量子化パラメータを制御する符号量制御手段と、
    前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化手段と、
    を有する請求項１に記載の画像処理システム。
37. ホスト装置であって、
    クライアント装置の表示部に表示させる画像の画像データを生成して、当該画像データを出力する出力手段と、
    前記ホスト装置および前記クライアント装置を含む画像処理システムの動作状況に応じて、前記表示部に表示される画像の画質を制御する画質制御手段と、
    を備え、
    前記画質制御手段は、前記画像処理システムの前記動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況への遷移に応じて、前記画像の画質を上げるホスト装置。
38. 画像データを出力するホスト装置と、当該ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備えた画像処理システムの動作方法であって、
    ａ）前記ホスト装置において、前記画像処理システムの動作状況を把握する工程と、
    ｂ）前記ａ）工程において把握される、前記画像処理システムの前記動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記動作状況への遷移に応じて、前記表示部に表示される画像の画質を上げる工程と、
    を有する画像処理システムの動作方法。
39. 前記ｂ）工程は、
    前記ａ）工程において把握される動作状況に応じて、前記表示部に表示される画像の画質レベルを設定して、設定した画質レベルに関する画質情報を出力する画質設定工程と、
    前記画質情報に基づいて符号化の際の符号化条件を設定する符号化条件設定工程と、
    前記符号化条件に基づいて、前記画像データに対して符号化処理を施す符号化工程と、
    を含み、
    前記画質設定工程では、前記画像表示の遅延が許容される前記動作状況において、前記画質レベルを上げる画質情報が出力される請求項３８に記載の画像処理システムの動作方法。
40. 前記符号化条件設定工程では、
    画像データの１フレーム内の領域であって、符号化によって発生する発生符号量の管理範囲を示す単位符号化エリアが、前記ｂ−１工程において出力された画質情報に基づいて特定され、当該単位符号化エリアが前記符号化条件として出力され、
    前記符号化工程は、
    １フレームを複数の領域に分割して得られる１マクロブロックあたりの目標符号量を、前記符号化条件に基づいて決定して、量子化パラメータを制御する符号量制御工程と、
    前記量子化パラメータに応じて決定される量子化ステップを用いて量子化処理を行い、符号化された画像データを生成する量子化工程と、
    を含む請求項３９に記載の画像処理システムの動作方法。
41. 前記符号量制御工程では、前記単位符号化エリアに含まれる１マクロブロックあたりの目標符号量が、当該単位符号化エリアの発生符号量が当該単位符号化エリアの総目標符号量に収まるように決定される請求項４０に記載の画像処理システムの動作方法。
42. 前記ホスト装置から伝送される画像データに対して、前記クライアント装置において復号化処理を施す復号化工程をさらに有し、
    前記画像処理システムでは、前記符号化処理と、前記ホスト装置から前記クライアント装置への画像データの伝送処理と、前記復号化処理とが、それぞれ独立して単位符号化エリアごとに順次に行われる請求項４０または請求項４１に記載の画像処理システムの動作方法。
43. 前記画質設定工程では、前記画像表示の遅延が許容される動作状況から前記画像表示の遅延が許容されない動作状況へと変化する時点よりも前の時点において、画質レベルを下げる画質情報が出力される請求項３９から請求項４２のいずれかに記載の画像処理システムの動作方法。
44. 画像データを出力するホスト装置と、当該ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備えた画像処理システムの前記ホスト装置に内蔵されたコンピュータに、
    前記画像処理システムの動作状況についての、前記ホスト装置から前記クライアント装置への画像データの伝送によって生じる画像表示の遅延が許容される前記画像処理システムの動作状況への遷移に応じて、前記表示部に表示される画像の画質レベルを上げる画質設定命令を発行する工程と、
    前記画質設定命令の発行を受けて前記画質レベルを設定する工程と、
    を実行させるプログラム。
45. 画像データを出力するホスト装置と、当該ホスト装置から伝送された前記画像データに基づく画像を表示する表示部を有するクライアント装置とを備えた画像処理システムの前記ホスト装置の記憶部に記憶されるプログラムの作成方法であって、
    ユーザの操作が要求されないシーンから、ユーザの操作が要求されるシーンへと変更するシーン変更時点におけるイベントを実行させるプログラムのソースコードをコンパイルすることによってプログラムを生成する工程、
    を備え、
    前記ソースコードには、コンパイルの実行によって、前記表示部に表示される画像の画質レベルを下げる画質設定命令を、前記シーン変更時点の所定時間前に配置させる特殊命令が含まれるプログラムの作成方法。

Images