JP5548671B2 - 画像処理システム、画像提供サーバ、情報処理装置、および画像処理方法 - Google Patents

Description

本発明は、動画像や静止画像をディスプレイに表示する画像処理技術に関する。

ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。

米国特許第６５６３９９９号公報

静止画、動画に関わらず、ユーザが操作する端末において様々な画像を表示させるためには、要求された画像のデータを格納するための記憶装置など十分なリソースの確保が必要となる。さらに、ユーザの指示入力により表示領域を移動させながら画像を表示する態様においては、高精細な画像であっても指示入力に対する十分な応答性が得られることが望ましい。一方で、端末が備える性能や画像表示の目的などによって、ユーザが考える最適な表示環境は多様化している。ネットワークを介して膨大な数のコンテンツを取得できる現代の環境において、コンテンツ、品質や応答性といった複数の要素の組み合わせを自由に選択することのできる技術が望まれている。

本発明はこのような課題に鑑みてなされたものであり、その目的は、ユーザの要求に合致した環境で多様な画像を表示することのできる技術を提供することにある。

本発明のある態様は画像処理システムに関する。この画像処理システムは、ユーザの操作により画像表示を行う情報端末と、情報端末とネットワークを介して接続し、当該情報端末へ画像データを送信するサーバと、を備えた画像表示システムであって、情報端末は、表示対象の画像の大きさを変化させる操作入力を受け付け、当該操作入力に係る情報をサーバへ送信する操作情報送信部と、操作入力に応じてサーバから送信された、表示対象の画像の大きさを変化させた表示画面のデータを用いて表示を行う表示画像処理部と、を備え、サーバは、表示対象の画像を異なる解像度で表し解像度順に階層化してなる階層データを生成する階層データ生成装置と、情報端末から送信された操作入力に係る情報に基づく、情報端末における表示対象の画像の表示解像度の変化に応じて、階層データのうち処理対象の階層を切り替えてデコードするデコード部と、デコードした表示対象の画像を含む表示画面のデータを生成する表示画面生成部と、表示画面のデータを情報端末へ送信するデータ送信部と、を備える表示画像処理装置と、を備えたことを特徴とする。

本発明の別の態様は画像提供サーバに関する。この画像提供サーバは、ネットワークを介して接続した情報端末から、表示対象の画像の大きさを変化させる操作入力に係る情報を受け付ける操作情報受信部と、表示対象の画像を異なる解像度で表し解像度順に階層化してなる階層データを生成する階層データ生成部と、操作入力に係る情報に基づく、情報端末における表示対象の画像の表示解像度の変化に応じて、階層データのうち処理対象の階層を切り替えてデコードするデコード部と、デコードした表示対象の画像を含む表示画面のデータを生成する表示画面生成部と、表示対象の画像の大きさを変化させた表示画面が情報端末に表示されるように、当該表示画面のデータを情報端末へ送信するデータ送信部と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理装置に関する。この情報処理装置は、動画データの各フレームを異なる解像度で表し解像度順に階層化してなる階層データを生成し記憶装置に格納する階層データ生成部と、動画を表示中、同時に表示する動画の数を変化させる操作入力を受け付ける入力部と、操作入力によって表示対象の動画の表示解像度が変化したとき、階層データのうち処理対象の階層を切り替えてデコードするデコード部と、デコードした動画を含む表示画面のデータを生成して表示する表示部と、を備えたことを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、ユーザの操作により画像表示を行う情報端末と、情報端末とネットワークを介して接続し、当該情報端末へ画像データを送信するサーバと、が実施する画像処理方法であって、情報端末において表示対象の画像の大きさを変化させる操作入力を受け付けサーバに送信するステップと、サーバにおいて、表示対象の画像を異なる解像度で表し解像度順に階層化してなる階層データを生成するステップと、情報端末から送信された操作入力に係る情報に基づく、情報端末における表示対象の画像の表示解像度の変化に応じて、階層データのうち処理対象の階層を切り替えてデコードするステップと、デコードした表示対象の画像を含む表示画面のデータを生成するステップと、表示画面のデータを情報端末へ送信するステップと、情報端末において、操作入力に応じてサーバから送信された、表示対象の画像の大きさを変化させた表示画面のデータを用いて表示を行うステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、ユーザの要求に合致した品質、応答性で多様な画像を表示できる。

本実施の形態で実現できる表示画面の例を示す図である。 本実施の形態における装置構成例と画像データの変遷を模式的に示す図である。 本実施の形態において生成する階層データの概念図である。 本実施の形態を適用できる画像表示システムの構成例を示す図である。 本実施の形態における表示処理代行システムの構成を詳細に示す図である。 本実施の形態における情報端末の構成を詳細に示す図である。 本実施の形態における、階層データにおいてデコード対象となる階層と表示画面の対応を模式的に示す図である。 本実施の形態における画像処理の手順を示すフローチャートである。 本実施の形態において同時に表示する動画のデータを複数の供給元から取得する態様を実現するときの情報端末の構成を詳細に示す図である。

本実施の形態は、動画像や静止画像を表示中にその解像度をユーザの操作などによって変化させることのできる態様を実現する。図１は本実施の形態で実現できる表示画面の例を示している。画面４０、４２、４４は、動画提供サーバからネットワークを介して取得した動画像を情報端末において表示する画面の例であり、網掛けされた矩形がそれぞれ動画を表す。

まず画面４０は情報端末においてユーザが選択した１つの動画である「動画Ａ」の画像４６を表示している。一方、画面４２は、「動画リスト（３×２）」として、横方向に３つ、縦方向に２つの動画配列（例えば画像４８ａ、４８ｂ）を表示している。さらに画面４４は、「動画リスト（７×５）」として、横方向に７つ、縦方向に５つの動画配列（例えば画像５０ａ〜５０ｅ）を表示している。

画面４０、４２、４４間の移行は、図示しないメニュー画面に対するユーザの選択入力によって不連続に切り替える。あるいは、リスト表示すべき全ての動画像を画面４４のように配列させた仮想的な画像を生成しておき、ユーザの拡大、縮小、スクロール操作などによって表示領域を連続的に変化させてもよい。いずれの場合においても、画面４０、４２、４４において表示される動画は、ユーザの操作によって解像度が変化することになる。配列として表示させる画像は動画のみならず静止画を混在させたり静止画のみでもよい。

このような画面変化を可能にすると、動画像であっても表示可能な複数の画像を一見して把握することができ、画像選択などにも有効である。一方で、各画像のデータは本来、個別に表示されることを想定してエンコードされている。そのため同時に表示させる画像の数が増えるほど、デコード処理やデータ転送にかかるリソースの消費量が増加する。例えば画面４４は画面４０と比較して、デコード処理、転送帯域などのリソース消費量がおよそ３５倍にもなってしまう。

動画像を表示する場合は特に、このようなリソース消費量の増加によって表示処理が間に合わずコマ落ちするなどの不具合が表出しやすい。そこで本実施の形態では、供給元から供給された画像データを、表示のためのデコード処理より前のいずれかの段階で、複数の解像度を有する画像データに変換する。そして表示に求められる解像度に応じて、デコード対象の画像データの解像度を切り替える。このようにすると、画像データの変換以後のリソース消費量は、デコード対象の画像の数によらず、主に画像を表示する表示装置の画面サイズに依存するようになる。以後の説明では、表示対象として主に動画像を例にとるが静止画でも同様である。

図２は本実施の形態における装置構成例と画像データの変遷を模式的に示している。なお同図では１つの動画データを表しているが、同時に複数の動画を表示する場合は、同様の処理をその他の動画データに対しても行う。また理解を容易にするためエンコードされたデータもフレーム列として表している。まず動画データは画像提供サーバ１０から発信される（Ｓ１０）。このときの動画データは１つの解像度で表されたフレーム列１８をエンコードした一般的なものである。当該動画データはまず階層データ生成装置１２に供給される。供給形態はファイルのダウンロードでもよいしストリーム転送でもよい。

階層データ生成装置１２は、動画データをデコードし、それに含まれるフレームを１段階、または多段階に縮小することにより、各フレームを複数の解像度で表した動画像のデータ２０を生成する（Ｓ１２）。このとき生成される複数の解像度の画像は、解像度順に階層化しておくことにより、表示に求められる解像度とデータとの対応づけが容易になる。以後、このように階層化された画像のデータを「階層データ」と呼ぶ。

次にデコーダ１４は、各フレームに対応する階層データのうち表示に求められる解像度によって定まる階層のデータ２２のみを読み出しデコードする（Ｓ１４）。これにより、各フレームを求められる解像度で表したフレーム列２４が得られるため、それを表示装置１６が表示することにより、求められる解像度で動画が表示される（Ｓ１６）。このような構成によれば、階層データ生成装置１２からのデータ転送帯域およびデコーダ１４におけるデコード処理にかかる１つの動画あたりのリソース消費量は、表示に求められる解像度が小さいほど軽減される。

同時に表示する動画の数と個々の動画の表示解像度はおよそ反比例の関係にあるため、図１の画面４４のように多数の動画像を同時に表示する場合であっても、階層データ生成装置１２における処理以後のデータ処理に係るリソース消費量は動画の数によらずおよそ一定となる。例えば階層データ生成装置１２を複数のデコーダ１４、表示装置１６に接続して階層データを共有すれば、１つの表示装置１６あたりに換算した階層データ生成装置１２における処理の負荷が減少するため、システム全体としてのリソース消費量の変動を抑えることができる。階層データ生成装置１２における処理を画像ごとに異なるタイミングで行うことにより負荷を分散させても同様である。

図３は階層データの概念図を示す。階層データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。

図３に示す階層データは４分木の階層構造を有し、各階層は１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、第３階層３６、第２階層３４、第１階層３２、第０階層３０の順で解像度が小さくなっている。

たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。この場合、動画データとして得られるフレームをＸ軸方向、Ｙ軸方向に１／２倍ずつ縮小していくことにより、各フレームに対応する階層データを生成できる。

階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。デコードに用いるデータの指定は、仮想空間におけるフレームの４隅の座標（フレーム座標）で行うことができる。Ｚ軸上には各階層の間に切り替え境界を設定しておく。そしてフレームのＺ座標が当該切り替え境界を越えたときに、デコード対象の階層を切り替える。さらにデコードされた画像を表示に求められる解像度に合わせて適宜、拡大／縮小することにより、所望の解像度の画像が得られる。

なお、仮想空間におけるフレーム座標の代わりに、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせもフレーム座標と呼ぶ。図１の例では、どの画面においても動画像の全体を表示していたが、上述のようにフレーム座標でデータを指定することにより、動画像の一部を拡大することも可能になる。

図４は本実施の形態を適用できる画像表示システムの構成例を示す。画像処理システム５は、情報端末２００ａ、２００ｂ、・・・、２００ｎがインターネットなどのネットワーク８に接続可能に構成される。ネットワーク８にはさらに、画像提供サーバ１０ａ、１０ｂ、１０ｃ、表示処理代行システム１００が接続される。

情報端末２００ａ、２００ｂ、・・・、２００ｎはユーザによる操作を受け付けて画像を表示する装置であり、パーソナルコンピュータ、携帯電話、タブレット端末、ゲーム装置など一般的な情報処理装置のいずれで実現してもよい。ただし本実施の形態において情報端末２００ａ、２００ｂ、・・・、２００ｎは、ユーザによる操作を受け付けると、その情報を表示処理代行システム１００に送信し、表示処理代行システム１００から送信された表示画面のデータを受信して表示する機能を有する。ここで「表示画面のデータ」とは、情報端末２００ａ、２００ｂ、・・・、２００ｎの画面サイズを有し、基本的にはそのまま表示されることを想定して作成する画像のデータである。ただし情報端末側で何らかの加工を施して表示してもよい。

画像提供サーバ１０ａ、１０ｂ、１０ｃは、ネットワーク８を介して他の装置の要求に従う画像データを提供する。上述のとおり供給形式はファイルのダウンロードでもストリーム転送でもよい。またあらかじめ作成された画像データでもよいし、画像提供サーバ１０ａ、１０ｂ、１０ｃ自身、あるいはさらに別の装置が撮影中の画像をリアルタイムで提供するのでもよい。なお画像提供サーバ１０ａ、１０ｂ、１０ｃの数は特に限定されない。

表示処理代行システム１００は、情報端末２００ａ、２００ｂ、・・・、２００ｎにおける情報処理の一部を代行するシステムである。例えばユーザが情報端末２００ａに対し、画像表示の開始、終了、表示画面の拡大、縮小、スクロール、画面の切り替えなどの要求を入力すると、それに応じて表示すべき画面のデータを生成し、要求元の情報端末２００ａに送信する。ユーザが画像提供サーバ１０ａが提供する画像の閲覧を要求した場合、表示処理代行システム１００は画像提供サーバ１０ａから画像データを受信し、それを表示させる表示画面のデータを生成して情報端末２００ａへ送信する。

表示処理代行システム１００は、表示画面のデータを生成するために、画像提供サーバ１０ａなどから受信した画像データをデコードする機能を含む。この構成で図１に示したような画面変化を実現する場合、階層データへの変換を導入しない場合に発生し得る、上記のリソース消費量の問題がより顕在化する。すなわち複数の情報端末２００ａ、２００ｂ、・・・、２００ｎにおいて、多数の動画を一度に表示させる要求が同時期になされた場合、表示処理代行システム１００におけるリソース消費量は、情報端末の数に比例して増大する。

すなわち１つの装置内でのデコード処理と比較し、リソース消費量の変化の幅が格段に大きくなる。そこで表示処理代行システム１００に図２の階層データ生成装置１２を導入する。これにより表示処理代行システム１００内のデータ転送やデコード処理にかかるリソース消費量は、表示内容によらず、情報端末２００ａ、２００ｂ、・・・、２００ｎが有する表示装置の画面サイズの合計に対応する値となり、見積もりが容易である。結果として表示処理代行システム１００の処理性能を無駄に増強させたりせずに、情報端末２００ａ、２００ｂ、・・・、２００ｎの様々な要求に安定的に対応できる。

図５は表示処理代行システム１００の構成を詳細に示している。表示処理代行システム１００は、図２の階層データ生成装置１２に対応する階層データ生成装置１０２と、図２のデコーダ１４に対応する機能を含む表示画像処理装置１２０ａ、１２０ｂ、１２０ｃ、・・・とがＬＡＮ(Local Area Netowork）などのネットワーク１０４で接続された構成を有する。

図５および後述する図６、図９において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

表示画像処理装置１２０ａは基本的に、情報端末２００ａなどからユーザの操作内容の情報を受信して表示画面を送信する機能を有する。表示画像処理装置１２０ａが操作内容によって行う処理は画像表示処理のみならず、ゲームや計算など一般的な情報処理のいずれを含んでもよいが、ここでは特に図１で示したような表示画面を生成する処理に着目して説明する。なお図示するように表示処理代行システム１００には複数の表示画像処理装置１２０ａ、１２０ｂ、１２０ｃ、・・・がネットワーク１０４を介して階層データ生成装置１０２に同様に接続され、それぞれ別の情報端末とデータの送受信を行ってよい。

表示画像処理装置１２０ａは、ユーザが情報端末２００ａに対して行った操作内容の情報を受信する操作情報受信部１２２、表示対象の動画を決定する表示対象決定部１２４、動画の表示解像度を決定する解像度決定部１２６、表示対象の動画の階層データのうち表示解像度に対応する階層の圧縮データを取得するデータ取得部１２８、圧縮データをデコードするデコード部１３０、デコードした画像を画面を表す画像領域に配置し表示画面のデータを生成する表示画面生成部１３２、表示画面のデータを情報端末２００ａに送信するデータ送信部１３４を含む。

操作情報受信部１２２は、情報端末２００ａに対しユーザが行った操作内容の情報を受信する。操作内容の情報には上述のとおり画像表示の開始、終了、画面の拡大、縮小、スクロールなどが含まれるが、さらに画像提供サーバ１０ａの指定や、表示したい動画、あるいは動画の種類などの指定情報も含まれる。例えば表示画像処理装置１２０ａは情報端末２００ａからの要求に従い画像提供サーバ１０ａなどのウェブサイトの画像データを表示画面として情報端末２００ａに送信しておく。

そして情報端末２００ａから、当該ウェブサイトにおいて表示された動画名の一覧表示から一つの動画を指定する入力情報を取得する。あるいは当該ウェブサイトに対し入力された検索キーの情報を取得する。操作情報受信部１２２は、接続時などに情報端末２００ａが備える表示装置の画面サイズに係る情報も取得しておく。表示対象決定部１２４は、操作内容の情報から表示対象の動画を決定する。

図１に示したように動画配列に対する表示領域を変化させる操作がなされた場合は、あらかじめ作成しておいた、配列表示する動画とそれを表示する画面上の位置とを対応づけた仮想的な画像における表示領域のフレーム座標を操作内容の情報から決定し、当該表示領域に含まれる動画を特定する。配列させる動画を、ユーザが入力した検索キーに対応する検索結果とする場合、操作情報受信部１２２が受信した検索キーを一旦、画像提供サーバ１０ａに送信して検索結果たる動画のリストを受信し、その配列を決定したうえ表示領域内の動画を特定する、という２段階の処理となる。特定の動画を選択する操作がなされた場合は当然、当該動画を表示対象とする。

解像度決定部１２６は、表示対象の動画を配置させたときの画面に対する動画の相対的な大きさと、情報端末２００ａの表示装置の画面サイズとに基づき、動画の表示解像度を決定する。解像度決定部１２６はさらに、表示対象の動画における表示領域も決定する。上記のようにフレーム座標を導入することにより、動画の全体領域か一部分かによらず、解像度および表示領域を同様に指定できる。解像度決定部１２６は、表示対象の動画の識別情報とフレーム座標からなるデータセットをデータ取得部１２８に通知する。

データ取得部１２８は、解像度決定部１２６から通知された情報に基づき、階層データ生成装置１０２から該当する圧縮データを取得する。デコード部１３０はそのように取得された圧縮データをデコードする。動画データがストリーム転送される場合、デコード部１３０は、データ取得部１２８が取得したデータを流れ作業でデコードしていく。

表示画面生成部１３２は、表示対象の動画の画面上の配置を決定し、デコードされたデータを用いて、動画のフレームの画像を各位置に表した表示画面のデータを生成する。表示対象が動画像であるため、表示画面生成部１３２はフレームレートに対応するタイミングで新たな表示画面のデータを生成する。データ送信部１３４は、そのように生成された表示画面のデータを順次、所定の方式でエンコードして情報端末２００ａに送信する。

階層データ生成装置１０２は、表示画像処理装置１２０ａからの要求を受け付け、データを送信するデータ送信部１０８、画像提供サーバ１０ａなどから動画データを取得する画像データ取得部１０６、取得した動画データをデコードするデコード部１１０、フレームごとに階層データを生成する階層データ生成部１１２、階層データをエンコードするエンコード部１１４、エンコードされた階層データを記憶するメモリ１１６を含む。

画像データ取得部１０６は、表示画像処理装置１２０ａが指定した動画の識別情報をデータ送信部１０８から取得し、それに従い、画像提供サーバ１０ａ、１０ｂ、１０ｃから表示対象の動画データを受信する。このときの動画データは一般的な方式でエンコードされていてよい。ただし以前に受信し階層データがメモリ１１６に格納されている動画データは新たに受信しなくてよい。同図に示すように画像データ取得部１０６は、情報端末２００ａ自身からも動画データを取得してよい。この場合、情報端末２００ａが保持する動画データから階層データが生成され、その他の動画と同様にリスト表示などの対象となる。

デコード部１１０は、画像データ取得部１０６が取得した動画データをデコードする。階層データ生成部１１２は、デコードされたフレーム列からなる動画を、フレームごとに所定の解像度に縮小し、解像度順に対応づけることにより階層データを生成する。これにより表示対象の動画の階層データ列が生成される。表示対象の動画が複数ある場合は動画ごとに同様に階層データ列を生成する。エンコード部１１４は、当該階層データ列をエンコードする。エンコードの方式は、ネットワーク１０４が備える転送帯域や表示画像処理装置１２０ａのデコード部１３０の処理能力など、表示処理代行システム１００内のリソース環境に応じてあらかじめ決定しておく。

上述のように同時に表示する動画の数の増減によるリソース消費量の変動を抑えるためには、圧縮された状態で必要な階層の必要な領域を限定的に読み出し可能な方式であることが望ましい。また圧縮率が高い方式は一般的に、エンコード処理、デコード処理の負荷が重い。ネットワーク１０４の転送速度が十分に保証される環境であれば、圧縮率が多少低くてもエンコード処理、デコード処理の負荷を軽減させて、情報端末２００ａへのデータ送信のスループットを上げることが望ましい。

これらの点を踏まえると、例えば動画のフレームを所定サイズ、所定フレームごとに分割してなるデータブロック単位で画素値を量子化する圧縮手法が適している。静止画の場合はＳ３ＴＣ（S3 Texture Compression）が適している。これらの方式はともに、デコードするためにその他の領域のデータを含めてメモリに展開する必要がないため、無駄なデコード処理やメモリ領域の消費が少ない。

一方、エンコード部１１４やデコード部１３０の処理性能が潤沢である場合は、動画であれば、圧縮率の高いＡＶＣ（Advanced Video Coding）やＳＶＣ（Scalable Video Cding）、静止画であればJPEG（Joint Photographic Experts Group）などが適している。あるいは複数の方式でエンコードした階層データを生成しておき、ネットワーク１０４や表示画像処理装置１２０ａのリソース使用状況に応じて適応的に選択するようにしてもよい。

エンコード部１１４はエンコードした階層データ列を、動画の識別情報に対応づけてメモリ１１６に格納する、各階層データは元の動画の各フレームと対応するため、階層データにはフレーム番号を対応づけておく。メモリ１１６はＲＡＭ（ランダムアクセスメモリ）などであり、エンコードされた階層データ列を記憶する。情報端末２００ａがそれ以前に表示対象としていた動画の階層データ列や、他の情報端末が表示対象とした動画の階層データ列は少なくとも所定期間、メモリ１１６に格納しておく。

これにより、階層データ生成装置１０２のデコード部１１０が新たにデコードすべき動画は、メモリ１１６に階層データ列が格納されていない動画のみとなる。ただし動画が画像提供サーバ１０ａなどからストリーム転送されている場合は、後続のフレームを逐次階層データに変換してメモリ１１６に格納し続ける。この場合でも同じ動画を同時に表示している情報端末が複数あればデータを共有できるため、それぞれの情報端末に対し個別にデコードする場合と比較すると処理の負荷は軽減される。

データ送信部１０８は、表示画像処理装置１２０ａが要求した動画の識別情報を画像データ取得部１０６に通知するとともに、メモリ１１６に格納された階層データ列のうち、要求された動画における、表示解像度に対応する階層の圧縮データを読み出し、ネットワーク１０４を介して表示画像処理装置１２０ａに送信する。上述のとおり階層データの解像度方向に切り替え境界を設けることにより、表示解像度に対応する階層が一意に定まる。

図６は情報端末２００ａの構成を詳細に示している。情報端末２００ｂ、・・・、２００ｎも同様の構成でよい。なお情報端末２００ａは各種情報処理や通信など、表示処理代行システム１００とのデータの送受信を伴わない処理を実行する機能を備えていてよいが、情報端末２００ａを構成する装置の種類などに応じて一般的な技術を適用できるため機能ブロックの図示を省略している。

情報端末２００ａは、ユーザが情報端末２００ａを操作するための入力部１４２、操作内容の情報を表示処理代行システム１００に送信する操作情報送信部１４０、表示処理代行システム１００から表示画面のデータを受信するデータ受信部１４６、表示画面のデータをデコードするデコード部１４８、デコードしたデータを用いて表示画面を描画する表示画像処理部１５０、および表示画面を表示する表示部１４４を備える。

入力部１４２はユーザが表示部１４４に表示された画面を見ながら行った操作、例えばファイルやコマンドの選択操作、表示切り替えや画面の拡大、縮小、スクロールなどの操作を受け付け、操作情報送信部１４０に通知する。入力部１４２は、ポインティングデバイス、マウス、キーボード、タッチパネル、ゲームコントローラ、ボタンなど一般的な入力装置で実現できる。

操作情報送信部１４０は、入力部１４２から通知された操作内容の情報を表示処理代行システム１００に送信する。このとき、ユーザの操作によって入力部１４２が発生させた信号をそのまま送信してもよいし、操作情報送信部１４０が当該信号を所定のアルゴリズムにより解釈し、必要な情報のみを含む信号を新たに生成して送信してもよい。いずれの態様とするかは表示処理代行システム１００の代行内容などによって適宜選択する。

データ受信部１４６は表示処理代行システム１００から表示画面の圧縮データを逐次受信する。この表示画面は、ユーザの操作に応じて表示処理代行システム１００で処理された結果によって変化するとともに、動画表示時は動画の進捗によっても変化する。デコード部１４８は表示画面の圧縮データをデコードし、図示しないバッファメモリなどに展開する。表示画像処理部１５０は展開された表示画面のデータを表示部１４４に出力するためのビデオ信号に変換する。表示部１４４は当該ビデオ信号を出力することで表示画面を表示する。表示部１４４は液晶ディスプレイ、ＥＬ（Electroluminescence）ディスプレイ、プラズマディスプレイなど一般的な表示装置のいずれかでよい。

図７は階層データにおいてデコード対象となる階層と表示画面の対応を模式的に示している。階層データ生成装置１０２には、画像提供サーバ１０ａなどから複数の動画データ１７０ａ、１７０ｂ、１７０ｃ、・・・などが入力される。階層データ生成装置１０２はそれをフレームごとに階層データに変換する。同図では動画データ１７０ａ、１７０ｂ、１７０ｃの１つのフレームの階層データを、それぞれ階層データ１７２ａ、１７２ｂ、１７２ｃで象徴的に表している。

ユーザにより動画データ１７０ａのみが選択された場合、表示画像処理装置１２０ａの解像度決定部１２６は、画面領域１７４内に１つの動画を表示するための動画表示領域１７６を決定する。この情報はあらかじめ１つの動画像表示用に設定されたものでもよいし、複数の動画配列の画像を表示中、ユーザが１つの動画をズームアップさせた結果として取得してもよい。そして解像度決定部１２６は、情報端末２００ａの表示部１４４の画面サイズと、画面領域１７４における動画表示領域１７６の相対的なサイズとに基づき表示解像度を決定する。これに基づき動画データ１７０ａの階層データ１７２ａからデコード対象の階層が選択される。同図の場合、第３階層１７８が選択されている。

ユーザが複数の動画像の配列を表示する画面への切り替え操作を行ったり、元々動画像の配列の１つを拡大表示させた状態から縮小操作を行ったりしたら、まず表示対象決定部１２４が表示対象となる複数の動画像を特定する。同図の場合、６つの動画像が該当する。そして解像度決定部１２６が上記と同様、画面領域１８０内に６つの動画を表示するため動画表示領域（例えば領域１８２ａ、１８２ｂ、１８２ｃ）を決定することにより、動画データ１７０ａ、１７０ｂ、１７０ｃ、・・・の階層データ１７２ａ、１７２ｂ、１７２ｃ、・・・からデコード対象の階層が選択される。同図の場合、それぞれの第１階層１８４ａ、１８４ｂ、１８４ｃが選択されている。

なお図７の例では動画像の全領域を表示することを想定し、選択された階層の全領域のデータをデコード対象として選択したが、階層内のタイル画像単位など、領域ごとに圧縮データへのアクセスが可能であれば、階層内の部分的な領域のみをデコード対象としてもよい。また同図の例では同時に表示する動画を全て同じサイズとしたが、表示画面のデザインなどによっては、同時に表示する動画の大きさを変化させてもよい。この場合、動画によってデコード対象の階層が異なってもよい。

次にこれまで述べた構成によって実現される画像処理システムの動作について説明する。図８は図４の画像処理システム５において、主に情報端末２００ａと表示処理代行システム１００が行う画像処理の手順を示すフローチャートである。まずユーザが情報端末２００ａに対し動画表示を要求する操作を行う（Ｓ３０）。例えば何らかのカテゴリに属する動画のサムネイルを表示する指示でもよいし、上記のように検索キーの入力などでもよい。

すると表示処理代行システム１００における表示画像処理装置１２０ａは、当該操作に基づき表示対象の動画を特定する（Ｓ３２）。そして当該動画の個数などから各動画の表示解像度を決定することにより、階層データ生成装置１０２からデコード対象の階層の圧縮データを取得する（Ｓ３４）。Ｓ３２からＳ３４の間に、階層データ生成装置１０２は、Ｓ３２で決定された表示対象の動画を必要に応じて画像提供サーバなどから取得し、階層データを生成しているものとする。

そして取得した圧縮データをデコードし、デコードしたフレームや背景を、画面を表す領域に適宜配置することで表示画面のデータを生成する（Ｓ３６）。情報端末２００ａは表示画面の圧縮データを取得すると、それをデコードして表示する（Ｓ３８）。ユーザが表示領域を変更する操作を行わない間は（Ｓ４０のＮ）、同じ動画の後続フレームに対応する階層データから適宜データを取得して表示画面を生成し、当該動画を表示し続ける（Ｓ３４〜Ｓ３８）。

一方、ユーザが画面を切り替えたり、配列画面に対し拡大、縮小、スクロール操作を行うなどして表示領域が変更されたら（Ｓ４０のＹ）、表示画像処理装置１２０ａは、新たな表示領域に含まれる動画を特定することで表示対象の動画を更新する（Ｓ４２）。そして当該動画の個数が変化するなどして表示解像度が変化した場合、必要に応じてデコード対象の階層が切り替わる（Ｓ４４）。

そして新たに定まった表示対象の動画の階層データのうち、対象の階層をデコードし、表示画面を生成、表示する（Ｓ３４〜Ｓ３８）。以上の処理を、情報端末２００ａにおい表示の終了操作がなされるまで繰り返し（Ｓ４６のＮ、Ｓ３４〜Ｓ４４）、表示の終了操作がなされたら処理を終了する（Ｓ４６のＹ）。

これまで述べた構成では、情報端末２００ａは、表示処理代行システム１００が生成した表示画面のデータをデコードし、そのまま表示していた。一方、表示処理代行システム１００が生成した表示画面と、情報端末２００ａ自らが保持する画像とを同時に表示するようにしてもよい。さらに一部の動画を画像提供サーバ１０ａなどから直接受信し、それも同時に表示するようにしてもよい。図９は同時に表示する動画のデータを複数の供給元から取得する態様を実現するときの情報端末の構成を詳細に示している。

情報端末２００ｂのうち入力部１４２、操作情報送信部１４０、データ受信部１４６、デコード部１４８、表示画像処理部１５０、表示部１４４は、およその機能において図６で示した情報端末２００ａと同様となるため同じ符号を付している。情報端末２００ｂはさらに、動画像などの画像データを格納する画像データ記憶部１５４、ユーザの操作に応じて表示対象の動画データをロードするロード部１５２を備える。

画像データ記憶部１５４はハードディスクドライブで構成する。またはメモリカードなどのリムーバブル記録媒体とその読み出し装置、読み出し専用のＲＯＭディスクとその駆動装置などでもよい。また画像データ記憶部１５４が記憶する画像データ以外に、情報端末２００ｂに備えた図示しないカメラが撮影中の動画像のデータなどでもよい。

画像データ記憶部１５４が記憶する画像データは、階層データでもよいし１つの解像度のみからなる動画や静止画のデータでもよい。階層データとすると、表示処理代行システム１００において階層データを生成したのと同様の理由で、デコード部１４８や内部バスなどのリソース消費の変動を抑えることができる。ロード部１５２は、ユーザの操作によって決定される表示対象の動画に、画像データ記憶部１５４に格納した画像データが含まれているか否かを確認し、含まれている場合は当該データを読み出してデコード部１４８に供給する。画像データが階層データである場合は、ロード部が表示解像度を算出し、ロードすべき階層を選択する。

この態様では、画像データ記憶部１５４に格納すべき画像と、外部から取得すべき画像とを、画像の種類によって決定しておき、ユーザの操作内容によってどちらの画像を表示するかを決定してもよい。例えば選択肢が膨大な画像や更新されやすい画像は外部から取得し、選択肢が限定的な画像や状況変化の少ない画像は画像データ記憶部１５４に格納しておく。ショッピングカタログの画像を例にとると、商品のカテゴリを選択するための画像は更新頻度が低いため、そのデータを画像データ記憶部１５４に格納しておく。一方具体的な商品やその情報、関連商品の画像などは常に最新のものとする必要があり選択肢も多いため、表示の都度、外部から取得する。

操作情報送信部１４０は、あらかじめ設定した規則に従い、外部から取得する動画データを表示処理代行システム１００から取得するか、画像提供サーバ１０ａから直接取得するか、を動画ごとに決定する。画像提供サーバ１０ａから直接取得する動画データは、縮小表示するには過分な情報が含まれている。したがって縮小の度合いが大きいほど、データ転送やデコード処理に無駄が発生することになる。

この点を踏まえ、表示解像度が下がるほど画像提供サーバ１０ａから直接取得する動画データを減らすようにしてもよい。あるいは転送帯域の空き状況をリアルタイムで確認し、状況悪化に応じて直接取得する動画データを減らすようにしてもよい。操作情報送信部１４０は、表示処理代行システム１００にはユーザが行った操作内容の情報を、画像提供サーバ１０ａには、直接取得すると決定した動画を指定する情報を送信し、画像データの送信を要求する。

このような場合、表示処理代行システム１００は、情報端末２００ｂが他の供給元から取得する動画を表示する領域を空けた状態で表示画面のデータを生成する。当該領域に係る情報は情報端末２００ｂから指定するようにしてもよいし、表示処理代行システム１００と情報端末２００ｂで共有すべき情報としてあらかじめ決定規則などを定めておいてもよい。状況の変化に応じて画像提供サーバ１０ａから取得する動画を変化させる場合についても同様に、情報端末２００ｂから表示処理代行システム１００に通知してもよいし、２者が共有する規則を設定しておいてもよい。データ受信部１４６は表示処理代行システム１００および画像提供サーバ１０ａなどから、要求した画像データを受信する。

デコード部１４８は、データ受信部１４６が受信した外部からの画像データと、ロード部１５２がロードした、内部で保持する画像データをデコードする。表示画像処理部１５０は、例えば表示処理代行システム１００が生成した表示画面を背景として、画像提供サーバ１０ａから送信された画像やロード部１５２がロードした画像をその上に重ね合わせる。このようにすることで表示部１４４には、供給元の異なる動画や静止画を同じ画面に同時に配列させ表示させることができる。なお同時に表示する動画の供給元は、上記した３種類のうちいずれか２種類の組み合わせでよく、表示内容やネットワークの状況などに応じて１〜３種類の中から適宜選択してもよい。

以上のような構成によれば、リソース消費量を一定範囲内に維持したうえで、多数の動画や静止画を一度に表示させることが可能となる。しかし転送帯域の状況や表示処理代行システム１００へ接続している情報端末の数などによっては、処理速度が遅くなる状況が発生し得る。そこで情報端末で同時に表示させている画像の数などに応じて、表示処理代行システム１００の処理内容を調整して、全体的なリソース消費を抑え、状況によらずコマ落ちなどの不具合が発生しにくくなるようにしてもよい。

例えば同時に表示する動画の数がしきい値以上、あるいは表示解像度がしきい値以下であるとき、画面の中心または、カーソルが位置する動画などユーザが選択対象としている動画から所定の範囲外にある動画のフレームを所定の割合で間引いてコマ送り再生としてもよい。このとき、距離が離れるほど、間引くフレーム数を増加させてもよい。この場合、表示対象決定部１２４が、各動画のフレーム間引き量を動画の配置に基づき決定する。そしてデータ取得部１２８は、間引かないフレームのデータを取得する。

デコード部１３０や表示画面生成部１３２も当該間引き量に従い、各動画データのデコード間隔、画面におけるフレームの更新間隔を、動画によって異ならせる。これにより、ユーザが着目している動画は高い時間解像度で、視点から外れるほど低い時間解像度で動画が表示される。同様に、視点から外れるほど画像そのものの解像度を下げてもよい。このようにしても、複数の動画をざっと確認するという目的に対し大きな支障を生じさせず、リソース消費量を節約することができる。動画のストリームを順次処理する形態でなく、データ取得部１２８が全フレームのデータを取得済みの動画の場合は、フレームレートを変化させずにフレームを間引くことにより再生速度を上げてもよい。

また表示する動画の数によって、全動画の再生速度を変化させてもよい。例えば同時に表示する動画の数がしきい値以上、あるいは表示解像度がしきい値以下であるときは、再生を早送りにして動画全編を早く確認できるようにする。動画の数がしきい値未満であり、動画の元の解像度と同程度の表示解像度の場合は通常の再生速度とし、さらに拡大した画像を表示するときは再生速度を通常より遅くしてもよい。

同時に表示する動画の数は、個々の動画に対するユーザの注目度合いを表していると考えられる。したがって同時に表示する動画の数が多く、ユーザが全体を俯瞰したいと考えていると推測できるときは、時間方向にも俯瞰しやすくする。一方、拡大しているときは、当該動画を詳細に確認したいと考えていると推測できるため、スロー再生によりさらに確認しやすくする。このような再生速度の調整は、表示画面生成部１３２が行う画面生成処理とデータ送信部１３４が行う情報端末２００ａへのデータ送信処理の処理レートを変化させることによって実現できる。

さらに表示する動画の数によって、動画の内容そのものを変化させてもよい。例えば表示処理代行システム１００の階層データ生成装置１０２において、画像提供サーバ１０ａから映画の本編とプロモーション用の動画とを取得する。そして階層データ生成部１１２は、高解像度の階層は本編の動画のフレームで、低解像度の階層はプロモーション用の動画のフレームを縮小した画像で、階層データを生成する。この場合、映画の本編の初期のフレームに対する階層データのみそのようにしてもよいし、低解像度の階層はプロモーション用の動画を繰り返すようにしてもよい。

このような階層データであっても、画像表示処理自体は上述したのと同様でよい。このようにすると、動画をサムネイル表示しているときはプロモーション用の動画が再生され、ある動画を拡大していくと本編が表示されるような表示態様を実現できる。この態様は映画とプロモーション用の動画に限らず、１つの動画とそれに対応して作成された簡易的な内容の動画であれば同様に実現できる。

以上述べた本実施の形態によれば、入力された静止画や動画のデータをデコード前のいずれかのタイミングで元の画像を複数の解像度で表した階層データへ変換する。そして、表示に求められる解像度に応じてデコード対象の階層を切り替える。これにより、静止画、動画によらず、１つの画像を表示している状態から、多数の画像を同時に表示させている状態へ変化させても、処理対象のデータのサイズ変動を抑えられる。結果としてデコードのための処理リソースやデコードまでのデータ転送帯域の消費が定常的となる。

複数の情報端末からの要求を受け付け、画像データ取得やデコード処理を行って表示画面を代行して生成する表示処理代行システムのように、複数のユーザの意向によって表示対象の動画数が大きく変動するシステムにおいて、上記効果はより顕著に表れる。また本実施の形態では、同時に表示する動画の数から、ユーザの各動画に対する注目度を推測し、それに応じてフレームを間引いたり再生速度を変化させたりする。これによりユーザの動画表示の目的に適う範囲でリソース消費を抑えることができる。結果として、転送帯域の空きや各ユーザの操作状況などが変化しても、表示速度が遅延する可能性が低くなり、多数の画像を同時に応答性よく表示できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では主に、階層データ生成装置を表示処理代行システム１００に備えた場合について説明した。表示処理代行システム１００では複数の情報端末の要求を受け付けるため、同じ動画の階層データが以前に生成されている可能性が高く、階層データ生成装置における階層データ生成のためのデコード処理が分散されやすい。結果として表示画像処理装置１２０ａのデコード処理において、デコード対象の階層を切り替えることによるリソース消費量定常化の効果が出やすい。

一方、表示処理代行システム１００を導入しない環境において、階層データ生成装置を情報端末に備えるようにしてもよい。この場合、例えば階層データ生成装置が行う階層データ生成処理を異なる時間に分散して行うようにすれば、画像表示の段階では本実施の形態と同様に、同時に表示する画像の数によらずリソース消費量をほぼ一定に保つことができ、表示速度の遅延などの状況発生を抑えることができる。このとき情報端末は、図２で示した階層データ生成装置１２、デコーダ１４、表示装置１６を含む構成となる。画面の変化や処理内容の調整は、本実施の形態と同様に実現できる。

５ 画像処理システム、 １０ａ 画像提供サーバ、 １００ 表示処理代行システム、 １０２ 階層データ生成装置、 １０６ 画像データ取得部、 １０８ データ送信部、 １１０ デコード部、 １１２ 階層データ生成部、 １１４ エンコード部、 １１６ メモリ、 １２０ａ 表示画像処理装置、 １２２ 操作情報受信部、 １２４ 表示対象決定部、 １２６ 解像度決定部、 １２８ データ取得部、 １３０ デコード部、 １３２ 表示画面生成部、 １３４ データ送信部、 １４０ 操作情報送信部、 １４２ 入力部、 １４４ 表示部、 １４６ データ受信部、 １４８ デコード部、 １５０ 表示画像処理部、 １５２ ロード部、 １５４ 画像データ記憶部、 ２００ａ 情報端末、 ２００ｂ 情報端末。

Claims (14)

1. ユーザの操作により動画像表示を行う情報端末と、前記情報端末とネットワークを介して接続し、当該情報端末へ動画像の表示画面のデータを送信するサーバと、を備えた画像表示システムであって、
   前記情報端末は、
   前記表示画面に同時に表示する動画像の数を変化させる操作入力を受け付け、当該操作入力に係る情報を前記サーバへ送信する操作情報送信部と、
   前記操作入力に応じて前記サーバから送信された、前記表示画面のデータを用いて表示を行う表示画像処理部と、を備え、
   前記サーバは、
   表示対象の動画像の各フレームを異なる解像度で表し解像度順に階層化してなる動画像の階層データを生成する階層データ生成装置と、
   前記情報端末から送信された操作入力に係る情報に含まれる、同時に表示する動画像の数によって定まる当該動画像の表示解像度の変化に応じて、前記階層データのうち処理対象の階層を切り替えてデコードするデコード部と、
   デコードした、同時に表示する動画像を含む前記表示画面のデータをフレームごとに生成する表示画面生成部と、
   前記フレームごとの表示画面のデータを前記情報端末へ順次送信するデータ送信部と、
   を備える表示画像処理装置と、
   を備えたことを特徴とする画像処理システム。
2. 前記階層データ生成装置は、複数の情報端末において表示対象となった画像の階層データ生成処理を集中的に行い、
   前記サーバが備えた複数の前記表示画像処理装置へ、各表示画像処理装置における前記デコード部がデコード対象とする階層のデータを送信することを特徴とする請求項１に記載の画像処理システム。
3. 前記表示画面生成部は、表示対象の動画の表示解像度が所定のしきい値以下であるとき、前記表示画面のデータの生成レートを変化させずに生成する対象のフレームを所定の割合で間引くことにより、前記動画の再生速度を増加させることを特徴とする請求項１に記載の画像処理システム。
4. 前記表示画面生成部は、同時に表示する動画の数が増加することにより表示解像度が所定のしきい値以下となったとき、画面の中心またはユーザが選択対象としている動画から所定の範囲外にある動画のフレームを所定の割合で間引いて、前記表示画面のデータを生成することを特徴とする請求項１に記載の画像処理システム。
5. 前記階層データ生成装置は、動画の各フレームを元の解像度で表した画像の階層と、当該動画に対応して作成された別の動画を前記解像度より小さい解像度で表した画像の階層と、を含む階層データを生成することを特徴とする請求項１から４のいずれかに記載の画像処理システム。
6. 前記情報端末は、画像提供サーバからネットワークを介して画像データを受信するデータ受信部をさらに備え、
   前記情報端末の前記表示画像処理部は、前記サーバからデータ送信された前記表示画面に、前記画像提供サーバから受信した画像データをデコードしてなる画像を含めた表示画面を最終的な表示画面として表示することを特徴とする請求項１から５のいずれかに記載の画像処理システム。
7. 前記表示画像処理部は、前記情報端末内の記憶装置に格納された画像データをデコードしてなる画像を、さらに前記表示画面に含めることを特徴とする請求項６に記載の画像処理システム。
8. 前記情報端末は、画像データの転送帯域の空き情報に応じて、表示画面に含まれる画像のデータ供給元を変化させることを特徴とする請求項６または７に記載の画像処理システム。
9. ユーザの操作により動画像表示を行う情報端末と、前記情報端末とネットワークを介して接続し、当該情報端末へ動画像データを送信するサーバと、を備えた画像表示システムであって、
   前記情報端末は、
   表示対象の動画像の大きさを変化させる操作入力を受け付け、当該操作入力に係る情報を前記サーバへ送信する操作情報送信部と、
   前記操作入力に応じて前記サーバから送信された、前記表示対象の動画像の大きさを変化させた表示画面のデータを用いて表示を行う表示画像処理部と、を備え、
   前記サーバは、
   前記表示対象の動画像の各フレームを異なる解像度で表し解像度順に階層化してなる動画像の階層データを生成する階層データ生成装置と、
   前記情報端末から送信された操作入力に係る情報に基づく、前記情報端末における表示対象の動画像の表示解像度の変化に応じて、前記階層データのうち処理対象の階層を切り替えてデコードするデコード部と、
   デコードした前記表示対象の動画像を含む表示画面のデータを前記フレームごとに生成する表示画面生成部と、
   前記フレームごとの前記表示画面のデータを前記情報端末へ順次送信するデータ送信部と、
   を備える表示画像処理装置と、
   を備え、
   前記表示画面生成部は、同時に表示する動画の数が増加することにより表示解像度が所定のしきい値以下となったとき、画面の中心またはユーザが選択対象としている動画から所定の範囲外にある動画のフレームを所定の割合で間引いて、前記表示画面のデータを生成することを特徴とする画像処理システム。
10. ネットワークを介して接続した情報端末から、表示画面に同時に表示する動画像の数を変化させる操作入力に係る情報を受け付ける操作情報受信部と、
    表示対象の動画像の各フレームを異なる解像度で表し解像度順に階層化してなる動画像の階層データを生成する階層データ生成部と、
    前記操作入力に係る情報に含まれる、同時に表示する動画像の数によって定まる当該動画像の表示解像度の変化に応じて、前記階層データのうち処理対象の階層を切り替えてデコードするデコード部と、
    デコードした、同時に表示する動画像を含む前記表示画面のデータをフレームごとに生成する表示画面生成部と、
    前記同時に表示する動画像を含む表示画面が前記情報端末に表示されるように、前記フレームごとの表示画面のデータを前記情報端末へ順次送信するデータ送信部と、
    を備えたことを特徴とする画像提供サーバ。
11. 動画データの各フレームを異なる解像度で表し解像度順に階層化してなる階層データを生成し記憶装置に格納する階層データ生成部と、
    動画を表示中、同時に表示する動画の数を変化させる操作入力を受け付ける入力部と、
    前記操作入力によって表示対象の動画の表示解像度が変化したとき、前記階層データのうち処理対象の階層を切り替えてデコードするデコード部と、
    デコードした動画を含む表示画面のデータを生成して表示する表示部と、
    を備え、
    前記表示部は、同時に表示する動画の数が増加することにより表示解像度が所定のしきい値以下となったとき、画面の中心またはユーザが選択対象としている動画から所定の範囲外にある動画のフレームを所定の割合で間引いて、前記表示画面のデータを生成することを特徴とする情報処理装置。
12. ユーザの操作により動画像表示を行う情報端末と、前記情報端末とネットワークを介して接続し、当該情報端末へ動画像の表示画面のデータを送信するサーバと、が実施する画像処理方法であって、
    前記情報端末において前記表示画面に同時に表示する動画像の数を変化させる操作入力を受け付け前記サーバに送信するステップと、
    前記サーバにおいて、
    表示対象の動画像の各フレームを異なる解像度で表し解像度順に階層化してなる動画像の階層データを生成するステップと、
    前記情報端末から送信された操作入力に係る情報に含まれる、同時に表示する動画像の数によって定まる当該動画像の表示解像度の変化に応じて、前記階層データのうち処理対象の階層を切り替えてデコードするステップと、
    デコードした、同時に表示する動画像を含む前記表示画面のデータをフレームごとに生成するステップと、
    前記フレームごとの表示画面のデータを前記情報端末へ順次送信するステップと、
    前記情報端末において、前記操作入力に応じて前記サーバから送信された、前記表示画面のデータを用いて表示を行うステップと、
    を含むことを特徴とする画像処理方法。
13. ネットワークを介して接続した情報端末から、表示画面に同時に表示する動画像の数を変化させる操作入力に係る情報を受け付ける機能と、
    表示対象の動画像の各フレームを異なる解像度で表し解像度順に階層化してなる動画像の階層データを生成する機能と、
    前記操作入力に係る情報に含まれる、同時に表示する動画像の数によって定まる当該動画像の表示解像度の変化に応じて、前記階層データのうち処理対象の階層を切り替えてデコードする機能と、
    デコードした、同時に表示する動画像を含む前記表示画面のデータをフレームごとに生成する機能と、
    前記同時に表示する動画像を含む表示画面が前記情報端末に表示されるように、前記フレームごとの表示画面のデータを前記情報端末へ順次送信する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
14. ネットワークを介して接続した情報端末から、表示画面に同時に表示する動画像の数を変化させる操作入力に係る情報を受け付ける機能と、
    表示対象の動画像の各フレームを異なる解像度で表し解像度順に階層化してなる動画像の階層データを生成する機能と、
    前記操作入力に係る情報に含まれる、同時に表示する動画像の数によって定まる当該動画像の表示解像度の変化に応じて、前記階層データのうち処理対象の階層を切り替えてデコードする機能と、
    デコードした、同時に表示する動画像を含む前記表示画面のデータをフレームごとに生成する機能と、
    前記同時に表示する動画像を含む表示画面が前記情報端末に表示されるように、前記フレームごとの表示画面のデータを前記情報端末へ順次送信する機能と、
    をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とする記録媒体。

Images