JP2014039219A

JP2014039219A - 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法

Info

Publication number: JP2014039219A
Application number: JP2012181714A
Authority: JP
Inventors: Hideaki Kimata; 英明木全; Daisuke Ochi; 大介越智; Yoshinori Kusachi; 良規草地; Akira Kojima; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 2012-08-20
Filing date: 2012-08-20
Publication date: 2014-02-27
Anticipated expiration: 2032-08-20
Also published as: JP5700703B2

Abstract

【課題】表示するべき画像が存在しないために画像の表示ができないという状況を回避する。
【解決手段】２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、領域映像位置情報に対応した領域映像と共通映像とを符号化したＮ個の映像ストリームとを入力し、基準位置に対する出力画像の座標位置と領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出し、読み出した映像ストリームを復号し、ｉ番目の領域映像位置情報に基づき基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定し、決定した画像の切り出し位置に基づき、復号画像のうちの領域映像の一部を切り出し、復号画像のうちの共通映像と、切り出した画像とを合成して出力画像として出力する。
【選択図】図１

Description

本発明は、複数の領域映像から出力画像の映像ストリームを取り出して復号する映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法に関する。

ハイビジョンを超える非常に高い解像度の映像に対して、ハイビジョン解像度のディスプレイで、その一部の領域のみを表示する映像システムが研究されている。このようなシステムによれはユーザが視聴したい領域を指定し、その指定された領域の映像を十分な解像度で視聴することができる。システムを実現するには映像の圧縮伝送方式が重要である。圧縮伝送方式としては、高い解像度の映像を複数のタイル状に分割して、個々のタイル映像を圧縮符号化しておき、映像再生時には一部のタイル映像のストリームを復号して表示する方式が研究されている。例えば、非特許文献１によれば、パノラマ映像を同じ大きさのタイルに分割し、一つのタイルを一つのカメラ映像とみなして圧縮し、それらのストリームを多重化しておき、再生する際にはいくつか複数のタイルを選択して復号し、復号したタイルから構成される映像の一部を切り出して表示する手法が提案されている。

図２０は、従来のタイル構成と出力画像の位置関係の例を示す図である。非特許文献１では、図２０に示すように、９個のタイルを復号して、それらから一つの映像を構成し、その一部を切り出して出力・表示をする例が示されている。この場合に、映像再生装置では、９個のタイル映像を得るために多重化された９個の映像ストリームを復号する必要がある。このタイル数は表示する領域の大きさに依存して変わる特徴がある。最大でデコードするタイル数を予め決めておけば、１個からその最大数までの範囲でダイナミックに変わりうる。このようなダイナミックにデコードするタイル数が変わることにも対応するため、非特許文献１では国際標準方式Ｈ．２６４ＡｎｎｅｘＨ（ＭＶＣ）を用いて多重化された映像ストリームを部分的に復号する仕組みを利用している。一般的にも、複数のタイルを復号する必要があるため、複数のストリームを復号するためのデコード方式が必須である。

このようなストリームを復号して表示をする際には、非特許文献１に記載の通り、複数タイルの一部を切り出して表示をするため、視聴する領域が上下左右に移動しても、復号したタイルの中であれば、表示する映像の端が切れてしまうことはない。またタイルを超える位置になると、別のタイルの復号を開始するため、やはり表示する映像は無くなることはない。以上のような処理により、高い解像度の映像の一部領域をユーザが自由に指定して表示する映像システムを構成することができる。

ここで、このような一部の領域の映像を復号して表示する装置を使うことで、ユーザが見たいところを移動しながら視聴するインタラクティブな視聴が可能となるが、ユーザ操作による視聴領域の移動が大きい場合には、表示する画像がタイルを超えてしまい、画像がない問題が生じる。このため、予め複数の解像度のタイルを用意しておき、低解像度のタイルと高解像度のタイルを同時に復号して、視聴領域の移動が大きい場合には低解像度のタイルの映像を表示することで画像がない問題を解決できる。

一方、画像の透明度情報や奥行き情報は画像の各画素位置で定義できるため、グレースケールの情報として扱うフォーマットが提案されている。すなわち、このフォーマットでは、画像情報として、色信号だけではなく透明度情報や奥行き情報も一緒に扱うことになる。これにより、例えば透明度情報を色信号の加工に利用したり、あるいは色信号と奥行き情報から立体映像を生成することができる（例えば、非特許文献２参照）。奥行き情報と色信号から立体映像を生成する方法としては３Ｄｗａｒｐｉｎｇという手法がある。

図２１は、色信号と奥行き情報から別の視点の映像を生成する手法の例を示す図である。３Ｄｗａｒｐｉｎｇ手法は、図２１に示すように奥行き情報を使うことで別の視点からの色信号を生成する。このような、透明度情報や奥行き情報を色信号とともに持つフォーマットで画像情報を定義したものを、仮に、非特許文献１に示すようなパノラマ映像の画像情報として利用することもできる。透明度情報も持つ場合には、パノラマ映像の一部を切り出して前景とし、別に用意した背景画像と合成することができる。また奥行き情報を持つ場合には、パノラマ映像の一部について立体映像として表示をすることができる。あるいは、そこから３次元的に少し視点を変えた映像を表示することができる。

Hideaki Kimata, Shinya Shimizu, Yutaka Kunita, Megumi Isogai, and Yoshimitsu Ohtani:「Panorama video coding for user-driven interactive video application」,IEEE International Symposium on Consumer Electronics (ISCE) 2009, 2009 木全英明：「３次元映像に関する標準化の動向−立体映像と多視点映像のＭＰＥＧ標準化−」，高臨場感ディスプレイフォーラム２００７，２００７

複数のタイルに分割して多重化された映像ストリームに対して、復号するタイル数がダイナミックに変化して復号する方式は、非特許文献１にも記載されているとおり、汎用計算機上でソフトウェアを使って実装することができる。

しかしながら、演算処理能力が低い計算機では必要なタイル数のストリームを復号できない問題や、専用ハードウェアではタイル数がダイナミックに変化するような場合には対象となる全てのタイルを復号することができないという問題が発生する。例えば、９個のタイルで一つの映像を構成するストリームに対して、一つの映像ストリームを復号する専用ハードウェアを備えた装置の場合には、９個のうちの１個の映像ストリームのみを復号するため、その他のタイルに属する視聴領域の映像を得ることができないという問題が発生する。さらに、ユーザの操作による視聴領域の移動が大きい場合に画像が存在しない問題を解決する方法として、低解像度の映像と高解像度の映像を同時に復号する方法があるが、ハードウェア実装上１つの映像ストリームしか復号できない場合には、低解像度の映像を復号することができず、画像が存在しないという問題が解決しない。

本発明は、このような事情に鑑みてなされたもので、映像の一部の領域のみを視聴する際に、ユーザの操作による視聴領域の移動が大きい場合に表示するべき画像が存在しないために画像の表示ができないという状況を回避することができる映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法を提供することを目的とする。

本発明は、２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＮ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号装置であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部とを備えることを特徴とする。

この発明によれば、映像に対してＮ個の領域映像を設定して、それらと領域映像の位置に依存しない共通映像から構成される映像のストリームを用意しておき、復号する際には、表示画素数が最も多くなるように映像ストリームを選んでから復号することができる。そして領域映像の位置に合わせて画像を切り出すことができる。そして領域映像の位置に依存しない共通映像と、切り出して得られた切り出し映像を合成して出力画像を得ることができる。このような合成した結果を出力画像に設定することで、視聴者が映像を視聴中に視聴位置を変化した場合に、領域映像の外側に超えた場合に共通映像として用意した映像を表示することが可能となる。

ここで、映像に対する領域映像の位置は、図４のように領域映像間で重なりがあるように設定してもよい。このように重なりがあるようにしておくと、指定された出力画像の位置に対して、より多くの画素が含まれるような領域映像のストリームを選ぶことができる。また共通映像は領域映像の位置に依存しない任意の映像を利用してもよい。ここで図２のように領域映像の元となる映像を縮小した映像を共通映像に設定してもよい。この場合には、出力画像として領域映像と共通映像を合成する際に、共通映像を拡大し、領域映像を領域映像位置に重畳する。これにより領域映像のところは高い解像度となるような映像を合成することができる。また共通映像として領域映像の元映像の被写体の内容の合わせた色の映像に設定してもよい。例えば領域映像の元の映像がコンサート会場のような暗いシーンであれば黒色の映像、サッカースタジアムであれば緑色などに設定してもよい。
領域映像と共通映像の合成の方法であるが、共通映像が領域映像の元となる映像を縮小した映像の場合で、共通映像を拡大する際には領域映像の情報を使って超解像処理を行ってもよい。

ここで領域映像と共通映像とから構成される映像の形式としては、空間的に両者を配置する場合と時間的に配置する場合とがある。空間的な配置の例としては図３のように領域映像と共通映像を上下に並べる場合と左右に並べる場合があげられる。また時間的に配置する場合には図１９のように連続したフレームの形で構成する場合があげられる。なお時間的に配置する際に各フレームの解像度は同一である必要はなく、領域映像と共通映像で異なっていてもよい。また符号化時のフレーム間予測符号化をする際には領域映像のフレームは直前の領域映像のフレームを参照し、共通映像は直前の共通映像のフレームを参照する構成にしてもよい。

本発明は、２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号装置であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像情報のストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中の前記ＩＤ情報から前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部とを備えることを特徴とする。

この発明によれば、領域映像のストリームが多重化された形になっている場合に、領域映像のストリームを区別するＩＤ情報を使って、多重化された符号化データから所望の領域映像ストリームを指定して、取り出すことができる。これにより多重化されたストリームに対しても、出力画像の画素数が最も多くなるように領域映像を選んで復号することができる。

本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記領域映像と共通映像とを符号化したＮ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記送信された映像ストリームを受信するストリーム受信部と、前記受信した映像ストリームを読み出す読み出し部と、前記読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

この発明によれば、映像ストリームを送信する送信装置と、受信する受信装置があり、受信装置側で次に出力したい画像の画素数が最も多くなるように、送信装置にストリームの要求をすることができる。これにより全ての領域映像を受信することなく、送信装置に必要な領域映像のストリームのみを要求することで、送信装置と受信装置の間の伝送量を減らすことができる。

本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｎ）の前記符号化データを抽出して送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記符号化データを受信するストリーム受信部と、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

この発明によれば、送信装置から複数の領域映像ストリームを受信しておき、受信装置で出力画像の画素数が最も多くなるように領域映像を選んで復号できる。さらに、受信装置側で、次に出力したい画像の画素数が最も多くなるように、送信装置に複数のストリームの要求をすることができる。これにより受信装置で、次の出力画像の位置を設定した時と、それに対する領域映像のストリームを受信した時の間に、通信遅延などの影響で時間の差があり、その間に出力画像の位置が変化した場合に、指定された出力画像の画素数が最も多くなるように複数の領域映像から選んで復号することができる。

本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記元映像の一部であるｉ番目（１≦ｉ≦Ｎ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記映像ストリームを受信するストリーム受信部と、前記受信した映像ストリームを読み出す読み出し部と、前記読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

この発明によれば、送信装置側で領域映像ストリームを符号化した後に送信することができる。これにより、予め送信装置側で領域映像ストリームの符号化データを用意する必要はなく、受信側で必要な領域映像に対してのみ符号化して送信することができる。

本発明は、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、前記元映像の一部であるＭ個（Ｍ≦Ｎ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記符号化データを受信するストリーム受信部と、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＬ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号装置であって、前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記ｉ番目の映像ストリームを読み出す読み出し部と、前記読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部とを備えることを特徴とする。

この発明によれば、例えば大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより出力画像の解像度も選択することが可能となる。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号装置であって、前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中の前記ＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部とを備えることを特徴とする。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における領域映像と共通映像とを符号化したＫ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｋ）の映像ストリームを送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記送信された映像ストリームを受信するストリーム受信部と、前記受信した映像ストリームを読み出す読み出し部と、前記読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、前記次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像を切り出す面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｄ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

この発明によれば、送信装置側で、例えば大きく離れた空間位置について、複数の元映像を設定し、それに領域映像を設定することで、受信装置において、出力画像の空間的な位置に対応した元映像を選んだ上で領域映像を選んで復号することができる。あるいは、送信装置側で、元映像として複数の解像度の映像を用意しておき、それらに対して領域映像を設定することで、受信装置において、出力画像の解像度に対応した領域映像を選んで復号することができる。これにより出力画像の解像度も選択することが可能となる。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｋ）の前記符号化データを抽出して送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記符号化データを受信するストリーム受信部と、出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

この発明によれば、送信装置から複数の領域映像ストリームを受信しておき、受信装置で出力画像の画素数が最も多くなるように領域映像を選んで復号できる。このとき異なる面の映像の領域映像のストリームを受信することもできる。この場合には、出力画像を切り出す位置に近い面の領域映像を選んで復号することができる。例えば、このとき異なる解像度の映像の領域映像のストリームを受信することもできる。この場合には、出力画像の解像度を選びつつ、領域映像を選んで復号することができる。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるｉ番目（１≦ｉ≦Ｋ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記映像ストリームを受信するストリーム受信部と、前記受信した映像ストリームを読み出す読み出し部と、前記読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｍ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるＭ個（Ｍ≦Ｋ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信部とを備える映像送信装置と、前記領域映像位置情報を受信する領域映像位置情報受信部と、前記映像ストリームを受信するストリーム受信部と、出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、前記次の出力画像の座標位置を指定する出力画像座標指定部と、前記出力画像面指定部で指定した面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置とを具備することを特徴とする。

本発明は、２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＮ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号方法であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップとを備えることを特徴とする。

本発明は、２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号方法であって、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像情報のストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中の前記ＩＤ情報から前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップとを備えることを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記領域映像と共通映像とを符号化したＮ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記送信された映像ストリームを受信するストリーム受信ステップと、前記受信した映像ストリームを読み出す読み出しステップと、前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｎ）の前記符号化データを抽出して送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記符号化データを受信するストリーム受信ステップと、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記元映像の一部であるｉ番目（１≦ｉ≦Ｎ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像ストリームを受信するストリーム受信ステップと、前記受信した映像ストリームを読み出す読み出しステップと、前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、前記元映像の一部であるＭ個（Ｍ≦Ｎ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記符号化データを受信するストリーム受信ステップと、前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＬ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号方法であって、前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記ｉ番目の映像ストリームを読み出す読み出しステップと、前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップとを備えることを特徴とする。

本発明は、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号方法であって、前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中の前記ＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップとを備えることを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における領域映像と共通映像とを符号化したＫ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｋ）の映像ストリームを送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記送信された映像ストリームを受信するストリーム受信ステップと、前記受信した映像ストリームを読み出す読み出しステップと、前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記出力画像を切り出す面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｄ）の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｋ）の前記符号化データを抽出して送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記符号化データを受信するストリーム受信ステップと、出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記出力画像面指定ステップで指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるｉ番目（１≦ｉ≦Ｋ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像ストリームを受信するストリーム受信ステップと、前記受信した映像ストリームを読み出す読み出しステップと、前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記出力画像面指定ステップで指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｍ）の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明は、映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるＭ個（Ｍ≦Ｋ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信ステップと、前記領域映像位置情報を受信する領域映像位置情報受信ステップと、前記映像ストリームを受信するストリーム受信ステップと、出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、前記出力画像面指定ステップで指定した面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップとを有することを特徴とする。

本発明によれば、映像の一部の領域のみを視聴する際に、ユーザが指定した出力画像の位置に対して表示する画素数が最も多くなるように、映像ストリームを切り出すことができ、ユーザの操作による視聴領域の移動が大きい場合に表示するべき画像が存在しないために画像の表示ができないという状況を回避することができるという効果が得られる。

本発明の第１の実施形態における映像復号装置の構成を示すブロック図である。共通映像と領域画像との関係を示す説明図である。共通映像と領域画像の空間的な配置関係を示す説明図である。領域映像と出力画像の位置関係を示す説明図である。多重化された符号化データの形式を示す説明図である。本発明の第２の実施形態における映像復号装置の構成を示すブロック図である。本発明の第３の実施形態おける映像送受信システムを構成する映像送信装置の構成を示すブロック図である。本発明の第３の実施形態おける映像送受信システムを構成する映像受信装置の構成を示すブロック図である。図７に示す映像送信装置の変形例の構成を示すブロック図である。本発明の第４の実施形態における映像送信装置の構成を示すブロック図である。本発明の第４の実施形態における映像受信装置の構成を示すブロック図である。本発明の第５の実施形態による映像復号装置の構成を示すブロック図である。領域映像と出力画像の位置関係を示す説明図である。多重化された符号化データの形式を示す説明図である。本発明の第６の実施形態による映像復号装置の構成を示すブロック図である。本発明の第７の実施形態による映像送信装置の構成を示すブロック図である。本発明の第７の実施形態による映像受信装置の構成を示すブロック図である。本発明の第８の実施形態による映像受信装置の構成を示すブロック図である。共通映像と領域映像の時間的な配置例を示す説明図である。従来のタイル構成と出力画像の位置関係の例を示す図である。色信号と奥行き情報から別の視点の映像を生成する手法の例を示す図である。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による映像復号装置を説明する。第１の実施形態は、２次元面に対して３個の領域映像のストリーム（Ａ、Ｂ、Ｃ）で構成される映像情報の符号化データのうち１個のストリームを復号して画像情報を得る映像復号装置である。図１は同実施形態における映像復号装置の構成を示すブロック図である。映像復号装置は、３個の領域映像ストリームＡ、Ｂ、Ｃのうち、１個の領域映像ストリームを選択する領域映像ストリーム選択部１００と、ストリームを読み出す読み出し部１０１と、３個のうちの１個のストリームを読み出すことを決定する読み出し決定部１０２と、読み出したストリームを復号する復号部１０３と、復号画像から一部を切り出す画像切り出し部１０４と、切り出し位置を決定する切り出し位置決定部１０５と、領域映像と共通映像から出力画像を合成する出力画像合成部１０７を備えている。

図２は、共通映像と領域画像との関係を示す説明図である。共通映像は図２のように領域映像の元の映像を縮小した映像である。図３は、共通映像と領域画像の空間的な配置関係を示す説明図である。図２に示す領域映像Ａ、Ｂ、Ｃそれぞれと共通映像は図３（ａ）のように空間的に上下に配置しているものとする。図４は、領域映像と出力画像の位置関係を示す説明図である。面上における３個の領域映像Ａ、Ｂ、Ｃの位置および出力画像の位置関係は図４に示す位置であるものとする。また３個の映像ストリームＡ、Ｂ、Ｃおよび領域映像位置情報は予め映像復号装置に与えられているものとする。

次に、図１を参照して、図１に示す映像復号装置が、領域映像を復号して出力画像を得る動作を説明する。まずユーザによって出力画像の位置が設定されると、読み出し決定部１０２は、２次元面上の出力画像の位置を示す出力画像座標位置と、領域映像の位置を示す領域映像位置情報より、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図４に示す例では、領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂの領域映像ストリームＢと決定する。そして、読み出し部１０１は、領域映像ストリーム選択部１００を介して領域映像ストリームＢを読み出し、復号部１０３は読み出したストリームを復号して復号画像を出力する。

次に、切り出し位置決定部１０５は、領域映像Ｂの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は、復号画像から切り出し位置決定部１０５が決定した画像を切り出して出力する。出力画像合成部１０７は復号部１０３が出力する復号画像から共通映像を取り出し、この共通映像と画像切り出し部１０４が出力する切り出し画像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

＜第２の実施形態＞
次に、本発明の第２の実施形態による映像復号装置を説明する。第２の実施形態の映像復号装置は、２次元面に対して３個の領域映像のストリーム（Ａ、Ｂ、Ｃ）がストリームを識別するストリームＩＤと多重化された符号化データから、特定の領域映像のストリームを読み出して画像情報を得るものである。図５は、多重化された符号化データの形式を示す説明図である。各領域映像のストリームは適当なところで複数に分割されており、その各分割されたストリームに対して、先頭にスタートコード情報およびストリームＩＤ情報を付与して多重化されている。スタートコード情報は固有の符号化列を持つ符号語であり、ストリームに対して符号語の探索をすることで位置が判定できる。

図６は、本発明の第２の実施形態における映像復号装置の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を簡単に行う。図６に示す映像復号装置は、多重化された符号化データから特定の領域映像のストリームを探索して読み出す探索読み出し部１０６と、読み出す領域映像を決定する読み出し決定部１０２と、ストリームを復号する復号部１０３と、復号画像から一部を切り出す画像切り出し部１０４と、切り出し位置を決定する切り出し位置決定部１０５と、領域映像と共通映像から出力画像を合成する出力画像合成部１０７とを備える。

共通映像は図２のように領域映像の元の映像を縮小した映像とする。また領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとする。面上における３個の領域映像の位置および出力画像の位置は図４と同様な位置であるものとする。また符号化データおよび領域映像位置情報は予め映像復号装置に与えられているものとする。

次に、図６を参照して、図６に示す映像復号装置が領域映像を復号して出力画像を得る動作を説明する。まず、ユーザが出力画像の位置を設定すると、読み出し決定部１０２は、２次元面上の出力画像の位置を示す出力画像座標位置と、領域映像の位置を示す領域映像位置情報より、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図４の場合には、領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂのものと決定する。そして、探索読み出し部１０６は符号化データの中からスタートコード情報を探索し、続くストリームＩＤ情報を読み込むことで、領域映像Ｂのストリームの位置を判定し、領域映像Ｂのストリームを読み出す。

次に、復号部１０３はストリームを復号して復号画像を得る。切り出し位置決定部１０５は、領域映像Ｂの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は復号画像から画像を切り出す。出力画像合成部１０７は復号画像から共通映像を取り出し、取り出した共通映像と画像切り出し部１０４が出力する画像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

＜第３の実施形態＞
次に、本発明の第３の実施形態による映像送受信システムを説明する。第３の実施形態は、映像送信装置で、２次元面に対して３個（Ａ、Ｂ、Ｃ）の領域映像のストリームで構成される映像情報の符号化データのうち、映像受信装置から要求された１個のストリームを送信し、映像受信装置でストリームを復号して画像情報を得るシステムである。図７は、本発明の第３の実施形態おける映像送受信システムを構成する映像送信装置の構成を示すブロック図である。図８は、本発明の第３の実施形態おける映像送受信システムを構成する映像受信装置の構成を示すブロック図である。

図７に示す映像送信装置は、３個のうちの１個のストリームを選択する領域映像ストリーム選択部２００と、選択された領域映像ストリームを送信するストリーム送信部２０１と、領域映像位置情報を送信する領域映像位置情報送信部２０２とを備える。図８に示す映像受信装置は、領域映像位置情報を受信する領域映像位置情報受信部３０１と、ストリームを受信するストリーム受信部３０２と、受信したストリームを読み出す読み出し部３０３と、ストリームを復号する復号部３０４と、復号画像から一部を切り出す画像切り出し部３０５と、切り出し位置を決定する切り出し位置決定部３０６と、領域映像と共通映像とを合成して出力画像を出力する出力画像合成部３０７と、次の出力画像の座標位置を指定する出力画像座標指定部３０８と、領域映像位置情報と次の出力画像の座標位置から要求する領域映像を決定する送信要求決定部３０９と、領域映像を要求する送信要求部３１０とを備える。

共通映像は図２に示すように領域映像の元の映像を縮小した映像とする。また領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとする。面上における３個の領域映像の位置および出力画像の位置および次の出力画像の位置は図４と同様な位置であるものとする。また映像送信装置では３個の映像ストリームおよび領域映像位置情報は予め与えられているものとする。また領域映像を区別する情報として領域映像ＩＤ（Ａ、Ｂ、Ｃのいずれか）があり、映像受信装置の送信要求部３１０では領域映像ＩＤを送信し、映像送信装置のストリーム送信部２０１は領域映像ＩＤを受信するものとする。また映像送信装置のストリーム送信部２０１は、映像受信装置からの要求がきていない場合には、領域映像Ａのストリームを送信するものとする。

次に、図７、図８を参照して、映像送信装置と映像受信装置が領域映像のストリームを送受信して領域映像を復号して出力画像を得る動作を説明する。まず、映像送信装置の領域映像位置情報送信部２０２は領域映像位置情報を送信する。これを受けて、映像受信装置の領域映像位置情報受信部３０１は領域映像位置情報を受信する。続いて、映像送信装置のストリーム送信部２０１は映像受信装置からの要求がきていないので、領域映像ストリーム選択部２００によって領域映像ストリームＡを選択し、領域映像ストリームＡを送信する。

次に、映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信し、読み出し部３０３が受信したストリームを読み出す。そして、復号部３０４はストリームを復号して復号画像を出力し、切り出し位置決定部３０６は、領域映像Ａの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は、決定された切り出し位置に基づいて復号画像から画像を切り出す。出力画像合成部３０７は復号部３０４が出力する復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５で得られた画像とを合成して出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

次に、出力画像座標指定部３０８は次の出力画像の座標位置を指定する。送信要求決定部３０９は次の出力画像の座標位置から領域映像Ｃを決定する。送信要求部３１０は領域映像Ｃの領域映像ＩＤを送信する。続いて映像送信装置のストリーム送信部２０１は領域映像ＩＤとして領域映像Ｃを受信するので、領域映像ストリームＣを送信する。

次に、映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信し、読み出し部３０３が受信したストリームを読み出し、復号部３０４はストリームを復号して復号画像を出力する。切り出し位置決定部３０６は、領域映像Ｃの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は復号画像から画像を切り出し、出力画像合成部３０７は復号画像から共通映像を取り出し、画像切り出し部３０５で得られた画像と合成し出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。以上の処理動作を出力画像の位置が指定されるたびに繰り返し実行する。

なお、図７に示す映像送信装置は、予め映像ストリームを用意するのではなく、送信する際に領域映像を切り出して符号化し、得られたストリームを送信するようにしてもよい。この場合の映像送信装置の構成を図９に示す。図９は、図７に示す映像送信装置の変形例の構成を示すブロック図である。図９において、ストリーム送信部２０１は、送信する際に元映像２０３を読み出し、領域映像を切りだして符号化し、得られたストリームを送信する。この場合、映像送信装置側で領域映像ストリームを符号化した後に送信することができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態による映像送受信システムを説明する。第４の実施形態は、映像送信装置で、２次元面に対して３個（Ａ、Ｂ、Ｃ）の領域映像のストリームがストリームＩＤと多重化された符号化データから、映像受信装置から要求された複数の領域映像のストリームを送信し、映像受信装置でストリームを復号して画像情報を得るシステムである。図１０は、本発明の第４の実施形態における映像送信装置の構成を示すブロック図である。図１１は、本発明の第４の実施形態における映像受信装置の構成を示すブロック図である。多重化された符号化データの形式は、図５に示す形式と同様である。図１０、図１１において、図７、図８に示す装置と同一の部分には同一の符号を付し、その説明を簡単に行う。

図１０に示す映像送信装置は、多重化された符号化データから特定の領域映像のストリームを探索して送信するストリーム送信部２０１ａと、領域映像位置情報を送信する領域映像位置情報送信部２０２とを備える。

図１１に示す映像受信装置は、領域映像位置情報を受信する領域映像位置情報受信部３０１と、ストリームを受信するストリーム受信部３０２と、読み出すストリームを決定する読み出し決定部３１１と、受信したストリームから読み出し決定部３１１で決定したストリームを探索して読み出す探索読み出し部３１２と、ストリームを復号する復号部３０４と、復号画像から一部を切り出す画像切り出し部３０５と、切り出し位置を決定する切り出し位置決定部３０６と、領域映像と共通映像と合成して出力画像を出力する出力画像合成部３０７と、次の出力画像の座標位置を指定する出力画像座標指定部３０８と、領域映像位置情報と次の出力画像の座標位置から要求する領域映像を決定する送信要求決定部３０９と、領域映像を要求する送信要求部３１０とを備える。

共通映像は図２に示すように領域映像の元の映像を縮小した映像とする。また領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとする。面上における３個の領域映像の位置および出力画像の位置および次の出力画像の位置は図４と同様な位置であるものとする。また映像送信装置では符号化データおよび領域映像位置情報は予め与えられているものとする。また映像送信装置のストリーム送信部２０１ａは、映像受信装置からの要求がきていない場合には、領域映像Ａと領域映像Ｂのストリームを送信するものとする。また映像受信装置の送信要求決定部３０９は、出力画像の画素数が多い２つの領域映像を要求するように決定するものとする。

次に、図１０、図１１を参照して、映像送受信システムが領域映像のストリームを送受信して領域映像を復号して出力画像を得る動作を説明する。まず、映像送信装置の領域映像位置情報送信部２０２は領域映像位置情報を送信する。これを受けて、映像受信装置の領域映像位置情報受信部３０１は領域映像位置情報を受信する。

次に、映像送信装置のストリーム送信部２０１ａは映像受信装置からの要求がきていないため、領域映像Ａと領域映像Ｂのストリームを送信する。映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信する。そして、読み出し決定部３１１は、２次元面上の出力画像の位置と、領域映像の位置情報より、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図４に示す例では、領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂのものと決定する。そして、探索読み出し部３１２は符号化データの中からスタートコード情報を探索し、続くストリームＩＤ情報を読み込むことで、領域映像Ｂのストリームの位置を判定し、領域映像Ｂのストリームを読み出す。

次に、復号部３０４はストリームを復号して復号画像を出力する。切り出し位置決定部３０６は、領域映像Ｂの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は切り出し位置に基づき復号画像から画像を切り出す。出力画像合成部３０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５が出力する画像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

次に、出力画像座標指定部３０８は次の出力画像の座標位置を指定する。送信要求決定部３０９は次の出力画像の座標位置から領域映像Ｂと領域映像Ｃを決定する。送信要求部３１０は領域映像Ｂと領域映像ＣのストリームＩＤを送信する。これを受けて、映像送信装置のストリーム送信部２０１ａは領域映像Ｂと領域映像ＣのストリームＩＤを受信するので、領域映像Ｂと領域映像Ｃのストリームを送信する。

次に、映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信し、読み出し決定部３１１は、出力画像の画素数は領域映像Ｃが最も多くなることから、読み出すストリームは領域映像Ｃのものと決定する。そして、探索読み出し部３１２は符号化データの中からスタートコード情報を探索し、続くストリームＩＤ情報を読み込むことで、領域映像Ｃのストリームの位置を判定し、領域映像Ｃのストリームを読み出す。復号部３０４はストリームを復号して復号画像を出力する。

次に、切り出し位置決定部３０６は、領域映像Ｃの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は切り出し位置に基づき復号画像から画像を切り出す。出力画像合成部３０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５から出力する画像とを合成して出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。以上の処理動作を出力画像の位置が指定されるたびに繰り返し実行する。

また、映像受信装置が領域映像Ｂと領域映像ＣのストリームＩＤを送信して、映像送信装置から対応するストリームを受信するまでの間に、次の出力画像の位置が以前の出力画像と変わらない位置になる場合（従って出力画像の位置が変化しない場合）には、映像受信装置のストリーム受信部３０２が受信したストリームについて、読み出し決定部３１１は、出力画像の画素数は領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂのものと決定し、探索読み出し部３１２は領域映像Ｂのストリームを読み出し、復号部３０４はストリームを復号して復号画像を出力する。

次に、切り出し位置決定部３０６は、領域映像Ｂの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は復号画像から画像を切り出す。出力画像合成部は復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５から出力する画像とを合成して出力画像をする。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

なお、映像送信装置は予め映像ストリームを用意するのではなく、送信する際に領域映像を切りだして符号化し、得られたストリームを送信するようにしてもよい。

＜第５の実施形態＞
次に、本発明の第５の実施形態による映像復号装置を説明する。第５の実施形態の映像復号装置は、解像度Ｐの２次元面に対して３個の領域映像のストリーム（Ａ、Ｂ、Ｃ）と、解像度Ｑの２次元面に対して２個の領域映像のストリーム（Ｄ、Ｅ）で構成される映像情報の符号化データのうち１個のストリームを復号して画像情報を得るものである。図１２は、本発明の第５の実施形態による映像復号装置の構成を示すブロック図である。図１２において、図１に示す装置と同一の部分には同一の符号を付し、その説明を簡単に行う。

図１２に示す映像復号装置は、５個の領域映像ストリームＡ、Ｂ、Ｃ、Ｄ、Ｅのうち、１個の領域映像ストリームを選択する領域映像ストリーム選択部１００ａと、指定された解像度のストリームの中から１個のストリームを読み出すことを決定する読み出し決定部１０２ａと、決定されたストリームを読み出す読み出し部１０１と、ストリームを復号する復号部１０３と、復号画像から一部を切り出す画像切り出し部１０４と、切り出し位置を決定する切り出し位置決定部と１０５と、領域映像と共通映像とを合成して出力画像を出力する出力画像合成部１０７とを備える。

共通映像は図２に示すように領域映像の元の映像を縮小した映像とする。また領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとする。解像度Ｐと解像度Ｑの面上における各領域映像の位置および出力画像の位置は図１３に示す位置と同様な位置とする。図１３は、領域映像と出力画像の位置関係を示す説明図である。出力画像の位置は解像度Ｐの面上で設定されるものとする。またすべての映像ストリームおよび領域映像位置情報は予め映像復号装置に与えられているものとする。

次に、図１２を参照して、図１２に示す映像復号装置が領域映像を復号して出力画像を得る動作を説明する。まず、ユーザが出力画像の解像度Ｐおよび位置を設定すると、読み出し決定部１０２ａは、解像度Ｐの面上の出力画像の位置と、領域映像の位置情報より、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図１３に示す例では、領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂのものと決定する。そして、読み出し部１０１は領域映像ストリーム選択部１００ａを介して領域映像Ｂのストリームを読み出し、復号部１０３はストリームを復号して復号画像を出力する。

次に、切り出し位置決定部１０５は、領域映像Ｂの座標位置および出力画像の座標位置から復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は切り出し位置に基づき復号画像から画像を切り出す。出力画像合成部１０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部１０４から出力する画像とを合成して出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

なお、本実施形態は解像度の異なる二つの面で領域映像を定義したが、空間的な位置が離れた二つの面で領域映像を定義してもよい。この場合の動作も本実施形態と同様な処理動作を行えばよい。

＜第６の実施形態＞
次に、本発明の第６の実施形態による映像復号装置を説明する。第６の実施形態の映像復号装置は、解像度Ｐの２次元面に対して３個の領域映像のストリーム（Ａ、Ｂ、Ｃ）と、解像度Ｑの２次元面に対して２個の領域映像のストリーム（Ｄ、Ｅ）がストリームＩＤと多重化された符号化データから、特定の領域映像のストリームを読み出して画像情報を得るものである。図１４は、多重化された符号化データの形式を示す説明図である。各領域映像のストリームは適当なところで複数に分割されており、その各分割されたストリームに対して、先頭にスタートコード情報およびストリームＩＤ情報を付与して多重化されている。スタートコード情報は固有の符号化列を持つ符号語であり、ストリームに対して符号語の探索をすることで位置が判定できる。

図１５は、本発明の第６の実施形態による映像復号装置の構成を示すブロック図である。図１５において、図６に示す装置と同一の部分には同一の符号を付し、その説明を簡単に行う。図１５に示す映像復号装置は、多重化された符号化データから特定の領域映像のストリームを探索して読み出す探索読み出し部１０６と、読み出す領域映像を決定する読み出し決定部１０２ａと、ストリームを復号する復号部１０３と、復号画像から一部を切り出す画像切り出し部１０４と、切り出し位置を決定する切り出し位置決定部１０５と、領域映像と共通映像とを合成して出力画像を出力する出力画像合成部とを備える。

共通映像は図２に示すように領域映像の元の映像を縮小した映像とする。また領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとする。解像度Ｐと解像度Ｑの面上における各領域映像の位置および出力画像の位置は図１３に示す位置と同様な位置とする。出力画像の位置は解像度Ｐの面上で設定されるものとする。またすべての映像ストリームおよび領域映像位置情報は予め映像復号装置に与えられているものとする。

次に、図１５を参照して、図１５に示す映像復号装置が領域映像を復号して出力画像を得る動作を説明する。まず、ユーザが出力画像の解像度Ｐおよび位置を設定すると、読み出し決定部１０２ａは、解像度Ｐの面上の出力画像の位置と、領域映像の位置情報より、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図１３に示す例では、領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂのものと決定する。そして、探索読み出し部１０６は符号化データの中からスタートコード情報を探索し、続くストリームＩＤ情報を読み込むことで、領域映像Ｂのストリームの位置を判定し、領域映像Ｂのストリームを読み出す。復号部１０３は読み出したストリームを復号して復号画像を出力する。

次に、切り出し位置決定部１０５は、領域映像Ｂの座標位置および出力画像の座標位置に基づき復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は復号画像から画像を切り出す。出力画像合成部１０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部１０４から出力する画像とを合成して出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

＜第７の実施形態＞
次に、本発明の第７の実施形態による映像送受信システムを説明する。第７の実施形態は、映像送信装置で、解像度Ｐの２次元面に対して３個の領域映像のストリーム（Ａ、Ｂ、Ｃ）と、解像度Ｑの２次元面に対して２個の領域映像のストリーム（Ｄ、Ｅ）で構成される映像情報の符号化データのうち、映像受信装置から要求された１個のストリームを送信し、映像受信装置でストリームを復号して画像情報を得る。図１６は、本発明の第７の実施形態による映像送信装置の構成を示すブロック図である。図１７は、本発明の第７の実施形態による映像受信装置の構成を示すブロック図である。図１６、図１７において、図７、図８に示す装置と同一の部分には同一の符号を付し、その説明を簡単に行う。

図１６に示す映像送信装置は、５個の領域映像ストリームＡ、Ｂ、Ｃ、Ｄ、Ｅのうち、１個の領域映像ストリームを選択する領域映像ストリーム選択部２００ａと、要求された１個のストリームを送信するストリーム送信部２０１と、領域映像位置情報を送信する領域映像位置情報送信部２０２とを備える。

図１７に示す映像受信装置は、領域映像位置情報を受信する領域映像位置情報受信部３０１と、ストリームを受信するストリーム受信部３０２と、受信したストリームを読み出す読み出し部３０３と、ストリームを復号する復号部３０４と、復号画像から一部を切り出す画像切り出し部３０５と、切り出し位置を決定する切り出し位置決定部３０６と、領域映像と共通映像とを合成して出力画像を出力する出力画像合成部３０７と、次の出力画像の解像度を指定する出力画像面指定部３１３と、次の出力画像の座標位置を指定する出力画像座標指定部３０８と、領域映像位置情報と次の出力画像の解像度と座標位置から要求する領域映像を決定する送信要求決定部３０９と、領域映像を要求する送信要求部３１０とを備える。

共通映像は図２に示すように領域映像の元の映像を縮小した映像とする。また領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとする。解像度Ｐと解像度Ｑの面上における各領域映像の位置および出力画像の位置は図１３に示す位置と同様な位置とする。出力画像の位置は解像度Ｐの面上で、次の出力画像の位置は解像度Ｑの面上で設定されるものとする。またすべての映像ストリームおよび領域映像位置情報は予め映像送信装置に与えられているものとする。また領域映像位置情報は解像度ごとに異なる基準位置に対しての位置情報であり、解像度の情報と位置情報とからなる。また領域映像を区別する情報として領域映像ＩＤ（Ａ、Ｂ、Ｃ、Ｄ、Ｅのいずれか）があり、映像受信装置の送信要求部３１０は領域映像ＩＤを送信し、映像送信装置のストリーム送信部２０１は領域映像ＩＤを受信するものとする。また映像送信装置のストリーム送信部２０１は、映像受信装置からの要求がきていない場合には、解像度Ｐの領域映像Ａのストリームを送信するものとする。

次に、図１６、図１７を参照して、映像送信装置と映像受信装置が領域映像のストリームを送受信して領域映像を復号して出力画像を得る動作を説明する。まず、映像送信装置の領域映像位置情報送信部２０２は領域映像位置情報を送信する。これを受けて、映像受信装置の領域映像位置情報受信部３０１は領域映像位置情報を受信する。続いて、映像送信装置のストリーム送信部２０１は映像受信装置からの要求がきていないため、解像度Ｐの領域映像Ａのストリームを送信する。

次に、映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信し、読み出し部３０３が受信したストリームを読み出し、復号部３０４はストリームを復号して復号画像を出力する。切り出し位置決定部３０６は、解像度Ｐの領域映像Ａの座標位置および出力画像の座標位置に基づき復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は切り出し位置に基づき復号画像から画像を切り出す。出力画像合成部３０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５から出力する画像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

次に、出力画像面指定部３１３は次の出力画像の解像度Ｑを指定する。出力画像座標指定部３０８は次の出力画像の座標位置を指定する。送信要求決定部３０９は次の出力画像の座標位置から領域映像Ｅを決定する。送信要求部３１０は領域映像Ｅの領域映像ＩＤを送信する。

次に、映像送信装置のストリーム送信部２０１は領域映像ＩＤとして領域映像Ｅを受信するので、解像度Ｑの領域映像Ｅのストリームを送信する。映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信し、読み出し部３０３が受信したストリームを読み出し、復号部３０４はストリームを復号して復号画像を出力する。切り出し位置決定部３０６は、解像度Ｑの領域映像Ｅの座標位置および出力画像の座標位置に基づき復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は復号画像から画像を切り出す。出力画像合成部３０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５から出力する画像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。以上の処理動作を出力画像の位置が指定されるたびに繰り返し実行する。

なお、映像送信装置は予め映像ストリームを用意するのではなく、送信する際に領域映像を切りだして符号化し、得られたストリームを送信する方法でもよい。また、本実施形態は解像度の異なる二つの面で領域映像を定義したが、空間的な位置が離れた二つの面で領域映像を定義してもよい。この場合の動作も本実施形態と同様な処理動作を行えばよい。

＜第８の実施形態＞
次に、本発明の第８の実施形態による映像送受信システムを説明する。第８の実施形態は、映像送信装置で、解像度Ｐの２次元面に対して３個の領域映像のストリーム（Ａ、Ｂ、Ｃ）と、解像度Ｑの２次元面に対して２個の領域映像のストリーム（Ｄ、Ｅ）がストリームＩＤと多重化された符号化データから、映像受信装置から要求された複数の領域映像のストリームを送信し、映像受信装置でストリームを復号して画像情報を得るものである。第８の実施形態による映像送信装置は図１０に示す構成と同様であるため、説明を省略する。図１８は、本発明の第８の実施形態による映像受信装置の構成を示すブロック図である。図１８において、図１１、図１７に示す装置と同一の部分には同一の符号を付し、その説明を簡単に行う。また、多重化された符号化データの形式を図１４と同様である。

図１８に示す映像受信装置は、領域映像位置情報を受信する領域映像位置情報受信部３０１と、ストリームを受信するストリーム受信部３０２と、読み出すストリームを決定する読み出し決定部３１１と、受信したストリームから読み出し決定部３１１で決定したストリームを探索して読み出す探索読み出し部３１２と、ストリームを復号する復号部３０４と、復号画像から一部を切り出す画像切り出し部３０５と、切り出し位置を決定する切り出し位置決定部３０６と、領域映像と共通映像とを合成して出力画像を出力する出力画像合成部３０７と、次の出力画像の解像度を指定する出力画像面指定部３１３と、次の出力画像の座標位置を指定する出力画像座標指定部３０８と、領域映像位置情報と次の出力画像の解像度と座標位置から要求する領域映像を決定する送信要求決定部３０９と、領域映像を要求する送信要求部３１０とを備える。

共通映像は図２に示すように領域映像の元の映像を縮小した映像とする。また領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとする。解像度Ｐと解像度Ｑの面上における各領域映像の位置および出力画像の位置は図１３に示す位置と同様な位置とする。出力画像の位置は解像度Ｐの面上で、次の出力画像の位置は解像度Ｑの面上で設定されるものとする。また映像送信装置では符号化データおよび領域映像位置情報は予め与えられているものとする。領域映像位置情報は解像度ごとに異なる基準位置に対しての位置情報であり、解像度の情報と位置情報とからなる。また映像送信装置は、映像受信装置からの要求がきていない場合には、解像度Ｐの領域映像Ａと領域映像Ｂのストリームを送信するものとする。また映像受信装置では、送信要求決定部３０９は、出力画像の画素数が多い２つの領域映像を要求するように決定するものとする。

次に、図１０、図１８を参照して、図１０、図１８に示す映像送信装置と映像受信装置が領域映像のストリームを送受信して領域映像を復号して出力画像を得る動作を説明する。まず、映像送信装置の領域映像位置情報送信部２０２は領域映像位置情報を送信する。これを受けて、映像受信装置の領域映像位置情報受信部３０１は領域映像位置情報を受信する。続いて、映像送信装置のストリーム送信部２０１ａは映像受信装置からの要求がきていないため、解像度Ｐの領域映像Ａと領域映像Ｂのストリームを送信する。

次に、映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信する。読み出し決定部３１１は、解像度Ｐの面上の出力画像の位置と、領域映像の位置情報より、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図１３に示す例では、領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂのものと決定する。そして、探索読み出し部３１２は符号化データの中からスタートコード情報を探索し、続くストリームＩＤ情報を読み込むことで、領域映像Ｂのストリームの位置を判定し、領域映像Ｂのストリームを読み出す。

次に、復号部３０４はストリームを復号して復号画像を出力する。切り出し位置決定部３０６は、領域映像Ｂの座標位置および出力画像の座標位置に基づき復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は切り出し位置に基づき復号画像から画像を切り出す。出力画像合成部３０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５から出力する画像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。

次に、出力画像面指定部３１３は次の出力画像の解像度Ｑを指定する。出力画像座標指定部３０８は次の出力画像の座標位置を指定する。送信要求決定部３０９は次の出力画像の座標位置から領域映像Ｄと領域映像Ｅを決定する。送信要求部３１０は領域映像Ｄと領域映像ＥのストリームＩＤを送信する。続いて、映像送信装置のストリーム送信部２０１ａはストリームＩＤとして領域映像Ｄと領域映像Ｅを受信するので、領域映像Ｄと領域映像Ｅのストリームを送信する。

次に、映像受信装置のストリーム受信部３０２は映像送信装置からのストリームを受信し、読み出し決定部３１１は、解像度Ｑで出力画像の画素数は領域映像Ｅが最も多くなることから、読み出すストリームは領域映像Ｅのものと決定する。そして、探索読み出し部３１２は符号化データの中からスタートコード情報を探索し、続くストリームＩＤ情報を読み込むことで、領域映像Ｅのストリームの位置を判定し、領域映像Ｅのストリームを読み出す。復号部３０４はストリームを復号して復号画像を出力する。切り出し位置決定部３０６は、領域映像Ｅの座標位置および出力画像の座標位置に基づき復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部３０５は切り出し位置に基づき復号画像から画像を切り出す。出力画像合成部３０７は復号画像から共通映像を取り出し、この共通映像と画像切り出し部３０５から出力する画像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。以上の処理動作を出力画像の位置が指定されるたびに繰り返し実行する。

なお、本実施形態は解像度の異なる二つの面で領域映像を定義したが、空間的な位置が離れた二つの面で領域映像を定義してもよい。この場合の動作も本実施形態と同様な処理動作を行えばよい。また、映像送信装置は予め映像ストリームを用意するのではなく、送信する際に領域映像を切りだして符号化し、得られたストリームを送信する方法でもよい。

また前述した説明においては、領域映像と共通映像は図３（ａ）のように空間的に上下に配置しているものとしたが、図３（ｂ）のように左右に配置してもよい。この時、領域映像と共通映像の位置関係は上下、左右が逆になっていてもよい。空間的に配置するにあたって共有映像か領域映像の一部で足りない部分は、適当な画像で埋めるようにしてもよい。埋める画像は常に同じ色の映像を使ってもよい。

図１９は、共通映像と領域映像の時間的な配置例を示す説明図である。領域映像と共通映像は、図１９に示すように時間的に配置してもよい。この時の出力画像を得るまでの処理動作を、図１に示す映像復号装置を参照して説明する。まず、ユーザが出力画像の位置を設定すると、読み出し決定部１０２は、２次元面上の出力画像の位置と、領域映像の位置情報より、各領域映像について出力画像の画素数が最も多くなる領域映像を判定する。図４に示す例では、領域映像Ｂが最も多くなることから、読み出すストリームは領域映像Ｂのものと決定する。そして、読み出し部１０１は領域映像Ｂのストリームを読み出し、復号部１０３はストリームを復号して復号画像を出力する。切り出し位置決定部１０５は、領域映像Ｂの座標位置および出力画像の座標位置に基づき復号画像の中から出力画像を切り出す位置を決定する。画像切り出し部１０４は復号画像から画像を切り出す。

さらに、読み出し部１０１は領域映像Ｂのストリームを読み出し、復号部１０３はストリームを復号して復号画像を得る。この時の復号画像は共通映像となる。出力画像合成部１０７は、画像切り出し部１０４で得られた画像と、共通映像とを合成した出力画像を出力する。このとき共通映像の映像を拡大し、領域映像を重畳して出力画像を得る。すなわち読み出し部１０１が映像ストリームを読み出して復号部１０３がストリームを復号する処理を２回実行することで、領域映像と共通映像を得ることができる。以上の処理動作は上記の他の実施形態についても同様に実施することができる。

以上説明したように、映像の一部の領域のみを視聴する際に、演算処理能力が低く映像ストリームを１つしか復号できない計算機で視聴する場合であっても、ユーザが指定した出力画像の位置に対して表示する画素数が最も多くなるように、映像ストリームを復号し切り出すことができる。そして切り出し映像と領域映像の位置に依存しない共通映像を合成して出力画像を得ることができ、このような合成した結果を出力画像に設定することで、視聴者が映像を視聴中に視聴位置を変化した場合に、領域映像の外側に超えた場合に共通映像として用意した映像を表示することが可能となる。

なお、画像情報として、色信号だけではなく透明度情報や奥行き情報などのグレースケール画像として扱える情報も一緒に扱ってもよい。この場合には、映像ストリームには色信号だけではなく透明度情報や奥行き情報も含まれており、復号部は色信号だけではなく、透明度情報や奥行き情報も復号して得る。そして画像切り出し部から切り出して得られる画像情報にも透明度情報や奥行き情報が含まれる。また共通映像として得られる画像情報にも透明度情報や奥行情報が含まれる。また映像復号装置あるいは映像受信装置で得られる画像情報の色信号と、透明度情報や奥行き情報から色信号を加工してから表示をしてもよい。例えば、奥行き情報を持つ場合には、立体映像として表示をする、あるいは別の視点からの映像として表示をしてもよい。

また、図１、図６、図７、図８、図９、図１０、図１１、図１２、図１５、図１６、図１７、図１８に示す各装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像復号処理、映像送信処理及び映像受信処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

映像の一部の領域のみを視聴する際に、ユーザの操作による視聴領域の移動が大きい場合に表示するべき画像が存在しないために画像の表示ができないという状況を回避することが不可欠な用途に適用できる。

１００…領域映像ストリーム選択部、１０１…読み出し部、１０２…読み出し決定部、１０３…復号部、１０４…画像切り出し部、１０５…切り出し位置決定部、１０６…探索読み出し部、１０７…出力画像合成部、２００…領域映像ストリーム選択部、２０１…ストリーム送信部、２０２…領域映像位置情報送信部、３０１…領域映像位置情報受信部、３０２…ストリーム受信部、３０３…読み出し部、３０４…復号部、３０５…画像切り出し部、３０６…切り出し位置決定部、３０７…出力画像合成部、３０８…出力画像座標指定部、３０９…送信要求決定部、３１０…送信要求部、３１１…読み出し決定部、３１２…探索読み出し部、３１３…出力画像面指定部

Claims

２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＮ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号装置であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と
を備えることを特徴とする映像復号装置。
２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号装置であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像情報のストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中の前記ＩＤ情報から前記ｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と
を備えることを特徴とする映像復号装置。
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記領域映像と共通映像とを符号化したＮ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記送信された映像ストリームを受信するストリーム受信部と、
前記受信した映像ストリームを読み出す読み出し部と、
前記読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｎ）の前記符号化データを抽出して送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記符号化データを受信するストリーム受信部と、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記元映像の一部であるｉ番目（１≦ｉ≦Ｎ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記映像ストリームを受信するストリーム受信部と、
前記受信した映像ストリームを読み出す読み出し部と、
前記読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信部と、
前記元映像の一部であるＭ個（Ｍ≦Ｎ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記符号化データを受信するストリーム受信部と、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＬ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号装置であって、
前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記ｉ番目の映像ストリームを読み出す読み出し部と、
前記読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と
を備えることを特徴とする映像復号装置。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号装置であって、
前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中の前記ＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と
を備えることを特徴とする映像復号装置。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における領域映像と共通映像とを符号化したＫ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｋ）の映像ストリームを送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記送信された映像ストリームを受信するストリーム受信部と、
前記受信した映像ストリームを読み出す読み出し部と、
前記読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、
前記次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像を切り出す面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｄ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｋ）の前記符号化データを抽出して送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記符号化データを受信するストリーム受信部と、
出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるｉ番目（１≦ｉ≦Ｋ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記映像ストリームを受信するストリーム受信部と、
前記受信した映像ストリームを読み出す読み出し部と、
前記読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、
次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｍ）の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信部と、
一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるＭ個（Ｍ≦Ｋ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信部とを備える映像送信装置と、
前記領域映像位置情報を受信する領域映像位置情報受信部と、
前記映像ストリームを受信するストリーム受信部と、
出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定部と、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出し部と、
前記探索読み出し部において読み出した前記映像ストリームを復号する復号部と、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定部と、
前記切り出し位置決定部が決定した前記画像の切り出し位置に基づき、前記復号部において得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出し部と、
前記復号部において得られる復号画像のうちの前記共通映像と、前記画像切り出し部において切り出した画像とを合成して出力画像を出力する出力画像合成部と、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定部と、
前記次の出力画像の座標位置を指定する出力画像座標指定部と、
前記出力画像面指定部で指定した面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が多く得られるようにＭ個の映像ストリームの送信を要求する送信要求部とを備える映像受信装置と
を具備することを特徴とする映像送受信システム。
２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＮ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号方法であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと
を備えることを特徴とする映像復号方法。
２次元で表現される面上の基準位置に対してＮ（Ｎは自然数）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号方法であって、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｎ）の映像情報のストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中の前記ＩＤ情報から前記ｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと
を備えることを特徴とする映像復号方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記領域映像と共通映像とを符号化したＮ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｎ）の映像ストリームを送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記送信された映像ストリームを受信するストリーム受信ステップと、
前記受信した映像ストリームを読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｎ）の前記符号化データを抽出して送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記符号化データを受信するストリーム受信ステップと、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記元映像の一部であるｉ番目（１≦ｉ≦Ｎ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像ストリームを受信するストリーム受信ステップと、
前記受信した映像ストリームを読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｎ）の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現される面上で定義される元映像の基準位置に対するＮ（Ｎは自然数）個の部分的な領域映像の座標位置である領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記元映像の一部であるＭ個（Ｍ≦Ｎ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記符号化データを受信するストリーム受信ステップと、
前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像とを符号化したＬ個の映像ストリームとを入力し、前記映像ストリームの一部を復号して出力画像を得る映像復号方法であって、
前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記ｉ番目の映像ストリームを読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと
を備えることを特徴とする映像復号方法。
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上の基準位置に対してＫ（１≦Ｋ≦Ｌ）個のそれぞれ異なる座標位置を示す領域映像位置情報と、前記領域映像位置情報に対応した領域映像と共通映像により構成するＮ個の映像ストリームと該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データとを入力し、前記符号化データの一部を復号して出力画像を得る映像復号方法であって、
前記出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、前記出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｃ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中の前記ＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと
を備えることを特徴とする映像復号方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における領域映像と共通映像とを符号化したＫ個の映像ストリームのうち、要求されたｉ番目（１≦ｉ≦Ｋ）の映像ストリームを送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記送信された映像ストリームを受信するストリーム受信ステップと、
前記受信した映像ストリームを読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記出力画像を切り出す面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｄ）の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
前記領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データから、Ｍ個（Ｍ≦Ｋ）の前記符号化データを抽出して送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記符号化データを受信するストリーム受信ステップと、
出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、
次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記出力画像面指定ステップで指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるｉ番目（１≦ｉ≦Ｋ）の領域映像と共通映像とを符号化した映像ストリームを送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像ストリームを受信するストリーム受信ステップと、
前記受信した映像ストリームを読み出す読み出しステップと、
前記読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、
次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記出力画像面指定ステップで指定した面Ｄにおける前記基準位置に対する前記次の出力画像の座標位置および前記領域映像位置情報から、次の出力画像の画素数が最も多く得られるｊ番目（１≦ｊ≦Ｍ）の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。
映像送信装置と映像受信装置とからなる映像送受信システムが行う映像送受信方法であって、
２次元で表現されるＬ（Ｌ≧２）個の面について、それぞれの面上で定義される基準位置に対するＫ（１≦Ｋ≦Ｌ）個の部分的な領域映像の座標位置である全ての領域映像位置情報を送信する領域映像位置情報送信ステップと、
一つ以上の面Ｃ（１≦Ｃ≦Ｌ）における元映像の一部であるＭ個（Ｍ≦Ｋ）の領域映像と共通映像とにより構成するＮ個の映像ストリームと、該映像ストリームを区別するＩＤ情報とを多重化して符号化した符号化データを送信するストリーム送信ステップと、
前記領域映像位置情報を受信する領域映像位置情報受信ステップと、
前記映像ストリームを受信するストリーム受信ステップと、
出力画像を切り出す面Ｃ（１≦Ｃ≦Ｌ）における前記基準位置に対する出力画像の座標位置と前記領域映像位置情報とから、出力画像の画素数が最も多く得られるようにｉ番目（１≦ｉ≦Ｍ）の映像ストリームを読み出すことを決定する読み出し決定ステップと、
前記符号化データ中のＩＤ情報からｉ番目の映像ストリームを探索して読み出す探索読み出しステップと、
前記探索読み出しステップにおいて読み出した前記映像ストリームを復号する復号ステップと、
前記ｉ番目の領域映像位置情報に基づき前記基準位置に対する出力画像の座標位置が同一になるように、画像の切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップが決定した前記画像の切り出し位置に基づき、前記復号ステップにおいて得られる復号画像のうちの前記領域映像の一部を切り出す画像切り出しステップと、
前記復号ステップにおいて得られる復号画像のうちの前記共通映像と、前記画像切り出しステップにおいて切り出した画像とを合成して出力画像を出力する出力画像合成ステップと、
次の出力画像を切り出す面Ｄ（１≦Ｄ≦Ｌ）を指定する出力画像面指定ステップと、
前記次の出力画像の座標位置を指定する出力画像座標指定ステップと、
前記出力画像面指定ステップで指定した面Ｄにおける前記基準位置に対する次の出力画像の座標位置と前記領域映像位置情報とから、次の出力画像の画素数が多く得られるようにＭ個の映像ストリームの送信を要求する送信要求ステップと
を有することを特徴とする映像送受信方法。