JP2012010053A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】高画質な立体画像を低遅延で再生する。
【解決手段】補間データ蓄積部１１２は、受信されたＬ画像データとＲ画像データを補間データとして蓄積する。ラインベース複数データリンク管理部１０５は、ラインブロック単位のＬ画像データとＲ画像データのパケットエラー数等を登録する管理テーブルを管理する。画像データ入力切替部１０６は、管理テーブルに基づいて、受信データに含まれるＬ画像データとＲ画像データのパケットエラー数が両方とも閾値より小さい場合、受信データを出力し、エラー数が両方とも閾値より小さくはない場合、受信データに対応する、補間データ蓄積部１１２に蓄積されている、エラー数が閾値より小さい補間データを出力する。本発明は、例えば、立体画像データを受信する中継器に適用することができる。
【選択図】図８

Description

本発明は、情報処理装置および情報処理方法に関し、特に、高画質な立体画像を低遅延で再生することができるようにした情報処理装置および情報処理方法に関する。

現在、インターネットやLAN（Local Area Network）など様々なネットワークを介して、画像データ（特に動画像データ）を転送するアプリケーションやサービスが広く利用されている。ネットワークを介して画像データを転送する場合には、送信側で画像データを符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された画像データを復号（伸長）処理して再生することが一般的である。

画像圧縮処理としては、MPEG（Moving Pictures Experts Group）方式が最もよく知られている。画像データの転送時の画像圧縮処理の方式としてMPEG方式が用いられる場合には、MPEG方式に準拠して生成されたMPEGストリームがIP（Internet Protocol）にしたがってIPパケットに格納され、ネットワーク経由で転送される。そして、MPEGストリームは、PC（Personal Computer）やPDA（Personal Digital Assistants）、携帯電話機などの通信端末を用いて受信され、通信端末の画面上にMPEGストリームに対応する画像が表示される。

ところで、画像データの配信を主目的とする、例えばビデオオンデマンドやライブ映像のストリーミング配信、あるいはビデオ会議、テレビ電話などのリアルタイム通信においては、ネットワークのジッタによって送信側の画像データが全て受信側へ到達しない環境や、画像データが異なる能力を有する端末で受信される環境がある。

具体的には、例えば、１つの送信源から送信される画像データは、携帯電話機などの低解像度のディスプレイと処理能力の低いCPU（Central Processing Unit）を有する受信端末によって受信され、表示されると同時に、デスクトップパソコンなどの高解像度のディスプレイと処理能力の高いCPUを有する受信端末によって受信され、表示される場合がある。

このように、画像データが異なる能力を有する端末で受信される環境が想定される場合には、例えば送受信する画像データに対して、符号化を階層的に実行する階層符号化と呼ばれる技術が利用される。画像データが階層符号化されて送信される場合には、受信側において、例えば高解像度のディスプレイを有する受信端末向けの符号化データ、および低解像度のディスプレイを有する受信端末向けの符号化データを選別して保持し、画像サイズや画質を適宜変更することができる。

階層符号化が可能な圧縮・伸張方式としては、例えばMPEG4方式とJPEG2000（Joint Photographic Experts Group 2000）方式が挙げられる。MPEG4方式では、FGS（Fine Granularity Scalability）技術が標準規格として取り込まれ、プロファイル化される予定であり、この技術により低いビットレートから高いビットレートまでスケーラブルに配信することが可能と言われている。また、ウェーブレット（Wavelet）変換を基盤とするJPEG2000方式では、ウェーブレット変換の特徴を生かして空間解像度をベースに階層的にパケットを生成したり、画質をベースに階層的にパケットを生成したりすることが可能である。また、JPEG2000方式では、静止画だけではなく動画も扱うことができるMotion JPEG2000（Part 3）方式により、階層化したデータをファイルとして保存することが可能である。

さらに、階層符号化の方式としては、離散コサイン変換（DCT：Discrete Cosine Transform）を基盤とする方式も提案されている。この方式では、画像データ等をDCT処理して高域と低域とを区別し、区別された高域と低域を階層としてパケットが生成される。

また、画像データの配信を主目的とする通信においては、多くの場合、リアルタイム性が要求される。従って、リアルタイム性を確保するために、ＩＰベースの通信プロトコルとして、通常はUDP（User Datagram Protocol）が用いられ、UDPの上のレイヤにおいてはRTP（Real-time Transport Protocol）が用いられる。なお、RTPパケットに格納されるデータフォーマットは、アプリケーションごと、即ち符号化方式ごとに定義された個々のフォーマットに従う。また、通信ネットワークとしては、無線または有線によるLANや、光ファイバー通信、xDSL、電力線通信、またはCo-axのネットワークなどが用いられる。

これらの通信ネットワークは年々高速化している。しかしながら、現状ではリアルタイム性よりも表示画像の大画面化や高画質化が優先される傾向があり、送信する画像データのデータ量が増大している。そのため、例えば、現在主流になっているMPEG方式またはJPEG2000方式を利用した代表的なシステムでは、コード遅延（符号化遅延＋復号遅延）が2ピクチャ以上となり、画像データ配信における十分なリアルタイム性が確保されているとは言い難い。

そこで、近年、1ピクチャをN個のライン（Nは１以上）の集合からなるラインブロックに分割し、そのラインブロックごとに画像を圧縮することで、遅延時間を短くする画像圧縮方式（以下、ラインベース・コーデックという）が提案されている。ラインベース・コーデックの利点は、遅延時間が短時間であること、および、画像圧縮の1単位で取り扱う情報が少ないため、高速処理やハードウェア規模の低減が可能であることである。

ラインベース・コーデックについては、例えば特許文献１乃至４に記載されている。具体的には、特許文献１には、ラインベース・コーデックで圧縮された通信データについて、ラインブロックごとに適切に欠落データの補間処理を行う通信装置が記載されている。また特許文献２には、圧縮方式としてラインベース・コーデックが用いられる場合の遅延の低減と処理の効率化を図った情報処理装置が記載されている。さらに、特許文献３には、ウェーブレット変換を利用したラインベース・コーデックで圧縮された画像データの低周波数成分を伝送することにより画質の劣化を抑える送信装置が記載されている。また、特許文献４には、ラインベース・コーデックで圧縮された画像データの通信において安定して同期を獲得する送信装置が記載されている。

また、ラインベース・コーデックの利用により、高画質な画像データを低遅延で伝送することができるため、ラインベース・コーデックは、今後、ライブ中継を行うカメラシステムへの適用が期待されている。なお、本出願人は、特許文献５において、デジタル変調器を用いて伝送効率を上げるカメラシステムを提案している。

一方、立体画像の符号化方式としては、MVC（Multi View Coding）方式が代表的である。このMVC方式では、左目用の画像と右目用の画像がそれぞれ独立した画像と見なされて符号化される。また、立体画像の符号化方式としては、左目用の画像と右目用の画像を交互にフレーム画像として符号化するFrame Sequential方式などもある。なお、ここでは、説明を簡単にするため、立体画像は、左目用の画像と右目用の画像の2視点の画像からなるものとするが、2以上の視点の画像からなるようにすることもできる。

図１を参照して、MPEG4やJPEG2000方式で符号化された受信データに対して補間処理を行う場合の従来の通信端末装置１０の構成例について説明する。図中、点線矢印は制御信号の流れを示し、実線矢印はデータの流れを示している。

画像アプリ管理部１１は、画像ソース等のアプリケーションから送信要求を受け、送信対象の画像データ等を送信データ圧縮部１２に供給する。また、画像アプリ管理部１１は、アプリケーションからの送信要求に応じて、経路制御やQoS（Quality of Service）による無線回線に関する制御を行う。さらに、画像アプリ管理部１１は、受信データ復号部２５から供給される画像データ等を、図示せぬメモリに保持させ、所定のアプリケーションに受信を通知する。なお、画像アプリ管理部１１は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）センサ等の画像入力装置の制御も行うようにしてもよい。

送信データ圧縮部１２は、画像アプリ管理部１１から供給された画像データをMPEG4やJPEG2000方式で圧縮し、その画像データのデータ量を削減する。そして、送信データ圧縮部１２は、圧縮された画像データを送信メモリ１３に出力する。

送信メモリ１３は、送信データ圧縮部１２から入力された画像データを蓄積する。また、送信メモリ１３は、受信データ分離部２１から供給される他の端末へ転送する転送データを蓄積する。なお、送信メモリ１３は、他の端末へ転送しないデータも蓄積するようにしてもよい。また、送信メモリ１３は、データの蓄積状況を送受信制御部１４に通知する。

送受信制御部１４は、送信メモリ１３から供給される蓄積状況に応じて、送信データ生成部１５に処理の開始を要求する。また、送受信制御部１４は、TDMA（Time Division Multiple Access）やCSMA（Carrier Sense Multiple Access）等のMAC（Media Access Control）プロトコルにしたがって、物理層コントロール部１６を制御する。なお、送受信制御部１４は、CSMAに似た方式であり、キャリアではなくプリアンブルの相関によってパケットを識別するPSMA（Preamble Sense Multiple Access）と呼ばれるメディアアクセス制御を行うようにしてもよい。また、送受信制御部１４は、受信データ分離部２１から供給される情報に基づいて、物理層コントロール部１６を制御する。

送信データ生成部１５は、送受信制御部１４の要求に応じて、送信メモリ１３に蓄積されている画像データや転送データをパケット化し、送信パケットを生成する処理を開始する。送信データ生成部１５は、生成された送信パケットを物理層Tx１７に供給する。また、送信データ生成部１５は、必要に応じて、物理層コントロール部１６を制御する。

物理層コントロール部１６は、送受信制御部１４または送信データ生成部１５からの制御に基づいて物理層Tx１７および物理層Rx２０を制御する。

物理層Tx１７は、物理層コントロール部１６の要求に応じて動作を開始し、送信データ生成部１５から供給された送信パケットを送受信切替部１８に出力する。

送受信切替部１８は、データの送信または受信を切り替える機能を有し、物理層Tx１７から送信パケットが供給されてきた場合、それをアンテナ１９を介して送信し、アンテナ１９を介してパケットを受信した場合、それを物理層Rx２０に供給する。

物理層Rx２０は、物理層コントロール部１６の要求に応じて動作を開始し、アンテナ１９を介して受信されたパケットを受信データ分離部２１に供給する。

受信データ分離部２１は、物理層Rx２０から供給されたパケットを解析して、画像アプリ管理部１１で必要な画像データを含むデータを抽出し、受信データとして画像復号部２２と補間データ蓄積部２３に供給する。また、受信データ分離部２１は、物理層Rx２０から供給されたパケットを解析し、ルーティングテーブル等の情報に応じて、他の端末への送信が必要なデータを転送データとして抽出する。そして、受信データ分離部２１は、その転送データを送信メモリ１３に供給する。また、受信データ分離部２１は、パケットから送受信制御部１４に必要な情報を抽出し、送受信制御部１４に供給する。

画像復号部２２は、受信データ分離部２１から供給される受信データをフィールド単位または複数フィールド単位で解析し、解析結果を画像データ入力切替部２４に供給する。また、画像復号部２２は、受信データを解析し、その受信データに含まれる画像データのフィールド番号により、再生すべき受信データを把握する。そして、画像復号部２２は、再生すべき受信データを画像データ入力切替部２４に供給する。

補間データ蓄積部２３は、受信データ分離部２１から供給される受信データを補間データとして蓄積する。

画像データ入力切替部２４は、画像復号部２２から供給される解析結果に基づいて、画像復号部２２から供給される受信データ、または、補間データ蓄積部２３に蓄積されている補間データを選択する。そして、画像データ入力切替部２４は、選択された受信データまたは補間データを、受信データ復号部２５に供給する。

ここで、上述したように、解析結果は、複数のフレーム単位またはフィールド単位で得られるので、画像データ入力切替部２４による選択の切り替え単位は、最短でフィールド単位である。従って、フィールドまたはフレーム相関を行うMPEG方式では、復号画像が切り替えられるまでにかなりの時間を必要とする。

受信データ復号部２５は、画像データ入力切替部２４から供給される受信データまたは補間データをMPEG4方式やJPEG2000方式で復号し、その結果得られる画像データを画像アプリ管理部１１に供給する。なお、受信データ復号部２５は、フィールド単位以上の間隔でしか再初期化を行うことができないようになっている。

次に、図１に示した通信端末装置１０の基本動作について説明する。

受信時、通信相手である送信局から送信されてきたデータは、アンテナ１９、送受信切替部１８、および物理層Rx２０を介して受信され、受信データ分離部２１により画像アプリ管理部１１で必要な画像データを含む受信データが分離される。分離された受信データは、画像復号部２２により解析され、例えばエラーが発生していない場合、受信データ復号部２５により復号される。一方、エラーが発生している場合、受信データの代わりに、補間データ蓄積部２３に蓄積されている補間データが、受信データ復号部２５により復号される。復号された画像データは、画像アプリ管理部１１の制御にしたがってディスプレイなどの表示部（図示せず）に出力される。なお、本明細書において、「エラー」とは、データのエラーだけでなく、データの欠落も含むものである。

送信時、画像アプリ管理部１１から供給される送信対象の画像データは、送信データ圧縮部１２により圧縮され、送信メモリ１３に蓄積される。蓄積された画像データは、送信データ生成部１５により読み出されて送信パケットにパケット化され、物理層Tx１７、送受信切替部１８、およびアンテナ１９を介して通信相手である送信局に送信される。

特開２００７−３１１９４８号公報 特開２００８−２８５４１号公報 特開２００８−４２２２２号公報 特開２００９−２７８５４５号公報 特許第３６１７０８７号

上述したように、特許文献１に記載されている通信装置は、ラインベース・コーデックで圧縮された通信データについて、ラインブロックごとに適切に欠落データの補間処理を行う。これにより、高画質な画像を低遅延で再生することができる。

しかしながら、特許文献１に記載されている通信装置は、２次元の画像を通信対象としており、立体画像の通信に対応していない。

具体的には、通信対象が、異なるカメラで撮影された左目用の画像と右目用の画像からなる立体画像である場合、受信側で、左目用の画像と右目用の画像の位相合わせや回線エラーへの対応を行う必要がある。より詳細には、立体画像を構成する左目用の画像と右目用の画像が、それぞれ、異なるチャネルで伝送される場合、左目用の画像と右目用の画像で遅延時間やエラー数が異なる。また、左目用の画像と右目用の画像のいずれか一方にエラーが発生した場合、他方にエラーが発生していなくても、受信画像に立体感がなくなる。その結果、時間軸方向で立体感の有無が変化し、ユーザに不快感を与える。

そのため、受信側では、左目用の画像と右目用の画像のそれぞれの遅延時間やエラー数を把握し、符号化単位で管理する処理を行う必要がある。

しかしながら、特許文献１に記載されている通信装置では、そのような処理については考えられていない。従って、受信側で、高画質な立体画像を低遅延で再生することは困難であった。

本発明は、このような状況に鑑みてなされたものであり、高画質な立体画像を低遅延で再生することができるようにするものである。

本発明の一側面の情報処理装置は、ラインベース・コーデックにより符号化された、立体画像データを構成する複数の視点の画像データをラインブロック単位で受信する受信手段と、前記受信手段により受信された前記複数の視点の画像データを補間データとして蓄積する蓄積手段と、前記受信手段により受信された前記所定量の前記複数の視点の画像データのうちの少なくとも１つの視点の画像データの前記エラー数が第１の閾値以上である場合、前記所定量の複数の視点の画像データに対応する、前記蓄積手段に蓄積されている、エラー数が第２の閾値より小さい前記所定量の前記補間データを出力する画像出力手段とを備える情報処理装置である。

本発明の一側面の情報処理方法は、本発明の一側面の情報処理装置に対応する。

本発明の一側面においては、ラインベース・コーデックにより符号化された、立体画像データを構成する複数の視点の画像データのラインブロック単位の受信が制御され、受信された前記複数の視点の画像データが補間データとして蓄積手段に蓄積され、受信された前記所定量の前記複数の視点の画像データのうちの少なくとも１つの視点の画像データの前記エラー数が第１の閾値以上である場合、前記所定量の複数の視点の画像データに対応する、前記蓄積手段に蓄積されている、エラー数が第２の閾値より小さい前記所定量の前記補間データが出力される。

本発明の一側面によれば、高画質な立体画像を低遅延で再生することができる。

従来の通信端末装置の構成例を示すブロック図である。 本発明を適用した通信システムの第１実施の形態の構成例を示すブロック図である。 図２の中継器の構成例を示すブロック図である。 図３の送信データ圧縮部の構成例を示すブロック図である。 図４のウェーブレット変換部の構成例を示すブロック図である。 係数データを示す図である。 受信データのデータフォーマットを示す図である。 図３のラインベース補間部の構成例を示すブロック図である。 管理テーブルの例を示す図である。 管理テーブル更新処理を説明するフローチャートである。 補間データ蓄積処理を説明するフローチャートである。 補間データ読み出し処理を説明するフローチャートである。 切替処理を説明するフローチャートである。 補間データ蓄積処理の他の例を説明するフローチャートである。 補間データ読み出し処理の他の例を説明するフローチャートである。 本発明を適用した通信システムの第２実施の形態の構成例を示すブロック図である。 図１６の撮影装置の構成例を示すブロック図である。 符号化制御処理を説明するフローチャートである。 図１６の中継器１２２の構成例を示すブロック図である。 図１９のラインベース補間部の構成例を示すブロック図である。 補間データ読み出し処理を説明するフローチャートである。 本発明を適用した通信システムの第３実施の形態の構成例を示すブロック図である。 図２２の中継器の構成例を示すブロック図である。 図２３のラインベース補間部の構成例を示すブロック図である。 音声処理を説明するフローチャートである。 図３のラインベース補間部の他の構成例を示すブロック図である。 シーンチェンジ処理を説明するフローチャートである。 図３のラインベース補間部の他の構成例を示すブロック図である。 管理テーブルの例を示す図である。 切替処理を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示す図である。

＜第１実施の形態＞
［通信システムの第１実施の形態の構成例］
図２は、本発明を適用した通信システムの第１実施の形態の構成例を示すブロック図である。

図２の通信システム３０は、２台の撮影装置３１Ａおよび撮影装置３１Ｂ、並びに、中継器３２により構成される。

通信システム３０の撮影装置３１Ａは、例えば、ビデオカメラにより構成される。撮影装置３１Ａは、被写体を撮影し、その結果得られる画像データをラインベース・コーデックで圧縮する。そして、撮影装置３１Ａは、圧縮された画像データを立体画像データのうちの左目用の画像データ（以下、Ｌ画像データという）として、中継器３２に無線で送信する。また、撮影装置３１Ａは、中継器３２から送信されてくる画像データ等を無線で受信する。

撮影装置３１Ｂは、例えば、ビデオカメラにより構成される。撮影装置３１Ｂは、撮影装置３１Ａと異なる視点で被写体を撮影し、その結果得られる画像データをラインベース・コーデックで圧縮する。そして、撮影装置３１Ｂは、圧縮された画像データを立体画像データのうちの右目用の画像データ（以下、Ｒ画像データという）として、中継器３２に無線で送信する。また、撮影装置３１Ｂは、中継器３２から送信されてくる画像データ等を無線で受信する。

なお、撮影装置３１Ａおよび撮影装置３１Ｂは、ビデオカメラに限定されず、撮影機能を有するデジタルスチルカメラ、PC、携帯電話機、ゲーム機などの他の装置であってもよい。また、以下では、撮影装置３１Ａと撮影装置３１Ｂを特に区別する必要がない場合、それらをまとめて撮影装置３１という。

中継器３２は、例えば、PCにより構成される。中継器３２は、撮影装置３１Ａから送信されてくるＬ画像データと、撮影装置３１Ｂから送信されてくるＲ画像データを無線で受信する。中継器３２は、受信されたＬ画像データとＲ画像データをラインベース・コーデックに対応する方式で復号し、復号の結果得られるＬ画像データとＲ画像データに基づいて、カメラ間の色ずれおよび光軸のわずかなずれを補正し、立体画像を表示する。また、中継器３２は、所定の画像データを撮影装置３１に送信する。

なお、撮影装置３１および中継器３２は、ピア・ツー・ピアで動作させることもできるし、ネットワークの一部として動作させることもできる。

［中継器の構成例］
図３は、図２の中継器３２の構成例を示すブロック図である。

図３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３の中継器３２の構成は、主に、送信データ圧縮部１２の代わりに送信データ圧縮部４０が設けられている点、受信データ分離部２１の代わりに受信データ分離部４１が設けられている点、画像復号部２２、補間データ蓄積部２３、および画像データ入力切換部２４の代わりに、ラインベース補間部４２が設けられている点、および受信データ復号部２５の代わりに受信データ復号部４３が設けられている点が、図１の構成と異なる。

中継器３２は、ラインベース・コーデックで圧縮されたラインブロック単位のＬ画像データのパケットを撮影装置３１Ａから受信し、Ｒ画像データのパケットを撮影装置３１Ｂから受信し、それらのパケットに基づいて立体画像を表示する。

具体的には、中継器３２の送信データ圧縮部４０は、画像アプリ管理部１１から供給された画像データを、所定の符号化レートで、ラインベース・コーデックで圧縮し、その画像データのデータ量を削減する。そして、送信データ圧縮部４０は、図１の送信データ圧縮部１２と同様に、圧縮された画像データを送信メモリ１３に出力する。

受信データ分離部４１は、物理層Rx２０から供給されたパケットを解析して、画像アプリ管理部１１で必要なラインブロック単位の画像データを含むデータを抽出し、受信データとしてラインベース補間部４２に供給する。また、受信データ分離部４１は、図１の受信データ分離部２１と同様に、物理層Rx２０から供給されたパケットを解析し、ルーティングテーブル等の情報に応じて、他の端末への送信が必要な転送データを抽出する。そして、受信データ分離部４１は、受信データ分離部２１と同様に、その転送データを送信メモリ１３に供給する。さらに、受信データ分離部４１は、受信データ分離部２１と同様に、パケットから送受信制御部１４に必要な情報を抽出し、送受信制御部１４に供給する。

ラインベース補間部４２は、受信データ分離部４１から供給される受信データに対して補間処理を行う。具体的には、ラインベース補間部４２は、受信データ分離部４１から供給される受信データ、または、補間データとして蓄積している受信データを、補間後データとして、受信データ復号部４３に供給する。なお、ラインベース補間部４２の詳細については、後述する図８を参照して説明する。

受信データ復号部４３は、ラインベース補間部４２から供給される補間後データをラインベース・コーデックに対応する方式で復号し、その結果得られる画像データを画像アプリ管理部１１に供給する。

さらに、受信データ復号部４３は、補間後データの欠落率を求める。具体的には、受信データ復号部４３は、補間後データとしてのＬ画像データとＲ画像データそれぞれに含まれる強制デコードデータ（ダミーデータ）の発生頻度を欠落率として求める。なお、強制デコードデータとは、補間後データのエラー部分に配置されているデータである。受信データ復号部４３は、その欠落率と現在のデコード対象のラインブロック番号を、デコード情報としてラインベース補間部４２に供給する。

なお、撮影装置３１Ａおよび撮影装置３１Ｂの構成は、ラインベース補間部４２を有さないか、または、ラインベース補間部４２の代わりに上述した特許文献１に記載されているラインベース補間部を設ける点を除いて、中継器３２の構成と同様であるので、説明は省略する。

[送信データ圧縮部の構成例]
図４は、図３の送信データ圧縮部４０の構成例を示すブロック図である。

図４に示すように、送信データ圧縮部４０は、ウェーブレット変換部５１、途中計算用バッファ部５２、係数並び替え用バッファ部５３、係数並び替え部５４、量子化部５５、およびエントロピ符号化部５６により構成される。

送信データ圧縮部４０に入力された画像データは、ウェーブレット変換部５１を介して途中計算用バッファ部５２に一時的に溜め込まれる。

ウェーブレット変換部５１は、途中計算用バッファ部５２に溜め込まれた画像データに対してウェーブレット変換を施す。このウェーブレット変換部５１の詳細については後述する。ウェーブレット変換部５１は、ウェーブレット変換により得られた係数データを係数並び替え用バッファ部５３に供給する。

係数並び替え部５４は、係数並び替え用バッファ部５３に書き込まれた係数データを所定の順序（例えば、ウェーブレット逆変換処理順）で読み出し、量子化部５５に供給する。

量子化部５５は、供給された係数データを、所定の方法で量子化し、得られた係数データをエントロピ符号化部５６に供給する。

エントロピ符号化部５６は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部５６は、その結得られるデータを、圧縮された画像データとして送信メモリ１３（図３）に供給する。

[ウェーブレット変換部の説明]
図５は、図４のウェーブレット変換部５１の構成例を示すブロック図である。

なお、図５の例では、ウェーブレット変換におけるレベルが３（レベル１乃至レベル３）であり、ウェーブレット変換部５１は、画像データを低域と高域に分割し、かつ、低域成分のみを階層的に分割するものとする。また、図５では、便宜上、１次元の画像データ（例えば画像データの水平成分）に対してウェーブレット変換を行うブロックを示しているが、このブロックを２次元に拡張することで２次元の画像データ（画像データの垂直成分と水平成分）に対応することができる。

レベル１の回路部６１は、ローパスフィルタ７１、ダウンサンプラ７２、ハイパスフィルタ７３、およびダウンサンプラ７４から構成されている。レベル２の回路部６２は、ローパスフィルタ８１、ダウンサンプラ８２、ハイパスフィルタ８３、およびダウンサンプラ８４から構成されている。レベル３の回路部６３は、ローパスフィルタ９１、ダウンサンプラ９２、ハイパスフィルタ９３、およびダウンサンプラ９４から構成されている。

図４の途中計算用バッファ部５２から読み出された画像データは、回路部６１のローパスフィルタ７１（伝達関数Ｈ０（ｚ））とハイパスフィルタ７３（伝達関数Ｈ１（ｚ））によって帯域分割される。ローパスフィルタ７１の帯域分割により得られた低域成分は、ダウンサンプラ７２に供給され、ハイパスフィルタ７３の帯域分割により得られた高域成分は、ダウンサンプラ７４に供給され、それぞれ、解像度が２分の１倍に間引かれる。

ダウンサンプラ７２で間引かれた低域成分（図中におけるＬ（Low）成分）の信号が、回路部６２のローパスフィルタ８１（伝達関数Ｈ０（ｚ））とハイパスフィルタ８３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。ローパスフィルタ８１の帯域分割により得られた低域成分は、ダウンサンプラ８２に供給され、ハイパスフィルタ８３の帯域分割により得られた高域成分は、ダウンサンプラ８４に供給され、それぞれ、解像度が２分の１倍に間引かれる。

またダウンサンプラ８２で間引かれた低域成分（図中におけるLL成分）の信号は、回路部６３のローパスフィルタ９１（伝達関数Ｈ０（ｚ））とハイパスフィルタ９３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。ローパスフィルタ９１の帯域分割により得られた低域成分は、ダウンサンプラ９２に供給され、ハイパスフィルタ９３の帯域分割により得られた高域成分は、ダウンサンプラ９４に供給され、それぞれ、解像度が２分の１倍に間引かれる。

このように、低域成分に対して、レベル数だけ帯域分割と間引きを繰り返すことで、低域成分がレベル数の階層に階層化される。即ち、図５の例の場合、レベル数である３回だけ帯域分割が行われる。これにより、ダウンサンプラ７４で間引かれた低域成分（図中におけるL成分）が、ダウンサンプラ８４で間引かれた高域成分（図中におけるLH成分）、ダウンサンプラ９４で間引かれた高域成分（図中におけるLLH成分）、およびダウンサンプラ９２で間引かれた低域成分（図中におけるLLL成分）の３つの階層に階層化される。

また、ダウンサンプラ７４で間引かれた高域成分（図中におけるH（High）成分）は、１つの階層とされる。そして、階層化されたH成分、LH成分、LLH成分、およびLLL成分、は、係数データとして係数並び替え用バッファ部５３（図４）に出力される。

図６は、レベル３まで２次元の画像データをウェーブレット変換した結果得られる係数データを示す図である。

図６に示すＬおよびＨの表記法は、１次元の画像データを扱った図５でのＬおよびＨの表記法とは異なる。即ち、図６の例では、画像データの水平成分と垂直成分の帯域分割が行われているので、水平成分と垂直成分それぞれの帯域成分を表記する必要がある。従って、図６では、水平成分と垂直成分の２つの帯域成分を連続して表記する。例えば、「HH」は、水平成分および垂直成分の帯域成分がともにＨ成分であることを意味し、「HL」は、水平成分の帯域成分がＨ成分であり、垂直成分の帯域成分がＬ成分であることを意味する。また、「LLLH」は、水平成分がＬＬ成分で、垂直成分がＬＨ成分であることを意味する。

図６に示すように、まず、レベル１の水平成分と垂直成分の帯域分割では、LL成分、LH成分、HL成分、およびHH成分の４つの成分が生成される。そして、レベル２の水平成分と垂直成分の帯域分割において、LL成分は再度帯域分割されて、LLLL成分、LLHL成分、LLLH成分、およびLLHH成分が生成される。さらに、レベル３の水平成分と垂直成分の帯域分割において、LLLL成分は再度帯域分割されて、LLLLLL成分、LLLLHL成分、LLLLLH成分、およびLLLLHH成分が生成される。なお、以下では、帯域分割された１つの成分をサブバンドという。

また、ラインベース・コーデックでは、最低域成分のサブバンド（図６の例の場合LLLLLL成分、LLLLHL成分、LLLLLH成分、LLLLHH成分）の１ライン分の係数データを生成するために必要なライン数の画像データが、ラインブロックとされて、そのラインブロックごとに係数データが生成される。上述したように、各レベルにおいて、解像度が２分の１倍に間引かれるので、例えば、分割レベル数がＮの場合、ラインブロックを構成するラインの数は、２のＮ乗となる。例えば、分割レベル数が４の場合、ラインブロックを構成するラインの数は、２の４乗である１６となる。

なお、ウェーブレット変換処理によれば、周波数によるプログレッシブだけでなく、空間解像度によるプログレッシブ、ＳＮＲ（Signal to Noise Ratio）、すなわち画質によるプログレッシブ、あるいはカラー成分（ＲＧＢやＹＣｂＣｒ）によるプログレッシブ等、様々なプログレッション態様に応じた階層符号化（プログレッション符号化）が可能である。

このようなプログレッション符号化は、インターネットの画像配信等において多用される符号化であり、復号側において、例えば粗い画像データを先に出力し、順次、細かい画像を出力して表示するなどの段階的な復号表示処理を可能にするものである。

例えば、受信データ復号部４３は、まず低域の受信データを復号して、短時間でディスプレイ（図示せず）に粗い概略立体画像を表示させ、その後、高域の受信データを復号して、徐々に精細な立体画像を表示させることができる。

［受信データのデータフォーマットの説明］
図７は、撮影装置３１から受信される受信データのデータフォーマットを示す図である。

図７に示すように、受信データは、画像データと、その画像データに対応するラインブロック番号、チャネル番号、およびサブバンド番号により構成される。

なお、ラインブロック番号とは、画面内の各ラインブロックを識別するための番号である。また、チャネル番号とは、受信データのチャネルを特定するための番号であり、Ｌ画像データのチャネル番号とＲ画像データのチャネル番号は異なっている。従って、受信データのチャネル番号を検出することにより、その受信データに含まれる画像データがＬ画像データであるか、または、Ｒ画像データであるかを認識することができる。さらに、サブバンド番号とは、サブバンドを特定するための番号である。

［ラインベース補間部の構成例］
図８は、図３のラインベース補間部４２の構成例を示すブロック図である。

なお、図中、点線矢印は制御信号の流れを示し、実線矢印はデータの流れを示している。

図８のラインベース補間部４２は、受信データ解析部１０１、データ蓄積部１０２、Ｌ画像データ出力管理部１０３、Ｒ画像データ出力管理部１０４、およびラインベース複数データリンク管理部１０５、および画像データ入力切替部１０６（画像出力手段）により構成される。

ラインベース補間部４２の受信データ解析部１０１は、図３の受信データ分離部４１から供給される受信データを保持する。また、受信データ解析部１０１は、その受信データを解析し、その受信データに含まれるラインブロック番号を認識する。さらに、受信データ解析部１０１は、受信データを解析し、その受信データに含まれるチャネル番号に基づいて、受信データに含まれる画像データがＬ画像データであるか、またはＲ画像データであるかを認識する。受信データ解析部１０１は、受信データを解析し、受信データのパケットエラー数と到達時間を検出する。

さらに、受信データ解析部１０１は、受信データに含まれる画像データがＬ画像データである場合、その受信データのラインブロック番号、パケットエラー数、および到達時間を、Ｌ画像データ情報としてＬ画像データ出力管理部１０３に供給する。一方、受信データに含まれる画像データがＲ画像データである場合、受信データ解析部１０１は、その受信データのラインブロック番号、パケットエラー数、および到達時間をＲ画像データ出力管理部１０４に供給する。

さらに、受信データ解析部１０１は、Ｌ画像データ出力管理部１０３により指示されたラインブロック番号のＬ画像データを含む受信データ読み出すとともに、Ｒ画像データ出力管理部１０４により指示されたラインブロック番号のＲ画像データを含む受信データを読み出す。

また、受信データ解析部１０１（挿入手段）は、読み出された受信データに含まれるＬ画像データおよびＲ画像データのラインブロックの少なくとも一方にエラーが発生している場合、そのエラーが発生している部分に対応するＬ画像データおよびＲ画像データの部分に強制デコードデータを挿入する。そして、受信データ解析部１０１は、強制デコードデータが挿入された受信データを、画像データ入力切替部１０６に供給する。

なお、強制デコードデータは、例えば、画像フィルタを用いた前後のラインブロックの相関性の高い画像データからの推測などによって生成されてもよいし、中間色の画像データであってもよい。

データ蓄積部１０２は、１フィールド分の画像データの蓄積用の受信データ蓄積部１１１と補間データ蓄積部１１２により構成される。受信データ蓄積部１１１は、例えば、停止機能を有するバッファにより構成される。受信データ蓄積部１１１は、Ｌ画像データ出力管理部１０３からの指示とＲ画像データ出力管理部１０４からの指示に基づいて、受信データ分離部４１からの受信データを蓄積したり、蓄積を停止したりする。

補間データ蓄積部１１２は、受信データ蓄積部１１１に1フィールド分の受信データが蓄積された場合、その1フィールド分の受信データを読み出し、蓄積する。補間データ蓄積部１１２は、蓄積されている受信データのうちの、Ｌ画像データ出力管理部１０３により指示されたラインブロック番号を含む受信データと、Ｒ画像データ出力管理部１０４により指示されたラインブロック番号を含む受信データを読み出す。そして、補間データ蓄積部１１２は、読み出された受信データを補間データとして、画像データ入力切替部１０６に供給する。

Ｌ画像データ出力管理部１０３は、受信データ解析部１０１から供給されるＬ画像情報をラインベース複数データリンク管理部１０５に供給する。また、Ｌ画像データ出力管理部１０３は、ラインベース複数データリンク管理部１０５からの指令に基づいて、データ蓄積部１０２に蓄積を指令する。さらに、Ｌ画像データ出力管理部１０３は、ラインベース複数データリンク管理部１０５からの指令に応じて、所定のラインブロック番号を現在の読み出し対象のラインブロック番号として、データ蓄積部１０２と受信データ解析部１０１に指示する。

Ｒ画像データ出力管理部１０４は、受信データ解析部１０１から供給されるＲ画像情報をラインベース複数データリンク管理部１０５に供給する。また、Ｒ画像データ出力管理部１０４は、ラインベース複数データリンク管理部１０５からの指令に基づいて、データ蓄積部１０２に蓄積を指令する。さらに、Ｒ画像データ出力管理部１０４は、ラインベース複数データリンク管理部１０５からの指令に応じて、所定のラインブロック番号を現在の読み出し対象のラインブロック番号として、データ蓄積部１０２と受信データ解析部１０１に指示する。

ラインベース複数データリンク管理部１０５は、Ｌ画像情報とＲ画像情報をフィールドごとに管理するための管理テーブルを保持して管理する。ラインベース複数データリンク管理部１０５は、Ｌ画像データ出力管理部１０３から供給されるＬ画像情報と、Ｒ画像データ出力管理部１０４から供給されるＲ画像情報を管理テーブルに登録する。また、ラインベース複数データリンク管理部１０５は、管理テーブルに基づいて、ラインブロック単位で画像データ入力切替部１０６に選択を指示する。

また、ラインベース複数データリンク管理部１０５は、図３の受信データ復号部４３から供給されるデコード情報に基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に読み出しを指示する。さらに、ラインベース複数データリンク管理部１０５は、例えば管理テーブルに基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に蓄積を指示する。

画像データ入力切替部１０６は、ラインベース複数データリンク管理部１０５の指示に応じて、受信データ解析部１０１から供給される受信データと、データ蓄積部１０２から供給される補間データのうちのいずれか一方を選択し、補間後データとして図３の受信データ復号部４３に出力する。

なお、受信データ解析部１０１およびデータ蓄積部１０２において記憶される受信データは、全サブバンド分の受信データであってもよいし、最低域成分から数サブバンド分の受信データであってもよい。後者の場合には、受信データを記憶するために必要な記憶容量が少なくて済む。また、補間後データに基づいて表示される画像において、パケットエラーを認識しにくくすることができる。

[管理テーブルの例]
図９は、管理テーブルの例を示す図である。

図９に示すように、管理テーブルには、「ラインブロック番号」、「Ｌの到達時間」、「Ｒの到達時間」、「到達時間の閾値（第３の閾値）」、「Ｌのパケットエラー数」、「Ｒのパケットエラー数」、「パケットエラー数の閾値（第１の閾値）」、および「出力」という項目が設けられている。そして、各フィールドのラインブロックごとに、各項目に対応する情報が登録される。

図９の例では、所定のフィールドのラインブロック番号「１」のラインブロックの情報として、項目「ラインブロック番号」に対応付けて「１」が登録され、項目「Ｌの到達時間」に対応付けて、そのラインブロック番号「１」のラインブロックのＬ画像データの到達時間「１０」が登録されている。また、項目「Ｒの到達時間」に対応付けてラインブロック番号「１」のラインブロックのＲ画像データの到達時間「１２」が登録され、項目「到達時間の閾値」に対応付けて到達時間の閾値「１３」が登録されている。

また、項目「Ｌのパケットエラー数」に対応付けてラインブロック番号「１」のラインブロックのＬ画像データのパケットエラー数「２」が登録され、項目「Ｒのパケットエラー数」に対応付けてラインブロック番号「１」のラインブロックのＲ画像データのパケットエラー数「０」が登録される。さらに、項目「パケットエラー数の閾値」に対応付けてパケットエラー数の閾値「２」が対応付けられている。

項目「出力」に対応する情報としては、図３の受信データ復号部４３に出力するデータ、即ち画像データ入力切替部１０６により選択されるデータを表す情報が登録される。具体的には、Ｌ画像データおよびＲ画像データの到達時間およびパケットエラー数が閾値より小さい場合には、「受信データ」が登録され、それ以外の場合には、「補間データ」が登録される。

例えば、ラインブロック番号「１」のラインブロックのＬ画像データおよびＲ画像データの到達時間は、それぞれ、到達時間の閾値「１３」より小さいが、Ｌ画像データのパケットエラー数がパケットエラー数の閾値「２」以上である。従って、ラインブロック番号「１」の項目「出力」に対応する情報としては、「補間データ」が登録される。

なお、項目「到達時間の閾値」および「パケットエラー数の閾値」に対応する情報は、予め登録されていてもよいし、ユーザの指示により登録されるようにしてもよい。

[中継器の処理の説明]
図１０は、図３の中継器３２による管理テーブル更新処理を説明するフローチャートである。

図１０のステップＳ１０において、物理層コントロール部１６は、物理層Rx２０（受信手段）によるパケットの受信を制御する。これにより、撮影装置３１から送信されてきたパケットが、アンテナ１９、送受信切替部１８、および物理層Tx１７を介して受信され、受信データ分離部４１に供給する。

ステップＳ１１において、受信データ分離部４１は、受信されたパケットを解析して、画像アプリ管理部１１で必要なラインブロック単位の画像データを含むデータを抽出し、受信データとしてラインベース補間部４２に出力する。

ステップＳ１２において、ラインベース補間部４２の受信データ解析部１０１とデータ蓄積部１０２（図８）は、受信データ分離部４１から供給される受信データを取得する。そして、受信データ解析部１０１は、受信データを保持する。

ステップＳ１３において、受信データ解析部１０１は、受信データを解析する。その結果、受信データ解析部１０１は、受信データのラインブロック番号と、受信データに含まれる画像データがＬ画像データであるか、またはＲ画像データであるかを認識する。また、受信データ解析部１０１は、受信データのパケットエラー数と到達時間を検出する。

受信データ解析部１０１は、受信データがＬ画像データである場合、その受信データのラインブロック番号、パケットエラー数、および到達時間を、Ｌ画像データ情報としてＬ画像データ出力管理部１０３を介して、ラインベース複数データリンク管理部１０５に供給する。一方、受信データがＲ画像データである場合、受信データ解析部１０１は、その受信データのラインブロック番号、パケットエラー数、および到達時間を、Ｒ画像データ出力管理部１０４を介して、ラインベース複数データリンク管理部１０５に供給する。

ステップＳ１４において、ラインベース複数データリンク管理部１０５は、Ｌ画像データ出力管理部１０３から供給されるＬ画像データ情報、および、Ｒ画像データ出力管理部１０４から供給されるＲ画像データ情報に基づいて、管理テーブルを更新する。そして、処理は終了する。

図１１は、図３の中継器３２による補間データ蓄積処理を説明するフローチャートである。この補間データ蓄積処理は、例えば、各ラインブロックを処理対象として、ラインブロックごとに行われる。

ステップＳ２１において、ラインベース複数データリンク管理部１０５は、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データの両方にエラーが発生していないかどうかを判定する。具体的には、ラインベース複数データリンク管理部１０５は、管理テーブル内の処理対象のラインブロックのラインブロック番号に対応する項目「Ｌのパケットエラー数」および「Ｒのパケットエラー数」に対応する値が、両方とも所定の閾値（第２の閾値）より小さいかどうかを判定する。なお、この閾値は、項目「パケットエラー数の閾値」に対応する値と同一であってもよいし、異なっていてもよい。

そして、項目「Ｌのパケットエラー数」および「Ｒのパケットエラー数」に対応する値が、両方とも所定の閾値より小さいと判定された場合、ラインベース複数データリンク管理部１０５は、処理対象のラインブロックのＬ画像データとＲ画像データの両方にエラーが発生していないと判定する。一方、項目「Ｌのパケットエラー数」および「Ｒのパケットエラー数」に対応する値の少なくとも一方が、所定の閾値以上であると判定された場合、ラインベース複数データリンク管理部１０５は、処理対象のラインブロックのＬ画像データとＲ画像データの少なくとも一方にエラーが発生していると判定する。

ステップＳ２１で処理対象のラインブロックのＬ画像データとＲ画像データの両方にエラーが発生していないと判定された場合、処理はステップＳ２２に進む。

ステップＳ２２において、ラインベース複数データリンク管理部１０５は、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データの両方が存在するかどうかを判定する。具体的には、ラインベース複数データリンク管理部１０５は、管理テーブル内の処理対象のラインブロックのラインブロック番号に対応する項目「Ｌの到達時間」および「Ｒの到達時間」に対応する値が、所定の閾値（第４の閾値）より小さいかどうかを判定する。この閾値は、項目「到達時間の閾値」に対応する値と同一であってもよいし、異なっていてもよい。

そして、項目「Ｌの到達時間」および「Ｒの到達時間」に対応する値が所定の閾値より小さいと判定された場合、ラインベース複数データリンク管理部１０５は、処理対象のラインブロックのＬ画像データとＲ画像データの両方が存在すると判定する。一方、項目「Ｌの到達時間」および「Ｒの到達時間」に対応する値の少なくとも一方が、所定の閾値以上であると判定された場合、ラインベース複数データリンク管理部１０５は、処理対象のラインブロックのＬ画像データとＲ画像データの少なくとも一方は存在しないと判定する。

ステップＳ２２で処理対象のラインブロックのＬ画像データとＲ画像データの両方が存在すると判定された場合、ラインベース複数データリンク管理部１０５は、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に処理対象のラインブロックの蓄積を指示する。これにより、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４は、それぞれ、処理対象のラインブロックの蓄積を受信データ蓄積部１１１に指示する。

そして、ステップＳ２３において、受信データ蓄積部１１１は、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４からの指示に応じて、処理対象のラインブロックのＬ画像データとＲ画像データを補間データとして蓄積する。なお、補間データのパケットエラー数が０ではない場合、受信データ解析部１０１の処理と同様の処理により、補間データに強制デコードデータが挿入されるようにしてもよい。

ステップＳ２４において、補間データ蓄積部１１２は、１フィールド分のラインブロックのＬ画像データとＲ画像データが受信データ蓄積部１１１に蓄積されたかどうかを判定する。ステップＳ２４で１フィールド分のラインブロックのＬ画像データとＲ画像データが蓄積されたと判定された場合、ステップＳ２５において、補間データ蓄積部１１２は、受信データ蓄積部１１１に蓄積されている１フィールド分のラインブロックのＬ画像データとＲ画像データを補間データとして蓄積する。そして、処理は終了する。

一方、ステップＳ２４で１フィールド分のラインブロックのＬ画像データとＲ画像データが受信データ蓄積部１１１に蓄積されていないと判定された場合、処理は終了する。

また、ステップＳ２１で処理対象のラインブロックのＬ画像データとＲ画像データの少なくとも一方にエラーが発生していると判定された場合、または、ステップＳ２２で処理対象のラインブロックのＬ画像データとＲ画像データの少なくとも一方が存在しないと判定された場合、処理対象のラインブロックのＬ画像データとＲ画像データは蓄積されず、処理は終了する。

以上のような補間データ蓄積処理によれば、Ｌ画像データとＲ画像データの少なくとも一方にエラーが発生しているか、または、Ｌ画像データとＲ画像データの少なくとも一方が存在しない場合、Ｌ画像データとＲ画像データの両方が補間データとして蓄積されない。従って、蓄積されている補間データにおいては、Ｌ画像データとＲ画像データの同期がとられている。その結果、受信データの代わりに補間データが復号される場合であっても、再生画像の立体感は損なわれない。即ち、立体感が失われていない高画質な立体画像を再生することができる。

図１２は、図３の中継器３２による補間データ読み出し処理を説明するフローチャートである。この補間データ読み出し処理は、例えば、図３の受信データ復号部４３により復号処理が開始されたとき、開始される。

図１２のステップＳ３１において、ラインベース複数データリンク管理部１０５は、受信データ復号部４３からデコード情報を取得する。

ステップＳ３２において、ラインベース複数データリンク管理部１０５は、デコード情報に含まれるＬ画像データとＲ画像データの欠落率の少なくとも一方が閾値を超えているかどうかを判定する。この閾値としては、中継器３２に適した値が予め設定される。

ステップＳ３２でＬ画像データとＲ画像データの欠落率の少なくとも一方が閾値を超えていると判定された場合、ステップＳ３３において、ラインベース複数データリンク管理部１０５は、デコード情報に含まれる現在のデコード対象のラインブロック番号を認識する。そして、ラインベース複数データリンク管理部１０５は、そのラインブロック番号をＬ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４を介して、補間データ蓄積部１１２に指示する。

ステップＳ３４において、補間データ蓄積部１１２は、Ｌ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４から指示されたラインブロック番号のラインブロックの補間データを読み出して、画像データ入力切替部１０６に供給する。そして、処理は終了する。

一方、ステップＳ３２でＬ画像データとＲ画像データの欠落率が両方とも閾値を超えていないと判定された場合、処理は終了する。

図１３は、図３の中継器３２による切替処理を説明するフローチャートである。この切替処理は、各ラインブロックを処理対象として、ラインブロックごとに行われる。

図１３のステップＳ４１において、ラインベース複数データリンク管理部１０５は、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データの両方のパケットエラー数が閾値より小さいかどうかを判定する。具体的には、ラインベース複数データリンク管理部１０５は、管理テーブル内の処理対象のラインブロックのラインブロック番号に対応する項目「Ｌのパケットエラー数」および「Ｒのパケットエラー数」に対応する値が、両方とも項目「パケットエラー数の閾値」に対応する閾値より小さいかどうかを判定する。

ステップＳ４１でＬ画像データとＲ画像データの両方のパケットエラー数が閾値より小さいと判定された場合、処理はステップＳ４２に進む。

ステップＳ４２において、ラインベース複数データリンク管理部１０５は、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データの両方の到達時間が閾値より小さいかどうかを判定する。具体的には、ラインベース複数データリンク管理部１０５は、管理テーブル内の処理対象のラインブロックのラインブロック番号に対応する項目「Ｌの到達時間」および「Ｒの到達時間」に対応する値が、両方とも項目「到達時間の閾値」に対応する閾値より小さいかどうかを判定する。

ステップＳ４２でＬ画像データとＲ画像データの両方の到達時間が閾値より小さいと判定された場合、ラインベース複数データリンク管理部１０５は、受信データの選択を画像データ入力切替部１０６に指示する。そして、ステップＳ４３において、画像データ入力切替部１０６は、受信データ解析部１０１からの受信データを出力し、処理を終了する。

一方、ステップＳ４１でＬ画像データとＲ画像データの少なくとも一方のパケットエラー数が閾値より小さくはないと判定された場合、または、ステップＳ４２でＬ画像データとＲ画像データの少なくとも一方の到達時間が閾値より小さくはないと判定された場合、ラインベース複数データリンク管理部１０５は、補間データの選択を画像データ入力切替部１０６に指示する。

そして、ステップＳ４４において、画像データ入力切替部１０６は、補間データ蓄積部１１２からの補間データを出力し、処理を終了する。

以上のような切替処理により、ラインブロックごとに復号対象とするデータを、受信データおよび補間データの一方から他方に切り替えることができる。従って、１フィールドの途中のラインブロックでエラーが発生しても、そのラインブロックにおいて補間データを用いることができるので、再生画像の安定性が向上する。

なお、１フィールドの途中のラインブロックで補間データが用いられる場合、１フィールド内の所定のラインブロックに対応する画像だけが前のフィールドのラインブロックに対応する画像になることになるが、フィールドまたはフレームの間隔が２４Ｐ以上の動画であれば、表示上の問題はない。但し、表示上の問題については、通信システム３０に求められる仕様次第であり、通信システム３０におけるフィールドまたはフレームの間隔は必ずしも２４Ｐ以上である必要はない。

［中継器の処理の他の例の説明］
図１４は、図３の中継器３２による補間データ蓄積処理の他の例を説明するフローチャートである。この補間データ蓄積処理は、例えば、各ラインブロックを処理対象として、ラインブロックごとに行われる。

図１４の補間データ蓄積処理では、全ての受信データが、図８の受信データ蓄積部１１１に蓄積される。

具体的には、図１４のステップＳ５１において、受信データ蓄積部１１１は、ラインベース複数データリンク管理部１０５から、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４を介して供給される処理対象のラインブロックの蓄積の指示に基づいて、処理対象のラインブロックのＬ画像データとＲ画像データを蓄積する。

ステップＳ５２およびＳ５３の処理は、図１０のステップＳ２４およびＳ２５の処理と同様であるので、説明は省略する。

図１５は、図１４の補間データ蓄積処理が行われる場合の、補間データ読み出し処理を説明するフローチャートである。この補間データ読み出し処理は、例えば、図３の受信データ復号部４３により復号処理が開始されたとき、開始される。

図１５の補間データ読み出し処理は、現在のデコード対象のラインブロックのＬ画像データとＲ画像データのパケットエラー数および到達時間が閾値より小さい場合にのみ、補間データが読み出される。

具体的には、図１５のステップＳ７１およびＳ７２において、図１２のステップＳ３１およびＳ３２と同様の処理が行われる。そして、ステップＳ７３において、ラインベース複数データリンク管理部１０５は、デコード情報に含まれる現在のデコード対象のラインブロック番号を認識する。

ステップＳ７４において、ラインベース複数データリンク管理部１０５は、図１１のステップＳ２１の処理と同様に、管理テーブルを参照して、現在のデコード対象のラインブロックのＬ画像データとＲ画像データの両方にエラーが発生していないかどうかを判定する。

ステップＳ７４で現在のデコード対象のラインブロックのＬ画像データとＲ画像データの両方にエラーが発生していないと判定された場合、処理はステップＳ７５に進む。

ステップＳ７５において、ラインベース複数データリンク管理部１０５は、図１１のステップＳ２２の処理と同様に、管理テーブルを参照して、現在のデコード対象のラインブロックのＬ画像データとＲ画像データの両方が存在するかどうかを判定する。

ステップＳ７５で現在のデコード対象のラインブロックのＬ画像データとＲ画像データの両方が存在すると判定された場合、ラインベース複数データリンク管理部１０５は、ステップＳ７３で認識したラインブロック番号をＬ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４を介して、補間データ蓄積部１１２に指示する。そして、処理はステップＳ７６に進む。

ステップＳ７６において、補間データ蓄積部１１２は、Ｌ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４から指示されたラインブロック番号のラインブロックの補間データを読み出して、画像データ入力切替部１０６に供給する。そして、処理は終了する。

一方、ステップＳ７４で現在のデコード対象のラインブロックのＬ画像データとＲ画像データの少なくとも一方にエラーが発生していると判定された場合、または、ステップＳ７５で現在のデコード対象のラインブロックのＬ画像データとＲ画像データの少なくとも一方が存在しないと判定された場合、現在のデコード対象のラインブロックのＬ画像データとＲ画像データは読み出されず、処理は終了する。

以上のように、通信システム３０では、撮影装置３１が画像データをラインベース・コーデックで符号化して送信し、その画像データのパケットエラー数や到達時間が閾値以上となる場合には、中継器３２が再送要求を行わずに補間データによる補間を行う。従って、中継器３２は、低遅延で立体画像データを再生することができる。また、撮影装置３１が画像データをラインベース・コーデックで符号化して送信するので、中継器３２において復号処理のために必要な記憶容量が、ピクチャベース・コーデックに比べて少なくて済む。

また、通信システム３０では、中継器３２が、受信データとしてのＬ画像データとＲ画像データの両方のパケットエラー数および到達時間が閾値より小さくない場合、受信データの代わりに、Ｌ画像データとＲ画像データの両方のパケットエラー数および到達時間が閾値より小さい補間データを再生する。従って、通信環境が、伝送路のジッタ等によって送信側の立体画像データが全て受信側へ到達しない、または、伝送路による遅延量が大きいような悪環境である場合であっても、高画質な立体画像データを再生することができる。

このように、通信システム３０では、高画質な立体画像データを低遅延で再生することができるので、通信システム３０は、例えば、ライブ中継の核技術であるリアルタイム画像に対する高速なスイッチャ処理に適している。

＜第２実施の形態＞
［通信システムの第２実施の形態の構成例］
図１６は、本発明を適用した通信システムの第２実施の形態の構成例を示すブロック図である。

図１６の通信システム１２０は、２台の撮影装置１２１Ａおよび撮影装置１２１Ｂ、並びに、中継器１２２により構成される。

通信システム１２０の撮影装置１２１Ａは、図２の撮影装置３１Ａと同様に、ビデオカメラ等により構成される。撮影装置１２１Ａは、撮影装置３１Ａと同様に、被写体を撮影し、その結果得られる画像データをラインベース・コーデックで圧縮する。そして、撮影装置１２１Ａは、撮影装置３１Ａと同様に、圧縮された画像データをＬ画像データとして、中継器１２２に無線で送信する。また、撮影装置１２１Ａは、中継器１２２から送信されてくる画像データ、符号化レートの変更を要求するためのコマンド（以下、変更要求コマンドという）等を無線で受信する。撮影装置１２１Ａは、変更要求コマンドに応じて、符号化レートを変更する。

撮影装置１２１Ｂは、図２の撮影装置３１Ｂと同様に、ビデオカメラ等により構成される。撮影装置１２１Ｂは、撮影装置３１Ｂと同様に、撮影装置１２１Ａと異なる視点で被写体を撮影し、その結果得られる画像データをラインベース・コーデックで圧縮する。そして、撮影装置１２１Ｂは、撮影装置３１Ｂと同様に、圧縮された画像データをＲ画像データとして、中継器１２２に無線で送信する。また、撮影装置１２１Ｂは、中継器１２２から送信されてくる画像データ、変更要求コマンド等を無線で受信する。撮影装置１２１Ｂは、変更要求コマンドに応じて、符号化レートを変更する。

なお、以下では、撮影装置１２１Ａと撮影装置１２１Ｂを特に区別する必要がない場合、それらをまとめて撮影装置１２１という。

中継器１２２は、図２の中継器３２と同様に、例えば、PCにより構成される。中継器１２２は、中継器３２と同様に、撮影装置１２１Ａから送信されてくるＬ画像データと、撮影装置１２１Ｂから送信されてくるＲ画像データを無線で受信する。中継器１２２は、中継器３２と同様に、受信されたＬ画像データとＲ画像データをラインベース・コーデックに対応する方式で復号し、復号の結果得られるＬ画像データとＲ画像データに基づいて、立体画像を表示する。

また、中継器１２２は、受信されたＬ画像データの欠落率に基づいて、変更要求コマンドを撮影装置１２１Ａに送信する。中継器１２２は、受信されたＲ画像データの欠落率に基づいて、変更要求コマンドを撮影装置１２１Ｂに送信する。さらに、中継器１２２は、中継器３２と同様に、所定の画像データを撮影装置１２１に送信する。

なお、撮影装置１２１および中継器１２２は、ピア・ツー・ピアで動作させることもできるし、ネットワークの一部として動作させることもできる。

［撮影装置の構成例］
図１７は、図１６の撮影装置１２１の構成例を示すブロック図である。

図１７に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１７の撮影装置１２１の構成は、主に、送信データ圧縮部１２の代わりに送信データ圧縮部１５１が設けられている点、受信データ分離部２１の代わりに受信データ分離部１５２が設けられている点、画像復号部２２、補間データ蓄積部２３、および画像データ入力切換部２４が設けられていない点、および受信データ復号部２５の代わりに受信データ復号部１５３が設けられている点が、図１の構成と異なる。

撮影装置１２１は、中継器１２２から変更要求コマンドを受信し、その変更要求コマンドに応じて符号化レートを変更する。

具体的には、撮影装置１２１の送信データ圧縮部１５１は、画像アプリ管理部１１から供給された画像データを、所定の符号化レートで、ラインベース・コーデックで圧縮し、その画像データのデータ量を削減する。そして、送信データ圧縮部１５１は、圧縮された画像データを送信メモリ１３に出力する。また、送信データ圧縮部１５１は、受信データ分離部１５２から供給される符号化レートで、画像データの圧縮における符号化レートを更新する。

受信データ分離部１５２は、物理層Rx２０から供給されたパケットを解析して、画像アプリ管理部１１で必要なラインブロック単位の画像データを含むデータを抽出し、受信データとして受信データ復号部１５３に供給する。受信データ分離部１５２は、物理層Rx２０から供給されたパケットを解析して、変更要求コマンドを抽出し、その変更要求コマンドによって要求される符号化レートを送信データ圧縮部１５１に供給する。

また、受信データ分離部１５２は、図１の受信データ分離部２１と同様に、物理層Rx２０から供給されたパケットを解析し、ルーティングテーブル等の情報に応じて、他の端末への送信が必要な転送データを抽出する。そして、受信データ分離部１５２は、受信データ分離部２１と同様に、その転送データを送信メモリ１３に供給する。さらに、受信データ分離部１５２は、受信データ分離部２１と同様に、パケットから送受信制御部１４に必要な情報を抽出し、送受信制御部１４に供給する。

受信データ復号部１５３は、受信データ分離部１５２から供給される受信データをラインベース・コーデックに対応する方式で復号し、その結果得られる画像データを画像アプリ管理部１１に供給する。

なお、撮影装置１２１は、受信データ分離部１５２と受信データ復号部１５３の間に、上述した特許文献１に記載されているラインベース補間部を設け、中継器１２２から送信されてくる画像データの補間処理を行うようにしてもよい。

［撮影装置の処理の説明］
図１８は、図１７の撮影装置１２１による符号化制御処理を説明するフローチャートである。この符号化制御処理は、例えば、画像アプリ管理部１１から送信データ圧縮部１５１に画像データが供給されたとき、開始される。

ステップＳ１００において、送信データ圧縮部１５１は、画像アプリ管理部１１から供給された画像データを、所定の符号化レートで、ラインベース・コーデックで圧縮する符号化処理を初期化し、符号化処理を開始する。

ステップＳ１０１において、受信データ分離部１５２は、物理層Rx２０から供給されたパケットを解析して、変更要求コマンドが受信されたかどうかを判定する。

ステップＳ１０１で変更要求コマンドが受信されたと判定された場合、受信データ分離部１５２は、その変更要求コマンドによって要求される符号化レートを送信データ圧縮部１５１に供給する。そして、ステップＳ１０２において、送信データ圧縮部１５１は、符号化処理における符号化レートとして、受信データ分離部１５２から供給される符号化レートを設定する。

ステップＳ１０３において、送信データ圧縮部１５１は、符号化処理をリセットする。これにより、符号化レートの変更によって生じる入力クロックの変更等に対応することができる。

ステップＳ１０４において、送信データ圧縮部１５１は、変更後の符号化レートでの符号化処理を開始する。そして、処理はステップＳ１０５に進む。

一方、ステップＳ１０１で変更要求コマンドが受信されていないと判定された場合、処理はステップＳ１０５に進む。

ステップＳ１０５において、送信データ圧縮部１５１は、符号化処理を終了するかどうか、例えば画像データが画像アプリ管理部１１から供給されなくなったかどうかを判定する。ステップＳ１０５で符号化処理を終了しないと判定された場合、処理はステップＳ１０１に戻り、符号化処理を終了すると判定されるまで、ステップＳ１０１乃至Ｓ１０５の処理が繰り返される。

一方、ステップＳ１０５で符号化処理を終了すると判定された場合、送信データ圧縮部１５１は符号化処理を終了する。

[中継器の構成例]
図１９は、図１６の中継器１２２の構成例を示すブロック図である。

図１９に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１９の中継器１２２の構成は、主に、送信メモリ１３の代わりに送信メモリ１７１が設けられている点、およびラインベース補間部４２の代わりにラインベース補間部１７２が設けられている点が、図３の構成と異なる。

中継器１２２において、送信メモリ１７１は、図１や図３の送信メモリ１３と同様に、送信データ圧縮部１２から入力された画像データを蓄積する。また、送信メモリ１７１は、送信メモリ１３と同様に、受信データ分離部２１から供給される転送データを蓄積する。送信メモリ１７１は、送信メモリ１３と同様に、データの蓄積状況を送受信制御部１４に通知する。

また、送信メモリ１７１は、ラインベース補間部１７２から供給される撮影装置１２１Ａへの変更要求コマンドや撮影装置１２１Ｂへの変更要求コマンドを蓄積する。この撮影装置１２１Ａへの変更要求コマンドは、画像データや受信データと同様に送信データ生成部１５に供給されてパケット化され、物理層Ｔｘ１７、送受信切替部１８、およびアンテナ１９を介して、撮影装置１２１Ａに送信される。同様に、撮影装置１２１Ｂへの変更要求コマンドは、撮影装置１２１Ｂに送信される。

ラインベース補間部１７２は、図３のラインベース補間部４２と同様に、受信データ分離部４１から供給される受信データに対して補間処理を行う。また、ラインベース補間部１７２は、受信データ復号部４３から供給されるデコード情報に含まれる欠陥率に基づいて、撮影装置１２１への変更要求コマンドを生成し、送信メモリ１７１に供給する。なお、ラインベース補間部１７２の詳細については、後述する図２０を参照して説明する。

[ラインベース補間部の構成例]
図２０は、図１９のラインベース補間部１７２の構成例を示すブロック図である。

図２０に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２０のラインベース補間部１７２の構成は、主に、ラインベース複数データリンク管理部１０５、画像データ入力切替部１０６の代わりに、ラインベース複数データリンク管理部１９１、画像データ入力切替部１９２が設けられている点、および新たに画像レート変更要求部１９３が設けられている点が、図８の構成と異なる。

図２０のラインベース補間部１７２において、ラインベース複数データリンク管理部１９１は、図８のラインベース複数データリンク管理部１０５と同様に、管理テーブルを保持して管理する。ラインベース複数データリンク管理部１９１は、ラインベース複数データリンク管理部１０５と同様に、Ｌ画像データ出力管理部１０３から供給されるＬ画像情報と、Ｒ画像データ出力管理部１０４から供給されるＲ画像情報を管理テーブルに登録する。また、ラインベース複数データリンク管理部１９１は、ラインベース複数データリンク管理部１０５と同様に、管理テーブルに基づいて、ラインブロック単位で画像データ入力切替部１０６に選択を指示する。

また、ラインベース複数データリンク管理部１０５は、ラインベース複数データリンク管理部１０５と同様に、図１９の受信データ復号部４３から供給されるデコード情報に基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に読み出しを指示する。さらに、ラインベース複数データリンク管理部１９１は、ラインベース複数データリンク管理部１０５と同様に、例えば管理テーブルに基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に蓄積を指示する。

また、ラインベース複数データリンク管理部１９１は、デコード情報に基づいて、撮影装置１２１Ａや撮影装置１２１Ｂへの変更要求コマンドの送信を画像データ入力切替部１９２に指示する。

画像データ入力切替部１９２は、図８の画像データ入力切替部１０６と同様に、ラインベース複数データリンク管理部１０５の指示に応じて、受信データ解析部１０１から供給される受信データと、データ蓄積部１０２から供給される補間データのうちのいずれか一方を選択し、補間後データとして図１９の受信データ復号部４３に出力する。

また、画像データ入力切替部１９２は、ラインベース複数データリンク管理部１９１からの指示に応じて、撮影装置１２１Ａや撮影装置１２１Ｂへの変更要求コマンドの送信を画像レート変更要求部１９３に指示する。

画像レート変更要求部１９３は、画像データ入力切替部１９２からの指示に応じて撮影装置１２１Ａや撮影装置１２１Ｂへの変更要求コマンドを生成し、図１９の送信メモリ１７１に供給する。

[中継器の処理の説明]
図２１は、図１９の中継器１２２による補間データ読み出し処理を説明するフローチャートである。この補間データ読み出し処理は、例えば、図１９の受信データ復号部４３により復号処理が開始されたとき、開始される。なお、中継器１２２は、図１１の補間データ蓄積処理を行うものとする。

ステップＳ１２１において、ラインベース複数データリンク管理部１９１は、受信データ復号部４３からデコード情報を取得する。

ステップＳ１２２において、ラインベース複数データリンク管理部１９１は、デコード情報に含まれるＬ画像データとＲ画像データの欠落率の少なくとも一方が予め設定された閾値を超えているかどうかを判定する。即ち、ラインベース複数データリンク管理部１９１は、補間後データとしてのＬ画像データとＲ画像データのパケットエラー数の少なくとも一方が所定の閾値（第３の閾値）を超えているかどうかを判定する。

ステップＳ１２２でＬ画像データとＲ画像データの欠落率の少なくとも一方が予め設定された閾値を超えていると判定された場合、ステップＳ１２３において、ラインベース複数データリンク管理部１９１は、デコード情報に含まれる現在のデコード対象のラインブロック番号を認識する。そして、ラインベース複数データリンク管理部１９１は、そのラインブロック番号をＬ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４を介して、補間データ蓄積部１１２に指示する。

ステップＳ１２４において、補間データ蓄積部１１２は、Ｌ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４から指示されたラインブロック番号のラインブロックの補間データを読み出して、画像データ入力切替部１０６に供給する。

ステップＳ１２５において、ラインベース複数データリンク管理部１９１は、撮影装置１２１Ａや撮影装置１２１Ｂへの変更要求コマンドの送信を、画像データ入力切替部１９２を介して画像レート変更要求部１９３に指示する。具体的には、Ｌ画像データの欠落率が閾値を超えている場合には、ラインベース複数データリンク管理部１９１は、撮影装置１２１Ａへの変更要求コマンドの送信を指示し、Ｒ画像データの欠落率が閾値を超えている場合には、撮影装置１２１Ｂへの変更要求コマンドの送信を指示する。

なお、ラインベース複数データリンク管理部１９１は、所定の変更幅の変更要求コマンドの送信を指示するようにしてもよいし、欠落率に応じた変更幅の変更要求コマンドの送信を指示するようにしてもよい。

ステップＳ１２６において、画像レート変更要求部１９３は、ラインベース複数データリンク管理部１９１から画像データ入力切替部１９２を介して供給される指示に応じて、撮影装置１２１への変更要求コマンドを生成する。そして、画像レート変更要求部１９３は、その変更要求コマンドを図１９の送信メモリ１７１に供給して蓄積させる。

ステップＳ１２７において、送信データ生成部１５は、送信メモリ１７１に蓄積されている撮影装置１２１の変更要求コマンドをパケット化し、物理層Ｔｘ１７、送受信切替部１８、およびアンテナ１９を介して、撮影装置１２１に送信する。

ステップＳ１２８において、受信データ復号部４３は、復号処理のリセットが必要であるかどうかを判定する。

具体的には、一般的に、符号化レートが途中で変化すると、復号タイミングが変化するため、復号処理をリセットする必要がある。しかしながら、符号化レートの変化が小さい場合には、復号処理をリセットする必要がない場合がある。そこで、ステップＳ１２８では、受信データ復号部４３は、例えば、符号化レートの変化が所定の閾値より大きいかどうかを判定し、符号化レートの変化が所定の閾値より大きい場合、復号処理のリセットが必要であると判定する。一方、符号化レートの変化が所定の閾値より大きくはない場合、復号処理のリセットが必要ではないと判定する。

ステップＳ１２８で復号処理のリセットが必要であると判定された場合、ステップＳ１２９において、受信データ復号部４３は、復号処理をリセットする。そして、処理はステップＳ１３０に進む。

一方、ステップＳ１２８で復号処理のリセットが必要ではないと判定された場合、処理はステップＳ１２９をスキップし、ステップＳ１３０に進む。

ステップＳ１３０において、ラインベース複数データリンク管理部１９１は、デコード情報を取得し、そのデコード情報に含まれるＬ画像データとＲ画像データの欠落率が両方とも閾値以下になったかどうかを判定する。

ステップＳ１３０でＬ画像データとＲ画像データの欠落率が両方とも閾値以下になっていないと判定された場合、処理はステップＳ１２３に戻る。そして、Ｌ画像データとＲ画像データの欠落率が両方とも閾値以下になるまで、ステップＳ１２３乃至Ｓ１３０の処理が繰り返され、変更後の符号化レートが前回と異なる変更要求コマンドが生成される。

なお、ステップＳ１３０でＬ画像データとＲ画像データの欠落率が両方とも閾値以下になっていないと判定された場合であっても、変更後の符号化レートが最低値となるように変更要求コマンドが生成されているときには、変更要求コマンドに代えて通信悪化を通知する情報が撮影装置１２１に送信され、処理は終了する。

一方、ステップＳ１３０でＬ画像データとＲ画像データの欠落率が両方とも閾値以下になったと判定された場合、または、ステップＳ１２２でＬ画像データとＲ画像データの欠落率が両方とも予め設定された閾値を超えていないと判定された場合、処理は終了する。

以上のように、中継器１２２は、Ｌ画像データとＲ画像データの少なくとも一方の欠落率が閾値を越えている場合に、その一方に対応する撮影装置１２１Ａまたは撮影装置１２１Ｂへ変更要求コマンドを送信する。これにより、Ｌ画像データとＲ画像データの少なくとも一方の符号化レートが変更されるので、Ｌ画像データとＲ画像データの少なくとも一方の伝搬環境が悪化した場合であっても、立体画像データを安定して再生することができる。

なお、図２１の補間データ読み出し処理は、図１２の補間データ読み出し処理に対応するもの、即ち図１１の補間データ蓄積処理が行われる場合の補間読み出し処理であるが、図１４の補間データ蓄積処理が行われる場合の補間読み出し処理も、図１５のステップＳ７４およびＳ７５の処理がステップＳ１２３とステップＳ１２４の間で行われる点を除いて図２１の補間データ読み出し処理と同様である。

また、中継器１２２による管理テーブル更新処理および切替処理は、それぞれ、図１０の管理テーブル更新処理および図１３の切替処理と同様であるので、説明は省略する。

さらに、第２実施の形態では、符号化レートが変更されるものとしたが、符号化レートではなく、ラインベース・コーデックにおける構造化レベル、即ち周波数成分等の他の符号化に関する情報が変更されるようにしてもよい。また、符号化レートと構造化レベルの両方が変更されるようにしてもよい。さらに、符号化レートではなく、通信レート等の通信に関する情報が変更されるようにしてもよい。この場合、撮影装置１２１の送信データ生成部１５が、通信レートを変更するように動作する。

また、符号化レートは、より低くなるように変更されてもよいし、より高くなるように変更されてもよい。

＜第３実施の形態＞
［通信システムの第１実施の形態の構成例］
図２２は、本発明を適用した通信システムの第３実施の形態の構成例を示すブロック図である。

図２２に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２２の通信システム２００の構成は、主に、撮影装置３１Ａの代わりに撮影装置２０１Ａが設けられている点、および中継器３２の代わりに中継器２０２が設けられている点が、図２の構成と異なる。

通信システム２００では、Ｌ画像データだけでなく、Ｌ画像データとともに取得された音声データが、中継器２０２に無線で送信される。

具体的には、通信システム２００において、撮影装置２０１Ａは、図２の撮影装置３１Ａと同様に、例えば、ビデオカメラにより構成される。撮影装置２０１Ａは、被写体を撮影するとともに、周囲の音声を取得する。そして、撮影装置２０１Ａは、撮影装置３１Ａと同様に、撮影の結果得られる画像データをラインベース・コーデックで圧縮する。また、撮影装置２０１Ａは、取得された音声のアナログ信号をPCM（Pulse Code Modulation）データに変換し、MP3（Moving Picture Experts Group Audio Layer-3），WMA（Windows Media Audio），RealAudio，ATRAC（Adaptive Transform Acoustic Coding）等の方式で圧縮する。

そして、撮影装置２０１Ａは、圧縮された画像データをＬ画像データとして、中継器２０２に無線で送信するとともに、音声データを無線で送信する。また、撮影装置２０１Ａは、撮影装置３１Ａと同様に、中継器２０２から送信されてくる画像データ等を無線で受信する。

中継器２０２は、図２の中継器３２と同様に、例えば、PCにより構成される。中継器２０２は、撮影装置２０１Ａから送信されてくるＬ画像データおよび音声データと、撮影装置３１Ｂから送信されてくるＲ画像データを無線で受信する。中継器２０２は、中継器３２と同様に、受信されたＬ画像データとＲ画像データをラインベース・コーデックに対応する方式で復号し、復号の結果得られるＬ画像データとＲ画像データに基づいて、立体画像を表示する。また、中継器２０２は、受信された音声データをMP3，WMA，RealAudio，ATRAC等に対応する方式で復号し、復号の結果得られるPCMデータに基づいて、音声を出力する。また、中継器２０２は、中継器３２と同様に、所定の画像データを撮影装置２０１Ａと撮影装置３１Ｂに送信する。

［中継器の構成例］
図２３は、図２２の中継器２０２の構成例を示すブロック図である。

図２３に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２３の中継器２０２の構成は、主に、送信データ圧縮部４０、送信メモリ１３、受信データ分離部４１、ラインベース補間部４２、受信データ復号部４３の代わりに、送信データ圧縮部２２０、送信メモリ２２１、受信データ分離部２２２、ラインベース補間部２２３、受信データ復号部２２４が設けられている点が、図３の構成と異なる。

中継器２０２において、送信データ圧縮部２２０は、図３の送信データ圧縮部４０と同様に、画像アプリ管理部１１から供給された画像データを、所定の符号化レートで、ラインベース・コーデックで圧縮し、その画像データのデータ量を削減する。そして、送信データ圧縮部２２０は、送信データ圧縮部４０と同様に、圧縮された画像データを送信メモリ２２１に出力する。また、送信データ圧縮部２２０は、画像アプリ管理部１１から供給された音声データを、MP3，WMA，RealAudio，ATRAC等の方式で圧縮し、データ量を削減する。そして、送信データ圧縮部２２０は、圧縮された音声データを送信メモリ２２１に出力する。

送信メモリ２２１は、送信データ圧縮部２２０から入力された画像データと音声データを蓄積する。この画像データと音声データは、送信データ生成部１５に読み出されてパケット化される。また、送信メモリ２２１は、図３の送信メモリ１３と同様に、受信データ分離部２２２から供給される転送データを蓄積する。なお、送信メモリ２２１は、送信メモリ１３と同様に、他の端末へ転送しないデータも蓄積するようにしてもよい。また、送信メモリ２２１は、データの蓄積状況を送受信制御部１４に通知する。

受信データ分離部２２２は、物理層Rx２０から供給されたパケットを解析して、画像アプリ管理部１１で必要なラインブロック単位の画像データを含むデータと、その画像データに対応する音声データを含むデータを、受信データとしてラインベース補間部２２３に供給する。なお、音声データを含むデータには、少なくとも、音声データと、その音声データに対応する画像データのラインブロック番号が含まれている。

また、受信データ分離部２２２は、図１の受信データ分離部２１と同様に、物理層Rx２０から供給されたパケットを解析し、ルーティングテーブル等の情報に応じて、他の端末への送信が必要な転送データを抽出する。そして、受信データ分離部２２２は、受信データ分離部２１と同様に、その転送データを送信メモリ２２１に供給する。さらに、受信データ分離部２２２は、受信データ分離部２１と同様に、パケットから送受信制御部１４に必要な情報を抽出し、送受信制御部１４に供給する。

ラインベース補間部２２３は、図３のラインベース補間部４２と同様に、受信データ分離部２２２から供給される受信データに対して補間処理を行う。そして、ラインベース補間部２２３は、受信データに対する補間処理の結果得られる補間後データを、受信データ復号部２２４に供給する。なお、ラインベース補間部２２３の詳細については、後述する図２４を参照して説明する。

受信データ復号部２２４は、ラインベース補間部２２３から供給される補間後データのうちの画像データをラインベース・コーデックに対応する方式で復号し、その結果得られる画像データを画像アプリ管理部１１に供給する。また、受信データ復号部２２４は、ラインベース補間部２２３から供給される補間後データのうちの音声データをMP3，WMA，RealAudio，ATRAC等に対応する方式で復号し、その結果得られるPCMデータを画像アプリ管理部１１に供給する。

さらに、受信データ復号部２２４は、受信データ復号部４３と同様に、補間後データの欠落率を求める。受信データ復号部２２４は、受信データ復号部４３と同様に、その欠落率と現在のデコード対象のラインブロック番号を、デコード情報としてラインベース補間部２２３に供給する。

なお、撮影装置２０１Ａの構成は、ラインベース補間部２２３を有さないか、または、ラインベース補間部２２３の代わりに上述した特許文献１に記載されているラインベース補間部を設ける点を除いて、中継器２０２の構成と同様であるので、説明は省略する。

[ラインベース補間部の構成例]
図２４は、図２３のラインベース補間部２２３の構成例を示すブロック図である。

図２４に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２４のラインベース補間部２２３の構成は、主に、画像データ入力切替部１０６の代わりに画像データ入力切替部２４０が設けられている点、受信データ解析部２４１、生成部２４２、音声データ出力管理部２４３、および音声データ入力切替部２４４が新たに設けられている点が、図８の構成と異なる。

ラインベース補間部２２３において、画像データ入力切替部２４０は、図８の画像データ入力切替部１０６と同様に、ラインベース複数データリンク管理部１０５の指示に応じて、受信データ解析部１０１から供給される受信データのうちの画像データを含むデータと、データ蓄積部１０２から供給される補間データのうちのいずれか一方を選択する。そして、画像データ入力切替部２４０は、画像データ入力切替部１０６と同様に、選択されたデータを補間後データとして図２３の受信データ復号部２２４に出力する。また、画像データ入力切替部２４０は、受信データのうちの画像データを含むデータと、補間データのうちの選択されたデータを表す情報である選択情報を、音声データ入力切替部２４４に供給する。

受信データ解析部２４１は、図２３の受信データ分離部２２２から供給される受信データのうちの音声データを含むデータを保持する。また、受信データ解析部２４１は、その音声データを含むデータを解析し、そのデータに含まれるラインブロック番号を認識する。そして、受信データ解析部２４１は、音声データ出力管理部２４３により指示されたラインブロック番号の音声データを含むデータを、音声データ入力切替部２４４に供給する。

また、受信データ解析部２４１は、音声データを含むデータを解析し、そのデータのパケットエラー率を音声データのエラー率として検出する。そして、受信データ解析部２４１は、音声データのエラー率を音声データ出力管理部２４３に供給する。

生成部２４２は、音声をミュートするためのデータであるミュートデータを生成する。具体的には、例えば、生成部２４２は、周波数成分が０の音声データをミュートデータとして生成する。また、生成部２４２は、受信データ分離部２２２から供給される受信データのうちの音声データを含むデータに基づいて、その音声データをミュートデータで補間したときに高周波の音声データとならないような補間位置を検索する。そして、生成部２４２は、音声データ出力管理部２４３により指示されたラインブロック番号の音声データを補間位置でミュートデータに置き換え、その結果得られる音声データを含むデータを補間データとして音声データ入力切換部２４４に供給する。

音声データ出力管理部２４３は、図２３の受信データ復号部２２４から供給されるデコード情報に含まれる現在のデコード対象のラインブロック番号を、生成部２４２と受信データ解析部２４１に指示する。また、音声データ出力管理部２４３は、受信データ解析部２４１から供給される音声データのエラー率に基づいて、音声データ入力切替部２４４に選択を指示する。

音声データ入力切替部２４４は、画像データ入力切替部２４０から供給される選択情報および音声データ出力管理部２４３からの指示に基づいて、受信データ解析部２４１から供給される受信データのうちの音声データを含むデータと、生成部２４２から供給される補間データのうちのいずれか一方を選択する。そして、音声データ入力切替部２４４（音声出力手段）は、選択された音声データを含むデータまたは補間データを、補間後データとして図２３の受信データ復号部２２４に出力する。

[中継器の処理の説明]
図２５は、図２４のラインベース補間部２２３による音声処理を説明するフローチャートである。この音声処理は、例えば、図２４の画像データ入力切替部２４０から選択情報が入力されたとき、開始される。

図２５のステップＳ１４１において、音声データ入力切替部２４４は、画像データ入力切替部２４０から供給される選択情報に基づいて、画像データ入力切替部２４０において補間データが選択されているかどうかを判定する。

ステップＳ１４１で補間データが選択されていると判定された場合、処理はステップＳ１４２に進む。ステップＳ１４２において、音声データ入力切替部２４４は、受信データ解析部２４１から供給される受信データと、生成部２４２から供給される補間データのうちの補間データを選択し、補間後データとして出力する。これにより、補間データ蓄積部１１２に蓄積されている補間データに対応する画像が表示される場合に、リップシンクのない音声が出力されることを防止することができる。その結果、画像に適した快適な音声を出力することができる。

一方、ステップＳ１４１で補間データが選択されていないと判定された場合、即ち画像データ入力切替部２４０において受信データが選択されている場合、処理はステップＳ１４３に進む。

ステップＳ１４３において、音声データ出力管理部２４３は、受信データ解析部２４１から供給される音声データのエラー率が予め設定された閾値を越えているかどうかを判定する。

ステップＳ１４３で音声データのエラー率が予め設定された閾値を超えていると判定された場合、ステップＳ１４４において、音声データ出力管理部２４３は、生成部２４２から出力される補間データを出力するかどうかを判定する。

具体的には、例えば、ユーザにより、音声データのエラー率が予め設定された閾値を超えている場合には補間データが出力されるように設定されている場合、音声データ出力管理部２４３は、補間データを出力すると判定する。一方、ユーザにより、音声データのエラー率が予め設定された閾値を超えている場合であっても、受信データのうちの音声データを含むデータがそのまま出力されるように設定されている場合、音声データ出力管理部２４３は、補間データを出力しないと判定する。

ステップＳ１４４で補間データを出力すると判定された場合、音声データ出力管理部２４３は、音声データ入力切替部２４４に補間データの選択を指示する。そして、ステップＳ１４５において、音声データ入力切替部２４４は、生成部２４２から供給される補間データを選択して出力し、処理を終了する。

一方、ステップＳ１４３で音声データのエラー率が閾値を超えていないと判定された場合、またはステップＳ１４４で補間データを出力しないと判定された場合、音声データ出力管理部２４３は、音声データ入力切替部２４４に受信データのうちの音声データを含むデータの選択を指示する。そして、ステップＳ１４６において、音声データ入力切替部２４４は、受信データ解析部２４１から供給される受信データのうちの音声データを含むデータを選択して出力し、処理を終了する。

なお、上述した説明では、ラインベース補間部２２３が、図８のラインベース補間部４２に音声処理を行うブロックを加えることにより構成されたが、図２０のラインベース補間部１７２に音声処理を行うブロックを加えることにより構成されるようにすることもできる。

＜第４実施の形態＞
[ラインベース補間部の構成例]
図２６は、図３のラインベース補間部４２の他の構成例を示すブロック図である。

図２６に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２６のラインベース補間部４２の構成は、受信データ解析部１０１の代わりに受信データ解析部３０１が設けられている点、および、ラインベース複数データリンク管理部１０５の代わりにラインベース複数データリンク管理部３０２が設けられている点が、図８の構成と異なる。

図２６のラインベース補間部４２は、シーンチェンジ後の最初のフィールド（画面）のパラメータ情報の取得中に、補間データを出力する。なお、パラメータ情報とは、量子化情報やフレーム間予測に用いられる情報である。

具体的には、図２６のラインベース補間部４２において、受信データ解析部３０１は、図８の受信データ解析部１０１と同様に、図３の受信データ分離部４１から供給される受信データを保持する。

また、受信データ解析部３０１は、受信データ解析部１０１と同様に、その受信データを解析し、その受信データに含まれるラインブロック番号を認識する。さらに、受信データ解析部３０１は、受信データ解析部１０１と同様に、受信データを解析し、その受信データに含まれるチャネル番号に基づいて、受信データに含まれる画像データがＬ画像データであるか、またはＲ画像データであるかを認識する。受信データ解析部３０１は、受信データ解析部１０１と同様に、受信データを解析し、受信データのパケットエラー数と到達時間を検出する。

さらに、受信データ解析部３０１は、受信データ解析部１０１と同様に、受信データに含まれる画像データがＬ画像データである場合、その受信データのラインブロック番号、パケットエラー数、および受信データの到達時間を、Ｌ画像データ情報としてＬ画像データ出力管理部１０３に供給する。一方、受信データに含まれる画像データがＲ画像データである場合、受信データ解析部３０１は、受信データ解析部１０１と同様に、その受信データのラインブロック番号、パケットエラー数、および到達時間をＲ画像データ出力管理部１０４に供給する。

さらに、受信データ解析部３０１は、受信データ解析部１０１と同様に、Ｌ画像データ出力管理部１０３により指示されたラインブロック番号のＬ画像データを含む受信データを読み出すとともに、Ｒ画像データ出力管理部１０４により指示されたラインブロック番号のＲ画像データを含む受信データを読み出す。

また、受信データ解析部３０１は、受信データ解析部１０１と同様に、読み出された受信データに含まれるＬ画像データおよびＲ画像データのラインブロックの少なくとも一方にエラーが発生している場合、そのエラーが発生している部分に対応するＬ画像データおよびＲ画像データの部分に強制デコードデータを挿入する。そして、受信データ解析部３０１は、受信データ解析部１０１と同様に、強制デコードデータが挿入された受信データを、画像データ入力切替部１０６に供給する。

さらに、受信データ解析部３０１（検出手段）は、受信データを解析し、シーンチェンジを検出する。シーンチェンジの検出方法は、受信データに含まれるＬ画像データまたはＲ画像データどうしの差分に基づいて検出する方法や、撮影装置３１から送信されてくるシーンチェンジのフィールド位置を表す情報に基づいて検出する方法等がある。受信データ解析部３０１は、シーンチェンジの検出結果をラインベース複数データリンク管理部３０２に供給する。

ラインベース複数データリンク管理部３０２は、図８のラインベース複数データリンク管理部１０５と同様に、管理テーブルを保持して管理する。ラインベース複数データリンク管理部３０２は、ラインベース複数データリンク管理部１０５と同様に、Ｌ画像データ出力管理部１０３から供給されるＬ画像情報と、Ｒ画像データ出力管理部１０４から供給されるＲ画像情報を管理テーブルに登録する。また、ラインベース複数データリンク管理部３０２は、ラインベース複数データリンク管理部１０５と同様に、管理テーブルに基づいて、画像データ入力切替部１０６に選択を指示する。

また、ラインベース複数データリンク管理部３０２は、ラインベース複数データリンク管理部１０５と同様に、図３の受信データ復号部４３から供給されるデコード情報に基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に読み出しを指示する。さらに、ラインベース複数データリンク管理部３０２は、ラインベース複数データリンク管理部１０５と同様に、例えば管理テーブルに基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に蓄積を指示する。

また、ラインベース複数データリンク管理部３０２は、受信データ解析部３０１から供給されるシーンチェンジの検出結果に基づいて、画像データ入力切替部１０６に選択を指示する。

[中継器の処理の説明]
図２７は、図２６のラインベース補間部４２によるシーンチェンジ処理を説明するフローチャートである。このシーンチェンジ処理は、例えば、受信データ解析部３０１から新チェンジの有りを表すシーンチェンジの検出結果がラインベース複数データリンク管理部３０２に供給されたとき、開始される。なお、ラインベース補間部４２では、図１１の補間データ蓄積処理が行われるものとする。

ステップＳ１６１において、ラインベース複数データリンク管理部３０２は、図３の受信データ復号部４３から供給されるデコード情報に含まれる、現在のデコード対象のラインブロック番号を認識する。そして、ラインベース複数データリンク管理部３０２は、そのラインブロック番号をＬ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４を介して、補間データ蓄積部１１２に指示する。また、ラインベース複数データリンク管理部３０２は、補間データ蓄積部１１２から出力される補間データの選択を画像データ入力切替部１０６に指示する。

ステップＳ１６２において、補間データ蓄積部１１２は、Ｌ画像データ出力管理部１０３およびＲ画像データ出力管理部１０４から指示されたラインブロック番号のラインブロックの補間データを読み出して、画像データ入力切替部１０６に供給する。

ステップＳ１６３において、画像データ入力切替部１０６は、ラインベース複数データリンク管理部３０２からの指示に応じて、補間データ蓄積部１１２から読み出された補間データを選択し、補間後データとして出力する。

ステップＳ１６４において、受信データ解析部３０１は、シーンチェンジ後の最初のフィールドの受信データを解析し、その受信データに含まれるパラメータ情報を収集する。

ステップＳ１６５において、受信データ解析部３０１は、１フィールド分のパラメータ情報が収集されたかどうか、即ちシーンチェンジ後の最初のフィールドのパラメータ情報が全て収集されたかどうかを判定する。

ステップＳ１６５で１フィールド分のパラメータ情報がまだ収集されていないと判定された場合、処理はステップＳ１６１に戻り、１フィールド分のパラメータ情報が収集されるまで、ステップＳ１６１乃至Ｓ１６５の処理が繰り返される。即ち、シーンチェンジ後の最初のフィールドのパラメータ情報が収集されている間、補間データが出力される。

一方、ステップＳ１６５で１フィールド分のパラメータ情報が収集されたと判定された場合、処理は終了する。

なお、シーンチェンジ後の２フィールド目以降の受信データについては、図１２の補間データ読み出し処理および図１３の切替処理が行われる。また、中継器３２において、図１４の補間データ蓄積処理が行われる場合には、シーンチェンジ後の２フィールド目以降の受信データについては、図１５の補間データ読み出し処理および図１３の切替処理が行われる。また、この場合のシーンチェンジ処理は、ステップＳ１６２とＳ１６３の処理の間に図１５のステップＳ７４とＳ７５の処理が行われる点を除いて、図２７のシーンチェンジ処理と同様である。

以上のように、図２６のラインベース補間部４２は、シーンチェンジ後の最初のフィールドの受信データのパラメータ情報を取得している間、補間データを出力する。即ち、ラインベース補間部４２は、シーンチェンジ時において画像データが大きく変化することにより、圧縮効率が下がり、画質が劣化したシーンチェンジ後の最初のフィールドの画像データを含む受信データに代えて、補間データを出力する。これにより、出力画像データの画質が向上する。

さらに、第４実施の形態では、図８のラインベース補間部４２において、シーンチェンジ後の最初のフィールドのパラメータ情報が収集されている間補間データが出力されるようにしたが、図２０のラインベース補間部１７２や図２４のラインベース補間部２２３において、シーンチェンジ後の最初のフィールドのパラメータ情報が収集されている間補間データが出力されるようにすることもできる。

また、第４実施の形態では、シーンチェンジ時にシーンチェンジ処理が行われたが、チャンネル切替時等の立体画像データが時間的に大きく変化する場合に、シーンチェンジ処理が行われるようにしてもよい。

＜第５実施の形態＞
[ラインベース補間部の構成例]
図２８は、図３のラインベース補間部４２の他の構成例を示すブロック図である。

図２８に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２８のラインベース補間部４２の構成は、受信データ解析部１０１、ラインベース複数データリンク管理部１０５、画像データ入力切換部１０６の代わりに受信データ解析部３５１、ラインベース複数データリンク管理部３５２、画像データ入力切替部３５３が設けられている点が、図８の構成と異なる。

図２８のラインベース補間部４２は、視差が所定の閾値より小さく、かつ、Ｌ画像データとＲ画像データのラインブロックのいずれか一方のパケットエラー数および到達時間が所定の閾値より小さい場合、その一方から他方を生成し、補間データの代わりに出力する。

具体的には、図２８のラインベース補間部４２において、受信データ解析部３５１は、図８の受信データ解析部１０１と同様に、図３の受信データ分離部４１から供給される受信データを保持する。また、受信データ解析部３５１は、受信データ解析部１０１と同様に、その受信データを解析し、その受信データに含まれるラインブロック番号を認識する。さらに、受信データ解析部３５１は、受信データ解析部１０１と同様に、受信データを解析し、その受信データに含まれるチャネル番号に基づいて、受信データに含まれる画像データがＬ画像データであるか、またはＲ画像データであるかを認識する。受信データ解析部３５１は、受信データ解析部１０１と同様に、受信データを解析し、受信データのパケットエラー数と到達時間を検出する。

さらに、受信データ解析部３５１は、受信データ解析部１０１と同様に、受信データに含まれる画像データがＬ画像データである場合、その受信データのラインブロック番号、パケットエラー数、および到達時間を、Ｌ画像データ情報としてＬ画像データ出力管理部１０３に供給する。一方、受信データに含まれる画像データがＲ画像データである場合、受信データ解析部３５１は、受信データ解析部１０１と同様に、その受信データのラインブロック番号、パケットエラー数、および到達時間をＲ画像データ出力管理部１０４に供給する。

さらに、受信データ解析部３５１は、受信データ解析部１０１と同様に、Ｌ画像データ出力管理部１０３により指示されたラインブロック番号のＬ画像データを含む受信データを読み出すとともに、Ｒ画像データ出力管理部１０４により指示されたラインブロック番号のＲ画像データを含む受信データを読み出す。

また、受信データ解析部３５１は、受信データ解析部１０１と同様に、読み出された受信データに含まれるＬ画像データおよびＲ画像データのラインブロックの少なくとも一方にエラーが発生している場合、そのエラーが発生している部分に対応するＬ画像データおよびＲ画像データの部分に強制デコードデータを挿入する。そして、受信データ解析部１０１は、強制デコードデータが挿入された受信データを、画像データ入力切替部３５３に供給する。

また、受信データ解析部３５１（視差検出手段）は、受信データとしてのＬ画像データとＲ画像データのラインブロックを解析し、そのラインブロックの視差を検出する。なお、この視差は、受信データに含まれていてもよいし、Ｌ画像データとＲ画像データのラインブロックのずれ量から算出されるようにしてもよい。受信データ解析部３５１は、検出されたラインブロックの視差が所定の閾値以上であるかどうかを判定し、その判定結果を表すフラグである視差フラグを生成する。受信データ解析部３５１は、各ラインブロックの視差フラグを、そのラインブロックのラインブロック番号とともにラインベース複数データリンク管理部３５２に供給する。

ラインベース複数データリンク管理部３５２は、図８のラインベース複数データリンク管理部１０５と同様に、管理テーブルを保持して管理する。ラインベース複数データリンク管理部３５２は、ラインベース複数データリンク管理部１０５と同様に、Ｌ画像データ出力管理部１０３から供給されるＬ画像情報と、Ｒ画像データ出力管理部１０４から供給されるＲ画像情報を管理テーブルに登録する。また、ラインベース複数データリンク管理部３５２は、受信データ解析部３５１から供給されるラインブロックの視差フラグを、その視差フラグとともに供給されるラインブロック番号に対応づけて管理テーブルに登録する。

また、ラインベース複数データリンク管理部３５２は、ラインベース複数データリンク管理部１０５と同様に、管理テーブルに基づいて、ラインブロック単位で画像データ入力切替部３５３に選択を指示する。ラインベース複数データリンク管理部３５２は、ラインベース複数データリンク管理部１０５と同様に、受信データ復号部４３から供給されるデコード情報に基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に読み出しを指示する。さらに、ラインベース複数データリンク管理部３５２は、ラインベース複数データリンク管理部１０５と同様に、例えば管理テーブルに基づいて、Ｌ画像データ出力管理部１０３とＲ画像データ出力管理部１０４に蓄積を指示する。

画像データ入力切替部３５３は、ラインベース複数データリンク管理部３５２の指示に応じて、補間データ蓄積部１１２から読み出された補間データとしてのＬ画像データとＲ画像データのうちの一方から他方を生成し、その結果得られるＬ画像データとＲ画像データを一部補間データとする。画像データ入力切替部３５３は、ラインベース複数データリンク管理部３５２の指示に応じて、受信データ解析部３５１からの受信データ、データ蓄積部１０２からの補間データ、および一部補間データのうちのいずれかを選択し、図３の受信データ復号部４３に出力する。

[管理テーブルの例]
図２９は、管理テーブルの例を示す図である。

図２９の管理テーブルは、図９の管理テーブルに、「視差フラグ」という項目が追加されることにより構成されている。項目「視差フラグ」に対応する情報としては、受信データ解析部３５１により生成された視差フラグが登録される。ここでは、視差フラグ「１」は、視差が所定の閾値以上であることを表し、視差フラグ「０」は、視差が所定の閾値より小さいことを表す。

図２９の例では、ラインブロック番号「１」乃至「８」に対応する視差フラグとして、それぞれ、「１」、「０」、「０」、「１」、「０」、「０」、「０」、「１」が登録されている。

従って、図９の例では、ラインブロック番号「３」に対応する項目「出力」の情報は、「補間データ」であったが、図２９の例では「Ｌ補間データ」となっている。なお、「Ｌ補間データ」とは、受信データとしてのＬ画像データと、そのＬ画像データから生成されたＲ画像データからなる一部補間データのことである。

より詳細には、ラインブロック番号「３」のラインブロックにおいては、Ｒ画像データのパケットエラー数が閾値以上であるが、Ｌ画像データの到達時間およびパケットエラー数はそれぞれ閾値より小さい。従って、図２８の画像データ入力切換部３５３は、そのＬ画像データを水平方向にずらすことによりＲ画像データを生成し、そのＬ画像データとＲ画像データからなる一部補間データを出力する。

また、図９の例では、ラインブロック番号「７」に対応する項目「出力」の情報は、「補間データ」であったが、図２９の例では「Ｒ補間データ」となっている。なお、「Ｒ補間データ」とは、受信データとしてのＲ画像データと、そのＲ画像データから生成されたＬ画像データからなる一部補間データのことである。

より詳細には、ラインブロック番号「７」のラインブロックにおいては、Ｌ画像データの到達時間が閾値以上であるが、Ｒ画像データの到達時間およびパケットエラー数はそれぞれ閾値より小さい。従って、画像データ入力切換部３５３は、そのＲ画像データを水平方向にずらすことによりＬ画像データを生成し、そのＲ画像データとＬ画像データからなる一部補間データを出力する。

[ラインベース補間部の処理の説明]
図３０は、図２８のラインベース補間部４２による切替処理を説明するフローチャートである。

ステップＳ２０１において、ラインベース複数データリンク管理部３５２は、図１３のステップＳ４１の処理と同様に、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データの両方のパケットエラー数が閾値より小さいかどうかを判定する。

ステップＳ２０１でＬ画像データとＲ画像データの両方のパケットエラー数が閾値より小さいと判定された場合、処理はステップＳ２０２に進む。

ステップＳ２０２において、ラインベース複数データリンク管理部３５２は、図１３のステップＳ４２の処理と同様に、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データの両方の到達時間が閾値より小さいかどうかを判定する。

ステップＳ２０２でＬ画像データとＲ画像データの両方の到達時間が閾値より小さいと判定された場合、ラインベース複数データリンク管理部３５２は、受信データの選択を画像データ入力切替部３５３に指示する。そして、ステップＳ２０３において、画像データ入力切替部３５３は、受信データ解析部３５１からの受信データを補間後データとして出力し、処理を終了する。

一方、ステップＳ２０２でＬ画像データとＲ画像データの両方の到達時間が閾値より小さくはないと判定された場合、処理はステップＳ２０４に進む。ステップＳ２０４において、ラインベース複数データリンク管理部３５２は、管理テーブルを参照して、処理対象のラインブロックの視差フラグが０であるかどうかを判定する。

ステップＳ２０４で視差フラグが０であると判定された場合、ステップＳ２０５において、ラインベース複数データリンク管理部３５２は、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データのいずれか一方の到達時間が閾値より小さいかどうかを判定する。

ステップＳ２０５でＬ画像データとＲ画像データのいずれか一方の到達時間も閾値より小さくはないと判定された場合、即ちＬ画像データとＲ画像データの両方の到達時間が閾値以上である場合、ラインベース複数データリンク管理部３５２は、補間データの選択を画像データ入力切替部３５３に指示する。そして、処理はステップＳ２０６に進む。

また、ステップＳ２０４で視差フラグが０ではないと判定された場合、即ち視差フラグが１である場合、ラインベース複数データリンク管理部３５２は、補間データの選択を画像データ入力切替部３５３に指示する。そして、処理はステップＳ２０６に進む。

ステップＳ２０６において、画像データ入力切替部３５３は、補間データ蓄積部１１２からの補間データを補間後データとして出力し、処理を終了する。

一方、ステップＳ２０５でＬ画像データとＲ画像データのいずれか一方の到達時間が閾値より小さいと判定された場合、ラインベース複数データリンク管理部３５２は、その一方で他方を生成することにより得られる一部補間データの選択を画像データ入力切替部３５３に指示する。そして、処理はステップＳ２０８に進む。

また、ステップＳ２０１でＬ画像データとＲ画像データの両方のパケットエラー数が閾値より小さくはないと判定された場合、ステップＳ２０７において、ラインベース複数データリンク管理部３５２は、管理テーブルを参照して、視差フラグが０であるかどうかを判定する。

ステップＳ２０７で視差フラグが０であると判定された場合、ステップＳ２０８において、ラインベース複数データリンク管理部３５２は、管理テーブルを参照して、処理対象のラインブロックのＬ画像データとＲ画像データのいずれか一方のパケットエラー数が閾値より小さいかどうかを判定する。

ステップＳ２０８でＬ画像データとＲ画像データのいずれか一方のパケットエラー数が閾値より小さいと判定された場合、処理はステップＳ２０９に進む。ステップＳ２０９において、ラインベース複数データリンク管理部３５２は、管理テーブルを参照して、その一方の到達時間が閾値より小さいかどうかを判定する。

ステップＳ２０８で一方の到達時間が閾値より小さいと判定された場合、ラインベース複数データリンク管理部３５２は、その一方で他方を生成することにより得られる一部補間データの選択を画像データ入力切替部３５３に指示する。そして、処理はステップＳ２１０に進む。

ステップＳ２１０において、画像データ入力切替部３５３は、ラインベース複数データリンク管理部３５２からの指示に応じて、一部補間データを生成する。

ステップＳ２１１において、画像データ入力切替部３５３は、ステップＳ２１０で生成された一部補間データを選択して補間後データとして出力し、処理を終了する。

一方、ステップＳ２０７で視差フラグが０ではないと判定された場合、ステップＳ２０８でＬ画像データとＲ画像データのいずれか一方のパケットエラー数も閾値より小さくはないと判定された場合、または、ステップＳ２０９で一方の到達時間が閾値より小さくはないと判定された場合、ラインベース複数データリンク管理部３５２は、画像データ入力切替部３５３に補間データの選択を指示する。そして、処理はステップＳ２１２に進む。

ステップＳ２１２において、画像データ入力切替部３５３は、補間データ蓄積部１１２から供給される補間データを選択し、補間後データとして出力する。そして処理は終了する。

なお、第５実施の形態では、図８のラインベース補間部４２において、一部補間データが生成されて出力されるようにしたが、図２０のラインベース補間部１７２や図２４のラインベース補間部２２３において、一部補間データが生成されて出力されるようにすることもできる。

また、Ｌ画像データとＲ画像データがＹ成分およびＣ成分を有する場合、Ｌ画像データとＲ画像データのＹ成分についてのみパケットエラー数と到達時間の閾値判定を行うようにしてもよい。これは、表示において、Ｃ成分の欠落は、あまり目立たない可能性があるためである。

さらに、上述した説明では、欠落率に基づいて補間データの読み出しの有無が決定されたが、受信データ分離部４１（１５２，２２２）によるパリティチェックの結果に応じて決定されるようにしてもよい。

また、上述した説明では、撮影装置３１（１２１，２０１Ａ）と、中継器３２（１２２，０２）が無線通信を行うものとしたが、電話線（ADSLを含む）、電力線，Co-ax，光ファイバー等による有線通信を行うようにしてもよい。

さらに、受信データ蓄積部１１１と補間データ蓄積部１１２は、１フィールド分の画像データを蓄積するものとしたが、複数フィールド分の画像データを蓄積するようにしてもよい。この場合、複数フィールド分の補間データを用いて補間することができるので、より安定した立体画像を再生することができる。

また、画像アプリ管理部１１は、受信データ復号部４３（１５３，２２４）から供給される受信データを、テレビジョン受像機やLCD（Liquid Crystal Display）等の表示装置のバッファ（図示せぬ）に記憶させることもできる。通常、このようなバッファには、数フィールドまたは数フレーム分の画像データが蓄積可能である。

さらに、上述した説明では、ラインブロックごとに復号対象とするデータを、受信データおよび補間データの一方から他方に切り替えるようにしたが、フレームごとに切り替えるようにしてもよい。

また、上述した説明では、データ蓄積部１０２は、蓄積用の受信データ蓄積部１１１と読み出し用の補間データ蓄積部１１２の２つの蓄積部を設けることにより、容易なメモリ制御処理を実現可能にしたが、データ蓄積部１０２の構成はこれに限定されない。

さらに、上述した説明では、立体画像が2視点の画像からなるものとしたので、チャネル数は2であったが、立体画像が2以上の視点の画像からなる場合には、チャネル数は2以上であってもよい。

また、上述した説明では、各ラインブロックのパケットエラー数と到達時間の両方が閾値より小さい場合、そのラインブロックが補間データとして用いられたり、復号対象とされたりしたが、パケットエラー数と到達時間のいずれか一方が閾値より小さい場合に、そのラインブロックが補間データとして用いられたり、復号対象とされたりするようにしてもよい。

さらに、上述した説明では、管理テーブルに１ラインブロック単位で情報が登録されたが、複数ラインブロック単位で情報が登録されるようにしてもよい。この場合、閾値判定処理は、複数ラインブロック単位で行われる。

また、１フィールドの区切りは、HSYNC（Horizontal Synchronizing signal）に対応するものでなくてもよい。

＜第６実施の形態＞
[本発明を適用したコンピュータの説明]
次に、上述した一連の処理の少なくとも一部は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理の少なくとも一部をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図３１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部４０８やROM（Read Only Memory）４０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア４１１に格納（記録）しておくことができる。このようなリムーバブルメディア４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア４１１からドライブ４１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部４０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)４０１を内蔵しており、CPU４０１には、バス４０４を介して、入出力インタフェース４０５が接続されている。

CPU４０１は、入出力インタフェース４０５を介して、ユーザによって、入力部４０６が操作等されることにより指令が入力されると、それに従って、ROM４０２に格納されているプログラムを実行する。あるいは、CPU４０１は、記憶部４０８に格納されたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。

これにより、CPU４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０５を介して、出力部４０７から出力、あるいは、通信部４０９から送信、さらには、記憶部４０８に記録等させる。

なお、入力部４０６は、キーボードや、マウス、マイク等で構成される。また、出力部４０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２０ 物理層Rx， ３２ 中継器， １０１ 受信データ解析部， １０２ データ蓄積部， １０５ ラインベース複数データリンク管理部， １０６ 画像データ入力切替部， １２２ 中継器， １９１ ラインベース複数データリンク管理部， １９２ 画像データ入力切替部， １９３ 画像レート変更要求部， ２０２ 中継器， ２４０ 画像データ入力切替部， ２４２ 生成部， ２４４ 音声データ入力切替部， ３０１ 受信データ解析部， ３０２ ラインベース複数データリンク管理部， ３５１ 受信データ解析部， ３５２ ラインベース複数データリンク管理部， ３５３ 画像データ入力切替部

Claims (12)

1. ラインベース・コーデックにより符号化された、立体画像データを構成する複数の視点の画像データをラインブロック単位で受信する受信手段と、
   前記受信手段により受信された前記複数の視点の画像データを補間データとして蓄積する蓄積手段と、
   前記受信手段により受信された前記所定量の前記複数の視点の画像データのうちの少なくとも１つの視点の画像データの前記エラー数が第１の閾値以上である場合、前記所定量の複数の視点の画像データに対応する、前記蓄積手段に蓄積されている、エラー数が第２の閾値より小さい前記所定量の前記補間データを出力する画像出力手段と
   を備える情報処理装置。
2. 前記視点ごとに、その視点の所定量の画像データのエラー数を登録するテーブルを管理する管理手段
   を備え、
   前記画像出力手段は、前記テーブルに基づいて前記補間データを出力する
   請求項１に記載の情報処理装置。
3. 前記画像出力手段は、前記受信手段により受信された前記所定量の前記複数の視点の画像データの前記エラー数が全て前記第１の閾値より小さい場合、前記所定量の複数の視点の画像データを出力する
   請求項１に記載の情報処理装置。
4. 前記画像出力手段は、前記所定量の複数の視点の画像データのうちの少なくとも１つの視点の画像データの前記エラー数が前記第１の閾値以上であるか、または、前記到達時間が第３の閾値以上である場合、前記所定量の複数の視点の画像データに対応する、前記蓄積手段に蓄積されている、エラー数が前記第２の閾値より小さく、かつ、到達時間が第４の閾値より小さい前記所定量の前記補間データを出力する
   請求項１に記載の情報処理装置。
5. 前記画像出力手段は、前記所定量の複数の視点の画像データの前記エラー数が全て前記第１の閾値より小さく、かつ、その画像データの到達時間が全て前記第３の閾値より小さい場合、前記所定量の複数の視点の画像データを出力する
   請求項４に記載の情報処理装置。
6. 前記受信手段により受信された前記複数の視点の画像データの少なくとも１つの視点の画像データにエラーが発生している場合、そのエラーが発生している部分に対応する前記複数の視点の画像データの部分にダミーデータを挿入する挿入手段
   をさらに備え、
   前記画像出力手段は、前記エラー数が全て前記第１の閾値より小さい場合、前記挿入手段により前記ダミーデータが挿入された、前記所定量の複数の視点の画像データを出力する
   請求項１に記載の情報処理装置。
7. 前記蓄積手段は、前記受信手段により受信された前記複数の視点の画像データのうちの前記エラー数が前記第２の閾値より小さいものを蓄積する
   請求項１に記載の情報処理装置。
8. 前記受信手段により受信された前記所定量の複数の視点の画像データの少なくとも１つの視点の画像データの前記エラー数が第３の閾値を超えている場合、その画像データの符号化または通信に関する情報の変更を要求する要求手段
   をさらに備える
   請求項１に記載の情報処理装置。
9. 音声をミュートするためのミュートデータを生成する生成手段と、
   前記ミュートデータを出力する音声出力手段と
   をさらに備え、
   前記受信手段は、前記立体画像データに対応する音声データも受信し、
   前記音声出力手段は、前記画像出力手段により前記所定量の複数の視点の画像データが出力される場合、その画像データに対応する前記音声データを出力し、前記画像出力手段により前記所定量の補間データが出力される場合、前記ミュートデータを出力する
   請求項１に記載の情報処理装置。
10. 前記画像データのシーンチェンジまたはチャンネル切替を検出する検出手段
    をさらに備え、
    前記画像出力手段は、前記画像データのシーンチェンジまたはチャンネル切替時の最初の画面の前記複数の視点の画像データのパラメータ情報を取得する間、前記補間データを出力する
    請求項１に記載の情報処理装置。
11. 前記所定量の前記立体画像データの視差を検出する視差検出手段
    をさらに備え、
    前記画像出力手段は、前記視差に基づいて、前記視差が小さく、かつ、前記所定量の前記複数の視点の画像データのうちの少なくとも１つの視点の画像データの前記エラー数が前記第１の閾値以上であり、少なくとも１つの視点の画像データの前記エラー数が前記第１の閾値より小さい場合、前記エラー数が前記第１の閾値より小さい前記所定量の所定の視点の画像データを用いて前記所定量の他の視点の画像データを生成し、その結果得られる前記所定量の前記複数の視点の画像データを出力する
    請求項１に記載の情報処理装置。
12. 蓄積手段を備える情報処理装置が、
    ラインベース・コーデックにより符号化された、立体画像データを構成する複数の視点の画像データのラインブロック単位の受信を制御する受信制御ステップと、
    前記受信ステップの処理により受信された前記複数の視点の画像データを補間データとして前記蓄積手段に蓄積させる蓄積制御ステップと、
    前記受信ステップの処理により受信された前記所定量の前記複数の視点の画像データのうちの少なくとも１つの視点の画像データの前記エラー数が第１の閾値以上である場合、前記所定量の複数の視点の画像データに対応する、前記蓄積手段に蓄積されている、エラー数が第２の閾値より小さい前記所定量の前記補間データを出力する画像出力ステップと
    を含む情報処理方法。

Images