JP2011249945A - 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法 - Google Patents

Abstract

【課題】ＡＲＩＢ方式の字幕（キャプション・ユニット）の重畳表示において、画像内の各物体との間の遠近感の整合性の維持を図る。
【解決手段】放送局からセットトップボックスに、ビデオデータストリームと字幕データストリームとを有する多重化データストリームを送信する。ビデオデータストリームには、立体画像データが含まれている。字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データが挿入される。また、字幕データストリームには、字幕管理データグループの字幕管理データ（制御符号）として、各キャプション・ユニットの視差ベクトルが挿入される。このような挿入の仕方により、字幕データと視差ベクトルとの対応付けがされる。受信側では、左眼画像および右眼画像に重畳される字幕に、それぞれ対応する視差ベクトルを用いて適切な視差を付与できる。
【選択図】図１１

Description

この発明は、立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法に関し、特に、字幕などの重畳情報の表示を良好に行い得る立体画像データ送信装置等に関する。

例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。

図２５は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。

また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。

特開２００５−６１１４号公報

上述したように立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知することが普通である。画像に重畳される重畳情報、例えば、字幕等に関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。

例えば、画像に字幕を重畳表示（オーバーレイ表示）する場合、遠近感でいうところの最も近い画像内の物体（オブジェクト）よりも手前に表示されないと、視聴者は、遠近感の矛盾を感じる場合がある。また、他のグラフィクス情報、あるいはテキスト情報を画像に重畳表示する場合にも、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。

この発明の目的は、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性の維持を図ることにある。

この発明の概念は、
左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
上記画像データ出力部から出力される立体画像データを含む第１のデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータおよび上記視差情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
上記第２のデータストリームには、同一画面に表示される所定数の重畳情報のデータが順に配置され、
上記第２のデータストリームには、上記視差情報が、上記所定数の重畳情報の管理情報として挿入されている
立体画像データ送信装置にある。

この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを含む立体画像データが出力される。また、重畳情報データ出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータが出力される。ここで、重畳情報は、画像に重畳される字幕などの情報を意味している。例えば、重畳情報のデータは、ＡＲＩＢ方式の字幕文データである。また、視差情報出力部により、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報が出力される。

そして、データ送信部により、第１のデータストリームと第２のデータストリームとを有する多重化データストリームが送信される。第１のデータストリームには、画像データ出力部から出力される立体画像データを含まれている。また、第２のデータストリームには、重畳情報データ出力部から出力される重畳情報のデータおよび視差情報出力部から出力される視差情報が含まれている。

第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータが順に配置されている。また、第２のデータストリームには、視差情報が、所定数の重畳情報の管理情報として挿入されている。例えば、重畳情報のデータは、ＡＲＩＢ方式の字幕文データであり、第２のデータストリームには、視差情報が、字幕管理データとして挿入される。この場合、視差情報は、例えば、８単位符号で与えられる。

例えば、第２のデータストリームには、同一の画面に表示される所定数の重畳情報にそれぞれ対応した所定数の個別視差情報が挿入され、所定数の個別視差情報は、所定数の重畳情報のデータの前にまとめて配置されている。また、例えば、第２のデータストリームには、同一の画面に表示される所定数の重畳情報にそれぞれ対応した所定数の個別視差情報が挿入され、所定数の個別視差情報のそれぞれは、対応する重畳情報のデータの前に配置されている。また、例えば、第２のデータストリームには、同一の画面に表示される所定数の重畳情報に対応した共通視差情報が挿入され、共通視差情報は、所定数の重畳情報のデータの前に配置されている。

このように、この発明においては、第２のデータストリームには、視差情報が所定数の重畳情報の管理情報として挿入され、各重畳情報のデータと視差情報との対応付けが行われている。受信側においては、左眼画像および右眼画像に重畳される所定数の重畳情報にそれぞれ対応する視差情報を用いて適切な視差を付与できる。そのため、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

また、この発明の他の概念は、
第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
上記第２のデータストリームには、同一画面に表示される所定数の重畳情報のデータが順に配置され、
上記第２のデータストリームには、上記視差情報が、上記所定数の重畳情報の管理情報として挿入されており、
上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから立体画像データを取得する画像データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから重畳情報のデータを取得する重畳情報データ取得部と、
上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから視差情報を取得する視差情報取得部と、
上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
立体画像データ受信装置にある。

この発明において、データ受信部により、第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームが受信される。第１のデータストリームには、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含まれている。また、第２のデータストリームには、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報のデータと、左眼画像データおよび右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報とが含まれている。

そして、第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータが順に配置されている。また、第２のデータストリームには、視差情報が、所定数の重畳情報の管理情報として挿入されている。例えば、重畳情報のデータは、ＡＲＩＢ方式の字幕文データであり、第２のデータストリームには、視差情報が、字幕管理データとして挿入されている。

画像データ取得部により、データ受信部で受信された多重化データストリームに含まれる第１のデータストリームから立体画像データが取得される。また、重畳情報データ取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから重畳情報のデータが取得される。また、視差情報取得部により、データ受信部で受信された多重化データストリームに含まれる第２のデータストリームから視差情報が取得される。

そして、画像データ処理部により、左眼画像データおよび右眼画像データと、重畳情報のデータと、視差情報とが用いられ、左眼画像および右眼画像に重畳する同一の重畳情報に視差が付与され、重畳情報が重畳された左眼画像のデータおよび重畳情報が重畳された右眼画像のデータが得られる。

このように、この発明においては、第２のデータストリームには、視差情報が所定数の重畳情報の管理情報として挿入され、各重畳情報のデータと視差情報との対応付けが行われている。そのため、画像データ処理部では、左眼画像および右眼画像に重畳される所定数の重畳情報にそれぞれ対応する視差情報を用いて適切な視差を付与できる。したがって、重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

この発明によれば、送信側から受信側に、立体画像データを含む第１のデータストリームと、重畳情報のデータおよび視差情報が含まれる第２のデータストリームとを有する多重化データストリームが送信される。第２のデータストリームには、同一の画面に表示される所定数の重畳情報のデータが順に配置されている。また、第２のデータストリームには、視差情報が所定数の重畳情報の管理情報として挿入され、各重畳情報のデータと視差情報との対応付けが行われている。

そのため、受信側においては、左眼画像および右眼画像に重畳される所定数の重畳情報にそれぞれ対応する視差情報を用いて適切な視差を付与できる。したがって、字幕などの重畳情報の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

この発明の実施の形態としての立体画像表示システムの構成例を示すブロック図である。 放送局における送信データ生成部の構成例を示すブロック図である。 １９２０×１０８０ｐのピクセルフォーマットの画像データを示す図である。 立体画像データ（３Ｄ画像データ）の伝送方式である「Top & Bottom」方式、「Side By Side」方式、「Frame Sequential」方式を説明するための図である。 左眼画像に対する右眼画像の視差ベクトルを検出する例を説明するための図である。 視差ベクトルをブロックマッチング方式で求めることを説明するための図である。 字幕データストリームの構成例とキャプション・ユニット（字幕）の表示例を示す図である。 ピクセル（画素）毎の視差ベクトルの値を各ピクセル（各画素）の輝度値として用いた場合の画像例を示す図である。 ブロック（Block）毎の視差ベクトルの一例を示す図である。 送信データ生成部の視差情報作成部で行われるダウンサイジング処理を説明するための図である。 字幕エンコーダで生成される字幕データストリームの構成例と、その場合の視差ベクトルの作成例を示す図である。 字幕エンコーダで生成される字幕データストリームの他の構成例と、その場合の視差ベクトルの作成例を示す図である。 字幕エンコーダで生成される字幕データストリームの他の構成例と、その場合の視差ベクトルの作成例を示す図である。 第１、第２のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合を説明するための図である。 字幕文データグループに含まれる字幕符号のパケット構造を説明するための図である。 字幕管理データグループに含まれる制御符号のパケット構造を説明するための図である。 ＡＲＩＢ文字制御に関する拡張制御符号に追加する制御符号「ＺＤＰ」の機能、内容を示す図である。 制御符号集合符号表（要部のみを示す）を示す図である。 画像上における字幕（グラフィクス情報）の表示例と、背景、近景オブジェクト、字幕の遠近感を示す図である。 画像上における字幕の表示例と、字幕を表示するための左眼字幕ＬＧＩおよび右眼字幕ＲＧＩを示す図である。 立体画像表示システムを構成するセットトップボックスの構成例を示すブロック図である。 セットトップボックスを構成するビットストリーム処理部の構成例を示すブロック図である。 立体画像表示システムを構成するテレビ受信機の構成例を示すブロック図である。 立体画像表示システムの他の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［立体画像表示システムの構成例］
図１は、実施の形態としての立体画像表示システム１０の構成例を示している。この立体画像表示システム１０は、放送局１００と、セットトップボックス（ＳＴＢ：Set TopBox）２００と、テレビ受信機３００を有している。

セットトップボックス２００およびテレビ受信機３００は、ＨＤＭＩ（High Definition Multimedia Interface）ケーブル４００を介して接続されている。セットトップボックス２００には、ＨＤＭＩ端子２０２が設けられている。テレビ受信機３００には、ＨＤＭＩ端子３０２が設けられている。ＨＤＭＩケーブル４００の一端はセットトップボックス２００のＨＤＭＩ端子２０２に接続され、このＨＤＭＩケーブル４００の他端はテレビ受信機３００のＨＤＭＩ端子３０２に接続されている。

［放送局の説明］
放送局１００は、ビットストリームデータＢＳＤを、放送波に載せて送信する。放送局１００は、ビットストリームデータＢＳＤを生成する送信データ生成部１１０を備えている。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データ、重畳情報のデータ、さらには視差情報（視差ベクトル）などが含まれる。重畳情報は、グラフィクス情報、テキスト情報などであるが、この実施の形態においては字幕である。

「送信データ生成部の構成例」
図２は、放送局１００において、送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＡＲＩＢ（Association of Radio Industries andBusinesses）に容易に連携できるデータ構造で視差情報（視差ベクトル）を送信する。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１３０と、視差情報作成部１３１と、ビデオエンコーダ１１３と、オーディオエンコーダ１１７と、字幕発生部１３２と、字幕エンコーダ１３３と、マルチプレクサ１２２を有している。

データ取り出し部１３０には、データ記録媒体１３０ａが、例えば、着脱自在に装着される。このデータ記録媒体１３０ａには、左眼画像データおよび右眼画像データを含む立体画像データと共に、音声データ、視差情報が対応付けて記録されている。データ取り出し部１３０は、データ記録媒体１３０ａから、立体画像データ、音声データ、視差情報等を取り出して出力する。データ記録媒体１３０ａは、ディスク状記録媒体、半導体メモリ等である。

データ記録媒体１３０ａに記録されている立体画像データは、所定の伝送方式の立体画像データである。立体画像データ（３Ｄ画像データ）の伝送方式の一例を説明する。ここでは、以下の第１〜第３の伝送方式を挙げるが、これら以外の伝送方式であってもよい。また、ここでは、図３に示すように、左眼（Ｌ）および右眼（Ｒ）の画像データが、それぞれ、決められた解像度、例えば、１９２０×１０８０ｐのピクセルフォーマットの画像データである場合を例にとって説明する。

第１の伝送方式は、トップ・アンド・ボトム（Top & Bottom）方式で、図４（ａ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれることから原信号に対して垂直解像度は半分となる。

第２の伝送方式は、サイド・バイ・サイド（Side By Side）方式で、図４（ｂ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれる。原信号に対して、水平解像度は半分となる。

第３の伝送方式は、フレーム・シーケンシャル（Frame Sequential）方式あるいは２Ｄ後方互換方式で、図４（ｃ）に示すように、左眼画像データと右眼画像データとをフレーム毎に順次切換えて伝送する方式である。

また、データ記録媒体１３０ａに記録されている視差情報は、例えば、画像を構成するピクセル（画素）毎の視差ベクトルである。視差ベクトルの検出例について説明する。ここでは、左眼画像に対する右眼画像の視差ベクトルを検出する例について説明する。図５に示すように、左眼画像を検出画像とし、右眼画像を参照画像とする。この例では、（xi,yi）および（xj,yj）の位置における視差ベクトルが検出される。

（xi,yi）の位置における視差ベクトルを検出する場合を例にとって説明する。この場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。

この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば８×８あるいは１６×１６の比較ブロックが順次設定されていく。

画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。ここで、図６に示すように、画素ブロックＢｉの画素値をＬ(x,y)とし、比較ブロックの画素値をＲ(x,y)とするとき、画素ブロックＢｉと、ある比較ブロックとの間における差分絶対値の総和は、Σ｜Ｌ(x,y)−Ｒ(x,y)｜で表される。

右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１〜Ｓｎが求められ、その中で最小の総和Ｓminが選択される。そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置が（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′−xi，yi′−yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、（xj,yj）の位置の画素を左上とする、例えば８×８あるいは１６×１６の画素ブロックＢｊが設定されて、同様の処理過程で検出される。

図２に戻って、字幕発生部１３２は、字幕データ（ＡＲＩＢ方式の字幕文データ）を発生する。字幕エンコーダ１３３は、字幕発生部１３２で発生された字幕データを含む字幕データストリーム（字幕エレメンタリストリーム）を生成する。図７（ａ）は、字幕データストリームの構成例を示している。この例は、図７（ｂ）に示すように、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例を示している。

字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データが挿入される。なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループのデータとして、字幕データストリームに挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

視差情報作成部１３１は、ビューワ機能を持っている。この視差情報作成部１３１は、データ取り出し部１３０から出力される視差情報、すなわちピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施し、所定の領域に属する視差ベクトルを生成する。

図８は、各ピクセル（画素）の輝度値のようにして与えられる相対的な深さ方向のデータの例を示している。ここで、相対的な深さ方向のデータは所定の変換により画素ごとの視差ベクトルとして扱うことが可能となる。この例において、人物部分の輝度値は高くなっている。これは、人物部分の視差ベクトルの値が大きいことを意味し、従って、立体画像表示では、この人物部分が浮き出た状態に知覚されることを意味している。また、この例において、背景部分の輝度値は低くなっている。これは、背景部分の視差ベクトルの値が小さいことを意味し、従って、立体画像表示では、この背景部分が沈んだ状態に知覚されることを意味している。

図９は、ブロック（Block）毎の視差ベクトルの一例を示している。ブロックは、最下層に位置するピクセル（画素）の上位層に当たる。このブロックは、画像（ピクチャ）領域が、水平方向および垂直方向に所定の大きさで分割されることで構成される。各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。この例においては、各ブロックの視差ベクトルを矢印で示しており、矢印の長さが視差ベクトルの大きさに対応している。

図１０は、視差情報作成部１３１で行われるダウンサイジング処理の一例を示している。まず、視差情報作成部１３４は、図１０（ａ）に示すように、ピクセル（画素）毎の視差ベクトルを用いて、ブロック毎の視差ベクトルを求める。上述したように、ブロックは、最下層に位置するピクセル（画素）の上位層に当たり、画像（ピクチャ）領域が水平方向および垂直方向に所定の大きさで分割されることで構成される。そして、各ブロックの視差ベクトルは、例えば、そのブロック内に存在する全ピクセル（画素）の視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図１０（ｂ）に示すように、ブロック毎の視差ベクトルを用いて、グループ（Group Of Block）毎の視差ベクトルを求める。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図１０（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図１０（ｃ）に示すように、グループ毎の視差ベクトルを用いて、パーティション（Partition）毎の視差ベクトルを求める。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図１０（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの視差ベクトルは、例えば、そのパーティション内の全グループの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

次に、視差情報作成部１３１は、図１０（ｄ）に示すように、パーティション毎の視差ベクトルを用いて、最上位層に位置するピクチャ全体（画像全体）の視差ベクトルを求める。図１０（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の視差ベクトルは、例えば、ピクチャ全体に含まれる全パーティションの視差ベクトルから、最も値の大きな視差ベクトルが選択されることで得られる。

このようにして、視差情報作成部１３１は、最下層に位置するピクセル（画素）毎の視差ベクトルにダウンサイジング処理を施して、ブロック、グループ、パーティション、ピクチャ全体の各階層の各領域の視差ベクトルを求めることができる。なお、図１０に示すダウンサイジング処理の一例では、最終的に、ピクセル（画素）の階層の他、ブロック、グループ、パーティション、ピクチャ全体の４階層の視差ベクトルを求めている。しかし、階層数ならびに各階層の領域の切り方や領域の数はこれに限定されるものではない。

視差情報作成部１３１は、上述したダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトルを作成する。この場合、視差情報作成部１３１は、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）を作成するか、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）を作成する。この選択は、例えば、ユーザの設定による。

視差情報作成部１３１は、個別視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に基づき、上述のダウンサイジング処理によって、その表示領域に属する視差ベクトルを求める。また、視差情報作成部１３１は、共通視差ベクトルを作成する場合、上述のダウンサイジング処理によって、ピクチャ全体（画像全体）の視差ベクトルを求める（図１０（ｄ）参照）。なお、視差情報作成部１３１は、共通視差ベクトルを作成する場合、各キャプション・ユニットの表示領域に属する視差ベクトルを求め、最も値の大きな視差ベクトルを選択してもよい。

字幕エンコーダ１３３は、上述したように視差情報作成部１３１で作成された視差ベクトルを、字幕データストリームに含める。この場合、字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、この字幕データストリームには、字幕管理データグループの字幕管理データ（制御符号）として、視差ベクトルの値が挿入される。

ここで、視差情報作成部１３１で個別視差ベクトルが作成される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。

視差情報作成部１３１は、図１１（ｂ）に示すように、各キャプション・ユニットに対応した個別視差ベクトルを作成する。「Disparity 1」は、「1st Caption Unit」に対応した個別視差ベクトルである。「Disparity 2」は、「2nd Caption Unit」に対応した視差ベクトルである。「Disparity 3」は、「3rd Caption Unit」に対応した個別視差ベクトルである。

図１１（ａ）は、字幕エンコーダ１３３で生成される字幕データストリームの構成例を示している。この字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データが挿入される。なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループの字幕管理データ（制御符号）として、字幕データストリームに挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

また、この字幕データストリームには、字幕管理データグループの字幕管理データ（制御符号）として、各キャプション・ユニットの個別視差ベクトルの値が挿入される。このように各キャプション・ユニットの個別視差ベクトルの値が字幕管理データ（制御符号）として字幕データストリームに挿入されることで、各キャプション・ユニットの字幕データと、各キャプション・ユニットの個別視差ベクトルとが対応付けられる。

図１１（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図１１（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに対応した個別視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

図１１（ａ）の構成例では、１つの字幕文データグループに、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの字幕文データ（字幕符号）が含まれている。また、この１つの字幕文データグループの前に配置された１つの字幕管理データグループに、各キャプション・ユニットの個別視差ベクトルを有する字幕管理データ（制御符号）が含まれている。

しかし、図１２（ａ）に示す字幕データストリームの構成例も考えられる。この構成例では、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの字幕文データ（字幕符号）が、それぞれ異なる字幕文データグループに含まれている。また、各字幕文データグループの前に配置された字幕管理データグループに、それぞれ、各キャプション・ユニットの個別視差ベクトルを有する字幕管理データ（制御符号）が含まれている。なお、図１２（ｂ），（ｃ），（ｄ）は、図１１（ｂ），（ｃ），（ｄ）と同じである。

次に、視差情報作成部１３１で共通視差ベクトルが作成される場合について説明する。ここでは、同一の画面に、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」の３つのキャプション・ユニット（字幕）が表示される例とする。視差情報作成部１３１は、図１３（ｂ）に示すように、各キャプション・ユニットに共通の共通視差ベクトル「Disparity」を作成する。

図１３（ａ）は、字幕エンコーダ１３３で生成される字幕データストリームの構成例を示している。この字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、各キャプション・ユニットの字幕データが挿入される。なお、各キャプション・ユニットの表示領域などの設定データは、図示していないが、字幕管理データグループの字幕管理データ（制御符号）として、字幕データストリームに挿入される。「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの表示領域は、それぞれ、（x1,y1）、（x2,y2）、（x3,y3）で示されている。

また、この字幕データストリームには、字幕管理データグループの字幕管理データ（制御符号）として、各キャプション・ユニットに共通の共通視差ベクトルの値が挿入される。このように共通視差ベクトルの値が字幕管理データ（制御符号）として字幕データストリームに挿入されることで、各キャプション・ユニットの字幕データと、各キャプション・ユニットに共通の共通視差ベクトルとが対応付けられる。

図１３（ａ）の構成例では、１つの字幕文データグループに、「1st Caption Unit」、「2nd Caption Unit」、「3rd Caption Unit」のキャプション・ユニットの字幕文データ（字幕符号）が含まれている。また、この１つの字幕文データグループの前に配置された１つの字幕管理データグループに、各キャプション・ユニットに共通の共通視差ベクトルを有する字幕管理データ（制御符号）が含まれている。

図１３（ｃ）は、各キャプション・ユニット（字幕）が重畳された第１のビュー（1st View）、例えば右眼画像を示している。また、図１３（ｄ）は、各キャプション・ユニットが重畳された第２のビュー（1st View）、例えば左眼画像を示している。各キャプション・ユニットに共通の共通視差ベクトルは、図示のように、例えば、右眼画像に重畳する各キャプション・ユニットと、左眼画像に重畳する各キャプション・ユニットとの間に視差を付与するために用いられる。

なお、図１１（ｃ），（ｄ）、図１２（ｃ），（ｄ）、図１３（ｃ），（ｄ）の例は、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせている。しかし、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置のみをシフトさせる場合、あるいは、双方のビューに重畳する各キャプション・ユニットの位置をシフトさせる場合も考えられる。

図１４（ａ），（ｂ）は、第１のビューおよび第２のビューに重畳するキャプション・ユニットの双方の位置をシフトさせる場合を示している。この場合、各キャプション・ユニットに対応した視差ベクトル「Disparity」の値“disparity[i]”から、第１のビュー、第２のビューにおける各キャプション・ユニットのシフト値（オフセット値）Ｄ[i]が、以下のように求められる。

すなわち、disparity[i]が偶数の場合には、第１のビューでは、「Ｄ[i]＝- disparity[i]/2」と求められ、第２のビューでは、「Ｄ[i]＝disparity[i]/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「disparity[i]/2」だけシフトされ、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に(disparity[i]/2)だけシフトされる。

また、disparity(i)が奇数の場合には、第１のビューでは、「Ｄ[i]＝- (disparity[i]+1)/2」と求められ、第２のビューでは、「Ｄ[i]＝(disparity[i]-1)/2」と求められる。これにより、第１のビュー（例えば、右眼画像）に重畳する各キャプション・ユニットの位置は、左側に「(disparity[i]+1)/2」だけシフトされ、第２のビュー（例えば、左眼画像）に重畳する各キャプション・ユニットの位置は、右側に「(disparity[i]-1)/2」だけシフトされる。

［字幕符号、制御符号のパケット構造］
字幕符号および制御符号のパケット構造を簡単に説明する。最初に、字幕符号のパケット構造について説明する。図１５は、字幕符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示し、ここでは、字幕文データグループであることを示す。なお、字幕文データグループを示す「Data_group_id」は、さらに、言語を特定する。例えば、「Data_group_id==0x21」とされ、字幕文データグループであって、字幕文（第１言語）であることが示される。

「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕文データグループである場合、このデータグループデータは、字幕文データ（caption_data）である。この字幕文データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_parameter）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、字幕符号が配置される。

次に、制御符号のパケット構造について説明する。図１６は、制御符号のパケット構造を示している。「Data_group_id」は、データグループ識別を示す。ここでは、字幕管理データグループであることを示し、「Data_group_id==0x20」とされる。「Data_group_size」は、後続のデータグループデータのバイト数を示す。字幕管理データグループである場合、このデータグループデータは、字幕管理データ（caption_management_data）である。

この字幕管理データには、１以上のデータユニットが配置されている。各データユニットは、データユニット分離符号（unit_parameter）で分離されている。各データユニット内のデータユニットデータ（data_unit_data）として、制御符号が配置される。この実施の形態において、視差ベクトルの値は、８単位符号として与えられる。「ＴＣＳ」は２ビットのデータであり、文字符号化方式を示す。ここでは、「ＴＣＳ==00」とされ、８単位符号であることが示される。

［視差ベクトル値の８単位符号化］
ここで、視差ベクトル値の８単位符号化について説明する。視差ベクトル値を８単位符号として与えるために、ＡＲＩＢ文字制御に関する拡張制御符号に、制御符号「ＺＤＰ」を追加する。図１７は、制御符号「ＺＤＰ」の機能、内容を示している。

この制御符号「ＺＤＰ」は、立体視差を制御する制御符号であり、左眼画像と右眼画像との間の視差の値（視差ベクトル値）を指定する。この視差の値は、符号付きの値で、左眼画像に対する右眼画像の差分に相当するものを立体画像の水平画素単位で定義する。

この制御符号「ＺＤＰ」の符号シーケンスは、“ＣＳＩ、Ｐ11，−、Ｐ1i、Ｉ1、Ｆ”とされる。各符号を、図１８に示す制御符号集合符号表（要部のみを示す）を用いて説明する。符号「ＣＳＩ」は、拡張制御符号であることを識別するコントロール・シーケンス・イントロデューサである。この符号「ＣＳＩ」は、列位置（０９）を示す４ビットデータ（b8b7b6b5）と、行位置（１１）を示す４ビットデータ（b4b3b2b1）からなる８ビットデータ（b8-b1）である。

パラメータ「Ｐ11−Ｐ1i」は、列位置（０３）の符号で、視差差分画素数を示すことを意味する。符号「Ｐ1i」は、列位置（０３）を示す４ビットデータ（b8b7b6b5）と、行位置（ｉ）を示す４ビットデータ（b4b3b2b1）からなる８ビットデータ（b8-b1）である。ｉ＝０〜９であるとき、「０」〜「９」の数を示す。例えば、視差差分画素数が“２”であるとき、「Ｐ11−Ｐ1i」は、「03/2」となる。また、例えば、視差差分画素数が“１０”であるとき、「Ｐ11−Ｐ1i」は、「03/1，03/0」となる。また、例えば、視差差分画素数が“１２４”であるとき、「Ｐ11−Ｐ1i」は、「03/1，03/2，03/4」となる。

なお、上述の視差差分画素数が負であるときは、パラメータ「Ｐ11−Ｐ1i」の最後に、負符号を付加する。この負符号は、例えば、列位置（０３）を示す４ビットデータ（b8b7b6b5）と、行位置（１０）を示す４ビットデータ（b4b3b2b1）からなる８ビットデータ（b8-b1）とされる。例えば、視差差分画素数が“−２”であるとき、「Ｐ11−Ｐ1i」は、「03/2，03/10」となる。

符号「Ｉ1」は、パラメータ「Ｐ11−Ｐ1i」の終わりを示す中間文字である。この符号「Ｉ1」は、列位置（０３）を示す４ビットデータ（b8b7b6b5）と、行位置（１１）を示す４ビットデータ（b4b3b2b1）からなる８ビットデータ（b8-b1）である。符号「Ｆ」は、制御符号「ＺＤＰ」の終端文字である。この符号「Ｆ」は、制御符号「ＺＤＰ」を示すユニークワードであり、例えば、列位置（０６）を示す４ビットデータ（b8b7b6b5）と、行位置（１１）を示す４ビットデータ（b4b3b2b1）からなる８ビットデータ（b8-b1）とされる。

図２に戻って、ビデオエンコーダ１１３は、データ取り出し部１３０から供給される立体画像データに対して、ＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化を施し、ビデオエレメンタリストリームを生成する。オーディオエンコーダ１１７は、データ取り出し部１３０から供給される音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオエレメンタリストリームを生成する。

マルチプレクサ１２２は、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３から出力される各エレメンタリストリームを多重化する。そして、このマルチプレクサ１２２は、伝送データ（多重化データストリーム）としてのビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１３０から出力される立体画像データは、ビデオエンコーダ１１３に供給される。このビデオエンコーダ１１３では、その立体画像データに対してＭＰＥＧ４−ＡＶＣ、ＭＰＥＧ２、ＶＣ−１等の符号化が施され、符号化ビデオデータを含むビデオエレメンタリストリームが生成される。このビデオエレメンタリストリームはマルチプレクサ１２２に供給される。

また、字幕発生部１３２では、ＡＲＩＢ方式の字幕データが発生される。この字幕データは、字幕エンコーダ１３３に供給される。この字幕エンコーダ１３３では、字幕発生部１３２で発生された字幕データを含む字幕エレメンタリストリーム（字幕データストリーム）が生成される。この字幕エレメンタリストリームはマルチプレクサ１２２に供給される。

また、データ取り出し部１３０から出力されるピクセル（画素）毎の視差ベクトルは、視差情報作成部１３１に供給される。この視差情報作成部１３１では、ダウンサイジング処理により、同一の画面に表示される所定数のキャプション・ユニット（字幕）に対応した視差ベクトル（水平方向視差ベクトル）が作成される。この場合、視差情報作成部１３１では、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは全てのキャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が作成される。

視差情報作成部１３１で作成された視差ベクトルは、字幕エンコーダ１３３に供給される。字幕エンコーダ１３３では、視差ベクトルが、字幕データストリームに含められる（図１１〜図１３参照）。この場合、字幕データストリームには、字幕文データグループの字幕文データ（字幕符号）として、同一画面に表示される各キャプション・ユニットの字幕データが挿入される。また、字幕データストリームには、字幕管理データグループの字幕管理データ（制御符号）として、視差ベクトルの値が挿入される。

また、データ取り出し部１３０から出力される音声データはオーディオエンコーダ１１７に供給される。このオーディオエンコーダ１１７では、音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリームが生成される。このオーディオエレメンタリストリームはマルチプレクサ１２２に供給される。

マルチプレクサ１２２には、上述したように、ビデオエンコーダ１１３、オーディオエンコーダ１１７および字幕エンコーダ１３３からのエレメンタリストリームが供給される。そして、このマルチプレクサ１２２では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、伝送データとしてのビットストリームデータ（トランスポートストリーム）ＢＳＤが得られる。

図２に示す送信データ生成部１１０において、マルチプレクサ１２２から出力されるビットストリームデータＢＳＤは、ビデオデータストリームと字幕データストリームとを有する多重化データストリームである。ビデオデータストリームには、立体画像データが含まれている。また、字幕データストリームには、重畳情報としてのＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差ベクトル（視差情報）が含まれている。

字幕データストリームには、同一の画面に表示される所定数のキャプション・ユニットの字幕データが順に配置されている。また、この字幕データストリームには、視差ベクトル（視差情報）が、各キャプション・ユニットの管理情報として挿入され、各キャプション・ユニットの字幕データと視差ベクトルとが対応付けられている。

そのため、受信側（セットトップボックス２００）においては、左眼画像および右眼画像に重畳される所定数のキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

［セットトップボックスの説明］
図１に戻って、セットトップボックス２００は、放送局１００から放送波に載せて送信されてくるビットストリームデータ（トランスポートストリーム）ＢＳＤを受信する。このビットストリームデータＢＳＤには、左眼画像データおよび右眼画像データを含む立体画像データ、音声データが含まれている。また、ビットストリームデータＢＳＤには、キャプション・ユニットの字幕データ、さらには、このキャプション・ユニットに視差を付与するための視差ベクトル（視差情報）が含まれている。

セットトップボックス２００は、ビットストリーム処理部２０１を有している。このビットストリーム処理部２０１は、ビットストリームデータＢＳＤから、立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データ、キャプション・ユニットの字幕データ等を用いて、字幕が重畳された左眼画像および右眼画像のデータを生成する。

この場合、視差ベクトルおよびキャプション・ユニットの字幕データに基づいて、左眼画像、右眼画像にそれぞれ重畳する左眼字幕、右眼字幕のデータが生成される。ここで、左眼字幕および右眼字幕は同一の字幕である。しかし、画像内の重畳位置が、例えば、左眼字幕に対して、右眼字幕は、視差ベクトルだけ、水平方向にずれるようにされる。つまり、左眼字幕と右眼字幕との間に視差が与えられ、字幕の認識位置が画像の手前とされる。

図１９（ａ）は、画像上におけるキャプション・ユニット（字幕）の表示例を示している。この表示例では、背景と近景オブジェクトとからなる画像上に、字幕が重畳された例である。図１９（ｂ）は、背景、近景オブジェクト、字幕の遠近感を示し、字幕が最も手前に認識されることを示している。

図２０（ａ）は、図１９（ａ）と同じ、画像上におけるキャプション・ユニット（字幕）の表示例を示している。図２０（ｂ）は、左眼画像に重畳される左眼字幕ＬＧＩと、右眼画像に重畳される右眼字幕ＲＧＩを示している。図２０（ｃ）は、字幕が最も手前に認識されるために、左眼字幕ＬＧＩと右眼字幕ＲＧＩとの間に視差が与えられることを示している。

［セットトップボックスの構成例］
セットトップボックス２００の構成例を説明する。図２１は、セットトップボックス２００の構成例を示している。このセットトップボックス２００は、ビットストリーム処理部２０１と、ＨＤＭＩ端子２０２と、アンテナ端子２０３と、デジタルチューナ２０４と、映像信号処理回路２０５と、ＨＤＭＩ送信部２０６と、音声信号処理回路２０７を有している。また、このセットトップボックス２００は、ＣＰＵ２１１と、フラッシュＲＯＭ２１２と、ＤＲＡＭ２１３と、内部バス２１４と、リモコン受信部２１５と、リモコン送信機２１６を有している。

アンテナ端子２０３は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２０４は、アンテナ端子２０３に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

ビットストリーム処理部２０１は、上述したように、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。このビットストリーム処理部２０１は、立体画像データに対して、左眼字幕、右眼字幕のデータを合成し、表示用立体画像データを生成して出力する。また、ビットストリーム処理部２０１は、音声データを出力する。ビットストリーム処理部２０１の詳細構成は後述する。

映像信号処理回路２０５は、ビットストリーム処理部２０１から出力された立体画像データに対して必要に応じて画質調整処理などを行い、処理後の立体画像データをＨＤＭＩ送信部２０６に供給する。音声信号処理回路２０７は、ビットストリーム処理部２０１から出力された音声データに対して必要に応じて音質調整処理等を行い、処理後の音声データをＨＤＭＩ送信部２０６に供給する。

ＨＤＭＩ送信部２０６は、ＨＤＭＩに準拠した通信により、ベースバンドの画像（映像）と音声のデータを、ＨＤＭＩ端子２０２から送出する。この場合、ＨＤＭＩのＴＭＤＳチャネルで送信するため、画像および音声のデータがパッキングされて、ＨＤＭＩ送信部２０６からＨＤＭＩ端子２０２に出力される。

ＣＰＵ２１１は、セットトップボックス２００の各部の動作を制御する。フラッシュＲＯＭ２１２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２１３は、ＣＰＵ２１１のワークエリアを構成する。ＣＰＵ２１１は、フラッシュＲＯＭ２１２から読み出したソフトウェアやデータをＤＲＡＭ２１３上に展開してソフトウェアを起動させ、セットトップボックス２００の各部を制御する。

リモコン受信部２１５は、リモコン送信機２１６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２１１に供給する。ＣＰＵ２１１は、このリモコンコードに基づいて、セットトップボックス２００の各部を制御する。ＣＰＵ２１１、フラッシュＲＯＭ２１２およびＤＲＡＭ２１３は内部バス２１４に接続されている。

セットトップボックス２００の動作を簡単に説明する。アンテナ端子２０３に入力されたテレビ放送信号はデジタルチューナ２０４に供給される。このデジタルチューナ２０４では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ２０４から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部２０１に供給される。このビットストリーム処理部２０１では、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等が抽出される。また、このビットストリーム処理部２０１では、立体画像データに対し、左眼字幕、右眼字幕のデータが合成され、表示用立体画像データが生成される。

ビットストリーム処理部２０１で生成された表示用立体画像データは、映像信号処理回路２０５に供給される。この映像信号処理回路２０５では、表示用立体画像データに対して、必要に応じて画質調整処理等が行われる。この映像信号処理回路２０５から出力される処理後の表示用立体画像データは、ＨＤＭＩ送信部２０６に供給される。

また、ビットストリーム処理部２０１で得られた音声データは、音声信号処理回路２０７に供給される。この音声信号処理回路２０７では、音声データに対して、必要に応じて音質調整処理等の処理が行われる。この音声信号処理回路２０７から出力される処理後の音声データは、ＨＤＭＩ送信部２０６に供給される。そして、ＨＤＭＩ送信部２０６に供給された立体画像データおよび音声データは、ＨＤＭＩのＴＭＤＳチャネルにより、ＨＤＭＩ端子２０２からＨＤＭＩケーブル４００に送出される。

［ビットストリーム処理部の構成例］
図２２は、ビットストリーム処理部２０１の構成例を示している。このビットストリーム処理部２０１は、上述の図２に示す送信データ生成部１１０に対応した構成となっている。このビットストリーム処理部２０１は、デマルチプレクサ２２１と、ビデオデコーダ２２２と、字幕デコーダ２２３と、立体画像用字幕発生部２２４と、視差情報取り出し部２２５と、ビデオ重畳部２２６と、オーディオデコーダ２２７とを有している。

デマルチプレクサ２２１は、ビットストリームデータＢＳＤから、ビデオ、オーディオ、字幕のパケットを抽出し、各デコーダに送る。ビデオデコーダ２２２は、上述の送信データ生成部１１０のビデオエンコーダ１１３とは逆の処理を行う。すなわち、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成し、復号化処理を行って、左眼画像データおよび右眼画像データを含む立体画像データを得る。この立体画像データの伝送方式は、例えば、上述の第１の伝送方式（「Top & Bottom」方式）、第２の伝送方式は（「Side By Side」方式）、第３の伝送方式（「Frame Sequential」方式）などである（図４参照）。

字幕デコーダ２２３は、上述の送信データ生成部１１０の字幕エンコーダ１３３とは逆の処理を行う。すなわち、この字幕デコーダ２２３は、デマルチプレクサ２２１で抽出された字幕のパケットから字幕エレメンタリストリーム（字幕データストリーム）を再構成し、復号化処理を行って、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）を得る。

視差情報取り出し部２２５は、字幕デコーダ２２３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差情報）を取り出す。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる（図１１〜図１３参照）。上述したように、字幕データストリームには、同一の画面に表示される所定数のキャプション・ユニットのデータが順に配置されている。また、この字幕データストリームには、視差ベクトル（視差情報）が、各キャプション・ユニットの管理情報として挿入されている。そのため、視差情報取り出し部２２５は、各キャプション・ユニットの字幕データと対応付けて、視差ベクトルを取り出すことができる。

立体画像用字幕発生部２２４は、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータを生成する。この生成処理は、字幕デコーダ２２３で得られた各キャプション・ユニットの字幕データと、視差情報取り出し部２２５から供給される各キャプション・ユニットに対応した視差ベクトル（視差ベクトルの値）に基づいて行われる。そして、この立体画像用字幕発生部２２４は、左眼字幕および左眼字幕のデータ（ビットマップデータ）を出力する。

この場合、左眼および左眼の字幕（キャプション・ユニット）は同一の情報である。しかし、画像内の重畳位置が、例えば、左眼の字幕に対して、右眼の字幕は、視差ベクトル分だけ、水平方向にずれるようにされる。これにより、左眼画像および右眼画像に重畳される同一の字幕として、画像内の各物体の遠近感に応じて視差調整が施されたものを用いることができ、この字幕の表示において、画像内の各物体との間の遠近感の整合性を維持するようにされる。

ビデオ重畳部２２６は、ビデオデコーダ２２２で得られた立体画像データ（左眼画像データ、右眼画像データ）に対し、立体画像用字幕発生部２２４で発生された左眼および左眼の字幕のデータ（ビットマップデータ）を重畳し、表示用立体画像データＶoutを得る。そして、このビデオ重畳部２２６は、表示用立体画像データＶoutを、ビットストリーム処理部２０１の外部に出力する。

また、オーディオデコーダ２２７は、上述の送信データ生成部１１０のオーディオエンコーダ１１７とは逆の処理を行う。すなわち、このオーディオデコーダ２２７は、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。そして、このオーディオデコーダ２２７は、音声データＡoutを、ビットストリーム処理部２０１の外部に出力する。

図２２に示すビットストリーム処理部２０１の動作を簡単に説明する。デジタルチューナ２０４（図２１参照）から出力されるビットストリームデータＢＳＤは、デマルチプレクサ２２１に供給される。このデマルチプレクサ２２１では、ビットストリームデータＢＳＤから、ビデオ、オーディオおよび字幕のパケットが抽出され、各デコーダに供給される。

ビデオデコーダ２２２では、デマルチプレクサ２２１で抽出されたビデオのパケットからビデオのエレメンタリストリームが再構成され、さらに復号化処理が行われて、左眼画像データおよび右眼画像データを含む立体画像データが得られる。この立体画像データは、ビデオ重畳部２２６に供給される。

また、字幕デコーダ２２３では、デマルチプレクサ２２１で抽出された字幕のパケットから字幕エレメンタリストリームが再構成され、さらに復号化処理が行われて、各キャプション・ユニットの字幕データ（ＡＲＩＢ方式の字幕データ）が得られる。この各キャプション・ユニットの字幕データは、立体画像用字幕発生部２２４に供給される。

また、視差情報取り出し部２２５では、字幕デコーダ２２３を通じて得られる字幕のストリームから、各キャプション・ユニットに対応した視差ベクトル（視差ベクトルの値）が取り出される。この場合、キャプション・ユニット毎の視差ベクトル（個別視差ベクトル）、あるいは各キャプション・ユニットに共通の視差ベクトル（共通視差ベクトル）が得られる。この視差ベクトルは、立体画像用字幕発生部２２４に供給される。

立体画像用字幕発生部２２４では、各キャプション・ユニットの字幕データと、各キャプション・ユニットに対応した視差ベクトルに基づいて、左眼画像および右眼画像にそれぞれ重畳する左眼字幕および右眼字幕のデータ（ビットマップデータ）が生成される。この場合、画像内の重畳位置が、例えば、左眼の字幕に対して、右眼の字幕は、視差ベクトル分だけ、水平方向にずれるようにされる。この左眼字幕および左眼字幕のデータはビデオ重畳部２２６に供給される。

ビデオ重畳部２２６では、ビデオデコーダ２２２で得られた立体画像データに対し、立体画像用字幕発生部２２４で発生された左眼字幕および右眼字幕のデータ（ビットマップデータ）が重畳され、表示用立体画像データＶoutが得られる。この表示用立体画像データＶoutは、ビットストリーム処理部２０１の外部に出力される。

また、オーディオデコーダ２２７では、デマルチプレクサ２２１で抽出されたオーディオのパケットからオーディオエレメンタリストリームが再構成され、さらに復号化処理が行われて、上述の表示用立体画像データＶoutに対応した音声データＡoutが得られる。この音声データＡoutは、ビットストリーム処理部２０１の外部に出力される。

［テレビ受信機の説明］
図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる立体画像データを受信する。このテレビ受信機３００は、３Ｄ信号処理部３０１を有している。この３Ｄ信号処理部３０１は、立体画像データに対して、伝送方式に対応した処理（デコード処理）を行って、左眼画像データおよび右眼画像データを生成する。

［テレビ受信機の構成例］
テレビ受信機３００の構成例を説明する。図２３は、テレビ受信機３００の構成例を示している。このテレビ受信機３００は、３Ｄ信号処理部３０１と、ＨＤＭＩ端子３０２と、ＨＤＭＩ受信部３０３と、アンテナ端子３０４と、デジタルチューナ３０５と、ビットストリーム処理部３０６を有している。

また、このテレビ受信機３００は、映像・グラフィック処理回路３０７と、パネル駆動回路３０８と、表示パネル３０９と、音声信号処理回路３１０と、音声増幅回路３１１と、スピーカ３１２を有している。また、このテレビ受信機３００は、ＣＰＵ３２１と、フラッシュＲＯＭ３２２と、ＤＲＡＭ３２３と、内部バス３２４と、リモコン受信部３２５と、リモコン送信機３２６を有している。

アンテナ端子３０４は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ３０５は、アンテナ端子３０４に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤを出力する。

ビットストリーム処理部３０６は、図２１に示すセットトップボックス２００内のビットストリーム処理部２０１と同様の構成とされている。このビットストリーム処理部３０６は、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等を抽出する。また、このビットストリーム処理部３０６は、立体画像データに対して、左眼字幕、右眼字幕のデータを合成し、表示用立体画像データを生成して出力する。また、ビットストリーム処理部３０６は、音声データを出力する。

ＨＤＭＩ受信部３０３は、ＨＤＭＩに準拠した通信により、ＨＤＭＩケーブル４００を介してＨＤＭＩ端子３０２に供給される非圧縮の画像データおよび音声データを受信する。このＨＤＭＩ受信部３０３は、そのバージョンが例えばＨＤＭＩ１．４ａとされており、立体画像データの取り扱いが可能な状態にある。

３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。この場合、３Ｄ信号処理部３０１は、ビットストリーム処理部３０６で得られた立体画像データに対しては、その伝送方式（図４参照）に対応したデコード処理を行う。また、３Ｄ信号処理部３０１は、ＨＤＭＩ受信部３０３で受信された立体画像データに対しては、ＴＭＤＳ伝送データ構造に対応したデコード処理を行う。

映像・グラフィック処理回路３０７は、３Ｄ信号処理部３０１で生成された左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データを生成する。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、画質調整処理を行う。また、映像・グラフィック処理回路３０７は、画像データに対して、必要に応じて、メニュー、番組表などの重畳情報のデータを合成する。パネル駆動回路３０８は、映像・グラフィック処理回路３０７から出力される画像データに基づいて、表示パネル３０９を駆動する。表示パネル３０９は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma DisplayPanel）等で構成されている。

音声信号処理回路３１０は、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理を行う。音声増幅回路３１１は、音声信号処理回路３１０から出力される音声信号を増幅してスピーカ３１２に供給する。

ＣＰＵ３２１は、テレビ受信機３００の各部の動作を制御する。フラッシュＲＯＭ３２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ３２３は、ＣＰＵ３２１のワークエリアを構成する。ＣＰＵ３２１は、フラッシュＲＯＭ３２２から読み出したソフトウェアやデータをＤＲＡＭ３２３上に展開してソフトウェアを起動させ、テレビ受信機３００の各部を制御する。

リモコン受信部３２５は、リモコン送信機３２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ３２１に供給する。ＣＰＵ３２１は、このリモコンコードに基づいて、テレビ受信機３００の各部を制御する。ＣＰＵ３２１、フラッシュＲＯＭ３２２およびＤＲＡＭ３２３は、内部バス３２４に接続されている。

図２３に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３０３では、ＨＤＭＩ端子３０２にＨＤＭＩケーブル４００を介して接続されているセットトップボックス２００から送信されてくる、立体画像データおよび音声データが受信される。このＨＤＭＩ受信部３０３で受信された立体画像データは、３Ｄ信号処理部３０１に供給される。また、このＨＤＭＩ受信部３０３で受信された音声データは音声信号処理回路３１０に供給される。

アンテナ端子３０４に入力されたテレビ放送信号はデジタルチューナ３０５に供給される。このデジタルチューナ３０５では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のビットストリームデータ（トランスポートストリーム）ＢＳＤが出力される。

デジタルチューナ３０５から出力されるビットストリームデータＢＳＤは、ビットストリーム処理部３０６に供給される。このビットストリーム処理部３０６では、ビットストリームデータＢＳＤから立体画像データ、音声データ、キャプション・ユニットの字幕データ、視差ベクトル等が抽出される。また、このビットストリーム処理部３０６では、立体画像データに対して、左眼字幕、右眼字幕のデータが合成され、表示用立体画像データが生成される。

ビットストリーム処理部３０６で生成された表示用立体画像データは、３Ｄ信号処理部３０１に供給される。また、このビットストリーム処理部３０６で得られた音声データは、音声信号処理回路３１０に供給される。

３Ｄ信号処理部３０１では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた立体画像データに対してデコード処理が行われて、左眼画像データおよび右眼画像データが生成される。この左眼画像データおよび右眼画像データは、映像・グラフィック処理回路３０７に供給される。この映像・グラフィック処理回路３０７では、左眼画像データおよび右眼画像データに基づいて、立体画像を表示するための画像データが生成され、必要に応じて、画質調整処理、重畳情報データの合成処理も行われる。

この映像・グラフィック処理回路３０７で得られる画像データはパネル駆動回路３０８に供給される。そのため、表示パネル３０９により立体画像が表示される。例えば、表示パネル３０９に、左眼画像データによる左眼画像および右眼画像データによる右眼画像が交互に時分割的に表示される。視聴者は、例えば、表示パネル３０９の表示に同期して左眼シャッタおよび右眼シャッタが交互に開くシャッタメガネを装着することで、左眼では左眼画像のみを見ることができ、右眼では右眼画像のみを見ることができ、立体画像を知覚できる。

また、音声信号処理回路３１０では、ＨＤＭＩ受信部３０３で受信された、あるいはビットストリーム処理部３０６で得られた音声データに対してＤ／Ａ変換等の必要な処理が施される。この音声データは、音声増幅回路３１１で増幅された後に、スピーカ３１２に供給される。そのため、スピーカ３１２から表示パネル３０９の表示画像に対応した音声が出力される。

上述したように、図１に示す立体画像表示システム１０においては、放送局１００（送信データ生成部２０１）からセットトップボックス２００に、ビデオデータストリームと字幕データストリームとを有する多重化データストリームが送信される。ビデオデータストリームには、立体画像データが含まれている。また、字幕データストリームには、重畳情報としてのＡＲＩＢ方式の字幕（キャプション・ユニット）のデータおよび視差ベクトル（視差情報）が含まれている。

字幕データストリームには、同一の画面に表示される所定数のキャプション・ユニットの字幕データが順に配置されている。また、この字幕データストリームには、視差ベクトル（視差情報）が、各キャプション・ユニットの管理情報として挿入され、各キャプション・ユニットの字幕データと視差ベクトルとが対応付けられている。

そのため、セットトップボックス２００においては、左眼画像および右眼画像に重畳される所定数のキャプション・ユニット（字幕）に、対応する視差ベクトル（視差情報）を用いて適切な視差を付与できる。したがって、キャプション・ユニット（字幕）の表示において、画像内の各物体との間の遠近感の整合性を最適な状態に維持できる。

＜２．変形例＞
なお、上述実施の形態においては、立体画像表示システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、テレビ受信機３００は、図２３に示すように、セットトップボックス２００内のビットストリーム処理部２０１と同等に機能するビットストリーム処理部３０６を備えている。したがって、図２４に示すように、放送局１００およびテレビ受信機３００で構成される立体画像表示システム１０Ａも考えられる。

また、上述実施の形態においては、立体画像データを含むデータストリーム（ビットストリームデータ）が放送局１００から放送される例を示した。しかし、この発明は、このデータストリームがインターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。

また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、この発明を同様に適用できる。

また、上述実施の形態においては、重畳情報としてキャプション・ユニット（字幕）を取り扱うものを示した。しかし、その他のグラフィクス情報、テキスト情報などの重畳情報を扱うものにも同様に適用できる。

この発明は、画像に重ねて字幕などの重畳情報の表示を行う立体画像システムに適用できる。

１０，１０Ａ・・・立体画像表示システム
１００・・・放送局
１１０・・・送信データ生成部
１１３・・・ビデオエンコーダ
１１７・・・オーディオエンコーダ
１２２・・・マルチプレクサ
１３０・・・データ取り出し部
１３０ａ・・・データ記録媒体
１３１・・・視差情報作成部
１３２・・・字幕発生部
１３３・・・字幕エンコーダ
２００・・・セットトップボックス（ＳＴＢ）
２０１・・・ビットストリーム処理部
２０２・・・ＨＤＭＩ端子
２０３・・・アンテナ端子
２０４・・・デジタルチューナ
２０５・・・映像信号処理回路
２０６・・・ＨＤＭＩ送信部
２０７・・・音声信号処理回路
２１１・・・ＣＰＵ
２１５・・・リモコン受信部
２１６・・・リモコン送信機
２２１・・・デマルチプレクサ
２２２・・・ビデオデコーダ
２２３・・字幕デコーダ
２２４・・・立体画像用字幕発生部
２２５・・・視差情報取り出し部
２２６・・・ビデオ重畳部
２２７・・・オーディオデコーダ
３００・・・テレビ受信機（ＴＶ）
３０１・・・３Ｄ信号処理部
３０２・・・ＨＤＭＩ端子
３０３・・・ＨＤＭＩ受信部
３０４・・・アンテナ端子
３０５・・・デジタルチューナ
３０６・・・ビットストリーム処理部
３０７・・・映像・グラフィック処理回路
３０８・・・パネル駆動回路
３０９・・・表示パネル
３１０・・・音声信号処理回路
３１１・・・音声増幅回路
３１２・・・スピーカ
３２１・・・ＣＰＵ
３２５・・・リモコン受信部
３２６・・・リモコン送信機
４００・・・ＨＤＭＩケーブル

Claims (9)

1. 左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力部と、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力部と、
   上記画像データ出力部から出力される立体画像データを含む第１のデータストリームと、上記重畳情報データ出力部から出力される重畳情報のデータおよび上記視差情報出力部から出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信部とを備え、
   上記第２のデータストリームには、同一画面に表示される所定数の重畳情報のデータが順に配置され、
   上記第２のデータストリームには、上記視差情報が、上記所定数の重畳情報の管理情報として挿入されている
   立体画像データ送信装置。
2. 上記第２のデータストリームには、上記同一の画面に表示される所定数の重畳情報にそれぞれ対応した所定数の個別視差情報が挿入され、
   上記所定数の個別視差情報は、上記所定数の重畳情報のデータの前にまとめて配置されている
   請求項１に記載の立体画像データ送信装置。
3. 上記第２のデータストリームには、上記同一の画面に表示される所定数の重畳情報にそれぞれ対応した所定数の個別視差情報が挿入され、
   上記所定数の個別視差情報のそれぞれは、対応する上記重畳情報のデータの前に配置されている
   請求項１に記載の立体画像データ送信装置。
4. 上記第２のデータストリームには、上記同一の画面に表示される所定数の重畳情報に対応した共通視差情報が挿入され、
   上記共通視差情報は、上記所定数の重畳情報のデータの前に配置されている
   請求項１に記載の立体画像データ送信装置。
5. 上記重畳情報のデータは、ＡＲＩＢ方式の字幕文データであり、
   上記第２のデータストリームには、上記視差情報が、字幕管理データとして挿入される
   請求項１に記載の立体画像データ送信装置。
6. 上記視差情報は、８単位符号で与えられる
   請求項５に記載の立体画像データ送信装置。
7. 左眼画像データおよび右眼画像データを含む立体画像データを出力する画像データ出力ステップと、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータを出力する重畳情報データ出力ステップと、
   上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を出力する視差情報出力ステップと、
   上記画像データ出力ステップで出力される立体画像データを含む第１のデータストリームと、上記重畳情報データ出力ステップで出力される重畳情報のデータおよび上記視差情報出力ステップで出力される視差情報を含む第２のデータストリームとを有する多重化データストリームを送信するデータ送信ステップとを備え、
   上記第２のデータストリームには、同一画面に表示される所定数の重畳情報のデータが順に配置され、
   上記第２のデータストリームには、上記視差情報が、上記重畳情報の管理情報として挿入されている
   立体画像データ送信方法。
8. 第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信部を備え、
   上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
   上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
   上記第２のデータストリームには、同一画面に表示される所定数の重畳情報のデータが順に配置され、
   上記第２のデータストリームには、上記視差情報が、上記所定数の重畳情報の管理情報として挿入されており、
   上記データ受信部で受信された多重化データストリームに含まれる上記第１のデータストリームから立体画像データを取得する画像データ取得部と、
   上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから重畳情報のデータを取得する重畳情報データ取得部と、
   上記データ受信部で受信された多重化データストリームに含まれる上記第２のデータストリームから視差情報を取得する視差情報取得部と、
   上記画像データ取得部で取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得部で取得された上記視差情報と、上記重畳情報データ取得部で取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
   立体画像データ受信装置。
9. 第１のデータストリームと第２のデータストリームとが含まれる多重化データストリームを受信するデータ受信ステップを備え、
   上記第１のデータストリームは、立体画像を表示するための左眼画像データおよび右眼画像データを有する立体画像データを含み、
   上記第２のデータストリームは、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報のデータと、上記左眼画像データおよび上記右眼画像データによる画像に重畳する重畳情報をシフトさせて視差を付与するための視差情報を含み、
   上記第２のデータストリームには、同一画面に表示される所定数の重畳情報のデータが順に配置され、
   上記第２のデータストリームには、上記視差情報が、上記重畳情報の管理情報として挿入されており、
   上記データ受信ステップで受信された多重化データストリームに含まれる上記第１のデータストリームから立体画像データを取得する画像データ取得ステップと、
   上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから重畳情報のデータを取得する重畳情報データ取得ステップと、
   上記データ受信ステップで受信された多重化データストリームに含まれる上記第２のデータストリームから視差情報を取得する視差情報取得ステップと、
   上記画像データ取得ステップで取得された上記立体画像データに含まれる上記左眼画像データおよび上記右眼画像データと、上記視差情報取得ステップで取得された上記視差情報と、上記重畳情報データ取得ステップで取得された上記重畳情報のデータを用い、左眼画像および右眼画像に重畳する同一の重畳情報に視差を付与し、上記重畳情報が重畳された左眼画像のデータおよび上記重畳情報が重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
   立体画像データ受信方法。