JP2004328204A

JP2004328204A - 映像信号処理装置

Info

Publication number: JP2004328204A
Application number: JP2003118195A
Authority: JP
Inventors: Kazumi Suga; 和巳須賀; Kazuaki Sukai; 一明須貝; Yoshikazu Shibamiya; 芳和柴宮; Eisaku Tatsumi; 栄作巽; Tomoko Maruyama; 朋子丸山; Satoshi Mitsumura; 聡三ツ村; Atsushi Sakakibara; 厚志榊原; Atsushi Ikeda; 敦池田; Kenzo Ina; 謙三伊奈
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-04-23
Filing date: 2003-04-23
Publication date: 2004-11-18

Abstract

【課題】パノラマ映像の全てもしくは大部分の領域を同時に視聴可能であり、かつ、受信装置側の低コスト化を図ることができる映像信号送信処理装置および映像信号受信処理装置を提供する。
【解決手段】複数の撮影手段１１，１２，１３で撮影した映像信号を、映像合成手段１４によって１つのパノラマ映像に合成する。このパノラマ映像信号は、符号化手段１６によって１チャンネル分の帯域で送信できるように圧縮符号化され、多重化手段１７によって付加情報が多重化された後、送信される。受信装置側では、受信した信号を１チャンネルの映像信号として復号化し、表示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放送を送信する映像信号送信装置、及び、テレビジョン放送を受信する映像信号受信装置などに適用できる映像信号処理装置に関し、詳しくは、パノラマ映像信号を含むテレビジョン放送を扱う映像信号送信処理装置及び映像信号受信処理装置に関する。
【０００２】
【従来の技術】
近年のデジタル技術の進展に伴い、テレビジョン放送方式もこれまでのアナログ方式（ＮＴＳＣ／ＰＡＬ／ＳＥＣＡＭ）からデジタル方式に移行しつつある。例えば米国、欧州では既に地上波デジタル放送が開始され、日本においても２０００年１２月からＢＳデジタル放送が開始されている。また、日本では２００３年から地上波デジタル放送が開始される予定になっている。
【０００３】
上記デジタル放送では放送帯域を有効に使用することから、多チャンネル化が可能となる。この多チャンネルを利用したアプリケーションの一つにマルチアングル放送がある。これは英国等の一部の有料放送で既に実現されている。マルチアングル放送では、複数台のカメラで異なるアングルから撮影された映像が複数のチャンネルの放送として放送される。視聴者は自由にチャンネルを切り替えて様々なアングルの映像を視聴できる。
【０００４】
一方、多チャンネルを利用する他のアプリケーションとしては、パノラマ放送も提案されている。パノラマ放送では、離散的な複数のアングルではなく、隣り合う連続した複数のアングルの映像をつなぎ合わせてパノラマ映像とする。視聴者は所望のアングルを選択して視聴することができる。
【０００５】
例えば特許文献１には、全方位を複数台のカメラで分割して撮影し、これら複数の映像、音声情報を付加情報と共にマルチプレックスして送信し、受信機側でデマルチプレックスされた複数の映像信号の内、視聴者により選択された映像信号のみをテレビモニターに出力する送信装置および受信装置が開示されている。また特許文献２には、デマルチプレックスされた複数の映像信号をメモリ上に並べてパノラマ映像として格納し、これら複数の映像信号に繋ぎ目処理を施して、視聴者が２つの映像にまたがるアングルであっても選択的に視聴できる放送方法および受信装置が開示されている。
【０００６】
【特許文献１】
特開平９−５１５１３号公報
【特許文献２】
特開平１１−２６１８８４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら上述したパノラマ放送送信装置および受信装置では、ワイドアングルのパノラマ映像のうちの限定的な一部の領域しか同時に視聴できないため、パノラマ放送の特徴を十分に活かすことが出来なかった。さらに受信装置に複数の復号化手段を必要とするため、受信装置が高価になってしまうという問題があった。
【０００８】
本発明は、上述の点に鑑みてなされたものであり、パノラマ映像の全てもしくは大部分の領域を同時に視聴可能であり、かつ、受信装置側の低コスト化を図ることができる映像信号送信処理装置および映像信号受信処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明の映像信号処理装置は、複数の映像信号を合成して得られるパノラマ映像信号を圧縮符号化する符号化手段と、前記符号化手段によって圧縮符号化されたパノラマ映像信号に、それがパノラマ映像であることを示すパノラマ情報を多重化する多重化手段と、を有し、前記符号化手段は、少なくとも２つの前記映像信号を互いに異なる圧縮率で圧縮符号化することを特徴とする。
【００１０】
また、本発明の映像信号処理装置は、複数の映像信号が合成され、少なくとも２つの前記映像信号が互いに異なる圧縮率で圧縮符号化されたパノラマ映像信号と、それがパノラマ映像であることを示すパノラマ情報と、が多重化された情報信号を受信処理する映像信号処理装置であって、受信された前記情報信号から前記パノラマ情報と前記符号化されたパノラマ映像信号を分離する分離手段と、前記符号化されたパノラマ映像信号を前記映像信号毎の前記圧縮率に対応して復号化する復号化手段と、前記復号化手段によって復号化されたパノラマ映像信号を表示する表示手段と、を有することを特徴とする。
【００１１】
これら映像信号処理装置においては、映像の中央部に対応した映像信号は、該映像の両端部に対応した複数の映像信号に比べて低い圧縮率で圧縮符号化されるとより良い。
【００１２】
また、本発明の映像信号処理装置は、複数の映像信号を合成して得られるパノラマ映像信号を圧縮符号化する符号化手段と、前記符号化手段によって圧縮符号化されたパノラマ映像信号に、それがパノラマ映像であることを示すパノラマ情報を多重化する多重化手段と、を有し、前記パノラマ映像信号を、少なくとも２つの前記映像信号をそれぞれ水平方向に間引いて所定の縮小率で縮小する縮小手段を有することを特徴とする。
【００１３】
また、本発明の映像信号処理装置は、それぞれ水平方向に間引かれ所定の縮小率で縮小された複数の映像信号を含むように合成されたパノラマ映像信号と、それがパノラマ映像であることを示すパノラマ情報と、が多重化された情報信号を受信処理する映像信号処理装置であって、受信された前記情報信号から前記パノラマ情報と前記符号化されたパノラマ映像信号を分離する分離手段と、前記符号化されたパノラマ映像信号を復号化する復号化手段と、前記復号化手段によって復号化されたパノラマ映像信号を前記縮小率に対応して拡大して表示する表示手段と、を有することを特徴とする。
【００１４】
【発明の実施の形態】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００１５】
（第１の実施形態）
本発明の第１の実施形態は、送信側では複数の撮影手段で撮影した映像信号を１つのパノラマ映像に合成し、圧縮符号化して送信し、受信側では１つの映像信号として復号化して表示する構成である。
【００１６】
それでは図面を参照して本実施形態について詳しく説明する。
【００１７】
図１は、本発明の第１の実施形態にかかる映像信号送信処理装置（以下、「パノラマ放送送信装置」という。）の概略構成を示すブロック図である。
【００１８】
パノラマ放送送信装置は、複数の撮影手段１１，１２，１３、映像合成手段１４、付加情報生成手段１５、符号化手段１６、多重化手段１７、送信手段１８、送信アンテナ手段１９を有して構成される。
【００１９】
＜撮影手段＞
撮影手段１１〜１３は、パノラマ放送用の番組コンテンツを撮影するための撮影カメラである。例えば図２に示すように、撮影手段１１〜１３を同一円周上に隣り合わせて配置することにより、ワイドアングルのパノラマ放送用の映像が撮影される。
【００２０】
撮影手段１１〜１３はＨＤ放送用の撮影カメラの場合もあれば、ＳＤ放送用の撮影カメラの場合もある。また撮影手段の数は、後述するように、１チャンネル分の帯域で何アングル分送信するかによって適宜増減すればよい。さらに各撮影手段で撮影される映像は、図２に示すように、端部において互いに少しずつオーバーラップしていることが望ましい。
【００２１】
＜映像合成手段＞
映像合成手段１４は、撮影手段１１〜１３で撮影された映像を１つのパノラマ映像として合成する手段である。例えば撮影手段１１，１２，１３でそれぞれ撮影された映像を図３における映像Ａ，Ｂ，Ｃとすると、これらを水平方向に並べて合成し、１つのパノラマ映像信号を得る。
【００２２】
映像合成手段１４は、映像合成の際に映像間の繋ぎ目処理を行う。例えば、繋ぎ合わせる２つの映像の相関をとることにより、オーバーラップする部分の位置合わせ処理を行う。また、繋ぎ目の画素にローパスフィルターやメディアンフィルターをかけることにより、繋ぎ目を目立たなくする処理を行う。なお、繋ぎ目処理はその他の方法を用いてもかまわない。
【００２３】
映像合成手段１４によって合成された映像信号は符号化手段１６に出力される。すなわち、本実施形態では、撮影手段１１〜１３と映像合成手段１４とが、複数の映像信号を合成して得られたパノラマ映像信号を入力する入力手段に相当する。
【００２４】
＜符号化手段＞
符号化手段１６は、映像合成手段１４から得られたパノラマ映像信号を圧縮符号化する手段である。ここでは、圧縮符号化方法として、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２を採用する。
【００２５】
通常、ＳＤ（標準精細度）であれば４〜６Ｍｂｐｓ程度、ＨＤ（高精細度）であれば１８〜２４Ｍｂｐｓ程度のビットレートに符号化し、これらの伝送用の帯域としてそれぞれ６スロット、２４スロット（１スロットは１．０８Ｍｂｐｓの伝送容量）を割り当てる。しかし、パノラマ映像信号は、複数のアングルの映像が合成されているため、通常のビットレートで符号化した場合には、送信時に複数のチャンネルが必要になってしまう。
【００２６】
そこで本実施形態では、図４（ａ）に示すように、パノラマ映像信号をＳＤ放送品位のビットレートで圧縮符号化する。そうすれば、ＨＤ放送用の帯域を使用することによって、複数アングル分（たとえば、３〜５アングル分）の映像信号を含むパノラマ映像信号を１チャンネル分の帯域で送信することが可能となる。
【００２７】
このときさらに、パノラマ映像信号を複数の領域に分割し、個々の領域を異なるビットレートで圧縮符号化するとよい。詳しくは、図４（ｂ）〜（ｄ）に示すように、パノラマ映像信号を水平方向に分割し、中央の領域ほど高いビットレートで、両端の領域ほど低いビットレートで、圧縮符号化するとよい。これにより、パノラマ映像を１チャンネル分の帯域で送信可能な程度に圧縮しつつも、観者（視聴者）が一番注目する中央部分については高品位な画質を実現することが可能となる。
【００２８】
なお、ビットレートを異ならせるために分割する領域と、各撮影手段１１〜１３で撮影された各アングルの領域とは、必ずしも一致させる必要はない。パノラマ映像信号全体が１チャンネル分の帯域に収まるように圧縮符号化されればよく、分割数や分割の仕方、それぞれのビットレートは適宜に設定可能である。
【００２９】
例えば図４（ｂ）では、５つの領域に分割し、左の領域からそれぞれ４Ｍｂｐｓ，５Ｍｂｐｓ，６Ｍｂｐｓ，５Ｍｂｐｓ，４Ｍｂｐｓに圧縮符号化している。また、図４（ｄ）では、３つの領域に分割し、左の領域からそれぞれ５Ｍｂｐｓ，１０Ｍｂｐｓ，５Ｍｂｐｓに圧縮符号化している。
【００３０】
また、ＨＤ放送用の帯域を使用するのではなく、ビットレートをさらに落とすことによってＳＤ放送用の１チャンネル分の帯域で送信可能なように圧縮符号化しても構わない。例えば図４（ｃ）では、ＳＤ放送用の６スロットを使用して、左の領域からそれぞれ１．５Ｍｂｐｓ、３Ｍｂｐｓ、１．５Ｍｂｐｓに圧縮符号化している。この場合も、中央部分の領域のビットレートを上げることにより、中央部分についてはＳＤ放送相当画像品位を保っている。
【００３１】
＜付加情報生成手段＞
付加情報生成手段１５は、以下に説明するＰＳＩ（ＰｒｏｇｒａｍＳｐｅｃｉｆｉｃＩｎｆｏｒｍａｔｉｏｎ）及びＳＩ（ＳｅｒｖｉｃｅＩｎｆｏｒｍａｔｉｏｎ）をＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）パケット化したものを多重化手段１７に出力する。
【００３２】
ＰＳＩ／ＳＩは番組配列情報に相当するもので、図５に示す各種テーブルが規定されている。ＰＳＩ／ＳＩについてはＡＲＩＢ（電波産業界）ＳＴＤ−Ｂ１０第２部の第５章に詳述されている。
【００３３】
ＰＳＩ／ＳＩの信号はセクションと呼ばれる信号構成でＴＳパケット中のペイロードに配置して伝送される。ＰＡＴ（ＰｒｏｇｒａｍＡｓｓｏｃｉａｔｉｏｎＴａｂｌｅ）は、番組配列に関連するＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）を伝送するＴＳパケットのＰＩＤ（ＰａｃｋｅｔＩＤ）を指定し、ＰＭＴは放送番組を構成する各符号化信号を伝送するＴＳパケットのＰＩＤを指定する。
【００３４】
ＮＩＴ（ＮｅｔｗｏｒｋＩｎｆｏｒｍａｔｉｏｎＴａｂｌｅ）は、複数のＴＳを含むネットワークの情報を提供し、ネットワーク全体で行われている様々なサービスおよび伝送路の緒元を示している。ＮＩＴのデータ構造を図６に示す。
【００３５】
図６に示したＮＩＴのセクションには２つの記述子（ディスクリプタ）がある。このうち下線で示した記述子は、サービスリスト記述子であり、サービス識別とサービス形式種別によるサービスの一覧を提供する。
【００３６】
図７にサービスリスト記述子構造を示す。図７におけるサービスＩＤは、ＴＳ内の情報サービスをユニークに識別する。このサービスＩＤは、対応するＰＭＴ内の放送番組番号識別（Ｐｒｏｇｒａｍ＿ｎｕｍｂｅｒ）に等しい。またサービスタイプは、図８に示すサービスの種類（デジタルＴＶサービス、データサービス等）を表す。
【００３７】
本実施形態では、特定のチャンネルもしくは番組がパノラマ放送である情報（以下、「パノラマ情報」という。）をＰＳＩ／ＳＩに盛り込む。例えば、ＮＩＴのサービスリスト記述子内のサービスタイプの未定義の部分（０ｘ００，０ｘ０３−０ｘ７Ｆ，０ｘＣ１−０ｘＦＦ）もしくは事業者定義の部分（０ｘ８０−０ｘＢＦ）に、新たなサービスタイプ（例えば、「パノラマ放送サービス」）として定義する。
【００３８】
もちろん、このパノラマ情報は、送信装置側と受信装置側での対応がとれている限り、ＰＳＩ／ＳＩの他の部分に盛り込んでも良い。例えばＥＩＴ（ＥｖｅｎｔＩｎｆｏｒｍａｔｉｏｎＴａｂｌｅ）の矩形イベント記述子の番組説明の部分に盛りこんでも良いし、その他の部分でも良い。また、パノラマ情報は、合成した各映像信号毎に対応する圧縮率を示す情報を含んでいると良い。
【００３９】
＜多重化手段、送信手段＞
多重化手段１７は、符号化手段１６により符号化されたパノラマ映像信号（ビデオ信号およびオーディオ信号）に、付加情報生成手段１５により生成された付加情報（ＰＳＩ／ＳＩ）を多重化する。この信号は、エラー訂正用の符号を付加された後、変調手段（図示せず）により伝送路に適した方式に変調、増幅されて、送信手段１８により送信アンテナ手段１９を介して送信される。
【００４０】
続いて、図９を参照して受信装置について説明する。
【００４１】
図９は、本実施形態にかかる映像信号受信処理装置（以下、「パノラマ放送受信装置」という。）の概略構成を示すブロック図である。
【００４２】
パノラマ放送受信装置は、受信アンテナ手段２１、チューナー手段２２、信号分離手段２３、復号化手段２４、表示手段２５、外部入力手段２６、制御手段２７を有して構成される。
【００４３】
＜受信アンテナ手段、チューナー手段＞
受信アンテナ手段２１およびチューナー手段２２は、パノラマ放送送信装置から送信されたテレビジョン放送（情報信号）を受信する受信手段として機能する。チューナー手段２２は、制御手段２７から受信すべきチャンネルの情報（周波数、ＴＳ＿ＩＤ）を得て、その情報に基づき周波数を切り替え、所望のＴＳを復調し、エラー訂正を行う。
【００４４】
＜信号分離手段＞
信号分離手段２３では、ビデオ、オーディオ、ＰＳＩ／ＳＩ等の多重化された信号のデマルチプレックス（分離）を行う。映像信号は復号化手段２４へ出力される。一方、図５に示すＰＩＤで指定される各種ＰＳＩセクションは、ここでフィルタリングされ、ＥＰＧ（電子プログラムガイド）を構成するために必要な情報およびパノラマ情報が取得される。これらの情報は制御手段２７に出力される。
【００４５】
＜復号化手段＞
復号化手段２４は、パノラマ放送送信装置の符号化手段１６によりなされた圧縮符号化処理と反対の処理、すなわち、可変長復号化、逆量子化、逆ＤＣＴ、動き補償といったＭＰＥＧ−２の復号化処理を行うことにより、符号化されたパノラマ映像信号を復号化する。合成した各映像信号の圧縮率を示す情報を含むパノラマ情報に基づいて対応する映像信号を圧縮率に対応した伸長率で復号化することが好ましいものである。
【００４６】
＜制御手段＞
制御手段２７は、視聴者が操作するリモコン等の外部入力手段２６から入力された選択要求に基づいて、チャンネルもしくは番組の切り替え、映像信号とＥＰＧ画面との切り替えなどの制御を行う。
【００４７】
視聴者からチャンネルもしくは番組の選択要求を受けた場合には、制御手段２７は、そのチャンネルを受信するために必要な情報（チャンネル周波数，ＴＳ＿ＩＤ，ビデオのＰＩＤ，オーディオのＰＩＤ）をチューナー手段２２に送る。そして、復号化手段２４から出力される映像信号が表示手段２５に出力されるように切り替える。ここで、チャンネル番号と、そのチャンネルを受信するために必要な情報をテーブル化し、上記ＰＡＴ，ＰＭＴの参照をスキップすることでチャンネル切替を高速化するとよい。
【００４８】
一方、ＥＰＧ表示要求を受けた場合には、制御手段２７は、信号分離手段２３から得たＰＳＩ／ＳＩ情報をもとにＥＰＧ画面を生成して、映像信号の代りにＥＰＧ画面を表示手段２５に出力させる。
【００４９】
このＥＰＧ画面の生成の際、付加情報に盛り込まれたパノラマ情報を参照することによって、各チャンネルもしくは番組が、パノラマ放送か通常放送かを判定する。本実施形態では、上述したように、パノラマ情報が、ＰＳＩ情報のなかのＮＩＴのサービスリスト記述子内のサービスタイプ、もしくは、ＥＩＴの矩形イベント記述子の番組説明部分に反映されているので、制御手段２７はこれらの情報をチェックすることにより判定を行う。
【００５０】
次に、制御手段２７は、視聴者がＥＰＧ画面上でパノラマ放送か通常放送かを区別することができるようにＥＰＧ画面を生成する。そのようなＥＰＧ画面の一例を図１０に示す。
【００５１】
図１０（ａ）の例では、１００チャンネルおよび１０１チャンネルが通常の放送であり、１０２チャンネルがパノラマ放送である。１０２チャンネルの番組はすべてパノラマ放送番組として放送されるものとする。この場合にはチャンネル単位に通常放送かパノラマ放送かの識別情報を付加すればよい。例えば、パノラマ放送のチャンネル表示欄に印「※」を表示することによって、視聴者に１０２チャンネルがパノラマ放送であることを知らしめることができる。
【００５２】
また図１０（ｂ）の例では、１つのチャンネルにパノラマ放送番組と通常の番組とを混成させている。この場合には番組単位に識別情報を付加すればよい。例えば、パノラマ放送番組である「Ｆ１グランプリ第５戦」の番組名表示欄に印「※」を表示することによって、当該番組がパノラマ放送であることを知らしめることができる。
【００５３】
なお、識別情報としては、視聴者が通常放送かパノラマ放送かを識別可能であればどのような情報を用いてもよい。印の他にも、例えば、専用のアイコン画像を表示したり、色・大きさ・書体などの表示属性を変えたり、チャンネルや番組が選択状態となったときに音を鳴らすなどしてもよい。
【００５４】
以上述べた本実施形態の構成によれば、送信側は、パノラマ映像信号を共通の表示画面に同時に表示できるに充分な圧縮率で圧縮符号化しているので、１チャンネル分の帯域で送信できる。そして、受信側は、パノラマ映像信号を１チャンネルもしくは１番組として受信できるため、通常の放送と同様の処理でパノラマ放送を受信し、復号化し、共通の表示画面に同時に表示することができる。
【００５５】
したがって、ワイドアングルのパノラマ映像の全ての領域を同時に視聴することができる。また、受信側に複数の復号化手段などパノラマ放送用の特別の装置を設ける必要がなくなり、受信装置の低コスト化を図ることができる。
【００５６】
さらに、パノラマ映像信号にパノラマ情報を多重化しているので、受信側にて各チャンネルもしくは各番組が通常の放送かパノラマ放送かを判別することができる。しかも、その判別結果に基づきＥＰＧ画面を構成し、視聴者に対しても通常の放送かパノラマ放送かを知らしめることとしたので、操作性の向上を図ることができる。
【００５７】
（第２の実施形態）
まず、本発明の第２の実施形態における処理の概要について図１１を参照して説明する。
【００５８】
本実施形態は、送信側では複数台（ｎ台とする）の撮影手段で撮影した映像信号（図１１（ａ）参照）を、それぞれ１／ｎに縮小処理した後（図１１（ｂ）参照）、１つのパノラマ映像に合成し（図１１（ｃ）参照）、圧縮符号化して送信し、受信側では１つの映像信号として復号化した後、ｎ倍に拡大して表示する（図１１（ｄ）参照）構成である。
【００５９】
それでは図面を参照して本実施形態について詳しく説明する。
【００６０】
図１２は、本発明の第２の実施形態にかかるパノラマ放送送信装置の概略構成を示すブロック図である。
【００６１】
パノラマ放送送信装置は、複数の撮影手段１１，１２，１３、各撮影手段に接続される複数の映像処理手段３４，３５，３６、映像合成手段３７、付加情報生成手段１５、符号化手段１６、多重化手段１７、送信手段１８、送信アンテナ手段１９を有して構成される。このうち、映像処理手段３４〜３６および映像合成手段３７以外の構成部分は第１の実施形態のものと同様であるため説明を省略する。
【００６２】
＜映像処理手段＞
映像処理手段３４〜３６は、撮影手段１１〜１３でそれぞれ撮影された映像信号を１／ｎに縮小して映像合成手段３７へ出力する。縮小処理としては、例えば、単純な間引き処理を用いて画素数を減らしても良いし、Ｂｉ−ＬｉｎｅａｒやＢｉ−Ｃｕｂｉｃ等の座標変換処理によって補間画素を形成するとともに原画素の一部を間引いて画素数を減らしても良い。また画素を減らして縮小する方向は、例えば図１１（ｂ）の様に水平方向でも良いし、あるいは垂直方向でも良いし、さらには水平、垂直方向共に縮小しても良く、結果的に画像サイズが１／ｎに縮小されれば良い。
【００６３】
＜映像合成手段＞
映像合成手段３７は、映像処理手段３４〜３６で縮小された映像を１つのパノラマ映像として合成する手段である。例えば映像処理手段３４、３５、３６でそれぞれ縮小された映像を図１１（ｂ）における映像とすると、これを図１１（ｃ）に示すように水平方向に並べて合成し、１つの映像信号とする。この際の繋ぎ目処理については第１の実施形態と同様のものを用いればよい。
【００６４】
映像合成手段３７によって合成された映像信号は符号化手段１６に出力される。すなわち、本実施形態では、撮影手段１１〜１３と映像処理手段３４〜３６と映像合成手段３７とが、間引き処理された複数の映像信号を合成することによって得られたパノラマ映像信号を入力する入力手段に相当する。
【００６５】
以降は第１の実施形態と同様にして、符号化手段１６による圧縮符号化処理、多重化手段１７による付加情報の多重化処理、送信手段１８および送信アンテナ手段１９による送信処理が実行される。
【００６６】
次に、本実施形態にかかるパノラマ放送受信装置について説明する。
【００６７】
図１３は、パノラマ放送受信装置の概略構成を示すブロック図である。
【００６８】
パノラマ放送受信装置は、受信アンテナ手段２１、チューナー手段２２、信号分離手段２３、復号化手段２４、映像処理手段４５、表示手段２５、外部入力手段２６、制御手段２７を有して構成される。このうち、映像処理手段４５以外の構成部分は第１の実施形態のものと同様であるため説明を省略する。
【００６９】
＜映像処理手段＞
映像処理手段４５は、復号化手段４４で復号された、図１１（ｃ）に示すように１／ｎに縮小されて合成されたパノラマ映像信号を、ｎ倍に拡大して表示手段２５に出力する。拡大処理としては、例えば、単純に同じデータをｎ回出力する処理（最近隣内挿法）を用いても良いし、Ｂｉ−ＬｉｎｅａｒやＢｉ−Ｃｕｂｉｃ等の補間処理を用いても良い。また拡大する方向は、上記送信装置における映像処理手段３４〜３６における縮小方向に対応している。撮影手段の画素数と表示装置の画素数が一致しているとは限らないので、拡大率は必ずしも縮小率の逆数である必要はない。
【００７０】
以上述べたように、本実施形態では、送信側で画像サイズを縮小（圧縮）し、受信側で画像サイズを拡大（伸長）することによって１チャンネル分の帯域でパノラマ映像信号を送受信できるようにしている。したがって、本実施形態の構成によっても、第１の実施形態と同様の作用効果を奏することができる。さらには、合成前の各映像信号の縮小率を対応する各領域毎に異ならしめる、つまり、両側の映像の縮小率を１／ａ、中心の映像の縮小率を１／ｂとしたときに、１／ａ＜１／ｂとすることも好ましいものである。合成した各映像信号の圧縮率を示す情報をパノラマ情報に含ませて、これを基にパノラマ映像信号を復号、伸長することも好ましいものである。
【００７１】
（第３の実施形態）
第１、第２の実施形態では、予め複数台の撮影手段において撮影された映像を１つのパノラマ映像に合成してからその後の処理を行っていたが、第３の実施形態では、複数台の撮影手段において撮影された映像を、それぞれ別個に処理して、最後の表示の際に並べて出力する。
【００７２】
それでは図面を参照して本実施形態について詳しく説明する。
【００７３】
図１４は、本発明の第３の実施形態にかかるパノラマ放送送信装置の概略構成を示すブロック図である。
【００７４】
パノラマ放送送信装置は、複数の撮影手段１１，１２，１３、各撮影手段に接続される複数の符号化手段５５，５６，５７、付加情報生成手段１５、多重化手段５８、送信手段１８、送信アンテナ手段１９を有して構成される。このうち、符号化手段５５〜５７と多重化手段５８以外の構成部分は第１の実施形態のものと同様であるため説明を省略する。
【００７５】
＜符号化手段＞
符号化手段５５〜５７は、それぞれ撮影手段１１から得られた各アングルの映像信号（ビデオの原信号）を圧縮符号化する手段である。ここでは、圧縮符号化方法としてＭＰＥＧ−２を採用し、ＳＤ（標準精細度）であれば４〜６Ｍｂｐｓ程度、ＨＤ（高精細度）であれば１８〜２４Ｍｂｐｓ程度のビットレートに符号化する。また、パノラマ映像信号を構成する各アングルの映像信号を圧縮符号化したときに、全体として１チャンネル分の帯域で送信可能となるようにビットレートを選択する点は、第１の実施形態と同様である。また、この際に、映像信号ごとに重み付けを行って、例えば、中央部の映像信号ほど圧縮率を低く（ビットレートを高く）、端部の映像信号ほど圧縮率を高く（ビットレートを低く）してもよい。
【００７６】
ここで、本実施形態におけるＭＰＥＧのビットストリームの構成、並びに、パノラマ放送の撮影アングル等の情報の付加例について、図１５、図１６を参照しながら説明する。
【００７７】
ＭＰＥＧのビットストリームは図１５に示すように、シーケンスヘッダ１０１、シーケンス拡張１０２、拡張およびユーザーデータ（０）１０３からなるシーケンス層と、ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅ）ヘッダ１０４、拡張およびユーザーデータ（１）１０５からなるＧＯＰ層と、ピクチャーヘッダ１０６、ピクチャ符号化拡張１０７、拡張およびユーザーデータ（２）１０８、ピクチャデータ１０９からなるピクチャー層、以下図示しないが、スライス層、マクロブロック層から構成される。
【００７８】
シーケンス層は、シーケンスヘッダ１０１で始まり、シーケンス拡張１０２の「ｅｘｔｅｎｓｉｏｎｓｔａｒｔｃｏｄｅ」の有無でＭＰＥＧ−１とＭＰＥＧ−２のビットストリームの分類が行われる。一般にシーケンスは１つのビデオプログラム全体を示し、「ｓｅｑｕｅｎｃｅｅｎｄｃｏｄｅ」で終了する。シーケンス層は、基本的に１つ以上のＧＯＰから構成される。シーケンスヘッダ１０１には符号化画像サイズ、アスペクト比、フレームレート、ビットレート、ＶＢＶバッファサイズ、量子化マトリクスなどシーケンス単位で設定される情報が含まれる。またシーケンス拡張１０２ではプロファイル、レベル、色差フォーマット、プログレッシブシーケンスが指定される。さらに、拡張およびユーザーデータ（０）では図１６に示すように、拡張データ、スケーラビリティの情報の他に、シーケンスレベルでユーザーデータが自由に設定できる。
【００７９】
本実施形態においては、１つのビデオプログラム単位でそのシーケンスがどのアングル（またはどの撮影手段）で撮影されたものであるかの情報（パノラマ合成情報）を付加する。例えば、拡張およびユーザーデータ（０）１０３のユーザーデータにその情報を付加する。例えば撮影手段１１で撮影された映像は「右」、撮影手段１２で撮影された映像は「中央」、撮影手段１３で撮影された映像は「左」の情報を上記ユーザーデータにそれぞれ付加する。もちろん、このようなパノラマ合成情報は、その他のヘッダ情報に記載されても良い。
【００８０】
ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層については説明を省略する。
【００８１】
＜多重化手段＞
多重化手段５８は、符号化手段５５〜５７により符号化された各アングルの映像信号（ビデオ信号およびオーディオ信号）に、付加情報生成手段１５により生成された付加情報（ＰＳＩ／ＳＩ）を多重化する。この信号は、エラー訂正用の符号を付加された後、変調手段により伝送路に適した方式に変調、増幅されて、送信手段１８により送信アンテナ手段１９を介して送信される。
【００８２】
続いて、本実施形態にかかる受信装置について説明する。
【００８３】
本実施形態のパノラマ放送受信装置の概略構成は、図９に示した第１の実施形態のものと同様である。ただし、信号分離手段２３および復号化手段２４で行われる処理が第１の実施形態のものと異なる。以下、その点について説明する。
【００８４】
＜信号分離手段＞
信号分離手段２３では、映像信号、ＰＳＩ／ＳＩ等の多重化されたＴＳのデマルチプレックスを行う。映像信号は復号化手段２４へ出力される。一方、ＰＩＤで指定される各種ＰＳＩセクションは、ここでフィルタリングされ、ＥＰＧ（電子プログラムガイド）を構成するために必要な情報およびパノラマ情報が取得される。これらの情報は制御手段２７に出力される。以上の処理は第１の実施形態におけるものと同様である。
【００８５】
ただし本実施形態では、複数のアングル（または撮影手段）で撮影された信号がそれぞれ別個に圧縮符号化されて送信されてくるため、信号分離手段２３は、上述した個々のシーケンスごとに付加されたパノラマ合成情報に基づいて、各アングル（または各撮影手段）の映像信号を順次復号化手段２４に出力する。
【００８６】
＜復号化手段＞
復号化手段２４は、パノラマ放送送信装置の符号化手段５５〜５７によりなされた圧縮符号化処理と反対の処理、すなわち可変長復号化、逆量子化、逆ＤＣＴ、動き補償といったＭＰＥＧ−２の復号化処理を行うことにより、符号化された複数の映像信号をそれぞれ復号化する。
【００８７】
このとき、信号分離手段２３から入力された各アングル（または各撮影手段）の映像信号を、並列（同時）にまたは時系列的に順次復号化する。そして、パノラマ合成情報に基づいて、それぞれの映像信号がどのアングル（または撮影手段）で撮影されたか、すなわち、複数の映像信号をどのように配置するかを判断し、復号化した各映像信号を表示手段２５の適切な位置に出力する。これにより、撮影手段１１で撮影された映像は表示手段２５の「右」に、撮影手段１２で撮影された映像は「中央」に、撮影手段１３で撮影された映像は「左」に表示され、画面上でパノラマ映像が構成される。
【００８８】
以上述べた構成によっても、上記各実施形態に準じた作用効果を奏することができる。
【００８９】
以上、本発明の好適な実施形態について例示的に説明したが、本発明はこれらに限定されるものではなく、以下の実施態様を含むものである。
【００９０】
（実施態様１）
本発明においては、前記符号化手段は、前記パノラマ映像信号を１チャンネル分の帯域で送信可能に圧縮符号化するとよい。
【００９１】
（実施態様２）
本発明においては、前記送信手段は、多重化した信号を１チャンネル分の帯域で送信するとよい。
【００９２】
（実施態様３）
本発明においては、前記複数の映像信号は、縮小処理前の映像信号のサイズと前記パノラマ映像信号のサイズとが等しくなるように縮小処理されているとよい。
【００９３】
（実施態様４）
本発明においては、前記撮影手段の数をｎとした場合に、前記映像処理手段は、前記映像信号を１／ｎに縮小するとよい。
【００９４】
（実施態様５）
本発明においては、前記圧縮符号化された映像信号に、当該映像のパノラマ映像内の配置を示すパノラマ合成情報が付加されているとよい。
【００９５】
（実施態様６）
本発明においては、映像信号とＥＰＧ画面との表示切り替えを行う制御手段をさらに有し、
前記制御手段は、
ＥＰＧ画面上でパノラマ放送か通常放送かを区別可能な態様でＥＰＧ画面を生成するとよい。
【００９６】
（実施態様７）
実施態様６記載の映像信号受信処理装置において、
前記制御手段は、
ＥＰＧ画面上のパノラマ放送チャンネルまたはパノラマ放送番組に識別情報を付加するとよい。
【００９７】
（実施態様８）
実施態様７記載の映像信号受信処理装置において、
前記識別情報は、印、アイコン画像、表示属性または音であるとよい。
【００９８】
【発明の効果】
本発明によれば、映像の圧縮率を適切に定めることにより、伝送を容易にして、パノラマ映像の全てもしくは大部分の領域を同時に視聴可能であり、かつ、受信装置側の低コスト化を図ることができる映像信号送信処理装置および映像信号受信処理装置を提供可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかるパノラマ放送送信装置の概略構成を示すブロック図である。
【図２】撮影手段の設置例を示す図である。
【図３】映像信号の合成について説明するための概念図である。
【図４】本発明の第１、第３の実施形態における圧縮符号化方法について説明するための図である。
【図５】ＰＳＩ／ＳＩについて説明するための図である。
【図６】ＮＩＴのデータ構造について説明するための図である。
【図７】ＮＩＴのサービスリストディスクリプタについて説明するための図である。
【図８】ＮＩＴのサービスタイプについて説明するための図である。
【図９】本発明の第１の実施形態にかかるパノラマ放送受信装置の概略構成を示すブロック図である。
【図１０】ＥＰＧ画面の表示例を示す図である。
【図１１】本発明の第２の実施形態における映像処理および映像合成処理について説明するための概念図である。
【図１２】本発明の第２の実施形態にかかるパノラマ放送送信装置の概略構成を示すブロック図である。
【図１３】本発明の第２の実施形態にかかるパノラマ放送受信装置の概略構成を示すブロック図である。
【図１４】本発明の第３の実施形態にかかるパノラマ放送送信装置の概略構成を示すブロック図である。
【図１５】ＭＰＥＧのデータ構造について説明するための図である。
【図１６】ＭＰＥＧのシーケンス層の拡張およびユーザデータ（０）について説明するための図である。
【符号の説明】
１１，１２，１３撮影手段
１４映像合成手段
１５付加情報生成手段
１６符号化手段
１７多重化手段
１８送信手段
１９送信アンテナ手段
２１受信アンテナ手段
２２チューナー手段
２３信号分離手段
２４復号化手段
２５表示手段
２６外部入力手段
２７制御手段
３４，３５，３６映像処理手段
３７映像合成手段
４４復号化手段
４５映像処理手段
５５，５６，５７符号化手段
５８多重化手段

Claims

複数の映像信号を合成して得られるパノラマ映像信号を圧縮符号化する符号化手段と、
前記符号化手段によって圧縮符号化されたパノラマ映像信号に、それがパノラマ映像であることを示すパノラマ情報を多重化する多重化手段と、
を有し、
前記符号化手段は、少なくとも２つの前記映像信号を互いに異なる圧縮率で圧縮符号化することを特徴とする映像信号処理装置。
複数の映像信号が合成され、少なくとも２つの前記映像信号が互いに異なる圧縮率で圧縮符号化されたパノラマ映像信号と、それがパノラマ映像であることを示すパノラマ情報と、が多重化された情報信号を受信処理する映像信号処理装置であって、
受信された前記情報信号から前記パノラマ情報と前記符号化されたパノラマ映像信号を分離する分離手段と、
前記符号化されたパノラマ映像信号を前記映像信号毎の前記圧縮率に対応して復号化する復号化手段と、
前記復号化手段によって復号化されたパノラマ映像信号を表示する表示手段と、
を有することを特徴とする映像信号処理装置。
映像の中央部に対応した映像信号は、該映像の両端部に対応した複数の映像信号に比べて低い圧縮率で圧縮符号化される請求項１又は２に記載の映像信号処理装置。
複数の映像信号を合成して得られるパノラマ映像信号を圧縮符号化する符号化手段と、
前記符号化手段によって圧縮符号化されたパノラマ映像信号に、それがパノラマ映像であることを示すパノラマ情報を多重化する多重化手段と、
を有し、
前記パノラマ映像信号を、少なくとも２つの前記映像信号をそれぞれ水平方向に間引いて所定の縮小率で縮小する縮小手段を有することを特徴とする映像信号処理装置。
それぞれ水平方向に間引かれ所定の縮小率で縮小された複数の映像信号を含むように合成されたパノラマ映像信号と、それがパノラマ映像であることを示すパノラマ情報と、が多重化された情報信号を受信処理する映像信号処理装置であって、
受信された前記情報信号から前記パノラマ情報と前記符号化されたパノラマ映像信号を分離する分離手段と、
前記符号化されたパノラマ映像信号を復号化する復号化手段と、
前記復号化手段によって復号化されたパノラマ映像信号を前記縮小率に対応して拡大して表示する表示手段と、
を有することを特徴とする映像信号処理装置。