JP2012090060A - 放送送信装置、放送受信装置及び放送送受信システム - Google Patents

Abstract

【課題】新たに放送信号を用意することなく、チャンネル切り替え時の遅延時間を短縮することが可能な放送送信装置、放送受信装置及び放送送受信システムを提供する。
【解決手段】放送番組としての１つの映像があり、その映像をサブサンプリング部１１で１／４のサイズになるよう４つの映像にサブサンプリングする。次に符号化部１２ａ〜１２ｄで符号化を行う。符号化された映像データはフレーム単位で示し、時間的に古いフレームから順に番号を付けてその新旧をあらわしている。符号化は、それぞれの映像データ間で、キーフレームの出現タイミングが一定の間隔で異なるように行う。符号化された映像データは、多重化部１３で多重化される。多重化されたデータは送信部１４へ送られ、送信部１４は多重化されたデータを放送信号として送信する。
【選択図】図３

Description

本発明は、地上デジタル放送をはじめとするデジタル放送の放送送信装置、放送受信装置及び放送送受信システムに関するものである。

近年、地上波放送や衛星放送などのデジタル化が進んでおり、既にその視聴が可能になっている。また、携帯電話においては、ワンセグ放送の視聴も可能になっている。そのため、デジタル放送の視聴が一般的になってきている。

このデジタル放送では、取り扱うデータの量が多いため、データを圧縮する技術が用いられている。例えば、地上デジタル放送ではＭＰＥＧ−２という方式が用いられている。

ＭＰＥＧ−２では、映像を、フレームと呼ばれる静止画の単位で取り扱っている。映像は、静止画であるフレームを連続して再生しているものであるため、連続するフレームには相関の高い場合が多い。そのため、ＭＰＥＧ−２では、この相関を利用した方法でデータ量を削減している。フレームの相関を利用した符号化においては、符号化を行うフレームの前後のフレームを参照し、その差分情報のみを符号化することで、データ量の削減を図っている。

復号を行うときは、まず参照元となるフレームを検出して復号する。この参照元フレームはキーフレームと呼ばれる。キーフレームは、他のフレームを参照しない独立したフレームであり、単独で復号することができる。キーフレーム以外のフレームは、差分情報の復号を行い、その情報にキーフレームの情報を加えることで元のフレームの情報を得る。つまり、参照するべきキーフレームの情報がなければ、復号することができない。

したがって、映像の復号を行う際には、まずキーフレームの検出を行っている。そのため、キーフレームの検出を待つ時間だけの遅延時間が生じる。

この問題に対して、解像度の異なる２種類の映像をそれぞれ異なる変調方式で同時に伝送する階層符号化方式に対応したデジタル放送用の受信装置において、通常では使用されていない低解像度映像受信用のチューナをチャンネル切り替え時に利用することで、チャンネル切り替え時に生じる遅延を少なくする受信装置が開示されている（特許文献１）。

この受信装置においては、通常解像度映像受信用のチューナと低解像度映像受信用のチューナを備えており、通常、番組視聴時には通常映像受信用のチューナを利用している。そしてチャンネル切り替え操作があった場合には、通常解像度の映像出力が始まるまでの間、チューナを低解像度映像受信用に切り替えて低解像度の映像を出力することで、切り替え時に発生する遅延時間の低減を図っている。

特開２００１−２８５７３６号公報

しかし、上記のような方法では、通常解像度映像信号とは別に低解像度映像信号を送信する必要があるため、送信するデータの量が増してしまい、データ伝送の効率が悪くなってしまう。また、低解像度信号を受信する受信部が受信装置に必要となってしまう。

本発明はこのような問題に鑑み、新たに放送信号を用意することなく、チャンネル切り替え時の遅延時間を短縮することが可能な放送送信装置、放送受信装置及び放送送受信システムを提供することを目的とする。

本発明は、デジタル放送の放送信号を送信する放送送信装置であって、
１つの映像を複数の映像にサブサンプリングするサブサンプリング手段と、サブサンプリングした複数の映像を、それぞれでキーフレームの出現タイミングが異なるように符号化する符号化手段と、符号化された映像データを他のデータとともに多重化する多重化手段と、多重化した放送信号を送信する送信手段と、を備えることを特徴とするものである。

ここで、前記符号化手段は、サブサンプリングした複数の映像のキーフレーム出現タイミングを、一定の間隔でずらすことを特徴とする。

また、本発明は、デジタル放送の放送信号を受信する放送受信装置であって、
１つの映像が複数の映像にサブサンプリングされ、該複数の映像がキーフレーム出現タイミングが異なるように符号化され多重化された放送信号を受信する放送受信手段と、受信した放送信号を各映像データに分離する分離手段と、分離された映像データからキーフレームを検出し、検出したキーフレームを用いて復号を行う復号手段と、復号された映像を合成し、その合成映像を出力する映像合成手段と、を備えることを特徴とするものである。

ここで、前記復号手段は、受信した放送信号に含まれる複数の映像データの全てからキーフレームが検出されるまでの期間、受信した複数の映像データのうち、最も早くキーフレームの検出された映像データから復号し、
前記映像合成手段は、前記映像データとは異なる映像データからもキーフレームが検出された場合に、映像を合成することを特徴とする。

さらに本発明は、前記放送送信装置と、前記放送受信装置と、を備えることを特徴とする放送送受信システムである。

本発明によれば、放送送信装置は、映像をサブサンプリングし、各映像を、各映像データのキーフレームの出現タイミングが異なるように符号化し、符号化した映像データを多重化、送信する。放送受信装置では、受信した信号から複数の映像データを取り出し、キーフレームを検出して、それに基づいて映像合成を行う。従って、一つの映像の場合に比較すれば、キーフレームの出現が早くなって、キーフレームの検出待ち時間が短くなり、それによって生じるチャンネル切り替え時の遅延時間を短縮することができる。

特に、放送送信装置において、サブサンプリングした複数の映像において、キーフレームの出現タイミングを一定間隔でずらしたり、放送受信装置において、その中から最も早くキーフレームの検出された映像データから復号される映像を出力として選択したりすることによって、サブサンプリング前の１つ映像の場合と比較して、チャンネル切り替え時の遅延時間をより短縮することができる。

また、映像をサブサンプリングしているので、各映像のデータ量はサブサンプリング前よりも少なくなる。そのため、復号時のバッファリングの時間が短くなり、それによって生じる遅延時間も短縮することができる。

本発明に係る放送送信装置の一実施形態を示すブロック図である。 本発明に係る放送受信装置の一実施形態を示すブロック図である。 放送送信装置における映像符号化の流れを示す概要図である。 映像のサブサンプリング概要を示す図である。 放送受信装置における映像復号化の流れを示す概要図である。 サブサンプリングした映像の符号化の例をフレーム単位で示す図である。 チャンネル切り替え時の映像の復号処理の例を示す図である。

以下、本発明の実施の形態を添付図面を参照して説明する。

図１は、本発明に係る放送送信装置の一実施形態を示すブロック図である。本発明の放送送受信システムは、この放送送信装置と、後述する放送受信装置とを組み合わせて構成される。図１のブロック図は、本発明の特徴を説明するのに必要となる映像に関する部分のみを示している。

図１の放送送信装置１０は、映像をサブサンプリングするサブサンプリング部１１、サブサンプリングした映像を符号化する符号化部１２ａ，１２ｂ，１２ｃ，１２ｄ、符号化したデータを多重化する多重化部１３、多重化した放送信号を送信する送信部１４、送信用のアンテナ１５を備えている。

放送送信装置１０では、１つの映像を符号化する前にサブサンプリング部１１で複数の映像にサブサンプリングする。ここでは例えば１／４のサイズになるように、４つの映像にサブサンプリングする。そして、それぞれの映像を符号化部１２ａ〜１２ｄにて符号化し、多重化部１３にて他のデータとともに多重化したのち、送信部１４からアンテナ１５を介して送信する。

図２は、本発明に係る放送受信装置の一実施形態を示すブロック図である。図１と同様に、映像に関する部分のみを示している。図２の放送受信装置２０は、放送信号を受信するためのアンテナ２１、放送信号を受信する放送受信部２２、受信した放送信号をサブサンプリングされた複数の映像データ及び他のデータに分離する分離部２３、分離された映像データを復号する復号化部２４ａ，２４ｂ，２４ｃ，２４ｄ、復号された映像を合成する合成部２５を備えている。

放送受信装置２０では、放送送信装置１０から送信された信号をアンテナ２１を介して放送受信部２２で受信し、分離部２３によってその放送信号を複数の映像データ及び他のデータに分離する。映像データに関しては、受信した放送信号に含まれる４つの映像データそれぞれを復号化部２４ａ〜２４ｄで復号し、復号された映像を合成部２５で合成し、合成映像を出力する。

ここで、放送送信装置１０における映像の処理の概要について、図３を用いて説明する。図３は、放送送信装置１０において、映像のサブサンプリング、符号化、多重化までの流れの概要を示している。

まず、放送番組としての１つの映像があり、その映像をサブサンプリング部１１で１／４のサイズになるよう４つの映像にサブサンプリングする。サブサンプリングされた映像は、映像Ａ、映像Ｂ、映像Ｃ、映像Ｄとして示している。

次に符号化部１２ａ〜１２ｄで符号化を行う。符号化された映像データはフレーム単位で示し、時間的に古いフレームから順に番号を付けてその新旧をあらわしている。例えば、符号化された映像Ａのデータにおいては、Ａ１が最も早く符号化された時間的に古いフレームで、Ａ９が最も遅く符号化された時間的に新しいフレームとなっている。また、符号化は、それぞれの映像データ間で、キーフレームの出現タイミングが一定の間隔で異なるように行う。図３では、２フレームずつ遅れて出現するように符号化しており、キーフレームにあたるフレームを太線枠で示している。キーフレームの出現タイミングの決め方については、後述する。

符号化された映像データは、多重化部１３で多重化される。多重化されたデータは送信部へ送られ、送信部１４は多重化されたデータを放送信号として送信する。

サブサンプリングについて図４を用いて説明する。サブサンプリングは、映像を構成する画素の輝度情報及び色差情報を、サブサンプリング後の映像Ａ、Ｂ、Ｃ、Ｄの情報に分割し、再結合することによって行う。図４では、映像の画素情報を行列で分け、行と列のそれぞれが奇数か偶数かによって情報を振り分けている。具体的には、サブサンプリング前の映像において、１行目、３行目といった奇数行の情報を映像Ａの情報および映像Ｂの情報とし、２行目、４行目といった偶数行の情報を映像Ｃの情報および映像Ｄの情報としている。そして、奇数列を映像ＡとＣ、偶数列を映像ＢとＤの情報として分けている。したがって、例えば映像Ａの情報は奇数行、奇数列にあたる情報（ａ１１、ａ１２、…、ａ２１、ａ２２、…）となる。このようにして振り分けた情報を分割し、再結合することで、映像Ａ、Ｂ、Ｃ、Ｄの４つのサブサンプリング映像を作る。なお、画素情報の分割方法は上記の限りではない。

次に、放送受信装置２０で受信した放送信号の、映像データの処理について図５を用いて説明する。図５は、放送受信装置２０において、受信した映像データの分離から元の映像の復元までの流れを示している。なお、図３と同様に映像を映像Ａ、映像Ｂ、映像Ｃ、映像Ｄとして区別する。

まず、受信部２２で放送信号を受信する。次に、受信した映像データは分離部２３へ送られ、分離部２３で映像データＡ、映像データＢ、映像データＣ、映像データＤの各データに分離される。そして、それぞれの映像データは復号化部２４ａ〜２４ｄで復号される。図５の場合、映像データＡから最も早くキーフレームが検出されるので、映像Ａの復号が最も早く可能になる。次いで、映像データＢ、Ｃ、Ｄの順にキーフレームが検出され、順次復号される。復号された４つの映像は合成部２５で合成され、出力される。

次にサブサンプリングした映像を符号化する際の、キーフレームの出現タイミングについて図６を用いて説明する。図６は、サブサンプリングした映像を符号化し、そのデータをフレーム単位で示した例である。符号化された映像データは、映像データＡ、映像データＢ、映像データＣ、映像データＤとして区別する。

４つの映像は、それぞれでキーフレームの出現タイミングが異なるように符号化する。ここでは、各映像データのキーフレーム出現間隔を８フレームとし、映像Ａの符号化を基準として他の映像のキーフレーム出現タイミングを決めるものとする。

まず映像Ａの符号化において、最初に出現するフレームＡ１をキーフレームとする。そして、そのときの出現タイミングをＴａとする。キーフレームの出現間隔は８フレームとしているので、Ａ１の次にキーフレームとなるのはＡ９となる。以降は、同様に８フレーム毎に出現するフレームをキーフレームとしていけばよい。次に、映像Ｂ、映像Ｃ、映像Ｄの各映像データのキーフレーム出現タイミングを決める。映像は４つにサブサンプリングしているので、それぞれの出現タイミングは、キーフレームの出現間隔の１／４ずつ遅らせることで、４つの映像データ間で一定の間隔となる。つまり、キーフレームの出現間隔をＴとすると、他の３つの映像データにおけるキーフレーム出現タイミングは、それぞれＴａ＋１／４Ｔ、Ｔａ＋２／４Ｔ、Ｔａ＋３／４Ｔとして表すことができる。キーフレームの出現間隔は８フレームとしているので、Ａ１の出現タイミングからそれぞれ２フレームずつ遅らせればよい。したがって、映像ＢのキーフレームはＢ３、映像ＣのキーフレームはＣ５、映像ＤのキーフレームはＤ７となる。それ以降は同様に、８フレーム毎に出現するフレームをキーフレームとすればよい。

以上のような方法で、４つの映像データ間のキーフレーム出現タイミングを、一定の間隔で異なるように符号化することができる。なお、キーフレームの出現間隔は８フレームに限定されるものではない。

次に、放送受信装置２０において、チャンネル切り替え操作が行われた場合の処理について、図７を用いて説明する。放送送信装置１０によって送信される放送信号の映像データは、上述した手法により、例えば図７の上部に示すような構造で符号化されている。

視聴者が、任意のタイミングでチャンネル切り替え操作を行ったとする。放送受信装置２０は、そのタイミングでチャンネル切り替え後の放送信号を選局、受信する。図７では、図の上部に示したタイミングで受信を開始したとする。放送受信装置２０は切り替え後の番組の放送信号としてＡ２以降のデータを受信する。放送受信部２２で受信された映像データは、分離部２３で４つの映像データＡ、Ｂ、Ｃ、Ｄに分離される。チャンネル切り替え後に最初に出力される映像は、これらの映像データの中から、最も早くキーフレームの検出された映像データから復号された映像となる。図７では、各映像データのフレーム番号２番のフレーム（Ａ２、Ｂ２、Ｃ２、Ｄ２）が先頭のフレームとして分離される。しかし、これらのフレームはキーフレームではないので、この時点ではどの映像データも復号することができない。次に、フレーム番号３番のデータを得る。ここで映像データＢからキーフレーム（Ｂ３）が最も早く検出され、映像データＢの復号が可能となる。したがって、映像データＢから復号される映像Ｂが出力される。なお、この時点では映像Ｂしか復号されていないので、合成部２５では他の映像と合成されることはなく、映像Ｂのみが拡大され出力される。

次に、映像データＢに次いで映像データＣからもキーフレーム（Ｃ５）が検出され、映像データＣの復号も可能になる。この場合、復号化部２４ｂ，２４ｃによって復号された映像Ｂと映像Ｃは合成部２５によって合成され、その合成映像が出力される。以降、映像データＤ、Ａからキーフレームが検出された場合も同様で、キーフレームの検出によって復号される映像は合成部２５で順次合成され、その合成映像が出力される。最終的には４つ全ての映像から合成される合成映像が出力される。

以上の方法で、視聴者によってチャンネル切り替え操作が行われた場合、４つの映像データから、最も早くキーフレームの検出された映像データから復号される映像を出力する。４つの映像は、それぞれのキーフレームの出現タイミングを、その出現間隔の１／４ずつ遅らせて符号化されている。そのため、映像データのいずれかからキーフレームが検出される間隔は２フレームとなり、サブサンプリング前の映像が１つの場合と比較すると１／４になる。したがって、キーフレームの検出待ち時間を最大でも１／４に短縮することができ、キーフレーム検出待ちによる遅延時間を短縮することができる。また、キーフレームの検出待ち時間を最大でも１／４に短縮できることから、サブサンプリング前の映像が１つの場合より、キーフレームの検出タイミングが早くなり、それによってキーフレームおよび差分フレームの受信と映像の復号も早く行なうことができる。そのため、バッファリングに確保する時間も短縮することができ、それによって生じる遅延時間も短縮することができる。

なお、放送受信装置２０は、放送信号の受信状況を把握できるようにしても良い。この場合、例えば受信状況が悪く、一部の映像の復号が不可能な場合には、出力可能になっている映像を優先的に出力できるようにしても良い。

また、放送受信装置２０は、映像を録画する録画装置と組み合わせて利用しても良く、サブサンプリングされた４つの映像を個別に録画しておいて、再生時にその映像を合成、出力するようにしても良い。この方法によると、録画した番組を再生する場合において、巻き戻しや早送りといった操作を従来よりも細かく行うことができる。例えば、巻き戻しの操作を行った場合、視聴中の映像から過去の映像がキーフレームを基準として一定時間毎に次々と表示されるとする。４つの映像を録画しておくことでキーフレームの出現頻度が大幅に増すため、操作中の映像は従来よりも滑らかに表示され、より細かい時間単位での操作が可能となる。さらに、例えば録画されている４つのサブサンプリング映像のうちの３つを削除すれば、低画質ではあるが番組そのものの録画情報は残し、録画装置の容量を確保することができる。

放送送受信システムは、地上波放送のような電波によって映像データを送受信するシステムに限定するものではない。例えば、ネットワークを介して、専用のセットトップボックスといった端末を利用して映像を視聴するIPTV（Internet Protocol Television）のような放送サービスに利用してもよい。この場合、サブサンプリングされた映像データは、ネットワークを介してユーザの端末へ送信され、端末側で復号、合成して出力する。端末側は、IPTVのサービスに対応しているものであればよく、例えばセットトップボックスの機能を備えたIPTV対応テレビやIPTV対応のPC等であってもよい。

また、放送送受信システムは、インターネットのような一般的なネットワークを利用して映像を提供する放送サービスに利用してもよい。例えば、ある特定の使用を満たす、限定されたセットトップボックスや、テレビ、ＰＣ、ゲーム機といった端末に対して、ネットワークを介して映像を提供するＯＴＴ−ＩＰＴＶ（Over The Top-IPTV）のようなサービスでもよい。この場合、サブサンプリングされた映像は、ネットワークを介してユーザの端末へ送信され、端末側で復号、合成して出力する。

また、放送送受信システムは、放送とネットワークの両方を利用して映像を提供するような放送サービスに利用してもよい。例えば、電波によって映像データを送受信し、ネットワークによってテキストなどのデータコンテンツを取得し、端末側で合成して再生するＨＢＢ−ＴＶ（Hybrid Broadcast Broadband TV）のようなサービスでもよい。この場合、サブサンプリングされた映像データは、電波、ネットワークのいずれか、あるいは両方を利用してユーザの端末側へ送信され、端末側で受信、復号、合成して出力する。例えば、サブサンプリングした映像データの１つは電波を利用して送信し、残り３つの映像データはネットワークを利用して送信するという形にする。この場合、サブサンプリング前の解像度の映像を出力できる端末においては、サブサンプリングされた映像を合成して、サブサンプリング前の解像度での映像の出力が可能となり、さらに、サブサンプリング後の低解像度での映像出力にしか対応していない端末においても、電波を利用して送信されるサブサンプリングされた映像データを受信、復号することで、出力が可能になる。

本発明は、上述した各実施形態に限定されるものではなく、実施形態にそれぞれ開示された技術的手段を組み合わせて得られる実施形態についても、技術的範囲に含まれる。

１０ 放送送信装置
１１ サブサンプリング部
１２ａ，１２ｂ，１２ｃ，１２ｄ 符号化部
１３ 多重化部
１４ 送信部
１５ アンテナ
２０ 放送受信装置
２１ アンテナ
２２ 放送受信部
２３ 分離部
２４ａ，２４ｂ，２４ｃ，２４ｄ 復号化部
２５ 合成部

Claims (5)

1. デジタル放送の放送信号を送信する放送送信装置であって、
   １つの映像を複数の映像にサブサンプリングするサブサンプリング手段と、
   サブサンプリングした複数の映像を、それぞれでキーフレームの出現タイミングが異なるように符号化する符号化手段と、
   符号化された映像データを他のデータとともに多重化する多重化手段と、
   多重化した放送信号を送信する送信手段と、
   を備えることを特徴とする放送送信装置。
2. 前記符号化手段は、サブサンプリングした複数の映像のキーフレーム出現タイミングを、一定の間隔でずらすことを特徴とする請求項１に記載の放送送信装置。
3. デジタル放送の放送信号を受信する放送受信装置であって、
   １つの映像が複数の映像にサブサンプリングされ、該複数の映像がキーフレーム出現タイミングが異なるように符号化され多重化された放送信号を受信する放送受信手段と、
   受信した放送信号を各映像データに分離する分離手段と、
   分離された映像データからキーフレームを検出し、検出したキーフレームを用いて復号を行う復号手段と、
   復号された映像を合成し、その合成映像を出力する映像合成手段と、
   を備えることを特徴とする放送受信装置。
4. 前記復号手段は、受信した放送信号に含まれる複数の映像データの全てからキーフレームが検出されるまでの期間、受信した複数の映像データのうち、最も早くキーフレームの検出された映像データから復号し、
   前記映像合成手段は、前記映像データとは異なる映像データからもキーフレームが検出された場合に、映像を合成することを特徴とする請求項３に記載の放送受信装置。
5. 請求項１又は２に記載の放送送信装置と、
   請求項３又は４に記載の放送受信装置と、
   を備えることを特徴とする放送送受信システム。

Images