JP2011004275A - 映像処理装置、映像処理方法、及びデータ構造 - Google Patents

Abstract

【課題】Ｉピクチャ専用のバッファやインデックスファイルを不要とすることによって回路規模及びコストを削減することが可能な、映像処理装置を得る。
【解決手段】映像処理装置１は、複数種別のピクチャが格納された複数のＴＳパケットを有するトランスポートストリームに基づいて映像の再生を行う映像処理装置であって、トランスポートストリームにおいては、各ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのヘッダに格納されており、映像処理装置１は、属性情報に基づいて、トランスポートストリームから所定種別のピクチャを抽出する抽出部３と、抽出部３によって抽出された所定種別のピクチャに基づいて、所定の特殊再生処理を行う復号部４とを備える。
【選択図】図１

Description

本発明は、映像処理装置、映像処理方法、及びデータ構造に関し、特に、ピクチャが格納された複数のＴＳ（Transport Stream）パケットを有するトランスポートストリームに基づいて映像の再生を行う映像処理装置及び映像処理方法、並びに、そのＴＳパケットのデータ構造に関する。

例えば下記特許文献１に開示された記録再生装置においては、記録時にピクチャヘッダを解析することによってＩピクチャ（フレーム内符号化画像）を抽出し、抽出したＩピクチャを、通常再生用のバッファとは異なる専用のＩピクチャバッファ内に記録する。そして、早送り再生等の特殊再生（トリックプレイ）を行う場合には、Ｉピクチャバッファから読み出したＩピクチャを用いて早送り再生を行う。

また、Ｉピクチャバッファを用いる代わりに、Ｉピクチャの位置情報（格納アドレス）を記述したインデックスファイルを復号時に作成し、インデックスファイルを参照してＩピクチャのみを読み出すことによってトリックプレイを行うという背景技術もある。

特開平９−２４７６２３号公報

上記特許文献１に開示された記録再生装置によると、通常再生用のバッファとは別に専用のＩピクチャバッファを設ける必要があるため、回路規模の増大及びコストの上昇を招く。また、記録時にＩピクチャの抽出処理を行う必要があるため、処理の負荷が高くなる。また、上記のインデックスファイルを用いる場合も同様に、インデックスファイルを作成する必要があるために処理の負荷が高くなる。

本発明はかかる問題を解決するために成されたものであり、Ｉピクチャ専用のバッファやインデックスファイルを不要とすることによって、回路規模及びコストの削減と処理負荷の軽減とを図ることが可能な、映像処理装置、映像処理方法、及びデータ構造を得ることを目的とするものである。

本発明の第１の態様に係る映像処理装置は、複数種別のピクチャが格納された複数のＴＳパケットを有するトランスポートストリームに基づいて映像の再生を行う映像処理装置であって、前記トランスポートストリームにおいては、各ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのヘッダに格納されており、前記映像処理装置は、前記属性情報に基づいて、前記トランスポートストリームから所定種別のピクチャを抽出する抽出手段と、前記抽出手段によって抽出された前記所定種別のピクチャに基づいて、所定の特殊再生処理を行う処理手段とを備えることを特徴とするものである。

第１の態様に係る映像処理装置によれば、トランスポートストリームにおいては、各ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのヘッダに格納されている。そして、抽出手段は、属性情報に基づいてトランスポ
ートストリームから所定種別のピクチャを抽出し、処理手段は、抽出手段によって抽出された所定種別のピクチャに基づいて所定の特殊再生処理を行う。その結果、所定種別のピクチャ専用のバッファやインデックスファイルが不要となるため、回路規模及びコストの削減と処理負荷の軽減とを図ることが可能となる。

本発明の第２の態様に係る映像処理装置は、第１の態様に係る映像処理装置において特に、各ＴＳパケットのヘッダには、当該ＴＳパケットのペイロードにおけるピクチャの格納位置に関する情報がさらに格納されていることを特徴とするものである。

第２の態様に係る映像処理装置によれば、各ＴＳパケットのヘッダには、当該ＴＳパケットのペイロードにおけるピクチャの格納位置に関する情報が格納されている。その結果、抽出手段は、ピクチャの格納位置に関する情報を参照することによって、所定種別のピクチャをペイロードから抽出することが可能となる。

本発明の第３の態様に係る映像処理装置は、第１又は第２の態様に係る映像処理装置において特に、各ＴＳパケットにおいて、ヘッダにはスクランブルがかけられておらず、ペイロードにはスクランブルがかけられていることを特徴とするものである。

第３の態様に係る映像処理装置によれば、ＴＳパケットのヘッダにはスクランブルがかけられていない。従って、属性情報をＴＳパケットのヘッダに格納することによって、抽出手段は、ＴＳパケットのペイロードにスクランブルがかかっている状態でも属性情報を参照でき、その結果、所定種別のピクチャを抽出することが可能となる。

本発明の第４の態様に係る映像処理方法は、複数種別のピクチャが格納された複数のＴＳパケットを有するトランスポートストリームに基づいて映像の再生を行う映像処理方法であって、前記トランスポートストリームにおいては、各ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのヘッダに格納されており、前記映像処理方法は、（Ａ）前記属性情報に基づいて、前記トランスポートストリームから所定種別のピクチャを抽出するステップと、（Ｂ）前記ステップ（Ａ）によって抽出された前記所定種別のピクチャに基づいて、所定の特殊再生処理を行うステップとを備えることを特徴とするものである。

第４の態様に係る映像処理装置によれば、トランスポートストリームにおいては、各ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのヘッダに格納されている。そして、ステップ（Ａ）では、属性情報に基づいてトランスポートストリームから所定種別のピクチャを抽出し、ステップ（Ｂ）では、ステップ（Ａ）によって抽出された所定種別のピクチャに基づいて所定の特殊再生処理を行う。その結果、所定種別のピクチャ専用のバッファやインデックスファイルが不要となるため、回路規模及びコストの削減と処理負荷の軽減とを図ることが可能となる。

本発明の第５の態様に係るデータ構造は、トランスポートストリームを構成するＴＳパケットのデータ構造であって、ピクチャが格納されたペイロードと、前記ペイロードに格納されている前記ピクチャの種別を表す属性情報が格納されたヘッダとを備えることを特徴とするものである。

第５の態様に係るデータ構造によれば、ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、ＴＳパケットのヘッダに格納されている。その結果、所定種別のピクチャ専用のバッファやインデックスファイルを用いなくても、ＴＳパケットのヘッダを参照することによって、所定種別のピクチャを抽出することが可能となる。

本発明によれば、回路規模及びコストの削減と処理負荷の軽減とを図ることが可能となる。

本発明の実施の形態に係る映像処理装置の第１の構成例を示すブロック図である。 本発明の実施の形態に係る映像処理装置の第２の構成例を示すブロック図である。 図１，２に示した抽出部及び復号部の機能を実現するコンピュータの構成を示す図である。 映像処理装置が処理するトランスポートストリームを示す図である。 ＴＳパケットのデータ構造を示す図である。 ＴＳヘッダのデータ構造を示す図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

図１は、本発明の実施の形態に係るＩＰ−ＳＴＢ（Set Top Box）等の映像処理装置１の第１の構成例を示すブロック図である。図１の接続関係で示すように、映像処理装置１は、入力部２、抽出部３、復号部４、及び出力部５を備えている。入力部２は、ＩＰネットワーク等の通信ネットワークを介して、ＶＯＤ（Video On Demand）サーバ等の映像出力装置に接続されている。出力部５は、テレビ等の映像表示装置に接続されている。

図２は、本発明の実施の形態に係る映像処理装置１の第２の構成例を示すブロック図である。図２の接続関係で示すように、映像処理装置１は、記憶部６、抽出部３、復号部４、及び出力部５を備えている。記憶部６は、ハードディスク又はＤＶＤ等の、映像を記憶可能な任意の記憶媒体を有している。

なお、図１，２において、映像処理装置１はテレビ等の映像表示装置に内蔵されていてもよい。

図３は、図１，２に示した抽出部３及び復号部４の機能を実現するコンピュータの構成を示す図である。コンピュータは、ＣＰＵ等の信号処理部１０と半導体メモリ等の記憶部１１とを有している。記憶部１１には所定のプログラム１２が記憶されている。信号処理部１０が記憶部１１からプログラム１２を読み出して実行することにより、信号処理部１０は、図１，２に示した抽出部３及び復号部４として機能する。

図４は、映像処理装置１が処理するトランスポートストリームを示す図である。図４の（Ａ）に示すトランスポートストリームは、ペイロード内にＩピクチャ（Intra picture：フレーム内符号化画像）が格納されたＴＳ（Transport Stream）パケットと、Ｐピクチャ（Predictive picture：フレーム間予測符号化画像）が格納されたＴＳパケットと、Ｂピクチャ（Bi-directional predictive picture：双方向予測符号化画像）が格納されたＴＳパケットとが、所定の順序で配列された構成を有している。図４の（Ｂ）に示すトランスポートストリームは、図４の（Ａ）に示したトランスポートストリームから、Ｉピクチャ（Ｉ１，Ｉ２，Ｉ３，・・・）が格納されたＴＳパケットのみが抜き出されて配列された構成を有している。図４の（Ｃ）に示すトランスポートストリームは、図４の（Ｂ）に示したトランスポートストリームから、奇数番目のＩピクチャ（Ｉ１，Ｉ３，Ｉ５，・・・）が格納されたＴＳパケットのみが抜き出されて配列された構成を有している。

例えば、通常再生を行う場合には図４の（Ａ）に示したトランスポートストリームが用いられ、２倍速の早送り再生を行う場合には図４の（Ｂ）に示したトランスポートストリームが用いられ、４倍速の早送り再生を行う場合には図４の（Ｃ）に示したトランスポートストリームが用いられる。なお、通常再生ではない早送り再生等の特殊再生は、「トリックプレイ」とも称されている。また、本明細書における「特殊再生」には、複数の放送番組や複数の映像コンテンツ等の中から視聴番組を選択可能である場合等において、放送番組等のインデックス（概要）をその映像（静止画を含む）とともに例えば小画面にて表示する再生（以下「プレビュー再生」と称す）も含まれる。

図５は、ＴＳパケットのデータ構造を示す図である。ＴＳパケットは、ヘッダ（ＴＳヘッダ）とペイロード（ＴＳペイロード）とを有している。ＴＳペイロード内には、ＰＥＳ（Packetized Elementary Stream）パケットが格納されている。ＰＥＳパケットは、ヘッダ（ＰＥＳヘッダ）とペイロード（ＰＥＳペイロード）とを有している。ＰＥＳペイロード内にはピクチャが格納されており、その格納されているピクチャの種別（つまりＩ，Ｐ，Ｂのピクチャタイプ）を表す属性情報が、ピクチャヘッダ内に格納されている。なお、トランスポートストリームにスクランブルがかけられる場合には、ＴＳペイロードにはスクランブルがかけられるが、ＴＳヘッダにはスクランブルがかけられない。ここで「スクランブル」とはデータの複雑化を意味し、データの配列順序を並び替える処理や、鍵情報等を用いてデータを暗号化する処理を含む。

図６は、ＴＳヘッダのデータ構造を示す図である。ＴＳヘッダには、アダプテーション・フィールドが設けられている。アダプテーション・フィールド内の一部の領域はオプション・フィールドとして割り当てられており、また、オプション・フィールド内の一部の領域はトランスポート・プライベート・データ領域として割り当てられている。本実施の形態に係るＴＳパケットにおいては、このトランスポート・プライベート・データ領域に、そのＴＳパケットのペイロードに格納されているピクチャに関する情報が格納されている。

例えば、トランスポート・プライベート・データ領域のデータ長が１６ビットである場合には、２ビットで表されるピクチャタイプと、１ビットで表されるピクチャ構造タイプと、８ビットで表されるピクチャ開始オフセット（アドレス）と、５ビットの予備領域とが、トランスポート・プライベート・データ領域内に格納される。

ピクチャタイプに関しては、Ｉピクチャが格納されている場合には「００」、Ｐピクチャが格納されている場合には「０１」、Ｂピクチャが格納されている場合には「１０」、未使用の場合には「１１」と記述される。ピクチャ構造タイプに関しては、フレームピクチャである場合には「１」、フィールドピクチャである場合には「０」と記述される。ピクチャ開始オフセットは、ＴＳペイロード内におけるピクチャの格納位置に関する情報であり、例えば、ＰＥＳヘッダの先頭位置とピクチャヘッダの先頭位置とのオフセット値が記述される。

以下、本実施の形態に係る映像処理装置１の動作について説明する。

ストリーミング再生で通常再生を行う場合には、図１を参照して、入力部２には、図４の（Ａ）に示したトランスポートストリームＳ１がＶＯＤサーバから入力される。抽出部３には、通常再生を指定する制御信号Ｓ２が入力されている。この場合、抽出部３は、入力部２から入力されたトランスポートストリームＳ１をパスすることにより、トランスポートストリームＳ１と同一のトランスポートストリームＳ３を出力する。復号部４は、抽出部３から入力されたトランスポートストリームＳ３をデコードすることにより、映像信
号Ｓ４を生成する。ここで、トランスポートストリームＳ３にスクランブルがかけられている場合には、復号部４においてスクランブルが解除される（以下同様）。出力部５は、復号部４から入力された映像信号Ｓ４を、テレビに向けて出力する。これにより、テレビにおいて番組の通常再生を行うことが可能となる。

ストリーミング再生でプレビュー再生を行う場合には、図１を参照して、入力部２には、図４の（Ａ）に示したトランスポートストリームＳ１がＶＯＤサーバから入力される。抽出部３には、プレビュー再生を指定する制御信号Ｓ２が入力されている。この場合、抽出部３は、トランスポートストリームＳ１内の各ＴＳパケットのＴＳヘッダを参照することにより、Ｉピクチャが格納されているＴＳパケットを抽出する。これにより、図４の（Ａ）に示したトランスポートストリームＳ１から、例えば図４の（Ｂ）に示したトランスポートストリームＳ３を抽出する。復号部４は、抽出部３から入力されたトランスポートストリームＳ３をデコードすることにより、映像信号Ｓ４を生成する。出力部５は、復号部４から入力された映像信号Ｓ４を、テレビに向けて出力する。これにより、テレビにおいて番組のプレビュー再生を行うことが可能となる。

ストリーミング再生で早送り再生を行う場合には、図１を参照して、入力部２には、図４の（Ｂ）又は（Ｃ）に示したトランスポートストリームＳ１がＶＯＤサーバから入力される。抽出部３には、早送り再生を指定する制御信号Ｓ２が入力されている。この場合、抽出部３は、入力部２から入力されたトランスポートストリームＳ１をパスすることにより、トランスポートストリームＳ１と同一のトランスポートストリームＳ３を出力する。復号部４は、抽出部３から入力されたトランスポートストリームＳ３をデコードすることにより、映像信号Ｓ４を生成する。出力部５は、復号部４から入力された映像信号Ｓ４を、テレビに向けて出力する。これにより、テレビにおいて番組の早送り再生を行うことが可能となる。

ここで、例えば、ＶＯＤサーバから図４の（Ｂ）に示した２倍速用のトランスポートストリームＳ１を受信している場合において、映像処理装置１内で４倍速の早送り再生に切り換えたい場合には、以下に述べる処理を実行することもできる。つまり、抽出部３は、記憶部１１に一旦格納された図４の（Ｂ）に示したトランスポートストリームＳ１から、奇数番目のＩピクチャを抽出することにより、図４の（Ｃ）に示したトランスポートストリームＳ３を出力する。復号部４は、抽出部３から入力されたトランスポートストリームＳ３をデコードすることにより、映像信号Ｓ４を生成する。出力部５は、復号部４から入力された映像信号Ｓ４を、テレビに向けて出力する。これにより、テレビにおいて４倍速の早送り再生を行うことが可能となる。

ファイル再生で通常再生を行う場合には、図２を参照して、記憶部６には、図４の（Ａ）に示したトランスポートストリームＳ１が記憶されている。また、抽出部３には、通常再生を指定する制御信号Ｓ２が入力されている。この場合、抽出部３は、記憶部６から入力されたトランスポートストリームＳ１をパスすることにより、トランスポートストリームＳ１と同一のトランスポートストリームＳ３を出力する。復号部４は、抽出部３から入力されたトランスポートストリームＳ３をデコードすることにより、映像信号Ｓ４を生成する。出力部５は、復号部４から入力された映像信号Ｓ４を、テレビに向けて出力する。これにより、テレビにおいて番組の通常再生を行うことが可能となる。

ファイル再生で早送り再生を行う場合には、図２を参照して、記憶部６には、図４の（Ａ）に示したトランスポートストリームＳ１が記憶されている。また、抽出部３には、早送り再生を指定する制御信号Ｓ２が入力されている。この場合、抽出部３は、トランスポートストリームＳ１内の各ＴＳパケットのＴＳヘッダを参照し、Ｉピクチャが格納されているＴＳパケットを抽出することにより、トランスポートストリームＳ３を記憶部６から
読み出す。例えば、２倍速の早送り再生が指定されている場合には、図４の（Ｂ）に示したトランスポートストリームＳ３を記憶部６から読み出し、４倍速の早送り再生が指定されている場合には、図４の（Ｃ）に示したトランスポートストリームＳ３を記憶部６から読み出す。復号部４は、抽出部３から入力されたトランスポートストリームＳ３をデコードすることにより、映像信号Ｓ４を生成する。出力部５は、復号部４から入力された映像信号Ｓ４を、テレビに向けて出力する。これにより、テレビにおいて番組の早送り再生を行うことが可能となる。

このように本実施の形態に係る映像処理装置１によれば、トランスポートストリームにおいては、ＴＳパケットのＴＳペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのＴＳヘッダに格納されている。そして、抽出部３（抽出手段）は、ＴＳヘッダに格納されている属性情報に基づいて、トランスポートストリームから所定のＩピクチャ（所定種別のピクチャ）を抽出する。また、復号部４（処理手段）は、抽出部３によって抽出されたＩピクチャに基づいて、特殊再生（早送り再生又はプレビュー再生）を行う。ＴＳヘッダはスクランブルがかかっていないため、属性情報をＴＳヘッダに格納することによって、抽出部３は、ＴＳペイロードにスクランブルがかかっている状態でも属性情報を参照でき、その結果、所定のＩピクチャを抽出することが可能となる。また、Ｉピクチャ専用のバッファや、Ｉピクチャの位置情報を記述したインデックスファイルが不要となるため、回路規模及びコストの削減と処理負荷の軽減とを図ることが可能となる。

また、本実施の形態に係る映像処理装置１によれば、各ＴＳパケットのＴＳヘッダには、当該ＴＳパケットのＴＳペイロードにおけるピクチャの格納位置に関する情報が格納されている。ＴＳヘッダはスクランブルがかかっていないため、ピクチャの格納位置に関する情報をＴＳヘッダに格納することによって、抽出部３は、ＴＳペイロードにスクランブルがかかっている状態でもピクチャの格納位置に関する情報を参照でき、その結果、ＩピクチャをＴＳペイロードから抽出することが可能となる。

なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１ 映像処理装置
３ 抽出部
４ 復号部

Claims (5)

1. 複数種別のピクチャが格納された複数のＴＳ（Transport Stream）パケットを有するトランスポートストリームに基づいて映像の再生を行う映像処理装置であって、
   前記トランスポートストリームにおいては、各ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのヘッダに格納されており、
   前記映像処理装置は、
   前記属性情報に基づいて、前記トランスポートストリームから所定種別のピクチャを抽出する抽出手段と、
   前記抽出手段によって抽出された前記所定種別のピクチャに基づいて、所定の特殊再生処理を行う処理手段と
   を備える、映像処理装置。
2. 各ＴＳパケットのヘッダには、当該ＴＳパケットのペイロードにおけるピクチャの格納位置に関する情報がさらに格納されている、請求項１に記載の映像処理装置。
3. 各ＴＳパケットにおいて、ヘッダにはスクランブルがかけられておらず、ペイロードにはスクランブルがかけられている、請求項１又は２に記載の映像処理装置。
4. 複数種別のピクチャが格納された複数のＴＳ（Transport Stream）パケットを有するトランスポートストリームに基づいて映像の再生を行う映像処理方法であって、
   前記トランスポートストリームにおいては、各ＴＳパケットのペイロードに格納されているピクチャの種別を表す属性情報が、当該ＴＳパケットのヘッダに格納されており、
   前記映像処理方法は、
   （Ａ）前記属性情報に基づいて、前記トランスポートストリームから所定種別のピクチャデータを抽出するステップと、
   （Ｂ）前記ステップ（Ａ）によって抽出された前記所定種別のピクチャに基づいて、所定の特殊再生処理を行うステップと
   を備える、映像処理方法。
5. トランスポートストリームを構成するＴＳ（Transport Stream）パケットのデータ構造であって、
   ピクチャが格納されたペイロードと、
   前記ペイロードに格納されている前記ピクチャの種別を表す属性情報が格納されたヘッダと
   を備える、データ構造。
   
   

Images