JP2011114444A - 情報処理装置,情報生成方法,およびプログラム - Google Patents
情報処理装置,情報生成方法,およびプログラム Download PDFInfo
- Publication number
- JP2011114444A JP2011114444A JP2009267220A JP2009267220A JP2011114444A JP 2011114444 A JP2011114444 A JP 2011114444A JP 2009267220 A JP2009267220 A JP 2009267220A JP 2009267220 A JP2009267220 A JP 2009267220A JP 2011114444 A JP2011114444 A JP 2011114444A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- video
- unit
- video frames
- packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】ネットワーク上で配信される映像の品質を推定するための情報を効率よく生成する。
【解決手段】情報処理装置は、複数の映像フレームのデータを含むパケット群であって、複数の映像フレームのそれぞれの先頭部分を含む各パケットを先頭パケットとしてフレームの先頭を示す識別子が付与されたパケット群が映像の再生順に並べられたパケット列をネットワークから受信するための受信部と、パケット列中の各先頭パケットに基づいて、複数の映像フレームのそれぞれに対応するパケットの受信数を計数する計数部と、複数の映像フレームのそれぞれに対応するパケットの受信数に基づいて、複数の映像フレームのそれぞれについて、複数の映像フレームが受信端末において復号される映像の品質を推定するための情報である映像品質推定情報を生成する生成部とを含む。
【選択図】図7
【解決手段】情報処理装置は、複数の映像フレームのデータを含むパケット群であって、複数の映像フレームのそれぞれの先頭部分を含む各パケットを先頭パケットとしてフレームの先頭を示す識別子が付与されたパケット群が映像の再生順に並べられたパケット列をネットワークから受信するための受信部と、パケット列中の各先頭パケットに基づいて、複数の映像フレームのそれぞれに対応するパケットの受信数を計数する計数部と、複数の映像フレームのそれぞれに対応するパケットの受信数に基づいて、複数の映像フレームのそれぞれについて、複数の映像フレームが受信端末において復号される映像の品質を推定するための情報である映像品質推定情報を生成する生成部とを含む。
【選択図】図7
Description
本発明は、ネットワーク上に配信される映像の品質を推定するための情報を生成する情報処理装置に関する。
インターネットを介して高画質な映像や高音質の音声を配信するサービスとして、例えば、IPTV(Internet Protocol TeleVision)などのサービスがある。IPTVでは、パケット損失などにより受信端末での映像及び音声の品質の劣化が想定される。受信端末での映像及び音声の品質の劣化が想定される場合に、配信される映像の品質を推定する映像品質推定装置がある。
パケット列に変換されて送られてくる映像信号を受信し復号し、少なくとも映像信号の復号前のパケットの損失情報に基づいて所要のパラメータを中間パラメータとして決定し、復号した映像信号を解析しその映像信号の劣化種別を判定し、中間パラメータと劣化種別とに基づいて映像信号の復号後の映像品質を推定する映像品質推定装置がある(例えば、特許文献1)。
しかしながら、上述した映像品質推定装置では、受信したパケット列から映像信号を復号するために、映像品質の推定処理の効率がよくない。
本発明の一態様は、ネットワーク上に配信される映像の品質を推定するための情報を効率よく生成する情報処理装置を提供することを目的とする。
本発明の態様の一つは、情報処理装置である。この情報処理装置は、
複数の映像フレームのデータを含むパケット群であって、前記複数の映像フレームのそれぞれの先頭部分を含む各パケットを先頭パケットとしてフレームの先頭を示す識別子が付与された前記パケット群が映像の再生順に並べられたパケット列をネットワークから受信するための受信部と、
前記パケット列中の各先頭パケットに基づいて、前記複数の映像フレームのそれぞれに対応するパケットの受信数を計数する計数部と、
前記複数の映像フレームのそれぞれに対応するパケットの受信数に基づいて、前記複数の映像フレームのそれぞれについて、前記複数の映像フレームが受信端末において復号される映像の品質を推定するための情報である映像品質推定情報を生成する生成部と
を含む。
複数の映像フレームのデータを含むパケット群であって、前記複数の映像フレームのそれぞれの先頭部分を含む各パケットを先頭パケットとしてフレームの先頭を示す識別子が付与された前記パケット群が映像の再生順に並べられたパケット列をネットワークから受信するための受信部と、
前記パケット列中の各先頭パケットに基づいて、前記複数の映像フレームのそれぞれに対応するパケットの受信数を計数する計数部と、
前記複数の映像フレームのそれぞれに対応するパケットの受信数に基づいて、前記複数の映像フレームのそれぞれについて、前記複数の映像フレームが受信端末において復号される映像の品質を推定するための情報である映像品質推定情報を生成する生成部と
を含む。
本発明の他の態様の一つは、上述した映像の品質を推定するための情報生成方法である。また、本発明の他の態様は、コンピュータを情報処理装置として機能させるプログラム
、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体を含むことができる。
、及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体を含むことができる。
開示の情報処理装置によれば、ネットワーク上で配信される映像の品質を推定するための情報を効率よく生成することができる。
以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
<第1実施形態>
第1実施形態において、情報処理装置は、映像を配信するネットワーク上に流れる映像パケットを受信し、受信された映像パケット群から再生される各映像フレームに評価値を与える。
第1実施形態において、情報処理装置は、映像を配信するネットワーク上に流れる映像パケットを受信し、受信された映像パケット群から再生される各映像フレームに評価値を与える。
図1は、映像配信システム及び情報処理装置の構成例を示す図である。映像配信システムは、コンテンツサーバ6,映像配信サーバ5,ネットワーク3,受信端末2,情報処理装置1,及び,監視サーバ4を含む。
コンテンツサーバ6は、映像配信サービスを提供するサーバである。コンテンツサーバ6は、ネットワーク3に配信される映像コンテンツを保持する。コンテンツサーバ6は、映像配信サーバと接続しており、映像配信サーバに、映像コンテンツをMPEG−2 TS(Moving Picture Experts Group phase 2 Transport Stream)に基づくデータストリームとして送信する。
映像配信サーバ5は、ネットワーク3に接続している。映像配信サーバ5は、コンテンツサーバ6から受信されるMPEG−2 TSに基づくデータストリームに、例えば、暗号化を施して、映像配信サービスに加入している受信端末2にネットワーク3を通じて送信する。映像配信サーバ5は、例えば、通信事業者が管理するサーバである。ネットワー
ク3は、例えば、IP(Internet Protocol)ネットワークである。
ク3は、例えば、IP(Internet Protocol)ネットワークである。
ネットワーク3に送信されたデータストリームは、ネットワーク伝送中に分岐され、分岐されたデータストリームの一方を受信端末2が受信し、他方を情報処理装置1が受信する。
受信端末2は、コンテンツサーバ6が提供する映像配信サービスに加入している端末である。受信端末2は、ネットワーク3に接続しており、コンテンツサーバ6から配信サーバ5を通じて送信される、IPパケット群のストリームを受信する。受信端末2は、受信したIPパケット群のストリームを復号して得られた映像を表示装置に出力し、ユーザに映像を提供する。
情報処理装置1は、ネットワーク3と受信端末2との間の受信端末2に近い側に位置し、ネットワーク3と受信端末2との間の伝送路から分岐される、受信端末2に送信されるIPパケット群のストリームを受信する。情報処理装置1は、受信したIPパケット群のストリームから、受信端末2に送信される映像を構成する各映像フレームの品質を推定するための情報を生成する。情報処置装置1は、生成された、映像の品質を推定するための情報を監視サーバ4に送信する。情報処理装置1の詳細については、後述される。
監視サーバ4は、情報処理装置1から送信される映像の品質を推定するための情報を受信する。
ネットワーク3上に流れるデータストリームは、映像及び音声データを格納する複数のIPパケット群である。IPパケット群は、以下のようにして生成される。
図2は、MPEG−2 TSによる映像データのパケット化の例を示す図である。MPEG−2 TSは、映像と音声を多重化し伝送するための規格である。
コンテンツサーバ6は、受信端末2へ送信されるべきコンテンツの映像及び音声を、それぞれ、例えば、MPEG−2 video,MPEG−2 audio等で圧縮符号化し、ビット列を生成する。図2に示される例では、圧縮符号化された映像のビット列が表示される。この映像のビット列は、複数の映像フレームに対応する複数の映像フレームデータブロックの集合である。映像フレームとは、映像コンテンツを構成する複数の画像のうちの1つの画像である。
コンテンツサーバ6は、生成された映像のビット列を、所定の大きさに分割する。例えば、生成された映像のビット列は映像フレームごとに分割される。
コンテンツサーバ6は、各映像フレームをさらに複数のフラグメントに分割し、各フラグメントにTSパケットを付加してTSパケットを生成する。各映像の先頭バイトを含むTSパケットは、第1実施形態では、「先頭パケット」と称される。
コンテンツサーバ6は、さらに、各TSパケットにIPヘッダを付加してIPパケット群を生成する。IPヘッダの宛先IPアドレスには、映像配信サーバ5のIPアドレスが格納される。コンテンツサーバ6は、生成されたIPパケット群を映像配信サーバ5に送信する。
映像配信サーバ5は、コンテンツサーバ6からIPパケット群を受信すると、IPパケット群からTSパケット群を取り出し、各TSパケットのTSヘッダを外し、ペイロードに暗号化を施す。この暗号化は、例えば、コンテンツサーバ6の映像配信サービスの加入
者のみに映像の視聴を可能にするための、セキュリティである。映像配信サーバ5は、暗号化された各ペイロードに、再度TSヘッダを付与しTSパケットを生成する。映像配信サーバ5は、各TSパケットに、コンテンツサーバ6の映像配信サービスの加入者(受信端末2及び情報処理装置1を含む)を指定するIPマルチキャストを宛先IPアドレスとして格納するIPヘッダを付与してIPパケット群を生成する。映像配信サーバ5は、生成されたIPパケット群をネットワーク3に送出する。
者のみに映像の視聴を可能にするための、セキュリティである。映像配信サーバ5は、暗号化された各ペイロードに、再度TSヘッダを付与しTSパケットを生成する。映像配信サーバ5は、各TSパケットに、コンテンツサーバ6の映像配信サービスの加入者(受信端末2及び情報処理装置1を含む)を指定するIPマルチキャストを宛先IPアドレスとして格納するIPヘッダを付与してIPパケット群を生成する。映像配信サーバ5は、生成されたIPパケット群をネットワーク3に送出する。
以上のようにして、受信端末2及び情報処理装置1は、IPパケット群をネットワーク3から受信することができる。
<<情報処理装置の構成例>>
情報処理装置1は、例えば、パーソナルコンピュータのような汎用のコンピュータ、又は、映像の品質を推定するための情報を生成する専用のコンピュータである。情報処理装置1は、入力部11,プロセッサ12,記憶部13,及び出力部14を含む。
情報処理装置1は、例えば、パーソナルコンピュータのような汎用のコンピュータ、又は、映像の品質を推定するための情報を生成する専用のコンピュータである。情報処理装置1は、入力部11,プロセッサ12,記憶部13,及び出力部14を含む。
入力部11及び出力部14は、ネットワークインターフェースである。ネットワークインターフェースは、例えば、LAN(Local Area Network)インターフェースボートや、無線通信のための無線通信回路である。入力部11は、ネットワーク3上に流れるIPパケット群を受信する。入力部11に入力されるIPパケット群には、ネットワーク3に接続する受信端末2が受信する映像データを含むIPパケットも含まれる。
入力部11は、受信されたIPパケットの並び換えのような、IPヘッダに基づいた処理を行う。入力部11は、コンテンツサーバ6から送信された映像のIPパケット群を、再生順に並び変える。また、入力部11は、受信されたIPパケットのIPヘッダを取り除いて、プロセッサ12に出力する。例えば、入力部11は、映像データを伝送するTS(Transport Stream)パケットを含むIPパケットを受信し、IPヘッダを取り除いて、IPパケットからTSパケット取り出して、プロセッサ12に出力する。
記憶部13は、映像品質推定情報生成プログラム13−3を保持する。記憶部13は、主記憶装置,及び/又は補助記憶装置である。主記憶装置は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)を含む。補助記憶装置は、例えば、EPROM(Erasable Programmable ROM),又は、ハードディスクドライブ(HDD)である。また、補助記憶装置は、リムーバルメディア、すなわち、可搬記録媒体を含むことができる。リムーバルメディアは、例えば、USB(Universal Serial Bus)メモリ、或いは、CD(Compact Disc)のようなディスク記録媒体である。記憶部13は、再生重要度テーブル13−1と統計情報テーブル13−2とを有する。再生重要度テーブル13−1と統計情報テーブル13−2との詳細については、後述される。
プロセッサ12は、例えば、CPU(Central Processing Unit)やDSP(Data Signal Processor)である。プロセッサ12は、記憶部13に保持されたOSや様々なアプリケーションプログラムを実行することによって、様々な処理を実行する。プロセッサ12は、記憶部13に保持されている映像品質推定情報生成プログラム13−3を実行することによって、TSパケット受信部121,ヘッダ解析部122,パケットカウント部123,テーブル管理部124,再生品質推定部125を実現することができる。
TSパケット受信部121(入力部)には、入力部11からプロセッサ12に入力されるパケットのうち、TSパケットのみを受け付ける。TSパケット受信部121に入力されるTSパケット群は、再生順に並べられたパケット列である。TSパケット受信部121は、TSパケットをヘッダ解析部122に出力する。
ヘッダ解析部122(算出部)には、TSパケット受信部121から、TSパケットが入力される。ヘッダ解析部122は、TSパケットのヘッダを解析する。
図3は、MPEG−2 TSのTSパケットのヘッダフォーマットを説明するための図である。
MPEG−2 TSのTSパケットは、188バイトの固定長である。TSパケットは、ヘッダと、データ部(ペイロード)とを有する。
TSパケットのヘッダに含まれる情報の中には、同期バイト51,先頭フラグ52,パケットID53,連続カウンタ54等がある。
同期バイト51は、8ビットあり、TSパケットの先頭バイトであることを示す。TSパケットは188バイトの固定長であるため、同期バイト51は188バイトごとに現れる。
先頭フラグ52は、1ビットであり、当該TSパケットが映像フレーム又は音声フレームの先頭パケットとしてフレームの先頭であることを示す識別子である。すなわち、或るTSパケットの先頭フラグ52が、例えば、“1”である場合には、そのTSパケットのデータ部に映像フレーム又は音声フレームの先頭バイトが含まれていることが示される。また、TSパケットの先頭フラグ52が、例えば、“0”である場合には、TSパケットのデータ部には、映像フレーム又は音声フレームの中間部分又は末尾部分が含まれていることを示す。
パケットID(Packet Identifier、パケット識別子)53は、13ビットである。PAT(Program Association Table)パケットとPMT(Program MAP Table)パケットとでパケットID53の示す値を参照すると、当該TSパケットのデータ部に、例えば、どのような番組の音声データ,映像データ,又はその他のデータが含まれているかが示される。PATパケットは、パケットIDが0x0000であり、例えば、TSパケットのストリームに含まれる各番組に対応するパケットIDを含むパケットである。PMTパケットは、PATパケットに含まれる番組のうちの1つの番組に対応するパケットIDを有し、当該パケットIDに対応する番組に含まれる音声データ,映像データ,又はその他のデータに対応するパケットIDを含むパケットである。同一映像から生成された各TSパケットには同じ値のパケットIDが付される。例えば、コンテンツサーバ6から配信される或る1つのコンテンツに含まれる映像から生成された全てのTSパケットには、同一のパケットIDが付与される。なお、PATパケットやPMTパケットは、暗号化されない。
連続カウンタ54は、4ビットであり、パケットID毎にパケットの連続性を示す。連続カウンタは、0から15までの値であり、同一パケットIDのTSパケット毎に1ずつ増えていく。連続カウンタの値が15になると、次の同一パケットIPのTSパケットの連続カウンタの値は0に戻る。
以降、データ部に映像データを格納するTSパケットは「映像パケット」、音声パケットを格納するTSパケットは「音声パケット」と称される。
ヘッダ解析部122は、受信されたTSパケットのヘッダのパケットIDから、TSパケットが映像パケットであるか、音声パケットであるかを識別する。また、ヘッダ解析部122は、TSパケットのヘッダの先頭フラグが“1”であるか“0”であるかを判定し、TSパケットが先頭パケットであるか否かを判定する。また、ヘッダ解析部122は、
TSパケットのヘッダの連続カウンタをチェックし、受信されるTSパケット群の連続性をチェックする。連続カウンタのチェック結果は、第1実施形態では使用されない。なお、連続カウンタのチェック結果が使用される実施形態については、後述される。
TSパケットのヘッダの連続カウンタをチェックし、受信されるTSパケット群の連続性をチェックする。連続カウンタのチェック結果は、第1実施形態では使用されない。なお、連続カウンタのチェック結果が使用される実施形態については、後述される。
ヘッダ解析部122は、TSパケットのヘッダの解析の結果、TSパケットが映像パケットである場合に、TSパケットのヘッダの解析結果をパケットカウント部123に出力する。
パケットカウント部123には、ヘッダ解析部122から映像パケットであるTSパケットのヘッダの解析結果が入力される。パケットカウント部123は、ヘッダ解析部122から入力される映像パケットの数を、映像フレーム毎に計数する。また、パケットカウント部123は、情報処理装置1が受信する映像フレームの数を計数する。
パケットカウント部123は、ヘッダ解析部122から入力される映像パケットが先頭パケットである場合には、その時にパケットカウント部123が保持する映像パケットの計数値と、映像フレームの計数値とをテーブル管理部124に出力する。次に、パケットカウント部123は、映像パケットの計数値を0にリセットし、受信した先頭パケットをカウントする。映像パケットの計数値は1になる。また、パケットカウント部123は、映像フレームの計数値に1を加算する。
例えば、パケットカウント部123が保持する映像パケットの計数値が50,映像フレームの計数値が15である場合に、パケットカウント部123が、先頭パケットを受信する。この場合、パケットカウント部123は、その時保持する映像パケットの計数値50と映像フレームの計数値15とをテーブル管理部124に出力する。次に、パケットカウント部123は、映像パケットの計数値を0にリセットし、受信された先頭パケットをカウントし、映像パケットの計数値に1を加算する。また、パケットカウント部123は、映像フレームの計数値に1を加算し16に設定する。
テーブル管理部124は、パケットカウント部123から、映像パケットの計数値と、映像フレームの計数値とを受信する。テーブル管理部124は、記憶部13に保持される、再生重要度テーブル13−1と統計情報テーブル13−2とを、パケットカウント部123から入力される映像パケットの計数値と、映像フレームの計数値とに基づいて管理する。
図4は、統計情報テーブルの一例を示す図である。図4に示される統計情報テーブルには、パケットカウント部123から入力された、映像フレームの計数値がフレーム番号として格納される。また、映像パケットの計数値は、ともに入力された映像フレームの計数値が示すフレーム番号に対応付けられ、当該映像フレームのパケット数として格納される。
テーブル管理部124は、パケットカウント部123から映像パケットの計数値と映像フレームの計数値n(0を含まない自然数)とが入力されると、映像フレームの計数値nをフレーム番号として統計情報テーブル13−2に記録する。また、テーブル管理部124は、映像パケットの計数値をフレーム番号nの映像フレームに含まれるパケット数として統計情報テーブル13−2に記録する。フレーム番号は、情報処理装置1が、情報処理装置1の内部で映像フレームを識別するための番号である。
図5は、再生重要度テーブルの一例を示す図である。再生重要度テーブルには、予め管理者等によって映像フレームに与えられる評価値がパケット数に応じて、段階的に設定されている。映像フレームに与えられる評価値は、映像フレームを推定するための情報であ
る。評価値として、例えば、再生重要度,劣化品質値などがある。再生重要度は、各映像フレームの重要度を示す値である。劣化品質値は、映像フレームが伝送途中に失われた場合に、映像の品質に及ぼす影響度を示す値である。
る。評価値として、例えば、再生重要度,劣化品質値などがある。再生重要度は、各映像フレームの重要度を示す値である。劣化品質値は、映像フレームが伝送途中に失われた場合に、映像の品質に及ぼす影響度を示す値である。
図5に示される例では、パケット数を0〜P1,P1+1〜P2,P2+1以上の3段階に分け、それぞれに再生重要度X1,X2,X3が割り当てられている。P1,P2はそれぞれ0を含まない自然数であり、P1<P2である。
映像フレームに含まれる映像パケット数が大きいということは、当該映像フレームが有する情報量が大きく、映像の中で当該映像フレームの重要度が高いことが示されるので、図5に示される例では、パケット数が大きいほど大きい値の再生重要度が与えられる。すなわち、図5に示される例では、再生重要度X1<X2<X3と与えられている。
また、再生重要度と合わせて、パケット数に応じて、劣化品質値を与えることもできる。劣化品質値は、或る1つの映像フレームが損失された場合に、映像の品質に与える影響の度合いを示す値である。パケット数が大きいほど該映像フレームが損失された場合の映像の品質の影響が大きいと考えられるため、劣化品質値は、再生重要度と同様に、パケット数が大きいほど大きい値が与えられる。図5に示される例では、パケット数が0〜P1の映像フレームには劣化品質値D1が与えられる。また、パケット数がP1+1〜P2の映像フレームには劣化品質値D2が与えられる。また、パケット数がP2+1以上の映像フレームには、劣化品質値D3が与えられる。また、劣化品質値D1<D2<D3である。
テーブル管理部124は、映像フレームに含まれる映像パケットの数に応じて映像フレームnを再生重要度テーブルに従って分類する。なお、映像フレームの番号nは、統計情報テーブル13−2に保持されるフレーム番号と同一の番号である。
再生品質推定部125は、再生重要度テーブル13−1を監視する。再生品質推定部125は、再生重要度テーブル13−1に、新たに映像フレームの情報が追加されると、追加された映像フレームの再生重要度を再生重要度テーブル13−1から読み出して、出力部14を通じて監視サーバ4に送信する。また、例えば、再生品質推定部125は、定期的に再生重要度テーブル13−1から、所定時間の間に情報処理装置1に受信された各映像フレームの再生重要度を読み出して、監視サーバ4に送信してもよい。監視サーバ4に送信された再生重要度は、例えば、ディスプレイに表示される。監視サーバ4では、コンテンツサーバ6から受信端末2に送信された映像に含まれる各映像フレームの再生重要度を知ることができる。
情報処理装置1は、さらに、周辺装置として、キーボードやポインティングデバイスのような入力装置や、ディスプレイ装置やプリンタのような出力装置を含む。また、入力装置は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。また、出力装置は、スピーカのような音声の出力装置を含むことができる。
TSパケット受信部121は、受信部に相当する。パケットカウント部123は計数部に相当する。テーブル管理部124,再生重要度テーブル13−1,および再生品質推定部125は、協働して生成部としての機能を実現する。
<<情報処理装置の処理フロー>>
図6は、情報処理装置1の処理フローの例を示す図である。情報処理装置1の入力部11は、ネットワーク3上に流れるIPパケットを受信する。入力部11は、受信されたI
PパケットからTSパケット取り出して、TSパケット受信部121に出力する。TSパケット受信部121は、TSパケットを入力部11から受信する(OP1)。TSパケット受信部121は、TSパケットをヘッダ解析部122に出力する。
図6は、情報処理装置1の処理フローの例を示す図である。情報処理装置1の入力部11は、ネットワーク3上に流れるIPパケットを受信する。入力部11は、受信されたI
PパケットからTSパケット取り出して、TSパケット受信部121に出力する。TSパケット受信部121は、TSパケットを入力部11から受信する(OP1)。TSパケット受信部121は、TSパケットをヘッダ解析部122に出力する。
ヘッダ解析部122は、TSパケット受信部121から入力されたTSパケットのヘッダを解析する(OP2)。ヘッダ解析部122は、TSパケットのヘッダのパケットIDを解析し、当該TSパケットが映像パケットであるか音声パケットであるかを識別する(OP3)。TSパケットが音声パケットである場合には(OP3:No)、処理がOP1に戻る。
TSパケットが映像パケットである場合には(OP3:Yes)、ヘッダ解析部122は、TSパケットのヘッダの先頭フラグから、当該TSパケットが映像フレームの先頭パケットであるか否かを判定する(OP4)。すなわち、ヘッダ解析部122は、TSパケットのヘッダの中の先頭フラグが“1”であるか否かを判定する。ヘッダ解析部122は、解析結果をパケットカウント部123に出力する。
パケットカウント部123は、TSパケットのヘッダの先頭フラグの解析結果をヘッダ解析部122から受信する。パケットカウント部123は、TSパケットが先頭パケットでない場合には(OP4:No)、映像パケットの計数値S(図5中、パケットカウント、すなわち、パケット数を計数するカウンタの値、Sは0以上の整数)に1を加算する(OP5)。すなわち、パケットカウント部123は、TSパケットのヘッダの先頭フラグが“0”である場合には、映像パケットの計数値Sに1を加算する。その後、処理がOP1に戻る。映像パケットの計数値Sの初期値は0である。
パケットカウント部123は、TSパケットが先頭パケットである場合には(OP4:Yes)、その時、パケットカウント部123が保持する映像パケットの計数値Sと映像フレームの計数値nとから、映像フレームnのパケット数Sを決定する(OP6)。フレームの計数値nは、図5中ではフレームカウントと表わされ、フレーム数を計数するカウンタの値である。パケットカウント部123は、決定された映像フレームnのパケット数Sをテーブル管理部124に出力する。
次に、パケットカウント部123は、映像パケットの計数値Sを1にする(OP7)。また、パケットカウント部123は、映像フレームの計数値nに1を加算する(OP7)。
テーブル管理部124は、パケットカウント部123から映像フレームnのパケット数Sを受信する。テーブル管理部124は、統計情報テーブル13−2に、映像フレームnに含まれるパケット数Sを記録する(OP8、図4参照)。
次にテーブル管理部124は、再生重要度テーブル13−1に、パケット数に応じて、映像パケットの識別番号nを記録する(再生重要度テーブル13―1を更新する)(OP9、図5参照)。
再生重要度テーブル13−1が更新されると、再生品質推定部125は、映像フレームnの再生重要度を再生重要度テーブル13−1から読み出し、監視サーバ4に送信する(OP10)。その後処理がOP1に戻る。
<<第1実施形態の作用効果>>
情報処理装置1は、ネットワーク3上に流れる、受信端末2が受信する映像パケットと同じ映像パケットを受信し、映像パケットのヘッダから、映像パケットに含まれるパケッ
ト数を推定し、パケット数に応じて、映像フレームに再生重要度を与える。情報処理装置1によれば、映像パケットのヘッダの情報のみで、映像パケット群から映像フレームを復元することなく、効率よく映像フレームに再生重要度(映像の品質を推定するための情報、映像品質推定情報)を与えることができる。
情報処理装置1は、ネットワーク3上に流れる、受信端末2が受信する映像パケットと同じ映像パケットを受信し、映像パケットのヘッダから、映像パケットに含まれるパケッ
ト数を推定し、パケット数に応じて、映像フレームに再生重要度を与える。情報処理装置1によれば、映像パケットのヘッダの情報のみで、映像パケット群から映像フレームを復元することなく、効率よく映像フレームに再生重要度(映像の品質を推定するための情報、映像品質推定情報)を与えることができる。
また、TSパケットのデータ部に格納されているデータが暗号化されている場合でも、情報処理装置1は、暗号化されないTSパケットのヘッダを解析することで、適正に映像フレームに再生重要度を与えることができる。
第1実施形態では、映像フレームのパケット数に応じて、再生重要度テーブル13−1において、映像フレームを分類し、再生重要度を決定した。これに代えて、再生重要度テーブル13−1は、再生重要度として、数値ではなく、パケットの数に応じたグループの識別子を与えてもよい。すなわち、各映像フレーム毎に生成される映像の品質を推定するための情報(評価値、再生重要度、劣化品質値)は、数値に限らず、パケットの数に応じたグループの識別子として用いられる英数字等であってもよい。
また、第1実施形態では、再生品質推定部125は、再生重要度テーブル13−1が更新されると、新しく追加された映像フレームの再生重要度を再生重要度テーブル13−1から読み出し監視サーバ4に送信した。これに代えて、再生品質推定部125は、情報処理装置1が備えるディスプレイ(図示せず)に再生重要度テーブル13−1を送信し、送信された再生重要度テーブル13−1は、ディスプレイに表示されてもよい。
<第2実施形態>
第2実施形態において、情報処理装置1は、伝送途中で損失された映像パケットがある場合に、映像パケットの損失を検出し、映像パケットの損失によって損失される映像フレームにも評価値を与える。第2実施形態においては、先頭パケットは、損失されない場合が想定される。なお、第2実施形態においては、第1実施形態と共通する箇所の説明は省略される。
第2実施形態において、情報処理装置1は、伝送途中で損失された映像パケットがある場合に、映像パケットの損失を検出し、映像パケットの損失によって損失される映像フレームにも評価値を与える。第2実施形態においては、先頭パケットは、損失されない場合が想定される。なお、第2実施形態においては、第1実施形態と共通する箇所の説明は省略される。
<<情報処理装置の構成例>>
図7は、第2実施形態の情報処理装置1の構成例を示す図である。第2実施形態において、情報処理装置1は、第1実施形態と同様に、入力部11,プロセッサ12,記憶部13,及び出力部14を備える。記憶部13は、映像品質推定情報生成プログラム13−4を保持する。
図7は、第2実施形態の情報処理装置1の構成例を示す図である。第2実施形態において、情報処理装置1は、第1実施形態と同様に、入力部11,プロセッサ12,記憶部13,及び出力部14を備える。記憶部13は、映像品質推定情報生成プログラム13−4を保持する。
プロセッサ12は、記憶部13に保持される映像情報処理装置プログラム13−4を実行することによって、第1実施形態において説明された、TSパケット受信部121,ヘッダ解析部122,パケットカウント部123,テーブル管理部124,及び再生品質推定部125に加え、さらに、損失パケット検出部126を実現することができる。
TSパケット受信部121は、TSパケットが入力されると、記憶部13の記憶領域内に設けられたバッファに、TSパケットを蓄積する。
ヘッダ解析部122は、第1実施形態と同様に、TSパケットを受信すると、TSパケットのヘッダから、先頭フラグ,パケットID,及び連続カウンタを解析する。ヘッダ解析部122は、第1実施形態において説明された処理に加え、TSパケットの連続カウンタを解析することによって、TSパケットの損失を検出する。
例えば、ヘッダ解析部122は、以下のように、TSパケットの損失を検出する。ヘッダ解析部122は、受信されたTSパケットの連続カウンタが示す値が、同じパケットI
Dを有する直前のTSパケットの連続カウンタが示す値に1が加算された値であるか否かを判定する。すなわち、ヘッダ解析部122は、受信されたTSパケットと、同じパケットIDを有する直前のTSパケットとの連続カウンタの値が連続しているか否かを判定する。ヘッダ解析部122は、受信されたTSパケットとその直前のTSパケットとの連続カウンタの値が連続している場合には、TSパケットの損失はないことを判定する。ヘッダ解析部122は、受信されたTSパケットとその直前のTSパケットとの連続カウンタの値が連続していない場合には、TSパケットの損失があることを判定する。
Dを有する直前のTSパケットの連続カウンタが示す値に1が加算された値であるか否かを判定する。すなわち、ヘッダ解析部122は、受信されたTSパケットと、同じパケットIDを有する直前のTSパケットとの連続カウンタの値が連続しているか否かを判定する。ヘッダ解析部122は、受信されたTSパケットとその直前のTSパケットとの連続カウンタの値が連続している場合には、TSパケットの損失はないことを判定する。ヘッダ解析部122は、受信されたTSパケットとその直前のTSパケットとの連続カウンタの値が連続していない場合には、TSパケットの損失があることを判定する。
ヘッダ解析部122は、TSパケットの損失を検出した場合には、損失パケット検出部126に、TSパケットの損失を通知する。
パケットカウント部123は、第1実施形態で説明された処理と同様に、TSパケットが先頭パケットである場合には、その時に保持される映像パケットの計数値と映像フレームの計数値とを、テーブル管理部124と損失パケット検出部126とに出力する。
損失パケット検出部126は、ヘッダ解析部122からTSパケットの損失の通知を受信する。損失パケット検出部126は、記憶部13のバッファに蓄積されたTSパケットを解析し、損失されたTSパケットの個数を検出する。
また、損失パケット検出部126は、パケットカウント部123から映像パケットの計数値と映像フレームの計数値とを受信すると、損失されたTSパケットの個数を含む当該映像フレームの総パケット数を求める。
図8は、損失パケット検出部126の、損失パケットの個数を検出する処理と、損失パケットを含む映像フレームの総パケット数を算出する処理の例を示す図である。図8に示される例では、映像フレームnに含まれる映像フレームのうち、数個が損失された場合を示す。
図8に示される例では、映像フレームnに含まれるTSパケットP1の連続カウンタの値はM(Mは0以上の整数)である。TSパケットP1の次のTSパケットP2の連続カウンタの値はN(Nは0以上の整数)である。TSパケットP1の連続カウンタの値Mと、TSパケットの連続カウンタの値Nとは、連続しておらず、ヘッダ解析部122は、TSパケットP1とTSパケットP2との間に損失されたTSパケットがあることを検出する。
また、TSパケットP1,TSパケットP2はともに、同じパケットIDを有し、映像パケットである。また、TSパケットP1,TSパケットP2はともに、先頭パケットではない。
損失パケット検出部126は、ヘッダ解析部122からTSパケットP1とTSパケットP2との間に損失パケットが検出されたことを通知されると、記憶部13のバッファに保持されているTSパケットP1とTSパケットP2とを読み出す。損失パケット検出部126は、TSパケットP1の連続カウンタが示す値MとTSパケットP2との連続カウンタが示す値Nとから、損失パケットの個数を検出する。損失パケット検出部126は、M<Nの場合には、TSパケットP2の連続カウンタの値Nから、TSパケットP1の連続カウンタの値Mを引き、更に1を引いて、損失パケットの個数を検出する。損失パケット検出部126は、M≧Nの場合には、15からTSパケットP1の連続カウンタの値Mを引き、TSパケットP2の連続カウンタの値Nを加算して、損失パケットの個数を検出する。
損失パケットの個数=N−M−1(M<Nの場合)
損失パケットの個数=15−M+N(M≧Nの場合)
損失パケット検出部126は、検出された損失パケットの個数を保持する。損失パケット検出部126は、パケットカウント部123から映像フレームの計数値nと映像パケットの計数値Sとを受信する。パケットカウント部123から受信される映像パケットの計数値Sは、情報処理装置1が実際に受信した映像パケットの実パケット数である。損失パケット検出部126は、損失パケットの個数を含めた映像フレームの総パケット数を求める。なお、図8における映像フレームnは、パケットが損失されているため、損失される映像フレームである。
損失パケットの個数=15−M+N(M≧Nの場合)
損失パケット検出部126は、検出された損失パケットの個数を保持する。損失パケット検出部126は、パケットカウント部123から映像フレームの計数値nと映像パケットの計数値Sとを受信する。パケットカウント部123から受信される映像パケットの計数値Sは、情報処理装置1が実際に受信した映像パケットの実パケット数である。損失パケット検出部126は、損失パケットの個数を含めた映像フレームの総パケット数を求める。なお、図8における映像フレームnは、パケットが損失されているため、損失される映像フレームである。
損失パケット検出部126は、映像フレームnの実パケット数Sに検出された損失パケットの個数を加算して、映像フレームnの総パケット数を算出する。
映像フレームの総パケット数=実パケット数S+損失パケット数
損失パケット検出部126は、算出された映像フレームnの総パケット数を再生品質推定部125に出力する。 損失パケット検出部126は、算出部に相当する。
損失パケット検出部126は、算出された映像フレームnの総パケット数を再生品質推定部125に出力する。 損失パケット検出部126は、算出部に相当する。
再生品質推定部125は、損失パケット検出部126から映像フレームnの総パケット数を受信すると、再生重要度テーブルから、総パケット数に応じた映像フレームnの劣化品質値を読み出し、出力部14を通じて監視サーバ4に送信する。
監視サーバ4では、映像フレームの劣化品質値を受信する。監視サーバ4は、例えば、受信された映像フレームの劣化品質値を加算し、加算された劣化品質値によって、受信端末2が受信する映像の品質を推定する。
<<情報処理装置の処理フロー>>
図9A,図9B,及び図9Cは、情報処理装置1の処理フローの例を示す図である。損失パケットがない場合の処理は、第1実施形態と同様であるので、損失パケットが検出される場合についてのみ、説明される。また、以下は、図8に示される例における、TSパケットP2とTSパケットP3とが処理される場合について説明される。
図9A,図9B,及び図9Cは、情報処理装置1の処理フローの例を示す図である。損失パケットがない場合の処理は、第1実施形態と同様であるので、損失パケットが検出される場合についてのみ、説明される。また、以下は、図8に示される例における、TSパケットP2とTSパケットP3とが処理される場合について説明される。
TSパケット受信部121は入力部11を通じてTSパケットP2を受信する(OP11)。TSパケット受信部121は、TSパケットP2をヘッダ解析部122に出力する。
ヘッダ解析部122は、TSパケット受信部121から入力されたTSパケットP2のヘッダを解析する。ヘッダ解析部122は、TSパケットP2のヘッダのパケットIDから、TSパケットP2が映像パケットであるか、音声パケットであるかを判定する(OP12)。例えば、パケットIDの値「1」は映像パケットであることを示す値であるとすると、TSパケットP2は映像パケットであるので(OP12:Yes)、次に、ヘッダ解析部122は、TSパケットP2の先頭フラグが“1”であるか否かを判定する。すなわち、ヘッダ解析部122は、TSパケットP2が先頭パケットであるか否かを判定する(OP13)。
TSパケットP2は、先頭パケットではないので(OP13:No)、ヘッダ解析部122は、次に、TSパケットP2と、TSパケットP2の直前のTSパケットP1とのそれぞれの連続カウンタから、損失パケットがあるか否かを判定する(OP14)。すなわち、ヘッダ解析部122は、TSパケットP1の連続カウンタの値MとTSパケットP2の連続カウンタの値Nとが連続する値であるか否かを判定する。図8に示される例において、TSパケットP1の連続カウンタの値MとTSパケットP2の連続カウンタの値Nと
は連続する値ではないので、ヘッダ解析部122は、連続性なし、すなわち、損失パケットありと判定する(OP14:No)。ヘッダ解析部122は、TSパケットP1とTSパケットP2との間に損失パケットがあることを損失パケット検出部126に通知する。また、ヘッダ解析部122は、TSパケットP2のヘッダの解析結果をパケットカウント部123に出力する。
は連続する値ではないので、ヘッダ解析部122は、連続性なし、すなわち、損失パケットありと判定する(OP14:No)。ヘッダ解析部122は、TSパケットP1とTSパケットP2との間に損失パケットがあることを損失パケット検出部126に通知する。また、ヘッダ解析部122は、TSパケットP2のヘッダの解析結果をパケットカウント部123に出力する。
ヘッダ解析部122から、TSパケットP1とTSパケットP2との間に損失パケットがあることを通知されると、損失パケット検出部126は、損失パケットの個数を検出する(OP15)。
損失パケット検出部126は、TSパケットP2の連続カウンタが示す値NがTSパケットP1の連続カウンタが示す値Mより大きいか否かを判定する(図9B、OP151)。TSパケットP2の連続カウンタが示す値NがTSパケットP1の連続カウンタが示す値Mより大きい場合には(OP151:Yes)、損失パケット検出部126は、損失パケットの個数=N−M−1を求める(OP152)。損失パケット検出部126は、損失パケットの個数を保持する。
TSパケットP2の連続カウンタが示す値NがTSパケットP1の連続カウンタが示す値M以下の場合には(OP151:No)、損失パケット検出部126は、損失パケットの個数=15−M+Nを求める(OP153)。損失パケット検出部126は、損失パケットの個数を保持する。
ヘッダ解析部122からTSパケットP2のヘッダの解析結果を受信すると、パケットカウント部123は、ヘッダの解析結果から、TSパケットP2は先頭パケットではないので、映像フレームnの映像パケットの計数値Sに1を加算する(図9A、OP16)。その後処理がOP11に戻る。
続いて、図8に示される例において、映像フレームnの後続の映像フレームn+1の先頭パケットであるTSパケットP3を処理する場合について説明する。
TSパケット受信部121は入力部11を通じてTSパケットP3を受信する(OP11)。TSパケット受信部121は、TSパケットP3をヘッダ解析部122に出力する。
ヘッダ解析部122は、TSパケット受信部121から入力されたTSパケットP3のヘッダを解析する。ヘッダ解析部122は、TSパケットP3のヘッダのパケットIDから、TSパケットP3が映像パケットであるか、音声パケットであるかを判定する(OP12)。例えば、パケットIDの示す値「2」は映像パケットであることを示すとすると、TSパケットは映像パケットであるため(OP12:Yes)、ヘッダ解析部122は、次に、TSパケットP3は先頭パケットであるか否かを判定する(OP13)。TSパケットP3は、先頭パケットであるので(OP13:Yes)、ヘッダ解析部122は、TSパケットP3のヘッダの解析結果をパケットカウント部123に出力し、処理はOP17に進む。
ヘッダ解析部122から、TSパケットP3は先頭パケットである旨を含む解析結果を受信すると、パケットカウント部123は、その時保持する映像パケットの計数値Sと、映像フレームの計数値nとから、映像フレームnのパケット数Sを決定する(OP17)。パケットカウント部123は、映像フレームnのパケット数Sを、テーブル管理部124と損失パケット検出部126とに出力する。
映像フレームnには、TSパケットP1とTSパケットP2との間にパケットの損失が検出されている(OP18:Yes)。したがって、損失パケット検出部126は、テーブル管理部124から映像フレームnのパケット数Sを受信すると、映像フレームの総パケット数を算出する(OP19)。
損失パケット検出部126は、受信した映像フレームnのパケット数Sに保持されている損失パケットの個数を加算して、映像フレームnの総パケット数を算出する(図9C,OP191)。損失パケット検出部126は、算出された映像フレームnの総パケット数を再生品質推定部125に出力する。
再生品質推定部125は、損失パケット検出部126から、映像フレームnの総パケット数を受信すると、再生重要度テーブル13−1を参照し、映像フレームnの総パケット数に応じて、劣化品質値を読み出す(OP192)。
再生品質推定部125は、映像フレームnの劣化品質値を監視サーバ4に出力部14を通じて送信する(OP193)。
次に、パケットカウント部123は、映像パケットの計数値Sを1にする。また、パケットカウント部123は、映像フレームの計数値nに1を加算する(図9A、OP20)。
テーブル管理部124は、パケットカウント部123から、映像フレームnのパケット数Sを受信すると、統計情報テーブル13−2に記録し、映像フレームnの総パケット数に応じて、再生重要度テーブル13−1に映像フレームnを分類し記録する。(OP21)。
再生重要度テーブル13−1が更新されると、再生品質推定部125は、映像フレームnの再生重要度を再生重要度テーブル13−1から読み出し、監視サーバ4に送信する(OP22)。その後処理がOP11に戻る。
<<第2実施形態の作用効果>>
第2実施形態の情報処理装置1は、受信されたTSパケットのヘッダを解析し、連続カウンタの値が連続していない場合に、TSパケットの損失を検出する。情報処理装置1によれば、受信されたTSパケットから映像フレームを復元することなく、TSパケットのヘッダを解析するのみで、TSパケットの損失及び損失パケットの個数を検出することができる。また、情報処理装置1によれば、損失パケットの個数を検出し、損失パケットを含む映像フレームの総パケット数を算出することができ、総パケット数に応じて、損失パケットを含む映像フレームに劣化品質値を与えることができる(品質推定情報を生成することができる)。損失パケットを含む映像フレームに劣化品質値が与えられることによって、ネットワーク3で配信され、受信端末2が受信する映像の品質を推定することが可能となる。
第2実施形態の情報処理装置1は、受信されたTSパケットのヘッダを解析し、連続カウンタの値が連続していない場合に、TSパケットの損失を検出する。情報処理装置1によれば、受信されたTSパケットから映像フレームを復元することなく、TSパケットのヘッダを解析するのみで、TSパケットの損失及び損失パケットの個数を検出することができる。また、情報処理装置1によれば、損失パケットの個数を検出し、損失パケットを含む映像フレームの総パケット数を算出することができ、総パケット数に応じて、損失パケットを含む映像フレームに劣化品質値を与えることができる(品質推定情報を生成することができる)。損失パケットを含む映像フレームに劣化品質値が与えられることによって、ネットワーク3で配信され、受信端末2が受信する映像の品質を推定することが可能となる。
また、第2実施形態の情報処理装置1は、ネットワーク3上に、映像フレームのサイズに周期性がある映像フレーム群が配信されており、その周期が急に変わる場合でも、損失される映像フレーム及び各映像フレームに評価値を与えることができる。映像フレームのサイズに周期性がある映像フレーム群には、例えば、MPEG−2のIピクチャ,Pピクチャ,Bピクチャのような映像フレーム群がある。また、映像フレームのサイズの周期が急変する場合には、例えば、IPTVを配信するサービスにおいて、番組からコマーシャルに映像が切換わるような場合がある。情報処理装置1は、受信されるTSパケットのヘッダの情報から、損失パケットを含む映像フレームに含まれる総パケット数を検出し、総
パケット数に応じて劣化品質値を与えるため、映像フレームのサイズ(パケット数)の周期が急変しても、適正に映像フレームに評価値を与えることができる。
パケット数に応じて劣化品質値を与えるため、映像フレームのサイズ(パケット数)の周期が急変しても、適正に映像フレームに評価値を与えることができる。
<第3実施形態>
第3実施形態の情報処理装置は、映像フレームに含まれるパケット数の周期性を監視し、映像パケットの損失を検出する。第3実施形態では、ネットワーク3上に配信される映像のフレームレートは30fpsであるとする。また、第2実施形態では、先頭パケットの損失は想定されなかったが、第3実施形態では、先頭パケットの損失の発生も含めたパケットの損失が想定される。なお、第3実施形態では、第1実施形態及び第2実施形態と共通する説明は省略される。
第3実施形態の情報処理装置は、映像フレームに含まれるパケット数の周期性を監視し、映像パケットの損失を検出する。第3実施形態では、ネットワーク3上に配信される映像のフレームレートは30fpsであるとする。また、第2実施形態では、先頭パケットの損失は想定されなかったが、第3実施形態では、先頭パケットの損失の発生も含めたパケットの損失が想定される。なお、第3実施形態では、第1実施形態及び第2実施形態と共通する説明は省略される。
図10は、第3実施形態の情報処理装置1の構成例を示す図である。第3実施形態において、情報処理装置1は、第1実施形態及び第2実施形態と同様に、入力部11,プロセッサ12,記憶部13,及び出力部14を備える。記憶部13は、映像品質推定情報生成プログラム13−5を保持する。
プロセッサ12は、記憶部13に保持される映像情報処理装置プログラム13−5を実行することによって、第1実施形態及び第2実施形態において説明された、TSパケット受信部121,ヘッダ解析部122,パケットカウント部123,テーブル管理部124,再生品質推定部125,及び損失パケット検出部126に加え、周期判定部127を実現することができる。
周期判定部127は、再生重要度テーブル13−1を監視して、受信される映像フレームのパケット数の周期性から、先頭パケットの損失を検出する。
図11は、映像フレームの周期性を説明するための図である。図11に示される例では、フレームレートが30fps(Frame Per Second)である映像フレーム群が示される。フレームレートが30fpsの映像の場合、1秒間に30個の映像フレームが再生される。また、例えば、MPEG−2の符号化が施されている場合には、15フレームごとに1フレームの周期で、MPEG−2のIピクチャ(Intra Pcture)のような、映像パケット数が他の映像フレームより大きい映像フレームが現れる。例えば、図5に示されるような再生重要度テーブルが設定されている場合では、前述の他の映像フレームより大きい映像フレームとは、パケット数が最も大きいグループ(パケット数P2+1以上)に分類される映像フレームである。このような、パケット数が他の映像フレームより大きくなる映像フレームを、キーフレームと称する。すなわち、フレームレートが30fpsで、MPEG−2で符号化されている映像では、0.5秒間に、15個の映像フレームが再生され、そのうち1つがキーフレームである。
周期判定部127は、再生重要度テーブル13−1を監視し、キーフレームが現れると、キーフレームを先頭として、0.5秒間に再生されるべき映像フレーム群に含まれる映像パケットを調査する。
TSパケットのヘッダには、システムクロックのリファレンス値を示す情報が格納されているフィールドがある。例えば、MPEG−2 TSの場合には、TSパケットのヘッダ内のアダプテーションフィールド内のPCR(Program Clock Reference)に、映像配信側と映像受信側で同期したクロックによるタイムスタンプが格納されている。周期判定部127は、TSパケットのヘッダのPCRを参照にすることで、例えば、キーフレームの先頭パケットのPCRとの差分を検査することで、キーフレームを先頭として、0.5秒間に再生されるべき映像フレームに含まれる映像パケットを検出することができる。なお、映像パケットは、TSパケット受信部121によって、記憶部13のバッファに蓄
積されており、周期判定部127は、記憶部13のバッファから映像パケットを検出する。
積されており、周期判定部127は、記憶部13のバッファから映像パケットを検出する。
図12は、周期判定部127の周期性の調査の処理の例を示すフロー図である。周期判定部127は、再生重要度テーブル13−1を監視し、パケット数がP2以上のグループに分類されるキーフレームを検出する(OP31)。
周期判定部127は、キーフレームを先頭として、再生時の0.5秒の時間枠に含まれる映像パケット群を記憶部13内のバッファから検出する(OP32)。
周期判定部127は、検出されたキーフレームを先頭として、再生時の0.5秒の時間枠に含まれる映像パケット群に先頭パケット(先頭フラグが“1”のパケット)が15個含まれているか否かを判定する(OP33)。すなわち、周期判定部127は、キーフレームを先頭として再生時の0.5秒の時間枠に15個の映像フレームが存在するか否かを判定する。
キーフレームを先頭として再生時の0.5秒の時間枠に先頭パケットが15個含まれる場合には(OP33:Yes)、周期判定部127は、0.5秒の時間枠に映像フレームが15個存在することが示されるので、損失された映像フレームがないと判定する(OP34)。
キーフレームを先頭として再生時の0.5秒の時間枠に含まれる先頭パケットが15個未満の場合には(OP33:No)、損失された先頭パケットがあることを検出する(OP35)。周期判定部127は、キーフレームを先頭として再生時の0.5秒の時間枠に含まれる各映像パケットのヘッダの連続カウンタ,先頭フラグ等を解析して、損失された先頭パケット及び損失された映像フレームを検出する。
図13は、周期判定部127の損失された先頭パケットの検出処理の例を説明するための図である。図13では、キーフレームを先頭として0.5秒間に再生されるべき映像フレームに含まれる映像パケット群の一部が示される。図13に示される映像パケット群には、先頭パケットが14個しか含まれておらず、映像フレームn+1の先頭パケットであるTSパケットL1と、その後続の複数のTSパケットが損失されている。図13の下方には、損失されたTSパケットL1を含む複数の損失パケットと、その前後のTSパケット1、及び、TSパケット2が示されている。TSパケット1は映像フレームnに含まれるパケットである。
図13に示される例において、周期判定部127は、記憶部13のバッファから読み出された、キーフレームを先頭とする0.5秒の時間枠に含まれる映像パケット群に、15個の先頭パケットが存在しないことを検出する。
次に、周期判定部127は、検出された映像パケット群の連続カウンタを検査し、連続カウンタの値が連続していない映像パケットを抽出する。図13に示される例においては、TSパケット1の連続カウンタの値が10であり、その直後に受信されているTSパケット2の連続カウンタの値が4である。したがって、図13に示される例においては、周期判定部127は、TSパケット1とTSパケット2とを抽出する。
周期判定部127は、抽出された映像パケットの連続カウンタの値から損失パケットの個数を算出する。求め方は、損失パケット検出部126と同様である。すなわち、図13に示される例においては、周期判定部127は、損失パケットの個数を9個(15−M+N=15−10+4)を検出する。
周期判定部127は、損失パケットは、映像フレームn+1に含まれるTSパケットであると見なして、映像フレームnと映像フレームn+1のパケット数を求める。例えば、図13に示される例において、周期判定部127は、抽出されたTSパケット1より前の先頭パケットからTSパケット1までに含まれるTSパケット数を映像フレームnのパケット数として検出する。例えば、図13に示される例において、周期判定部127は、抽出されたTSパケット2から、次の先頭パケットまでのTSパケット数に検出された損失パケット数9個を加算して映像フレームn+1のパケット数を求める。
周期判定部127は、映像フレームnのパケット数と映像フレームn+1のパケット数を再生品質推定部125に出力する。周期判定部127は、検出部に相当する。
再生品質推定部125は、映像フレームn+1のパケット数に応じた劣化品質値を再生重要度テーブル13−1から読み出し、監視サーバ4に送信する。なお、図13に示される例においては、映像フレームnには損失パケットは含まれないが、映像フレームnの末尾の映像パケットが損失している可能性もあるため、映像フレームnの劣化品質値も監視サーバ4に送信されるのが望ましい。
第2実施形態においては、図13に示される例のようなパケット損失が発生した場合、映像フレームnと映像フレームn+1とは、損失パケットを含む1つの映像フレームとして検出される。第3実施形態の情報処理装置によれば、図13に示される例のようなパケット損失が発生した場合でも、適正に、映像フレームnと映像フレームn+1とを検出することができる。
第3実施形態の情報処理装置によれば、先頭パケットの損失が発生した場合でも、適正に損失パケットを含む映像フレームを検出し、損失パケットを含む映像フレームに劣化品質値を与えることが可能である。
また、情報処理装置は、第1実施形態及び第2実施形態と同様に、映像パケットのヘッダを解析するのみで、損失パケットを含む映像フレームを検出し、評価値を与えることができるので、効率がよい。
また、第1実施形態〜第3実施形態では、MPEG−2 TSによって映像が伝送される場合について説明されたが、MPEG−2 TSに限定されるものではなく、例えば、MPEG−2 TTS(Transmitted TS)によって映像が伝送される場合にも適用できる。MPG−2 TTSは、MPEG−2のTSパケットのヘッダの先頭に4バイトのタイムスタンプが付加されたものである。
1 情報処理装置
2 受信端末
3 ネットワーク
4 サーバ
5 配信サーバ
6 コンテンツサーバ
11 入力部
12 プロセッサ
13 記憶部
14 出力部
121 TSパケット受信部
122 ヘッダ解析部
123 パケットカウント部
124 テーブル管理部
125 再生品質推定部
126 損失パケット検出部
127 周期判定部
13−1 再生重要度テーブル
13−2,13−2b 統計情報テーブル
13−3,13−4,13−5 映像品質推定情報生成プログラム
2 受信端末
3 ネットワーク
4 サーバ
5 配信サーバ
6 コンテンツサーバ
11 入力部
12 プロセッサ
13 記憶部
14 出力部
121 TSパケット受信部
122 ヘッダ解析部
123 パケットカウント部
124 テーブル管理部
125 再生品質推定部
126 損失パケット検出部
127 周期判定部
13−1 再生重要度テーブル
13−2,13−2b 統計情報テーブル
13−3,13−4,13−5 映像品質推定情報生成プログラム
Claims (6)
- 複数の映像フレームのデータを含むパケット群であって、前記複数の映像フレームのそれぞれの先頭部分を含む各パケットを先頭パケットとしてフレームの先頭を示す識別子が付与された前記パケット群が映像の再生順に並べられたパケット列をネットワークから受信するための受信部と、
前記パケット列中の各先頭パケットに基づいて、前記複数の映像フレームのそれぞれに対応するパケットの受信数を計数する計数部と、
前記複数の映像フレームのそれぞれに対応するパケットの受信数に基づいて、前記複数の映像フレームのそれぞれについて、前記複数の映像フレームが受信端末において復号される映像の品質を推定するための情報である映像品質推定情報を生成する生成部と
を含む情報処理装置。 - 前記計数部は、先頭パケットが受信されてから次の先頭パケットが受信されるまでの間に受信されたパケットの受信数に1を加えた数を前記複数の映像フレームの一つに対応するパケットの受信数として得る
請求項1に記載の情報処理装置。 - 前記受信部で受信された前記パケット列中の各パケットに付与された連続番号に基づいて、前記ネットワークで失われたパケット数を算出する算出部をさらに含む
請求項1又は2に記載の情報処理装置。 - 前記受信部で受信された前記パケット列中の先頭パケットを先頭として、所定時間に再生されるべき複数のパケットに含まれる先頭パケットの数が所定値未満である場合に、前記所定時間に再生されるべき複数の映像パケット中の少なくとも1つの先頭パケットの損失を検出する検出部をさらに備える
請求項1から請求項3のいずれか1項に記載の情報処理装置。 - コンピュータが、
複数の映像フレームのデータを含むパケット群であって、前記複数の映像フレームのそれぞれの先頭部分を含む各パケットを先頭パケットとしてフレームの先頭を示す識別子が付与された前記パケット群が映像の再生順に並べられたパケット列をネットワークから受信し、
前記パケット列中の各先頭パケットに基づいて、前記複数の映像フレームのそれぞれに対応するパケットの受信数を計数し、
前記複数の映像フレームのそれぞれに対応するパケットの受信数に基づいて、前記複数の映像フレームのそれぞれについて、前記複数の映像フレームが受信端末において復号さる映像の品質を推定するための情報である映像品質推定情報を生成する
情報生成方法。 - コンピュータが、
複数の映像フレームのデータを含むパケット群であって、前記複数の映像フレームのそれぞれの先頭部分を含む各パケットを先頭パケットとしてフレームの先頭を示す識別子が付与された前記パケット群が映像の再生順に並べられたパケット列をネットワークから受信するステップと、
前記パケット列中の各先頭パケットに基づいて、前記複数の映像フレームのそれぞれに対応するパケットの受信数を計数するステップと、
前記複数の映像フレームのそれぞれに対応するパケットの受信数に基づいて、前記複数の映像フレームのそれぞれについて、前記複数の映像フレームが受信端末において復号さる映像の品質を推定するための情報である映像品質推定情報を生成するステップと、
を実行するためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009267220A JP2011114444A (ja) | 2009-11-25 | 2009-11-25 | 情報処理装置,情報生成方法,およびプログラム |
| US12/952,492 US8542723B2 (en) | 2009-11-25 | 2010-11-23 | Information processing apparatus and information generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009267220A JP2011114444A (ja) | 2009-11-25 | 2009-11-25 | 情報処理装置,情報生成方法,およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011114444A true JP2011114444A (ja) | 2011-06-09 |
Family
ID=44236480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009267220A Pending JP2011114444A (ja) | 2009-11-25 | 2009-11-25 | 情報処理装置,情報生成方法,およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8542723B2 (ja) |
| JP (1) | JP2011114444A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013062738A (ja) * | 2011-09-14 | 2013-04-04 | Oki Electric Ind Co Ltd | 映像パケットのフレーム種別判別方法及び監視サーバ |
| US8867611B2 (en) | 2011-06-10 | 2014-10-21 | Chicony Electronics Co., Ltd. | Video transmitting method and system with image quality adjusting function |
| CN105074148A (zh) * | 2013-02-20 | 2015-11-18 | 五十铃自动车株式会社 | 颗粒状物质的测量装置 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9615126B2 (en) * | 2011-06-24 | 2017-04-04 | Google Technology Holdings LLC | Intelligent buffering of media streams delivered over internet |
| JP2013013003A (ja) * | 2011-06-30 | 2013-01-17 | Brother Ind Ltd | データ処理装置、データ処理方法、およびデータ処理プログラム |
| US9591098B2 (en) | 2012-02-01 | 2017-03-07 | Cisco Technology, Inc. | System and method to reduce stream start-up delay for adaptive streaming |
| JP5812533B2 (ja) * | 2012-05-31 | 2015-11-17 | 株式会社日立製作所 | 通信装置、及び、通信方法 |
| KR101722761B1 (ko) * | 2013-01-31 | 2017-04-03 | 한국전자통신연구원 | 역다중화 장치, 다중화 장치, 이를 이용한 다중채널 전송 및 수신 방법 |
| US20140325023A1 (en) * | 2013-04-24 | 2014-10-30 | Cisco Technology, Inc. | Size prediction in streaming enviroments |
| US9923945B2 (en) | 2013-10-10 | 2018-03-20 | Cisco Technology, Inc. | Virtual assets for on-demand content generation |
| EP3375194A1 (en) * | 2015-11-09 | 2018-09-19 | Thomson Licensing | Method and device for adapting the video content decoded from elementary streams to the characteristics of a display |
| CN107404646B (zh) * | 2016-05-20 | 2019-11-29 | 华为技术有限公司 | 视频质量评估的方法、装置和头端设备 |
| EP3301885A1 (en) * | 2016-10-03 | 2018-04-04 | Gemalto Sa | Method, data sending control server, storage server, processing server and system for sending data to at least one device |
| JP2018166313A (ja) * | 2017-03-28 | 2018-10-25 | 富士通株式会社 | 異常検出プログラム、異常検出装置及び異常検出方法 |
| US20250159267A1 (en) * | 2022-01-27 | 2025-05-15 | Nippon Telegraph And Telephone Corporation | Video processing system, compression apparatus, video processing method and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007060475A (ja) * | 2005-08-26 | 2007-03-08 | Nippon Telegr & Teleph Corp <Ntt> | ユーザ体感品質推定装置、方法、およびプログラム |
| WO2009025357A1 (ja) * | 2007-08-22 | 2009-02-26 | Nippon Telegraph And Telephone Corporation | 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体 |
| WO2010087129A1 (ja) * | 2009-02-02 | 2010-08-05 | 日本電気株式会社 | ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002325254A (ja) | 2001-02-26 | 2002-11-08 | Ando Electric Co Ltd | 動画符号評価装置及びシステム |
| US6750942B2 (en) | 2001-02-26 | 2004-06-15 | Ando Electric Co., Ltd. | Motion picture code evaluation apparatus and system |
| US7426210B1 (en) * | 2001-04-03 | 2008-09-16 | Yt Networks Capital, Llc | Port-to-port, non-blocking, scalable optical router architecture and method for routing optical traffic |
| JP2003199128A (ja) | 2001-12-25 | 2003-07-11 | Ando Electric Co Ltd | 動画配信試験装置 |
| US7010598B2 (en) * | 2002-02-11 | 2006-03-07 | Akamai Technologies, Inc. | Method and apparatus for measuring stream availability, quality and performance |
| US6778254B2 (en) | 2002-02-18 | 2004-08-17 | Ando Electric Co., Ltd. | Motion picture code evaluator and related systems |
| JP2007523540A (ja) | 2004-02-13 | 2007-08-16 | ノキア コーポレイション | 体験の品質のメトリクスのタイミング |
| JP4327674B2 (ja) | 2004-07-21 | 2009-09-09 | 日本電信電話株式会社 | 映像品質管理方法および映像品質管理システム |
| JP4514155B2 (ja) | 2005-03-04 | 2010-07-28 | 日本電信電話株式会社 | 映像品質評価装置、方法およびプログラム |
| JP4474310B2 (ja) * | 2005-03-24 | 2010-06-02 | パナソニック株式会社 | デバイス切替システム、送信元および配信先デバイス |
| JP4377357B2 (ja) | 2005-07-07 | 2009-12-02 | 日本電信電話株式会社 | 映像品質推定装置および映像品質推定方法 |
| JP2008211579A (ja) | 2007-02-27 | 2008-09-11 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定方法および映像通信システム |
| KR101086435B1 (ko) * | 2007-03-29 | 2011-11-25 | 삼성전자주식회사 | 영상 데이터 스트림의 에러 검출 방법 및 그 장치 |
-
2009
- 2009-11-25 JP JP2009267220A patent/JP2011114444A/ja active Pending
-
2010
- 2010-11-23 US US12/952,492 patent/US8542723B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007060475A (ja) * | 2005-08-26 | 2007-03-08 | Nippon Telegr & Teleph Corp <Ntt> | ユーザ体感品質推定装置、方法、およびプログラム |
| WO2009025357A1 (ja) * | 2007-08-22 | 2009-02-26 | Nippon Telegraph And Telephone Corporation | 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体 |
| WO2010087129A1 (ja) * | 2009-02-02 | 2010-08-05 | 日本電気株式会社 | ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体 |
Non-Patent Citations (2)
| Title |
|---|
| CSNG200800930007; 牛木 一成,外1名: '"TSヘッダ情報を用いた映像フレーム種別推定法の計算量低減"' 電子情報通信学会技術研究報告 CQ2008-26〜45 コミュニケーションクオリティ 第108巻,第215号, 20080918, p.33-38, 社団法人電子情報通信学会 * |
| JPN6013035209; 牛木 一成,外1名: '"TSヘッダ情報を用いた映像フレーム種別推定法の計算量低減"' 電子情報通信学会技術研究報告 CQ2008-26〜45 コミュニケーションクオリティ 第108巻,第215号, 20080918, p.33-38, 社団法人電子情報通信学会 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8867611B2 (en) | 2011-06-10 | 2014-10-21 | Chicony Electronics Co., Ltd. | Video transmitting method and system with image quality adjusting function |
| JP2013062738A (ja) * | 2011-09-14 | 2013-04-04 | Oki Electric Ind Co Ltd | 映像パケットのフレーム種別判別方法及び監視サーバ |
| CN105074148A (zh) * | 2013-02-20 | 2015-11-18 | 五十铃自动车株式会社 | 颗粒状物质的测量装置 |
| CN105074148B (zh) * | 2013-02-20 | 2017-11-07 | 五十铃自动车株式会社 | 颗粒状物质的测量装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110292981A1 (en) | 2011-12-01 |
| US8542723B2 (en) | 2013-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011114444A (ja) | 情報処理装置,情報生成方法,およびプログラム | |
| CN103188522B (zh) | 提供与传送复合浓缩串流的方法以及系统 | |
| JP3957666B2 (ja) | マルチメディアストリーミング装置、マルチメディアストリーミングサーバ、マルチメディアストリーミングクライアント、マルチメディアストリーミング方法及びそのプログラムを記録した記録媒体 | |
| US10796707B2 (en) | Method and apparatus for transmitting and receiving of the object-based audio contents | |
| EP3096526B1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
| US20160119398A1 (en) | Informative data streaming server | |
| US20100238792A1 (en) | Information acquisition system, transmit apparatus, data obtaining apparatus, transmission method, and data obtaining method | |
| CN102651821B (zh) | 一种视频质量评估方法及装置 | |
| US20130091528A1 (en) | Video reproduction system, receive terminal, home gateway device, and quality control system | |
| CN107147919A (zh) | 直播快速启播方法及系统 | |
| JP6434600B2 (ja) | 復号装置、復号方法、および復号用プログラム | |
| WO2010051834A1 (en) | Method and system for determining a quality value of a video stream | |
| EP3096533B1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
| KR20110090596A (ko) | 지터 보정 방법 및 장치 | |
| JP2010098441A (ja) | 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム | |
| EP3096525B1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
| JP5335867B2 (ja) | 基本GoP長を用いた映像品質推定装置及び方法及びプログラム | |
| KR102350570B1 (ko) | 영상프레임의 손실을 측정하기 위한 iptv 셋탑박스 및 그 동작방법 | |
| JP5384444B2 (ja) | 映像品質推定システム及び映像配信サーバ及びユーザの受信・再生端末 | |
| JP5405915B2 (ja) | 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム | |
| WO2017061280A1 (ja) | 受信装置および方法 | |
| KR20050037847A (ko) | 멀티미디어 스트리밍 시스템에서의 에러 검출 방법 | |
| CN112653922A (zh) | 一种音视频文件处理方法、装置、终端以及存储介质 | |
| JP2006254015A (ja) | データ収集装置 | |
| WO2017047399A1 (ja) | 受信装置および方法、送信装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120815 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131203 |