JP2014192566A - 映像処理装置、映像処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】画面に複数の動画コンテンツを同時に表示する際に、効果的な動画コンテンツの表現を行うとともに、ネットワークの帯域を無駄に消費しないようにすることが可能な、映像処理装置を提供する。
【解決手段】ネットワークを通じて配信されるコンテンツを同時に複数取得するコンテンツ取得部と、前記コンテンツ取得部が取得した前記コンテンツごとに割り当てる帯域幅を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定する帯域幅決定部と、を備える、映像処理装置が提供される。
【選択図】図１

Description

本開示は、映像処理装置、映像処理方法およびコンピュータプログラムに関する。

コンテンツのデジタル化が進み、映像を伝送できるインフラも整備されてきたことにより、インターネットを通じた映像配信が普及しつつある。最近では受信側の装置として、パーソナルコンピュータ以外に、ネットワークに接続可能なテレビジョン受像機も増えてきており、配信される動画コンテンツをテレビジョン受像機で見ることもできるようになってきている。

パーソナルコンピュータやテレビジョン受像機等のクライアント端末がサーバから動画コンテンツを取得して表示する際に、伝送路の帯域の無駄な消費を防ぐ技術として、例えば特許文献１がある。特許文献１に開示された技術によれば、表示装置側が必要とする解像度に変更してデータ供給装置が画像データを提供することで、伝送路の帯域の無駄な消費を防止することができる。

従来技術の別例として、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）ベースのアダプティブストリーミング技術がある。このアダプティブストリーミング技術として、例えばＡｐｐｌｅ社のＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ技術や、ＭＰＥＧ−Ｄａｓｈ技術としてＩＳＯで標準化が行われているものがある。この技術は、インターネットのようにネットワークの帯域幅の変動や、クライアント端末の表示解像度の多様性に対応するために、コンテンツの解像度やコンテンツレートを選択し提供する仕組みを備える。この技術では、クライアント端末は、必要とする動画コンテンツについてサーバへ問い合わせを行う事で、どのような解像度やビットレートの動画コンテンツが提供可能であるのか事前に知ることが出来る。

また、近年、クラウドサービスの発展により、ネットワークを介して、プライベートコンテンツを含めた多様なチャンネルが視聴者に提供されるようになってきている。そのため、複数の動画コンテンツを同時に視聴して、見たい動画コンテンツを簡単に探索することができるマルチ映像再生システムに対するニーズがより高くなってきている。

特開２０００−２５０５０５号公報

上記特許文献１で開示された技術では、伝送路の帯域幅が変動するようなネットワーク環境を想定していない。従って、再生しようとする動画コンテンツの解像度を変更するだけでは、帯域の無駄な消費を効果的に防止することが出来ない。

また、１つのクライアント端末上の画面に複数の動画コンテンツを同時に表示する場合、既存のＭＰＥＧ−Ｄａｓｈ技術では、取得するコンテンツのビットレートの決定が独立に実施されるため、全ての動画コンテンツをなるべく高いビットレートで再生が進むように動作してしまう。そのため、本来は低いビットレートでも表示には十分な動画コンテンツへ必要以上の高いビットレートが割り当てられたり、また逆に高いビットレートを必要とする動画コンテンツに十分な割り当てが出来なかったりする状況が発生する。

そこで、本開示は、画面に複数の動画コンテンツを同時に表示する際に、効果的な動画コンテンツの表現を行うとともに、ネットワークの帯域を無駄に消費しないようにすることが可能な、新規かつ改良された映像処理装置、映像処理方法およびコンピュータプログラムを提供する。

本開示によれば、ネットワークを通じて配信されるコンテンツを同時に複数取得するコンテンツ取得部と、前記コンテンツ取得部が取得した前記コンテンツごとに割り当てる帯域幅を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定する帯域幅決定部と、を備える、映像処理装置が提供される。

また本開示によれば、ネットワークを通じて配信されるコンテンツを同時に複数取得するステップと、前記取得するステップで取得した前記コンテンツごとに割り当てる帯域幅を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定するステップと、を備える、映像処理方法が提供される。

また本開示によれば、コンピュータに、ネットワークを通じて配信されるコンテンツを同時に複数取得するステップと、前記取得するステップで取得した前記コンテンツごとに割り当てる帯域幅を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定するステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、画面に複数の動画コンテンツを同時に表示する際に、効果的な動画コンテンツの表現を行うとともに、ネットワークの帯域を無駄に消費しないようにすることが可能な、新規かつ改良された映像処理装置、映像処理方法およびコンピュータプログラムを提供することが出来る。

本開示の一実施形態に係る映像処理システム１の全体構成例を示す説明図である。 コンテンツ情報リストの構造を概念的に示す説明図である。 クライアント端末１００でのレート変更及びセグメントの取得例を示す説明図である。 アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。 アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。 アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。 本開示の一実施形態に係るクライアント端末１００の機能構成例を示す説明図である。 アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。 アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。 アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。 動画コンテンツの使用帯域の比率の決定例を示す説明図である。 動画コンテンツの使用帯域の比率の決定例を示す説明図である。 コンテンツ取得リストの例を示す説明図である。 目標レートの算出例を示す説明図である。 目標レートと差分レートの値を示す説明図である。 目標レートと差分レートの値を示す説明図である。 目標レートと差分レートの値を示す説明図である。 目標レートと差分レートの値を示す説明図である。 目標レートと差分レートの値を示す説明図である。 目標レートと差分レートの値を示す説明図である。 目標レートと差分レートの値を示す説明図である。 本開示の一実施形態に係るクライアント端末１００の機能構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［全体構成例］
［クライアント端末の機能構成例］
［クライアント端末の動作例］
［クライアント端末の変形例］
＜２．まとめ＞

＜１．本開示の一実施形態＞
［全体構成例］
まず図面を参照しながら、本開示の一実施形態に係るシステムの全体構成例について説明する。図１は、本開示の一実施形態に係る映像処理システム１の全体構成例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る映像処理システム１の全体構成例について説明する。

図１に示した映像処理システム１は、複数の動画コンテンツサーバ２、３から、符号化ストリーム情報を、インターネット等のネットワーク１０を経てクライアント端末１００で受信し、クライアント端末１００で複数の動画コンテンツを取得して同時に再生する構成を有している。

動画コンテンツサーバ２、３は、符号化ストリームに変換された動画コンテンツを保持し、また動画コンテンツを符号化ストリームに変換し、クライアント端末１００からの求めに応じてクライアント端末１００に送出する装置である。本実施形態では、動画コンテンツサーバ２は、動画コンテンツＡ及び動画コンテンツＢを保持している。動画コンテンツＡ、Ｂは、リアルタイムで撮像された動画コンテンツであってもよく、予め撮像された動画コンテンツであってもよい。また動画コンテンツサーバ３は、動画コンテンツＣ及び動画コンテンツＤを保持している。動画コンテンツＣ、Ｄは、リアルタイムで撮像された動画コンテンツであってもよく、予め撮像された動画コンテンツであってもよい。もちろん、動画コンテンツサーバに保持される動画コンテンツの種類や数は係る例に限られないことは言うまでもない。

本実施形態の符号化ストリームは、例えばＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）方式等で符号化されたものであるとする。

クライアント端末１００は、動画コンテンツサーバ２、３からインターネット等のネットワーク１０を経て送信される符号化ストリームを受信し、受信した複数の符号化ストリームを復号する。クライアント端末１００は、複数の符号化ストリームを復号することで、複数の動画コンテンツを同時に再生することが出来る。なお、複数の動画コンテンツの同時再生は、クライアント端末１００が実行しても良いし、クライアント端末１００と有線または無線で接続された、表示画面を有する他の装置が実行しても良い。

本実施形態では、ＨＴＴＰベースのアダプティブストリーミングによって、動画コンテンツサーバ２、３からクライアント端末１００へ動画コンテンツが配信される。上述したように、ＨＴＴＰベースのアダプティブストリーミングは、ネットワーク１０の帯域幅の変動や、クライアント端末の表示解像度の多様性に対応するために、動画コンテンツの解像度やコンテンツレートを選択し提供する仕組みを備える。

クライアント端末１００は、動画コンテンツの再生に先立って、動画コンテンツサーバ２、３へ問い合わせを行う。例えば動画コンテンツサーバ２が提供する動画コンテンツＡについてクライアント端末１００が問い合わせを行った結果、３２０×２４０ピクセルの解像度の場合なら１Ｍｂｐｓ、２Ｍｂｐｓの種類のビットレート、１０２４×７６８ピクセルの解像度の場合なら１Ｍｂｐｓ、２Ｍｂｐｓ、３Ｍｂｐｓの３種類のビットレートにて動画コンテンツＡが提供可能な事を知ることができる。

クライアント端末１００が動画コンテンツサーバ２、３へ問い合わせることにより得られる情報の例を示す。図２は、クライアント端末１００が動画コンテンツサーバ２、３へ問い合わせることにより得られるコンテンツ情報リストの構造を概念的に示す説明図である。

図２に示したコンテンツ情報リストＣＬは、動画コンテンツＡのコンテンツ情報リストＣＬ１と、動画コンテンツＢのコンテンツ情報リストＣＬ２と、を含んでいる。

動画コンテンツＡのコンテンツ情報リストＣＬ１は、コンテンツ名ＣＬ１１、解像度情報ＣＬ１２ａ、ＣＬ１２ｂ、レート情報ＣＬ１３ａ〜ＣＬ１３ｅ、及びセグメント情報ＣＬ１４ａ、１４ｂを含んでいる。

同様に、動画コンテンツＢのコンテンツ情報リストＣＬ２は、コンテンツ名ＣＬ２１、解像度情報ＣＬ２２、レート情報ＣＬ２３、及びセグメント情報ＣＬ２４を含んでいる。

また図２には示していないが、各動画コンテンツのビットレート毎に、コンテンツの実体のファイルの存在場所を示す情報もコンテンツ情報リストＣＬに含まれる。コンテンツの実体のファイルの存在場所を示す情報は、例えばファイルのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であり得る。

クライアント端末１００は、図２に示したような構造を有するコンテンツ情報リストＣＬを動画コンテンツサーバ２、３から得ることで、動画コンテンツＡ、Ｂについて用意されている解像度やビットレートを知ることが出来る。また図２に示したように、各動画コンテンツは、解像度やビットレート毎にセグメント情報リストという形で管理されている。このセグメント情報リストは、各動画コンテンツが一定時間ごとに区切られた、セグメントという分割された状態で管理される。

ＭＰＥＧ−ＤＡＳＨ（ＩＳＯ／ＩＥＣ ２３００９−１）を用いた場合では、動画コンテンツサーバ２、３は、配信するコンテンツの内容を管理するＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｉｓｃｒｉｐｔｉｏｎ）ファイルを保持する。ＭＰＤファイルには、動画コンテンツの動画圧縮方式、画像サイズ、符号化レート、ファイルの格納場所が記述される。クライアント端末１００は、動画コンテンツサーバ２、３からＭＰＤファイルを取得することで、動画コンテンツＡ、Ｂについて用意されている解像度やビットレートを知ることが出来る。

図２に示したような構造を有するコンテンツ情報リストＣＬを取得した場合において、クライアント端末１００は、大きい解像度の動画コンテンツＡを画面上に表示させたい場合は１０２４×７６８ピクセルのものを選択し、小さい解像度の動画コンテンツＡを画面上に表示させたい場合は３２０×２４０ピクセルのものを選択する。このような選択により、クライアント端末１００は、動画コンテンツＡの解像度変換の処理を行う必要が無くなる。また動画コンテンツサーバ２からクライアント端末１００へ動画コンテンツＡが送信される際に、ネットワーク１０の帯域の無駄な消費を防止する事が可能となる。

さらに、動画コンテンツサーバ２は、同一解像度のコンテンツを複数のビットレートで提供できるため、クライアント端末１００は、動画コンテンツサーバ２との間のネットワーク１０の帯域幅を動的に推測し、その推測した値より低いビットレートのコンテンツを選択することが出来る。

図３は、クライアント端末１００でのレート変更及びセグメントの取得例を示す説明図である。図３に示したようなコンテンツ情報リストＣＬ１を動画コンテンツサーバ２から取得している場合に、クライアント端末１００は、図３に示したようにレートを変更して、セグメントを取得することが出来る。

図３に示した例をより詳細に説明する。クライアント端末１００は、最初に一番低いビットレートである１Ｍｂｐｓの動画コンテンツＡにてストリーミングの開始を決定し、セグメント１Ｍ−＃１の取得を行う。その後、このセグメントの取得状況からネットワーク１０の帯域にまだ余裕があると判断すると、クライアント端末１００は、次に高いレートである２Ｍｂｐｓのセグメント２Ｍ−＃２、セグメント２Ｍ−＃３の取得を行う。なおもネットワーク１０の帯域にまだ余裕があると判断すると、クライアント端末１００は、最高レートである４Ｍｂｐｓのセグメント４Ｍ−＃４、・・・の取得を行う。

各セグメントは、ビットレートが異なる場合においても、順番を保てばコンテンツとして途切れることなく再生が可能なように分割がされている。このように動画コンテンツがセグメント単位で分割されていることにより、クライアント端末１００のストリーミング開始までの時間を短縮したり、ネットワーク１０の帯域が変動する状況においても、少ないバッファ量での途切れない再生を行ったりする事が可能になる。

アダプティブストリーミングによるクライアント端末１００の動画コンテンツの取得の概要について説明する。図４Ａ〜４Ｃは、クライアント端末１００の動作例を示す流れ図であり、アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。

クライアント端末１００は、アダプティブストリーミングによる複数の動画コンテンツの取得処理を、図４Ａに示したように、動画コンテンツ毎に独立して実行する（ステップＳ１１）。図４Ｂ及び図４Ｃは、ステップＳ１１での動画コンテンツの取得処理を１つの動画コンテンツについて着目して示した流れ図である。

クライアント端末１００は、動画コンテンツサーバ２、３へアクセスを行い、取得可能な動画コンテンツの各種情報が記述されたコンテンツ情報リストを取得する（ステップＳ１２）。クライアント端末１００は、コンテンツ情報リストを取得すると、続いて当該動画コンテンツＮを取得する初期レートを決定する（ステップＳ１３）。多くの場合、この段階では利用可能なネットワーク１０の帯域は未知であるので、クライアント端末１００は、選択可能なビットレートの内、最低のビットレートを選択することが望ましい。

上記ステップＳ１３で動画コンテンツＮを取得する初期レートを決定すると、続いてクライアント端末１００は、動画コンテンツＮを取得するためのコンテンツ取得リストを作成する（ステップＳ１４）。コンテンツ取得リストは、コンテンツ単位で、解像度、ビットレート、セグメントが指定されたリストである。

動画コンテンツＮを取得するためのコンテンツ取得リストを作成すると、続いてクライアント端末１００は、動画コンテンツＮを配信する動画コンテンツサーバ２、３に対して、コンテンツ取得リストに記したセグメントを要求する（ステップＳ１５）。動画コンテンツサーバ２、３は、クライアント端末１００からの要求に応じて、当該セグメントをクライアント端末１００に送信する。クライアント端末１００は、受信したセグメントをバッファに保持しておく。

動画コンテンツサーバ２、３から動画コンテンツＮのセグメントを受信したクライアント端末１００は、受信したセグメントのデコードタイミングであるかどうかを判断し（ステップＳ１６）。デコードタイミングであれば、クライアント端末１００はバッファに保持したセグメントを取り出し（ステップＳ１７）、デコードを実行する（ステップＳ１８）。

続いてクライアント端末１００は、セグメントを保持するバッファへの流入レートを計測する（ステップＳ１９）。クライアント端末１００は、バッファへの流入レートを、例えば１セグメントの受信が完了するまでの時間と、そのセグメントのサイズを用いて、ビットレートをｂｐｓの単位で算出することができる。そしてクライアント端末１００は、セグメントを保持するバッファへの流入レートが、一定期間、コンテンツ取得リストのビットレートの情報未満であるかどうか判断する（ステップＳ２０）。バッファの出力側は動画コンテンツのビットレート情報に従ってデコーダが情報を定期的に引き出していくため、バッファの流入側の速度はネットワーク１０の状況に応じて、動画コンテンツのビットレート情報より高くなったり低くなったりする。

ステップＳ２０の判断の結果、一定期間、コンテンツ取得リストのビットレートの情報未満であれば、クライアント端末１００は計測したバッファの流入レートをリセットし（ステップＳ２１）、コンテンツ取得リストのビットレートよりさらに低いビットレートを選択できるか判断する（ステップＳ２２）。バッファへの流入が遅い場合は、クライアント端末１００はネットワーク１０に余裕がない状態と判断し、動画コンテンツサーバ２、３から取得する動画コンテンツのレートを下げる。

ステップＳ２２の判断の結果、コンテンツ取得リストのビットレートよりさらに低いビットレートを選択できる場合は、クライアント端末１００は、現在のビットレートより低いビットレートを選択し、コンテンツ取得リストを更新する（ステップＳ２３）。

ステップＳ２０の判断の結果、一定期間、コンテンツ取得リストのビットレートの情報未満でなければ、続いてクライアント端末１００は、セグメントを保持するバッファへの流入レートが、一定期間、コンテンツ取得リストのビットレートの情報以上であるかどうか判断する（ステップＳ２４）。

ステップＳ２４の判断の結果、一定期間、コンテンツ取得リストのビットレートの情報以上であれば、クライアント端末１００は計測したバッファの流入レートをリセットし（ステップＳ２５）、コンテンツ取得リストのビットレートよりさらに高いビットレートを選択できるか判断する（ステップＳ２６）。バッファへの流入が速い場合は、クライアント端末１００はネットワーク１０に余裕がある状態と判断し、動画コンテンツサーバ２、３から取得する動画コンテンツのレートを上げる。

ステップＳ２６の判断の結果、コンテンツ取得リストのビットレートよりさらに高いビットレートを選択できる場合は、クライアント端末１００は、現在のビットレートより低いビットレートを選択し、コンテンツ取得リストを更新する（ステップＳ２７）。

クライアント端末１００は、次のセグメントを選択するために、コンテンツ取得リストを更新する（ステップＳ２８）。そしてクライアント端末１００は、動画コンテンツの取得処理が終了するまで、一連の処理を継続する（ステップＳ２９）。

このように、アダプティブストリーミングは、ネットワーク１０の帯域幅の変動や、クライアント端末１００の表示解像度の多様性に対応することができる。しかし、１つのクライアント端末１００の画面に複数の動画コンテンツを表示する場合、取得する動画コンテンツのビットレートの決定が独立に実施されるため、全ての動画コンテンツをなるべく高いビットレートで再生されるように動作してしまう。

そのため、１つのクライアント端末１００の画面に複数の動画コンテンツを表示する場合に、本来は低いビットレートでも表示には十分なコンテンツへ必要以上の高いビットレートが割当てられたり、また逆に高いビットレートを必要とするコンテンツに十分な割り当てが出来なかったりする状況が発生する。

たとえば、ネットワーク１０を介して、１０Ｍｂｐｓの帯域で動画コンテンツサーバ２、３と接続されているクライアント端末１００において、それぞれ３２０×２４０ピクセル、１２８０×１０２４ピクセルの解像度を持つ２つの動画コンテンツを同時に再生する場合を考える。なお、動画コンテンツサーバ２、３が提供可能な動画コンテンツのビットレートは、最低が１Ｍｂｐｓであり、１Ｍｂｐｓ刻みで最大１０Ｍｂｐｓであると仮定する。

この条件でクライアント端末１００が動画コンテンツの再生を開始すると、それぞれの動画コンテンツは、時間の経過とともにビットレートは同じ５Ｍｂｐｓとなって安定する。これはＨＴＴＰより下層のトランスポートプロトコルとして用いられるＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）が、同じリンクを共有する複数のコネクションに対して帯域を均等分割する性質があるためである。またクライアント端末１００は、動画コンテンツサーバ２、３から取得する動画コンテンツのビットレートの決定を動画コンテンツ毎に独立して行うためである。

一般的には、解像度の高い動画コンテンツには相対的に高いビットレートを、解像度の低いコンテンツには相対的に低いビットレートをそれぞれ割り当てるほうが、コンテンツの質という意味では満足した結果が得られる。

このため、例えば解像度の低い３２０×２４０ピクセルの動画コンテンツには２Ｍｂｐｓ、解像度の高い１２８０×１０２４ピクセルの動画コンテンツには８Ｍｂｐｓというように、割り当てられるビットレートに差をつけることができれば、無駄な帯域を消費せずに、ユーザに対して効果的な情報を提供する事が可能となる。

このような状況への対策として、例えばアプリケーションからＴＣＰ層へコネクション毎に利用可能な最大の帯域を指定することで、各動画コンテンツのビットレートを上述したような要求に適応させることが出来る。しかし、多くのシステムではＴＣＰはＯＳのカーネルに実装されており、このような対応は実装的に困難である。

そこで以下では、画面に複数の動画コンテンツを表示する際に、効果的な動画コンテンツの表現を行うとともに、ネットワークの帯域を無駄に消費しないようにすることを可能にしたクライアント端末１００について説明する。

［クライアント端末の機能構成例］
図５は、本開示の一実施形態に係るクライアント端末１００の機能構成例を示す説明図である。図５に示したのは、動画コンテンツサーバ２、３から送信される符号化ストリームを復号し、複数の動画コンテンツを同時に再生するための構成を有するクライアント端末１００の例である。以下、図５を用いて本開示の一実施形態に係るクライアント端末１００の機能構成例について説明する。

図５に示したように、本開示の一実施形態に係るクライアント端末１００は、制御部１０１と、ネットワーク送受信部１０２と、符号化ストリーム分別部１０３と、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎと、伝送状態判定部１０７と、レート情報決定部１０８と、を含んで構成される。

制御部１０１は、クライアント端末１００の各要素の動作を制御する。ネットワーク送受信部１０２は、ネットワーク１０からのデータの受信やネットワーク１０へのデータの送信を、制御部１０１の制御により行う。本実施形態では、ネットワーク送受信部１０２は、動画コンテンツサーバ２、３から送信される符号化ストリームを受信する。ネットワーク送受信部１０２は、受信した符号化ストリームを、制御部１０１の制御に応じて符号化ストリーム分別部１０３に出力する。ネットワーク送受信部１０２は、複数の符号化ストリームを同時に受信し得るので、複数の符号化ストリームが受信された場合は、これらの複数の符号化ストリームは後段の符号化ストリーム分別部１０３で分別される。

符号化ストリーム分別部１０３は、ネットワーク送受信部１０２が受信した符号化ストリームを、動画コンテンツ単位に分別する。上述のようにネットワーク送受信部１０２は、複数の符号化ストリームを同時に受信し得るので、複数の符号化ストリームが受信された場合に、符号化ストリーム分別部１０３は複数の符号化ストリームを動画コンテンツ単位に分別する。符号化ストリーム分別部１０３による符号化ストリームの動画コンテンツ単位への分別は、例えば受信した符号化ストリームに含まれるコンテンツを識別するための情報を参照することで行われ得る。符号化ストリーム分別部１０３は、符号化ストリームを動画コンテンツ単位に分別すると、分別した符号化ストリームを動画コンテンツ単位にコンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎへ出力する。

コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎは、符号化ストリーム分別部１０３が動画コンテンツ単位に分別した符号化ストリームを、それぞれ動画コンテンツ単位で保持する。コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎにそれぞれ動画コンテンツ単位で保持された符号化ストリームは、デコーダ（図示せず）によって取り出されてデコードされる。

伝送状態判定部１０７は、動画コンテンツサーバ２、３からクライアント端末１００への動画コンテンツの伝送状態を判定する。具体的には、伝送状態判定部１０７は、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎへのパケットロス率や流入レートを計測することで、伝送状態を判定する。伝送状態判定部１０７は、動画コンテンツサーバ２、３からクライアント端末１００への動画コンテンツの伝送状態を判定すると、その判定の結果を制御部１０１に送る。

レート情報決定部１０８は、動画コンテンツサーバ２、３から配信される動画コンテンツの配信レートを決定する。レート情報決定部１０８は、本開示の帯域幅決定部の一例として機能する。レート情報決定部１０８は、例えばクライアント端末１００のユーザによる設定や、伝送状態判定部１０７が判定した伝送状態に基づいて、動画コンテンツサーバ２、３から配信される動画コンテンツの配信レートを決定する。レート情報決定部１０８は、決定した動画コンテンツの配信レートの情報を制御部１０１に送る。

本開示の一実施形態に係るクライアント端末１００は、複数の動画コンテンツを扱う場合に、動画コンテンツそれぞれで独立した処理とはしない。本開示の一実施形態に係るクライアント端末１００は、受信する動画コンテンツのビットレートの決定において、選択している動画コンテンツの取得レートの合計と全てのバッファの状態を考慮して、各動画コンテンツが利用できる帯域の比率を決定する。

本開示の一実施形態に係るクライアント端末１００は、このように各動画コンテンツが利用できる帯域の比率を決定することで、効果的な動画コンテンツの表現を行うとともに、ネットワークの帯域を無駄に消費しないようにすることを可能にする。

以上、図５を用いて本開示の一実施形態に係るクライアント端末１００の機能構成例について説明した。次に、本開示の一実施形態に係るクライアント端末１００の動作例について説明する。

［クライアント端末の動作例］
図６Ａ〜６Ｃは、本開示の一実施形態に係るクライアント端末１００の動作例を示す流れ図である。図６Ａ〜６Ｃに示した流れ図は、アダプティブストリーミングによるクライアント端末１００での複数の動画コンテンツの取得処理を示したものである。この複数の動画コンテンツの取得処理では、上述の処理とは異なり、選択している動画コンテンツの取得レートの合計と全てのバッファの状態を考慮して、各動画コンテンツが利用できる帯域の比率を決定する。以下、図６Ａ〜６Ｃを用いて本開示の一実施形態に係るクライアント端末１００の動作例について説明する。

図４Ａ〜４Ｃに示した処理は、各動画コンテンツに対して独立して実行されていた。これに対して図６Ａ〜６Ｃに示した処理は、全ての動画コンテンツに対して実行される。クライアント端末１００は、アダプティブストリーミングによる複数の動画コンテンツの取得処理を、図６Ａに示したように、全ての動画コンテンツに対して実行する（ステップＳ１０１）。図６Ｂ及び図６Ｃは、ステップＳ１０１での動画コンテンツの取得処理を示した流れ図である。

クライアント端末１００は、動画コンテンツサーバ２、３へアクセスを行い、取得可能な動画コンテンツの各種情報が記述されたコンテンツ情報リストを、受信しようとする全ての動画コンテンツに対して取得する（ステップＳ１１１）。この取得処理は例えば制御部１０１が実行し得る。

ステップＳ１１１でコンテンツ情報リストを取得すると、続いてクライアント端末１００は、取得する各動画コンテンツの使用帯域の比率を決定する（ステップＳ１１２）。このステップＳ１１２の処理は、例えばレート情報決定部１０８が決定し得る。

具体例を挙げて説明する。図７は、各動画コンテンツの使用帯域の比率の決定例を示す説明図である。図７では、同じ解像度の動画コンテンツＡ〜Ｄの使用帯域の比率を決定する例が示されている。各動画コンテンツに対して４：３：２：１の割合で帯域を割当てる指示がなされたと仮定すると、クライアント端末１００が利用できるネットワーク１０の帯域が１０Ｍｂｐｓである場合、クライアント端末１００は、動画コンテンツＡ〜Ｄにそれぞれ４Ｍｂｐｓ、３Ｍｂｐｓ、２Ｍｂｐｓ、１Ｍｂｐｓが割り当てられるように使用帯域の比率を決定する。またクライアント端末１００が利用できるネットワーク１０の帯域が２０Ｍｂｐｓである場合、クライアント端末１００は、動画コンテンツＡ〜Ｄにそれぞれ８Ｍｂｐｓ、６Ｍｂｐｓ、４Ｍｂｐｓ、２Ｍｂｐｓが割り当てられるように使用帯域の比率を決定する。

図８は、各動画コンテンツの使用帯域の比率の決定例を示す説明図である。図８では、異なる解像度の動画コンテンツの使用帯域の比率を決定する例が示されている。図８に示した例では、クライアント端末１００は、解像度が２５６×１４４の動画コンテンツの使用帯域を１とした場合に、解像度が１０２４×５７６の動画コンテンツに対して１６を割り当てている。図８に示した例では、クライアント端末１００は、単に各コンテンツの面積比をそのまま比率として用いている。なお、解像度２５６×１４４の動画コンテンツであっても、例えばユーザが注目したい動画コンテンツが１つある場合、クライアント端末１００は、その動画コンテンツの比率に２またはそれ以上の値を割り当て得る。

上記ステップＳ１１２で取得する各動画コンテンツの使用帯域の比率を決定すると、続いてクライアント端末１００は、各動画コンテンツを取得する初期ビットレートを決定する（ステップＳ１１３）。このステップＳ１１３の処理は例えばレート情報決定部１０８が実行し得る。

上述したように、多くの場合では、この段階では利用可能なネットワーク１０の帯域は未知であるので、クライアント端末１００は、選択可能なビットレートの内、最低のビットレートを選択することが望ましい。もちろん利用可能なネットワーク１０の帯域を予め知ることが出来れば、クライアント端末１００は、上記ステップＳ１１２で決定した比率に基づいて各動画コンテンツを取得する初期ビットレートを決定しても良い。

上記ステップＳ１１３で各動画コンテンツを取得する初期ビットレートを決定すると、続いてクライアント端末１００は、各動画コンテンツを取得するためのコンテンツ取得リストを作成する（ステップＳ１１４）。ステップＳ１１４の処理は、例えば制御部１０１が実行し得る。コンテンツ取得リストは、コンテンツ単位で、解像度、ビットレート、セグメントが指定されたリストである。

図９は、ステップＳ１１４で生成されるコンテンツ取得リストの例を示す説明図である。図９に示したコンテンツ取得リストでは、動画コンテンツＡ〜Ｄについて、解像度、ビットレート、取得セグメントの情報が記述されている。

上記ステップＳ１１４でコンテンツ取得リストを作成すると、続いてクライアント端末１００は、動画コンテンツを配信する動画コンテンツサーバ２、３に対して、作成したコンテンツ取得リストに記したセグメントを要求する（ステップＳ１１５）。ステップＳ１１５の処理は、例えば制御部１０１が実行し得る。動画コンテンツサーバ２、３は、クライアント端末１００からの要求に応じて、当該セグメントをクライアント端末１００に送信する。クライアント端末１００は、受信したセグメントをコンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎに保持しておく。

動画コンテンツサーバ２、３から動画コンテンツのセグメントを受信したクライアント端末１００は、デコードタイミングの動画コンテンツがあるかどうかを判断する（ステップＳ１１６）。ステップＳ１１６の処理は例えば制御部１０１が実行する。デコードタイミングの動画コンテンツがあれば、クライアント端末１００は、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎに保持したセグメントを取り出し（ステップＳ１１７）、デコードを実行する（ステップＳ１１８）。

続いてクライアント端末１００は、セグメントを保持するバッファへの流入レートを計測する（ステップＳ１１９）。ステップＳ１１９の処理は、例えば伝送状態判定部１０７が実行し得る。伝送状態判定部１０７は、バッファへの流入レートを、例えば１セグメントの受信が完了するまでの時間と、そのセグメントのサイズを用いて、ビットレートをｂｐｓの単位で算出することができる。

ステップＳ１１９でセグメントを保持するバッファへの流入レートを計測すると、クライアント端末１００は、セグメントを保持するバッファへの流入レートが、一定期間、コンテンツ取得リストのビットレートの情報未満の動画コンテンツがあるかどうか判断する（ステップＳ１２０）。ステップＳ１２０の処理は制御部１０１が実行し得る。上述したように、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎの出力側は動画コンテンツのビットレート情報に従ってデコーダが情報を定期的に引き出していくため、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎの流入側の速度はネットワーク１０の状況に応じて、動画コンテンツのビットレート情報より高くなったり低くなったりする。

ステップＳ１２０の判断の結果、一定期間、コンテンツ取得リストのビットレートの情報未満の動画コンテンツがあれば、クライアント端末１００は、目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番小さい動画コンテンツを選択する（ステップＳ１２１）。このステップＳ１２１の処理は、例えばレート情報決定部１０８が実行し得る。

目標レートとは、クライアント端末１００が取得する動画コンテンツ毎に算出される指標であり、取得中のコンテンツのビットレート情報の総和×動画コンテンツへの割当比率で求められる。

図１０は、目標レートの算出例を示す説明図である。図１０に示したのは、図７のように割り当て比率が決定された場合の、目標レートの算出例である。なお、各動画コンテンツの初期のビットレート情報として１．０Ｍｂｐｓが選択されているものとする。この場合、各動画コンテンツのビットレート情報の総和は４．０Ｍｂｐｓであるので、各動画コンテンツの目標レートは、図１０に示したように算出される。

上記ステップＳ１２１で、目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番小さい動画コンテンツを選択すると、続いてクライアント端末１００は、計測したバッファの流入レートをリセットし（ステップＳ１２２）、コンテンツ取得リストのビットレートよりさらに低いビットレートを、ステップＳ１２１で選択した動画コンテンツについて選択できるか判断する（ステップＳ１２３）。

ステップＳ１２３の判断の結果、コンテンツ取得リストのビットレートよりさらに低いビットレートを、ステップＳ１２１で選択した動画コンテンツについて選択できる場合は、クライアント端末１００は、ステップＳ１２１で選択した動画コンテンツについて、現在のビットレートより低いビットレートを選択し、コンテンツ取得リストを更新する（ステップＳ１２４）。

一方、ステップＳ１２０の判断の結果、一定期間、コンテンツ取得リストのビットレートの情報未満の動画コンテンツが無ければ、続いてクライアント端末１００は、一定期間、コンテンツ取得リストのビットレートの情報以上の動画コンテンツがあるかどうか判断する（ステップＳ１２５）。ステップＳ１２０の処理は制御部１０１が実行し得る。

ステップＳ１２５の判断の結果、一定期間、コンテンツ取得リストのビットレートの情報以上の動画コンテンツがあれば、クライアント端末１００は、目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きい動画コンテンツを選択する（ステップＳ１２６）。このステップＳ１２６の処理は、例えばレート情報決定部１０８が実行し得る。

上記ステップＳ１２６で、目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きい動画コンテンツを選択すると、続いてクライアント端末１００は、計測したバッファの流入レートをリセットし（ステップＳ１２７）、コンテンツ取得リストのビットレートよりさらに低いビットレートを、ステップＳ１２６で選択した動画コンテンツについて選択できるか判断する（ステップＳ１２８）。

ステップＳ１２８の判断の結果、コンテンツ取得リストのビットレートよりさらに高いビットレートを、ステップＳ１２６で選択した動画コンテンツについて選択できる場合は、クライアント端末１００は、ステップＳ１２６で選択した動画コンテンツについて、現在のビットレートより高いビットレートを選択し、コンテンツ取得リストを更新する（ステップＳ１２９）。

クライアント端末１００は、次のセグメントを選択するために、コンテンツ取得リストを更新する（ステップＳ１３０）。そしてクライアント端末１００は、動画コンテンツの取得処理が終了するまで、一連の処理を継続する（ステップＳ１３１）。

図１０に示したように目標レート及び差分レートが算出された場合、各動画コンテンツの取得レートが１Ｍｂｐｓである時、動画コンテンツＡは０．６Ｍｂｐｓ、動画コンテンツＢは０．２Ｍｂｐｓ、それぞれ目標レートに対して不足しており、動画コンテンツＣは０．２Ｍｂｐｓ、動画コンテンツＤは０．６Ｍｂｐｓ、それぞれ目標レートに対して超過していることが分かる。

各動画コンテンツの取得レートと目標レートが図１０のような状態である場合では、上記ステップＳ１２６で動画コンテンツＡが選択される。動画コンテンツＡが選択されるのは、目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きいからである。

動画コンテンツＡには２Ｍｂｐｓのレート情報も存在する。従って、クライアント端末１００はステップＳ１２９の処理で、動画コンテンツＡについて現在のビットレートより高いビットレートとして２Ｍｂｐｓを選択する。そしてクライアント端末１００はステップＳ１３０の処理で、動画コンテンツＡを新しいビットレートで取得する準備を実行する。

図１１は、図１０に示した状態から動画コンテンツＡのビットレートを引き上げた場合の、目標レートと差分レートの値を示す説明図である。動画コンテンツＡのビットレートを引き上げたので、ビットレート情報の総和は５Ｍｂｐｓに変化する。そして各動画コンテンツの目標レート及び差分レートは、図１１に示したように求められる。

図１１に示したように目標レート及び差分レートが算出された場合、今度は目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きい動画コンテンツＢが選択される。

動画コンテンツＢには２Ｍｂｐｓのレート情報も存在する。従って、クライアント端末１００はステップＳ１２９の処理で、動画コンテンツＢについて現在のビットレートより高いビットレートとして２Ｍｂｐｓを選択する。そしてクライアント端末１００はステップＳ１３０の処理で、動画コンテンツＢを新しいビットレートで取得する準備を実行する。

図１２は、図１１に示した状態から動画コンテンツＢのビットレートを引き上げた場合の、目標レートと差分レートの値を示す説明図である。動画コンテンツＢのビットレートを引き上げたので、ビットレート情報の総和は６Ｍｂｐｓに変化する。そして各動画コンテンツの目標レート及び差分レートは、図１２に示したように求められる。

図１２に示したように目標レート及び差分レートが算出された場合、今度は目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きい動画コンテンツＡが再び選択される。

動画コンテンツＡには３Ｍｂｐｓのレート情報も存在する。従って、クライアント端末１００はステップＳ１２９の処理で、動画コンテンツＡについて現在のビットレートより高いビットレートとして３Ｍｂｐｓを選択する。そしてクライアント端末１００はステップＳ１３０の処理で、動画コンテンツＡを新しいビットレートで取得する準備を実行する。

図１３は、図１２に示した状態から動画コンテンツＡのビットレートを引き上げた場合の、目標レートと差分レートの値を示す説明図である。動画コンテンツＡのビットレートを引き上げたので、ビットレート情報の総和は７Ｍｂｐｓに変化する。そして各動画コンテンツの目標レート及び差分レートは、図１３に示したように求められる。

図１３に示したように目標レート及び差分レートが算出された場合、今度は目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きい動画コンテンツＣが選択される。

動画コンテンツＣには２Ｍｂｐｓのレート情報も存在する。従って、クライアント端末１００はステップＳ１２９の処理で、動画コンテンツＣについて現在のビットレートより高いビットレートとして２Ｍｂｐｓを選択する。そしてクライアント端末１００はステップＳ１３０の処理で、動画コンテンツＣを新しいビットレートで取得する準備を実行する。

図１４は、図１３に示した状態から動画コンテンツＣのビットレートを引き上げた場合の、目標レートと差分レートの値を示す説明図である。動画コンテンツＣのビットレートを引き上げたので、ビットレート情報の総和は８Ｍｂｐｓに変化する。そして各動画コンテンツの目標レート及び差分レートは、図１４に示したように求められる。

図１４に示したように目標レート及び差分レートが算出された場合、今度は目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きい動画コンテンツＢが再び選択される。

動画コンテンツＢには３Ｍｂｐｓのレート情報も存在する。従って、クライアント端末１００はステップＳ１２９の処理で、動画コンテンツＢについて現在のビットレートより高いビットレートとして３Ｍｂｐｓを選択する。そしてクライアント端末１００はステップＳ１３０の処理で、動画コンテンツＢを新しいビットレートで取得する準備を実行する。

図１５は、図１４に示した状態から動画コンテンツＢのビットレートを引き上げた場合の、目標レートと差分レートの値を示す説明図である。動画コンテンツＢのビットレートを引き上げたので、ビットレート情報の総和は９Ｍｂｐｓに変化する。そして各動画コンテンツの目標レート及び差分レートは、図１５に示したように求められる。

図１５に示したように目標レート及び差分レートが算出された場合、今度は目標レートから、コンテンツ取得リストのビットレートの情報を引いた値が一番大きい動画コンテンツＡが三度選択される。

動画コンテンツＡには４Ｍｂｐｓのレート情報も存在する。従って、クライアント端末１００はステップＳ１２９の処理で、動画コンテンツＡについて現在のビットレートより高いビットレートとして４Ｍｂｐｓを選択する。そしてクライアント端末１００はステップＳ１３０の処理で、動画コンテンツＡを新しいビットレートで取得する準備を実行する。

図１６は、図１５に示した状態から動画コンテンツＡのビットレートを引き上げた場合の、目標レートと差分レートの値を示す説明図である。動画コンテンツＡのビットレートを引き上げたので、ビットレート情報の総和は１０Ｍｂｐｓに変化する。そして各動画コンテンツの目標レート及び差分レートは、図１６に示したように求められる。

図１６では、全ての動画コンテンツの差分レートが０になった状態が示されている。従って、図１６のように各動画コンテンツのビットレートが指定されていれば、各動画コンテンツのビットレートが、ステップＳ１１２において指定された割合となる。この図１６のように各動画コンテンツのビットレートが指定されている状態において、ステップＳ１１９でレート計測を行なって、ステップＳ１２５で判断した結果、動画コンテンツのビットレートを更に上げることが可能であれば、クライアント端末１００は、例えば割り当て比率が最も高い動画コンテンツＡのビットレートをさらに上げる事が出来る。図１７は、図１６に示した状態から動画コンテンツＡのビットレートをさらに引き上げた場合の、目標レートと差分レートの値を示す説明図である。

このように、目標レート及び差分レートを算出し、それらの差分が最も大きいものについてビットレートを上げていくことで、本開示の一実施形態に係るクライアント端末１００は、効果的な動画コンテンツの表現を行うとともに、ネットワークの帯域を無駄に消費しないようにすることを可能にする。

なお上述の例では、目標レート及び差分レートを算出し、それらの差分が最も大きいものについてビットレートを上げて行く場合の例を示したが、本開示の一実施形態に係るクライアント端末１００は、その逆についても同様の処理を実行し得る。つまり、本開示の一実施形態に係るクライアント端末１００は、目標レート及び差分レートを算出し、それらの差分が最も小さいもの（差分レートが負の値となる場合は、その絶対値が最も大きいもの）についてビットレートを下げていくことが可能になる。

また上述の例では、全ての動画コンテンツのビットレートが１Ｍｂｐｓ刻みで用意されている単純な場合を示したが、動画コンテンツのビットレートが様々な形態で用意されている場合にも本実施形態での考え方を適用可能であることは言うまでもない。

例えば、動画コンテンツＡのビットレートが２Ｍｂｐｓ刻みで用意され、動画コンテンツＢのビットレートが１００ｋｂｐｓ刻みで用意されている場合を考える。この場合、目標レート及び差分レートを算出し、それらの差分が最も大きいものが動画コンテンツＡであったとして、動画コンテンツＡのビットレートを２Ｍｂｐｓ引き上げると、ネットワーク１０の帯域に余裕が無くなってしまうことが考えられる。

従ってクライアント端末１００は、ビットレートの総和の変動が小さくなるようにビットレートを変化させる動画コンテンツを選択しうる。上述の例では、クライアント端末１００は、目標レート及び差分レートを算出し、それらの差分が最も大きいものが動画コンテンツＡであったとしても、動画コンテンツＡではなく動画コンテンツＢのビットレートを引き上げるようにしてもよい。

［クライアント端末の変形例］
図１８は、本開示の一実施形態に係るクライアント端末１００の変形例を示す説明図である。図１８に示したクライアント端末１００は、図５に示したクライアント端末１００に、符号化ストリームデコード部１０５と、アプリケーション部１０６と、が追加されたものである。

符号化ストリームデコード部１０５は、制御部１０１の制御により、コンテンツバッファ部１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎに保持されている符号化ストリームを取り出してデコードする。符号化ストリームデコード部１０５は、符号化ストリームを取り出してデコードすることで動画コンテンツをアプリケーション部１０６に出力し得る。

アプリケーション部１０６は、制御部１０１の制御により、符号化ストリームデコード部１０５が出力する動画コンテンツに関する処理を実行する。アプリケーション部１０６が実行する処理として、例えば符号化ストリームデコード部１０５が出力する動画コンテンツの合成及び再生、符号化ストリームデコード部１０５が出力する動画コンテンツの、他の装置への送信等がある。

クライアント端末１００は、図１８に示したような構成を有することで、効果的な動画コンテンツの再生を行うとともに、ネットワークの帯域を無駄に消費しないようにすることを可能にする。

＜２．まとめ＞
以上説明したように本開示の一実施形態によれば、動画コンテンツサーバ２、３から複数の動画コンテンツを受信して、同時に再生するクライアント端末１００を提供することができる。本開示の一実施形態に係るクライアント端末１００は、動画コンテンツサーバ２、３から複数の動画コンテンツを受信する際に、予め各動画コンテンツへのビットレートの割り当て比率を決定する。

そして本開示の一実施形態に係るクライアント端末１００は、各動画コンテンツの目標レートと実際のレートとの差分の情報を用いて、動画コンテンツのビットレートを変更して動画コンテンツサーバ２、３から受信する。本開示の一実施形態に係るクライアント端末１００は、各動画コンテンツの目標レートと実際のレートとの差分が無くなるまでビットレートの変更を繰り返して実行する。

本開示の一実施形態に係るクライアント端末１００は、効果的な動画コンテンツの再生を行うとともに、ネットワークの帯域を無駄に消費しないようにすることを可能にする。本開示の一実施形態に係るクライアント端末１００は、例えば、表示解像度が高いものには相対的に高いレート、低いものには相対的に低いレートを割り当てることで、効果的なコンテンツの表現を行うとともに、ネットワークの帯域を無駄に消費しないようにすることを可能にする。

また本開示の一実施形態に係るクライアント端末１００は、例えば、同一の解像度であっても、表示エリアによって異なる比率を割り当てる事で、ユーザに注目させたい場所等に表示される特定の動画コンテンツの表示品質を上げることも出来る。また本開示の一実施形態に係るクライアント端末１００は、ネットワークの帯域が変動する環境においても、割り当てた比率の帯域に従うよう動画コンテンツの取得を実行する。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
ネットワークを通じて配信されるコンテンツを同時に複数取得するコンテンツ取得部と、
前記コンテンツ取得部が取得した前記コンテンツごとに割り当てる帯域を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定する帯域幅決定部と、
を備える、映像処理装置。
（２）
前記帯域幅決定部は、前記コンテンツ取得部が取得した複数の前記コンテンツを１つの画面に表示する際の各前記コンテンツの表示面積比を用いて前記コンテンツごとに割り当てる帯域を決定する、前記（１）に記載の映像処理装置。
（３）
前記コンテンツ取得部が取得する前記コンテンツの実際の取得帯域幅を計測する帯域幅計測部を更に備え、
前記帯域幅決定部は、前記帯域幅計測部が計測した取得帯域幅を満たすよう前記コンテンツごとに割り当てる帯域を決定する、前記（１）または（２）に記載の映像処理装置。
（４）
前記帯域幅決定部は、前記コンテンツ毎に実際の取得帯域幅と、前記比率に基づいて算出される目標帯域幅との差分を求め、前記差分が最も大きい前記コンテンツの帯域幅を変更する、前記（３）に記載の映像処理装置。
（５）
前記帯域幅計測部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅以上のものがあるかを判断し、
前記帯域幅決定部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅以上のものがあれば、前記差分が最も大きい前記コンテンツの帯域幅を高いものに変更する、前記（４）に記載の映像処理装置。
（６）
前記帯域幅計測部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅未満のものがあるかを判断し、
前記帯域幅決定部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅未満のものがあれば、前記差分が最も大きい前記コンテンツの帯域幅を低いものに変更する、前記（４）に記載の映像処理装置。
（７）
前記帯域幅決定部は、同一の前記コンテンツに対して用意された複数の帯域幅の中から１つの帯域幅を選択することで前記コンテンツごとに割り当てる帯域幅を決定する、前記（１）〜（６）のいずれかに記載の映像処理装置。
（８）
前記コンテンツ取得部が取得した複数のコンテンツを、復号前に合成するコンテンツ合成部を更に備える、前記（１）〜（７）のいずれかに記載の映像処理装置。
（９）
ネットワークを通じて配信されるコンテンツを同時に複数取得するステップと、
前記取得するステップで取得した前記コンテンツごとに割り当てる帯域を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定するステップと、
を備える、映像処理方法。
（１０）
コンピュータに、
ネットワークを通じて配信されるコンテンツを同時に複数取得するステップと、
前記取得するステップで取得した前記コンテンツごとに割り当てる帯域を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定するステップと、
を実行させる、コンピュータプログラム。

２、３ 動画コンテンツサーバ
１００ クライアント端末
１０１ 制御部
１０２ ネットワーク送受信部
１０３ 符号化ストリーム分別部
１０４ａ、１０４ｂ、１０４ｃ、・・・、１０４ｎ コンテンツバッファ部
１０５ 符号化ストリームデコード部
１０６ アプリケーション部
１０７ 伝送状態判定部
１０８ レート情報決定部

Claims (10)

1. ネットワークを通じて配信されるコンテンツを同時に複数取得するコンテンツ取得部と、
   前記コンテンツ取得部が取得した前記コンテンツごとに割り当てる帯域を、同時に取得する前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定する帯域幅決定部と、
   を備える、映像処理装置。
2. 前記帯域幅決定部は、前記コンテンツ取得部が取得した複数の前記コンテンツを１つの画面に表示する際の各前記コンテンツの表示面積比を用いて前記コンテンツごとに割り当てる帯域を決定する、請求項１に記載の映像処理装置。
3. 前記コンテンツ取得部が取得する前記コンテンツの実際の取得帯域幅を計測する帯域幅計測部を更に備え、
   前記帯域幅決定部は、前記帯域幅計測部が計測した取得帯域幅を満たすよう前記コンテンツごとに割り当てる帯域を決定する、請求項１に記載の映像処理装置。
4. 前記帯域幅決定部は、前記コンテンツ毎に実際の取得帯域幅と、前記比率に基づいて算出される目標帯域幅との差分を求め、前記差分が最も大きい前記コンテンツの帯域幅を変更する、請求項３に記載の映像処理装置。
5. 前記帯域幅計測部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅以上のものがあるかを判断し、
   前記帯域幅決定部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅以上のものがあれば、前記差分が最も大きい前記コンテンツの帯域幅を高いものに変更する、請求項４に記載の映像処理装置。
6. 前記帯域幅計測部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅未満のものがあるかを判断し、
   前記帯域幅決定部は、所定の期間継続して、複数の前記コンテンツの流入レートの内、あらかじめ各前記コンテンツで指定された帯域幅未満のものがあれば、前記差分が最も大きい前記コンテンツの帯域幅を低いものに変更する、請求項４に記載の映像処理装置。
7. 前記帯域幅決定部は、同一の前記コンテンツに対して用意された複数の帯域幅の中から１つの帯域幅を選択することで前記コンテンツごとに割り当てる帯域幅を決定する、請求項１に記載の映像処理装置。
8. 前記コンテンツ取得部が取得した複数のコンテンツを、復号前に合成するコンテンツ合成部を更に備える、請求項１に記載の映像処理装置。
9. ネットワークを通じて配信されるコンテンツを同時に複数取得するステップと、
   前記取得するステップで取得した前記コンテンツごとに割り当てる帯域幅を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定するステップと、
   を備える、映像処理方法。
10. コンピュータに、
    ネットワークを通じて配信されるコンテンツを同時に複数取得するステップと、
    前記取得するステップで取得した前記コンテンツごとに割り当てる帯域幅を、同時に取得される前記複数のコンテンツの全体で使用する帯域幅に対する前記コンテンツごとの比率を用いて決定するステップと、
    を実行させる、コンピュータプログラム。
    

Images