JP2014093584A - 送信装置、送信方法、受信装置、受信方法およびコンピュータプログラム - Google Patents

Abstract

【課題】低遅延が求められる伝送システムで同期ずれが生じた場合、ネットワーク帯域の使用を抑えながら同期ずれからの回復性能を高めることが可能な、新規かつ改良された送信装置を提供する。
【解決手段】映像信号を他の装置に伝送する映像信号伝送部と、前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信部と、前記時間情報受信部が受信した前記時間情報に基づいて、前記映像信号伝送部から伝送される前記映像信号に対する冗長度を決定する冗長度決定部と、を備える、送信装置が提供される。
【選択図】図４

Description

本開示は、送信装置、送信方法、受信装置、受信方法およびコンピュータプログラムに関する。

近年、インターネットその他の伝送路を経由して、映像データや音声データ等からなるマルチメディアデータを低遅延で伝送するという需要が高まっている。例えば、遠隔の２地点の医療拠点をインターネット等で接続し、一方の遠隔手術室から手術風景を動画像伝送し、他方の医療拠点でその映像を見ながら遠隔手術室の手術器具を操作するといった、いわゆる遠隔手術のアプリケーションがある。この遠隔手術のアプリケーションでは、遅延が数フレーム間隔以下という状態で動画像が伝送されることが望ましい。

このような要求から、例えば特許文献１では、動画像の各ピクチャの数ライン毎を一つの圧縮符号化ブロックとしてウェーブレット変換による圧縮を行う方式が提案されている。この方式では、ピクチャ内のデータ全てを入力するまで待つことなく、圧縮およびＦＥＣ処理が開始可能であり、圧縮データをネットワーク伝送し、受信側で表示を行う場合においても、ピクチャ内の全てのデータを受信する前に復号処理を開始できる。従って、特許文献１に開示された技術は、ネットワーク伝播遅延が十分小さければ、フレーム間隔以下の遅延でのリアルタイム動画像伝送が可能となる。

特開２００７−３１１９２４号公報

このように、送信側から受信側への遅延が非常に厳しい、または規定されているようなマルチメディアデータの伝送システムにおいて、送信側と受信側とで同期が取れてない場合は、その同期のずれにより、表示するまでの時間が周期的に変動する。既存のシステムでは、データ転送の信頼性を向上させるために受信側から送信側へデータの再送を要求するものがあるが、同期のずれにより、表示するまでの時間が周期的に変動すると、再送においてロスを回復できる確率も周期的に変動する。また受信側でロスを回復するために、送信側から受信側への送信に際して冗長パケットを付加することも行われている。

しかし、既存のシステムでは、冗長パケットの付加に際し、同期のずれによるこのような周期的な変動は考慮されておらず、ネットワーク帯域が必要以上に使用されている場合が存在していた。

そこで本開示は、低遅延が求められる伝送システムで同期ずれが生じた場合、ネットワーク帯域の使用を抑えながら同期ずれからの回復性能を高めることが可能な、新規かつ改良された送信装置、送信方法、受信装置、受信方法およびコンピュータプログラムを提供する。

本開示によれば、映像信号を他の装置に伝送する映像信号伝送部と、前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信部と、前記時間情報受信部が受信した前記時間情報に基づいて、前記映像信号伝送部から伝送される前記映像信号に対する冗長度を決定する冗長度決定部と、を備える、送信装置が提供される。

また本開示によれば、映像信号を他の装置に伝送する映像伝送ステップと、前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信ステップと、前記時間情報受信ステップで受信された前記時間情報に基づいて、伝送される前記映像信号に対する冗長度を決定する冗長度決定ステップと、を備える、送信方法が提供される。

また本開示によれば、コンピュータに、映像信号を他の装置に伝送する映像伝送ステップと、前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信ステップと、前記時間情報受信ステップで受信された前記時間情報に基づいて、伝送される前記映像信号に対する冗長度を決定する冗長度決定ステップと、を実行させる、コンピュータプログラムが提供される。

また本開示によれば、映像信号を他の装置から受信する映像信号受信部と、前記映像信号受信部での映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定部と、前記時間測定部が測定した時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信部と、を備える、受信装置が提供される。

また本開示によれば、映像信号を他の装置から受信する映像信号受信ステップと、前記映像信号受信ステップでの映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定ステップと、前記時間測定部で測定された時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信ステップと、を備える、受信方法が提供される。

また本開示によれば、コンピュータに、映像信号を他の装置から受信する映像信号受信ステップと、前記映像信号受信ステップでの映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定ステップと、前記時間測定部で測定された時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、低遅延が求められる伝送システムで同期ずれが生じた場合、ネットワーク帯域の使用を抑えながら同期ずれからの回復性能を高めることが可能な、新規かつ改良された送信装置、送信方法、受信装置、受信方法およびコンピュータプログラムを提供することができる。

マルチメディアデータを圧縮して伝送するための、既存の圧縮伝送システムの構成例を示す説明図である。 圧縮伝送システムの処理の概念を示す説明図である。 圧縮伝送システムの処理の概念を示す説明図である。 本開示の一実施形態に係る通信システムの機能構成例を示す説明図である。 本開示の一実施形態に係る通信システムの動作例を示す流れ図である。 動画像のキャプチャ及び表示タイミングについて示す説明図である。 動画像のキャプチャ及び表示タイミングについて示す説明図である。 動画像のキャプチャ及び表示タイミングについて示す説明図である。 動画像のキャプチャ及び表示タイミングについて示す説明図である。 本開示の一実施形態に係る通信システムの動作例を示す流れ図である。 動画像のキャプチャ及び表示タイミングの一例について示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．既存技術の概要＞
＜２．本開示の一実施形態＞
［想定ネットワークシステム］
［機能構成例］
［通信システムの動作例］
＜３．まとめ＞

＜１．既存技術の概要＞
本開示の好適な実施の形態について詳細に説明する前に、まず図面を参照しながら既存技術の概要について説明する。既存技術の概要について説明した後に本開示の好適な実施の形態について詳細に説明する。

ストリーム型伝送方式に適したインターネット技術に、ＩＥＴＦ ＲＦＣ３５５０で規定されているＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）がある。ＲＴＰによるデータ転送では、時間情報としてパケットにタイムスタンプを付加しておき、これによって送信側と受信側の時間的関係を把握することで、パケット転送の遅延ゆらぎ（ジッター）などの影響を受けずに同期をとって再生することができる。

ここで、ＲＴＰは実時間のデータ転送を保証しているものではない。パケット配送の優先度や設定、管理などは、ＲＴＰが提供するトランスポートサービスの範疇ではないため、ＲＴＰパケットは他のパケットと同様に、配送遅延やパケット損失が起きる可能性がある。このような配送遅延やパケット損失が起こっても、受信側は期待する時間内に到着したパケットだけを利用してデータを再生することが可能である。これは、映像や音声データが多少のデータ損失があったとしても、ある程度再生できるからである。

なお、遅延配送されたパケットやエラーの発生したパケットは、受信側でそのまま破棄される。つまり、パケット損失やエラーにより高品質なデータを配信しても、受信側で十分に再生されない問題点もある。特に、有線区間で１０^−５、無線区間で１０^−３以上のエラーがあるといわれている中では、配信するメディアの品質を保持する点でいえば、ＲＴＰをそのまま利用するのでは信頼性が低い。

このような観点から、ストリーム型伝送方式において、データ転送に信頼性が高いＴＣＰで、再送要求および再送パケット送信を行わせる方法がある。しかし、ＴＣＰはエラーには強いが、スループットが低く、遅延が大きいため、再送しても再生時間に間に合わない可能性もある。

そこで、ＲＴＰを用いてデータ転送の信頼性を向上させる手法として、自動再送方式、いわゆるＡＲＱ（Ａｕｔｏ Ｒｅｐｅａｔ ｒｅＱｕｅｓｔ）方式、前方誤り訂正符号化方式、いわゆるＦＥＣ（Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）方式、といった手法がある。

ＡＲＱ方式は、ＲＴＰパケットのシーケンス番号を利用して損失したパケットを検知し、受信端末から送信端末へ損失パケットの再送を要求する方式である。またＦＥＣ方式は、パケット複数個を一つのＦＥＣブロックとして、Ｒｅｅｄ−Ｓｏｌｏｍｏｎ（ＲＳ）符号等の誤り訂正符号を用いて冗長符号化を行う方式である。例えば（ｎ，ｋ）ＲＳ符号を用いる場合、元パケットをｋ個とすると、ｎ−ｋ個の冗長パケットの生成が可能である（なお、ｎ＞ｋとする）。この場合、送信装置から合計ｎ個のパケットを送信することにより、受信装置は、ｎ個のパケット中ｋ個のパケットを受信すれば、ＲＳ復号処理によりｋ個の元パケットを復元できる。

そこで、以下では、ストリーム型伝送方式においてＦＥＣ方式を用いた場合の、既存技術の概要について説明する。

図１は、マルチメディアデータを圧縮して伝送するための、既存の圧縮伝送システムの構成例を示す説明図である。図１に示した圧縮伝送システムは、送信装置１０と受信装置２０とを含む。送信装置１０と受信装置２０とは、それぞれネットワーク１に接続されていて、ネットワーク１を通じて相互に通信することができる。

送信装置１０は、撮像装置１１で撮像された画像をキャプチャするキャプチャ部１２と、キャプチャ部１２がキャプチャした画像をエンコードするエンコーダ１３と、エンコーダ１３がエンコードしたデータをパケット化するパケタイズ部１４と、前方誤り訂正処理（ＦＥＣ；Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）を行なうＦＥＣ部１５と、データを受信装置２０へ送信する送信部１６と、を含んで構成される。

受信装置２０は、ネットワーク１を通じて送信装置１０から送信されたデータを受信する受信部２１と、前方誤り訂正処理により符号化されたデータを復号するＦＥＣ復号部２２と、ＦＥＣ復号部２２が復号したデータをデパケタイズするデパケタイズ部２３と、デパケタイズ後のデータをデコードするデコーダ２４と、デコーダ２４がデコードした後のデータをディスプレイ２６に出力する表示処理部２５と、を含んで構成される。

図１に示した圧縮伝送システムは、通常の圧縮伝送の場合には、送信装置１０、受信装置２０での一連の処理（画像のキャプチャ、エンコード・デコード、ＦＥＣ処理及び表示処理）をピクチャ（フィールド・フレーム）単位で行う。そして図１に示した圧縮伝送システムは、数ライン毎にまとめたラインブロックに１つのピクチャを分割し、これら一連の処理を並列化することにより、低遅延伝送を実現できる。図２は、図１に示した圧縮伝送システムの処理の概念を示す説明図である。

さらに送信装置１０は、ラインブロック単位で処理を行う場合には、パイプライン化された処理を実行する。図３は、図１に示した圧縮伝送システムの処理の概念を示す説明図である。図３では、送信装置１０と受信装置２０との間で同期が取れている状態を示したものである。送信装置１０から受信装置２０へマルチメディアデータが圧縮伝送される場合には、受信装置２０はｖｓｙｎｃ（垂直同期信号）が送られるタイミングに合わせて表示処理を実行する。

以上、既存技術の概要について説明した。このようなシステムは、送信装置１０と受信装置２０との間で同期が取れていれば低遅延の伝送が可能になる。しかし、様々な理由で送信装置１０と受信装置２０との間で同期が取れなくなる場合がある。上述したように、送信側と受信側とで同期が取れてない場合は、その同期のずれにより、表示するまでの時間が周期的に変動する。既存のシステムでは、データ転送の信頼性を向上させるために受信側から送信側へデータの再送を要求するものがあるが、同期のずれにより、表示するまでの時間が周期的に変動すると、再送においてロスを回復できる確率も周期的に変動する。

しかし、上述したように、既存のシステムでは、冗長パケットの付加に際し、同期のずれによるこのような周期的な変動は考慮されておらず、ネットワーク帯域が必要以上に使用されている場合が存在していた。

そこで以下で説明する本開示の一実施形態では、低遅延が求められる伝送システムで同期ずれが生じた場合、ネットワーク帯域の使用を抑えながら同期ずれからの回復性能を高めることが可能な技術について説明する。

＜２．本開示の一実施形態＞
［想定ネットワークシステム］
まず、本開示の一実施形態での想定ネットワークシステムについて説明する。本開示の一実施形態において想定するネットワークシステムは、送信側でパケットキャプチャして圧縮し、ネットワークでパケットロスが起きた場合は回復するために冗長パケットを生成し、データパケットとともに送る伝送システムである。この伝送システムでは、受信側は、送信側からパケットを受信し、パケットロスがあった場合は冗長パケットを用いて回復し、冗長パケットを用いても回復できない場合は、送信側へ再送要求を出す。

ここで、図３に示した表示開始タイミングに間に合うように送信側から再送パケットが到達すれば、受信側はロスを回復することができる。表示開始タイミングに間に合わない場合は、受信側は受信データをそのままデコーダに渡し、表示タイミングに合わせて表示する。なお本実施形態では、デコード後のものを「表示レディ」のものとして定義する。受信側は、表示レディになっていても、表示タイミングが来るまで、表示したり表示のためにバッファに書き込んだりはしないものとする。

さらに本開示の一実施形態での想定ネットワークシステムでは、下記のような制限を付ける．
１．フレーム単位以下の単位で処理をするシステムであること（ここではラインブロック単位と呼ぶ）。
２．キャプチャしてから表示するまでにかかる時間が１フレーム以下もしくは１フレーム以下の振る舞いをもった比較的な固定値であるシステムであること。つまり、受信側での遅延はフレームを跨がないこと。
３．送信側と受信側の同期が取れていない状態が存在すること。

このような低遅延が求められるネットワークシステムにおいて、同期ずれが生じた場合、ネットワーク帯域の使用を抑えながら同期ずれからの回復性能を高めることが可能な技術について説明する。

［機能構成例］
図４は、本開示の一実施形態に係る通信システムの機能構成例を示す説明図である。以下、図４を用いて、本開示の一実施形態に係る通信システムの機能構成例について説明する。

図４に示したように、本開示の一実施形態に係る通信システムは、送信装置１００と、受信装置２００と、を含んで構成される。送信装置１００と、受信装置２００とは、インターネット網３００に接続されており、インターネット網３００を介した相互通信が可能である。

送信装置１００は、キャプチャ部１１０と、ＦＥＣ利用決定部１２０と、エンコーダ１３０と、パケタイズ部１４０と、ＦＥＣ符号化部１５０と、ＲＴＰ ＴＸ部１６０と、ＡＲＱ部１７０と、ＲＴＣＰ部１８０と、を含んで構成される。

また受信装置２００は、ＲＴＰ ＲＸ部２１０と、ロス検出部２２０と、ＦＥＣ復号部２３０と、ＡＲＱ部２４０と、ＲＴＣＰ部２５０と、デパケタイズ部２６０と、デコーダ２７０と、同期ずれ計算部２８０と、表示部２９０と、を含んで構成される。

まず、送信装置１００の各部を説明する。キャプチャ部１１０は、送信装置１００に送られてくるビデオ信号をラインブロック単位でキャプチャする。送信装置１００に送信するビデオ信号は例えばビデオカメラその他の撮像装置で生成されるものである。キャプチャ部１１０は、ビデオ信号をラインブロック単位でキャプチャすると、キャプチャした信号をエンコーダ１３０に送る。

エンコーダ１３０は、キャプチャ部１１０によってキャプチャされたラインブロック単位の信号を所定の方式でエンコードする。例えば、エンコーダ１３０は、上述の特許文献１に開示されているような、動画像の各ピクチャの数ライン毎を一つの圧縮符号化ブロックとしてウェーブレット変換による圧縮を行う方式によって、ラインブロック単位の信号をエンコードしてもよいが、本開示のエンコード方式は係る例に限定されるものではない。上述の想定ネットワークシステムにおいて適用できるエンコード方式であれば、エンコーダ１３０は、任意のエンコード方式によってラインブロック単位の信号をエンコードできる。エンコーダ１３０は、エンコード後のデータをパケタイズ部１４０に送る。またエンコーダ１３０は、ＦＥＣ利用決定部１２０によってＦＥＣ処理を実行することが決定されると、その決定に基づいた処理を実行する。

パケタイズ部１４０は、エンコーダ１３０によってエンコードされたデータをＲＴＰパケット化する。パケタイズ部１４０は、生成したＲＴＰパケットをＦＥＣ符号化部１５０に送る。

ＦＥＣ符号化部１５０は、パケタイズ部１４０が生成したＲＴＰパケットをＦＥＣ符号化する。ここでＦＥＣ符号化部１５０は、ＦＥＣ利用決定部１２０によりＦＥＣ符号化が決定された場合に、決められた冗長度に基づいて元データの冗長符号化を行なう。ＦＥＣ符号化部１５０は、パケタイズ部１４０が生成したＲＴＰパケットをＦＥＣ符号化すると、符号化後のデータをＲＴＰ ＴＸ部１６０へ送る。ＦＥＣ符号化部１５０は、ＦＥＣ冗長符号化として、例えば、Ｒｅｅｄ−Ｓｏｌｏｍｏｎ符号等の消失誤り訂正符号を用いた冗長符号化を行う。本実施形態では、元データパケット数及び冗長パケット数の組が、１つの冗長符号単位、いわゆるＦＥＣブロックとして扱われる。

ＲＴＰ ＴＸ部１６０は、ＦＥＣ符号化部１５０が符号化したデータを、受信装置２００へ向けて送信する。またＲＴＰ ＴＸ部１６０は、後述のＡＲＱ部１７０により再送制御が行われた場合には、再送するパケットを受信装置２００へ向けて送信する。

ＡＲＱ部１７０は、ＡＲＱ方式（Ａｕｔｏｍａｔｉｃ Ｒｅｐｅａｔ ｒｅＱｕｅｓｔ；誤り検出自動再送要求方式）により再送制御を行なう。ＲＴＣＰ部１８０は、受信装置２００からＮＡＣＫパケットを受信する。ＮＡＣＫパケットは、損失パケットの再送を要求するために受信装置２００から送信されるパケットである。

続いて、受信装置２００の各部を説明する。ＲＴＰ ＲＸ部２１０は、送信装置１００から送信されたデータを受信する。ＲＴＰ ＲＸ部２１０は、送信装置１００から送信されたデータを受信すると、受信したデータをロス検出部２２０、ＦＥＣ復号部２３０、及びデパケタイズ部２６０に送る。

ロス検出部２２０は、ＲＴＰ ＲＸ部２１０が受信したデータに欠落があるかどうかを検出する。例えば、ロス検出部２２０は、ＲＴＰパケットヘッダに記載されたシーケンス番号を検査し、受信したＲＴＰパケットのシーケンス番号が連続でなかった場合には、パケット喪失とみなす。ロス検出部２２０は、ＲＴＰ ＲＸ部２１０が受信したデータに欠落があると、ＡＲＱ部２４０へ、再送要求リスト（ＮＡＣＫリスト）にその欠落によって喪失したデータを追加するよう指示する。

ＦＥＣ復号部２３０は、ＲＴＰ ＲＸ部２１０が受信したデータを用いてＦＥＣ方式による復号処理を行なう。ＦＥＣ復号部２３０によって、ＦＥＣ方式による復号処理を行なわれたデータはＲＴＰ ＲＸ部２１０に一度返された後、デパケタイズ部２６０に送られる。

ＡＲＱ部２４０は、ロス検出部２２０が欠落を検出したデータについて再送要求リスト（ＮＡＣＫリスト）を生成する。ＡＲＱ部２４０は、ＮＡＣＫリストを生成すると、指定時刻にそのＮＡＣＫリストよりＮＡＣＫパケット情報を読み出してＲＴＣＰ部２５０に送る。

ＮＡＣＫリストには各々のＮＡＣＫパケット情報に対して“ＮＡＣＫ ｔｉｍｅｏｕｔ”及び“ＮＡＣＫ ｄｅａｄｌｉｎｅ”という２つの時刻が設定されている。受信装置２００のＡＲＱ部２４０は、最初にパケットロスが検知された後、ＮＡＣＫパケットを送信し、ＮＡＣＫパケット送信後一定時間経過した時刻“ＮＡＣＫ ｔｉｍｅｏｕｔ”になっても再送パケットを受信していない場合、再度ＮＡＣＫパケットを送信するという工程を、“ＮＡＣＫ ｄｅａｄｌｉｎｅ”になるまで繰り返す。“ＮＡＣＫ ｔｉｍｅｏｕｔ”は通常、ＮＡＣＫパケット送信後、ＲＴＴ時間（Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ；往復遅延時間）経った時刻に設定され、“ＮＡＣＫ ｄｅａｄｌｉｎｅ”はそのパケットデータ再生予定時刻などのパケット到着期限よりＲＴＴ時間前に設定される。

ＲＴＣＰ部２５０は、ＡＲＱ部２４０から送られてきたＮＡＣＫパケット情報に基づいてＮＡＣＫパケットを送信装置１００へ送信する。

なお、ＮＡＣＫパケットのフォーマットは、例えば、ＩＥＴＦ Ｉｎｔｅｒｎｅｔ Ｄｒａｆｔ「Ｅｘｔｅｎｄｅｄ ＲＴＰ Ｐｒｏｆｉｌｅ ｆｏｒ ＲＴＣＰ−ｂａｓｅｄ Ｆｅｅｄｂａｃｋ」記載のＲＴＣＰ ＮＡＣＫパケットフォーマットが用いられても良い。

デパケタイズ部２６０は、ＲＴＰパケットデータを圧縮画像データへ再構成する処理を実行する。デパケタイズ部２６０は、ＲＴＰパケットデータを圧縮画像データへ再構成すると、圧縮画像データをデコーダ２７０へ送る。

デコーダ２７０は、デパケタイズ部２６０から送られてきた圧縮画像データを復号する処理を実行する。デコーダ２７０は、圧縮画像データを復号すると、復号後のデータを同期ずれ計算部２８０及び表示部２９０へ送る。

同期ずれ計算部２８０は、パケットの受信タイミングによって同期ずれを計算する。同期ずれ計算部２８０による同期ずれの計算処理については後に詳述するが、簡単に説明すると、同期ずれ計算部２８０は、ピクチャの先頭が到着してから表示までの時間をピクチャ毎に計算し、その時間の時間移動平均を計算する。そして、同期ずれ計算部２８０は、その時間移動平均が最大になる時と最小になる時に、送信装置１００へフィードバックする。同期ずれ計算部２８０が同期ずれ計算して、送信装置１００へフィードバックすることで、同期ずれが生じた場合、ネットワーク帯域の使用を抑えながら同期ずれからの回復性能を高めることが可能となる。

なお、本実施形態では、送信装置１００と受信装置２００とで、垂直ブランキング期間（Ｖｂｌａｎｋ）のタイミングが一致していることを「同期が取れている」といい、送信装置１００と受信装置２００とで、垂直ブランキング期間（Ｖｂｌａｎｋ）のタイミングが一致していないことを「同期ずれが生じている」という。

表示部２９０は、デコーダ２７０で復号されたデータの表示処理を実行する。例えば表示部２９０は、デコーダ２７０で復号されたデータを、ビデオ出力ＩＦ（ビデオＯＵＴ）経由で、例えばディスプレイ等の映像表示装置に出力する。

なお、図４に示した送信装置１００及び受信装置２００は、ラインブロック単位で全ての処理が可能であるとする。

以上、図４を用いて本開示の一実施形態に係る通信システムの機能構成例について説明した。次に、本開示の一実施形態に係る通信システムの動作例について説明する。

［通信システムの動作例］
まず、送信装置１００と受信装置２００との間での通常時の伝送処理について説明する。図５は、本開示の一実施形態に係る通信システムの動作例を示す流れ図である。図５に示した流れ図は、送信装置１００と受信装置２００との間での、通常時の伝送処理の動作例を示したものである。以下、図５を用いて本開示の一実施形態に係る通信システムの動作例について説明する。

送信装置１００では、まずキャプチャ部１１０が、例えばビデオカメラ等を経由してビデオ入力ＩＦ（ビデオＩＮ）より入力したビデオデータをラインブロックでキャプチャし（ステップＳ１０１）、動画像データ圧縮処理を行うエンコーダ１３０へ送る。エンコーダ１３０は、動画像データに対して動画像圧縮処理を実行し（ステップＳ１０２）、パケタイズ部１４０は、動画像圧縮処理後のデータに対してＲＴＰパケット化処理を実行する（ステップＳ１０３）。そして、ＦＥＣ符号化部１５０がＲＴＰパケット化処理後のデータに対してＦＥＣ処理を実行し（ステップＳ１０４）、ＲＴＰ ＴＸ部１６０がＦＥＣ処理後のデータをＲＴＰパケットとしてネットワークへ送信する（ステップＳ１０５）。

受信装置２００では、ＲＴＰ ＲＸ部２１０が送信装置１００より送信されたＲＴＰパケットをＲＴＰ ＲＸ部２１０が受信すると、ＦＥＣ復号部２３０がＦＥＣ処理を実行した（ステップＳ１０６）後に、デパケタイズ部２６０がＲＴＰパケットデータの圧縮画像データへの再構成処理（デパケタイズ）を行なう（ステップＳ１０７）。そして、デコーダ２７０が、デパケタイズ後のデータの復号処理を行い（ステップＳ１０８）、表示部２９０が、復号されたビデオデータをビデオ出力ＩＦ（ビデオＯＵＴ）経由で、例えば、ディスプレイ等の映像表示装置に出力する（ステップＳ１０９）。ここで表示部２９０は、垂直ブランキング期間の開始タイミングに合わせて復号されたビデオデータを出力する。

図５に示したような一連の処理を送信装置１００及び受信装置２００で実行することで、送信装置１００でキャプチャされた動画像が、受信装置２００から出力される。ここで、送信装置１００と受信装置２００との間で同期が取れている状態、つまり、送信装置１００と受信装置２００との間で垂直ブランキング期間が一致していれば、送信装置１００のＦＥＣ処理において付加される冗長パケットの数は一定とすることができる。

図６は、送信装置１００と受信装置２００との間で同期が取れている状態での、動画像のキャプチャ及び表示タイミングについて示す説明図である。図６に示したグラフは、横軸は時間を、縦軸はラインを示しており、「ｆｒａｍｅ」が１つのフレームのライン数を示したものである。受信装置２００は、送信装置１００から送信されたデータを、垂直ブランキング期間の開始タイミングを示す信号Ｖｂｌａｎｋのタイミングに合わせて出力する。

図６のように、送信装置１００と受信装置２００との間で同期が取れていれば、送信装置１００から受信したデータが受信装置２００で表示レディ状態になったタイミングと、受信装置２００で表示を開始するタイミングとの間隔が一定になる。この間隔が一定になると、上述したように、送信装置１００のＦＥＣ処理において付加される冗長パケットの数を一定とすることができる。これは、表示レディ状態になったタイミングと表示を開始するタイミングとの間隔が一定になると、パケットがロスした際の再送までの時間を考慮に入れやすくなるからである。

すなわち、受信装置２００は冗長パケットを用いてエラー訂正を行うが、冗長パケットを用いてもエラー訂正が出来ない場合はパケットの再送を送信装置１００に要求する。しかし、上述の想定ネットワークで示したように、フレームをまたいだ遅延が生じないようにする必要があるために、パケットの再送を考慮に入れた冗長パケットの付加が求められる。従って、表示レディ状態になったタイミングと表示を開始するタイミングとの間隔が一定になると、必要以上の冗長パケットの付加を行わなくて済み、ネットワーク帯域の無駄な使用がされずに済む。

しかし、送信装置１００と受信装置２００との間で同期が取れなくなると、送信装置１００から受信したデータが受信装置２００で表示レディ状態になったタイミングと、受信装置２００で表示を開始するタイミングとの間隔が一定にならなくなる。具体的には、送信装置１００と受信装置２００との間で同期が取れなくなると、表示レディ状態になったタイミングと表示を開始するタイミングとの間隔が周期的に変化するようになる。

図７は、送信装置１００と受信装置２００との間で同期が取れていない状態での、動画像のキャプチャ及び表示タイミングについて示す説明図である。図７に示したグラフは、図６と同様に、横軸は時間を、縦軸はラインを示しており、「ｆｒａｍｅ」が１つのフレームのライン数を示したものである。

このように、送信装置１００と受信装置２００との間で同期が取れていないと、送信装置１００と受信装置２００との間で垂直ブランキング期間のタイミングが一致しなくなる。さらに、送信装置１００と受信装置２００との間で同期が取れていないと、送信装置１００と受信装置２００との間のＶｂｌａｎｋの間隔が周期的に変動することになる。送信装置１００と受信装置２００との間のＶｂｌａｎｋの間隔が周期的に変動すると、送信装置１００から受信したデータが受信装置２００で表示レディ状態になったタイミングと、受信装置２００で表示を開始するタイミングとの間隔も周期的に変動する。

図８及び図９は、送信装置１００と受信装置２００との間で同期が取れていない状態での、動画像のキャプチャ及び表示タイミングについて示す説明図である。図８及び図９に示したグラフは、図６や図７と同様に、横軸は時間を、縦軸はラインを示しており、「ｆｒａｍｅ」が１つのフレームのライン数を示したものである。

図８に示したのは、送信装置１００から受信したデータが受信装置２００で表示レディ状態になったタイミングと、受信装置２００で表示を開始するタイミングとの間隔が最大の場合を例示したグラフである。また図９に示したのは、送信装置１００から受信したデータが受信装置２００で表示レディ状態になったタイミングと、受信装置２００で表示を開始するタイミングとの間隔が最小の場合を例示したグラフである。

従って、送信装置１００と受信装置２００との間で同期が取れていない場合でも、フレームを跨いだ遅延が生じないようにする必要があるために、パケットの再送を考慮に入れた冗長パケットの付加が求められる。しかし、送信装置１００と受信装置２００との間で同期が取れていないと、図８及び図９に示したように、送信装置１００から受信したデータが受信装置２００で表示レディ状態になったタイミングと、受信装置２００で表示を開始するタイミングとの間隔が周期的に変動する。この変動により、送信装置１００で付加される冗長パケットの数が一定であると、場合によってはパケットの再送が受信装置２００でのＶｂｌａｎｋのタイミングに間に合わなかったり、必要以上の冗長パケットが付加されたりすることになる。

そこで本開示の一実施形態に係る通信システムでは、上述したような周期的な変動を考慮に入れた冗長パケットの付加処理を送信装置１００が実行する。周期的な変動を考慮に入れた冗長パケットの付加処理を送信装置１００が実行することで、本開示の一実施形態に係る通信システムは、ネットワーク帯域の無駄使いをなくしつつ、パケットロスからの回復性能を高めることが出来る。

図１０は、本開示の一実施形態に係る通信システムの動作例を示す流れ図である。図１０に示した流れ図は、送信装置１００と受信装置２００との間で同期が取れていない場合の動作例について示したものである。以下、図１０を用いて本開示の一実施形態に係る通信システムの動作例について説明する。

受信装置２００では、同期ずれ計算部２８０が、送信装置１００と受信装置２００との間の同期ずれの有無、及び同期ずれが発生した場合のその間隔を計算する（ステップＳ１１１）。

同期ずれ計算部２８０は、パケットの受信タイミングによって同期ずれを計算する。その手順の一例を以下で説明する。また同期ずれの計算について図１１も併せて使用する。図１１は、受信装置２００での動画像のキャプチャ及び表示タイミングの一例について示す説明図である。

同期ずれ計算部２８０は、図１１における、ピクチャの先頭が到着し、映像信号がデコードされ、表示レディ状態になってから表示までの時間Ｘの統計情報を収集する。具体的には、同期ずれ計算部２８０は、時間Ｘの値をピクチャごとに計算する。そして同期ずれ計算部２８０は、このＸの値の時間移動平均Ｘａｖｇを計算する。Ｘの値の時間移動平均Ｘａｖｇは、最小値０±ａと最大値Ｖｂｌａｎｋ Ｉｎｔｅｒｖｅｌ±ｂの値を持った、周期的に変動する値になる。なお「Ｖｂｌａｎｋ Ｉｎｔｅｒｖｅｌ」はＶｂｌａｎｋ信号の間隔に相当する。

なお、Ｘａｖｇの最小値は０にならないように設定することが可能である。Ｘａｖｇの最小値が０にならないようにするには、例えば受信装置２００において、送信装置１００からパケットを受信してから、ある設定時間をバッファリングさせるようにすればよい。

そして同期ずれ計算部２８０は、Ｘａｖｇが最小値になる時及び最大値になる時に、送信装置１００へフィードバックメッセージを用いて、その最大値及び最小値となる時刻と、最大値のタイミングと最小値のタイミングとの差分Ｄを通知する（ステップＳ１１２）。なお、同期ずれ計算部２８０でのＸの値の統計情報の収集期間及び送信装置１００へのフィードバック間隔は、任意に設定可能であってもよい。

送信装置１００は、同期ずれ計算部２８０からのフィードバックメッセージをＲＴＣＰ部１８０で受信すると、同期ずれ計算部２８０が計算したＸａｖｇの最小値のタイミング（Ｔｍｉｎ）及び最大値のタイミング（Ｔｍａｘ）をＦＥＣ利用決定部１２０で記録する（ステップＳ１１３）。送信装置１００は、この同期ずれの最小値のタイミング（Ｔｍｉｎ）及び最大値のタイミング（Ｔｍａｘ）を用いて、冗長度をＦＥＣ利用決定部１２０で決定する（ステップＳ１１４）。

例えば、Ｘａｖｇが最小値となるタイミング（Ｔｍｉｎ）では、パケットの再送に用意される時間はもっとも少ないので、ＦＥＣ利用決定部１２０は、取り得る最大の数だけＦＥＣ冗長パケットを付けるように冗長度を決定する。一方、Ｘａｖｇが最大値となるタイミング（Ｔｍａｘ）では、パケットの再送に用意される時間を最も確保できるので、取り得る最小の数だけＦＥＣ冗長パケットを付けるように冗長度を決定する。

なお、取り得る最大の数及び最小の数は、送信装置１００及び受信装置２００の性能や、送信装置１００と受信装置２００との間の通信環境等に応じて変化する値である。従って、取り得る最大の数及び最小の数は状況に応じて変化する値であり、ある値に固定されるものではない。

そして、Ｘａｖｇに基づいて冗長度がＦＥＣ利用決定部１２０で設定されると、ＦＥＣ符号化部１５０は、ＦＥＣ利用決定部１２０で設定された冗長度に基づいて、ＦＥＣ冗長パケットを付加する（ステップＳ１１５）。

このように、受信装置２００からフィードバックされるＸａｖｇの値に応じて冗長度を変えることで、送信装置１００から受信装置２００へ送信されるＦＥＣ冗長パケットの数も変化する。従って、本開示の一実施形態に係る通信システムは、送信装置１００と受信装置２００とで同期ずれが生じた場合であっても、ネットワーク帯域の無駄使いを無くしつつ、パケットロスからの回復性能を高めることが出来る。

ここで、ＦＥＣ利用決定部１２０による冗長度の設定方法には様々な方法が考えられる。以下において、ＦＥＣ利用決定部１２０による冗長度の設定方法の例を挙げる。

例えば、ＦＥＣ利用決定部１２０は、冗長度の最大値と最小値を設定し、Ｘａｖｇが最小値となるタイミングと最大値となるタイミングとの間で、冗長度を線形的に変更するようにしてもよい。

また例えば、ＦＥＣ利用決定部１２０は、冗長度の決定に際してＲＴＴの値を用いても良い。送信装置１００にフィードバックされた、Ｘａｖｇが最小値となるタイミングと最大値となるタイミングとは、再送のために余裕のある時間でもある。従ってＦＥＣ利用決定部１２０は、Ｘａｖｇが最小値となるタイミング及び最大値となるタイミングの平均ＲＴＴを用いて、例えば特開２０１０−１１９１３３号公報で開示されている技術を適用し、必要な冗長度を計算するようにしてもよい。

もちろん、ここで挙げたＦＥＣ利用決定部１２０による冗長度の設定方法は一例にすぎないものであり、この他の方法でＦＥＣ利用決定部１２０に冗長度を設定させるようにしてもよいことは言うまでもない。

＜３．まとめ＞
以上説明したように本開示の一実施形態に係る通信システムは、送信装置１００から送信されたパケットが喪失された場合に、受信装置２００がＦＥＣ冗長パケットを用いて失われたパケットを回復する。そして本開示の一実施形態に係る通信システムは、送信装置１００でＦＥＣ冗長パケットを付加する際に、受信装置２００が収集した、送信装置１００と受信装置２００との間の同期ずれに起因する、表示レディ状態になってから表示までの時間Ｘの統計情報を用いる。

このように、受信装置２００が収集した時間Ｘの統計情報を用いて、送信装置１００が、付加するＦＥＣ冗長パケットの数を設定することで、必要以上のＦＥＣ冗長パケットの付加を防ぐことができる。従って、本開示の一実施形態に係る通信システムは、送信装置１００と受信装置２００との間で同期ずれが生じた場合、ネットワーク帯域の使用を抑えながら同期ずれからの回復性能を高めることが可能となる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
映像信号を他の装置に伝送する映像信号伝送部と、
前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信部と、
前記時間情報受信部が受信した前記時間情報に基づいて、前記映像信号伝送部から伝送される前記映像信号に対する冗長度を決定する冗長度決定部と、
を備える、送信装置。
（２）
前記時間情報受信部は、前記時間情報として前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間の統計情報を前記他の装置から受信する、前記（１）に記載の送信装置。
（３）
前記統計情報は、前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間の移動平均の最大値及び最小値並びに前記最大値及び前記最小値となる時刻の間隔の情報である、前記（２）に記載の送信装置。
（４）
前記冗長度決定部は、前記移動平均が最大値となる時点で取り得る最小の値に冗長度を決定し、前記移動平均が最小値となる時点で取り得る最大の値に冗長度を決定する、前記（３）に記載の送信装置。
（５）
前記冗長度決定部は、前記冗長度が最小の値となる時点と最大の値となる時点との間で該冗長度を線形的に変更する、前記（４）に記載の送信装置。
（６）
前記映像信号は、複数ラインを１つの単位として処理される、前記（１）〜（６）のいずれかに記載の送信装置。
（７）
映像信号を他の装置に伝送する映像伝送ステップと、
前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信ステップと、
前記時間情報受信ステップで受信された前記時間情報に基づいて、伝送される前記映像信号に対する冗長度を決定する冗長度決定ステップと、
を備える、送信方法。
（８）
コンピュータに、
映像信号を他の装置に伝送する映像伝送ステップと、
前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信ステップと、
前記時間情報受信ステップで受信された前記時間情報に基づいて、伝送される前記映像信号に対する冗長度を決定する冗長度決定ステップと、
を実行させる、コンピュータプログラム。
（９）
映像信号を他の装置から受信する映像信号受信部と、
前記映像信号受信部での映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定部と、
前記時間測定部が測定した時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信部と、
を備える、受信装置。
（１０）
前記時間情報送信部は、前記時間情報として前記映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間の統計情報を前記他の装置へ送信する、前記（９）に記載の受信装置。
（１１）
前記統計情報は、前記映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間の移動平均の最大値及び最小値並びに前記最大値及び前記最小値となる時刻の間隔の情報である、前記（１０）に記載の受信装置。
（１２）
前記時間測定部は、前記映像信号受信部が受信した前記映像信号がデコードされた後に前記映像信号受信部での映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する、前記（９）〜（１１）のいずれかに記載の受信装置。
（１３）
前記映像信号は、複数ラインを１つの単位として処理される、前記（９）〜（１２）のいずれかに記載の受信装置。
（１４）
映像信号を他の装置から受信する映像信号受信ステップと、
前記映像信号受信ステップでの映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定ステップと、
前記時間測定部で測定された時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信ステップと、
を備える、受信方法。
（１５）
コンピュータに、
映像信号を他の装置から受信する映像信号受信ステップと、
前記映像信号受信ステップでの映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定ステップと、
前記時間測定部で測定された時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信ステップと、
を実行させる、コンピュータプログラム。

１００ 送信装置
１１０ キャプチャ部
１２０ ＦＥＣ利用決定部
１３０ エンコーダ
１４０ パケタイズ部
１５０ ＦＥＣ符号化部
１６０ ＲＴＰ ＴＸ部
１７０ ＡＲＱ部
１８０ ＲＴＣＰ部
２００ 受信装置
２１０ ＲＴＰ ＲＸ部
２２０ ロス検出部
２３０ ＦＥＣ復号部
２４０ ＡＲＱ部
２５０ ＲＴＣＰ部
２６０ デパケタイズ部
２７０ デコーダ
２８０ 同期ずれ計算部
２９０ 表示部

Claims (15)

1. 映像信号を他の装置に伝送する映像信号伝送部と、
   前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信部と、
   前記時間情報受信部が受信した前記時間情報に基づいて、前記映像信号伝送部から伝送される前記映像信号に対する冗長度を決定する冗長度決定部と、
   を備える、送信装置。
2. 前記時間情報受信部は、前記時間情報として前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間の統計情報を前記他の装置から受信する、請求項１に記載の送信装置。
3. 前記統計情報は、前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間の移動平均の最大値及び最小値並びに前記最大値及び前記最小値となる時刻の間隔の情報である、請求項２に記載の送信装置。
4. 前記冗長度決定部は、前記移動平均が最大値となる時点で取り得る最小の値に冗長度を決定し、前記移動平均が最小値となる時点で取り得る最大の値に冗長度を決定する、請求項３に記載の送信装置。
5. 前記冗長度決定部は、前記冗長度が最小の値となる時点と最大の値となる時点との間で該冗長度を線形的に変更する、請求項４に記載の送信装置。
6. 前記映像信号は、複数ラインを１つの単位として処理される、請求項１に記載の送信装置。
7. 映像信号を他の装置に伝送する映像伝送ステップと、
   前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信ステップと、
   前記時間情報受信ステップで受信された前記時間情報に基づいて、伝送される前記映像信号に対する冗長度を決定する冗長度決定ステップと、
   を備える、送信方法。
8. コンピュータに、
   映像信号を他の装置に伝送する映像伝送ステップと、
   前記映像信号の受信から前記他の装置での前記映像信号の各フレームの表示開始のタイミングまでの時間を含んだ時間情報を前記他の装置から受信する時間情報受信ステップと、
   前記時間情報受信ステップで受信された前記時間情報に基づいて、伝送される前記映像信号に対する冗長度を決定する冗長度決定ステップと、
   を実行させる、コンピュータプログラム。
9. 映像信号を他の装置から受信する映像信号受信部と、
   前記映像信号受信部での映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定部と、
   前記時間測定部が測定した時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信部と、
   を備える、受信装置。
10. 前記時間情報送信部は、前記時間情報として前記映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間の統計情報を前記他の装置へ送信する、請求項９に記載の受信装置。
11. 前記統計情報は、前記映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間の移動平均の最大値及び最小値並びに前記最大値及び前記最小値となる時刻の間隔の情報である、請求項１０に記載の受信装置。
12. 前記時間測定部は、前記映像信号受信部が受信した前記映像信号がデコードされた後に前記映像信号受信部での映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する、請求項９に記載の受信装置。
13. 前記映像信号は、複数ラインを１つの単位として処理される、請求項９に記載の受信装置。
14. 映像信号を他の装置から受信する映像信号受信ステップと、
    前記映像信号受信ステップでの映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定ステップと、
    前記時間測定部で測定された時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信ステップと、
    を備える、受信方法。
15. コンピュータに、
    映像信号を他の装置から受信する映像信号受信ステップと、
    前記映像信号受信ステップでの映像信号の受信から前記映像信号の各フレームの表示開始のタイミングまでの時間を測定する時間測定ステップと、
    前記時間測定部で測定された時間の情報を含んだ時間情報を前記他の装置へ送信する時間情報送信ステップと、
    を実行させる、コンピュータプログラム。
    
    

Images