JP2012049640A - 符号化装置、符号化方法、動画像伝送システム - Google Patents

Abstract

【課題】ネットワーク負荷を最小限に留めながら、パケットのバーストロス及び重要フレームの損失が動画像全体の映像品質に与える影響を抑制する。
【解決手段】複数の動画像ストリームを複数の伝送路を介して伝送する動画像伝送システム１００が備える符号化装置２００であって、複数の動画像ストリームに含まれる複数のデータパケットの各々について、重要度がより高いデータパケットほど、及び、複数の伝送路のうちパケットロス率がより高い伝送路を介して伝送される動画像ストリームに含まれるデータパケットほど、より大きくなるようにデータパケットの復元に用いられる指標である復元指標を算出する復元指標算出部２１０と、より大きな復元指標が割り当てられたデータパケットほど、より高い確率でパリティパケットを生成する符号化を行うことでパリティストリームを生成するパリティ生成部２０８とを備える。
【選択図】図５

Description

本発明は、パリティパケットを生成する符号化装置に関し、特に、複数の動画像ストリームを複数の伝送路を介して伝送する動画像伝送システムが備える符号化装置に関する。

近年、ＡＤＳＬ又はＦＴＴＨなどの高速なネットワークを利用した動画像ストリーム伝送サービスが注目を集めている。ストリーム伝送は、従来の通信と比較して高ビットレートであり、遅延時間に厳しい制約があるなどの特性をもつ。ストリーム伝送においてＱｏＳ（Quality of Service）を高めるためには、これらの特性を考慮する必要がある。

このようなストリーム伝送サービスに用いられるネットワークとしては、例えばＣＤＮ（Content Distribution Network）が有効である（非特許文献１を参照）。

ＣＤＮはネットワーク上に複数のキャッシュサーバ（サーバ群）を備えており、ユーザからのリクエストがある毎にそのサーバ群から適切なサーバを選択し、選択されたサーバからコンテンツを伝送する。

このような伝送形態をとることで、動画像ストリーム伝送における転送遅延及びサーバへの過負荷を抑制することができる。しかし、ＣＤＮによるストリーム伝送を行っても、インターネットのようなベストエフォート網での伝送では、パケットロスによる動画像の品質の低下は避けられない。

動画像ストリームは一般的にフレームと呼ばれる単位から構成され、あるフレームを再生する際に別のフレームの情報を参照することで効率の高い圧縮が行われている。しかし、これはパケットロスによる一部のフレームのデータの損傷が、別のフレームに影響を与え、ある期間の全体的な画質を劣化させることを意味する。

このような画質劣化を防ぐために、損失したデータの再送又は復元等を行うための仕組みが提案されている。具体的には、ＡＲＱ（Automatic Repeat Request）（非特許文献２を参照）、ＦＥＣ（Forward Error Correction）（非特許文献３を参照）、及びそれらの組み合わせ（非特許文献４を参照）など、様々な方式が研究されている。

特に、再送遅延が許容できないサービスでは、サーバ側で予め付加した冗長データから、クライアント側が損失データの復元を行うＦＥＣが用いられる。しかし、ＦＥＣでは連続して多数のデータが損失する、いわゆるバースト的なパケットロスをクライアント側が復元することは困難である。

すなわち、ＦＥＣを用いてバースト的なパケットロスに対応するためには、サーバがＦＥＣ冗長量を増加させる必要が生じるが、変化するネットワーク状況に応じてクライアント毎に適切なＦＥＣ冗長量をサーバが設定することは現実的ではない。

バーストロスに対応可能な復元方式としては、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ（非特許文献５を参照）という復号方式が提案されている。

通常のＦＥＣ（以後“Ｉｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ”と呼ぶ）がストリーム毎にパリティパケットを付与するのに対し、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣは複数のストリームのデータを用いてパリティパケットを生成する。

これにより、例え１本のストリームでバースト的に多量のパケットロスが生じたとしても、クライアント側では、他の正常に受信されたストリームのデータを用いてロスしたデータを復元することができる。

また、動画像ストリームのフレームは別のフレームのデータを参照して再生されるため、より多くのフレームから参照されているデータを持つフレームは重要なフレームとみなすことができる。よって、このような重要なフレームを、他のフレームに影響を与えない重要度の低いフレームと比較して高確率で復元することにより、動画像全体の品質を向上させることができると考えられる。

このような考えのもと、ＵＥＰ（Unequal Error Protection）と呼ばれる、データの重要度を考慮した符号化手法が提案されている（非特許文献６、非特許文献７）。

ＵＥＰは、重要でないパケットの復元確率を抑制するかわりに重要なパケットの復元確率を高めることができるように設計された符号化方式である。

G. Peng, "CDN: Content distribution network", Arxiv preprint cs/0411069, 2004. T. Lam1, L. Karam, R. Bazzi and G. Abousleman, "Reduced-Delay Selective ARQ For LowBit-Rate Image and Multimedia Data Transmission", Proc. IEEE ICASSP' 05, pp. 309-312, Mar. 2005. X. Yu, J. Modestino and Y. Chan, "A Model-Based Evaluation Methodology for Assessing the Efficacy of Packet-Level FEC for Delay-Constrained Video Network Transport", Proc.IEEE ICIP' 06, pp. 1289-1292, Oct. 2005. R. Cohen, G. Grebla and L. Katzir, "Cross-Layer Hybrid FEC/ARQ Reliable Multicast with Adaptive Modulation and Coding in Broadband Wireless Networks", Proc. IEEE INFO-COM' 09, pp. 1917-1925, Apr. 2009. H. Tode, T. Fujie, and K. Murakami, "Inter-Stream FEC Method for Multiserver Content Distribution", Proc. IEEE GLOBECOM'07, pp. 2043-2047, 2007. P. Wu, J. Hwang, C. Lee and Y. Teng, "Receiver Driven Overlap FEC for Scalable Video Coding Extension of the H.264/AVC", Proc. IEEE IS-CAS' 09, pp. 637-640, May 2009. A. G. Dimakis, J. Wang, K. Ramchandran, "Unequal growth codes: Intermediate Performance and Unequal Error Protection for Video Streaming", Proc. MMSP 2007, pp. 107-110, Oct. 2007.

しかしながら、このＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式は，対象データの種類を特に限定しない一般的な技術である。したがって、特に動画像ストリームの圧縮技術として一般的なフレーム間予測を用いて圧縮された動画像のストリーム伝送にＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣが適用された場合、他のフレームから多数参照されている基準フレーム（例えば、ＭＰＥＧ−２におけるＩピクチャ）の損失により、視聴される映像の全体的な品質が大幅に低下するという、動画像ストリームの転送に特有の課題が残されている。

また、重要なフレーム復元確率をその他のフレームよりも高めることができるＵＥＰでは、上記動画像ストリームの伝送に特有の課題には対応できるものの、パケットのバーストロスには対応できない。すなわち、１本のストリームで連続的にパケットロスが発生すると，ＵＥＰを用いた動画伝送システムでは、クライアント（復号装置）側でデータを復元することができず、そのストリームの再生時において十分な映像品質を維持できないという課題がある。

また、上記のＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ及びＵＥＰは、いずれも、パリティパケットを増やすことにより、映像品質を高めることはできるものの、必要以上にパリティパケットを増やすと、データ量が増大するためにネットワークの負荷が高まり、通信品質が低下するという悪循環に陥る恐れがある。

そこで、本発明は、複数の動画像ストリームを複数の伝送路を介して伝送する際に、ネットワーク負荷を最小限に留めながら、パケットのバーストロス及び重要フレームの損失が動画像全体の映像品質に与える影響を抑制可能な符号化装置及び動画像伝送システムを提供することを目的とする。

本発明のある局面に係る動画像伝送システムが備える符号化装置は、複数の動画像ストリームを複数の伝送路を介して伝送する動画像伝送システムが備える符号化装置であって、前記複数の動画像ストリームに含まれる複数のデータパケットの各々について、重要度がより高いデータパケットほど、及び、前記複数の伝送路のうちパケットロス率がより高い伝送路を介して伝送される動画像ストリームに含まれるデータパケットほど、より大きくなるように前記データパケットの復元に用いられる指標である復元指標を算出する復元指標算出部と、より大きな前記復元指標が割り当てられたデータパケットほど、より高い確率でパリティパケットを生成する符号化を行うことでパリティストリームを生成するパリティ生成部とを備える。

この構成によると、パスダイバーシティによる復元効率を得るために複数の伝送路を介して動画像ストリームを伝送する場合において、符号化装置は、符号化時に、伝送路毎に異なるパケットロス率と、パケット毎に異なる動画像品質への影響を考慮することができる。具体的には、パケットの各々について、そのパケットが損失した場合の復元のされやすさを管理・調整するためのパリティストリームを動画像ストリームとは別に、復号装置へ送ることができる。その結果、ネットワーク負荷を最小限に留めながら、パケットのバーストロス及び重要フレームの損失が動画像全体の映像品質に与える影響を抑制することが可能となる。

また、前記複数の動画像ストリームは、フレーム間予測方式により圧縮されており、前記復元指標算出部は、前記複数のデータパケットの各々について、前記複数の動画像ストリームに含まれる複数のフレームのうち他のフレームからの被参照数がより多いフレームを含むデータパケットほど、より高くなるように重要度を決定する重要度決定部と、前記複数のデータパケットの各々について、前記パケットロス率がより高い伝送路を介して伝送されるデータパケットほど、より大きくなるようにロス度を決定するロス度決定部とを備え、前記重要度と前記ロス度との和が大きいほど、より大きくなるように前記復元指標を算出する。

この構成によると、特に、フレーム間予測方式により圧縮された動画像ストリームの伝送において、映像品質に与える影響の大きさ及び、伝送路のパケットロス率の２点を総合的に考慮して、パケットの復元確率を高めることができる。

その結果、パリティパケットの送信によるネットワークへの負担を最小限に抑えつつ、パケットのバーストロス及び重要フレームの損失が動画像全体の映像品質に与える影響を抑制することが可能となる。

また、前記パリティ生成部は、前記複数のデータパケットの中から１回の符号化で使用する１以上のデータパケットを符号化ブロックとして選択し、前記復元指標が大きいほど大きくなるように、前記符号化ブロックに含まれる前記データパケットの各々について、当該データパケットが符号化される前記確率である被選択確率を算出し、前記符号化ブロックの中から、事前に定められた値であるＤ個のデータパケットを前記被選択確率に従って選択し、選択された前記Ｄ個のデータパケットの同じビット位置で排他的論理和を算出することによってパリティパケットとして符号化し、前記符号化ブロックを対象とした符号化を、事前に定められた値であるＭ回繰り返すことによりＭ個のパリティパケットを含む前記パリティストリームを生成する。

本発明の他の局面に係る動画像伝送システムが備える符号化装置は、さらに、前記複数の伝送路の前記パケットロス率の平均値が大きいほど、より小さくなるように前記Ｄの値を算出するパケット数算出部を備える。

この構成によると、復元確率に影響を与えるパラメタＤの決定において、最適な値を決定できる。その結果、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式及びＩｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ方式を併用した損失パケットの復元確率を向上させることができる。

また、前記符号化装置は、さらに、前記Ｍを算出するストリーム長算出部を備えており、前記ストリーム長算出部は、前記Ｍを、前記符号化ブロックに含まれるデータパケットの数であるＮと、前記複数の伝送路の前記パケットロス率の平均値であるｌ₀と、前記Ｄと、前記動画像ストリームに含まれる全データパケットのうち前記パリティストリームを用いた復号によっても損失するデータパケットの割合として許容できる許容パケット損失率ｌ_cとを用いて、Ｍ＝Ｎ×（ｌｏｇ_e（ｌ₀）−ｌｏｇ_e（ｌ_c））／（Ｄ×（１−ｌ_c）^(D-1)）の式によって算出する。

この構成によると、本実施の形態に係る動画像配信システムが備える符号化装置は、損失パケットの復元確率とネットワーク負荷のトレードオフが生じる符号化処理のパラメタ決定において、最適なパラメタを算出することができる。

その結果、ネットワーク負荷を最小限に留めながら、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式を用いた損失パケットの復元確率を向上させることができる。よって、パケットのバーストロス及び重要フレーム（参照フレーム）の損失が生じる場合でも、動画像ストリームの映像品質を一定水準以上に管理することが可能な符号化装置を提供することができる。

なお、本発明は、このような符号化装置として実現できるだけでなく、符号化装置に含まれる特徴的な手段をステップとする符号化方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような符号化装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現してもよい。

また、本発明は、このような符号化装置及びその復号装置を備える動画像伝送システムとして実現してもよく、このような動画像伝送システムに含まれる特徴的な手段をステップとする動画像伝送方法として実現してもよい。さらに、これら特徴的なステップをコンピュータに実行させるプログラムとして実現してもよい。

以上より、本発明は、複数の動画像ストリームを複数の伝送路を介して伝送する際に、ネットワーク負荷を最小限に留めながら、パケットのバーストロス及び重要フレームの損失が動画像全体の映像品質に与える影響を抑制可能な符号化装置及び動画像伝送システムを提供することができる。

図１は、ＣＤＮとして構成された、本発明の実施の形態１又は２に係る動画像伝送システムの概要図である。 図２は、従来技術であるＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ（Forward Error Correction）の概要を説明する図である。 図３は、従来技術であるＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣを用いたパリティストリームの生成方法を示す図である。 図４は、本発明の実施の形態１又は２に係る動画像伝送システムが備える符号化サーバのブロック図である。 図５は、本発明の実施の形態１に係る動画像伝送システムが備える符号化装置のブロック図である。 図６は、本発明の実施の形態１又は２に係る動画像伝送システムが備えるＥＥＮ（Enhanced Edge Node）のブロック図である。 図７は、本発明の実施の形態１又は２に係る動画像伝送システムが備える復号装置のブロック図である。 図８は、本発明の実施の形態１又は２に係る動画像伝送システムを用いたＣＤＮにおける処理の流れの概要を示すフローチャートである。 図９は、本発明の実施の形態１又は２に係る復元指標を説明する図である。 図１０は、本発明の実施の形態１又は２に係る復元指標を算出する処理の流れを示すフローチャートである。 図１１は、本発明の実施の形態１又は２に係るパリティストリームの生成処理を説明する概念図である。 図１２は、本発明の実施の形態１又は２に係るパリティストリームの生成処理の流れを示すフローチャートである。 図１３は、本発明の実施の形態２に係る動画像伝送システムが備える符号化装置のブロック図である。 図１４は、本発明の実施の形態２に係るパリティパケットを構成するデータパケット数を決定する関数の一例を示す図である。 図１５は、本発明の実施の形態２に係る動画像伝送システムの性能評価シミュレーションの概要を示す図である。 図１６は、本発明の実施の形態２に係る動画像伝送システムの性能評価シミュレーションに用いられた条件を説明する図である。 図１７は、本発明の実施の形態２に係る動画像伝送システムの性能評価シミュレーションの結果を示す図である。 図１８は、本発明の実施の形態１又は２に係る動画像伝送システムが備える符号化装置及び復号装置を実現するコンピュータシステムの一例を示す外観図である。 図１９は、本発明の実施の形態１又は２に係る動画像伝送システムが備える符号化装置及び復号装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。

以下、本発明に係る符号化装置及び動画像伝送システムの実施の形態について、図面を参照しながら詳細に説明する。

(実施の形態１)
図１は、ＣＤＮとして構成された、本発明の実施の形態１に係る動画像伝送システムの概要図である。なお、図１に示される矢印のうち、１４０、１４２、１４４の符号が付されたものは伝送路を示す。また、１４５、１５０、１５２、１５４の符号が付されたものは、例えば動画像ストリームや、パリティストリーム等の信号を示す。

図１に示されるように、ＣＤＮとして構成された動画像伝送システム１００は、オリジンサーバ１０２と、サロゲート１０６及びサロゲート１０８と、符号化サーバ１２０と、ＥＥＮ（Enhanced Edge Node）１１０と、クライアント１１２及びクライアント１１４とを備える。

動画像伝送システム１００は、複数の中継キャッシュサーバを介して、オリジンサーバ１０２からクライアントまで動画像ストリームを伝送する。

オリジンサーバ１０２は、伝送する動画像の全てを記憶し、他のサーバへ伝送する計算機である。オリジンサーバ１０２は、例えば大容量のＨＤＤ（Hard Disk Drive）を備えており、そこに動画像を記憶するとともに、動画像ストリームとしてサロゲートへ伝送する。

本実施の形態では、オリジンサーバ１０２は、サロゲート１０６及びサロゲート１０８に、第１の動画像ストリーム１５０及び第２の動画像ストリーム１５２をそれぞれ伝送する。

サロゲート１０６及びサロゲート１０８は、オリジンサーバ１０２が記憶している動画像の少なくとも一部をキャッシュし、ＥＥＮ１１０へ伝送する中継キャッシュサーバである。具体的には、サロゲート１０６及びサロゲート１０８は、第１の動画像ストリーム１５０及び第２の動画像ストリーム１５２をそれぞれキャッシュからＥＥＮ１１０へ伝送している。

ＥＥＮ１１０は、ユーザからの動画像伝送要求を受け付け、サロゲートから伝送されたストリームをユーザがもつＰＣ（Personal Computer）等の計算機へ伝送する。ＥＥＮ１１０の詳細については後述する。

クライアント１１２及びクライアント１１４は、動画像伝送システム１００によって動画像ストリームの伝送サービスを受けるユーザが使用する計算機である。

符号化サーバ１２０は、ＥＥＮ１１０から要求を受けて、動画像ストリームの伝送に最適化されたＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式で１以上のパリティからなるパリティストリーム１５４を生成し、第３の伝送路１４４を介してＥＥＮ１１０へ伝送する。

なお、符号化サーバ１２０及びＥＥＮ１１０も、サロゲート１０６及びサロゲート１０８と同様に、キャッシュサーバとしての機能を有していてもよい。

図２は、符号化サーバ１２０がパリティストリーム１５４の生成に用いるＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ（Forward Error Correction）の概要を説明する図である。

Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣは、Ｉｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣと同様、いわゆる伝送路符号化の一方式である。ただし、Ｉｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣが単一のストリームに含まれるデータパケットからパリティパケットを生成するのに対し、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣでは、複数のストリームに含まれるデータパケットからパリティパケットを生成する。

より具体的には、図２に示されるように、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣは、動画像ストリームＡ３２０、動画像ストリームＢ３２２、動画像ストリームＣ３２４の３つのストリームから、パリティストリーム３３０を生成する。

ここで、動画像ストリームＡ３２０、動画像ストリームＢ３２２、動画像ストリームＣ３２４はそれぞれ、１以上の符号化ブロック３１０を含む。符号化ブロック３１０は、パリティパケットの生成処理における処理範囲となる。

符号化ブロック３１０は、各動画像ストリームに含まれるパケットブロック３１１をそれぞれ１つ含む。パケットブロック３１１は、事前に定められたパケット数ごとに区切られたパケットの組である。

各動画像ストリームは、パケットブロック３１１を１以上含む。パケットブロック３１１は、映像パケット３１２と、映像パケット３１２をＩｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ方式で符号化したパリティを含むパリティパケット３１４とを含む。映像パケット３１２及びパリティパケット３１４を総称して、データパケット３１３と呼ぶ。

各動画像ストリームがＩｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ方式によるパリティパケット３１４を含むことにより、動画像ストリームを受信したＥＥＮ１１０は、
（１）パリティストリーム３３０を用いてパケットブロック３１１内の損失パケットを復元するか、
（２）パケットブロック３１１に含まれるパリティパケット３１４を用いて、同じパケットブロック３１１に含まれる映像パケット３１２の損失パケットを復元する
という、２種類の復元を行うことで損失パケットの復元率を高めることができる。

図３は、従来技術であるＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣを用いたパリティストリームの生成方法を示す図である。

具体的に説明するため、パリティストリーム３３０に含まれる１つのパリティパケット３３１に注目する。図３に示されるように、パリティパケット３３１は、映像パケットＡ１と、映像パケットＢ２と、映像パケットＣ３のビット単位での排他的論理和により算出されたパリティＰ１の値を含む。また、パリティパケット３３１は、Ｐ１を算出するための用いられたデータパケット３１３の識別情報（Ａ１、Ｂ２、Ｃ３）を含む。

したがって、Ａ１、Ｂ２、Ｃ３のうち、いずれか１つのデータパケット３１３が伝送中に損失した場合であっても、受信側はパリティストリームに含まれるパリティＰ１を用いて、ビット単位で排他的論理和を算出することにより、損失したデータパケットを復元することができる。

このように、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣでは複数の伝送経路によるパスダイバーシティを得ることで、パリティパケットの復元確率を高めている。

図４は、本発明の実施の形態１に係る動画像伝送システムが備える符号化サーバ１２０のブロック図である。

図４に示されるように、本実施の形態に係る符号化サーバ１２０は、通信部１２２と、キャッシュ部１２４と、符号化装置２００とを備える。

通信部１２２は、符号化サーバ１２０がオリジンサーバ１０２及びＥＥＮ１１０と、データの送受信を行うための通信インタフェースである。通信部１２２は、必要なデータが後述するキャッシュ部１２４にキャッシュされている場合には、キャッシュデータを優先して使用する。

キャッシュ部１２４は、通信部１２２から取得したデータを一時的にキャッシュする処理部である。キャッシュ部１２４はまた、キャッシュ部１２４に記憶されているデータの有効期間を管理して有効期間が過ぎたデータを削除する等の、キャッシュ管理を行う。

符号化装置２００は、ＥＥＮ１１０からの要求に応じて、ＥＥＮ１１０がユーザへ伝送するために必要なパリティストリーム１５４を生成し、通信部１２２からＥＥＮ１１０へ伝送する。

図５を用いて、符号化装置２００について詳細に説明する。

図５は、本発明の実施の形態１に係る動画像伝送システムが備える符号化装置のブロック図である。

図５に示されるように、符号化装置２００は、パリティ生成部２０８と、復元指標算出部２１０とを備える。

パリティ生成部２０８は、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式により、複数の動画像ストリームから、パリティストリーム１５４を生成する。

Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣは従来技術であるが、この技術を動画像ストリームの伝送に適用する場合に生じる課題（主として、画像品質の劣化とデータ量増加のトレードオフ）を、パリティ生成処理を最適化することにより解決したことが本願発明である。なお、その詳細については、後述する。

復元指標算出部２１０は、動画像ストリームに含まれるデータパケット各々について、復元指標を算出する。大きな復元指標が割り当てられたデータパケットほど、ネットワーク伝送中にパケットロスが生じた場合であっても、パリティパケットを用いてＥＥＮ１１０により復元される可能性が高まる。

復元指標算出部２１０は、重要度決定部２１２と、ロス度決定部２１４とを備える。

重要度決定部２１２は、動画像ストリームに含まれるデータパケットの各々について、その重要度を決定する。

ここでいう重要度とは、そのデータパケットが伝送されないことにより、動画像ストリームの全体的な画像品質に与える影響の大きさを意味する。

例えば、動画像ストリームの圧縮形式として現在広く用いられているＭＰＥＧ（Moving Picture Expert Group）−２やＭＰＥＧ−４等では、動画像ストリームを構成する近接フレーム間の類似性に注目したフレーム間予測方式を用いて動画像ストリームが符号化される。

フレーム間予測方式を用いて符号化された動画像ストリームは、基準となる参照フレームが損失すると、その参照フレームとの差分情報のみが含まれるフレームは全て、正しく復号することができなくなる。

その結果、動画像ストリームの全体的な映像品質が著しく劣化する。前述のＭＰＥＧ−４では、Ｉピクチャ等を含むデータパケットの損失がこれに相当する。

このような動画像ストリームの映像品質に与える影響が大きいフレームを含むデータパケットに、重要度決定部２１２は、より高い重要度が割り当てられるように重要度を決定する。

ロス度決定部２１４は、動画像ストリームに含まれるデータパケットの各々について、そのロス度を算出する処理部である。

ここでいうロス度とは、動画像ストリームの伝送中におけるパケットロスの発生のし易さを意味する。すなわち、パケットロス率の高い伝送路を介して伝送されるパケットのロス度は高く設定され、逆に、パケットロス率の低い伝送路を介して伝送されるパケットのロス度は低く設定される。詳細については、重要度決定部２１２の処理とあわせて、後述する。

図６は、本発明の実施の形態１に係る動画像伝送システムが備えるＥＥＮ１１０のブロック図である。

図６に示されるように、ＥＥＮ１１０は、通信部１３２と、ロス率算出部１３８と、復号装置４００とを備える。

通信部１３２は、ＥＥＮ１１０がＣＤＮに含まれる他のサーバ及びクライアントとデータの送受信を行うための通信インタフェースである。

ロス率算出部１３８は、ＥＥＮ１１０が第１の伝送路１４０及び第２の伝送路１４２を介して、第１の動画像ストリーム１５０及び第２の動画像ストリーム１５２をそれぞれ取得する際における、パケットロス率を算出する。

具体的には、ＥＥＮ１１０に、一定期間中に到着すべきパケット数で、実際に到着したパケット数を除算することによりパケットロス率が算出される。

算出されたパケットロス率は、ＥＥＮ１１０から符号化サーバ１２０に通知され（図１の信号１４５を参照）、符号化サーバ１２０におけるロス度の算出に用いられる。

復号装置４００は、サロゲートから伝送された動画像ストリームのうち、ユーザからリクエストがあったものに含まれる損失パケットを、パリティストリーム１５４を用いて復元する。

図７は、本発明の実施の形態１に係る動画像伝送システム１００が備える復号装置４００のブロック図である。

図７に示されるように、復号装置４００は、入出力処理部４０２と、要求処理部４０６と、復号処理部４１０とを備える。

入出力処理部４０２は、復号装置４００が行う入出力を管理する入出力インタフェースである。

要求処理部４０６は、入出力処理部４０２が取得した入力が、動画像ストリームの伝送要求であった場合に必要な処理を行う。

具体的には、要求処理部４０６は、サロゲート１０６及びサロゲート１０８へ、動画像ストリームの伝送要求を送る。さらに、要求処理部４０６は、ロス率算出部１３８から各伝送路におけるパケットロス率を取得し、取得したパケットロス率を含むパリティストリームの生成要求を符号化サーバ１２０へ送る。

要求処理部４０６は、さらに、動画像ストリーム中のフレーム位置を特定するための情報である開始シーケンス番号を符号化サーバ１２０へ送る。符号化サーバ１２０は、符号化に使用される動画像ストリーム各々について、開始シーケンス番号で指定されたフレームから、パリティストリームを生成する。

復号処理部４１０では、入出力処理部４０２から取得した複数の動画像ストリーム及びパリティストリームを用いて、ユーザから要求された動画像ストリームに含まれる損失パケットの復元を行う。損失パケットが復元された動画像ストリームは、入出力処理部４０２により、通信部１３２を介してユーザへ伝送される。

入出力処理部４０２は、要求入出力部４０４と、ストリーム入出力部４０８とを備える。

入出力処理部４０２は、ユーザからの伝送要求を取得し、サロゲート及び符号化サーバ１２０へ伝送要求を出力する。

ストリーム入出力部４０８は、サロゲート及び符号化サーバ１２０から動画像ストリーム及びパリティストリームをそれぞれ取得し、復号化ののち、ユーザから要求された動画像ストリームをユーザが有するクライアントへ出力する。

復号処理部４１０は、第１復号部４１２と、第２復号部４１４と、バッファ部４１６とを備える。

第１復号部４１２は、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式によるパリティを用いて、ユーザから要求された動画像ストリームに含まれる損失パケットを復元する。

すなわち、図２を参照して、符号化ブロック３１０に含まれる損失したデータパケット３１３を、同じ符号化ブロック３１０に含まれる他のデータパケット３１３及びパリティストリーム３３０に含まれるパリティパケットを用いて復元する。

例えば、Ａ１、Ｂ２、Ｃ３のビット単位での排他的論理和が、パリティパケットＰ₁である場合であって、Ａ１、Ｂ２、Ｐ₁が正しく伝送され、Ｃ３は伝送中に損失したものとする。

この場合、正しく伝送された、Ａ１、Ｂ２、Ｐ₁の排他的論理和をとることにより、Ｃ３を復元することができる。

第２復号部４１４は、Ｉｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ方式によるパリティを用いて、動画像ストリームの各々についてデータパケットを復元する。

すなわち、図２を参照して、パケットブロック３１１に含まれる映像パケット３１２を、同じパケットブロック３１１に含まれるパリティパケット３１４で復元する。

例えば、動画像ストリームＡ３２０に含まれるＡ１、Ａ２、Ａ３のビット単位での排他的論理和が、パリティパケットＲ１である場合であって、Ａ１、Ａ２、Ｒ１が正しく伝送され、Ａ３は伝送中に損失したものとする。

この場合、正しく伝送されたＡ１、Ａ２、Ｒ１の排他的論理和をとることにより、Ａ３を復元することができる。

バッファ部４１６は、第１復号部４１２及び第２復号部４１４による作業領域である。

第１復号部４１２による符号化処理と、第２復号部４１４による符号化処理は、相互に依存する。

例えば、図３を参照して、データパケットＢ２とデータパケットＣ３とが損失した場合、第１復号部４１２は、これらを復元することはできない。しかし、動画像ストリームＢ３２２に含まれるパリティパケット３１４を用いて、第２復号部４１４がＢ２を復元できた場合、第１復号部４１２は、復元されたＢ２と、Ａ１と、Ｐ１とを用いて、Ｃ３を復元することができる。

すなわち、第１復号部４１２及び第２復号部４１４が損失パケットを復元することにより、元々損失のないデータパケットに加え、復元されたデータパケットを用いて、第１復号部４１２及び第２復号部４１４は損失パケットを復元することができる。

第１復号部４１２と第２復号部４１４は、バッファ部４１６を介して復元結果を共有し、これ以上復元ができないと判断されるまで、パリティを用いた復元を繰り返す。

図８は、本発明の実施の形態１に係る動画像伝送システム１００を用いたＣＤＮにおける処理の流れの概要を示すフローチャートである。

以下、ＥＥＮ１１０が第１の動画像ストリーム１５０をクライアント１１２へ伝送する場合に注目して説明するが、他のストリーム（例えば、第２の動画像ストリーム１５２をクライアント１１４へ伝送する場合）であっても、同様である。

まず、クライアント１１２が、ＥＥＮ１１０へ、第１の動画像ストリーム１５０をクライアント１１２へ伝送するよう要求したとする（Ｓ１００）。

クライアント１１２からの要求を受信したＥＥＮ１１０は、第１の動画像ストリーム１５０の伝送をサロゲート１０６へ要求する。

また、クライアント１１４が、ＥＥＮ１１０へ、第２の動画像ストリーム１５２をクライアント１１４へ伝送するよう要求したとする。

クライアント１１４からの要求を受信したＥＥＮ１１０は、第２の動画像ストリーム１５２の伝送をサロゲート１０８に要求する。

ＥＥＮ１１０はまた、第１の伝送路１４０において第１の動画像ストリーム１５０が損失した場合にその損失パケットを復元するため、符号化サーバ１２０に第１の動画像ストリーム１５０と第２の動画像ストリーム１５２から生成されるパリティストリーム１５４の伝送を要求する（Ｓ１０２）。さらに、ＥＥＮ１１０は、符号化サーバ１２０へ第１の伝送路１４０及び第２の伝送路１４２のパケットロス率を通知する。

次に、符号化サーバ１２０が備えるパリティ生成部２０８は、第１の動画像ストリーム１５０と、第２の動画像ストリーム１５２とから、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式により、パリティストリーム１５４を生成する（Ｓ１０４）。

次に、符号化サーバ１２０は、パリティストリーム１５４を第３の伝送路１４４を介してＥＥＮ１１０へ送信する（Ｓ１０６）。

次に、ＥＥＮ１１０は、パリティストリーム１５４並びに、第１の動画像ストリーム１５０及び第２の動画像ストリーム１５２を受信し（Ｓ１０８）、パリティを用いて、受信した第１の動画像ストリーム１５０に伝送途中におけるパケット損失があるか否かを検出する（Ｓ１１０）。

その結果、第１の動画像ストリーム１５０に含まれる全てのパケットが損失なく受信されたと判断した場合（Ｓ１１０でＮｏ）、ＥＥＮ１１０は、受信した第１の動画像ストリーム１５０をクライアント１１２へ伝送する（Ｓ１１４）。

一方、ＥＥＮ１１０が、第１の動画像ストリーム１５０に含まれるパケットが損失していることを発見した場合（Ｓ１１０でＹｅｓ）、ＥＥＮ１１０はパリティを用いてその復元を行った後（Ｓ１１２）、クライアント１１２へ伝送する（Ｓ１１４）。

ＥＥＮ１１０は、以上のステップＳ１０８〜ステップＳ１１４を、クライアント１１２へ伝送すべき第１の動画像ストリーム１５０を全て伝送するまで繰り返す（Ｓ１１６でＮｏのループ）。

図９は、本発明の実施の形態１に係る復元指標を説明する図である。

前述の通り、パリティ生成部２０８は、復元指標を用いてパリティストリーム１５４を生成することで、動画像ストリームの伝送に最適なＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣを行う。

図９（Ａ）に示されるように、簡単のため、動画像ストリームＡ、動画像ストリームＢ、動画像ストリームＣはそれぞれ、３つのデータパケットを含む１つのパケットブロック３１１を含む。いま、３つのパケットブロック３１１を含む符号化ブロック３１０から１つのパリティパケットを生成することを考える。

符号化ブロック３１０に含まれるデータパケット１〜９は、前述した重要度とロス度に基づいて４つに分類されている。図９（Ｂ）は、図９（Ａ）に示される９つのパケットがどの分類に属するかを示す図である。

図９（Ａ）に示されるデータパケット１、データパケット３及びデータパケット９は、重要度、ロス度共に高い。

データパケット４は、重要度は高いが、ロス度は低い。

データパケット２、データパケット７及びデータパケット８は、重要度は低いが、ロス度が高い。

データパケット５及びデータパケット６は、重要度、ロス度共に低い。

図９（Ｃ）は、以上の分類に基づき、復元指標算出部２１０が復元指標を算出した結果を示す。この例では、復元指標算出部２１０は、各々のデータパケットの重要度又はロス度が「高」に該当するごとに、そのパケットの復元指標に１を加算している。

よって、重要度及びロス度が共に「高」であるデータパケット１、データパケット３及びデータパケット９は、復元指標が２となり、重要度及びロス度のいずれか一方が「高」であるデータパケット２、データパケット４、データパケット７、データパケット８は、復元指標が１となり、データパケット５及びデータパケット６は復元指標が０となる。

なお、本実施の形態において復元指標算出部２１０は重要度及びロス度をそれぞれ「高」「低」の２段階に分類したが、重要度及びロス度の少なくとも一方を１段階以上の任意の数で分類してもよい。

また、本実施の形態において復元指標算出部２１０は復元指標に与える影響を重要度とロス度で等しく１としたが、重要度及びロス度で異なる重み付けを行って復元指標を算出してもよい。

例えば、重要度が１増えると復元指標は１増えるのに対し、ロス度が１増えると復元指標が２増える、等として復元指標算出部２１０は復元指標を算出してもよい。

図１０は、本発明の実施の形態１に係る復元指標算出部２１０において復元指標を算出する処理の流れを示すフローチャートである。

まず、重要度決定部２１２はデータパケットの重要度を決定する。

前述のとおり、パケットの重要度は、そのデータパケットが損失した場合に動画像品質に与える影響の大きさが大きいほど、大きくなるように、重要度決定部２１２が重要度を決定する。

例えば、重要度決定部２１２は、動画像ストリームに含まれる映像パケット３１２の各々がＭＰＥＧ−２やＭＰＥＧ−４等、フレーム間予測を用いて圧縮されているフレームを含む場合、対象とする映像パケットがＩピクチャを含むか否かを判定する（Ｓ２１０）。Ｉピクチャであれば、他のフレームに参照される数である被参照数が高く、よってＩピクチャを含む映像パケット３１２は重要度が高いと判断できるためである。

映像パケットがＩピクチャを含む場合（Ｓ２１０でＹｅｓ）、重要度決定部２１２はその映像パケットの重要度を１に設定する（Ｓ２１２）。一方、映像パケットがＩピクチャを含まない場合（Ｓ２１０でＮｏ）、重要度決定部２１２はその映像パケットの重要度を０に決定する（Ｓ２１４）。

なお、パリティパケット３１４の重要度は、例えばそのパリティパケットの生成に用いられたデータパケットの中にＩピクチャを含む映像パケット３１２が含まれていれば重要であると判断すること等が考えられる。

また、重要度決定部２１２は、Ｉピクチャ以外に、Ｐピクチャを含むか否かを判定してもよい。例えば、Ｉピクチャを含む映像パケットは重要度を２に設定し、Ｐピクチャを含む映像パケットは重要度を１に設定するなど、ピクチャの種類に応じて異なる重要度を割り当てることが考えられる。

次に、ロス度決定部２１４が、各パケットのロス度を決定する。

より具体的には、ロス度決定部２１４は、ＥＥＮ１１０から取得した第１の伝送路１４０及び第２の伝送路１４２のパケットロス率と、事前に定められた閾値とをそれぞれ比較する（Ｓ２１６）。

比較の結果、パケットロス率が閾値以上であれば（Ｓ２１６でＹｅｓ）、ロス度決定部２１４は、その伝送路を介して伝送されるデータパケット３１３のロス度を１に決定する（Ｓ２１８）。一方、比較の結果、パケットロス率が閾値未満であれば（Ｓ２１６でＮｏ）、ロス度決定部２１４は、その伝送路を介して伝送されるデータパケット３１３のロス度を０に決定する（Ｓ２２０）。

次に、復元指標算出部２１０は、復元指標ｕ_hを、重要度とロス度の和として算出する（Ｓ２２２）。

図１１は、本発明の実施の形態１に係るパリティ生成部２０８によるパリティストリーム３３０の生成処理を説明する概念図である。

なお説明のため、図１１に示されるように、動画像ストリームＡ〜Ｃがそれぞれ６個のデータパケットを含んでおり、これら１８個のデータパケットを含む１つの符号化ブロック３１０からパリティストリームを生成するものとする。各パケットには、復元指標算出部２１０によって復元指標が算出され、割り当てられている。

図１１に示されるように、例えば、動画像ストリームＡは、復元指標が２であるパケットＱ₁、Ｑ₂、Ｑ₃及び、復元指標が１であるパケットＱ₄、Ｑ₅、Ｑ₆を含む。

パリティ生成部２０８は、パリティストリーム３３０に含まれる１つのパリティパケットを生成する際に、符号化ブロック３１０に含まれる全１８個のパケットの中から、事前に定められたＤ個を選択する。次に、パリティ生成部２０８は、そのＤ個のビット毎の排他的論理和としてパリティを算出し、算出されたパリティを含むパリティパケットを生成する。

パリティ生成部２０８が符号化ブロック３１０に含まれる全１８個のパケットの中からＤ個を選択する際には、復元指標の大きさが考慮される。具体的には、復元指標が大きいパケットほど、Ｄ個の内の１つとして、パリティ生成部２０８によって選択されやすくなる。

より具体的には、復元指標がｕ_hであるパケットがパリティ生成部２０８により選択される確率をＰ_uhとすると、パリティ生成部２０８はＰ_uhを以下の数式１によって算出する。

ここで、ｗ_uhは、復元指標ｕ_hに対して設定する重みであり、この重みが大きいほど、対象パケットはパリティ生成部２０８に選択されやすくなる。また、Ｉは重要度の分類（水準）数を、Ｊはロス度の分類（水準）数を、Ｎ_upは符号化ブロック３１０のうち復元指標がｕ_pであるパケット数をそれぞれ示す。

パリティ生成部２０８は、数式１を用いて算出されたＰ_uhに従って、Ｄ個のパケットを選択し、その排他的論理和を算出することで、１つのパリティパケットを生成する。

図１１に示されるように、合計ｍ個のパリティパケットを含むパリティストリーム３３０を生成する場合、パリティ生成部２０８は、上述した、Ｄ個のパケットの選択及びその排他的論理和の算出をｍ回繰り返す。

以上の処理により、例えばパリティストリーム３３０に含まれるパリティパケットＰ１は、パケットＱ₁、Ｑ₄、Ｑ₈、Ｑ₁₆の４つのパケットを用いて、パリティ生成部２０８により生成される。

なお、各パリティパケットを生成する際に使用されたデータパケットの識別情報はパリティストリーム３３０に含めて伝送される。

図１２は、本発明の実施の形態１に係るパリティ生成部２０８によるパリティストリームの生成処理（符号化処理）の流れを示すフローチャートである。

パリティ生成部２０８は、まず、パリティストリームを生成する動画像ストリームの識別子（ストリームＩＤ）と、これら識別子に対応する動画像ストリームにおける符号化開始位置（開始シーケンス番号）と、１度の符号化に用いられるデータパケット数Ｄと、１つの符号化ブロックに対して生成されるパリティストリームの長さ（ストリーム長）Ｍを、取得する（Ｓ３１０）。

次に、パリティ生成部２０８は、各動画像ストリームの開始シーケンス番号から順に事前に定められた数のパケットをそれぞれ選択してパケットブロック３１１を生成し、動画像ストリームごとにパケットブロック３１１を集めた集合として符号化ブロック３１０を生成する（Ｓ３１２）。

次に、パリティ生成部２０８は復元指標算出部２１０から復元指標を取得する（Ｓ３１４）。

次に、パリティ生成部２０８は、取得した復元指標を用いて、前述の選択確率Ｐ_uhをパケットごとに算出する（Ｓ３１６）。

次に、パリティ生成部２０８は、符号化ブロック３１０の中から、選択確率Ｐ_uhにしたがってＤ個のパケットを選択する（Ｓ３１８）。

次に、パリティ生成部２０８は、選択されたＤ個のパケットについて、対応するビット毎に排他的論理和をとることでパリティを算出する（Ｓ３２０）。

次に、パリティ生成部２０８は、算出されたパリティを含むパリティパケットを生成し、パリティストリーム３３０に追加する。その後、パリティ生成部２０８は、パリティストリーム３３０のストリーム長がＭ以上か否かを判定する（Ｓ３２２）。

判定の結果、パリティストリーム３３０のストリーム長がＭ以上であれば（Ｓ３２２でＹｅｓ）、パリティ生成部２０８は、この符号化ブロック３１０に対するパリティストリームの生成処理を中止し、必要に応じて新たな符号化ブロックについてのパリティストリームの生成を開始する。

一方、パリティストリーム３３０のストリーム長がＭ未満であれば、パリティ生成部２０８は再度、ステップＳ３１８からの処理を繰り返すことで、パリティパケットを生成する（Ｓ３２２でＮｏ）。

以上述べたように、本実施の形態に係る動画像伝送システム１００が備える符号化装置２００は、複数の動画像ストリームを複数の伝送路を介して伝送する動画像伝送システム１００が備える符号化装置２００であって、複数の動画像ストリームに含まれる複数のデータパケットの各々について、重要度がより高いデータパケットほど、及び、複数の伝送路のうちパケットロス率がより高い伝送路を介して伝送される動画像ストリームに含まれるデータパケットほど、より大きくなるように復元指標を算出する復元指標算出部２１０と、より大きな復元指標が割り当てられたデータパケットほど、より高い確率でパリティパケットを生成する符号化を行うことでパリティストリームを生成するパリティ生成部２０８とを備えている。

また、複数の動画像ストリームは、フレーム間予測方式により圧縮されており、復元指標算出部２１０は、複数のデータパケットの各々について、複数の動画像ストリームに含まれる複数のフレームのうち他のフレームからの被参照数がより多いフレームを含むデータパケットほど、より高くなるように重要度を決定する重要度決定部２１２と、パケットロス率がより高い伝送路を介して伝送されるデータパケットほど、より大きくなるようにロス度を決定するロス度決定部２１４とを備え、重要度とロス度との和が大きいほど、より大きくなるように復元指標を算出する。

また、パリティ生成部２０８は、複数のデータパケットの中から１回の符号化で使用する１以上のデータパケットを符号化ブロックとして選択し、復元指標が大きいほど大きくなるように、符号化ブロックに含まれるデータパケットの各々について、当該データパケットが符号化される頻度に対応した確率である被選択確率を算出し、符号化ブロックの中から、事前に定められた値であるＤ個のデータパケットを被選択確率に従って選択し、選択されたＤ個のデータパケットを対応するビット毎に排他的論理和を算出することによってパリティパケットとして符号化し、符号化ブロックを対象とした符号化を、事前に定められた値であるＭ回繰り返すことによりＭ個のパリティパケットを含むパリティストリームを生成する。

また、こうした符号化装置２００を備えた動画像伝送システム１００は、複数の動画像ストリームのうち第１の動画像ストリームに含まれる複数のデータパケットである第１パケットと、複数の動画像ストリームのうち第２の動画像ストリームに含まれる複数のデータパケットである第２パケットとを、第１及び第２パケットに含まれる複数のデータパケットの各々について算出された復元指標に基づいて符号化することにより１以上のパリティパケットを生成し、パリティストリームとして伝送する符号化装置２００と、複数の伝送路のうち第１の伝送路を介して第１の動画像ストリームを取得し、複数の伝送路のうち第２の伝送路を介して第２の動画像ストリームを取得し、複数の伝送路のうち第３の伝送路を介してパリティストリームを取得し、第１の動画像ストリームに含まれる複数のデータパケットのうち伝送中にパケットロスが生じたデータパケットを、パリティストリームと、第１の動画像ストリームと、第２の動画像ストリームとを用いて復元する復号装置４００とを備える。

ここで、符号化装置２００は、第１及び第２パケットに含まれる複数のデータパケットの各々について、重要度がより高いデータパケットの復元指標ほど、及び、複数の伝送路のうちパケットロス率がより高い伝送路を介して伝送される動画像ストリームに含まれるデータパケットの復元指標ほど、より大きくなるように復元指標を算出する復元指標算出部２１０と、より大きな復元指標が割り当てられたデータパケットほど、より高い確率でパリティパケットを生成する符号化を行うことによりパリティストリームを生成するパリティ生成部２０８とを備える。

この構成によると、パスダイバーシティによる復元効率を得るために複数の伝送路を介して動画像ストリームを伝送する場合において、符号化側は、伝送路毎に異なるパケットロス率と、パケット毎に異なる動画像品質への影響を考慮し、パケットが損失した場合の復元のされやすさをパケット毎に管理することができる。その結果、パリティパケットの送信によるネットワークへの負担を最小限に抑えつつ、動画像ストリームの映像品質を一定水準以上に管理することが可能となる。

また、複数の動画像ストリームに渡って生成されたパリティパケットを含むパリティストリームを、動画像ストリームとは別に送ることで、パケットのバーストロスに強い誤り訂正（復元）が可能となる。

さらに、パリティストリームに、パリティストリーム自身をＩｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ方式により符号化したパリティパケットを追加してもよい。パリティストリームにパリティパケットを含めることで、伝送データの復元率をさらに高めることができる。

なお、本発明の実施の形態１に係る復元指標算出部２１０は、重要度決定部２１２及びロス度決定部２１４の少なくとも１つを備えなくともよい。

例えば、ＥＥＮ１１０が備える復号装置４００が重要度決定部２１２及びロス度決定部２１４のうち少なくとも１つを備え、そこで決定された重要度及びロス度のうち少なくとも１つを、通信部１２２を介してパリティ生成部２０８に通知することによっても、符号化装置２００は前述と同様の効果を奏することができる。

以上、本発明の実施の形態１に係る符号化装置及び動画像伝送システムについて説明した。

次に、本発明の実施の形態２に係る符号化装置及び動画像配信システムについて説明する。

（実施の形態２）
本実施の形態に係る動画像配信システム１００は、パリティ生成部２０８がパリティストリーム３３０を生成する際に使用するパラメタである、前述のＤ及びＭを最適に決定する処理部を設けている。この構成を追加することで、動画像伝送システム１００は、再生される動画像ストリームの映像品質を保ったまま、ネットワーク負荷を最小限に抑えることができる。

図１３は、本発明の実施の形態２に係る動画像伝送システム１００が備える符号化装置２００のブロック図である。

なお、実施の形態２に係る符号化装置２００の構成要素は、パケット数算出部２１６及びストリーム長算出部２１８が加わったこと以外は、同一の符号を付した実施の形態１に係る符号化装置２００の構成要素と同様である。

よって、以下、パケット数算出部２１６及びストリーム長算出部２１８について詳細に説明する。

パケット数算出部２１６は、パリティ生成部２０８が１つのパリティパケットを生成する際に使用するデータパケット３１３の個数を示すＤを決定する。

すなわち、パリティ生成部２０８は、符号化ブロック３１０に含まれるデータパケット３１３の中から、復元指標に基づいて決定される選択確率に従って、Ｄ個のデータパケット３１３を決定し、その排他的論理和を算出する。

Ｄの決定については、以下のこと考慮する必要がある。すなわち、Ｄが大きいほど復元対象となるデータパケット３１３の数が増加する。しかし、１つの損失パケットを復号装置４００で復元するには、その損失パケット以外の全てのデータパケット３１３を復号装置４００が正しく受信できなければならない。よって、Ｄが大きいほど損失パケットを復元できる確率は減少する。

ストリーム長算出部２１８は、このトレードオフを考慮した以下の処理により、最適なＤを決定する。

なお、以下の説明において、１つの符号化ブロック３１０に含まれるデータパケット３１３に対し、復号装置４００は、全ての損失パケットが復元されるか、どのパリティパケットを用いても損失パケットが復元できなくなるまで、各復元ステップを繰り返すものとする。

また、各ステップでは、その時点で復元されうる全てのパケットが復号装置４００によって復元されるものとする。

また、前述の通り、ｘ番目の復元ステップでは、復号装置４００は、ｘ−１番目の復元ステップまでに復元された全てのパケットと、元々正しく受信されたパケットとを用いて、復元処理をすることができるものとする。

なお、１つのパリティパケットは１つのパケットしか復元できないので、パリティストリームの長さをＭとすると、復号装置４００は最大でＭ回の復元ステップを繰り返すことになる。

まず、復号装置による復元が失敗するのは、損失パケットの情報を含んでいるパリティパケットのいずれもが、その損失パケットを復元できなかった場合である。よって、ｘ回目の復元ステップにおける復元失敗確率ｆ_xmは、数式２で表される。ただし、Ｅ_xは、ｘ回目の復元ステップにおいて１つのパリティパケットが復元に成功する確率を表し、ｍは損失パケットの情報が含まれているパリティパケットの個数を表す。

符号化ブロック３１０に含まれる全てのデータパケット３１３の個数をＮとすると、１つのデータパケット３１３がＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式により符号化される確率の平均値Ｐは、次の数式３により算出される。ここで、Ｉ及びＪの意味は、前述の数式１と同様である。

次に、符号化装置２００が行うＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式の符号化によって、１つのデータパケット３１３がｍ個のパリティパケットに符号化される確率であるφ_mは、次の数式４によって表される。

したがって、ｘ回目の復元ステップにおいて、復号装置４００が復元に失敗する確率ｆ_xは、次の数式５によって表される。

パリティパケットはＤ個のデータパケット３１３から生成されるので、復号装置４００が損失パケットを復元するためには、残りのＤ−１個のデータパケット３１３を復号装置４００が受信しなければならない。したがって、パリティパケットが復元に成功する確率Ｅ_xは、次の数式６により表される。ただし、ｌ_xはｘ回目の復元ステップが終了した後にあるパケットが損失している確率とし、特にｌ₀を、復号装置４００が復元処理を行う前の元々のパケットロス率（すなわち、ＥＥＮ１１０における平均パケットロス率）とする。

以上より、ｆ_xは次の数式７により表される。

これを、ｌ_xを用いて表すと、次の数式８が得られる。

ここで、ｘ＝０とすると、ｌ₁は復号装置４００が復元処理を１ステップ行った場合の復元後のパケットロス率を表すので、ｌ₁を最小にするＤを求める。数式８の両辺をＤで微分し、ｌ₁をＤで微分した値が０となるＤ’を求めると、以下の数式９となる。なお、対数は自然対数である（以後、同様）。

ただし、数式９は、復元処理を１ステップ行った場合のＤの最適値である。前述の通り、実際には、復号装置４００は復元処理を数ステップ繰り返しうる。ここで、各ステップで復元されたデータパケットは、次のステップでの復号装置４００による復元処理に利用できる。復元に利用できるパケット数が多いほど、Ｄが大きなパリティパケットを復元できるため、復元処理を繰り返した場合のＤの最適値は、Ｄ’よりも大きくなる。

よって、最適なＤは、実数αを所定の値として以下の数式１０により求められる。

なお、αは環境に依存するが、実験的に、α＝３の場合が良好である。また、符号化装置２００による符号化の計算量を考えると、Ｄがあまりに多いことは好ましくない。よって、パケット数算出部２１６は、Ｄの上限値を３０に設定し、数式１０で得られた値と上限値３０のうち、小さい方をＤの値として出力してもよい。

以上の手順により、パケット数算出部２１６は、最適なＤを決定する。

なお、損失パケットを復元できないリスクは、複数の伝送路の中でもロス率の大きな伝送路のリスクに応じて大きくなる。したがって、伝送路間でパケットのロス率にばらつきが大きい場合には、最適なＤは数式９のＤ’よりも小さくなる傾向にある。

よって、伝送路間でのパケットのロス率のばらつきを考慮に入れると、パケット数算出部２１６は、次の数式１１によってＤを算出してもよい。なお、αの値は実験的に求めた適正値である３．５とし、ｓｄはストリーム間のロス率の標準偏差を表す。

図１４は、本発明の実施の形態に係るパケット数算出部２１６がｓｄ＝０．０５とした場合の数式１１を用いて算出するＤの値をプロットした図である。

例えば、ＥＥＮ１１０における平均パケットロス率が０．１程度ならば、符号化装置２００は、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式により、２０個程度のデータパケット３１３から１つのパリティパケットを生成すればよいことがわかる。

一方、ストリーム長算出部２１８は、１つの符号化ブロック３１０に対応する、パリティストリーム３３０の長さ（パリティストリーム３３０に含まれるパリティパケットの数）であるＭを決定する。

一般に、Ｍが大きくなると、復号装置４００における損失パケットの復元確率は向上する。しかし、Ｍを大きくすることは、パリティストリーム３３０のサイズを増大させ、その結果、ネットワークのトラフィック負荷が増大する。これは、動画像ストリームのように、ネットワークの遅延がサービス品質に与える影響が大きいアプリケーションでは、好ましくない。

一方、Ｍが小さい場合には、ＥＥＮ１１０は損失パケットの十分な復元ができない。

このトレードオフを解消するため、ストリーム長算出部２１８は、以下に導出する数式を用いて、最適なパリティパケット数Ｍを決定する。

なお、以下の導出においては、復号装置４００について、パケット数算出部２１６で述べたものと同様の前提をおく。

また、Ｍを決定する処理の導出において、数式８までは、Ｄを決定する数式と同様であるため説明を省略する。

数式８を参照して、ｌ_xが定数ｌ_cに収束すると仮定し、数式８をＭについて解くと、以下の数式１２が得られる。

このとき、収束値であるｌ_cに、ＥＥＮ１１０において品質を保証すべきパケットロス率（すなわち、動画像ストリームに含まれる全パケットのうち復号装置４００において復号できず最終的に損失するパケットの割合として許容できるパケットの損失率）を代入することで、パリティストリーム３３０の適切なパリティストリーム長（すなわち、パリティストリーム３３０に含めるべき適切なパリティパケット数）が得られる。

以上の手順で導出される数式１１を用いて、ストリーム長算出部２１８は、最適なＭを決定する。

すなわち、符号化装置２００は、さらに、複数の伝送路の前記パケットロス率の平均値が大きいほど、より小さくなるようにパラメタＤの値を算出するパケット数算出部２１６を備えている。

また、符号化装置２００は、さらに、パラメタＭを算出するストリーム長算出部２１８を備えており、ストリーム長算出部２１８は、Ｍを、符号化ブロックに含まれるデータパケットの数であるＮと、複数の伝送路のパケットロス率の平均値であるｌ₀と、Ｄと、動画像ストリームに含まれる全データパケットのうちパリティストリームを用いた復元によっても損失するデータパケットの割合として許容できる許容パケット損失率ｌ_cとを用いて、
Ｍ＝Ｎ×（ｌｏｇ_e（ｌ₀）−ｌｏｇ_e（ｌ_c））／（Ｄ×（１−ｌ_c）^(D-1)）
の式によって算出する。

以上の構成により、本実施の形態に係る動画像配信システム１００が備える符号化装置２００は、損失パケットの復元確率とネットワーク負荷のトレードオフが生じる符号化処理のパラメタ決定において、最適なパラメタを算出することができる。

その結果、ネットワーク負荷を最小限に留めながら、Ｉｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣ方式を用いて符号化されたパリティパケットを用いて損失パケットの復元確率を向上させることができる。よって、パケットのバーストロス及び参照フレームの損失が動画像全体の映像品質に与える影響を抑制可能な動画像伝送システムを提供することができる。

次に、上記のストリーム長算出部２１８を用いてパラメタＭを決定することによって得られる効果を検証したシミュレーション結果を示す。

図１５は、本発明の実施の形態２に係るストリーム長算出部２１８を用いた動画像伝送システム１００の性能評価シミュレーションの概要を示す図である。

図１５に示されるように、本シミュレーションでは、２０台のサロゲートと１台の符号化サーバ１２０が、ＥＥＮ１１０へストリームを伝送する。各伝送路におけるパケットのロス率であるｌ⁰〜ｌ¹⁹の値はそれぞれ異なり、シミュレーション開始時に平均ｌ_ave、標準偏差ｓｄの正規分布に従ってランダムに決定される。なお、ｌ²⁰は０とする。

図１６は、本発明の実施の形態２に係るストリーム長算出部２１８を用いた動画像伝送システムの性能評価シミュレーションに用いられた条件をまとめた図である。

図１６（Ａ）は、シミュレーションにおいて共通する設定を示す。

図１６（Ａ）に示されるように、シミュレーションにおいてパケットブロック３１１の大きさは１００パケットであり、１パケットのサイズは固定長で１５００Ｂｙｔｅｓである。

また、シミュレーションにおいて、１つのデータパケット３１３は複数の動画像フレームの情報を同時に持つことはないと仮定している。このため、動画像データをパケット化する際に、１パケットに含められる動画像データのサイズが固定長の１パケットのサイズよりも小さくなる場合には、余った領域はパディングした。

また、シミュレーションにおいては、解像度がＣＩＦであるｆｏｒｅｍａｎビデオシーケンスをＭＰＥＧ−２で符号化し、これをパケット化した。このとき、それぞれのピクチャタイプの情報を含むパケット数の比率は、Ｉ：Ｐ：Ｂ＝０．１５：０．５８：０．２７である。

図１６（Ｂ）は、シミュレーションにおいてパリティ生成部２０８がパリティパケットを生成する際のパラメタの既定値を示す。なお、目標パケットロス率ｌ_cは、通常求められるロス率よりも厳しい値である０．０４とした。

また、シミュレーションではロス度を決定する閾値Ｔｈ_jを０．０５、０．１の２段階とした。これに対応し、各伝送路におけるパケットロス率が０以上０．０５以下であれば、ロス度を０とし、パケットロス率が０．０５を超えて０．１以下であれば、ロス度を２とし、パケットロス率が０．１を超えていれば、ロス度を４とした。

図１７は、本発明の実施の形態２に係るストリーム長算出部２１８を用いた動画像伝送システムの性能評価シミュレーションの結果を示す図である。

図１７（Ａ）は、平均パケットロス率ｌ_aveを０．０２から０．２０まで変化させたときの、ＥＥＮ１１０での復元後受信率を示す。

ここで、復元後受信率とは、正常に受信されたデータパケット３１３の総数とパリティパケットを用いて復元されたデータパケット３１３の総数の和を、受信すべきデータパケット３１３の総数（すなわち、各サーバから送信されたデータパケット３１３の総数）で除算した値である。

凡例は、上から順に、重要パケットとそれ以外のパケットをまとめた場合（「平均」）、重要パケットのみで算出した場合（「重要」）、重要ではないパケットのみで算出した場合（「非重要」）、パケットの復元指標を考慮せずにＩｎｔｅｒ−Ｓｔｒｅａｍ ＦＥＣを適用した場合（「重要度なし」）、の４つの場合を示す。

図１７（Ａ）に示されるように、平均パケットロス率が高くなっても、重要パケットの復元後受信率は低下せず、高く保たれていることがわかる。一方、非重要パケットの復元後受信率は、平均パケットロス率が高くなるにつれ、急激に低下している。

この結果により、パリティ生成部２０８が復元指標を考慮したパリティストリームを生成することにより、パケット全体としての復元後受信率を下げることなく、重要なパケットの復元確率を向上させることが可能であることが示された。

図１７（Ｂ）は、平均パケットロス率と、ストリーム長算出部２１８により算出されたストリーム長Ｍの関係を示す図である。

縦軸は、１つの符号化ブロック（２０００個のデータパケット３１３を含む）に対応するパリティストリームに含まれるパリティパケットの数を示す。

図１７（Ｂ）に示されるように、伝送路におけるパケットロス率が低いときには、復元性能を維持したままストリーム長を小さく抑えることができている。

図１７（Ｃ）は、パリティ生成部２０８が復元指標を考慮した場合の、復元後受信率が一定値以上の動画像ストリームの割合と、平均パケットロス率との関係を示す図である。

図１７（Ｃ）に示されるように、復元後受信率が要求受信率である０．９５に達しているストリームの割合は、平均パケットロス率に関わらず、ほぼ９割前後である。

復元後受信率が０．９５に達する場合、Ｉｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣを併用することで、ＥＥＮ１１０は動画像ストリームを完全に復元できる。よって、本実施の形態に係る動画像配信システムでは、ほぼ全てのパケットを完全に復元できることがわかる。

一方、図１７（Ｄ）は、パリティ生成部２０８が復元指標を考慮しない場合の、復元後受信率が一定値以上の動画像ストリームの割合と、平均パケットロス率との関係を示す図である。

図１７（Ｄ）に示されるように、復元後受信率が要求受信率である０．９５に達しているストリームの割合は、およそ７割前後である。

この結果より、本実施の形態に係る動画像配信システムにより、ネットワークのパケットロス率に応じてネットワーク負荷を抑制しつつ、高い復元確率を維持した動画像ストリームの伝送を実現することができると言える。

なお、実施の形態１又は２に係るパリティ生成部２０８は、Ｉｎｔｒａ−Ｓｔｒｅａｍ ＦＥＣ方式によりパリティストリーム３３０自身のパリティを１以上生成し、これをパリティストリーム３３０に付加してもよい。これにより、パリティストリーム３３０に含まれるパケットが伝送路でロスした場合であっても、ＥＥＮ１１０は損失したパリティパケットを復元できる。

なお、実施の形態１又は２に係るパリティ生成部２０８は、データパケット３１３全体からパリティストリーム３３０を生成する代わりに、映像パケット３１２のみからパリティストリーム３３０を生成してもよく、パリティパケット３１４のみからパリティストリーム３３０を生成してもよい。

なお、実施の形態１又は２に係るパリティ生成部２０８は、パリティストリーム３３０に含まれるパリティパケットの各々に、そのパリティを生成するために使用されたデータパケットの識別情報を含める代わりに、パリティストリーム３３０に含まれる全てのパリティパケットについて、その位置と、そのパリティパケットを生成するために使用されたデータパケット３１３の識別情報とを含むヘッダをパリティストリーム３３０に含めてもよい。

なお、実施の形態１又は２に係るパリティ生成部２０８がパリティパケットを生成するためにＤ個のパケットを選択する際の選択方法は、復元抽出としても、非復元抽出としてもよい。

なお、実施の形態１又は２に係るＥＥＮ１１０は、パケットロス率を符号化サーバ１２０に通知しなくともよい。例えば、符号化サーバ１２０は、オリジンサーバ１０２から符号化サーバ１２０への伝送路のパケットロス率を、符号化サーバ１２０とＥＥＮ１１０間の伝送路のパケットロス率の代わりに使用してもよく、又は、事前に定められる値を使用してもよい。

なお、実施の形態１又は２に係るＥＥＮ１１０がキャッシュサーバとしても機能する場合には、クライアントから要求された動画像がキャッシュされていない場合に限り、他のサーバへ動画像及びパリティストリームの送信を要求してもよい。

なお、実施の形態１又は２に係る重要度決定部２１２は、データパケット３１３の重要度を、そのデータパケット３１３がＩピクチャを含むか否かで決定したが、他の方法で対象パケットに含まれているフレームが他のパケットに含まれているフレームから参照されている数である被参照数を取得し、被参照数が大きいほど大きな重要度を割り当ててもよい。

なお、実施の形態１又は２に係るロス度決定部２１４は、１つの閾値を用いてロス度を決定したが、シミュレーションで示したように、ロス度決定部２１４は複数の閾値を用いてロス度を決定してもよい。

なお、実施の形態１又は２に係る復元指標算出部２１０は、復元指標ｕを、重要度とロス度の少なくとも１つを変数として含む任意の関数によって決定してもよい。

なお、実施形態１又は２で説明した動画像伝送システムが備える符号化装置、復号装置及びその他のサーバ・クライアント等は、コンピュータにより実現することが可能である。

図１８を参照して、動画像伝送システムが備える符号化装置、復号装置及びその他のサーバ・クライアント等は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６及びマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）装置４０及び通信モデム（図示せず）とを含む。

動画像伝送システムが備える符号化装置、復号装置及びその他のサーバ・クライアント等が行う処理であるプログラムは、コンピュータで読取可能な媒体であるＣＤ−ＲＯＭ４２に記憶され、ＣＤ−ＲＯＭ装置４０で読み取られる。又は、コンピュータネットワークを通じて通信モデム５２で読み取られる。

図１９は、動画像伝送システムが備える符号化装置、復号装置及びその他のサーバ・クライアント等を実現するコンピュータシステム７００のハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Central Processing Unit）４４と、ＲＯＭ（Read Only Memory）４６と、ＲＡＭ（Random Access Memory）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。

ＣＰＵ４４は、ＣＤ−ＲＯＭ装置４０又は通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラム及びデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク５０は、プログラム及びデータなどを記憶する。通信モデム５２は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８及びＣＤ−ＲＯＭ装置４０を相互に接続する。

さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。

また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明は、符号化装置に適用でき、特に、圧縮動画像のストリーム伝送等に適用できる。

３２ ディスプレイ
３４ コンピュータ
３６ キーボード
３８ マウス
４０ ＣＤ−ＲＯＭ装置
４２ ＣＤ−ＲＯＭ
４４ ＣＰＵ
４６ ＲＯＭ
４８ ＲＡＭ
５０ ハードディスク
５２ 通信モデム
５４ バス
１００ 動画像伝送システム
１０２ オリジンサーバ
１０６、１０８ サロゲート
１１０ ＥＥＮ
１１２、１１４ クライアント
１２０ 符号化サーバ
１２２ 通信部
１２４ キャッシュ部
１３２ 通信部
１３８ ロス率算出部
１４０ 第１の伝送路
１４２ 第２の伝送路
１４４ 第３の伝送路
１５０ 第１の動画像ストリーム
１５２ 第２の動画像ストリーム
１５４、３３０ パリティストリーム
２００ 符号化装置
２０８ パリティ生成部
２１０ 復元指標算出部
２１２ 重要度決定部
２１４ ロス度決定部
２１６ パケット数算出部
２１８ ストリーム長算出部
３１０ 符号化ブロック
３１１ パケットブロック
３１２ 映像パケット
３１３ データパケット
３１４、３３１ パリティパケット
３２０ 動画像ストリームＡ
３２２ 動画像ストリームＢ
３２４ 動画像ストリームＣ
３３２ パリティ値
４００ 復号装置
４０２ 入出力処理部
４０４ 要求入出力部
４０６ 要求処理部
４０８ ストリーム入出力部
４１０ 復号処理部
４１２ 第１復号部
４１４ 第２復号部
４１６ バッファ部

Claims (11)

1. 複数の動画像ストリームを複数の伝送路を介して伝送する動画像伝送システムが備える符号化装置であって、
   前記複数の動画像ストリームに含まれる複数のデータパケットの各々について、重要度がより高いデータパケットほど、及び、前記複数の伝送路のうちパケットロス率がより高い伝送路を介して伝送される動画像ストリームに含まれるデータパケットほど、より大きくなるように前記データパケットの復元に用いられる指標である復元指標を算出する復元指標算出部と、
   より大きな前記復元指標が割り当てられたデータパケットほど、より高い確率でパリティパケットを生成する符号化を行うことでパリティストリームを生成するパリティ生成部とを備える
   符号化装置。
2. 前記複数の動画像ストリームは、フレーム間予測方式により圧縮されており、
   前記復元指標算出部は、
   前記複数のデータパケットの各々について、前記複数の動画像ストリームに含まれる複数のフレームのうち他のフレームからの被参照数がより多いフレームを含むデータパケットほど、より高くなるように重要度を決定する重要度決定部と、
   前記複数のデータパケットの各々について、前記パケットロス率がより高い伝送路を介して伝送されるデータパケットほど、より大きくなるようにロス度を決定するロス度決定部とを備え、
   前記重要度と前記ロス度との和が大きいほど、より大きくなるように前記復元指標を算出する
   請求項１に記載の符号化装置。
3. 前記パリティ生成部は、
   前記複数のデータパケットの中から１回の符号化で使用する１以上のデータパケットを符号化ブロックとして選択し、
   前記復元指標が大きいほど大きくなるように、前記符号化ブロックに含まれる前記データパケットの各々について、当該データパケットが符号化される前記確率である被選択確率を算出し、
   前記符号化ブロックの中から、事前に定められた値であるＤ個のデータパケットを前記被選択確率に従って選択し、
   選択された前記Ｄ個のデータパケットの同じビット位置で排他的論理和を算出することによってパリティパケットとして符号化し、
   前記符号化ブロックを対象とした符号化を、事前に定められた値であるＭ回繰り返すことによりＭ個のパリティパケットを含む前記パリティストリームを生成する
   請求項１又は２に記載の符号化装置。
4. 前記符号化装置は、さらに、前記複数の伝送路の前記パケットロス率の平均値が大きいほど、より小さくなるように前記Ｄの値を算出するパケット数算出部を備える
   請求項３に記載の符号化装置。
5. 前記符号化装置は、さらに、前記Ｍを算出するストリーム長算出部を備えており、
   前記ストリーム長算出部は、前記Ｍを、前記符号化ブロックに含まれるデータパケットの数であるＮと、前記複数の伝送路の前記パケットロス率の平均値であるｌ₀と、前記Ｄと、前記動画像ストリームに含まれる全データパケットのうち前記パリティストリームを用いた復号によっても損失するデータパケットの割合として許容できる許容パケット損失率ｌ_cとを用いて、
   Ｍ＝Ｎ×（ｌｏｇ_e（ｌ₀）−ｌｏｇ_e（ｌ_c））／（Ｄ×（１−ｌ_c）^(D-1)）
   の式によって算出する
   請求項３又は４に記載の符号化装置。
6. 複数の動画像ストリームを複数の伝送路を介して伝送する動画像伝送システムであって、
   前記複数の動画像ストリームのうち第１の動画像ストリームに含まれる複数のデータパケットである第１パケットと、前記複数の動画像ストリームのうち第２の動画像ストリームに含まれる複数のデータパケットである第２パケットとを、前記第１及び第２パケットに含まれる複数のデータパケットの各々について算出された前記データパケットの復元に用いられる指標である復元指標に基づいて符号化することにより１以上のパリティパケットを生成し、パリティストリームとして伝送する符号化装置と、
   前記複数の伝送路のうち第１の伝送路を介して前記第１の動画像ストリームを取得し、前記複数の伝送路のうち第２の伝送路を介して前記第２の動画像ストリームを取得し、前記複数の伝送路のうち第３の伝送路を介して前記パリティストリームを取得し、前記第１の動画像ストリームに含まれる複数のデータパケットのうち伝送中にパケットロスが生じたデータパケットを、前記パリティストリームと、前記第１の動画像ストリームと、前記第２の動画像ストリームとを用いて復元する復号装置とを備えており、
   前記符号化装置は、
   前記第１及び第２パケットに含まれる複数のデータパケットの各々について、重要度がより高いデータパケットの前記復元指標ほど、及び、前記複数の伝送路のうちパケットロス率がより高い伝送路を介して伝送される動画像ストリームに含まれるデータパケットの前記復元指標ほど、より大きくなるように前記復元指標を算出する復元指標算出部と、
   より大きな前記復元指標が割り当てられたデータパケットほど、より高い確率でパリティパケットを算出する符号化を行うことでパリティストリームを生成するパリティ生成部とを備える
   動画像伝送システム。
7. 前記複数の動画像ストリームは、フレーム間予測方式により圧縮されており、
   前記復元指標算出部は、
   前記第１及び第２パケットに含まれる複数のデータパケットの各々について、前記第１及び第２の動画像ストリームに含まれる複数のフレームのうち他のフレームからの被参照数がより多いフレームを含むデータパケットほど、より高くなるように重要度を決定する重要度決定部と、
   前記復号装置から前記第１及び第２の伝送路における前記パケットロス率を取得し、前記復号装置へ伝送される前記第１及び第２の動画像ストリームに含まれる複数のデータパケットの各々について、前記パケットロス率がより高い伝送路を介して伝送されるデータパケットほど、より大きくなるようにロス度を決定するロス度決定部とを備え、
   前記重要度と前記ロス度との和が大きいほど、より大きくなるように前記復元指標を算出する
   請求項６に記載の動画像伝送システム。
8. 前記パリティ生成部は、
   前記第１及び第２パケットそれぞれから、前記復号装置より取得した開始シーケンス番号に対応する位置から事前に定められた数だけデータパケットを選択することにより、１回の符号化で使用する複数のデータパケットを符号化ブロックとして選択し、
   前記復元指標が大きいほど大きくなるように、前記符号化ブロックに含まれるデータパケットの各々について、当該データパケットが符号化される前記確率である被選択確率を算出し、
   前記符号化ブロックの中から、事前に定められた値であるＤ個のデータパケットを前記被選択確率に従って選択し、
   選択された前記Ｄ個のデータパケットの同じビット位置で排他的論理和を算出することによってパリティパケットとして符号化し、
   前記符号化ブロックを対象とした符号化を、事前に定められた値であるＭ回繰り返すことによりＭ個のパリティパケットを含む前記パリティストリームを生成する
   請求項６又は７に記載の動画像伝送システム。
9. 前記符号化装置は、さらに、前記第１及び第２の伝送路の前記パケットロス率の平均値が大きいほど、より小さくなるように前記Ｄの値を算出するパケット数算出部を備える
   請求項６〜８のいずれか１項に記載の動画像伝送システム。
10. 前記符号化装置は、さらに、前記Ｍを算出するストリーム長算出部を備えており、
    前記ストリーム長算出部は、前記Ｍを、前記符号化ブロックに含まれるデータパケットの総数であるＮと、前記第１及び第２の伝送路の前記パケットロス率の平均値であるｌ₀と、前記Ｄと、前記動画像ストリームに含まれる全パケットのうち前記パリティストリームを用いた復号によっても損失するパケットの割合として許容できる許容パケット損失率ｌ_cとを用いて、
    Ｍ＝Ｎ×（ｌｏｇ_e（ｌ₀）−ｌｏｇ_e（ｌ_c））／（Ｄ×（１−ｌ_c）^(D-1)）
    の式によって算出する
    請求項６〜９のいずれか１項に記載の動画像伝送システム。
11. 複数の動画像ストリームを複数の伝送路を介して伝送する動画像伝送システムが備える符号化方法であって、
    前記複数の動画像ストリームに含まれる複数のデータパケットの各々について、重要度がより高いデータパケットほど、及び、前記複数の伝送路のうちパケットロス率がより高い伝送路を介して伝送される動画像ストリームに含まれるデータパケットほど、より大きくなるように前記データパケットの復元に用いられる指標である復元指標を算出する復元指標算出ステップと、
    より大きな前記復元指標が割り当てられたデータパケットほど、より高い確率でパリティパケットを生成する符号化を行うことでパリティストリームを生成するパリティ生成ステップとを含む
    符号化方法。

Images