JP2004289295A

JP2004289295A - データ処理システム、データ処理装置及びデータ処理方法

Info

Publication number: JP2004289295A
Application number: JP2003076336A
Authority: JP
Inventors: Takeshi Miura; 剛三浦; Seiichi Kakinuma; 成一柿沼; Makoto Fujita; 真藤田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-03-19
Filing date: 2003-03-19
Publication date: 2004-10-14
Also published as: US20040184540A1

Abstract

【課題】狭帯域ネットワークを介したデータストリームの配信の際にも受信側にて即再生可能なデータ配信システムを提供することを目的とする。
【解決手段】受信データストリームが有する時刻情報ＳＣＲ、ＰＴＳ，ＤＴＳを帯域圧縮率に応じてそれらが示す時刻を延長更新する時刻情報更新部３４よりなるトランスコーダ２０を適用する構成である。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明はデータ処理システム、データ処理装置及びデータ処理方法に係り、特に動画データ等のデータストリームを主に処理するデータ処理システム、データ処理装置及びデータ処理方法に関する。
【０００２】
【従来の技術】
近年、映像・音声のデジタル信号処理技術がめざましく進歩し、それに伴いデジタル放送、放送と通信の融合の実現に向け世界各国でシステムの開発が進められてきている。このなかで最も重要な技術の一つが映像／音声の圧縮技術である。この圧縮技術として、例えばＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）で規格されている符号化圧縮方式がある。この符号化圧縮方式については、放送、通信、蓄積メディアの世界的な標準化に向けて検討がなされている。
【０００３】
又、近年、インターネットに代表される広域かつ多種多様なネットワークにおける画像配信サービスが急速に発展している。これらの画像配信は多くの場合、このＭＰＥＧ規格を利用したストリーム配信である。ところで画像などデータ量が大きいデータ配信において、予め大容量の伝送帯域が確保されているネットワークであれば問題はないが、一般に通信需要に対してインフラストラクチャは有限なため、十分な容量の伝送帯域を確保することが困難な場合が多い。又、一般的なネットワークはＬＡＮ，ＳＤＨ，ＩＳＤＮ，公衆回線等、多種多様な伝送路と伝送帯域よりなり、このような多様なネットワークでは、情報伝送元から伝送先へ至るまでに異なる伝送帯域を有する通信チャネルを経ることが多い。
【０００４】
このような状況下、情報伝送元で符号化した符号化レートよりも伝送先へ配信する際の伝送帯域が狭い場合、伝送先ではリアルタイムに映像表示することが出来ず、伝送元で符号化したＭＰＥＧストリームを全て受信してから再生を開始する等の対策が必要となり、そのような場合、著しくリアルタイム性を欠く結果となる場合がある。又、このような場合ＭＰＥＧストリームを全て受信するまで受信処理の中断が出来ず、その結果伝送先では不必要な映像まで受信せざるを得ない場合も生じ得る。又、複数の伝送元が存在し、その間で選択的に画像を表示するような場合、上記の如くデータストリームを全て受信してからその再生を開始する方法を採っていては使い勝手が悪くなってしまうことも考えられる。
【０００５】
例えば特許文献１にて開示されている方法の如く、受信データを所定時間受信して蓄積してその分について再生するという動作を繰り返す方法も考えられる。しかしながらこの場合も映像が度切れ途切れとなり、十分な画質の確保が困難な場合が生じ得る。
【０００６】
又、このような系でＭＰＥＧによるストリーム配信を行う場合、伝送元の装置と伝送先の装置との間にトランスコーダ装置を介挿することが行なわれる場合がある。このトランスコーダはデータストリームを伝送する場合、適用する通信チャネルのデータ伝送帯域に応じて適宜データストリームのビットレートの変換を行なう場合に適用される。即ち、符号化圧縮された動画／音声などのデジタル信号をビットレートの異なる伝送メディア間に亘って転送する場合に各伝送メディアのビットレートに応じて適宜ビットレート変換を行う装置として使用される。
【０００７】
従来はＭＰＥＧ圧縮符号化されたストリームをこのトランスコーダ装置によって受信し、一旦デコードして元の画像信号などに戻した後、更に伝送先の装置に適用されているビットレートで前記画像信号などを再度ＭＰＥＧ符号化圧縮し、その後伝送先の伝送帯域に適したビットレートで伝送するという方式を採っていた。この方式では更に伝送先にてデコードして元の画像信号等に戻して再生するため、一つのデータストリームに対してＭＰＥＧ符号化／復号化処理が繰り返されることになり、結果的に映像品質が著しく低下する場合がある。
【０００８】
又、特許文献２にて開示された技術の如く広帯域ネットワークから狭帯域ネットワークに送信する別の方法として、Ｉピクチャのみを送信する方法が考えられる。これはＭＰＥＧの特徴であるＩピクチャ（フレーム内符号化画像）、Ｐピクチャ（フレーム間順方向予測符号化画像）、Ｂピクチャ（双方向予測符号化画像）のうちのＩピクチャのみをトランスコーダで抜き出して送信する方法である。この方法によれば差分フレームであるＰ、Ｂピクチャに比べ、１フレームで独立して復号化可能で高画質であるＩピクチャのみを伝送し、他のピクチャは伝送しないことで効果的に伝送容量を削減できる。しかしながらこの方法ではＩピクチャ以外のピクチャは破棄することになる。
【０００９】
例えば最近発展しつつある所定の事象を広域ネットワークを介して監視する監視システムのネットワークにおける動画配信において、従来のトランスコーダによって適用する狭帯域ネットワークの帯域幅に応じて再符号化を行なう方法を採った場合、高圧縮を伴うためその分画質が低下する問題が考えられる。一方上記の如くＩピクチャのみを抜粋して送信する場合、表示されるフレーム自体は高画質であるが、この方法では上記の如くフレームの間引きを行うため、結果として飛び飛びの画像となり、監視上重要な情報（例えば、交通事故の監視システムの場合衝突の瞬間を写したフレーム、逃走車のナンバーが大きく写ったフレーム、店内防犯監視システムの場合犯人が罪を犯す瞬間のフレーム等）が欠落する事態が生じ得る。このように特に監視システムに対する適用の場合等フレームの欠落が許されない動画配信処理システムにおいては高画質であり且つフレーム間引きせずに配信し、受信側では可能な限りリアルタイム表示に近い状態で表示可能なシステムが望まれる。
【００１０】
このように、利用帯域が制限されたネットワークにおけるトランスコーダを介したＭＰＥＧストリーム配信システム等において利用可能帯域に合わせてビットレートを変換した上でデータ配信を行う場合、画像の解像度又は画質を低下させる空間圧縮、或いは表示される画像のフレームは高画質だが単位時間当たりの表示フレーム枚数を低下させる、即ちフレームを間引く時間圧縮を行った場合、いずれの場合も送信元の情報が帯域の制限に応じて削減されて配信されることとなる。
【００１１】
【特許文献１】
特開昭６４−５７８８７号公報
【００１２】
【特許文献２】
特開平１１−１７７９８６号公報
【００１３】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みてなされたものであり、不十分な情報伝送帯域を使用してデータストリームを転送する際、データストリームの情報を削減することなく、しかも可能な限りリアルタイム性を確保して転送先にて再生可能なデータ伝送処理システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
この目的達成のため本発明ではデータストリームの時刻情報をデータ転送レートの変換に合わせて更新し、転送レート変換後のデータストリームを復号化する際に当該更新された時刻情報に従ったタイミングにて復号化を行なう構成とした。このような構成とすることにより、データ転送レートの低下によってデータ転送先にデータが届く時間が遅延しても、その遅延分を見越して予め該当するデータが有する時刻情報を延長更新しておくことにより、当該延長更新後の時刻情報に従うタイミングにて復号する限り復号装置の基準クロック信号による時間経過と当該データが有する時刻情報との間の不整合の発生を防止可能である。
【００１５】
即ち、広帯域ネットワークから狭帯域ネットワークにＭＰＥＧストリーム等を送信する場合において、例えばＭＰＥＧストリームが有する時刻情報を送信に使用するネットワークの伝送帯域の圧縮率に応じて変更するため、送信される映像の内容を高画質、かつ低遅延で（大容量データを全て受信するまで待つことなく）で配信可能となる。又フレームを間引くことなくビットレート変換するため、狭帯域ネットワークの受信装置においても送信開始時間と同時に映像内容を見始めることが可能となる。その結果送信フレームの全てを受信、映像表示することが可能となる。
【００１６】
【発明の実施の形態】
以下に本発明の第１実施例の概要について説明する。最初にＭＰＥＧストリームのデータ構造について説明を行う。ＭＰＥＧビデオ、ＭＰＥＧオーディオ等、符号化されたストリームをその同期用情報も含めて統合化したものとしてＭＰＥＧシステムがある。このＭＰＥＧシステムに関連して図１０，図１１，図１２，図１３，図１４，並びに図１５にＭＰＥＧ２の規格書である勧告Ｈ．２２２．０にて規定されているＭＰＥＧ２符号化ストリームのデータフォーマットのシンタックスを示す。
【００１７】
図示の如くＭＰＥＧシステムは上位レイヤ（パック・レイヤ）と下位レイヤ（パケット・レイヤ）とに別れており、パックレイヤにはパックヘッダが含まれ（図１２はこのパックヘッダのシンタックスを示す）、パケットレイヤにはシステムヘッダ（図１３はシステムヘッダのシンタックスを示す）、パケット（図１４，図１５は上記パケットとしてのＰＥＳパケットのシンタックスを示す）が含まれる。
【００１８】
ＭＰＥＧストリームには再生時の同期の目的で、適用される復号器の時間基準を与える時刻基準参照値ＳＣＲ（ＳｙｓｔｅｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ：図１２の▲１▼）がパックヘッダに設定され、パケットには再生出力の時刻管理情報ＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ：図１５の▲２▼）及び復号の時刻管理情報ＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ：図１５の▲３▼）が夫々設定される。ＭＰＥＧストリームを受信した復号器側では基準となる同期信号（以下、「ＳｙｓｔｅｍＣｌｏｃｋ」と称する）を持っており、受信したストリームのＳＣＲの値をこのＳｙｓｔｅｍＣｌｏｃｋにセットし、これによってＳｙｓｔｅｍＣｌｏｃｋを校正する。
【００１９】
又上記ＤＴＳ，ＰＴＳは復号再生の単位（ビデオでは１フレーム、オーディオでは１オーディオフレーム）毎に設定されており（「ＰＴＳ＆ＤＴＳフラグ」によりそのパケットにＰＴＳ／ＤＴＳがあるかどうかの判別が可能となる）、復号器ではＳｙｓｔｅｍＣｌｏｃｋがＤＴＳの値になった時にそのパケットのデコードを実行し、ＰＴＳの値になった時にそのパケットの再生出力を行う。その結果符号化側との同期や映像／音声間の同期が確保される。
【００２０】
例えば図１６，図１７の左側の表はＭＰＥＧストリームに設定されている通常のＳＣＲ，ＰＴＳ，ＤＴＳの数値例を示す。同表において上側がストリームの最初の部分であり、下方向に進むに従って順次同ストリームの後続部を示す。即ち、この場合最初のＳＣＲの値が６６６ｍｓｅｃであるため、この時点でＳｙｓｔｅｍＣｌｏｃｋは６６６ｍｓｅｃにセットされる。その後ＳｙｓｔｅｍＣｌｏｃｋは同時刻６６６ｍｓｅｃを基準として実時間の経過に従って時刻を刻んでゆき、その時刻が図示の８７２ｍｓｅｃとなった時点で、同時刻の値のＰＴＳ／ＤＴＳを有する最初のＰＥＳパックに含まれた画像（Ｖｉｄｅｏ）フレームデータが復号再生される。その後ＳｙｓｔｅｍＣｌｏｃｋは同様にして時刻を刻み、次にＳｙｓｔｅｍＣｌｏｃｋ時刻が図示の９０６ｍｓｅｃとなった時点で次の対応するＰＴＳ／ＤＴＳを有する画像フレームが復号再生される。以降同様にしてＳｙｓｔｅｍＣｌｏｃｋ時刻の進行に従って対応する画像フレームが順次復号再生されてゆく。
【００２１】
ここでトランスコーダで受信したＭＰＥＧストリームを全て狭帯域ネットワークを介して配信する場合を想定する。この場合、与えられたＭＰＥＧストリームをそのままま狭帯域ネットワークに対して送信すると帯域圧縮率に応じてストリームのデータ転送レートが下がるため、送信先における画像フレームの到達時間が順次遅延することとなる。その結果送信先のデコーダ装置にて上記ＳｙｓｔｅｍＣｌｏｃｋと受信ストリーム中のＳＣＲ／ＰＴＳ／ＤＴＳの値との不整合が生じ、結果的に正常なデコード処理を行うことが不可能となる。
【００２２】
即ち図１６の例の場合デコード装置にて最初にストリームを受信した際にＳｙｓｔｅｍＣｌｏｃｋをＳＣＲ値６６６ｍｓｅｃにセットしてＳｙｓｔｅｍＣｌｏｃｋ時刻８７２ｍｓｅｃに対応するＰＴＳ／ＤＴＳ値を有する最初の画像フレームを復号再生した後、後続のフレームデータの到達が順次遅延した場合を想定する。その場合次のＰＴＳ／ＤＴＳ値９０６ｍｓｅｃを有する画像フレームデータがＳｙｓｔｅｍＣｌｏｃｋ時刻９０６ｍｓｅｃには未だ当該デコーダに届いていないという事態が発生し得る。この場合、既に到着済みで処理可能なデータのＰＴＳ／ＤＴＳ値とＳｙｓｔｅｍＣｌｏｃｋ値との間で不整合が生ずる。復号再生中のこのようなＳｙｓｔｅｍＣｌｏｃｋとＳＣＲ，ＰＴＳ，ＤＴＳとの間の不整合の発生を防止するためには、例えば全ストリームを一旦受信して保存後初めてこの保存データの復号再生を開始する等の対策が必要となり、前記の如く配信データ復号再生におけるリアルタイム性の著しい劣化が生じてしまう。
【００２３】
そこで本発明の第１実施例では、狭帯域ネットワークに対してストリームを配信するトランスコーダにおいて該当するストリームのＳＣＲ／ＰＴＳ／ＤＴＳの値を、当該狭帯域ネットワークを介して該当するストリームを受信して復号再生するデコーダにとって最適な時刻に更新する構成とする。このような構成とすることにより、当該デコーダでは、狭帯域ネットワークから受信後、このようにして更新されたＳＣＲ／ＰＴＳ／ＤＴＳにしたがったタイミングにて即時に受信映像／音声の再生処理を実施可能となる。
【００２４】
図１は本発明の第１実施例による、ＭＰＥＧエンコーダを用いたＭＰＥＧストリーム配信システムの構成を示すブロック図である。本システムはネットワークとして例えば６Ｍｂｐｓの広帯域ネットワークＮＷ１と２Ｍｂｐｓの狭帯域ネットワークＮＷ２とを利用する。広帯域ネットワークＮＷ１にはＭＰＥＧのストリームをライブ配信するＭＰＥＧエンコーダ１０、ＭＰＥＧエンコーダ１０からのストリームを一旦受信し、狭帯域ネットワークＮＷ２側に配信するＭＰＥＧトランスコーダ２０、ＭＰＥＧエンコーダ１０からのストリームを受信／デコード／表示するＭＰＥＧデコーダ６０／クライアント２００、ＭＰＥＧエンコーダ１０／ＭＰＥＧトランスコーダ２０等の符号化モードやライブ配信アドレス等の設定制御を行うサーバ１００等が接続されている。
【００２５】
又狭帯域ネットワークＮＷ２には広帯域ネットワークＮＷ１配下のＭＰＥＧエンコーダ１０からのストリームを受信し、狭帯域ネットワークＮＷ２側に配信する上記ＭＰＥＧトランスコーダ２０、ＭＰＥＧトランスコーダ２０からのストリームを受信／デコード／表示するＭＰＥＧデコーダ４０／クライアント３００等が接続されている。
【００２６】
本システムではサーバ１００が広帯域ネットワークＮＷ１に接続された装置群全体の制御を行う。即ちＭＰＥＧエンコーダ１０に対して符号化モード（ＭＰＥＧ１／２／４、符号化ビットレート、音声有り／無し指定等）やライブ配信アドレスの設定を行う。また、ＭＰＥＧトランスコーダ２０に対して、ライブ受信アドレスの設定や受信したＭＰＥＧストリームを狭帯域ネットワークＮＷ２に対して配信するライブ配信アドレスの設定を行う。更にサーバ１００は、ＭＰＥＧデコーダ６０やクライアント２００に対して、ライブ受信アドレスの設定を行う。
【００２７】
ＭＰＥＧエンコーダ１０はサーバ１００に対してその被監視箇所に置かれ、設定された符号化モードで入力映像を符号化し、符号化にて得られたＭＰＥＧストリームをサーバ１００によって設定されたアドレスに対して配信する。他方ＭＰＥＧトランスコーダ２０／ＭＰＥＧデコーダ６０／クライアント２００は事務所や監視センタ等に配置される。ＭＰＥＧトランスコーダ２０は、少なくとも２つ以上のネットワークインタフェースを有し、広帯域ネットワークＮＷ１から受信したＭＰＥＧストリームをデータ変換して狭帯域ネットワークＮＷ２へと配信する。又ＭＰＥＧデコーダ６０／クライアント２００では、受信したＭＰＥＧストリームをデコード、再生することによって遠隔地での映像による所定の事象の監視等を可能とする。
【００２８】
他方狭帯域ネットワークＮＷ２に属するＭＰＥＧデコーダ４０／クライアント３００は事務所、分室、ユーザの自宅等に配置される。尚この場合のライブ受信アドレス（つまりＭＰＥＧトランスコーダ２０のライブ配信アドレス）の設定は、各端末２００にて行うものとする。又ＭＰＥＧデコーダ４０／クライアント２００では、受信したＭＰＥＧストリームをデコード、再生することにより、広帯域ネットワークＮＷ１上のＭＰＥＧエンコーダ２０からの送信される監視映像の監視員によるモニタリングを可能とする。
【００２９】
このように本実施例による動画ストリーム配信システムは所定の事象をビデオカメラによって撮影した映像によって監視する監視システムに対して適用される場合を想定している。この監視システムでは、特定の事象、例えば道路上の交通事故、店舗における不法侵入者、サイレン音等が図示しない所定の検出システム、即ち所定の要管理箇所に設置された画像センサ、音声センサ、ミリ波センサ等の何らかのセンサにて検出され事象発生情報が発行されてエンコーダ１０に供給される。又同時にその事象発生現場の映像、音声が図示しないビデオカメラにてリアルタイムに取得されてやはりエンコーダ１０に供給される。
【００３０】
尚本実施例では広帯域ネットワークＮＷ１としては、１００Ｂａｓｅ−Ｔや１０Ｂａｓｅ−ＴのＩＰネットワーク等を想定し、狭帯域ネットワークＮＷ２としては、無線ＬＡＮやＩＳＤＮ回線、ＰＨＳ回線等を想定している。
【００３１】
図２は上記ＭＰＥＧエンコーダ１０のブロック図を示す。このＭＰＥＧエンコーダは、入力映像のアナログ／デジタル変換を行う映像Ａ／Ｄ変換器１１、入力音声のアナログ／デジタル変換を行う音声Ａ／Ｄ変換器１２、入力されたデジタル映像／音声のＭＰＥＧ符号化を行うＭＰＥＧ符号化部１３、符号化されたＭＰＥＧストリームをリアルタイムにネットワークに配信するＭＰＥＧストリーム配信部１６、外部から何らかの事象が発生したことを通知する信号を受信しネットワークＮＷ１に配信する事象発生情報送信部１７、サーバ１００からの設定や蓄積画像取得要求を受け付けるサーバＩＦ部１４、サーバ１００からの設定によりＭＰＥＧ符号化部１３／ＭＰＥＧストリーム配信部１６／事象発生情報送信部１７を制御する設定制御部１５を有する。
【００３２】
このＭＰＥＧエンコーダ１０の初期の装置設定に関しては、サーバＩＦ部１４にてサーバ１００から受信した符号化モードやライブ配信アドレスを設定制御部１５にて解釈し、符号化モードをＭＰＥＧ符号化部１３に設定、ライブ配信アドレスをＭＰＥＧストリーム配信部１６に設定する。その後上記の如く外部から供給され入力された映像／音声を各Ａ／Ｄ変換器１１，１２にてデジタル変換した後ＭＰＥＧ符号化部１３にてサーバより設定された符号化モードで符号化を行う。符号化されたＭＰＥＧストリームはＭＰＥＧストリーム配信部１６からリアルタイムにネットワークＮＷ１に配信される。また、上記の如く事象発生情報としての信号が外部から供給され受信された場合にはこれが事象発生情報送信部１７からネットワークＮＷ１へと配信される。
【００３３】
図３は上記ＭＰＥＧトランスコーダ２０のブロック図を示す。同トランスコーダ２０は、ＭＰＥＧエンコーダ１０からのＭＰＥＧストリームをリアルタイムに受信するＭＰＥＧストリーム受信部２８、受信したＭＰＥＧストリームをＭＰＥＧ復号化するＭＰＥＧ復号化部２９、ＭＰＥＧ復号化されたデジタル映像データをアナログ化する映像Ｄ／Ａ変換器３０、ＭＰＥＧ復号化されたデジタル音声データをアナログ化する音声Ｄ／Ａ変換器３１、受信したＭＰＥＧストリームを狭帯域ネットワークＮＷ２に配信するか否かを選択する切替スイッチ３２、受信したＭＰＥＧストリームを一旦保管するＭＰＥＧストリームバッファ３３、受信したＭＰＥＧストリームをＭＰＥＧストリームバッファ３３に書き込むストリームバッファ書込部２６、ＭＰＥＧストリームバッファ３３からＭＰＥＧストリームを読み出すストリームバッファ読出部２５、ＭＰＥＧストリームの時刻情報を後述する方式にて更新する時刻情報更新部３４、ストリームバッファ３３から読出したＭＰＥＧストリームを狭帯域ネットワークＮＷ２に配信するＭＰＥＧストリーム配信部２３、ＭＰＥＧエンコーダ１０からの事象発生情報を受信する事象発生情報受信部２７、ＭＰＥＧデコーダ４０からの送信ＭＰＥＧストリームの時刻要求を受け付けるリクエスト受信部２４、サーバ１００からの設定を受け付けるサーバＩＦ部２１、サーバ１００からの設定によりＭＰＥＧストリーム受信部２８及びＭＰＥＧストリーム配信部２３を制御する設定制御部２２を有する。
【００３４】
同トランスコーダ２０における初期の装置設定に関し、サーバＩＦ部２１にてサーバ１００から受信したライブ配信アドレス／ライブ受信アドレスを設定制御部２２にて解釈し、それぞれのアドレスをＭＰＥＧストリーム配信部２３／ＭＰＥＧストリーム受信部２８に設定する。その後ＭＰＥＧストリーム受信部２８で受信したＭＰＥＧストリームはＭＰＥＧ復号化部２９でＭＰＥＧ復号化され、映像、音声のＤ／Ａ変換器３０，３１にて映像、音声出力が行われる。
【００３５】
一方、事象発生情報受信部２７にてＭＰＥＧエンコーダ１０からの事象発生情報を受信し、何らかの事象が発生したことが認識された場合、切り替えスイッチ３２が切り替えられ、ストリームバッファ書込み部２６によりＭＰＥＧストリームバッファ３３に受信ＭＰＥＧストリームを書き込む。ストリームバッファ読出し部２５ではＭＰＥＧストリームバッファ３３からＭＰＥＧストリームを読出し、必要に応じて時刻情報更新部３４にてその時刻情報が更新され、ＭＰＥＧストリーム配信部２３から狭帯域ネットワークＮＷ２へとＭＰＥＧストリームの配信が行われる。
【００３６】
図４は上記ＭＰＥＧデコーダ４０のブロック図を示す。同デコーダ４０は、ＭＰＥＧトランスコーダ２０からのＭＰＥＧストリームをリアルタイムに受信するＭＰＥＧストリーム受信部４７、受信したＭＰＥＧストリームをＭＰＥＧ復号化するＭＰＥＧ復号化部４８、ＭＰＥＧ復号化されたデジタル映像データをアナログ化する映像Ｄ／Ａ変換器４９、ＭＰＥＧ復号化されたデジタル音声データをアナログ化する音声Ｄ／Ａ変換器５０、受信したＭＰＥＧストリームを蓄積しておくＭＰＥＧストリームバッファ４４、受信したＭＰＥＧストリームをＭＰＥＧストリームバッファ４４に書き込むストリームバッファ書込部４６、ＭＰＥＧストリームバッファ４４からＭＰＥＧストリームを読み出すストリームバッファ読出部４５、ＭＰＥＧストリームの時刻情報を後述する方式にて更新する時刻情報更新部５２、リアルタイム受信中のＭＰＥＧストリームとストリームバッファ４４に蓄積されたＭＰＥＧストリームのいずれをデコードするかを選択する切り替えスイッチ５１、ＭＰＥＧトランスコーダ２０に対して送信ＭＰＥＧストリームの時刻要求を発行するリクエスト送信部４３、ユーザからの設定を受け付けるユーザＩＦ部４１、ユーザからの設定によりＭＰＥＧストリーム受信部４７及び切り替えスイッチ５１を制御する設定制御部４２を有する。
【００３７】
同デコーダにおける初期の装置設定に関し、ユーザから指定されたライブ受信アドレスが設定制御部４２にて解釈され、ＭＰＥＧストリーム受信部４７に設定する。ＭＰＥＧストリーム受信部４７で受信されたＭＰＥＧストリームはＭＰＥＧ復号化部４８でＭＰＥＧ復号化され、映像、音声のＤ／Ａ変換器４９，５０にて映像、音声出力が行われる。一方、ストリームバッファ書込部４６によりＭＰＥＧストリームバッファ４４に受信ＭＰＥＧストリームを書き込まれる。このようにして蓄積された受信ＭＰＥＧストリームはユーザからの指定により、ＭＰＥＧ復号化部４８にてＭＰＥＧ復号化され、映像、音声のＤ／Ａ変換器４９，５０にて映像、音声出力が行われることが可能である。
【００３８】
以上の構成を有する本発明の第１実施例の更に詳しい説明を以下に示す。
【００３９】
本実施例では、ＭＰＥＧエンコーダ１０から広帯域ネットワークＮＷ１に対して配信された高レート符号化ＭＰＥＧストリームをＭＰＥＧトランスコーダ２０経由で狭帯域ネットワークＮＷ２に対して再度配信し、狭帯域ネットワークＮＷ２経由でＭＰＥＧデコーダ４０にて配信ＭＰＥＧストリーム受信後に可能な限り早い映像再生を行うことを可能とするものである。
【００４０】
ここで、広帯域ネットワークＮＷ１上のＭＰＥＧエンコーダ１０ではサーバ１００から指定された符号化モードで符号化されたＭＰＥＧストリームを広帯域ネットワークＮＷ２上に配信し続けているものとする。また、外部からの事象発生情報信号が入力されれば、その事象発生情報を事象発生情報送信部１７から広帯域ネットワークＮＷ１へと配信する。事象発生情報の送信フォーマットについては、受信側で解釈できるものでさえあれば、特に具体的な種別等は問わない。
【００４１】
図５は上記トランスコーダ２０における受信時シーケンス、図６は同トランスコーダにおける送信時シーケンス、図７は時刻情報更新時シーケンスの夫々の動作フローチャートを示す。同図と共に以下にＭＰＥＧトランスコーダ２０による配信方式の機能、動作説明を行う。尚、本例では、映像のみのＭＰＥＧストリームが広帯域ネットワークＮＷ１に対して配信されている状態を想定する。
【００４２】
先ずトランスコーダ２０の受信処理について説明する（図５参照）。最初にステップＳ１にて広帯域ネットワークＮＷ１上に配信されているＭＰＥＧストリームを受信する。同時に、広帯域ネットワークＮＷ１から事象発生情報も受信し（ステップＳ２）、何らかの事象が発生したことを認識した場合には、受信ＭＰＥＧストリームをＭＰＥＧストリームバッファ３３に保存する（ステップＳ４、Ｓ５，Ｓ６）。本例では上記の如く音声データが無い場合を想定しているため、受信データストリームはＭＰＥＧストリームバッファ３３のうち、映像用バッファに書き込まれる（ステップＳ６）。又、通常、ＭＰＥＧトランスコーダ２０は映像監視センタの如くの箇所において設置されると考えられ、その場合受信ストリームはＭＰＥＧ復号化部２９にてＭＰＥＧ復号化がなされ、映像／音声Ｄ／Ａ変換器３０，３１を経由してＴＶモニタ等に出力される。
【００４３】
次にトランスコーダ２０の送信処理について説明する（図６参照）。送信処理は上述の受信処理とは独立に動作する。先ず、特に事象が発生していない場合（ステップＳ１１のＮｏ）は、何もしない。事象が発生している場合（Ｙｅｓ）、先ずＭＰＥＧストリームバッファ３３のうちの音声用バッファに音声データが格納されているかどうかを確認する（ステップＳ１２）。本例では音声データが無い場合を考えているため、音声データは格納されていない。従ってＭＰＥＧストリームバッファ３３のうちの映像用バッファからデータの読出しを行う（ステップＳ１４）。ＭＰＥＧストリームバッファ３３の映像用バッファにはシステムヘッダ等のシステム情報と映像データとが格納されている。
【００４４】
ＭＰＥＧストリーム内には上記時刻基準参照値、再生出力の時刻管理情報、復号の時刻管理情報等の時刻情報が設定されており、これらをそのまま狭帯域ネットワークＮＷ２へと配信した場合帯域圧縮率に応じてデータ転送レートが低下することによって上述の如くデータ転送遅延が発生する。その結果望ましい時刻にＭＰＥＧデコーダ４０で受信できず、上述の如く復号側のシステムクロックとの間で不整合が生ずるため正常に再生させることが出来ない場合が生ずる。この問題の解決のため、本実施例によるトランスコーダ２０では狭帯域ネットワークＮＷ２へＭＰＥＧストリームを配信する前に当該ＭＰＥＧストリームの上記時刻情報を更新する構成を有する。
【００４５】
以下にこのトランスコーダ２０による時刻情報更新処理について説明する（図７参照）。先ず、ＭＰＥＧストリームバッファ３３から読み出したデータがパックヘッダ、システムヘッダ、或いはビデオパケットかを判別する（ステップＳ２１、Ｓ２２）。尚、この場合当該ＭＰＥＧストリームバッファにはオーディオパケットは格納されていないものと想定している。上記っ判別の結果パックヘッダであった場合（ステップＳ２１のＹｅｓ）、上記特定の事象が発生してから最初のＳＣＲを保存する。即ち、事象が発生してから最初のＳＣＲは“ＳＣＲ_Ｉ”として保存する（ステップＳ２５）。それ以外の場合（ステップＳ２４のＮｏ）は、ＭＰＥＧストリームバッファ３３から読み出したＳＣＲ値を“ＳＣＲ_Ｂ”として保存する。
【００４６】
次に、ステップＳ２６にて時刻情報更新部３４にてＳＣＲの更新を行う。ここでＭＰＥＧエンコーダ１０で符号化された符号化レートを“ＲＡＴＥ_Ｂ”、狭帯域ネットワークＮＷ２の回線速度を“ＲＡＴＥ_Ｎ”、とすると、狭帯域ネットワークＮＷ２へ配信するＭＰＥＧストリームのＳＣＲ値を以下の数式にて得られる値に置き換える。
ＳＣＲ_Ｉ＋（（ＳＣＲ_Ｂ−ＳＣＲ_Ｉ）×（ＲＡＴＥ_Ｂ／ＲＡＴＥ_Ｎ））
即ち、符号化ストリームのデータレートと狭帯域ネットワークＮＷ２にて可能なデータ転送レートとの比の分、時刻情報ＳＣＲの時刻を延長する。図１６の例の場合、ＲＡＴＥ_Ｂ／ＲＡＴＥ_Ｎ＝３倍であり（即ち３倍の帯域圧縮に対応）、２行目に示すパケットにおいてはＳＣＲ_Ｉ＝６６６ｍｓｅｃに対してＳＣＲ_Ｂ＝６８４ｍｓｅｃであるため上式に当てはめると６６６＋（（６８４−６６６）×３）＝７２０ｍｓｅｃとなり、右側の３倍に変換後の対応する値が得られる。
【００４７】
一方、受信データがビデオパケットであった場合（ステップＳ２２のＮｏ）、時刻情報更新部３４はＭＰＥＧストリームバッファ３３から読み出したＰＴＳ値をＰＴＳ_Ｂ、ＤＴＳ値をＤＴＳ_Ｂとすると、狭帯域ネットワークへ配信するＭＰＥＧストリームのＰＴＳ値、ＤＴＳ値は、夫々以下に式にて得られる値に置き換えられる（ステップＳ２３）。
ＳＣＲ_Ｉ＋（（ＰＴＳ_Ｂ−ＳＣＲ_Ｉ）×（ＲＡＴＥ_Ｂ／ＲＡＴＥ_Ｎ））
ＳＣＲ_Ｉ＋（（ＤＴＳ_Ｂ−ＳＣＲ_Ｉ）×（ＲＡＴＥ_Ｂ／ＲＡＴＥ_Ｎ））
即ち、符号化ストリームのデータレートと狭帯域ネットワークＮＷ２にて可能なデータ転送レートとの比の分、時刻情報ＰＴＳ，ＤＴＳが示す時刻を夫々延長する。図１６の例では９行目に示すパケットにおいてＳＣＲ_Ｉ＝６６６に対してＰＴＳ／ＤＴＳ_Ｂ＝９０６であるため上式に当てはめると６６６＋（（９０６−６６６）×３）＝１３８６となり、右側の３倍に変換後の対応する値が得られる。
【００４８】
この処理の繰り返し（ステップＳ２７→Ｓ２１に戻る）によって該当するＭＰＥＧストリームの時刻情報が順次更新され、その結果例えば図１６、図１７に示す如くの更新後（右側）の時刻情報（タイムスタンプ）が得られる。本実施例ではこのようにストリームの各ヘッダ、パケットが有する時刻情報が該当する帯域圧縮率に応じて適宜延長されるため、当該帯域圧縮によってデータ転送レートが低下して結果的に当該帯域圧縮率に応じてデータの送信先への到着が遅延した場合であっても、実際の処理指定時刻が延長されているため、当該延長後の指定時刻までには該当データが送信先に確実に到着していることになる。従って時刻情報による指定処理時刻までに該当するデータが送信先に到着せずに復号側のシステムクロックと指定処理時刻との間で不整合が生ずるという事態が回避可能である。
【００４９】
従ってＭＰＥＧデコーダ４０側ではネットワークＮＷ２からのストリーム受信直後から映像の正常な再生表示（但し図１８に示す如く各フレーム処理時刻の延長の結果再生速度は遅くなる）が可能となる。
【００５０】
図１８はこの場合の実際の映像再生状態の変化について説明するための図である。同図に示す如く、原画（同図（ａ））は３３ｍｓｅｃ毎に画像フレームが再生されるストリームであり、これを同図（ｂ）に示す６Ｍｂｐｓ符号化した場合には同じタイミングにて画像フレームの再生がなされる。ところが上記本発明の第１実施例の如く２Ｍｂｐｓの狭帯域への３倍帯域縮小のためにストリームの時刻情報を延長更新した場合、これを延長更新された時刻情報に従って再生すると各画像フレームの再生間隔は原画の３３ｍｓｅｃから３倍の１００ｍｓｅｃへと伸長され、結果的に映像の再生速度は３分の１となる。
【００５１】
次に本発明の第２実施例による符号化データストリーム伝送システムについて説明する。上述の本発明の第１実施例におけるシステムでは高ビットレートで符号化されたデータを狭帯域ネットワークＮＷ２へ配信する際、広帯域ネットワークＮＷ１から受信したデータ量が多ければ多いほどＭＰＥＧトランスコーダ２０にて大きな容量のＭＰＥＧストリームバッファ３３が必要となる。即ち、特定事象発生時の広帯域ネットワークＮＷ１を介したデータ送信時間をＴとすると、ＭＰＥＧトランスコーダ２０で必要なＭＰＥＧストリームバッファ３３の容量サイズは、
（ＲＡＴＥ_Ｂ−ＲＡＴＥ_Ｎ）×Ｔ
で求められる。即ち、トランスコーダ２０にてデータ転送レートを低下させて再配信するため、エンコーダから受信されるデータ量とネットワークに対して送信するデータ量との間で差が生じ、その差の分をバッファに蓄積する必要があるのである。
【００５２】
基本的にはＭＰＥＧストリームバッファ３３がオーバーフローしないように事象発生時の広帯域ネットワークＮＷ１経由のデータ送信最大時間を決定すべきである。しかしながらより長時間のデータを送信したい場合、若しくは外部から入力される事象発生信号の受信タイミングと現在進行中のデータ処理の処理タイミングとの連携がうまく取れない場合等、予測外の状況によってバッファの容量が不足する場合が想定される。そのような場合ＭＰＥＧトランスコーダ２０にて適切なデータ削除（廃棄）処理が必要となる。
【００５３】
ここで周知の如くＭＰＥＧのストリームはフレーム内符号化画像Ｉピクチャ、フレーム間順方向予測符号化画像Ｐピクチャ、双方向予測符号化画像Ｂピクチャで構成されている。このＩピクチャを先頭にしたピクチャのグループをＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）と呼ぶ。このうちＩピクチャは単独でデコードが可能であるが、１ＧＯＰ内のＰピクチャ／Ｂピクチャについては、そのデコードのためには先頭のＩピクチャが必要である。
【００５４】
このようにＩピクチャは前後のピクチャが存在しなくともデコード可能であるため、Ｐ／Ｂピクチャを間引いたストリームは、コマ落ちは発生するがＩピクチャの画質は完全なストリームと何ら変わることはない。このため、再生時の画質は維持される。そこで、本発明の第２実施例では上述の第１実施例の機能構成に加え、蓄積すべきデータストリームの量が増大してトランスコーダ２０のＭＰＥＧストリームバッファ３３の容量が不足した場合等において、ＩピクチャだけでもＭＰＥＧストリームバッファ３３に蓄積可能な場合はＩピクチャのみ蓄積するものとし、更にバッファの容量不足が深刻となってＩピクチャさえも蓄積不可能な場合は該当するＧＯＰ全てを削除する処理を実施する。
【００５５】
尚、ＭＰＥＧビデオパケットはシーケンス層・ＧＯＰ層・ピクチャ層・スライス層・マクロブロック層・ブロック層に分かれている。ピクチャ層にピクチャタイプを示すＰＣＴ（ＰｉｃｔｕｒｅＣｏｄｉｎｇＴｙｐｅ）が用意されており、この情報により各パケットに関するＩ／Ｐ／Ｂ各ピクチャの判別が可能となる。
【００５６】
図８は本発明の第２実施例によるトランスコーダ２０おける上記のピクチャ削除を実施するシーケンスの動作フローチャートを示す。同図と共に、ＭＰＥＧトランスコーダのＭＰＥＧストリームバッファ管理方法について説明する。図５と共に説明したトランスコーダ２０の受信シーケンスにおいて、ＭＰＥＧストリームバッファ３３への書込みを行う直前に図８に示すピクチャ削除シーケンス処理を実施するものとする。
【００５７】
先ず、ステップＳ３１にて受信ＭＰＥＧストリームがＧＯＰの先頭かどうかを判断する。ＧＯＰの先頭である場合（Ｙｅｓ）は、ＭＰＥＧストリームバッファ３３の空きサイズ（許容蓄積データ量）が当該ＧＯＰサイズ以上かどうかを判別する（ステップＳ３２）。尚、ＧＯＰサイズはＭＰＥＧエンコーダ１０の符号化ビットレートに（１ＧＯＰの構成ピクチャ数／３０ピクチャ）を乗じることで得られる。
【００５８】
ＭＰＥＧストリームバッファの空きサイズがＧＯＰサイズ以上である場合（Ｙｅｓ）は、削除フラグを０にしておく（ステップＳ３３）。そうでない場合（Ｎｏ）、ＭＰＥＧストリームバッファの空きサイズとＶＢＶバッファサイズとを比較する（ステップＳ３４）。ここでＶＢＶバッファサイズとはＭＰＥＧストリーム内のシーケンス層に設定されており、１ピクチャのデータサイズがこれを上回ることはないサイズである。ＭＰＥＧストリームバッファ３３の空きサイズがＶＢＶバッファサイズ以上である場合（Ｙｅｓ）は削除フラグを１にし（ステップＳ３５）、そうでない場合（Ｎｏ）は、削除フラグを２にする（ステップＳ３６）。
【００５９】
削除フラグが０の場合（ステップＳ３７のＹｅｓ）は、少なくとも１ＧＯＰをＭＰＥＧストリームバッファ３３に格納可能なので、そのＧＯＰは全て同バッファ３３に書き込む（ステップＳ４１）。他方削除フラグが１の場合（ステップＳ３７のＮｏ且つステップＳ３８のＹｅｓ）は、ＩピクチャのみＭＰＥＧストリームバッファ３３に格納可能なので、Ｉピクチャのみ書き込む（ステップＳ３９、Ｓ４１）。又削除フラグが２の場合（ステップＳ３８のＮｏ）は、１ピクチャもＭＰＥＧストリームバッファに格納不可のため、ＧＯＰ全体を破棄する（ステップＳ４０）。このような動作を受信データの最後まで繰り返す（ステップＳ４１→Ｓ３１）。
【００６０】
このような本発明の第２実施例による処理により、例えば外部入力の事象発生信号処理とその時点の装置内部処理との連携がうまく取れない場合等でも、ＭＰＥＧストリームバッファ３３がオーバーフローしないようにＭＰＥＧトランスコード処理が可能となり、その結果トランスコーダからデータを受信するＭＰＥＧデコーダ４０では、バッファオーバフローによる著しい映像欠落等の深刻なエラーの無い映像表示が可能となる。
【００６１】
以下に本発明の第３実施例について説明する。上述の第１、第２実施例ではＭＰＥＧストリームが映像データのみの場合を想定したが、第３実施例では映像データ、音声データ両方が存在する場合を想定する。
【００６２】
映像データはそのデータの特性上、再生速度がある程度遅くても人間の目によってその映像内容を間違いなく認識可能であるが、他方音声データの場合、再生が遅延されると、或いは断続的な再生がなされると人間の耳では正確にその内容を聞き取って認識することが不可能となる。又本発明の実施例が事故監視システムに適用されている場合等を想定すると、事故発生時等には取あえずその音声だけでも聞いておきたいというニーズがある。このため、本実施例では音声データについて、既にストリームバッファ３３に溜まっている映像データより先に受信後即時に狭帯域ネットワークＮＷ２経由で配信する構成とする。その結果、音声データのタイムリー且つ良好な状態での再生を可能とするものである。
【００６３】
第３実施例において、上記処理との関連で、トランスコーダ２０による受信処理では、受信ストリームをＭＰＥＧストリームバッファ３３に格納する場合、システムヘッダ／映像データはＭＰＥＧストリームバッファ３３中の映像用バッファに格納するが、音声データはＭＰＥＧストリームバッファ３３中の音声用バッファに格納する（図５参照）。尚、ストリームを構成する各パケットにはそのパケットがＭＰＥＧビデオストリーム（映像）なのかＭＰＥＧオーディオストリーム（音声）なのかを判別するストリームＩＤ（図１４の▲４▼）が用意されており、この情報によってビデオ・オーディオの判別が可能となる。
【００６４】
又第３実施例では、トランスコーダ２０による送信処理において、事象発生時、ＭＰＥＧストリームバッファ３３の音声用バッファにデータがある場合、まずＭＰＥＧストリームバッファ３３の音声用バッファのデータを先に狭帯域ネットワークＮＷ２へ配信する。他方ＭＰＥＧストリームバッファ３３の音声用バッファにデータがなければ、先ずＭＰＥＧストリームバッファ３３の映像用バッファのデータ（システムヘッダ或いは映像データ）を狭帯域ネットワークへ配信する（図６参照）。上述の如く音声データは可能な限りリアルタイムに再生させたいため音声パケットのＳＣＲ値／ＰＴＳ値の更新は行わない。映像データは逆に音声データを先送りしたため、そのＳＣＲ値／ＰＴＳ値／ＤＴＳ値を後方にシフトさせる必要がある。
【００６５】
即ち音声の符号化レートをＲＡＴＥ_Ａとすると、この場合の狭帯域ネットワークへ配信する映像データのＭＰＥＧストリームのＳＣＲ値／ＰＴＳ値／ＤＴＳ値は夫々以下の式にて求められる値に更新する。
ＳＣＲ_Ｉ＋（（ＳＣＲ_Ｂ−ＳＣＲ_Ｉ）×（（ＲＡＴＥ_Ｂ＋ＲＡＴＥ_Ａ）／ＲＡＴＥ_Ｎ））
ＳＣＲ_Ｉ＋（（ＰＴＳ_Ｂ−ＳＣＲ_Ｉ）×（（ＲＡＴＥ_Ｂ＋ＲＡＴＥ_Ａ）／ＲＡＴＥ_Ｎ））
ＳＣＲ_Ｉ＋（（ＤＴＳ_Ｂ−ＳＣＲ_Ｉ）×（（ＲＡＴＥ_Ｂ＋ＲＡＴＥ_Ａ）／ＲＡＴＥ_Ｎ））
又、狭帯域ネットワークＮＷ２への１データ転送サイズが大き過ぎると音声パケットの狭帯域ネットワークへの配信処理が遅れることになる。そのため狭帯域ネットワークへの１データ転送サイズは広帯域ネットワークＮＷ１からの１データ転送サイズに対してＲＡＴＥ_Ｎ／ＲＡＴＥ_Ｂ倍以上縮小する必要がある。
【００６６】
このような第３実施例による処理により、狭帯域ネットワーク経由でデータストリームを受信したデコーダ４０では音声データをリアルタイムに再生することが可能となる。
【００６７】
以下に本発明の第４実施例について説明する。上述の第１乃至第３実施例ではＭＰＥＧトランスコーダ２０でＭＰＥＧストリームの時刻情報を更新することによって狭帯域ネットワークＮＷ２経由でデータストリームを受信するＭＰＥＧデコーダ４０は標準的な機能構成にて受信映像／音声の正常再生が果たせる。
【００６８】
他方ユーザ側には一旦再生が終わった後に、あらためて内容を確認したいというニーズがあり、これに対応するため、ＭＰＥＧデコーダ４０でのストリーム蓄積処理が必要となる。しかしながら上記の如く時刻情報が延長更新された状態の受信ＭＰＥＧストリームをそのままデコーダ４０のＭＰＥＧストリームバッファ４４に蓄積すると、蓄積データを再度再生して確認する場合にも映像再生速度は遅いものとなる。これに対し第４実施例では、一旦デコーダ４０にて蓄積された時刻情報延長更新状態のＭＰＥＧストリームの時刻情報を再度更新してリアルタイム再生可能にする構成とする。
【００６９】
図９は第４実施例によるデコーダ４０における受信シーケンスを示す。同図と共に以下に狭帯域ネットワーク配下のＭＰＥＧデコーダでのＭＰＥＧストリーム蓄積処理方式について説明する。
【００７０】
先ず、ネットワークから受信したＭＰＥＧストリームが音声パケットの場合（ステップＳ５１→Ｓ５２のＹｅｓ）、上記の如く送信元のＭＰＥＧトランスコーダ２０では当該ストリームの時刻情報を更新していないため、そのままＭＰＥＧストリームバッファ４４へ書き込みを行う（ステップＳ５３）。一方、ネットワークから受信したＭＰＥＧストリームが音声パケット以外の場合（ステップＳ５２のＮｏ）、送信元のＭＰＥＧトランスコーダで時刻情報が更新されているので、時刻情報更新部５２にて受信ＭＰＥＧストリームの時刻情報復旧処理を行う（ステップＳ５４）。
【００７１】
即ち、受信後、最初のＳＣＲはＳＣＲ_Ｉとして保存しておき、それ以外の場合、受信ＭＰＥＧストリームのＳＣＲ値、ＰＴＳ値、ＤＴＳ値を夫々ＳＣＲ_Ｎ、ＰＴＳ_Ｎ、ＤＴＳ_Ｎとし、当初ＭＰＥＧエンコーダ１０で符号化された音声以外の符号化レートをＲＡＴＥ_Ｂとし、ＭＰＥＧエンコーダ１０で符号化された音声符号化レートをＲＡＴＥ_Ａとし、狭帯域ネットワークＮＷ２の回線速度をＲＡＴＥ_Ｎとすると、受信ＭＰＥＧストリームのＳＣＲ値、ＰＴＳ値、ＤＴＳ値を以下の各数式にて得られる値に更新する。
ＳＣＲ_Ｉ＋（（ＳＣＲ_Ｎ−ＳＣＲ_Ｉ）×（ＲＡＴＥ_Ｎ／（ＲＡＴＥ_Ｂ＋ＲＡＴＥ_Ａ）））
ＳＣＲ_Ｉ＋（（ＰＴＳ_Ｎ−ＳＣＲ_Ｉ）×（ＲＡＴＥ_Ｎ／（ＲＡＴＥ_Ｂ＋ＲＡＴＥ_Ａ）））
ＳＣＲ_Ｉ＋（（ＤＴＳ_Ｎ−ＳＣＲ_Ｉ）×（ＲＡＴＥ_Ｎ／（ＲＡＴＥ_Ｂ＋ＲＡＴＥ_Ａ）））
即ち、この復旧更新の結果、各時刻情報ＳＣＲ、ＰＴＳ，ＤＴＳ値はトランスコーダ２０による更新前の値に戻されることになる。
【００７２】
次にＭＰＥＧストリームバッファ４４の音声用バッファに音声パケットが格納されている場合、上記より得られた受信ＭＰＥＧストリームのＳＣＲ値とＭＰＥＧストリームバッファ４４の音声用バッファの先頭に格納されている音声パケットのＳＣＲ値とを比較する（ステップＳ５５）。その結果蓄積されていた音声パケットのＳＣＲ値の方が以前の時刻を示すデータであれば（Ｙｅｓ）、ＭＰＥＧストリームバッファ４４の音声用バッファの先頭に格納されている音声パケットをＭＰＥＧストリームバッファ４４の映像用バッファへ書き込み（ステップＳ５６）、その後当該受信ＭＰＥＧストリームを同じくＭＰＥＧストリームバッファ４映像用バッファに書き込む（ステップＳ５７）。そうでなければ、ステップＳ５６をスキップして直接受信ＭＰＥＧストリームをそのままＭＰＥＧストリームバッファ４４の映像用バッファへ書き込む（ステップＳ５７）。このようにトランスコーダによる更新前の時刻情報へ復旧されたＭＰＥＧストリームのＳＣＲ値に従ってデータの順序を必要に応じて並べ替えてＭＰＥＧストリームバッファ４４の映像用バッファに書き込んでゆく。
【００７３】
この第４実施例による処理により、ＭＰＥＧストリームバッファ４４内には、広帯域ネットワーク配下のエンコーダ１０が配信したものと同じストリームが格納される。従って当該ストリームの再確認のための再生時には通常通りの再生が可能となる。尚、上記説明ではＭＰＥＧストリームを受信後の処理について説明したが、この例に限られず、受信後一旦蓄積したストリームを再度読み出して上述の処理同様に時刻情報の更新復旧処理及びデータの並べ替え処理を行うことも可能である。
【００７４】
以下に本発明の第５実施例について説明する。上記第１乃至第４実施例によれば高画質且つ最小限の遅延にて受信ストリームを再生可能となる。その際、大容量データを狭帯域ネットワークにて受信する際にも全て受信するまで待つ必要が無く、又フレームを間引く必要も無い。しかしながら一旦符号化されたＭＰＥＧストリームをその符号化レートより低レートの狭帯域ネットワーク経由にて配信するため、デコーダ４０で再生する映像は暫時に遅延が増加されたものとなる（図１８参照）。そこで本発明の第５実施例では、ユーザがデコーダ４０を介してトランスコーダ２０に対して指定再生時刻要求を送信し、適宜ユーザが望む時刻のＭＰＥＧストリームを配信可能とする。
【００７５】
即ち第５実施例によればユーザによって指定される指定再生時刻は、事象発生からの時間Ｔ_Ｒ（ｓｅｃ）で定義される。但し、
０ ≦ Ｔ_Ｒ ≦（事象発生から現在までの時間）
である。この指定再生時刻は、例えばＭＰＥＧデコーダ４０にて所定の事象に関する監視作業を行なっているユーザから要求されるものとする。
【００７６】
要求された指定再生時刻Ｔ_Ｒはデコーダ４０のユーザＩＦ部４１からリクエスト送信部４３を通ってトランスコーダ２０へと送出される。一方、ＭＰＥＧトランスコーダ２０では、ＭＰＥＧデコーダ４０からの指定再生時刻Ｔ_Ｒをリクエスト受信部２８により受信する。ここで要求される時刻に該当するデータは既に送信済みのものである可能性もあるため、ＭＰＥＧストリームバッファ３３内のＭＰＥＧストリームは送信後も廃棄せずに残しておくものとする。即ち本実施例では、ＭＰＥＧトランスコーダ２０において必要なＭＰＥＧストリームバッファ３３のサイズは、事象発生時の広帯域ネットワークＮＷ１を介するデータ送信時間をＴとした場合、ＲＡＴＥ_Ｂ×Ｔで求められる。
【００７７】
トランスコーダ２０では以下の処理が行われる。即ち、事象が発生してから最初のＳＣＲ値をＳＣＲ_Ｉとする。ここでＳＣＲ値は装置内では実際には９０ｋＨｚ相当、即ち１秒当たり９０，０００回カウントアップされる計数値で表される値である。そこでＭＰＥＧストリームバッファ３３内のシステムヘッダに設定されているパックヘッダのＳＣＲ値を検索し、上記ＳＣＲ_Ｉとの差分が９０，０００×Ｔ_Ｒ以上となるものを見出す。そしてそのＳＣＲ値をＳＣＲ_Ｊとして保存しておく。そしてストリームバッファ３３内のＳＣＲ_Ｊ以降のデータを順次ＭＰＥＧデコーダ４０に対して配信する。この場合に配信するデータストリームにおける各時刻情報ＳＣＲ値、ＰＴＳ値、ＤＴＳ値は、トランスコーダ２０の時刻情報更新部３４にて、夫々以下に示す数式で求められる値に更新される。
ＳＣＲ_Ｊ＋（（ＳＣＲ_Ｂ−ＳＣＲ_Ｊ）×（ＲＡＴＥ_Ｂ／ＲＡＴＥ_Ｎ））
ＳＣＲ_Ｊ＋（（ＰＴＳ_Ｂ−ＳＣＲ_Ｊ）×（ＲＡＴＥ_Ｂ／ＲＡＴＥ_Ｎ））
ＳＣＲ_Ｊ＋（（ＤＴＳ_Ｂ−ＳＣＲ_Ｊ）×（ＲＡＴＥ_Ｂ／ＲＡＴＥ_Ｎ））
上記以外の処理は、上記第３実施例におけるものと同様の処理とする。
【００７８】
この第５実施例による処理により、ユーザは再生画像において暫時増加する遅延時間の累積量が増えてきた際には最新時刻まで映像をスキップさせたり、或いはそのようにスキップさせた結果過剰にスキップさせてしまった場合には逆に再生画像を古い時点のものに戻したりといった操作が可能となる。その結果ユーザにとって最も望ましい時間帯の映像を見ることが可能となる。
【００７９】
このように本発明の実施例では広帯域ネットワークで受信し低帯域ネットワークを介してＭＰＥＧストリームを送信するトランスコーダにおいて、ＭＰＥＧストリームの時刻情報を送信に適用するネットワークの伝送帯域幅に対応させて変更する。それにより、送信される映像の内容を高画質、かつ低遅延で（大容量データを全て受信するまで待つことなく）、またフレームを間引くことなく狭帯域ネットワークを介して配信可能である。その結果狭帯域ネットワークを経て該当するデータを受けた受信装置においては送信元における送信時刻と同時に映像内容を見始めることが可能となり、送信フレームの全てを受信して映像表示することが可能となる。これにより、例えば複数の映像ソース（エンコーダ）が同時に存在するような場合にも映像ソース内容を順次確認しながら適宜不必要な映像であれば受信処理を中断して次の映像ソースの確認作業へと移行しながら最終的に最も望ましい映像ソースに最短時間で到達してそれを選択再生させることも可能となる。
【００８０】
又、ユーザからのリクエストにより、受信装置での累積映像遅延時間が多くなった場合に最新の映像を表示したり、逆に再確認のために古い映像に戻したりといったような細かな再生映像時間帯選択操作も可能となる。
【００８１】
本発明は以下の付記に示す構成を含む。
【００８２】
（付記１）
所定の符号化データストリームのデータ転送レートを変換するデータ転送レート変換部と、
該データ転送レート変換部によるデータ転送レート変換率に応じて当該所定の符号化データストリームが有する時刻情報を更新する時刻情報更新部と、
前記データ転送レート変換部にてデータ転送レートが変換され且つ時刻情報更新部にてその時刻情報が更新された符号化データストリームを復号する復号装置とよりなり、
前記復号装置は時刻情報更新部にて更新された時刻情報に応じたタイミングにて前記データ転送レート変換後の符号化データストリームを復号する構成とされたデータ処理システム。
【００８３】
（付記２）
前記データ転送レート変換部によるデータ転送レートの変換はデータ転送レートを下げるものであり、
前記時刻情報更新部による時刻情報の更新は上記データ転送レートの低下に応じて時刻情報が示す時刻を延長するものとされる付記１に記載のデータ処理システム。
【００８４】
（付記３）
前記符号化データストリームは単独で復号化可能なフレーム内符号化画像フレームと、その復号にはフレーム内符号化画像フレームのデータが必要な予測符号化画像フレームとよりなる映像データよりなり、
所定の条件によっては符号化データストリーム内のフレーム内符号化画像フレームのみを転送して復号するモードを適用する構成を有する付記１又は２に記載のデータ処理システム。
【００８５】
（付記４）
前記符号化データストリームが映像データと音声データとを含む場合、音声データを映像データより先に転送する構成とし、
更に音声データはその時刻情報を更新せずにそのまま転送する構成の付記１乃至３のうちのいずれかに記載のデータ処理システム。
【００８６】
（付記５）
上記復号装置は、時刻情報更新部にて時刻情報を更新された符号化データストリームを復号して再生する際に上記更新された時刻情報を再度更新して元の値に戻す再更新部よりなる付記１乃至４のうちのいずれかに記載のデータ処理システム。
【００８７】
（付記６）
更に符号化データストリームの時刻情報を指定する時刻指定部よりなり、
該時刻指定部によって指定された時刻以降の時間帯に該当する時刻情報を有する符号化データストリームについて前記時刻情報更新部にて時刻情報を更新して転送する構成の付記１乃至５のうちのいずれかに記載のデータ処理システム。
【００８８】
（付記７）
所定の符号化データストリームのデータ転送レートを変換するデータ転送レート変換部と、
該データ転送レート変換部によるデータ転送レート変換率に応じて当該所定の符号化データストリームが有する時刻情報を更新する時刻情報更新部とよりなるデータ処理装置であって、
前記データ転送レート変換部にてデータ転送レートが変換され且つ時刻情報更新部にてその時刻情報が更新された符号化データストリームは転送先装置にて復号されるものであり、その復号の際、前記時刻情報更新部にて更新された時刻情報に応じたタイミングにて前記データ転送レート変換後の符号化データストリームが復号される構成とされたデータ処理装置。
【００８９】
（付記８）
前記データ転送レート変換部によるデータ転送レートの変換はデータ転送レートを下げるものであり、
前記時刻情報更新部による時刻情報の更新は上記データ転送レートの低下に応じて時刻情報が示す時刻を延長するものとされる付記７に記載のデータ処理装置。
【００９０】
（付記９）
前記符号化データストリームは単独で復号化可能なフレーム内符号化画像フレームと、その復号にはフレーム内符号化画像フレームのデータが必要な予測符号化画像フレームとよりなる映像データよりなり、
所定の条件によっては符号化データストリーム内のフレーム内符号化画像フレームのみを転送するモードを適用する構成を有する付記７又は８に記載のデータ処理装置。
【００９１】
（付記１０）
前記符号化データストリームが映像データと音声データとを含む場合、音声データを映像データより先に転送するものとし、
更に音声データはその時刻情報を更新せずにそのまま転送する構成の付記７乃至９のうちのいずれかに記載のデータ処理装置。
【００９２】
（付記１１）
更に符号化データストリームの時刻情報の指定を受け、当該指定された時刻以降の時間帯に該当する時刻情報を有する符号化データストリームについて前記データ転送レート変換部にてデータ転送レートを変換し前記時刻情報更新部にて時刻情報を更新して転送する構成の付記７乃至１０のうちのいずれかに記載のデータ処理装置。
【００９３】
（付記１２）
符号化データストリームの転送を受けてこれを復号して再生するデータ処理装置であって、
転送される符号化データストリームはその時刻情報がデータ転送の際に適用されるデータ伝送路のデータ転送容量に応じて更新された上で転送されており、
当該符号化データストリームを受信して前記の如く更新された時刻情報を再度更新して元の値に戻す再時刻情報更新部と、
該再時刻情報更新部にて再度時刻情報が更新された符号化データストリームを当該再度更新された時刻情報に従って復号して再生するデータ処理装置。
【００９４】
（付記１３）
前記符号化データストリームが映像データと音声データとを含む場合、音声データが映像データより先に転送され、更にその際音声データはその時刻情報が更新されずにそのまま転送されており、
当該符号化データストリームを受信して前記再時刻情報更新部にて再度更新されて元に戻された時刻情報に従って映像データと音声データとの順序を適宜並べ替える順序並べ替え部よりなる付記１２に記載のデータ処理装置。
【００９５】
（付記１４）
所定の符号化データストリームのデータ転送レートを変換するデータ転送レート変換段階と、
該データ転送レート変換段階におけるデータ転送レート変換率に応じて当該所定の符号化データストリームが有する時刻情報を更新する時刻情報更新段階と、
前記データ転送レート変換段階にてデータ転送レートが変換され且つ時刻情報更新段階にてその時刻情報が更新された符号化データストリームを復号する復号段階とよりなり、
前記復号段階では時刻情報更新段階にて更新された時刻情報に応じたタイミングにて前記データ転送レート変換後の符号化データストリームを復号する構成とされたデータ処理方法。
【００９６】
（付記１５）
前記データ転送レート変換段階におけるデータ転送レートの変換はデータ転送レートを下げるものであり、
前記時刻情報更新段階における時刻情報の更新は上記データ転送レートの低下に応じて時刻情報が示す時刻を延長するものとされる付記１４に記載のデータ処理方法。
【００９７】
（付記１６）
前記符号化データストリームは単独で復号化可能なフレーム内符号化画像フレームと復号にはフレーム内符号化画像フレームのデータが必要な予測符号化画像フレームとよりなる映像データよりなり、
所定の条件によっては符号化データストリーム内のフレーム内符号化画像フレームのみを転送して復号するモードを適用する構成を有する付記１４又は１５に記載のデータ処理方法。
【００９８】
（付記１７）
前記符号化データストリームが映像データと音声データとを含む場合、音声データを映像データより前に転送するものとし、
更に音声データはその時刻情報を更新せずにそのまま間転送する構成の付記１４乃至１６のうちのいずれかに記載のデータ処理方法。
【００９９】
（付記１８）
時刻情報更新段階で時刻情報が更新された符号化データストリームを復号して再生する際に上記更新された時刻情報を再度更新して元の値に戻す再更新段階よりなる付記１４乃至１７のうちのいずれかに記載のデータ処理方法。
【０１００】
（付記１９）
更に符号化データストリームの時刻情報を指定する時刻指定段階よりなり、
該時刻指定段階にて指定された時刻以降の時間帯に該当する時刻情報を有する符号化データストリームについて前記データレート変換段階にてデータレートを変換し前記時刻情報更新段階で時刻情報を更新して転送する構成の付記１４乃至１８のうちのいずれかに記載のデータ処理方法。
【０１０１】
【発明の効果】
このように本発明によればデータ伝送路の使用可能伝送帯域にて制限されるデータ転送レートの低下率に応じて転送データが有する時刻情報を延長更新することにより、データ転送先では当該更新後の時刻情報に従って受信データを処理する限りにおいて常に正常に復号再生等の所定のデータ処理を実行可能となる。
【０１０２】
特に映像データ等のデータストリームを処理する場合、映像データはそれを構成する各フレームを間引くことなく再生する限りたとえその再生速度が遅くなってもそれを見る人間は正しく情報内容を把握出来る。この特性を利用してデータストリームが有する時刻情報を適宜延長更新した上で配信することによって受信側ではこの更新後の時刻情報による通常通りの復号再生処理を行うことで動作エラー等を生ずることなく通常の処理にて受信直後からの動画再生が達成され得る。
【図面の簡単な説明】
【図１】本発明の各実施例におけるシステム構成を示す図である。
【図２】図１に示すＭＰＥＧエンコーダのブロック図である。
【図３】図１に示すＭＰＥＧトランスコーダのブロック図である。
【図４】図１に示すＭＰＥＧデコーダのブロック図である。
【図５】図３に示すトランスコーダによる受信シーケンスの動作フローチャートである。
【図６】図３に示すトランスコーダによる送信シーケンスの動作フローチャートである。
【図７】図３に示すトランスコーダによる時刻情報更新シーケンスの動作フローチャートである。
【図８】図３に示すトランスコーダによるピクチャ削除シーケンスの動作フローチャートである。
【図９】図４に示すデコーダによる受信シーケンスの動作フローチャートである。
【図１０】ＭＰＥＧ２のプログラムストリームのデータフォーマットを示す図（その１）である。
【図１１】ＭＰＥＧ２のプログラムストリームのデータフォーマットを示す図（その２）である。
【図１２】ＭＰＥＧ２のプログラムストリームのデータフォーマットを示す図（その３）である。
【図１３】ＭＰＥＧ２のプログラムストリームのデータフォーマットを示す図（その４）である。
【図１４】ＭＰＥＧ２のプログラムストリームのデータフォーマットを示す図（その５）である。
【図１５】ＭＰＥＧ２のプログラムストリームのデータフォーマットを示す図（その６）である。
【図１６】本発明の実施例によるＭＰＥＧストリームの時刻情報の更新について数値例にて説明するための図（その１）である。
【図１７】本発明の実施例によるＭＰＥＧストリームの時刻情報の更新について数値例にて説明するための図（その２）である。
【図１８】本発明の実施例によるＭＰＥＧストリームの時刻情報の更新による再生速度の変化を説明するための図である。
【符号の説明】
１０ＭＰＥＧエンコーダ
２０ＭＰＥＧトランスコーダ
３４時刻情報更新部
４０ＭＰＥＧデコーダ
５２時刻情報更新部

Claims

所定の符号化データストリームのデータ転送レートを変換するデータ転送レート変換部と、
該データ転送レート変換部によるデータ転送レート変換率に応じて当該所定の符号化データストリームが有する時刻情報を更新する時刻情報更新部と、
前記データ転送レート変換部にてデータ転送レートが変換され且つ時刻情報更新部にてその時刻情報が更新されたデータストリームを復号する復号装置とよりなり、
前記復号装置は時刻情報更新部にて更新された時刻情報に応じたタイミングにて前記データ転送レート変換後のデータストリームを復号する構成とされたデータ処理システム。
前記データ転送レート変換部によるデータ転送レートの変換はデータ転送レートを下げるものであり、
前記時刻情報更新部による時刻情報の更新は上記データ転送レートの低下に応じて時刻情報が示す時刻を延長するものとされる請求項１に記載のデータ処理システム。
所定の符号化データストリームのデータ転送レートを変換するデータ転送レート変換部と、
該データ転送レート変換部によるデータ転送レート変換率に応じて当該所定の符号化データストリームが有する時刻情報を更新する時刻情報更新部とよりなるデータ処理装置であって、
前記データ転送レート変換部にてデータ転送レートが変換され且つ時刻情報更新部にてその時刻情報が更新された符号化データストリームは転送先装置にて復号されるものであり、その復号の際、前記時刻情報更新部にて更新された時刻情報に応じたタイミングにて前記データ転送レート変換後の符号化データストリームが復号される構成とされたデータ処理装置。
所定の符号化データストリームのデータ転送レートを変換するデータ転送レート変換段階と、
該データ転送レート変換段階におけるデータ転送レート変換率に応じて当該所定の符号化データストリームが有する時刻情報を更新する時刻情報更新段階と、
前記データ転送レート変換段階にてデータ転送レートが変換され且つ時刻情報更新段階にてその時刻情報が更新された符号化データストリームを復号する復号段階とよりなり、
前記復号段階では時刻情報更新段階にて更新された時刻情報に応じたタイミングにて前記データ転送レート変換後の符号化データストリームを復号する構成とされたデータ処理方法。
前記データ転送レート変換段階におけるデータ転送レートの変換はデータ転送レートを下げるものであり、
前記時刻情報更新段階における時刻情報の更新は上記データ転送レートの低下に応じて時刻情報が示す時刻を延長するものとされる請求項４に記載のデータ処理方法。