JP2002199344A

JP2002199344A - マルチメディア情報送信サーバ装置

Info

Publication number: JP2002199344A
Application number: JP2000394355A
Authority: JP
Inventors: Yasushi Unoki; 靖卯野木; Satoshi Akimoto; 智秋元; Jun Sato; 順佐藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-12-26
Filing date: 2000-12-26
Publication date: 2002-07-12

Abstract

(57)【要約】【課題】ストリーミング伝送において早送りや巻き戻し
といった特殊再生を行う際、クライアントに対して無駄
なデータを送信しないサーバ装置を提供すること。【解決手段】マルチメディア情報送信サーバ装置は、ク
ライアント端末２から送られてきた再生制御情報に基づ
いて再生開始可能点記憶部１２を検索し、再生所望点の
最寄りの再生可能点を算出した後、算出した再生可能点
からマルチメディア情報を送信する送信制御処理部１４
を備えている。再生制御情報は、クライアント端末が所
望する再生点に対応した情報であって、再生開始可能点
記憶部１２には映像情報に含まれるフレーム内符号化さ
れたフレーム（I-Frame）を含む多重化パケットの位置
または多重化パケットの番号が再生時刻情報と共に記憶
されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像、音声が多重
化されたマルチメディア情報をストリーミング伝送する
マルチメディア情報送信サーバ装置に関する。

【０００２】

【従来の技術】音声、映像、データ等を伝送するマルチ
メディア情報伝送の一形態として、マルチメディア情報
をサーバ装置にあらかじめ蓄積しておき、クライアント
端末からの要求に応じて情報を送信するものがある。こ
の際、クライアント端末側において、所望のマルチメデ
ィア情報をすべて受信してから再生を開始する方法と、
所望のマルチメディア情報をすべて受信する前に再生を
開始し、情報の受信と再生を並行して実行する方法とが
存在する。特に、後者の方法は、ストリーミング伝送、
ストリーミング再生と一般的に呼ばれているものであ
る。

【０００３】一般に、マルチメディア情報の伝送時に、
映像や音声等の原情報をそのままの形で送ることは、デ
ータ量が非常に大きくなってしまうことから現実的には
ない。したがって、何らかの手法で圧縮して伝送し、受
信時に展開することが一般的となっている。また、映像
と音声を比較すると、映像の情報量は音声のそれに比べ
て非常に大きいため、映像情報の圧縮は必須とされてい
る。

【０００４】映像情報の圧縮手法には様々なものが存在
するが、標準的な圧縮手法として、ＭＰＥＧ−２やＭＰ
ＥＧ−４といったものが使用されている。これらの特徴
として、映像の原情報であるフレーム情報を各々符号化
するだけでなく、ある符号化済みフレームの情報を用い
て次のフレームを符号化するといった方法を使用するこ
とが可能である。これは、時間軸方向での映像情報の冗
長度を利用しており、情報圧縮の上で大きな役目を果し
ている。

【０００５】例えば、ＭＰＥＧ−４を用いた圧縮におい
ては、あるフレーム情報を単独で符号化し(これを Iフ
レーム：intra frame と呼ぶ)、次のフレームは、このI
フレームの情報を元に差分を計算した結果のみを符号化
し(これを Pフレーム：predictive frame と呼ぶ)、さ
らに次のフレームは、このPフレームの情報を元にして
上述と同じ処理を繰り返すことで、時間軸方法での冗長
度を抑圧し、情報圧縮している。

【０００６】ここで、Pフレームは前フレームとの差分
情報のみを符号化しているので、フレームあたりの情報
量は小さくなる。一方Iフレームでは、該当フレームの
情報だけを元に符号化しているため、フレームあたりの
情報量は大きくなる。したがって、同等の品質をもって
伝送レートを小さくする場合、できるだけIフレームで
符号化すべきフレームが少ない方が、全体を通してみる
と画質の向上に繋がるといえる。

【０００７】さて、マルチメディア情報の途中から再生
する場合を考慮すると、Iフレームでは、単独のフレー
ムから情報が構成されているため、Iフレームから再生
することは可能である。一方、Pフレームでは、以前の
フレームからの差分情報を元に符号化されているため、
Pフレームから再生を開始することは不可能である。

【０００８】したがって、マルチメディア情報の途中か
ら再生するとき、ユーザが再生を所望する地点がPフレ
ームで符号化されていた場合は、マルチメディア情報に
おける次のIフレームが出現するまでは正常な再生表示
がされないこととなる。これは、ユーザにとってみる
と、再生を指示したのに再生されないという点で不満の
もとともなり得る。また、再生不可能な情報を、ネット
ワークを介して伝送するという点において、ユーザは無
駄な情報に対して課金されるということにもなり、サー
ビスを受ける側にとっては好ましくない状況といえる。

【０００９】従来のシステムにおけるストリーミング再
生では、クライアント端末から所望マルチメディア情報
の要求を受けたサーバ装置では、要求された情報をクラ
イアント端末に対して送信し、一方、クライアント端末
側では、受信したマルチメディア情報を受信して再生す
るのみであり、一時停止や早送り、巻き戻しのような特
殊再生を実行することは困難であった。

【００１０】これらの特殊再生については、サーバ装置
とクライアント端末との間で、非標準的なプロトコルを
用いることで対応可能であるが、様々なプラットホーム
が存在する昨今では、特定のサーバ装置と特定のクライ
アント端末のみでしか使用できないプロトコルを用いる
ことは、ユーザにとって不便を強いるものとなってい
た。

【００１１】

【発明が解決しようとする課題】上述したように、従来
のマルチメディア情報伝送では、ストリーミング伝送型
における特殊再生時には、再生可能点と再生所望点とが
一致していないことから、再生所望点から再生可能点ま
での間は、直前の画像、あるいは黒画面などのように、
クライアント端末にとっては意味を持たない画像を見る
しかなかった。

【００１２】また、クライアント端末にとって無意味で
ある、再生所望点から再生可能点までの間のデータが伝
送されていたため、無駄な伝送データ量が発生し、クラ
イアントの負担すべき通信量に影響していた。

【００１３】本発明の目的は、上記した事情に鑑みてな
されたもので、ストリーミング伝送型における早送りや
巻き戻しといった特殊再生を行う際、無駄なデータを送
信せず、再生可能なデータを送信できるマルチメディア
情報送信サーバ装置を提供することにある。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明のマルチメディア情報送信サーバ装置は、
映像、音声が多重化されているマルチメディア情報を蓄
積し、その蓄積されている情報をクライアント端末に送
信するものであって、マルチメディア情報中の再生開始
可能点を記憶する再生開始可能点記憶部と、前記クライ
アント端末からの再生制御情報を受信し、再生可能点か
らの情報を送信する再生制御手段を備えたことを特徴と
する。ここで、再生制御情報は、クライアント端末の所
望する再生点に対応した情報であって、前記再生制御手
段は、前記再生開始可能点記憶部を検索し、その再生所
望点の最寄りの再生可能点を算出し、算出された再生可
能点からマルチメディア情報を送信する。マルチメディ
ア情報における再生可能点とは、マルチメディア情報中
の映像情報に含まれるフレーム内符号化されたフレー
ム、すなわちI-Frameを含む多重化パケットの位置また
は多重化パケットの番号である。

【００１５】上記した構成を採用したことにより、再生
所望点に近接した再生開始点からマルチメディア情報の
送信を開始することが可能になるため、ストリーミング
伝送型においても早送りや巻き戻しといった特殊再生を
行う際、クライアントに対して無駄なデータを送信する
ことはなくなる。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００１７】図１は、本発明のマルチメディア情報送信
サーバ装置が用いられるマルチメディア情報伝送システ
ムの構成を示すブロック図である。図１に示すように、
ネットワークを介して、マルチメディア情報送信サーバ
装置１と、マルチメディア情報受信クライアント端末２
が存在する。

【００１８】マルチメディア情報送信サーバ装置１は、
マルチメディア情報蓄積部１１（図では「ＭＭ情報蓄
積」と表記）と、再生可能点管理データベース１２（図
では再生可能点管理ＤＢと表記）、制御情報受信処理部
１３、送信制御処理部１４を備えている。また、マルチ
メディア情報受信クライアント端末２は、マルチメディ
ア情報受信処理部２１（図では「ＭＭ情報受信処理部」
と表記）、再生制御入力処理部２２、ビデオ情報出力部
２３、音声情報出力部２４、再生制御方法表示部２５を
備えている。

【００１９】マルチメディア情報蓄積部１１には、図２
に示すような構造を持つマルチメディア情報が蓄積され
ている。図２では、１つのビデオストリームと１つの音
声ストリームを多重化し、１つのマルチメディアストリ
ーム（図中「多重化ストリーム」と表記）を生成する例
を示している。図２におけるV1,V2,V3はビデオストリー
ムをフレーム単位で符号化したパケットを、A1,A2,A3…
は音声ストリームをフレーム単位で符号化したパケット
をそれぞれ示す。

【００２０】符号化されたビデオストリームには、フレ
ーム内の情報のみを用いて符号化されたイントラフレー
ム(I-Frame)と、以前符号化されたフレームの情報を用
いて符号化されたフレーム(P-Frame)とが混在してい
る。P-Frameは、以前符号化されたフレームの情報を用
いて冗長度を圧縮できるため、I-Frameよりも符号化後
の情報を小さくすることができる。図２の例では、V1を
I-Frame、V2, V3をP-Frameとする。また、音声ストリー
ムは、固定時間内に固定の長さとして符号化されるとす
る。このように符号化されたビデオストリームを再生す
る際には、I-Frameの情報が必須となる。そして、スト
リーム中のI-Frameの先頭を再生開始点とする。

【００２１】一方、音声ストリームについては、フレー
ム間の情報を用いて符号化することはないため、特に再
生開始点を意識する必要はない。

【００２２】図２の中段には、前記のビデオストリーム
と音声ストリームを多重化したマルチメディアストリー
ムの構成例を示す。多重化ストリームはパケット単位で
構成され、各パケットの先頭には、ビデオと音声の各ス
トリームがどのように多重化されているかを示すヘッダ
が、ヘッダに続くペイロード部分には、音声パケットと
ビデオパケットを適当な方法で多重化されているものと
する。図２の例では、I-FrameであるV1パケットは複数
の多重化パケットM1,M2 に分割して多重化され、V2パケ
ットはM3に多重化されている。

【００２３】再生可能点データベース１２は、上記のマ
ルチメディア情報における再生可能点、すなわちIフレ
ームの位置を検出し、記憶する機能を持つ。

【００２４】制御情報受信処理部１３は、クライアント
からの再生制御情報を受信する機能を持つ。なお、クラ
イアントからの情報伝送手段として、本実施形態では、
HTTPにて規定されているPOSTメソッドを利用する。むろ
ん、クライアントからサーバに対して再生制御情報を送
信する手段であればいかなる手段でも構わない。

【００２５】送信制御処理部１４は、制御情報受信処理
部１３からの制御要求に基づき、データベース１２の情
報を用いて再生開始点を検出し、情報蓄積部１１に蓄積
されている情報を、再生開始点から送出する機能を持
つ。

【００２６】一方、マルチメディア情報受信クライアン
ト端末２におけるマルチメディア情報再生処理部２１
は、マルチメディア情報送信サーバ装置１からネットワ
ークを介して受信したマルチメディア情報を、ビデオと
音声の各情報に分離する機能を持つ。分離されたビデオ
情報は、ビデオ情報出力部２３において再生され、分離
された音声情報は、音声情報出力部２４において再生さ
れる。

【００２７】再生制御方法表示部２５は、ユーザが再生
方法を制御するための情報を表示する機能を持つ。たと
えば、再生開始や再生停止、一時停止、スキップなどの
再生制御指示をユーザに可能とするため、各機能に相当
するボタン画像を表示する。また、任意の位置からの再
生を可能とするための機能として、スライドバーを表示
する。図３にその表示例を示す。

【００２８】再生制御入力処理部２２は、再生制御方法
表示部２５に基づいてユーザが指定した制御方法を受け
付け、マルチメディア情報送信サーバ装置１に対して、
必要とされる指示を送信する機能を持つ。

【００２９】以下、上記した構成に基づくマルチメディ
ア情報送信サーバ装置１とマルチメディア情報受信クラ
イアント端末２の動作を説明する。

【００３０】いま、マルチメディア情報受信クライアン
ト端末２のユーザが、マルチメディア情報送信サーバ装
置１に蓄積されているマルチメディアストリームを受信
し、再生する方法としてストリーミング再生を考える。

【００３１】ストリーミング再生を選択した場合、マル
チメディア情報受信クライアント端末２では、マルチメ
ディアストリーム全体を受信する前に再生を開始するこ
とができる。したがって、マルチメディア情報受信クラ
イアント端末２は、マルチメディアストリーム全体を記
憶する必要が発生しないため記憶領域を小さくできる。

【００３２】マルチメディア情報受信クライアント端末
２は、マルチメディア情報送信サーバ装置１から受信し
たマルチメディアストリームを、マルチメディア情報再
生処理部２１にて、ビデオと音声の各情報に分離する。
分離されたビデオ情報は、ビデオ情報出力部２３におい
て再生され、分離された音声情報は、音声情報出力部２
４において再生される。

【００３３】ここで、再生の際、マルチメディアストリ
ームの全長があらかじめ判明している場合には、再生制
御方法表示部２５に示すスライドバーに、再生中の場所
を示すことができる。図４に、スライドバーにおける再
生場所表示の例を示す。

【００３４】図４において、全長が600秒のストリーム
を再生する例を示す。この場合、スライドバーの端点Ａ
がストリームの先頭を、端点Ｂがストリームの末尾を示
す。端点Ａから端点Ｂまでの再生時間を600秒としたと
きに、再生点が開始から100秒の位置にある場合には、
全体の六分の一を再生したことになるため、端点Ａか
ら、スライドバー全体の六分の一の地点を再生点として
表示する。同様に、200秒の位置を再生している場合、
スライドバー上の端点Ａから、スライドバー全体の六分
の二の地点を再生点として表示する。

【００３５】ここで、再生点が500秒の位置にある時点
で、ユーザが100秒の地点から再生したいとする。以
下、これを「スキップ再生処理」と呼ぶ。このとき、ユ
ーザは再生制御方法処理部２５のスライドバーを100秒
の位置にずらすことにより、再生制御入力部２２に対し
て、100秒の位置から再生するように指示する。すなわ
ち、スキップ再生処理により、100秒の位置にスキップ
することを指示する。

【００３６】再生制御入力処理部２２では、100秒地点
から再生することを認識すると、マルチメディア情報送
信サーバ装置１に対して、「100秒地点にスキップす
る」旨の情報として、図５に示す再生制御情報を送信す
る。

【００３７】図５は再生制御情報の一例である。図５に
示すように、スキップ先の情報として、「再生時刻」
（図では「時刻」と表記）、「パケット番号」、「スト
リーム位置」のいずれかを用いることができる。これ
は、再生制御入力部２２において認識した再生地点の管
理を、再生時刻あるいはパケット番号あるいはストリー
ム位置のいずれで行ってもよいことを意味する。図５に
おける「判断手法」は後述する。

【００３８】マルチメディア情報送信サーバ装置１の制
御情報受信処理部１３は、送信された再生制御情報を受
信／解析することにより、クライアントからの要求が
「100秒地点にスキップ」であることを検知し、その旨
を送信制御処理部１４に伝える。

【００３９】送信制御処理部１４では、伝えられた「10
0秒地点にスキップ」情報を受け付けると、送信中の、
マルチメディアストリームの送信処理を中断し、クライ
アントから指示された情報に基づいて送信開始点を探索
する。

【００４０】ここで、図６に本実施形態におけるマルチ
メディアストリームの構成を示す。図６は、600秒の再
生時間を必要とするストリーム全体の構成を示す。スト
リームは、ビデオストリームと音声ストリームが適切に
多重化されたパケット単位で構成されている。さらに図
６は、スキップ先である100秒地点付近、すなわち、90
秒地点から110秒地点のパケット構成を示すと共に、パ
ケット中のビデオストリームのうち、I-Frameが符号化
されている場所を示す。すなわち、99秒地点のパケット
と107秒地点のパケットに、I-Frameで符号化されている
ビデオストリームが存在している。その他の多重化パケ
ットに含まれるビデオストリームは、すべてP-Frameで
符号化されているものとする。

【００４１】本実施形態にあっては、「100秒地点にス
キップ」情報を受け付けた送信制御処理部１４は、マル
チメディアストリームの送信処理を中断し、クライアン
トから指示された情報に基づいて送信開始点を探索す
る。具体的には、マルチメディア再生可能点データベー
ス１２に格納されている再生可能点情報と、スキップ先
地点とを比較することにより、再生可能点であるI-Fram
eを含むパケットの位置を検出する。

【００４２】図７に、マルチメディア再生可能点データ
ベース１２に格納されている情報の例を示す。図７で
は、再生可能点としてI-Frameを含むパケット番号、該
当パケット番号の再生時刻、該当パケットのストリーム
先頭からの位置を示す。ここで特徴的なのは、I-Frame
を含むパケット番号、該当パケットのストリーム先頭か
らの位置に対応付けて再生時刻がデータとして記憶され
ていることである。

【００４３】図７において、100秒地点にスキップする
場合に、最寄りの再生可能点をデータベースから検索す
る処理を実行する。スキップ先の地点が再生可能点と一
致していれば、その地点を再生可能点とすることが可能
であるが、不一致の場合は、指定されたスキップ先か
ら、最適な再生可能点を探索する必要がある。ここでは
探索の条件として、「指定されたスキップ先地点直前の
再生可能点を選択する」こととする。この場合、再生時
刻フィールドとスキップ先地点とを比較し、登録されて
いるデータのうちの99秒地点を選択することになる。し
たがって、パケット番号990番のパケット、表現を変え
ると先頭から792000バイト地点からのストリームを送信
すればよい。

【００４４】この処理を実行することにより、マルチメ
ディア受信クライアントでは99秒地点以降のストリーム
を受信することになる。99秒地点のパケットにはI-Fram
eで符号化されたビデオストリームが存在しているた
め、即座に再生が可能となる。

【００４５】一方、もうひとつの探索条件として、「指
定されたスキップ先地点に最も近い再生可能点を選択す
る」ことも可能である。これは図５の再生制御情報にお
ける「判断手法」の項目が「最近」となっていた場合で
ある。スキップ先地点として104秒地点を選択した場合
を例にとると、再生時刻フィールドとスキップ先地点と
を比較し、スキップ先地点の直前の再生可能点と、スキ
ップ先地点の直後の再生可能点を抽出する。

【００４６】本例では、直前の再生可能点として99秒地
点が、直後の再生可能点として107秒地点が抽出される
ことになる。スキップ先地点とこれら２つの再生可能点
との時間差を計算すると、直前の再生可能点とは４秒、
直後の再生可能点とは３秒の違いがあることが分かり、
これにより、最もスキップ先地点に近いの再生可能点は
107秒地点であることが求められる。したがって、この
場合はパケット番号1070番のパケット、表現を変えると
先頭から856000バイト地点からのストリームを送信すれ
ばよい。

【００４７】ここに挙げた探索条件は一例であり、その
他の条件を設けることは何ら構わない。条件の選択はサ
ーバ装置側に任せても良いし、クライアントに選択機能
を持たせ、ユーザの指示によりどの条件を用いるかを選
択させてもよい。これは、前述した図５に示す再生制御
情報に「判断手法」の項目を設け、ユーザに選択させる
ことで実現可能である。また、上述した実施形態では、
再生制御情報のうち、時刻情報を用いて最適の再生可能
点を求めた例を示したが、パケット番号やストリーム位
置によって最適の再生可能点を求めてもよい。

【００４８】この他、本発明の要旨を逸脱しない範囲で
種々の変形実施が可能である。

【００４９】

【発明の効果】以上説明したように、本発明のマルチメ
ディア情報送信サーバ装置によれば、ストリーミング伝
送型における早送りや巻き戻しといった特殊再生を行う
際、クライアントに対して無駄なデータを送信せず、再
生可能なデータを送信することができる。

【図面の簡単な説明】

【図１】本発明のマルチメディア情報送信サーバ装置が
用いられるマルチメディア情報伝送システムの構成を示
すブロック図。

【図２】マルチメディア情報送信サーバ装置内のマルチ
メディア情報蓄積部１１に蓄積されたマルチメディア情
報の構造を示す図。

【図３】マルチメディア情報受信クライアント端末２内
の再生制御方法表示部２５における表示例を示す図。

【図４】再生制御方法表示部２５の表示例を示す図。

【図５】再生制御入力処理部２２からマルチメディア情
報送信サーバ装置１に対して供給される再生制御情報の
構成を示す図。

【図６】本実施形態におけるマルチメディアストリーム
の構成を示す図。

【図７】マルチメディア情報送信サーバ装置１内のマル
チメディア再生可能点データベース１２に格納されてい
る情報の例を示す図。

【符号の説明】

１・・・マルチメディア情報送信サーバ装置１１・・・マルチメディア情報蓄積部１２・・・再生可能点管理データベース１３・・・制御情報受信処理部１４・・・送信制御処理部２・・・マルチメディア情報受信クライアント端末２１・・・マルチメディア情報受信処理部２２・・・再生制御入力処理部２３・・・ビデオ情報出力部２４・・・音声情報出力部２５・・・再生制御方法表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者佐藤順神奈川県川崎市幸区柳町70番地株式会社東芝柳町工場内Ｆターム(参考） 5C053 FA23 GB29 HA21 JA24 LA06 LA07 LA11 LA15 5C064 BA07 BB05 BC01 BC10 BC18 BC23 BD02 BD03 BD05 BD08 BD14

Claims

【特許請求の範囲】

【請求項１】映像、音声が多重化されているマルチメ
ディア情報を蓄積し、その蓄積されている情報をクライ
アント端末に送信するマルチメディア情報送信サーバ装
置において、マルチメディア情報中の再生開始可能点を
記憶する再生開始可能点記憶部と、前記クライアント端
末からの再生制御情報を受信し、再生可能点からの情報
を送信する再生制御手段を備えることを特徴とするマル
チメディア情報送信サーバ装置。
【請求項２】前記再生開始可能点記憶部は、前記マルチ
メディア情報に多重化されている映像情報に含まれるフ
レーム内符号化されたフレームの位置を含む多重化パケ
ットの位置を再生開始可能点として記憶すると共に、前
記再生開始可能点は、前記多重化パケットの位置に対応
する再生時刻と関連付けて記憶することを特徴とする請
求項１記載のマルチメディア情報送信サーバ装置。
【請求項３】前記再生制御手段は、前記クライアント端
末からの再生制御情報に基づいて前記再生開始可能点記
憶部が記憶する再生開始可能点を検索し、検索の結果得
られた再生開始可能点を含む多重化パケットを起点とし
てマルチメディア情報を送信することを特徴とする請求
項１記載のマルチメディア情報送信サーバ装置。
【請求項４】前記再生開始可能点記憶部は、前記マルチ
メディア情報に多重化されている映像情報に含まれるフ
レーム内符号化されたフレームの位置を含む多重化パケ
ットの番号を再生開始可能点として記憶すると共に、前
記再生開始可能点は、前記多重化パケットの番号に対応
する再生時刻と関連付けて記憶することを特徴とする請
求項１記載のマルチメディア情報送信サーバ装置。