JP2015192230A - 会議システム、会議サーバ、会議方法及び会議プログラム - Google Patents
会議システム、会議サーバ、会議方法及び会議プログラム Download PDFInfo
- Publication number
- JP2015192230A JP2015192230A JP2014066859A JP2014066859A JP2015192230A JP 2015192230 A JP2015192230 A JP 2015192230A JP 2014066859 A JP2014066859 A JP 2014066859A JP 2014066859 A JP2014066859 A JP 2014066859A JP 2015192230 A JP2015192230 A JP 2015192230A
- Authority
- JP
- Japan
- Prior art keywords
- conference
- server
- bandwidth
- terminal
- sessions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000004891 communication Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 60
- 230000005540 biological transmission Effects 0.000 claims description 33
- 230000008054 signal transmission Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 24
- 239000002131 composite material Substances 0.000 description 14
- 238000000605 extraction Methods 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】複数の会議セッションが限られた帯域を同時に使用する場合に、効果的な帯域制御を保証することができるようにする。【解決手段】第1の会議サーバと複数の第2の会議サーバがカスケード接続している会議システムにおいて、第1の会議サーバが、確立した複数の会議セッションの使用帯域が複数の第2の会議サーバとの間の通信帯域を超える場合に、複数の会議セッションに係る各会議の会議情報に基づいて、複数の会議セッションのそれぞれに割り当てる通信帯域を制御する第1の帯域制御手段を備え、複数の第2の会議サーバのそれぞれが、第1の会議サーバにより割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する第2の帯域制御手段を備える。【選択図】図1
Description
本発明は、会議システム、会議サーバ、会議方法及び会議プログラムに関し、例えば、パケットネットワーク上の多地点ビデオ会議サーバにおける、会議システム、会議サーバ、会議方法及び会議プログラムに適用し得るものである。
例えば、多地点ビデオ会議サーバ(MCU: Multipoint Control Unit)は、ネットワーク上で複数の端末から送信される音声・映像を選択・合成して、各端末に転送することで、多地点間でビデオ会議を行うことを可能にする装置である。MCUを1台のマスタサーバと複数台のスレーブサーバから成るカスケード構成にして、各スレーブサーバに端末を接続することで、多数の端末が参加した大規模なビデオ会議を行うことが可能になる。
またビデオ会議の通信は多くの帯域を使用するため、ネットワークの輻輳を発生させやすく、それが遅延やパケットロスによる音切れや映像乱れなどの品質劣化の原因となる。これに対して、ビデオ会議の端末やサーバには、送信するパケットのレートを予め決められた値に制限したり、パケットロス率に応じて動的に送信レートを変えたりする、帯域制御機能が備えられている。
これに関連して以下の従来技術がある。
非特許文献1では、端末がパケットロス率や往復遅延時間などに応じて動的に送信レート制御(ARC: Adaptive Rate Control)を行う方法が示されている。
また、特許文献1の記載技術は、前述のカスケード構成されたサーバ間で、異なるレートの映像を1つの映像データに符号化できるスケーラブルビデオコーディング(SVC)を用いることで、各マスタサーバ・スレーブサーバ間の帯域が異なる場合でも、1つの映像データストリームで通信可能とするものである。
また、会議システムのリソースの有効利用に関する技術として、以下の従来技術もある。
特許文献2の記載技術は、新しい会議開始要求があったときに、既設の会議の状況に応じて要求の受付や既設の会議の終了を制御することで、会議リソースの有効利用を図るものである。
しかしながら、これら従来の帯域制御技術は個別のビデオ会議セッションに限定されて用いられるものであり、複数のビデオ会議セッションが限られた帯域を同時に使用する場合に、効果的な制御を保証するものではない。
ネットワークで輻輳を発生させない一番簡単な方法は、各ビデオ会議セッションで使用できる帯域を予め十分小さく制限しておくことである。しかし、その場合には、同時に使用する最大セッションを想定しておく必要があり、実際には使用されていない分の帯域も常に確保しておく必要があるなど効率的でないという問題がある。特許文献1の記載技術では、各マスタサーバ・スレーブサーバ間で異なる帯域を設定できるようになるが、複数セッションを考えると同様の問題がある。
また、非特許文献1の記載技術を用いて、1つのビデオ会議セッションに動的なレート制御を行うことができるが、複数のセッションで協調することはできない。そのため、特定のセッションが帯域の大部分を専有して、残りのセッションでは低品質な会議しかできなかったり、複数のセッションのレート制御が同じように行われると全てのセッションが同時に送信レートを上げたり下げたりして品質が安定しない、などの問題が発生する。
さらに、特許文献2の記載技術は、新たな会議開始要求時に、有用度の低い既設の会議を終了させることによって新規の会議の開設を可能とするものであり、ビデオ会議において帯域を共有して多くの会議の同時利用を可能にすることはできない、という問題がある。
カスケード構成においては、サーバ間はネットワーク的に離れている場合が多く輻輳が発生しやすいが、以上のように複数のビデオ会議が行われるときには、効果的な帯域制御方式はないのが現状である。
そのため、複数のビデオ会議セッションが限られた帯域を同時に使用する場合に、効果的な帯域制御を保証することができる会議システム、会議サーバ、会議方法及び会議プログラムが求められている。
かかる課題を解決するために、第1の本発明は、第1の会議サーバがカスケード接続により複数の第2の会議サーバと接続して、複数の会議に係る処理を行う会議システムにおいて、(1)第1の会議サーバが、確立した複数の会議セッションの使用帯域が複数の第2の会議サーバとの間の通信帯域を超える場合に、複数の会議セッションに係る各会議の会議情報に基づいて、複数の会議セッションのそれぞれに割り当てる通信帯域を制御する第1の帯域制御手段を備え、(2)複数の第2の会議サーバのそれぞれが、第1の会議サーバにより割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する第2の帯域制御手段を備えることを特徴とする会議システムである。
第2の本発明は、複数の会議サーバとカスケード接続をして、複数の会議に係る処理を行う会議サーバにおいて、確立した複数の会議セッションの使用帯域が複数の第2の会議サーバとの間の通信帯域を超える場合に、複数の会議セッションに係る各会議の会議情報に基づいて、複数の会議セッションのそれぞれに割り当てる通信帯域を制御する帯域制御手段を備えることを特徴とする会議サーバである。
第3の本発明は、マスタサーバとなる第1の会議サーバとカスケード接続する会議サーバにおいて、複数の会議セッションに係る各会議の会議情報に基づいて複数の会議セッションのそれぞれに通信帯域を割り当てる第1の会議サーバから取得した、各会議セッションに割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する帯域制御手段を備えることを特徴とする会議サーバである。
第4の本発明は、第1の会議サーバがカスケード接続により複数の第2の会議サーバと接続して、複数の会議に係る処理を行う会議方法において、(1)第1の会議サーバが、確立した複数の会議セッションの使用帯域が複数の第2の会議サーバとの間の通信帯域を超える場合に、複数の会議セッションに係る各会議の会議情報に基づいて、複数の会議セッションのそれぞれに割り当てる通信帯域を制御し、(2)複数の第2の会議サーバのそれぞれが、第1の会議サーバにより割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御することを特徴とする会議方法である。
第5の本発明は、複数の会議サーバとカスケード接続をして、複数の会議に係る処理を行う会議サーバの会議プログラムにおいて、コンピュータを、確立した複数の会議セッションの使用帯域が複数の第2の会議サーバとの間の通信帯域を超える場合に、複数の会議セッションに係る各会議の会議情報に基づいて、複数の会議セッションのそれぞれに割り当てる通信帯域を制御する帯域制御手段として機能させることを特徴とする会議プログラムである。
第6の本発明は、マスタサーバとなる第1の会議サーバとカスケード接続する会議サーバの会議プログラムにおいて、コンピュータを、複数の会議セッションに係る各会議の会議情報に基づいて複数の会議セッションのそれぞれに通信帯域を割り当てる第1の会議サーバから取得した、各会議セッションに割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する帯域制御手段として機能させることを特徴とする会議プログラムである。
本発明によれば、複数のビデオ会議セッションが限られた帯域を同時に使用する場合に、効果的な帯域制御を保証することができる
(A)第1の実施形態
以下では、本発明に係る会議システム、会議サーバ、会議方法及び会議プログラムの第1の実施形態を、図面を参照しながら詳細に説明する。
以下では、本発明に係る会議システム、会議サーバ、会議方法及び会議プログラムの第1の実施形態を、図面を参照しながら詳細に説明する。
(A−1)第1の実施形態の構成
図1は、第1の実施形態に係る多地点ビデオ会議システムの構成を示す構成図である。
図1は、第1の実施形態に係る多地点ビデオ会議システムの構成を示す構成図である。
図1において、第1の実施形態に係る多地点ビデオ会議システム100は、マスタサーバM、スレーブサーバA、スレーブサーバB、複数の端末a11、a12、a21、b11、b12、b21を有する。
この実施形態に係る多地点ビデオ会議システム100は、マスタサーバM、スレーブサーバA及びスレーブサーバBがカスケード接続されている。また、スレーブサーバ数や端末数や開催する会議室の数は特に限定されるものではない。
各端末a11、a12、a21、b11、b12、b21は、スレーブサーバA又はスレーブサーバBに接続して会議に参加する端末であり、既存のビデオ会議システムで使用されるものを適用することができる。
マスタサーバMは、開設する1又は複数の会議室に接続する端末の接続許可及びアドレス管理を行うゲートキーパ31と、多地点会議における音声データや映像データの相互変換を行うMCU32を有する。マスタサーバMは、スレーブサーバA及びスレーブサーバBから受信した映像データを会議室毎に合成し、その合成した映像データを、各会議室に接続する端末に送信するものである。
なお、マスタサーバMは、映像データに合わせて音声データを各会議室の端末から収集して合成し、送信するようにしても良い。また、各会議室を開催する端末は、スレーブサーバA及びスレーブサーバBとマスタサーバMと、SIPを用いて呼の接続を行うようにしても良いし、又はH.323準拠方式を用いて呼の接続を行うようにしても良い。
スレーブサーバA及びスレーブサーバBは、1又は複数の端末と接続すると共に、マスタサーバMと接続しており、開催された仮想会議室の音声、映像、データを、各会議室に参加する各端末及びマスタサーバMに授受するものである。
スレーブサーバA及びスレーブサーバBは、開催される各会議室に参加する端末の会議接続許可及びアドレス管理を行うゲートキーパ31を有する。また、スレーブサーバA及びスレーブサーバBは、各会議室に接続する端末から受信した画像データをマスタサーバMに送信したり、又はマスタサーバMから受信した会議室に係る合成データを、各会議室に接続する端末に送信したりするものである。
ここで、スレーブサーバAには、端末a11、端末a12、端末a21が接続しているものとする。また、スレーブサーバBには、端末b11、端末b12、端末b21が接続するものとする。
また、この多地点ビデオシステム100上で、会議室1、会議室2の2つのビデオ会議が開催されるものとする。会議室1には端末a11、端末a12、端末b11、端末b12がそれぞれ参加するものとする。会議室2には端末a21、端末b21が、それぞれ参加するものとする。
会議室1が開催されているときには、音声データ、映像データのセッションが、「マスタサーバM−スレーブサーバA間」、「マスタサーバM−スレーブサーバB間」、「スレーブサーバA−端末a11間」、「スレーブサーバA−端末a12間」、「スレーブサーバB−端末b11間」、「スレーブサーバB−端末b12間」をそれぞれ流れることになる。
同様に、会議室2が開催されているときには、音声データ、映像データのセッションが、「マスタサーバM−スレーブサーバA間」、「マスタサーバM−スレーブサーバB間」、「スレーブサーバA−端末a21間」、「スレーブサーバB−端末b21間」をそれぞれ流れることになる。
図2は、第1の実施形態に係るスレーブサーバA及びBを介して端末からマスタサーバMの方向への「画像P」の伝送を説明する説明図である。
図2において、「端末a11」→「スレーブサーバA」には「端末a11」の「P1」が伝送される。「端末a12」→「スレーブサーバA」には「端末a12」の「P2」が伝送される。「端末a21」→「スレーブサーバA」には「端末a21」の「P5」が伝送される。「スレーブサーバA」→「マスタサーバM」には「端末a11」の「P1」及び「端末a21」の「P5」が伝送される。
また、「端末b11」→「スレーブサーバB」には「端末b11」の「P3」が伝送される。「端末b12」→「スレーブサーバB」には「端末b12」の「P4」が伝送される。「端末b21」→「スレーブサーバB」には「端末b21」の「P6」が伝送される。「スレーブサーバB」→「マスタサーバM」には「端末b11」の「P3」及び「端末b21」の「P6」が伝送される。
なお、この実施形態では、スレーブサーバAが会議室1については、接続する「端末a11」及び「端末a12」のうち、「端末a11」の「P1」をマスタサーバMに伝送する場合を例示しているが、マスタサーバMに伝送する画像は特に限定されるものではなく、「端末a11」の「P1」及び「端末a12」の「P2」をマスタサーバMに伝送するようにしても良いし、又は、「端末a12」の「P2」をマスタサーバMに伝送するようにしても良い。スレーブサーバBの会議室1についてマスタサーバMに伝送する画像についても同様である。
図3は、第1の実施形態に係るスレーブサーバA及びBを介してマスタサーバMから端末の方向への「画像P」の伝送を説明する説明図である。
図3において、「マスタサーバM」→「スレーブサーバA」には、会議室1の「P1及びP3の合成画像」及び会議室2の「P5及びP6の合成画像」が伝送される。「スレーブサーバA」→「端末a11」には、会議室1の「P1及びP3の合成画像」が伝送され、「スレーブサーバA」→「端末a12」には、会議室1の「P1及びP3の合成画像」が伝送され、「スレーブサーバA」→「端末a21」には会議室2の「P5及びP6の合成画像」が伝送される。
また、「マスタサーバM」→「スレーブサーバB」には、会議室1の「P1及びP3の合成画像」及び会議室2の「P5及びP6の合成画像」が伝送される。「スレーブサーバB」→「端末b11」には会議室1の「P1及びP3の合成画像」が伝送され、「スレーブサーバB」→「端末b12」には会議室1の「P1及びP3の合成画像」が伝送され、「スレーブサーバB」→「端末b21」には会議室2の「P5及びP6の合成画像」が伝送される。
図4は、第1の実施形態に係るマスタサーバMのMCU32の内部構成を示す内部構成図である。
図4において、マスタサーバMのMCU32は、制御部56、データ受信部51-1及び51−2、復号部52−1及び52−2、合成部53、符号化部54−1及び54−2、データ送信部55−1及び55−2を有する。
マスタサーバMが備えるMCU32は、映像信号を処理する映像信号処理装置32Aを有する。なお、MCU32は、既存のMCUと同様に、音声信号処理装置やデータ信号処理装置等を有するようにしても良い。
映像信号処理部32Aは、例えばパーソナルコンピュータ等の情報処理装置(1台に限定されず、複数台を分散処理し得るようにしたものであっても良い。)上に、実施形態の映像処理プログラム(固定データを含む)をインストールすることにより構築しても良く、その場合でも機能的には、図4に示すように表わすことができる。また、映像信号処理装置32Aの一部又は全部の構成要素を専用のハードウェアとして構築するようにしても良い。
図4において、映像信号処理装置32Aは、データ受信部51(51−1及び51−2)、復号部52(52−1及び52−2)、合成部53、符号化部54(54−1及び54−2)、データ送信部55(55−1及び55−2)、制御部56を有する。なお、図4では、開催する1個の会議セッションを実現する構成を示している。従って、複数個の会議セッションが同時に開催されるときには、図4のデータ受信部51、復号部52、合成部53、符号化部54、データ送信部55からなる構成を、開催される会議セッションの個数に合わせて備えるものとする。
データ受信部51−1及び51−2は、スレーブサーバA、Bから映像データを受信し、受信した映像データを、対応する復号部52−1及び52−2に与えるものである。データ受信部51−1及び51−2は、会議室を構成するスレーブサーバ数に応じた数が設けられる。例えば、会議室1の場合、データ受信部51−1はスレーブサーバAからの画像データを受信するものであり、又データ受信部51−2はスレーブサーバBからの画像データを受信するものである。
復号部52−1及び52−2は、データ受信部51−1及び51−2からの映像データを復号して、復号した映像データを合成部53に与えるものである。復号部52−1及び52−2は、データ受信部51−1及び51−2の数に応じた数が設けられる。
合成部53は、復号部52−1及び52−2から復号された映像データを取得して、複数の映像データを合成して符号化部54−1及び54−2に与えるものである。合成部53は、一般的に会議室の数に応じた数が設けられる。なお、合成部53は、開催する会議室に応じたレイアウトの画像を合成するようにしても良い。例えば、1フレームを2分割して2個の画像を合成する場合、合成部53は復号部52−1及び52−2から取得した2個の画像をフレームにはめ込み画像合成を行うようにしても良い。なお、フレームのレイアウトは特に限定されるものではなく3分割以上であっても良い。
符号化部54−1及び54−2は、合成部53からの合成画像データを符号化してデータ送信部55−1及び55−2に与えるものである。符号化部54は、会議室に対して1個以上の数で作成される。符号化部54は、制御部56の制御に基づいて、新たに作成されるようにしても良いし、又は消去されるようにしても良い。このように、符号化部54−1及び54−2は、制御部56の制御により動的に変化できるものである。なお、制御部56が指示する符号化パラメータとしては、映像符号化コーディック種類、画像サイズ、符号化ビットレート、映像フレームレート、フレームタイプ(イントラフレーム/インタフレーム)を適用するものとするが、符号化パラメータは上述の一部のパラメータについて適用しても良いし、他のパラメータを適用しても良く、適用する符号化パラメータの数や組み合わせは限定されない。
データ送信部55−1及び55−2は、符号化部54−1及び54−2により符号化された合成画像データをスレーブサーバA、Bに送信するものである。データ送信部55−1及び55−2は、データ受信部51−1及び51−2は、会議室を構成するスレーブサーバ数に応じた数が設けられる。例えば、会議室1の場合、データ送信部55−1はスレーブサーバAに合成画像データを送信するものであり、又データ送信部55−2はスレーブサーバBに合成画像データを送信するものである。
制御部56は、MCU32の画像信号処理装置32Aの機能を制御するものであり、各会議室の開催や符号化処理等を制御するものである。制御部56は、マスタサーバMが接続するスレーブサーバA、Bとの間の帯域と、そのスレーブサーバA、Bとの間の帯域を流れる会議セッション数とに基づいて、各会議セッションで使用できる帯域を割り当てる帯域制御部を有する。
図5は、第1の実施形態に係る制御部56の帯域制御機能の主な構成を示すブロック図である。図5に示すように、制御部56の帯域制御機能としては、帯域制御処理部65、会議セッション数均等割当処理部61、会議セッション重み割当処理部62、会議セッション参加数割当処理部63、会議セッション開催時間割当処理部64を有する。
帯域制御処理部65は、会議セッションの割り当て帯域を制御するものである。帯域制御処理部65は、接続するスレーブサーバA、Bとの間で使用できる帯域を管理している。また、帯域制御処理部65は、スレーブサーバA、Bとの間の帯域とスレーブサーバA、Bとの間で流れている会議セッションの数等の会議情報に基づいて、各会議セッションで使用する帯域割当を制限するものである。
帯域制御処理部65は、種々の帯域割当方法を適用することができる。第1の実施形態では、帯域制御処理部65が、複数の会議セッションに係る会議情報に基づいて、以下の4種類の帯域割当方法を例示する。
具体的に、帯域制御処理部65は、会議セッション数均等割当処理部61、会議セッション重み割当処理部62、会議セッション参加数割当処理部63、会議セッション開催時間割当処理部64を適用することができる。帯域制御処理部65は、上述した4個の帯域割当方法のうちいずれか1個の帯域割当方法を適用するようにしても良いし、又は、4個の帯域割当方法のうちいずれかを組み合わせた複数の帯域割当方法又は全部の帯域割当方法を備えるようにしても良い。
会議セッション数均等割当処理部61は、マスタサーバMとスレーブサーバA、Bとの間の帯域を、会議セッション数で均等に割り当てる方法である。これにより、複数の会議セッションが同時に開催している場合でも、マスタサーバMとスレーブサーバA、Bとの間の帯域を会議セッション数に応じて分け合うことができるため、公平に帯域を使用することができる。具体的には、帯域制御処理部65は、予めマスタサーバMとスレーブサーバA、Bとの間で使用できる帯域を認識している。又、開催している会議セッションを識別する会議識別情報(例えば会議ID等)を認識している。会議セッション数均等割当処理部61は、会議識別情報に基づいて会議セッション数を確認し、サーバ間の帯域を会議セッション数で割ることで、各会議セッションの帯域を設定する。
会議セッション重み割当処理部62は、複数の会議セッションで使用する帯域に対して所定の重みを付与して、マスタサーバMとスレーブサーバA、Bとの間の帯域を重みに基づいて按分して、各会議セッションの帯域を設定する方法である。例えば、役員会議等のように会議セッションのある程度の帯域を確保すべきものがある。このように、帯域を確保すべき会議種類に応じて予め重み付けを付与しておき、会議室の開催の際に、開催する会議種類に対応する重みに基づいて、各会議セッションの帯域を設定する。これにより、会議種類の重要度等に応じた会議セッションの帯域を確保することができる。
会議セッション参加数割当処理部63は、マスタサーバMとスレーブサーバA、Bとの間の帯域を、各会議室に参加する参加人数に基づいて按分して、各会議セッションの帯域を設定する方法である。会議セッションで使用される帯域は会議室の参加人数に応じて増大する傾向があるため、複数の会議セッションがあるときに、各会議室の参加人数に応じて帯域を按分することで公平に帯域割当を行うことができる。具体的には、帯域制御処理部65は、各会議室に参加している端末識別情報(例えば、CALL−ID等)を会議識別情報(会議ID等)毎に制御しており、各会議室の参加人数を把握している。そのため、会議セッション参加数割当処理部63は、各サーバ間の帯域を参加人数で割ることで、各会議セッションの帯域を設定することができる。
会議セッション開催時間割当処理部64は、複数の会議セッションがあるときに、複数の会議セッションのうち、開催時間が所定時間を経過しているものの重みを他の会議セッションよりも小さくして、各会議セッションの帯域を設定する方法である。つまり、開催時間の長い会議の帯域を小さくして、開催時間の短い会議の帯域を大きくして設定することができる。なお、会議の開催時間を判断する時間は適宜設定することができ、又所定時間を経過する会議セッションの重みについても任意に設定することができる。
(A−2)第1の実施形態の動作
以下では、第1の実施形態に係る多地点会議システム100において、マスタサーバ・スレーブサーバ間に複数の会議セッションが発生したときに、その状態を考慮してマスタサーバMが帯域を公平に使用できるように制御する処理を説明する。
以下では、第1の実施形態に係る多地点会議システム100において、マスタサーバ・スレーブサーバ間に複数の会議セッションが発生したときに、その状態を考慮してマスタサーバMが帯域を公平に使用できるように制御する処理を説明する。
ここでは、説明を簡単にするために、「マスタサーバM−スレーブサーバA間」、「マスタサーバM−スレーブサーバB間」、「スレーブサーバA及びBと端末との間」で3Mbpsの帯域を使用できるものとする。また、各会議セッションのデータは最大で2Mbpsの帯域を使用するものとする。
このとき、「会議室1」のみが開催している場合、「会議室1」のセッションが2Mbpsの帯域を使用しても問題は生じない。しかし、この後、「会議室2」が開催されると、「会議室1」の会議セッションと「会議室2」の会議セッションとがそれぞれ2Mbpsを使用する場合、「マスタサーバM−スレーブサーバA間」および「マスタサーバM−スレーブサーバB間」は合計で4Mbpsのデータが流れようとする。そうすると、「マスタサーバM−スレーブサーバA間」、「マスタサーバM−スレーブサーバB間」の帯域は3Mbpsであるため輻輳が発生し、パケットロスや遅延等により2つのビデオ会議の品質は低下してしまう。
そこで、マスタサーバMは、各スレーブサーバA、Bとの間で使用できる帯域と、その間で流れている会議セッションの数などに基づいて、各会議セッションで使用できる帯域を割り当てて制限する。
マスタサーバMにおける各会議セッションの帯域割当方法は、上述したように4種類の帯域割当方法のうちいずれか又は複数の帯域割当方法の組み合わせを適用することができる。
(1)会議セッション数で均等に割り当てる
(2)予め決められた比率(重み)に応じて割り当てる
(3)会議参加人数に応じて割り当てる
(4)会議開催時間に応じて割り当てる
これらを上記の例で適用すると次のようになる。
(2)予め決められた比率(重み)に応じて割り当てる
(3)会議参加人数に応じて割り当てる
(4)会議開催時間に応じて割り当てる
これらを上記の例で適用すると次のようになる。
(1)の方法では、「マスタサーバ−スレーブサーバA間」、「マスタサーバ−スレーブサーバB間」の帯域3Mbpsを、2つの会議セッションで均等に割り当てるので、「会議室1」及び「会議室2」の各会議セッションに1.5Mbpsを割り当てる。
(2)の方法では、「会議室1」と「会議室2」の帯域割り当ての重みがそれぞれ例えば「5」と「1」に設定されていたとする。この会議室の重みは、例えば会議室の重要度等に応じて会議室毎に重みを予め設定した設定テーブルを用いるようにしても良いし、又は会議室の開催時に重みを任意に設定できるようにしても良い。この場合、「会議室1」の会議セッションに2.5Mbpsの帯域を割り当て、「会議室2」の会議セッションに0.5Mbpsの帯域を割り当てる。
(3)の方法では、例えば「会議室1」には4人、「会議室2」には2人が参加しているので、「マスタサーバ−スレーブサーバA間」、「マスタサーバ−スレーブサーバB間」の帯域3Mbpsを会議参加人数に応じて、「会議室1」の会議セッションに2Mbpsの帯域を割り当て、「会議室2」の会議セッションに1Mbpsの帯域を割り当てる。
(4)の方法では、例えば開催時間が2時間を超える会議は2時間以内の会議の半分の重みが割り当てられるとする。この場合、「会議室2」の開催時に「会議室1」の開催時間が2時間を超えているとすると、「会議室1」の会議セッションには1Mbpsの帯域を割り当て、「会議室2」の会議セッションには2Mbpsの帯域が割り当てられる。
上述した帯域の割り当ては新しい会議開催時だけでなく、会議開催中に動的に行ってもよい。
例えば、(3)の方法では各会議室の参加人数に応じて各会議セッションの帯域を割り当てる。各会議室への参加は適宜入退室が可能であるため、開催後の各会議室に参加者の入退室があるたびに、各会議セッションに割り当てる帯域を動的に変化させるようにしても良い。
また例えば、(4)の方法では各会議室の会議開催時間が所定時間を超えるごとに、帯域の割り当てを変更してもよい。例えば、会議開催時間が30分経過、1時間経過、2時間経過等のように、会議開催時間が所定時間を経過するたびに、重みが小さくなるようにして、各会議セッションに割り当てる帯域を動的に変化させるようにしても良い。
また、上述した帯域割当方法の組み合わせの例を説明する。例えば、(2)の方法と(3)の方法との組み合わせる場合を例示する。例えば役員会議等の重要な会議の「会議室1」と別の会議の「会議室2」との帯域割当の重みを「2」対「1」とする。そうすると、役員会議等の「会議室1」の会議セッションに2Mbpsの帯域が割り当てられ、「会議室2」の会議セッションに1Mbpsの帯域が割り当てられる。その後、別の「会議室3」が開催されたとする。このとき、「会議室1」への帯域制限を行わないように設定でき、「会議室1」の帯域を不変とし、「会議室2」に割り当てられている会議セッションの帯域1Mbpsを「会議室2」及び「会議室3」の各会議セッションに、参加人数に応じた帯域を割り当てるようにしても良い。
さらに、ビデオ会議においてはデータ共有の仕組みがあり、データ共有時には追加の帯域が必要になることがある。その場合、(2)の方法の拡張として、会議でデータ共有が行なわれる場合に動的に重みを増加させるように制御しても良い。
マスタサーバMは、各会議セッションに割り当てる帯域を決定すると、その決定した帯域を各スレーブサーバA,B及び各端末に通知して会議セッションで使用する帯域を変更する。これは例えば、ビデオ会議プロトコルとしてH.323が用いられているときは、H.245のフロー制御コマンドを使用するなど、標準の方式で制御可能である。
なお、上記では会議セッションが「マスタサーバM−スレーブサーバA間」、「マスタサーバM−スレーブサーバB間」で使用する帯域は全て同じものとしたが、それぞれの帯域は異なっていてもよい。これは、マスタサーバMで各スレーブサーバA、Bに対して異なるレートで映像データをエンコードすることで実現できる。
また、マスタサーバMが「マスタサーバM−スレーブサーバA間」、「マスタサーバM−スレーブサーバB間」で使用できる帯域を厳密に認識していなくても、マスタサーバMが会議セッションパケットのパケットロスなどを観測することで動的に帯域を推定することができ、その場合でも同様の方法が適用できる。
さらに、カスケード構成が3階層以上の構成になっても、各マスタサーバ・スレーブサーバ間および各親スレーブサーバ・子スレーブサーバ間で、同様の方法が適用できる。
(A−2−1)帯域制御処理の動作(その1)
図6及び図7は、第1の実施形態に係る多地点会議システム100における帯域制御処理の動作を示すシーケンス図である。図6及び図7では、会議プロトコルとしてSIPを使用する場合を例示している。また、図6及び図7では、上記(4)の会議セッション開催時間割当方法により各会議セッションの帯域を割り当てる場合を例示する。
図6及び図7は、第1の実施形態に係る多地点会議システム100における帯域制御処理の動作を示すシーケンス図である。図6及び図7では、会議プロトコルとしてSIPを使用する場合を例示している。また、図6及び図7では、上記(4)の会議セッション開催時間割当方法により各会議セッションの帯域を割り当てる場合を例示する。
(会議室1の開始)
図6において、まず、端末a11が会議室1に入室するときに、端末a11はスレーブサーバAに「会議室1」のURIを送信先とするINVITEメッセージ(イニシャルINVITEリクエスト)を送信する(S101)。
図6において、まず、端末a11が会議室1に入室するときに、端末a11はスレーブサーバAに「会議室1」のURIを送信先とするINVITEメッセージ(イニシャルINVITEリクエスト)を送信する(S101)。
このINVITEリクエストには、ビデオ会議で使用する音声や映像などのメディア情報を記述したセッション情報がSDP(Session Description Protocol)として記述される。ここで、端末a11が使用可能な帯域が2Mbpsとすると、このセッション情報の中に「b=CT:2000」(b:bandwidth,CT:Conference Total)のように帯域情報が記述される。
これに対してスレーブサーバAは、会議室に参加可能な応答として、200 OKレスポンスメッセージを端末a11に返信する(S102)。
この200 OKメッセージの中には会議セッションで使用するセッション情報がSDPとして記述され、「会議室1」に割り当てられた帯域は2Mbpsなので、帯域情報として「b=CT:2000」と記述される。このレスポンスが端末a11に届くと、端末a11はACKメッセージをスレーブサーバAに送信して(図6では省略している)、端末a11・スレーブサーバAとの間の会議セッションが確立する。
「会議室1」に最初の参加者(端末a11)が入室すると、スレーブサーバAは、端末a11から受信したリクエストと同様のINVITEリクエストをマスタサーバMに送信し(S103)、マスタサーバMはスレーブサーバAに200 OKレスポンス(S104)を返信する。これにより、スレーブサーバAは、マスタサーバMの会議室に接続する。スレーブサーバAとマスタサーバMとの間に「会議室1」のセッションが帯域2Mbpsを割り当てられて確立する。なお、スレーブサーバAとマスタサーバMとの間には複数の会議セッションがあるため、図6ではセッションを区別するためCall−IDヘッダ情報も記述してある。ここでは、会議室1のCall−IDヘッダ情報として「Call−ID:11@a」を含むメッセージがスレーブサーバAとマスタサーバMとの間の会議室1のセッションに関するものであることを表している。
このとき、マスタサーバMは、「会議室1」の開催開始時刻を記録しており、「会議室1」の開催時間の計時を開始する。
次に、端末a12が「会議室1」に入室するときも、S101〜S102の処理と同様の動作となり、端末a12・スレーブサーバAとの間の会議セッションが確立する(S105、S106)。同様に、端末b11、端末b12がスレーブサーバBの会議室1に入室するときも上記と同様の動作となり、端末b11・スレーブサーバBとの間の会議セッション、スレーブサーバB・マスタサーバMとの間の会議セッション、端末b12・スレーブサーバBとの間の会議セッションが確立する(S117〜S122)。
(会議室2の開始)
端末a21がスレーブサーバAの「会議室2」に入室する。端末a21が「会議室2」に入室するときの動作は、上記と同様に、端末a21がスレーブサーバAに「会議室2」のURIを送信先とするINVITEメッセージを送信し(S107)、スレーブサーバAが、会議室に参加可能な応答として200 OKレスポンスメッセージを端末a21に返信する(S108)。
端末a21がスレーブサーバAの「会議室2」に入室する。端末a21が「会議室2」に入室するときの動作は、上記と同様に、端末a21がスレーブサーバAに「会議室2」のURIを送信先とするINVITEメッセージを送信し(S107)、スレーブサーバAが、会議室に参加可能な応答として200 OKレスポンスメッセージを端末a21に返信する(S108)。
このときも、端末a12が使用可能な帯域が2Mbpsであるため、INVITEリクエストのセッション情報の中に「b=CT:2000」とする帯域情報が記述される。また、「会議室2」に割り当てられた帯域は2Mbpsなので、200 OKメッセージの中には帯域情報として「b=CT:2000」と記述される。
また、「会議室2」に最初の参加者(端末a21)が入室すると、スレーブサーバAは、端末a21から受信したリクエストと同様のINVITEリクエストをマスタサーバMに送信し(S109)、マスタサーバMはスレーブサーバAに200 OKレスポンス(S110)を返信する。これにより、スレーブサーバAとマスタサーバMとの間に「会議室2」のセッションが張られる。なお、「Call−ID:22@a」は、これらのメッセージがスレーブサーバAとマスタサーバMとの間の「会議室2」のセッションに関するものであることを表している。
このとき、マスタサーバMは、マスタサーバM−スレーブサーバA,B間の会議セッションが複数になったので、各会議セッションに対する帯域の割当を行う。
(スレーブサーバA側の帯域割当の変更)
ここでは、上記(4)の開催時間割当方法で、例えば2時間を超える会議は2時間以内の会議の半分の重みで、会議セッションの帯域を割り当てるものとする。
ここでは、上記(4)の開催時間割当方法で、例えば2時間を超える会議は2時間以内の会議の半分の重みで、会議セッションの帯域を割り当てるものとする。
S110で「会議室2」のセッションが張られたとき、S104で開始した「会議室1」の開催時間が2時間を超えているとすると、マスタサーバMは、「会議室1」のセッションには「1Mbps」、「会議室2」のセッションには「2Mbps」の帯域を割り当てる。「会議室2」の帯域割当は「2Mbps」で変更ないので、マスタサーバMは「会議室1」の帯域変更の処理だけを行う。
まず、図7において、マスタサーバMは、スレーブサーバAに対して、「会議室1」のセッションの内容更新のためにINVITEメッセージ(図7では「INVITEリクエスト」と表示しているが、内容更新に係るINVITEリクエストを「re−INVITEリクエスト」と呼ぶ。)を送信する(S111)。このとき、マスタサーバMは、「会議室1」の帯域を1Mbpsに変更するため、セッション情報のSDPに「b=CT:1000」を記述したre−INVITEリクエストをスレーブサーバAに送信する。
このre−INVITEリクエストを受けたスレーブサーバAは、その応答として「b=CT:1000」と記述したSDPとともに、200 OKレスポンスを送信する(S112)。これ以降、スレーブサーバA−マスタサーバMの間の「会議室1」に関する会議セッションは1Mbpsの帯域でやり取りされる。
また、スレーブサーバAは、セッション情報のSDPに「b=CT:1000」を記述したre−INVITEリクエストを、「会議室1」に参加している端末a11、端末a12に送信して、スレーブサーバAと端末(端末a11、端末a12)との間の帯域も1Mbpsに変更する(S113〜S116)。
これにより、マスタサーバMは、「会議室1」に関して、マスタサーバM−スレーブサーバA間の帯域及びスレーブサーバA−端末間の帯域を変更することができる。一方、マスタサーバMは、「会議室1」に関して、スレーブサーバBとの関係においては、この時点では帯域割当の変更を実行していない。そのため、マスタサーバMは、マスタサーバM−スレーブサーバB間及びスレーブサーバB−端末間の会議セッションには2Mbpsの帯域が割り当ている。
その後、端末b21がスレーブサーバBの「会議室2」に入室するときは、端末−スレーブサーバB間の帯域が2Mbpsであり、スレーブサーバB−マスタサーバM間の帯域が2Mbpsであるとして動作する(S123〜S132)。
つまり、端末b21がスレーブサーバBの会議室2に入室すると(S123,S124)、スレーブサーバBとマスタサーバMとの間に会議室2のセッションが張られる(S125,S126)。「Call−ID:22@b」は、これらのメッセージがスレーブサーバBとマスタサーバMとの間の「会議室2」のセッションに関するものであることを表している。
このとき、マスタサーバMは、マスタサーバM−スレーブサーバB間の会議セッションが複数になったので、各会議セッションに対する帯域の割当を行う。ここでは、上記と同様に開催時間割当方法で、例えば2時間を超える会議は2時間以内の会議の半分の重みが割り当てるものとする。
ここで、「会議室1」の開催開始時刻はS104で開始されており、S110で「会議室2」のセッションが張られたとき、「会議室1」の開催時間が2時間を超えているとする。そのため、「会議室1」のセッションには「1Mbps」、「会議室2」のセッションには「2Mbps」がそれぞれ割り当てられる。
(スレーブサーバB側の帯域割当の変更)
「会議室2」の帯域割当は2Mbpsで変更ないので、マスタサーバMは「会議室1」の帯域変更の処理だけを行う。
「会議室2」の帯域割当は2Mbpsで変更ないので、マスタサーバMは「会議室1」の帯域変更の処理だけを行う。
マスタサーバMは、スレーブサーバBに対して、「会議室1」のセッションの内容更新のためにINVITEメッセージ(「re−INVITEリクエスト」)を送信する(S127)。このとき、マスタサーバMは、「会議室1」の帯域を1Mbpsに変更するため、セッション情報のSDPに「b=CT:1000」を記述したre−INVITEリクエストをスレーブサーバBに送信する。
このre−INVITEリクエストを受けたスレーブサーバBは、その応答として「b=CT:1000」と記述したSDPとともに、200 OKレスポンスを送信する(S128)。これ以降、スレーブサーバB−マスタサーバMの間の「会議室1」に関する会議セッションは1Mbpsの帯域でやり取りされる。
また、スレーブサーバBは、セッション情報のSDPに「b=CT:1000」を記述したre−INVITEリクエストを、「会議室1」に参加している端末b11、端末b12に送信して、スレーブサーバBと端末(端末b11、端末b12)との間の帯域も1Mbpsに変更する(S129〜S132)。
上記のようにして、マスタサーバMは、スレーブサーバB側の「会議室1」に関する会議セッションの帯域割当の変更を行う。
(A−2−2)帯域制御処理の動作(その2)
図8及び図9は、第1の実施形態に係る多地点会議システム100における帯域制御処理の動作を示すシーケンス図である。図8及び図9では、会議プロトコルとしてH.323を使用する場合を例示している。また、図8及び図9では、上記(4)の会議セッション開催時間割当方法により各会議セッションの帯域を割り当てる場合を例示する。
図8及び図9は、第1の実施形態に係る多地点会議システム100における帯域制御処理の動作を示すシーケンス図である。図8及び図9では、会議プロトコルとしてH.323を使用する場合を例示している。また、図8及び図9では、上記(4)の会議セッション開催時間割当方法により各会議セッションの帯域を割り当てる場合を例示する。
(会議室1の開始)
端末a11が「会議室1」に入室するときに、端末a11はスレーブサーバAに会議室1のアドレスを送信先とするH.225呼制御シグナリングのSetupメッセージを送信する(S201)。
端末a11が「会議室1」に入室するときに、端末a11はスレーブサーバAに会議室1のアドレスを送信先とするH.225呼制御シグナリングのSetupメッセージを送信する(S201)。
これに対して、スレーブサーバAは会議室に参加可能な応答として、Connectメッセージを端末a11に送信する(S202)。この後、端末a11とスレーブサーバAとの間でH.245シグナリングで能力交換や論理チャネルのオープンを行い(S203)、端末a11とスレーブサーバAとの間にビデオ会議セッションが確立される。
このとき、スレーブサーバAは端末a11に対して送信帯域を2Mbpsに制限するように、maxBitRate=2Mbpsに指定してH.245のFlowControlCommandメッセージを送信する(S204)。正確にはFlowControlCommandは論理チャネルに対して行うものであるが、ここでは音声分の帯域は無視して、映像の論理チャネルに対して2Mbpsに制限するものとする。また、スレーブサーバAは端末a11に対する送信レートを2Mbpsに制限して、スレーブサーバA−端末a11間で使用する帯域を2Mbpsとする。
会議室に最初の参加者(端末a11)が入室すると、スレーブサーバAはマスタサーバMの会議室に接続する。このときも、スレーブサーバAとマスタサーバMとの間で同様のSetupメッセージ、Connectメッセージ、H.245メッセージがやり取りされ、スレーブサーバAとマスタサーバMとの間に会議室1のセッションが確立する(S205〜S207)。その後、スレーブサーバAとマスタサーバMとは互いにFlowControlCommandメッセージを送信して、この間の帯域を2Mbpsに制限する(S208,S209)。
このとき、マスタサーバMは、「会議室1」の開催開始時刻を記録しており、「会議室1」の開催時間の計時を開始する。
端末a12が会議室1に入室するときも、上記S201〜S204の処理と同様の動作となり、端末a12・スレーブサーバAとの間の会議セッションが確立する(S210〜S213)。また端末b11、端末b12がスレーブサーバBの会議室1に入室するときも上記と同様の動作となり、端末b11・スレーブサーバBとの間の会議セッション、スレーブサーバB・マスタサーバMとの間の会議セッション、端末b12・スレーブサーバBとの間の会議セッションが確立する(S227〜S239)。
(会議室2の開始)
端末a21がスレーブサーバAの会議室2に入室すると(S214〜S217)、スレーブサーバAとマスタサーバMとの間に会議室2のセッションが張られる(S218〜S222)。
端末a21がスレーブサーバAの会議室2に入室すると(S214〜S217)、スレーブサーバAとマスタサーバMとの間に会議室2のセッションが張られる(S218〜S222)。
このときマスタサーバMは、マスタサーバ・スレーブサーバ間の会議セッションが複数になったので、各会議セッションに対する帯域の割当を前述の方法で決定する。
(スレーブサーバA側の帯域割当の変更)
ここでは、上記(4)の開催時間割当方法で、例えば2時間を超える会議は2時間以内の会議の半分の重みで、会議セッションの帯域を割り当てるものとする。
ここでは、上記(4)の開催時間割当方法で、例えば2時間を超える会議は2時間以内の会議の半分の重みで、会議セッションの帯域を割り当てるものとする。
S222で「会議室2」のセッションが張られたとき、S209で開始した「会議室1」の開催時間が2時間を超えているとすると、マスタサーバMは、「会議室1」のセッションには「1Mbps」、「会議室2」のセッションには「2Mbps」の帯域を割り当てる。「会議室2」の帯域割当は「2Mbps」で変更ないので、マスタサーバMは「会議室1」の帯域変更の処理だけを行う。
マスタサーバMは、スレーブサーバAに対して、「会議室1」のセッションの帯域を制限するため、maxBitRate=1Mbpsを指定してFlowControlCommandメッセージを送信する(S223)。
このFlowControlCommandメッセージを受信したスレーブサーバAは、各会議セッションの帯域を制限するため、同様のFlowControlCommandメッセージを各端末(端末a11、端末a12に加えてマスタサーバMも含む)に送信する(S224〜S226)。
これにより、マスタサーバMは、「会議室1」に関して、マスタサーバM−スレーブサーバA間の帯域及びスレーブサーバA−端末間の帯域を変更することができる。一方、マスタサーバMは、「会議室1」に関して、スレーブサーバBとの関係においては、この時点では帯域割当の変更を実行していない。そのため、マスタサーバMは、マスタサーバM−スレーブサーバB間及びスレーブサーバB−端末間の会議セッションには2Mbpsの帯域が割り当ている。
その後、端末b21がスレーブサーバBの「会議室2」に入室するときは、端末−スレーブサーバB間の帯域が2Mbpsであり、スレーブサーバB−マスタサーバM間の帯域が2Mbpsであるとして動作する。
つまり、端末b21がスレーブサーバBの会議室2に入室すると(S240〜S243)、スレーブサーバBとマスタサーバMとの間に会議室2のセッションが張られる(S244〜S248)。
このとき、マスタサーバMは、マスタサーバM・スレーブサーバB間の会議セッションが複数になったので、各会議セッションに対する帯域の割当を行う。ここでは、上記(4)開催時間割当方法で、例えば2時間を超える会議は2時間以内の会議の半分の重みが割り当てるものとする。「会議室2」のセッションが張られたとき、「会議室1」の開催時間が2時間を超えているとすると、「会議室1」のセッションには「1Mbps」、「会議室2」のセッションには「2Mbps」がそれぞれ割り当てられる。
(スレーブサーバB側の帯域割当の変更)
「会議室2」の帯域割当は2Mbpsで変更ないので、マスタサーバMは「会議室1」の帯域変更の処理だけを行う。マスタサーバMはスレーブサーバBに対して、「会議室1」のセッションの帯域を制限するため、maxBitRate=1Mbpsを指定してFlowControlCommandメッセージを送信する(S249)。
「会議室2」の帯域割当は2Mbpsで変更ないので、マスタサーバMは「会議室1」の帯域変更の処理だけを行う。マスタサーバMはスレーブサーバBに対して、「会議室1」のセッションの帯域を制限するため、maxBitRate=1Mbpsを指定してFlowControlCommandメッセージを送信する(S249)。
このFlowControlCommandメッセージを受信したスレーブサーバBは、各会議セッションの帯域を制限するため、同様のFlowControlCommandメッセージを各端末(端末b11、端末b12に加えてマスタサーバMも含む)に送信する(S250〜S252)。
これにより、マスタサーバMは、「会議室1」に関して、マスタサーバM−スレーブサーバB間の帯域及びスレーブサーバB−端末間の帯域を変更することができる。
(A−3)第1の実施形態の効果
以上のように、第1の実施形態によれば、複数のビデオ会議セッションを同時に使用する場合でも、各会議セッションの帯域割当を制御することにより、マスタサーバ−スレーブサーバ間の輻輳を回避することにより安定した品質で会議を行うことができる。
以上のように、第1の実施形態によれば、複数のビデオ会議セッションを同時に使用する場合でも、各会議セッションの帯域割当を制御することにより、マスタサーバ−スレーブサーバ間の輻輳を回避することにより安定した品質で会議を行うことができる。
(B)第2の実施形態
以下では、本発明に係る会議システム、会議サーバ、会議方法及び会議プログラムの第2の実施形態を、図面を参照しながら詳細に説明する。
以下では、本発明に係る会議システム、会議サーバ、会議方法及び会議プログラムの第2の実施形態を、図面を参照しながら詳細に説明する。
第2の実施形態は、マスタサーバMのコーディックとしてH.264/SVCを採用した多地点ビデオ会議システムに本発明を適用する場合を例示する。
第1の実施形態では、ビデオ会議プロトコルを用いて、マスタサーバM−スレーブサーバA、B間及びスレーブサーバA、B−端末間の帯域割当を変更する場合を例示した。
これに対して、第2の実施形態は、コーディック方式として採用するH.264/SVCの特性を活用して、マスタサーバM−スレーブサーバA、B間及びスレーブサーバA、B−端末間の帯域割当を変更する場合を例示する。
(B−1)第2の実施形態の構成
第2の実施形態においても、第1の実施形態に係る図1の多地点ビデオ会議システム100の構成を用いて説明する。また、第2の実施形態においても、第1の実施形態で説明した構成要素については第1の実施形態と同一の符号を付して説明する。
第2の実施形態においても、第1の実施形態に係る図1の多地点ビデオ会議システム100の構成を用いて説明する。また、第2の実施形態においても、第1の実施形態で説明した構成要素については第1の実施形態と同一の符号を付して説明する。
(B−1−1)マスタサーバMの構成
図10は、第2の実施形態に係るマスタサーバMが備えるMCU32の映像信号処理32Aの符号化部(エンコーダ)の構成を示す構成図である。図10において、第2の実施形態のマスタサーバMの符号化部は、H264/SVCエンコーダ71、MPEG2−TS生成部72を有する。
図10は、第2の実施形態に係るマスタサーバMが備えるMCU32の映像信号処理32Aの符号化部(エンコーダ)の構成を示す構成図である。図10において、第2の実施形態のマスタサーバMの符号化部は、H264/SVCエンコーダ71、MPEG2−TS生成部72を有する。
図10に示すように、マスタサーバMの符号化部にはH.264/SVCエンコーダ71が組み込まれている。図10は、H264/SVCエンコーダ71が会議室の合成画像を生成し、MPEG2−TS生成部72が会議室の合成画像の信号をIPパケットに変換する処理構成を説明している。
H.264/SVCエンコーダ71は、映像信号が入力され、入力された映像信号に基づいてベースレイヤ及び1つ以上の拡張レイヤの映像データを生成するものである。H264/SVCエンコーダ71は、空間、時間及びSNRスケーラビリティのうちの少なくとも1つのスケーラビリティを採用して、ベースレイヤ及び拡張レイヤの映像データを生成する。
H264/SVCエンコーダ71は、空間スケーラビリティを採用することにより、複数種類の解像度の階層的な映像データを出力することができる。H264/SVCエンコーダ71は、ベースレイヤにおいて基本となる低解像度の映像データを生成し、拡張レイヤにおいて高解像度の映像データを生成する。例えば、H264/SVCエンコーダ71は、ベースレイヤにおいてQCIF(Quarter CIF)規格の映像データを生成し、拡張レイヤにおいて、CIF(Common Intermediate Format)規格やVGA(Video Graphics Array)規格の映像データを生成する。なお、ここでは、CIFと4CIFを用いた事例について後述される。
また、H264/SVCエンコーダ71は、時間スケーラビリティを採用することにより、フレームレートが異なる複数種類の階層的な映像データを得ることができる。H264/SVCエンコーダ71は、ベースレイヤにおいて基本となる最も低いフレームレートの映像データを生成し、拡張レイヤにおいて高いフレームレートの映像データを生成する。例えば、H264/SVCエンコーダ71は、ベースレイヤにおいて7.5fps(フレーム/レート)の映像データを生成し、拡張レイヤにおいて、15fpsや30fpsの映像データを生成する。
また、H264/SVCエンコーダ71は、SNRスケーラビリティを採用することにより、画質が異なる複数種類の階層的な映像データを得ることができる。H264/SVCエンコーダ71は、ベースレイヤにおいて基本となる最も低い画質の映像データを生成し、拡張レイヤにおいて高い画質の映像データを生成する。例えば、SVCエンコーダ11は、ベースレイヤにおいてDCT変換係数の直流成分を含む映像データを生成し、より上位の拡張レイヤほど、DCT変換係数のより高い周波成分を含む映像データを生成する。
図11は、第2の実施形態に係るH264/SVCエンコーダ71におけるベースレイヤの映像データと拡張レイヤの映像データとの関係を説明する説明図である。
図11(a)はスケーラビリティを施していない場合の例を示している。図11(b)は時間スケーラビリティを施した例を示している。図11(c)は時間及び空間スケーラビリティを施した場合の例を示している。図11に示す「枠(四角形)」はベースレイヤ及び各拡張レイヤ等の各フレームの映像データを示しており、「矢印」は相関関係を示している。また、図11において、横方向はフレーム単位の時間を示しており、各フレームとエンコードとの関係を示している。
H264/SVCエンコーダ71は、ベースレイヤの映像データを拡張することによって、各拡張レイヤの映像データを生成するようになっている。即ち、図11の矢印に示すように、上位階層のデータは、下位階層のデータに依存する相関関係を有する。
図11(a)はスケーラビリティを採用しない例であり、各フレームは階層化されることなくエンコードされる。図11(a)の「符号I」はフレーム内符号化されたピクチャ(Iピクチャ)を示し、「符号P」は片方向予測符号化されたPピクチャを示している。各ピクチャは矢印に示す相関関係を有し、デコード側においては、伝送されたIピクチャが復元されない場合には、以後のPピクチャを正確に復号化することはできない。
図11(b)は時間スケーラビリティにおけるベースレイヤと2階層の拡張レイヤを示しており、「符号B」にて示すベースレイヤにおいては、図11(a)のフレームレートに対して1/4のフレームレートの映像データによって構成されることを示している。ベースレイヤのデータと「符号E1」にて示す下位階層の拡張レイヤのデータとによって、図11(a)のフレームレートに対して1/2のフレームレートの映像データが構成されることを示している。更に、「符号E2」にて示す上位階層の拡張レイヤのデータまで用いることで、図9(a)と同じフレームレートでの映像データが得られる。
図11(c)は時間及び空間スケーラビリティによる階層符号化を示しており、「符号B0」に示す低解像度の映像データ(ベースレイヤ)に対して「符号B1」は高解像度の映像データ(拡張レイヤ)を示している。また、「符号E10」に示す低解像度の映像データ(ベースレイヤ)に対して「符号E11」は高解像度の映像データ(拡張レイヤ)を示しており、「符号E20」に示す低解像度の映像データ(ベースレイヤ)に対して「符号E21」は高解像度の映像データ(拡張レイヤ)を示している。「符号B0」は時間及び空間スケーラビリティにおけるベースレイヤのデータを示しており、デコード側において、「符号B0」のデータが失われた場合には、拡張レイヤのデータを用いても正確な復号化は行うことはできない。
H264/SVCエンコーダ71は、生成したベースレイヤのデータ及び各拡張レイヤのデータを多重して、MPEG2−TS生成部72に出力する。
図12は、第2の実施形態に係るH264/SVCエンコーダ71からMPEG2−TS生成部72に出力される多重された映像データの一例を説明する説明図である。
例えば、H264/SVCエンコーダ71は図12(a)に示すデータ配列でベースレイヤ及び拡張レイヤのデータを配列することが考えられる。即ち、この場合には、図12に示すように、ベースレイヤのデータに続けて、各拡張レイヤが配列される。例えば、図12(a)では、時間スケーラビリティ、次に空間スケーラビリティに基づいた多重例が示されている。
時間スケーラビリティのベースレイヤのデータであり、空間スケーラビリティにおいてベースレイヤのデータである「符号B0(1)」のデータと、拡張レイヤのデータである「符号B1(1)」のデータが配列される。
時間スケーラビリティのベースレイヤのデータであり、空間スケーラビリティにおいてベースレイヤのデータである「符号B0(1)」のデータと、拡張レイヤのデータである「符号B1(1)」のデータが配列される。
また、時間スケーラビリティの第1レイヤのデータであり、空間スケーラビリティにおけるベースレイヤのデータである「符号E10(1)」のデータと、拡張レイヤのデータである「符号E11(1)」のデータが配列される。
さらに、時間スケーラビリティのベースレイヤのデータであり、空間スケーラビリティにおいてベースレイヤのデータである「符号E20(1)」のデータと、拡張レイヤのデータである「符号E21(1)」のデータと、ベースレイヤのデータである「符号E21(1)」のデータと、拡張レイヤのデータである「符号E22(1)」のデータが配列される。
H264/SVCエンコーダ71の出力はMPEG2−TS生成部72に与えられ、MPEG2−TS生成部72は、入力されたデータをMPEG規格でパケット化した送信信号(IPパケット)を、スレーブサーバ(スレーブサーバA/スレーブサーバB)に送信する。
図13は、第2の実施形態における画像品質とベースレイヤの映像データ及び拡張レイヤの映像データの関係を説明する説明図である。なお、図13では、例えば、画像品質が「CIF」と「4CIF」の場合を例示している。
図14は、第2の実施形態に係るH.264/SVCエンコーダが組み込まれたマスタサーバMの動作を示すフローチャートである。
図15は、図12(a)に基づいてマスタサーバMからサーバスレーブサーバA、Bに出力される多重された映像データの一例を説明する説明図である。
映像信号は、H264/SVCエンコーダ71に入力される。SVCエンコーダ71は、空間、時間及びSNRスケーラビリティのうちの少なくとも1つのスケーラビリティを採用して、入力された映像信号を階層符号化して、ベースレイヤ及び各拡張レイヤの映像データを生成する(図14のS1)。
H264/SVCエンコーダ71は、ベースレイヤ及び拡張レイヤの映像データを配列する(図14のS3)。
図13を参照しながら、H264/SVCエンコーダ71から出力されるデータについて説明する。図13は、画像画質に基づいた画像の階層符号化の一例として次の6つのものを示されている。
(1)CIF解像度及び毎秒7.5フレームの映像符号化された信号は「B0」にて構成される。
(2)CIF解像度及び毎秒15フレームの映像符号化された信号は「B0」と「E10」にて構成される。
(3)CIF解像度及び毎秒30フレームの映像符号化された信号は「B0」、「E10」と「E20」にて構成される。
(4)4CIF解像度及び毎秒7.5フレームの映像符号化された信号は、「B0」と「B1」にて構成される。
(5)4CIF解像度及び毎秒15フレームの映像符号化された信号は、「B0」、「B1」、「E10」と「E11」にて構成される。
(6)4CIF解像度及び毎秒30フレームの映像符号化された信号は、「B0」、「B1」、「E10」、「E11」、「E20」、「E21」にて構成される。
H264/SVCエンコーダ71からの映像データは、図12(a)を例にとると、図15に示されるように、次のようにデータが順次出力される。
(a)CIF解像度及び毎秒7.5フレームの映像符号化された信号では、「B0(1)」のデータが順次出力される。
(b)CIF解像度及び毎秒15フレームの映像符号化された信号では、「B0(1)」と「E10(1)」のデータが順次出力される。
(c)CIF解像度及び毎秒30フレームの映像符号化された信号では、「B0(1)」、「E10(1)」と「E20(1)」、「E20(2)」のデータが順次出力される。
(d)4CIF解像度及び毎秒7.5フレームの映像符号化された信号では、「B0(1)」と「B1(1)」のデータが順次出力される。
(e)4CIF解像度及び毎秒15フレームの映像符号化された信号では、「B0(1)」、「B1(1)」と「E10(1)」と「E11(1)」のデータが順次出力される。
(f)4CIF解像度及び毎秒30フレームの映像符号化された信号では、「B0(1)」、「B1(1)」、「E10(1)」、「E11(1)」、「E20(1)」、「E21(1)」、「E20(2)」、「E21(2)」のデータが順次出力される。
H264/SVCエンコーダ71の出力はMPEG2−TS生成部72に与えられ、MPEG規格に沿ってパケット化された後、送信信号として送信される(図14のS4)。
(B−1−2)スレーブサーバA、Bの構成
図16は、第2の実施形態に係るスレーブサーバA、BのMCUの構成を示す構成図である。
図16は、第2の実施形態に係るスレーブサーバA、BのMCUの構成を示す構成図である。
図16において、第2の実施形態に係るスレーブサーバA、BのMCUは、最大表示画質抽出部81、端末側送信信号制御部82、マスタサーバ側制御信号送信部83を有する。
図16は、スレーブサーバA、Bが、各端末における表示画面の表示画質の情報(解像度、フレーム/秒)を受信して、各端末に対して、各端末の表示画質に必要な映像データを有する送信信号を送信する処理構成を説明している。
さらに、図16は、スレーブサーバA、Bが、各端末における表示画面の表示画質の情報(解像度、フレーム/秒)を受信して、マスタサーバMに対して、スレーブサーバで必要な映像データの情報(解像度、フレーム/秒)を含む制御信号を送信する処理構成を説明している。
最大表示画質抽出部81は、各端末における表示画面の表示画質情報を受信し、受信した各端末における表示画面の表示画質情報に基づいて、会議室毎(会議室1/会議室2)で必要となる最大表示画質を抽出するものである。
ここで、表示画質情報は、各端末における表示画面における表示画質に関する情報であり、例えば、解像度、フレームレート(フレーム/秒)等を含むものである。具体的には、例えば解像度については、解像度が「CIF」又は「4CIF」であるかを示すものであり、フレームレート(フレーム/秒)については、「毎秒7.5フレーム」、「毎秒15フレーム」、「毎秒30フレーム」等を含むものである。
例えば、「スレーブサーバA」で「会議室1」について考えると、「スレーブサーバA」に接続される端末は、「端末a11」と「端末a12」であり、「端末a11」と「端末a12」おける表示画面の表示画質の情報は、次の通りであるとする。
・「端末a11」の「表示画質」の情報→「CIF」で「毎秒30フレーム」
・「端末a12」の「表示画質」の情報→「CIF」で「毎秒15フレーム」
最大表示画質抽出部81は、「スレーブサーバA」に接続される「端末a11」に対して、「CIF」で「毎秒30フレーム」の映像データを送信すればよいと判断し、この判断情報を端末側送信信号制御部82に出力する。
・「端末a12」の「表示画質」の情報→「CIF」で「毎秒15フレーム」
最大表示画質抽出部81は、「スレーブサーバA」に接続される「端末a11」に対して、「CIF」で「毎秒30フレーム」の映像データを送信すればよいと判断し、この判断情報を端末側送信信号制御部82に出力する。
さらに、最大表示画質抽出部81は、「スレーブサーバA」に接続される「端末a12」に対して、「CIF」で「毎秒15フレーム」の映像データを送信すればよいと判断し、この判断情報を端末側送信信号制御部82に出力する。
端末側送信信号制御部82は、最大表示画質抽出部81から受信した判断情報に基づいて、各端末に対して、最大の表示画質の映像データに切り替えて送信するものである。
例えば、端末側送信信号制御部82は、「端末a11」に対して、「4CIF」で「毎秒30フレーム」の映像データから、「CIF」で「毎秒30フレーム」の映像データに切り替えて送信する。また例えば、端末側送信信号制御部82は、最大表示画質抽出部81から受信した判断情報に基づいて、「端末a12」に対して、「4CIF」で「毎秒30フレーム」の映像データから、「CIF」で「毎秒15フレーム」の映像データに切り替えて送信する。
マスタサーバ側制御信号送信部83は、最大表示画質抽出部81から受信した判断情報に基づいて、マスタサーバMに対して会議室毎の映像データの品質画質を切り替える制御信号を送信するものである。
上記の例の場合、マスタサーバ側制御信号送信部83は、「スレーブサーバA」の「会議室1」に参加する「端末a11」と「端末a12」との画像品質情報のうち、品質が高い方の映像データへの切替を要求する制御信号を、マスタサーバMに送信する。
従って、上記例の場合、マスタサーバ側制御信号送信部83は、「マスタサーバM」に対して、「4CIF」で「毎秒30フレーム」の映像データから、「CIF」で「毎秒30フレーム」の映像データに切り替える情報を含む制御信号を送信する。
(B−2)第2の実施形態の動作
次に、第2の実施形態に係る多地点ビデオ会議システム100における動作を説明する。
次に、第2の実施形態に係る多地点ビデオ会議システム100における動作を説明する。
図17及び図18は、第2の実施形態に係る多地点ビデオ会議システム100における帯域割当を変更する動作を説明する説明図である。
各端末は、第1の実施形態と同様にして、スレーブサーバAの「会議室1」又はスレーブサーバBの「会議室2」に入室する。また、スレーブサーバA、Bも、第1の実施形態と同様にして、各端末からの要求を受けて、マスタサーバMと接続して「会議室1」のセッション、「会議室2」のセッションを確立する。
なお、ビデオ会議プロトコルは、SIP又はH.323準拠のプロトコルのいずれを用いることができる。
また、マスタサーバMは、複数の会議セッションが同時に帯域を使用する場合には、第1の実施形態で説明した各会議セッションをスレーブサーバA、Bと接続回線毎に帯域割当の変更を行うようにしても良い。
ここでは、第1の実施形態と同様の処理により、マスタサーバMが、「会議室1」の会議セッションと、「会議室2」の会議セッションとが同時になされているものとする。
スレーブサーバAは、マスタサーバ−スレーブサーバA間、及び又は、スレーブサーバ−端末間で使用することができる帯域を予め認識している。
マスタサーバMは、コーディック方式としてH.264/SVCを採用しており、「会議室1」についての合成画像として、解像度=4CIF、フレームレート(フレーム/秒)=毎秒30フレームでスレーブサーバAに送信しているものとする。
スレーブサーバAは、「会議室1」に参加する各端末(端末a11、端末a12)、「会議室2」に参加する各端末(端末a21)から、表示画面の表示画質情報を取得する。
ここで、スレーブサーバAは、各端末(端末a11、端末a12)が「会議室1」への入室要求を行う際、又は各端末(端末a21)が「会議室2」への入室要求を行う際、各端末の性能情報の一部として表示画質情報を取得することができる。
スレーブサーバAでは、図16に示すように、最大表示画質抽出部81が、「会議室1」に参加する各端末(端末a11、端末a12)、「会議室2」に参加する各端末(端末a21)からの表示画質情報を取得すると、各端末の表示画質情報に基づいて会議室毎に必要な最大表示画質情報を抽出する。
例えば、「会議室1」に参加する端末a11の表示画質情報が、「解像度=CIF」、「フレームレート=毎秒30フレーム」であり、端末a12の表示画質情報が、「解像度=CIF」、「フレームレート=毎秒15フレーム」であるとする。このような場合、最大表示画質抽出部81は、最大表示画質情報として、「解像度=CIF」、「フレームレート=毎秒30フレーム」を抽出する。同様に、「会議室2」に関しても、同様の方法により最大表示画質情報を抽出する。
そして、マスタサーバM−スレーブサーバA間の帯域が不足する場合、スレーブサーバAは、複数の会議セッションのうち一部又は全部の会議セッションの帯域割当の再変更を行うようにする。
ここで、複数の会議セッションのうち、全ての会議セッションの帯域割当を再変更するようにしても良いし、又は、複数の会議セッションのうち、一部の会議セッションの帯域割当を再変更するようにしても良い。
なお、一部の会議セッションの帯域割当を行う場合、複数の会議セッションのうち、最も割当帯域が大きいものの会議セッションの帯域を再変更するようにしても良いし、又は、マスタサーバMが第1の実施形態で説明した帯域割当方法により、重みの小さい方の会議セッションの帯域割当を再変更するようにしても良い。
ここでは、「会議室1」の会議セッションの帯域を再変更する場合を例示する。
スレーブサーバAでは、最大表示画質抽出部81が取得した「端末a11」の表示画質情報に基づき、端末a11に対して、「解像度=CIF」、「フレームレート=毎秒30フレーム」に関する映像データのみを送信する。
つまり、図17に示すように、スレーブサーバAには、マスタサーバMから、図15(f)に例示する「解像度=4CIF」、「フレームレート=毎秒30フレーム」の映像データが配信されてきている(図17の「91」参照)。しかし、スレーブサーバAは、端末a11に対しては、端末a11の表示画質情報に応じた画質の映像データ(すなわち、図15(c))を送信するようにする(図17の「92」参照)。
すなわち、スレーブサーバAは、時間及び空間スケーラビリティによる階層符号のうち、低解像度の映像データ(ベースレイヤ)である「符号B0」及び「符号B0」と相関関係にある映像データを残し、高解像度の映像データ(拡張レイヤ)である「符号B1」及び「符号B1」と相関関係にある映像データを廃棄した映像データを端末a11に送信する(図11参照)。
また、スレーブサーバAでは、最大表示画質抽出部81が取得した「端末a11」の表示画質情報に基づき、端末a11に対して、「解像度=CIF」、「フレームレート=毎秒15フレーム」に関する映像データのみを送信する(図17の「93」参照)。
つまり、スレーブサーバAは、マスタサーバMから、図15(f)に例示する「解像度=4CIF」、「フレームレート=毎秒30フレーム」の映像データのうち、端末a12に対しては、端末a12の表示画質情報に応じた画質の映像データ(すなわち、図15(b))を送信するようにする。
すなわち、スレーブサーバAは、時間及び空間スケーラビリティによる階層符号のうち、高解像度の映像データ(拡張レイヤ)である「符号B1」及び「符号B1」と相関関係にある映像データを廃棄すると共に、さらにフレームレートを1/2にした映像データを端末a12に送信する(図11参照)。
このように、スレーブサーバAが、「会議室1」に参加する端末a11、端末a12の表示画質情報に応じた画質の映像データを端末a11、端末a12に送信することで、スレーブサーバA−端末間の帯域を小さくする制御することができる。
また、スレーブサーバAは、マスタサーバMに対して、スレーブサーバA側に送信する映像データの画質に関する制御信号を送信する。
つまり、スレーブサーバAにおいて、最大表示画質抽出部81が「会議室1」に参加する端末a11、端末a12の表示画質情報のうち、最大表示画質情報を含む制御信号を、マスタサーバMに送信する。
例えば、上記例の場合、スレーブサーバAは、端末a11、端末a12の表示画質情報のうち、最大表示画質情報として「解像度=CIF」、「フレームレート=毎秒30フレーム」の映像データを送信するように要求する。
マスタサーバMは、スレーブサーバAからの制御信号を受信すると、スレーブサーバA側の送信信号として、「解像度=CIF」、「フレームレート=毎秒30フレーム」の映像データを送信するようにする(図18の「91」及び「94」参照)。
すなわち、マスタサーバMは、時間及び空間スケーラビリティによる階層符号のうち、低解像度の映像データ(ベースレイヤ)である「符号B0」及び「符号B0」と相関関係にある映像データを残し、高解像度の映像データ(拡張レイヤ)である「符号B1」及び「符号B1」と相関関係にある映像データを廃棄した映像データを端末a11に送信する(図11参照)。
このように、スレーブサーバAが、「会議室1」に必要な最大表示画質情報に応じた画質の映像データをマスタサーバMに送信させることで、マスタサーバM−スレーブサーバA間の帯域を小さくする制御することができる。
(B−3)第2の実施形態の効果
以上のように、第2の実施形態によれば、第1の実施形態の効果に加えて、H.264/SVCの符号化方式の特性を利用して、マスタサーバ−スレーブサーバ間の輻輳を回避して、更に安定した品質で会議を行うことができる。
以上のように、第2の実施形態によれば、第1の実施形態の効果に加えて、H.264/SVCの符号化方式の特性を利用して、マスタサーバ−スレーブサーバ間の輻輳を回避して、更に安定した品質で会議を行うことができる。
(C)他の実施形態
上述した各実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用することができる。
上述した各実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用することができる。
(C−1)本発明は、第1の実施形態と第2の実施形態とを組み合わせたものに適用することができる。つまり、本発明は、第1の実施形態で説明したように、マスタサーバが、ビデオ会議プロトコルを用いて、各会議室に関する各会議セッションの帯域をスレーブサーバ毎に割り当てると共に、更にビデオ会議が進行中に帯域が不足してきた場合に、スレーブサーバが、各会議室に参加する各端末の最大画像品質を抽出して、当該スレーブサーバに接続する各端末の映像データの切替要求をマスタサーバに行うようにしても良い。これにより、各会議セッションの帯域を動的に変更することができる。
また、第2の実施形態で説明した実施形態を、第1の実施形態とは独立して適用するようにしても良い。
(C−2)上述した第1の実施形態では、マスタサーバが、複数の会議セッションが同時に行われる際に、各会議室の会議セッションの帯域をスレーブサーバ毎に割当変更を行う場合を例示した。しかし、スレーブサーバ毎に会議セッションの帯域割当を行わず、会議室毎の会議セッションの帯域割当を変更するようにしても良い。
(C−3)上述した各実施形態では、マスタサーバとスレーブサーバとの1段のカスケード構成の場合を例示したが、2以上の段数であっても良い。
100…多地点ビデオ会議システム、M…マスタサーバ、A及びB…スレーブサーバ、31…ゲートウェイ、32…MCU、
a11、a12、a21、b11、b12、b21…端末、51−1及び51−2…データ受信部、52−1及び52−2…復号部、53…合成部、54−1及び54−2…符号化部、55−1及び55−2…データ送信部、56…制御部、65…帯域制御処理部、61…会議セッション数均等割当処理部、62…会議セッション重み割当処理部、63…会議セッション参加数割当処理部、64…会議セッション開催時間割当処理部、71…H.264/SVCエンコーダ、72…MPEG2−TS生成部、81…最大表示画質抽出部、82…端末側送信信号制御部、83…マスタサーバ側制御信号送信部。
a11、a12、a21、b11、b12、b21…端末、51−1及び51−2…データ受信部、52−1及び52−2…復号部、53…合成部、54−1及び54−2…符号化部、55−1及び55−2…データ送信部、56…制御部、65…帯域制御処理部、61…会議セッション数均等割当処理部、62…会議セッション重み割当処理部、63…会議セッション参加数割当処理部、64…会議セッション開催時間割当処理部、71…H.264/SVCエンコーダ、72…MPEG2−TS生成部、81…最大表示画質抽出部、82…端末側送信信号制御部、83…マスタサーバ側制御信号送信部。
Claims (7)
- 第1の会議サーバがカスケード接続により複数の第2の会議サーバと接続して、複数の会議に係る処理を行う会議システムにおいて、
上記第1の会議サーバが、確立した複数の会議セッションの使用帯域が上記複数の第2の会議サーバとの間の通信帯域を超える場合に、上記複数の会議セッションに係る各会議の会議情報に基づいて、上記複数の会議セッションのそれぞれに割り当てる通信帯域を制御する第1の帯域制御手段を備え、
上記複数の第2の会議サーバのそれぞれが、上記第1の会議サーバにより割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する第2の帯域制御手段を備える
ことを特徴とする会議システム。 - 上記第1の会議サーバが、画像品質の異なる複数種類の映像データを多重化させた会議データ信号を送信するものであって、
上記各第2の会議サーバが、
各会議に参加する各端末の必要な画像品質情報に基づいて、上記第1の会議サーバからの会議データ信号を、上記各端末において必要な映像データに加工して上記各端末に送信する端末側送信信号制御手段と、
上記各会議の最大画像品質情報に必要な会議データの送信を指示する制御信号を上記第1の会議サーバに送信する制御信号送信手段と
を備える
ことを特徴とする請求項1に記載の会議システム。 - 複数の会議サーバとカスケード接続をして、複数の会議に係る処理を行う会議サーバにおいて、
確立した複数の会議セッションの使用帯域が上記複数の第2の会議サーバとの間の通信帯域を超える場合に、上記複数の会議セッションに係る各会議の会議情報に基づいて、上記複数の会議セッションのそれぞれに割り当てる通信帯域を制御する帯域制御手段を備えることを特徴とする会議サーバ。 - マスタサーバとなる第1の会議サーバとカスケード接続する会議サーバにおいて、
複数の会議セッションに係る各会議の会議情報に基づいて上記複数の会議セッションのそれぞれに通信帯域を割り当てる上記第1の会議サーバから取得した、上記各会議セッションに割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する帯域制御手段を備えることを特徴とする会議サーバ。 - 第1の会議サーバがカスケード接続により複数の第2の会議サーバと接続して、複数の会議に係る処理を行う会議方法において、
上記第1の会議サーバが、確立した複数の会議セッションの使用帯域が上記複数の第2の会議サーバとの間の通信帯域を超える場合に、上記複数の会議セッションに係る各会議の会議情報に基づいて、上記複数の会議セッションのそれぞれに割り当てる通信帯域を制御し、
上記複数の第2の会議サーバのそれぞれが、上記第1の会議サーバにより割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する
ことを特徴とする会議方法。 - 複数の会議サーバとカスケード接続をして、複数の会議に係る処理を行う会議サーバの会議プログラムにおいて、
コンピュータを、
確立した複数の会議セッションの使用帯域が上記複数の第2の会議サーバとの間の通信帯域を超える場合に、上記複数の会議セッションに係る各会議の会議情報に基づいて、上記複数の会議セッションのそれぞれに割り当てる通信帯域を制御する帯域制御手段として機能させることを特徴とする会議プログラム。 - マスタサーバとなる第1の会議サーバとカスケード接続する会議サーバの会議プログラムにおいて、
コンピュータを、
複数の会議セッションに係る各会議の会議情報に基づいて上記複数の会議セッションのそれぞれに通信帯域を割り当てる上記第1の会議サーバから取得した、上記各会議セッションに割り当てられた通信帯域に基づいて、各会議に参加する端末との間の通信帯域を制御する帯域制御手段として機能させることを特徴とする会議プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014066859A JP2015192230A (ja) | 2014-03-27 | 2014-03-27 | 会議システム、会議サーバ、会議方法及び会議プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014066859A JP2015192230A (ja) | 2014-03-27 | 2014-03-27 | 会議システム、会議サーバ、会議方法及び会議プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015192230A true JP2015192230A (ja) | 2015-11-02 |
Family
ID=54426439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014066859A Pending JP2015192230A (ja) | 2014-03-27 | 2014-03-27 | 会議システム、会議サーバ、会議方法及び会議プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015192230A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011169A (ja) * | 2016-07-13 | 2018-01-18 | 株式会社リコー | 通信装置、通信システム、通信方法およびプログラム |
| CN108322693A (zh) * | 2018-03-01 | 2018-07-24 | 上海创视通软件技术有限公司 | 一种mcu端控制第三方终端辅流的方法及系统 |
| JP2018207203A (ja) * | 2017-05-31 | 2018-12-27 | シャープ株式会社 | 制御システム、端末装置、制御方法およびプログラム |
| JP2019149661A (ja) * | 2018-02-27 | 2019-09-05 | パナソニックIpマネジメント株式会社 | テレビ会議装置 |
| CN114630071A (zh) * | 2022-03-07 | 2022-06-14 | 海南视联通信技术有限公司 | 一种直播处理方法、装置、终端设备和存储介质 |
| CN115473967A (zh) * | 2022-09-13 | 2022-12-13 | 北京佳讯飞鸿电气股份有限公司 | 音频会议的混音控制方法、装置、设备及存储介质 |
| US11936701B2 (en) | 2021-09-28 | 2024-03-19 | Ricoh Company, Ltd. | Media distribution system, communication system, distribution control apparatus, and distribution control method |
| JP2024520345A (ja) * | 2021-07-30 | 2024-05-24 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Av会議実現方法、av会議システム及びコンピュータプログラム |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07123090A (ja) * | 1993-10-25 | 1995-05-12 | Toshiba Corp | 遠隔会議システム |
| JP2000036813A (ja) * | 1998-05-22 | 2000-02-02 | Lucent Technol Inc | 動的にスケ―ラブルな会議システム |
| JP2000244490A (ja) * | 1999-02-24 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 多地点会議装置 |
| JP2001160858A (ja) * | 1999-12-03 | 2001-06-12 | Mitsubishi Electric Corp | 通信システムおよび通信方法 |
| JP2005223430A (ja) * | 2004-02-03 | 2005-08-18 | Ntt Communications Kk | 画像通信システム、画像配信サーバ、クライアント端末、画像通信方法、およびプログラム |
| JP2009508454A (ja) * | 2005-09-07 | 2009-02-26 | ヴィドヨ,インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
| JP2009518996A (ja) * | 2005-09-07 | 2009-05-07 | ヴィドヨ,インコーポレーテッド | 低遅延かつ分散した会議アプリケーション向けコンファレンスサーバアーキテクチャのためのシステムおよび方法 |
| JP2009239714A (ja) * | 2008-03-27 | 2009-10-15 | Fujitsu Ltd | 会議システム、会議プログラム、会議リソース割り当て方法 |
| JP2011525770A (ja) * | 2008-06-23 | 2011-09-22 | ラドヴィジョン リミテッド | カスケード接続のマルチポイントテレビ会議装置を提供するためのシステム、方法及び媒体 |
| JP2011199845A (ja) * | 2010-02-24 | 2011-10-06 | Ricoh Co Ltd | 伝送システム |
| JP2011250384A (ja) * | 2010-05-27 | 2011-12-08 | Canon Software Information Systems Inc | ウェブ会議システム、情報処理装置、およびその制御方法、プログラム、記録媒体。 |
| JP2013515445A (ja) * | 2009-12-22 | 2013-05-02 | デルタ・ヴィディオ・インコーポレイテッド | 双方向同期型映像視聴のためのシステムおよび方法 |
-
2014
- 2014-03-27 JP JP2014066859A patent/JP2015192230A/ja active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07123090A (ja) * | 1993-10-25 | 1995-05-12 | Toshiba Corp | 遠隔会議システム |
| JP2000036813A (ja) * | 1998-05-22 | 2000-02-02 | Lucent Technol Inc | 動的にスケ―ラブルな会議システム |
| JP2000244490A (ja) * | 1999-02-24 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 多地点会議装置 |
| JP2001160858A (ja) * | 1999-12-03 | 2001-06-12 | Mitsubishi Electric Corp | 通信システムおよび通信方法 |
| JP2005223430A (ja) * | 2004-02-03 | 2005-08-18 | Ntt Communications Kk | 画像通信システム、画像配信サーバ、クライアント端末、画像通信方法、およびプログラム |
| JP2009508454A (ja) * | 2005-09-07 | 2009-02-26 | ヴィドヨ,インコーポレーテッド | スケーラブルなビデオ符号化を用いたスケーラブルで低遅延のテレビ会議用システムおよび方法 |
| JP2009518996A (ja) * | 2005-09-07 | 2009-05-07 | ヴィドヨ,インコーポレーテッド | 低遅延かつ分散した会議アプリケーション向けコンファレンスサーバアーキテクチャのためのシステムおよび方法 |
| JP2009239714A (ja) * | 2008-03-27 | 2009-10-15 | Fujitsu Ltd | 会議システム、会議プログラム、会議リソース割り当て方法 |
| JP2011525770A (ja) * | 2008-06-23 | 2011-09-22 | ラドヴィジョン リミテッド | カスケード接続のマルチポイントテレビ会議装置を提供するためのシステム、方法及び媒体 |
| JP2013515445A (ja) * | 2009-12-22 | 2013-05-02 | デルタ・ヴィディオ・インコーポレイテッド | 双方向同期型映像視聴のためのシステムおよび方法 |
| JP2011199845A (ja) * | 2010-02-24 | 2011-10-06 | Ricoh Co Ltd | 伝送システム |
| JP2011250384A (ja) * | 2010-05-27 | 2011-12-08 | Canon Software Information Systems Inc | ウェブ会議システム、情報処理装置、およびその制御方法、プログラム、記録媒体。 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011169A (ja) * | 2016-07-13 | 2018-01-18 | 株式会社リコー | 通信装置、通信システム、通信方法およびプログラム |
| JP2018207203A (ja) * | 2017-05-31 | 2018-12-27 | シャープ株式会社 | 制御システム、端末装置、制御方法およびプログラム |
| JP2019149661A (ja) * | 2018-02-27 | 2019-09-05 | パナソニックIpマネジメント株式会社 | テレビ会議装置 |
| CN108322693A (zh) * | 2018-03-01 | 2018-07-24 | 上海创视通软件技术有限公司 | 一种mcu端控制第三方终端辅流的方法及系统 |
| CN108322693B (zh) * | 2018-03-01 | 2021-03-02 | 上海创视通软件技术有限公司 | 一种mcu端控制第三方终端辅流的方法及系统 |
| JP2024520345A (ja) * | 2021-07-30 | 2024-05-24 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Av会議実現方法、av会議システム及びコンピュータプログラム |
| JP7691199B2 (ja) | 2021-07-30 | 2025-06-11 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | Av会議実現方法、av会議システム及びコンピュータプログラム |
| US12476836B2 (en) | 2021-07-30 | 2025-11-18 | Tencent Technology (Shenzhen) Company Limited | Audio and video conference implementation method, audio and video conference system, and related apparatus |
| US11936701B2 (en) | 2021-09-28 | 2024-03-19 | Ricoh Company, Ltd. | Media distribution system, communication system, distribution control apparatus, and distribution control method |
| CN114630071A (zh) * | 2022-03-07 | 2022-06-14 | 海南视联通信技术有限公司 | 一种直播处理方法、装置、终端设备和存储介质 |
| CN115473967A (zh) * | 2022-09-13 | 2022-12-13 | 北京佳讯飞鸿电气股份有限公司 | 音频会议的混音控制方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11503250B2 (en) | Method and system for conducting video conferences of diverse participating devices | |
| JP2015192230A (ja) | 会議システム、会議サーバ、会議方法及び会議プログラム | |
| CN102668554B (zh) | 用于交互式同步视频观看的系统和方法 | |
| JP4921488B2 (ja) | スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法 | |
| JP5265383B2 (ja) | 低遅延かつ分散した会議アプリケーション向けコンファレンスサーバアーキテクチャのためのシステムおよび方法 | |
| KR20220073851A (ko) | 몰입형 뷰포트 종속 다자간 비디오 통신 | |
| JP2010178340A (ja) | 常駐会議を行うための方法およびシステム | |
| US9386273B1 (en) | Video multicast engine | |
| EP3127326A1 (en) | System and method for a hybrid topology media conferencing system | |
| US20050151836A1 (en) | Video conferencing system | |
| JP2013042492A (ja) | 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム | |
| TWI491218B (zh) | 媒體中繼視訊通信 | |
| JP2017092802A (ja) | 会議通話システム及びそれに用いられるバックエンドシステム | |
| Johanson | Multimedia communication, collaboration and conferencing using Alkit Confero | |
| Johanson | Designing an environment for distributed real-time collaboration | |
| HK1234552B (en) | Method and system for conducting video conferences of diverse participating devices | |
| HK1234552A1 (en) | Method and system for conducting video conferences of diverse participating devices | |
| HK1191480A (en) | Method and system for conducting video conferences of diverse participating devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171031 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180529 |