JP2005269498A - ビデオ会議システム、ビデオ会議端末装置、およびその制御方法ならびにそのためのビデオ会議端末装置制御用プログラム - Google Patents

Abstract

【課題】送信した音声・画像データが、受信側においてどのような状態で届いているかを送信側でリアルタイムに確認することを可能とし、ユーザの不安感を解消させ、ストレスなくビデオ会議システムを使用させることを可能とし、ビデオ会議システムの利便性、信頼性、および性能の向上を可能とする。
【解決手段】 ビデオ会議システムを構成する端末装置（１０１，１１１）に、送信されてきた音声・画像データの受信状態を示す品質情報を生成し自端末側の画像と合成して合成画像を生成し（品質情報収集部１０６，１１６、画像処理部１０５，１１５）、該合成画像を送信元の前記他の端末装置に送信する（ビデオ会議処理部１０３，１１３、通信制御部）。この構成により、受信側での受信状態を送信元で確認可能となる。
【選択図】 図１

Description

本発明は、音声・画像を使用するビデオ会議技術に係わり、特に、ビデオ会議システムの信頼性の向上を図るのに好適なビデオ会議システム、ビデオ会議端末装置、およびその制御方法ならびにそのためのビデオ会議端末装置制御用プログラムに関するものである。

ビデオ会議システムの利用は、最近、注目されているシステムの一つであり、例えば、出張費を削減するために導入する企業も多く、その効果も期待されている。

ビデオ会議システムにおける品質を向上させるための従来技術としては、特許文献１〜５に記載のものがある。

例えば、特許文献１には、ビデオ会議システムに関して、高速ＬＡＮにおいて会議サービス用のノードを設けるとともに、各端末側に映像を縮小して符号化する機能を導入し、会議ノードで、これらの映像信号を復号して合成し分配するおとにより、通信地点数にともなう品質劣化を避け、効率的に画像の合成を行って各端末に分配する技術が記載されている。

また、特許文献２には、ＴＶ会議において、対象とする発言者の音声を明確に聴取し得るようにする技術が記載され、特許文献３には、テレビ会議における発言者を、その音声に基づき特定して、その発言者をモニタ画面に分かり易く表示する技術が記載されている。

また、特許文献４には、テレビ会議の端末において、複数のマイクからの音声レベルを計測して、音声レベルの高いマイクと対応するカメラからの映像を選択してディスプレイに表示する技術が記載され、特許文献５には、ビデオ会議システムにおいて、例えば発言者の動画ストリームのみ間引かず、他は間引くことで、データ量を抑えながらも、必要な画像の画質を落とさないようにする技術が記載されている。

しかし、いずれの従来技術においても、上述した、実際の使用における問題点、すなわち、相手に自分の声が届いているのかといった不安を解消させることはできない。

尚、ＴＶを使ったビデオ会議システムでは、音声データ、画像データのどちらもスムーズに送受信されるので、使用者に不安を与えないものもあるが、このタイプのシステムでは、ネットワークの使用帯域が大きく、回線の細い拠点では使用できないという問題点があった。

特開平０５−１５３５８３号公報 特開平０８−０８８６９２号公報 特開平０７−１０７４５１号公報 特開平０８−１６３５２６号公報 特開２００１−１２８１３２号公報

しかしながら、上述した従来の技術は、送信元の音声・画像データを受信側で再生する技術を開示したものであり、その受信側で再生された品質を送信元で知ることができないため、すなわち相手に自分の声が届いているのかまたその品質がどの程度なのかわからないため不安であり、その都度、相手に確認したり、声を大きくして話すケースが多く、使い勝手に問題点があった。

本発明の目的は、これら従来技術の問題点を解決し、送信した音声・画像データが、受信側においてどのような状態で届いているかを、ビデオ会議システムを使用しながら送信側でリアルタイムに確認することを可能とし、ユーザの不安感を解消させ、ストレスなくビデオ会議システムを使用させることを可能とし、ビデオ会議システムの利便性、信頼性、および性能の向上を可能とすることである。

本発明は、上記目的を達成するために、ビデオ会議システムを構成する端末装置に、送信されてきた音声・画像データの受信状態を示す品質情報を生成し、生成した品質情報を自端末側の画像と合成して合成画像を生成し、該合成画像を送信元の前記他の端末装置に送信するようにすることによって、受信側での受信状態を送信元で確認可能とする構成としたことを特徴とする。

本発明によれば、受信側で再生している音声・画像データの品質を送信元で知ることができるので、送信した音声・画像データが、受信側においてどのような状態で届いているかを、送信側で、ビデオ会議システムを使用しながらリアルタイムに確認することができ、ユーザの不安感を解消させ、ストレスなくビデオ会議システムを使用させることが可能となり、ビデオ会議システムの利便性、信頼性、および性能が向上する。

さらに、品質情報はビデオ会議の画像情報に合成して表示されるため、通信相手が複数のビデオ会議（多地点ビデオ会議）に適用しても同様の効果を得ることができる。

以下、本発明の実施の形態を、図面により詳細に説明する。
図１は、本発明に係わるビデオ会議システムの構成例を示すブロック図であり、図２は、図１におけるビデオ会議システムの端末装置のハードウエア構成例を示すブロック図、図３は、図１におけるビデオ会議システムの処理動作例を示すフローチャート、図４は、図１のビデオ会議システムにおける端末装置で表示される画面例を示す説明図、図５は、多地点ビデオ会議システムにおける一つのクライアントの端末装置の表示装置の画面の一例を示す図である。

図２において、２１はＣＲＴ（Cathode Ray Tube）やＬＣＤ(Liquid Crystal Display)等からなる表示装置、２２はキーボードやマウス等からなる入力装置、２３はＨＤＤ（Hard Disk Drive）等からなる外部記憶装置、２４はＣＰＵ（Central Processing Unit）２４ａや主メモリ２４ｂおよび入出力インタフェース２４ｃ等を具備してコンピュータ処理を行なう情報処理装置、２５は本発明に係わるプログラムやデータを記録したＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）もしくはＤＶＤ（Digital Video Disc/Digital Versatile Disc）等からなる光ディスク、２６は光ディスク２５に記録されたプログラムおよびデータを読み出すための駆動装置、２７はＬＡＮ（Local Area Network）カードやモデム等からなる通信装置である。

光ディスク２５に格納されたプログラムおよびデータを情報処理装置２４により駆動装置２６を介して外部記憶装置２３内にインストールした後、外部記憶装置２３から主メモリ２４ｂに読み込みＣＰＵ２４ａで処理することにより、情報処理装置２４内に図１に示すビデオ会議システムを構成する各端末装置（クライアントＡ１０１，Ｂ１１１）における各機能が実現される。

本発明に必要なプログラムやデータは、上記光ディスク２５から取り込む代わりにＦＤから取り込んでもよいし、インターネット等のネットワークを介してダウンロードして取り込むようにしてもよい。

図１において、１０１および１０２はクライアントＡおよびクライアントＢ、１０２および１１２はビデオカメラ等の映像入力装置、１０８はＣＲＴ（Cathode Ray Tube）やＬＣＤ(Liquid Crystal Display)等からなる表示装置、１１０はビデオ会議の通信データを送受信するネットワークであり、ＬＡＮでもよいし、インターネット等のＷＡＮ（Wide Area Network）でもよい。

また、１０３および１１３はビデオ会議処理部、１０４および１１４は通信制御部、１０５および１１５は画像処理部、１０６および１１６は品質情報収集部、１０７および１１７はクライアントＡ１０１およびクライアントＢ１１１上の各プログラムを制御するオペレーティング・システム（Operating System）である。

本実施例では、図３のフローチャートを用いて、クライアントＢ１１１を送信者とし、クライアントＢ１１１がクライアントＡ１０１に音声・画像データを送信し、クライアントＡ１０１で受信した音声・画像データから受信データの品質情報を収集し、これを画像に変換してクライアントＡ１０１で取りこまれた入力画像と合成し、その合成画像をクライアントＢ１１１に送り、クライアントＢ１１１において受信した合成画像を表示して自分が送出したデータのクライアントＡ１０１での受信品質を確認する動作を具体的に説明する。

図３に示すように、ビデオ会議が始まると（ステップＳ２０１）、クライアントＡ１０１の品質情報収集部１０６は、通信相手クライアントＢ１１１から受信する音声データ、および、画像データの品質を収集する。（ステップＳ２０２）

音声の品質データは、例えば、音声出力レベル（単位ｄｂ（デシベル））として収集され、画像の品質データは、例えば、予め定められた時間内に到着したパケット数と欠落したパケット数の割合として収集される。

次に、画像処理部１０５において、収集した品質データを画像データに変換し（ステップＳ２０３）、入力処理装置１０２から入力されたクライアントＡ１０１側の映像と合成処理する。（ステップＳ２０４）

品質データを表す画像データとクライアントＡ１０１側の映像の合成された画像データは、ビデオ会議処理部１０３により、クライアントＡ１０１の画像として、クライアントＢ１１１宛に送信される。（ステップＳ２０５）

クライアントＢ１１１では、クライアントＡ１０１から送信された品質データを表す画像データとクライアントＡ１０１側の映像の合成された画像データを表示する。

図４は、クライアントＢ１１１の表示装置１１８に表示される合成された画像データの一例である。

同図において、３０１が合成された画像データの表示例であり、クライアントＢ１１１は、この表示画面により、クライアントＡ１０１側の映像（ａ）の中に組み込まれている（合成されている）音声品質表示（３０２）および画像品質表示（３０３）を見て、クライアントＡ１０１側でのクライアントＢ１１１からの受信状態を確認できる。

このように、送信側において、自装置が送信した音声・画像データが相手側に正常に届いているかどうかを、リアルタイムに画面上に表示することで、送信側のユーザは、不安なくビデオ会議を行うことができる。

また、障害（受信側に音声・画像が届かなかった場合等）が発生した場合でも、送信元のユーザ自身が直ぐに認識できるので、言い直す等、即座に適切な対応を取ることが可能となる。

上記具体例では、説明を簡単にするために、クライアントＢ１１１からクライアントＡ１０１へ音声・画像を送信した場合に、クライアントＡ１０１での受信状態をクライアントＢ１１１で確認する例を説明したが逆の場合も同様であり、一般的に、多数のクライアントが上記クライアントＡ１０１、Ｂ１１１と同様の構成の端末装置を具備することにより、多地点ビデオ会議システムが可能であることはいうまでもない。

図５は、多地点ビデオ会議システムにおける一つのクライアント（クライアントＣの例）の端末装置の表示装置の画面の一例を示す図である。

同図において、（ａ）〜（ｎ）は、クライアントＡ〜Ｎの入力装置から取り込まれた画像データ、ａｃ１〜ｎｃ１は、クライアントＡ〜ＮがクライアントＣから受信した音声データの品質情報を示す画像、ａｃ２〜ｎｃ２は、クライアントＡ〜ＮがクライアントＣから受信した画像データの品質情報を示す画像を示している。

これにより、クライアントＣは、多地点ビデオ会議に参加している他のクライアントＡ，Ｂ，Ｄ〜Ｎにおける入力画像と、当該クライアントＡ，Ｂ，Ｄ〜Ｎが自分が送信した音声データと画像データをどのような品質で受信しているのかが即座にわかるので、他のクライアントに対してどのように対処したら良いかなど適切な判断を行うことが可能となる。

尚、本発明は、図１〜５を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、画像品質をパケットから、また音声品質を音声出力レベルから取得したが、品質測定可能な要素であれば如何なるものでもよい。

また、入力装置から取り込んだ映像情報と合成して相手に送信する情報も、上記実施例に限定されず、様々な情報が合成可能である。例えば、受信側における受信状態を「音声が聞こえません」など通話状態を示す定型メッセージもしくはそれを表すマーク（アイコン）を入力装置から取り込んだ映像情報と合成するようにしてもよい。

また、任意のテキスト情報や、例えば採決時に意思を示す手段として、「○」，「×」，「棄権」などのメッセージもしくはそれを表すマーク（アイコン）を入力装置から取り込んだ映像情報と合成してもよい。さらに、マイク音声の入力レベルを入力装置から取り込んだ映像情報と合成してもよい（発言している状況が把握できる）。

なお、図１で示したクライアントＡ１０１およびクライアントＢ１１１におけるビデオ会議処理部（ビデオ会議システムのクライアントアプリケーションであり、他クライアントから送られた画像を表示装置に送って表示させたり、自クライアントで合成した画像データを他クライアントに送信する機能）、通信制御部（通信機能）、画像処理部（品質情報を画像データに変換する機能，映像入力装置から取り込んだ画像データと品質情報を画像データとを合成する合成機能）、品質情報収集部（音声データや画像データから品質情報を収集する機能）等が有する処理機能をプログラムコード化したプログラムを、クライアントのコンピュータ（図１では単にクライアントＡ１０１、Ｂ１１１で示している）に実行させることによって、これらの各機能を実現させることができる。

また、このプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ，ＦＤ等のコンピュータ読み取り可能な記録媒体に記録して頒布したり、インターネット等のネットワークを介してユーザのコンピュータにダウンロードさせること等により広く市場に普及させることができる。

本発明に係わるビデオ会議システムの構成例を示すブロック図である。 図１におけるビデオ会議システムの端末装置のハードウェア構成例を示すブロック図である。 図１におけるビデオ会議システムの処理動作例を示すフローチャートである。 図１のビデオ会議システムにおける端末装置で表示される画面例を示す説明図である。 多地点ビデオ会議システムにおける一つのクライアントの端末装置の表示装置の画面の一例を示す図である。

符号の説明

２１：表示装置
２２：入力装置
２３：外部記憶装置
２４：情報処理装置
２４ａ：ＣＰＵ
２４ｂ：主メモリ
２４ｃ：入出力インタフェース
２５：光ディスク
２６：駆動装置
２７：通信装置
１０１：クライアントＡ（の端末装置）
１１１：クライアントＢ（の端末装置）
１０２，１１２：映像入力装置
１０３，１１３：ビデオ会議処理部
１０４，１１４：通信制御装置
１０５，１１５：画像処理部
１０６，１１６：品質情報収集部
１０７，１１７：ＯＳ（オペレーティング・システム）
１０８，１１８：表示装置
３０１：画像データ表示例
３０２：音声の品質情報の表示
３０３：画像の品質情報の表示

Claims (10)

1. ネットワークを介して接続された複数の端末装置間で音声・画像データの送受信を行うビデオ会議システムであって、
   前記端末装置のうちの少なくとも１つは、他の端末装置から送信されてきた音声・画像データの受信状態を示す品質情報を生成する第１の手段と、該第１の手段で生成した品質情報を自端末側の画像と合成して合成画像を生成する第２の手段と、該第２の手段で合成した合成画像を送信元の前記他の端末装置に送信する第３の手段を有することを特徴とするビデオ会議システム。
2. 請求項１に記載のビデオ会議システムであって、前記第１の手段は、前記端末装置に設けられたスピーカからの出力レベルを測定し、該測定した出力レベルを前記品質情報とすることを特徴とするビデオ会議システム。
3. 請求項１または２記載のビデオ会議システムであって、前記第１の手段は、前記端末装置に設けられた表示装置の画面上に表示された画像データのパケット数を計測し、予め定められた時間間隔で計測したパケット数と欠落したパケット数の割合を前記品質情報とすることを特徴とするビデオ会議システム。
4. ネットワークを介して音声・画像データの送受信を行うビデオ会議システムを構成するビデオ会議端末装置であって、
   送信されてきた音声・画像データの受信状態を示す品質情報を生成する第１の手段と、該第１の手段で生成した品質情報を自端末側の画像と合成して合成画像を生成する第２の手段と、該第２の手段で合成した合成画像を送信元の前記他の端末装置に送信する第３の手段と、送信されてきた音声・画像データを表示する第４の手段を有することを特徴とするビデオ会議端末装置。
5. 請求項４記載のビデオ会議端末装置であって、前記第１の手段は、前記端末装置に設けられたスピーカからの出力レベルを測定し、該測定した出力レベルを前記品質情報とすることを特徴とするビデオ会議端末装置。
6. 請求項４または５記載のビデオ会議端末装置であって、前記第１の手段は、前記端末装置に設けられた表示装置の画面上に表示された画像データのパケット数を計測し、予め定められた時間間隔で計測したパケット数と欠落したパケット数の割合を前記品質情報とすることを特徴とするビデオ会議端末装置。
7. ネットワークを介して接続された複数の端末装置間で音声・画像データの送受信を行うビデオ会議システムにおけるビデオ会議端末装置制御方法であって、
   他の端末装置から送信されてきた音声・画像データを表示装置に表示する第１ステップと、他の端末装置から送信されてきた音声・画像データの受信状態を示す品質情報を生成する第２ステップと、該第２ステップで生成した品質情報を自端末側の画像と合成して合成画像を生成する第３ステップと、該第３ステップで合成した合成画像を送信元の前記他の端末装置に送信する第４ステップを有することを特徴とするビデオ会議端末装置制御方法。
8. 請求項７に記載のビデオ会議端末装置制御方法であって、前記第２ステップは、前記端末装置に設けられたスピーカからの出力レベルを測定し、該測定した出力レベルを前記品質情報とすることを特徴とするビデオ会議端末装置制御方法。
9. 請求項７または８記載のビデオ会議端末装置制御方法であって、前記第２ステップは、前記端末装置に設けられた表示装置の画面上に表示された画像データのパケット数を計測し、予め定められた時間間隔で計測したパケット数と欠落したパケット数の割合を前記品質情報とすることを特徴とするビデオ会議端末装置制御方法。
10. コンピュータに、請求項７から請求項９のいずれかに記載のビデオ会議端末装置制御方法を実現する各ステップを実行させるためのビデオ会議端末装置制御用プログラム。

Images