JP2008061060A - 会議システム - Google Patents

Abstract

【課題】顔と顔を突き合わせた会議環境に近い擬似環境を形成して、臨場感があり、効率的な会議通信が実現可能な会議システムを提供する。
【解決手段】ＩＰネットワークＮＴに接続された複数の会議装置Ｓ，Ａ，Ｂ〜Ｍは、装置全体の動作を制御するメイン処理部２と、映像・音声入力装置７および音声出力装置８に接続され、音声データならびに映像データを処理する音声・画像データ処理部３と、表示装置６に接続され、表示データの表示を制御する表示データ制御部４、意思表示の入出力を実行する応答補助装置５とを備える。
【選択図】図２

Description

本発明はＩＰネットワークに接続され、会議装置相互間で音声会議やテレビ会議を行なう会議システムに係り、特に会議に参加している会議装置の設定状態や動作状態などの付加情報が確認でき、会議参加者の会議内容に対する意思表示を可能にして、臨場感のある会議システムを提供することにある。

従来の会議システムは、受信側の会議装置で送信側の会議装置からの音声信号を受信すると、音声信号の音声レベルを示す音声レベル情報を生成し、音声レベル情報をネットワークを介して送信側の会議装置に送信し、送信側の会議装置で音声レベル情報を受信して音声レベルを視覚的に表示するように構成されたものが「特許文献１」に開示されている。

これにより、送信側の会議装置の話者は、自分の音声が相手（受信側会議装置）に伝わっていることを視覚化された音声レベルから直接確認することができ、安心感のある音声会議ができるというものである。

また、従来の会議システムは、送信側の会議装置から送信した音声・画像データが受信側の会議装置にどのような状態で届いているかを送信側の会議装置でリアルタイムに確認するため、受信側の会議装置が音声・画像データを受信すると、音声・画像データの受信状態を表す品質情報（音声データはスピーカからの出力レベル、画像データはパケット数）を生成して、品質情報と自装置の画像とを合成した合成画像を生成してネットワークを介して送信側の会議装置に送信するものが「特許文献２」に開示されている。

「特許文献２」には、さらに、品質情報に限らず、会議参加者の意思表示をアイコンや定型メッセージなどで映像と合成した合成画を送信できることが記載されている。

これにより、送信側の会議装置の話者は、自分の音声や画像が相手（受信側会議装置）に伝わっていることを品質情報の画面表示から認識でき、アイコンや定型メッセージなど画面表示から相手の意思表示も確認できるものである。
特開２００４−１８６８７０号公報 特開２００５−２６９４９８号公報

会議装置を使った通信では、常に、話者の音声（テレビ会議の場合には画像も含む）が相手に伝わっているかどうかの不安が付きまとうことになり、会議参加者が多くなる（複数地点）と、この傾向が一層顕著になる。

したがって、このような不安を解消するために、会議の主催者は、会議に入る前に、予め会議参加者の全員に対して音声が聞き取れているか、画像が見えているかの確認をしなければならない。

「特許文献１」または「特許文献２」に開示された従来の会議システムは、受信側で受信した送信側の音声データから音声レベルを生成し、または音声データおよび画像データから品質情報を生成し、音声レベルや品質情報を送信側に送信して、送信側の会議装置に表示することにより、送信者は、自分の音声や画像が受信側（会議装置）に確実に届いていることを確認することができるが、必ずしも受信側（会議装置）の受信者が音声や画像を適切に認識できているとは限らないケースがある。

例えば、受信側会議装置には、音声データや画像データが届いているが、音声の場合、スピーカがオフになっていたり、音量調節ボリューム位置が不適切で、音声が聞き取れない、または聞き取り難いケースがある。

また、受信側会議装置には、画像データが届いているが、表示装置の輝度、色調などが不適切で画像が見にくいケースもある。

このような場合、従来の会議システムでは、音声レベルや品質情報が正常であっても、システム全体で会議を実行するためには、不適切な事態を招く課題がある。

また、会議の議題の表決を取るような場合には、会議参加者が多い場合（多数の地点）、各地点の参加者に賛否を確認しなければならず、一人づつ賛否を確認していくには、多くの時間が必要となって、会議の進行が効率的でない課題がある。

さらに、会議参加者のリアクションが得られないこともあり、顔と顔を突き合わせた会議に比べて臨場感がなく、実りの少ない会議になってしまう虞がある。

また、会議装置間の通信路のデータ量が多い場合など、通信遅延が長いにも拘わらず、通信遅延状況が把握できないことから、音声の送信側が音声を停止しているにも拘わらず、音声可視化データが表示され、違和感を与えるというような課題がある。

この発明はこのような課題を解決するためになされたもので、その目的は顔と顔を突き合わせた会議環境に近い擬似環境を形成して、臨場感があり、効率的な会議通信が実現可能な会議システムを提供することにある。

前記課題を解決するためこの発明に係る会議システムは、少なくとも２つ以上の会議端末をＩＰネットワークを介して接続し、会議端末相互間で音声会議通信の音声データまたはテレビ会議通信の音声データならびに映像データを送受信するように構成された会議システムであって、会議端末は、自側の会議端末における動作状態を付加データとして音声データまたは映像データに多重化し、多重化データをＩＰネットワークを介して相手側会議端末に送信する送信手段を備えるとともに、相手側会議端末の送信手段によりＩＰネットワークを介して送信された多重化データを受信した際、受信した多重化データから付加データを分解する分解手段と、分解手段により分解した付加データに基づいて相手側会議端末の動作状態を表示する表示手段とを備えたことを特徴とする。

また、この発明に係る会議システムは、少なくとも２つ以上の会議端末をＩＰネットワークを介して接続し、会議端末相互間で音声会議通信の音声データまたはテレビ会議通信の音声データならびに映像データを送受信するように構成された会議システムであって、各会議端末は、自側の会議端末の会議開始信号を送信する会議信号送信手段と、相手側の会議端末から送信された会議開始信号を受信すると、受信した会議開始信号に対応した受信信号を直ちに相手側の会議端末に返信する返信手段と、相手側の会議端末から受信すると、受信した受信信号に基づいて相手側の会議端末までの通信遅延時間を演算する遅延時間演算手段と、遅延時間演算手段で演算した通信遅延時間を相手側の会議端末に通知する遅延時間通知手段と、遅延時間通知手段から通知された通信遅延時間に基づいて統一されたタイムスタンプを管理するタイムスタンプ管理手段とを備えたことを特徴とする。

この発明に係る会議システムの各会議端末は、自側の会議端末における動作状態を付加データとして音声データまたは映像データに多重化し、多重化データをＩＰネットワークを介して相手側会議端末に送信する送信手段を備えるとともに、相手側会議端末の送信手段によりＩＰネットワークを介して送信された多重化データを受信した際、受信した多重化データから付加データを分解する分解手段と、分解手段により分解した付加データに基づいて相手側会議端末の動作状態を表示する表示手段とを備えたので、会議参加者は、相手側の会議端末の動作状態、例えばマイクのオン／オフやスピーカボリュームの位置などの状態を画面で確認しながら会議を実行することができ、実際の会議に近い擬似環境で、臨場感のある音声会議やテレビ会議を実現することができる。

また、この発明に係る各会議端末は、自側の会議端末の会議開始信号を送信する会議信号送信手段と、相手側の会議端末から送信された会議開始信号を受信すると、受信した会議開始信号に対応した受信信号を直ちに相手側の会議端末に返信する返信手段と、相手側の会議端末から受信すると、受信した受信信号に基づいて相手側の会議端末までの通信遅延時間を演算する遅延時間演算手段と、遅延時間演算手段で演算した通信遅延時間を相手側の会議端末に通知する遅延時間通知手段と、遅延時間通知手段から通知された通信遅延時間に基づいて統一されたタイムスタンプを管理するタイムスタンプ管理手段とを備えたので、会議の主催会議端末は、全参加会議端末の通信遅延時間を演算して統一したタイムスタンプを管理することができ、会議状況を把握して臨場感を持たせることができる。

本願請求項１記載の会議システムは、少なくとも２つ以上の会議端末をＩＰネットワークを介して接続し、会議端末相互間で音声会議通信の音声データまたはテレビ会議通信の音声データならびに映像データを送受信するように構成された会議システムであって、会議端末は、自側の会議端末における動作状態を付加データとして音声データまたは映像データに多重化し、多重化データをＩＰネットワークを介して相手側会議端末に送信する送信手段を備えるとともに、相手側会議端末の送信手段によりＩＰネットワークを介して送信された多重化データを受信した際、受信した多重化データから付加データを分解する分解手段と、分解手段により分解した付加データに基づいて相手側会議端末の動作状態を表示する表示手段とを有するようにした。

従って、本願請求項１記載の会議システムの各会議端末によれば、自側の会議端末における動作状態を付加データとして音声データまたは映像データに多重化し、多重化データをＩＰネットワークを介して相手側会議端末に送信する送信手段を備えるとともに、相手側会議端末の送信手段によりＩＰネットワークを介して送信された多重化データを受信した際、受信した多重化データから付加データを分解する分解手段と、分解手段により分解した付加データに基づいて相手側会議端末の動作状態を表示する表示手段とを有するようにしたので、会議参加者は、相手側の会議端末の動作状態、例えばマイクのオン／オフやスピーカボリュームの位置などの状態を画面で確認しながら会議を実行することができ、実際の会議に近い擬似環境で、臨場感のある音声会議やテレビ会議を実現することができる。

また、本願請求項２記載の各会議端末は、ＩＰネットワークに接続されている相手側の全ての会議端末の動作状態を状態管理テーブルに記憶する記憶手段を備え、分解手段で分解した付加データに基づいて、状態管理テーブルを逐次更新するようにした。

従って、本願請求項２記載の各会議端末によれば、ＩＰネットワークに接続されている相手側全ての会議端末の動作状態を状態管理テーブルに記憶する記憶手段を備え、分解手段で分解した付加データに基づいて、状態管理テーブルを逐次更新するようにしたので、刻々と変化する各会議端末の会議中の動作状態を画面で確認することができ、動作状態の変化により臨場感のある会議環境を形成することができる。

さらに、本願請求項３記載の状態管理テーブルが記憶する付加データとしての動作状態が、相手会議端末より受信した音声データのレベルまたは映像データのレベルまたは通信遅延時間情報であるようにした。

また、本願請求項４記載の状態管理テーブルが記憶する付加データとして、各会議端末の設定情報を含めるようにした。

従って、本願請求項３記載および請求項４の状態管理テーブルが記憶する付加データによれば、動作状態が、相手会議端末より受信した音声データのレベルまたは映像データのレベルまたは通信遅延時間情報であるようにし、また各会議端末の設定情報を含めるようにしたので、音声会議やテレビ会議の様々や設定情報や動作状態を記憶して、表示することができ、より臨場感のある会議にすることができる。

さらに、本願請求項５記載の会議システムは、少なくとも２つ以上の会議端末をＩＰネットワークを介して接続し、会議端末相互間で音声会議通信の音声データまたはテレビ会議通信の音声データならびに映像データを送受信するように構成された会議システムであって、各会議端末は、自側の会議端末の会議開始信号を送信する会議信号送信手段と、相手側の会議端末から送信された会議開始信号を受信すると、受信した会議開始信号に対応した受信信号を直ちに相手側の会議端末に返信する返信手段と、相手側の会議端末から受信すると、受信した受信信号に基づいて相手側の会議端末までの通信遅延時間を演算する遅延時間演算手段と、遅延時間演算手段で演算した通信遅延時間を相手側の会議端末に通知する遅延時間通知手段と、遅延時間通知手段から通知された通信遅延時間に基づいて統一されたタイムスタンプを管理するタイムスタンプ管理手段とを有するようにした。

従って、本願請求項５記載の各会議端末によれば、各会議端末は、自側の会議端末の会議開始信号を送信する会議信号送信手段と、相手側の会議端末から送信された会議開始信号を受信すると、受信した会議開始信号に対応した受信信号を直ちに相手側の会議端末に返信する返信手段と、相手側の会議端末から受信すると、受信した受信信号に基づいて相手側の会議端末までの通信遅延時間を演算する遅延時間演算手段と、遅延時間演算手段で演算した通信遅延時間を相手側の会議端末に通知する遅延時間通知手段と、遅延時間通知手段から通知された通信遅延時間に基づいて統一されたタイムスタンプを管理するタイムスタンプ管理手段とを有するようにしたので、会議の主催会議端末は、全参加会議端末の通信遅延時間を演算して統一したタイムスタンプを管理することができ、会議状況を把握して臨場感を持たせることができる。

また、本願請求項６記載の各会議端末は、相手側の会議端末から受信した音声データを可視化する可視化手段と、可視化手段で可視化された相手側の会議端末からの音声可視化データに、相手側の会議端末までの通信遅延時間情報を付加して送信する音声可視化データ送信手段と、相手側の会議端末から自側の会議端末の音声可視化データを受信すると、付加された相手側の会議端末までの通信遅延時間情報に基づいて遅延状況を判定し、判定結果を音声可視化データとともに表示する可視化音声表示手段とを有するようにした。

従って、本願請求項６記載の各会議端末によれば、相手側の会議端末から受信した音声データを可視化する可視化手段と、可視化手段で可視化された相手側の会議端末からの音声可視化データに、相手側の会議端末までの通信遅延時間情報を付加して送信する音声可視化データ送信手段と、相手側の会議端末から自側の会議端末の音声可視化データを受信すると、付加された相手側の会議端末までの通信遅延時間情報に基づいて遅延状況を判定し、判定結果を音声可視化データとともに表示する可視化音声表示手段とを有するようにしたので、音声の送信者は、相手側に音声が伝わっていることおよびデータの通信遅延時間がどうなっているかを音声可視化データの表示画面を確認しながら会議を行なうことができ、一層臨場感のある会議を実現することができる。

さらに、本願請求項７記載の可視化音声表示手段は、通信遅延時間が所定時間を越えた場合には、判定結果を警報表示で表示するようにした。

従って、本願請求項７記載の可視化音声表示手段によれば、通信遅延時間が所定時間を越えた場合には、判定結果を警報表示で表示するようにしたので、音声の送信側が音声を停止しているにも拘わらず、音声可視化データが表示されるような場合には、通信遅延時間が長くてタイムラグを発生していることを警告することができ、音声停止時に音声可視化データが表示される違和感を和らげることができる。

また、本願請求項８記載の各会議端末は、それぞれ自側の会議端末の映像を撮像し、撮像した映像データを出力する撮像手段と、相手側の会議端末より受信した映像データを再生する映像再生手段と、映像再生手段で再生された映像データから一定周期で静止画データを抽出する静止画抽出手段と、静止画抽出手段で抽出された静止画データに通信遅延時間情報を付加し、撮像手段で撮像した映像データに多重化して多重化データを送信する多重化送信手段と、相手側の会議装置から多重化データを受信すると、静止画データとともに付加された通信遅延時間を表示する静止画表示手段とを有するようにした。

従って、本願請求項８記載の各会議端末によれば、それぞれ自側の会議端末の映像を撮像し、撮像した映像データを出力する撮像手段と、相手側の会議端末より受信した映像データを再生する映像再生手段と、映像再生手段で再生された映像データから一定周期で静止画データを抽出する静止画抽出手段と、静止画抽出手段で抽出された静止画データに通信遅延時間情報を付加し、撮像手段で撮像した映像データに多重化して多重化データを送信する多重化送信手段と、相手側の会議装置から多重化データを受信すると、静止画データとともに付加された通信遅延時間を表示する静止画表示手段とを有するようにしたので、映像の送信側は、相手側に伝わっている映像がどのよう状態で表示されているかを静止画で確認しながらテレビ会議を行なうことができ、さらなる臨場感をアピールすることができる。

さらに、本願請求項９記載の静止画表示手段は、静止画データを連続スライドで表示するようにした。

従って、本願請求項９記載の静止画表示手段によれば、静止画データを連続スライドで表示するようにしたので、動画データよりも遥かに少ない静止画データで、動きのある映像を表示することができ、臨場感を高めることができる。

また、本願請求項１０記載の各会議端末は、会議参加者の意思表示を音声メッセージ、文字メッセージまたは絵文字などで表示させるため、入力装置から入力情報を入力する入力手段と、入力手段から入力された入力情報を変換テーブルに基づいて通信コマンドに変換して送信するコマンド送信手段と、通信コマンドを受信すると、通信コマンドに対応した出力情報を出力する出力手段とを有するようにした。

従って、本願請求項１０記載の各会議端末によれば、会議参加者の意思表示を音声メッセージ、文字メッセージまたは絵文字などで表示させるため、入力装置から入力情報を入力する入力手段と、入力手段から入力された入力情報を変換テーブルに基づいて通信コマンドに変換して送信するコマンド送信手段と、通信コマンドを受信すると、通信コマンドに対応した出力情報を出力装置に出力する出力手段とを有するようにしたので、会議の参加者は、会議内容についての賛成、反対などを速やかに表すことができ、実際の会議に近い臨場感で、効率的な会議を進行することができる。

さらに、本願請求項１１記載の入力手段は、入力装置を構成するパーソナルコンピュータとのインタフェースを備え、パーソナルコンピュータから入力情報が入力されるようにした。

従って、本願請求項１１記載の入力手段によれば、入力装置を構成するパーソナルコンピュータとのインタフェースを備え、パーソナルコンピュータから入力情報が入力されるようにしたので、音声会議やテレビ会議をしながら単純な操作で、かなり複雑で高度な入力情報を入力することができ、実際の会議に近い会議環境を形成することができる。

また、本願請求項１２記載の出力手段は、通信コマンドに対応して音声メッセージを記憶する音声メッセージ記憶手段を備え、通信コマンドを受信すると、対応した音声メッセージを音声メッセージ記憶手段から読み出して、可聴表示器としての音声出力装置へ出力し、音声出力装置を介して音声出力するようにした。

さらに、本願請求項１３記載の出力手段は、通信コマンドに対応して文字メッセージを記憶する文字メッセージ記憶手段を備え、通信コマンドを受信すると、対応した文字メッセージを文字メッセージ記憶手段から読み出して、可視表示器としての表示装置へ出力し、表示装置を介して文字出力するようにした。

従って、本願請求項１２および本願請求項１３記載の出力手段によれば、通信コマンドに対応して音声メッセージを記憶する音声メッセージ記憶手段を備え、通信コマンドを受信すると、対応した音声メッセージを音声メッセージ記憶手段から読み出して、可聴表示器としての音声出力装置へ出力し、出力装置を介して音声出力するようにし、または対応した文字メッセージを文字メッセージ記憶手段から読み出して、可視表示器としての表示装置へ出力し、表示装置を介して文字出力するようにしたので、単純な操作で予め設定した定型の音声メッセージまたは文字メッセージで会議参加者の意思を伝えることができ、利便性の向上をアピールすることができる。

また、本願請求項１４記載の出力手段は、通信コマンドに対応して駆動力を発生する動力発生手段を備え、通信コマンドを受信すると、動力発生手段が駆動力に変換して接続された動力装置を駆動して、様々な表示板を移動（例えば、表示板を立てるまたは倒す）させて表示するようにした。

従って、本願請求項１４記載の出力手段によれば、通信コマンドに対応して駆動力を発生する動力発生手段を備え、通信コマンドを受信すると、動力発生手段が駆動力に変換して接続された動力装置を駆動して、様々な表示板を移動（例えば、表示板を立てるまたは倒す）させて表示するようにしたので、動力装置（例えば、表示板を立てるまたは倒す）の動きで会議参加者の意思を伝え、動力装置（例えば、絵文字の表示板）の動きに遊び心を持たせることができ、楽しく和やかな音声会議やテレビ会議を提供することができる。

（実施の形態）
以下、この発明の実施の形態を添付図面に基づいて説明する。なお、本発明は、ＩＰネットワークに接続された複数の会議端末相互間で、音声データによる音声会議または、音声データおよび映像データによるテレビ会議のための通信を行なう会議システムであり、会議の臨場感を高めるため、自分の音声または映像が相手に伝わっているか否かを確認するため、相手から送信されてくる自分の音声の可視化音声データまたは自分の映像の静止画データを画面に表示するとともに、相手の設定データや状態データ、自分と相手までの通信路の通信遅延時間を画面に表示するものである。

また、本発明は、単純な操作で、会議参加者の意思表示を音声メッセージ、文字メッセージまたは動力表示で迅速に行なうものである。

図１はこの発明に係る会議システムの一実施の形態システム構成図である。図１において、会議システム１は、ＩＰネットワークＮＴと、ＩＰネットワークＮＴに接続された複数の会議端末を構成する会議装置Ｓ，Ａ，Ｂ〜Ｍとから構成されており、会議装置Ｓ，Ａ，Ｂ〜Ｍの相互間で、音声データ通信の音声会議、または音声データ通信ならびに映像データ通信のテレビ会議が行われる。

なお、会議装置Ｓを会議の主催端末、会議装置Ａ，Ｂ〜Ｍを会議への参加端末としているが、会議の主催端末は、会議装置Ｓ，Ａ，Ｂ〜Ｍの任意の会議装置が担当することができる。また、会議装置Ｓ，Ａ，Ｂ〜Ｍが２台以上であれば、任意台数で会議を開催することができる。

図２はこの発明に係る会議装置の一実施の形態要部ブロック構成図である。なお、会議装置Ｓ，Ａ，Ｂ〜Ｍは、同じ構成で、同じ機能を有するので、会議装置Ｓについて説明する。図２において、会議装置Ｓは、ＩＰネットワークＮＴに接続され、装置全体の動作を制御するメイン処理部２と、映像・音声入力装置７および音声出力装置８に接続され、音声データならびに映像データを処理する音声・画像データ処理部３と、表示装置６に接続され、表示データの表示を制御する表示データ制御部４、意思表示の入出力を実行する応答補助装置５とから構成されている。

メイン処理部２は、会議装置Ｓの会議開始やスピーカのボリューム設定の操作を実施するための装置操作入力装置９、装置全体の動作を制御するシステム制御部１０、音声データや映像データなどの送信データを多重化するとともに、受信した多重化データを分解する処理を施す送受信データ多重／分解部１１、会議に参加している会議装置のスピーカ状態、マイク状態や参加者情報などを記憶し、更新する設定・動作状況管理テーブル１２（状態管理テーブル）、会議装置相互間の通信路の通信遅延時間を格納する会議時間管理テーブル１３、ＩＰネットワークＮＴとのインタフェースを取り、各種データをＩＰネットワークＮＴに送信し、ＩＰネットワークＮＴから受信するＩＰ網通信Ｉ／Ｆ制御部１４、応答補助装置５から供給される会議参加者の意思入力情報を変換した通信コマンドをＩＰネットワークＮＴに送信する通信の制御を行い、ＩＰネットワークＮＴからの通信コマンドを受信し、応答補助装置５に送信する通信の制御を行なう応答補助装置通信制御部１５を備える。

音声・画像データ処理部３は、マイクやカメラの映像・音声入力装置７、スピーカの音声出力装置８に接続され、映像・音声入力装置７（カメラ）で撮像した映像データを符号化し、メイン処理部２に供給するとともに、メイン処理部２から供給される映像データの符号化データを復号化して表示データ制御部４に供給する映像データ処理部（符号化／復号化）１６、映像・音声入力装置７（マイク）でピックアップした音声データを符号化し、メイン処理部２に供給するとともに、メイン処理部２から供給される音声データの符号化データを復号化して音声出力装置８（スピーカ）から出力させる音声データ処理部（符号化／復号化）１７、音声データ処理部（符号化／復号化）１７で復号化した音声データから音声可視化データを生成し、メイン処理部２に供給する音声可視化データ生成部１８および映像データ処理部（符号化／復号化）１６で復号化した映像データを所定周期で抽出した静止画データをメイン処理部２に供給する静止画データ抽出部１９を備える。

表示データ制御部４は、表示装置６に接続され、メイン処理部２から供給される音声可視化データを制御する音声可視化データ制御部２０、メイン処理部２から供給される映像データや静止画データを制御する映像・静止画データ制御部２１および音声可視化データ制御部２０から供給される音声可視化データ、映像・静止画データ制御部２１から供給される映像データおよび静止画データから表示データを生成し、表示装置６に表示させる表示データ制御部２２を備える。

応答補助装置５は、会議参加者の意思表示を音声メッセージ、文字メッセージあるいはメカ的な動力の表示で出力するもので、相手への意思表示の意思入力情報を入力する意思表示入力部２３および相手からの意思表示の意思出力情報を出力する意思表示出力部２４を備え、会議参加者の意思表示を操作卓やパーソナルコンピュータから意思入力情報として意思表示入力部２３に入力すると、意思入力情報が通信コマンドに変換され、メイン処理部２（応答補助装置通信制御部１５）を介してＩＰネットワークＮＴに送信され、ＩＰネットワークＮＴからの意思表示の通信コマンドがメイン処理部２（応答補助装置通信制御部１５）を介して、意思表示出力部２４で音声メッセージ、文字メッセージあるいはメカ的な動力の意思出力情報に変換され、スピーカ、表示器、メカ装置から音声、文字あるいはメカ的な動きで意思表示がなされる。

図３はこの発明に係るメイン処理部の一実施の形態入出力データ（情報）関連図である。図３において、メイン処理部２は、ＩＰネットワークＮＴから受信し、システム制御部１０を介して相手側からの設定・動作状態情報、受信した音声可視化データ＋通信遅延時間情報、受信した静止画データ＋通信遅延時間情報、および音声・映像出力データを表示再生用データとして音声・画像データ処理部３または表示データ制御部４に供給する。

また、メイン処理部２は、システム制御部１０を介して自装置から相手側に、出力音声の可視化データ、出力映像から抽出した静止画データおよび音声・映像入力データを送信用データとしてＩＰネットワークＮＴに送信する。

図４はこの発明に係る音声・画像データ処理部の一実施の形態入出力データ（情報）関連図である。図４において、音声データ処理部（符号化／復号化）１７は、マイクＭＣから入力された音声（データ）を符号化し、符号化した入力音声データをメイン処理部２に供給するとともに、メイン処理部２から供給される符号化された出力音声データを復号化して出力音声をスピーカＳＰから発生する。

音声可視化データ生成部１８は、音声データ処理部（符号化／復号化）１７からの出力音声から、例えば周波数帯域（音声周波数）と対応する振幅レベルを有するイコライザー特性または振幅レベルのレベル特性の音声可視化データを生成し、出力音声の可視化データをメイン処理部２に供給する。

映像データ処理部（符号化／復号化）１６は、カメラＣＣＤが撮像した入力映像（データ）を符号化し、符号化した入力映像データをメイン処理部２に供給するとともに、メイン処理部２から供給される符号化された出力映像データを復号化し、出力映像データを表示データ制御部４に供給する。

静止画データ抽出部１９は、映像データ処理部（符号化／復号化）１６からの出力映像データを周期的に抽出し、出力映像データから抽出した静止画データをメイン処理部２に供給する。

図５はこの発明に係る表示データ制御部の一実施の形態入力データ（情報）関連図である。図５において、音声可視化データ制御部２０は、メイン処理部２から供給される設定・動作状態情報、受信した音声可視化データ＋通信遅延時間情報、および音声・画像データ処理部３から供給される出力音声の可視化データを取り込み、処理・制御を施して表示データ制御部２２に供給する。

映像・静止画データ制御部２１は、メイン処理部２から供給される設定・動作状態情報、受信した静止画データ＋通信遅延時間情報、および音声・画像データ処理部３から供給される出力映像データを取り込み、処理・制御を施して表示データ制御部２２に供給する。

表示データ制御部２２は、音声可視化データ制御部２０および映像・静止画データ制御部２１から供給されるデータに基づいて表示データを生成し、表示データを表示装置６に供給して、音声可視化データや静止画データとともに通信遅延時間情報や設定・動作状況データを表示させ、また映像データを表示させる。

図６はこの発明に係る応答補助ブロックの一実施の形態要部ブロック構成図である。図６において、応答補助ブロック２５は、意思表示入力部２３および意思表示出力部２４を備えた応答補助装置５と、メイン処理部２の応答補助装置通信制御部１５、システム制御部１０、送受信データ多重／分解部１１およびＩＰ網通信Ｉ／Ｆ制御部１４とから構成される。

意思表示入力部２３に入力された会議参加者の意思表示を表す意思入力情報は、通信コメントに変換され、応答補助装置通信制御部１５、システム制御部１０、送受信データ多重／分解部１１を介して音声・映像入力データ、出力音声の可視化データ＋通信遅延時間情報や出力映像から抽出した静止画データ＋通信遅延時間情報に多重化されて、多重化データが送受信データ多重／分解部１１からＩＰネットワークＮＴに送信される。

一方、ＩＰネットワークＮＴからＩＰ網通信Ｉ／Ｆ制御部１４によって受信された会議参加者の意思表示を表す通信コメントを含む多重化データは、送受信データ多重／分解部１１、システム制御部１０を介して音声・映像出力データ、受信した音声可視化データ＋通信遅延時間情報、受信した静止画データ＋通信遅延時間情報、通信コメントに分解され、応答補助装置通信制御部１５を介して通信コメントが意思表示出力部２４で意思出力情報に変換されて出力される。

意思表示入力部２３は、操作卓やパーソナルコンピュータに接続され、会議参加者が操作することにより、意思入力情報を受信し、意思入力情報に対応した通信コメントに変換して、通信コメントをメイン処理部２に供給する。

意思表示出力部２４は、応答補助装置通信制御部１５から供給される通信コメントを予め設定された意思出力情報である音声メッセージ、文字メッセージまたはメカ的な動力に変換してスピーカ、表示器、メカ装置から意思表示が具現化される。

次に、上記に説明した会議装置Ｓの構成要件に基づいて付加データと状態管理テーブル、会議装置間の統一時計（タイムスタンプ）管理と会議装置間の通信遅延時間、音声データの可視化、映像データの静止画化ならびに応答補助装置について説明する。

始めに、会議装置の付加データは、会議に参加する全ての会議装置のスピーカボリュウム位置や、マイクのミュートＯＮ／ＯＦＦ、会議参加者情報（人数等）、通信遅延時間情報、音声可視化データ、静止画データなどであり、音声データや映像データに多重化して送受信される。

図７はこの発明に係る付加データを送受信する会議装置の一実施の形態要部ブロック構成図である。図７において、会議端末Ｓは、自側の会議端末における動作状態を付加データとして音声データまたは映像データ（音声・映像データ）に多重化手段４３で多重化し、多重化データをＩＰネットワークＮＴを介して相手側会議端末に送信する送信手段４１を備えるとともに、相手側会議端末の送信手段４１によりＩＰネットワークＮＴを介して送信された多重化データを受信手段４２で受信した際、受信した多重化データから付加データを分解する分解手段４４と、分解手段４４により分解した付加データに基づいて相手側会議端末の動作状態を表示する表示手段４５を備える。また、分解した付加データは、記憶手段４６の状態管理テーブルＴB1に格納される。

なお、付加データを音声データまたは映像データに多重化する多重化手段４３は、メイン処理部２の送受信データ多重／分解部１１で構成し、多重化データをＩＰネットワークＮＴに送信する送信手段４１は、ＩＰ網通信Ｉ／Ｆ制御部１４で構成する。

また、ＩＰネットワークＮＴから多重化データを受信する受信手段４２は、ＩＰ網通信Ｉ／Ｆ制御部１４で構成し、多重化データから付加データを分解する分解手段４４は、送受信データ多重／分解部１１で構成する。

さらに、付加データに基づいて動作状態を表示する表示手段４５は、表示データ制御部４および表示装置６で構成する。

これにより、会議参加者は、相手側の装置の動作状態、例えばマイクのオン／オフやスピーカボリュームの位置などの状態を画面で確認しながら会議を実行することができ、実際の会議に近い擬似環境で、臨場感のある音声会議やテレビ会議を実現することができる。

また、会議装置Ｓは、各会議装置の動作状態を記憶する状態管理テーブルＴB1を有する記憶手段４６を備え、分解手段４４（送受信データ多重／分解部１１）で分解した付加データに基づいて、状態管理テーブルＴB1を逐次更新するとともに、表示手段４５（表示データ制御部４および表示装置６）は、状態管理テーブルＴB1に基づいて動作状態を表示するようにしたので、刻々と変化する各会議装置の会議中の動作状態を画面で確認することができ、動作状態の変化により臨場感のある会議環境を形成することができる。

状態管理テーブルＴB1が記憶する付加データは、動作状態が、相手会議端末より受信した音声データのレベルまたは映像データのレベルまたは通信遅延時間情報であり、また各会議端末の設定情報を含めるようにしたので、音声会議やテレビ会議の様々や設定情報や動作状態を記憶して、表示することができ、より臨場感のある会議にすることができる。

図８はこの発明に係る会議装置の状態管理テーブル作成方法の一実施の形態要部動作フロー図である。図８において、会議を開始（ステップＳ１）し、自端末（会議装置Ｓ）の設定・動作状況情報を各端末（会議装置Ａ，Ｂ〜Ｍ）に送信する（ステップＳ２）。

次に、各端末（会議装置Ａ，Ｂ〜Ｍ）の設定・動作状況情報を受信し（ステップＳ３）、設定・動作状況管理（状態管理）テーブルを作成する（ステップＳ４）。

続いて、随時設定・動作状況情報を更新するか否かを判定し（ステップＳ５）、更新する場合（ＹＥＳ）には、ステップＳ２〜ステップＳ４を繰り返す。一方、更新しない場合（ＮＯ）には、会議を終了する（ステップＳ６）。

図９はこの発明に係る設定・動作状況管理テーブルの一実施の形態イメージ図である。図９において、会議装置Ｓの設定・動作状況管理テーブル（状態管理テーブル）は、会議装置Ｓ，Ａ，Ｂ〜Ｍの設定・動作状況および状態を格納する。

なお、会議装置Ａ，Ｂ〜Ｍの設定・動作状況管理テーブルも同様に、それぞれ会議装置Ｓ，Ａ，Ｂ〜Ｍの設定・動作状況および状態を格納する。

次に、会議装置間の統一時計管理と会議装置間の通信遅延時間について説明する。なお、会議装置間の統一時計管理とは、会議を開催する会議装置の会議時間（時計）に、全ての会議装置の時計を一致させるものであり、会議装置間の通信遅延時間とは、会議装置相互間の通信路のデータ伝送遅延時間を表す。

図１０はこの発明に係る通信遅延時間情報を送受信する会議装置の一実施の形態要部ブロック構成図である。図１０において、会議装置Ｓ（主催端末）は、会議開始ボタンが操作されると、信号発生手段４７から会議開始信号発生し、会議開始信号発生を会議信号送信手段４９からＩＰネットワークＮＴに送信する。なお、会議開始ボタンが操作されると、統一時計ＷHがスタートする。

また、会議装置Ｓは、参加会議装置の場合、他の会議装置Ａ，Ｂ〜Ｍのいずれかが主催端末で、ＩＰネットワークＮＴを介して受信手段５１で会議開始信号を受信すると、直ちに受信信号を信号発生手段４７から発生し、受信信号を返信手段５０からＩＰネットワークＮＴに送信する。なお、参加会議装置の場合、会議開始信号を受信すると同時に、統一時計ＷHをスタートする。

さらに、会議装置Ｓ（主催端末）は、他の会議装置Ａ，Ｂ〜Ｍ（参加端末）から会議開始信号に応答した受信信号をＩＰネットワークＮＴを介して受信手段５１で受信すると、受信信号に基づいて会議装置Ａ，Ｂ〜Ｍ（参加端末）まで通信遅延時間を遅延時間演算手段５２で演算し、演算した通信遅延時間を遅延時間通知手段５３から送信手段４８、ＩＰネットワークＮＴを介して会議装置Ａ，Ｂ〜Ｍ（参加端末）各会議端末に通知する。

また、演算した通信遅延時間に基づいて統一されたタイムスタンプを管理手段５４の時間管理テーブルＴB2に格納して管理する。

なお、信号発生手段４７、統一時計ＷH、遅延時間演算手段５２、遅延時間通知手段５３および管理手段５４は、メイン処理部２のシステム制御部１０で構成する。また、会議信号送信手段４９および返信手段５０からなる送信手段４８ならびに受信手段５１は、メイン処理部２のＩＰ網通信Ｉ／Ｆ制御部１４で構成する。

また、会議時間を計時する統一時計ＷHは、システム制御部１０に内蔵し、各会議装置相互間の通信遅延時間を管理して書き換える時間管理テーブルＴB2（会議時間管理テーブル１３）を備える。

ここで、図１および図２を用いて会議装置Ｓ，Ａ，Ｂ〜Ｍの統一時計の形成（時刻合わせ）と、会議装置Ｓ，Ａ，Ｂ〜Ｍの相互間の通信遅延時間の取得について説明する。最初に会議を主催する会議装置Ｓから会議開始信号（firstトリガ）を全ての参加会議装置Ａ，Ｂ〜Ｍに送信すると同時に、会議装置Ｓの時計をスタートする。

会議装置Ａ，Ｂ〜Ｍは、会議装置Ｓからの会議開始信号（firstトリガ）を受信すると、直ちに受信信号を会議装置Ｓに返送すると同時に、それぞれ会議装置Ａ，Ｂ〜Ｍの時計をスタートする。この時点で、会議装置Ａ，Ｂ〜Ｍの時計は、会議装置Ｓの時計よりも、会議装置Ｓと会議装置Ａ，Ｂ〜Ｍとの間でそれぞれ異なる通信遅延時間だけ遅れることになる。

会議装置Ｓは、会議装置Ａ，Ｂ〜Ｍから返送されてくる受信信号を受信すると、それぞれ会議装置Ａ，Ｂ〜Ｍについて、会議開始信号（firstトリガ）の送信から受信信号の受信までの時間間隔を測定し、測定した時間間隔に基づいて会議装置Ｓから会議装置Ａ，Ｂ〜Ｍまでの通信遅延時間ＴDS-A、ＴDS-B、…、ＴDS-Mを演算し、演算した通信遅延時間を会議時間管理テーブル１３に格納する。なお、通信遅延時間ＴDS-A、ＴDS-B、…、ＴDS-Mは、会議開始信号（firstトリガ）の送信から受信信号の受信までの時間間隔の１／２なので、それぞれの時間間隔を１／２にして算出する。

続いて、会議装置Ｓは、通信遅延時間ＴDS-A、ＴDS-B、…、ＴDS-Mを通信遅延時間情報として会議装置Ａ，Ｂ〜Ｍに送信し、通信遅延時間情報を受信した会議装置Ａ，Ｂ〜Ｍは、それぞれ受信した通信遅延時間ＴDS-A、ＴDS-B、…、ＴDS-Mに基づいて自装置の時計を修正する。例えば、会議装置Ａは、自装置の時計の時間に通信遅延時間ＴDS-Aを加算補正することにより、会議装置Ｓの時計の時間と一致させることができる。

この処理により、会議装置Ｓ，Ａ，Ｂ〜Ｍの全ての時計の統一時間を形成するととともに、会議装置Ｓを基点とした会議装置Ａ，Ｂ〜Ｍまでの通信遅延時間を会議時間管理テーブル１３に格納することができる。

次に、会議装置Ａと会議装置Ｂ〜Ｍの相互間の通信遅延時間は、会議装置Ａからsecondトリガを会議装置Ｂ〜Ｍに送信し、会議装置Ｂ〜Ｍからの受信信号を受信して、secondトリガ送信から受信信号の受信までの時間間隔を測定し、時間間隔に基づいてそれぞれ会議装置ＡとＢ〜Ｍの通信遅延時間ＴDA-B、ＴDA-C、…、ＴDA-Mを演算し、通信遅延時間情報として会議装置Ｓに通知し、会議装置Ｓは、会議装置Ａから通知された通信遅延時間情報を会議時間管理テーブル１３に格納する。

以降、上記と同様にして、会議装置Ｂと会議装置Ｃ〜Ｍ、…、会議装置Ｍ−１と会議装置Ｍの通信遅延時を算出して、通信遅延時間情報を会議装置Ｓに通知し、会議装置Ｓは、通信遅延時間情報を会議時間管理テーブル１３に格納する。なお、会議装置Ｓ，Ａ，Ｂ〜Ｍの相互間で定期的に信号の送受信を行い、会議装置Ｓ，Ａ，Ｂ〜Ｍ相互間の通信遅延時間を演算し、通信路間のデータ伝送量などによって通信遅延時間が変化した場合には、会議時間管理テーブル１３の通信遅延時間情報を更新する。

図１１はこの発明に係る会議システムの通信遅延時間取得方法の一実施の形態動作フロー図である。図１１において、会議が開始されると（ステップＳ１１）と、主催端末（例えば、会議装置Ｓ）からfirstトリガ信号（会議開始信号）を参加端末（会議装置Ａ，Ｂ〜Ｍ）へ送信する（ステップＳ１２）。会議参加端末（会議装置Ａ，Ｂ〜Ｍ）は、firstトリガ信号受信後、直ちに主催端末に返信する（ステップＳ１３）。

続いて、主催端末は、主催−参加端末間の通信遅延時間情報を取得する（ステップＳ１４）。一方、参加端末が２台以上の場合には、会議参加端末は、secondトリガ信号を自端末＋１以降の端末へ送信する（ステップＳ１５）。secondトリガ信号受信端末は、secondトリガ信号受信後、直ちに送信元端末へ（受信信号を）送信する（ステップＳ１６）。

会議参加端末は、各端末の通信遅延時間情報を取得し（ステップＳ１７）、各端末の通信遅延時間情報を主催端末（会議装置Ｓ）へ送信する（ステップＳ１８）。

ステップＳ１４およびステップＳ１８に続いて、主催端末（会議装置Ｓ）は、会議時間管理テーブル情報を作成し（ステップＳ１９）、会議時間管理テーブル情報を全参加端末（会議装置Ａ，Ｂ〜Ｍ）と共有化する（ステップＳ２０）。また、情報更新実施の有無を判断し（ステップＳ２１）、通信遅延時間取得処理を終了する。

図１２はこの発明に係る会議システムの統一した時計情報取得方法の一実施の形態動作フロー図である。図１２において、会議が開始されると（ステップＳ３１）、主催端末（例えば、会議装置Ｓ）からfirstトリガ信号（会議開始信号）を参加端末（会議装置Ａ，Ｂ〜Ｍ）へ送信と同時に、統一時計をスタートする（ステップＳ３２）。

会議参加端末（会議装置Ａ，Ｂ〜Ｍ）は、firstトリガ信号受信により、統一時計をスタートする（ステップＳ３３）。全端末（会議装置Ｓ，Ａ，Ｂ〜Ｍ）は、会議時間管理テーブル情報を共有化する（ステップＳ３４）。

会議参加端末（会議装置Ａ，Ｂ〜Ｍ）は、会議時間管理テーブル情報から、主催−参加端末間の通信遅延時間を自端末の統一時計に反映する（ステップＳ３５）。

全端末（会議装置Ｓ，Ａ，Ｂ〜Ｍ）は、統一時計情報を作成する（ステップＳ３６）。情報更新実施の有無を判断し（ステップＳ３６）、統一した時計情報取得処理を終了する。

図１３はこの発明に係る会議時間管理テーブルの一実施の形態イメージ図である。会議装置Ｓ，Ａ，Ｂ〜Ｍ相互間の全ての通信路について、通信遅延時間を全て網羅している。また、会議開始信号やfirstトリガ信号（secondトリガ信号も含む）と受信信号の遣り取りから受信レベル状況（例えば、レベル減衰等）も記憶することができる。

これにより、会議の主催会議装置（例えば、会議装置Ｓ）は、全参加会議装置（会議装置Ｓ，Ａ，Ｂ〜Ｍ）の通信遅延時間を演算して統一したタイムスタンプを管理することができ、会議状況を把握して臨場感を持たせることができる。

続いて、会議装置の音声データの可視化について説明する。図１４はこの発明に係る音声可視化データを送受信する会議装置の一実施の形態要部ブロック構成図である。図１４において、会議装置Ｓは、相手側の会議装置から受信した音声データ（出力音声）を抜き出して可視化する可視化手段５５と、相手側の会議装置から自側の会議装置の音声可視化データを受信すると、可視化手段５５で可視化された相手側の会議装置からの音声可視化データに、時間管理テーブルＴB2に格納されている相手側の会議装置までの通信遅延時間情報を付加してＩＰネットワークＮＴに送信する音声可視データ送信手段５６と、ＩＰネットワークＮＴから通信遅延時間情報が付加された音声可視化データを音声可視データ受信手段５７で受信すると、付加された通信遅延時間情報に基づいて遅延状況を判定し、判定結果を音声可視化データとともに表示する可視化音声手段５８とを備える。

なお、音声データを可視化する可視化手段５５は、音声・画像データ処理部３の音声可視化データ生成部１８で構成する。音声可視化データに、通信遅延時間情報を付加する時間管理テーブルＴB2は、メイン処理部２のシステム制御部１０が会議時間管理テーブル１３から通信遅延時間情報を検索して付加する。

また、音声可視データ送信手段５６および音声可視データ受信手段５７は、メイン処理部２のＩＰ網通信Ｉ／Ｆ制御部１４で構成し、可視化音声手段５８は、メイン処理部２のシステム制御部１０および表示データ制御部４の表示データ制御部２２および表示装置６で構成する。

これにより、音声の送信者は、相手側に音声が伝わっていることおよびデータの通信遅延時間がどうなっているかを音声可視化データの表示画面を確認しながら会議を行なうことができ、一層臨場感のある会議を実現することができる。

また、可視化音声手段５８は、通信遅延時間が所定時間を越えた場合には、判定結果を警報表示で表示する。なお、通信遅延時間が所定時間を越えたか否かを判定するのは、メイン処理部２のシステム制御部１０が担当する。

これにより、音声の送信側が音声を停止しているにも拘わらず、音声可視化データが表示されるような場合には、通信遅延時間が長くてタイムラグを発生していることを警告することができ、音声停止時に音声可視化データが表示される違和感を和らげることができる。

次に、映像データの静止画化について説明する。図１５はこの発明に係る静止画データを送受信する会議装置の一実施の形態要部ブロック構成図である。図１５において、会議装置Ｓは、それぞれ自装置の映像を撮像し、映像データを出力する撮像手段５９と、相手側の会議装置より受信した映像データを再生する映像再生手段６２と、映像再生手段６２で再生された映像データ（出力映像）から一定周期で静止画データを抽出する静止画抽出手段６１と、静止画抽出手段６１で抽出された静止画データに時間管理テーブルＴB2に格納された通信遅延時間情報を付加し、撮像手段５９で撮像した映像データと多重化して多重化データを送信する多重化送信手段６０と、相手側の会議装置から多重化データを分解化受信手段６３で受信すると、静止画データとともに付加された通信遅延時間を表示する静止画表示手段６４とを備える。

なお、自装置の映像を撮像し、映像データを出力する撮像手段５９は、カメラＣＣＤ、映像データを再生する映像再生手段６２は、音声・画像データ処理部３の映像データ処理部（符号化／復号化）１６、静止画データを抽出する静止画抽出手段６１は、静止画データ抽出部１９、静止画データに通信遅延時間情報を付加し、撮像手段で撮像した映像データと多重化して多重化データを送信する多重化送信手段６０および分解化受信手段６３は、メイン処理部２のシステム制御部１０、送受信データ多重／分解部１１、会議時間管理テーブル１３およびＩＰ網通信Ｉ／Ｆ制御部１４で構成し、静止画表示手段６４は、表示データ制御部４および表示装置６で構成する。

また、静止画表示手段６４は、静止画データを連続スライドで表示する。

図１６はこの発明に係る会議システムの映像音声の伝送方法の一実施の形態動作フロー図である。図１６において、映像・音声を入力すると（ステップＰ１）、入力映像・音声の符号化を実行し（ステップＰ２）、符号化映像・音声に送信時の統一時計情報を多重化して（ステップＰ３）、符号化映像・音声＋統一時計情報を送信する（ステップＰ４）。なお、ステップＰ１〜ステップＰ４のステップは、送信端末側（例えば、会議装置Ｓ）が実行する。

符号化映像・音声＋統一時計情報を受信して（ステップＰ５）、符号化映像・音声と統一時計情報へ分解した後（ステップＰ６）、符号化映像・音声を復号化し、通信遅延時間情報を生成する（ステップＰ７）。なお、通信遅延時間情報の生成は、後述する図１３を参照にする。

再生動画の静止画データを抽出し、再生音声可視化データを生成し（ステップＰ８）、動画データ／音声データを再生し、音声可視化データを表示する（ステップＰ９）。続いて、静止画データ／音声可視化データに通信遅延時間情報を付加し（ステップＰ１０）、静止画データ／音声可視化データ＋通信遅延時間情報を送信する（ステップＰ１１）。なお、ステップＰ５〜ステップＰ１１のステップは、受信側端末（例えば、会議装置Ａ）が実行する。

静止画データ／音声可視化データ＋通信遅延時間情報を受信し（ステップＰ１２）、静止画データ／音声可視化データ、設定・動作状態情報および通信遅延時間情報から表示データを生成して（ステップＰ１３）、生成された表示データを表示する（ステップＰ１４）。なお、ステップＰ１２〜ステップＰ１４のステップは、送信端末側（例えば、会議装置Ｓ）が実行する。

図１７はこの発明に係る通信遅延時間情報生成フロー図である。図１７において、受信した多重化データから統一時計情報を取得し（ステップＰ２１）、受信した統一時計情報と現在の自端末統一時計情報を比較して（ステップＰ２２）、通信遅延時間を算出する（ステップＰ２３）。

会議時間管理テーブルと算出した通信遅延時間を比較し（ステップＰ２４）、通信遅延時間情報を生成する（ステップＰ２５）。

これにより、映像の送信側は、相手側に伝わっている映像がどのよう状態で表示されているかを静止画で確認しながらテレビ会議を行なうことができ、さらなる臨場感をアピールすることができる。

また、動画データよりも遥かに少ない静止画データの連続スライドで、動きのある映像を表示することができ、臨場感を高めることができる。

図１８および図１９はこの発明に係る表示装置の一実施の形態表示画面である。図において、表示画面は、会議装置Ｓの画面を示し、例えば画面の上段には、会議装置Ａと会議装置Ｂの動画および会議装置Ｓの音声可視化データ、画面の下段には、例えば、左側には、会議装置Ａで再生されている会議装置Ｓと会議装置Ｂの静止画および会議装置Ａの音声可視化データが表示されており、右側には、会議装置Ｂで再生されている会議装置Ｓと会議装置Ａの静止画および会議装置Ｂの音声可視化データが表示されている。また、静止画および音声可視化データには、通信遅延時間と、その正常または異常やボリューム設定などの情報も表示されている。

従って、会議装置Ｓの話者は、会議装置Ａと会議装置Ｂが撮像した動画と会話を聞きながら、会議装置Ａおよび会議装置Ｂに届いている自分の映像および音声を静止画と音声可視化データで目視確認できるとともに、通信遅延時間情報や設定・動作状況も目視確認することができ、実際の会議環境に近い擬似会議環境の雰囲気を体験することができる。

続いて、意思表示のための応答補助装置について説明する。図２０はこの発明に係る意思表示のための情報を送受信する会議装置の一実施の形態要部ブロック構成図である。図２０において、会議装置Ｓは、会議参加者の意思表示を音声メッセージ、文字メッセージまたは絵文字などで表示させるため、入力装置（例えば、パーソナルコンピュータ）から入力情報を入力する入力手段６５と、入力手段６５から入力された入力情報を変換テーブル６６に基づいて通信コマンドに変換して送信するコマンド送信手段６７と、通信コマンドを受信すると、通信コマンドに対応した出力情報を出力する出力手段６９とを備える。

入力手段６５は、パーソナルコンピュータとのインタフェースを備え、パーソナルコンピュータから入力情報が入力されるようにした。

出力手段６９は、通信コマンドに対応して音声メッセージを記憶する音声メッセージ記憶手段（メモリ）を備え、通信コマンドを受信すると、対応した音声メッセージを音声メッセージ記憶手段から読み出して、可聴表示器としての音声出力装置（例えば、スピーカ）へ出力し、音声出力装置（スピーカ）を介して音声出力する。

また、出力手段６９は、通信コマンドに対応して文字メッセージを記憶する文字メッセージ記憶手段（メモリ）を備え、通信コマンドを受信すると、対応した文字メッセージを文字メッセージ記憶手段から読み出して、可視表示器としての表示装置（例えば、表示器）へ出力し、表示装置（表示器）を介して文字出力する。

さらに、出力手段６９は、通信コマンドに対応して駆動力を発生する動力発生手段を備え、通信コマンドを受信すると、動力発生手段が駆動力に変換して接続された動力装置を駆動して、様々な表示板を移動（例えば、表示板を立てるまたは倒す）させて表示する。

入力手段６５は、応答補助装置５の意思表示入力部２３、出力手段６９は、応答補助装置５の意思表示出力部２４で構成し、変換テーブル６６は、意思表示入力部２３および意思表示出力部２４に内蔵された共通なメモリで構成する。また、音声メッセージを記憶する音声メッセージ記憶手段、文字メッセージを記憶する文字メッセージ記憶手段（メモリ）および駆動力に変換する動力発生手段（動力変換部）は、意思表示出力部２４に内蔵するメモリで構成する。また、通信コマンドを送信するコマンド送信手段６７は、メイン処理部２の応答補助装置通信制御部１５、ＩＰ網通信Ｉ／Ｆ制御部１４で構成する。

図２１はこの発明に係る応答補助装置の一実施の形態応用図である。図２１において、会議装置Ｓの応答補助装置５は、意思表示入力部２３、意思表示出力部２４および変換テーブル２６を備え、入力情報を入力する操作卓２７やパーソナルコンピュータ２８が意思表示入力部２３に接続され、出力情報を音声メッセージで出力する出力装置としての音声出力装置２９（スピーカ等可聴表示器）、出力情報を文字メッセージで表示する出力装置としての表示装置３０（表示器）または出力情報を表示板の移動動作とする出力装置としてのメカ装置３１が意思表示出力部２４に接続される。

操作卓２７のボタン操作またはパーソナルコンピュータ２８のキー入力操作により、入力情報を意思表示入力部２３に入力すると、入力情報は、変換テーブル２６で通信コマンドに変換され、メイン処理部２からＩＰネットワークＮＴに送信される。

一方、ＩＰネットワークＮＴからメイン処理部２を介して通信コマンドが受信されると、通信コマンドは、変換テーブル２６で対応する情報に変換され、変換された情報が意思表示出力部２４に内蔵された音声メッセージ格納部（音声メッセージ記憶手段）、文字データ格納部（文字メッセージ記憶手段）または動力変換部（動力発生手段）から予め情報に対応して格納された音声メッセージ、文字メッセージ、または駆動力に変換されて、出力情報として出力され、音声出力装置２９、表示装置３０またはメカ装置３１（動力装置）を駆動する。

会議参加者は、例えば、会議の議題へ賛成する場合、音声出力装置２９から「賛成します」の音声メッセージ、表示装置３０から「賛成します」の文字メッセージ、またはメカ装置３１から「賛成」の表示板などで行なうことができる。

図２２はこの発明に係る会議装置の意思表示方法の一実施の形態要部動作フロー図である。図２２において、会議参加者が入力情報を入力する（ステップＰ３１）と、入力情報を定型コマンドへ変換し（ステップＰ３２）して、コマンドを送信する（ステップＰ３３）。

続いて、コマンドを受信すると（ステップＰ３４）と、受信コマンドを出力情報へ変換して（ステップＰ３５）、出力情報を出力する（ステップＰ３６）。

これにより、会議の参加者は、会議内容についての賛成、反対などの意思表示を速やかに表すことができ、実際の会議に近い臨場感で、効率的な会議を進行することができる。

また、音声会議やテレビ会議をしながら単純な操作で、かなり複雑で高度な入力情報を入力することができ、実際の会議に近い会議環境を形成することができる。

さらに、単純な操作で予め設定した定型の音声メッセージまたは文字メッセージで会議参加者の意思を伝えることができ、利便性の向上をアピールすることができる。

また、動力装置（例えば、表示板を立てるまたは倒す）の動きで会議参加者の意思を伝え、動力装置（例えば、絵文字の表示板）の動きに遊び心を持たせることができ、楽しく和やかな音声会議やテレビ会議を提供することができる。

以上説明したように、本発明に係る会議システムは、付加データと状態管理テーブル、会議装置間の統一時計（タイムスタンプ）管理と会議装置間の通信遅延時間、音声データの可視化、映像データの静止画化ならびに応答補助装置のトータルの構成で、実際の会議環境に近い擬似環境を形成し、臨場感のある会議通信を実行することができる。

本会議システムは、実際の会議環境に近づけ、顔と顔を突き合わせたのに近い擬似環境を形成して、臨場感があり、効率的な会議が実現可能なもので、音声会議ならびにテレビ会議を行なうあらゆる会議システムに適用することができる。

この発明に係る会議システムの一実施の形態システム構成図 この発明に係る会議装置の一実施の形態要部ブロック構成図 この発明に係るメイン処理部の一実施の形態入出力データ（情報）関連図 この発明に係る音声・画像データ処理部の一実施の形態入出力データ（情報）関連図 この発明に係る表示データ制御部の一実施の形態入力データ（情報）関連図 この発明に係る応答補助ブロックの一実施の形態要部ブロック構成図 この発明に係る付加データを送受信する会議装置の一実施の形態要部ブロック構成図 この発明に係る会議装置の状態管理テーブル作成方法の一実施の形態要部動作フロー図 この発明に係る設定・動作状況管理テーブルの一実施の形態イメージ図 この発明に係る通信遅延時間情報を送受信する会議装置の一実施の形態要部ブロック構成図 この発明に係る会議システムの通信遅延時間取得方法の一実施の形態動作フロー図 この発明に係る会議システムの統一した時計情報取得方法の一実施の形態動作フロー図 この発明に係る会議時間管理テーブルの一実施の形態イメージ図 この発明に係る音声可視化データを送受信する会議装置の一実施の形態要部ブロック構成図 この発明に係る静止画データを送受信する会議装置の一実施の形態要部ブロック構成図 この発明に係る会議システムの映像音声の伝送方法の一実施の形態動作フロー図 この発明に係る通信遅延時間情報生成フロー図 この発明に係る表示装置の一実施の形態表示画面 この発明に係る表示装置の一実施の形態表示画面 この発明に係る意思表示のための情報を送受信する会議装置の一実施の形態要部ブロック構成図 この発明に係る応答補助装置の一実施の形態応用図 この発明に係る会議装置の意思表示方法の一実施の形態要部動作フロー図

符号の説明

１ 会議システム
２ メイン処理部
３ 音声・画像データ処理部
４ 表示データ制御部
５ 応答処理装置
６ 表示装置
７ 映像・音声入力装置
８ 音声出力装置
９ 装置操作入力装置
１０ システム制御部
１１ 送受信多重／分解部
１２ 設定・動作状況管理テーブル
１３ 会議時間管理テーブル
１４ ＩＰ網通信Ｉ／Ｆ制御部
１５ 応答補助装置通信制御部
１６ 映像データ処理部（符号化／復号化）
１７ 音声データ処理部（符号化／復号化）
１８ 音声可視化データ生成部
１９ 静止画データ抽出部
２０ 音声可視化データ制御部
２１ 映像・静止画データ制御部
２２ 表示データ制御部
２３ 意思表示入力部
２４ 意思表示出力部
２５ 応答補助ブロック
２６ 変換テーブル
２７ 操作卓
２８ パーソナルコンピュータ
２９ 音声出力装置
３０ 表示装置
３１ メカ装置
４１ 送信手段
４２ 受信手段
４３ 多重化手段
４４ 分解手段
４５ 表示手段
４６ 記憶手段
４７ 信号発生手段
４８ 送信手段
４９ 会議信号送信手段
５０ 返信手段
５１ 受信手段
５２ 遅延時間演算手段
５３ 遅延時間通知手段
５４ 管理手段
５５ 可視手段
５６ 音声可視データ送信手段
５７ 音声可視データ受信手段
５８ 音声表示手段
５９ 撮像手段
６０ 多重化送信手段
６１ 静止画抽出手段
６２ 映像再生手段
６３ 分解化受信手段
６４ 静止画表示手段
６５ 入力手段
６６ 変換テーブル
６７ コマンド送信手段
６８ コマンド受信手段
６９ 出力手段
Ｓ，Ａ，Ｂ〜Ｍ 会議装置
ＫＳＵ 会議支援手段
ＮＴ ＩＰネットワーク
ＭＣ マイク
ＳＰ スピーカ
ＣＣＤ カメラ
ＷH 統一時計
ＢT 会議開始ボタン
ＴB1 状態管理テーブル
ＴB2 時間管理テーブル

Claims (14)

1. 少なくとも２つ以上の会議端末をＩＰネットワークを介して接続し、前記会議端末相互間で音声会議通信の音声データまたはテレビ会議通信の音声データならびに映像データを送受信するように構成された会議システムであって、
   前記各会議端末は、自側の会議端末における動作状態を付加データとして前記音声データまたは前記映像データに多重化し、多重化データを前記ＩＰネットワークを介して相手側会議端末に送信する送信手段を備えるとともに、前記相手側会議端末の前記送信手段により前記ＩＰネットワークを介して送信された前記多重化データを受信した際、受信した前記多重化データから前記付加データを分解する分解手段と、前記分解手段により分解した前記付加データに基づいて前記相手側会議端末の動作状態を表示する表示手段と、を備えたことを特徴とする会議システム。
2. 前記各会議端末は、前記ＩＰネットワークに接続されている相手側の全ての会議端末の前記動作状態を状態管理テーブルに記憶する記憶手段を備え、前記分解手段で分解した前記付加データに基づいて、前記状態管理テーブルを逐次更新するように構成したことを特徴とする請求項１記載の会議システム。
3. 前記状態管理テーブルが記憶する前記付加データとしての前記動作状態が、相手会議端末より受信した前記音声データのレベルまたは前記映像データのレベルまたは通信遅延時間情報であることを特徴とする請求項２記載の会議システム。
4. 前記状態管理テーブルが記憶する前記付加データとして、各会議端末の設定情報を含めたことを特徴とする請求項２記載の会議システム。
5. 少なくとも２つ以上の会議端末をＩＰネットワークを介して接続し、前記会議端末相互間で音声会議通信の音声データまたはテレビ会議通信の音声データならびに映像データを送受信するように構成された会議システムであって、
   前記各会議端末は、自側の会議端末の会議開始信号を送信する会議信号送信手段と、相手側の会議端末から送信された会議開始信号を受信すると、受信した前記会議開始信号に対応した受信信号を直ちに前記相手側の会議端末に返信する返信手段と、前記相手側の会議端末から受信すると、受信した前記受信信号に基づいて前記相手側の会議端末までの通信遅延時間を演算する遅延時間演算手段と、前記遅延時間演算手段で演算した前記通信遅延時間を前記相手側の会議端末に通知する遅延時間通知手段と、前記遅延時間通知手段から通知された前記通信遅延時間に基づいて統一されたタイムスタンプを管理するタイムスタンプ管理手段と、を備えたことを特徴とする会議システム。
6. 前記各会議端末は、前記相手側の会議端末から受信した音声データを可視化する可視化手段と、前記可視化手段で可視化された前記相手側の会議端末からの音声可視化データに、前記相手側の会議端末までの前記通信遅延時間情報を付加して送信する音声可視化データ送信手段と、前記相手側の会議端末から前記自側の会議端末の前記音声可視化データを受信すると、付加された前記相手側の会議端末までの前記通信遅延時間情報に基づいて遅延状況を判定し、判定結果を前記音声可視化データとともに表示する可視化音声表示手段と、を備えたことを特徴とする請求項５記載の会議システム。
7. 前記可視化音声表示手段は、前記通信遅延時間が所定時間を越えた場合には、判定結果を警報表示で表示することを特徴とする請求項６記載の会議システム。
8. 前記各会議端末は、それぞれ自側の会議端末の映像を撮像し、撮像した映像データを出力する撮像手段と、相手側の会議端末より受信した映像データを再生する映像再生手段と、前記映像再生手段で再生された前記映像データから一定周期で静止画データを抽出する静止画抽出手段と、前記静止画抽出手段で抽出された前記静止画データに前記通信遅延時間情報を付加し、前記撮像手段で撮像した前記映像データに多重化して多重化データを送信する多重化送信手段と、前記相手側の会議装置から前記多重化データを受信すると、前記静止画データとともに付加された前記通信遅延時間を表示する静止画表示手段と、を備えたことを特徴とする請求項５、請求項６または請求項７記載の会議システム。
9. 前記静止画表示手段は、前記静止画データを連続スライドで表示することを特徴とする請求項８記載の会議システム。
10. 前記各会議端末は、会議参加者の意思表示を音声メッセージ、文字メッセージまたは絵文字などで表示させるため、入力装置から入力情報を入力する入力手段と、前記入力手段から入力された前記入力情報を変換テーブルに基づいて通信コマンドに変換して送信するコマンド送信手段と、通信コマンドを受信すると、前記通信コマンドに対応した出力情報を出力する出力手段と、を備えたことを特徴とする請求項１、請求項５または請求項８記載の会議システム。
11. 前記入力手段は、前記入力装置を構成するパーソナルコンピュータとのインタフェースを備え、前記パーソナルコンピュータから前記入力情報が入力されることを特徴とする請求項１０記載の会議システム。
12. 前記出力手段は、前記通信コマンドに対応して音声メッセージを記憶する音声メッセージ記憶手段を備え、前記通信コマンドを受信すると、対応した前記音声メッセージを前記音声メッセージ記憶手段から読み出して、可聴表示器としての音声出力装置へ出力し、前記音声出力装置を介して音声出力することを特徴とする請求項１０記載の会議システム。
13. 前記出力手段は、前記通信コマンドに対応して前記文字メッセージを記憶する文字メッセージ記憶手段を備え、前記通信コマンドを受信すると、対応した前記文字メッセージを前記文字メッセージ記憶手段から読み出して、可視表示器としての表示装置へ出力し、前記表示装置を介して文字出力することを特徴とする請求項１０記載の会議システム。
14. 前記出力手段は、前記通信コマンドに対応して駆動力を発生する動力発生手段を備え、前記通信コマンドを受信すると、前記動力発生手段が駆動力に変換して接続された動力装置を駆動して、様々な表示板を移動（例えば、表示板を立てるまたは倒す）させて表示することを特徴とする請求項１０記載の会議システム。
    
    

Images