JP6680031B2 - 会議用装置、送信方法、およびコンピュータプログラム - Google Patents

Description

本発明は、テレビ会議の画像または音声を提供の技術に関する。

従来、互いに離れた複数の拠点、例えば複数の会議室の間での会議を実現する手段として、テレビ会議システムが知られている。このシステムによって、会議の参加者は、同じ会議室にいなくとも顔を見ながら会議ができる。

例えば、テレビ会議の技術として、次のような技術が知られている。特許文献１に記載の通信システムによると、通信装置部と、通信装置部が提供するサービスなどを受信する第１、第２の端末装置とを有し、通信装置部は、第１の端末からの要求により、通信の接続を第１の端末から第２の端末に変更する。

特許文献２に記載の通信システムによると、会議参加端末が会議に参加するための情報を持っていない場合において、その端末が会議に参加できるようにするために、多地点会議制御装置に接続するための情報を、プレゼンスサーバ装置からその端末へ送信する。

特開２００５−２６０３４８号公報 特開２００６−３４５３６１号公報

会議室に集合した複数の参加者と他の会議室に集合した複数の参加者とが、テレビ会議をすることがある。

参加者は、突発的な事情などで会議室を退出すると、会議の状況を知ることができなくなる。

特許文献１に記載の通信システムは、会議室にいる参加者および退出した参加者の両方へ他の会議室の様子を提供することができない。

特許文献２に記載の通信システムは、参加者が個人用の移動可能な端末を用いて参加する会議を前提としている。つまり、複数の参加者が会議室に集合するテレビ会議を想定していない。また、会議制御装置に接続するための情報を端末が受信するには、その端末を会議に参加する端末として、事前に別途登録しておく必要がある。突発的な事情に備えるためだけに、すべての参加者に端末を所持させ、かつ、すべての端末を会議に参加するための端末として登録することは、効率的ではない。

本発明は、このような問題点に鑑み、会議の途中で退出した参加者へ従来よりも効率的に会議の状況の情報を与えることを、目的とする。

本発明の一実施形態に係る会議用装置は、複数の参加者が所定の場所に集まって行われる会議において用いられる会議用装置であって、前記複数の参加者のうちの、前記所定の場所から退出しようとしているまたは退出した参加者である退出者を検知する、退出者検知手段と、前記退出者検知手段によって前記退出者が検知された後、さらに、当該退出者が端末装置を当該退出者の耳に当てる行動が検知された場合に、当該端末装置へ前記会議の画像または音声を送信する、送信手段と、を有する。

本発明によると、会議の途中で退出した参加者へ従来よりも効率的に会議の状況の情報を与えることができる。

テレビ会議システムの全体的な構成の例を示す図である。 拠点装置のハードウェア構成の例を示す図である。 携帯端末のハードウェア構成の例を示す図である。 拠点装置の機能的構成の第１の例を示す図である。 携帯端末の機能的構成の第１の例を示す図である。 拠点装置におけるテレビ会議の処理の流れの第１の例を示すフローチャートである。 拠点間通信処理の流れの例を示す図である。 携帯端末におけるテレビ会議の処理の流れの第１の例を示すフローチャートである。 周辺機器対応処理の流れの例を示す図である。 表示機器の表示面およびタッチパネルディスプレイに表示される映像の例である。 拠点装置の機能的構成の第２の例を示す図である。 携帯端末の機能的構成の第２の例を示す図である。 拠点装置におけるテレビ会議の処理の流れの第２の例を示すフローチャートである。 携帯端末におけるテレビ会議の処理の流れの第２の例を示すフローチャートである。 拠点装置の機能的構成の第３の例を示す図である。 拠点装置におけるテレビ会議の処理の第３の流れの例を示すフローチャートである。 退出者特定処理の流れの例を示す図である。

図１は、テレビ会議システム１００の全体的な構成の例を示す図である。図２は、拠点装置１のハードウェア構成の例を示す図である。図３は、携帯端末２のハードウェア構成の例を示す図である。

テレビ会議システム１００は、図１に示すように、複数の拠点装置１、１または複数の携帯端末２、および通信回線４などによって構成されている。

各拠点装置１および各携帯端末２は、通信回線４を介して通信することができる。通信回線４として、ＬＡＮ（Local Area Network）、インターネット、公衆回線、または専用回線などが用いられる。

このテレビ会議システム１００によると、複数の拠点の間でのテレビ会議を実現することができる。

さらに、このテレビ会議システム１００によると、会議の参加者は、テレビ会議が行われている途中に会議室から退出しても、テレビ会議に継続して参加することができる。

各拠点の会議室には、拠点装置１が１台ずつ設置されている。拠点装置１は、他の会議室に設置されている拠点装置１と通信を行い、複数の拠点の間で行われるテレビ会議を実現する。以下、第１の拠点の会議室に設置されている拠点装置１を拠点装置１Ａとして記載し、第２の拠点の会議室に設置されている拠点装置１を拠点装置１Ｂとして記載する。

拠点装置１として、デスクトップ型パーソナルコンピュータまたはノート型パーソナルコンピュータなどが用いられる。以下、拠点装置１として、デスクトップ型コンピュータが用いられる場合を例に説明する。

拠点装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、補助記憶装置１０ｄ、ＮＩＣ（Network Interface Card）１０ｅ、ＮＦＣ（Near Field Communication）ユニット１０ｆ、映像入出力インタフェース１０ｇ、音声入出力インタフェース１０ｈ、および操作入力インタフェース１０ｉなどによって構成される。

ＮＩＣ１０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで他の装置との通信を行う。

ＮＦＣユニット１０ｆは、他の装置またはＩＣ（Integrated Circuit）カードなどとの近距離無線通信を実行する。

映像入出力インタフェース１０ｇは、ディスプレイまたはプロジェクタなどの表示機器１２、およびデジタルビデオカメラなどの撮影機器１３と接続され、表示機器１２へ映像の信号を出力し、撮影機器１３から映像の信号を入力するための回路である。映像入出力インタフェース１０ｇとして、ＨＤＭＩ（High-Definition Multimedia Interface）、ＤＶＩ（Digital Visual Interface）またはＵＳＢ（Universal Serial Bus）などの規格の回路が使用される。ＨＤＭＩは、登録商標である。

音声入出力インタフェース１０ｈは、スピーカなどの音声出力機器１４およびマイクなどの集音器１５と接続され、音声出力機器１４から音声の信号を出力し、集音器１５から音声の信号を入力するためのサウンドボードである。

操作入力インタフェース１０ｉは、キーボード、マウスまたはスキャナなどの入力機器１６と接続され、入力機器１６から操作の信号を入力するための回路である。操作入力インタフェース１０ｉとして、ＵＳＢ（Universal Serial Bus）などの規格の回路が使用される。

ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、テレビ会議に使用するための資料データが記憶されている。資料データとして、テキストデータまたはＰＤＦ（Portable Document Format）データなどが用いられる。さらに、ＩＰ電話用のプログラム、会議管理プログラム１１Ｐ（図４参照）、会議管理プログラム１２Ｐ（図１１参照）、および会議管理プログラム１３Ｐ（図１５参照）が記憶されている。会議管理プログラム１１Ｐないし１３Ｐについては、後に説明する。

これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｄとして、ハードディスクドライブまたはＳＳＤ（Solid State Drive）などが用いられる。

図１に戻り、携帯端末２は、複数の拠点装置１の間で送受信されている情報を受信する。携帯端末２として、スマートフォンまたはタブレットコンピュータなどが用いられる。以下、携帯端末２として、スマートフォンが用いられる場合を例に説明する。

携帯端末２は、図３に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、フラッシュメモリ２０ｄ、タッチパネルディスプレイ２０ｅ、無線ＬＡＮユニット２０ｆ、ＮＦＣユニット２０ｇ、携帯電話通信装置２０ｈ、加速度センサ２０ｉ、および音声入出力インタフェース２０ｊなどによって構成される。

タッチパネルディスプレイ２０ｅは、種々の画面を表示し、タッチされた位置を検知してＣＰＵ２０ａにその位置を通知する。

無線ＬＡＮユニット２０ｆは、無線ＬＡＮの規格、すなわち、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１の規格に基づいて通信を行う。

携帯電話通信装置２０ｈは、ＣＤＭＡ（Code Division Multiple Access）２０００、Ｗ−ＣＤＭＡ（Wideband-CDMA）、またはＬＴＥ（Long Term Evolution）などの規格に基づいて、いわゆる携帯電話網を介して通信を行う。

加速度センサ２０ｉは、Ｘ軸、Ｙ軸、およびＺ軸それぞれの加速度を測定する。測定された加速度によって、携帯端末２の傾きまたは動きなどが検出される。

音声入出力インタフェース２０ｊは、イヤホンなどの音声出力機器２１、およびマイクなどの集音器２２と接続され、音声出力機器２１から音声の信号を出力し、集音器２２から音声の信号を入力するための回路である。音声入出力インタフェース２０ｊとして、ＣＴＩＡ（Cellular Telephone Industry Association）などの規格の回路が使用される。

ＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、ＩＰ電話用のプログラムのほか、会議参加プログラム２１Ｐ（図５参照）および会議参加プログラム２２Ｐ（図１２参照）が記憶されている。会議参加プログラム２１Ｐおよび会議参加プログラム２２Ｐについては、後に説明する。

これらのプログラムは、必要に応じてＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。

〔テレビ会議の処理の第１の例〕
図４は、拠点装置１Ａの機能的構成の第１の例を示す図である。図５は、携帯端末２の機能的構成の第１の例を示す図である。図６は、拠点装置１Ａにおけるテレビ会議の処理の流れの第１の例を示すフローチャートである。図７は、拠点間通信処理の流れの例を示す図である。図８は、携帯端末２におけるテレビ会議の処理の流れの第１の例を示すフローチャートである。図９は、周辺機器対応処理の流れの例を示す図である。図１０は、表示機器１２の表示面およびタッチパネルディスプレイ２０ｅに表示される映像の例である。

会議管理プログラム１１Ｐによると、図４に示すセッション管理部１０１、会議データ生成部１０２、拠点用データ送信部１０３、拠点用データ受信部１０４、コンテンツ拠点出力処理部１０５、文字変換部１０６、範囲設定部１０７、端末用データ送信部１０８、および端末用データ受信部１０９の機能が、拠点装置１Ａに実現される。

会議参加プログラム２１Ｐによると、図５に示す端末情報送信部２０１、端末情報記憶部２０２、セッション管理部２０３、会議データ受信部２０４、コンテンツ端末出力処理部２０５、発言データ生成部２０６、および発言データ送信部２０７の機能が、携帯端末２に実現される。

拠点装置１のセッション管理部１０１ないし端末用データ受信部１０９、および携帯端末２の端末情報送信部２０１ないし発言データ送信部２０７が、図６ないし図９の手順に従って処理を行うことにより、複数の拠点の間でのテレビ会議が実現される。さらに、参加者は、テレビ会議が行われている途中で退出した場合であっても、発言したりテレビ会議の状況を視聴したりすることができる。

第１の拠点の会議室にいる参加者は、拠点装置１Ａと拠点装置１Ｂとの間におけるテレビ会議のセッションを確立させるための操作を拠点装置１Ａに対して行う。

すると、拠点装置１Ａにおいて、セッション管理部１０１は、セッションの確立を拠点装置１Ｂに要求し、拠点装置１Ｂの許可を受けて、拠点装置１Ｂとの間のセッションを確立する（図６の＃６０１）。

拠点装置１Ａおよび拠点装置１Ｂは、会議の状況を表す映像のデータ、音声のデータ、および必要な資料データの送受信を、以下のような手順で行う（＃６０２）。

拠点装置１Ａにおいて、会議データ生成部１０２は、撮影機器１３から随時取得される映像のデータを圧縮することによって圧縮映像データ６１に変換し、集音器１５から随時取得される音声のデータを圧縮することによって圧縮音声データ６３に変換する（図７の＃６３１）。

拠点用データ送信部１０３は、圧縮映像データ６１および圧縮音声データ６３を、拠点装置１Ｂへ随時送信する（＃６３２）。これにより、第１の拠点の会議室の状況が拠点装置１Ｂへ伝えられる。

なお、拠点装置１Ｂにおいても同様に、会議データ生成部１０２によってデータが生成され、生成されたデータが拠点用データ送信部１０３によって拠点装置１Ａへ送信される。拠点装置１Ａにおいて生成されたデータと区別するために、拠点装置１Ｂにおいて生成された圧縮映像データおよび圧縮音声データをそれぞれ「圧縮映像データ６２」および「圧縮音声データ６４」と記載する。

拠点用データ受信部１０４は、拠点装置１Ｂから圧縮映像データ６２および圧縮音声データ６４を随時受信する（＃６３３）。

コンテンツ拠点出力処理部１０５は、圧縮映像データ６２および圧縮音声データ６４を復号し、復号した圧縮映像データ６２を映像のデータとして表示機器１２へ出力し、復号した圧縮音声データ６４を音声のデータとして音声出力機器１４へ出力する（＃６３４）。そして、これらのデータに基づいて、映像が表示機器１２によって表示され、音声が音声出力機器１４によって再生される。

ところで、参加者は、会議中に会議室から退出しなければならない場合がある。この場合は、参加者（以下、「退出者」と記載する。）が、自分の携帯端末２を拠点装置１ＡのＮＦＣユニット１０ｆにかざす。

すると、携帯端末２において、端末情報送信部２０１は、端末情報記憶部２０２から端末情報６Ａを読み出し、ＮＦＣによって拠点装置１Ａへ送信する（図８の＃６５１）。

端末情報６Ａは、接続情報６Ａ１および仕様情報６Ａ２を含む情報である。接続情報６Ａ１は、携帯端末２自身のユーザアカウントに関する情報である。以下、ユーザアカウントとして、Ｓｋｙｐｅ（登録商標）などのＩＰ電話のサービスのユーザアカウントが使用される場合を例に説明する。よって、接続情報６Ａ１には、ユーザアカウントのユーザＩＤが示される。

仕様情報６Ａ２には、携帯端末２の周辺機器の接続の状況を示す情報が含まれる。例えば、携帯端末２がイヤホンなどの音声出力機器２１を接続しているか否か、またはマイクなどの集音器２２を接続しているか否か、などを示す情報である。また、携帯端末２のタッチパネルディスプレイ２０ｅのサイズなどを示す情報も含まれる。

図６に戻って、拠点装置１Ａにおいて、セッション管理部１０１は、端末情報６Ａを受信すると（＃６０３でＹｅｓ）、すなわち退出者が会議室から退出しようとしていることを検知すると、その端末情報６Ａから特定される携帯端末２とセッションが確立されているか否かを確認し、確立されていない場合は（＃６０４でＮｏ）、端末情報６Ａの接続情報６Ａ１に示されるユーザＩＤに基づいて携帯端末２とのセッションの確立を携帯端末２へ要求する（＃６０５）。

携帯端末２において、セッション管理部２０３は、拠点装置１Ａからの要求に応じて、拠点装置１とセッションを確立する（図８の＃６５２）。

なお、セッションの確立のための処理は、公知のＩＰ電話の技術を用いて行うことができる。

拠点装置１において、文字変換部１０６および範囲設定部１０７は、撮影機器１３から随時取得される映像のデータ、集音器１５から随時取得される音声のデータ、圧縮映像データ６２を復号した映像のデータ、および圧縮音声データ６４を復号した音声のデータに対して、携帯端末２の周辺機器の接続の状況に基づいて、以下のような処理を行う（＃６０６）。

文字変換部１０６は、仕様情報６Ａ２に、携帯端末２が音声出力機器２１を接続している旨を示す情報が含まれているか否かを判別する（図９の＃６８１）。接続している旨を示す情報が含まれていると判別した場合は（＃６８２でＮｏ）、音声のデータによって表わされる声を、公知の音声認識の技術で文字に変換することによって、テキストデータ６５を生成する（＃６８３）。

テレビ会議の音声を、そのまま携帯端末２に備え付けのスピーカから再生すると、会議の内容が第三者に知られるおそれがある。そのため、テキストデータ６５を生成する。

範囲設定部１０７は、さらに、携帯端末２のタッチパネルディスプレイ２０ｅのサイズが、所定のサイズ以下であるか否かを判別する（＃６８４）。所定のサイズは、例えば、表示機器１２の表示面の２分の１のサイズである。所定のサイズ以下であると判別した場合は（＃６８５でＹｅｓ）、表示範囲情報６Ｂを設定する（＃６８６）。

表示範囲情報６Ｂとは、表示機器１２の表示面に表示される映像のうち、どの部分をタッチパネルディスプレイ２０ｅに表示させるのかを示す情報である。

範囲設定部１０７は、表示機器１２の表示面の所定の一部分に表示される映像を、タッチパネルディスプレイ２０ｅで表示するように設定する。所定の一部分は、例えば、表示機器１２の表示面の２分の１のサイズを有しかつその中心が表示面の中心と一致する矩形の領域である。

タッチパネルディスプレイ２０ｅは、表示機器１２の表示面よりも小さい。そのため、表示機器１２の表示面に表示されている映像すべてをタッチパネルディスプレイ２０ｅに表示した場合、小さな文字などがつぶれてしまうおそれがある。そのため、表示範囲情報６Ｂを設定する。

図１０は、表示機器１２の表示面およびタッチパネルディスプレイ２０ｅで表示される映像の例を示す図である。

表示機器１２の表示面には、会議中、資料データに示される図表または会議室の状況を表わす映像７Ｂが表示されている。さらに、退出者がいる場合は、表示範囲情報６Ｂによって設定された範囲を示す枠７Ａが、映像７Ｂに重畳するように表示されている。

この枠７Ａで示される範囲内の映像は、タッチパネルディスプレイ２０ｅに表示される映像７Ｃと同じである。

図６に戻って、拠点装置１Ａにおいて、会議データ生成部１０２は、上述と同様に、撮影機器１３から随時取得される映像のデータを圧縮映像データ６１に変換し、集音器１５から随時取得される音声のデータを圧縮音声データ６３に変換する（＃６０７）。

端末用データ送信部１０８は、携帯端末２へ圧縮映像データ６１および圧縮映像データ６２を送信し、テキストデータ６５が生成された場合はこれを送信し、生成されていない場合は圧縮音声データ６３および圧縮音声データ６４を送信する（＃６０８）。さらに、ステップ＃６８６で表示範囲情報６Ｂが設定された場合は、これも送信する。

携帯端末２において、会議データ受信部２０４は、拠点装置１Ａから圧縮映像データ６１および圧縮映像データ６２を受信し、圧縮音声データ６３、圧縮音声データ６４、テキストデータ６５、または表示範囲情報６Ｂを受信する（図８の＃６５３）。

コンテンツ端末出力処理部２０５は、圧縮映像データ６１および圧縮映像データ６２を復号し、圧縮音声データ６３および圧縮音声データ６４を受信した場合は、それらも復号する（＃６５４）。そして、映像または音声を出力するための処理を次のように行う（＃６５５）。

表示範囲情報６Ｂが受信されなかった場合は、コンテンツ端末出力処理部２０５は、復号した圧縮映像データ６１および圧縮映像データ６２を映像のデータとしてタッチパネルディスプレイ２０ｅへ出力する。すると、表示機器１２の表示面に表示される映像と同一の映像が、タッチパネルディスプレイ２０ｅによって表示される。

表示範囲情報６Ｂが受信された場合は、コンテンツ端末出力処理部２０５は、圧縮映像データ６１および圧縮映像データ６２を復号した映像のデータによって再現される映像のうち、表示範囲情報６Ｂに示される範囲の映像のみの映像のデータをタッチパネルディスプレイ２０ｅへ出力する。すると、この範囲の映像が、タッチパネルディスプレイ２０ｅによって表示される。

さらに、コンテンツ端末出力処理部２０５は、圧縮音声データ６３および圧縮音声データ６４を復号した場合は、これらのデータに基づいて音声を音声出力機器２１に再生させる。テキストデータ６５を受信した場合は、テキストデータ６５に示される文字をタッチパネルディスプレイ２０ｅに表示させる。

退出者は、会議室にいなくても、携帯端末２を使用して発言することができる。携帯端末２にマイクなどの集音器２２が接続されている場合は、集音器２２に向かって発声すればよい。接続されていない場合は、発言の内容を文字としてタッチパネルディスプレイ２０ｅに入力すればよい。

携帯端末２において、発言データ生成部２０６は、端末情報記憶部２０２に記憶されている仕様情報６Ａ２に、携帯端末２が集音器２２を接続している旨を示す情報が含まれているか判別する（図８の＃６５６）。接続している旨を示す情報が含まれている場合は（＃６５７でＹｅｓ）、集音器２２によって取得された音声のデータを圧縮することによって圧縮音声データ６８に変換する（＃６５８）。含まれていない場合は（＃６５７でＮｏ）、タッチパネルディスプレイ２０ｅに入力された文字を、テキストデータ６６として取得する（＃６５９）。

なお、退出者が間違って携帯端末２に備え付けのマイクに発言しないように「発言したい場合はソフトキーボードを使用して文字を入力してください」という旨のコメントをタッチパネルディスプレイ２０ｅに表示してもよい。

発言データ送信部２０７は、テキストデータ６６または圧縮音声データ６８を、拠点装置１Ａへ送信する（＃６６０）。

図６に戻って、拠点装置１Ａにおいて、端末用データ受信部１０９は、携帯端末２からテキストデータ６６または圧縮音声データ６８を受信する（＃６０９）。

コンテンツ拠点出力処理部１０５は、復号した圧縮音声データ６８を音声のデータとして音声出力機器１４へ出力し、またはテキストデータ６６から公知の音声合成の技術によって音声のデータを生成し、音声出力機器１４へ出力する（＃６１０）。これにより、退出者の発言の音声が音声出力機器１４によって再生される。

会議データ生成部１０２は、生成された音声のデータを圧縮することによって圧縮音声データ６７に変換する（＃６１１）。

拠点用データ送信部１０３は、圧縮音声データ６７または圧縮音声データ６８を拠点装置１Ｂへ送信する（＃６１２）。これにより、退出者の発言が拠点装置１Ｂへ伝えられる。

その後、退出者は、会議室へ再度入室すると、携帯端末２を拠点装置１ＡのＮＦＣユニット１０ｆにかざす。

すると、携帯端末２の端末情報送信部２０１は、端末情報記憶部２０２から端末情報６Ａを読み出し、拠点装置１Ａに送信する（図８の＃６６１）。

拠点装置１において、セッション管理部１０１は、端末情報６Ａを受信した場合（図６の＃６１３でＹｅｓ）、すなわち退出者が会議室へ再度入室したことを判別すると、受信した端末情報６Ａの仕様情報６Ａ２から特定できる携帯端末２と拠点装置１Ａとの間でセッションが確立されているか確認し、確立されている場合は（＃６０４でＹｅｓ）、このセッションを終了させる（＃６１４）。それに応じて、セッション管理部２０３も、このセッションを終了させる（図８の＃６６２）。

その後、拠点装置１Ａまたは拠点装置１Ｂいずれかからセッションの終了が要求されるまで（図６の＃６１５でＮｏ）、拠点装置１Ａ、拠点装置１Ｂ、および携帯端末２は、ステップ＃６０２〜＃６１５、およびステップ＃６５１〜＃６６２の各処理を適宜、行う。

なお、表示範囲情報６Ｂの内容は、会議室にいる参加者が拠点装置１を操作することによって書き換えられる。拠点装置１Ａは、最新の表示範囲情報６Ｂを携帯端末２へ送信する。携帯端末２は、最新の表示範囲情報６Ｂに基づいて映像を表示する。

または、退出者が携帯端末２を操作することによって、拠点装置１から受信した表示範囲情報６Ｂを書き換えることもできる。この場合は、携帯端末２は、書き換えた後の表示範囲情報６Ｂに基づいて映像を表示する。また、携帯端末２は、書き換えた後の表示範囲情報６Ｂを拠点装置１へ送信する。拠点装置１は、携帯端末２から受信した表示範囲情報６Ｂに基づいて、枠７Ａを表示する。

〔テレビ会議システムの処理の第２の例〕
図１１は、拠点装置１Ａの機能的構成の第２の例を示す図である。図１２は、携帯端末２の機能的構成の第２の例を示す図である。図１３は、拠点装置１Ａにおけるテレビ会議の処理の流れの第２の例を示すフローチャートである。図１４は、携帯端末２におけるテレビ会議の処理の流れの第２の例を示すフローチャートである。

退出者は、急な来客などの事情により、退出後すぐに携帯端末２を使用してテレビ会議に参加できない場合がある。

しかし、第１の例では、携帯端末２が拠点装置１ＡのＮＦＣユニット１０ｆにかざされると、拠点装置１Ａと携帯端末２とのセッションが無条件で確立され、映像などが配信された。

第２の例では、携帯端末２が拠点装置１ＡのＮＦＣユニット１０ｆにかざされた後に退出者が所定の動作を行うことによって、セッションが確立され、映像などが配信される。以下、第２の例について説明する。上述の第１の例と重複する点は、説明を省略する。

会議管理プログラム１２Ｐによると、図１１に示すセッション管理部１２１ないし装置情報記憶部１３１の機能が拠点装置１に実現される。

会議参加プログラム２２Ｐによると、図１２に示す端末情報送信部２２１ないし動作検知部２２８の機能が、携帯端末２に実現される。

セッション管理部１１ないし装置情報記憶部１３１は、図１３に示す手順で処理を実行する。

端末情報送信部２２１ないし動作検知部２２８の機能は、図１４に示す手順で処理を実行する。

拠点装置１Ａおよび拠点装置１Ｂは、図６のステップ＃６０１および＃６０２と同様の処理を行うことによって、両装置間のセッションを確立し、互いの拠点の映像および音声のやり取りを行う（図１３の＃７０１および＃７０２）。

退出者は、第１の例の場合と同様に、会議の途中で退出する際に、携帯端末２を拠点装置１ＡのＮＦＣユニット１０ｆにかざす。

すると、携帯端末２において、端末情報送信部２２１は、端末情報６Ａを端末情報記憶部２２２から読み出し、拠点装置１へ送信する（図１４の＃７５１）。

拠点装置１において、装置情報送信部１３０は、携帯端末２から端末情報６Ａを受信すると（図１３の＃７０３でＹｅｓ）、接続情報６Ｃ１を含む装置情報６Ｃを装置情報記憶部１３１から読み出し、携帯端末２に送信する（＃７０４）。

接続情報６Ｃ１は、拠点装置１自身のユーザアカウントに関する情報である。上述の例に従うと、接続情報６Ｃ１には、ユーザアカウントのユーザＩＤが示される。

携帯端末２は、拠点装置１Ａから装置情報６Ｃを受信し、フラッシュメモリ２０ｄの所定の記憶領域によって記憶する（図１４の＃７５２）。

携帯端末２の動作検知部２２８が、退出者が携帯端末２を持ちながら所定の行動をしたことを検知すると（＃７５３でＹｅｓ）、つまり携帯端末２の姿勢または動きなどが所定の状態になったことを検知すると、セッション管理部２２３は、接続情報６Ｃ１を使用して携帯端末２とのセッションの確立を要求する（＃７５４）。所定の行動は、例えば、携帯端末２を耳に当てる行動、または、携帯端末２を左右に振る行動などである。これらの行動は、携帯端末２の加速度センサ２０ｉによって検出される傾きまたは動きに基づいて検知することができる。

拠点装置１Ａにおいて、セッション管理部１２１は、携帯端末２からの要求があると（図１３の＃７０５でＹｅｓ）に応じて、携帯端末２とのセッションを確立する（＃７０６）。

その後、拠点装置１Ａおよび携帯端末２は、図６のステップ＃６０６〜＃６１２、および図８のステップ＃６５３〜＃６６１と同様の処理を行う（図１３の＃７０７〜＃７１３、図１４の＃７５５〜＃７６３）。

図１３に戻って、拠点装置１Ａにおいて、セッション管理部１２１は、携帯端末２とのセッションが確立されている状態で端末情報６Ａを受信した場合（＃７１４でＹｅｓ）、受信した端末情報６Ａの仕様情報６Ａ２から特定できる携帯端末２とのセッションを終了させる（図１３の＃７１５）。それに応じて、携帯端末２のセッション管理部２２３も、このセッションを終了させる（図１４の＃７６４）。

その後、拠点装置１Ａまたは拠点装置１Ｂいずれかからセッションの終了が要求されるまで（図１３の＃７１６でＮｏ）、拠点装置１Ａ、拠点装置１Ｂ、および携帯端末２は、ステップ＃７０２〜＃７１６、およびステップ＃７５１〜７６４の各処理を適宜、行う。

〔テレビ会議システムの処理の第３の例〕
図１５は、拠点装置１Ａの機能的構成の第３の例を示す図である。図１６は、拠点装置１Ａにおけるテレビ会議の処理の第３の流れの例を示すフローチャートである。図１７は、退出者特定処理の流れの例を示す図である。

退出者は、急ぎの用事などの事情により、拠点装置１に携帯端末２をかざすことを失念して退出してしまう場合がある。第３の例では、携帯端末２を拠点装置１にかざすことなく、拠点装置１と携帯端末２とを接続する。以下、この仕組みについて説明する。なお、上述の第１の例と重複する点は、説明を省略する。

会議管理プログラム１３Ｐによると、図１５に示すセッション管理部１４１ないしユーザ特定部１５４の機能が拠点装置１に実現される。

セッション管理部１４１ないしユーザ特定部１５４は、図１６および図１７に示す手順で処理を実行する。

会議が始まる前に予め、管理者は、入力機器１６を使用して、会議に参加する参加者ごとの端末情報６Ａおよびユーザ情報６Ｄを拠点装置１へ入力する。

ユーザ情報６Ｄは、参加者を識別するための情報であって、参加者の顔画像から認識された目、鼻または口などの器官の形状または位置などを数値化した情報である。

拠点装置１の登録部１５０は、入力された端末情報６Ａを端末情報記憶部１５１に記憶し、入力されたユーザ情報６Ｄをユーザ情報記憶部１５２に記憶する（図１６の＃８０１）。以下、ユーザ情報記憶部１５２に記憶されるユーザ情報６Ｄを「ユーザ情報６Ｄ０」と記載する。同じ参加者の端末情報６Ａとユーザ情報６Ｄ０とは、対応付けられている。

その後、拠点装置１Ａおよび拠点装置１Ｂは、図６のステップ＃６０１および＃６０２と同様の処理を行う（＃８０２および＃８０３）。

拠点装置１Ａのユーザ監視部１５３およびユーザ特定部１５４は、退出者を特定する処理を、以下のように行う（＃８０４）。

ユーザ監視部１５３は、所定の時間の間隔で、撮影機器１３から随時取得された映像のデータから顔画像を識別する（図１７の＃８３１）。そして、顔画像に対応するユーザ情報６Ｄを抽出する（＃８３２）。その結果、参加者それぞれのユーザ情報６Ｄが抽出される。

なお、撮影機器１３が資料の映像の表示面を撮影している場合は、顔画像を撮影することができない。そこで、参加者を撮影するための撮影機器を設置しておき、この撮影機器によって撮影される映像に基づいて顔画像を識別してもよい。

ユーザ特定部１５４は、退出者を例えば次のように特定する（＃８３３）。最近の時刻の映像のデータに基づいて抽出された、各人物のユーザ情報６Ｄ（以下、「ユーザ情報６Ｄ１」と記載する。）と、ユーザ情報記憶部１５２に記憶されている各ユーザ情報６Ｄ０とを比較することによって、この映像に映っている参加者を特定する。

さらに、その時刻より所定時間早い時刻（例えば、５分前）の映像のデータに基づいて抽出された、各人物のユーザ情報６Ｄ（以下、「ユーザ情報６Ｄ２」と記載する。）と、ユーザ情報記憶部１５２に記憶されている各ユーザ情報６Ｄ０とを比較することによって、この映像に映っている参加者を特定する。

そして、ユーザ情報６Ｄ２から特定されたがユーザ情報６Ｄ１からは特定されなかった参加者を、退出者として特定する。

退出者を特定することができた場合は（＃８３４でＹｅｓ）、その退出者のユーザ情報６Ｄ０に対応付けられている端末情報６Ａを特定する（＃８３５）。

セッション管理部１４１は、端末情報６Ａが特定された場合は（図１６の＃８０５でＹｅｓ）、その端末情報６Ａの接続情報６Ａ１を使用して、携帯端末２とのセッションの確立を携帯端末２へ要求する（＃８０６）。

その後、拠点装置１Ａ、拠点装置１Ｂ、および携帯端末２は、図１３のステップ＃７０７〜ステップ＃７１６と同様の処理を適時行い（図１６の＃８０７〜＃８１６）、図８のステップ＃６５２〜＃６６２の各処理を適時行う。

本発明によると、会議の途中で退出した参加者へ従来よりも効率的に会議の状況を示す映像のデータおよび音声のデータを与えることができる。

上述の実施形態では、携帯端末２のタッチパネルディスプレイ２０ｅのサイズに基づいて、表示範囲情報６Ｂが設定された。しかし、タッチパネルディスプレイ２０ｅの解像度に基づいて、表示範囲情報６Ｂを設定してもよい。例えば、所定のサイズを、２分の１に固定するのではなく、タッチパネルディスプレイ２０ｅの解像度が高いほどサイズが大きくなるようにしてもよい。

上述の実施形態では、携帯端末２を、セッションを確立した拠点装置１のＮＦＣユニット１０ｆにかざすことで、セッションを終了させた。しかし、携帯端末２を、セッションを確立した拠点装置１とは異なる他の拠点装置１のＮＦＣユニット１０ｆにかざすことで、セッションを終了させてもよい。この場合、他の拠点装置１は、携帯端末２から端末情報６Ａを受信し、受信した端末情報６Ａを、セッションを確立した拠点装置１に送信する。セッションを確立した拠点装置１は、端末情報６Ａを受信した時にセッションを終了させる。

上述の実施形態では、拠点装置１Ａは、映像のデータをそのまま圧縮映像データ６１および圧縮映像データ６２に変換して、携帯端末２へ送信した。しかし、映像のデータの一部を、表示範囲情報６Ｂの設定する範囲に従ってトリミングし、これを圧縮映像データ６１および圧縮映像データ６２に変換して、携帯端末２へ送信してもよい。

上述の実施形態において、さらにテレビ会議に使用する資料データを、拠点装置１Ａと拠点装置１Ｂとの間で送受信し、拠点装置１Ａから携帯端末２へ送信してもよい。

上述の実施形態以外の、拠点装置１Ａと携帯端末２との間のセッションを確立する例として、拠点装置１Ａと携帯端末２との間でＢｌｕｅｔｏｏｔｈ（登録商標）によって通信を会議中、常に行い、通信ができなくなった携帯端末２に対して、セッションの確立を拠点装置１Ａが要求してもよい。

または、拠点装置１Ａが、携帯端末２から発信されるビーコンを会議中、定期的に検知し、ビーコンを検知できなくなった携帯端末２に対して、セッションの確立を拠点装置１Ａが要求してもよい。

第１の例では、端末情報６Ａは、退出者が携帯端末２を拠点装置１のＮＦＣユニット１０ｆにかざした時に拠点装置１へ送信されたが、事前に送信されてもよい。例えば、会議が開催される前に、携帯端末２から拠点装置１に送信されてもよい。

第２の例では、携帯端末２が、携帯端末２の姿勢または動きなどが所定の状態になったことを検知してセッションの確立を要求した。しかし、参加者が携帯端末２のボタンをタッチすることで、携帯端末２がセッションの確立を要求してもよい。または、携帯端末２が、検知した姿勢または動きなどの情報を常に拠点装置１Ａへ送信し、拠点装置１が、携帯端末２の状態が所定の姿勢または動きになったことを受信した情報から判断して、セッションの確立を要求してもよい。

第３の例では、認識した顔画像から端末情報６Ａを特定したが、予め会議室の座席と端末情報６Ａとを関連付け、映像のデータから人物の存在を認識できなくなった座席を選出し、その座席に関連付けられた端末情報６Ａを特定してもよい。

第３の例において、拠点装置１Ａと携帯端末２とのセッションが確立している状態で、ユーザ情報６Ｄ１から特定されたがユーザ情報６Ｄ２からは特定されなかった参加者がいる場合に、すなわち退出者が会議室へ再度入室したことを判別した場合に、セッションを終了させてもよい。

その他、テレビ会議システム１００、拠点装置１および携帯端末２の全体または各部の構成、処理の内容、処理の順序、データの構成などは、本発明の趣旨に沿って適宜変更することができる。

１、１Ａ、１Ｂ 拠点装置（会議用装置）
１０１ セッション管理部（退出者検知手段）
１０８ 端末用データ送信部（送信手段）
２ 携帯端末（端末装置）
２０ｅ タッチパネルディスプレイ（ディスプレイ）
６Ａ１ 接続情報（識別子）
６Ｂ 表示範囲情報（位置情報）
６１ 圧縮映像データ（映像）
６２ 圧縮映像データ（映像）
６３ 圧縮音声データ（音声）
６４ 圧縮音声データ（音声）
６５ テキストデータ（テキスト）
６６ テキストデータ（第２のテキスト）
６８ 圧縮音声データ（第２の音声）

Claims (8)

1. 複数の参加者が所定の場所に集まって行われる会議において用いられる会議用装置であって、
   前記複数の参加者のうちの、前記所定の場所から退出しようとしているまたは退出した参加者である退出者を検知する、退出者検知手段と、
   前記退出者検知手段によって前記退出者が検知された後、さらに、当該退出者が端末装置を当該退出者の耳に当てる行動が検知された場合に、当該端末装置へ前記会議の画像または音声を送信する、送信手段と、
   を有することを特徴とする会議用装置。
2. 前記送信手段は、前記端末装置のディスプレイの表示面のサイズが所定のサイズ以下である場合は、前記画像の一部分が当該ディスプレイに表示されるように前記画像を送信する、
   請求項１に記載の会議用装置。
3. 前記送信手段は、前記画像のうちの前記一部分のみを送信する、
   請求項２に記載の会議用装置。
4. 前記送信手段は、前記画像とともに、前記一部分の位置を示す位置情報を送信する、
   請求項３に記載の会議用装置。
5. 前記送信手段は、前記音声の代わりに、当該音声が表わす言葉を示すテキストを送信する、
   請求項１ないし請求項４のいずれか記載の会議用装置。
6. 前記端末装置から受信した第２のテキストが表わす言葉を第２の音声によって出力する、
   請求項１ないし請求項５のいずれかに記載の会議用装置。
7. 複数の参加者が所定の場所に集まって行われている会議の画像または音声を送信する送信方法であって、
   複数の参加者のうちの、前記所定の場所から退出しようとしているまたは退出した参加者である退出者を検知する退出者検知ステップと、
   前記退出者検知ステップによって前記退出者が検知された後、さらに、当該退出者が端末装置を当該退出者の耳に当てる行動が検知された場合に、当該端末装置へ前記会議の画像または音声を送信する、送信ステップと、
   を有することを特徴とする送信方法。
8. 複数の参加者が所定の場所に集まって行われる会議において使用されるコンピュータに用いられるコンピュータプログラムであって、
   前記コンピュータに、
   前記複数の参加者のうちの、前記所定の場所から退出しようとしているまたは退出した参加者である退出者を検知する、退出者検知処理を実行させ、
   前記退出者検知処理によって前記退出者が検知された後、さらに、当該退出者が端末装置を当該退出者の耳に当てる行動が検知された場合に、当該端末装置へ前記会議の画像または音声を送信する送信処理を実行させる、
   を実行させることを特徴とするコンピュータプログラム。

Images