JP6550951B2 - 端末、ビデオ会議システム、及びプログラム - Google Patents

Description

本発明は、端末、ビデオ会議システム、及びプログラムに関する。

従来から、２つのビデオ会議端末がインターネットなどのネットワークを介して接続されたビデオ会議システムが知られている。ビデオ会議システムによれば、映像と音声データをリアルタイムに双方向に送受信し、遠隔地の者同士でもリアルタイムコミュニケーションを実現することができる。また、ビデオ会議端末を複数台用いることによって、多拠点における複数の利用者が同時に同じ会議に参加することができることも既に知られている。

ところで、人同士が集う会議においては話者が会議出席者の誰に対して話しているかは意識することなく認識することができる。他方、ビデオ会議システムでは、会議出席者が常にカメラ等を注視し続けることはなく、また、どの話者が誰に向かって話しているかを特定することが困難である。

そこで、例えば特許文献１に係るテレビ会議システムでは、発話者側端末２１の利用者が、表示手段により表示された映像のうち、聴衆者側端末２２の利用者の映像を注目している場合に、端末２２は、端末２１から、端末２２を注目していることを示す第１の注目情報を受信する。

そして、第１の注目情報を受信すると、端末２２は、利用者が注目している映像に対応する端末と端末２１とが一致するか否かを判定する。端末２２は、一致すると判定した場合に、第２の注目情報を生成して送信し、端末２１が第２の注目情報を受信すると、表示手段により表示される映像のうち、端末２２に対応する映像を強調して表示する。

例えば特許文献１によれば、自分が話者になった場合に、自分が注目した相手もまた自分を注目しているか否かがわかるようになる。しかし、発話者を判定する処理において、双方の端末利用者が双方の名前を呼ばねばならず煩わしい。

また、特許文献１では双方の利用者の映像を注目している場合にその注目情報が相互に送受信されて初めて自端末において相手映像を強調表示する処理が行われる。このため、例えば伝送遅延により注目情報の送受信に不具合が生じた場合等において上記処理が遅れると、ビデオ会議システムのリアルタイム性を損ねることとなり、円滑なコミュニケーションを阻害することとなってしまう。

本発明は、このような実情に鑑みてなされたものであって、ビデオ会議システムにおける円滑なコミュニケーションを実現することを目的とする。

上述した目的を達成するため、本発明は、ネットワークを介して接続された他端末から、該他端末を使用する他ユーザを撮像した撮像情報と、該他端末の近傍で発せられた音声情報と、該他ユーザが自端末を注目していることを示す注目情報とを受信する受信手段と、音声情報の送信元の他端末と注目情報の送信元の他端末とが一致するか否かを判定する発話受動判定手段と、発話受動判定手段により他端末が一致すると判定されたとき、該他端末を使用する他ユーザから自端末への発話を通知する発話受動通知手段とを備えることを特徴とする。

本発明によれば、ビデオ会議システムにおける円滑なコミュニケーションを実現することが可能になる。

本発明の実施形態におけるビデオ会議システムの概略図である。 本発明の実施形態における端末のハードウェア構成図である。 本発明の実施形態における端末の機能ブロック図である。 本発明の実施形態における処理手順の概略を示すフローチャートである。 本発明の実施形態における注視端末ＩＤ信号の生成手順を示すフローチャートである。 本発明の実施形態における注視判定処理の一例を示す模式図である。 本発明の実施形態における発話受動通知処理手順を示すフローチャートである。 本発明の実施形態における発話受動通知の流れを示すタイムチャートである。

本発明の実施形態の端末及びビデオ会議システムに関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。また、以下に記載する実施形態は本発明の最良の形態であって、本発明に係る特許請求の範囲を限定するものではない。

まず初めに、本実施形態のビデオ会議システム１の概略について図１を参照して説明する。本図は、本システムを構成する４つの端末が４つの拠点ＡからＤにそれぞれ配置されており、各端末がネットワーク１４を介して接続されたシステムを示している。なお、ここでは４人のユーザがそれぞれ存在する４つの拠点で構成されたシステムを例示しているが、３つ以下の拠点で構成されたシステムであっても、５つ以上の拠点で構成されたシステムであってもよい。

各拠点に配置される端末とその周辺装置群の概略構成例について、拠点Ａに配置される構成を用いて説明する。拠点Ａには、端末としてのビデオ会議端末４と、ユーザＡの視線を追跡する例えば視線追跡装置等の撮像装置５と、ユーザＡを撮影するカメラ６と、ユーザＡの発する音声を取得するマイク等の音声入力装置７と、音声出力装置８と、ユーザＡの撮像、各拠点に配置された各端末から受信した各ユーザの撮像を表示する映像出力装置９が配置されている。拠点Ａ以外の他の拠点も同様の構成であるため説明を省略する。

撮像装置５としての視線追跡装置は、ユーザＡの前に設置して、ユーザＡの眼球運動を計測することでユーザＡの視線データを取得する装置である。カメラ６は、ユーザＡを撮影して、撮影された撮像から所定の画像処理を行い視線の位置やその変化あるいは角度等を検出するために用いられる。また、視線追跡装置としては眼鏡型の装置を使用してもよい。なお、本発明においては、撮像装置５やカメラ６をまとめて撮像装置というものとする。

ビデオ会議端末４は、各拠点から各ユーザの撮像を受信して映像出力装置９に表示させたり、ユーザＡの撮像を解析したり、各拠点のビデオ会議端末に送信したり、後述する本実施形態に係る各種の情報処理を行う例えばパーソナルコンピュータ等の情報処理装置等である。ビデオ会議端末４の詳細な説明については後述する。なお、撮像等のデータの送受信には例えばサーバ等の仲介器を介してもよい。

拠点Ａにおいて、音声入力装置７はユーザＡの発する音声及びビデオ会議端末４近傍で発せられる音声の入力を受けるマイク等である。音声出力装置８は、各拠点から受信した各ユーザの音声等を出力するスピーカ等である。なお、これらは、ビデオ会議端末４に内蔵されていても、外部マイクや外部スピーカ等としてビデオ会議端末４に別途接続されるものであってもよい。

また、拠点Ａの映像出力装置９には、拠点ＢのユーザＢの撮像が画面左上に、拠点ＣのユーザＣの撮像が画面右上に、拠点ＤのユーザＤの撮像が画面左下に、拠点ＡのユーザＡの撮像が画面に表示されているが、この表示態様が一例であることは言うまでもない。

本実施形態では、ビデオ会議システムを利用する利用者の注視対象を検知して、注視しながら発話した際に、その注視対象に向けての発話であるとし、発話対象の利用者にこの発話は自分へ向けての発話であることを通知する。以下では、拠点ＡのユーザＡが、映像出力装置９に出力された拠点ＤのユーザＤの撮像を注視して発話している例を用いて説明する。

この場合、利用者Ａから利用者Ｄへ向けての発話であると拠点Ｄのビデオ会議端末が判定し、拠点Ｄにおいて、拠点ＡにおけるユーザＡの撮像を囲む赤枠を表示する。また、この場合、発話の開始タイミングや終了タイミングにおいて例えばビープ音等の音声を出力し、利用者Ｄに通知する。

なお、本実施形態では、各拠点の撮像を１画面を４分割して表示しているが、例えば１対１のシステムの場合、一画面に相手側の撮像として例えば会議室全体の様子がわかるような撮像を表示する態様であってもよい。また、１拠点に１ユーザでなく、複数のユーザが１拠点にいてもよいが、この場合、複数人の視線データを取得できることが好ましい。

次に、本実施形態のビデオ会議システムにおける端末のハードウェア構成について図２を参照して説明する。拠点Ａの構成を例として説明するが、その他の拠点ＢからＤについても同様の構成であるため、説明を省略する。

ビデオ会議端末４は、入力部２８と、メモリ２９と、ＣＰＵ３０と、ネットワークインタフェース３１（以下「ネットワークＩ／Ｆ」）を備えている。なお、その他のハードウェアとして、例えばＨＤＤや外付けあるいは内蔵された各種メディアドライブ等を備えていてもよい。

入力部２８は、電源のＯＮ／ＯＦＦや音量の変更など、各操作をするための操作ボタンである。メモリ２９は、本実施形態における各処理を実行するプログラムや、種々の制御プログラムや、入出力映像・音声データ、視線データ、後述の注視端末ＩＤ信号、話者ＩＤ信号、発話受動ＩＤ信号等を保存しておくＲＯＭやＲＡＭ等である。

ＣＰＵ３０は、ビデオ会議端末４の動作を制御し、映像データのエンコード及びデコード処理を行う。ネットワークＩ／Ｆ３１は、通信ネットワークを利用して各種データを転送する。

次に、本実施形態におけるビデオ会議端末４の機能ブロックについて図３を参照して説明する。ここでも、図１の例に従い、４つの拠点ＡからＤがネットワーク１４によって接続されている構成例を用いて説明する。なお、拠点ＢからＤにおけるビデオ会議端末の機能ブロックもビデオ会議端末４と同様の構成であるため、本図では簡易図として示し、拠点Ａの構成との重複する説明は省略する。

なお、本図においては、撮像装置５、音声入力装置７、音声出力装置８、映像出力装置９をまとめて入出力装置群１０とする。また、拠点Ｂにはビデオ会議端末４’及び入出力装置群１０’が、拠点Ｃにはビデオ会議端末４”及び入出力装置群１０”が、拠点Ｄにはビデオ会議端末４”’及び入出力装置群１０”’が備えられている。

ビデオ会議端末４は、映像入力部１５と、データ送信部１６と、注目情報生成部１７と、音声取得部１８と、データ受信部２１と、話者判定部２２と、話者識別信号生成部２３と、発話受動判定部２４と、出力部２５を含み構成されている。出力部２５は発話受動通知部２５１を含む。

映像入力部１５は、撮像装置５により撮像された映像を取得する撮像情報取得手段である。なお、取得した映像は別途、映像圧縮部により圧縮／符号化される。

データ送信部１６は、映像入力部１５において取得した映像データをネットワーク１４を介して各拠点のビデオ会議端末に送信する送信手段である。また、データ送信部１６は、注目情報である後述の注視端末ＩＤ信号を各拠点のビデオ会議端末に送信する。

注目情報生成部１７は、映像入力部１５により取得された他端末を使用する他ユーザの撮像情報を解析して、表示手段である出力部２５により映像出力装置９に表示された自端末を使用する自ユーザの撮像情報に他端末を使用する他ユーザが注目していることを示す注目情報を生成する注目情報生成手段である。なお、本実施形態における自端末及び他端末なる名称、自ユーザと他ユーザなる名称は便宜的なものであり、どちらかが主又は副であるかのような優劣を規定するものではない。

注目情報とは、例えば、図１を用いて説明した視線追跡装置により取得した視線データが特定の拠点のユーザ映像に集中している場合に生成される注視端末ＩＤ信号である。注視端末ＩＤ信号には、注視対象の拠点名と、注視元の拠点における端末の識別信号が含まれる。詳細については後述する。なお、注目情報は、視線データに限定されず、例えばユーザの撮像からユーザの顔の向き等を解析し、顔の向きが特定の対象に向けられているか否かを公知の画像解析技術により特定し、解析結果に基づいて生成されるものであってもよい。

音声取得部１８は、例えばマイク等の音声入力装置７に入力された音声情報を取得する音声情報取得手段である。なお、音声入力装置７は、拠点Ａのビデオ会議端末４においては、ビデオ会議端末４の近傍で発せられた音声情報の入力を受け付ける。つまり、この場合、音声入力装置７は、ユーザＡの発した音声に加え、周囲の音等の入力も受け付ける。なお、取得した音声データが圧縮・符号化されている場合、音声伸長部により復号される。

データ受信部２１は、ネットワークを介して接続された他端末から該他端末を使用する他ユーザを撮像した撮像情報と、該他端末の近傍で発せられた音声情報と、該他ユーザが自端末を注目していることを示す注目情報を受信する受信手段である。なお、他ユーザの撮像情報は各拠点でのビデオ会議端末における映像圧縮部によって圧縮／符号化されているが、これを映像伸長部によって復号する。

話者判定部２２は、データ受信部２１により受信した複数の他端末の近傍で発せられた音声情報を解析し、該複数の他端末を使用する複数の他ユーザのうち、どの他ユーザが発話しているか否かを判定する。音声情報の解析は、例えば取得した音声情報の入力ゲインで判定する等の手法をとればよいが、これに限定されず公知の手法で解析を行ってもよい。

話者識別信号生成部２３は、話者判定部２２により発話していると判定された他ユーザが使用する他端末を識別する識別信号に基づいて自端末に対する発話者を識別する話者識別信号を生成する。話者識別信号には、話者判定部２２により発話していると判定された他ユーザの音声情報の送信元端末を識別する識別信号が含まれる。

発話受動判定部２４は、音声情報の送信元の他端末と注目情報の送信元の他端末とが一致するか否かを判定する。

発話受動通知部２５１は、発話受動判定部２４により音声情報の送信元の他端末と注目情報の送信元の他端末とが一致すると判定されたとき、該他端末を使用する他ユーザから自端末への発話を通知する発話受動通知手段である。

また、発話受動通知部２５１は、発話受動判定部２４により一致すると判定された他端末を使用する他ユーザの出力部２５により映像出力装置９に表示される撮像情報を、該他ユーザからの発話受動を自端末のユーザが認識し得る表示態様に変更するよう、出力部２５による映像出力装置９への表示を制御する表示制御手段として機能する。表示態様の変更とは、具体的には、例えば図１を用いて説明したように、映像出力装置９に表示される撮像情報を囲むように赤枠を表示させたり、撮像情報を他の拠点の撮像情報より拡大させたりする等、他の拠点の撮像情報より目立つように表示態様を変更する処理をいう。

一方、発話受動判定部２４は、音声情報の送信元の他端末と注目情報の送信元の他端末とが一致すると判定したとき、該他端末を使用する他ユーザから自端末を使用する自ユーザに向けて発話されていることを識別する発話受動識別信号を生成してもよい。この場合、発話受動通知部２５１は、発話受動判定部２４により生成された発話受動識別信号に基づいて発話受動を通知することとしてもよい。詳細は後述するが、発話受動信号を生成することにより、端末は発話受動状態にあることを容易に認識することが可能となる。

また、発話受動通知部２５１は、発話受動判定部２４から発話受動識別信号を受信したとき、所定の音声を出力するよう出力部２５を制御することとしてもよい。所定の音声とは、例えば上述したビープ音等である。これにより、ユーザは自分に向けられた発話が開始されたことを認識することが可能となる。

さらに、発話受動通知部２５１は、発話受動判定部２４からの発話受動識別信号の受信が途絶えたとき、所定の音声を出力する制御を行うこととしてもよい。これにより、ユーザは自分に向けられた発話が終了したことを認識することが可能となる。

さらに、発話受動通知部２５１は、発話受動判定部２４からの発話受動識別信号の受信が途絶えた以降の一定時間、発話受動通知を継続することとしてもよい。詳細は後述するが、これにより、例えば発話受動識別信号の受信が途絶えた場合にすぐにビープ音を鳴らしてユーザに受け答えを急がせるような事態を回避して、ユーザは受け答えをゆっくりと行うことができるため、円滑なコミュニケーションの実施に寄与することになる。

なお、発話受動通知部２５１は、発話受動識別信号を受信したとき、予め音声出力していた所定の音声の音量を上げ、発話受動識別信号の受信が途絶えたとき、上げていた音量を下げる制御を行うこととしてもよい。これにより、ユーザは発話受動開始及び終了のタイミングを音量の変化で認識することができる。

さらに、発話受動通知部２５１は、発話受動識別信号を受信したとき、ビデオ会議端末を振動させ、発話受動識別信号の受信が途絶えたとき、再度ビデオ会議端末を振動させる制御を行うこととしてもよい。これにより、ユーザは発話受動開始及び終了の各タイミングを振動により認識することが可能となる。

また、発話受動判定部２４は、データ受信部２１により注目情報の受信が途絶えた場合であっても、データ受信部２１により音声情報の受信が途絶えるまでは発話受動信号の生成を継続することとしてもよい。詳細は後述するが、これにより、例えば他ユーザが表示された映像に注視しなくなる等によって注目情報である注視端末ＩＤ信号を受信しなくなったとしても、他ユーザによる発話が継続されている間は、発話受動状態にあるとみなすため、円滑なコミュニケーションを阻害することがない。

ここで、例えば拠点ＤにおけるユーザＤが映像出力装置であるディスプレイに表示されたユーザＡを注視しながら発話しているとする。ビデオ会議端末４の発話受動判定部２４は、各拠点より受信した注目情報である注視端末ＩＤ信号と話者ＩＤ信号を比較する。そして、発話受動判定部２４は、比較の結果、それぞれが示す拠点名が一致したとき、利用者Ａが発話受動状態にあると判定し、発話受動ＩＤ信号を生成する。この例の場合、注視端末ＩＤ信号と話者ＩＤ信号がともにＤ拠点を示すので、利用者Ａは利用者Ｄによって発話受動状態にある、ということになる。

次に、本実施形態における処理の概略手順について図３及び図４を参照して説明する。ここでは図１を用いた説明と同様に、拠点ＤのユーザＤが拠点ＡのユーザＡの撮像を注視しているものとして説明する。

まず、拠点Ｄにおけるビデオ会議端末４”’は撮像装置を介してユーザＤの撮像を取得し、該撮像からユーザＤの視線データを取得する（ステップＳ１）。

次に、ビデオ会議端末４”’の注目情報生成部１７は注目情報である注視端末ＩＤを生成する（ステップＳ２）。注目情報生成部１７による注視端末ＩＤ生成処理の詳細については後述する。

拠点Ｄにおけるビデオ会議端末４”’は、ユーザＤの撮像や注視端末ＩＤを拠点Ａのビデオ会議端末４に送信する（ステップＳ３）。

拠点Ａの話者判定部２２により話者の判定がされ、話者識別信号生成部２３により話者識別信号である話者ＩＤ信号が生成される（ステップＳ４）。話者ＩＤ信号生成の詳細については後述する。

そして、発話受動判定部２４により発話受動判定処理が実行される（ステップＳ５）。この処理の詳細については後述する。

発話受動通知部２５１は、自分に注目しているユーザの撮像について表示制御処理を行う（ステップＳ６）。

図４に示した注視端末ＩＤ生成処理の詳細について図５を参照して説明する。ここでは、拠点ＡのユーザＡが拠点ＤのユーザＤに向けて発言していることを想定した、拠点Ａでの注視判定処理手順を例として説明する。

まず、ビデオ会議端末４は、撮像装置５からユーザＡの視線データを取得する（ステップＳ１１）。例えば、視線データは（ｘ、ｙ）で表した座標データとして取得するものとする。

視線データは時間の経過と共に変化するのが通常であるため、ビデオ会議端末４は所定の更新頻度で視線データを更新する（ステップＳ１２）。この更新頻度は、例えば映像データのフレームレートが３０ｆｐｓである場合、３３ｍｓｅｃ間隔とすることが好ましい。このとき、撮像装置５は眼球を撮像した際の変化量を角度として取得するものとする。

ビデオ会議端末４は、メモリ２９に取得した視線データを順次記憶し、例えば過去１０データを参照する（ステップＳ１３）。そして、ビデオ会議端末４は、過去１０データ分の視線データに基づいて停留判定を行う（ステップＳ１４）。この場合の停留判定は、例えば人間の眼球運動の特徴を踏まえ、例えば非特許文献１等に開示されているような判定条件を用いることが好ましい。

すなわち、本実施形態では、停留判定条件として、
１：「前後の視線データが視野角にして２．１度以上離れないこと」
２：「過去１０データのうち、２つの視線データの最大距離が視野角にして２．１度以上離れないこと」
とするが一例であって、これに限らずその他公知の判定条件を採用してもよい。

なお、人間の瞬きは、一般的に１００ｍｓｅｃ〜１５０ｍｓｅｃといわれており、これは視線データにして３〜５データ分である。瞬きされたときはユーザの眼球に基づいた視線データを取得できないためデータ欠損となってしまう。そこで、本実施形態では過去１０データのうち連続５回までのデータ欠損を停留判定から除外し、残りのデータで判定するものとする。

ステップＳ１４で視線データが停留していると判定した場合（ステップＳ１４、ＹＥＳ）、ビデオ会議端末４は、画面上のどの拠点における映像上で停留したのかを確認する（ステップＳ１５）。この際、ビデオ会議端末４は各拠点における映像が画面上のどの領域に表示されているのかの情報を得ているものとする。そして、ビデオ会議端末４は、停留していると判定した１０データ分の視線データの座票が、各拠点映像が表示される矩形領域内に収まっているか否かによりどの拠点映像に停留しているかを判定する。

なお、拠点映像間の境目に視線データが存在する場合は、過去１０データの内、視線データが収まっている数の多い映像に係る拠点を停留拠点とする。視線データが同数の場合、どちらも停留拠点とせず、それまでの停留判定処理をリセットする。

他方、ステップＳ１４で視線データが停留していないと判定した場合（ステップＳ１４、ＮＯ）、停留判定処理をリセットする（ステップＳ１１３）。

次に、ビデオ会議端末４は、ステップＳ１５において確認された停留拠点が前回と同じ停留拠点か否かを判定する（ステップＳ１６）。前回と異なる停留拠点の場合（ステップＳ１６、ＮＯ）、ビデオ会議端末４は停留判定をリセットする（ステップＳ１１３）。

他方、前回つまり１回前の注視判定時と同じ停留拠点の場合（ステップＳ１６、ＹＥＳ）、ビデオ会議端末４は注視端末ＩＤ信号が送信中であるか否かを判定する（ステップＳ１７）。

注視端末ＩＤ信号が送信中でない場合（ステップＳ１７、ＮＯ）、ビデオ会議端末４は停留カウントを「＋１」とする（ステップＳ１８）。他方、注視端末ＩＤ信号が送信中である場合は（ステップＳ１７、ＹＥＳ）、ビデオ会議端末４は注視判定を行わず、そのまま対象の拠点のビデオ会議端末に注視端末ＩＤ信号を送信し続けるものとする（ステップＳ１１２）。

ステップＳ１８以後、ビデオ会議端末４は停留が３回連続したかどうかの判定をする（ステップＳ１９）。本実施形態では、停留が３回連続した場合に「注視」を判定する。３回未満と判定した場合はステップＳ１２に戻る。この判定により、一定位置に視線データが３０回留まっていなくても、ゆっくりと滑らかに視線の対象を追うことも注視であると判定することが可能になる。

ビデオ会議端末４は、ステップＳ１８の処理を繰り返し、停留が３回連続で続いたと判定した場合（ステップＳ１９、ＹＥＳ）、「注視」と判定し、その停留拠点を注視拠点に変更する（ステップＳ１１０）。

ビデオ会議端末４は、自分の拠点ＩＤと注視拠点のビデオ会議端末ＩＤを含む注視端末ＩＤ信号を生成する（ステップＳ１１１）。その後、ビデオ会議端末４は、注視対象のビデオ会議端末に注視端末ＩＤ信号を送信する（ステップＳ１１２）。

なお、停留や注視が起こっている状態で、ステップＳ１４の停留判定において、大きく視線が変化し、停留や注視が終了したと判定された場合（ステップＳ１４、ＮＯ）、それらの状態はリセットされる（ステップＳ１１３）。

また、ビデオ会議端末４は、ステップＳ１１３の後、現在注視端末ＩＤ信号を送信している状態であるかどうかを判定し（ステップＳ１１４）、注視端末ＩＤ信号を送信していると判定したとき（ステップＳ１１４、ＹＥＳ）、その注視端末ＩＤ信号の送信を停止する（ステップＳ１１５）。なお、その間は常に、ステップＳ１１２での注視端末ＩＤ信号は送信され続けているものとする。

次に、本実施形態における注視判定処理の一例について図６を参照して説明する。本図は、拠点ＡにおけるユーザＡが画面表示された拠点ＤにおけるユーザＤの撮像に注目している場合の視線データの滞留の状況を示したものである。本図において、「Ｅ１」等で示された、数字が付された小円は、映像出力装置９における画面上の視線データが示す位置を表し、小円に付された数字はデータの取得順としている。

Ｅ１からＥ２の変化は停留判定の条件１において、停留ではないと判定される。同様に、Ｅ３、Ｅ４、Ｅ５、Ｅ６と停留ではないと判定され、Ｅ７とＥ８の変化は上述した停留判定の条件１に該当する。同様にＥ９、Ｅ１０〜Ｅ１６までの変化は停留判定の条件に１該当し、この１０データが上述の停留判定の条件２に該当したとすると、視線データＥ７〜Ｅ１６が停留しているといえる。また、このときの１０データは映像１２で示す拠点Ｄの拠点映像領域内にあるため停留拠点はＤとなる。

次に視線データＥ１７〜Ｅ２６、Ｅ２７〜Ｅ３６も同様に停留拠点はＤとなる。ここで、３回連続で停留が起きたので、Ｅ３７〜Ｅ４４まで注視しているとみなし、この場合停留判定は行わないものとする。このとき、拠点Ａのビデオ会議端末４は、拠点Ｄのビデオ会議端末に拠点ＤのＩＤと自拠点のＩＤを付した、注視端末ＩＤ信号を送信する。

Ｅ４４からＥ４５の視線データは停留場件の閾値以上の変化をしたので、ここで注視は終了したとする。その際、ビデオ会議端末４は、注視端末ＩＤ信号の送信を停止することで、拠点Ｄのビデオ会議端末に、注視しているタイミングとその長さをリアルタイムに知らせることが可能である。

次に、本実施形態における発話受動通知処理手順について図７を参照して説明する。ここでは、拠点ＡのユーザＡが拠点ＤのユーザＤに向けて発話しているものとし、拠点Ｄにおける発話受動通知手順を例として説明する。

まず、拠点Ｄのビデオ会議端末は、拠点Ａのビデオ会議端末４から、映像情報、音声情報の他、注視端末ＩＤ信号等を受信する（ステップＳ２１）。

次に、拠点Ｄのビデオ会議端末は、受信した音声データについて、受信データに付された送信元端末ＩＤより、どの拠点の音声なのか解析する（ステップＳ２２）。

そして、拠点Ｄのビデオ会議端末は、話者がいるかどうかの話者判定を行う（ステップＳ２３）。拠点Ｄのビデオ会議端末は、話者がいると判定し（ステップＳ２３、ＹＥＳ）、その話者が発話中であると判定すると、その話者がいる拠点のＩＤを含む話者ＩＤ信号を生成する（ステップＳ２４）。

拠点Ｄのビデオ会議端末は、注視端末ＩＤ信号を受信している状態であるとき（ステップＳ２５、ＹＥＳ）、その送信元の拠点と話者ＩＤ信号に付されたＩＤの拠点が一致するかどうかを判定する（ステップＳ２６）。両者が一致すると判定した場合（ステップＳ２６、ＹＥＳ）、拠点Ｄのビデオ会議端末は、発話受動ＩＤ信号を生成する（ステップＳ２７）。

そして、拠点Ｄのビデオ会議端末は、発話受動通知を開始する（ステップＳ２８）。ここでは、拠点Ｄのビデオ会議端末は、ビープ音を出力し、ビデオ会議端末の画面内における、発話受動の対象である拠点Ａが表示されている拠点映像の枠を赤く表示させることとする（ステップＳ２９）。ステップＳ２９は、発話受動通知が継続されていることを示している。この場合、拠点Ａの拠点映像の枠を赤く表示し続けることになる。

次に、拠点Ｄのビデオ会議端末は、ステップＳ２１に戻り、次の話者判定を行う。まだ話者が発話中である場合（ステップＳ２２⇒ステップＳ２３、ＹＥＳ）、話者ＩＤ信号は更新され（ステップＳ２４）、連続で生成され続けることになる。

また、拠点Ｄのビデオ会議端末は、拠点Ａの利用者の視線が大きく変動し、その結果、拠点Ａからの注視拠点ＩＤ信号を受信しなくなっていた場合（ステップＳ２５、ＮＯ）においても、その発話中の発話は拠点Ｄの利用者に向けたものであるとみなす。すなわち、拠点Ｄのビデオ会議端末は、ステップＳ２１０において、まだ発話受動ＩＤ信号を生成し続けているため（ステップＳ２１０、ＹＥＳ）、発話受動通知を継続する（ステップＳ２９）。ここで、発話受動ＩＤ信号が生成されていな場合（ステップＳ２１０、ＮＯ）、拠点Ｄのビデオ会議端末は再びステップＳ２１に戻り、次のデータを受信する（ステップＳ２１）。

拠点Ｄのビデオ会議端末は、再度各データを受信し、次の判定を行う（ステップＳ２１）。拠点Ｄのビデオ会議端末は、音声データ解析で一定時間無音状態が続く場合（ステップＳ２２）、話者判定で話者がいないと判定する（ステップＳ２３、ＮＯ）。

この場合、拠点Ｄのビデオ会議端末は、発話受動ＩＤ信号を停止させ（ステップＳ２１１）、発話受動通知を終了する（ステップＳ２１２）。また、拠点Ｄのビデオ会議端末は、この際に画面表示状態を元に戻し、ビープ音を出力することで、拠点ＤのユーザＤに、拠点Ａのユーザからの発話に対する答えを、自然に促すことができる。

また、拠点Ｄのビデオ会議端末は、ステップＳ２６において、話者ＩＤと注視拠点ＩＤが一致しなかった場合は（ステップＳ２６、ＮＯ）、自分に向けての発話ではないと判定し、なにもせずにステップＳ２１に戻る。

次に、本実施形態における発話受動通知の流れについて図８を参照して説明する。ここでは、拠点ＡのユーザＡが拠点ＤのユーザＤに向けて発言していることを想定し、各拠点のビデオ会議端末で行われる各判定と、ＩＤ信号の処理について時系列に説明する。ここで、各機能の処理や伝送遅延等によるレイテンシは起こり得るが、送受信される映像音声データと視線データとの同期は保証されているものとする。

まず、拠点Ａのビデオ会議端末４において、ユーザＡの視線データが拠点Ｄ映像に停留している（ステップＳ３１、これを「停留１」とする。）と、拠点Ｄのビデオ会議端末において判定される（ステップＳ４１）。ステップＳ３２、ステップＳ３３においても同様に判定されていく。

同時に拠点Ａのユーザが発話すると、その音声データを受信した拠点Ｄのビデオ会議端末において、どの拠点の利用者が発話しているのかの話者判定が行われる（ステップＳ４２）。拠点Ｄのビデオ会議端末において、話者ＩＤ信号が生成される（ステップＳ３５）。

拠点Ａにおいて停留が３回連続した際、拠点Ｄの拠点映像を注視していると判定され（ステップＳ４３）、拠点Ａのビデオ会議端末４は、同時に注視拠点ＩＤ信号を拠点Ｄに送信する（ステップ３７）。拠点Ｄのビデオ会議端末４は、注視拠点ＩＤ信号を受信する（ステップ３８）。このとき、既に話者ＩＤ信号が生成されているので、拠点Ｄのビデオ会議端末は発話受動判定を行う（ステップＳ４４）。

拠点Ｄのビデオ会議端末は、注視拠点ＩＤ信号と話者ＩＤ信号が示す拠点が一致した際、発話受動ＩＤ信号を生成する（ステップＳ３９）。また、拠点Ｄのビデオ会議端末は、発話受動が開始されたことを、ビープ音を出力することでユーザＤに通知する（ステップＳ３１０）。

その後、拠点Ｄのビデオ会議端末は、拠点Ｄにおける画面上に表示されている拠点Ａの拠点映像の囲む赤枠を表示させ、発話受動が継続しているということを利用者Ｄに通知する（ステップＳ３１１）。

ここで、拠点ＡのユーザＡの視線データが大きく変動し、他の拠点や画面外を見たとき（ステップＳ３６）、拠点Ａのビデオ会議端末４は注視拠点ＩＤ信号の送信を終了する（ステップＳ３７）。これに伴い、拠点Ｄにおける注視拠点ＩＤ信号の受信も終了する（ステップＳ３８）。一方、拠点Ｄのビデオ会議端末は、話者ＩＤ信号を生成し続けているため（ステップＳ３９）、発話受動通知を終了しない（ステップＳ３１１）。

拠点Ａにおいて、利用者Ａの発話が終了し（ステップＳ３４）、無音状態が一定時間続いたと、拠点Ｄの話者判定部で判定されると、拠点Ｄのビデオ会議端末は話者ＩＤ信号生成を停止し（ステップＳ３５）、発話受動ＩＤ信号の生成も停止する（ステップＳ３９）。

また、拠点Ｄのビデオ会議端末は、設定しておいた一定時間（以下「設定時間長」とする。）、拠点Ａの拠点映像を囲む赤枠表示による発話受動通知（ステップＳ３１１）の停止を保留する（ステップＳ３１３）。そして、拠点Ｄのビデオ会議端末は、設定時間長の時間が経過したら、発話受動通知（ステップＳ３１１）を停止し、ビープ音を出力することでユーザＡの発話が終了したということをユーザＤに通知する（ステップＳ３１２）。

これにより、拠点Ｄのユーザは、他拠点のユーザのうち、自分に向けての発話が、誰からされているのかを視覚的に理解することができ、また、その終了タイミングも知ることができるので、自然なタイミングで相手ユーザの発話への返答をすることが可能になる。

以上、本実施形態のビデオ会議システムによれば、ユーザの視線情報を常に追跡し、ユーザが画面内に表示されている、他拠点のユーザの映像を注視しながら発話をしていると判定されたときに、その判定結果に応じて、受信端末で発話者が表示されている領域のみ異なる表示をさせ、発話開始のタイミングと終了のタイミングで通知音を出力させる。これにより、受信端末側のユーザに、自分が誰にいつ発話されているのかを知らせることが可能となる。

また、本実施形態では、拠点双方におけるユーザの視線データを計測せず、発話者側の視線データのみを解析するだけでよく、円滑なコミュニケーションに必要なリアルタイム性に優れている。

また、発話長と注視長の差を考慮するため、発話中に発話対象のユーザから目を逸らしても、その発話が終わるまでは、注視対象に向けての発話であると判定され、発話を受けるユーザが、自分に向けての発話であると通知され続けることが可能である。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の情報処理装置及びビデオ会議システムにおける各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

１ ビデオ会議システム
４ ビデオ会議端末
５ 撮像装置
６ カメラ
７ 音声入力装置
８ 音声出力装置
９ 映像出力装置
１０ 入出力装置群
１４ ネットワーク
１５ 映像入力部
１６ データ送信部
１７ 注目情報生成部
１８ 音声取得部
２１ データ受信部
２２ 話者判定部
２３ 話者識別信号生成部
２４ 発話受動判定部
２５ 出力部
２５１ 発話受動通知部

特開２０１０−２００１５０号公報

脇山孝貴、外２名、「注目の検出に基づいた興味モデルの作成と絵画推薦」、情報処理学会論文誌、平成19年5月、Vol.48 No.3、ｐ．1048−1057

Claims (12)

1. ネットワークを介して接続された他端末から、該他端末を使用する他ユーザを撮像した撮像情報と、該他端末の近傍で発せられた音声情報と、該他ユーザが自端末を注目していることを示す注目情報とを受信する受信手段と、
   前記音声情報の送信元の前記他端末と前記注目情報の送信元の他端末とが一致するか否かを判定する発話受動判定手段と、
   前記発話受動判定手段により前記他端末が一致すると判定されたとき、該他端末を使用する他ユーザから自端末への発話を通知する発話受動通知手段と
   を備えることを特徴とする端末。
2. 前記受信手段により受信した前記他ユーザの撮像情報を表示する表示手段を備え、
   前記発話受動通知手段は、前記発話受動判定手段により一致すると判定された前記他端末を使用する他ユーザの前記表示手段により表示される撮像情報を、該他ユーザからの発話受動を自端末のユーザが認識し得る表示態様に変更するよう前記表示手段を制御することを特徴とする請求項１記載の端末。
3. 前記発話受動判定手段は、前記他端末が一致すると判定したとき、該他端末を使用する他ユーザから発話されていることを識別する発話受動識別信号を生成することを特徴とする請求項１又は２記載の端末。
4. 前記発話受動通知手段は、前記発話受動判定手段により生成された発話受動識別信号に基づいて発話受動を通知することを特徴とする請求項３記載の端末。
5. 前記発話受動通知手段は、前記発話受動判定手段から前記発話受動識別信号を受信したとき、所定の音声を出力する制御を行うことを特徴とする請求項３又は４記載の端末。
6. 前記発話受動通知手段は、前記発話受動判定手段からの前記発話受動識別信号の受信が途絶えたとき、所定の音声を出力する制御を行うことを特徴とする請求項３から５の何れか１項に記載の端末。
7. 前記発話受動通知手段は、前記発話受動判定手段からの前記発話受動識別信号の受信が途絶えた以降の一定時間、発話受動通知を継続することを特徴とする請求項６記載の端末。
8. 前記発話受動判定手段は、前記受信手段により前記注目情報の受信が途絶えた場合であっても、前記受信手段により音声情報の受信が途絶えるまでは前記発話受動識別信号の生成を継続することを特徴とする請求項３から７の何れか１項に記載の端末。
9. 自端末と２以上の他端末とがネットワークを介して接続されたテレビ会議システムであって、
   前記他端末は、
   撮像装置により撮像された前記他端末を使用する他ユーザの撮像情報を取得する撮像情報取得手段と、
   前記他端末の近傍で発せられた音声情報を取得する音声情報取得手段と、
   少なくとも前記自端末から受信した該自端末を使用する自ユーザを撮影した撮像情報を前記他端末以外の他端末から受信した前記他端末以外の他端末を撮影した撮像情報と共に同一画面上に並べて表示する表示手段と、
   前記撮像情報取得手段により取得された前記他端末を使用する他ユーザの撮像情報を解析して、前記表示手段により表示された前記自端末を使用する自ユーザの撮像情報に前記他端末を使用する他ユーザが注目していることを示す注目情報を生成する注目情報生成手段と、
   前記撮影情報取得手段により取得された前記他端末を使用する他ユーザの撮像情報、前記音声情報取得手段により取得した前記他端末の近傍で発せられた音声情報、前記注目情報生成手段により生成された注目情報を前記自端末に送信する送信手段と
   を備え、
   前記自端末は、
   前記他端末から、該他端末を使用する他ユーザを撮影した撮像情報と、該他端末の近傍で発せられた音声情報と、前記注目情報とを受信する受信手段と、
   前記音声情報の送信元の前記他端末と前記注目情報の送信元の他端末とが一致するか否かを判定する発話受動判定手段と、
   前記発話受動判定手段により前記他端末が一致すると判定されたとき、該他端末を使用する他ユーザから自端末への発話を通知する発話受動通知手段と
   を備える
   ことを特徴とするビデオ会議システム。
10. 前記注目情報生成手段は、前記他端末を使用する他ユーザの撮像情報から解析された該他ユーザの視線の、前記表示手段により表示された前記自端末を使用する自ユーザの撮像情報に対する停留数が所定の閾値以上であるとき注目情報を生成することを特徴とする請求項９記載のビデオ会議システム。
11. ネットワークを介して接続された他端末から、該他端末を使用する他ユーザを撮影した撮像情報と、該他端末の近傍で発せられた音声情報と、該他ユーザが自端末を注目していることを示す注目情報を受信して記憶部に記憶する処理と、
    前記音声情報の送信元の前記他端末と前記注目情報の送信元の他端末とが一致するか否かを判定する処理と、
    前記他端末が一致すると判定されたとき、該他端末を使用する他ユーザから自端末への発話を通知する処理と
    をコンピュータに実行させることを特徴とするプログラム。
12. 自端末と２以上の他端末とがネットワークを介して接続されたテレビ会議システムに実行させるコンピュータ読取可能なプログラムであって、
    前記他端末は、
    撮像装置により撮像された前記他端末を使用する他ユーザの撮像情報を取得して前記他端末の記憶部に記憶する処理と、
    前記他端末の近傍で発せられた音声情報を取得して前記他端末の記憶部に記憶する処理と、
    少なくとも前記自端末から受信した該自端末を使用する自ユーザを撮影した撮像情報を前記他端末以外の他端末から受信した前記他端末以外の他端末を撮影した撮像情報と共に同一画面上に並べて前記他端末の表示部に表示する処理と、
    前記他端末の記憶部に記憶された前記他端末を使用する他ユーザの撮像情報を解析して、前記表示部に表示された前記自端末を使用する自ユーザの撮像情報に前記他端末を使用する他ユーザが注目していることを示す注目情報を生成して前記他端末の記憶部に記憶する処理と、
    前記他端末の記憶部に記憶された前記他端末を使用する他ユーザの撮像情報と、前記他端末の近傍で発せられた音声情報と、前記注目情報を前記自端末に送信する処理と
    を含み、
    前記自端末は、
    前記他端末から該他端末を使用する他ユーザを撮影した撮像情報と、該他端末の近傍で発せられた音声情報と、前記注目情報を受信して前記自端末の記憶部に記憶する処理と、
    前記音声情報の送信元の前記他端末と前記注目情報の送信元の他端末とが一致するか否かを判定する処理と、
    前記他端末が一致すると判定されたとき、該他端末を使用する他ユーザから自端末への発話を通知する処理と
    を含むことを特徴とするプログラム。

Images