JP2018137723A - 遠隔会議の参加者の資質のフィードバックを提供するための方法およびシステム、コンピューティングデバイス、プログラム - Google Patents

Abstract

【課題】参加者について遠隔会議の質を向上する。
【解決手段】コンピューティングデバイスにおける方法は、２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得することであって、遠隔会議データがオーディオデータおよびビデオデータのうちの１つまたは複数を含む、取得することと、遠隔会議データに基づいて参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定することであって、参加者の資質シグナルのうちの少なくとも１つが時間とともに変化する、特定することと、参加者のうちの少なくとも１人について参加者の資質シグナルに基づいて参加者の資質基準値を特定することと、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供することであって、情報がグラフィック形式、テキスト形式、および音響形式のうちの少なくとも１つで提供される、提供することとを含む。
【選択図】図６

Description

本出願は、一般に、遠隔会議技術を記載し、より詳細には、遠隔会議の参加者に遠隔会議における参加者の資質に関するフィードバックを提供するための方法およびシステムに関する。

人々の間の協業は、ビジネスおよび他の試みにおける長年の慣行である。チームの中で働き、互いに協業する人々は、より効率的に働くことができ、目の前にある仕事に役立つ考えを生むための大きい潜在力をもつことができる。技術における進歩は、長距離間の協業を容易にすることを含む、協業をさらに容易にしてきた。技術を使用する協業の一般的な形態は、オーディオおよび／またはビデオを用いる遠隔会議を介した会合である。

しかしながら、遠隔会議は、直接会って会合が行われた場合に参加者が直面しない可能性がある、１組の課題を参加者に与える。たとえば、ビデオ遠隔会議では、通常、参加者の視界は遠隔会議で使用されるカメラの視界に制限される。これにより、参加者が他の参加者からの言葉を使わない合図を感知し、ならびに会合環境のより広い視覚的な全体像を得ることができないように妨げられる可能性がある。また、参加者が離れていると、他の参加者が知ることなく、参加者が注意散漫になる機会が与えられる。これらの課題、ならびに遠隔会議の質を落とす様々な他の参加者の挙動は、参加者について遠隔会議の質に影響を及ぼす。

米国特許出願公開第２０１１−０２９２１６２号公報

本開示の技術は、従来技術より、参加者について遠隔会議の質を向上することを目的とする。

いくつかの実施形態によれば、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによる実行用の１つまたは複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実施される方法は、２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得することであって、遠隔会議データがオーディオデータおよびビデオデータのうちの１つまたは複数を含む、取得することと、遠隔会議データに基づいて参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定することであって、参加者の資質シグナルのうちの少なくとも１つが時間とともに変化する、特定することと、参加者のうちの少なくとも１人について参加者の資質シグナルに基づいて参加者の資質基準値を特定することと、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供することであって、情報がグラフィック形式、テキスト形式、および音響形式のうちの少なくとも１つで提供される、提供することとを含む。

遠隔会議セッションの時間的に変化する遠隔会議データを取得するステップが、前記遠隔会議セッションの間にリアルタイムで前記遠隔会議データを取得するステップを備えるようにしてもよい。
前記遠隔会議データに基づいて前記参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定するステップが、前記遠隔会議セッションの間にリアルタイムで前記参加者の資質シグナルを特定するステップを備え、前記参加者の資質シグナルに基づいて前記参加者のうちの少なくとも１人について参加者の資質基準値を特定するステップが、前記遠隔会議セッションの間にリアルタイムで前記参加者の資質基準値を特定するステップを備えるようにしてもよい。
前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供するステップが、前記遠隔会議セッションの間にリアルタイムで前記情報を提供するステップを備えるようにしてもよい。
前記遠隔会議セッションの間にリアルタイムで前記情報を提供するステップが、前記参加者のうちの前記少なくとも１人に１つまたは複数のプロンプトを与えて、前記遠隔会議セッションの間に前記参加者の資質シグナルに関連付けられた挙動および／または位置を調整するステップを備えるようにしてもよい。
前記遠隔会議セッションの間にリアルタイムで前記情報を提供するステップが、前記遠隔会議セッションの間に参加者の資質基準値ユーザインターフェースを提供するステップを備え、前記参加者の資質基準値ユーザインターフェースが、遠隔会議ユーザインターフェースと同時に前記遠隔会議セッションの間に表示されるように構成され、前記情報が前記参加者の資質基準値ユーザインターフェース内に表示されるように構成されるようにしてもよい。
前記情報が、前記参加者のうちの１人が前記参加者のうちの別の１人に割り込んでいる指示、前記参加者のうちの参加者による割込みのカウント、前記参加者のうちの参加者による注視の指示、前記参加者のうちの前記注視する参加者による前記注視の継続時間タイマ、前記参加者のうちの参加者が前記遠隔会議セッションのビデオビュー内の中心にあるかどうかの指示、および前記遠隔会議セッション内の時間期間単位の前記参加者による相対的な発言寄与の指示のうちの１つまたは複数を備えるようにしてもよい。
前記遠隔会議セッション内の時間期間単位の前記参加者による相対的な発言寄与の前記指示が、前記参加者のうちの参加者について、第１のグラフィカルオブジェクトであって、前記第１のグラフィカルオブジェクトのサイズが、あらかじめ定義された時間長の進行する時間ウィンドウにわたる前記参加者の相対的な発言寄与を表し、前記第１のグラフィカルオブジェクトがリアルタイムで更新される、第１のグラフィカルオブジェクトと、１つまたは複数の第２のグラフィカルオブジェクトのセットであって、前記第２のグラフィカルオブジェクトの各々が、前記あらかじめ定義された時間長の過去の時間期間に対応し、前記第２のグラフィカルオブジェクトのサイズが、前記過去の時間期間内の前記参加者の相対的な発言寄与を表す、１つまたは複数の第２のグラフィカルオブジェクトのセットとを備えるようにしてもよい。

いくつかの実施形態によれば、コンピューティングデバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されるべき１つまたは複数のプログラムを記憶するメモリとを含む。１つまたは複数のプログラムは、２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得することであって、遠隔会議データがオーディオデータおよびビデオデータのうちの１つまたは複数を含む、取得することと、遠隔会議データに基づいて参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定することであって、参加者の資質シグナルのうちの少なくとも１つが時間とともに変化する、特定することと、参加者のうちの少なくとも１人について参加者の資質シグナルに基づいて参加者の資質基準値を特定することと、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供することであって、情報がグラフィック形式、テキスト形式、および音響形式のうちの少なくとも１つで提供される、提供することとを行うための命令を含む。
前記１つまたは複数の参加者の資質シグナルを前記遠隔会議セッション内の対応する時間にインデックス付けするための命令をさらに備えるようにしてもよい。
前記インデックス付けに従って前記情報を提供するための命令をさらに備えるようにしてもよい。
前記遠隔会議セッションが終了した後に前記情報を提供するための命令をさらに備えるようにしてもよい。
前記遠隔会議セッション用の参加者の資質要約ユーザインターフェースを提供するための命令をさらに備え、前記情報が、前記参加者の資質要約ユーザインターフェース内に表示されるように構成されるようにしてもよい。
前記参加者の資質要約ユーザインターフェースが、コンテンツプレーヤユーザインターフェースを備え、前記コンテンツプレーヤユーザインターフェースが、前記遠隔会議セッションの前記オーディオデータおよび／またはビデオデータを再生し、前記オーディオデータおよび／またはビデオデータとともに前記情報の少なくとも一部分を表示するように構成されるようにしてもよい。
前記情報が、前記参加者のうちの参加者による全割込みのカウント、前記遠隔会議セッションの前記継続時間にわたる前記参加者のうちの参加者による割込みのタイムライン、前記参加者のうちの参加者による方向単位の注視の量の指示、前記参加者のうちの参加者による平均視線時間の指示、前記参加者のうちの参加者による位置単位の顔および／または体の配置の量の指示、前記遠隔会議セッションの前記継続時間にわたる前記参加者による発言寄与の指示、ならびに前記遠隔会議セッション内の時間期間単位の前記参加者による相対的な発言寄与の指示のうちの１つまたは複数を備えるようにしてもよい。

プログラムは、１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行されると、２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得することであって、遠隔会議データがオーディオデータおよびビデオデータのうちの１つまたは複数を含む、取得することと、遠隔会議データに基づいて参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定することであって、参加者の資質シグナルのうちの少なくとも１つが時間とともに変化する、特定することと、参加者のうちの少なくとも１人について参加者の資質シグナルに基づいて参加者の資質基準値を特定することと、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供することであって、情報がグラフィック形式、テキスト形式、および音響形式のうちの少なくとも１つで提供される、提供することとを含む動作をコンピューティングデバイスに実施させる。
前記オーディオデータが、前記遠隔会議セッションの１つまたは複数のオーディオストリームを備えるようにしてもよい。
前記ビデオデータが、前記遠隔会議セッションの１つまたは複数のビデオストリームを備えるようにしてもよい。
前記コンピューティングデバイスがサーバシステムであり、前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供することが、表示用に前記参加者のうちの少なくとも１人に関連付けられたクライアントデバイスに前記情報を送信することを備えるようにしてもよい。
前記コンピューティングデバイスが、前記遠隔会議セッション内の前記参加者のうちの１人に関連付けられたクライアントデバイスであり、前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供することが、情報を表示することを備えるようにしてもよい。
上記コンピューティングデバイスにおいて実施される方法、コンピューティングデバイス、及びプログラムでは、前記参加者の資質シグナルは、前記参加者の前記遠隔会議セッションへの影響を示し、前記資質基準値は、前記参加者の前記遠隔会議セッションへの影響の度合いを示し、前記参加者の資質基準値に対応する情報は、前記参加者へのフィードバック情報であるとしてもよい。

いくつかの実施形態による、例示的な遠隔会議環境を示すブロック図である。 いくつかの実施形態による、例示的な遠隔会議環境を示すブロック図である。 いくつかの実施形態による、例示的なクライアントデバイスを示すブロック図である。 いくつかの実施形態による、参加者の資質の経験則のための例示的なデータ構造を示す図である。 いくつかの実施形態による、例示的なサーバシステムを示すブロック図である。 いくつかの実施形態による、遠隔会議用の例示的なユーザインターフェースの図である。 いくつかの実施形態による、発言者の寄与基準値の例示的な可視化の図である。 いくつかの実施形態による、遠隔会議後の参加者の資質のフィードバック用の例示的なユーザインターフェースの図である。 いくつかの実施形態による、遠隔会議参加者の資質のフィードバックを提供するための例示的な方法のフロー図である。

図面全体を通して、同様の参照番号は対応する部分を指す。

次に、それらの例が添付図面に示されている様々な実施形態に対して、詳細に参照が行われる。以下の詳細な説明では、本発明および記載された実施形態を完全に理解するために、多数の具体的な詳細が明記される。しかしながら、本発明は、これらの具体的な詳細なしに実践されてもよい。他の例では、実施形態の態様を不必要に覆い隠さないように、良く知られている方法、手順、構成要素、および回路は、詳細に記載されていない。

図１Ａは、いくつかの実施形態による、遠隔会議環境１００を示す。遠隔会議環境１００は、互いから離れて位置する２つ以上のクライアントデバイス１０４−１〜１０４−Ｍを含む。ユーザ１０２−１〜１０２−Ｍの各々は、それぞれのクライアントデバイス１０４を使用および操作して、ユーザ１０２−１〜１０２−Ｍの間の遠隔会議セッションに参加する。いくつかの実施形態では、遠隔会議セッション内で、各クライアントデバイス１０４は、それぞれのユーザ−参加者１０２と関連付けられる。いくつかの実施形態では、クライアントデバイス１０４は、デスクトップコンピュータ、ラップトップコンピュータもしくはノートブックコンピュータ、スマートフォン、タブレットデバイス、マルチメディアデバイス、または遠隔会議システム内のデバイスのうちのいずれかであってもよい。

遠隔会議環境１００は、１つまたは複数の通信ネットワーク１０６も含む。通信ネットワーク１０６は、イントラネット、エクストラネット、またはインターネットなどの、任意の有線またはワイヤレスのローカルエリアネットワーク（ＬＡＮ）および／またはワイドエリアネットワーク（ＷＡＮ）であってもよい。通信ネットワーク１０６がクライアントデバイス１０４の間の通信機能を提供することは十分である。

いくつかの実施形態では、遠隔会議セッションは、オーディオおよび／または画像（たとえば、ビデオ、静止画像）を含む。いくつかの実施形態では、クライアントデバイス１０４は、オーディオ（たとえば、ユーザ−参加者１０２の発言）を取り込むためのマイクロフォン（たとえば、マイクロフォン２１６、図２Ａ）と、オーディオ（たとえば、他のクライアントデバイス１０４から受信された他のユーザ１０２の発言）を出力するためのスピーカ（たとえば、スピーカ２２０、図２Ａ）とを含む。いくつかの実施形態では、クライアントデバイス１０４は、画像（たとえば、静止画像、ビデオ）を取り込むためのカメラデバイス（たとえば、カメラ２２４、図２Ａ）を含む。いくつかの実施形態では、クライアントデバイス１０４は、ユーザ１０２のための遠隔会議ユーザインターフェース、ならびに遠隔会議内の他のクライアントデバイス１０４から受信されたビデオおよび画像を表示するためのディスプレイ（たとえば、ディスプレイ２２２、図２Ａ）を含む。

いくつかの実施形態では、クライアントデバイス１０４は、ピアツーピア接続によって互いに接続して、遠隔会議セッションを確立する。たとえば、クライアントデバイス１０４は、プロトコルのＷｅｂＲＴＣフレームワーク、アプリケーションプログラミングインターフェースなどを使用して、ピアツーピア方式で互いに接続してもよい。ピアツーピア方式で互いに接続して遠隔会議セッションを確立するために、他の適切なピアツーピアプロトコル、ピアツーピア規格、アプリケーションプログラミングインターフェースなどが、クライアントデバイス１０４によって使用されてもよい。いくつかの実施形態では、ピアツーピア接続は、通信ネットワーク１０６を介して行われる。

接続が行われ、遠隔会議セッションが確立された後、クライアントデバイス１０４は、ピアツーピア接続を介して、遠隔会議セッション用の遠隔会議データを互いに送信することにより、遠隔会議セッションに参加する。いくつかの実施形態では、遠隔会議データは、オーディオデータ（たとえば、マイクロフォンによって取り込まれたユーザの発言）と、ビデオ／画像データ（たとえば、カメラによって取り込まれたビデオおよび画像）とを含む。いくつかの実施形態では、オーディオデータは、１つまたは複数のオーディオストリームを含む（たとえば、クライアントデバイス１０４−１の場合、１つまたは複数のオーディオストリームは、クライアントデバイス１０４−１によって他のクライアントデバイス１０４に送信されるオーディオストリームと、他のクライアントデバイス１０４から受信されたオーディオストリームとを含む）。いくつかの実施形態では、ビデオ／画像データは、１つまたは複数のビデオ／画像ストリームを含む（たとえば、クライアントデバイス１０４−１の場合、１つまたは複数のビデオストリームは、クライアントデバイス１０４−１によって他のクライアントデバイス１０４に送信されるビデオストリームと、他のクライアントデバイス１０４から受信されたビデオストリームとを含む）。いくつかの実施形態では、遠隔会議データは、ユーザ入力データ（たとえば、クライアントデバイス１０４におけるユーザ１０２によるキーストローク、マウスクリック、および／またはカーソル移動に対応するデータ）、スクリーン共有データ、文書、ノート、チャット、メタデータ、ネットワーク性能データ、ならびに他の情報をさらに含む。

いくつかの実施形態では、クライアントデバイス１０４は、遠隔会議データを処理して、遠隔会議セッション内のユーザ１０２のうちの１人または複数について１つまたは複数の遠隔会議参加者の資質シグナルを検出および特定する。クライアントデバイス１０４は、クライアントデバイス１０４において作成された遠隔会議データ（たとえば、クライアントデバイス１０４を使用するユーザ−参加者のオーディオおよびビデオ）、ならびにクライアントデバイス１０４において受信された遠隔会議データ（たとえば、遠隔会議セッション内の他のクライアントデバイスからのオーディオおよびビデオ）を処理して、ユーザ１０２についての遠隔会議の資質（たとえば、会話の質）に影響を及ぼす場合がある、参加者の挙動（たとえば、会話の挙動、言葉を使わない挙動など）のシグナルを特定する。いくつかの実施形態では、シグナルは、遠隔会議の間のユーザの１つまたは複数の挙動およびユーザの１つまたは複数の状態を含む。シグナルについてのさらなる詳細が下記に記載される。

クライアントデバイス１０４は、遠隔会議セッション内のユーザ１０２のうちの１人または複数について、特定された資質シグナルに基づいて１つまたは複数の基準値を特定する。基準値は、分析および提示のために資質シグナルを測定し定量化する。いくつかの実施形態では、シグナルおよび対応する基準値は同じである。いくつかの実施形態では、シグナルに対応する基準値はシグナルの定量化である。

クライアントデバイス１０４は、ユーザ１０２への提示用に、特定された基準値に基づいて情報を作成する。いくつかの実施形態では、情報は、グラフィック形式、テキスト形式、および／または音響形式で提示される。たとえば、クライアントデバイス１０４は、ユーザへの表示用に基準値の（グラフィックおよび／またはテキストを伴う）可視化を作成してもよい。別の例として、クライアントデバイス１０４は、基準値がしきい値を超えるとユーザに警告することができる音響通知を作成してもよい。

いくつかの実施形態では、クライアントデバイス１０４は、それぞれのクライアントデバイスに関連付けられたユーザ１０２の観点から情報を作成する。たとえば、作成された可視化は、ユーザに関連付けられた基準値（たとえば、ユーザの割込みの長さ、ユーザが発言に費やした時間など）を提示し、かつ／またはユーザを遠隔会議内の他の参加者と比較する。

いくつかの実施形態では、シグナルおよび基準値の特定ならびに情報の作成は、１つまたは複数のあらかじめ定義された規則または経験則に基づく。クライアントデバイス１０４は、（たとえば、遠隔会議アプリケーション内に）、シグナル、関連する基準値、ならびに、これらのシグナルおよび基準値を特定するための対応する規則、アルゴリズム、経験則、しきい値などのうちの１つまたは複数の定義を含む。たとえば、シグナルは視界内のユーザの体の位置であってもよく、関連する基準値はユーザの位置が視界内で水平方向にどれだけ中心からずれているかであってもよく、関連するしきい値は体が水平方向に中心からずれている特定の割合である。クライアントデバイス１０４は、遠隔会議データ内のビデオデータを分析して、（ビデオデータ内のユーザの体を識別し、遠隔会議セッションの継続時間にわたって視界内のその位置を特定することにより）遠隔会議セッションの継続時間にわたってシグナルを特定し、遠隔会議セッションの継続時間にわたって関連する基準値を特定し、遠隔会議セッションの継続時間にわたって基準値をしきい値と比較する。クライアントデバイス１０４は、ユーザへの提示用にこれらのシグナルおよび基準値に関連付けられた情報を作成する。作成された情報は、たとえば、体の位置がしきい値よりも大きく水平方向に中心からずれていることを示すグラフィックと、体の位置がしきい値よりも大きく水平方向に中心からずれたときの音響通知と、遠隔会議セッションのどれだけの間、基準値がしきい値を超えたか、またはしきい値を超えなかったかを示すチャートとを含む場合がある。

いくつかの実施形態では、クライアントデバイス１０４は、遠隔会議データ（たとえば、オーディオおよびビデオ、場合によっては他の遠隔会議データも）、ならびに特定されたシグナルおよび基準値のうちの少なくともいくつかを（たとえば、データベース内に）記憶する。記憶された遠隔会議データならびにシグナルおよび基準値は、遠隔会議セッションが終了した後アクセスされてもよい。

いくつかの実施形態では、クライアントデバイス１０４は、遠隔会議セッション全体を通して、シグナルおよび基準値を特定し、情報を作成する。たとえば、遠隔会議セッションが進行するにつれて、クライアントデバイス１０４は、（たとえば、リアルタイムで、ほぼリアルタイムで、または周期的に（たとえば、３０秒ごとに、毎分））遠隔会議セッションの間に作成および受信された遠隔会議データを分析して、（たとえば、同様にリアルタイムで、ほぼリアルタイムで、または周期的に）遠隔会議セッションの間にシグナルおよび基準値を特定し、基準値に基づいて情報を作成する。情報は提示され、（たとえば、同様にリアルタイムで、ほぼリアルタイムで、または周期的に）遠隔会議セッションの間に、かつ遠隔会議セッション全体を通して更新されてもよい。

いくつかの実施形態では、クライアントデバイス１０４は、シグナルおよび基準値を特定すると、また、特定されたシグナルおよび基準値を遠隔会議セッション内のタイムスタンプにインデックス付けするか、または場合によっては、シグナルおよび基準値の値が特定されたときのタイムスタンプを追跡する。たとえば、体の位置のシグナル例に戻ると、クライアントデバイス１０４は、遠隔会議において複数回体の位置の値を特定し、値が特定された時間のタイムスタンプを記録する。クライアントデバイス１０４はまた、遠隔会議において複数回対応する基準値の値を特定し、値が特定された時間のタイムスタンプを記録する。このように、シグナルおよび基準値の特定された値は、遠隔会議における対応するタイムスタンプを有し、その結果、遠隔会議における所与の時間の値が取得されてもよい。いくつかの実施形態では、値はタイムスタンプとともに記憶され、その結果、遠隔会議セッションが終了した後それらにアクセスすることができる。

上述されたように、特定されたシグナルと基準値、および対応するタイムスタンプ、ならびに遠隔会議データは、遠隔会議セッションが終了した後のアクセス用に記憶される。いくつかの実施形態では、シグナルおよび基準値の遠隔会議後の要約は、ユーザ１０２への提示用に作成されてもよい。要約は、遠隔会議にわたるシグナルおよび基準値の集計表を示し、シグナルおよび基準値が遠隔会議の継続時間にわたってどのように変化したかを示す場合もある。このようにして、ユーザは、遠隔会議が終了した後にシグナルおよび基準値を見直して、遠隔会議の間の自分の挙動に関する洞察を取得し、将来調整を行うことができる。

図１Ｂは、いくつかの実施形態による、遠隔会議環境１１０を示す。遠隔会議環境１１０は、遠隔会議環境１００と同様の要素を含み、サーバシステム１１２が追加されている。遠隔会議環境１１０では、クライアントデバイス１０４はサーバシステム１１２と通信して、遠隔会議セッションを確立する。クライアントデバイス１０４はサーバシステム１１２に遠隔会議データを送信し、サーバシステム１１２はクライアントデバイス１０４に遠隔会議データを送信する。言い換えれば、サーバシステム１１２は遠隔会議セッション用の中間システムまたは媒介システムとして働き、クライアントデバイス１０４は、ピアツーピア接続を介して互いに遠隔会議セッションを確立することとは対照的に、サーバシステム１１２を介して遠隔会議セッションを確立する。遠隔会議環境１１０では、サーバシステム１１２は、遠隔会議の間であれ後であれ、遠隔会議データを処理して資質シグナルおよび基準値を特定し、シグナルおよび基準値を遠隔会議セッション内のタイムスタンプにインデックス付けし、提示用にクライアントデバイス１０４に送信するための情報を作成する。いくつかの実施形態では、サーバシステム１１２はまた、遠隔会議データならびに特定された資質シグナルおよび基準値を記憶し、その結果、それらは遠隔会議セッションの終了後にアクセスすることができる。このように、遠隔会議環境１１０は、上述された遠隔会議環境１００と同様であるが、遠隔会議環境１１０では、シグナルと基準値、およびシグナルと基準値に関連する情報作成、ならびに遠隔会議セッションの確立および遠隔会議データの分配は、サーバシステム１１２によって実施される。

図２Ａは、いくつかの実施形態による、クライアントデバイス１０４を示すブロック図である。クライアントデバイス１０４は、通常、１つまたは複数の処理ユニット（ＣＰＵ）２０２と、１つまたは複数のネットワークまたは他の通信インターフェース２０４と、メモリ２０６と、これらの構成要素を相互接続するための１つまたは複数の通信バス２０８とを含む。通信バス２０８は、場合によっては、システム構成要素間の通信を相互接続し制御する（時々、チップセットと呼ばれる）回路を含む。クライアントデバイス１０４は、マイクロフォン２１６、ならびに場合によっては、マウス２１２および／またはキーボード２１４を含む、１つまたは複数の入力デバイス２１０を含む。入力デバイス２１０の他の例には、タッチセンサ式の面（たとえば、トラックパッド、タッチパッド、タッチセンサ式ディスプレイ）、トラックボール、ジョイスティック、およびキーパッドが含まれる。クライアントデバイス１０４はまた、オーディオ出力デバイス２２０（たとえば、スピーカ、ヘッドフォン）およびディスプレイ２２２を含む、１つまたは複数の出力デバイス２１８を含む。いくつかの実施形態では、クライアントデバイス１０４はまた、カメラまたは他の画像／ビデオ取込みデバイス２２４を含む。

メモリ２０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭなどの高速ランダムアクセスメモリ、または他のランダムアクセス半導体メモリデバイスを含み、１つもしくは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、または他の不揮発性半導体ストレージデバイスなどの不揮発性メモリを含む場合がある。メモリ２０６は、場合によっては、ＣＰＵ２０２から離れて位置する１つまたは複数のストレージデバイスを含む場合がある。メモリ２０６、または代替としてメモリ２０６内の不揮発性メモリデバイスは、非一時的コンピュータ可読記憶媒体を備える。いくつかの実施形態では、メモリ２０６またはメモリ２０６のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットを記憶する。
●様々な基本システムサービスを扱い、ハードウェア依存タスクを実施するためのプロシージャを含むオペレーティングシステム２３２。
●１つまたは複数の通信ネットワークインターフェース２０４（有線またはワイヤレス）、および１つまたは複数の通信ネットワーク１０６を介して、他のデバイス、コンピュータ、およびシステム（たとえば、他のクライアントデバイス１０４、サーバシステム１１２）にクライアントデバイス１０４を接続し、それらとの通信を容易にするためのネットワーク通信モジュール２３４。
●遠隔会議セッションを確立し、遠隔会議データを処理し、遠隔会議の資質シグナルおよび基準値に対応する情報を提示するための遠隔会議モジュール２３６であって、
○遠隔会議データを取得するための遠隔会議データ取得モジュール２３８と、
○遠隔会議データから参加者の資質シグナルを特定するための参加者の資質シグナルモジュール２４０と、
○参加者の資質シグナルから基準値を特定するための参加者の資質基準値モジュール２４２と、
○参加者の資質シグナルおよび基準値を遠隔会議セッション内のタイムスタンプにインデックス付けするための資質シグナルインデックス付けモジュール２４４と、
○ユーザへの提示用に参加者の資質シグナルおよび基準値に関するフィードバック情報を作成するための参加者の資質フィードバックモジュール２４６と
を含む、遠隔会議モジュール２３６。
●複数の遠隔会議セッションについて、遠隔会議データならびに対応する特定された資質シグナルおよび基準値を記憶するための遠隔会議データ２５２。
●資質シグナルおよび基準値を特定するための定義、規則、経験則などを記憶するための資質シグナルおよび基準値定義２６４。

いくつかの実施形態では、参加者の資質フィードバックモジュール２４６は、リアルタイムで、ほぼリアルタイムで、または場合によっては遠隔会議の間に情報を作成および提示するためのリアルタイムフィードバックモジュール２４８と、遠隔会議後の情報を作成および提示するためのセッション後フィードバックモジュール２５０とを含む。

いくつかの実施形態では、遠隔会議データ２５２は、それぞれのセッション２５４−１〜２５４−Ｍについての遠隔会議データ、ならびに特定されたシグナルおよび基準値を含む。遠隔会議セッションについて、そのセッション用のデータ２５４−１は、オーディオ、ビデオ、および場合によっては、セッションからの他の遠隔会議データを含む遠隔会議セッションデータ２５６と、参加者の資質シグナル２５８と、参加者の資質基準値２６０と、資質シグナル２５８および資質基準値２６０を遠隔会議セッション内の時間にインデックス付けするためのインデックス付けデータ２６２とを含む。

いくつかの実施形態では、参加者の資質シグナルモジュール２４０は、オーディオおよびビデオを処理するため（たとえば、オーディオ認識、オーディオ分析、自然言語処理、音声テキスト化、ビデオ内の顔／人物認識、ビデオ内の視線追跡など）の適切なサブモジュールと、場合によっては、他の遠隔会議データ（たとえば、ネットワーク性能評価、キーストローク検出、マウスアクティビティ検出など）を処理するためのサブモジュールとを含む。

いくつかの実施形態では、モジュール２４０および２４２は、それぞれのシグナルおよび基準値を特定するための適切なサブモジュールとともに、資質シグナルおよび基準値を特定するための１つのモジュールの中に組み合わされてもよい。

図２Ｂは、いくつかの実施形態による、資質シグナルおよび基準値定義２６４用の例示的な部分データ構造を示す。フィールド２８２（たとえば、識別子）および値２８４を含むように構造化された、図示された部分データ構造内に、様々な資質基準値用の複数のしきい値２８６が存在する。これらのしきい値２８６は、超えられると、ユーザ−参加者の資質が低い挙動または状態を示すしきい値を定義する。いくつかの実施形態では、基準値が超過すると、ユーザ−参加者に対する遠隔会議の間の警告または通知がトリガされて、挙動または状態が調整される。定義２６４は、参加者の資質シグナルおよび基準値を定義するための経験則、アルゴリズム、定義などのさらなるデータ構造を含む場合もある。

上記で識別された要素の各々は、前述されたメモリデバイスのうちの１つまたは複数に記憶されてもよく、モジュールまたはプログラムの各々は、上述された機能を実施するための命令のセットに対応する。命令のセットは、１つまたは複数のプロセッサ（たとえば、ＣＰＵ２０２）によって実行することができる。上記で識別されたモジュールまたはプログラム（すなわち、命令のセット）は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において組み合わされるか、または場合によっては再配置されてもよい。いくつかの実施形態では、メモリ２０６は、上記で識別されたモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、メモリ２０６は、上述されていないさらなるモジュールおよびデータ構造を記憶してもよい。

図２Ａはクライアントデバイスを示すが、図２Ａは、本明細書に記載された実施形態の構造概略図よりも、クライアントデバイス内に存在してもよい様々な特徴の機能的な説明を目的としている。実際には、当業者によって認識されるように、別々に図示された項目は組み合わされる可能性があり、いくつかの項目は分離される可能性がある。

図３は、いくつかの実施形態による、サーバシステム１１２を示すブロック図である。サーバシステム１１２は、通常、１つまたは複数の処理ユニット（ＣＰＵ）３０２と、１つまたは複数のネットワークまたは他の通信インターフェース３０４と、メモリ３０６と、これらの構成要素を相互接続するための１つまたは複数の通信バス３０８とを含む。通信バス３０８は、場合によっては、システム構成要素間の通信を相互接続し制御する（時々、チップセットと呼ばれる）回路を含む。サーバシステム１１２は、場合によっては、１つまたは複数の入力デバイス３１０（たとえば、キーボード、マウス、タッチセンサ式の面）と、１つまたは複数の出力デバイス３１２（たとえば、ディスプレイ）とを含む。

メモリ３０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭなどの高速ランダムアクセスメモリ、または他のランダムアクセス半導体メモリデバイスを含み、１つもしくは複数の磁気ディスクストレージデバイス、光ディスクストレージデバイス、フラッシュメモリデバイス、または他の不揮発性半導体ストレージデバイスなどの不揮発性メモリを含む場合がある。メモリ３０６は、場合によっては、ＣＰＵ３０２から離れて位置する１つまたは複数のストレージデバイスを含む場合がある。メモリ３０６内の不揮発性メモリデバイスおよび揮発性メモリデバイスを含むメモリ３０６は、非一時的コンピュータ可読記憶媒体を備える。いくつかの実施形態では、メモリ３０６またはメモリ３０６の非一時的コンピュータ可読記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットを記憶する。
●様々な基本システムサービスを扱い、ハードウェア依存タスクを実施するためのプロシージャを含むオペレーティングシステム３１６。
●１つまたは複数の通信ネットワークインターフェース３０４（有線またはワイヤレス）、および１つまたは複数の通信ネットワーク１０６を介して、他のデバイス、コンピュータ、およびシステム（たとえば、クライアントデバイス１０４）にサーバシステム１１２を接続し、それらとの通信を容易にするためのネットワーク通信モジュール３１８。
●遠隔会議セッションを確立し、遠隔会議データを処理し、提示用にクライアントデバイスに送信するための遠隔会議の資質シグナルおよび基準値に対応する情報を作成するための遠隔会議モジュール３２０であって、
○遠隔会議データを取得するための遠隔会議データ取得モジュール３２２と、
○遠隔会議データから参加者の資質シグナルを特定するための参加者の資質シグナルモジュール３２４と、
○参加者の資質シグナルから基準値を特定するための参加者の資質基準値モジュール３２６と、
○参加者の資質シグナルおよび基準値を遠隔会議セッション内のタイムスタンプにインデックス付けするための資質シグナルインデックス付けモジュール３２８と、
○ユーザへの提示用に参加者の資質シグナルおよび基準値に関するフィードバック情報を作成するための参加者の資質フィードバックモジュール３３０と
を含む、遠隔会議モジュール３２０。
●複数の遠隔会議セッションについて、遠隔会議データならびに対応する特定された資質シグナルおよび基準値を記憶するための遠隔会議データ３３６。
●資質シグナルおよび基準値を特定するための定義、規則、経験則などを記憶するための資質シグナルおよび基準値定義３４８。

いくつかの実施形態では、参加者の資質フィードバックモジュール３３０は、遠隔会議の間の提示用に、リアルタイムで、ほぼリアルタイムで、または場合によっては遠隔会議の間に情報を作成するためのリアルタイムフィードバックモジュール３３２と、遠隔会議後の提示用の情報を作成するためのセッション後フィードバックモジュール３３４とを含む。

いくつかの実施形態では、遠隔会議データ３３６は、それぞれのセッション３３８−１〜３３８−Ｐについての遠隔会議データ、ならびに特定されたシグナルおよび基準値を含む。遠隔会議セッションについて、そのセッション用のデータ３３８−１は、オーディオ、ビデオ、および場合によっては、セッションからの他の遠隔会議データを含む遠隔会議セッションデータ３４０と、参加者の資質シグナル３４２と、参加者の資質基準値３４４と、資質シグナル３４２および資質基準値３４４を遠隔会議セッション内の時間にインデックス付けするためのインデックス付けデータ３４６とを含む。

いくつかの実施形態では、資質シグナルおよび基準値定義３４８は、定義２６４（図２Ａ〜図２Ｂ）と同様のデータ構造を含む。

いくつかの実施形態では、参加者の資質シグナルモジュール３２４は、オーディオおよびビデオを処理するため（たとえば、オーディオ認識、オーディオ分析、自然言語処理、音声テキスト化、ビデオ内の顔／人物認識、ビデオ内の視線追跡など）の適切なサブモジュールと、場合によっては、他の遠隔会議データ（たとえば、ネットワーク性能評価、キーストローク検出、マウスアクティビティ検出など）を処理するためのサブモジュールとを含む。

いくつかの実施形態では、モジュール３２４および３２６は、それぞれのシグナルおよび基準値を特定するための適切なサブモジュールとともに、資質シグナルおよび基準値を特定するための１つのモジュールの中に組み合わされてもよい。

上記で識別された要素の各々は、前述されたメモリデバイスのうちの１つまたは複数に記憶されてもよく、モジュールまたはプログラムの各々は、上述された機能を実施するための命令のセットに対応する。命令のセットは、１つまたは複数のプロセッサ（たとえば、ＣＰＵ３０２）によって実行することができる。上記で識別されたモジュールまたはプログラムは、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において組み合わされるか、または場合によっては再配置されてもよい。いくつかの実施形態では、メモリ３０６は、上記で識別されたモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、メモリ３０６は、上述されていないさらなるモジュールおよびデータ構造を記憶してもよい。

図３はサーバシステムを示すが、図３は、本明細書に記載された実施形態の構造概略図よりも、単一のサーバまたは複数のサーバのセット内に存在してもよい様々な特徴の機能的な説明を目的としている。実際には、当業者によって認識されるように、別々に図示された項目は組み合わされる可能性があり、いくつかの項目は分離される可能性がある。たとえば、図３において別々に示されたいくつかの項目（たとえば、オペレーティングシステム３１６およびネットワーク通信モジュール３１８）は、単一のサーバ上に実装される可能性があり、単一の項目は１つまたは複数のサーバによって実装される可能性がある。サーバシステム１１２を実装するために使用されるサーバの実際の数、およびそれらの間に特徴がどのように割り振られるかは、実施形態ごとに変化し、ピーク使用期間の間ならびに平均使用期間の間にシステムが扱わなければならないデータトラフィックの量に部分的に依存してもよい。
例示的な参加者の資質シグナルおよび対応する基準値

上述されたように、１つまたは複数の参加者の資質シグナルは、遠隔会議内の参加者について特定されてもよい。資質シグナルおよび対応する基準値の例が下記に記載される。これらの例は、クライアントデバイス１０４および／またはサーバシステム１１２に記憶された資質シグナルおよび基準値２６４および／または３４８を代表する。下記に記載される例は網羅的ではなく、さらなる資質シグナルおよび基準値が考えられることを諒解されたい。さらに、クライアントデバイス１０４またはサーバシステム１１２は、下記に記載されるシグナルおよび基準値のサブセットを特定してもよいことを諒解されたい。

いくつかの実施形態では、参加者の資質シグナルは、遠隔会議内で各参加者によって取られる「会話の順番」である。このシグナルは、ユーザ−参加者による割り込まれない連続する発話に基づいて「会話の順番」を検出することにより、遠隔会議のオーディオデータから特定されてもよい。このシグナルに対応する基準値は、遠隔会議の間に各ユーザ−参加者によって取られたそのような順番の数（単位時間当たりの絶対値または平均値）である。いくつかの実施形態では、順番の大きい数は、遠隔会議内の多い堂々巡り、および、したがってユーザ−参加者の間のより多い関与の指示である。

いくつかの実施形態では、参加者の資質シグナル（および対応する基準値）は、「会話の順番」の長さである。このシグナルは、遠隔会議内のユーザ−参加者による「会話の順番」の平均／中間時間長（たとえば、何秒）を特定することにより、遠隔会議のオーディオデータから特定されてもよい。いくつかの実施形態では、長い順番を有するユーザ−参加者は、遠隔会議内でより支配的であると考えられる。

いくつかの実施形態では、参加者の資質シグナルは、ユーザ−参加者による１語の（または場合によっては短い）応答である。このシグナルは、短い「会話の順番」（たとえば、ある特定の時間しきい値（たとえば、８００ミリ秒）よりも短い順番、１語または２語のみを含む順番）を識別することにより、遠隔会議のオーディオデータから特定されてもよい。対応する基準値は、ユーザ−参加者によるそのような短い順番の数であってもよい。いくつかの実施形態では、大きい数のそのような短い順番を有するユーザ−参加者は、遠隔会議内であまり支配的ではないと考えられる。

いくつかの実施形態では、参加者の資質シグナルは、繰り返される１語の（または場合によっては短い）応答のパターンある。このシグナルは、あるユーザ−参加者が比較的中長期の発語（たとえば、しきい値の時間長よりも長い発語）を行い、その後続いて別のユーザ−参加者が短い発語（たとえば、しきい値の時間長よりも短い発語、１語または２語のみを有する発語）オーディオ内のパターンを識別することにより、遠隔会議のオーディオデータから特定されてもよい。対応する基準値は、そのようなパターンの数であってもよい。いくつかの実施形態では、そのようなパターンの大きい数は、遠隔会議内の選択回答形式の質問が多いこと、またはある特定のユーザ−参加者が発言に十分に寄与していないような場合があることを示す。

いくつかの実施形態では、参加者の資質シグナル（および対応する基準値）は、ユーザ−参加者による発言の音量である。このシグナルは、ユーザ−参加者の発言入力の音量を測定することにより、遠隔会議のオーディオデータから特定されてもよい。いくつかの実施形態では、より声の大きいユーザ−参加者は、遠隔会議内でより多く関与し、より支配的であると考えられる。

いくつかの実施形態では、参加者の資質シグナルは、ユーザ−参加者の発言のピッチである。このシグナルは、たとえば、時間とともに遠隔会議のオーディオデータの高速フーリエ変換を計算し、スペクトル値における変化を測定することにより、遠隔会議のオーディオデータから特定されてもよい。対応する基準値は変化量である。いくつかの実施形態では、より変化したピッチは、より没頭し、かつ／またはより親和的な参加者を示す。

いくつかの実施形態では、参加者の資質シグナルは、遠隔会議内の自由回答形式の質問の存在であり、対応する基準値は、そのような自由回答形式の質問の数である。このシグナルは、たとえば、発言内の自由回答形式の質問を識別することにより（たとえば、発言内の文を分析することにより）、または質問の発語よりも長い応答の発語により、遠隔会議のオーディオデータから特定されてもよい。

いくつかの実施形態では、参加者の資質シグナルは中断であり、対応する基準値は、ユーザ−参加者による各「順番」の前後の中断の長さ、ならびにそのようなユーザ−参加者当たりの平均値および／または中間値である。このシグナルは、たとえば、各順番の前後の中断の長さを測定することにより、遠隔会議のオーディオデータから特定されてもよい。いくつかの実施形態では、ユーザ−参加者の順番の前の長い中断は、ユーザ−参加者があまり支配的ではないことを示してもよい。いくつかの実施形態では、全体的に短い中断は、ユーザ−参加者の発言における円滑さが大きいことを示す。

いくつかの実施形態では、参加者の資質シグナルは、アイコンタクトである。このシグナルは、たとえば、視線追跡用のコンピュータビジョン顔追跡技法を使用することにより、遠隔会議データのビデオデータから特定されてもよい。このシグナルに対応する基準値は、視線が中心にある（たとえば、視線がカメラ上にある、視線が他のユーザ−参加者のビデオ上にある）時間の長さまたは量である。いくつかの実施形態では、視線が中心にある時間がより長いことは、より没頭していることを示す。

いくつかの実施形態では、参加者の資質シグナルは、うなずきである。このシグナルは、たとえば、ヘッドの配置および移動用のコンピュータビジョン顔追跡技法を使用することにより、遠隔会議データのビデオデータから特定されてもよい。このシグナルに対応する基準値は、ユーザ−参加者がうなずいた回数である。いくつかの実施形態では、より多いうなずきは、より没頭していることを示す。

いくつかの実施形態では、参加者の資質シグナルは、ユーザ−参加者の顔の位置および範囲である。このシグナルは、たとえば、コンピュータビジョン顔追跡技法を使用して、どれだけの視界を顔がカバーするかを測定することにより、遠隔会議データのビデオデータから特定されてもよい。このシグナルに対応する基準値は、ユーザ−参加者の顔がカバーする視界の割合である。いくつかの実施形態では、顔による視界のより大きい範囲は、より没頭していることを示す。

いくつかの実施形態では、参加者の資質シグナルは、ユーザ−参加者によるタイピングまたはマウスアクティビティである。このシグナルは、たとえば、キーストローク、マウスクリック、および／またはマウス移動に耳を傾けることにより、遠隔会議データのユーザ入力データから特定されてもよい。このシグナルに対応する基準値は、ユーザ−参加者がタイピングまたはマウスアクティビティに従事している時間の長さまたは量である。いくつかの実施形態では、より多いタイピングまたはマウスアクティビティは、あまり没頭していないことを示す。いくつかの実施形態では、タイピングまたはマウスクリックアクティビティは、不必要なキーストロークまたはマウスクリックのノイズの取込みを低減するように、マイクロフォン２１６を調節するためのシグナルとして使用される場合もある。

いくつかの実施形態では、参加者の資質シグナルは、遠隔会議の間のネットワーク性能である。このシグナルは、クライアントデバイス１０４から取得されたネットワーク統計データ内に取り込まれた、利用可能な実際の帯域幅、送信レート、待ち時間、脱落パケットなどを追跡することにより、（たとえば、遠隔会議データのネットワーク性能データから）特定されてもよい。対応する基準値は、利用可能な帯域幅、送信レート、待ち時間、脱落パケットなどである。いくつかの実施形態では、ネットワーク性能は、不十分な品質のオーディオ／ビデオに対する、またはユーザ−参加者が遠隔会議の部分を逸する場合がある可能性をユーザ−参加者に警告するために使用される場合がある。

いくつかの実施形態では、参加者の資質シグナルは、ユーザ−参加者による割込みであり、対応する基準値は、開始された割込みの数である。このシグナルは、別のユーザ−参加者が発言を終了する前にユーザ−参加者が発言を開始するときを検出し、割り込まれた参加者が発言を譲ったかどうかに基づいて、割込みの成功と不成功との間を区別することにより、遠隔会議のオーディオデータから特定されてもよい。いくつかの実施形態では、ユーザ−参加者によって開始された割込みの数が多いことは、より支配的なユーザ−参加者を示す。

いくつかの実施形態では、参加者の資質シグナル、および対応する基準値は、各発言者によって話された時間の量である。このシグナルは、オーディオデータを処理して、各ユーザ−参加者が話した時間の量を特定することにより、遠隔会議のオーディオデータから特定されてもよい。いくつかの実施形態では、ユーザ−参加者によってより多く話されたことは、より支配的なユーザ−参加者を示す。

いくつかの実施形態では、参加者の資質シグナル、および対応する基準値は、各発言者による発言の速度である。このシグナルは、オーディオデータを処理して、ユーザ−参加者当たりの発言の速度を計算することにより、遠隔会議のオーディオデータから特定されてもよい。いくつかの実施形態では、参加者による発言の速度がより高いことは、より没頭していることを示す。

いくつかの実施形態では、参加者の資質シグナルは、ユーザ−参加者による笑みであり、対応する基準値は、参加者当たりの笑みの数である。このシグナルは、ビデオデータを処理および分析して、参加者による笑みを検出することにより、遠隔会議データのビデオデータから特定されてもよい。いくつかの実施形態では、笑みが多いことは、より肯定的な感情を示す。

参加者の資質シグナルおよび基準値の他の例には、参加者の発言におけるつなぎ言葉または中断言葉（たとえば、「うーん」、「あのー」）、視界内の体の位置、および尋ねる質問（たとえば、最後にトーンが上がる発語、既定の疑問詞につながる発語）が含まれる。
このように参加者の資質シグナルは、参加者の遠隔会議セッションへの影響を示し、資質基準値は、参加者の遠隔会議セッションへの影響の度合いを示す。
例示的なユーザインターフェース

図４Ａは、いくつかの実施形態による、例示的な遠隔会議ユーザインターフェースを示す。ユーザインターフェース４００は、遠隔会議セッションがアクティブである間に、ユーザ−参加者１０２のクライアントデバイス１０４において表示されてもよい。いくつかの実施形態では、ユーザインターフェース４００は、遠隔会議内の各クライアントデバイス１０４において表示され、クライアントデバイス１０４に固有のユーザインターフェース内にビューおよび情報が提示される。説明を容易にするために、ユーザインターフェース４００は、クライアントデバイス１０４−１（すなわち、クライアントデバイス１０４−１において表示されたユーザインターフェース４００）、およびクライアントデバイス１０４−１を使用して遠隔会議に参加するユーザ１０２−１の観点から下記に記載される。

ユーザインターフェース４００は、遠隔会議の別のユーザ−参加者４０４（たとえば、ユーザ１０２−１以外のユーザ１０２）を示すビデオビュー４０２を含む場合がある（たとえば、ビデオビュー４０２は、遠隔会議内のクライアントデバイス１０４−１以外のクライアントデバイス１０４のカメラからのビデオフィードを示す）。遠隔会議内の１人または複数のユーザ−参加者のビデオサムネイル４０６（たとえば、遠隔会議内のクライアントデバイス１０４−１以外のクライアントデバイス１０４からのビデオフィードのビデオサムネイル４０６−１、およびクライアントデバイス１０４−１からのビデオフィードのビデオサムネイル４０６−２）も、ユーザインターフェースに含まれる。いくつかの実施形態では、遠隔会議内のクライアントデバイス１０４ごとにビデオサムネイル４０６が存在する。いくつかの実施形態では、遠隔会議内のクライアントデバイス１０４がビデオデータを送信していない（たとえば、クライアントデバイス１０４がオーディオのみで参加している）場合、静止画像（たとえば、アバター画像）がサムネイル４０６内に表示されてもよい。いくつかの実施形態では、アバター画像のサムネイルは、サムネイル４０６内のビデオの代わりに表示されてもよい。

いくつかの実施形態では、サムネイル４０６は、対応するユーザが遠隔会議内の別のユーザに割り込んでいると判断された場合、強調表示された境界（たとえば、かなり太い境界、あらかじめ定義された色の境界）とともに表示されてもよい。たとえば、サムネイル４０６−２のまわりの境界が強調表示され、サムネイル４０６−２に対応するユーザ１０２−１が遠隔会議内の別のユーザに現在割り込んでいると判断されたことを示す。

ユーザインターフェース４００は、ユーザ１０２−１に関する参加者の資質シグナルおよび基準値を提示する領域またはパネル４０８も含む。パネル４０８は、参加者の寄与可視化４１０と、ユーザ１０２−１による割込みのカウント４１２と、ユーザ１０２−１による現在または進行中の視線の指示４１４と、ユーザ１０２−１による以前の視線の指示４１６とを含む場合がある。現在の視線の指示４１４は、（たとえば、矢印を伴う）方向およびユーザ１０２−１の現在の中心からずれている視線のタイマを示し、以前の視線の指示４１６は、（たとえば、矢印を伴う）方向およびユーザ１０２−１の最後に中心からずれていた視線の時間の量を示す。パネル４０８は、ユーザ１０２−１の顔／体の位置の指示４１８を含む場合もある。位置の指示４１８は、ユーザ１０２−１の顔または体の位置が中心にあるかどうかを示す（たとえば、チェックマークは顔／体が中心にあることを示し、Ｘマークは顔／体が中心からずれていることを示す）。

いくつかの実施形態では、強調表示されたバー４１９（たとえば、あらかじめ定義された色のバー）は、ユーザ１０２−１が遠隔会議の間に現在中心からずれて注視しており、しきい値の量以上の時間の間注視していたときをユーザ１０２−１に示すためにユーザインターフェース４００内に表示される。バー４１９は、視線の方向にユーザインターフェース４００内で配置される。たとえば、バー４１９は左に配置され、ユーザ１０２−１は左方向を注視している。このようにして、バー４１９は、ユーザ１０２−１が注視していることをユーザ１０２−１に警告し、その結果、ユーザ１０２−１は自分の視線を調整することができる。

図４Ｂは、いくつかの実施形態による、発言者の寄与基準値の例示的な可視化を示す。図４Ｂは、参加者の寄与可視化４１０の拡大図を示す。参加者の寄与可視化４１０は、遠隔会議の２人以上の参加者用の列４２０である、（図４Ａ〜図４Ｂにおける「ジョン」という名前の）ユーザ１０２−１用の１つの列４２０−１と、遠隔会議の他のそれぞれのユーザ−参加者１０２用の１つまたは複数のさらなる列４２０（「ジェーン」という名前の別のユーザ１０２用に１つのさらなる列４２０−２が図４Ａ〜図４Ｂ内に示される）とを含む。列４２０ごとに、遠隔会議内の対応するユーザの発言寄与（すなわち、ユーザが発言した秒数）を示すために、１つまたは複数の形状４２２（たとえば、円形）が存在する。たとえば、列４２０−１内に形状４２２−１〜４２２−５が存在し、列４２０−２内に形状４２２−６〜４２２−１０が存在する。いくつかの実施形態では、形状４２２−１および４２２−６は水平方向に位置合せされ（たとえば、行の中に位置合せされ）、形状４２２−２および４２２−７は水平方向に位置合せされ（たとえば、別の行の中に位置合せされ）、以下同様である。

列４２０の場合、各形状４２２は、定義された時間期間にわたって対応するユーザの発言寄与を可視化するか、または場合によっては示し、形状のサイズは寄与の量を示す。いくつかの実施形態では、定義された期間は６０秒であり、形状はユーザが発言した秒数を表し、形状のサイズは発言の秒数が増えるにつれて増大する。最上位の形状４２２−１および４２２−６はリアルタイムで（たとえば、毎秒）動的に更新され、現在時刻までの進行する６０秒ウィンドウ内で対応するユーザのリアルタイムの発言寄与を示す。列の中の他の形状は、以前の６０秒ウィンドウ内のユーザの寄与を示す。形状は水平方向に位置合せされ、その結果、同じ時間期間の間のユーザの寄与を比較することができる。たとえば、水平方向に位置合せされた形状４２２−１および４２２−６は、進行する６０秒ウィンドウ内の、それぞれ、ジョンおよびジェーンの寄与を示す。同様に水平方向に位置合せされた形状４２２−２および４２２−７は、過去の６０秒期間内の、それぞれ、ジョンおよびジェーンの寄与を示す。同様に水平方向に位置合せされた形状４２２−３および４２２−８は、形状４２２−２および４２２−７が対応する６０秒期間直前の６０秒期間内の、それぞれ、ジョンおよびジェーンの寄与を示し、以下同様である。いくつかの実施形態では、過去の時間期間に対応する形状は固定されている。いくつかの実施形態では、列４２０ごとに、ユーザのリアルタイムの寄与を示すために、１つの動的に更新される形状（たとえば、形状４２２−１、４２２−６）が存在し、ユーザの最近の発言寄与履歴を示すために、列内にあらかじめ定義された量までの１つまたは複数のさらなる形状（たとえば、形状４２２−２〜４２２−５、４２２−６〜４２２−１０）が存在する。

このように、たとえば、図４Ｂでは、形状４２２−１および４２２−６のサイズに基づいて、ジェーンは、最後の６０秒内に遠隔会議においてより多くの発言寄与を有する。形状４２２−２および４２２−７のサイズに基づいて、前の６０秒ウィンドウ内で、ジョンおよびジェーンの寄与はほぼ等しかった。形状４２２−５および４２２−１０のサイズに基づいて、さらに過去の６０秒ウィンドウ内で、ジョンはジェーンよりも大きい寄与を有した。

いくつかの実施形態では、直前の６０秒ウィンドウ内で発言された秒数は、ユーザが黙っていると、現在の６０秒ウィンドウ内の発言量から減算される。このようにして、形状のサイズはより表示空間効率がよい。

図５は、いくつかの実施形態による、遠隔会議後の参加者の資質のフィードバック用の例示的なユーザインターフェースの図である。図５は、遠隔会議後の要約ユーザインターフェース５００を示す。要約ユーザインターフェース５００は、様々なチャート、グラフ、可視化、ならびに、遠隔会議セッション用に特定された参加者の資質シグナルおよび基準値の他の指示を含む。説明を容易にするために、要約ユーザインターフェース５００は、ユーザインターフェース５００がクライアントデバイス１０４−１においてユーザ１０２−１に表示されているように記載される。

要約ユーザインターフェース５００は、遠隔会議後の発言者の寄与可視化５０２を含む。発言者の寄与可視化５０２は、その中で可視化５０２がユーザ１０２−１および１人または複数の他のユーザ１０２の寄与を示し、そのサイズが発言者の寄与の量を伝える形状も利用する可視化４１０と同様である。可視化５０２は、遠隔会議セッションの結末（たとえば、遠隔会議の最後１５分）において（時間ウィンドウに分割される）定義された時間期間内の発言者の寄与を示す。いくつかの実施形態では、遠隔会議セッションがすでに終わっているので、可視化５０２内の形状は固定されている。いくつかの実施形態では、可視化５０２内の時間ウィンドウは、可視化４１０内の時間ウィンドウよりも大きい場合がある（たとえば、６０秒ウィンドウの代わりに３分ウィンドウ）。

要約ユーザインターフェース５００は、遠隔会議セッション内のユーザ−参加者の全体的な発言寄与をパーセント単位で示す、全体的な発言寄与パイチャート５０４も含む。

要約ユーザインターフェース５００は、ユーザ１０２−１による全割込みのカウント、およびタイムライン上にマークされたユーザ１０２−１による割込みを伴う遠隔会議タイムラインを示す、発言者割込みグラフィック５０６も含む。

要約ユーザインターフェース５００は、ユーザ１０２−１の顔／体の位置が、それぞれ、中心にあったこと、および中心からはずれていたことの遠隔会議の割合を示す、顔／体の位置パイチャート５０８も含む。

要約ユーザインターフェース５００は、遠隔会議セッションの間のユーザの最も頻度が高い注視方向、平均注視時間、および注視ヒートマップチャート５１２を示す、視線グラフィック５１０も含む。注視ヒートマップチャート５１２は、領域によって遠隔会議の間のユーザ１０２−１の注視の方向を示し、領域の陰影付けはそれぞれの方向における注視の量を示す。いくつかの実施形態では、注視ヒートマップチャート５１２において、ユーザによる「許容できる」注視の方向に対応する上部中央領域は緑に色づけされ、中心からはずれている注視領域（左、右、中央下）は、それぞれの方向に注視がある場合赤に色づけされ（陰影強度は注視の量を示す）、それぞれの方向に注視がない場合白に色づけされる。

要約ユーザインターフェース５００は、遠隔会議プレーヤインターフェース５１４も含む。遠隔会議プレーヤインターフェース５１４は、再生／一時停止ボタン、再生時間インジケータ、スクラバー、音量制御、およびフルウィンドウモードに入るか、またはそこから戻るボタンなどの、メディア再生制御盤を含む。ユーザ１０２−１は、遠隔会議データプレーヤインターフェース５１４を使用して、遠隔会議のオーディオおよびビデオ、ならびに自分自身および場合によっては遠隔会議内の１人または複数の他のユーザ１０２のユーザインターフェース４００を再生する。このようにして、ユーザ１０２−１は、遠隔会議の間の自分の挙動および状態を見直すことができる。

いくつかの実施形態では、要素５０２、５０４、５０６、５０８、および５１０は、ユーザ１０２−１がプレーヤインターフェース５１４を使用して遠隔会議を再生するにつれて、動的に更新して、再生位置の時点のシグナルおよび基準値を反映してもよい。このようにして、ユーザ１０２−１は、遠隔会議の継続時間にわたってシグナルおよび基準値がどのように変化したかを見ることができる。資質シグナルおよび基準値は遠隔会議内のタイムスタンプにインデックス付けされるので、要素５０２、５０４、５０６、５０８、および５１０は、プレーヤインターフェース５１４内の再生位置の時点のシグナルおよび基準値を表すことができる。

要約ユーザインターフェース５００およびその中に含まれる要素は、例にすぎないことを諒解されたい。多いかまたは少ない要素が含まれてもよく、ユーザインターフェース５００内で同じシグナルおよび基準値を示す代替方法が考えられる。
例示的なプロセス

図６は、いくつかの実施形態による、遠隔会議参加者の資質のフィードバックを提供するための方法（プログラム）のフロー図６００を示す。いくつかの実施形態では、方法６００は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによる実行用の１つまたは複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて（たとえば、遠隔会議環境１００内のクライアントデバイス１０４において、遠隔会議環境１１０内のサーバシステム１１２において）実施される。

デバイスは、２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得し（６０２）、遠隔会議データは、オーディオデータおよびビデオデータのうちの１つまたは複数を備える。遠隔会議データ取得モジュール２３８または３２２は、確立された進行中の遠隔会議セッションから（たとえば、それぞれ、クライアントデバイス１０４またはサーバシステム１１２から送受信された遠隔会議データのストリームから）遠隔会議データを取得する。遠隔会議データは、オーディオデータおよびビデオデータ、ならびに場合によってはさらなるデータ（たとえば、スクリーン共有データ、文書、ユーザ入力データ（たとえば、キーストローク、マウスクリック、カーソル移動）、ノート、チャット、および、遠隔会議の間に共有される他の情報などの他のコンテンツ）を含む。遠隔会議データは、資質シグナルおよび基準値の特定と、遠隔会議後のインデックス付けされた見直しの両方のための入力として有用である。

デバイスは、遠隔会議データに基づいて参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定し（６０４）、参加者の資質シグナルのうちの少なくとも１つは、時間とともに変化する。クライアントデバイス１０４において、その中の参加者の資質シグナルモジュール２４０は、遠隔会議セッションの遠隔会議データ２５２を処理して、少なくともクライアントデバイス１０４に関連付けられたユーザ１０２、および場合によってはさらなるユーザ１０２について、１つまたは複数の参加者の資質シグナルを特定する。サーバシステム１１２において、その中の参加者の資質シグナルモジュール３２４は、遠隔会議データ３３６を処理して、１人または複数のユーザ−参加者１０２（たとえば、特定を認可するユーザ−参加者１０２）について、１つまたは複数の参加者の資質シグナルを特定する。シグナルは、参加者の資質シグナルモジュール２４０によって特定されようと、参加者の資質シグナルモジュール３２４によって特定されようと、遠隔会議が進行するにつれて時間とともに変化し、モジュール２４０／３２４は、新しい遠隔会議データが取得されたときに、遠隔会議セッションの継続時間にわたってシグナルを特定する。

デバイスは、参加者の資質シグナルに基づいて参加者のうちの少なくとも１人について、参加者の資質基準値を特定する（６０６）。クライアントデバイス１０４において、その中の参加者の資質基準値モジュール２４２は、少なくともクライアントデバイス１０４に関連付けられたユーザ１０２、および場合によってはさらなるユーザ１０２について特定されたシグナルに基づいて、１つまたは複数の参加者の資質基準値を特定する。サーバシステム１１２において、その中の参加者の資質基準値モジュール３２６は、１人または複数のユーザ−参加者１０２（たとえば、特定を認可するユーザ−参加者１０２）について特定されたシグナルに基づいて、１つまたは複数の参加者の資質基準値を特定する。基準値は、参加者の資質基準値モジュール２４２によって特定されようと、参加者の資質基準値モジュール３２６によって特定されようと、同様に、遠隔会議が進行するにつれて時間とともに変化し、モジュール２４２／３２６は、遠隔会議セッションの継続時間にわたってシグナルが特定されたときに、遠隔会議セッションの継続時間にわたって基準値を特定する。

デバイスは、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供し（６０８）、情報は、グラフィック形式、テキスト形式、および音響形式のうちの１つまたは複数で提供される。クライアントデバイス１０４において、参加者の資質フィードバックモジュール２４６は、シグナルおよび基準値に対応する情報を作成し、クライアントデバイス１０４においてクライアントデバイス１０４に関連付けられたユーザ１０２に情報を提示する（たとえば、ユーザインターフェース４００または５００を表示する、音響警告を出力する）。サーバシステム１１２において、参加者の資質フィードバックモジュール３３０は、シグナルおよび基準値に対応する情報（たとえば、ユーザインターフェース４００または５００、オーディオ警告用のオーディオ）を作成し、提示用にクライアントデバイス１０４に情報を送信する。いくつかの実施形態では、サーバシステム１１２は、クライアントデバイス１０４にシグナルおよび基準値のデータを送信し、クライアントデバイス１０４は、情報（たとえば、ユーザインターフェース４００または５００、オーディオ警告用のオーディオ）を作成し提示する。

いくつかの実施形態では、提供される情報は、音響情報（たとえば、音響通知または音響警告）、グラフィカル情報、および／またはテキスト情報を含む。グラフィカル情報および／またはテキスト情報は、ユーザインターフェース（たとえば、ユーザインターフェース４００または５００）内で提示されてもよい。

いくつかの実施形態では、遠隔会議セッションの時間的に変化する遠隔会議データを取得することは、遠隔会議セッションの間にリアルタイムで遠隔会議データを取得することを含む。遠隔会議データ取得モジュール２３８または３２２は、確立された進行中の遠隔会議セッションから（たとえば、それぞれ、クライアントデバイス１０４またはサーバシステム１１２から送受信された遠隔会議データのストリームから）、遠隔会議が進行するにつれてリアルタイムで遠隔会議データを取得する。

いくつかの実施形態では、遠隔会議データに基づいて参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定することは、遠隔会議セッションの間にリアルタイムで参加者の資質シグナルを特定することを含み、参加者の資質シグナルに基づいて参加者のうちの少なくとも１人について参加者の資質基準値を特定することは、遠隔会議セッションの間にリアルタイムで参加者の資質基準値を特定することを含む。シグナルおよび基準値は、遠隔会議が進行するにつれてリアルタイムで特定されてもよく、リアルタイムのシグナルおよび基準値は、遠隔会議全体を通してリアルタイムで参加者の資質を反映する。

いくつかの実施形態では、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供することは、遠隔会議セッションの間にリアルタイムで情報を提供することを含む。情報は、遠隔会議の間にリアルタイムで提供されてもよい（たとえば、遠隔会議ユーザインターフェース４００内で表示され、クライアントデバイス１０４に送信されてもよい）。

いくつかの実施形態では、遠隔会議セッションの間にリアルタイムで情報を提供することは、参加者のうちの少なくとも１人に１つまたは複数のプロンプトを与えて、遠隔会議セッションの間に参加者の資質シグナルに関連付けられた挙動および／または位置を調整することを含む。質の低い挙動または状態の通知、警告、または他の指示は、遠隔会議の間に提示されてもよい。たとえば、バー４１９は、ユーザの注視にユーザの注意を引くために、遠隔会議の間にユーザインターフェース４００内に表示されてもよい。別の例として、ユーザのサムネイル４０６−２は、ユーザが割り込んでいることを示すために強調表示されてもよい。さらなる例として、位置インジケータ４１８は、ユーザの位置が中心にあるかどうかを示し、発言寄与可視化４１０は、別のユーザと比較してユーザの更新された発言寄与を示す。これらの表示された要素は、質の低い挙動または状態をユーザに警告するように働く。さらに、オーディオ警告またはオーディオ通知は、質の低い挙動または状態をユーザに警告するために遠隔会議の間に提示されてもよい。

いくつかの実施形態では、プロンプトは、１つまたは複数のモダリティにおいて提示されてもよく、モダリティは、ユーザ−参加者の状況およびコンテキストに依存する場合がある。たとえば、ビデオストリーム内に分断がある場合、または視覚的なプロンプトの提示が会話を妨げる場合、視覚的ではなくオーディオを介してプロンプトが提示されてもよい。モダリティは、ビジュアル（テキスト、アイコン、グラフィック）、オーディオ（言葉、音色、音声）、振動触覚（ブザー、パルス）、または、クライアントデバイスに接続されたアクチュエータの他のモダリティであってもよい。

いくつかの実施形態では、プロンプトは、基準値（たとえば、基準値の可視化）についてのフィードバックを提供するだけでなく、自分自身で基準値を解釈することをユーザ−参加者に要求しない、挙動または位置の変更のための指示またはガイダンスも、ユーザ−参加者に提供する。

たとえば、ユーザ−参加者の発言の速度が、あらかじめ定義されたしきい値またはユーザの前の挙動に基づくしきい値のセットを超えると、もっとゆっくりおよび／またははっきりと発言するようにユーザに指示するプロンプトが、ユーザに提示される場合がある。変更の望ましい結果は、ユーザがもっとゆっくりおよびはっきりと発言し、そのため他のユーザが発言するユーザをより良く理解できることである。

たとえば、ユーザ−参加者の発言寄与が、遠隔会議内の他のユーザ−参加者の数に基づいてあらかじめ定義されたしきい値を超えると、発言を少なくし、より多く聴くようにユーザに指示するプロンプトがユーザに提示される場合がある。変更の望ましい結果は、遠隔会議内の他のユーザがより多く寄与することができるように、ユーザが遠隔会議を過度に支配しないことである。

たとえば、ユーザ−参加者が他のユーザへの割込みに成功した数が時間期間内のある特定の比率（たとえば、あらかじめ定義されたしきい値の比率）を超えると、ユーザが発言を開始する前に他のユーザが発言を終了することを可能にするようにユーザに指示するプロンプトがユーザに提示される場合がある。変更の望ましい結果は、ユーザが他のユーザに割り込まず、他のユーザ越しに話さないことである。

たとえば、ユーザ−参加者の中心からずれている視線の累積継続時間がしきい値（たとえば、あらかじめ定義された固定しきい値、現在の遠隔会議内の時間量に対するしきい値、遠隔会議全体を通して系統的に変化するしきい値）を超えると、より頻繁に他のユーザとのアイコンタクトを再確立するようにユーザに指示するプロンプトがユーザに提示される場合がある。変更の望ましい結果は、ユーザがより効果的に視線を使用して注意を伝えることができることである。

たとえば、ユーザの検出された顔／体に対応する（たとえば、それによって一杯になった）視野の部分があらかじめ定義されたしきい値よりも小さいとき、他のユーザがユーザをより良く見ることができるようにカメラにより近づくようにユーザに指示するプロンプトがユーザに提示される場合がある。変更の望ましい結果は、遠隔会議内の他のユーザがユーザをより良く見ることができ、このようにユーザが顔および体の表現をより効果的に使用して、言葉を使わないで伝えることができることである。

たとえば、カメラビュー内でユーザの顔を検出する際の信頼度がしきい値を下回るとき、または、顔検出が顔検出状態と顔非検出状態との間をすぐにぐらつくとき、照明を調整するようにユーザに指示するプロンプトがユーザに提示される場合がある。変更の望ましい結果は、ユーザが自分の顔を遠隔会議内の他のユーザによって容易に見られるようにすることができることである。

いくつかの実施形態では、遠隔会議セッションの間にリアルタイムで情報を提供することは、遠隔会議セッションの間に参加者の資質基準値ユーザインターフェースを提供することを含み、参加者の資質基準値ユーザインターフェースは、遠隔会議ユーザインターフェースと同時に遠隔会議セッションの間に表示されるように構成され、情報は参加者の資質基準値ユーザインターフェース内に表示されるように構成される。パネル４０８は遠隔会議ユーザインターフェース４００内に表示されてもよく、パネルは参加者の資質基準値に対応する情報を含む。たとえば、パネル４０８は、発言者寄与可視化４１０と、割込みカウント４１２と、それぞれ、現在の視線インジケータ４１４および以前の視線インジケータ４１６と、位置インジケータ４１８とを含む。

いくつかの実施形態では、情報は、参加者のうちの１人が参加者のうちの別の１人に割り込んでいる指示、参加者のうちの参加者による割込みのカウント、参加者のうちの参加者による注視の指示、参加者のうちの注視する参加者による注視の継続時間タイマ、参加者のうちの参加者が遠隔会議セッションのビデオビュー内の中心にあるかどうかの指示、および、遠隔会議セッション内の時間期間単位の参加者による相対的な発言寄与の指示のうちの１つまたは複数を含む。たとえば、ユーザインターフェース４００は、あるユーザが別のユーザに割り込んでいる指示（たとえば、サムネイル４０６−２の強調表示）、ユーザによる注視の指示（たとえば、バー４１９）、ユーザの注視のタイマ（たとえば、現在の視線インジケータ４１４），ユーザの体の位置が中心にあるかどうかの指示（たとえば、位置インジケータ４１８）、および、ユーザの発言寄与を別のユーザの発言寄与と比較する発言者の寄与可視化４１０を含む。

いくつかの実施形態では、遠隔会議セッション内の時間期間単位の参加者による相対的な発言寄与の指示は、参加者のうちの参加者について、第１のグラフィカルオブジェクトであって、第１のグラフィカルオブジェクトのサイズが、あらかじめ定義された時間長の進行する時間ウィンドウにわたる参加者の相対的な発言寄与を表し、第１のグラフィカルオブジェクトがリアルタイムで更新される、第１のグラフィカルオブジェクトと、１つまたは複数の第２のグラフィカルオブジェクトのセットであって、第２のグラフィカルオブジェクトの各々が、あらかじめ定義された時間長の過去の時間期間に対応し、第２のグラフィカルオブジェクトのサイズが、過去の時間期間内の参加者の相対的な発言寄与を表す、１つまたは複数の第２のグラフィカルオブジェクトのセットとを含む。発言寄与可視化４１０は、ユーザについて、進行する時間期間にわたるリアルタイムの寄与を示す形状（たとえば、４２２−１または４２２−６）と、過去の時間期間にわたる寄与を示すさらなる形状（たとえば、４２２−２〜４２２−５または４２２−７〜４２２−１０）とを含む。形状のサイズは、対応する時間期間にわたるユーザの寄与の量を反映し、同じ時間期間の間の異なるユーザの形状を互いに比較することができる。

いくつかの実施形態では、デバイスは、１つまたは複数の参加者の資質シグナルを遠隔会議セッション内の対応する時間にインデックス付けする。シグナルインデックス付けモジュール２４４または３２８は、特定されたシグナルおよび対応する基準値を遠隔会議内のタイムスタンプにインデックス付けする。

いくつかの実施形態では、デバイスは、インデックス付けに従って情報を提供する。たとえば、ユーザインターフェース５００では、割込みグラフィック５０６は、遠隔会議のタイムラインにおいて検出された割込みのインスタンスを示し、検出された割込みは、遠隔会議内のタイムスタンプにインデックス付けされる。さらに、ユーザインターフェース５００内の要素は、遠隔会議が進行するにつれてシグナルおよび基準値がどのように進化するかを示してもよい。

いくつかの実施形態では、デバイスは、遠隔会議セッションが終了した後に情報を提供する。たとえば、要約ユーザインターフェース５００は、遠隔会議が終了した後の資質シグナルおよび基準値の見直しのために、遠隔会議後に表示されてもよい。

いくつかの実施形態では、デバイスは、遠隔会議セッション用の参加者の資質要約ユーザインターフェースを提供し、情報は、参加者の資質要約ユーザインターフェース内に表示されるように構成される。たとえば、要約ユーザインターフェース５００は、遠隔会議が終了した後の資質シグナルおよび基準値の見直しのために、遠隔会議後に表示されてもよい。セッション後フィードバックモジュール２５０または３３４は、要約ユーザインターフェース５００内の表示用のシグナルおよび基準値に基づいて、要約ユーザインターフェース５００内の要素（たとえば、要素５０２、５０４）を作成する。

いくつかの実施形態では、参加者の資質要約ユーザインターフェースは、コンテンツプレーヤユーザインターフェースを含み、コンテンツプレーヤユーザインターフェースは、遠隔会議セッションのオーディオデータおよび／またはビデオデータを再生し、オーディオデータおよび／またはビデオデータとともに情報の少なくとも一部分を表示するように構成される。要約ユーザインターフェース５００は、遠隔会議データのオーディオ／ビデオを再生し、遠隔会議内のユーザによって見られるようにユーザインターフェース４００も示す、プレーヤインターフェース５１４を含む。

いくつかの実施形態では、遠隔会議後情報は、参加者のうちの参加者による全割込みのカウント、遠隔会議セッションの継続時間にわたる参加者のうちの参加者による割込みのタイムライン、参加者のうちの参加者による方向単位の注視の量の指示、参加者のうちの参加者による平均視線時間の指示、参加者のうちの参加者による位置単位の顔および／または体の配置の量の指示、遠隔会議セッションの継続時間にわたる参加者による発言寄与の指示、ならびに、遠隔会議セッション内の時間期間単位の参加者による相対的な発言寄与の指示のうちの１つまたは複数を含む。たとえば、要約ユーザインターフェース５００は、ユーザによる全割込みのカウント、および、ユーザの割込みがタイムライン内で示される遠隔会議のタイムラインを示す割込みグラフィック５０６と、（たとえば、視線チャート５１２内の）方向単位の注視の量、および平均視線時間を示す視線グラフィック５１０と、顔／体位置パイチャート５０８と、発言寄与パイチャート５０４と、遠隔会議後の発言者寄与可視化５０２とを含む。

いくつかの実施形態では、オーディオデータは、遠隔会議セッションの１つまたは複数のオーディオストリームを含む。遠隔会議データは、遠隔会議セッション内の複数のクライアントデバイス１０４からのオーディオストリームを含む。いくつかの実施形態では、複数のオーディオストリームは、１人または複数の参加者についての参加者の資質シグナルおよび基準値の分析に入力される。たとえば、取る順番に関するシグナルおよび基準値は、参加者および他の参加者のオーディオストリームに依存する。

いくつかの実施形態では、ビデオデータは、遠隔会議セッションの１つまたは複数のビデオストリームを含む。遠隔会議データは、遠隔会議セッション内の複数のクライアントデバイス１０４からのビデオストリームを含む。いくつかの実施形態では、複数のビデオストリームは、１人または複数の参加者についての参加者の資質シグナルおよび基準値の分析に入力される。

いくつかの実施形態では、コンピューティングデバイスはサーバシステムであり、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供することは、表示用に参加者のうちの少なくとも１人に関連付けられたクライアントデバイスに情報を送信することを含む。遠隔会議環境１１０内のサーバシステム１１２は、遠隔会議データからシグナルおよび基準値を特定し、シグナルおよび基準値に基づいて情報（たとえば、ユーザインターフェース４００または５００およびその中に含まれる情報）を作成し、提示用にクライアントデバイス１０４に情報を送信する。

いくつかの実施形態では、遠隔会議環境（たとえば、環境１１０）は、遠隔会議セッションを確立し、遠隔会議データを処理する中央サーバ（たとえば、サーバシステム１１２）を含む。いくつかの実施形態では、遠隔会議環境（たとえば、環境１００）は、中央サーバなしに（たとえば、ＷｅｂＲＴＣを介して接続された）ピアツーピア接続内の各クライアント（たとえば、各クライアントデバイス１０４）においてローカルに発生する、遠隔会議データストリームの処理を有してもよい。各クライアントは、ローカルにデータストリームを処理して、資質シグナルおよび基準値を特定し、同じクライアント上のシグナルおよび基準値に基づいて、グラフィック情報、テキスト情報、および／または音響情報を提示する。

いくつかの実施形態では、コンピューティングデバイスは、遠隔会議セッション内の参加者のうちの１人に関連付けられたクライアントデバイスであり、参加者の資質基準値に対応する情報を参加者のうちの少なくとも１人に提供することは、情報を表示することを備える。遠隔会議環境１００内のクライアントデバイス１０４は、シグナルおよび基準値を特定し、シグナルおよび基準値に基づいて情報を作成し、情報を提示（たとえば、表示）する。

いくつかの実施形態では、デバイスは、参加者のうちの参加者に、参加者のうちの別の参加者の参加者の資質基準値に対応する情報を提供する。クライアントデバイス１０４−１において、デバイス１０４−１に関連付けられたユーザ１０２−１以外のユーザの参加者の資質シグナルおよび基準値に対応する情報は、（他のユーザの認証を有する）ユーザ１０２−１に提示されてもよい。

いくつかの実施形態では、デバイスは、遠隔会議セッション用の遠隔会議データ、特定された参加者の資質シグナル、および特定された参加者の資質基準値を記憶する。クライアントデバイス１０４またはサーバシステム１１２は、（たとえば、遠隔会議データ２５２または３３６の中に）遠隔会議データを記憶する。

いくつかの実施形態では、遠隔会議セッションの遠隔会議データは、参加者に関連付けられた複数のクライアントデバイスのうちの１つまたは複数から遠隔会議セッションの間に取得されたユーザ入力データをさらに含む。遠隔会議データは、クライアントデバイス１０４からのユーザ入力データ（たとえば、キーストローク、マウスクリック、カーソル移動）を含む場合がある。ユーザ入力データは、いくつかの資質シグナル（たとえば、参加者によるタイピング／マウスアクティビティ）の特定のために入力される。

様々な要素を記載するために、本明細書において「第１の」、「第２の」などの用語が使用される場合があるが、これらの要素はこれらの用語によって限定されるべきではないことを理解されたい。これらの用語は、１つの要素を別の要素から区別するために使用されるにすぎない。たとえば、第１の接点は第２の接点と呼ばれる可能性があり、同様に、第２の接点は第１の接点と呼ばれる可能性があり、「第１の接点」のすべての出現が均一に改名され、第２の接点のすべての出現が均一に改名される限り、それは記載の意味を変更する。第１の接点および第２の接点は両方とも接点であるが、それらは同じ接点ではない。

本明細書において使用される用語は、特定の実施形態のみを記載するためであり、特許請求の範囲を限定することを意図するものではない。実施形態および添付の特許請求の範囲の説明において使用されるように、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が特に明確に示さない限り、複数形も含むことを意図する。本明細書において使用される「および／または」という用語は、関連する列挙された項目のうちの１つまたは複数のありとあらゆる可能な組合せを指し、包含することも理解されたい。「備える」および／または「備えている」という用語は、本明細書において使用されると、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことをさらに理解されたい。

本明細書において使用されるように、「する場合」という用語は、文脈に応じて、述べられた前の条件が真である「とき」または「とすると」または「と判定することに応答して」または「との判定に従って」または「と検出することに応答して」を意味するように解釈されてもよい。同様に、「［述べられた前の条件が真である］と判定された場合」または「［述べられた前の条件が真である］場合」または「［述べられた前の条件が真である］とき」というフレーズは、文脈に応じて、述べられた前の条件が真である「と判定すると」または「と判定することに応答して」または「との判定に従って」または「と検出することに応答して」を意味するように解釈されてもよい。

次に、それらの例が添付図面に示されている様々な実施形態に対して、詳細に参照が行われる。以下の詳細な説明では、本発明および記載された実施形態を完全に理解するために、多数の具体的な詳細が明記される。しかしながら、本発明は、これらの具体的な詳細なしに実践されてもよい。他の例では、実施形態の態様を不必要に覆い隠さないように、良く知られている方法、手順、構成要素、および回路は、詳細に記載されていない。

説明のための前述の記載は、特定の実施形態を参照して記載されている。しかしながら、上記の例示的な説明は、発明を開示された厳密な形態に徹底または限定を意図するものではない。上記の教示に鑑みて、多くの修正形態および変形形態が考えられる。実施形態は、本発明の原理およびその実際的な適用例を最も良く説明し、それにより、他の当業者が本発明および様々な修正形態を伴う様々な実施形態を、考えられる特定の使用法に適するように最も良く利用することを可能にするために、選択および記載される。

Claims (23)

1. １つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによる実行用の１つまたは複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて、
   ２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得するステップであって、前記遠隔会議データがオーディオデータおよびビデオデータのうちの１つまたは複数を備える、ステップと、
   前記遠隔会議データに基づいて前記参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定するステップであって、前記参加者の資質シグナルのうちの少なくとも１つが時間とともに変化する、ステップと、
   前記参加者のうちの少なくとも１人について前記参加者の資質シグナルに基づいて参加者の資質基準値を特定するステップと、
   前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供するステップであって、前記情報がグラフィック形式、テキスト形式、および音響形式のうちの少なくとも１つで提供される、ステップと
   を備える、方法。
2. 遠隔会議セッションの時間的に変化する遠隔会議データを取得するステップが、前記遠隔会議セッションの間にリアルタイムで前記遠隔会議データを取得するステップを備える、請求項１に記載の方法。
3. 前記遠隔会議データに基づいて前記参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定するステップが、前記遠隔会議セッションの間にリアルタイムで前記参加者の資質シグナルを特定するステップを備え、
   前記参加者の資質シグナルに基づいて前記参加者のうちの少なくとも１人について参加者の資質基準値を特定するステップが、前記遠隔会議セッションの間にリアルタイムで前記参加者の資質基準値を特定するステップを備える、
   請求項２に記載の方法。
4. 前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供するステップが、前記遠隔会議セッションの間にリアルタイムで前記情報を提供するステップを備える、請求項３に記載の方法。
5. 前記遠隔会議セッションの間にリアルタイムで前記情報を提供するステップが、前記参加者のうちの前記少なくとも１人に１つまたは複数のプロンプトを与えて、前記遠隔会議セッションの間に前記参加者の資質シグナルに関連付けられた挙動および／または位置を調整するステップを備える、請求項４に記載の方法。
6. 前記遠隔会議セッションの間にリアルタイムで前記情報を提供するステップが、前記遠隔会議セッションの間に参加者の資質基準値ユーザインターフェースを提供するステップを備え、前記参加者の資質基準値ユーザインターフェースが、遠隔会議ユーザインターフェースと同時に前記遠隔会議セッションの間に表示されるように構成され、前記情報が前記参加者の資質基準値ユーザインターフェース内に表示されるように構成される、請求項４に記載の方法。
7. 前記情報が、
   前記参加者のうちの１人が前記参加者のうちの別の１人に割り込んでいる指示、
   前記参加者のうちの参加者による割込みのカウント、
   前記参加者のうちの参加者による注視の指示、
   前記参加者のうちの前記注視する参加者による前記注視の継続時間タイマ、
   前記参加者のうちの参加者が前記遠隔会議セッションのビデオビュー内の中心にあるかどうかの指示、および
   前記遠隔会議セッション内の時間期間単位の前記参加者による相対的な発言寄与の指示
   のうちの１つまたは複数を備える、請求項６に記載の方法。
8. 前記遠隔会議セッション内の時間期間単位の前記参加者による相対的な発言寄与の前記指示が、前記参加者のうちの参加者について、
   第１のグラフィカルオブジェクトであって、前記第１のグラフィカルオブジェクトのサイズが、あらかじめ定義された時間長の進行する時間ウィンドウにわたる前記参加者の相対的な発言寄与を表し、前記第１のグラフィカルオブジェクトがリアルタイムで更新される、第１のグラフィカルオブジェクトと、
   １つまたは複数の第２のグラフィカルオブジェクトのセットであって、前記第２のグラフィカルオブジェクトの各々が、前記あらかじめ定義された時間長の過去の時間期間に対応し、前記第２のグラフィカルオブジェクトのサイズが、前記過去の時間期間内の前記参加者の相対的な発言寄与を表す、１つまたは複数の第２のグラフィカルオブジェクトのセットと
   を備える、請求項７に記載の方法。
9. １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサによって実行されるべき１つまたは複数のプログラムを記憶するメモリと
   を備えるコンピューティングデバイスであって、前記１つまたは複数のプログラムが、
   ２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得することであって、前記遠隔会議データがオーディオデータおよびビデオデータのうちの１つまたは複数を備える、取得することと、
   前記遠隔会議データに基づいて前記参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定することであって、前記参加者の資質シグナルのうちの少なくとも１つが時間とともに変化する、特定することと、
   前記参加者のうちの少なくとも１人について前記参加者の資質シグナルに基づいて参加者の資質基準値を特定することと、
   前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供することであって、前記情報がグラフィック形式、テキスト形式、および音響形式のうちの少なくとも１つで提供される、提供することと
   を行うための命令を備える、コンピューティングデバイス。
10. 前記１つまたは複数の参加者の資質シグナルを前記遠隔会議セッション内の対応する時間にインデックス付けするための命令をさらに備える、請求項９に記載のコンピューティングデバイス。
11. 前記インデックス付けに従って前記情報を提供するための命令をさらに備える、請求項１０に記載のコンピューティングデバイス。
12. 前記遠隔会議セッションが終了した後に前記情報を提供するための命令をさらに備える、請求項９に記載のコンピューティングデバイス。
13. 前記遠隔会議セッション用の参加者の資質要約ユーザインターフェースを提供するための命令をさらに備え、前記情報が、前記参加者の資質要約ユーザインターフェース内に表示されるように構成される、請求項１２に記載のコンピューティングデバイス。
14. 前記参加者の資質要約ユーザインターフェースが、コンテンツプレーヤユーザインターフェースを備え、前記コンテンツプレーヤユーザインターフェースが、前記遠隔会議セッションの前記オーディオデータおよび／またはビデオデータを再生し、前記オーディオデータおよび／またはビデオデータとともに前記情報の少なくとも一部分を表示するように構成される、請求項１３に記載のコンピューティングデバイス。
15. 前記情報が、
    前記参加者のうちの参加者による全割込みのカウント、
    前記遠隔会議セッションの継続時間にわたる前記参加者のうちの参加者による割込みのタイムライン、
    前記参加者のうちの参加者による方向単位の注視の量の指示、
    前記参加者のうちの参加者による平均視線時間の指示、
    前記参加者のうちの参加者による位置単位の顔および／または体の配置の量の指示、
    前記遠隔会議セッションの前記継続時間にわたる前記参加者による発言寄与の指示、ならびに
    前記遠隔会議セッション内の時間期間単位の前記参加者による相対的な発言寄与の指示
    のうちの１つまたは複数を備える、請求項１３に記載のコンピューティングデバイス。
16. プログラムが、１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行されると、
    ２人以上の参加者を有する遠隔会議セッションの時間的に変化する遠隔会議データを取得することであって、前記遠隔会議データがオーディオデータおよびビデオデータのうちの１つまたは複数を備える、取得することと、
    前記遠隔会議データに基づいて前記参加者のうちの少なくとも１人について１つまたは複数の参加者の資質シグナルを特定することであって、前記参加者の資質シグナルのうちの少なくとも１つが時間とともに変化する、特定することと、
    前記参加者のうちの少なくとも１人について前記参加者の資質シグナルに基づいて参加者の資質基準値を特定することと、
    前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供することであって、前記情報がグラフィック形式、テキスト形式、および音響形式のうちの少なくとも１つで提供される、提供することと
    を備える動作を前記コンピューティングデバイスに実施させるプログラム。
17. 前記オーディオデータが、前記遠隔会議セッションの１つまたは複数のオーディオストリームを備える、請求項１６に記載のプログラム。
18. 前記ビデオデータが、前記遠隔会議セッションの１つまたは複数のビデオストリームを備える、請求項１６に記載のプログラム。
19. 前記コンピューティングデバイスがサーバシステムであり、
    前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供することが、表示用に前記参加者のうちの少なくとも１人に関連付けられたクライアントデバイスに前記情報を送信することを備える、
    請求項１６に記載のプログラム。
20. 前記コンピューティングデバイスが、前記遠隔会議セッション内の前記参加者のうちの１人に関連付けられたクライアントデバイスであり、
    前記参加者の資質基準値に対応する情報を前記参加者のうちの少なくとも１人に提供することが、情報を表示することを備える、
    請求項１６に記載のプログラム。
21. 前記参加者の資質シグナルは、前記参加者の前記遠隔会議セッションへの影響を示し、
    前記資質基準値は、前記参加者の前記遠隔会議セッションへの影響の度合いを示し、
    前記参加者の資質基準値に対応する情報は、前記参加者へのフィードバック情報である、
    請求項１〜請求項８の何れか１項に記載の方法。
22. 前記参加者の資質シグナルは、前記参加者の前記遠隔会議セッションへの影響を示し、
    前記資質基準値は、前記参加者の前記遠隔会議セッションへの影響の度合いを示し、
    前記参加者の資質基準値に対応する情報は、前記参加者へのフィードバック情報である、
    請求項９〜請求項１５の何れか１項に記載のコンピューティングデバイス。
23. 前記参加者の資質シグナルは、前記参加者の前記遠隔会議セッションへの影響を示し、
    前記資質基準値は、前記参加者の前記遠隔会議セッションへの影響の度合いを示し、
    前記参加者の資質基準値に対応する情報は、前記参加者へのフィードバック情報である、
    請求項１６〜請求項２０の何れか１項に記載のプログラム。