JP2007030050A - ロボット制御装置、ロボット制御システム、ロボット装置、およびロボット制御方法 - Google Patents

Abstract

【課題】 会議や授業等に参加するロボットにより、参加者間の意思疎通を良好にする。
【解決手段】 ロボットを制御するロボット制御装置１００は、ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得部１０２と、ユーザ言動情報取得部１０２が取得したユーザ言動情報を収集する収集部１０８と、収集部１０８による収集処理の終了タイミングを決定するタイミング決定部１０６と、タイミング決定部１０６による終了タイミングの決定があるまでの収集部１０８によるユーザ言動情報の収集結果に基づき、ユーザの言動をロボットが表現するようにロボットの言動を決定する言動決定部１１０と、言動決定部１１０が決定した言動をロボットに実行させる出力処理部１１２とを含む。
【選択図】 図３

Description

本発明は、ロボット制御装置、ロボット制御システム、ロボット装置、およびロボット制御方法に関する。

従来、様々な会議システムが知られている。
特許文献１には、操作者の分身となって行動する、とくに遠隔会議等に使用されるロボット装置が開示されている。これにより、操作者が遠隔地の会議場に出席させたロボットを介して、会議の状況を見て、聞き、表情を見せ、話し、資料を提示し、握手をする等、臨場感のある会議を可能にすると記載されている。

特許文献２には、ビデオコンファレンス／テレコンファレンス技術およびロボット工学技術を組み合わせて使用するグループ会議環境で遠隔の会議出席者がその存在を映像化できる装置が開示されている。ここで、遠隔の会議出席者の顔がビデオモニタにほぼ実物大に映される。

特許文献３には、仮想会議システム用端末装置および仮想会議システムが開示されている。この仮想会議システムにおいては、各端末をネットワークによって接続し、各端末を操作する出席者をエージェントで表現し、各端末の表示画面に表示された会議室の全景を示す仮想会議室ウインドウ内に表示する。会議における各出席者へ発言権や黒板の使用権が与えられると、各エージェントはこれに応じて演壇上に移動したり、黒板の前に移動したりして、何れの出席者が権利を有しているのか表示する。出席者同士の秘話や司会者の発言等に応じて、声の音量等を制御すると共に、この状態をエージェントの動きで表示する。このように、会議中の各出席者の動作情報を各端末へ伝送することで、会議進行状態を各エージェントの動きによって視覚的に表示できる、とされている。

特許文献４には、アニメーション化されたキャラクタを用いて会議参加者を表現する会議室が開示されている。このアニメーション式電子会議室においては、ネットワーク上の各会議参加者に対して、各参加者の端末を介して各人の位置、身振り、音声等表現したいと希望するものを画面上のキャラクタ、人形または登場人物として動画化し、シミュレーション化されたアニメーション式電子会議を参加者間で行う。また、登場人物制御手段を用いて、参加者自身が画面に表示される登場人物を制御できる。

特許文献５には、多地点テレビ会議システムの一例が開示されている。このシステムにおいて、会議運営をサポートするキャラクタ信号を各端末のモニタ・ディスプレイにスーパーインポーズすることにより、全会議参加者が会議運営情報を容易に確認できるようにする、とされている。

特許文献６には、会議システムの一例が開示されている。あるパソコンのキーボードに
具備されている拍手ボタンを操作したとき、「拍手」の文字をそのパソコンのモニタに表示させるとともに、「拍手」のキャラクタデータをネットワークを介して他のパソコンに伝送する。各パソコンにおいて、モニタに表示された文字中に「拍手」の文字があるか否かを判定し、「拍手」の文字が検出された場合においては、予め記憶されている拍手音の音声データを読み出し、スピーカから放音させる。

また、特許文献７には、複数のクリーチャと学習者とで会話を連鎖できる参加型多人数会話システムが開示されている。各々のクリーチャは、他者の発話に対してコミットするかどうかを判断する第１判断手段と、コミットしないと判断したとき新たな発話を生成する生成手段と、コミットすると判断したとき前記他者にアドレスを向ける手段とを含む。これにより、人間が参与しなくても動作が進み、そのたえに人間は話し手や聞き手としてだけではなく、傍観者として振る舞うことができ、たとえば外国語学習支援システムに利用すると、学習者の持続的な学習が期待できる、とされている。
特開２００２−４６０８８号公報 特表２００１−５２４２８６号公報 特開平６−２７４５９６号公報 特開平７−２５５０４４号公報 特開平５−１４５９１８号公報 特開平８−２０４７０６号公報 特開２００２−１３９９８９号公報

しかし、従来の会議システムは、おもに遠隔地にいる出席者に対して、臨場感のある会議を実現する目的で開発されていた。

一方、会議や授業等では、出席者や生徒に意見があっても意思表示するタイミングが難しかったり、出席者や生徒間で理解度の格差があるという問題がある。

本発明は上記事情を踏まえてなされたものであり、本発明の目的は、会議や授業等に参加するロボットにより、参加者間の意思疎通を良好にする技術を提供することにある。

本発明によれば、ロボットを制御するロボット制御装置であって、ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得部と、前記ユーザ言動情報取得部が取得した前記ユーザ言動情報を収集する収集部と、前記収集部による収集処理の終了タイミングを決定するタイミング決定部と、前記タイミング決定部による前記終了タイミングの決定があるまでの前記収集部による前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定部と、前記言動決定部が決定した言動を前記ロボットに実行させる出力処理部と、を含むロボット制御装置が提供される。

ここで、ロボットは、ロボット装置とすることもでき、またキャラクタで示される仮想ロボットとすることもできる。また、ロボットは、音声認識機能を有する対話型ロボットとすることができる。これにより、出力処理部は、周囲の状況に応じて、ロボットが適切なタイミングで言動を実行するように制御することができる。また、ここで、ユーザ言動情報取得部は、ユーザ言動情報を計数可能なデータとして取得することができる。ここで、ユーザとは、たとえば会議や授業、講義に参加する、発表者、聴講者、司会者、先生、生徒等の参加者とすることができる。

本発明のロボット制御装置によれば、会議や授業等に参加するロボットに、参加者の言動を反映させた言動を実行させることができるため、参加者間の意思疎通を良好にすることができる。

本発明のロボット制御装置において、前記収集部は、前記ユーザ言動情報を同種のユーザ言動情報毎に分類して収集することができる。

本発明のロボット制御装置において、前記言動決定部は、最も収集数の多い種類の前記ユーザ言動情報を優先的に示す言動を前記ロボットが表現するように、当該ロボットの言動を決定することができる。

本発明のロボット制御装置において、前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングの後に前記複数のユーザの所定割合以上のユーザから前記ユーザ言動情報を取得したときに、前記収集処理の終了タイミングを決定することができ、前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定することができる。

本発明のロボット制御装置において、前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングから所定時間が経過したときに、前記収集処理の終了タイミングを決定することができる。ここで、前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定することができる。

本発明のロボット制御装置において、前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記収集部による収集処理の開始指示が含まれるか否かを判断し、当該開始指示が含まれる場合に、前記収集部による収集処理の開始タイミングを決定することができる。ユーザ言動情報取得部は、優先順位が高く設定されたユーザからの前記ユーザ言動情報を、他のユーザからの前記ユーザ言動情報と区別して取得することができる。

本発明のロボット制御装置は、前記ロボットの実行モードの設定と、当該実行モードにおける前記ユーザ言動情報の収集数の閾値とを対応づけて記憶する設定記憶部をさらに含むことができ、前記タイミング決定部は、前記設定記憶部を参照して、いずれかの種類の前記ユーザ言動情報の収集数が前記閾値以上となった場合に、前記収集部による収集処理の終了タイミングを決定することができ、前記言動決定部は、前記収集数が閾値以上となった前記ユーザ言動情報を示す言動を前記ロボットが表現するように、当該ロボットの言動を決定することができる。

また、ロボット制御装置は、ユーザ言動情報取得部がユーザ言動情報を取得した場合に、ユーザ言動情報を入力したユーザに、入力を受け付けたことを通知する通知部をさらに含むことができる。通知部は、ユーザ言動情報取得部がユーザ言動情報を取得した場合に、当該ユーザ言動情報が収集部により収集されても、そのユーザ言動情報の収集数が前記閾値以上とならず、ロボットが言動を実行しない場合に、ユーザ言動情報を入力したユーザに、入力を受け付けたことを通知することができる。

本発明のロボット制御装置において、前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記実行モードの設定の変更指示が含まれるか否かを判断し、当該変更指示が含まれる場合に、前記設定記憶部の前記実行モードの設定を更新することができる。

本発明のロボット制御装置において、前記ユーザ言動情報取得部は、前記ユーザ言動情報を、各前記ユーザを識別する情報に対応づけて取得することができる。

本発明のロボット制御装置は、各前記ユーザを識別する情報と、当該ユーザの属性とを対応づけて記憶する属性記憶部と、前記属性記憶部に記憶された前記ユーザの属性に応じて、前記ユーザ言動情報取得部が取得した前記ユーザ言動情報に重み付けを付与する重み付け付与部と、をさらに含むことができ、前記収集部は、前記ユーザ言動情報を前記重み付け付与部により付与された前記重み付けに対応付けて収集することができる。

本発明のロボット制御装置において、前記言動決定部は、所定の条件を満たした場合に、前記ロボットが実行する前記言動に対応する前記ユーザ言動情報に対応付けられた前記ユーザを識別する情報に基づき、前記ロボットが当該ユーザを明示する発言をするように当該ロボットの言動を決定することができる。

本発明のロボット制御装置において、前記タイミング決定部は、前記ユーザ言動情報の内容に基づき、当該ユーザ言動情報を前記収集部による収集処理を行うことなく出力するか否かを判断することができ、前記言動決定部は、前記タイミング決定部が前記収集処理を行うことなく出力すると決定した場合に、当該ユーザ言動情報に基づき、前記ロボットの言動を決定することができる。

本発明のロボット制御装置は、前記ユーザ言動情報取得部は、前記複数のユーザそれぞれに対応づけられた複数の入力手段からの入力を受け付けることができる。

本発明によれば、上記いずれかに記載のロボット制御装置と、前記ロボット制御装置の前記ユーザ言動取得部とネットワークを介してそれぞれ接続された複数の入力手段と、を含むロボット制御システムが提供される。

本発明によれば、自律移動型または対話型のロボット装置であって、上記いずれかに記載のロボット制御装置と、前記出力処理部の出力に基づき、前記言動決定部が決定した前記言動を実行する言動実行部と、を含むことを特徴とするロボット装置が提供される。

本発明によれば、ロボットを制御するロボット制御方法であって、ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得ステップと、前記ユーザ言動情報取得ステップで取得された前記ユーザ言動情報を収集する収集ステップと、前記収集ステップにおける収集処理の終了タイミングを決定するタイミング決定ステップと、前記タイミング決定ステップにおける前記終了タイミングの決定があるまでの前記収集ステップにおける前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定ステップと、前記言動決定ステップで決定された言動を前記ロボットに実行させる出力ステップと、を含むロボット制御方法が提供される。

本発明のロボット制御方法において、前記収集ステップは、前記ユーザ言動情報を同種のユーザ言動情報毎に分類するステップを含むことができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。

本発明によれば、会議や授業等に参加するロボットにより、参加者間の意思疎通を良好にすることができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。なお、以下の図面において、本発明の本質に関わらない部分の構成は省略する。

本実施の形態において、ロボットが教室で複数の生徒と一緒に授業に参加する場合を例として説明する。以下の実施の形態において、ロボットは、生徒全員から意見や感想等のユーザ言動情報を取得する多数決モードと、生徒から任意に入力されるユーザ言動情報を取得する多数決モード以外のその他モードのいずれかに設定される。いずれの場合も、ロボットは、取得したユーザ言動情報を収集して、収集結果に基づき言動を決定して実行する。

図１は、本実施の形態におけるロボットが、授業に参加する様子を示す模式図である。
ここでは、授業には、６人の生徒、先生、およびロボット２００が参加している。本実施の形態において、ロボット２００は対話機能を有するとともに自律移動する。６人の生徒には、それぞれ、一般入力手段３０２ａ〜３０２ｆが付与される。

以下、多数決モードの処理を示す。たとえば、先生が何か説明をした後、「どうでしたか？」と質問をし、それに対して生徒全員に一般入力手段３０２ａ〜３０２ｆから意見や感想等のユーザ言動情報を入力させる。一般入力手段３０２ａ〜３０２ｆに入力されたユーザ言動情報は、ネットワーク（不図示）を介してロボット２００に送信される。ロボット２００は、一般入力手段３０２ａ〜３０２ｆから入力されたユーザ言動情報を同種のユーザ言動情報に分類して収集し、収集結果を出力する。

たとえば、一般入力手段３０２ａ、一般入力手段３０２ｂ、一般入力手段３０２ｄ、および一般入力手段３０２ｅが付与された生徒が「おもしろい」と入力し、一般入力手段３０２ｃが付与された生徒が「眠い」、一般入力手段３０２ｆが付与された生徒が「眠い」と入力したとする。この場合、「おもしろい」と入力した生徒が４名で多数である。また、「眠い」と入力した生徒も２名いる。そのため、ロボット２００は、多数の意見である「おもしろい」を強調するとともに、少数の意見である「眠い」についても発言する。その結果、ロボット２００は、たとえば、「すごくおもしろかった！！でも眠い人もいたかも」と発言する。このようにすれば、ロボット２００が、生徒全体の総意を代弁することができる。また、「眠い」等の否定的な表現を生徒が直接言いにくい場合でも、ロボット２００が代弁してくれるので、少数意見も言いやすくなる。

図２は、本実施の形態におけるロボットが授業に参加する様子の他の例を示す模式図である。
以下、通常モードの処理を示す。たとえば、一般入力手段３０２ｆが付与された生徒が「○○って何？」という質問を一般入力手段３０２ｆに入力すると、ロボット２００は、所定のタイミングで、生徒にかわり、「先生、○○って何ですか？」と質問する。このようにすれば、生徒が質問等をしたくても自分で言い出せない場合であっても、ロボット２００が代理で質問してくれる。そのため、生徒がロボット２００を通して、匿名で質問や意見を先生に伝えることができる。

図３は、本実施の形態におけるロボット制御装置を含むロボット制御システムの構成の一例を示すブロック図である。
以下で説明するロボット制御システムおよびロボット制御装置の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

ロボット制御システム１０は、ロボット制御装置１００およびロボット制御装置１００とネットワーク３１０を介して接続された一般入力手段３０２ａ〜３０２ｆ、および管理者用入力手段３００により構成される。

ロボット制御装置１００は、ユーザ言動情報取得部１０２、フィルタ処理部１０４、タイミング決定部１０６、収集部１０８、言動決定部１１０、出力処理部１１２、属性記憶部１１４、設定記憶部１１６、ユーザ言動情報記憶部１１８、言動データベース１２０、および禁止言動記憶部１２２を含む。本実施の形態において、ロボット制御装置１００はロボット２００に組み込まれ、ロボット２００を制御する。これにより、ロボット２００が、図１および図２に示したような処理をすることができる。ロボット２００の構成は後述する。

ユーザ言動情報取得部１０２は、ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得する。本実施の形態において、ユーザ言動情報取得部１０２は、一般入力手段３０２ａ〜３０２ｆおよび管理者用入力手段３００から入力されたユーザ言動情報をネットワーク３１０を介して取得する。また、一般入力手段３０２ａ〜３０２ｆおよび管理者用入力手段３００からは、ユーザ言動情報とユーザＩＤとが対応付けて送信される。ユーザ言動情報取得部１０２は、ユーザ言動情報をユーザＩＤに対応付けて取得する。

ネットワーク３１０は、無線ＬＡＮや携帯電話等の各種無線環境、ＬＡＮやＷＡＮや電話回線等の各種有線環境、または共有メモリにより実現できる。

本実施の形態において、生徒には一般入力手段３０２ａ〜３０２ｆがそれぞれ付与される。生徒は一般入力手段３０２ａ〜３０２ｆから質問や感想等のユーザ言動情報を入力する。また、先生には管理者用入力手段３００が付与され、先生は管理者用入力手段３００から指示等のユーザ言動情報を入力する。

一般入力手段３０２ａ〜３０２ｆは、生徒が意識的または無意識的に言動を入力する手段とすることができる。以下、一般入力手段３０２ａを例として説明する。他の一般入力手段３０２ｂ〜３０２ｆも、一般入力手段３０２ａと同様の構成を有する。

一般入力手段３０２ａは、たとえば、ボタン、キーボード、タッチパネル、マイク、カメラ、血圧センサ、発汗センサ、加速度センサ等を一つ以上組み合わせた構成とすることができる。また、一般入力手段３０２ａは、たとえば携帯電話端末やＰＤＡ等の無線通信端末とすることもできる。

また、一般入力手段３０２ａは、たとえば、賛成を示すボタン、反対を示すボタン、納得したことを示すボタン、楽しいことを示すボタン、楽しくないことを示すボタン、聞き取れないことを示すボタン、わからないことを示すボタン等の複数のボタンを含むことができる。たとえば、生徒が先生の話すことが聞き取れなかった場合に、一般入力手段３０２ａの聞き取れないことを示すボタンを押すと、「聞き取れない」ことを示すユーザ言動情報がユーザ言動情報取得部１０２に送信される。

また、一般入力手段３０２ａは、たとえば、漢字、かな、英数字等の文字を入力可能なキーボードを含むこともできる。さらに、一般入力手段３０２ａは、タッチパネルを含む構成とすることもできる。一般入力手段３０２ａがタッチパネルを含む場合、たとえばタッチパネルの初期画面として「何を実行しますか？＜質問＞、＜聞き取れなかった＞、＜賛成＞、＜否定＞」等を表示させ、ユーザが触れた箇所に対応する画面に切り替えるようにすることができる。たとえば、ユーザが、タッチパネルの＜質問＞部分に触れると、「質問を入力してください。」という画面を表示させ、ユーザに質問を入力させる。ユーザが質問を入力すると、その内容を示すユーザ言動情報がユーザ言動情報取得部１０２に送信される。

また、生徒が質問を入力するのを支援する誘導プログラムを準備しておくこともできる。この誘導プログラムは、一般入力手段３０２ａに記憶されてもよく、ロボット制御装置１００内、または他のサーバに記憶され、ネットワーク３１０を介して一般入力手段３０２ａに表示されるようにすることもできる。

以下、誘導プログラムの処理手順の一例を示す。たとえば、ユーザが、タッチパネルの＜質問＞部分に触れると、「どのように質問しますか？＜なに＞、＜いつ＞、＜どこ＞、＜だれ＞、＜なぜ＞、＜どのように＞」と画面が切り替わる。ユーザがタッチパネルの＜なに＞部分に触れると、「なにを質問しますか？」と表示され、ソフトキーボードが表示される。ユーザはソフトキーボードから自由に文字を入力することができる。たとえば、ユーザが「素因数分解」と文字入力すると、最後に「質問文：素因数分解、って、なにですか？＜Ｏｋ＞、＜Ｃａｎｃｅｌ＞」と確認画面が表示される。ユーザがタッチパネルの＜Ｏｋ＞部分に触れると、「素因数分解ってなにですか？」という内容のユーザ言動情報がユーザ言動情報取得部１０２に送信される。

なお、管理者用入力手段３００は、一般入力手段３０２ａと同様の構成とすることもでき、また異なる構成とすることもできる。たとえば、管理者用入力手段３００は、ロボット２００に指示を与えるためのボタン等を設けた構成とすることもできる。

属性記憶部１１４は、ユーザＩＤと、当該ユーザの属性とを対応づけて記憶する。ここで、ユーザの属性とは、たとえば優先順位とすることができる。本実施の形態において、管理者用入力手段３００のユーザＩＤは、最も優先順位が高く設定される。ユーザ言動情報取得部１０２は、優先順位が高く設定されたユーザからのユーザ言動情報を、他のユーザからのユーザ言動情報と区別して取得することができる。

また、ユーザの属性は、重み付け係数とすることもできる。
優先順位や重み付け係数は、たとえば予め先生等が設定し、属性記憶部１１４に記憶しておくことができる。一例として、たとえば、発言の多い生徒の優先順位や重み付け係数は低く設定し、あまり発言しない生徒の優先順位や重み付け係数を高く設定するようにすることができる。このようにすれば、あまり発言しない生徒の発言に高い重み付けが付され、ロボット２００がその生徒の言動を優先的に表現するようにすることができる。一方、他の例として、たとえば発言の多い生徒の優先順位や重み付け係数を高く設定することもできる。このような生徒は、クラスのオピニオンリーダー的生徒である可能性が高いため、ロボット２００がこの生徒の言動を表現することにより、クラスの雰囲気を一つにまとめるという効果が期待できる。なお、属性記憶部１１４の設定は、生徒の発言状況に応じて自動的に変更される構成とすることもできる。

図４は、属性記憶部１１４の内部構成を示す図である。
属性記憶部１１４は、ユーザＩＤ欄、優先順位欄、および重み付け係数欄を含む。重み付け係数欄は、モード毎に設定される。ここでは、多数決モードの重み付け係数と、多数決モード以外のその他モードの重み付け係数とが設定されている。

ここで、ユーザＩＤが「０００１」のユーザは、管理者用入力手段３００を保持する先生とする。ユーザＩＤ「０００１」のユーザの優先順位は、１番に設定されている。また、ユーザＩＤ「０００１」のその他モードの重み付け係数が「１０」に設定されている。ユーザＩＤ「０００２」および「０００３」のユーザは、一般入力手段３０２ａ〜３０２ｆを保持する生徒とする。ユーザＩＤ「０００２」のその他モードの重み付け係数は、「２」に設定されている。ユーザＩＤ「０００３」のその他モードの重み付け係数は、「０．５」に設定されている。また、多数決モードの場合は、いずれのユーザの重み付け係数も「１」に設定されている。

図３に戻り、フィルタ処理部１０４は、属性記憶部１１４を参照して、ユーザ言動情報取得部１０２が取得したユーザ言動情報にそのユーザの属性を対応付けてタイミング決定部１０６に送出する。

禁止言動記憶部１２２は、ロボット２００が実行することが禁止された言動を記憶する。禁止言動記憶部１２２は、たとえば、禁止語句を記憶する。フィルタ処理部１０４は、禁止言動記憶部１２２を参照して、ユーザ言動情報取得部１０２が取得したユーザ言動情報に禁止された言動が含まれる場合に、そのユーザ言動情報をタイミング決定部１０６に送出しないようにする。ここでは図示していないが、ロボット制御装置１００は、音声認識処理部を含むことができ、たとえばユーザ言動情報が音声で入力された場合には、音声認識処理を行う。フィルタ処理部１０４は、音声認識処理されたユーザ言動情報に基づき、そのユーザ言動情報に禁止語句等が含まれないかを判断することができる。このようにすれば、たとえばユーザから非難や中傷の語句が入力された場合でも、ロボット２００がその語句を発言しないようにすることができる。これにより、ロボット２００が悪用されて授業が妨害されるのを防ぐことができる。

収集部１０８は、ユーザ言動情報取得部１０２が取得したユーザ言動情報を収集する。タイミング決定部１０６は、収集部１０８による収集処理の終了タイミングを決定する。

設定記憶部１１６は、ロボット２００の実行モードの設定と、当該実行モードにおけるユーザ言動情報の収集数の閾値とを対応づけて記憶する。

図５は、設定記憶部１１６の内部構成を示す図である。
設定記憶部１１６は、現モード欄、モード欄、および閾値欄を含む。現モード欄では、現在設定されているモードにフラグが立つようになっている。ここでは、通常モードが設定されている。閾値欄には、モード毎に設定された閾値が記憶される。ここで、通常モードの閾値は「５」、迅速モードの閾値は「１０」、じっくりモードの閾値は「１」である。

図３に戻り、タイミング決定部１０６は、多数決モード以外の通常モード、迅速モード、じっくりモードに設定されているとき、フィルタ処理部１０４からユーザ言動情報が送出されると、設定記憶部１１６を参照して、ユーザ言動情報の収集数が閾値以上となった場合に、収集部１０８による収集処理を終了させることができる。

また、タイミング決定部１０６は、多数決モードに設定されているときには、たとえば優先順位が高く設定されたユーザからのユーザ言動情報に、収集部１０８による収集処理の開始指示が含まれるか否かを判断することができる。タイミング決定部１０６は、開始指示が含まれる場合に収集部１０８による収集処理の開始タイミングを決定することができる。この開始指示は、たとえば先生が管理者用入力手段３００等を介して入力することができる。また、他の例として、ロボット制御装置１００において先生の音声を認識し、タイミング決定部１０６は、先生の発話内容に基づき、開始指示の有無を判断することもできる。タイミング決定部１０６は、開始タイミングを決定すると、収集部１０８に開始指示を出力する。これにより、収集部１０８が収集処理を開始する。多数決モードの場合、タイミング決定部１０６は、たとえば開始タイミングの後に複数の生徒のうち、所定割合以上の生徒から一般入力手段３０２ａ〜３０２ｆを介してユーザ言動情報が入力され、ユーザ言動情報取得部１０２がこれらを取得したときに、収集処理の終了タイミングを決定することができる。また、タイミング決定部１０６は、たとえば開始タイミングから所定時間が経過したときに収集処理の終了タイミングを決定することもできる。また、タイミング決定部１０６は、管理者用入力手段３００から終了指示があったときに収集処理の終了タイミングを決定することもできる。

また、タイミング決定部１０６は、たとえば優先順位が高く設定されたユーザからのユーザ言動情報に、実行モードの設定の変更指示が含まれるか否かを判断することができる。タイミング決定部１０６は、変更指示が含まれる場合に、設定記憶部１１６の実行モードの設定を更新することができる。

収集部１０８は、ユーザ言動情報を同種のユーザ言動情報毎に分類してユーザ言動情報記憶部１１８に記憶する。

なお、図３には示していないが、ロボット制御装置１００は、図１２に示したような分類テーブルを含むことができる。分類テーブル１２４は、ユーザ言動情報取得部１０２が取得するユーザ言動情報と、それらが分類される代表的なユーザ言動情報とを対応付けて記憶する。ここで、ユーザ言動情報取得部１０２が取得するユーザ言動情報が「笑い」、「拍手」、「うなずき」の場合、これらは代表的なユーザ言動情報「楽しい」に分類される。また、ユーザ言動情報取得部１０２が取得するユーザ言動情報が「眠り」の場合、これは代表的なユーザ言動情報「楽しくない」に分類される。さらに、ユーザ言動情報取得部１０２が取得するユーザ言動情報が「静止」の場合、いずれのユーザ言動情報にも分類されず、ユーザ言動情報としてカウントされない。収集部１０８は、分類テーブル１２４を参照して、ユーザ言動情報を同種のユーザ言動情報毎に分類することができる。

図６は、ユーザ言動情報記憶部１１８の内部構成の一例を示す図である。
ユーザ言動情報記憶部１１８は、ユーザ言動情報欄、および収集数欄を含む。ここで、ユーザ言動情報欄には、「わからない」、「眠い」、「楽しい」等のユーザ言動情報が記憶されている。ユーザ言動情報「わからない」の収集数は「４」、ユーザ言動情報「眠い」の収集数は「２」、ユーザ言動情報「楽しい」の収集数は「３」となっている。

図３に戻り、言動決定部１１０は、タイミング決定部１０６からの終了指示があるまでの収集部１０８によるユーザ言動情報の収集結果に基づき、ユーザの言動をロボット２００が表現するようにロボット２００の言動を決定する。言動決定部１１０は、タイミング決定部１０６による終了タイミングの決定があると、ユーザ言動情報記憶部１１８を参照して、それまでにユーザ言動情報記憶部１１８に記憶されたユーザ言動情報に基づき、ロボット２００の言動を決定する。

ここで、収集部１０８は、最も収集数の多い種類のユーザ言動を優先的に示す言動をロボット２００が表現するように、ロボット２００の言動を決定することができる。たとえば、多数決モードに設定されている場合、言動決定部１１０は、最も収集数の多い種類のユーザ言動情報を優先的に表現するとともに、場合によっては少数意見も表現することができる。

言動データベース１２０は、特定の状況におけるロボットの発話データおよび動作データを記憶する。言動決定部１１０は、言動データベース１２０も参照して、ロボット２００の言動を決定することができる。たとえば、言動データベース１２０は、生徒から入力されることが想定される語句と、その語句と同意で、ロボット２００が発話するのにふさわしい他の語句とを対応付けて記憶することができる。たとえば、「うるさい」に対して、ロボット２００が発話するのにふさわしい語句として「静かにしてください」を対応付けておくことができる。これにより、ユーザが一般入力手段３０２ａ等から「うるさい」と入力した場合でも、ロボット２００に「静かにしてください」と発言させることができる。

また、言動決定部１１０は、ロボット２００が文法、テンプレート、コーパスに基づく発話をするようにロボット２００の言動を決定することができる。

出力処理部１１２は、言動決定部１１０が決定した言動をロボット２００に実行させる。また、出力処理部１１２は、周囲の状況に基づき、ロボット２００が言動を実行するタイミングを決定する。たとえば、出力処理部１１２は、先生が発話中は、ロボット２００が動作しないように制御することができる。ロボット２００の動作禁止の指示は、たとえば管理者用入力手段３００から入力することもできる。

なお、設定記憶部１１６は、収集処理を行わないユーザ言動情報を記憶しておくことができる。図７は、設定記憶部１１６の内部構成の一部を示す図である。たとえば、「聞き取れない」ことを示すボタンが押された場合、迅速に対応する必要がある。そのため、「聞き取れない」というユーザ言動情報が入力された場合には、収集処理を行うことなく、言動決定部１１０がこの言動を出力するようにすることができる。タイミング決定部１０６は、設定記憶部１１６を参照して、収集処理を行わないことが設定されたユーザ言動情報が入力された場合には、言動決定部１１０にユーザ言動情報を送出する。言動決定部１１０は、そのユーザ言動情報に基づき、ロボット２００の言動を決定する。

図８は、ロボット２００の電気的構成の一例を示すブロック図である。
胴体部２０１には、ロボット全体の制御を行うコントローラ２１０、ロボットの動力源となるバッテリ２１１、スピーカ２１２、マイクロフォン２１３、２つの車輪を動かすためのアクチュエータ２１４Ａおよびアクチュエータ２１４Ｂ、および通信インターフェース２２４等が収納される。

マイクロフォン２１３は、特定の話者からの発話を含む周囲の音声を集音し、得られた音声データをコントローラ２１０に送出する。

コントローラ２１０は、ＣＰＵ２１０Ａやメモリ２１０Ｂを内蔵しており、ＣＰＵ２１０Ａにおいて、メモリ２１０Ｂに記憶された制御プログラムが実行されることにより、各種の処理を行う。

通信インターフェース２２４は、ネットワーク３１０を介して、一般入力手段３０２ａ〜３０２ｆ、および管理者用入力手段３００等との間で通信を行う。

頭部２０２には、ＣＣＤカメラ２２１ＡおよびＣＣＤカメラ２２１Ｂ、ならびに頭部２０２を回転するためのアクチュエータ２２２Ａおよびアクチュエータ２２２Ｂ等が収納される。

ＣＣＤカメラ２２１ＡおよびＣＣＤカメラ２２１Ｂは、周囲の状況を撮像し、得られた画像データを、コントローラ２１０に送出する。

アクチュエータ２２２Ａおよびアクチュエータ２２２Ｂは、ロボット２００の頭部２０２を上下左右に回転させる。

コントローラ２１０は、マイクロフォン２１３や通信インターフェース２２４を介して得られる音声データやＣＣＤカメラ２２１ＡおよびＣＣＤカメラ２２１Ｂから得られる画像データに基づいて、メモリ２１０Ｂから適宜情報を読み出し、周囲の状況を取得する。また、本実施の形態におけるロボット制御装置１００の各機能は、コントローラ２１０により実現することができる。

コントローラ２１０は、アクチュエータ２１４Ａ、アクチュエータ２１４Ｂ、アクチュエータ２２２Ａ、およびアクチュエータ２２２Ｂ等を制御してロボット２００に決定した動作を実行させる。また、コントローラ２１０は、合成音を生成し、スピーカ２１２に供給して、ロボット２００に決定した発話を出力させる。

なお、ここでは図示してないが、ロボット２００は、アーム部およびそれを駆動するアクチュエータを含む構成とすることもでき、コントローラ２１０によりアーム部を駆動するアクチュエータを制御して、ロボット２００に挙手や拍手等をさせることもできる。

ロボット２００は、笑ったり、うなずいたり、視線を動かしたり等の動作を実行可能に構成することができる。

図９は、図３に示したロボット制御装置１００の処理手順を示すフローチャートである。
ユーザ言動情報取得部１０２が一般入力手段３０２ａ〜３０２ｆ、または管理者用入力手段３００からユーザ言動情報を取得すると（Ｓ１００のＹＥＳ）、フィルタ処理部１０４はフィルタ処理を行う（Ｓ１０２）。ここで、ユーザ言動情報取得部１０２は、ユーザ言動情報とともにユーザＩＤを取得することができる。フィルタ処理部１０４は、ユーザＩＤに基づき、属性記憶部１１４を参照してユーザの属性を取得する。このとき、フィルタ処理部１０４は、設定記憶部１１６を参照して現モードの設定を確認し、設定されたモードに対応する重み付け係数を取得する。

つづいて、タイミング決定部１０６は、フィルタ処理部１０４から送出されたユーザ言動情報に、モード設定の変更指示が含まれるか否かを判断する（Ｓ１０４）。モード設定の変更指示が含まれる場合（Ｓ１０４のＹＥＳ）、タイミング決定部１０６は、設定記憶部１１６のモード設定を変更する（Ｓ１０６）。

つづいて、処理が終了したか否かを判断し（Ｓ１０８）、終了していない場合（Ｓ１０８のＮＯ）、タイミング決定部１０６は、収集処理を行うか否かを判断する（Ｓ１１０）。収集処理を行う場合（Ｓ１１０のＹＥＳ）、タイミング決定部１０６は、ユーザ言動情報および属性を収集部１０８に送出する。収集部１０８は、収集処理を行う（Ｓ１１２）。具体的には、収集部１０８は、タイミング決定部１０６から送出されたユーザ言動情報を、それに対応付けられた属性を考慮してユーザ言動情報記憶部１１８に記憶する。ステップＳ１０４において、モード設定の変更指示が含まれない場合（Ｓ１０４のＮＯ）、ステップＳ１１０に進む。

つづいて、タイミング決定部１０６は、設定記憶部１１６とユーザ言動情報記憶部１１８を参照して、収集処理を終了するか否かを判断する（Ｓ１１４）。収集処理を終了する場合（Ｓ１１４のＹＥＳ）、言動決定部１１０に終了タイミングの決定を通知する。言動決定部１１０は、ユーザ言動情報記憶部１１８および言動データベース１２０を参照して、ロボット２００の言動を決定する（Ｓ１１６）。出力処理部１１２は、所定のタイミングで、言動決定部１１０が決定した言動をロボット２００に実行させる（Ｓ１１８）。つづいて、処理を終了するか否かを判断し（Ｓ１２０）、処理を終了しない場合（Ｓ１２０のＮＯ）、ステップＳ１００に戻る。

ステップＳ１０８において終了すると判断した場合（Ｓ１０８のＹＥＳ）、およびステップＳ１１４において収集処理を終了しないと判断した場合（Ｓ１１４のＮＯ）、ステップＳ１２０に進む。

次に、図３〜図９を参照して、いずれかの一般入力手段からユーザ言動情報が入力された場合の処理を説明する。
ユーザ言動情報記憶部１１８に、図６に示したようなユーザ言動情報が記憶された状態で、たとえば、ユーザ言動情報取得部１０２がユーザＩＤ「０００２」のユーザから「わからない」というユーザ言動情報を取得したとする（図９、Ｓ１００のＹＥＳ）。フィルタ処理部１０４は、属性記憶部１１４（図４）および設定記憶部１１６（図５）を参照して、ユーザＩＤ「０００２」に基づき、現モードである「通常モード」を含む「その他モード」におけるこのユーザの重み付け係数「２」を読み出す（図９、Ｓ１０２）。フィルタ処理部１０４は、ユーザ言動情報「わからない」と重み付け係数「２」とを対応付けてタイミング決定部１０６に送出する。

ここで、このユーザ言動情報にはモード設定の変更指示は含まれず、収集処理も必要なため（図９、Ｓ１０４のＮＯおよびＳ１１０のＹＥＳ）、タイミング決定部１０６は、このユーザ言動情報および重み付け係数を収集部１０８に送出する。収集部１０８は、ユーザ言動情報記憶部１１８のユーザ言動情報「わからない」に「２」を加える。これにより、ユーザ言動情報「わからない」の収集数が「６」となる（図９、Ｓ１１２）。

タイミング決定部１０６は、設定記憶部１１６およびユーザ言動情報記憶部１１８を参照し、設定記憶部１１６の現モードである「通常モード」の閾値「５」とユーザ言動情報記憶部１１８の「わからない」の収集数「６」とを比較する。ここで、収集数が閾値以上となるため、タイミング決定部１０６は、収集処理の終了を決定する（図９、Ｓ１１４のＹＥＳ）。タイミング決定部１０６は、収集処理の終了タイミングの決定を言動決定部１１０に通知する。言動決定部１１０は、ロボット２００が「わからない」に対応する発話をするようにロボット２００の言動を決定する。言動決定部１１０は、たとえば「わかりません」とロボット２００に発話させることを決定する（図９、Ｓ１１６）。出力処理部１１２は、これを所定のタイミングでロボット２００に発話させる（図９、Ｓ１１８）。

また、ロボット２００は以下の言動を行うことができる。これらの言動は、言動決定部１１０により決定され、出力処理部１１２により制御される。

たとえば、ロボット２００は、挙手をして発言することにより、匿名的または明示的に参加者の代弁を行うことができる。たとえば、また、ロボット２００は、質問ランプ等の表示部を含む構成とすることもでき、この場合、質問ランプを点灯させたり点滅させたりすることで挙手を実現することができる。また、ロボット２００は、人や動物の形をしたＣＧエージェントとすることもでき、腕をあげたＣＧを表示することで挙手を実現することができる。このように、ロボット２００が挙手をすることにより、たとえば先生の進行を直接妨げることなく、発言の意思表示を行うことができる。

この場合、先生がロボット２００の挙手に気づき、ロボットの名前である「ロボ太郎君」と発言すると、ロボット２００はそれを認識して所望の質問や発言を行う。ここで、ロボット２００は、マイクロフォン２１３を介して入力される音声の音声認識、ＣＣＤカメラ２２１Ａや２２１Ｂ等を介して入力される画像の画像認識、通信インターフェース２２４を介して入力される先生からの指示等に基づき、指名されたことを検出することができる。

また、ロボット２００は、ツッコミ等の発言により、匿名的または明示的に参加者の代弁を行うことができる。たとえば、ロボット２００は、「漢字が間違ってるよー」、「聞こえませーん」、「なんでやねん」、「ええー」、「そんなー」等、音声合成や録音音声、エフェクトつき録音音声等により発話することができる。教室や会議や講演等では、参加者が直接発言しにくいこともあるが、このように、ロボット２００が代弁してくれることにより、対人関係に影響することなく、言いたいことを伝えることができる。

また、ロボット２００は、ほめたり拍手することにより、参加者の気持ちを代弁することができる。たとえば、学校の授業において、「よくできました」といいながら拍手をされることは、生徒の勉強意欲等の向上効果があるが、教室の雰囲気や先生の立場等の理由で、特定の生徒をほめにくい場合がある。このような場合、先生の代わりにロボット２００にほめたり拍手させることにより、先生の気持ちを代弁させることができる。この場合、たとえば先生が管理者用入力手段３００から生徒をほめる指示を入力することにより、ロボット２００がその指示に従い、生徒をほめる言動をすることができる。また、生徒が、一般入力手段３０２ａ〜３０２ｆから生徒をほめる指示を入力することによっても、ロボット２００がそれらの指示に従い、生徒をほめる言動をするようにすることもできる。これにより、匿名でもほめることができる。

さらに、ロボット２００は、ほめたり拍手することにより、他の参加者が拍手するべきタイミングを表現することができる。たとえば、タイミングよく「よくできました」といいながら、拍手をはじめれば、他の参加者が拍手をはじめるきっかけになりやすい。この場合も、ロボット２００は、一般入力手段３０２ａ〜３０２ｆや管理者用入力手段３００から入力された指示に従い、拍手したりすることができる。

また、ロボット２００は、笑うことにより、参加者の気持ちを代弁することができる。笑うことは参加者たちの一体感を醸成する効果があり、ロボット２００が笑うことは、ロボット２００が一緒に参加していることをアピールする効果がある。一般入力手段３０２ａ〜３０２ｆや、管理者用入力手段３００から入力される内容に基づき、笑っている参加者が多いと判断された場合、ロボット２００も一緒に笑うようにすることができる。また、この場合、うれしそうな表現を行うようにすることもできる。たとえば、笑っている声を出力することもでき、ダンスのような動きを行ってもいいし、ランプを点滅や点灯させてもよい。これにより、ロボット２００も会議の参加者であることをアピールすることができる。

また、ロボット２００は、うなずくことにより、参加者の気持ちを代弁することができる。ロボット２００は、一般入力手段３０２ａ〜３０２ｆ等の入力手段から入力されたユーザ言動情報に基づき、納得している人が多いと判断した場合、うなずく動作をすることができる。また、たとえばカメラの撮影画像に基づき、うなずいている参加者が多いと判断された場合、ロボット２００も一緒にうなずくことにする。逆に、首をかしげたり、疑問に思っている聴講者が多いと判断された場合、ロボット２００も同様に首をかしげることにする。こうすることで、参加者の理解度をロボット２００が表現することができ、発表者が話しやすくなる効果がある。ロボット２００がうなずく動作は、ロボット２００の首や頭を動かしたり、ロボット２００が首や頭を持たない場合、可動部を上下に動かしたり、人間や動物等のＣＧエージェントでは、頭部を縦に動かすアニメーションや動画を入れたり、ランプを点滅や点灯させることにより実現することができる。

また、ロボット２００は、視線を制御することにより、参加者の気持ちを代弁することができる。ロボット２００は、一般入力手段３０２ａ〜３０２ｆ等の入力手段から入力されたユーザ言動情報に基づき、真剣に聞いている参加者が多いと判断した場合、発表者に視線を向ける動作をすることができる。一方、ロボット２００が集中できていない参加者が多いと判断した場合、発表者以外に視線を向ける動作をすることができる。こうすることで、ロボット２００が参加者の集中度を表現することができ、発表者が話しやすくなる効果がある。視線を向ける動作は、ロボット２００の頭部や目の正面を発表者に向けることで表現できる。人間や動物等のＣＧエージェントでは、正面むきの画像を表示することで表現できる。逆に視線をそらす動作は、ロボット２００の頭部や目の正面を発表者以外に向けることで表現できる。人間や動物等のＣＧエージェントでは、正面以外を向いている画像を表示することで表現できる。

また、一般入力手段３０２ａ〜３０２ｆがマイクの場合、ユーザ言動情報取得部１０２は、たとえば生徒が小声で発話した音声を取得する。ロボット制御装置１００は、取得した音声を音声認識して、内容に応じて適切な音声を出力することもでき、また、生徒の発話内容をそのまま出力することもできる。たとえば、一般入力手段３０２ａを保持する生徒が「漢字が違っている」と発話すると、ユーザ言動情報取得部１０２は、その音声を取得し、出力処理部１１２は、「漢字が違っている」と音声出力する。このとき、出力処理部１１２は、生徒の声質そのままで音声出力するのではなく、声質を変換して音声出力する。これにより、誰がその言葉を言ったかどうかを匿名としたまま、ロボット２００に代弁させることができる。また、ロボット２００特有の音声を用いることにより、ロボット２００のキャラクタ性を高めることができ、ロボット２００が生徒にとけ込むようにすることができる。

また、ロボット２００は、管理者用入力手段３００から入力されたユーザ言動情報に基づき、質問等をすることもできる。たとえば、先生が生徒に質問をして欲しいタイミングで「○○って何ですか？」等の質問を管理者用入力手段３００から入力することにより、ロボット２００にこの質問をさせることができる。これにより、ロボット２００を生徒の代表として利用することができる。たとえば、授業で重要なポイントを説明する際に、ロボット２００がタイミングよく質問を行い、先生がそのポイントを詳しく説明することにより、その説明を生徒の記憶に残りやすくすることができる。

また、ロボット２００は、管理者用入力手段３００から入力されたユーザ言動情報に基づき、他の生徒に質問等をすることもできる。たとえば、先生が「△△さん、○○って何なのか、教えて？」等の質問を管理者用入力手段３００から入力することにより、ロボット２００にこの質問をさせることができる。これにより、先生が直接生徒に質問するよりも、気軽な雰囲気で生徒に回答させることができる。また、生徒の記憶に残りやすくしたり、生徒の集中力を持続しやすくさせることができる。このとき、生徒が答えた後に、ロボット２００が「先生、そうなの？」、「△△さん、すごーい」のような発話をすることにより、より効果をあげることも期待できる。

以上、図面を参照して本発明の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

図１０は、ユーザ言動情報記憶部１１８の内部構成の他の例を示す図である。ここでは、ユーザ言動情報が「楽しい」である場合の例を示す。ユーザ言動情報記憶部１１８は、ユーザ言動情報を収集時間に対応付けて記憶することができる。この場合、ある一定期間内に収集されたユーザ言動情報の数に基づき、各ユーザ言動情報の収集数を算出することができる。また、過去に収集されたユーザ言動情報も考慮して各ユーザ言動情報の収集数を算出することができる。この場合、過去に収集されたユーザ言動情報は、時間の経過とともに収集数に反映される影響が小さくなるように、減衰させることができる。たとえば、過去に収集されたユーザ言動情報は、収集時に減衰倍率０．５をかけてカウントすることができる。減衰倍率が時間の経過とともに減少するようにすることもできる。

また、以上の実施の形態において、設定記憶部１１６に実行モード毎に閾値が設定された例を示したが、ユーザ言動情報の種類に応じて閾値を設定しておくこともできる。たとえば、ユーザ言動情報が「楽しい」の閾値をユーザ言動情報が「楽しくない」の閾値よりも低く設定したり、ユーザ言動情報が「わからない」の閾値を他のユーザ言動情報の閾値よりも低く設定したり、適宜設定することができる。閾値を低く設定しておくことにより、ユーザ言動情報の収集数が少なくてもロボット２００がそのユーザ言動情報を代行しやすくすることができる。

また、収集部１０８は、同じ参加者が同種のユーザ言動情報を複数回入力した場合には、たとえば２回目以降のユーザ言動情報のカウント値を低くすることができる。収集部１０８は、ユーザ言動情報取得部１０２が取得するユーザ言動情報と、それに対応付けられたユーザＩＤに基づき、参加者が同一か否かを判断することができる。なお、この処理は、フィルタ処理部１０４が行ってもよい。

また、一般入力手段３０２ａ〜３０２ｆにおいて、いずれかのボタンが押されたときに、押された回数や速さ、強さ等の状況を検知して、その情報もユーザ言動情報取得部１０２に送信するようにすることができる。ロボット２００において、ボタンが押された状況に応じてロボット２００が異なる対応を行うようにすることができる。たとえば、生徒が賛成ボタンを普通の強さで１回押しただけの場合は、ロボット２００がうなずくだけとし、生徒が賛成ボタンを激しく何度も押した場合は、ロボット２００が「賛成賛成！」と強い調子で賛成であることを表現するようにすることができる。

また、ロボット制御装置１００は、ウェブサーバ機能を有する構成とすることができ、一般入力手段３０２ａ〜３０２ｆ、または管理者用入力手段３００に、種々の画面を表示させることができる。たとえば、ユーザがユーザ言動情報を入力するための入力画面や、ロボット２００の処理状態等を入力手段に表示させることができる。また、ウェブサーバ機能は、ロボット制御装置１００とは別のサーバに搭載することもできる。

たとえば、ユーザが何らかのユーザ言動情報を入力しても、ロボット２００がすぐにそのユーザ言動情報に対応する言動を実行しないと、ユーザは自分が入力したユーザ言動情報が受け付けられたのか不安になるおそれがある。ロボット制御装置１００は、上記ウェブサーバ機能等を用い、ユーザ言動情報が入力された入力手段に、「受け付けました」等の表示をさせることができる。また、たとえばユーザが質問を入力しても、ユーザ言動情報の収集数が閾値以上とならないと、ロボット２００がその質問を発言しない。このような場合、ロボット制御装置１００は、ユーザの入力手段に「今は質問できないから、授業の後で先生に聞いてね」とか、「もうちょっと待って」等の通知を行うことができる。これにより、ユーザがロボット２００の処理状況を把握することができる。また、ユーザがユーザ言動情報を入力したときに、現在のロボット制御装置１００の実行モードがユーザの入力手段に表示されるようにすることができる。これにより、ユーザはロボット２００の処理状態を把握することができる。

また、ユーザ言動情報記憶部１１８には、ユーザ言動情報とそのユーザ言動情報を入力したユーザのユーザＩＤとを対応付けて記憶しておくこともできる。また、ユーザ言動情報記憶部１１８のデータは、外部から読み出し可能にすることができる。このようにすることにより、ユーザ言動情報記憶部１１８に記憶された内容を見ることにより、どのユーザからどのようなユーザ言動情報が入力されたのかを把握することができる。このような情報は、たとえば先生が生徒の状態を把握するのに用いることができる。

また、言動決定部１１０は、所定の条件を満たした場合に、ロボット２００が実行する言動に対応するユーザ言動情報に対応付けられたユーザを識別する情報に基づき、ロボットが当該ユーザを明示する発言をするように当該ロボットの言動を決定することができる。ここで、所定の条件とは、たとえば先生が問題を出して、生徒に回答させた場合に、正解した生徒の数が少ない場合等である。このような場合、ロボット２００は、上述した手順に従い、生徒から入力された回答を収集数が多い順に発表する。その後、先生が「正解は○○です。」と発言すると、ロボット２００は、先生の発言を音声認識する。その結果、その回答が正解であったかを把握することができ、正解の回答の収集数に基づき、正解した生徒の数が多いか少ないかを判断する。ロボット２００は、正解した生徒の数が少ない場合は、正解の回答に対応付けられたユーザＩＤに基づき、正解を入力した生徒を認識する。その結果、ロボット２００は、たとえば「いまの問題に正解したのは○○さんです。」等の発言をすることができる。

図１１は、ロボット２００が上記のような処理を行うためのユーザ言動情報記憶部１１８の構成を示す図である。ユーザ言動情報記憶部１１８は、ユーザ言動情報および収集数に対応付けてユーザＩＤも記憶する。たとえば、ユーザ言動情報「Ａ」の収集数は５で、このユーザ言動情報を入力したユーザのユーザＩＤは、「００２」、「００３」、「００４」、「００５」、および「００６」となっている。また、ユーザ言動情報「Ｂ」の収集数は１で、このユーザ言動情報を入力したユーザのユーザＩＤは、「００７」となっている。

ここで、たとえば「Ａ」と「Ｂ」という回答が入力され、「Ｂ」が正解だった場合、正解したのはユーザＩＤ「００７」の生徒だけである。ここで、ロボット制御装置１００は、ユーザＩＤと、そのユーザＩＤに対応する生徒の名前とを記憶するユーザ情報記憶部を含むことができる。ロボット２００は、ユーザ言動情報記憶部１１８およびユーザ情報記憶部を参照して、ユーザＩＤ「００７」に対応する生徒の名前を発表する。このようにすれば、生徒が回答を入力した時点では、その回答を誰が入力したかが他の人に知られないようにするとともに、回答が正解だった場合に入力した人が明示されるようにできる。これにより、あまり自信がない場合であっても、生徒が自分の意見を入力するようにすることができる。また、ほめられることにより、生徒が自信を持つことができるようにすることもできる。

また、他の例として、ロボット２００は、不参加者または遠隔参加者に付与された一般入力手段から入力されるユーザ言動情報に基づき、言動を実行することもできる。このようにすれば、テレビ会議や遠隔地にいるユーザからのユーザ言動情報についても、ロボット２００が表現することができる。

また、他の例として、生徒の保護者が遠隔で授業に参加することができる。保護者はロボット２００のカメラ画像とマイク音声を通して、授業の様子を見ることができ、首を動かすことで子供の様子をチェックすることもできる。したがって、保護者にとって透明性や安心感の向上という効果も得られる。

また、一つの教室や会場に、複数のロボット２００を配置することもできる。この場合、参加者をグループ分けし、あるグループの参加者から入力されるユーザ言動情報を一のロボットに、他のグループの参加者から入力されるユーザ言動情報を他のロボットに送信することができる。これにより、それぞれのロボットが、各グループの参加者の言動を代表して表現するようにすることができる。

また、ユーザ言動情報の入力手段は、たとえばカメラとすることもできる。この場合、会場にカメラを設置し、参加者を順に撮影して、複数の参加者から順次ユーザ言動情報を取得することができる。また、会場に複数のカメラを設置し、複数の参加者から同時にユーザ言動情報を取得することもできる。また、ロボット２００のカメラを用いてユーザ言動情報を取得することもできる。これらの場合、参加者の視線やうなずく仕種を検出することにユーザ言動情報を取得することができる。たとえば、カメラ画像から、うなずいている人が多い場合はロボット２００もうなずき、こっくりこっくりしている人が多い場合は、ロボット２００も眠そうな表現をすることもできる。

また、ユーザ言動情報の入力手段は、たとえば血圧センサや発汗センサとすることもできる。この場合、参加者の興奮の度合い等がわかるため、興奮している場合はロボット２００の発話を興奮気味のテンションにしたり、沈静している場合は落ち着いた口調にしたりできる。沈静しすぎている場合は、ロボット２００が先生に内容を質問したり、学校の授業に変化をもたせることで、生徒の眠気覚ましを行うこともできる。

なお、以上の実施の形態においては、ロボット制御装置１００がロボット装置であるロボット２００に組み込まれる例を説明したが、ロボット制御装置１００は、キャラクタで示される仮想ロボットを制御する構成とすることもできる。この場合、仮想ロボットはモニタ等に表示して実現することができる。

本発明は、以下の態様も含む。
（１）会議や授業、講義に参加するロボットであって、発表者、聴講者、司会者、先生、生徒等の参加者が使用するための会議参加者用入力手段を内部または外部に持ち、無線または有線で会議参加者用入力手段とロボットとの間で通信する通信手段、ロボットの行動を実行するロボット出力手段、を備えたロボット装置。
（２）さらに、多数決、会議進行状態、倫理性のような情報に基づき、ロボットがするべき行動の有無や種類を判断する行動判断手段、を備えたロボット装置。
（３）さらに、ロボット出力手段が、挙手をして発言することにより、匿名的または明示的に参加者の代弁を行うロボット装置。
（４）さらに、ロボット出力手段が、ツッコミ等の発言をしたり、ほめたり拍手したり、笑ったり、うなずいたり、視線を制御したりすることにより、参加者の気持ちを代弁するロボット装置。
（５）さらに、ロボット出力手段が、ほめたり拍手することにより、参加者が拍手するべきタイミングを表現するロボット装置。
（６）さらに、ロボット出力手段が、挙手したり、拍手したり、「異議なし」等と発話することにより、不参加者または遠隔参加者の代理で投票するロボット装置。
（７）さらに、ロボット出力手段が、挙手したり、拍手したり、「異議なし」等と発話することにより、投票の集計結果を表現するロボット装置。
（８）会議や授業、講義またはそのシステムに参加するエージェントの制御方法であって、発表者、聴講者、司会者、先生、生徒等の参加者が使用するための会議参加者用入力手段を内部または外部に持ち、無線または有線で会議参加者用入力手段とエージェントとの間で通信する通信手段、エージェントの行動を実行するエージェント出力手段、を備えたエージェント制御方法。
（９）さらに、多数決、会議進行状態、倫理性のような情報に基づき、エージェントがするべき行動の有無や種類を判断する行動判断手段、を備えたエージェント制御方法。
（１０）さらに、エージェント出力手段が、挙手をして発言することにより、匿名的または明示的に参加者の代弁を行うエージェント制御方法。
（１１）さらに、エージェント出力手段が、ツッコミ等の発言をしたり、ほめたり拍手したり、笑ったり、うなずいたり、視線を制御したりすることにより、参加者の気持ちを代弁するエージェント制御方法。
（１２）さらに、エージェント出力手段が、ほめたり拍手することにより、参加者が拍手するべきタイミングを表現するエージェント制御方法。
（１３）さらに、エージェント出力手段が、挙手したり拍手したり「異議なし」等と発話することにより、不参加者または遠隔参加者の代理で投票するエージェント制御方法。
（１４）さらに、エージェント出力手段が、挙手したり拍手したり「異議なし」等と発話することにより、投票の集計結果を表現するエージェント制御方法。
（１５）上記エージェント制御方法を実行する手段を含む会議システム。
（１６）上記エージェント制御方法を記憶した記憶媒体。

本発明は、会議や授業等に参加するロボットを制御するロボット制御装置、ロボット制御システム、およびロボット制御方法、ならびにこれらに制御されるロボット装置に適用することができる。

本発明の実施の形態におけるロボットが、授業に参加する様子を示す模式図である。 本発明の実施の形態におけるロボットが、授業に参加する様子を示す模式図である。 本発明の実施の形態におけるロボット制御装置の構成を示すブロック図である。 属性記憶部の内部構成の一例を示す図である。 設定記憶部の内部構成の一例を示す図である。 ユーザ言動情報記憶部の内部構成の一例を示す図である。 設定記憶部の内部構成の一部を示す図である。 ロボットの電気的構成の一例を示すブロック図である。 本発明の実施の形態におけるロボット制御装置の処理手順を示すフローチャートである。 ユーザ言動情報記憶部の内部構成の他の例を示す図である。 ユーザ言動情報記憶部の内部構成の他の例を示す図である。 分類テーブルの構成を示す図である。

符号の説明

１０ ロボット制御システム
１００ ロボット制御装置
１０２ ユーザ言動情報取得部
１０４ フィルタ処理部
１０６ タイミング決定部
１０８ 収集部
１１０ 言動決定部
１１２ 出力処理部
１１４ 属性記憶部
１１６ 設定記憶部
１１８ ユーザ言動情報記憶部
１２０ 言動データベース
１２２ 禁止言動記憶部
１２４ 分類テーブル
２００ ロボット
２０１ 胴体部
２０２ 頭部
２１０ コントローラ
２１０Ａ ＣＰＵ
２１０Ｂ メモリ
２１１ バッテリ
２１２ スピーカ
２１３ マイクロフォン
２１４Ａ、２１４Ｂ アクチュエータ
２２１Ａ、２２１Ｂ ＣＣＤカメラ
２２２Ａ、２２２Ｂ アクチュエータ
２２４ 通信インターフェース

Claims (18)

1. ロボットを制御するロボット制御装置であって、
   ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得部と、
   前記ユーザ言動情報取得部が取得した前記ユーザ言動情報を収集する収集部と、
   前記収集部による収集処理の終了タイミングを決定するタイミング決定部と、
   前記タイミング決定部による前記終了タイミングの決定があるまでの前記収集部による前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定部と、
   前記言動決定部が決定した言動を前記ロボットに実行させる出力処理部と、
   を含むロボット制御装置。
2. 請求項１に記載のロボット制御装置において、
   前記収集部は、前記ユーザ言動情報を同種のユーザ言動情報毎に分類して収集するロボット制御装置。
3. 請求項２に記載のロボット制御装置において、
   前記言動決定部は、最も収集数の多い種類の前記ユーザ言動情報を優先的に示す言動を前記ロボットが表現するように、当該ロボットの言動を決定するロボット制御装置。
4. 請求項１乃至３いずれかに記載のロボット制御装置において、
   前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングの後に前記複数のユーザの所定割合以上のユーザから前記ユーザ言動情報を取得したときに、前記収集処理の終了タイミングを決定し、
   前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定するロボット制御装置。
5. 請求項１乃至３いずれかに記載のロボット制御装置において、
   前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングから所定時間が経過したときに、前記収集処理の終了タイミングを決定するロボット制御装置。
   前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定するロボット制御装置。
6. 請求項４または５に記載のロボット制御装置において、
   前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記収集部による収集処理の開始指示が含まれるか否かを判断し、当該開始指示が含まれる場合に、前記収集部による収集処理の開始タイミングを決定するロボット制御装置。
7. 請求項２または３に記載のロボット制御装置において、
   前記ロボットの実行モードの設定と、当該実行モードにおける前記ユーザ言動情報の収集数の閾値とを対応づけて記憶する設定記憶部をさらに含み、
   前記タイミング決定部は、前記設定記憶部を参照して、いずれかの種類の前記ユーザ言動情報の収集数が前記閾値以上となった場合に、前記収集部による収集処理の終了タイミングを決定し、
   前記言動決定部は、前記収集数が閾値以上となった前記ユーザ言動情報を示す言動を前記ロボットが表現するように、当該ロボットの言動を決定するロボット制御装置。
8. 請求項７に記載のロボット制御装置において、
   前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記実行モードの設定の変更指示が含まれるか否かを判断し、当該変更指示が含まれる場合に、前記設定記憶部の前記実行モードの設定を更新するロボット制御装置。
9. 請求項１乃至８いずれかに記載のロボット制御装置において、
   前記ユーザ言動情報取得部は、前記ユーザ言動情報を、各前記ユーザを識別する情報に対応づけて取得するロボット制御装置。
10. 請求項９に記載のロボット制御装置において、
    各前記ユーザを識別する情報と、当該ユーザの属性とを対応づけて記憶する属性記憶部と、
    前記属性記憶部に記憶された前記ユーザの属性に応じて、前記ユーザ言動情報取得部が取得した前記ユーザ言動情報に重み付けを付与する重み付け付与部と、
    をさらに含み、
    前記収集部は、前記ユーザ言動情報を前記重み付け付与部により付与された前記重み付けに対応付けて収集するロボット制御装置。
11. 請求項９に記載のロボット制御装置において、
    前記言動決定部は、所定の条件を満たした場合に、前記ロボットが実行する前記言動に対応する前記ユーザ言動情報に対応付けられた前記ユーザを識別する情報に基づき、前記ロボットが当該ユーザを明示する発言をするように当該ロボットの言動を決定するロボット制御装置。
12. 請求項１乃至１１いずれかに記載のロボット制御装置において、
    前記タイミング決定部は、前記ユーザ言動情報の内容に基づき、当該ユーザ言動情報を前記収集部による収集処理を行うことなく出力するか否かを判断し、
    前記言動決定部は、前記タイミング決定部が前記収集処理を行うことなく出力すると決定した場合に、当該ユーザ言動情報に基づき、前記ロボットの言動を決定することを特徴とするロボット制御装置。
13. 請求項１乃至１２いずれかに記載のロボット制御装置において、
    前記ユーザ言動情報取得部は、前記複数のユーザそれぞれに対応づけられた複数の入力手段からの入力を受け付ける通信処理部を含むロボット制御装置。
14. 請求項１乃至１３いずれかに記載のロボット制御装置と、
    前記ロボット制御装置の前記ユーザ言動取得部とネットワークを介してそれぞれ接続された複数の入力手段と、
    を含むロボット制御システム。
15. 自律移動型または対話型のロボット装置であって、
    請求項１乃至１３いずれかに記載のロボット制御装置と、
    前記出力処理部の出力に基づき、前記言動決定部が決定した前記言動を実行する言動実行部と、
    を含むことを特徴とするロボット装置。
16. ロボットを制御するロボット制御方法であって、
    ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得ステップと、
    前記ユーザ言動情報取得ステップで取得された前記ユーザ言動情報を収集する収集ステップと、
    前記収集ステップにおける収集処理の終了タイミングを決定するタイミング決定ステップと、
    前記タイミング決定ステップにおける前記終了タイミングの決定があるまでの前記収集ステップにおける前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定ステップと、
    前記言動決定ステップで決定された言動を前記ロボットに実行させる出力ステップと、
    を含むロボット制御方法。
17. 請求項１６に記載のロボット制御方法において、
    前記収集ステップは、前記ユーザ言動情報を同種のユーザ言動情報毎に分類するステップを含むロボット制御方法。
18. ロボットを制御するために、コンピュータを、
    ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得手段、
    前記ユーザ言動情報取得手段、が取得した前記ユーザ言動情報を収集する収集手段、
    前記収集手段による収集処理の終了タイミングを決定するタイミング決定手段、
    前記タイミング決定手段による前記終了タイミングの決定があるまでの前記収集手段による前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定手段、
    前記言動決定手段が決定した言動を前記ロボットに実行させる出力処理手段、
    として機能させることを特徴とするプログラム。

Images