JP7006691B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

例えば特許文献１には、ユーザからの伝言を得て、該ユーザが望む第三者と対話して上記伝言を通知するロボット装置についての技術が開示されている。

特開２００４－９０１０９号公報

そのようなロボットにネットワーク通信機能を搭載することで、外部からのメッセージに対して実行する処理を決定して、メッセージの発信者に応答することが可能になると考えられる。

そこで、本開示では、外部からのメッセージに対して実行する処理を決定して、メッセージの発信者に応答することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提案する。

本開示によれば、メッセージデータを取得する取得部と、前記メッセージデータを解析して処理対象及び実行する処理を決定する処理決定部と、前記処理の結果を含んだ応答メッセージを出力する出力部と、を備える、情報処理装置が提供される。

また本開示によれば、プロセッサが、メッセージデータを取得することと、前記メッセージデータを解析して処理対象及び実行する処理を決定することと、前記処理の結果を含んだ応答メッセージを出力することと、を含む、情報処理方法が提供される。

また本開示によれば、コンピュータに、メッセージデータを取得することと、前記メッセージデータを解析して処理対象及び実行する処理を決定することと、前記処理の結果を含んだ応答メッセージを出力することと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、外部からのメッセージに対して実行する処理を決定して、メッセージの発信者に応答することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施の形態に係る情報処理システム１の全体構成例を示す説明図である。 同実施の形態に係るエージェント装置１００の外観例を示す説明図である。 同実施の形態に係るエージェント装置１００の機能構成例を示す説明図である。 同実施の形態に係るエージェント装置１００の動作例を示す流れ図である。 スマートフォン２００のディスプレイ２１０に表示されるユーザインターフェースの例を示す説明図である。 スマートフォン２００のディスプレイ２１０に表示されるユーザインターフェースの例を示す説明図である。 スマートフォン２００のディスプレイ２１０に表示されるユーザインターフェースの例を示す説明図である。 スマートフォン２００のディスプレイ２１０に表示されるユーザインターフェースの例を示す説明図である。 エージェント装置１００が、撮像処理の前に撮像しても構わないかどうかを呼びかける様子を示す説明図である。 同実施の形態に係るエージェント装置１００の動作例を示す流れ図である。 本開示の実施の形態に係る情報処理システム１の全体構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．システム構成例
１．２．外観例
１．３．機能構成例
１．４．動作例
１．５．応用例
２．まとめ

＜１．本開示の実施の形態＞
［１．１．システム構成例］
まず、図１を参照して、本開示の実施形態に係る情報処理システムの概略構成について説明する。

図１は、本開示の実施の形態に係る情報処理システム１の全体構成例を示す説明図である。図１に示したように、本開示の実施の形態に係る情報処理システム１は、メッセージサーバ１０、音声認識サーバ２０、エージェント装置１００、及びスマートフォン２００を含んで構成される。エージェント装置１００は、人間との会話機能、及び、ネットワーク通信機能を有する情報処理装置のことである。

メッセージサーバ１０は、ネットワークを通じたテキストメッセージ、画像データ、音声データ等（以下、これらを総称してメッセージデータとも称する）のやり取りを仲介するサーバである。メッセージデータは、例えば、スマートフォン２００にインストールされたアプリケーションによって、ユーザが指定した宛先のユーザとの間で送受信される。本実施形態では、スマートフォン２００は、メッセージデータの宛先としてエージェント装置１００を指定することが可能である。メッセージサーバ１０は、スマートフォン２００からエージェント装置１００を宛先に指定したメッセージデータが送信されると、そのメッセージデータをエージェント装置１００へ送信する。同様にメッセージサーバ１０は、エージェント装置１００からスマートフォン２００を宛先に指定したメッセージデータが送信されると、そのメッセージデータをスマートフォン２００へ送信する。

音声認識サーバ２０は、エージェント装置１００が集音した、エージェント装置１００に向かって話しかけられた人間の音声の内容を認識する音声認識処理を実行するサーバである。音声認識サーバ２０は、音声認識処理の内容として例えば音声の内容の解析処理、文字列への変換処理、発話者の認識処理などを実行する。

エージェント装置１００は、上述したように、人間との会話機能、及び、ネットワーク通信機能を有する情報処理装置である。エージェント装置１００の具体的な外観例、及び機能構成例については後に詳述する。

スマートフォン２００は、専用のオペレーティングシステム（ＯＳ）を備えた携帯電話であり、通話機能に加えてネットワーク通信機能を有する装置である。本実施形態では、スマートフォン２００は、所定のアプリケーションをインストールすることで、メッセージサーバ１０を介したエージェント装置１００との間のメッセージデータの送受信処理を可能とする。

エージェント装置１００とスマートフォン２００とがメッセージサーバ１０を介してメッセージデータの送受信を行う際には、あらかじめ、エージェント装置１００とスマートフォン２００との連携がなされているものとする。エージェント装置１００とスマートフォン２００との連携方法については特定の方法に限定されるものでは無い。例えば、エージェント装置１００で設定されたＩＤをスマートフォン２００のアプリケーションへ入力することで、エージェント装置１００とスマートフォン２００との連携がされるようにしてもよく、エージェント装置１００のディスプレイに表示される二次元バーコードをスマートフォン２００で撮像して認識することで、エージェント装置１００とスマートフォン２００との連携がされるようにしてもよい。

以上、本開示の実施の形態に係る情報処理システム１の構成例を説明した。続いて、本開示の実施の形態に係るエージェント装置１００の外観例を説明する。

［１．２．外観例］
図２は、本開示の実施の形態に係るエージェント装置１００の外観例を示す説明図である。以下、図２を用いて本開示の実施の形態に係るエージェント装置１００の外観例について説明する。

本開示の実施の形態に係るエージェント装置１００は、土台部１０２、胴体部１０４及び頭部１０６からなる。土台部１０２は、エージェント装置１００をテーブル等に設置した際にエージェント装置１００を安定させる。

胴体部１０４は、ディスプレイ１１０を備える。ディスプレイ１１０は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。またディスプレイ１１０はタッチパネルを備えうる。胴体部１０４は水平方向に所定の角度、例えば略３６０度回動可能であり、その際、エージェント装置１００は、土台部１０２を動かさないままで胴体部１０４だけを回動させることが可能である。

頭部１０６は、胴体部１０４の上部に設けられる。頭部１０６は、発光部１０８ａ、１０８ｂを備える。発光部１０８ａ、１０８ｂの発光領域や発光色は、エージェント装置１００の状態によって変化しうる。例えば、発光部１０８ａ、１０８ｂの発光領域が短時間で変化することで、まるでエージェント装置１００が瞬きをしているかのような動作が可能となる。また、頭部１０６は上下左右に所定の角度回動可能であり、その際、エージェント装置１００は、土台部１０２及び胴体部１０４を動かさないままで頭部１０６だけを回動させることが可能である。

胴体部１０４は、頭部１０６との境界部分にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）によるインジケータ１１１を有する。インジケータ１１１は、エージェント装置１００の状態により発光パターンや発光色が変化しうる。

例えば、ユーザがエージェント装置１００に話しかけている間は、エージェント装置１００は、発話を認識している間、インジケータ１１１を点灯させ続け、エージェント装置１００から音声を出力する間は、エージェント装置１００は、音声の出力に合わせてインジケータ１１１を点滅させてもよい。

図２には図示しないが、本開示の実施の形態に係るエージェント装置１００は、後述するように、周囲の環境を撮像するカメラ、人間の声や周囲の環境音などを集音するマイク、音声を出力するスピーカ、エージェント装置１００や周囲の環境の状態をセンシングするセンサを備える。エージェント装置１００は、人間の声や周囲の環境音などを集音しやすいようにビームフォーミングされたマイクを複数備える。

また図２には図示しないが、本開示の実施の形態に係るエージェント装置１００は、ディスプレイ１１０の反対側に、近接非接触通信を行うリーダライタを備える。リーダライタにＩＣカードを近接させると、エージェント装置１００は、その近接に応じた処理を実行することができる。

本開示の実施の形態に係るエージェント装置１００は、ユーザの発話内容を解析して、その発話内容に応じた処理を実行することが可能なように構成されている。例えば、エージェント装置１００は、ユーザの発話内容を解析して、その発話内容に応じて音声を出力することで、ユーザの対話処理を行うことが出来る。具体的には、ユーザが「明日の東京の天気予報を教えて」とエージェント装置１００に話しかけると、エージェント装置１００は、発話内容を解析して、東京の翌日の天気予報をインターネットから取得する。そしてエージェント装置１００は、例えば「明日の東京は晴れ時々曇りでしょう」などと音声や文字、画像などで出力する。

また本開示の実施の形態に係るエージェント装置１００は、あるユーザ（ユーザＸとする）が別のユーザ（ユーザＹとする）に音声メッセージを含む伝言を残したい場合に、ユーザＸが発した言葉を解析し、伝言の内容と伝言の宛先（ユーザＹ）に関する情報とを保存する。そしてユーザＹの存在を検知すると、エージェント装置１００は、そのユーザＹに対して、ユーザＸが残した伝言を発する。

以上、図２を用いて本開示の実施の形態に係るエージェント装置１００の外観例を説明した。続いて、本開示の実施の形態に係るエージェント装置１００の機能構成例を説明する。

［１．３．機能構成例］
図３は、本開示の実施の形態に係るエージェント装置１００の機能構成例を示す説明図である。以下、図３を用いて本開示の実施の形態に係るエージェント装置１００の機能構成例について説明する。

図３に示したように、本開示の実施の形態に係るエージェント装置１００は、発光部１０８ａ、１０８ｂと、ディスプレイ１１０と、インジケータ１１１と、センサ１１２と、制御部１１４と、記憶部１１６と、スピーカ１１８と、マイク１２０と、モータ１２２と、カメラ１２４と、通信部１２６と、リーダライタ１２８と、を含んで構成される。ここでは、図２に示されていないセンサ１１２と、制御部１１４と、記憶部１１６と、スピーカ１１８と、マイク１２０と、モータ１２２と、カメラ１２４と、通信部１２６と、リーダライタ１２８と、について説明する。

センサ１１２は、エージェント装置１００や周囲の環境の状態をセンシングし、センシングにより得られたセンシングデータを制御部１１４に出力する。センサ１１２は、例えば、人感センサ、測位センサ、ジャイロセンサ、地磁気センサ、照度センサ、温度センサ、湿度センサ、気圧センサ、心拍センサなどの様々なセンサの中から少なくともいずれかのセンサで構成される。なお、上述の測位センサとしては、例えば具体的には、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機、および／または通信装置などを含みうる。ＧＮＳＳは、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ＢＤＳ（ＢｅｉＤｏｕ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ＱＺＳＳ（Ｑｕａｓｉ－Ｚｅｎｉｔｈ Ｓａｔｅｌｌｉｔｅｓ Ｓｙｓｔｅｍ）、またはＧａｌｉｌｅｏなどを含みうる。また測位センサとしては、例えば、無線ＬＡＮ、ＭＩＭＯ（Ｍｕｌｔｉ－Ｉｎｐｕｔ Ｍｕｌｔｉ－Ｏｕｔｐｕｔ）、セルラー通信（例えば携帯基地局を使った位置検出、フェムトセル）、または近距離無線通信（例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標））などの技術を利用して位置を検出するものが含まれうる。

制御部１１４は、例えばＣＰＵ（Ｃｅｎｔｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成され、エージェント装置１００の動作を制御する。制御部１１４は、エージェント装置１００の動作を制御するに際して、センサ１１２が出力するセンシングデータ、マイク１２０が集音した音声データ、カメラ１２４が撮像した画像データ、通信部１２６が受信した通信データ、記憶部１１６に記憶されているデータ等を用いうる。

本実施形態では、制御部１１４は、以下で詳細に説明するような動作を実行する。制御部１１４が以下で説明するような動作を実行することで、エージェント装置１００は、人間との対話処理や、人間に対する伝言処理などを実行することが出来る。従って、制御部１１４は、本開示の処理決定部として機能しうる。

記憶部１１６は、例えば不揮発性または揮発性のメモリで構成され、エージェント装置１００の動作に必要なプログラムやデータを保持したり、エージェント装置１００の動作のログを記憶したりする。具体的には、記憶部１１６は、動作のログとして、カメラ１２４で認識したユーザ及びその認識時刻、ユーザとの会話内容及び会話時刻、スマートフォン２００との間で送受信されたメッセージデータの内容などを記憶する。

スピーカ１１８は、制御部１１４の制御によって音声を出力する。マイク１２０は、エージェント装置１００の周囲にいる人間の声や周囲の環境音などを集音する。マイク１２０が集音した音は制御部１１４に送られる。モータ１２２は、制御部１１４の制御によって、胴体部１０４や頭部１０６を駆動させるためのモータである。カメラ１２４は、エージェント装置１００の周囲の環境を静止画像または動画像で撮像する。カメラ１２４は、例えば頭部１０６に設けられ、エージェント装置１００の正面（発光部１０８ａ、１０８ｂが設けられている面）の方向を撮像する。通信部１２６は、例えば無線ＬＡＮ等に接続したり、赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格を用いたりして、他の装置との間で通信処理を実行する。リーダライタ１２８は、近接非接触通信によってＩＣカード等との間で通信を実行する。

なお、通信部１２６は、本開示の取得部及び出力部の一例として機能しうる。

本開示の実施の形態に係るエージェント装置１００は、係る構成を有することで、以下で説明するような動作を実行することが出来る。

以上、図３を用いて本開示の実施の形態に係るエージェント装置１００の機能構成例を説明した。続いて、本開示の実施の形態に係る情報処理システム１の動作例を説明する。

［１．４．動作例］
本開示の実施の形態に係る情報処理システム１の動作例として、エージェント装置１００の動作例を説明する。図４は、本開示の実施の形態に係るエージェント装置１００の動作例を示す流れ図である。以下、図４を用いて本開示の実施の形態に係るエージェント装置１００の動作例を説明する。

エージェント装置１００は、メッセージサーバ１０から、メッセージデータを受信すると（ステップＳ１０１）、受信したメッセージデータに基づいて、実行する処理を決定する（ステップＳ１０２）。ステップＳ１０１のメッセージデータの受信処理は、例えば通信部１２６が実行する。また、ステップＳ１０２の処理は、例えば制御部１１４が実行する。

例えば、メッセージサーバ１０から受信したメッセージデータが、家族の様子を知らせて欲しい旨の内容であれば、エージェント装置１００は、記憶部１１６に記憶されている動作ログを参照する処理を実行する。また例えば、メッセージサーバ１０から受信したメッセージデータが、エージェント装置１００の周囲を撮像して欲しい旨の内容であれば、エージェント装置１００は、カメラ１２４を用いて周囲を撮像する。エージェント装置１００は、メッセージデータの受信に応じて周囲を撮像する場合には、後述するように、撮像許可を求めても良い。

続いて、エージェント装置１００は、上記ステップＳ１０２で決定した処理を実行し、メッセージデータを送信してきた相手への応答メッセージを生成する（ステップＳ１０３）。ステップＳ１０３の処理は、例えば制御部１１４が実行する。

例えば、メッセージサーバ１０から受信したメッセージデータが、家族の様子を知らせて欲しい旨の内容であれば、エージェント装置１００は、家族のそれぞれについて、最後に見掛けたのがどの程度前なのかを記した応答メッセージを生成する。また例えば、メッセージサーバ１０から受信したメッセージデータが、エージェント装置１００の周囲を撮像して欲しい旨の内容であれば、エージェント装置１００は、周囲を撮像した画像を含めた応答メッセージを生成する。

続いて、エージェント装置１００は、上記ステップＳ１０３で生成した応答メッセージを、メッセージサーバ１０へ送信する（ステップＳ１０４）。ステップＳ１０４の応答メッセージの送信処理は、例えば通信部１２６が実行する。

エージェント装置１００は、図４に示した一連の動作を実行することで、メッセージサーバ１０から送られてきたメッセージデータを解析し、そのメッセージデータに応じた処理を決定することが出来る。そしてエージェント装置１００は、決定した処理を実行し、その処理に基づいた応答メッセージを生成することが出来る。さらにエージェント装置１００は、生成した応答メッセージをメッセージサーバ１０に送信することが出来る。

エージェント装置１００は、図４に示した一連の動作を実行することでスマートフォン２００に表示されるユーザインターフェースの例を示す。図５～図８は、スマートフォン２００のディスプレイ２１０に表示されるユーザインターフェースの例を示す説明図である。図５～８に示したのは、スマートフォン２００にインストールされたアプリケーションを使用して、メッセージサーバ１０を通じたエージェント装置１００との間のメッセージデータの送受信処理を実行している際に、ディスプレイ２１０に表示されるユーザインターフェースの例である。

図５は、スマートフォン２００のユーザが、例えば外出先からエージェント装置１００に対して、家の様子を教えて欲しい旨のメッセージデータを送信した場合の、ディスプレイ２１０の状態が示されている。ボタン２１１は、スマートフォン２００のユーザがエージェント装置１００へ伝言メッセージを届けるためのボタンである。ここでのメッセージはテキストメッセージであってもよく、音声メッセージであってもよい。ボタン２１２は、エージェント装置１００に家族の様子を教えてもらうためのボタンである。ボタン２１３は、エージェント装置１００に周囲を撮像して、撮像画像を送信してもらうためのボタンである。ボタン２１４は、ボタン２１１は、スマートフォン２００のユーザがエージェント装置１００へメッセージを送信するためのボタンであり、機能としては、ボタン２１２、２１３を押した場合と同等のものである。ボタン２１４が押されると、テキストメッセージを入力するための入力エリアや、画像を送信するためのボタンがディスプレイ２１０に表示される。

図５は、スマートフォン２００のユーザが、ボタン２１２を押した場合にディスプレイ２１０に表示されるユーザインターフェースの例である。スマートフォン２００のユーザが、ディスプレイ２１０に表示されるボタン２１２を押すと、図５に示したように、エージェント装置１００に対して家の様子を教えてもらうためのメッセージデータ２２１が表示される。またスマートフォン２００のユーザが、ディスプレイ２１０に表示されるボタン２１２を押すと、スマートフォン２００は、メッセージデータ２２１をメッセージサーバ１０へ送信する。メッセージサーバ１０は、スマートフォン２００から送信されたメッセージデータを、宛先であるエージェント装置１００へ送信する。

エージェント装置１００は、家の様子を教えてもらうためのメッセージデータをメッセージサーバ１０から受信すると、記憶部１１６に記憶されているデータを参照して応答メッセージを生成する処理を実行することを決定する。そしてエージェント装置１００は、記憶部１１６に記憶されているデータを参照して応答メッセージを生成し、メッセージデータの送信元であるスマートフォン２００へ応答メッセージを送信する処理を実行する。

例えば、制御部１１４が、記憶部１１６に記憶されているデータを参照した結果、息子のまなぶ君を認識したのが５分前であるが、妻（まなぶ君から見ればお母さん）は今日は一度も認識していないと判断したとする。その場合、制御部１１４は、まなぶ君は５分前に見掛けたが、お母さんは朝から一度も見掛けていない旨の応答メッセージを生成する。

図６は、エージェント装置１００からの応答メッセージを受信したスマートフォン２００のディスプレイ２１０に表示されるユーザインターフェースの例である。図６には、エージェント装置１００からの応答メッセージ２２２として、まなぶ君は５分前に見掛けたが、お母さんは朝から一度も見掛けていない旨のメッセージがディスプレイ２１０に表示されている様子が示されている。

ここでは、家の様子を教えて欲しい旨のメッセージデータをスマートフォン２００から送信した例を示したが、本開示は係る例に限定されるものでは無い。例えば、家族の中の特定の人物を指定して、その人物の様子を教えて欲しい旨のメッセージデータがスマートフォン２００から送信されても良い。例えば、スマートフォン２００から「まなぶ君の様子を教えて」というメッセージデータが、メッセージサーバ１０を通じてエージェント装置１００に送られても良い。エージェント装置１００は、メッセージサーバ１０から「まなぶ君の様子を教えて」というメッセージデータを受信すると、記憶部１１６に記憶されているデータの中から、まなぶ君についてのデータを参照し、応答メッセージを生成する。

エージェント装置１００は、例えば、最後にスマートフォン２００からメッセージデータが送られてきてから現在までの期間を参照すべきログ情報の範囲としてもよい。またエージェント装置１００は、例えば、スマートフォン２００からメッセージデータが送られてきた時間が属する日を参照すべきデータの期間としてもよい。スマートフォン２００から送信されたメッセージデータに期間が明示的に指定されていれば、エージェント装置１００は、その期間を参照すべきデータの期間としてもよい。例えば「１時間以内のまなぶ君の様子を教えて」や、「午前中のまなぶ君の様子を教えて」というメッセージデータがスマートフォン２００から送られてくれば、エージェント装置１００は、その期間を参照すべきデータの期間と判断する。

図７は、スマートフォン２００のユーザが、エージェント装置１００に周囲を撮像させるためのボタン２１３を押した場合にディスプレイ２１０に表示されるユーザインターフェースの例である。スマートフォン２００のユーザが、ディスプレイ２１０に表示されるボタン２１３を押すと、エージェント装置１００は、メッセージサーバ１０を介して、周囲を撮像するコマンドを含んだメッセージデータを受信する。

エージェント装置１００は、周囲を撮像するコマンドを含んだメッセージデータを受信すると、そのまま撮像を実行しても良いが、撮像の前に、撮像しても構わないかどうかを呼びかけてもよい。図７には、エージェント装置１００が、撮像の前に、撮像しても構わないかどうかを周囲に呼びかけている旨の応答メッセージ２２３が、スマートフォン２００のディスプレイ２１０に表示されている様子が示されている。撮像の許可が得られた場合、エージェント装置１００は、胴体部１０４や頭部１０６を動かしながら、カメラ１２４を用いた撮像を実行する。

図８は、スマートフォン２００のディスプレイ２１０に表示されるユーザインターフェースの例を示す説明図である。図８には、エージェント装置１００からの、周囲を撮像した旨の応答メッセージ２２４、及び、エージェント装置１００がカメラ１２４で撮像した画像２２５ａ、２２５ｂが、スマートフォン２００のディスプレイ２１０に表示されている様子が示されている。このようにエージェント装置１００がカメラ１２４で撮像した画像を、メッセージサーバ１０を介してスマートフォン２００に送られることで、スマートフォン２００のユーザは、エージェント装置１００の周囲の状況を外出先などから確認することが出来る。

なお、エージェント装置１００は、静止画像だけでなく動画像を撮像し、スマートフォン２００に送信してもよい。またエージェント装置１００は、静止画像を撮像する際に、異なるアングルで撮像した画像を繋ぎ合わせてパノラマ効果を得た画像を撮像しても良い。

上述したように、エージェント装置１００は、周囲を撮像するコマンドを含んだメッセージデータを受信すると、撮像処理の前に、撮像しても構わないかどうかを呼びかけてもよい。図９は、エージェント装置１００が、撮像処理の前に撮像しても構わないかどうかを呼びかける様子を示す説明図である。図９には、エージェント装置１００が、撮像処理の前に「写真をとっていいですか？」と周囲に呼びかけている様子が示されている。この際、エージェント装置１００のディスプレイ１１０には、カメラ１２４が見ている画像（スルー画）が表示されている。

この際にエージェント装置１００の周囲にいる人間の誰かが「いいよ」などの肯定的なメッセージを発すると、エージェント装置１００は、胴体部１０４や頭部１０６を動かしながら、カメラ１２４を用いた撮像処理を実行する。カメラ１２４を用いた撮像処理を実行する場合、エージェント装置１００は、「写真を撮ってます」などの、撮像中である旨のメッセージをスピーカ１１８から発しても良い。

一方、エージェント装置１００の周囲にいる人間の誰かが「だめだよ」などの否定的なメッセージを発したり、頭部１０６を押したりするなどのアクションを行うと、エージェント装置１００は、カメラ１２４を用いた撮像処理を実行しない。カメラ１２４を用いた撮像処理を実行しない場合、エージェント装置１００は、「写真撮影を中止しました」などの、撮像処理を中止した旨のメッセージをスピーカ１１８から発しても良い。エージェント装置１００の周囲にいる人間が所定の時間の間、何も言葉を発しなかったり何もアクションを起こさなかったりした場合は、エージェント装置１００は、カメラ１２４を用いた撮像処理を実行する。なお、どのようなメッセージが発せられた場合に、または、どのようなアクションが行われた場合に、エージェント装置１００が撮像処理をキャンセルするかは、設定によって変更が可能であってもよい。例えば、頭部１０６を押した場合にエージェント装置１００が撮像処理をキャンセルするという設定がなされてもよく、頭部１０６を押した場合にエージェント装置１００が撮像処理を実行するという設定がなされてもよい。また、エージェント装置１００があらかじめ認識している人物ではない人物をカメラ１２４で認識した場合には、エージェント装置１００は、撮像処理をキャンセルさせるためのアクションがなされた場合であっても、撮像処理を実行しても良い。もちろん、撮像処理をキャンセルさせるためのアクションは上述の例に限定されないものであることは言うまでもない。

図１０は、本開示の実施の形態に係るエージェント装置１００の動作例を示す流れ図である。図１０に示したのは、スマートフォン２００から撮像指示を含んだメッセージデータがメッセージサーバ１０を介して送られて来た際のエージェント装置１００の動作例である。以下、図１０を用いて本開示の実施の形態に係るエージェント装置１００の動作例を説明する。

エージェント装置１００は、スマートフォン２００から撮像指示を含んだメッセージデータを受信すると（ステップＳ１１１）、キャンセルされるまで待機する（ステップＳ１１２）。ステップＳ１１１のメッセージデータの受信処理は、例えば通信部１２６が実行する。また、ステップＳ１１２の処理は、例えば制御部１１４が実行する。キャンセルの判断基準は、例えば上述したような「だめだよ」などの否定的なメッセージが発せられたり、頭部１０６を押したりするなどのアクションがされたかどうか、また、所定の時間の間、何も言葉を発しなかったり何もアクションを起こさなかったか、である。

キャンセルがされなければ（ステップＳ１１２、Ｎｏ）、エージェント装置１００は、カメラ１２４を用いた撮像処理を実行する（ステップＳ１１３）。一方、キャンセルがされれば（ステップＳ１１２、Ｙｅｓ）、エージェント装置１００は、カメラ１２４を用いた撮像処理を実行しない。

撮像処理を実行した場合であっても、実行しなかった場合であっても、エージェント装置１００は、スマートフォン２００への応答メッセージを生成して、スマートフォン２００へ送信する（ステップＳ１１４）。エージェント装置１００は、撮像処理を実行した場合は、上記ステップＳ１１３における撮像処理により得られた画像を応答メッセージに含めてスマートフォン２００へ送信する。一方、エージェント装置１００は、撮像処理を実行しなかった場合は、撮像処理を実行なかった旨の応答メッセージを生成して、スマートフォン２００へ送信する。撮像処理を実行しなかった場合は、エージェント装置１００は、どのような理由によって撮像処理を実行しなかったのかを応答メッセージに含めても良い。否定的なメッセージが発せられた場合において、そのメッセージを発した人物を音声認識処理によって特定できれば、エージェント装置１００は、誰が撮像処理をキャンセルしたのかを応答メッセージに含めても良い。また否定的なアクションが実行された場合において、そのアクションを実行した人物を、カメラ１２４で撮像した画像を用いた画像認識処理によって特定できれば、エージェント装置１００は、誰が撮像処理をキャンセルしたのかを応答メッセージに含めても良い。

本開示の実施の形態に係るエージェント装置１００は、図１０に示した一連の動作を実行することで、スマートフォン２００から送られてきた撮像指示を含むメッセージデータの受信に応じて、カメラ１２４を用いた撮像処理を実行することが出来る。またその際、エージェント装置１００の周囲にいる人間から撮像処理のキャンセルのアクションが起こされた場合には、エージェント装置１００は、撮像処理をキャンセルすると共に、撮像処理がキャンセルされた旨のメッセージをスマートフォン２００へ送信することが出来る。

本開示の実施の形態に係るエージェント装置１００は、カメラ１２４を用いた撮像処理を実行する際に、メッセージデータに撮像対象として撮像方向や撮像場所に関する情報が含まれていれば、その情報に従ってもよい。エージェント装置１００は、部屋の中の物体の位置を認識出来ているという前提において、スマートフォン２００から具体的な撮像方向や撮像場所に関する情報が含まれていれば、その情報に従って胴体部１０４や頭部１０６を移動させて、カメラ１２４を用いた撮像処理を実行してもよい。

エージェント装置１００は、スマートフォン２００からメッセージサーバ１０を通じて伝言を受け付けることが可能である。例えば、図５などに示したユーザインターフェースにおいてボタン２１１が押下されると、エージェント装置１００へ伝言を残すことが可能である。この伝言は音声であっても良く、テキストであっても良い。

［１．５．応用例］
ここまでの例では、スマートフォン２００からエージェント装置１００に対してメッセージデータを送信し、エージェント装置１００がそのメッセージデータに応じた処理を実行し、応答メッセージをスマートフォン２００に返す例を示した。この一連の処理を応用して、例えば、家の中に置かれているセンサや家電製品の状態を外出先からエージェント装置１００に確認させたり、家の中の他のエージェント装置１００との間で連携させたりすることも可能となる。

図１１は、本開示の実施の形態に係る情報処理システム１の構成例を示す説明図である。図１１には、メッセージサーバ１０、音声認識サーバ２０、エージェント装置１００ａ、１００ｂ、スマートフォン２００、家電製品３００、及びセンサ４００を備える情報処理システム１が示されている。

家電製品３００としては、例えば、テレビ、ハードディスクレコーダ、エアコンディショナー、冷蔵庫、照明器具等があり得る。家電製品３００は、ネットワーク通信機能を有し、エージェント装置１００ａとの間で無線通信を行えるものとする。また、それぞれの家電製品３００は、エージェント装置１００ａからの命令により動作を制御したり、状態をエージェント装置１００ａに通知したりすることができるものとする。

センサ４００としては、例えば、人感センサ、玄関のドアや窓などの施錠状態を確認するセンサ、蛇口の状態を確認するセンサ、ガス漏れの有無を確認するセンサ、ネットワークカメラなどがあり得る。センサ４００も、ネットワーク通信機能を有し、エージェント装置１００ａとの間で無線通信を行えるものとする。また、それぞれのセンサ４００は、エージェント装置１００ａからの命令により動作を制御したり、状態をエージェント装置１００ａに通知したりすることができるものとする。

このように情報処理システム１が構成されていることで、スマートフォン２００のユーザは、外出先から家の中の様子をエージェント装置１００ａに確認させたり、家電製品３００の動作をエージェント装置１００ａから制御させたりすることが可能となる。

例えば、スマートフォン２００から家電製品３００の状態を確認するためのメッセージデータをエージェント装置１００ａに送信すると、エージェント装置１００ａは、指定された家電製品３００との間で通信を行って家電製品３００の状態に関する情報を収集する。そしてエージェント装置１００ａは、収集した、家電製品３００の状態に関する情報を応答メッセージとしてスマートフォン２００に送信する。

また例えば、スマートフォン２００から玄関や窓の施錠状態を確認するためのメッセージデータをエージェント装置１００ａに送信すると、エージェント装置１００ａは、指定されたセンサ４００との間で通信を行ってセンサ４００の状態に関する情報を収集する。そしてエージェント装置１００ａは、収集した、センサ４００の状態に関する情報を応答メッセージとしてスマートフォン２００に送信する。

このようにセンサ４００から情報を収集することで、エージェント装置１００ａは、エージェント装置１００ａが認識出来ない場所の情報を集めて、スマートフォン２００にその情報を提供することが可能となる。

また、家の中に複数のエージェント装置１００ａ、１００ｂが置かれている場合に、その複数のエージェント装置１００ａ、１００ｂは、相互に連携して、スマートフォン２００からのメッセージデータに対する応答メッセージを生成しても良い。このユースケースは以下のような場合に有用であると考えられる。

例えば、スマートフォン２００のユーザが、外出先から子供の状態を確認するためのメッセージデータをエージェント装置１００ａに送信する。そのメッセージデータを受信したエージェント装置１００ａは、所定の期間においてその子供に関するログが記憶部１１６に記憶されているかどうかを確認するが、所定の期間においてその子供に関するログが記憶部１１６に記憶されていなければ、別のエージェント装置１００ｂに、所定の期間においてその子供に関するログが記憶されているかどうかを問い合わせる。もしエージェント装置１００ｂにその子供に関するログが記憶されていれば、エージェント装置１００ａはエージェント装置１００ｂからそのログを取得して、子供の状態を含んだ応答メッセージを生成する。一方、もしエージェント装置１００ｂにもその子供に関するログが記憶されていなければ、エージェント装置１００ａは、どのエージェント装置もその子供を見掛けていない旨の応答メッセージを生成する。

このように、家の中にある様々なデバイスとの連携により、図１１に示したエージェント装置１００ａは、スマートフォン２００から送信されたメッセージデータに応じて、デバイスの状態を取得したり、デバイスを制御したりして、その結果を応答メッセージとしてスマートフォン２００へ送信することができる。

スマートフォン２００は、外出先からエージェント装置１００に対して、当該スマートフォン２００のユーザの家族の居場所を問い合わせるためのメッセージデータを送信してもよい。家族の居場所を問い合わせるためのメッセージデータを受信したエージェント装置１００は、登録されている家族のデバイスに問い合わせを行って、そのデバイスから位置情報を取得するようにしても良い。そしてエージェント装置１００は、家族のデバイスから取得した位置情報を含んだ応答メッセージをスマートフォン２００へ返すようにしても良い。位置情報を含んだ応答メッセージをスマートフォン２００へ返す際には、エージェント装置１００は、会社、学校などの具体的な場所を返しても良く、「家の中にいません」のように家に居るかどうか程度の粒度で返しても良い。

なお上述の例では、メッセージデータはネットワークを通じて送られてくるものとして説明したが、本開示は係る例に限定されるものでは無い。例えば、音声データとして送られても良い。エージェント装置１００は、音声データを集音すると、集音した音声データを音声認識サーバ２０に送信して認識してもらい、その認識結果に基づいて実行する処理を決定しても良い。

＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、外部から送信されてきたメッセージデータに基づいて実行する処理を決定し、その処理の結果が含まれた応答メッセージを生成し、出力する、エージェント装置１００が提供される。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述の例では、メッセージデータを送信するのはスマートフォンであるとして説明したが、本開示は、メッセージデータを送信する装置はスマートフォンに限定されるものでは無い。例えば通信機能を持ったウェアラブルデバイスが、メッセージサーバ１０へメッセージデータを送信するようにしてもよい。その他にも、通信機能を持ち、メッセージサーバ１０へメッセージデータを送信する機能を有するデバイスは、本開示におけるメッセージデータを送信するデバイスとなり得る。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
メッセージデータを取得する取得部と、
前記メッセージデータを解析して処理対象及び実行する処理を決定する処理決定部と、
前記処理の結果を含んだ応答メッセージを出力する出力部と、
を備える、情報処理装置。
（２）
ログ情報を記憶する記憶部をさらに備え、
前記処理決定部は、前記記憶部に記憶されている前記ログ情報を参照する処理を実行することを決定する、前記（１）に記載の情報処理装置。
（３）
前記処理決定部は、前記メッセージデータの内容に応じて参照する前記ログ情報の範囲を選択する、前記（２）に記載の情報処理装置。
（４）
前記処理決定部は、前記メッセージデータの内容に応じて前記処理対象に関する前記ログ情報を参照する、前記（２）または（３）に記載の情報処理装置。
（５）
前記応答メッセージは、前記処理対象についての前記ログ情報が記録された時刻に基づく情報を含む、前記（２）～（４）のいずれかに記載の情報処理装置。
（６）
周囲を撮像する撮像部をさらに備え、
前記処理決定部は、前記撮像部による撮像処理を実行することを決定する、前記（１）に記載の情報処理装置。
（７）
前記処理決定部は、前記処理対象として前記撮像部による撮像の対象を決定する、前記（６）に記載の情報処理装置。
（８）
前記応答メッセージは、前記撮像処理により生成された画像データを含む、前記（６）または（７）に記載の情報処理装置。
（９）
前記処理決定部は、他の装置から情報を収集する処理を実行することを決定する、前記（１）に記載の情報処理装置。
（１０）
前記処理決定部は、他の装置の動作を制御する処理を実行することを決定する、前記（１）に記載の情報処理装置。
（１１）
前記取得部は前記メッセージデータをネットワークから取得する、前記（１）～（１０）のいずれかに記載の情報処理装置。
（１２）
前記取得部は前記メッセージデータを音声データとしてから取得する、前記（１）～（１０）のいずれかに記載の情報処理装置。
（１３）
プロセッサが、
メッセージデータを取得することと、
前記メッセージデータを解析して処理対象及び実行する処理を決定することと、
前記処理の結果を含んだ応答メッセージを出力することと、
を含む、情報処理方法。
（１４）
コンピュータに、
メッセージデータを取得することと、
前記メッセージデータを解析して処理対象及び実行する処理を決定することと、
前記処理の結果を含んだ応答メッセージを出力することと、
を実行させる、コンピュータプログラム。

１００ エージェント装置
２００ スマートフォン

Claims (11)

1. 家に位置するエージェント装置を制御する情報処理装置であって、
   端末装置のユーザと、前記エージェント装置との間で送受信可能なメッセージアプリケーションを介して、当該端末装置からメッセージデータを取得する取得部と、
   前記メッセージデータを解析して処理対象及び実行する処理を決定する処理決定部と、
   前記処理の結果を含んだ応答メッセージを、前記メッセージアプリケーションを介して出力する出力部と、
   を備え、
   周囲を撮像する撮像部をさらに備え、
   前記処理決定部は、前記撮像部による撮像の対象として、前記エージェント装置の周囲と決定し、
   前記処理決定部は、前記周囲を撮像するコマンドを含んだメッセージデータを受信した場合に、前記撮像部による撮像処理を実行することを決定し、
   前記撮像部は、前記撮像処理の前に撮像しても構わないかどうかを呼びかけ、肯定的なメッセージが発せられた場合に、前記エージェント装置の周囲を撮像し、
   前記出力部は、前記応答メッセージとして、前記撮像処理により生成された画像データを含む応答メッセージを出力する、情報処理装置。
2. ログ情報を記憶する記憶部をさらに備え、
   前記処理決定部は、前記記憶部に記憶されている前記ログ情報を参照する処理を実行することを決定する、請求項１に記載の情報処理装置。
3. 前記処理決定部は、前記メッセージデータの内容に応じて参照する前記ログ情報の範囲を選択する、請求項２に記載の情報処理装置。
4. 前記処理決定部は、前記メッセージデータの内容に応じて前記処理対象に関する前記ログ情報を参照する、請求項２に記載の情報処理装置。
5. 前記応答メッセージは、前記処理対象についての前記ログ情報が記録された時刻に基づく情報を含む、請求項２に記載の情報処理装置。
6. 前記処理決定部は、他の装置から情報を収集する処理を実行することを決定する、請求項１に記載の情報処理装置。
7. 前記処理決定部は、他の装置の動作を制御する処理を実行することを決定する、請求項１に記載の情報処理装置。
8. 前記取得部は前記メッセージデータをネットワークから取得する、請求項１に記載の情報処理装置。
9. 前記取得部は前記メッセージデータを音声データとしてから取得する、請求項１に記載の情報処理装置。
10. 家に位置するエージェント装置を制御するプロセッサが、
    端末装置のユーザと、前記エージェント装置との間で送受信可能なメッセージアプリケーションを介して、当該端末装置からメッセージデータを取得することと、
    前記メッセージデータを解析して処理対象及び実行する処理を決定することと、
    前記処理の結果を含んだ応答メッセージを、前記メッセージアプリケーションを介して出力することと、
    を含み、
    周囲を撮像することをさらに含み、
    撮像の対象として、前記エージェント装置の周囲と決定し、
    前記周囲を撮像するコマンドを含んだメッセージデータを受信した場合に、撮像処理を実行することを決定し、
    前記撮像処理の前に撮像しても構わないかどうかを呼びかけ、肯定的なメッセージが発せられた場合に、前記エージェント装置の周囲を撮像し、
    前記応答メッセージとして、前記撮像処理により生成された画像データを含む応答メッセージを出力する、情報処理方法。
11. 家に位置するエージェント装置を制御するコンピュータに、
    端末装置のユーザと、前記エージェント装置との間で送受信可能なメッセージアプリケーションを介して、当該端末装置からメッセージデータを取得することと、
    前記メッセージデータを解析して処理対象及び実行する処理を決定することと、
    前記処理の結果を含んだ応答メッセージを、前記メッセージアプリケーションを介して出力することと、
    を実行させ、
    周囲を撮像することをさらに実行させ、
    撮像の対象として、前記エージェント装置の周囲と決定し、
    前記周囲を撮像するコマンドを含んだメッセージデータを受信した場合に、撮像処理を実行することを決定し、
    前記撮像処理の前に撮像しても構わないかどうかを呼びかけ、肯定的なメッセージが発せられた場合に、前記エージェント装置の周囲を撮像し、
    前記応答メッセージとして、前記撮像処理により生成された画像データを含む応答メッセージを出力する、コンピュータプログラム。

Images