JP6448971B2 - 対話装置 - Google Patents

Description

本発明は、通信ネットワークに接続した、ユーザの音声を認識して応答する対話装置及び対話システムに関する。

近年、介護や癒しのケアロボットや家事代行ロボットといったロボットが徐々にユーザの生活に浸透してきており、例えば、特許文献１〜４に開示されているように、対話エンジンを備えユーザの音声を認識して応答する対話ロボット（対話装置）も開発されている。このような対話ロボットは、備えられた対話エンジンの性能やコストの面から、複雑な音声認識を行うことは困難であり、また応答もパターン化された内容や単純な内容であり、ユーザにとって面白みが少なく、飽きやすいものとなりがちである。

そこで、対話ロボットを通信ネットワークにてサーバ装置と接続させ、当該サーバ装置にて音声認識を行い、対話型ロボットでは、サーバ装置から認識結果に基づく応答に関する情報を受信して出力（応答）するシステムも開発されている。このようなシステムによれば、対話ロボット単体では処理できない内容の音声に対しても応答することができ、ユーザにとってはより多くの情報を得ることが可能となる。さらに、サーバ装置は、複数のロボットで利用可能であるため、対話ロボット毎の処理能力を上げるよりもコスト面で有利である。

国際公開公報ＷＯ０５／０７６２５８Ａ１（２００５年８月１８日公開） 特開２００６−０４３７８０（２００６年２月１６日公開） 特開２０１０−１２８２８１（２０１０年６月１０日公開） 特開２００３−０２２０９２（２００３年１月２４日公開）

しかしながら、対話ロボットがサーバ装置から応答内容を取得して応答する場合、対話ロボット単体で音声認識して応答する場合と比べて、応答のタイミングが遅れてしまう。そのため、ユーザがストレスを感じ、会話し難いといった思いをすることもある。

そこで、本発明は、上記の問題点に鑑みてなされたものであり、複数の情報をスムーズに音声出力でき、ユーザにストレスを与えることなく快適な対話環境を提供できる対話装置及び対話システムを提供することにある。

上記の課題を解決するために、本発明の一態様に係る対話装置は、入力された入力音声を音声認識する音声認識手段と、上記音声認識手段による音声認識の結果に応じた応答内容を示す第１応答情報を格納する応答情報格納部と、上記入力音声をサーバ装置に送信し、当該サーバ装置による上記入力音声の音声認識の結果に応じた応答内容を示す第２応答情報を受信する通信部と、上記入力音声に対して、上記応答情報格納部を参照して得られる上記第１応答情報で示される応答内容を音声出力する第１応答処理を行った後に連続して上記第２応答情報で示される応答内容を音声出力する第２応答処理を行う出力制御手段と、を備えたえたことを特徴とする。

本発明の一態様に係る対話装置によると、入力音声に対して、自装置での音声認識及び第１応答情報での応答に加え、サーバ装置の音声認識及び第２応答情報での応答で補えるので、対話装置の音声認識手段の処理能力の向上や応答情報格納部の容量の拡大を図ることなく、複数の情報にて応答可能である。このように、上記構成によると、複数の情報をスムーズに音声出力でき、ユーザにストレスを与えることなく快適な対話環境を提供できる。

本発明の実施の形態１に係る対話システムの概略構成を示す図である。 本発明の実施の形態１に係る対話システムにおける対話処理の流れを示す図である。 本発明の実施の形態２に係る対話システムの概略構成を示す図である。 本発明の実施の形態２に係る対話装置の動作を説明する図である。 本発明の実施の形態３に係る対話システムの概略構成を示す図である。 本発明の実施の形態３に係る対話システムの概念図である。

〔実施の形態１〕
以下、本発明の一実施形態について図１〜３に基づいて説明すれば以下の通りである。

（対話システムの構成）
図１は、本実施の形態に係る対話システム１００の構成を示す図である。図１に示すように、対話システム１００は、対話装置１０とクラウドサーバ（サーバ装置）３０とを備えており、これらは通信ネットワークを介して接続している。この通信ネットワークとしては、例えば、インターネットが利用できる。また、電話回線網、移動体通信網、ＣＡＴＶ（CAble TeleVision）通信網、衛星通信網などを利用することもできる。

対話システム１００において、対話装置１０及びクラウドサーバ３０はそれぞれ音声認識機能を有しており、ユーザは自然言語を用いた音声によって対話装置１０と対話することができる。対話装置１０は、例えば、対話ロボットであってもよいし、音声認識機能を備えた、スマートフォン、タブレット端末、パーソナルコンピュータ、家電（家庭用電子機器）等であってもよい。

なお、図１では、説明の簡略化のため、クラウドサーバ３０に接続している対話装置１０は１つしか示していないが、対話システム１００では、クラウドサーバ３０に接続する対話装置１０の数は限定されない。また、クラウドサーバ３０に接続する対話装置１０の種類は問わず、つまり、クラウドサーバ３０に対して、対話ロボットとスマートフォンといったように異なる種類の対話装置１０が接続していてもよい。

（対話装置）
次に、対話装置１０の構成について説明する。対話装置１０は、音声（音声信号）が入力されると、音声認識を行い、その認識結果に応じた対話を行う装置である。対話装置１０は、図１に示すように、音声入力部１１、音声出力部１２、制御部１３、データ格納部１４、及び通信部１５を備えている。

音声入力部１１は、マイク等の音声入力装置であり、音声出力部１２は、スピーカ等の音声出力装置である。

制御部１３は、対話装置１０の各部の動作を制御するブロックである。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部１３は、データ格納部１４に記憶されている対話装置１０における各種制御を実施するためのプログラムを読み出して実行することで、対話装置１０の各部の動作を統括的に制御する。

また、制御部１３は、音声認識部（音声認識手段）１６、応答情報取得部１７、出力制御部（出力制御手段）１８、及び音声合成部１９としての機能を有する。

音声認識部１６は、ユーザからの入力音声を認識するブロックである。具体的には、音声認識部１６は、音声入力部１１から入力された音声データをテキストデータに変換して、そのテキストデータを解析して単語やフレーズを抽出する。なお、音声認識の処理について公知技術を用いることができる。

応答情報取得部１７は、音声認識部１６の認識結果に応じた応答内容を示す応答情報を、以下で説明する第１応答情報格納部（応答情報格納部）１４１から検出するブロックである。本実施の形態では、応答情報取得部１７が第１応答情報格納部１４１から取得する応答情報を第１応答情報と称する。応答情報取得部１７は、第１応答情報格納部１４１を参照し、音声認識部１６が抽出した単語やフレーズに対応する第１応答情報を取得する。応答情報取得部１７は、音声認識部１６が抽出した単語やフレーズに対応する情報が第１応答情報格納部１４１に登録されていなければ、または、音声認識部１６が音声認識に失敗した場合には、デフォルトの第１応答情報を取得する。デフォルトの第１応答情報の具体例を挙げると、「ちょっと待ってね」や「聞いてみるね」等の音声が出力される情報（応答内容の音声が「ちょっと待ってね」や「聞いてみるね」等となる情報）である。なお、これらに限定されない。

出力制御部１８は、音声データを音声出力部１２に出力させることで音声出力を行うブロックである。出力制御部１８は、音声入力部１１からの入力音声に対する応答として、第１応答処理を行った後に連続して第２応答処理を行う。第１応答処理とは、応答情報取得部１７が取得した第１応答情報で示される応答内容を音声出力する処理であり、第２応答処理とは、クラウドサーバ３０から受信した第２応答情報で示される応答内容を音声出力する処理である。第２応答情報については後述する。

音声合成部１９は、音声データを生成（音声合成）するブロックである。音声合成部１９は、第１応答情報で示される応答内容の音声データを生成する。生成された音声データは、音声出力部１２を介して出力される。なお、第１応答情報が音声データとして生成されている（録音音声）である場合には、音声合成部１９での生成は行わない。

データ格納部１４は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などを含み、対話装置１０にて用いられる各種情報（データ）を記憶するブロックである。また、データ格納部１４には、第１応答情報格納部１４１が含まれる。第１応答情報格納部１４１は、単語やフレーズに対応させて第１応答情報が登録されているデータベースである。第１応答情報は、単語１つに対応したものだけでなく、複数の単語の組み合わせに対応しものが登録されている。また、ある単語やあるフレーズに対応させて複数の第１対応情報が登録されていてもよく、この場合、実際に音声出力されるものを選択すればよい。なお、単語やフレーズおよび第１応答情報は、何れもテキストデータとして格納しておけばよい。このようなデータベースの構築、また、データベースからの応答情報の取得については、公知技術が利用できる。

対話装置１０は、このように、第１応答情報格納部１４１を参照することにより、ユーザの発話に対して応答を返すことが、つまり、ユーザとの対話が可能になる。

通信部１５は、外部との通信を行うブロックである。通信部１５は、制御部１３による制御の下、音声入力部１１から音声データが入力されると、音声データをクラウドサーバ３０に送信する。そして、後段で詳述するクラウドサーバ３０から、クラウドサーバ３０による入力音声の音声認識の結果に応じた応答内容を示す第２応答情報を受信する。本実施の形態では、通信部１５は音声入力部から入力された音声データをそのままクラウドサーバ３０に送信するものとするが、通信部１５は、音声認識部１６が生成したテキストデータまたは該テキストデータから抽出した単語やフレーズをクラウドサーバ３０に送信してもよい。

ここで、本実施の形態では、通信部１５がクラウドサーバ３０から第２応答情報を受信している間に、出力制御部１８が第１応答処理を行うように構成されている。

なお、対話装置１０は、さらに撮像部（カメラ）を備えていてもよく、例えば、撮像部から入力された画像からユーザの表情や位置を解析してそれに基づき対話をするように構成されていてもよい。例えば、対話装置１０がロボットである場合、ロボットの正面から見てユーザの位置が右方向であると認識した場合、ロボットの頭部を実際に右に向ける、あるいは、頭部に顔が右に向いて移動する状態を表示することで、ユーザの方を向いている、つまり応答可能であるという状態を示す構成であってもよい。

（クラウドサーバの構成）
次に、クラウドサーバ３０について説明する。クラウドサーバ３０は、対話装置１０から受信した音声データ（入力音声）に対する応答を生成して対話装置１０に送信するサーバである。また、クラウドサーバ３０は、対話装置１０を管理するサーバであり、複数の対話装置１０が接続されている場合には、それぞれを個別に管理する。また、クラウドサーバ３０は、対話装置１０のユーザに関する情報を併せて管理していてもよく、この場合、ユーザに関する情報はスマートフォンやタブレット等の外部装置からクラウドサーバ３０に登録できるようになっていてもよい。

なお、本実施形態では、対話装置１０と接続するサーバ装置として、クラウドサービスを提供するクラウドサーバ３０を用いて説明を行うが、クラウドサーバに限定されることはない。また、クラウドサーバ３０は、１台であってもよいし、複数台が通信ネットワークを介して接続したものであってもよい。

クラウドサーバ３０は、図１に示すように、制御部３１、データ格納部３２、及び通信部３３を備えている。

制御部３１は、例えば、ＣＰＵや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置からなり、クラウドサーバ３０の各部の動作を制御するブロックである。また、制御部３１は、音声認識部３４、応答情報生成部３５、及び音声合成部３６としての機能を有する。

音声認識部３４は、対話装置１０の音声認識部１６と同様の機能を有するブロックであるが。ただし、音声認識の能力（性能）は音声認識部１６よりも高度である。これにより、対話装置１０では音声認識できなかったとしても、クラウドサーバ３０で音声認識することが可能になる。

応答情報生成部３５は、第１応答情報に続く応答情報を生成するブロックである。本実施の形態では、応答情報生成部３５にて生成された応答情報を第２応答情報と称する。応答情報生成部３５は、第２応答情報を生成する際に、音声認識部３４の認識結果に応じた応答内容を示す応答情報を、以下で説明する第２応答情報格納部３２１から検出することで、第２応答情報を生成する。

音声合成部３６は、音声データを生成するブロックである。音声合成部３６は、応答情報生成部３５が生成した第２応答情報で示される応答内容の音声データを生成するブロックである。

さらに、クラウドサーバ３０は、通信ネットワークを経由して外部の情報提供サーバから情報（外部提供情報）を受信するように構成されている。そこで、応答情報生成部３５は、外部提供情報や上記で説明したクラウドサーバ３０に登録されたユーザ情報、あるいはこれらの組み合わせ等に基づき、第２応答情報を生成してもよい。外部提供情報の具体例を挙げると、ウエザー情報、交通情報、災害情報等であるが、これらには限定されない。また、クラウドサーバ３０に情報を提供する情報提供サーバの数は限定されない。

このように、第２応答情報を生成する際に外部提供情報を利用することで、例えば、「おはよう。」という入力音声に対して、第１応答情報で示される応答内容の音声（第１応答情報で出力される音声）が「おはよう。」であっても、第２応答情報で示される応答内容の音声（第２応答情報で出力される音声）が「今日の天気は曇りのち雨だから出かけるなら傘を持って行った方がいいね。」のような高度な応答を行うことができる。この場合、外部提供情報が天候の情報であり、それを基に第２応答情報が生成されたとういことである。

上記で説明したように、第２応答情報は第１応答情報の音声出力後に連続して音声出力されるものであるため、内容が連続するもの、あるいは第１応答情報の内容の詳細内容であると応答に統一感が生まれるため好ましい。この場合、クラウドサーバ３０が、どの入力音声にはどの第１応答情報が対話装置１０から出力されるかを予め把握しておくか、あるいは、対話装置１０が第１応答情報を取得した際にクラウドサーバ３０に通知してもよい。

クラウドサーバ３０にて生成された第２応答情報で示される応答内容の音声データは、制御部３１が通信部３３を制御して対話装置１０に送信される。

本実施の形態では、クラウドサーバ３０にて第２応答情報を音声データに生成してから送信するように構成されているため、対話装置１０の負荷を低減させることできる。ここで、対話装置１０とクラウドサーバ３０とがそれぞれ音声合成部を有していることにより、それぞれで合成した音声の声質が異なったとしても、実施の形態２で説明するように第１応答処理と第２応答処理とで対話装置１０に出現させるキャラクターを変更することで、ユーザが感じる違和感を無くすことができる。なお、クラウドサーバ３０が音声合成部３６を有しておらず、第２応答情報をテキストデータで対話装置１０に送信する構成であってもよい。この場合、第２応答情報は、対話装置１０の音声合成部１９にて音声データとして生成される。

また、クラウドサーバ３０は、例えば、スマートフォンやタブレット等の外部装置から録音音声を登録できるようになっていてもよい。そして、この場合、応答情報生成部３５が、この登録された録音音声を第２応答情報として取得することも、第２応答情報の生成に含めてもよい。録音音声は音声データとして形成されているので、そのまま対話装置１０に送信すると、対話装置１０での音声合成の処理はなされない。例えば、「冷蔵庫にケーキがあるよ」という音声がユーザの母親のスマートフォンからクラウドサーバ３０に登録されると、対話装置１０が、ユーザの「ただいま」という入力音声に対して、第１応答情報を用いて「おかえり」を音声出力して、続けて、第２応答情報を用いて「お母さんからの伝言だよ。「冷蔵庫にケーキがあるよ」。」を音声出力する、というような高度な応答を行うことができる。

データ格納部３２は、クラウドサーバ３０で用いられる各種情報（データ）を記憶するブロックである。また、データ格納部３２には第２応答情報格納部３２１が含まれる。第２応答情報格納部３２１は、単語やフレーズに対応させて第２応答情報が登録されているデータベースである。第２応答情報格納部３２１には第１応答情報格納部１４１よりも多量の情報が格納されている。また、第２応答情報が定期的に更新されるようになっていてもよい。

対話システム１００では、対話装置１０では音声認識ができなかったり、第１応答情報が簡単な応答内容であったりしても、上記のようにクラウドサーバ３０の応答情報生成部３５及び第２応答情報格納部３２１が構成されていることにより、入力音声に対して、正しく音声認識でき、複数の情報を返答可能である。

通信部３３は、外部との通信を行うブロックである。通信部３３は、対話装置１０に加え、図示しない外部の情報提供サーバやスマートフォンやタブレット等の外部装置と通信ネットワークにて接続する。なお、クラウドサーバ３０と接続する装置の数は限定されない。

（対話システムにおける処理の流れ）
次に、対話システム１００における対話処理の流れを、図３を参照して説明する。

対話装置１０は、ユーザ２からの発話の音声データ（入力音声）を受信すると（工程Ａ１）、受信した音声データをクラウドサーバ３０に送信し（工程Ａ２）、第１応答情報の取得を行う（工程Ａ３）。工程Ａ３では、入力音声を音声認識して、音声認識の結果に応じた応答内容を示す第１応答情報を取得する。なお、工程Ａ２と工程Ａ３とはどちらが先に開始されてもよい。そして、対話装置１０は、第１応答情報で示される応答内容を音声出力する（工程Ａ４）。

他方、クラウドサーバ３０は、対話装置１０から音声データを受信すると（工程Ｂ１）、第２応答情報を生成し（工程Ｂ２）、生成した第２応答情報を対話装置１０に送信する（工程Ｂ３）。

ここで、対話装置１０は、クラウドサーバ３０から第２応答情報を受信している間に、第１応答情報で示される応答内容を音声出力する。

対話装置１０は、第２応答情報を受信すると（工程Ａ５）、第２応答情報で示される追う応答内容を音声出力する（工程Ａ６）。以上で、対話システム１００における対話処理が終わる。

以上のように、対話システム１００では、対話装置１０は、音声認識部１６にて音声認識した結果に対応付けられた第１応答情報で示される応答内容を音声出力させた後に連続して、クラウドサーバ３０による音声認識の結果に対応付けられた第２応答情報で示される応答内容を音声出力する。

ここで第１応答情報は対話装置１０での音声認識の結果に応じたものであるため、クラウドサーバ３０との通信を介して受信する第２応答情報よりも早く、対話装置１０から出力することができる。また、クラウドサーバ３０は、個々の対話装置１０よりも高度な処理が可能であるため、高度の音声認識を行うことができる。よって、対話装置１０は、第１応答処理により入力音声へのすばやい応答ができる上、第１応答処理の後に連続する第２応答処理により多様なまたは高度な情報を提供することができる。

このように、対話システム１００によると、ユーザからの入力音声に対して、対話装置１０での音声認識及び第１応答情報での応答に加え、クラウドサーバ３０の音声認識及び第２応答情報での応答で補えるので、対話装置１０の音声認識部１６の処理能力の向上やデータ格納部１４の容量の拡大を図ることなく、複数の情報にて応答可能である。従って、対話システム１００は、スムーズに複数の情報を音声出力でき、ユーザにストレスを与えることなく快適な対話環境を提供できる。

さらに、対話システム１００では、対話装置１０において、通信部１５がクラウドサーバ３０から第２応答情報を受信している間に、出力制御部１８が第１応答処理を行うように構成されているため、ユーザに第２応答情報の受信の待ち時間のストレスを与えることなく対話を行うことができる。

〔実施の形態２〕
本発明の他の実施の形態の対話システムについて図３及び４を用いて説明する。なお説明の便宜上、実施の形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施の形態の対話システム１００ａは、図３に示すように、対話装置１０ａとクラウドサーバ（サーバ装置）３０ａとを備えている。本実施の形態では、対話装置１０ａは、図４に示すように表情を表出することでのできる、頭部と胴体部とを有する対話ロボットであるとして説明を行う。

対話装置１０ａは実施の形態１の対話装置１０構成に加え、表示部２１及び動作部２２を備えている。表示部２１は、対話ロボットの表情の画像を表出するブロックであり、本実施形態では、リアプロジェクション方式で表示を行うものとするが、これには限定されない。動作部２２は、対話装置１０ａの動作を実行するブロックである。動作部２２は、以下で説明するように、第１応答処理時と第２応答処理時との間であるキャラクター切替時に、対話装置１０ａを回転する動作を実行する。この回転は、回転以外の運動でもよく、図４の（ａ）に示すように、対話装置１０ａである対話ロボットの頭部が水平方向に回転する。また、動作部２２は、対話装置１０ａである対話ロボットの頭部、胴体部、または胴体部に付随の腕部等を様々な方向に動作させるように構成されていてもよい。また、キャラクター切替時に、動作部２２は回転以外の運動を行ってもよく、例えば、移動、方向転換、振動等を実行してもよい。ここで運動とは、対話装置の少なくとも一部が物理的な動作をすることを指す。

また、対話装置１０ａは、データ格納部１４ａに、複数のキャラクターの画像の特徴量及び音声の特徴量を格納するキャラクター格納部（キャラクター特徴量格納部）１４２を含んでいる。また、対話装置１０ａでは、制御部１３ａは、キャラクター切替部（キャラクター切替手段）２０としての機能を有する。キャラクター切替部２０は、キャラクター切替時に、対話装置１０ａでの、画像表示、音声出力、及び運動の少なくとも１つの動作を制御して、対話装置１０ａに異なるキャラクターが出現したことを表す演出処理を行うブロックである。演出処理については、以下で具体例を用いて説明する。

そして、対話装置１０ａでは、出力制御部１８ａは、第１応答処理時及び第２応答処理時には、それぞれ、複数のキャラクターのいずれか１つを選択し、選択したキャラクターの、キャラクター格納部１４２を参照して得られる画像の特徴量により定まるキャラクター画像を表示部２１に表示させると共に、選択したキャラクターの、キャラクター格納部１４２を参照して得られる音声の特徴量により定まるキャラクター音声を音声出力部１２に音声出力させる。このように、対話装置１０ａは、表示部２１で表示する画像、音声出力部１２から出力する音声の音質、の特徴量を第１応答処理時と第２応答処理時とで変更することで、異なるキャラクターを対話装置１０ａに出現させることができる。また、動作を変更させてもよい。キャラクターは、例えば、子供、お父さん、お母さん、先生、ニュースキャスター等である。

さらに、対話システム１００ａでは、クラウドサーバ３０ａは、対話装置１０ａにて第２応答情報を音声出力する際のキャラクターを指定するキャラ指定情報も含めて第２応答情報を生成する。キャラ指定情報とは、対話装置１０ａにて出現させることのできるキャラクターを指定するものである。キャラ指定情報は、例えば、第２応答情報で音声出力する内容に応じたものであってもよい。具体例を挙げると、第２応答情報で音声出力する内容が、勉強に関する内容であればお父さん、生活に関する内容であればお母さん、気候に関する内容であればお天気キャスター、のキャラクターを指定する情報である。なお、これらは例示であり、これらに限定されない。

次に、キャラクター切替時の演出処理について具体例を用いて説明する。出力制御部１８ａは、第１応答処理時には、デフォルトのキャラクターを選択し、第２応答処理時には、キャラ指定情報により指定されるキャラクターを選択する。ここで、出力制御部１８ａが、第２応答処理時に第１応答処理時と異なるキャラクターを選択すると、キャラクター切替部２０は、キャラクター切替時に、対話装置１０ａに異なるキャラクターが出現したことを表す演出処理として以下の処理を行う。

図４の（ａ）に示すように、第１応答処理時に選択されたキャラクターである第１キャラクターのキャラクター画像を表示させた状態で、対話装置１０ａの頭部の回転を開始させる。そして、頭部の回転が終了したとき、第１キャラクターのキャラクター画像に代えて第１応答処理時に選択された第２キャラクターのキャラクター画像を表示させるように、表示部２１と動作部２２とを制御する。このとき、第１キャラクターが出現している状態で、第２キャラクターを呼ぶ声（例えば、「ニュース担当の○○さん！」）を音声出力してもよい。また、回転時には、第１キャラクターが遠ざかる足音及び第２キャラクターが近づく足音を音声出力してもよい。

あるいは、キャラクター切替部２０は、演出処理として以下の処理を行ってもよい。図４の（ｂ）または（ｃ）に示すように、第１キャラクターのキャラクター画像から、第２応答処理時に選択されたキャラクターである第２キャラクターの上記キャラクター画像へと表示が徐々に切り替わるように表示部２１を制御する。この演出処理では、対話装置１０ａ自体は回転せず、回転するようにみせかける表示を行う。また、この演出処理においても、上記と同様に音声出力による演出を行なってもよい。

また、対話装置１０ａで第２応答情報を正しく受信できなかった場合には、出力制御部１８ａは、第１応答処理と第２応答処理でキャラクターを切り替えない。この場合、例えば、「忙しんだよ、また後で質問してね」や、「ニュースキャスターさんは今日はお休みだよ」といったようなデフォルトの音声出力がなされてもよい。

（対話システムにおける処理の流れ）
対話システム１００にａおける対話処理の流れは、基本的には図２に示す実施の形態１の対話システム１００での処理の流れと同様である。ただし、対話システム１００ａでは、工程Ｂ２において、第２応答情報を音声出力する際のキャラクターを指定するキャラ指定情報も含めて第２応答情報を生成する。そして、工程Ａ４では、第１キャラクターを対話装置１０ａに出現させ、そして、工程Ａ６では、キャラクター切替部２０により上記の演出処理を行い、キャラ指定情報にて指定された第２キャラクターを対話装置１０ａに出現させる。ここで、例えば「ちょっと待ってね」という音声出力が行われた後に、キャラクター切替部２０が上記の演出処理を行うと、ユーザにキャラクターが変更されることをわかり易く伝えることができる。

上記では、第２応答情報に複数のキャラクターのうちいずれか１つを指定する情報が含まれており、それを対話装置１０ａが受信するものとして説明したが、対話装置１０ａは、次のように構成されていてもよい。出力制御部１８は、音声認識部１６による入力音声の認識結果から複数のキャラクターのいずれの１つが指定されたかを判定し、第２応答処理時には、その指定されたキャラクターを選択するように構成されていてもよい。

この場合、出力制御部１８は、指定されたキャラクターを、ユーザによる入力音声にキャラクターそのものを指定する情報が含まれていればそれから判定してもよいし、ユーザとの対話におけるメタデータからキャラクターを類推して判定してもよい。これについて具体例を用いて説明すると、前者は、ユーザによる入力音声に「先生」、「先生を呼んで」、「先生を出して」というコマンド入っていれば、「先生」のキャラクターを選択し、後者は、ユーザとの対話が勉強に関する内容であれば、「先生」のキャラクターを選択する、ということである。

なお、上記判定は出力制御部１８で行わず、音声認識部１６による音声認識の結果を基に上記判定を行うブロックが別途設けられていてもよい。

上記のようにユーザとの対話内容からキャラクターを選択することで、ユーザの意図を反映させたキャラクターを用いて第２応答情報を提供できる。また、対話に面白みを与えることができる。

さらに、出力制御部１８は、対話装置１０ａの起動時またはスリープ状態からの復帰時に、複数のキャラクターのいずれか１つを選択し、選択したキャラクターの画像を表示部２１に表示させると共に、選択したキャラクターの音声を音声出力部１２に音声出力させてもよい。

起動時やスリープ状態からの復帰時には、対話したいユーザを待たせることになり、ユーザのストレスを招くことがある。しかし、上記のような表示及び音声出力を行うことで対話装置にキャラクターを出現させることができ、間を持たせ、ユーザのストレスを低減することができる。対話装置１０ａの起動時またはスリープ状態からの復帰時に示すキャラクターの画像や音声は、例えば、対話ロボットが眠りから目覚めたことを示すものであると、ユーザに対話装置１０ａが起動の最中であることをわかり易く伝えることができる。

〔実施の形態３〕
以下では、本発明のさらに別の実施の形態の対話システムについて図５及び６を用いて説明する。なお説明の便宜上、実施の形態１または２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

本実施の形態の対話システム１００ｂは、図６に示すように、対話装置１０ｂとクラウドサーバ（サーバ装置）３０ｂとを備えている。対話装置１０ｂは、対話ロボットであるものとして以下の説明を行う。

対話装置１０ｂは、図５に示すように、実施の形態１の対話装置１０構成に加え、実施の形態２の対話装置１０ａと同様に、表示部２１及び動作部２２を備えている。また、対話装置１０ｂは、家電を操作可能な家電操作モードを家電毎に有しており、図６に示すように、ユーザ宅４０にある家電を、通信部１５からの赤外線通信や無線ＬＡＮ通信などで操作可能に設けられている。家電は、例えば、空気調和機（エアコン）、洗濯機、冷蔵庫、調理器具、照明装置、給湯機器、撮影機器、各種ＡＶ（Audio-Visual）機器、各種家庭用ロボット（例えば、掃除ロボット、家事支援ロボット、動物型ロボット等）等である。本実施の形態では、家電の例として、エアコン５０−１及び洗濯機５０−２を用いて説明を行う。

対話装置１０ｂは、エアコン５０−１及び洗濯機５０−２を操作可能である。対話装置１０ｂの制御部１３ｂは、家電操作モードに対話装置１０ｂを設定するモード設定部（モード設定手段）２３としての機能を有する。モード設定部２３は、音声入力部１１から入力された入力音声から操作対象とする家電を判定し、判定した家電の家電操作モードに対話装置１０ｂを設定する。よって、対話装置１０ｂは、ユーザとの対話からエアコン５０−１を操作したいことを類推した場合には、エアコン５０−１を操作する家電操作モードに対話装置１０ｂを設定し、操作を行うことが可能となる。

出力制御部１８は、入力音声から操作対象の家電を判定する際、入力音声に操作対象の家電を指定する情報が含まれていれば、それから判定してもよいし、ユーザとの対話におけるメタデータから操作対象の家電を類推して判定してもよい。これについて具体例を用いて説明すると、前者は、ユーザによる入力音声に「エアコンつけて」や「エアコンＯＮ」というコマンド入っていれば、操作対象の家電はエアコン５０−１であると判定し、後者は、入力音声に「暑い」というメタデータが含まれていれば、操作対象の家電はエアコン５０−１であると判定する、ということである。

ここで、対話装置１０ｂからのエアコン５０−１の操作前には、操作の実行を確認する音声、例えば、「エアコンつけようか？」といった音声を対話装置１０ｂから出力させて、ユーザから実行を許可する音声、例えば、「つけて」や「ＯＫ」といった音声入力がなされた場合に操作を実行する。このように、家電の操作を実行する前にはユーザの確認を取るのが安全性を確保する上で好ましい。

また、対話装置１０ｂのデータ格納部１４ｂは、モード情報格納部１４３を含み、モード情報格納部１４３には、家電を操作できるように対話装置１０ｂを設定するための情報が家電毎に格納されている。また、モード情報格納部１４３には、家電に対応付けられたキャラクターの画像の特徴量及び音声の特徴量を家電毎に格納している。

家電に対応付けられたキャラクターは、対話装置１０ｂが家電の家電操作モードに設定されると出現する。キャラクターの出現は、実施の形態２と同様に、表示部２１で表示する画像、音声出力部１２から出力する音声の音質、の特徴量を変更することで実行できる。また、動作を変更させてもよい。

具体例を示すと、対話装置１０ｂがエアコン５０−１の操作モードに設定されると、エアコンに対応付けられたキャラクターが対話装置１０ｂに出現する。この場合、例えば、エアコンのマークが対話ロボットの額部分やお腹部分（表示部の一部）に表示される。同様に、対話装置１０ｂが洗濯機５０−２の操作モードに設定されると、洗濯機に対応付けられたキャラクターが対話装置１０ｂに出現する。

あるいは、エアコンにはうさぎのキャラクター、洗濯機にはアライグマのキャラクターというように、家電とキャラクターとの対応付けをユーザが対話装置１０ｂに登録できるようになっていてもよい。なお、これらは例示である。

このような家電に対応付けられたキャラクターが対話装置１０ｂに出現することにより、対話装置１０ｂがどの家電を操作できる家電操作モードになっているか、つまり、どれが操作対象家電かをユーザに通知することができる。

また、例えば、対話装置１０ｂにエアコン５０−１に対応付けられたキャラクターが出現している場合には、対話装置１０ｂは、「お休み」という音声入力に対して、「お休み」という音声出力をすると共に、エアコン５０−１の電源をＯＦＦする操作を行うように構成されていてもよい。また、洗濯機５０−２に対応付けられたキャラクターが出現している場合には、対話装置１０ｂは、「おはよう」という音声入力に対して、「おはよう」という音声出力をすると共に、洗濯機５０−２の電源をＯＮにする操作を行うように構成されていてもよい。このように、家電に対応付けられたキャラクター毎に異なる機能を有していてもよい。

また、対話装置１０ｂがテレビジョン装置としての機能も備えている場合には、テレビを操作する家電操作モードに設定された場合には、表示部２１に放送番組を映すように構成されていてもよい。

対話装置１０ｂからエアコン５０−１及び洗濯機５０−２を操作する際には、赤外線を用いてエアコン５０−１及び洗濯機５０−２の位置を検出してもよいし、対話装置１０ｂにカメラが設けられており、カメラから入手した情報でエアコン５０−１及び洗濯機５０−２の位置を検出してもよい。

クラウドサーバ３０ｂの構成はクラウドサーバ３０と同様のため、説明は省略する。クラウドサーバ３０が、エアコン５０−１及び洗濯機５０−２と通信接続しており、これらの状態を示す状態情報を収集している場合には、クラウドサーバ３０は、この状態情報を基に第２応答情報を生成してもよい。例えば、洗濯機５０−２の状態情報を取得して、「洗濯機さんがお仕事終わったと言っているよ」という音声を出力するように第２応答情報を生成してもよい。

〔実施の形態４〕
実施の形態１から３にて説明した対話装置１０，１０ａ，１０ｂ及びクラウドサーバ３０，３０ａ，３０ｂは、それぞれ、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、対話装置１０，１０ａ，１０ｂ及びクラウドサーバ３０，３０ａ，３０ｂは、それぞれ、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。さらに、各実施の形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

〔まとめ〕
本発明の態様１に係る対話装置（１０）は、入力された入力音声を音声認識する音声認識手段（音声認識部１６）と、上記音声認識手段による音声認識の結果に応じた応答内容を示す第１応答情報を格納する応答情報格納部（第１応答情報格納部１４１）と、上記入力音声をサーバ装置（クラウドサーバ３０）に送信し、当該サーバ装置による上記入力音声の音声認識の結果に応じた応答内容を示す第２応答情報を受信する通信部（１５）と、上記入力音声に対して、上記応答情報格納部を参照して得られる上記第１応答情報で示される応答内容を音声出力する第１応答処理を行った後に連続して上記第２応答情報で示される応答内容を音声出力する第２応答処理を行う出力制御手段（出力制御部１８）と、を備えている。

上記構成によると、自装置が有する音声認識手段にて音声認識した結果に対応付けられた第１応答情報で示される応答内容を音声出力させた後に連続して、サーバ装置による音声認識の結果に対応付けられた第２応答情報で示される応答内容を音声出力する。

第１応答情報は自装置での音声認識の結果に応じたものであるため、一般に、サーバ装置との通信を介して受信する第２応答情報よりも対話装置から早く出力することができる。また、一般に、サーバ装置は、個々の対話装置よりも高度な処理が可能であるため、高度の音声認識を行うことができる。よって、上記構成により、第１応答処理により、入力音声へのすばやい応答ができる上、第１応答処理の後に連続する第２応答処理により多様なまたは高度な情報を提供することができる。

上記構成によると、入力音声に対して、自装置での音声認識及び第１応答情報での応答に加え、サーバ装置の音声認識や第２応答情報での応答で補えるので、対話装置の音声認識手段の処理能力の向上や応答情報格納部の容量の拡大を図ることなく、複数の情報にて応答可能である。このように、上記構成によると、複数の情報をスムーズに音声出力することが可能であり、ユーザにストレスを与えることなく快適な対話環境を提供できる。

さらに、第２応答情報を受信している間に第１応答処理を行うように構成されていると、よりユーザに第２応答情報の受信の待ち時間のストレスを与えることなく対話を行える。

本発明の態様２に係る対話装置は、上記態様１において、複数のキャラクターの画像の特徴量及び音声の特徴量を格納するキャラクター特徴量格納部（キャラクター格納部１４２）をさらに備え、上記出力制御手段は、上記第１応答処理時及び上記第２応答処理時には、それぞれ、上記複数のキャラクターのいずれか１つを選択し、上記選択したキャラクターの、上記キャラクター特徴量格納部を参照して得られる画像の特徴量により定まるキャラクター画像を表示すると共に、上記選択したキャラクターの、上記キャラクター特徴量格納部を参照して得られる音声の特徴量により定まるキャラクター音声を音声出力し、上記出力制御手段が上記第２応答処理時に上記第１応答処理時と異なるキャラクターを選択すると、上記第１応答処理時と上記第２応答処理時との間に、自装置での、画像表示、音声出力、及び運動の少なくとも１つの動作を制御して、異なるキャラクターが出現したことを表す演出を行うキャラクター切替手段をさらに備えている。

上記構成によると、第１応答処理時及び第２応答処理時に、それぞれ、キャラクターを選択し、選択したキャラクターのキャラクター画像を表示すると共に、選択したキャラクターのキャラクター音声を音声出力することで、対話装置にキャラクターを出現させることができる。そして、第２応答処理時に第１応答処理時と異なるキャラクターが選択されると、異なるキャラクターが出現したことを表す演出を行う。この演出により、異なるキャラクターの出現による出現前のキャラクターのイメージを壊すことなく、異なるキャラクターが出現するという場の雰囲気を盛り上げることができる。

また、上記制御による上記演出によってユーザの興味を引くことができるため、例えば、第１応答処理後の第２応答処理までの時間が長く経過した場合でも、待ち時間に起因するユーザのストレスを低減することができる。

ここで、キャラクター切替手段は、（ａ）上記第１応答処理時に選択されたキャラクターである第１キャラクターの上記キャラクター画像から、上記第２応答処理時に選択されたキャラクターである第２キャラクターの上記キャラクター画像へと表示が徐々に切り替わるように制御する、または、（ｂ）上記第１キャラクターの上記キャラクター画像が表示された状態で自装置の回転を開始させ、回転が終了したとき、上記第１キャラクターの上記キャラクター画像に代えて上記第２キャラクターの上記キャラクター画像が表示されるように、画像の表示と自装置の回転、移動、方向転換、振動等を制御する、ことで、異なるキャラクターが出現したことを表す演出を行ってもよい。

本発明の態様３に係る対話装置では、上記態様２において、上記第２応答情報には上記複数のキャラクターのうちのいずれか１つを指定する指定情報が含まれており、上記出力制御手段は、上記第２応答処理時には、当該第２応答情報に含まれる上記指定情報が指定するキャラクターを選択する。

上記構成によると、第２応答情報にキャラクターの指定情報が含まれている。そのため、予め第２応答情報の内容にふさわしいキャラクターを指定しておけば、第２応答処理時には、指定されたキャラクターを出現させることができるので、説得力をもたせて、あるいは、面白みを与えつつ、第２応答情報をユーザに提供することができる。

本発明の態様４に係る対話装置では、上記態様２において、上記出力制御手段は、上記音声認識手段による上記入力音声の音声認識の結果から上記複数のキャラクターのいずれの１つが指定されたかを判定し、上記第２応答処理時には、当該指定されたキャラクターを選択する。

上記構成によると、ユーザによる入力音声からキャラクターが指定され、第２応答処理時には、指定されたキャラクターを対話装置に出現させることができる。ここで、指定されたキャラクターを、ユーザによる入力音声にキャラクターそのものを指定する情報が含まれていれば、それから判定してもよいし、または、ユーザとの対話におけるメタデータからキャラクターを類推して判定してもよい。上記構成によると、ユーザの意図を反映させたキャラクターを用いて第２応答情報を提供できる。また、対話に面白みを与えることができる。

本発明の態様５に係る対話装置では、上記態様２において、上記出力制御手段は、自装置の起動時またはスリープ状態からの復帰時に、上記複数のキャラクターのいずれか１つを選択し、選択したキャラクターの、上記キャラクター特徴量格納部を参照して得られる画像の特徴量により定まるキャラクター画像を表示すると共に、上記選択したキャラクターの、上記キャラクター特徴量格納部を参照して得られる音声の特徴量により定まるキャラクター音声を音声出力する。

上記構成によると、自装置の起動時あるいはスリープ状態からの復帰時にキャラクターを選択し、選択したキャラクターのキャラクター画像を表示すると共に、選択したキャラクターのキャラクター音声を音声出力することで、対話装置にキャラクターを出現させることができる。このようなキャラクターの出現により、ユーザの興味を引くことができ、起動時あるいはスリープ状態からの復帰時の待ち時間におけるストレスを低減することができる。

本発明の態様６に係る対話装置は、上記態様１から５のいずれか１つにおいて、家電を操作可能な家電操作モードを家電毎に有しており、上記音声認識手段による上記入力音声の音声認識の結果から操作対象とする家電を判定し、判定した家電の家電操作モードに自装置を設定するモード設定手段をさらに備えている。

上記構成によると、対話装置を家電が操作できる家電操作モードに設定することができ、操作対象の家電の判定は入力音声から行うことができる。よって、対話装置は、ユーザとの対話から家電を操作したいことを類推した場合には、その家電を操作する家電操作モードに自装置を設定し、操作を行うことが可能となる。

ここで、例えば、対話装置が表示部を備えており、家電操作モードに設定される際に操作対象の家電あるいは家電を表すキャラクターの表示を行うように構成されていると、ユーザに操作対象家電をわかりやすく通知することができる。

本発明の態様７に係る対話システムは、上記態様１から６のいずれか１つに記載の対話装置と、音声認識機能を有するサーバ装置とが通信ネットワークを介して接続されて構成されている。

上記対話システムによると、ユーザによる入力音声に対してスムーズな応答が可能であり、ユーザにストレスを与えることなく快適な対話環境を提供できる。

また、本発明の態様８に係るサーバ装置は、上記態様７の対話システムに備えられるサーバ装置である。

上記サーバ装置を用いることで、上記態様７の対話システムを構築することができる。

また、本発明の各態様に係る対話装置、サーバ装置または対話システムは、コンピュータによって実現してもよく、この場合には、コンピュータを対話装置、サーバ装置または対話システムが備える各手段として動作させることにより対話装置、サーバ装置または対話システムをコンピュータにて実現させるプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

本発明は、通信ネットワークに接続した、ユーザの音声を認識して応答する対話装置等に利用可能である。

２ ユーザ
１０，１０ａ，１０ｂ 対話装置
１１ 音声入力部
１２ 音声出力部
１３，１３ａ，１３ｂ 制御部
１４，１４ａ，１４ｂ データ格納部
１５ 通信部
１６ 音声認識部（音声認識手段）
１７ 応答情報取得部
１８，１８ａ 出力制御部（出力制御手段）
２０ キャラクター切替部（キャラクター切替手段）
２１ 表示部
２２ 動作部
２３ モード設定部（モード設定手段）
３０，３０ａ，３０ｂ クラウドサーバ（サーバ装置）
３５ 応答情報生成部
４０ ユーザ宅
５０−１ エアコン（家電）
５０−２ 洗濯機（家電）
１００，１００ａ，１００ｂ 対話システム
１４１ 第１応答情報格納部（応答情報格納部）
１４２ キャラクター格納部
１４３ モード情報格納部

Claims (5)

1. 入力された入力音声を音声認識する音声認識手段と、
   上記音声認識手段による音声認識の結果に応じた応答内容を示す第１応答情報を格納する応答情報格納部と、
   上記入力音声をサーバ装置に送信し、当該サーバ装置による上記入力音声の音声認識の結果に応じた応答内容を示す第２応答情報を受信する通信部と、
   上記入力音声に対して、上記応答情報格納部を参照して得られる上記第１応答情報で示される応答内容を音声出力する第１応答処理を行った後に連続して上記第２応答情報で示される応答内容を音声出力する第２応答処理を行う出力制御手段と、
   複数のキャラクターの画像の特徴量及び音声の特徴量を格納するキャラクター特徴量格納部と、を備え、
   当該対話装置は、自装置の少なくとも一部を動かす運動が可能であり、
   上記出力制御手段は、上記第１応答処理時及び上記第２応答処理時には、それぞれ、上記複数のキャラクターのいずれか１つを選択し、上記選択したキャラクターの、上記キャラクター特徴量格納部を参照して得られる画像の特徴量により定まるキャラクター画像を表示すると共に、上記選択したキャラクターの、上記キャラクター特徴量格納部を参照して得られる音声の特徴量により定まるキャラクター音声を音声出力し、
   上記出力制御手段が上記第２応答処理時に上記第１応答処理時と異なるキャラクターを選択すると、上記第１応答処理時と上記第２応答処理時との間に、自装置での運動を制御して、自装置の運動により異なるキャラクターが出現したことを表す演出を行うキャラクター切替手段をさらに備えたことを特徴とする対話装置。
2. 当該対話装置はロボットであり、
   前記演出が、自装置の少なくとも体の一部を回転させる動作、または自装置の少なくとも体の一部を動かす動作、または自装置が移動する動作、または自装置が方向転換する動作であることを特徴とする請求項１に記載の対話装置。
3. 上記第２応答情報には上記複数のキャラクターのうちのいずれか１つを指定する指定情報が含まれており、
   上記出力制御手段は、上記第２応答処理時には、当該第２応答情報に含まれる上記指定情報が指定するキャラクターを選択することを特徴とする請求項１又は２に記載の対話装置。
4. 上記出力制御手段は、上記音声認識手段による上記入力音声の音声認識の結果から上記複数のキャラクターのいずれの１つが指定されたかを判定し、上記第２応答処理時には、当該指定されたキャラクターを選択することを特徴とする請求項１又は２に記載の対話装置。
5. 家電を操作可能な家電操作モードを家電毎に有しており、
   上記音声認識手段による上記入力音声の音声認識の結果から操作対象とする家電を判定し、判定した家電の家電操作モードに自装置を設定するモード設定手段をさらに備えたことを特徴とする請求項１から４のいずれか１項に記載の対話装置。

Images