WO2019039352A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

情報処理装置（２０００）は、音声データに含まれる人（１０）の発話が、人（１０）から対象物（２０）に向けられたものであるか否かを判定する。上記判定を行うために、情報処理装置（２０００）は、人（１０）の視線を推定する。人（１０）の視線の推定は、人（１０）が含まれる撮像画像を画像解析することで行われる。上記判定は、推定された人（１０）の視線を用いて行われる。

Description

情報処理装置、制御方法、及びプログラム

　本発明は、人の発話を処理する技術に関する。

　コンピュータによって、人の発話を表す音声を処理する技術がある。例えば特許文献１は、ユーザの音声入力文に対して応答するロボットを開示している。

特開２０１４－２４０８６４号公報

　ロボットなどの対象物がその人の近くに設置されている場合であっても、その人がその対象物以外に向けて発話することがある。例えば、他の人と会話をしたり、独り言を言ったりする場合がある。このようにロボット等に向けられていない発話が、ロボット等に向けられた発話と同様に処理されてしまうと、ロボット等が期待されていない動作をすることとなり、その利便性が低下してしまう。

　この点、特許文献１は、カメラによってユーザの正面の顔が検出されたときに得られた音声を、ユーザによる音声指示を表す可能性が高いものとして扱う技術を開示している。しかしながら、ユーザの正面の顔がロボット等に向いているからといって、ユーザがロボット等に音声指示をしているとは限らない。

　本発明は、以上の課題に鑑みてなされたものである。本発明の目的の一つは、人の発話を精度良く処理する技術を提供することである。

　本発明の情報処理装置は、１）撮像画像に含まれる人の視線を推定する画像解析手段と、２）推定した視線を用いて、音声データが、人から対象物に向けられた発話を表すものであるか否かを判別する音声判別手段と、を有する。

　本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）撮像画像に含まれる人の視線を推定する画像解析ステップと、２）推定した視線を用いて、音声データが、人から対象物に向けられた発話を表すものであるか否かを判別する音声判別ステップと、を有する。

　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

　本発明によれば、人の発話を精度良く処理する技術が提供される。

　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態１の情報処理装置（図２で例示される情報処理装置）の動作の概要を説明するための図である。 実施形態１の情報処理装置の構成を例示する図である。 情報処理装置を実現するための計算機を例示する図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 発話データによって表される発話が行われた期間の長さと、人の視線が対象物に向いている期間の長さとの関係を例示する図である。 記憶部に記憶される情報をテーブル形式で例示する図である。 実施形態２の情報処理装置の機能構成を例示するブロック図である。 特徴データをテーブル形式で例示する図である。 対象物以外の発話相手を特定した上で記憶される発話データを例示する図である。 実施形態３の情報処理装置の機能構成を例示するブロック図である。

　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

［実施形態１］
＜概要＞
　図１は、実施形態１の情報処理装置（図２で例示される情報処理装置２０００）の動作の概要を説明するための図である。以下で説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作は以下の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。

　情報処理装置２０００は、音声データに含まれる人１０の発話が、人１０から対象物２０に向けられたものであるか否かを判定する。対象物２０は、人１０が発話の対象としうる任意の物である。例えば対象物２０は、人１０の発話を処理して動作するロボットなどの任意のコンピュータである。なお図１の例における対象物２０は、人１０の発話に対して返答をする対話型のロボットである。

　上記判定を行うために、情報処理装置２０００は、人１０の視線を推定する。人１０の視線の推定は、人１０が含まれる撮像画像を画像解析することで行われる。上記判定は、推定された人１０の視線を用いて行われる。人１０から対象物２０に向けられた発話を表すと判定された音声データは、記憶部に記憶される。

　図１を用いて具体例を説明する。前述したように、図１において対象物２０は対話型のロボットである。図１の左列の例と右列の例ではいずれも、発話者である人１０－１の顔の正面方向は、対象物２０に向かっている。しかしながら、これらの例では、人１０－１の視線の方向が異なる。

　左列の例では、人１０－１がロボットに視線を向けて「明日の天気は晴れかな？」と発話している。ロボットに視線が向けられていることから、この発話は、ロボットに対し、翌日の天気を調べることを要求していると言える。情報処理装置２０００は、人１０－１の視線を用いて、音声データに含まれる発話が人１０からロボットに向けられたものであるか否かを判定する。その結果、音声データに含まれる発話は、人１０からロボットに向けられたものであると判定される。そこでロボットは、例えば上記発話に応じ、インターネットなどを利用して翌日の天気を調べて返答を出力する。例えば、「明日は雨の予報です」といった返答が出力される。

　一方、右列の例では、人１０－１は、ロボットに視線を向けずに、「明日の天気は晴れかな？」と発話している。ここで前述したように、この例においても、人１０－１の顔は正面を向いている。そのため、人１０－１の顔の向きに基づいて、人１０－１の発話がロボットに向けられているか否かを判定してしまうと、この例においても人１０－１の発話がロボットに向けられていると判定されてしまう。しかしながら、この例では、人１０－１は人１０－２を見ながら話をしており、明らかに人１０－２に話しかけていると言える。そのため、人１０－１の発話に対してロボットが応答すると、人１０－１と人１０－２の会話に割り込む形になってしまい、ロボットの利便性が低くなってしまうと言える。

　この点、情報処理装置２０００は、前述したように、人１０－１の視線を用いて、音声データに含まれる発話が人１０からロボットに向けられたものであるか否かを判定する。そのため、図１の右列の例では、音声データに含まれる発話は、人１０からロボットに向けられたものではないと判定される。よって、ロボットは、この発話に対する応答を行っていない。

　このように本実施形態の情報処理装置２０００は、「人が対象物に向けて発話する場合に、その人の視線がその対象物に向けられることが多い」ということに着目して発明されたものである。具体的には、本実施形態の情報処理装置２０００は、人１０の視線を推定し、推定した視線を用いて、人１０の発話が対象物２０に向けられているか否かを判定する。こうすることで、発話が人１０から対象物２０へ向けられたものであるか否かを精度良く判別することができる。例えば前述した図１の右列の例において、人１０－１から人１０－２に対する発話に対して、対象物２０が誤って応答してしまうことを防ぐことができる。

　以下、本実施形態の情報処理装置２０００についてさらに詳細に説明する。

＜情報処理装置２０００の機能構成の例＞
　図２は、実施形態１の情報処理装置２０００の構成を例示する図である。図２において、情報処理装置２０００は、画像解析部２０２０及び音声判別部２０４０を有する。画像解析部２０２０は、撮像画像を取得し、取得した撮像画像に含まれる人１０の視線を推定する。音声判別部２０４０は、人１０の発話が含まれる音声データ（以下、発話データ）を取得する。また、音声判別部２０４０は、画像解析部２０２０によって推定された視線を用いて、発話データが人１０から対象物２０に向けられた発話を表すものであるか否かを判定する。発話データが人１０から対象物２０に向けられた発話を表すと判定した場合、音声判別部２０４０は、その発話データを記憶部５０に記憶させる。記憶部５０は、発話データを記憶することができる任意の記憶装置である。記憶部５０は、情報処理装置２０００の内部に設けられてもよいし、外部に設けられてもよい。

＜情報処理装置２０００のハードウエア構成＞
　情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、System on Chip（SoC）などのチップ、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

　計算機１０００は、対象物２０の内部に設置されてもよいし、対象物２０の外部に設置されてもよい。例えば対象物２０がロボットであるとする。この場合、対象物２０の内部に設置される計算機１０００は、例えばロボットに内蔵される制御チップである。一方、対象物２０の外部に設置される計算機１０００は、例えばネットワークなどを介して外部からロボットを制御するサーバ装置である。

　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、カメラ３０やマイク４０が接続される。カメラ３０やマイク４０についての説明は後述する。

　ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。例えば情報処理装置２０００が対象物２０の外部に設置される場合、情報処理装置２０００は、対象物２０に内蔵されている他の計算機とネットワークを介して通信する。

　ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。また、記憶部５０が情報処理装置２０００の内部に設けられる場合、例えば記憶部５０は、ストレージデバイス１０８０を用いて実現される。

　なお、計算機１０００は、複数の計算機を利用して実現されてもよい。例えば画像解析部２０２０及び音声判別部２０４０は、それぞれ異なる計算機で実現することができる。この場合、各計算機のストレージデバイスに記憶されるプログラムモジュールは、その計算機で実現される機能構成部に対応するプログラムモジュールだけでもよい。

＜＜カメラ３０について＞＞
　カメラ３０は、人１０を撮像して動画データを生成する任意のカメラである。撮像画像は、この動画データを構成する動画フレームである。カメラ３０は、対象物２０に設置されてもよいし、対象物２０以外の場所に設置されてもよい。例えば対象物２０がロボットであるとする。この場合、対象物２０に設置されるカメラ３０は、例えばロボットが周囲の状況を視覚的に認識するために利用される（ロボットの眼として扱われる）カメラである。

＜＜マイク４０について＞＞
　マイク４０は、対象物２０の周囲の音声を電気信号に変換する任意のマイクである。例えばマイク４０は、対象物２０に設置される。発話データは、マイク４０によって生成された電気信号から生成される音声データから、人の発話を表すと推測される部分を切り出したものである。なお、マイク４０によって生成された電気信号を音声データに変換する技術や、音声データから人の発話を表す部分を切り出す技術には、既存の技術を利用することができる。例えば音声データは、所定時間以上連続して音圧が所定値以下となる期間（無音の期間）のデータを取り除くことにより、発話単位に区切ることができる。

　マイク４０は、対象物２０に設置されてもよいし、対象物２０以外の場所に設置されてもよい。例えば対象物２０がロボットであるとする。この場合、対象物２０に設置されるマイク４０は、例えばロボットが周囲の状況を聴覚的に認識するために利用される（ロボットの耳として扱われる）マイクである。

＜処理の流れ＞
　図４は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。画像解析部２０２０は、撮像画像を取得する（Ｓ１０２）。画像解析部２０２０は、撮像画像を画像解析して、人１０の視線を推定する（Ｓ１０４）。音声判別部２０４０は、発話データを取得する（Ｓ１０６）。音声判別部２０４０は、推定された人１０の視線を用いて、発話データが人１０から対象物２０に向けられた発話を表すか否かを判定する（Ｓ１０８）。発話データが人１０から対象物２０に向けられた発話を表す場合（Ｓ１０８：ＹＥＳ）、音声判別部２０４０は、発話データを記憶部５０に記憶させる。

　発話データが人１０から対象物２０に向けられた発話を表さない場合（Ｓ１０８：ＮＯ）、図４の処理は終了する。ただし、音声判別部２０４０は、人１０から対象物２０に向けられた発話を表さない発話データも記憶部５０に記憶させるようにしてもよい。この場合、人１０から対象物２０へ向けられた発話を表す発話データと、人１０から対象物２０へ向けられた発話を表さない発話データは、互いに識別可能な状態で記憶部５０に記憶される。その具体的な方法については後述する。

＜撮像画像の取得：Ｓ１０２＞
　画像解析部２０２０は、撮像画像を取得する（Ｓ１０２）。画像解析部２０２０が撮像画像を取得する方法は任意である。例えば画像解析部２０２０は、カメラ３０から送信される撮像画像を受信する。また例えば、画像解析部２０２０は、カメラ３０にアクセスし、カメラ３０に記憶されている撮像画像を取得する。

　なお、カメラ３０は、カメラ３０の外部に設けられている記憶装置に撮像画像を記憶してもよい。この場合、画像解析部２０２０は、この記憶装置にアクセスして撮像画像を取得する。

　画像解析部２０２０が撮像画像を取得するタイミングは任意である。例えば画像解析部２０２０は、カメラ３０によって撮像画像が生成される度に、その新たに生成された撮像画像を取得する。その他にも例えば、画像解析部２０２０は、定期的に未取得の撮像画像を取得してもよい。例えば画像解析部２０２０が１秒間に１回撮像画像を取得する場合、画像解析部２０２０は、カメラ３０によって１秒間に生成される複数の撮像画像（例えばカメラ３０によって生成される動画データのフレームレートが 30fps(frames/second) であれば、３０枚の撮像画像）をまとめて取得する。

　画像解析部２０２０は、カメラ３０によって生成される全ての撮像画像を取得してもよいし、一部の撮像画像のみを取得してもよい。後者の場合、例えば画像解析部２０２０は、カメラ３０によって生成される撮像画像を、所定数に１つの割合で取得する。

＜視線の推定：Ｓ１０４＞
　画像解析部２０２０は、撮像画像に含まれる人１０の視線を推定する（Ｓ１０４）。撮像画像に含まれる人の視線を推定する技術には、既存の様々な技術を利用することができる。例えば、画像解析部２０２０は、撮像画像に含まれる人１０の顔の向きや眼球の位置等に基づいて、人１０の視線を推定する。顔の向きは、目、鼻、口等の特徴的な部分の顔領域内の位置や、これらの相対的な位置関係等に基づき推定することができる。

　なお、撮像画像に複数の人が含まれる場合、画像解析部２０２０は、それら複数の人それぞれについて、視線の推定を行う。

＜発話データの取得：Ｓ１０６＞
　音声判別部２０４０は、発話データを取得する（Ｓ１０６）。発話データは、マイク４０を用いて得られる音声データを発話単位で区切ることによって生成される。ここで、マイク４０を用いて得られる音声データを発話単位に区切る処理は、音声判別部２０４０によって行われてもよいし、音声判別部２０４０以外の装置によって行われてもよい。

　例えば対象物２０がロボットであり、情報処理装置２０００がそのロボットをリモートで制御するサーバ装置であるとする。この場合、例えばマイク４０は、そのロボットに取り付けられる。例えばロボットは、マイク４０を用いて得られた音声データ全体を情報処理装置２０００に対して送信する。この場合、音声判別部２０４０は、ロボットによって送信された音声データを受信し、その音声データを発話単位に区切ることで、１つ以上の発話データを取得する。その他にも例えば、ロボットは、マイク４０を用いて得られた音声データを発話単位で区切ることで１つ以上の発話データを生成し、各発話データを情報処理装置２０００に対して送信する。この場合、音声判別部２０４０は、ロボットから送信された１つ以上の発話データを受信することで、１つ以上の発話データを取得する。

　発話データを取得する方法は、対象物２０から情報処理装置２０００に対して音声データを送信する方法に限定されない。例えば音声判別部２０４０は、対象物２０にアクセスすることで対象物２０の内部に記憶されている音声データを取得したり、対象物２０と通信可能に接続されている記憶部に記憶されている音声データを取得したりしてもよい。後者の場合、対象物２０は、マイク４０から得られた音声データ、又はその音声データから切り出した発話データを記憶部に記憶させておく。

　音声判別部２０４０が発話データを取得するタイミングは任意である。例えば対象物２０が発話データを新たに生成する度に、情報処理装置２０００に対してその新たに生成された発話データを送信するとする。この場合、音声判別部２０４０は、発話データが新たに生成されたタイミングでその発話データを取得する。その他にも例えば、情報処理装置２０００は、定期的に対象物２０や対象物２０と通信可能に接続されている記憶部にアクセスし、未取得の音声データを取得してもよい。

　ここで、情報処理装置２０００は、発話データが表す発話の発話者を特定できることが好適である。この特定の方法は様々である。例えば、発話者は、発話が行われた期間において撮像画像に含まれる人の口の動きに基づいて特定することができる。例えば情報処理装置２０００は、発話データによって表される発話が行われた期間に生成された各撮像画像を画像解析することで、その期間に口を動かしている人を特定し、その人を発話者として特定する。なお、この期間に口を動かしている人が複数いる場合、例えば情報処理装置２０００は、その期間に口を動かしている時間が最も長い人を発話者として特定する。なお、音声データに含まれる発話の発話者を特定する技術には、その他の既存の技術を利用することもできる。

　その他にも例えば、発話者の複数の候補について、各候補の特徴を予め定めておき、この情報を発話者の特定に利用してもよい。例えば対象物２０が家庭で利用されるロボットの場合、その家に住んでいる人やその家によく来る人について、各人の発話に含まれる蓋然性が高い言葉をその人の識別情報（例えば識別番号）に対応づけた情報を、予め定めておく（記憶部に記憶させておく）。

　例えば或る家庭に、父親Ａ、母親Ｂ、及び娘Ｃの三人が住んでいるとする。この場合、父親Ａの識別情報に対しては父親Ａが頻繁に発する言葉（例えば、「ゴルフ」や「株価」など）を、母親Ｂの識別情報に対しては母親Ｂが頻繁に発する言葉（例えば、「買い物」や「掃除」など）を、娘Ｃの識別情報に対しては娘Ｃが頻繁に発する言葉（例えば、「大学」や「バイト」など）を対応づけておく。

　情報処理装置２０００は、発話が行われた期間に複数の人が口を動かしている場合、その発話に含まれる言葉が、各人の識別情報に対応づけられているかどうかを判定する。例えば前述の家庭の例において、発話が行われた期間に生成された撮像画像を画像解析した結果、父親Ａと母親Ｂが口を動かしていたとする。この場合、情報処理装置２０００は、発話に含まれる言葉が、父親Ａ又は母親Ｂの識別情報に対応づけられていないかどうかを判定する。例えば発話に「株価」という言葉が含まれていたら、発話の中に、父親Ａの識別情報に対応づけられている言葉が含まれている。そのため情報処理装置２０００は、発話者が父親Ａであると特定する。このように、人物と予め対応づけておいた言葉を発話者の特定に利用することで、発話者をより高い精度で特定することができる。

　なお、情報処理装置２０００は、必ずしも発話者を一意に特定する必要はない。例えば情報処理装置２０００は、発話者の候補となる人物それぞれについて（例えば家族のメンバーそれぞれについて）、その人物が発話者である尤度を算出する。例えば、父親について算出された尤度が最も大きければ、「発話者はおそらく父親であるが、他の人物である可能性もある」ということを表す。例えば情報処理装置２０００は、上述した発話に含まれる言葉と、各人物の識別情報に対応づけられている言葉との一致度合いなどに基づいて、各人物が発話者である尤度を算出する。

＜音声判別部２０４０による判定：Ｓ１０８＞
　音声判別部２０４０は、発話データが人１０から対象物２０に向けられた発話を表すか否かを判定する（Ｓ１０８）。或る発話が人１０から対象物２０に向けられたものであるか否かの判定は、その発話が行われた期間における人１０の視線に基づいて行われる。なお、撮像画像に人１０が複数含まれる場合、上記判定は、発話データによって表される発話の発話者の視線に基づいて行われる。

　例えば音声判別部２０４０は、発話データによって表される発話が行われた期間の中に、人１０の視線が対象物２０に向いている時点が含まれる場合には、その発話データによって表される発話が人１０から対象物２０に向けられたものであると判定する（Ｓ１０８：ＹＥＳ）。一方、発話データによって表される発話が行われた期間の中に、人１０の視線が対象物２０に向いている時点が含まれない場合（その期間中、一度も人１０の視線が対象物２０に向いていない場合）には、その発話データによって表される発話が人１０から対象物２０に向けられたものでないと判定する（Ｓ１０８：ＮＯ）。

　その他にも例えば、音声判別部２０４０は、発話データによって表される発話が行われた期間に、人１０の視線が対象物２０に向いていた時間の長さを考慮して、その発話が人１０から対象物２０に向けられたものであるか否かを判定する。例えば音声判別部２０４０は、発話データによって表される発話が行われた期間の長さに対する、人１０の視線が対象物２０に向いている期間の長さの割合を算出する。そして、音声判別部２０４０は、その割合が所定の大きさ以上である場合に、発話データによって表される発話が人１０から対象物２０に向けられたものであると判定する（Ｓ１０８：ＹＥＳ）。一方、上記割合が所定の大きさ未満である場合、発話データによって表される発話が人１０から対象物２０に向けられたものではないと判定する（Ｓ１０８：ＮＯ）。

　図５は、発話データによって表される発話が行われた期間の長さと、人１０の視線が対象物２０に向いている期間の長さとの関係を例示する図である。図５において、発話データによって表される発話が行われた期間は、時点 t1 から時点 t6 までであり、その期間の長さは p1 である。また、この期間内において、人１０の視線が対象物２０へ向いているのは、時点 t2 から時点 t3 までの期間と、時点 t4 から時点 t5 までの期間であり、これらの期間の長さはそれぞれ p2 と p3 である。よって、発話データによって表される発話が行われた期間の長さに対する、人１０の視線が対象物２０に向いている期間の長さの割合 r は (p2+p3)/p1 である。音声判別部２０４０は、この割合 r が所定の大きさ以上であるか否かを判定する。

＜＜人１０の視線が対象物２０に向いているか否かを判定する方法＞＞
　人１０の視線が対象物２０に向いているか否かを判定する方法は様々である。例えば音声判別部２０４０は、画像解析部２０２０によって推定された人１０の視線方向と、撮像画像における人１０の視線方向の始点（例えば黒目の中心）とを用いて、人１０の視線が対象物２０と交わるか否かを判定する。そして、人１０の視線が対象物２０と交わる場合、音声判別部２０４０は、人１０の視線が対象物２０に向けられていると判定する。一方、人１０の視線が対象物２０と交わらない場合、音声判別部２０４０は、人１０の視線が対象物２０に向けられていないと判定する。

　ここで、音声判別部２０４０は、人１０の両目のいずれか一方の視線についてのみ、人１０の視線が対象物２０と交わるか否かを判定してもよいし、人１０の両目の視線それぞれについて、対象物２０と交わるか否かを判定してもよい。後者の場合、音声判別部２０４０は、両目の視線いずれもが対象物２０と交わる場合のみ、人１０の視線が対象物２０に向いていると判定してもよいし、両目の視線の少なくとも一方が対象物２０と交われば、人１０の視線が対象物２０に向いていると判定してもよい。

　また、画像解析部２０２０が、人１０の両目の視線に基づいて、人１０の視線を１つ特定するようにしてもよい。例えば画像解析部２０２０は、人１０の左目の黒目の中心と、人１０の右目の黒目の中心との中点を、人１０の視線の始点とする。さらに、画像解析部２０２０は、人１０の左目の視線方向を表すベクトルと人１０の右目の視線方向を表すベクトルとを足し合わせたベクトルを、人１０の視線方向とする。そして音声判別部２０４０は、このようにして特定された１つの視線が対象物２０と交わるか否かを判定することで、人１０の視線が対象物２０を向いているか否かを判定する。

　なお、音声判別部２０４０は、「人１０の視線が対象物２０に交わるか否か」の代わりに、「人１０の視線が対象物２０を含む所定の大きさの範囲と交わるか否か」を判定してもよい。これは、人が或る物の方を見て話をするときに、必ずしもその視線がその物に交わるとは限らず、その物の周囲を向いていることもあるためである。上記所定範囲は、例えば、対象物２０の大きさを所定の割合（例えば 10%）で拡大した範囲である。

＜発話データを記憶させる処理：Ｓ１１０＞
　発話データが人１０から対象物２０に向けられた発話を表す場合（Ｓ１０８：ＹＥＳ）、音声判別部２０４０は、その発話データを記憶部５０に記憶させる（Ｓ１１０）。ここで前述したように、記憶部５０には、人１０から対象物２０に向けられた発話を表す発話データだけでなく、人１０から対象物２０に向けられていない発話を表す発話データも記憶されるようにしてもよい。この場合、記憶部５０は、発話データを、人１０から対象物２０に向けられたものであるか否かを表す情報と対応づけて記憶する。

　図６は、記憶部５０に記憶される情報をテーブル形式で例示する図である。図６のテーブルをテーブル２００と表記する。テーブル２００は、発話データ２０２、識別フラグ２０４、及び発話者２０６という３つの列を有する。発話データ２０２は、発話データを示す。識別フラグ２０４は、対応づけられている発話データ２０２が、人１０から対象物２０に向けられたものであるか否かを示す。テーブル２００において、識別フラグ２０４が「Ｙ」を示しているレコードは、発話データ２０２が人１０から対象物２０に向けられた発話を表していることを示す。一方、識別フラグ２０４が「Ｎ」を示しているレコードは、発話データ２０２が人１０から対象物２０に向けられていない発話を表していることを示す。

　発話者２０６は、発話データ２０２によって表される発話を行った人１０を識別するための識別情報を示す。例えばこの識別情報は、撮像画像から得られる発話者の顔の特徴量である。なお、発話者を特定する方法は前述した通りである。その他にも例えば、この識別情報は、人１０に割り当てられた識別子（固有の番号など）であってもよい。この場合、例えば情報処理装置２０００は、撮像画像に対して人の顔の検出を繰り返し行い、撮像画像から新たな人が検出されたら、その人の顔の特徴量に新たな識別子を対応づけ、記憶部に記憶させる。そして音声判別部２０４０は、発話データ２０２によって表される発話を行った人１０の顔の特徴量に対応づけられている識別子を、発話者２０６に設定する。

［実施形態２］
　図７は、実施形態２の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。

　実施形態２の情報処理装置２０００は、特徴データ生成部２０６０を有する。特徴データ生成部２０６０は、人１０から対象物２０に向けられた発話を表す発話データを用いて、人１０の特徴を表す特徴データを生成する。生成された特徴データは、記憶部に記憶される。この記憶部は、記憶部５０であってもよいし、記憶部５０以外の記憶部であってもよい。

　例えば人の発話の中には、その人が所属している会社や学校などに関連する情報、その人の交友関係に関する情報、その人が興味を持っているものに関連する情報、その人の予定に関連する情報、その人の性格に関連する情報など、様々な情報が含まれうる。そこで例えば、特徴データ生成部２０６０は、音声判別部２０４０によって人１０から対象物２０に向けられた発話を表していると判定された発話データの中から、上述した種々の情報を表すキーワードを抽出することで、人１０の特徴データを生成する。なお、発話の中からキーワードを抽出する技術自体には、既存の技術を利用することができる。

　例えば特徴データは、発話データから抽出されたキーワード全ての集合である。その他にも例えば、特徴データは、発話データから抽出されたキーワードのうち、特に重要度が高いキーワードの集合である。例えばキーワードの重要度は、そのキーワードが発話データの中に含まれる頻度によって表される。すなわち、発話の中に含まれる頻度が高いキーワードほど、重要度が高くなる。

　また、抽出されたキーワードには、そのキーワードの属性をさらに対応づけておくことが好適である。例えばスケジュールに関するキーワードである場合、そのキーワードに「スケジュール」という属性を対応づけておく。その他にも例えば、興味に関するキーワード（例えば、興味のある商品の名称）である場合、そのキーワードに「興味」という属性を対応づけておく。なお、１つのキーワードに複数の属性が対応づけられてもよい。ここで、発話の中からキーワードに関する属性を特定する技術にも、既存の技術を利用することができる。

　図８は、特徴データをテーブル形式で例示する図である。図８のテーブルを、テーブル３００と呼ぶ。テーブル３００は、キーワード３０２、属性３０４、及び重要度３０６という３つの列を有する。ここで、或る人の特徴データを表すテーブル３００は、その人の識別情報と対応づけられている。例えば図８には、「ID0001」で特定される人物の特徴データが示されている。

　ここで、特徴データ生成部２０６０は、人１０から対象物２０に向けられた発話を表す発話データだけでなく、人１０から対象物２０に向けられた発話を表さない発話データをさらに利用して、人１０の特徴データを生成してもよい。この場合、特徴データ生成部２０６０は、人１０から対象物２０に向けられた発話を表す発話データから抽出されるキーワードと、人１０から対象物２０に向けられた発話を表さない発話データから抽出されるキーワードとを区別して、特徴データを生成する。

　例えば特徴データ生成部２０６０は、人１０から対象物２０に向けられた発話を表す発話データから抽出されるキーワードを、人１０から対象物２０に向けられた発話を表さない発話データから抽出されるキーワードよりも優先して利用する。例えば、人１０から対象物２０に向けられた発話を表す発話データから抽出されたキーワードＡと、人１０から対象物２０に向けられた発話を表さない発話データから抽出されたキーワードＢが矛盾する関係にある場合、特徴データ生成部２０６０は、キーワードＡを特徴データに含め、キーワードＢを特徴データに含めないようにする。

　その他にも例えば、特徴データ生成部２０６０は、人１０から対象物２０に向けられた発話を表す発話データから抽出されるキーワードに、人１０から対象物２０に向けられた発話を表さない発話データから抽出されるキーワードよりも大きい重みを付けて、前述した重要度を算出する。例えば、キーワードの重要度を頻度と重みの積算値として算出する方法などがある。

　ここで、音声判別部２０４０は、人１０から対象物２０に向けられた発話以外の発話についても、人１０の視線を用いて、その発話が向けられた相手（以下、発話相手）を特定してもよい。例えば情報処理装置２０００は、任意のタイミング（例えば定期的に）で、カメラ３０の撮像範囲を変更しながら、カメラ３０に対象物２０の周囲を撮像させることで、対象物２０の周囲に存在する人の位置関係を把握しておく。そして音声判別部２０４０は、対象物２０の周囲に存在する人の位置関係、及び人１０の視線に基づいて、人１０が発話を行った際に人１０の視線が向けられている人を特定し、その人を発話相手として特定する。音声判別部２０４０は、その発話を表す発話データを、発話相手の識別情報に対応づけて、記憶部５０に記憶させる。

　図９は、対象物２０以外の発話相手を特定した上で記憶される発話データを例示する図である。図９のテーブル２００は、識別フラグ２０４の代わりに識別情報２０８を有する点で、図６のテーブル２００と相違する。識別情報２０８は、発話相手の識別情報を示す。ここで、図９の例では、「target」という識別情報に対応づけられている発話データは、対象物２０に向けられた発話を表す。その他の識別情報に対応づけられている発話データは、その識別情報で特定される人に受けられた発話を表す。例えば図９のテーブル２００の２番目のレコードは、002.wav という音声データファイルで表されている発話が、ID002 で特定される人物から、ID001 で特定される人物に対して向けられたものであることを示している。

　発話相手が人である場合にもその発話相手を特定することで、人１０の特徴データをより詳細に生成することができる。具体的には、人１０の特徴データに或るキーワードを含める際、そのキーワードに関する発話の発話相手も、そのキーワードに関連する関連人物として、特徴データに含めるようにする。

　例えば特徴データ生成部２０６０が、人物Ａの発話から、人物Ａが旅行に出かける予定であることを推定したとする。この場合、特徴データ生成部２０６０は、人物Ａの特徴データに、「キーワード：旅行、属性：スケジュール」という情報を含める。さらに特徴データ生成部２０６０は、人物Ａの発話から、人物Ａの旅行が一人で行くものなのか、それとも他の人と一緒に行くものなのか（旅行に関連する他の人物がいるのか）を推定し、その推定結果も人物Ａの特徴データに含めるようにする。

　例えば、人物Ａが旅行に関する発話（例えば、「今度の旅行どこに行こうか？」といった発話）を高い頻度で人物Ｂに向けて行っていることが検出されると、特徴データ生成部２０６０は、人物Ａが人物Ｂと一緒に旅行に行く蓋然性が高いと判定する。そこで特徴データ生成部２０６０は、人物Ａの旅行に関する特徴データに、関連人物として人物Ｂを含めるようにする。

　同様に、例えば特徴データ生成部２０６０が、人物Ａの発話から、人物Ａが商品Ｘに興味を持っていることを推定したとする。この場合、特徴データ生成部２０６０は、人物Ａの特徴データに、「キーワード：商品Ｘ、属性：興味」という情報を含める。さらに特徴データ生成部２０６０は、人物Ａの発話から、人物Ａが商品Ｘを一人で使うのか、それとも他の人と共同で使うのか（商品Ｘに関連する他の人物がいるのか）を推定し、その推定結果も人物Ａの特徴データに含めるようにする。例えば人物Ａが商品Ｘを人物Ｃと一緒に使う蓋然性が高いと推定された場合、特徴データ生成部２０６０は、人物Ａの商品Ｘに関する特徴データに、関連人物として人物Ｃを含めるようにする。

＜ハードウエア構成の例＞
　実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

＜作用・効果＞
　本実施形態の情報処理装置２０００によれば、人１０の発話及びその発話が行われた際の人１０の視線から、人１０の特徴データが生成される。こうすることで、人１０の予定や人１０の興味があるものといった人１０の特徴を、詳細に把握することができる。特に、人１０の特徴データに、その特徴に関連する人物も含める方法によれば、人１０の特徴をより詳細に把握することができる。このように人１０の特徴を詳細に把握することには、例えば後述するようにロボットが人１０の発話に基づいて動作する際に、人１０の特徴に応じてロボットによって提供されるサービス等を詳細にパーソナライズすることができるという利点がある。すなわち、各人の特徴に合わせたサービスを提供できるようになる。

［実施形態３］
　図１０は、実施形態３の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態３の情報処理装置２０００は、実施形態１又は２の情報処理装置２０００と同様の機能を有する。

　実施形態３の情報処理装置２０００は処理決定部２０８０を有する。処理決定部２０８０は、人１０から対象物２０に向けられた発話データの内容に基づいて、実行すべき処理を決定する。例えば対象物２０が、人１０から対象物２０に対する発話に応じて動作する機器（ロボットなど）であるとする。この場合、情報処理装置２０００は、人１０から対象物２０に向けられた発話データの内容に基づいて、対象物２０の動作を決定して、対象物２０の動作を制御する。

　人１０の発話の内容が、何らかの要求を表すものであるとする。例えば、人１０の発話の内容が、対象物２０を動作させるための所定の音声コマンドであるとする。この場合、情報処理装置２０００は、人１０から対象物２０に向けられた発話を表す発話データに含まれる音声コマンドに応じて、対象物２０を動作させる。

　ここで、情報処理装置２０００によって対象物２０の動作を制御することにより、対象物２０は、全ての発話データに含まれる音声コマンドに応じて動作するのではなく、人１０から対象物２０に向けられた発話に含まれる音声コマンドにのみ応じて動作する。こうすることで、人１０が対象物２０に向けて音声コマンドを発したときのみ対象物２０を動作させることができる。よって、例えば、人１０が他の人に対して発した言葉の中に、偶然音声コマンドと同じ言葉が含まれていたような場合に、対象物２０が誤って動作することを防ぐことができる。

　ここで、何らかの要求を表す発話は、所定の音声コマンドに限定されない。例えば対象物２０が、人の発話の内容を解釈して、その内容に応じた動作をする機能を有するとする。具体的には、「テーブルの上のコップを取って」という要求に応じ、テーブルの上にあるコップを取って発話者に渡す動作などが考えられる。

　ここで、人１０から発せられる要求は、対象物２０に対するものであることもあれば、周囲にいる他の人に対するものであることもある。このような場合、人１０から発せられた要求全てに応じて対象物２０を動作させると、対象物２０は、対象物２０に対して発されたものではない要求に対して誤って応じてしまうことになる。この点、情報処理装置２０００を用いて対象物２０の動作を制御することにより、対象物２０に対して発された要求に対しては対象物２０が応じ、対象物２０以外に（例えば他の人に）発された要求に対しては対象物２０が応じないようにすることができる。よって、対象物２０以外に対する要求に誤って対象物２０が応じてしまうことを防ぐことができる。

　なお、対象物２０を動作させるためのコマンド等は、発話の内容だけでなく、人の動作と組み合わせて定められてもよい。すなわち、人１０が対象物２０に向けて特定の発話をし、なおかつ特定の動作（例えばウインク）をしたことを検出し、これらの組み合わせに応じた動作を対象物２０が行うようにしてもよい。こうすることで、簡易な動作で対象物２０を利用しつつ、なおかつ対象物２０の誤動作を防ぐことができる。なお、人の動作は、カメラ３０によって生成される撮像画像を画像解析することで検出することができる。

　対象物２０は、人１０の発話の内容に応じて返答する機能を有していてもよい。この場合、情報処理装置２０００は、人１０の発話に対して対象物２０に返答させるか否かを決定する。具体的には、処理決定部２０８０は、発話データが人１０から対象物２０に向けられた発話であると判定された場合には、その発話データの内容を用いて対象物２０に返答をさせることを決定する。一方、処理決定部２０８０は、発話データが人１０から対象物２０に向けられた発話ではないと判定された場合には、対象物２０に返答をさせないことを決定する。このようにすることで、人１０が対象物２０ではなく他の人に向けて行った発話に対し、対象物２０が誤って返答してしまうことを防ぐことができる。

　ここで、人１０の発話に応じた対象物２０の動作は、その発話の内容に加え、実施形態２で説明した特徴データを利用して決定されることが好適である。例えば、人１０の発話に応じて情報を検索し、その検索結果を人１０に提示する場合、情報処理装置２０００は、検索結果をその人１０の特徴データを用いて絞り込んだ上で提示することが好適である。なお、情報処理装置２０００は、人１０の特徴データだけでなく、人１０のスケジュールデータなどをさらに利用してもよい。ここで、人１０の発話に応じた動作の内容（返答の内容など）を、その人の特徴を表すデータやスケジュールデータなどを利用して決定する技術には、既存の様々な技術を利用することができる。なお、特徴データを利用する場合、実施形態３の情報処理装置２０００は、実施形態２で説明した特徴データ生成部２０６０を有する。

　例えば人物Ａの発話が、対象物２０に対し、旅行の際に泊まるホテルの候補を検索するように求める発話（「来月の旅行で泊まれるホテルを探して」など）であったとする。この場合、例えば情報処理装置２０００は、人物Ａの特徴データやスケジュールデータを参照することで旅行の日程や行き先などを特定し、特定した日程や行き先に基づいて、利用可能なホテルを検索する。さらに情報処理装置２０００は、人物Ａの特徴データに示されている、人物Ａが興味のあるものを参照して、その興味のあるものとの関連度合いが高いホテルを優先的に検索結果として提示する。例えば人物Ａが興味のあるものに「温泉」が含まれる場合、情報処理装置２０００は、温泉施設を持つホテルや、温泉施設が近くにあるホテルを、優先的に提示する。

　ここで前述したように、特徴データがキーワードに関連する関連人物（例えば、一緒に旅行に行く人物など）を示しているとする。この場合、対象物２０の動作は、この関連人物も考慮して決定されることが好ましい。例えば上述したホテルを検索する例において、情報処理装置２０００は、人物Ａの特徴データを参照することで、人物Ａが人物Ｂと共に旅行に行くことを把握する。そして情報処理装置２０００は、二人で泊まれる部屋が空いているホテルを検索する。さらに情報処理装置２０００は、人物Ｂの特徴データに示されている、人物Ｂが興味のあるものを参照し、人物Ｂの興味も考慮してホテルを検索する。例えば人物Ｂが興味のあるものに「海鮮料理」が含まれる場合、情報処理装置２０００は、「温泉」及び「海鮮料理」との関連度合いが高いホテル（例えば、温泉施設と、海鮮料理のお店との双方が近くにあるホテル）を優先的に検索結果として提示する。

　同様に、例えば人物Ａの発話が、対象物２０に対し、商品の購入を依頼する発話であったとする。この場合において、人物Ａの特徴データに、人物Ａがその商品を人物Ｃと共同で利用することが示されていたとする。この場合、情報処理装置２０００は、人物Ａと人物Ｃの特徴データを参照することで、人物Ａと人物Ｃの双方に適した商品を候補として提示することが好適である。

＜ハードウエア構成の例＞
　実施形態３の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態を組み合わせた構成や、上記以外の様々な構成を採用することもできる。

　この出願は、２０１７年８月２５日に出願された日本出願特願２０１７－１６２０５８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (31)

1. 　撮像画像に含まれる人の視線を推定する画像解析手段と、
   　前記推定した視線を用いて、音声データが、前記人から対象物に向けられた発話を表すものであるか否かを判別する音声判別手段と、を有する情報処理装置。
2. 　前記音声判別手段は、前記人から対象物に向けられた発話であると判別された前記音声データを記憶手段に記憶させる、請求項１に記載の情報処理装置。
3. 　前記画像解析手段は、前記撮像画像に複数の人が含まれる場合、それぞれの人について視線の推定を行い、
   　前記音声判別手段は、複数の人それぞれが行った発話を表す各前記音声データについて前記判別を行う、請求項１又は２に記載の情報処理装置。
4. 　前記音声判別手段は、前記人から対象物に向けられた発話であると判別された前記音声データを、その人の識別情報と対応づけて記憶手段に記憶させる、請求項３に記載の情報処理装置。
5. 　前記音声判別手段は、前記人が発話している時間のうち、前記推定した視線が前記対象物に向けられている時間が所定割合以上である場合に、その発話が前記人から前記対象物に向けられたものであると判定する、請求項１乃至４いずれか一項に記載の情報処理装置。
6. 　前記音声判別手段は、前記人から前記対象物に向けられた発話を表さない前記音声データを、前記人から前記対象物に向けられた発話を表す前記音声データと識別可能な態様で、記憶手段に記憶させる、請求項１乃至５いずれか一項に記載の情報処理装置。
7. 　前記人から前記対象物に向けられた発話を表す前記音声データの内容を用いて、その人の特徴を表す特徴データを生成する特徴データ生成手段を有する、請求項１乃至６いずれか一項に記載の情報処理装置。
8. 　前記人の発話を表す音声データの内容と、その発話が向けられた相手とに基づいて、その人の特徴を表す特徴データを生成する特徴データ生成手段を有する、請求項１乃至６いずれか一項に記載の情報処理装置。
9. 　前記人から前記対象物に向けられた発話を表す前記音声データの内容に基づいて、当該情報処理装置又は前記対象物が実行すべき処理を決定する処理決定手段を有する、請求項１乃至８に記載の情報処理装置。
10. 　前記対象物は、前記発話に応じて動作する機器であり、
    　前記処理決定手段は、前記人から前記対象物に向けられた発話を表す前記音声データの内容に基づいて、前記対象物の動作を決定する、請求項９に記載の情報処理装置。
11. 　前記処理決定手段は、前記人から前記対象物に向けられた発話を表す音声データの内容に基づいて、前記人から前記対象物に向けられた発話に対する返答を生成し、前記生成した返答を前記対象物に出力させる、請求項９又は１０に記載の情報処理装置。
12. 　前記人から前記対象物に向けられた発話を表す前記音声データの内容を用いて、前記人の特徴を表す特徴データを生成する特徴データ生成手段を有し、
    　前記処理決定手段は、前記人から前記対象物に向けられた発話を表す音声データの内容及び前記人の特徴データを用いて、前記対象物の動作を決定する、請求項１０又は１１に記載の情報処理装置。
13. 　前記音声判別手段は、前記人から前記対象物に向けられた発話を表さない前記音声データを、前記人から前記対象物に向けられた発話を表す前記音声データと識別可能な態様で、記憶手段に記憶させ、
    　前記特徴データ生成手段は、前記人から前記対象物に向けられた発話を表す前記音声データの内容と、前記人から前記対象物に向けられた発話を表さない前記音声データの内容とを用いて、その人の前記特徴データを生成する、請求項７又は１２に記載の情報処理装置。
14. 　前記人の発話を表す音声データの内容と、その発話が向けられた相手とに基づいて、その人の特徴を表す特徴データを生成する特徴データ生成手段を有し、
    　前記処理決定手段は、前記人の発話を表す前記音声データの内容及び前記人の特徴データを用いて、前記対象物の動作を決定する、請求項１０又は１１に記載の情報処理装置。
15. 　前記対象物は対話型のロボットである、請求項１乃至１４いずれか一項に記載の情報処理装置。
16. 　コンピュータによって実行される制御方法であって、
    　撮像画像に含まれる人の視線を推定する画像解析ステップと、
    　前記推定した視線を用いて、音声データが、前記人から対象物に向けられた発話を表すものであるか否かを判別する音声判別ステップと、を有する制御方法。
17. 　前記音声判別ステップにおいて、前記人から対象物に向けられた発話であると判別された前記音声データを記憶手段に記憶させる、請求項１６に記載の制御方法。
18. 　前記画像解析ステップにおいて、前記撮像画像に複数の人が含まれる場合、それぞれの人について視線の推定を行い、
    　前記音声判別ステップにおいて、複数の人それぞれが行った発話を表す各前記音声データについて前記判別を行う、請求項１６又は１７に記載の制御方法。
19. 　前記音声判別ステップにおいて、前記人から対象物に向けられた発話であると判別された前記音声データを、その人の識別情報と対応づけて記憶手段に記憶させる、請求項１８に記載の制御方法。
20. 　前記音声判別ステップにおいて、前記人が発話している時間のうち、前記推定した視線が前記対象物に向けられている時間が所定割合以上である場合に、その発話が前記人から前記対象物に向けられたものであると判定する、請求項１６乃至１９いずれか一項に記載の制御方法。
21. 　前記音声判別ステップにおいて、前記人から前記対象物に向けられた発話を表さない前記音声データを、前記人から前記対象物に向けられた発話を表す前記音声データと識別可能な態様で、記憶手段に記憶させる、請求項１６乃至２０いずれか一項に記載の制御方法。
22. 　前記人から前記対象物に向けられた発話を表す前記音声データの内容を用いて、その人の特徴を表す特徴データを生成する特徴データ生成ステップを有する、請求項１６乃至２１いずれか一項に記載の制御方法。
23. 　前記人の発話を表す音声データの内容と、その発話が向けられた相手とに基づいて、その人の特徴を表す特徴データを生成する特徴データ生成ステップを有する、請求項１６乃至２１いずれか一項に記載の制御方法。
24. 　前記人から前記対象物に向けられた発話を表す前記音声データの内容に基づいて、前記コンピュータ又は前記対象物が実行すべき処理を決定する処理決定ステップを有する、請求項１６乃至２３に記載の制御方法。
25. 　前記対象物は、前記発話に応じて動作する機器であり、
    　前記処理決定ステップにおいて、前記人から前記対象物に向けられた発話を表す前記音声データの内容に基づいて、前記対象物の動作を決定する、請求項２４に記載の制御方法。
26. 　前記処理決定ステップにおいて、前記人から前記対象物に向けられた発話を表す音声データの内容に基づいて、前記人から前記対象物に向けられた発話に対する返答を生成し、前記生成した返答を前記対象物に出力させる、請求項２４又は２５に記載の制御方法。
27. 　前記人から前記対象物に向けられた発話を表す前記音声データの内容を用いて、前記人の特徴を表す特徴データを生成する特徴データ生成ステップを有し、
    　前記処理決定ステップにおいて、前記人から前記対象物に向けられた発話を表す音声データの内容及び前記人の特徴データを用いて、前記対象物の動作を決定する、請求項２５又は２６に記載の制御方法。
28. 　前記音声判別ステップにおいて、前記人から前記対象物に向けられた発話を表さない前記音声データを、前記人から前記対象物に向けられた発話を表す前記音声データと識別可能な態様で、記憶手段に記憶させ、
    　前記特徴データ生成ステップにおいて、前記人から前記対象物に向けられた発話を表す前記音声データの内容と、前記人から前記対象物に向けられた発話を表さない前記音声データの内容とを用いて、その人の前記特徴データを生成する、請求項２２又は２７に記載の制御方法。
29. 　前記人の発話を表す音声データの内容と、その発話が向けられた相手とに基づいて、その人の特徴を表す特徴データを生成する特徴データ生成ステップを有し、
    　前記処理決定ステップにおいて、前記人の発話を表す前記音声データの内容及び前記人の特徴データを用いて、前記対象物の動作を決定する、請求項２５又は２６に記載の制御方法。
30. 　前記対象物は対話型のロボットである、請求項１６乃至２９いずれか一項に記載の制御方法。
31. 　請求項１６乃至３０いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。

Images