JP2015153324A - 情報検索装置、情報検索方法及び情報検索プログラム - Google Patents

Abstract

【課題】ユーザが検索対象に関連するワードを把握していない場合であっても適切に情報を検索する技術を提供することを目的とする。
【解決手段】本発明の一態様は、ユーザからの音声入力を受け付ける音声入力手段と、前記音声入力を認識した音声認識結果を取得する音声認識結果取得手段と、前記音声認識結果から指示語を抽出する指示語抽出手段と、前記ユーザの動作を認識し、認識した動作からユーザの指示を推定する動作指示推定手段と、前記指示語抽出手段が抽出した指示語、前記動作指示推定手段が推定したユーザの指示及び前記音声認識結果を基に前記ユーザの検索指示を作成する指示作成手段とを有する情報検索装置に関する。
【選択図】図１

Description

本発明は、ユーザが音声発話や動作を用いて、自然な操作により情報検索を行う技術に関する。

従来、ユーザが情報検索する際には、検索する情報に関連するワードを端末にキー入力する必要があった。それに対して、近年、音声検索サービスが登場し、ユーザが端末に向かって音声を発話し、発話した音声からキーワードを抽出することで情報検索することが可能となっている。

また、ユーザが発話した自然文の中からユーザの意図を解釈し、システムが自動でキーワードを作成して情報検索をする技術も存在する。例えば、特許文献１では、ユーザ発話から、例えばユーザが意図する場所や店の名前等を知識ベースから検索する技術について開示されている。

特開２００２−１４９６４５

しかしながら、ユーザが音声で発話し、情報検索する場合には、検索対象に関連するワードを発話する必要があり、そのような関連ワードをユーザが把握していない場合は、検索できないという問題点がある。例えば、ユーザの目の前にあるビルの中にある店の名前を検索したい場合、特許文献１に開示の従来技術では、ユーザは当該ビルの名称を発話する必要があり、ユーザが当該ビルの名称を把握していない場合は、検索することができない。

また、ユーザがある寸法を有する物体について検索したい場合、特許文献１に開示の従来技術では、音声で検索する際にユーザはその物体の寸法を指定して検索する必要があり、ユーザが当該物体の寸法を把握していない場合は、検索することができない。

本発明は、以上のような課題を鑑み、ユーザが検索対象に関連するワードを把握していない場合であっても適切に情報を検索する技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、ユーザからの音声入力を受け付ける音声入力手段と、前記音声入力を認識した音声認識結果を取得する音声認識結果取得手段と、前記音声認識結果から指示語を抽出する指示語抽出手段と、前記ユーザの動作を認識し、認識した動作からユーザの指示を推定する動作指示推定手段と、前記指示語抽出手段が抽出した指示語、前記動作指示推定手段が推定したユーザの指示及び前記音声認識結果を基に前記ユーザの検索指示を作成する指示作成手段とを有する情報検索装置に関する。

本発明によれば、ユーザが検索対象に関連するワードを把握していない場合であっても、適切に情報を検索することが可能となる。

図１は、本発明の第１実施形態による情報検索システムの構成を示すブロック図である。 図２は、一例となる指示語と指示種別との関係を示すテーブルである。 図３は、一例となる寸法を示すユーザ動作を示すイメージ図である。 図４は、一例となる体の部位、寸法種別及び寸法の関係を示すテーブルである。 図５は、本発明の第１実施形態による情報検索方法の処理を示すフローチャートである。 図６は、本発明の第２実施形態による情報検索システムの構成を示すブロック図である。 図７は、一例となるユーザ動作と当該動作の撮像イメージとを示すイメージ図である。

以下、図面に基づいて本発明の実施の形態を説明する。
［第１実施形態］
以下、本発明の第１実施形態について図面を参照して説明する。
［構成］
図１は、本発明の第１実施形態にかかる情報検索システム及び情報検索装置の構成について説明する機能ブロック図である。図１に示されるように、情報検索システム１は、情報検索装置１０と、音声認識サーバ２０と、情報検索サーバ３０とを含んで構成されている。

情報検索装置１０は、カメラ等の撮影機器を内蔵し、通信網（例えば、移動体通信網）を介して音声認識サーバ２０及び情報検索サーバ３０等と通信を行うことができる情報処理装置であり、例えば、携帯電話機やスマートフォン、ＰＣ（Personal Computer）、デジタルサイネージ等が該当する。情報検索装置１０は、例えば、プロセッサなどのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリ装置、ハードディスク装置などの補助記憶装置、無線信号を通信するための通信装置、ユーザとやりとりするためのインタフェース装置、情報検索装置１０の位置や方向を検知するセンサ装置などから構成される。センサ装置は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を実現することによって情報検索装置１００の位置を検出する位置検出装置、情報検索装置１００の向きを検知する地磁気センサなどを有する。

後述される情報検索装置１００の各機能は、通信装置及び／又はインタフェース装置を介し補助記憶装置に格納されているデータやプログラムをメモリ装置にロードし、ロードされたプログラムに従ってＣＰＵがデータを処理することによって実現される。

音声認識サーバ２０は、情報検索装置１０から音声データを受信し、受信した音声に対して音声認識を行い、音声認識の結果である文章あるいは単語の集合を情報検索装置１０に送信する。

情報検索サーバ３０は、情報検索装置１０から検索キーワードを含む検索要求を受信し、受信した検索キーワードにより情報検索を行い、検索結果を情報検索装置１０に返信する。なお、情報検索サーバ３０が受信する検索キーワードは単語の集合であってもよいし、文章であってもよい。情報検索サーバ３０が検索キーワードとして文章を受信した場合は、所謂自然文検索と呼ばれる検索手法により情報検索を行ってもよい。自然文検索の手法としては既存の種々の技術を用いることができる。

次に、情報検索装置１０の機能構成について図１を参照して説明する。図１に示されるように、情報検索装置１０は、機能的要素として、音声入力部１１０（音声入力手段）と、音声認識結果取得部１２０（音声認識結果取得手段）と、指示語抽出部１３０（指示語抽出手段）と、撮像部１４０（撮像手段）と、動作指示推定部１５０（動作指示推定手段）と、指示作成部１６０（指示作成手段）と、検索結果出力部１７０と、記憶部１８０（記憶手段）とを含んで構成される。

後述される情報検索装置１０における処理は、典型的には、携帯電話機やスマートフォンなどの情報処理装置上で実行される情報検索アプリケーションにより実現されてもよい。この場合、上述した各種機能的要素は、情報検索アプリケーションを構成するモジュールとして実現されてもよい。

音声入力部１１０は、ユーザからの音声入力を受け付け、入力された音声データを音声認識サーバ２０に送信する。音声認識結果取得部１２０は、音声認識サーバ２０の音声認識結果を、テキストデータとして取得する。

指示語抽出部１３０は、音声認識結果取得部１２０が取得したテキストデータから、指示語を抽出する。ここで、指示語とは、ユーザの動作による検索意図を表す語であり、例えば代名詞を含む語である。指示語抽出部１３０は、音声認識結果取得部１２０が取得したテキストデータを基に、記憶部１８０に記憶する指示語リストを検索し、テキストデータ内にヒットした指示語があった場合は当該レコードに含まれる指示語を抽出するとともに、当該指示語が表す指示種別を特定する。図２に、記憶部１８０に記憶する指示語リストの例を示す。記憶部１８０は、指示語リストとして、指示語とそれに対応する指示種別を格納している。

指示語抽出部１３０の動作を、具体例を用いて説明する。例えば、ユーザが「これくらいのケーキ」と発話したとする。指示語抽出部１３０は、ユーザの発話を基に記憶部１８０に記憶する指示語リストを検索し、指示語「これくらい」を抽出するとともに、当該指示語に対応する指示種別として「寸法」を特定する。

撮像部１４０は、情報検索装置１０に備えられたカメラ等の撮像装置を用いて、ユーザの動作を撮像する。

動作指示推定部１５０は、指示語抽出部１３０が抽出した指示語及び指示語に対応する指示種別と、撮像部１４０が撮像したユーザの動作を基に、ユーザの指示の推定を行う。以下、具体例を用いて説明する。例えば、ユーザが「これくらいのケーキ」と発話したうえで、図３に示すようなケーキの寸法を表す動作をしたとする。この場合、指示語抽出部１３０は、上述の通り、発話による指示が「寸法」を表すものであることを特定している。よって、動作指示推定部１５０は、撮像部１４０が撮像したユーザの動作の中から、ユーザの指示として「寸法」を推定する。

動作指示推定部１５０による「寸法」の推定は、以下のようにして行う。まず、撮像部１４０が撮像した画像から、ユーザの手を検出する。この手の検出には、既存の種々の手法を用いることができる。

次に検出したユーザの手の位置や形状を基に、ユーザによる寸法を表す動作の特定を行う。図３の例では、ユーザが両手を平行に広げた動作を、寸法を表す動作として特定する。また別の例では、ユーザが片手で親指と人差し指を広げる動作を、寸法を表す動作として特定するようにしてもよい。

次に、特定した寸法を表す動作を基に、寸法の推定を行う。寸法の推定は、例えば、特定した寸法を表す動作に対応する画素数と体の部位に対応する画素数との比較により行う。具体的には、記憶部１８０に図４に示すような体の部位と寸法種別、寸法を対応づけたテーブルを記憶しておく。動作指示推定部１５０は、特定した寸法を表す動作に対応する画素数を算出するとともに、撮像部１４０が撮像した画像から、図４に示すような体の部位を検出し、対応する画素数を算出する。その後、これらの画素数の比較と記憶部１８０に記憶された当該体の部位に対応する寸法から、寸法の推定を行う。

目下の例において、図３に示すユーザが両手を平行に広げた動作に対応する画素数（左手の先と右手の先の間の画素数）が１８０画素であり、顔の幅に対応する画素が１５０画素であったとする。図４に示すテーブルを参照すると、顔の幅の寸法は１６ｃｍであることが分かるため、ユーザの動作に対応する寸法は、１８０÷１５０×１６≒１９ｃｍと推定される。

なお、記憶部１８０に記憶する体の部位に対応する寸法は、複数の人からサンプリングした平均的なサイズを用いてもよいし、当該ユーザ固有のサイズを事前に登録しておいてもよい。

指示作成部１６０は、音声認識結果取得部１２０が取得したテキストデータ、指示語抽出部１３０が抽出した指示語及び動作指示推定部１５０が推定したユーザの指示を基に、情報検索サーバ３０への検索指示を作成する。具体的には、指示作成部１６０は、テキストデータに含まれる指示語を推定したユーザの指示に置換することで検索指示を作成する。

図３の例では、音声認識結果取得部１２０が取得したテキストデータは、「これくらいのケーキ」であり、指示語抽出部１３０が抽出した指示語は「これくらい」であり、動作指示推定部１５０が推定したユーザの指示は、寸法が「１９ｃｍ」である。指示作成部１６０は、これらの情報に基づいて、「これくらいのケーキ」の「これくらい」を「１９ｃｍ」に置換し、「１９ｃｍのケーキ」を検索指示として作成する。

なお、検索指示を作成する際に、推定した寸法を四捨五入等により概数に変換したり、単位を変換したりした後に置換してもよい。例えば、「１９ｃｍ」を十の位で四捨五入した「２０ｃｍ」に変換してもよいし、ケーキを表す単位である「号」で表される大きさのうち、１９ｃｍに最も近い「６号」に変換してもよい。

指示作成部１６０は、作成した検索指示を情報検索サーバ３０に送信する。この際、情報検索サーバ３０が所謂自然文検索に対応している場合は置換後のテキストデータをそのまま送信してもよい。対応していない場合には、指示作成部１６０は、置換後のテキストデータから検索クエリとなるワードを抽出して、情報検索サーバ３０に送信してもよい。具体的には、テキストデータを形態素解析し、独立語を抽出して検索クエリとする。図３の例では、置換後のテキストデータ「１９ｃｍのケーキ」の独立語は「１９ｃｍ」、「ケーキ」であるため、これらのワードを検索クエリとして情報検索サーバ３０に送信する。

検索結果出力部１７０は、情報検索サーバ３０より、検索結果を受信し、出力する。検索結果出力部１７０は、検索結果をディスプレイに表示してもよいし、検索結果のテキストデータを音声合成することで出力してもよい。
［フローチャート］
次に、本実施形態に係る情報検索方法の処理の流れを図５に示すフローチャートを用いて説明する。まず、情報検索装置１０の音声入力部１１０にて、ユーザからの音声発話を入力する（ステップＳ０１）。次に、入力された音声発話が音声データとして音声認識サーバ２０に送信され、音声認識サーバ２０にて音声認識を行う（ステップＳ０２）。

その後、音声認識サーバ２０による音声認識結果を、テキストデータとして情報検索装置１０の音声認識結果取得部１２０が取得する（ステップＳ０３）。そして、指示語抽出部１３０が、取得したテキストデータから指示語を抽出し、指示語に対応する指示種別を特定する（ステップＳ０４）。

指示語抽出部１３０が指示語を抽出した場合（ステップＳ０５のＹｅｓ）、撮像部１４０がユーザの動作を撮像し（ステップＳ０６）、撮像したユーザの動作とステップＳ０４で抽出された指示語及び対応する指示種別を用いて、動作指示推定部１５０がユーザの動作による指示の推定を行う（ステップＳ０７）。

その後、ステップＳ０３で取得したテキストデータ、ステップＳ０４で抽出された指示語及び動作指示推定部で推定したユーザの指示に基づいて、指示作成部１６０が検索指示を作成する（ステップＳ０８）。作成された検索指示は情報検索サーバ３０に送信され、情報検索サーバ３０にて検索指示に基づく情報検索を行う（ステップＳ０９）。その後、情報検索結果が情報検索装置１０に送信され、検索結果出力部１７０にて検索結果を出力する（ステップＳ１０）。

他方、指示語抽出部１３０が指示語を抽出しなかった場合は（ステップＳ０５のＮｏ）、ステップＳ０３で取得したテキストデータを基に、指示作成部１６０が検索指示を作成する（ステップＳ０８）。その後の流れは上述のとおりである。

以上で説明したように、本実施形態に係る発明によれば、ユーザが検索対象の寸法を具体的に特定できない場合であっても、寸法を表す動作を行うことにより、当該検索対象の寸法を指定した検索を行うことができる。
［第２実施形態］
以下、本発明の第２実施形態について図面を参照して説明する。
［構成］
図６は、本発明の第２実施形態にかかる情報検索システム及び情報検索装置の構成について説明する機能ブロック図である。本実施形態における情報検索システムの構成は図１に示す第１実施形態にかかる情報検索システムの構成と同様である。

本実施形態における情報検索装置１０Ｎは、機能的要素として、音声入力部１１０（音声入力手段）と、音声認識結果取得部１２０（音声認識結果取得手段）と、指示語抽出部１３０（指示語抽出手段）と、撮像部１４０（撮像手段）と、動作指示推定部１５０Ｎ（動作指示推定手段）と、指示作成部１６０Ｎ（指示作成手段）と、検索結果出力部１７０と、記憶部１８０と、方向検知部１９０（方向検知手段）と、位置検知部１９１とを含んで構成される。なお、図１において説明済みの要素については同じ参照番号が付され、重複的な説明は行わない。

方向検知部１９０は、地磁気センサ等のセンサにより取得された情報を基に、情報検索装置１０が向いている方向（角度）を検知する。位置検知部１９１は、ＧＰＳや無線基地局による測位結果に基づき、情報検索装置１０の位置を検知する。

動作指示推定部１５０Ｎは、指示語抽出部１３０が抽出した指示語及び指示語に対応する指示種別と、撮像部１４０が撮像したユーザの動作と、方向検知部１９０が検知した情報検索装置１０が向いている方向を基に、ユーザの指示の推定を行う。

以下、具体例を用いて説明する。例えば、ユーザが「あっちの方のレストラン」と発話したうえで、図７（a）に示すようなビルの方向を表す動作をしたとする。この場合、指示語抽出部１３０は、上述の第１実施形態と同様の処理により、発話による指示が「方向」を表すものであることを特定する。よって、動作指示推定部１５０Ｎは、撮像部１４０が撮像したユーザの動作の中から、ユーザの指示として「方向」を推定する。

動作指示推定部１５０Ｎによる「方向」の推定は、以下のようにして行う。まず、撮像部１４０が撮像した画像から、ユーザの手を検出する。この手の検出には、既存の種々の手法を用いることができる。

次に、動作指示推定部１５０Ｎは、検出したユーザの手の位置を基に、ユーザの手の情報検索装置１０Ｎに対する相対的角度の推定を行う。相対的角度の推定は、例えば、検知したユーザの手の位置が、撮像部１４０が撮像した画像の中心画素からどれくらい離れているかを算出することにより行い、より具体的には、以下の式により算出することにより行う。

相対的角度（Ｄｒ）＝Ｐｈ／（Ｐａ／２）＊Ａ
ここで、Ｐｈは、検出したユーザの手の位置の、撮像された画像の横方向における中心画素からの画素数を表し、中心画素から右側（時計回り方向）にある場合は正値を、中心画素から左側（反時計回り方向）にある場合は負値をとるものとする。Ｐａは、撮像部１４０が撮像した画像の横方向における画素数を表す。Ａは、手の位置が画像端にあった場合の相対的角度の換算値であり、情報検索装置１０に備えられたカメラ等の撮像装置の画角の半分に相当する。つまり、相対的角度（Ｄｒ）は、カメラの画角に対して、ユーザの手の位置が画面内のどこに位置するかにより決定される。

目下の例において、図７（ｂ）に示すユーザの手の位置の中心画素からの画素数が１２０画素であり、撮像部１４０が撮像した撮像した画像の画素数が４８０画素であったとする。また、上式におけるＡを３０°とする。かかる場合、相対的角度は以下のようにして算出する。

Ｄｒ＝１２０／（４８０／２）＊３０＝１５°
その後、動作指示推定部１５０Ｎは、算出した相対的角度を、方向検知部１９０で検知した角度に加算するとともに、位置検知部１９１で検知した位置を付加することでユーザの動作が指示する方向を推定する。目下の例において、方向検知部１９０で検知した角度が「２２０°」であり、位置検知部１９１で検知した位置が「北緯３６度 東経１３９度」であった場合、ユーザの動作が指示する方向は、「北緯３６度 東経１３９度を中心とする２３５°」の方向となる。

あるいは、他の実施例では、動作指示推定部１５０Ｎは、ユーザが意図する方向に情報検索装置１０の向き（例えば、情報検索装置１０の表示画面に対向する方向など）を合わせるようユーザに指示し、検出した情報検索装置１０の向きをユーザの動作が指示する方向として決定してもよい。

指示作成部１６０Ｎは、第１実施形態と同様、音声認識結果取得部１２０が取得したテキストデータ、指示語抽出部１３０が抽出した指示語、位置検知部１９１が検知した位置及び動作指示推定部１５０が推定したユーザの指示を基に、情報検索サーバ３０への検索指示を作成する。具体的には、指示作成部１６０は、テキストデータに含まれる指示語を推定したユーザの指示に置換することで検索指示を作成する。

目下の例では、音声認識結果取得部１２０が取得したテキストデータは、「あっちの方のレストラン」であり、指示語抽出部１３０が抽出した指示語は「あっち」であり、動作指示推定部１５０が推定したユーザの指示は、方向が「北緯３６度 東経１３９度を中心とする２３５°」である。指示作成部１６０は、これらの情報に基づいて、「北緯３６度 東経１３９度を中心とする２３５°の方にあるレストラン」を検索指示として作成する。

なお、動作指示推定部１５０Ｎが推定した方向に誤差があることを考慮し、検索指示に含まれる方向に幅を持たせてもよい。例えば、±１０°の幅を持たせて「２２５°〜２４５°」としてもよい。また、ある一定の距離以内の範囲を検索対象として検索指示を作成することとしてもよい。例えば、一定の距離を５００ｍとした場合、「北緯３６度 東経１３９度を中心とする２３５°の方にある５００ｍ以内のレストラン」が検索指示となる。

以上で説明したように、本実施形態に係る発明によれば、ユーザが検索対象の関連ワードを具体的に特定できない場合であっても、検索対象としたい方向を表す動作を行うことにより、当該検索対象の方向を指定した検索を行うことができる。

[変形例]
上述の第1実施形態ではユーザの動作指示として寸法を、第２実施形態ではユーザの動作指示として方向をそれぞれ推定していたが、これらを組み合わせてもよい。すなわち、指示語抽出部１３０が抽出した指示語に対応する指示種別により、動作指示推定部１５０における寸法の推定処理と動作指示推定部１５０Ｎにおける方向の推定処理とを切り替えることとしてもよい。

上述の実施形態では音声認識サーバ２０により音声認識を行っていたが、音声認識サーバ２０を用いず、情報検索装置１０内で音声認識処理を行ってもよい。

上述の実施形態では動作指示推定部１５０は、撮像部１４０が撮像したユーザの動作を基にユーザの指示を推定していたが、撮像部１４０は必ずしも必要でない。例えば、距離センサ等の種々のセンサを用いてユーザの動作をセンシングすることで、ユーザの指示を推定することが可能である。

上述の第２実施形態では、動作指示推定部１５０Ｎは、位置検知部１９１が検知した位置を用いてユーザの指示としての方向を推定していたが、位置検知部１９１は必ずしも必要でない。例えば、ユーザとの相対的な位置関係により検索対象が特定できるような場合には、方向検知部１９０が検知した方向とユーザの手の情報検索装置１０Ｎに対する相対的角度のみを用いて方向を推定することとしてもよい。

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 情報検索システム
１０，１０Ｎ 情報検索装置
２０ 音声認識サーバ
３０ 情報検索サーバ

Claims (9)

1. ユーザからの音声入力を受け付ける音声入力手段と、
   前記音声入力を認識した音声認識結果を取得する音声認識結果取得手段と、
   前記音声認識結果から指示語を抽出する指示語抽出手段と、
   前記ユーザの動作を認識し、認識した動作からユーザの指示を推定する動作指示推定手段と、
   前記指示語抽出手段が抽出した指示語、前記動作指示推定手段が推定したユーザの指示及び前記音声認識結果を基に前記ユーザの検索指示を作成する指示作成手段と、
   を有する情報検索装置。
2. 前記指示語抽出手段が抽出する指示語は代名詞である、請求項１に記載の情報検索装置。
3. 前記ユーザの動作を撮像する撮像手段を更に有し、
   前記動作指示推定手段は、前記撮像手段が撮像したユーザの動作に基づいて前記ユーザの指示を推定する、請求項１又は２に記載の情報検索装置。
4. 前記ユーザの動作は、寸法を表す動作であり、
   前記動作指示推定手段は、前記ユーザの動作に対応する寸法を推定し、
   前記指示作成手段は、前記ユーザの動作に対応する寸法及び前記音声認識結果を基に前記ユーザの指示を作成する、請求項３に記載の情報検索装置。
5. 前記ユーザの体の部位の寸法を記憶する記憶手段を更に有し、
   前記撮像手段は、前記ユーザの体の部位をも撮像し、
   前記動作指示推定手段は、前記撮像手段で撮像した前記ユーザの体の部位に対応する寸法を前記記憶手段から抽出し、該ユーザの体の部位に対応する画素数、前記ユーザの動作に対応する画素数、及び前記記憶手段に記憶された該ユーザの体の部位に対応する寸法を基に、前記ユーザの動作に対応する寸法を推定する、請求項４に記載の情報検索装置。
6. 前記動作は、方向を表す動作であり、
   前記動作指示推定手段は、前記ユーザの動作に対応する方向を推定し、
   前記指示作成手段は、前記ユーザの動作に対応する方向と前記音声認識結果を基に前記ユーザの指示を作成する、請求項３に記載の情報検索装置。
7. 当該情報検索装置の方向を検知する方向検知手段を更に備え、
   前記撮像手段は、前記ユーザの手を撮像し、
   前記動作指示推定手段は、前記方向検知手段で検知した当該情報検索装置の方向及び前記撮像手段で撮像したユーザの手の位置を基に、前記ユーザが指示する方向を推定する、請求項６に記載の情報検索装置。
8. 情報検索装置により実現される情報検索方法であって、
   ユーザからの音声入力を受け付けるステップと、
   前記音声入力を認識した音声認識結果を取得するステップと、
   前記音声認識結果から指示語を抽出するステップと、
   前記ユーザの動作を認識し、認識した動作からユーザの指示を推定するステップと、
   前記抽出した指示語、前記推定したユーザの指示及び前記音声認識結果を基に前記ユーザの検索指示を作成するステップと、
   を有する情報検索方法。
9. ユーザからの音声入力を受け付けるステップと、
   前記音声入力を認識した音声認識結果を取得するステップと、
   前記音声認識結果から指示語を抽出するステップと、
   前記ユーザの動作を認識し、認識した動作からユーザの指示を推定するステップと、
   前記抽出した指示語、前記推定したユーザの指示及び前記音声認識結果を基に前記ユーザの検索指示を作成するステップと、
   をコンピュータに実行させるためのコンピュータプログラム。

Images