JP2018161713A - 対話制御装置およびロボット制御システム - Google Patents

Abstract

【課題】顧客との自然な対話を行うことが可能な対話制御装置およびロボット制御システムを提供する。【解決手段】対話制御装置は、情報取得部と、シナリオ進行制御部と、シナリオ補正部と、補正対話シナリオ発話部と、を備える。情報取得部は、飲食店に来店した顧客と対話するための対話シナリオ情報を複数の対話シナリオ情報から取得する。シナリオ進行制御部は、取得した対話シナリオ情報に対応する対話シナリオの進行を制御する。シナリオ補正部は、滞在状態判断部にて判断された顧客の滞在状態に基づいて、対話シナリオの補正処理を行う。補正対話シナリオ発話部は、対話シナリオの進行を戻す又は進める指示がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオをシナリオ補正部にて補正処理された対話シナリオに置き換えて発話させる。【選択図】図１

Description

本発明は、対話制御装置およびロボット制御システムに関する。

近年、レストランその他公共施設において、来場客の案内役としてヒューマノイド型ロボットを活用する事例が見られる（特許文献１参照）。このようなロボットとのコミュニケーション（対話）を専用の操作端末を用いて行う技術が検討されており、この技術によれば、顧客は、操作端末を介してロボットとの対話を楽しんだり、案内情報を入手したりすることができる。

具体的には、テーブル席に設置されたロボットと、直接的あるいはタブレット等を介して間接的に対話を行うサービスが考えられる。この場合、お薦めメニューを提示したり、雑談をしたりすることにより顧客の満足度を向上させることができる。

特開２０１５−６６６２３号公報

しかしながら、飲食店内では様々な音（会話、食器音、人の歩く音、店員のあいさつ等）が入り混じっており、ロボットの発話内容を聞き取れないことが多々あり、聞き漏らした内容を再度再生する必要が生じることがある。この際に一度話した内容と同じ内容をロボットに発話させると、“いかにもロボットと対話している”と客に感じさせてしまうという問題がある。

そこで、本発明が解決しようとする課題は、顧客との自然な対話を行うことが可能な対話制御装置およびロボット制御システムを提供することである。

一実施形態に係る対話制御装置は、飲食店に来店した顧客と対話するための対話シナリオ情報を複数の対話シナリオ情報から取得する情報取得部と、取得した対話シナリオ情報に対応する対話シナリオの進行を制御するシナリオ進行制御部と、顧客の飲食店内での滞在状態を判断する滞在状態判断部と、滞在状態判断部にて判断された顧客の滞在状態に基づいて、対話シナリオの補正処理を行うシナリオ補正部と、対話シナリオの進行を戻す又は進める指示がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオをシナリオ補正部にて補正処理された対話シナリオに置き換えて発話させる補正対話シナリオ発話部と、を備える。

補正対話シナリオ発話部は、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオをシナリオ補正部にて補正処理された対話シナリオに置き換えて発話させる前に、予め定めた所定の言葉を発話させもよい。

所定の言葉は、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオの発話を開始することを報知する言葉を含めてもよい。

シナリオ補正部は、滞在状態判断部にて判断された顧客の滞在状態に基づいて、対話シナリオを要約する補正処理を行うようにしてもよい。

シナリオ補正部は、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを要約した要約シナリオを生成し、補正対話シナリオ発話部は、生成された要約シナリオを発話させもよい。

補正対話シナリオ発話部は、直前に実行された対話シナリオ及び直後に実行されるべき対話シナリオの要約を蓄積したシナリオ要約蓄積部から取得して発話させもよい。

ロボットとの対話のための情報入力、情報選択および情報操作の少なくとも一つを行うユーザインタフェース部を更に備え、補正対話シナリオ発話部は、ユーザインタフェース部によって対話シナリオの進行を戻すまたは進める情報入力、情報選択または情報操作がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを要約してロボットに発話させてもよい。

ユーザインタフェース部は、タッチパネルを有し、タッチパネル内に対話の進行を制御するための少なくとも一つの指標を表示させる第１制御部と、指標の操作に応じて、対話を進めるか、戻すか、停止するか、又は切り替える制御を行う第２制御部と、を更に備えてもよい。

ユーザインタフェース部は、指標に基づいてタッチパネルをなぞった方向を示す第１検出信号を出力し、第２制御部は、第１検出信号に基づき、対話を進めるか、又は戻すかの制御を行い、補正対話シナリオ発話部は、第２制御部が対話を戻す制御又は対話を進める制御を行う際に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを要約して発話させてもよい。

一実施形態に係るロボット制御システムは、指示信号に応じた動作を行うロボットと、
指示信号を生成してロボットを操作する操作端末と、を備え、操作端末は、
飲食店に来店した顧客と対話するための対話シナリオ情報を複数の対話シナリオ情報から取得する情報取得部と、取得した対話シナリオ情報に対応する対話シナリオの進行を制御するシナリオ進行制御部と、顧客の飲食店内での滞在状態を判断する滞在状態判断部と、滞在状態判断部にて判断された顧客の滞在状態に基づいて、対話シナリオの補正処理を行うシナリオ補正部と、対話シナリオの進行を戻す又は進める指示がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオをシナリオ補正部にて補正処理された対話シナリオに置き換えて発話させる対話シナリオ発話部と、を備える。

本発明によれば、顧客との自然な対話を行うことが可能な対話制御装置およびロボット制御システムを提供できる。

一実施形態に係るロボット制御システムの一例を示すブロック図。 一実施形態に係る入力部の一例を示すブロック図。 一実施形態に係るシナリオ制御部のブロック図。 シナリオ制御が行う対話の進行制御に関する動作例を示すフローチャー。 図４中のステップＳ１３の詳細な処理を示すフローチャート。 ロボットとユーザとの対話の一例を示す図。 選択肢がユーザにより選択された場合の表示部の表示例を示す図。 図５で先送りがユ−ザに指示された場面を示す図。 注文が終了し、料理が来るのを待っている場面を示す図。 第１変形例に係るロボット制御システムの一例を示すブロック図。 第２変形例に係るロボット制御システムの構成を示す図

以下、本発明の実施形態に係る対話制御システム及びロボット制御システムの構成及び作用について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

図１は、本発明の実施形態によるロボット制御システム１を示すブロック図である。図１に示すように、ロボット制御システム１は、ロボット２と、ロボット制御装置の一例である操作端末３と、ハンディ端末４と、ＰＯＳ（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ）システムなどの店舗システム５と、を備える。ロボット制御システム１は、例えば、飲食店の顧客（以下、ユーザと呼ぶ）が、ロボット２を操作する操作端末３を介してロボット２と対話をするためのシステムである。なお、本実施形態に係る対話制御装置は、操作端末３により構成される。

図１におけるロボット２は、人間に似た外観及び対話機能を有する機械、すなわちヒューマノイドである。なお、ロボット２は、動物やキャラクタなどの人間と非類似の外観を有していてもよい。また、ロボット２は、表示部３５に表示された画像による仮想的なロボットであってもよい。

（ロボット２）
図１に示すように、ロボット２は、ロボット駆動部２１と、駆動制御部の一例であるロボット制御部２２とを有する。ロボット２は、商用電源から供給される電力によって駆動するものであってもよいし、電池等のバッテリにより駆動するものであってもよい。

ロボット駆動部２１は、ロボット２の発話音声を出力する音声出力装置を備える。ロボット駆動部２１を必要に応じて駆動させることにより、ユーザとの対話を行うためにロボット２に発話させることができる。ロボット駆動部２１には、ロボット制御部２２から、ロボット駆動部２１の駆動を制御する駆動制御信号が入力される。ロボット駆動部２１は、駆動制御信号に応じて駆動される。なお、ロボット駆動部２１は、他に、自由度を有するロボット２の部位を駆動するアクチュエータや、ロボット２の眼球部を点灯させる点灯装置等を有していてもよい。

ロボット制御部２２は、指令信号の一例であるロボット制御コマンドを操作端末３から受信する。ロボット制御部２２は、受信したロボット制御コマンドに基づいて上述の駆動制御信号を生成し、生成された駆動制御信号をロボット駆動部２１へと出力する。すなわち、ロボット２は、ロボット制御コマンドに応じて動作することができる。なお、ロボット２を発話させるためのコマンドには、発話内容を示すデータ（後述するシナリオデータ）が含まれる。

ロボット制御部２２は、例えば、アプリケーションプログラムやこれを動作させるオペレーティングシステムなどのソフトウェアが記憶された少なくとも１つのメモリと、メモリに記憶されたソフトウェアを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを有し、メモリに記憶されたソフトウェアをＣＰＵが実行することにより駆動制御信号を生成してもよい。

（操作端末３）
操作端末３は、ユーザが携帯するものであり、例えば、タッチ機能を備えたタブレット端末である。この他、操作端末３は、スマートフォンや卓上のディスプレイ型の端末などでもよい。図１に示すように、操作端末３は、センサの一例である方位センサ３１と、指令信号生成部及び送信部の一例である動作生成部３２とを有する。操作端末３は、内蔵電池から供給される電力によって駆動される。

方位センサ３１は、操作端末３の方位を示す方位検出信号を動作生成部３２へと出力する。方位センサ３１は、検出された操作端末３の方位を示す方位検出信号を動作生成部３２へと出力する。動作生成部３２は、例えば、方位センサ３１からの方位検出信号に基づいて、操作端末３が存在する方向を向くように、ロボット２の姿勢を制御するためのロボット制御コマンドを生成する。

動作生成部３２は、方位センサ３１の出力に基づいてロボット２の動作を制御するロボット制御コマンドを生成する。動作生成部３２は、生成されたロボット制御コマンドを、例えば、Ｗｉ−Ｆｉなどの無線通信を介してロボット制御部２２へと送信する。ロボット制御部２２は、動作生成部３２からのロボット制御コマンドを受信し、受信されたロボット制御コマンドに応じた駆動制御信号をロボット駆動部２１へと出力することにより、ロボット２の動作の制御を行う。

また、動作生成部３２は、対話に用いるシナリオデータに基づいてロボット２を制御するロボット制御コマンドを生成する。これにより、対話データを音声として発生させるロボット制御コマンドをロボット制御部２２へと送信することにより、ロボット２から音声を発生させる。この際、シナリオデータに基づいてロボット２の口の部分を開閉させたり、光らせたりするロボット制御コマンドを併せてロボット制御部２２に送信し、ロボット２の口を開閉させたり、光らせたりさせることもできる。ロボット２から出力される音声は、意味のある言葉を含む発話でもよいし、言葉を含まない擬制音などでもよい。

ロボット２の動作としては、音声を用いてユーザと会話を行う対話動作も含まれる。ユーザとロボット２との間での対話を行うための構成として、操作端末３は、上述の動作生成部３２に加え、さらに、シナリオＤＢ（データベース）３３と、シナリオ制御部３４と、表示部３５と、入力部３６と、音声出力部３７とを備える。

図１に示すように、シナリオＤＢ３３Ａには、ユーザとロボット２との間での対話を行うための複数の対話シナリオ情報が蓄積されている。対話シナリオ情報には、複数のシナリオ群（各シナリオ群は複数の対話シナリオを有する）や、複数の対話シナリオが含まれており、一つの対話シナリオは、ロボット２とユーザとの間でやり取りされる対話のストーリである。一つの対話シナリオには、ロボット２が対話、すなわち発話、動作などに用いるロボット側シナリオデータと、ユーザが対話、すなわち、操作端末３での選択に用いるユーザ側シナリオデータとで構成されている。ユーザ側シナリオデータは、ロボット側シナリオデータに対して応答可能な幾つかの対話シナリオデータを含んでおり、これらの中から任意のデータをユーザは入力部３６にて選択することができる。そして、ユーザ側シナリオデータに示される対話シナリオの選択肢のそれぞれに、互いに異なる新たな下位のユーザ側シナリオデータが対応付けられている。すなわち、対話シナリオデータは、ロボット側シナリオデータとユーザ側シナリオデータが交互にノードとして結合されたツリー構造を有する。ツリー構造のうち、最上位から最下位にわたる所定の一連のノード群は、例えば典型的な対話に用いられる基本シナリオとして管理されている。また、他のノード群は、基本シナリオを補正する補正シナリオとして管理されていてもよい。

シナリオＤＢ３３Ｂは、対話シナリオの要約を蓄積している。すなわち、このシナリオＤＢ３３Ｂは、シナリオＤＢ３３Ａと対となるデータベースであり、シナリオＤＢ３３Ｂは、シナリオＤＢ３３Ａが蓄積する対話シナリオ情報の要約を蓄積している。なお、本実施形態に係るシナリオＤＢ３３Ａがシナリオ要約蓄積部を構成している。

シナリオ制御部３４は、店舗システム５から出力されたデータに基づいてシナリオを制御する。本実施形態に係る表示部３５はタッチパネルを構成する例えば液晶パネルである。また、本実施形態に係る入力部３６は、タッチパネルをタッチまたはスワイプする（触る、またはなぞる）ことで、種々の情報を入力する。

図２は、入力部３６の一例を示すブロック図である。この図２に示すように入力部３６は、第１信号入力部３６１と、第２信号入力部３６２とを備える。第１信号入力部３６１は、表示部３５に表示される指標に基づいてタッチパネルをなぞった方向を示す第１検出信号を出力する。第２信号入力部３６２は、タッチパネル上の指標がタッチされたか否かを示す第２検出信号を出力する。第３信号入力部３６３は、タッチパネル上をタッチされた座標とその時刻とを示す第３検出信号を出力する。なお、表示部３５と、入力部３６と、音声出力部３７とが本実施形態に係るユーザインタフェース部を構成している。すなわち、本実施形態に係るユーザインタフェース部は、タッチパネルを有し、表示部３５に表示される指標に基づいてタッチパネルをなぞった方向を示す第１検出信号を出力する。

音声出力部３７は、シナリオ制御部３４の制御に従い、音声を発生する。速度検出部３８は、第３信号入力部３６３が出力する第３信号を用いて、例えば表示部３５及び入力部３６により構成されるタッチパネルをなぞる速度を検出する。なお、本実施形態に係る表示部３５及び入力部３６はタッチパネルを構成するが、これに限定されず、表示部３５と、入力部３６とをそれぞれ別体の装置として構成してもよい。

ここで、図３に基づき、シナリオ制御部３４の具体的な構成を説明する。図３は、シナリオ制御部３４のブロック図を示す図である。この図３に示すように、シナリオ制御部３４は、受信部３４１と、滞在状態判断部３４２と、情報取得部３４３と、対話制御部３４５と、を備える。また、シナリオ制御部３４は、推奨メニュー提供部３４４を備えていてもよい。このように、推奨メニュー提供部３４４は、必須の構成部ではない。

受信部３４１は、店舗システム５から出力されたステータスデータを含む情報を受信する。ステータスデータは、例えば飲食店の店舗スタッフが携帯する注文用のハンディ端末４にて入力可能である。このステータスデータは、ハンディ端末４から店舗システム５に送信され、その後、店舗システム５からシナリオ制御部３４の受信部３４１へと送信される。また、ステータスデータは、店舗システム５を経由せずに、ハンディ端末４から直接、受信部３４１を介して操作端末３へと送信されるようにしてもよい。

ステータスデータの例としては、ユーザが入店したことを示す第１状態、ユーザが着席したことを示す第２状態、ユーザが飲食物を注文したことを示す第３状態、注文した飲食物がユーザに提供されたことを示す第４状態、ユーザが提供された飲食物の飲食を完了したことを示す第５状態、ユーザが退店したことを示す第６状態などがある。これには限られず、ステータスデータは、ユーザが離席したことを示す離席状態、ユーザ同士が会話をしている会話状態、又は、ユーザが食後にデザートを注文した状態などを備えていてもよい。このように、ステータスデータは、時間の経過とともに変化するユーザの滞在状態を判断するのに用いられる情報である。

滞在状態判断部３４２は、受信部３４１が受信した情報のうち、ステータスデータに基づいて、例えばユーザの飲食店内での滞在状態を判断する。滞在状態判断部３４２は、例えば受信部３４１を介してユーザが着席したことを示す第２状態の信号を受信すると、飲食店に入店または着席してから飲食物を注文するまでの状態であると判断する。同様に、滞在状態判断部３４２は、例えば受信部３４１を介して第３状態の信号を受信すると、ユーザが注文した飲食物が提供されるのを待っている状態であると判断する。同様に、滞在状態判断部３４２は、例えば受信部３４１を介して第４状態の信号を受信すると、ユーザが飲食物の飲食を完了するまでの状態であると判断する。上述のステータスデータと同様に、滞在状態も、時間の経過とともに変化するユーザの状態を示す情報である。

なお、ステータスデータと滞在状態の関連性は、上述したもの以外の構成であってもよい。例えば、店舗スタッフが、ステータスデータとして滞在状態そのものを入力するようにしてもよい。すなわち、ユーザの行為をトリガとして入力するのではなく、状態そのものを入力するものであってもよい。具体的には、店舗スタッフが、着席した、注文した、といった行為を入力するのではなく、着席している状態、注文して飲食物待機中の状態といった状態を直接入力するようにしてもよい。この場合、滞在状態判断部３４２は、受信したステータスデータそのものを滞在状態であると判断する。このような入力の違いは、基本的には設計事項の問題である。

情報取得部３４３は、飲食店に来店したユーザと対話するための対話シナリオ情報をシナリオＤＢ３３Ａ内の複数の対話シナリオ情報の中から取得する。すなわち、この情報取得部３４３は、対話制御部３４５の制御に従い、シナリオＤＢ３３Ａに記憶される複数の対話シナリオ情報の中から、ユーザと対話するための対話シナリオ情報を取得し、対話制御部３４５に出力する。情報取得部３４３は、ユーザの滞在状態に応じて対話するシナリオデータを取得するようにしてもよいし、情報取得部３４３がシナリオ群を取得した上で、当該シナリオ群から対話に用いるシナリオデータを選択して出力するようにしてもよい。

推奨メニュー提供部３４４は、メニュー中にお薦めのメニューがある場合に、当該お薦めのメニューに関する推奨メニュー情報を情報取得部３４３に送信する。情報取得部３４３は、シナリオＤＢ３３Ａから、当該推奨メニューに関する対話シナリオ情報を取得する。

例えば、ユーザが着席後、注文前の滞在状態である場合に、情報取得部３４３で取得した推奨メニューに関する対話シナリオ情報に基づいて、推奨メニュー提供部３４４が推奨メニューを出力するようにしてもよい。

対話制御部３４５は、対話シナリオ情報に基づいて、対話シナリオを進行させる。すなわち、本実施形態に係る対話制御部３４５は、第１制御部３４５Ａと、第２制御部３４５Ｂと、シナリオ補正部３４５Ｃと、補正対話シナリオ発話部３４５Ｄとを、備えている。
第１制御部３４５Ａは、指標をユーザインタフェース部が有するタッチパネルに表示させる表示制御を行う。すなわち、第１制御部３４５Ａは、タッチパネル内に対話の進行を制御するための少なくとも一つの指標を表示させる。

例えば、第１制御部３４５Ａは、入力された対話シナリオ情報に基づいてユーザ側の”対話シナリオの選択肢”を示す画像情報を指標として表示部３５に表示させる。また、第１制御部３４５Ａは、”先送り”、”戻り”、”停止”などの文字表示を指標として入力部３６に表示させる。これらの”先送り”、”戻り”、”停止”、”対話シナリオの選択肢”などの指標は、それぞれが、対話シナリオの進行を”進める”、”戻す”、”停止する”、”切り替える”などの操作に対応している。

第２制御部３４５Ｂは、情報取得部３４３が取得した対話シナリオ情報に基づき対話シナリオの進行を制御する。この第２制御部３４５Ｂは、対話シナリオの進行を行いつつ、対話シナリオ情報に含まれるロボット側シナリオデータを動作生成部３２に出力し、ユーザ側のシナリオデータを第２制御部３４５Ｂに出力する。また、第２制御部３４５Ｂは、第１制御部３４５Ａが表示させる指標の操作に応じて、対話を進めるか、戻すか、停止するか、又は切り替える制御を行う。例えば、ユーザは、表示部３５に表示される指標が示す向きに従って、指標をなぞってもよく、指標をタッチしてもよい。例えば第２制御部３４５Ｂは、第１信号入力部３６１が生成したタッチパネルをなぞった方向を示す第１検出信号に基づき、対話を進めるか、又は戻すかの制御を行う。すなわち、第１制御部３４５Ａは、上述の”進める”、”戻す”、”停止する”、”切り替える”などに対応する指示信号に基づき、ロボットとの対話の進行を制御する。

シナリオ補正部３４５Ｃは、滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、対話シナリオの補正処理を行う。例えば、シナリオ補正部３４５Ｃは、滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、対話シナリオを要約する補正処理を行う。具体的には、滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを要約した要約シナリオを生成する。すなわち、対話シナリオの補正処理には、対話シナリオの要約処理が含まれる。

より詳細には、シナリオ補正部３４５Ｃは、ユーザが飲食店に入店または着席してから飲食物を注文するまでの状態、すなわち注文前である場合、前発話又は後発話において必要不可欠となる情報を確実に残した要約とする補正を行う。例えば、前発話又は後発話が”僕のおすすめメニューは特製ハンバーグだよ”の場合、“特製ハンバーグが僕のおすすめ”のように情報を落とさずに補正する。このため、ユーザは、店舗側がユーザに対して確実に伝えたいメニューに関する情報を聞き漏らすことがなく、さらに、発話内用が変更されているので、ユーザは、ロボット２との対話に臨場感を得ることができる。

また、ユーザが注文した飲食物の提供を待っている状態である場合、シナリオ補正部３４５Ｃは、前発話又は後発話の内容を簡略化した要約とする補正を行う。例えば、雑談の対話シナリオにおいて、“昨日、脇道から車が飛び出してきて、とてもびっくりしたんだ”という前発話又は後発話に対して、“昨日の車にはびっくりしたよ”のように簡易的な情報のみを伝える補正を行う。このため、ユーザは再度同様の情報を聞くことになるが、簡易的な発話内容に変更されているので、ユーザは、ロボット２との対話により臨場感を得ることができる。

また、ユーザが食事中の状態である場合、シナリオ補正部３４５Ｃは、前発話又は後発話とは異なる発話内容、例えば、“食事中だからまた後で話をするよ”のように補正を行う。これにより、ユーザは対話のための操作が制限され食事に集中することが可能である。シナリオ補正部３４５Ｃは、食事終了後であり会計前の状態である場合、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを要約する。この場合、発話内容が要約されるため、ユーザはロボット２との対話により臨場間を感じることが可能である。

補正対話シナリオ発話部３４５Ｄは、対話シナリオの進行を戻す又は進める指示がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオをシナリオ補正部３４５Ｃにて補正処理された対話シナリオに置き換えて発話させる。また、補正対話シナリオ発話部３４５Ｄは、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオをシナリオ補正部３４５Ｃにて補正処理された対話シナリオに置き換えて発話させる前に、予め定めた所定の言葉を発話させる。より具体的には、補正対話シナリオ発話部３４５Ｄは、タッチパネルに表示される指標に対する操作がされた後に、この操作の内容に対応する所定の言葉を音声出力部３７から音声出力させる。例えば、対話シナリオの進行を戻す場合、”もう一度言うね”などの言葉を予め定めた所定の言葉として発話させる。一方で、対話シナリオの進行を進める場合、”先に進むね”などの言葉を予め定めは、所定の言葉として発話させる。このように、この予め定めた所定の言葉には、対話シナリオ又は直後に実行されるべき対話シナリオの発話を開始することを報知する言葉が含まれる。

一方で、補正対話シナリオ発話部３４５Ｄは、直前に実行された対話シナリオ及び直後に実行されるべき対話シナリオの要約を蓄積したシナリオ要約ＤＢ３３Ｂから取得して発話させることも可能である。この場合には、シナリオ補正部３４５Ｃを用いずに、直前に実行された対話シナリオ及び直後に実行されるべき対話シナリオの要約を発話させる。このように、補正対話シナリオ発話部３４５Ｄは、表示部３５を有するユーザインタフェース部によって対話シナリオの進行を戻すまたは進める情報入力、情報選択または情報操作がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを要約してロボット２に発話させることが可能である。

以上の構成により、対話シナリオデータを用いてユーザとロボット２との間での対話を行うことができる。

次に、図４に基づき、シナリオ制御部３４が行う対話の進行制御例を説明する。図４は、シナリオ制御部３４が行う対話の進行制御に関する動作例を示すフローチャートである。

まず、シナリオ制御部３４の第２制御部３４５Ｂは、情報取得部３４３が取得した対話シナリオ情報に基づき、通常の発話をロボット２に行わせる（ステップＳ１０）。次に、第２制御部３４５Ｂは、発話の戻りが指示されたか否かを判定する（ステップＳ１１）。

第２制御部３４５Ｂが発話の戻りが指示されていないと判断した場合（ステップＳ１１：ＮＯ）、ステップＳ１０にもどる。

一方で、第２制御部３４５Ｂが発話の戻りが指示されたと判断した場合（ステップＳ１１：ＹＥＳ）、シナリオ補正部３４５Ｃは、直前に実行された対話シナリオ、より具体的には直前に発話した内容（以下、前発話とも呼ぶ）をシナリオＤＢ３３Ａから呼び出し（ステップＳ１２）、直前に実行された対話シナリオを要約した要約シナリオ、より具体的には前発話の要約を生成する（ステップＳ１３）。

次に、補正対話シナリオ発話部３４５Ｄは、シナリオ補正部３４５Ｃにて補正処理された対話シナリオをロボット２に発話させる（ステップＳ１４）。こ場合、補正対話シナリオ発話部３４５Ｄは、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオをシナリオ補正部３４５Ｃにて補正処理された対話シナリオに置き換えて発話させる前に、予め定めた所定の言葉を発話させる。

次に、第２制御部３４５Ｂは、対話シナリオに基づく対話が終了したか否かを判定し（ステップＳ１５）、対話が終了していないと判断した場合（ステップＳ１５：ＮＯ）、ステップＳ１０にもどる。

一方で、対話が終了したと判断した場合（ステップＳ１５：ＹＥＳ）、第２制御部３４５Ｂは、全体処理を終了する。

次に、図５に基づき、図４中のステップＳ１３の詳細な処理を説明する。図５は、図４中のステップＳ１３の詳細な処理を示すフローチャートである。滞在状態判断部３４２は、受信部３４１を介して店舗システム５からステータスデータを取得する（ステップＳ２０）。滞在状態判断部３４２は、受信した信号が、ユーザが入店したことを示す第１状態を示す信号、又はユーザが着席したことを示す第２状態を示す信号であるか否かを判定する（ステップＳ２１）。

受信した信号が、ユーザが入店したことを示す第１状態を示す信号、又はユーザが着席したことを示す第２状態を示す信号である場合（ステップＳ２１：ＹＥＳ）、滞在状態判断部３４２は、ユーザが飲食店に入店または着席してから飲食物を注文するまでの状態、すなわち注文前であると判断する。この場合、シナリオ補正部３４５Ｃは、注文前の状態であるので、必要不可欠な情報を確実に残した要約とする補正を行う。（ステップＳ２２）。

一方で、受信した信号が、ユーザが入店したことを示す第１状態を示す信号、及びユーザが着席したことを示す第２状態を示す信号でない場合（ステップＳ２１：ＮＯ）、滞在状態判断部３４２は、ユーザが飲食物を注文したことを示す第３状態を示す信号であるか否かを判定する（ステップＳ２３）。

受信した信号が、ユーザが飲食物を注文したことを示す第３状態を示す信号である場合（ステップＳ２３：ＹＥＳ）、滞在状態判断部３４２は、ユーザが飲食物を注文したことを示す第３状態、すなわち商品の提供前の状態であると判断する。この場合、シナリオ補正部３４５Ｃは、前発話の情報を簡易的に要約した補正を行う（ステップＳ２４）。

一方で、受信した信号が、ユーザが飲食物を注文したことを示す第３状態を示す信号でない場合（ステップＳ２３：ＮＯ）、滞在状態判断部３４２は、注文した飲食物がユーザに提供されたことを示す第４状態を示す信号であるか否かを判定する（ステップＳ２５）。

受信した信号が、注文した飲食物がユーザに提供されたことを示す第４状態を示す信号である場合（ステップＳ２５：ＹＥＳ）、滞在状態判断部３４２は、注文した飲食物がユーザに提供されたことを示す第４状態、すなわち、ユーザが飲食物の飲食を完了するまでの状態であると判断する。この場合、シナリオ補正部３４５Ｃは、前発話とは異なる発話内容とする補正を行う（ステップＳ２６）。

一方で、受信した信号が、注文した飲食物がユーザに提供されたことを示す第４状態を示す信号でない場合（ステップＳ２５：ＮＯ）、ユーザが提供された飲食物の飲食を完了したことを示す第５状態であると判断する。この場合、シナリオ補正部３４５Ｃは、前発話の情報を簡易的に要約した補正を行う（ステップＳ２７）。なお、各ステップＳ２２，Ｓ２４，Ｓ２６，Ｓ２７の補正処理は一例であり、必要不可欠な情報を含む要約とするか、簡易的な要約とするか、要約以外の発話内容とするかは適宜変更可能である。また、上記例では、前発話に対する補正処理を示しているが、後発話に対する補正処理も同様に行うことができる。

このように、シナリオ補正部３４５Ｃは、滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、対話シナリオの補正処理を行う。次に、対話シナリオの具体的な適用例について説明する。図６は、ロボット２とユーザとの対話の一例を示す図である。この図６に示すように、対話は、ロボット２と、操作端末３を用いて行われる。操作端末３は、例えば、表示部３５と、表示部３５に一体に組み込まれたタッチパネル式の入力部３６と、を備えるタブレット型の携帯端末である。ロボット２からは、情報取得部３４３により選択されたロボット側シナリオデータに基づいて、例えば「なにを注文する？」という発話が実行される。

図７は、図６において、「おすすめメニューを教えて！」がユーザにより選択された場合の表示部３５の表示例を示す図である。この図６に示すように、本日のおすすめメニューとして、推奨メニュー提供部３４４が提供した、「イタリア産チーズのハンバーグ」の文字が、画像や動画とともに表示される。それとともに、その他のおすすめメニューを併せて表示してもよい。さらに、ロボット２からイタリア産チーズのハンバーグの説明について、メニューの内容、おすすめの理由等を発話するようにしてもよい。ここでは、戻る、を示す指標がユーザに指示された場面を示している。この場面は、引き続き、注文前であるので、前発話である”僕のおすすめメニューは特製ハンバーグだよ”をほとんどそのまま要約した”特製ハンバーグが僕のおすすめ”と発言している。更に、補正対話シナリオ発話部３４５Ｄにより、ロボット２は”もう一度言うね。さっき言ったのは”という所定の発言をしている。

図８は、図５で先送りがユ−ザに指示された場面を示す図である。この場面は、図７と同様の表示である。この場面は、引き続き、注文前であるので、直後に実行されるべき対話シナリオである”僕のおすすめメニューは特製ハンバーグだよ”をほとんどそのまま要約した”特製ハンバーグが僕のおすすめ”と発言している。更に、補正対話シナリオ発話部３４５Ｄにより、ロボット２は”先に進むね”という所定の発言をしている。

図９は、注文が終了し、料理が来るのを待っている場面を示す図である。ここでは、戻る、を示す指標がユーザに指示された場面を示している。この場面は、注文が終了し、料理が来るのを待っている状態であるので、前発話である”デザートはバニラアイスがおすすめだよ”を簡略化して要約した”デザート”と発言している。更に、補正対話シナリオ発話部３４５Ｄにより、ロボット２は”もう一度言うね。さっき言ったのは”という所定の発言をしている。

以上のように、本実施形態によれば、対話シナリオの進行を戻す又は進める指示がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを滞在状態判断部３４２にて判断されたユーザの滞在状態に基づいて、シナリオ補正部３４５Ｃにより補正処理した対話シナリオに置き換えて発話させることとした。これにより、ロボットとの対話を戻したり、進めたりする場合に、ユーザの滞在状態に応じて補正した直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを再びロボット２に発話させることができる。これにより、ユーザの状態、例えば、注文前である状態や、飲食中である状態に適した自然な対話を行うことができ、ユーザの満足度を高めることが可能となる。

なお、上記の説明においては、滞在状態は、店舗スタッフがハンディ端末４から入力した際に遷移するものであるとしたが、これには限られない。例えば、ユーザの注文を確定した後に、ユーザの注文した飲食物の平均的な提供までの待ち時間が経過した後に、飲食中の滞在状態へと遷移するようにしてもよい。また、例えば、飲食物の提供が完了した後、３０分や４５分と言った所定の時間後に自動的にユーザの飲食が完了した滞在状態へと遷移するようにしてもよい。

特に、注文を受けた際には、店舗スタッフがハンディ端末４を操作するために滞在状態の更新を忘れることはないが、その他の滞在情報は、店舗スタッフが確認してハンディ端末４を操作しなくてはならないため、ハンディ端末４を介しての滞在情報の更新が為されない場合がある。このような場合に、予め決められた時間が経過すると自動的に滞在状態が遷移するようにしておくことは有効である。

（第１変形例）
図１０は、第１変形例に係るロボット制御システム１の一例を示すブロック図である。上述した実施形態においては、シナリオＤＢ３３Ａは、操作端末３内に設置されているものであったが、これには限られない。例えば、図１０に示すように、シナリオＤＢ３３Ａは、操作端末３の外部にあるものでもよい。そして、シナリオ制御部３４は、ネットワーク６を介してシナリオＤＢ３３Ａと接続される。

シナリオＤＢ３３Ａは、操作端末３の外部の所定のサーバに備えられているものでもよいし、特定のサーバではなく、ネットワーク６により接続される所謂クラウド上に存在するデータベース（分散型データベースを含む）であってもよい。ネットワーク６と、操作端末３又はシナリオＤＢ３３Ａは、有線又は無線の通信を介して接続される。

本変形例によれば、シナリオＤＢ３３Ａを操作端末３内ではなく外部に有することにより、操作端末３にてシナリオＤＢの管理を行う必要がなくなるとともに、シナリオデータの一元管理をすることも可能となる。さらに、シナリオＤＢ３３Ａがクラウド上に存在し、特定多数の編集者がシナリオデータを編集、あるいは、追加することが可能であるように設定することにより、よりバリエーションに富んだ対話内容を選択することも可能となる。

（第２変形例）
図１１は、第２変形例に係るロボット制御システム１の構成を示す図である。この図１１に示すように、動作生成部３２、シナリオ制御部３４、及び、シナリオＤＢ３３Ａは、操作端末３ではなく、ロボット２内に備えられているものとしてもよい。すなわち、主要な制御機能を操作端末３ではなく、ロボット２に備えるようにしてもよい。動作生成部３２、及び、シナリオ制御部３４の動作は、上述した実施形態における動作と大きく異なることはなく、本変形例においても、図４に示すフローチャートにしたがって対話の処理が実行される。

本変形例によれば、操作端末３の構成を簡略化でき、また、操作端末３からロボット２へと送信するデータ量を削減できるため、操作端末３とロボット２との間の通信回線の性能が低い場合でも、支障なくロボット２との対話を行うことができる。なお、動作生成部３２は、操作端末３及びロボット２の外部に設けられていてもよく、例えば、店舗システム５に内蔵されていてもよいし、店舗システム５とは別個の通信機器内に設けてもよい。

なお、上述した全ての実施形態及び変形例においては、対話は、ユーザ、又は、ロボット２が何かしらの情報を出力している状態として説明したが、これには限られない。例えば、食事中であれば、ロボット２との対話の必要性は低くなるので、このような場合においては、無言のシナリオをあらかじめ準備しておき、この無言のシナリオを出力するようにしてもよい。

上述した全ての実施形態及び変形例に係るロボット制御システム１は、既述したように飲食サービスに好適に適用することができるが、飲食サービス以外の種々のサービスに適用されてもよい。

本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ ロボット制御システム、２ ロボット、３ 操作端末、３３Ｂ シナリオ要約ＤＢ、３４ シナリオ制御部、３４２ 滞在状態判断部、３４３ 情報取得部、３４５Ｃ シナリオ補正部、３４５Ｄ 補正対話シナリオ発話部

Claims (10)

1. 飲食店に来店した顧客と対話するための対話シナリオ情報を複数の対話シナリオ情報から取得する情報取得部と、
   前記取得した対話シナリオ情報に対応する対話シナリオの進行を制御するシナリオ進行制御部と、
   前記顧客の前記飲食店内での滞在状態を判断する滞在状態判断部と、
   前記滞在状態判断部にて判断された顧客の滞在状態に基づいて、前記対話シナリオの補正処理を行うシナリオ補正部と、
   前記対話シナリオの進行を戻す又は進める指示がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを前記シナリオ補正部にて補正処理された対話シナリオに置き換えて発話させる補正対話シナリオ発話部と、
   を備える対話制御装置。
2. 前記補正対話シナリオ発話部は、前記直前に実行された対話シナリオ又は前記直後に実行されるべき対話シナリオを前記シナリオ補正部にて補正処理された対話シナリオに置き換えて発話させる前に、予め定めた所定の言葉を発話させる請求項１に記載の対話制御装置。
3. 前記所定の言葉は、前記直前に実行された対話シナリオ又は前記直後に実行されるべき対話シナリオの発話を開始することを報知する言葉を含む、請求項２に記載の対話制御装置。
4. 前記シナリオ補正部は、前記滞在状態判断部にて判断された顧客の滞在状態に基づいて、前記対話シナリオを要約する補正処理を行う、請求項１乃至３のいずれか一項に記載の対話制御装置。
5. 前記シナリオ補正部は、前記直前に実行された対話シナリオ又は前記直後に実行されるべき対話シナリオを要約した要約シナリオを生成し、
   前記補正対話シナリオ発話部は、前記生成された要約シナリオを発話させる請求項４に記載の対話制御装置。
6. 前記補正対話シナリオ発話部は、前記直前に実行された対話シナリオ及び前記直後に実行されるべき対話シナリオの要約を蓄積したシナリオ要約蓄積部から取得して発話させる請求項５に記載の対話制御装置。
7. ロボットとの対話のための情報入力、情報選択および情報操作の少なくとも一つを行うユーザインタフェース部を更に備え、
   前記補正対話シナリオ発話部は、前記ユーザインタフェース部によって前記対話シナリオの進行を戻すまたは進める情報入力、情報選択または情報操作がされた場合に、前記直前に実行された対話シナリオ又は前記直後に実行されるべき対話シナリオを要約して前記ロボットに発話させる請求項５または６に記載の対話制御装置。
8. 前記ユーザインタフェース部は、タッチパネルを有し、
   前記タッチパネル内に前記対話の進行を制御するための少なくとも一つの指標を表示させる第１制御部と、
   前記指標の操作に応じて、前記対話を進めるか、戻すか、停止するか、又は切り替える制御を行う第２制御部と、を更に備える請求項７に記載の対話制御装置。
9. 前記ユーザインタフェース部は、前記指標に基づいて前記タッチパネルをなぞった方向を示す第１検出信号を出力し、
   前記第２制御部は、前記第１検出信号に基づき、前記対話を進めるか、又は戻すかの制御を行い、
   前記補正対話シナリオ発話部は、前記第２制御部が前記対話を戻す制御又は前記対話を進める制御を行う際に、前記直前に実行された対話シナリオ又は前記直後に実行されるべき対話シナリオを要約して発話させる請求項８に記載の対話制御装置。
10. 指示信号に応じた動作を行うロボットと、
    前記指示信号を生成して前記ロボットを操作する操作端末と、を備え、
    前記操作端末は、
    飲食店に来店した顧客と対話するための対話シナリオ情報を複数の対話シナリオ情報から取得する情報取得部と、
    前記取得した対話シナリオ情報に対応する対話シナリオの進行を制御するシナリオ進行制御部と、
    前記顧客の前記飲食店内での滞在状態を判断する滞在状態判断部と、
    前記滞在状態判断部にて判断された顧客の滞在状態に基づいて、前記対話シナリオの補正処理を行うシナリオ補正部と、
    前記対話シナリオの進行を戻す又は進める指示がされた場合に、直前に実行された対話シナリオ又は直後に実行されるべき対話シナリオを前記シナリオ補正部にて補正処理された対話シナリオに置き換えて発話させる対話シナリオ発話部と、
    を備えるロボット制御システム。

Images