JP2018161710A - 対話制御装置及びロボット制御システム - Google Patents

Abstract

【課題】顧客と適切なタイミングで対話を行うことができる対話制御装置及びロボット制御システムを提供する。【解決手段】ロボット制御システムは、指示信号に応じた動作を行う、ロボットと、前記指示信号を生成して前記ロボットに送信する、操作端末と、を備え、前記操作端末は、店舗システムからの情報に基づいて、飲食店に入店した顧客の前記飲食店内での滞在状態を判断する、滞在状態判断部と、前記滞在状態判断部で判断された前記顧客の滞在状態に応じた対話シナリオ情報を取得する、情報取得部と、前記情報取得部で取得された対話シナリオ情報に基づいて、前記顧客との対話を行う、対話制御部と、前記滞在状態判断部にて判断された滞在状態に基づいて、前記対話制御部が行う前記顧客との対話を制限する対話制限部と、を備える。【選択図】図１

Description

本発明は、対話制御装置及びロボット制御システムに関する。

近年、レストランその他公共施設において、来場客の案内役としてヒューマノイド型ロボットを活用する事例が見られる。このようなロボットとのコミュニケーション（対話）を専用の操作端末を用いて行う技術が検討されており、この技術によれば、ユーザは、操作端末を介してロボットとの会話を楽しんだり、案内情報を入手したりすることができる。

具体的には、テーブル席に設置されたロボットと、直接的あるいはタブレット等を介して間接的に対話を行うサービスが考えられる。この場合、お薦めメニューを提示したり、雑談をしたりすることにより顧客の満足度を向上させることができる。

特開２０１５−６６６２３号公報

しかしながら、このようなサービスを提供しても、対話が現在の状況に見合ったものでないと、対話がちぐはぐなものとなり、却って顧客の満足度を下げることにもなりかねない。例えば、親子で飲食店に入店した場合、一般的に、親は、子どもに食事中には食事を楽しむことを望んでおり、食事中にタブレット等を操作することや、ロボットとの対話を行うことを望んでいないことも多い。

そこで、本発明は、顧客と適切なタイミングで対話を行うことができる対話制御装置及びロボット制御システムを提供するものである。

一実施形態に係る対話制御装置は、飲食店に入店した顧客の前記飲食店内での滞在状態を判断する、滞在状態判断部と、前記滞在状態判断部で判断された前記顧客の滞在状態に応じた対話シナリオ情報を取得する、情報取得部と、前記情報取得部で取得された対話シナリオ情報に基づいて、前記顧客との対話を行う、対話制御部と、前記滞在状態判断部にて判断された滞在状態に基づいて、前記対話制御部が行う前記顧客との対話を制限する対話制限部と、を備える。

前記対話制限部は、前記滞在状態判断部にて特定の滞在状態であると判断されると、前記対話制御部が行う前記顧客との対話を制限してもよい。

前記対話制限部は、前記特定の滞在状態から他の滞在状態に遷移したことが前記滞在状態判断部にて判断されると、前記顧客との対話制限を解除してもよく、前記対話制御部は、前記対話制限部による前記顧客との対話制限が解除されると、前記他の滞在状態に応じて前記情報取得部から取得された対話シナリオ情報に基づいて、前記顧客との対話を行ってもよい。

前記対話制御部は、前記対話制限部により前記顧客との対話が制限されている間は、予め定めた発話を行ってもよい。

前記対話制御部は、前記対話制限部により前記顧客との対話が制限されている間は、前記予め定めた発話を行った後は、前記顧客との対話を停止してもよい。

前記対話制限部により前記顧客との対話が制限されている間であって、かつ前記顧客との対話を停止している期間中に、前記顧客と対話を行うロボットの外観および姿勢の少なくとも一方を特定の状態に制御する、駆動制御部を備えていてもよい。

前記特定の滞在状態は、前記顧客が飲食中の状態を含んでいてもよい。

前記滞在状態判断部にて判断される前記顧客の滞在状態は、時間の経過により変化する状態であってもよい。

前記滞在状態判断部にて判断される前記顧客の滞在状態は、前記顧客が前記飲食店に入店または着席してから飲食物を注文するまでの状態と、前記顧客が注文した飲食物が提供されるのを待っている状態と、前記顧客が飲食物の飲食を完了するまでの状態と、前記顧客が飲食物の飲食を完了してから退店するまでの状態と、のうち少なくとも１つの状態を含んでいてもよい。

一実施形態に係るロボット制御システムは、指示信号に応じた動作を行う、ロボットと、前記指示信号を生成して前記ロボットに送信する、操作端末と、を備え、前記操作端末は、店舗システムからの情報に基づいて、飲食店に入店した顧客の前記飲食店内での滞在状態を判断する、滞在状態判断部と、前記滞在状態判断部で判断された前記顧客の滞在状態に応じた対話シナリオ情報を取得する、情報取得部と、前記情報取得部で取得された対話シナリオ情報に基づいて、前記顧客との対話を行う、対話制御部と、前記滞在状態判断部にて判断された滞在状態に基づいて、前記対話制御部が行う前記顧客との対話を制限する対話制限部と、を備える。

本発明によれば、顧客と適切なタイミングで対話を行うことができる。

一実施形態に係るロボット制御システムの一例を示すブロック図。 一実施形態に係るシナリオ制御部の一例を示すブロック図。 一実施形態に係る対話制御におけるシナリオ制御の処理を示す図。 一実施形態に係る対話制御及び対話制限の処理の流れを示すフローチャート。 一実施形態に係る対話の一例を示す図。 一実施形態に係るメニュー提供の対話の一例を示す図。 一実施形態に係るメニュー提供の対話の一例を示す図。 一実施形態に係る対話の制限の一例を示す図。 一実施形態に係る対話の制限の一例を示す図。 一実施形態に係る対話の制限の一例を示す図。 一実施形態に係る対話の制限の一例を示す図。 一実施形態に係るシナリオ制御部の別の例を示すブロック図。 一実施形態に係るロボット制御システムの別の例を示す図。 一実施形態に係るロボット制御システムのさらに別の例を示す図。 一実施形態に係るロボット制御システムのさらに別の例を示す図。

以下、本発明の実施形態に係る対話システムの構成及び作用について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は、説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

図１は、本発明の実施形態に係るロボット制御システム１を示すブロック図である。図１に示すように、ロボット制御システム１は、ロボット２と、対話制御装置の一例である操作端末３と、ハンディ端末４と、ＰＯＳ（Point Of Sales）システムなどの店舗管理装置５と、を備える。ロボット制御システム１は、例えば、飲食店の顧客（以下、ユーザと呼ぶ）が、ロボット２を操作する操作端末３を介してロボット２と対話をするためのシステムである。ハンディ端末４は、例えば、店舗スタッフが所持している注文端末であり、店舗スタッフは、ユーザから注文を受けた場合、ハンディ端末４を介して注文を店舗管理装置５へと送信する。

図１におけるロボット２は、人間に似た外観及び対話機能を有する機械、すなわちヒューマノイドである。なお、ロボット２は、動物やキャラクタなど人間と非類似の外観を有していてもよい。また、ロボット２は、表示部３５に表示された画像による仮想的なロボットであってもよい。

（ロボット２）
図１に示すように、ロボット２は、ロボット駆動部２１と、駆動制御部の一例である、ロボット制御部２２と、を有する。ロボット２は、商用電源から供給される電力によって駆動するものであってもよいし、電池等のバッテリにより駆動するものであってもよい。

ロボット駆動部２１は、ロボット２の発話音声を出力する音声出力装置を備える。ロボット駆動部２１を必要に応じて駆動させることにより、ユーザとの対話を行うためにロボット２に発話させることができる。ロボット駆動部２１には、ロボット制御部２２から、ロボット駆動部２１の駆動を制御する駆動制御信号が入力される。ロボット駆動部２１は、駆動制御信号に応じて駆動される。なお、ロボット駆動部２１は、他に、自由度を有するロボット２の部位を駆動するアクチュエータや、ロボット２の眼球部を点灯させる点灯装置等を有していてもよい。

ロボット制御部２２は、指令信号の一例であるロボット制御コマンドを操作端末３から受信する。ロボット制御部２２は、受信したロボット制御コマンドに基づいて、上述の駆動制御信号を生成し、生成された駆動制御信号をロボット駆動部２１へと出力する。すなわち、ロボット２は、ロボット制御コマンドに応じて動作することができる。なお、ロボット２を発話させるためのコマンドには、発話内容を示すデータ（後述するシナリオデータ）が含まれる。

ロボット制御部２２は、例えば、アプリケーションプログラムやこれを動作させるオペレーティングシステムなどのソフトウェアが記憶された少なくとも１つのメモリと、メモリに記憶されたソフトウェアを実行するＣＰＵ（Central Processing Unit）とを有し、メモリに記憶されたソフトウェアをＣＰＵが実行することにより駆動制御信号を生成してもよい。

（操作端末３）
操作端末３は、ユーザが携帯する対話制御装置であり、例えば、タッチ機能を備えたタブレット端末である。この他、操作端末３は、スマートフォンや卓上のディスプレイ型の端末などでもよい。図１に示すように、操作端末３は、センサの一例である方位センサ３１と、指令信号生成部及び送信部の一例である動作生成部３２とを有する。操作端末３は、内蔵電池から供給される電力によって駆動される。なお、対話制御には、対話とともに、又は、対話に替えて行うロボットの動作の制御が含まれていてもよい。すなわち、操作端末３は、ロボット制御装置としても動作し得る。

方位センサ３１は、操作端末３の方位を示す方位検出信号を動作生成部３２へと出力する。方位センサ３１は、検出された操作端末３の方位を示す方位検出信号を動作生成部３２へと出力し、動作生成部３２は、例えば、この方位検出信号に基づいて操作端末３が存在する方向を向くように、ロボット２の姿勢を制御するためのロボット制御コマンドを生成する。

動作生成部３２は、ロボット２の動作を制御するためのロボット制御コマンドを生成する。動作生成部３２は、生成されたロボット制御コマンドを、例えば、Ｗｉ−Ｆｉなどの無線通信を介してロボット制御部２２へと送信する。ロボット制御部２２は、動作生成部３２からのロボット制御コマンドを受信し、受信されたロボット制御コマンドに応じた駆動制御信号をロボット駆動部２１へと出力することにより、ロボット２の動作の制御を行う。

ロボット２の動作としては、音声を用いてユーザと会話を行う対話動作も含まれる。ユーザとロボット２との間での対話を行うための構成として、操作端末３は、上述の動作生成部３２に加え、さらに、シナリオＤＢ（データベース）３３と、シナリオ制御部３４と、表示部３５と、タッチパネル等の入力部３６と、音声出力部３７とを備える。

シナリオＤＢ３３は、シナリオ蓄積部であり、ユーザとロボット２との間での対話を行うための複数の異なる対話シナリオ情報が蓄積されている。対話シナリオ情報は、複数の対話シナリオを含んでいる。対話シナリオとは、ユーザとロボット２との間でやりとりされる対話のストーリである。飲食店に入店したユーザは、入店してから退店するまでの間に複数の滞在状態を遷移する。そこでシナリオＤＢ３３には、遷移状態ごとに別個の対話シナリオが蓄積されている。また、ある滞在状態にて実行された対話シナリオの進行中に、顧客が操作端末３で複数の選択肢の中から特定の選択肢を選択した場合には、別の対話シナリオに切り替わる場合もあり得る。各対話シナリオは、ロボット２が対話（すなわち、発話）に用いるロボット側シナリオデータと、ユーザが対話（すなわち、操作端末３での選択）に用いるユーザ側シナリオデータとで構成されている。ユーザ側シナリオデータは、各対話シナリオにおけるロボット２の発話に対するユーザ側の選択肢等を集めたデータである。ユーザ側シナリオデータは、対話シナリオの進行に合わせて、操作端末３の表示部３５に選択肢等を表示するために用いられる。ユーザは、表示された選択肢の中から特定の選択肢を入力部３６にて選択することができる。

そして、ユーザ側シナリオデータに示される対話シナリオの選択肢のそれぞれに、互いに異なる新たな（下位の）ロボット側シナリオデータとユーザ側シナリオデータが交互にノードとして結合されたツリー構造を有する。ツリー構造のうち、最上位から最下位にわたる所定の一連のノード群は、例えば、典型的な対話に用いられる基本シナリオとして管理され、他のノード群は、基本シナリオを補正する補正シナリオとして管理されていてもよい。

例えば、飲食店向けの対話シナリオデータは、飲食店におけるユーザの滞在情報を示すステータスデータに応じて複数のシナリオ群に区分されていてもよい。ステータスデータとは、ユーザの滞在状態が変更されるユーザの行為を含むデータのことであり、例えば、ハンディ端末４から店舗スタッフにより送信される情報である。図１の例におけるステータスデータは、着席、注文、飲食物提供、食事終了、及び、会計の各行為をしたことを示す情報である。対話シナリオデータはこれらのステータスデータにより区分されるシナリオ群の中から提供される。

シナリオ制御部３４は、ユーザの滞在状態に基づいてシナリオを制御する。図２は、操作端末３のシナリオ制御部３４の構成を示すブロック図である。この図２に示すように、シナリオ制御部３４は、受信部３４１と、滞在状態判断部３４２と、情報取得部３４３と、対話制御部３４５と、対話制限部３４６とを備える。なお、この図２においては、図１に示される操作端末３内の方位センサ３１及び音声出力部３７は、簡単のため省略している。

操作端末３の受信部３４１は、例えば、店舗管理装置５から出力されたステータスデータを含む情報を受信する。ステータスデータは、例えば、飲食店の店舗スタッフが携帯する注文用のハンディ端末４にて入力可能である。このステータスデータは、ハンディ端末４から店舗管理装置５に送信され、シナリオ制御部３４の受信部３４１へと送信される。また、ステータスデータは、店舗管理装置５を経由せずに、ハンディ端末４から直接受信部３４１を介して操作端末３へと送信されるようにしてもよい。

例えば、店舗スタッフは、ユーザを座席に案内したタイミング、ユーザから注文が入ったタイミング、ユーザへと飲食物を提供したタイミング、ユーザが飲食を完了したことを確認したタイミング、ユーザが会計をする旨の意思を示したタイミング等において、ハンディ端末４からそれぞれの場合に応じたステータスデータを入力する。なお、ユーザから注文が入ったタイミングにおいては、注文を確定したことをもってステータスデータの入力と替えるものであってもよい。

滞在状態判断部３４２は、受信したステータスデータに基づいて、ユーザの滞在状態を判断する。例えば、ユーザが座席に着席したというステータスデータを受信した場合、滞在状態判断部３４２は、ユーザの滞在状態が着席をし、注文をする前の滞在状態であると判断する。この滞在状態は、時間の経過とともに変化するユーザの状態を示す指標である。

情報取得部３４３は、シナリオＤＢ３３から、滞在状態判断部３４２が判断した滞在状態に応じた対話シナリオ情報を取得する。対話シナリオ情報とは、滞在状態により変化するシナリオ群の情報、又は、当該シナリオ群に含まれる個々のシナリオデータ等のことを言う。シナリオ群が存在せず、複数の対話シナリオのデータで対話シナリオ情報が構成されていてもよい。

シナリオ群とは、ユーザの滞在状態に適したシナリオデータの束であり、滞在状態に併せた種々のシナリオデータを含む。例えば、ユーザの滞在状態が注文前の状態である場合、シナリオ群には、それぞれの時刻に併せたメニューを提示するシナリオデータや、大人、子どもの人数により対話の内容や、話し方が変化するシナリオデータ、その他様々なシチュエーションに応じたシナリオデータが含まれている。また、同一の滞在状態であっても、操作端末３の操作に応じて選択されうる複数の対話シナリオデータを設けていてもよい。

情報取得部３４３は、滞在状態判断部３４２が判断したユーザの滞在状態に応じて対話するシナリオデータを取得するようにしてもよいし、情報取得部３４３がシナリオ群を取得した上で、当該シナリオ群から対話に用いるシナリオデータを選択して出力するようにしてもよい。シナリオ群から対話に用いるシナリオデータを選択するのは、情報取得部３４３であってもよいし、対話制御部３４５であってもよい。

対話制御部３４５は、ユーザの滞在状況に応じて取得した対話に用いるシナリオデータを含む情報を動作生成部３２へと出力する。さらに、対話制御部３４５は、必要であれば、操作端末３の表示部３５へと対話に用いるデータを出力してもよい。表示部３５へと出力する対話に用いるデータは、基本的には、ロボット側シナリオデータに応答するために使用するユーザ側シナリオデータの情報である。

なお、対話制御部３４５が出力するデータは、ユーザ側シナリオデータには限られず、ユーザがメニューを選択する際には、飲食物の画像や動画を表示部３５へと出力するようにしてもよい。すなわち、対話に用いる言葉、文字に関する情報だけではなく、適宜、画像、動画等、表示に用いることのできるデータを表示部３５へと出力するようにしてもよい。

また、これには限られず、必要に応じて操作端末３から音声を出力させたり、操作端末３を振動させたりしてもよく、この場合には、これらの音声データ、振動データ等を出力するようにしてもよい。また、ロボット２が音声を発する場合には、ロボット２が発する音声を文字として表示部３５へと併せて出力するようにしてもよい。一方、ユーザは、表示部３５に表示されているユーザ側シナリオデータに基づき、表示部３５に表示された選択肢の中から、入力部３６にて任意の選択を行う。

そして、対話制御部３４５は、ユーザに選択されたデータに応答するためのロボット側シナリオデータを表示部３５、及び、動作生成部３２へと出力する。この際、ユーザの選択を、音声出力部３７を介して操作端末３から音声情報として出力するようにしてもよい。このように、対話制御部３４５により、ユーザとロボット２との対話が繰り返し行われる。

対話制限部３４６は、情報取得部３４３が取得したシナリオデータにしたがって対話制御部３４５が対話動作をしているタイミングにおいて、滞在状態に基づいて対話動作に制限を与える。例えば、一般的には、食事中には飲食に集中してもらうべく操作端末３を介して対話を行うことは望ましくないと考えられることが多い。このような滞在状態においては、ユーザからの対話に対する対話制御部３４５が行うロボット２側の対話動作を制限することにより、ユーザとロボット２との対話動作に制限する。このように、滞在状態判断部３４２により特定の滞在状態であると判断されると、対話制限部３４６は、対話制御部３４５が行う対話動作を制限する。

また、対話制限部３４６は、対話が制限される滞在状態から、滞在状態判断部３４２が判断した滞在状態により異なる滞在状態へと移行したタイミングにおいて、対話の制限処理を解除する。対話の制限を解除することにより、対話制御部３４５は、情報取得部３４３が取得したシナリオデータに基づきユーザとロボット２との対話動作を再開する。このように、特定の滞在状態においては対話動作を制限し、当該特定の滞在状態から滞在状態が遷移すると、対話動作を再開する。

このような動作を行うために、対話制限部３４６は、表示部３５及び動作生成部３２と、対話制御部３４５との間に備えられる。すなわち、対話制御部３４５は、入力部３６からユーザの入力を受け付ける一方で、対話制限部３４６を介してその回答としてのロボット側シナリオデータを出力する。これらの処理とともに、対話制御部３４５は、対話制限部３４６へ、現在の滞在状態を送信する。なお、滞在状態の送信は、滞在状態が更新された際に１回だけ行い、以降は滞在状態が更新されない限り送信しないようにしてもよい。この場合、対話制限部３４６において現在の滞在状態を記憶するようにしてもよい。

対話が制限される滞在状態においては、対話制限部３４６が、表示部３５に表示されるユーザ側シナリオデータ、及び、動作生成部３２へと出力されるロボット側シナリオデータに制限を与えることにより、ユーザとロボット２との間の対話を制限する。

対話が制限される必要が無い滞在状態においては、対話制限部３４６は、対話制御部３４５から出力されたシナリオデータに特に制限を与えることなく、通常のシナリオデータとして表示部３５及び動作生成部３２へと出力する。そして、シナリオデータが入力された表示部３５及び動作生成部３２は、情報取得部３４３が取得したシナリオデータにしたがった対話動作を実行する。

以上の構成により、対話シナリオデータを用いてユーザとロボット２との間で対話を行うことができる。さらに、制限が与えられる滞在状態においては、適切に対話に制限を与えることが可能となる。

（店舗管理装置）
店舗管理装置５は、店舗に存在するロボット２、操作端末３、ハンディ端末４、ＰＯＳ端末等その他の店舗内の装置類を総括して管理する装置である。

店舗管理装置５は、送信部を備え、店舗内にある各装置へと必要となる情報を送信する。必要となるデータは、例えば、シナリオ制御部３４の滞在状態判断部３４２において滞在状態を判断するステータスデータ等である。

また、店舗管理装置５は、受信部を備え、店舗内にある各装置から必要となる情報を受信する。必要となる情報とは、例えば、ハンディ端末４から送信されるステータスデータや、ＰＯＳ端末から送信される会計データ等である。さらに、これら送受信に用いるデータを格納しておくデータベースを店舗管理装置５内に備えていてもよい。

さらに、店舗管理装置５は、その他の店舗に関する処理を行うようにしてもよい。例えば、ハンディ端末４を介してユーザから注文を受けた場合、当該注文を厨房に伝えることにより、飲食物を調理するスタッフにユーザの注文を伝えることができる。さらに、ユーザからの注文情報をユーザと紐付けておくことにより、ユーザが退店する際にＰＯＳ端末において各ユーザの注文した飲食物に基づいて会計処理をすることも可能となる。

（滞在状態）
図３は、ロボット２とユーザとの対話から、シナリオデータの選択までの処理の様子を時系列と併せて模式的に表した図である。この図３において、実線の矢印は、データ及び信号の入出力、破線の矢印は、時間の経過を表す。上述した説明、及び、この図３に示されているように、シナリオデータ選択までの処理は、店舗管理装置５と、シナリオＤＢ３３と、シナリオ制御部３４により実行される。

この図３を用いて滞在状態とシナリオ群の推移について説明する。まず、店舗スタッフの操作によりハンディ端末４に、ユーザが入店したという第１情報、又は、ユーザが着席したという第２情報がステータスデータとして入力される。このステータスデータは、店舗管理装置５を介して操作端末３へと送信される。滞在状態判断部３４２は、このステータスデータが入力されると、ユーザの滞在状態を初期化し、ユーザが飲食店に入店、又は、着席してから注文をするまでの状態である滞在状態Ｐ１であると判断する。滞在状態判断部３４２は、情報取得部３４３へユーザの滞在状態が、滞在状態Ｐ１であることを通知する。

情報取得部３４３は、この滞在状態Ｐ１に応じたシナリオ群１に属するシナリオデータをシナリオＤＢ３３から取得し、ユーザとの対話を行う。

滞在状態Ｐ１において時間が経過し、ユーザが注文したい飲食物が決まり、店舗スタッフが所持するハンディ端末４から注文を入力することにより、ユーザが注文した飲食物が提供されるのを待っている状態である滞在状態Ｐ２へと移行する。情報取得部３４３は、シナリオＤＢ３３から滞在状態Ｐ２に適したシナリオ群に属するシナリオデータを取得し、対話制御部３４５は、動作生成部３２を介して当該シナリオ情報に基づいた対話をロボット２に発話させるように制御する。

例えば、滞在状態は、この他に、ユーザが飲食物の飲食を完了するまでの状態、ユーザが飲食物の飲食を完了してから退店するまでの状態、ユーザが食後に会話を楽しんでいる状態、ユーザがデザートの注文をした状態等の状態を備えていてもよい。

上記のそれぞれの滞在状態に応じてシナリオ群が選択され、ユーザとロボット２との間の対話が為される。そして、滞在状態判断部３４２によりユーザの滞在状態が変化したと判断されると、情報取得部３４３は、変化した滞在状態に基づいたシナリオ群を選択し、当該シナリオ群に属するシナリオデータを取得する。このように、ユーザとロボット２との間の対話が、滞在状態に基づき、適切に行われる。

また、対話の制限がある滞在状態においては、上述したように、対話制限部３４６が表示部３５へと出力されるユーザ側シナリオデータ、及び、動作生成部３２へと出力されるロボット側シナリオデータに制限を与えることにより、適切に対話動作に制限を与えられる。

具体的には、ユーザが前記飲食店に入店、又は、着席してから注文する飲食物を決定するまでの滞在状態においては、シナリオ群１に属するシナリオデータが取得される。同じように、例えば、ユーザが注文した飲食物が提供されるのを待っている滞在状態であれば、シナリオ群２から、ユーザが飲食物の飲食を完了するまでの滞在状態であれば、シナリオ群３から、ユーザが飲食物の飲食を完了してから退店するまでの滞在状態であれば、シナリオ群４からシナリオデータが取得される。また、それぞれの滞在状態に対応した対話の制限が、対話制限部３４６により行われる。

このように、時間の経過により、ユーザの滞在状態は変化する。この滞在状態の変化は、店舗スタッフの所持するハンディ端末４に入力されるステータスデータにより変更されるほか、ユーザとロボット２との対話に基づいて滞在状態判断部３４２が判断するものであってもよい。また、別の例としては、滞在状態によっては、所定の時間が経過した場合に、次の滞在状態へと遷移するようにしてもよい。

なお、これらのシナリオ群と滞在状態との対応は、一例として示したものであり、他の滞在状態及びシナリオ群が追加されたり、また、上述した滞在状態を省略したり、結合したりしてもよい。

（動作例）
次に、上述した処理の流れについて図を参照しながら説明する。図４は、本実施形態に係る対話を制限する処理の流れを示すフローチャートである。

まず、店舗スタッフがハンディ端末４を用いてステータスデータを入力すると、操作端末３は、店舗管理装置５及び受信部３４１を介して当該ステータスデータを取得する（ステップＳ１０）。操作端末３は、例えば、ユーザが着席したというステータスデータを取得する。

次に、滞在状態判断部３４２は、受信したステータスデータに基づいて、滞在状態の判断を行う（ステップＳ１１）。滞在状態判断部３４２は、例えば、ユーザが着席したというステータスデータに基づいて、滞在状態が、ユーザが着席し、まだ注文をしていない滞在状態であると判断する。

次に、情報取得部３４３は、滞在状態判断部３４２が判断した滞在状態に対応するシナリオ群を選択し、当該シナリオ群に属するシナリオデータの取得を行う（ステップＳ１２）。情報取得部３４３は、例えば、図３におけるシナリオ群１に属するシナリオデータをシナリオＤＢ３３から取得する。

次に、対話制御部３４５は、対話制限部３４６を介して動作生成部３２及び表示部３５へとシナリオデータを出力するが、このタイミングにおいて、滞在状態が対話制限状態であるか否かを判定する（ステップＳ１３）。対話制限部３４６は、例えば、滞在状態が、ユーザが着席し、まだ注文をしていない滞在状態である場合、特に制限する対話動作はないと判断する（ステップＳ１３：ＮＯ）。

対話動作に制限が与えられない場合、対話制御部３４５は、情報取得部３４３が取得したシナリオデータ、すなわち通常シナリオに基づいて、通常の対話動作を行う（ステップＳ１４）。このように、滞在状態において制限する対話動作が存在しない場合には、シナリオＤＢ３３に格納されているシナリオデータを用いることにより制限の無い対話をユーザとロボット２との間で行うようにする。

図５は、本実施形態に係るロボット制御システム１において、滞在状態Ｐ１における対話の一例を示す図である。図５におけるシナリオにおいては、制限する対話動作が特に定められていない。ロボット２の「何を注文する？」という発話に対して、ユーザが、表示部３５に表示されている「おすすめメニューを教えて！」を選択すると、図６に示すように、おすすめメニューを表示する画面へと遷移し、ロボット２がおすすめメニューの説明についての発話を行う。「メニューを見る」を選択した場合には、通常のメニュー画面に遷移し、ロボット２は、ユーザにより選択された飲食物の説明をするようにしてもよい。

一方、滞在状態が、ユーザが着席し、まだ注文をしていない滞在状態Ｐ１である場合に、メニューに関する対話以外の対話を制限するような場合も考えられる。例えば、注文を確定するまでの滞在状態においては、ゲームができないように制限を与えることもできる。このような場合、当該滞在状態において制限する対話が設定される。

すなわち、対話制限部３４６は、対話制御部３４５から通知された滞在状態において制限する対話がある場合には（ステップＳ１３：ＹＥＳ）、対話を制限するモードへと移行する（ステップＳ１５）。

そして、対話制御部３４５を介して入力される入力部３６の入力により、対話制限部３４６は、所定のケースに当てはまる場合に、対話動作に対して制限を与える（ステップＳ１５）。そして、制限が与えられた対話動作に基づいた対話シナリオ、すなわち制限シナリオにしたがい、動作生成部３２が動作信号を生成し、ロボット２が制限された対話動作を行う（ステップＳ１６）。

図７は、対話を制限する場合における対話の一例を示す図である。表示部３５に上述した例に加え、「ゲームがしたい」という選択肢が追加され、ユーザはその選択肢も選択できるようになっている。例えば、滞在状態Ｐ１においては、ゲームが禁止されている場合、ユーザが「ゲームがしたい」という選択肢を選択すると、ロボット２は、「・・・注文してからロボと遊ぼう！」等発話することにより、対話動作を制限し、先に注文を行うことを促す。

この対話動作の制限は、例えば、滞在状態が更新、すなわち、ハンディ端末４を介して滞在状態が更新されるようなステータスデータを受信した場合に解除される。このようにすることにより、例えば、親子連れのユーザの場合、注文が確定するまで子どもが操作端末３を用いてゲームができないように制限を掛けることができる。

さらに、この制限は、子どもがいるかどうかといったデータに基づいて、与えるか否かを判断するようにしてもよい。例えば、子どもがいないグループの場合、注文をする前においてもゲームの動作へと移行するようにしてもよい。この場合、店舗スタッフは、ハンディ端末に、大人、子どもの人数をあらかじめ入力し、この入力されたデータに基づいて、対話制限部３４６は、滞在状態Ｐ１において制限を与えるか与えないかを決めるようにしてもよい。このようにすることにより、シナリオＤＢ３３から情報取得部３４３が異なるシナリオデータを取得すること無く、同じシナリオデータを用いているにも拘わらず、対話制限部３４６により対話に制限を与えることを可能とする。

さらに別の例について説明する。以下の説明においては、滞在状態が、ユーザが飲食物の飲食を完了するまでの状態である滞在状態Ｐ３であるとして説明する。

図８は、滞在状態Ｐ３における対話の一例を示す図である。以下、図８乃至図１０においては、滞在状態Ｐ３におけるロボット側シナリオデータとして、無言のシナリオ、すなわち、ロボット２が発話をしないシナリオデータが選択されているものとする。無言のシナリオは、例えば、ユーザに対して、ロボット２との対話よりも、飲食を楽しんでもらいたいという配慮から設けられる。

図８において、ユーザが表示部３５に表示されている「お話ししよう！」という選択肢を選択したとする。対話制御部３４５を介して、この「お話ししよう！」という選択を通知された対話制限部３４６は、この選択に応答するロボット側シナリオデータに何かしら発話をするシナリオデータが選択されていたとしても、引き続き、発話をしないように動作生成部３２へと通知する。このようにすることにより、ロボット２は、ユーザが当該選択をしても、継続して発話をしない状態となる。

図９は、滞在状態Ｐ３における対話の別の例を示す図である。図９において、ユーザが「お話ししよう！」という選択肢を選択したとする。対話制御部３４５を介して当該選択を通知された対話制限部３４６は、ロボット側対話シナリオがどのようなものであったとしても、「ロボも今食事中だからお食事が終わったらお話ししよう。」という発話をするように動作生成部３２へと通知する。動作生成部３２は、この通知にしたがい、「ロボも・・・。」と、ロボット２に発話動作をさせるようにする。このタイミングにおいて、ロボット２があたかも食事をしているように、手を口の方へ動かすような動作をさせるようにしてもよい。対話制限部３４６は、このように手を動かすような動作も制限動作として、動作生成部３２へと通知するようにしてもよい。

図１０は、滞在状態Ｐ３における対話のさらに別の例を示す図である。図１０において、ユーザが「お話ししよう！」という選択肢を選択したとする。対話制御部３４５を介して当該選択を通知された対話制限部３４６は、ロボット側シナリオデータに何かしら発話をするシナリオデータが選択されていたとしても、ロボット２が寝たふりをするように動作生成部３２へと制限動作を通知する。この通知を受けたロボット２は、例えば、両手を下げて、目を閉じ、顔を手前下側に所定の角度回転動作を加えるようにして、寝ているような動作を行う。このように制限動作として、目の動きや、顔の角度を変えるような動きをするように、動作生成部３２へと通知するようにしてもよい。

図１１は、滞在状態Ｐ３における対話のさらに別の例を示す図である。図１１において、ユーザが「メニュー見せて」という選択肢を選択したとする。対話制御部３４５を介して当該選択を通知された対話制限部３４６は、あらかじめ情報取得部３４３により取得した滞在状態Ｐ３におけるメニュー提示のシナリオデータに基づいた対話動作を動作生成部３２へと通知する。例えば、ロボット２は、「お食事のメニューを見る？デザートのメニューを見る？」と発話する。この場合、例えば、対話制御部３４５から対話制限部３４６を介して、「お食事のメニュー」、「デザートのメニュー」と選択肢を表示させる。このようなシナリオは、対話制限部３４６に格納され、対話制限部３４６が適宜状況に応じて出力するようにしてもよい。また、図１１の例のように対話が継続するような場合には、対話制限部３４６から情報取得部３４３へ通知をすることにより、適切なシナリオデータをシナリオＤＢ３３から取得するようにしてもよい。

このように、対話制限部３４６は、対話を制限する場合に、無言を含むあらかじめ決められた対話をするだけではなく、手、目、顔等の動きを制限動作として出力する、すなわち、ロボット２の外観及び姿勢の少なくとも一方を特定の状態に制御するようにしてもよいし、情報取得部３４３に対して適切なシナリオデータを取得するよう要求してもよい。なお、上述した制限動作及び制限動作をする際の滞在状態については、例として示したものであり、この他の滞在状態においても、制限動作を設定するようにしてもよい。

以上のように、本実施形態によれば、ユーザとロボット２との間の対話に対して、滞在状態によりユーザ及びロボット２のシナリオ動作に制限を与えることが可能となる。特に、ユーザに子どもが含まれる場合、注文が決まるまで遊ばないようにすることや、食事中において操作端末３の操作を行わないようにすることにより、店舗のオペレーションをスムーズにすることが可能となるとともに、ユーザにより食事を楽しんでもらうことが可能となる。また、ユーザが親子連れである場合、子どもの食事中には食事に集中させることが可能となり、ユーザの満足度を向上することもできる。

このような動作の制限は、特に、シナリオデータが簡単に編集できない場合や、特定の滞在状態に応じた種々のシナリオデータが存在するときに、当該種々のシナリオデータに対して、無言シナリオを設定する等、シナリオデータの編集が困難である場合や、当該種々のシナリオデータとそれらを少しずつ編集したシナリオデータのそれぞれを格納する領域の確保が困難である場合に有効となる。

（第１変形例）
図１２は、操作端末３のシナリオ制御部３４の別の例を示す図である。この図１２に示すように、対話制限部３４６は、情報取得部３４３と、対話制御部３４５との間に備えられていてもよい。そして、入力部３６は、対話制限部３４６と接続され、動作生成部３２及び表示部３５は、対話制御部３４５と接続されていてもよい。

前述した実施形態においては、対話制限部３４６は、対話制御部３４５から受信したシナリオデータを制限して動作生成部３２及び表示部３５へと出力するようにしていたが、本変形例のように、対話制限部３４６と情報取得部３４３とが接続され、対話制限部３４６において制限された対話シナリオに変換され、対話制御部３４５へとシナリオデータが出力されるようにしてもよい。

このようにすることにより、例えば、図８における例のように、ユーザからの入力に対して無反応である場合には、入力部３６から「お話ししよう！」という信号を対話制限部３４６で受信し、この信号を対話制御部３４５へと伝達しないことにより実現することが可能となる。

また、対話制限部３４６の接続方法は、図２及び図１２の示すものに限られない。例えば、図２において、入力部３６も、対話制限部３４６に接続されるようにしてもよいし、図１２において、入力部３６も、対話制御部３４５に接続されるようにしてもよい。これらの接続方法は、例えば、プログラムで実行する場合において、開発者がプログラムを組みやすいように好ましい接続方法により実装してもよいし、データフローや処理のフローを考慮した接続方法により実装してもよい。

（第２変形例）
前述した実施形態及び変形例においては、ロボット制御システム１は、操作端末３を備えるものであったが、これには限られない。例えば、操作端末３が無く、音声によりユーザとロボット２との対話動作を行うようにしてもよい。図１３は、本変形例に係るロボット制御システム１の構成を示すブロック図である。

図１３に示すように、本変形例に係るロボット制御システム１において、ロボット２は、ロボット駆動部２１と、ロボット制御部２２と、動作生成部３２と、シナリオＤＢ３３と、シナリオ制御部３４と、さらに、音声認識部２３とを備える。ロボット駆動部２１及びロボット制御部２２に関しては、前述した実施形態と同様であり、動作生成部３２と、シナリオＤＢ３３は、操作端末３を省く代わりにロボット２へと移動したものである。

音声認識部２３は、ユーザからの音声を受け付けると、受け付けた音声を、音声認識手法を用いて信号に変換し、変換された信号データからユーザ側シナリオデータへと変換する。音声認識手法としては、隠れマルコフモデルをはじめとする音響モデルを用いてもよいし、文脈自由文法等をはじめとする言語モデルを用いてもよい。音声認識手法はこれらには限られず、適切に音声を文字列データ、又は、コンピュータでシナリオの処理を行えるデータへと変換できるものであればどのようなものでもよい。また、図示しないが、周りのノイズ等とユーザの音声とを区別するためにマイク等の入力装置が備えられていてもよい。

音声認識部２３は、ユーザの音声が文字列のデータに変換された後、変換された文字列データを用いてユーザ側シナリオデータを抽出する。抽出されたユーザ側シナリオデータは、シナリオ制御部３４へと送信される。図１１におけるシナリオ制御部３４は、図２又は図１２に示すシナリオ制御部３４と同等のものであり、滞在状態判断部３４２は、シナリオ制御部３４に備えられている。これ以降の処理は前述した実施形態と同様のものとなる。

このように、操作端末３を省き、ユーザとロボット２とが音声を介して対話を行うことも可能である。このようにすることにより、ユーザは、操作端末３に表示された選択肢を選んで対話するのではなく、人間同士の会話により近い状態でロボット２と対話することが可能となり、さらに、ロボット制御システム１は、シナリオの制限に係る動作をロボット２内で閉じて行うことが可能となる。

なお、本変形例は、ロボット制御システム１が操作端末３を備えていない場合について説明したが、操作端末３を備えている場合においても、本変形例のように、滞在状態判断部３４２がロボット２内に備えられるようにしてもよい。すなわち、滞在状態判断部３４２は、第１実施形態のように操作端末３に備えられていてもよいし、第１変形例のように店舗管理装置５に備えられていてもよいし、本変形例のようにロボット２内に備えられていてもよい。これらは、各装置や端末における処理の重さ、データフロー、メモリ量、当該機能を確保するプログラムのためのデータ領域等様々な観点に基づき、搭載箇所を適切な箇所へと適宜変更可能である。

（第３変形例）
前述した第２変形例においては、ロボット２内で滞在状態を判断し、シナリオデータを取得するものであったが、本変形例に係るロボット制御システム１においては、滞在状態の判断及びシナリオデータの取得を店舗管理装置５において行おうとするものである。

一般的に、ロボット２は、物理的に制御を行う機構や構造を備え、さらにそれを制御するためのデータ領域等を備えなければならず、その他の処理能力やデータ領域を確保することが困難なことがある。そこで、本変形例においては、高負荷が掛かる処理を店舗管理装置５において行う。

図１４は、本変形例に係るロボット制御システム１の構成を示すブロック図である。本変形例において、ロボット２は、ロボット駆動部２１と、ロボット制御部２２と、音声認識部２３とを備える。また、店舗管理装置５は、動作生成部３２と、シナリオＤＢ３３と、シナリオ制御部３４と、を備える。

ロボット２は、音声認識部２３により、ユーザの音声、すなわち、対話データを取得したのち、店舗管理装置５の滞在状態判断部３４２へと対話データを送信する。音声データを受信したシナリオ制御部３４は、シナリオデータを取得し、動作生成部３２がユーザとの対話動作を制御する。なお、本変形例におけるシナリオ制御部３４は、図２又は図１２に示すシナリオ制御部３４の構成と同等のものとする。

以上のように、操作端末３を備えていない場合においても、高負荷な処理を行う箇所を店舗管理装置５へ備えておくことも可能である。特に、通信の帯域が十分である場合や、ロボット２の処理能力を確保したい場合に、このような構成が有効となる。図１４の構成の場合、ユーザが発話した内容をロボット２が音声認識して対話を行い、ユーザの滞在状態に応じて、店舗管理装置５が対話に制限を与えることになる。

（第４変形例）
前述した実施形態及び各変形例においては、シナリオＤＢ３３は、ロボット２、操作端末３又は店舗管理装置５に備えられているものであったがこれらには限られない。図１５は、本変形例に係るロボット制御システム１の構成を示すブロック図である。

図１５に示すように、シナリオＤＢ３３は、有線又は無線の手法により接続される通信ネットワーク６を介して別の場所にあってもよい。例えば、クラウド上の所定のデータベースに格納されていてもよいし、多数の店舗を統括するサーバ上にあってもよい。このようにシナリオＤＢ３３を配置することにより、店舗ごとにシナリオＤＢ３３を確保する必要がなくなり、また、シナリオを一元化して管理することも可能となる。

さらに、このようにシナリオＤＢ３３がロボット２、操作端末３及び店舗管理装置５のいずれにも備えられていない場合、種々の変形が考えられる。例えば、店舗管理装置５内に滞在状態判断部３４２を含むシナリオ制御部３４が備えられ、店舗管理装置５のシナリオ制御部３４から、シナリオＤＢ３３に対してロボット２及び操作端末３へとシナリオデータを出力する指示をするようにしてもよい。この場合、ロボット２にはロボット側シナリオデータが、動作生成部３２、表示部３５及び入力部３６を備えた操作端末３には、ユーザ側シナリオデータが、シナリオＤＢ３３から送信される。これらのシナリオデータを用いてユーザとロボット２が対話をするようにしてもよい。そして、操作端末３から、ユーザの対話内容を店舗管理装置５へと送信し、店舗管理装置５において滞在状態の判断、シナリオ群の選択、及び、どのシナリオデータを取得するかを決めるようにしてもよい。このようにすることにより、高負荷となる処理をさらに店舗管理装置５へと集約することが可能となる。

上述した全ての実施形態及び変形例に係るロボット制御システム１は、既述したように飲食サービスに好適に適用することができるが、飲食サービス以外の種々のサービスに適用されてもよい。

本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が相当しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

１ ロボット制御システム、２ ロボット、３ 操作端末、３４シナリオ制御部、３４６ 対話制限部、５ 店舗管理装置

Claims (10)

1. 飲食店に入店した顧客の前記飲食店内での滞在状態を判断する、滞在状態判断部と、
   前記滞在状態判断部で判断された前記顧客の滞在状態に応じた対話シナリオ情報を取得する、情報取得部と、
   前記情報取得部で取得された対話シナリオ情報に基づいて、前記顧客との対話を行う、対話制御部と、
   前記滞在状態判断部にて判断された滞在状態に基づいて、前記対話制御部が行う前記顧客との対話を制限する対話制限部と、を備える、対話制御装置。
2. 前記対話制限部は、前記滞在状態判断部にて特定の滞在状態であると判断されると、前記対話制御部が行う前記顧客との対話を制限する、請求項１に記載の対話制御装置。
3. 前記対話制限部は、前記特定の滞在状態から他の滞在状態に遷移したことが前記滞在状態判断部にて判断されると、前記顧客との対話制限を解除し、
   前記対話制御部は、前記対話制限部による前記顧客との対話制限が解除されると、前記他の滞在状態に応じて前記情報取得部から取得された対話シナリオ情報に基づいて、前記顧客との対話を行う、請求項２に記載の対話制御装置。
4. 前記対話制御部は、前記対話制限部により前記顧客との対話が制限されている間は、予め定めた発話を行う、請求項２または３に記載の対話制御装置。
5. 前記対話制御部は、前記対話制限部により前記顧客との対話が制限されている間は、前記予め定めた発話を行った後は、前記顧客との対話を停止する、請求項４に記載の対話制御装置。
6. 前記対話制限部により前記顧客との対話が制限されている間であって、かつ前記顧客との対話を停止している期間中に、前記顧客と対話を行うロボットの外観および姿勢の少なくとも一方を特定の状態に制御する、駆動制御部を備える、請求項５に記載の対話制御装置。
7. 前記特定の滞在状態は、前記顧客が飲食中の状態を含む、請求項２乃至６のいずれか一項に記載の対話制御装置。
8. 前記滞在状態判断部にて判断される前記顧客の滞在状態は、時間の経過により変化する状態である、請求項１乃至７のいずれか一項に記載の対話制御装置。
9. 前記滞在状態判断部にて判断される前記顧客の滞在状態は、
   前記顧客が前記飲食店に入店または着席してから飲食物を注文するまでの状態と、
   前記顧客が注文した飲食物が提供されるのを待っている状態と、
   前記顧客が飲食物の飲食を完了するまでの状態と、
   前記顧客が飲食物の飲食を完了してから退店するまでの状態と、のうち少なくとも１つの状態を含む請求項７に記載の対話制御装置。
10. 指示信号に応じた動作を行う、ロボットと、
    前記指示信号を生成して前記ロボットに送信する、操作端末と、を備え、
    前記操作端末は、
    店舗システムからの情報に基づいて、飲食店に入店した顧客の前記飲食店内での滞在状態を判断する、滞在状態判断部と、
    前記滞在状態判断部で判断された前記顧客の滞在状態に応じた対話シナリオ情報を取得する、情報取得部と、
    前記情報取得部で取得された対話シナリオ情報に基づいて、前記顧客との対話を行う、対話制御部と、
    前記滞在状態判断部にて判断された滞在状態に基づいて、前記対話制御部が行う前記顧客との対話を制限する対話制限部と、を備える、ロボット制御システム。

Images