以下、図面を参照しながら本発明の実施形態について説明する。
[第1実施形態]
図1は、車両100及び情報提供支援装置101の概略構成を示すブロック図である。車両100は、前方を走行する他の車両を自動的に追従する等、本来、運転者10が行うべき運転操作を支援することができる。また、車両100は、情報提供支援装置101を用いて、運転者10に対して情報を提供することにより、運転を支援する。
図1に示すように、車両100は、運転操作部11、カーナビゲーションシステム12、エージェント13、エージェントコントローラ14、車両コントローラ15、及び、センサ16等を備える。
運転操作部11は、車両100の運転操作のために運転者10が操作する操作部である。運転操作部11は、例えば、ステアリングホイール42(図5等参照)、アクセルペダル、及び、ブレーキペダル等である。
カーナビゲーションシステム12は、運転者10に対して、目的地までの経路等を案内する案内装置である。カーナビゲーションシステム12は、固有のディスプレイ及び操作キーを備える。運転者10は、カーナビゲーションシステム12の操作キーを用いて、目的地の設定等、経路案内等に必要な操作を行う。また、運転者10は、カーナビゲーションシステム12のディスプレイ、及び/または、カーナビゲーションシステム12または車両100が搭載するスピーカから出力される音もしくは音声によって、経路案内等を内容とする情報の提供を受けることができる。
エージェント13は、車両100から運転者10への情報提供を支援するユーザインタフェースである。すなわち、エージェント13は、車両100が運転者10に提供すべき情報を、車両100とともに、または車両100に代わって、運転者10に提供する情報提供用アシスタントである。
エージェント13は、例えば、人、動物、植物、物、またはその他のシンボル等、マスコット(マスコットキャラクタあるいは単にキャラクタとも称される)の形態で、実体的または仮想的に表される。したがって、エージェント13は擬人的であり、感情、及び、感情の変化である情動を、その“表情”等によって表現することができる。また、エージェント13は、色、音もしくは音声、または、ジェスチャ等の動作によって、感情及び情動を表現することができる。すなわち、エージェント13は、表情、色、音もしくは音声、または、動作によって、その疑似的な感情及び情動を表現する。
エージェント13は、上記の感情及び情動を表現する表情等によって、例えば、応答動作または行動誘発動作を行う。応答動作は、運転者10の動作に応じて行う動作である。本実施形態における「行動誘発」とは、間接的な表現形態あるいは直感に訴える表現形態で運転者10が行うべき動作(行動)を教示することにより、運転者10が行うべき動作を誘発することをいう。例えば、エージェント13は、行動誘発動作によって、運転者10が行うべき動作を示唆し、暗示し、または、黙示する。すなわち、エージェント13が実行する行動誘発動作は、運転者10の動作を誘発するために行う動作であり、運転者10が行うべき動作の前に実行される。特に、本実施形態においては、運転者10の動作に応じて実行したことがある「応答動作」を、運転者10が行うべき動作の前に実行することにより、エージェント13は運転者10の動作を誘発する。すなわち、応答動作と行動誘発動作は同じ形態の動作であるが、実行されるタイミングが異なる。応答動作は、関連付けられた運転者10の動作の後に実行され、行動誘発動作は、関連付けられた運転者10の動作の前に実行される。
本実施形態においては、エージェント13は、実体的な形態を有するロボットによって構成され、例えば運転席の近傍等、運転状態における運転者の視界内に配置される。但し、車両100がヘッドアップディスプレイを採用しているときには、エージェント13は、ヘッドアップディスプレイの表示によって仮想的に構成されることができる。また、スマートフォン等、運転者10が所持するデバイスが車両100と連携するときには、エージェント13は、スマートフォン等のデバイスによって仮想的に表示等され得る。
エージェントコントローラ14は、エージェント13の動作等を制御する制御ユニットである。より具体的には、エージェントコントローラ14は、車両100が運転者10に提供する情報や運転者10の動作等に応じたエージェント13の表情、色、音もしくは音声、または、動作がプログラムされたコンピュータである。エージェント13とエージェントコントローラ14は、運転者10に対する車両100からの情報提供を支援する情報提供支援装置101を構成する。また、情報提供支援装置101は、車両100の全体または車両100のうち情報提供に関連する構成部分とともに、情報提供システム102を構成する。エージェントコントローラ14の具体的構成については、詳細を後述する。
なお、本実施形態においては、エージェントコントローラ14は、車両コントローラ15とは別個に構成されているが、エージェントコントローラ14を構成する各部のうち、一部または全部は車両コントローラ15と一体に構成され得る。また、本実施形態においては、エージェント13が、車両100が搭載する機器の1つとして形成されているので、これを制御するエージェントコントローラ14も車両100に設けられている。しかし、スマートフォン等、車両100から独立した連携デバイスがエージェント13であるときには、そのデバイスがエージェントコントローラ14を構成することができる。
車両コントローラ15は、車両100の動作を統括的に制御する制御部である。車両コントローラ15は、運転操作部11からの入力に基づいて、車両100を駆動する電動モータ及び/またはエンジン、並びに、ブレーキ等を制御する。車両コントローラ15は、例えば、車両100を構成する各部の動作がプログラムされた1または複数のコンピュータによって構成される。車両コントローラ15は、車両100の制御のために、センサ16が出力する信号等を参照する場合がある。車両コントローラ15は、車両100に対する操作、及び、車両100に搭載された各種機器に対する操作(以下、機器操作情報33という。図2参照)を取得する。この他、車両コントローラ15は、センサ16から取得する信号等を用いた演算等により、車両100から運転者10に提供すべき情報を得る。
車両100が運転者10に対して提供する情報は、交通標識や通行人等の注目すべき対象に対する注意喚起を内容とする情報、経路案内を内容とする情報、車両100または車両100が搭載する機器の操作を要求する情報等、様々である。いずれにしても、車両100が運転者10に対して提供する情報は、車内及び/または車外のシチュエーションに応じて提供される。したがって、車両100が運転者10に対して提供する情報を、シチュエーション情報32(図2参照)という。
本実施形態においては、車両100が運転者10に対して提供するシチュエーション情報32は、運転者10の動作が必要な情報と、それ以外(すなわち運転者10の動作が不要である情報)と、の2種類に分類される。様々なシチュエーション情報32が、運転者10の動作が必要な情報であるか否かは、その種類及び性質等に応じて予め定められる。
車両100が提供する情報を知得するために、または、車両100が提供した情報に基づいて、運転者10が行うべき所定の動作がある場合、その情報は、運転者10の動作が必要な情報である。また、車両100が提供する情報を知得するために、または、車両100が提供した情報に基づいて行うべき運転者10の動作を、以下では、単に所定動作という。運転者10が行うべき所定動作には、運転者10が手足等を動かすことの他、単に運転者10が視線を移動させることが含まれる。
運転者10の動作が必要な情報としては、例えば、車外または車内の注目すべき対象(以下、単に注目対象41という。図4等参照)に対する注意喚起、ステアリングホイール42を把持すべき旨の指示または要求、及び、カーナビゲーションシステム12等、車両100が搭載する各種機器の操作すべき旨の示唆、等である。そして、注目対象41への視線移動、ステアリングホイール42の把持、及び、各種機器の操作等が、それぞれ運転者10が行うべき所定動作である。
センサ16は、車両100を構成する各部の状況や車両100の内部または外部の状況を計測等する1または複数のセンサである。センサ16は、例えば、加速度センサ、車内を撮影するための車内カメラ17、車外を撮影するカメラ、車内または車外の音を収集するマイクロフォン、GNN(Global Navigation Satellite System)センサ、及び、LiDAR(Light Detection and Ranging)センサ等である。本実施形態においては、センサ16は少なくとも車内カメラ17を含むものとする。
車内カメラ17は、車両100の車内、特に、運転者10を含む範囲を継続的または断続的に撮影する。車内カメラ17で撮影した画像または映像(以下、車内画像31という。図2参照)は、エージェントコントローラ14において、運転者10の動作を認識するために用いられる。
図2は、エージェントコントローラ14の構成を示すブロック図である。図2に示すように、情報取得部21、運転者動作認識部22、行動誘発判定部23、エージェント動作制御部24、及び、動作パターン記憶部25を備える。エージェントコントローラ14をこれらの各部として機能させるプログラムは、情報提供支援装置101及び情報提供システム102を動作させる情報提供支援プログラムを構成する。情報提供支援プログラムは、情報提供支援装置101または情報提供システム102に予め記憶される。また、情報提供支援プログラムは、例えば、情報提供支援装置101、情報提供システム102、またはその他のコンピュータで読み取る記録媒体の形態で提供され得る。さらに、記録媒体を用いて、または、いわゆるOTA(Over The Air)技術によって、情報提供支援装置101または情報提供システム102に実装された後、情報提供支援プログラムは、その一部または全部が更新され得る。
情報取得部21は、車内画像31、シチュエーション情報32、及び、機器操作情報33を取得する。情報取得部21は、車内画像31を、車内カメラ17から直接に、または、車両コントローラ15を介して間接的に、取得する。また、情報取得部21は、車両コントローラ15からシチュエーション情報32及び機器操作情報33を取得する。なお、情報取得部21は、センサ16から出力される信号等を取得し、車両コントローラ15に代わって自らシチュエーション情報32を生成することができる。
運転者動作認識部22は、運転者10の動作を認識する。また、運転者動作認識部22は、継続的または断続的に運転者10の動作を認識することによって、運転者10の動作を監視する運転者動作監視部として機能する。本実施形態においては、運転者動作認識部22は、車内画像31を用いて、及び/または、車両100に搭載された機器の操作状況に基づいて、運転者10の動作を認識する。具体的には、運転者動作認識部22は、動作検出部34、視線検出部35、及び、機器操作検出部36を含む。
動作検出部34は、運転者10の手や顔等の大局的な動作を検出する。例えば、動作検出部34は、車内画像31から運転者10を認識し、その形状の時間的変化等に基づいて、運転者10の身体的動作を検出する。
視線検出部35は、運転者10の視線を検出する。例えば、視線検出部35は、車内画像31から運転者10の眼球(瞳)及びその運動を認識することによって、運転者10の視線及びその遷移(以下、視線動作という)を検出する。
機器操作検出部36は、機器操作情報33に基づいて、車両100に対する操作または車両100が搭載する各種機器に対する操作を行う動作(以下、機器等操作動作という)を検出する。例えば、カーナビゲーションシステム12が操作されたときには、機器操作情報33によってその機器等操作動作を検出する。
以下では、特別に言及する場合を除き、運転者10の身体的動、視線動作、及び、機器等操作動作を単に運転者10の動作と総称する。運転者10の身体的動作、視線動作、及び/または、機器等操作動作のうち、シチュエーション情報32を知得するために、または、シチュエーション情報32に基づいて行われるものは、前述のとおり、所定動作である。
行動誘発判定部23は、シチュエーション情報32に基づいて、そのシチュエーション情報32を運転者10に提供するときに運転者10の所定動作を誘発する必要があるか否かを判定する。行動誘発判定部23は、シチュエーション情報32の種類及び性質等に応じて、運転者10の所定動作を誘発する必要があるか否かを、例えばデータテーブル等を用いて予め定めている。このため、行動誘発判定部23は、個別具体的なシチュエーション情報32の種類及び性質等に応じて、運転者10の所定動作を誘発する必要があるか否かを判定する。
また、行動誘発判定部23は、運転者10の所定動作を誘発する必要があるときに、運転者10の所定動作を誘発する具体的なエージェント13の動作態様を定めるためのパラメータを設定する。そのために、行動誘発判定部23は、重要度判定部37及び学習状況判定部38を備える。
重要度判定部37は、シチュエーション情報32の重要度を判定する。シチュエーション情報32の重要度は、そのシチュエーション情報32の緊急性、及び/または、そのシチュエーション情報32に基づいた所定動作を行わない場合の危険度等に基づいて予め設定される。すなわち、シチュエーション情報32の重要度は、シチュエーション情報32の種類及び性質等に応じて予め設定される。特に、シチュエーション情報32が車両100の運転操作に関わる情報であるときには、その重要度は高いと判定される。一方、シチュエーション情報32が車両100の運転操作に関わる情報以外の情報であるときには、その重要度は低いと判定される。より具体的な例を挙げれば、シチュエーション情報32が、交通標識や通行人等を注目対象41とし、安全確保のために必要な注意喚起を内容とする場合、そのシチュエーション情報32の重要度は「高い」と判定される。一方、シチュエーション情報32が、具体的に、車両100が搭載する機器等を注目対象41とし、その操作を促すための注意喚起を内容とする場合、そのシチュエーション情報32の重要度は「低い」と判定される。また、例えば、シチュエーション情報32が、ステアリングホイール42の把持を要求する情報である場合、そのシチュエーション情報32の重要度は「高い」と判定される。重要度判定部37が判定したシチュエーション情報32の重要度は、エージェント13の動作態様を決定するパラメータの1つである。
学習状況判定部38は、エージェント13の動作に対する運転者10の学習(認知)状況を判定する。
具体的には、学習状況判定部38は、運転者動作認識部22から運転者10の動作を取得する。また、シチュエーション情報32に応じて運転者10が所定動作を行った場合、エージェント13はそのシチュエーション情報32に応じた応答動作を行うので、学習状況判定部38は、エージェント動作制御部24からエージェント13が応答動作を行った旨の通知を受ける。これらの情報に基づいて、学習状況判定部38は、エージェント13が実行した応答動作を運転者10が認識したか否かを判定する。例えば、運転者10の所定動作に応じてエージェント13が対応する応答動作を実行した後、運転者10がエージェント13を視認したときに、学習状況判定部38は、所定動作に応じたエージェント13の応答動作を運転者10が認識したと判定する。
また、学習状況判定部38は、所定動作に応じたエージェント13の応答動作を、運転者10が認識した回数(以下、応答動作認識回数という)を計数する。そして、応答動作認識回数が予め定める所定の閾値以上であるときに、学習状況判定部38は、所定動作に応じたエージェント13の応答動作について、運転者10の学習(以下、ユーザ学習という)が完了したものと判定する。ユーザ学習が完了しているか否かの上記判定結果は、エージェント13の動作態様を決定するパラメータの1つである。
なお、本実施形態においては、学習状況判定部38は、応答動作が認識された回数を応答動作認識回数として計数しているが、これに限らない。学習状況判定部38は、応答動作認識回数の代わりに、応答動作を行った試行回数を計数することができる。この場合、学習状況判定部38は、応答動作の試行回数が所定の閾値以上となったときに、ユーザ学習が完了したと判定する。
エージェント動作制御部24は、エージェント13の動作を制御する。エージェント動作制御部24は、シチュエーション情報32等に基づいて、エージェント13に応答動作、行動誘発動作、及び、その他の動作を実行させる。このため、エージェント動作制御部24は、少なくとも、応答動作制御部39と行動誘発動作制御部40を含む。
応答動作制御部39は、エージェント13の応答動作を制御する。応答動作制御部39は、シチュエーション情報32と、運転者動作認識部22から取得する運転者10の動作と、に基づいて、運転者10がシチュエーション情報32に応じた所定動作を行ったときに、これに対応する応答動作をエージェント13に実行させる。所定動作に対応する応答動作及びその他のエージェント13の動作態様は、シチュエーション情報32の種類及び性質等に応じて予め定められており、動作パターン記憶部25に記憶されている。このため、応答動作制御部39は、運転者10が所定動作を行ったときに、動作パターン記憶部25を参照することにより、その所定動作に対応する応答動作をリアルタイムにエージェント13に実行させることができる。
行動誘発動作制御部40は、行動誘発判定部23が運転者10の所定動作を誘発する必要があると判定したときに、エージェント13の行動誘発動作を制御する。また、行動誘発動作制御部40は、シチュエーション情報32と、学習状況判定部38の判定結果と、に基づいて、シチュエーション情報32に対応する行動誘発動作をエージェント13に実行させる。具体的には、学習状況判定部38の判定結果によってユーザ学習が完了してると判断されている場合、行動誘発動作制御部40は、運転者10がシチュエーション情報32に対応する所定動作を行うのを待たずに、動作パターン記憶部25を参照して、シチュエーション情報32に対応する応答動作を行動誘発動作としてエージェント13に実行させる。このため、実質的に、運転者10がシチュエーション情報32に応じた所定動作を行う前に、エージェント13は行動誘発動作を実行する。
エージェント13が行動誘発動作を実行すると、その行動誘発動作についてユーザ学習が完了してる運転者10は、直感的に所定動作を行うべきことを認知することができる。また、ユーザ学習が完了してる運転者10は、エージェント13が行動誘発動作を実行すると、これに応じてほぼ反射的に所定動作を行うことができる。
なお、行動誘発動作制御部40がエージェント13に行動誘発動作を実行させる場合、応答動作制御部39はエージェント13に応答動作を実行させない。すなわち、エージェント13は、1回のシチュエーション情報32の提供において、行動誘発動作または応答動作を択一的に実行する。運転者10による車両100の使用経験が浅いときには、エージェント13は概ね応答動作を実行し、運転者10による車両100の使用経験がある程度豊富になると、エージェント13は概ね行動誘発動作を実行する。
また、行動誘発動作制御部40は、上記のように、エージェント13に行動誘発動作を実行させた後、運転者10が所定動作を行ったか否かを判定する。すなわち、行動誘発動作制御部40は、エージェント13による行動誘発の成否を判定する行動誘発成否判定部として機能する。行動誘発動作制御部40は、少なくともエージェント13が行動誘発動作を実行した後の運転者10の動作を監視することによって、行動誘発の成否を判定する。例えば、行動誘発動作制御部40は、エージェント13が行動誘発動作を実行した後の経過時間(以下、単に経過時間という)を計測する。そして、経過時間が予め定める所定時間(閾値)を経過する以前に、運転者10が所定動作を行ったときに、行動誘発動作制御部40は、行動誘発が成功したと判定する。一方、経過時間が所定時間を超過した場合、行動誘発動作制御部40は、行動誘発が失敗したと判定する。
その後、行動誘発動作制御部40は、行動誘発の成否に応じて、エージェント13に追加動作を実行させる。本実施形態においては、行動誘発動作後の追加動作は、エージェント13の感情または情動を表現する動作(以下、エモーションという)、または、行動誘発動作の強調である。
行動誘発動作制御部40がエージェント13に追加的に実行させるエモーションには、例えば、第1エモーションと第2エモーションがある。第1エモーションは、エージェント13が肯定的な感情または情動(以下、肯定的情動という)を、エージェント13の表情等によって表現する動作である。例えば、エージェント13が、喜びを表現する表情やジェスチャをする、相対的に高い音または音声を発報する、もしくは、暖色系の色を呈する等、エージェント13が概ね喜びを表現していると一般に感得され得るエモーションが第1エモーションである。第2エモーションは、エージェント13が否定的な感情または情動(以下、否定的情動という)を、エージェント13の表情等によって表現する動作である。例えば、エージェント13が、哀しみを表現する表情やジェスチャをする、相対的に低い音または音声を発報する、もしくは、寒色系の色を呈する等、エージェント13が概ね哀しみを表現していると一般に感得され得るエモーションが、第2エモーションである。
エージェント13に行動誘発動作を実行させた後、運転者10が所定動作を行ったときに、行動誘発動作制御部40は、肯定的な第1エモーションをエージェント13に実行させる。すなわち、行動誘発が成功した場合、エージェント13は第1エモーションを実行する。運転者10は、エージェント13の肯定的な第1エモーションを感得することにより、エージェント13の行動誘発動作によって運転者10が行うべき所定動作を示唆または教示したことを認知し、エージェント13に対して、感謝その他の肯定的な感情を抱きやすくなる。このため、次回以降の行動誘発がさらに成功しやすくなる。
一方、エージェント13に行動誘発動作を実行させた後、運転者10が所定動作を行わなかったときには、行動誘発動作制御部40は、シチュエーション情報32の重要度に応じて、エージェント13に行わせる追加動作を変更する。すなわち、行動誘発が失敗した場合、エージェント13は、シチュエーション情報32の重要度に応じた追加動作を実行する。
具体的には、行動誘発が失敗し、かつ、シチュエーション情報32の重要度が低いときには、行動誘発動作制御部40は、否定的な第2エモーションをエージェント13に実行させる。運転者10は、エージェント13の否定的な第2エモーションを感得することにより、運転者10が行うべき動作があったことを認知することができる。その結果、運転者10は、自然にエージェント13の動作に気を配るようになるので、次回以降の行動誘発が成功しやすくなる。
一方、行動誘発が失敗し、かつ、シチュエーション情報32の重要度が高いときには、行動誘発動作制御部40は、強調した行動誘発動作をエージェント13に実行させる。行動誘発動作の強調とは、行動誘発動作に関連するエージェント13の表情、色、音もしくは音声、または、動作を、変更及び/または追加し、相対的に大袈裟な表現形態にすることをいう。例えば、行動誘発動作は、エージェント13が発する音もしくは音声の音量を大きくすることによって、あるいは、エージェント13の表情やジェスチャの変化を大きく表現することによって、強調される。運転者10はエージェント13の行動誘発動作を認知しやすくなるので、行動誘発動作は、特に、行動誘発動作で運転者10に知覚させる五感の種類(いわゆるモダリティ)を追加する形態で強調されることが好ましい。例えば、表情の変化という視覚情報のみで表されていた行動誘発動作は、例えば、さらに音もしくは音声を発報することにより、視覚に加えて聴覚に訴える形態で強調される。
動作パターン記憶部25は、シチュエーション情報32の種類及び性質等に応じたエージェント13の動作パターンを記憶する。動作パターン記憶部25は、例えば、シチュエーション情報32ごとに、対応する応答動作及び行動誘発動作を記憶する。また、動作パターン記憶部25は、シチュエーション情報32ごとに、第1エモーション、第2エモーション、及び、行動誘発動作の強調形態等を予め記憶している。
以下、上記のように構成される車両100の作用、すなわち、情報提供支援装置101及び情報提供システム102におけるユーザ学習及び行動誘発に関する作用を説明する。
<ユーザ学習>
図3は、エージェント13の応答動作を運転者10に認知させるユーザ学習のフローチャートである。図3に示すように、ステップS101において、運転者動作認識部22が運転者10の動作を認識する。ステップS102においては、応答動作制御部39が動作パターン記憶部25を参照し、認識された運転者10の動作に対応する応答動作を決定する。また、ステップS103においては、応答動作制御部39が、エージェント13にその応答動作を実行させる。
その後、ステップS104においては、学習状況判定部38は、運転者10がエージェント13の応答動作を認識したか否かを判定する。運転者10がエージェント13の応答動作を認識したと判定したときには、ステップS105において学習状況判定部38は応答動作認識回数をインクリメントする。
図4は、ユーザ学習の一例を示す説明図である。図4に示すように、時刻t1のシーンa1は、注目対象41が発生し、運転者10が自らこれに気が付き、視線を遷移させたシーンである。このように運転者10が注目対象41に視線を遷移させると、ユーザ学習の段階では、時刻t2のシーンa2に示すように、エージェント13は、運転者10の視線遷移に追従して、発生した注目対象41の方向を向き、注目対象41を見る応答動作を実行する。そして、時刻t3のシーンa3のように、「注目対象41を見る」というエージェント13の応答動作を運転者10が認知すると、運転者10がこの応答動作を学習したものとして、応答動作認識回数がインクリメントされる。そして、応答動作認識回数が閾値以上となり、ユーザ学習が完了したと判定されるまで、この応答動作に係るユーザ学習が繰り返される。
図5は、ユーザ学習の別の例を示す説明図である。図5に示すように、時刻t1のシーンb1は、運転者10がステアリングホイール42から手を離してるシーンである。シーンb1では、エージェント13はスリープしているよう表情を表現している。そして、時刻t2のシーンb2において、運転者10がステアリングホイール42を把持すると、これに応じてエージェント13は例えば目を見開き、起動あるいは覚醒したことを表す表情を表現する応答動作を実行する。その後、時刻t3のシーンb3において、「ステアリングホイール42を把持するとエージェント13が覚醒する」という応答動作を運転者10が認知すると、運転者10がこの応答動作を学習したものとして、応答動作認識回数がインクリメントされる。そして、応答動作認識回数が閾値以上となり、ユーザ学習が完了したと判定されるまで、この応答動作に係るユーザ学習が繰り返される。
以下では、注目対象41が発生したときに、エージェント13がこれを見るという応答動作と、ステアリングホイール42が把持されたときに、エージェント13が覚醒するという応答動作について、ユーザ学習が完了しているものとする。
<行動誘発>
図6は、行動誘発のフローチャートである。図6に示すように、ステップS201において、情報取得部21が、車両100が運転者10に対して提供すべきシチュエーション情報32を取得する。また、ステップS202においては、行動誘発判定部23が、取得されたシチュエーション情報32の具体的な種類や性質等に基づいて、運転者10の所定動作を誘発する行動誘発の必要があるか否かを判定する。
行動誘発の必要があると判定されると、ステップS203において、学習状況判定部38が、シチュエーション情報32に対応する応答動作についてユーザ学習が完了しているか否かを判定する。ユーザ学習が完了していなときには、前述の応答動作が実行される。一方、ユーザ学習が完了しているときには、ステップS204において、行動誘発動作制御部40が動作パターン記憶部25を参照し、シチュエーション情報32に対応する行動誘発動作を決定する。そして、ステップS205において、行動誘発動作制御部40は、決定した行動誘発動作をエージェント13に実行させる。
その後、ステップS206においては、行動誘発動作制御部40は、エージェント13の行動誘発動作によって運転者10の所定動作を誘発できたか否かを判定する。そして、エージェント13の行動誘発動作によって運転者10の所定動作が誘発されたと判定された場合、ステップS107において、行動誘発動作制御部40は、肯定的な第1エモーションをエージェント13に実行させる。
一方、エージェント13の行動誘発動作によって運転者10の所定動作が誘発できなかったと判定された場合、ステップS208において、行動誘発動作制御部40は、シチュエーション情報32の重要度を参照する。シチュエーション情報32の重要度が高い場合、ステップS209において、行動誘発動作制御部40は、強調した行動誘発動作をエージェント13に実行させる。一方、シチュエーション情報32の重要度が低い場合、ステップS210において、行動誘発動作制御部40は、否定的な第2エモーションをエージェント13に実行させる。
図7は、行動誘発動作と、行動誘発成功後の動作例を示す説明図である。図7に示すように、時刻T1のシーンA1は、車両100が運転者10に情報提供すべき注目対象41が発生した瞬間のシーンである。シーンA1では、運転者10はまだこれに気が付いておらず、別のことを考えている。時刻T2のシーンA2は、時刻T1と実質的にほぼ同時刻のシーンである。シーンA2においては、運転者10が注目対象41に気が付くよりも前に、エージェント13が注目対象41を見るという行動誘発動作を実行する。エージェント13は運転者10の視界内にいるので、運転者10は殆ど否応なくエージェント13の行動誘発動作を認知する。また、この行動誘発動作に係るユーザ学習が完了しているので、運転者10は、エージェント13の行動誘発動作が運転者10の行うべき所定動作を示唆していることを、直感的かつほぼ反射的に理解する。このため、直後の時刻T3のシーンA3では、エージェント13の行動誘発動作の影響を受け、エージェント13の行動誘発動作に釣られるように、運転者10は反射的に注目対象41に視線を遷移させる。
こうして、エージェント13の行動誘発動作によって「注目対象41を見る」という運転者10の所定動作が行われると、時刻T4に示すシーンA4のように、エージェント13は例えば笑みを浮かべる等の第1エモーションを実行する。
図8は、行動誘発失敗後の動作例を示す説明図である。図8に示すように、時刻T1のシーンA1は、図7の場合と同様に、注目対象41が発生した瞬間のシーンである。そして、時刻T2のシーンA2′では、時刻T1と実質的にほぼ同時刻のシーンであり、エージェント13が注目対象41を見るという行動誘発動作を実行する。但し、シーンA2′では、運転者10はエージェント13の行動誘発動作に気が付かついておらず、所定動作を行っていない。
ここで、例えば安全確保等のために注目対象41を視認して早急に臨機応変な運転操作を行わなければならない等、シチュエーション情報32の重要度が高いときには、時刻T3のシーンA3′において、エージェント13は、行動誘発動作を強調する。ここでは、「注目対象41を見る」という行動誘発動作の本質的態様を維持しつつ、エージェント13は顔の一部及び目の色を変化させることによって表情を変え、行動誘発動作を強調している。その結果、運転者10は、エージェント13による強調された行動誘発動作に気が付き、かつ、その行動誘発動作が示唆する所定動作を直感的かつほぼ反射的に理解する。したがってエージェント13の行動誘発動作の影響を受け、エージェント13の行動誘発動作に釣られるように、運転者10は反射的に注目対象41に視線を遷移させる。
図9は、行動誘発失敗後における別の動作例を示す説明図である。図9に示すように、時刻T1のシーンA1は、図7及び図8の場合と同様に、注目対象41が発生した瞬間のシーンである。また、時刻T2のシーンA2′では、図8の場合と同様に、エージェント13が注目対象41を見るという行動誘発動作を実行するが、運転者10はエージェント13の行動誘発動作に気が付かついておらず、所定動作を行っていない。
ここで、例えば注目対象41がカーナビゲーションシステム12等の車内機器であって、シチュエーション情報32がその車内機器の操作を推奨する内容である等、シチュエーション情報32の重要度が低いとする。この場合、時刻T3のシーンA3″において、エージェント13は、例えば泣き顔を見せる等、哀しい表情を浮かべる等の第2エモーションを実行する。そして、運転者10は、エージェント13の第2エモーションを認知すると、何らかの所定動作が求められていたことを察することができるので、その後、注目対象41に気が付きやすくなる。また、運転者10がエージェント13の第2エモーションを認知すると、擬人的なエージェント13に対する潜在的な罪悪感等が生じるために、その後、少なくともエージェント13の動作に気が付きやすくなる。その結果、次回以降の行動誘発が成功しやすくなる。
図10は、別の行動誘発動作とその作用を示す説明図である。図10のケース1及びケース2では、車両100が前方の車両を追従して自動的に走行しており、運転者10がステアリングホイール42から手を離しているとする。
図10のケース1は、行動誘発の成功例である。まず、時刻T1のシーンB1において、前方車両に対する追従走行機能が切れそうになり、運転者10がステアリングホイール42を把持すべき旨、車両100が運転者10に情報提供をする必要が生じたとする。このとき、運転者10は「ステアリングホイール42を把持するとエージェント13が覚醒する」というユーザ学習を完了しているので、エージェント13は、時刻T2のシーンB2に示すように、覚醒する表情を表す行動誘発動作を実行する。そして、運転者10は、視界内において、急に覚醒した表情を呈したエージェント13を認知すると、ステアリングホイール42を握るべきであることを直感的かつほぼ反射的に理解する。このため、時刻T3のシーンB3において、運転者10はほぼ反射的にステアリングホイール42を把持する。こうして運転者10がステアリングホイール42を把持するという所定動作が行われると、時刻T4のシーンB4のように、エージェント13は例えば笑みを浮かべる等の第1エモーションを実行する。
一方、図10のケース2は、行動誘発失敗時の動作例である。まず、時刻T2のシーンB1′は、シーンB1と同様に、前方車両に対する追従走行機能が切れそうになり、運転者10がステアリングホイール42を把持すべき旨、車両100が運転者10に情報提供をする必要が生じたシーンである。そして、時刻T2のシーンB2′では、エージェント13が覚醒する表情を表す行動誘発動作を実行する。但し、ここでは、ステアリングホイール42を把持するという運転操作に関わる重要度が高いシチュエーションであるにもかかわらず、運転者10はエージェント13の行動誘発動作に気が付かなかったとする。この場合、続く時刻T3のシーンB3′においては、エージェント13は、例えば、覚醒した表情という行動誘発動作の本質的態様を維持しつつ、さらに顔色を変える等することによって行動誘発動作を強調する。その結果、運転者10は、エージェント13の行動誘発動作に気が付き、時刻T4のシーンB4′において、ステアリングホイール42を把持するという所定動作を行うことができる。
以上のように、本実施形態に係る情報提供支援方法は、運転者10に対する車両100からの情報提供を支援する情報提供支援装置101を用いて運転者10に情報提供をする情報提供支援方法である。この情報提供支援方法では、運転者10に提供すべき情報がシチュエーション情報32として車両100から取得される。また、運転者10の動作が認識される。そして、シチュエーション情報32を知得するために、または、シチュエーション情報32に基づいて、運転者10が行うべき所定動作を行ったときに、その所定動作に応じて情報提供支援装置101が行ったことがある応答動作が、シチュエーション情報32の取得後、運転者10が所定動作を行う前に、情報提供支援装置101によって行動誘発動作として実行される。
このように、応答動作が、運転者10が所定動作を行う前に行動誘発動作として実行されると、運転者10は、シチュエーション情報32に対応付けられた所定動作を直感的かつほぼ反射的に感得し得る。したがって、本実施形態に係る情報提供支援方法によれば、運転者10の所定動作が誘発される。すなわち、本実施形態の情報提供支援方法によれば、情報提供支援装置101は、運転者10が所定動作を自然に行いたくなるように、運転者10に働きかけることができる。その結果、本実施形態の情報提供支援方法によれば、情報提供支援装置101は、個別具体的なシチュエーションに応じて、運転者10の必要な行動をごく自然に誘発することができる。
例えば、運転者10が車両100から多くの情報提供を受ける場合、直接的な情報提供は煩わしく感じられ、重要な情報提供に対しても運転者10の反応が遅れる場合がある。しかし、上記の行動誘発による情報提供によれば、直接的な情報提供をする場合よりも早く、かつ、確実に、運転者10が行うべき所定動作を引き出すことができる。
本実施形態に係る情報提供支援方法では、前提として、運転者10が所定動作を行ったときに、情報提供支援装置101によって応答動作が実行される。また、情報提供支援装置101が実行した応答動作を運転者10が認識したか否かが判定され、情報提供支援装置101が実行した応答動作を運転者10が認識した応答動作認識回数が計数される。そして、応答動作認識回数が閾値以上であるときに、運転者10が所定動作を行う前に、情報提供支援装置101によってその応答動作が行動誘発動作として実行される。
このように、応答動作についてユーザである運転者10の学習(ユーザ学習)が完了しているときに、その応答動作を行動誘発動作として実行することにより、特に確実に運転者10の所定動作が誘発される。これは、ユーザ学習が完了していることにより、運転者10は、情報提供支援装置101の行動誘発動作に困惑することなく、行動誘発動作によって示唆される所定動作を直感的に感得して反射的にこれを行うことができるからである。
本実施形態に係る情報提供支援方法では、情報提供支援装置101による行動誘発動作としての応答動作の実行後に、運転者10が所定動作を行ったときに、情報提供支援装置101は、肯定的情動を表現する動作である第1エモーションを実行する。このように、行動誘発の成功後、肯定的な第1エモーションを実行すると、行動誘発動作によって運転者10が行うべき所定動作を示唆等されたことを認知して、情報提供支援装置101に肯定的感情を抱きやすくなる。その結果、次回以降の行動誘発がさらに成功しやすくなる。
上記実施形態においては、情報提供支援装置101は、特に、マスコットであるエージェント13によって応答動作及び行動誘発動作を実行し、第1エモーションは、表情、色、音もしくは音声、または、動作等によって表現される。このため、第1エモーションによって、エージェント13に対する肯定的感情を抱きやすく、行動誘発の成功率が特に向上しやすい。
本実施形態に係る情報提供方法では、運転者10に提供すべきシチュエーション情報32の重要度が判定される。そして、情報提供支援装置101による行動誘発動作としての応答動作の実行後に、運転者10が所定動作を行わないときには、重要度に応じて情報提供支援装置101の動作を変更する。これにより、行動誘発が失敗した場合には、行動誘発を成功に導く、あるいは、次回の行動誘発の成功率を高める等、シチュエーション情報32の重要度に応じた適切な動作を行うことができる。
上記実施形態においては、特に、シチュエーション情報32の重要度が高いと判定されたときに、情報提供支援装置101は、行動誘発動作として強調した応答動作を実行する。このため、シチュエーション情報32が運転操作に関わる場合等、その重要度が高いときには、情報提供支援装置101は特に積極的に運転者10に働きかけて所定動作の誘発を成功に導くことができる。
また、上記実施形態においては、特に、シチュエーション情報32の重要度が低いと判定されたときに、情報提供支援装置101は、脾摘的情動を表現する動作である第2エモーションを実行する。運転者10は、情報提供支援装置101による否定的な第2エモーションを感得することにより、自然にエージェント13の動作に気を配るようになるので、次回以降の行動誘発が成功しやすくなる。また、情報提供支援装置101は、シチュエーション情報32の重要度が低いときには、第2エモーションを実行することで控えめに運転者10に働きかけるので、情報提供に係る煩わしさが低減される。
さらに、上記実施形態においては、情報提供支援装置101は、特に、マスコットであるエージェント13によって応答動作及び行動誘発動作を実行し、第2エモーションは、表情、色、音もしくは音声、または、動作等によって表現される。このため、第2エモーションを認知することによって、運転者10はエージェント13の動作をさらに気にかけるようになるので、次回以降の行動誘発の成功率が特に向上しやすい。
なお、上記実施形態においては、シチュエーション情報32が車両100の運転操作に関わる情報であるときはその重要度は高いと判定され、それ以外の情報であるときには重要度は低いと判定される。このように、運転操作に関わるシチュエーション情報32の重要度を高いと判定すると、運転操作に関わるシチュエーション情報32の提供に関して、より確実に運転者10の所定動作を誘発することができる。その結果、特に安全性が確保されやすい。
以上、本発明の実施形態について説明したが、上記実施形態で説明した構成は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を限定する趣旨ではない。
例えば、例えば、車両100が運転者10に対して提供する情報は、上記実施形態の例に限らない。また、車両100が提供する情報を知得するために、または、車両100が提供する情報に基づいて、運転者10が行うべき動作は、上記実施形態の例に限らない。したがって、本発明は、車両100が運転者10に対して提供する様々な情報と、運転者10が行うべき様々な動作と、の組み合わせについて適用することができる。
この他、車内カメラ17は、車両100が、センサ16の1つとして、車両100が備えてられいるが、これに限らない。情報提供支援装置101が独自にカメラを備えており、このカメラによって、運転者10の動作認識が可能な程度に車両100の車内を撮影し得る場合がある。この場合、情報提供支援装置101は、車両100が備える車内カメラ17の代わりに、情報提供支援装置101が独自に備えるカメラを用いて車内画像31を取得することができる。
上記実施形態のシチュエーション情報32と、これに対応する応答動作及び行動誘発動作は一例に過ぎない。このため、本発明の情報提供支援方法等は、上記実施形態で説明したシーン以外の様々なシーンに適用可能である。
例えば、運転者10がエアコンディショナを操作しているときに、エージェント13がエアコンディショナを見るという応答動作をする場合、運転者10もしくは助手席または後部座席にいる同乗者が寒そうまたは暑そうなときに、エージェント13がエアコンディショナを見るという行動誘発動作を行うことができる。運転者10がカーナビゲーションシステム12を操作しているときに、エージェント13がカーナビゲーションシステム12を見るという応答動作をする場合、エージェント13は、カーナビゲーションシステム12を見てほしいとき、あるいは、操作してほしいときに、カーナビゲーションシステム12を見る行動誘発動作を行うことができる。車両100のドアをロックするとエージェント13が例えばワンと吠える応答動作をする場合、エージェント13は、車両100のドアをロックしてほしいときにワンと吠える行動誘発動作を行うことができる。また、車両100の自動的な追従走行を行っているか否かに限らず、ステアリングホイール42を把持すべきシーンにおいて、エージェント13は覚醒する等の反応をすることができる。
上記実施形態の情報提供支援装置101は、いわゆるAI(Artificial Intelligence)プログラムによって実装することができる。AIプログラムは、学習済みモデルと称される場合がある。また、上記実施形態の情報提供支援装置101は、車両100と明確に区別されているが、情報提供支援装置101は、車両100の一部として、車両100と一体的に実装され得る。すなわち、エージェントコントローラ14の一部または全部の機能は、車両コントローラ15によって実現され得る。