JP7079069B2 - 情報提示制御装置、自動運転車、及び自動運転車運転支援システム - Google Patents

Description

本発明は、車載のセンサによって検出された周囲状況に応じた自動運転制御をする自動運転車等に関する。

自動車に関する技術において、自車両の走行環境に関する情報である走行環境情報を各種の車載のセンサを用いて取得して、この走行環境情報のうち、自車両の走行状況に応じて運転に有用な情報を運転者に提供する表示装置に関するものがある（特許文献１参照）。

特開平６－１９５５９５号公報

しかしながら上記のような表示装置では、車載のセンサの稼動状況等に応じて自動制御の内容が変わる自動運転機能を有する自動車（以下、自動運転車という）の運転者は、自分でする必要がある運転の内容を知ることができないという問題がある。

そこで、本発明は、自動運転車の運転者に、自分ですべき運転の内容を知らせる情報提示制御装置等を提供する。

本発明の一態様に係る情報提示制御装置は、自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転及び運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させる提示制御部とを備える。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明の情報提示制御装置は、自動運転車の運転者に自分ですべき運転の内容を知らせることができる。

図１は、実施の形態における情報提示制御装置を備える自動運転車を含むネットワークの構成を示す概略図である。 図２は、上記の自動運転車の機能構成を示す機能ブロック図である。 図３は、実施の形態における情報提示制御装置が備える選択部が参照するデータの例である。 図４は、上記の自動運転車が備える自動運転システムにおける、認識部の選択及び選択情報の提供を含む動作の手順例を示すフロー図である。 図５は、実施の形態における情報提示制御装置が、運転者に提示する情報のデータを取得するために参照するデータの例である。 図６は、実施の形態における情報提示制御装置の、選択情報の取得から運転情報の提示までの動作の手順例を示すフロー図である。 図７は、実施の形態において提示装置が運転者に提示する運転情報の一例である。 図８は、実施の形態において提示装置が運転者に提示する運転情報の他の例である。 図９は、実施の形態において提示装置が運転者に提示する運転情報の他の例である。 図１０は、実施の形態の変形例における情報提示制御装置を備える自動運転車の機能構成を示す機能ブロック図である。 図１１Ａは、実施の形態の変形例における選択部の動作の一例を示すフロー図である。 図１１Ｂは、実施の形態の変形例における選択部の動作の一例を示すフロー図である。 図１１Ｃは、実施の形態の変形例における選択部の動作の一例を示すフロー図である。 図１２は、実施の形態の変形例において提示装置が運転者に提示する運転情報の一例である。 図１３は、他の実施の形態において提示装置が運転者に提示する運転情報の一例である。 図１４は、他の実施の形態における自動運転車運転支援システムを備える自動運転車の機能構成を示す機能ブロック図である。

（本発明の基礎となった知見）
本発明の発明者らは、「背景技術」の欄において記載した表示装置に関し、以下の問題が生じることを見出した。

自動車では、上記のように車載センサを用いて取得される情報は、車載のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）によるいわゆる電子制御にも用いられる。しかし、運転者には、自分が運転している自動車で実際になされた電子制御の内容、又はこれによる自動車の動作の変化は必ずしも通知されない。

しかしながら、さらに高度化した電子制御による自動運転機能を有する自動運転車では、車載のセンサの稼動状況等に応じて自動運転の内容が変化する。例えば、走行中の自動運転車において、車両前方の状況を検知するセンサに不具合が生じたときに、自動運転車がどのような対象（例えば人、道路標識、道路表示、障害物、他の通行車両等）の認識及びその認識結果に基づく制御をできないのか、つまり、運転者は自分でしなければならない運転行動（認識、推定、判断、操作）を知る必要がある。

また、外部との通信機能を備える自動運転車は、車載のセンサで検知された周囲状況を外部の認識機器、例えば大規模なニューラルネットワークとして構築された認識システムに送信する。このニューラルネットワークではディープラーニングによる機械学習がなされており、車載の軽量な認識機器よりも高精度で多クラスの認識が可能である。そして自動運転車は、当該周囲状況に基づいてこの認識システムが認識した対象物を示す情報を受信し、この情報を利用して自動運転をする。しかし、場所によっては自動運転車と外部との通信の速度が自動運転に要求されるレベルに達しない。この場合、大規模なニューラルネットワークによる認識結果は自動運転に利用できないため、自動運転の内容が変化する。したがって、自動運転車の通信速度が遅い状況では、運転者はその状況で自分ですべき運転の内容を知る必要がある。

しかしながら、従来の表示装置では、このような認識機器の変化、及びこの変化に伴う認識の対象物の変化が考慮されていない。したがって、自動運転車では、この対象物の変化に伴って変化する、運転者自身がする必要がある運転の内容が運転者に通知されないという問題がある。

このような問題を解決するために、本発明の一態様に係る情報提示制御装置は、自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転及び運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させる提示制御部とを備える。

これにより運転者に、自動運転車の車両上の状況に応じて変化する自動運転システムによる運転又は自身がすべき運転行動についての情報（運転情報）を提供することができる。

例えば、複数の認識部の選択状況は、複数の認識部からの、対象の認識を実行する認識部又は対象の認識を実行しない認識部の選択の状況であってもよい。

これにより情報提示制御装置は、自動運転システムにおいて認識される対象、又はされない対象を示す情報に基づいて運転情報を運転者に提供することができる。

例えば、選択情報取得部は、複数の認識部からの認識部の選択結果を示す選択情報を前記自動運転システムから取得してもよい。

これにより情報提示制御装置は、自動運転システムにおける認識部の実際の選択状況に基づいて運転情報を運転者に提供することができる。

また例えば、選択情報取得部は、複数の認識部からの認識部の選択のための判断に用いられる選択判断材料情報を取得し、選択判断材料情報に基づいて選択状況を推定することで選択情報を取得してもよい。または、例えば対象の認識に利用される情報を取得するための、自動運転車が有する検出部又は通信部の稼動状況を示す情報を取得し、稼動状況を示す情報に基づいて、選択される認識部を判断することで選択情報を取得してもよい。

これにより情報提示制御装置は、自動運転システムでの選択部による認識部の選択を待つことなく選択情報を取得できるため、運転情報を運転者に速やかに提供することができる。また、自動運転システムとのインターフェースを設けることなく選択情報を取得できるため、コストを低減することが可能となる。

例えば、選択判断材料情報は、地図情報に基づいて取得される、自動運転車が走行している場所の特徴を示す走行場所情報を含んでもよい。

これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が自動運転車の走行場所に生じた場合に、運転者に運転情報を提供することができる。

また例えば、選択判断材料情報は、運転者の身体の状態を示す運転者状態情報を含んでもよい。

これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が運転者の身体状態に生じた場合に、運転者に運転情報を提供することができる。

また例えば、選択判断材料情報は、自動運転車の車外環境を示す車外環境情報を含んでもよい。

これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が車外環境に生じた場合に、運転者に運転情報を提供することができる。

また例えば、稼動状況を示す情報は、検出部が有する検出器の異常を示す情報を含み、対象の認識を実行しない認識部は、異常がある検出器が出力する検出結果を対象の認識に用いる認識部を含んでもよい。または、例えば、稼動状況を示す情報は、通信部の通信品質又は通信の実行の有無を示す情報を含み、対象の認識を実行しない認識部は、通信部の通信品質が所定の品質より劣る状況又は通信部が通信を実行していない状況における、通信部により通信される情報を対象の認識に用いるように構成されている認識部を含んでもよい。

これにより情報提示制御装置は、対象の認識に必要な情報を取得できているか否かに応じて選択される認識部の選択状況を反映した運転情報を運転者に提供することができる。

また例えば、提示制御部１６６は、音声又は画像の少なくとも一方を用いた運転情報の運転者への提示を制御してもよい。

これにより情報提示制御装置は、運転情報を、運転中の運転者に、音、動画、静止画、若しくは表示灯、又はこれらの組み合わせを用いて随時提示することができる。

また例えば、運転情報は、自動運転システムが実行しない又は実行していない運転の内容を含む情報であってもよい。

これにより情報提示制御装置は、運転者に自分ですべき運転行動を明示的に提示することができる。

また、本発明の一態様に係る自動運転車運転支援システムは、自動運転システムと、上記のいずれかの情報提示制御装置とを備える。

これにより自動運転車の運転者は、車両上の状況に応じて変化する、自分ですべき運転行動を随時知ることができる。

また、本発明の一態様に係る自動運転車は、自動運転システムと、上記のいずれかの情報提示制御装置とを備える。

この自動運転車では、車両又は運転者の状況に応じて変わる、自分ですべき運転行動が随時運転者に通知される。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
図１は、実施の形態における情報提示制御装置を備える自動運転車を含むネットワークの構成を示す概略図である。

自動運転車１００は、ネットワーク１０のノードの１つである。自動運転車１００はネットワーク１０において、自動運転における周囲の状況の認識に、自車両の外部にある認識システム２００を利用することができる。

認識システム２００は、例えばニューラルネットワークを用いたディープラーニング、サポートベクターマシン、又はＢｏｏｓｔｉｎｇ等の機械学習を実行したシステムであり、高精度で多クラスの画像認識をすることができる。このような認識システム２００は、自動運転車１００の外部にあって、自動運転車１００が自動運転のために利用する認識部の一部である。詳細は後述する。

自動運転車１００と認識システム２００とは、インターネット等の通信回線３００を介して通信する。

自動運転車１００からは、後述する車載のセンサが検出した、自車両の周囲の状況を示す情報が基地局３５０に送られ、通信回線３００を介して認識システム２００に届けられる。例えばこの情報は、車載のカメラ（イメージセンサ）が撮影した、自車両の周囲の状況を示す画像のデータとして認識システム２００に届けられる。

認識システム２００は、受け取った情報から車両の周囲の人や物等の存在、方向、距離、動き、その他特性等を認識し、その認識結果を示す情報を自動運転車１００に送り返す。例えば上記の画像のデータを受け取った認識システム２００は、画像認識を実行してこの画像に写る人、道路標識及び道路表示、障害物、他の通行車両等の対象を認識し、その対象を示す情報を、通信回線３００を介して自動運転車１００に返す。

この情報を受信した自動運転車１００では、自動運転車１００が備える後述の自動運転システムが、この情報に基づいてアクセル、ブレーキ、及びステアリング等の各種系統を制御する。

図２は、自動運転車１００の機能構成を示す機能ブロック図である。なお、自動運転車１００の動力源は限定されず、燃料で動くエンジンのみ、電力で動くモーターのみ、及びエンジン及びモーターの両方（ハイブリッド）のいずれであってもよい。

自動運転車１００は、運転支援インターフェース１１０、ナビゲーションシステム１４０、自動運転システム１５０、情報提示制御装置１６０、記憶部１８０、及びアンテナ１９０を備える。

運転支援インターフェース１１０は、自動運転車１００とそのユーザである運転者との間のインターフェースのであり、運転者からの入力を受け付ける構成要素及び運転者へ情報を提示する構成要素である。例えば、自動運転車１００の運転者が操作するアクセル、ブレーキ、ステアリングホイール等の運転操作部１２０、ディスプレイを含む表示装置、計器類、表示灯、スピーカー、マイク、タッチパネル、ボタン類が運転支援インターフェース１１０に含まれる。なお、これらのうち、運転者に視覚、聴覚、又は触覚を通じて情報の提示が可能な構成要素を提示装置ともいう。例えば表示装置、計器類、表示灯、スピーカー、ステアリングホイール、ペダル類が提示装置になりうる。ステアリングホイール及びペダル類は、例えば所定の条件が満たされたときに振動することで運転者に注意を促すことができる。

また、本実施の形態の説明では、これらの操作部への操作によって制御される駆動系、制動系、及び操舵系も運転操作部１２０に含まれる。

記憶部１８０は、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０が、それぞれ処理を実行するために参照する、後述の地図情報及びその他の各種データやプログラムが保存される記憶装置であり、例えばハードディスク、半導体メモリ、若しくはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体、又はこれらの組み合わせを用いて実現される。

アンテナ１９０は、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０がする、自動運転車１００の外部との情報通信のためのアンテナである。なお、これらの構成要素が行う情報通信には、衛星測位システムの人工衛星からの受信、ＶＩＣＳ（登録商標）（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：道路交通情報通信システム）やＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ：高度道路交通システム）からの受信、インターネット通信等、複数種類の通信が含まれ得る。

なお、図２の運転支援インターフェース１１０、記憶部１８０、及びアンテナ１９０は、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０に共有され、いずれからもアクセスされるものであってよいが、これに限定されない。ただし図２では、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０の各々が専用する運転支援インターフェース、記憶部、及びアンテナがある場合も、自動運転車１００が備える運転支援インターフェース１１０、記憶部１８０、及びアンテナ１９０としてそれぞれ統合的に示される。

ナビゲーションシステム１４０は、自動運転車１００の現在位置の取得、目的地への経路探索、及び運転者への経路案内をする。ナビゲーションシステム１４０は、現在位置取得部１４１、経路探索部１４２、経路案内部１４３、及び自律航法部１４４を含む。

現在位置取得部１４１は、アンテナ１９０を介してＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星等の衛星測位システムの人工衛星から受信する信号、及び後述の自律航法部１４４から受信する加速度、角速度、及び車速を示す信号に基づいて現在位置を取得する。

経路探索部１４２は、現在位置から目的地までの１つ以上の経路を算出する。

経路案内部１４３は、経路探索部１４２が探索し、運転者が選択した経路に沿った目的地までの案内を、運転支援インターフェース１１０を介して出力する画像や音声等でする。

自律航法部１４４は、加速度センサ、ジャイロセンサ、及び車速計測器を備え、これらによって計測され取得される自動運転車１００の加速度、角速度、及び車速を示す信号を上述の現在位置取得部１４１に送信する。

現在位置取得部１４１が取得した現在位置、経路探索部１４２が探索した経路、及び経路案内部１４３がする案内は、記憶部１８０又はアンテナ１９０を介して自車両の外部から取得される地図情報及び交通情報と合わせて、運転支援インターフェース１１０を介して運転者に提示される。

上記のような現在位置取得部１４１、経路探索部１４２、経路案内部１４３、及び自律航法部１４４は、ナビゲーションシステム１４０のＥＣＵがプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、記憶部１８０に保存される地図情報等のデータを参照したりすることで実現される構成要素である。

自動運転システム１５０は、検出部１５１、認識部１５２、状況判断部１５３、運転制御部１５４、自車両監視部１５５、選択部１５６、及び通信部１５７を備える。

検出部１５１は、自動運転車１００の周囲状況を検出する各種のセンサ（検出器）からなる。各種のセンサの例には、イメージセンサ、レーダー、及びライダーが含まれる。これらのセンサは、検出した周囲状況を示す画像、反射波、又は反射光等のデータとして出力される。

認識部１５２は、検出部１５１から出力されたデータに基づいて、周囲状況について対象を認識する。

図２の例では、自動運転システム１５０は複数の認識部１５２を備え、互いに異なる対象を認識する。ここでいう「異なる対象の認識」とは、例えばある認識部１５２は自動運転車１００周辺の道路表示を認識し、他の認識部１５２は他の通行体を認識するといった認識される物が異なることを指す。また別の例として、ある認識部１５２は認識した物のある位置（方向及び距離）を認識し、他の認識部１５２は認識した物の動き（速さ及び方向）、さらに他の認識部１５２は認識した物の動き予測をすることを指す。別の表現をすると、各認識部１５２は、周囲状況の認識において異なる役割を果たす。

また、自動運転システム１５０は上述の車上の認識部１５２に加えて、車外にある上述の認識システム２００（図１参照）も認識部として利用することができる。認識システム２００は、自動運転システム１５０が通信部１５７を介して送信する検出部１５１からのデータに基づいて、周囲状況について対象を認識する。認識システム２００も各認識部１５２とは異なる対象を認識する。また、例えば認識システム２００は、認識する物が認識部１５２とは同一であってもより高度な認識をすることができる。より高度な認識とは、例えば同じ画像データから、認識部１５２は人とその位置を認識し、認識システム２００はさらにその人の年代、行動、又は所持品等を特定する。あるいは、同じ画像データから、認識部１５２は道路標識とその位置を認識し、認識システム２００はさらにその標識の指示内容を特定する。このような認識内容の差も、本実施の形態における、「異なる対象の認識」の一例である。

なお、各認識部１５２及び認識システム２００の認識の対象は、安全性の観点から冗長性を確保するために一部重複していてもよい。

状況判断部１５３は、認識部１５２又は認識システム２００による認識の結果に基づいて危険予測をしたり、必要に応じて運転者による運転操作部１２０の操作が現在又は予測される状況に照らして適切か否かを判断したりする。また、この危険予測や適否の判断の結果に基づいて、自動運転システム１５０が運転操作部１２０を操作するか否か判断し、自動運転システム１５０が操作をする場合にはその内容を決定する。一例としては、状況判断部１５３は、車線の左右の白線との距離を示す周囲情報に基づいて車線内での自動運転車１００の左右位置を判断し、自動運転車１００が車線の近傍付近を離れて一方の白線から一定の距離の範囲内に入っている状況がある時間継続している場合に、自動運転車１００を車線の中央に寄せる操舵系の操作の実行及びその内容を決定する。

運転制御部１５４は、状況判断部１５３が決定した操作を実現するための制御信号を運転操作部１２０に送信する。この制御信号を受信した運転操作部１２０においては、自動運転車１００の駆動系、制動系、及び操舵系がこの制御信号に従って動作し、ステアリング及び各ペダルも必要に応じて動作する。

自車両監視部１５５は、自動運転車１００の状態を常時（又はミリ秒単位のごく短い時間周期で）監視する。この監視の対象には、例えば上記の検出部１５１に含まれる各種の検出器又は通信部１５７が含まれる。より具体的には、検出器又は通信部１５７の故障の有無等の稼動状況が監視される。

また、各検出器との通信の速度又は接続の有無、及び通信部１５７の通信品質（例えば通信速度、通信のための接続の有無、通信の安定性）又は通信の実行の有無も監視の対象となり得る。例えば、通信速度が、周囲状況の検知から運転制御までに送受信されるデータ量及びその処理速度に応じて決定される閾値を超えているか否かについて監視される。

その他、各検出器や通信部１５７の動作に影響し得る自動運転車１００の構成要素の状況も監視の対象であってもよい。例えば自動運転車１００バッテリーの残量、自動運転システム１５０のリソース消費量が監視の対象に含まれてもよい。

自車両監視部１５５は、例えば自動運転車１００が備えるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、図示なし）で伝送される車載の各機器の制御情報（ＣＡＮ情報）から、各機器又は自動運転車１００の状態に関する情報（状態情報）を抽出することで上記の監視を実行する。

自車両監視部１５５は、このような稼動状況等を示す情報を選択部１５６に随時提供する。

選択部１５６は、自車両監視部１５５から提供された情報に基づいて、認識部１５２及び認識システム２００から、上述の対象の認識を実行するもの、又は対象の認識を実行しないものを選択する。

例えば、認識システム２００との通信速度が上記の閾値を超えている間、選択部１５６は、対象の認識を実行する認識器として認識システム２００を選択する。また、稼動状況を示す情報がいずれかの検知器の故障を示す場合、選択部１５６は、故障している検知器が出力するデータを認識に使用する認識部（認識部１５２又は認識システム２００）を、対象の認識を実行しない認識部として選択する（またはその認識部以外を、対象の認識を実行する認識部として選択する）。

選択部１５６は、このような選択を所定の規則に従って実行する。この所定の規則は、例えば記憶部１８０に保存される各種データに含まれる。選択部１５６は、自車両監視部１５５から、例えば検知器の所定の動作状態を示すコードが通知されると、当該データを参照してこのコードに対応する規則を取得し、この規則に従って認識部の選択を実行する。

図３は、このデータの例を示す図である。図３の例では、通信不良（コード：０１－００１）の場合には、車外の認識部、つまり認識システム２００は対象の認識を実行しない認識部として選択される。または、この規則に対し、選択部１５６は、車上の認識部１５２のみを対象の認識を実行する認識部として選択してもよい。

また、検出器２の故障については規則の中に２つのエントリー（コード：０２－０２０、０２－０２１）があり、対象の認識を実行しない認識部として選択される認識部１５２の数が異常レベルに応じて異なる。例えば検出器２は、車両の前方を映す２個１組のカメラからなるステレオカメラと想定する。また、認識部１５２の一である認識部－０２は、その２個のカメラから受け取る画像データに基づいて車両前方の物体までの距離の情報を取得することができると想定する。そして認識部－０３は、１組のカメラの少なくとも一方から受け取る画像データに基づいて自車両前方の物体の有無及び方向の情報を取得することができると想定する。検出器２の異常レベルＡの故障（コード：０２－０２０）は、１組のカメラの一方のみの故障を示す。この場合、距離の取得に必要なデータが得られない認識部－０２が対象の認識を実行しない認識部として選択される。また、検出器２の異常レベルＢの故障（コード：０２－０２１）は、１組のカメラ両方の故障である。この場合、認識部－０２に加えて、認識部－０３も対象の認識を実行しない認識部として選択される。

また、バッテリーの残量が所定の閾値未満である場合（コード：０３－０１０）、例えば電力消費量が大きい検出器から出力されるデータを用いる認識部１５２が対象の認識を実行しない認識部として選択されたり、又は安全の観点から優先度の高い認識部のみが対象の認識を実行する認識部として選択されたりして、稼動する認識部が制限される。

なお、図３には例示されてないが、上述した自動運転システム１５０のリソースの余裕不足等のパフォーマンス低下の徴候が検知されている場合も、稼動する認識部が制限され得る。

また、選択部１５６は、自車両監視部１５５から出力された情報に基づいて実際にしている選択の状況（選択結果）を示す選択情報を出力する。この選択情報は、情報提示制御装置１６０に提供される。

通信部１５７は、上述のとおり、検出部１５１が出力したデータを車外の認識システム２００に送信し、認識システム２００の認識結果を受信して状況判断部１５３に送る。また、選択部１５６が出力した選択情報を情報提示制御装置１６０に送信する。

図４は、上記のように構成される自動運転システム１５０における、自動運転車１００の状態に応じて認識部を選択し、選択情報を提供するまでの動作の手順例を示すフロー図である。この例では、通信部１５７を介した通信の速度に応じた認識部の選択がなされる。

自動運転システム１５０において、自車両監視部１５５は通信部１５７の通信速度を示す状態情報を取得する（ステップＳ４０）。

選択部１５６は、この状態情報に基づいて、対象の認識を実行する認識部又は実行しない認識部を選択する。通信の速度が所定の閾値を超える場合（ステップＳ４１でＹＥＳ）、選択部１５６は車外の認識部である認識システム２００を、対象の認識を実行する認識部として選択する（ステップＳ４２）。通信の速度が所定の閾値に未満である場合（ステップＳ４１でＮＯ）、選択部１５６は車上の認識部の少なくとも一部を、対象の認識を実行する認識部として選択する（ステップＳ４３）。

次に選択部１５６は、上記の手順を経て実際にしている選択の状況を示す選択情報を、情報提示制御装置１６０に提供するために出力する（ステップＳ４４）。出力される選択情報は、情報提示制御装置１６０に送信されてもよいし、記憶部１８０に書き込まれて各種データの一部として保存されてもよい。

なお、ステップＳ４３では、上記の選択に代えて、又は加えて、車外の認識部を、対象の認識を実行しない認識部として選択するという選択が実行されてもよい。

上記のような自動運転システム１５０の各構成要素は、自動運転システム１５０のＥＣＵが記憶部１８０からプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、通信モジュールを介してデータを送受信したり、記憶部１８０に保存される各種のデータを参照したりすることで実現される。

情報提示制御装置１６０は、選択情報取得部１６１、及び提示制御部１６６を備える、本実施の形態における情報提示制御装置の例である。

選択情報取得部１６１は、自動運転車１００の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する。本実施の形態では、選択情報取得部１６１は、自動運転システム１５０から送信された、選択部１５６が実際にしている、複数の認識部からの認識部の選択結果、より具体的には、対象の認識を実行する認識部又は対象の認識を実行しない認識部の少なくとも一方の選択の状況である選択情報を受信することで取得する。

提示制御部１６６は、選択情報取得部１６１が取得した選択情報に応じて、自動運転車１００の自動運転システム１５０による運転及び運転者による運転の少なくとも一方に関する情報である運転情報を提示装置に提示させる。

ここで、「運転情報」とその提示について、より詳細に説明する。

運転情報は、自動運転車の運転者に、運転者が自分ですべき運転の内容を知らせるための情報である。ここでいう運転の内容とは、認識、推定、判断、及び操作の各種の運転行動を指す。そして運転情報は、例えば自動運転システム１５０で、ある対象の認識がされない時に、この対象の認識、又はこの認識に基づく推定、判断、さらにこの推定若しくは判断に基づく操作を示す情報であり、自動運転システム１５０が実行しない若しくは実行していないこと、又は運転者が自分ですべき運転行動として運転者に提示される。

この運転情報の提示は、例えば自動運転車１００の運転者の求めに応じて随時、あるいは自動運転システム１５０が実行可能な制御若しくは実行不可能な制御に変化が生じたときに、提示装置を通じて音声又は画像の少なくとも一方を用いて行われる。この画像とは、運転者が視覚的に認識できる表示物であれば表示の態様は問わない。運転情報には、運転席周辺にある表示灯、又は表示装置に表示される静止画若しくは動画のいずれを用いて提示されるものも含まれ得る。

このような運転情報は、選択情報取得部１６１が取得した選択情報に応じて提示制御部１６６によって取得される。例えば、図５に示されるような、認識部の選択状況に応じて提示される情報を示すデータが記憶部１８０にあらかじめ保存されており、提示制御部１６６は、このデータを参照して、選択部１５６から提供された選択情報に基づいて、自動運転システム１５０でこれから実行する運転の内容若しくはこれから実行しない運転の内容、又は現在実行されている運転の内容若しくは実行されていない運転の内容の情報を取得し、この情報を運転情報として運転者に提示する。

例えば提示制御部１６６は、認識部１５２の１つである認識部－０１が対象の認識を実行している認識部として選択されている状況を示す選択情報を新たに受けた場合を想定する。この場合、提示制御部１６６は、「認識部」の列で「認識部－０１」を探し、データ行の１行目でこれを見つける。次に、同行の左から２列目を参照して、レーンキープのための自動操舵が可能である情報を取得する。そして提示制御部１６６はこの情報を所定のテンプレートメッセージの可変部分に代入したメッセージを表示部に表示して、又はスピーカーからの音声で出力して運転情報を運転者に提示する。

提示制御部１６６による運転情報の提示の態様の別の例を挙げる。図５のテーブルでは、「認識実行時の提示情報１」の列には、各認識部が対象の認識を実行している認識部として選択されているときに表示装置に表示される画像データの名前が示されている。

また、「認識実行時の提示情報２」の列には、各認識部が選択されているときにこの表示装置に表示される文字列データの名前が示されている。

また、「認識非実行時の提示情報１」の列には、各認識部が対象の認識を実行しない認識部としての選択されているときにスピーカーから出力される音声データの名前が示されている。

これらの画像データ、文字列データ、及び音声データは、それぞれが運転情報を示すデータであり、記憶部１８０に保存されている。提示制御部１６６は、図５のテーブルを参照して選択情報取得部１６１が取得した選択情報に基づいて各データを取得し、このデータの内容を、画像や文字列として表示装置に表示させたり、音声メッセージとしてスピーカーから出力させたりすることで運転情報として運転者に提示してもよい。なお、情報提示の他の例としては、点灯させる表示灯又はさらにその表示態様（点灯、点滅、照明灯の色等）が各認識部の選択の状況ごとに図５に示されるようなテーブルで指定される。提示制御部１６６はその指定に従って表示灯を動作させることで運転情報を提示する。

図６は、上記のように構成される情報提示制御装置１６０における、選択情報の取得から運転情報の提示までの動作の手順例を示すフロー図である。

情報提示制御装置１６０において、自動運転システム１５０が出力した選択情報を選択情報取得部１６１が取得すると（ステップＳ６１でＹＥＳ）、提示制御部１６６が、この選択情報に基づいて運転情報を取得する（ステップＳ６２）。

次に提示制御部１６６は、取得したこの運転情報を、適切な提示装置によって運転者に対して提示させる（ステップＳ６３）。

上記のような選択情報取得部１６１及び提示制御部１６６は、情報提示制御装置１６０のＥＣＵがプログラムを読み出して実行し、必要なデータを他の構成要素から取得したり、記憶部１８０に保存されるデータを参照したりすることで実現される構成要素である。

ここまで自動運転システム１５０及び情報提示制御装置１６０それぞれの動作について説明した。以下では、自動運転システム１５０及び情報提示制御装置１６０を備える自動運転車１００での認識部の選択から運転情報の提示までの一連の流れの具体的な例を挙げる。

例えば、自動運転システム１５０では、自車両監視部１５５がする監視において取得された状態情報（図４のステップＳ４０）に基づいて、通信部１５７がしている通信の速度が所定の閾値未満であると判明した場合（図４のステップＳ４１でＮＯ）、選択部１５６は、この判明の結果を受けて車上の認識部１５２を対象の認識をする認識器として選択する（図４のステップＳ４３）。

このとき、対象の認識をする車上の認識器として選択されたのが認識部－０１であると想定する。認識部－０１は、検出部１５１から取得する画像データに基づいて、車線内での左右位置を認識し、状況判断部１５３にこの認識結果を示す情報を提供する。状況判断部１５３はこの情報に基づいて車線内での左右位置の適否を判断し、不適切な場合には適切な左右位置に自車両を戻すステアリング操作を運転制御部１５４にさせる。

このような認識部の選択の状況を示す選択情報が、選択部１５６から出力されて情報提示制御装置１６０に提供される（図４のステップＳ４４）。

選択情報取得部１６１がこの選択情報を取得すると（図６のステップＳ６１）、提示制御部１６６がこの選択情報に基づいて、図５のテーブルを参照して運転情報のデータを取得する（ステップＳ６２）。上記の想定では、図５のテーブルを参照して取得されるデータは、画像データｉｍｇＬａｎｅＫｅｅｐ及び文字列データｔｘｔＬａｎｅＫｅｅｐである。提示制御部１６６がこれらのデータを提示装置のうち表示装置に提示させた（ステップＳ６３）例を示すのが図７である。

この例では、画面左半分に表示される画像は、図５のテーブルに示される画像データｉｍｇＬａｎｅＫｅｅｐに対応し、画面右半分に表示されるメッセージは、文字列データｔｘｔＬａｎｅＫｅｅｐに対応する。

表示装置では、画像データｉｍｇＬａｎｅＫｅｅｐを用いて、認識部－０１が選択されているときに自動運転システム１５０によって実行されているレーンキープが示される。なお、レーンキープは、認識、判断又は推測、及び操舵系の操作を含む運転である。

また、文字列データｔｘｔＬａｎｅＫｅｅｐを用いて、認識部－０１が選択されているときに自動運転システム１５０によって実行されているレーンキープが画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。なお、運転者による運転に関する情報は、自動運転システム１５０が実行しない又は実行していない運転の内容でもある。この表示により、運転者は自分でする必要がある運転行動を知ることができる。

なお、このテキストは、運転者が表示装置の画面を注視しなくていいように、自動的に、又は運転者の要求に応じて読み上げられてもよい。

また別の例として、通信部１５７がしている通信の速度が所定の閾値未満であると判明した場合（図４のステップＳ４１でＮＯ）に、選択部１５６は、車上の認識部１５２のうち、対象の認識をする車上の認識器として認識部－０３を選択した場合（図４のステップＳ４３）を想定する。

認識部－０３は、検出部１５１から取得するデータに基づいて、自動運転車１００の路面上の位置を認識し、状況判断部１５３にこの認識結果を示す情報を提供する。状況判断部１５３はこの情報に基づいて路面上での位置の適否を判断し、不適切な場合には適切な位置に自車両を戻すステアリング操作、アクセル操作、及びブレーキ操作のうち必要なものを運転制御部１５４にさせる。

このような認識部の選択の状況を示す選択情報が、選択部１５６から出力されて情報提示制御装置１６０に提供される（図４のステップＳ４４）。

選択情報取得部１６１がこの選択情報を取得すると（図６のステップＳ６１）、提示制御部１６６がこの選択情報に基づいて、図５のテーブルを参照して運転情報のデータを取得する（ステップＳ６２）。上記の想定では、図５のテーブルを参照して取得されるデータは、画像データｉｍｇＳｆｃＫｅｅｐ及び文字列データｔｘｔＳｆｃＫｅｅｐである。提示制御部１６６がこれらのデータを提示装置のうち表示装置に提示させた（ステップＳ６３）例を示すのが図８である。

この例では、画面左半分に表示される画像は、図５のテーブルに示される画像データｉｍｇＳｆｃＫｅｅｐに対応し、画面右半分に表示されるメッセージは、文字列データｔｘｔＳｆｃＫｅｅｐに対応する。

表示装置では、画像データｉｍｇＳｆｃＫｅｅｐを用いて、認識部－０３が選択されているときに自動運転システム１５０によって実行されている路面キープ運転が示される。なお、路面キープは、認識、判断又は推測、並びに駆動系、制動系、及び操舵系の操作を含む運転である。

また、文字列データｔｘｔＳｆｃＫｅｅｐを用いて、認識部－０３が選択されているときに自動運転システム１５０によって実行されている路面キープ運転が画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。この表示により、運転者は自分でする必要がある運転行動を知ることができる。なお、運転者による運転に関する情報は、自動運転システム１５０が実行しない又は実行していない運転の内容でもある。

また別の例として、通信部１５７がしている通信の速度が所定の閾値以上であると判明した場合（図４のステップＳ４１でＹＥＳ）に、選択部１５６は、車外の認識部（認識システム２００）を、対象の認識をする認識器として選択した場合を想定する（図４のステップＳ４２）。

認識システム２００は、検出部１５１から取得するデータに基づいて、自車両の前方の人その他通行体の飛び出しの発生を予測し、状況判断部１５３にこの予測結果を示す情報を提供する。状況判断部１５３はこの情報に基づいて、減速のためのブレーキング、衝突の回避のためのステアリング操作を運転制御部１５４にさせる。

このような認識部の選択の状況を示す選択情報が、選択部１５６から出力されて情報提示制御装置１６０に提供される（図４のステップＳ４４）。

選択情報取得部１６１がこの選択情報を取得すると（図６のステップＳ６１）、提示制御部１６６がこの選択情報に基づいて、図５のテーブルを参照して運転情報のデータを取得する（ステップＳ６２）。上記の想定では、図５のテーブルを参照して取得されるデータは、画像データｉｍｇＲｕｓｈＰｒｅｄ及び文字列データｔｘｔＲｕｓｈＰｒｅｄである。提示制御部１６６がこれらのデータを提示装置のうち表示装置に提示させた（ステップＳ６３）例を示すのが図９である。

この例では、画面左半分に表示される画像は、図５のテーブルに示される画像データｉｍｇＲｕｓｈＰｒｅｄに対応し、画面右半分に表示されるメッセージは、文字列データｔｘｔＲｕｓｈＰｒｅｄに対応する。

表示装置では、画像データｉｍｇＲｕｓｈＰｒｅｄを用いて、認識システム２００が選択されているときに自動運転システム１５０によって実行されている飛び出し予測が示される。なお、飛び出し予測は、認識、判断又は推測、並びに制動系及び操舵系の操作を含む運転である。

また、文字列データｔｘｔＲｕｓｈＰｒｅｄを用いて、認識システム２００が選択されているときに自動運転システム１５０によって実行されている飛び出し予測が画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。この表示により、運転者は自分でする必要がある運転行動を知ることができる。なお、運転者による運転に関する情報は、自動運転システム１５０が実行していない運転の内容でもある。

このように、本実施の形態における、情報提示制御装置１６０は、選択情報取得部１６１と、提示制御部１６６とを備える。

選択情報取得部１６１は、自動運転車１００の周囲状況について互いに異なる対象を認識する複数の認識部（認識部１５２及び認識システム２００）の選択状況を示す選択情報を取得する。

提示制御部１６６は、その選択情報に応じて、自動運転車１００が実行可能な制御および実行不可能な制御の少なくとも一方に基づく、自動運転車１００の自動運転システム１５０による運転及び運転者による運転の少なくとも一方に関する運転情報を、自動運転車１００に搭載される提示装置に提示させる。

これにより運転者に、自動運転車の車両上の状況に応じて変化する自動運転システムによる運転又は自身がすべき運転行動についての情報（運転情報）を提供することができる。

例えば複数の認識部の選択状況は、複数の認識部からの、対象の認識を実行する認識部又は対象の認識を実行しない認識部の選択の状況である。

これにより情報提示制御装置１６０は、自動運転システム１５０において認識される対象、又はされない対象を示す情報に基づいて運転情報を運転者に提供することができる。

例えば選択情報取得部１６１は複数の認識部からの認識部の選択結果を示す選択情報を自動運転システム１５０から取得する。

これにより情報提示制御装置１６０は、自動運転システム１５０における認識部の実際の選択状況に基づいて運転情報を運転者に提供することができる。

なお、選択情報の提供及び取得の態様は上記に限られない。

例えば、選択情報取得部１６１は、自動運転システム１５０において選択のための判断に用いられる選択判断材料情報を取得し、この選択判断材料情報に基づいて選択状況を推定することで選択情報を取得してもよい。

ここでいう選択判断材料情報とは、認識部の選択のための判断に、用いられる情報であり、例えば上記の自車両監視部１５５から提供される情報である。選択情報取得部１６１では、選択部１５６が用いるのと共通のアルゴリズムに従ってこの選択判断材料情報を処理する。これにより、選択情報取得部１６１は選択部１５６が選択する認識部を推定することで、選択状況を示す選択情報を取得する。

また例えば、選択情報取得部１６１は、対象の認識に利用される情報を取得するための、自動運転車１００が有する検出部１５１又は通信部１５７の稼動状況を示す情報を取得し、稼動状況を示す情報に基づいて、選択される認識部を判断することで選択情報を取得してもよい。

ここでいう稼動状況を示す情報とは、例えば自車両監視部１５５が取得するＣＡＮ上の制御情報である。選択情報取得部１６１では、この情報に基づいて、対象の認識の実行が不可能な認識部を判断する。

これらのようにすることで、情報提示制御装置１６０は、自動運転システム１５０での選択部１５６による認識部の選択を待つことなく選択情報を取得できるため、運転情報を運転者に速やかに提供することができる。

また、上記の稼動状況を示す情報は、検出部１５１が有する検出器の異常を示す情報を含み、対象の認識を実行しない認識部は、異常がある検出器が出力する検出結果を対象の認識に用いる認識部を含んでもよい。

また、上記の稼動状況を示す情報は、通信部１５７の通信品質又は通信の実行の有無を示す情報を含み、通信部１５７により通信される情報を対象の認識に用いるように構成されている認識部を含んでもよい。

これにより情報提示制御装置１６０は、対象の認識に必要な情報を取得できているか否か、又は認識の結果のデータを発信できているかに応じて選択される認識部の選択状況を反映した運転情報を運転者に提供することができる。

また、提示装置は、音又は画像の少なくとも一方を用いて運転者に運転情報を提示する。

これにより情報提示制御装置１６０は、運転情報を、運転中の運転者に、音、動画、静止画、若しくは表示灯による視覚情報、又はこれらの組み合わせを用いて随時提示することができる。

そして、運転情報は、自動運転システム１５０が実行しない運転の内容を含む情報である。

このような情報は、自動運転システム１５０が実行していなくて、運転者が自分でする必要がある運転行動を示すものである。つまりこの情報が提示されることで、運転者は自分ですべき運転行動を把握することができる。

（実施の形態の変形例）
実施の形態の変形例における情報提示制御装置は、情報提示制御装置１６０と同じく、自動運転システムを備える自動運転車に搭載される。以下では実施の形態との差異点を中心に説明し、共通の構成要素は共通の参照符号を用いて示し、説明は省略する。

図１０は、自動運転車１１００の機能構成を示す機能ブロック図である。

本変形例における自動運転車１１００が備える自動運転システム１１５０では、認識部の選択に、実施の形態に加えてさらに別の情報を用いることができる。

自動運転システム１１５０は、実施の形態の構成要素に加えて、走行場所情報取得部１１５１、運転者状態情報取得部１１５２、及び車外環境情報取得部１１５３を備える。

走行場所情報取得部１１５１は、記憶部１８０に保存される地図情報に基づいて、自動運転車１１００が走行している場所の特徴を示す走行場所情報を取得する。

ここでいう「走行している場所の特徴」とは、例えば一般道か高速道路であるか等の道路の区分、直線が続くか蛇行が続くか等の道路の形状、都市部、市街地、又は山間部等の地域の種別、トンネルの中か外か等の特殊な状況のことである。なお、自動運転車１１００が走行している場所、つまり現在位置は、例えばナビゲーションシステム１４０の現在位置取得部１４１からこれを示す情報が提供される。走行場所情報取得部１１５１が取得した走行場所情報は、選択情報取得部１６１に出力される。

運転者状態情報取得部１１５２は、自動運転車１１００の車室に居る運転者を監視して、運転者の身体の状態を示す運転者状態情報を取得する。

ここでいう「運転者の身体の状態」とは、例えば運転者の疲労度、集中度、覚醒度、体調変化等、安全な運転の遂行に影響し得る状態を指す。このような運転者状態情報は、運転者状態情報取得部１１５２が含む、運転者を撮影又は運転者の生体データを計測する各種のセンサ等（図示なし）が出力するデータ、又は自動運転車１１００の運転状況（例えば連続運転時間、運転者による運転操作部１２０への操作の状況）を示すＣＡＮ情報のデータを、運転者状態情報取得部１１５２が解析して取得してもよい。運転者状態情報取得部１１５２が取得した運転者状態情報は、選択情報取得部１６１に出力される。

車外環境情報取得部１１５３は、自動運転車１１００の車外環境を示す車外環境情報を取得する。

ここでいう「車外環境」とは、例えば自動運転車１１００が走行している場所における天候や明るさ等の自車両の外の状況、又はこれらを間接的に示すもの（例：気温、時刻、視界、路面状況）である。このような車外環境情報は、車外環境情報取得部１１５３が含むセンサ（図示なし）によって検知されてもよいし、自動運転システム１５０の検出部１５１が含む各検出器が出力するデータを取得した車外環境情報取得部１１５３が、このデータを解析して取得してもよい。あるいは、通信部１５７を介して自動運転システムの外部からの取得可能な情報（例：インターネットで配信されている各地の気象情報又は交通情報）を車外環境情報として取得してもよい。車外環境情報取得部１１５３が取得した車外環境情報は、選択部１５６に出力される。

上記のような、走行場所情報取得部１１５１、運転者状態情報取得部１１５２、及び車外環境情報取得部１１５３は、情報提示制御装置１６０のＥＣＵがプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、記憶部１８０に保存されるデータを参照したりすることで実現される構成要素である。

一方、選択部１５６は、自車両監視部１５５が検知した異常に加えて、走行場所情報取得部１１５１から受け取る走行場所情報が示す特徴にさらに応じて認識部を選択してもよい。または、選択部１５６は、運転者状態情報取得部１１５２から受け取る運転者状態情報が示す運転者の身体の状態にさらに応じて認識部を選択してもよい。または選択部１５６は、車外環境情報取得部１１５３から受け取る車外環境情報が示す車外環境に応じて認識部を選択してもよい。以下に、これらの情報に応じてなされる認識部の選択について具体例を用いて後述する。

図１１Ａは、上記のように構成される自動運転システム１１５０における、選択部１５６の動作の一例を示すフロー図である。この例では、選択部１５６は、自車両監視部１５５が監視する通信状態に関する情報に加えて、走行場所情報取得部１１５１が出力する走行場所情報を用いている。

選択部１５６は、自車両監視部１５５から提供される情報に基づいて通信状態の評価をする（ステップＳ８０Ａ）。具体的には、例えば通信速度が所定の閾値以上であれば通信状態が良好であると評価する。

通信状態が良好な場合（ステップＳ８０ＡでＹＥＳ）、選択部１５６は、対象の認識を実行する認識部として、車外の認識部である認識システム２００を選択する（ステップＳ８４Ａ）。

通信状態が良好でない場合（ステップＳ８０ＡでＮＯ）、次に選択部１５６は、走行場所情報取得部１１５１から走行場所情報を取得する。

走行場所が高速道路である場合（ステップＳ８１Ａで「高速道路」）、選択部１５６は、車上の認識部１５２のひとつである認識部－０１を対象の認識を実行する認識部として選択する（ステップＳ８２Ａ）。この選択された認識部－０１は、道路の通行帯を示す白線等の表示を認識する認識部である。

走行場所が市街地の一般道である場合（ステップＳ８１Ａで「山間部一般道」）、選択部１５６は、認識部－０１とは別の車上の認識部１５２である認識部－０５を対象の認識を実行する認識部として選択する（ステップＳ８３Ａ）。選択された認識部－０５は、例えば通行の妨げになる動物や石等の障害物を認識する認識部である。

このように、選択部１５６によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置１６０に提供される（ステップＳ８５Ａ）。情報提示制御装置１６０では、提示制御部１６６がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部－０１が選択された場合は、図７に示されるような運転情報が表示装置に提示される。

図１１Ｂは、情報提示制御装置１６０の動作の他の一例を示すフロー図である。この例では、運転者状態情報取得部１１５２が出力する運転者状態情報がさらに用いられている。

選択部１５６は、自車両監視部１５５から提供される情報に基づいて通信状態の評価をする（ステップＳ８０Ｂ）。

通信状態が良好な場合（ステップＳ８０ＢでＹＥＳ）、選択部１５６は、対象の認識を実行する認識部として、車外の認識部である認識システム２００を選択する（ステップＳ８５Ｂ）。

通信状態が良好でない場合（ステップＳ８０ＢでＮＯ）、次に選択部１５６は、走行場所情報取得部１１５１から走行場所情報を取得する。走行場所が高速道路である場合についてはこの例では省略する。

走行場所が市街地の一般道である場合（ステップＳ８１Ｂで「市街地一般道」）、次に選択部１５６は、運転者状態情報取得部１１５２から運転者状態情報を取得する。

運転者状態情報が、運転者の集中度が低いことを示す場合（ステップＳ８２Ｂで「低い」）、選択部１５６は、車上の認識部１５２のひとつである認識部－０６を選択する（ステップＳ８３Ｂ）。なお、選択された認識部－０６は、通行人などの人を認識する認識部とする。

運転者状態情報が、運転者の集中度が十分高いことを示す場合（ステップＳ８２Ｂで「十分高い」）、選択部１５６は、認識部－０６とは別の車上の認識部１５２である認識部－０２を選択する（ステップＳ８４Ｂ）。このとき選択された認識部－０２は、例えば同一車線の前方を走る自動車までの距離（車間距離）を認識する認識部である。

このように選択部１５６によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置１６０に提供される（ステップＳ８６Ｂ）。情報提示制御装置１６０では、提示制御部１６６がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部－０６が選択された場合は、図１２に例示されるような運転情報が表示装置に提示される。この例では、画面左半分に表示される画像は、提示制御部１６６が参照する図５のテーブルに画像データｉｍｇＰｓｎＡｖｄとして示され、画面右半分に表示されるテキストメッセージは、文字列データｔｘｔＰｓｎＡｖｄとして示されている。画像データｉｍｇＰｓｎＡｖｄは、認識部－０６が選択されているときに自動運転システム１１５０が実行する人回避を示す。また、文字列データｔｘｔＰｓｎＡｖｄは、認識部－０６が選択されているときに自動運転システム１１５０が現在実行している運転（実行可能な運転）の内容を画面上方の枠内で、このとき運転者が自分でする必要がある運転行動（自動運転システム１１５０が実行していない運転の内容）を画面下方の枠内で示している。

図１１Ｃは、情報提示制御装置１６０の動作の他の一例を示すフロー図である。この例では、車外環境情報取得部１１５３が出力する車外環境情報がさらに用いられている。

選択部１５６は、自車両監視部１５５から提供される情報に基づいて通信状態の評価をする（ステップＳ８０Ｃ）。

通信状態が良好な場合（ステップＳ８０ＣでＹＥＳ）、選択部１５６は、対象の認識を実行する認識部として、車外の認識部である認識システム２００を選択する（ステップＳ８６Ｃ）。

通信状態が良好でない場合（ステップＳ８０ＣでＮＯ）、次に選択部１５６は、走行場所情報取得部１１５１から走行場所情報を取得する。走行場所が高速道路である場合についてはこの例では省略する。

走行場所が市街地の一般道である場合（ステップＳ８１Ｃで「市街地一般道」）、次に選択部１５６は、運転者状態情報取得部１１５２から運転者状態情報を取得する。運転者状態情報が、運転者の集中度が低いことを示す場合についてはこの例では省略する。

運転者状態情報が、運転者の集中度が十分高いことを示す場合（ステップＳ８２Ｃで「十分高い」）、次に選択部１５６は、車外環境情報取得部１１５３から車外環境情報を取得する。

車外環境情報が、車外が十分明るいことを示す場合（ステップＳ８３Ｃで「十分明るい」）、選択部１５６は、車上の認識部１５２のひとつである認識部－０２を選択する（ステップＳ８４Ｃ）。このとき選択された認識部－０２は、例えば同一車線の前方を走る自動車までの距離（車間距離）を認識する認識部である。

車外環境情報が、車外が雨天で暗いことを示す場合（ステップＳ８３Ｃで「雨天で暗い」）、選択部１５６は、認識部－０２とは別の車上の認識部１５２のひとつである認識部－０４を選択する（ステップＳ８５Ｃ）。ここで選択された認識部－０４は、例えば道路標識の表示内容を認識する認識部である。

このように選択部１５６によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置１６０に提供される（ステップＳ８７Ｃ）。情報提示制御装置１６０では、提示制御部１６６がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部－０４が選択された場合に、スピーカーからの音声メッセージで、「標識に従ってハンドルとブレーキの操作を行います」という自動運転システム１１５０が現在実行している運転（実行可能な運転）の内容、及び「歩行者や自転車に十分注意してハンドルとブレーキの操作をしてください」という運転者が自分でする必要がある運転行動（自動運転システム１１５０が実行していない運転の内容）を示す運転情報が運転者に提示される。

上記で説明した、図１１Ａから図１１Ｃに示されるような認識部の選択、及びこれに応じた運転情報の提示は、例えば自動運転車で自動運転システム１５０が自動運転を実行している間繰り返され、運転者は自分でする必要がある運転行動についての通知を随時受けることができる。

なお、選択情報の提供及び取得の態様は上記に限られない。

例えば、選択情報取得部１６１が取得する選択判断材料情報は、地図情報に基づいて取得される、自動運転車が走行している場所の特徴を示す走行場所情報を含んでもよい。また、選択判断材料情報は、運転者状態情報を含んでもよい。また、選択判断材料情報は、車外環境情報を含んでもよい。

選択情報取得部１６１では、選択部１５６が用いるのと共通のアルゴリズムに従ってこの選択判断材料情報を処理する。つまり、図１１Ａから図１１Ｃに記載される処理を、選択部１５６が用いる選択判断材料情報を用いて選択情報取得部１６１も実行することで選択部１５６が選択する認識部を推定して選択情報を取得してもよい。

これにより情報提示制御装置１６０は、例えば自動運転システム１１５０による運転の内容が変更されるような変化が自動運転車１１００の走行場所に生じた場合に、この変更を示す運転情報を運転者に提供することができる。または、自動運転システム１１５０による運転の内容が変更されるような変化が運転者の身体状況に生じた場合に、この変更を示す運転情報を運転者に提供することができる。または、自動運転システム１１５０による運転の内容が変更されるような変化が車外環境に生じた場合に、この変更を示す運転情報を運転者に提供することができる。

なお、自動運転システム１１５０のリソースには限りがあるため、自動運転システム１１５０では、すべての検出器や認識部を常に稼動させて運転制御の補助又は代行できるとは限らない。したがって、自動運転システム１１５０による自動運転の内容は、選択部１５６によって選択された認識部によって取得される情報に基づいて可能なものに限定される。そして上述のとおり認識部の選択は、自車両上の機器の状況のみならず、走行場所、運転者の身体の状態、又は車外の環境によって変化する、優先して行われるべき自動運転の内容に合わせて変更される。上記で図１１Ａから図１１Ｃを参照して説明された選択部１５６による認識部の選択はこの変更のための選択のアルゴリズムの例であり、本発明はこれらの例に限定されない。例えば走行場所情報、運転者状態情報、及び車外環境情報の組み合わせ、及びこれらの情報が用いられる順序は上記の説明どおりでなくてもよい。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術はこれらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

認識部１５２が認識する対象は上記の説明で例として挙げた車線、車間距離、人、及び障害物に限定されない。例えば認識の対象は、人のうち年少者や高齢者等のより細分化されたカテゴリであってもよい。あるいは、通行体の存否、通行体までの位置若しくは距離、動き予測に限定されず、特定の動作状態が認識されてもよい。例えば、通行体のふらつき、歩行者の携帯機器の画面への注視等の動作状態が認識されてもよい。また、このように細分化して認識した人や動作状態の認識に応じて自車両の周囲の状況の危険度を決定し、この危険度に応じて運転者との運転行動の分担を決定し、その決定内容を運転情報として提示装置に提示させてもよい。

図１３は、危険度の高い歩行者が認識された場合に表示装置で表示される運転情報の例である。この例では、選択部１５６は認識部－０７を選択している。この選択状況を示す選択情報に応じて、情報提示制御装置１６０の提示制御部１６６は、図５に示されるテーブルを参照して、画像データｉｍｇＳｐｄＬｍｔ及び文字列データｔｘｔＳｐｄＬｍｔを取得し、これらのデータを用いて表示装置に図１３の画像を表示させている。この画像では、自動運転システムによる運転に関する情報及び運転者による運転に関する情報の両方が運転情報として提示されている。

また、上記の例では運転情報の提示には、画像、文字、及び音声の組み合わせのみが示されているが、これらのいずれかのみを用いて提示されてもよい。また、文字列を読み上げる音声のみならず、運転情報に変更があったことへの注意を喚起するための音が用いられてもよい。また、さらにステアリングホイールの振動やペダルの押し戻し等の触覚による通知と組み合わせられてもよい。

また、上記の例示では、運転情報は主に車上の認識部間で選択に変更があったときに運転者に提示されているが運転情報の提示のタイミングはこれに限定されない。車外の認識部である認識システム２００から車上の認識部に選択が変更されたときにも提示されてもよい。この場合、通信状態の不良によって認識システム２００による認識の結果が利用できない旨の情報が提示されてもよい。車上の軽量な認識部による認識に基づく自動運転制御のほうが機能に制限が多いため、この場合は自動運転システムに拠る運転の補助や代行が少ないこと、つまり、自分ですべき運転行動が多いことについて運転者の注意を促すことができる。

また、上記の説明において、運転情報は認識部の選択に変更があったときに運転者に提示される記載があるが、運転情報の提示のタイミングはこれに限定されない。例えば運転者が運転支援インターフェース１１０を通じて所定の動作や音声でする運転情報の提示の要求に対する応答として随時提示されてもよい。

また、上記の説明において、情報提示制御装置では異常の検出に応えて認識部の選択が行われる記載があるが、この選択は例えば異常の有無の変化に応じて行われればよい。つまり、例えば何らかの異常がある場合に、その異常がないことを示す情報が選択部１５６に通知されたときにも選択部１５６は認識部の選択を実行してもよい。これにより、例えば通信状態が回復した場合や、車載のセンサの表面に付着していた障害物がなくなったことが自車両監視部１５５からの情報から判断できれば、選択部１５６は認識部の選択を実行する。なお、認識部の選択状況が変更されるきっかけは故障等の異常に限定されず、上述のとおり、自動運転車の現在位置、車外環境、又は運転者の身体の状態の変化等がきっかけになってもよい。

また、本発明は、情報提示制御装置１６０が、ナビゲーションシステム１４０若しくは自動運転システム１５０（１１５０）、又はこれらの両方と統合されて自動運転車運転支援システムとして実現されて提供されてもよい。図１４は、この例として自動運転システム１１５０と情報提示制御装置１６０とが統合されてなる自動運転車運転支援システム１０００、及びこれを備える自動運転車２１００の構成を示す図である。

また、本発明は自動運転車１００、１１００、又は２１００として実現され提供されてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行装置が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示制御装置を実現するプログラムは、次のとおりである。

すなわち、このプログラムは、自動運転車に搭載されるコンピュータに、自動運転車に搭載される提示装置に情報を提示させる情報提示制御方法であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得するステップと、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転又は運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させるステップとを含む運転情報提示方法を実行させる。

また、プログラム実行装置がプログラムを実行することによって実現される情報提示制御装置１６０、自動運転システム１５０若しくは１５００、又は自動運転車運転支援システム１０００、及びこれらの各々が有する機能的な構成要素間での上記の機能分担は一例であって変更されてもよい。これらの構成要素及び機能を任意に分割したり組み合わせたりすることで実現される形態も本発明の範囲に含まれる。

以上、一つ又は複数の態様に係る情報提示制御装置について、実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

本発明は、自動運転車等に利用可能である。

１０ ネットワーク
１００、１１００、２１００ 自動運転車
１０００ 自動運転車運転支援システム
１１０ 運転支援インターフェース
１１５１ 走行場所情報取得部
１１５２ 運転者状態情報取得部
１１５３ 車外環境情報取得部
１２０ 運転操作部
１４０ ナビゲーションシステム
１５０、１１５０ 自動運転システム
１５１ 検出部
１５２ 認識部（車上の認識部）
１５３ 状況判断部
１５４ 運転制御部
１５５ 自車両監視部
１５６ 選択部
１５７ 通信部
１６０ 情報提示制御装置
１６６ 提示制御部
１８０ 記憶部
１９０ アンテナ
２００ 認識システム（車外の認識部）
３００ 通信回線
３５０ 基地局

Claims (16)

1. 自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、
   検出部の出力に基づいて前記自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、
   前記選択情報が示す選択されている前記認識部に応じて実行される前記自動運転車の自動運転システムによる運転の内容を示す画像データ及び、選択されている前記認識部に応じて実行されている前記自動運転システムの運転の内容に対して必要となる運転者による運転の内容を示す文字列データに対応する運転情報を前記提示装置に提示させる提示制御部とを備え、
   前記画像データは、選択されている前記認識部が認識すべき対象に関連する画像を含む画像データであり、
   前記文字列データは、前記画像データに対応するデータである、
   情報提示制御装置。
2. 前記複数の認識部の選択状況は、前記複数の認識部からの、前記対象の認識を実行する認識部又は前記対象の認識を実行しない認識部の選択の状況である
   請求項１に記載の情報提示制御装置。
3. 前記選択情報取得部は、前記複数の認識部からの認識部の選択結果を示す前記選択情報を前記自動運転システムから取得する
   請求項２に記載の情報提示制御装置。
4. 前記選択情報取得部は、前記複数の認識部からの認識部の選択のための判断に用いられる選択判断材料情報を取得し、前記選択判断材料情報に基づいて前記選択状況を推定することで前記選択情報を取得する
   請求項２又は３に記載の情報提示制御装置。
5. 前記選択情報取得部は、前記対象の認識に利用される情報を取得するための、前記自動運転車が有する検出部又は通信部の稼動状況を示す情報を取得し、前記稼動状況を示す情報に基づいて、選択される認識部を判断することで前記選択情報を取得する
   請求項２から４のいずれか１項に記載の情報提示制御装置。
6. 前記選択判断材料情報は、地図情報に基づいて取得される、前記自動運転車が走行している場所の特徴を示す走行場所情報を含む
   請求項４に記載の情報提示制御装置。
7. 前記選択判断材料情報は、前記運転者の身体の状態を示す運転者状態情報を含む
   請求項４に記載の情報提示制御装置。
8. 前記選択判断材料情報は、前記自動運転車の車外環境を示す車外環境情報を含む
   請求項４に記載の情報提示制御装置。
9. 前記稼動状況を示す情報は、前記検出部が有する検出器の異常を示す情報を含み、
   前記対象の認識を実行しない認識部は、前記異常がある検出器が出力する検出結果を前記対象の認識に用いる認識部を含む
   請求項５に記載の情報提示制御装置。
10. 前記稼動状況を示す情報は、前記通信部の通信品質又は通信の実行の有無を示す情報を含み、
    前記対象の認識を実行しない認識部は、前記通信部の通信品質が所定の品質より劣る状況又は前記通信部が通信を実行していない状況における、前記通信部により通信される情報を前記対象の認識に用いるように構成されている認識部を含む、
    請求項５に記載の情報提示制御装置。
11. 前記提示制御部は、音又は画像の少なくとも一方を用いた前記運転情報の前記運転者への提示を制御する
    請求項１～１０のいずれか１項に記載の情報提示制御装置。
12. 前記運転情報は、前記自動運転システムが実行しない又は実行されていない運転の内容を含む情報である
    請求項１から１１のいずれか１項に記載の情報提示制御装置。
13. 請求項１に記載の自動運転システムと、
    請求項１～１２のいずれか１項に記載の情報提示制御装置とを備える
    自動運転車運転支援システム。
14. 請求項１に記載の自動運転システムと、
    請求項１～１２のいずれか１項に記載の情報提示制御装置とを備える
    自動運転車。
15. 自動運転車に搭載される提示装置に情報を提示させる情報提示制御方法であって、
    検出部の出力に基づいて前記自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得し、
    前記選択情報が示す選択されている前記認識部に応じて実行される前記自動運転車の自動運転システムによる運転の内容を示す画像データ及び、選択されている前記認識部に応じて実行されている前記自動運転システムの運転の内容に対して必要となる運転者による運転の内容を示す文字列データに対応する運転情報を前記提示装置に提示させ、
    前記画像データは、選択されている前記認識部が認識すべき対象に関連する画像を含む画像データであり、
    前記文字列データは、前記画像データと関連付けられたデータである、
    情報提示制御方法。
16. 請求項１５に記載の情報提示制御方法を、前記自動運転車に搭載されるコンピュータに実行させるための情報提示プログラム。

Images