JP2018149822A - 運転モード切替制御装置、方法及びプログラム - Google Patents

Abstract

【課題】自動運転モードから手動運転モードに切り替わる際に、運転者の交代が発生する場合であっても、運転者の準備期間を十分に確保することができるようにする。【解決手段】自動運転モードによる運転制御期間中に、準備期間制御部６１３は、運転者が手動運転モードによる運転操作を行える状態にあると判定された場合に第１の準備期間を設定してカウントし、準備期間情報生成部６１４は、第１の準備期間の残り時間を知らせるための第１の準備期間情報を生成する。ドライバ状態判定部６１２は、第１の準備期間において運転者の交代が発生したか否かを判定し、交代が発生したと判定した場合には、準備期間制御部は、第２の準備期間を設定してカウントし、準備期間情報生成部は、第２の準備期間の残り時間を知らせるための第２の準備期間情報を生成する。【選択図】図２

Description

この発明は、車両の運転モードを手動運転モードと自動運転モードとの間で切り替えるための運転モード切替制御装置、方法及びプログラムに関する。

近年、車両の運転モードとして、運転者の運転操作に基づいて車両を走行させる手動運転モード以外に、運転者の運転操作によらず予め設定された経路に沿って車両を走行させる自動運転モードの開発が進められている。自動運転モードは、例えば、ＧＰＳ（Global Positioning System）を利用したナビゲーションシステムの情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムの情報をもとに、パワーユニットや操舵装置、ブレーキ等を制御することで、車両の自動運転を可能にするものである（例えば特許文献１を参照）。

ところで、自動運転モードは運転者の運転操作の負担軽減や交通渋滞の緩和等の効果が期待できるものの、走行開始から走行終了までのすべての運転操作を自動化することは現実的に困難である。このため、自動運転モードから手動運転モードへの切り替えを適切に行うことが求められている。運転モードを自動運転モードから手動運転モードに切り替える場合には、切り替えに先立ち運転者が手動運転操作可能な状態にあることを確認すると共に、手動運転のための準備を促すために、運転者に対しこれから一定期間（自動運転モードから手動運転モードに切り替える場合において、運転者が準備するために設定される期間。以下単に「準備期間」と呼ぶ）経過後に当該運転モードが切り替わることを知らせる必要がある。

特開２０１５−１４１０５３号公報

自動運転モードでは、ハンドル操作やペダル操作などの運転操作は原則的に不要である一方、手動運転モードではこのような運転操作が必要となる。このため、自動運転モードから手動運転モードに切り替わる準備期間中において、運転者が運転操作の得意でない者から運転操作の得意な者に交代するといった運転者の交代が発生することが予想される。

しかしながら、自動運転モードから手動運転モードに切り替わる際の準備期間は、一人の運転者がこれから手動運転するための準備期間として設定されたものである。従って、上記交代がなされる場合には、二人の運転者で準備期間を共有することになり、手動運転を担当する運転者にとって準備期間が十分でない可能性がある。

この発明は上記事情に着目してなされたもので、自動運転モードから手動運転モードに切り替わる際に、運転者の交代が発生する場合であっても、運転者の準備期間を十分に確保することができる運転モード切替制御装置、方法及びプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、車両の運転モードを手動運転モードと自動運転モードとの間で切替制御する運転モード切替制御装置であって、前記自動運転モードから前記手動運転モードに切り替える場合に第１の準備期間を設定し、当該第１の準備期間をカウントする準備期間制御部と、前記第１の準備期間の残り時間を知らせるための第１の準備期間情報を生成する準備期間情報生成部と、前記第１の準備期間情報を出力する出力部と、前記第１の準備期間において、運転者の交代が発生したか否かを判定する判定部と、を具備する。そして、前記判定部により運転者の交代が発生したと判定された場合には、前記準備期間制御部は、第２の準備期間を設定して当該第２の準備期間をカウントし、前記準備期間情報生成部は、前記第２の準備期間の残り時間を知らせるための第２の準備期間情報を生成し、前記出力部は、前記第２の準備期間情報を出力するようにしたものである。

この発明の第２の態様は、前記判定部により、前記第１の準備期間のカウントを開始する以前に監視カメラにより取得された運転者についての映像データと前記第１の準備期間において監視カメラにより取得された運転者についての映像データとを用いて類似度を計算し、前記計算された類似度に基づいて運転者の交代が発生したか否かについての前記判定を実行するようにしたものである。

この発明の第３の態様は、前記判定部により前記第２の準備期間において運転者の交代が発生したか否かを判定し、前記第２の準備期間において前記判定部により運転者の交代が発生したと判定された場合には、前記準備期間制御部により第３の準備期間を設定して当該第３の準備期間をカウントし、前記準備期間情報生成部により前記第３の準備期間の残り時間を知らせるための準備期間情報を生成し、前記出力部により前記第３の準備期間情報を出力するようにしたものである。

この発明の第４の態様は、前記判定部により、前記第１の準備期間において監視カメラにより取得された運転者についての映像データと、前記第２の準備期間において監視カメラにより取得された運転者についての映像データとを用いた類似度を計算し、前記計算された類似度に基づいて前記第２の準備期間において運転者の交代が発生したか否かについての前記判定を実行するようにしたものである。

この発明の第５の態様は、最新の準備期間が経過したことを契機として前記自動運転モードを前記手動運転モードに切り替える信号を出力する運転モード切替信号出力部をさらに具備するようにしたものである。

この発明の第６の態様は、前記準備期間情報生成部により、所定の基準に従って新たに設定される準備期間の長さを調整するようにしたものである。

この発明の第７の態様は、前記準備期間情報生成部により運転者の交代を確認したことを知らせる情報をさらに生成し、前記出力部により前記運転者の交代を確認したことを知らせる情報を出力するようにしたものである。

この発明の第１の態様によれば、自動運転モードから手動運転モードに切り替える場合に、準備期間制御部により準備期間を設定してカウントすると共に、準備期間の残り時間を知らせるための第１の準備期間情報を準備期間情報生成部により生成し、所定の出力部から出力する。そして、判定部によって運転者の交代が発生したと判定した場合には、準備期間制御部によって新たな第２の準備期間を設定してカウントすると共に、当該第２の準備期間の残り時間を知らせるための第２の準備期間情報を準備期間情報生成部により生成し、所定の出力部から出力する。従って、自動運転モードから手動運転モードに切り替わる際の限られた準備期間を二人の運転者で共有するという事態を防止することができ、交代後の運転者のために必ず一定の準備期間を確保することができる。これにより、交代後の新たな運転者は、手動運転操作のために十分な準備をすることができると共に、心理的にも余裕を持って手動運転を行うことができる。その結果、安全かつ快適な運転環境を提供することができる。

この発明の第２の態様によれば、判定部により、第１の準備期間のカウントを開始する以前に監視カメラにより取得された運転者についての映像データと第１の準備期間において監視カメラにより取得された運転者についての映像データとを用いて類似度を計算し、計算された類似度に基づいて運転者の交代が発生したか否かについての判定を実行する。従って、運転者の顔等の固有の情報に基づいて、最新の準備期間の開始前と開始以後とで運転者の交代が発生したか否かを確実に判定することができる。

この発明の第３の態様によれば、第２の準備期間において運転者の交代が発生した場合には、新たな第３の準備期間を設定して当該第３の準備期間をカウントすると共に、新たな第３の準備期間の残り時間を知らせるための準備期間情報を生成し、所定の出力部から第３の準備期間情報を出力する。これにより、新たに設定された準備期間においても運転者の交代が発生したか否かを判定することができ、自動運転モードから手動運転モードに切り替わるまでの間、運転者が交代する度に新たな運転者に対して新たな準備期間を確実に設定することができる。

この発明の第４の態様によれば、判定部により、第１の準備期間において監視カメラにより取得された運転者についての映像データと、第２の準備期間において監視カメラにより取得された運転者についての映像データとを用いて類似度を計算し、計算された類似度に基づいて運転者の交代が発生したか否かについての判定を実行する。従って、運転者の顔等の固有の情報に基づいて、最新の準備期間の開始前と開始以後とで運転者の交代が発生したか否かを確実に判定することができる。

この発明の第５の態様によれば、運転モード切替信号出力部により、最新の準備期間が経過したことを契機として自動運転モードを手動運転モードに切り替える信号を出力する。このため、交代後の新たな運転者に対して一定の準備期間を確実に提供した上で、自動運転モードを手動運転モードに切り替えることができる。

この発明の第６の態様によれば、新たに設定される準備期間を現在の運転者の状態に応じて所定の長さに調整することができ、適切な準備期間を臨機応変に設定することができ、より安全性を高めることができる。

この発明の第７の態様によれば、運転者の交代を確認したことを知らせる情報を生成し、所定の出力部から出力する。従って、運転者は、準備期間が新たに設定されたこと及び準備期間の残り時間に加えて、準備期間が新たに設定されたことが運転者の交代に起因することを迅速且つ簡便に把握することができる。

すなわちこの発明の各態様によれば、自動運転モードから手動運転モードに切り替わる際に、運転者の交代が発生する場合であっても、運転者の準備期間を十分に確保することができる運転モード切替制御装置、方法及びプログラムを提供することができる。

この発明の一実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成を示す図。 この発明の一実施形態に係る運転モード切替制御装置の機能構成を示すブロック図。 図２に示した運転モード切替制御装置による準備期間制御の手順と制御内容を示すフローチャート。 図２に示した運転モード切替制御装置による準備期間制御の内容を説明するための概念図。 図２に示した運転モード切替制御装置による準備期間制御において出力される情報の一例を示した図。 図２に示した運転モード切替制御装置による準備期間制御において出力される情報の他の例を示した図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成を示す図で、この自動運転制御システムは乗用車等の車両１に搭載される。

車両１は、基本設備として、動力源及び変速装置を含むパワーユニット２と、ステアリングホイール４が装備された操舵装置３とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。

手動運転モードは、例えば、運転者（以下ドライバとも称する）の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）及び手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール４の操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。

なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。

一方、自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。

図１において、５は上記自動運転モードによる運転制御を実行するための自動運転制御装置を示している。自動運転制御装置５は、ステアリングセンサ１１、アクセルペダルセンサ１２、ブレーキペダルセンサ１３、ＧＰＳ受信機１４、ジャイロセンサ１５、及び車速センサ１６からそれぞれセンシングデータを取得する。そして、これらのセンシングデータと、図示しないナビゲーションシステムで生成される経路情報や、路車間通信により取得される交通情報、周辺の人や車両の位置と動きを監視する周辺モニタリングシステムにより得られる情報をもとに、車両１の走行を自動制御する。

自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）がある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。

自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。

ところで、本実施形態の自動運転制御システムは、上記手動運転モードと自動運転モードとの間の切り替えを行うための装置として、運転モード切替制御装置６と、第１の監視センサとしてのドライバカメラ７と、第２の監視センサとしてのトルクセンサ８と、音声出力器９とを備えている。

ドライバカメラ７は、例えばダッシュボード上のような運転者の正面となる位置に設置され、運転者を撮像してその映像信号を運転モード切替制御装置６へ出力する。トルクセンサ８は、運転者がステアリングホイール４を操作したときに発生するトルクを検出するもので、その検出信号を運転モード切替制御装置６へ出力する。音声出力器９は、スピーカと表示器を有し、運転モード切替制御装置６から出力されたメッセージの音声信号を上記スピーカから出力すると共に、上記メッセージの表示信号を表示器に表示する。

運転モード切替制御装置６は、上記運転モードの切り替えを統括的に制御するもので、以下のように構成される。
図２はその機能構成を示すブロック図である。

すなわち、運転モード切替制御装置６は、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。

入出力インタフェースユニット６２は、上記ドライバカメラ７及びトルクセンサ８からそれぞれ出力された映像信号及びトルク検出信号を受信してディジタルデータに変換する。またそれと共に、制御ユニット６１から出力されたメッセージを音声信号及び表示信号に変換して音声出力器９へ出力する。さらに制御ユニット６１から出力された運転モード切替制御信号を自動運転制御装置５へ出力する。

記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込み及び読み出しが可能な不揮発性メモリ、並びにＲＡＭ（Random Access Memory）の様な揮発性メモリを使用したもので、本実施形態を実施するために使用する記憶領域として、ドライバ監視映像記憶部６３１と、ドライバ状態記憶部６３２と、準備期間テーブル記憶部６３３とを備えている。

ドライバ監視映像記憶部６３１は、ドライバ監視映像取得制御部６１１によって経時的に取得されるドライバ監視映像を、時間情報と関連づけて記憶する。

ドライバ状態記憶部６３２は、ドライバ状態判定部６１２によって生成された判定結果を表す情報を、判定タイミングを表すタイムスタンプと関連付けて記憶する。

準備期間テーブル記憶部６３３は、予め作成された準備期間テーブルを記憶する。この準備期間テーブルとは、例えば、「通常状態」、「緊張状態」、「注意力散漫状態」といったドライバの状態毎に分類された準備期間を定義するものである。

制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）及びプログラムメモリを有し、本実施形態を実施するために必要な制御機能として、ドライバ監視映像取得制御部６１１と、ドライバ状態判定部６１２と、準備期間制御部６１３と、準備期間情報生成部６１４と、運転モード切替信号出力部６１５とを備えている。なお、これらの制御機能はいずれも上記プログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。

ドライバ監視映像取得制御部６１１は、上記ドライバカメラ７から出力されたドライバの映像信号のディジタルデータ（ドライバ監視映像データ）を入出力インタフェースユニット６２から取り込み、この取り込んだドライバ監視映像データを上記記憶ユニット６３のドライバ監視映像記憶部６３１に記憶させる。また、ドライバ監視映像取得制御部６１１は、ドライバカメラ７から逐次出力される時系列のドライバ監視映像データから、時系列の局所的な顔映像データ及び時系列の大局的な動作映像データを作成し、上記記憶ユニット６３のドライバ監視映像記憶部６３１に記憶させることも可能である。

ドライバ状態判定部６１２は、上記ドライバ監視映像記憶部６３１から予め設定された時間間隔でドライバ監視映像データを読み込む。そして、ドライバ監視映像データを読み込む毎に、当該ドライバ監視映像データに基づいて運転者が手動で運転操作を行える状態にあるか否かを判定する処理を行う。例えば、局所的な顔映像データを用いて運転手が眼を閉じていないかどうかを確認して、睡眠状態にないかどうかを判定する。そして、その判定結果を表す情報を、判定タイミングを表すタイムスタンプと関連付けて、ドライバ状態記憶部６３２に記憶させる。

また、ドライバ状態判定部６１２は、例えばＡSM（Active Shape Model）、ＡＡM（Active Appearance Model）等の手法を用いて、経時的に取得される局所的な顔映像データに写っている複数の特徴点（例えば、運転者の顔の目、鼻、口等の各器官）を検出し、それらの位置を計算する。また、ドライバ状態判定部６１２は、計算された複数の特徴点の位置を用いた三次元フィッティング処理により、各時刻の局所的な顔映像データについての顔形状モデルを計算する。さらに、ドライバ状態判定部６１２は、基準となる時刻に対応する顔形状モデルと他の時刻に対応する顔形状モデルとの類似度を計算し、得られた類似度を予め設定された閾値と比較することで、ドライバの交代が発生したか否かを判定する。

準備期間制御部６１３は、自動運転モードから手動運転モードに切り替える場合において、運転者が準備するために設定される準備期間に関する制御を行う。例えば、準備期間制御部６１３は、自動運転モードによる運転制御期間中に、ドライバ状態判定部６１２により運転者が手動運転モードによる運転操作を行える状態にあると判定された場合に、所定の準備期間を設定する。また、準備期間制御部６１３は、設定された準備期間中において、ドライバ状態判定部６１２により運転者の交代が発生したと判定された場合には、新たな準備期間を設定する。

準備期間情報生成部６１４は、準備期間制御部６１３によって設定された或いは再設定された準備期間に関し、少なくとも準備期間が残り何秒であるかを運転者に知らせるための情報（準備期間情報）を生成し、入出力インタフェースユニット６２を介して音声出力器９、表示部１０に出力する。

運転モード切替信号出力部６１５は、準備期間が経過した経過した場合に、自動運転モードから手動運転モードへ切り替えるための制御信号を自動運転制御装置５に出力する。

（動作）
図３は、運転モード切替制御装置６による準備期間制御の手順と制御内容を示すフローチャートである。図４は、運転モード切替制御装置６による準備期間制御の内容を説明するための概念図である。図４を参照しつつ、図３に従って、運転モード切替制御装置６の動作を説明する。

（１）ドライバ監視映像の取得
自動運転モードに従う運転が開始されるとドライバカメラ７が起動し、運転者の顔を含む所定の範囲を連続的に撮像してその映像信号を出力する。この状態で運転モード切替制御装置６は、ドライバ監視映像取得制御部６１１の制御の下、先ず上記ドライバカメラ７から出力された映像信号のディジタルデータ（ドライバ監視映像データ）を入出力インタフェースユニット６２から取り込み（ステップＳ１１）、この取り込んだドライバ監視映像データを記憶ユニット６３のドライバ監視映像記憶部６３１に記憶させる（ステップＳ１２）。

なお、上記ドライバの撮像は、後述するドライバの状態を判定する時間間隔より短い周期で間欠的に行ってもよい。また、ドライバカメラ７または入出力インタフェースユニット６２において、映像信号を所定の符号化方式に応じて符号化するようにしてもよい。このようにすると、監視映像データの情報量を減らしてドライバ監視映像記憶部６３１の記憶容量を節約することが可能となる。

（２）ドライバ状態の判定
上記ドライバ監視映像データの取得が開始されると運転モード切替制御装置６は、次にドライバ状態判定部６１２の制御の下、一定時間の経過が判定される毎に（ステップＳ１３）、上記ドライバ監視映像記憶部６３１からドライバ監視映像データを読み込む。そして、当該読み込んだドライバ監視映像データの各々から、運転者が手動で運転操作を行える状態にあるか否かを判定する（ステップＳ１４）。

例えば、ドライバ監視映像データをもとに、運転者の眼の開眼の状態、まばたきの頻度、或いは眼球運動等を検出し、運転者の覚醒度を認識する。そして、この覚醒度を閾値と比較することで、運転者が手動で運転操作を行える状態にあるか否かを判定する。

そして、上記手動運転操作の可否の判定結果が得られると、ドライバ状態判定部６１２は、上記判定結果を表す情報を、判定タイミングを表す情報、例えばタイムスタンプ情報と関連付けてドライバ状態記憶部６３２に記憶させる（ステップＳ１５）。

（３）手動運転モードへの切り替え判定
ドライバ状態判定部６１２は、所定のタイミングで、現在の自動運転モードを手動運転モードに切り替えるか否かを判定する（ステップＳ１６）。この判定のタイミングは、典型的には、車両が自動運転モードにて高速道路を走行している状況下で高速道路の出口に到達する数十秒前、天候不良などにより車両の外部センサが正常に動作しなくなり、自動運転モードの継続を中止すると判定したタイミング等が挙げられる。

ドライバ状態判定部６１２が現在の自動運転モードを手動運転モードに切り替えないと判定した場合には、ステップＳ１７に進むことなく、ステップＳ１１〜Ｓ１６までの処理が繰り返し実行される。一方、ドライバ状態判定部６１２が現在の自動運転モードを手動運転モードに切り替えると判定した場合には、自動運転モードから手動運転モードへの切り替えに伴う準備期間に関する制御を指示するための制御信号が、ドライバ状態判定部６１２から準備期間制御部６１３に出力される。

（３）準備期間に関する制御
準備期間制御部６１３は、ドライバ状態判定部６１２から制御信号を受け取ると、準備期間を例えば６０秒として設定し、カウントダウンを開始する（ステップＳ１７）。準備期間情報生成部６１４は、少なくとも準備期間が残り何秒であるかを運転者に知らせるための準備期間情報を生成し、入出力インタフェースユニット６２を介して表示部１０に出力する（ステップＳ１８）。

図５は、ステップＳ１８において生成・出力され、表示部１０に表示された準備期間情報の一例を示している。運転者は、表示された準備期間情報により、あと何秒で自動運転モードから手動運転モードに切り替わるかを視認することができる。また、必要に応じて音声出力器９から準備期間の残り時間の音声や、自動運転モードから手動運転モードに切り替わるタイミングが近いことを知らせるための警告音等を出力するようにしてもよい。運転者は上記準備期間情報により、手動運転モードへの切り替えが行われようとしていることを認識することができ、これにより手動運転モードに対応できるように準備を始めることができる。

ドライバ状態判定部６１２は、例えば準備期間の開始以前において最も新しい局所的な顔映像データと、準備期間において逐次取得される局所的な顔映像データとに基づいて、当該準備期間において運転者の交代が発生したか否かを判定する（ステップＳ１９）。

より具体的には、ドライバ状態判定部６１２は、所定の基準時刻（図４の例では、ステップＳ１７において設定された準備期間の開始以前で最も新しい時刻ｔｋ）において取得された局所的な顔映像データに写っている特徴点としての運転者の顔の目、鼻、口等の各器官を検出し、それぞれの空間的な位置を計算する。また、ドライバ状態判定部６１２は、準備期間の各時刻（図４の例では、時刻ｔｋ＋１、ｔｋ＋２、・・・）において取得された各局所的な顔映像データに写っている特徴点としての運転者の顔の目、鼻、口等の各器官を検出し、それぞれの空間的な位置を計算する。ドライバ状態判定部６１２は、計算された複数の特徴点の位置を用いた三次元フィッティング処理により、所定の基準時刻、及び準備期間の各時刻における局所的な顔映像データについての顔形状モデルを計算する。ドライバ状態判定部６１２は、基準時刻に対応する顔形状モデルと準備期間の各時刻に対応する顔形状モデルとの類似度を計算する。この類似度計算について特に限定はなく、例えば一般的な幾何学的形状のパターンマッチング手法を利用することができる。

さらに、ドライバ状態判定部６１２は、準備期間における各時刻における類似度と所定の閾値とを比較する。その結果、所定の時刻（図４の例では、時刻ｔｌ−１）における類似度が所定の閾値以下となった場合には、ドライバ状態判定部６１２は、「当該所定の時刻においてドライバの交代が発生した」と判定し（ステップＳ１９のＹ）、ドライバの交代発生を知らせるための制御信号を、準備期間制御部６１３に出力する。

準備期間制御部６１３は、ドライバ状態判定部６１２から制御信号を受け取ると、新たな準備期間を例えば６０秒として設定し、カウントダウンを開始する（ステップＳ２０）。準備期間情報生成部６１４は、少なくとも新たに設定された準備期間が残り何秒であるかを運転者に知らせるための情報（新たな準備期間情報）を生成し、入出力インタフェースユニット６２を介して表示部１０に出力する（ステップＳ２０を経由したステップＳ１８）。

図６は、ステップＳ１８において生成・出力され、表示部１０に表示された新たな準備期間情報の一例を示している。図５と比較した場合、（新たな）準備期間の残り時間のほか、運転者の交代が発生したこと、そのため新たな準備期間が設定されたことに関するメッセージが追加されている。運転者は、表示された準備期間情報により、あと何秒で自動運転モードから手動運転モードに切り替わるかに加えて、運転者交代に伴い準備期間が新たに確保されたことを迅速且つ簡便に視認することができる。

ドライバ状態判定部６１２は、例えば図４に示すように、新たな基準時刻（図４の例では、新たな準備期間の開始以前で最も新しい時刻ｔｌ）において取得された局所的な顔映像データに写っている特徴点としての運転者の顔の目、鼻、口等の各器官を検出し、それぞれの空間的な位置を計算する。また、ドライバ状態判定部６１２は、新たな準備期間の各時刻（図４の例では、時刻ｔｌ＋１、ｔｌ＋２、・・・）において取得された各局所的な顔映像データに写っている特徴点としての運転者の顔の目、鼻、口等の各器官を検出し、それぞれの空間的な位置を計算する。ドライバ状態判定部６１２は、計算された複数の特徴点の位置を用いた三次元フィッティング処理により、新たな基準時刻、及び新たな準備期間の各時刻における局所的な顔映像データについての顔形状モデルを計算する。ドライバ状態判定部６１２は、新たな基準時刻に対応する顔形状モデルと新たな準備期間の各時刻に対応する顔形状モデルとの類似度を計算する。

さらに、ドライバ状態判定部６１２は、新たな準備期間における各時刻における類似度と所定の閾値とを比較する。その結果、所定の時刻（図４の例では、時刻ｔｍ−１）における類似度が所定の閾値以下となった場合には、ドライバ状態判定部６１２は、「当該所定の時刻においてドライバの交代が発生した」と判定し（ステップＳ２０を経由したステップＳ１９のＹ）、ドライバの交代発生を知らせるための制御信号を、準備期間制御部６１３に出力する。

準備期間制御部６１３は、ドライバ状態判定部６１２から制御信号を受け取ると、あらに新たな準備期間を例えば６０秒として設定し、カウントダウンを開始する（ステップＳ２０）。準備期間情報生成部６１４は、少なくともさらに新たに設定された準備期間が残り何秒であるかを運転者に知らせるための情報（さらに新たな準備期間情報）を生成し、入出力インタフェースユニット６２を介して表示部１０に出力する（ステップＳ２０を経由したステップＳ１８）。

一方、ステップＳ１９において、準備期間内の各時刻における類似度が所定の閾値以下にならない場合には、ドライバ状態判定部６１２は、「ドライバの交代が発生していない」と判定する（ステップＳ１９のＮ）。準備期間制御部６１３は、ステップＳ１７において設定された準備期間のカウントダウンを継続して実行する（ステップＳ２１）。

準備期間制御部６１３は、最新の準備期間のカウントダウンが完了したか否かを判定し、完了していない場合には、ステップＳ１９〜Ｓ２２までの処理を繰り返し実行する（ステップＳ２２のＮ）。また。最新の準備期間のカウントダウンが完了するまでに運転者の交代が発生した場合には、交代の度にステップＳ１８〜Ｓ２０までの処理が繰り返し実行されることになる。

（４）運転モードの切替信号出力制御
最新の準備期間のカウントダウンがゼロになった場合（すなわち、運転者の交代が発生することなく最新の準備期間が経過した場合：ステップＳ２２のＹ）には、準備期間制御部６１３は、準備期間が経過したことを知らせるための制御信号を運転モード切替信号出力部６１５に出力する（ステップＳ２３）。

運転モード切替制御装置６は、準備期間制御部６１３から準備期間が経過したことを知らせるための制御信号を受け取ると、自動運転モードから手動運転モードへ切り替えるための制御信号を自動運転制御装置５に出力する。このとき、準備期間情報生成部６１４は、準備期間が経過した結果、自動運転モードから手動運転モードへ切り替えが完了したことを知らせるための情報（切替完了情報）を生成し、入出力インタフェースユニット６２を介して表示部１０に出力する（ステップＳ２４）。運転者は、当該切替完了情報によって自動運転モードから手動運転モードへ切り替えが完了したこと把握するとともに、以後、当該運転者の手動操作に応じた運転制御が行われる。

（効果）
以上詳述したようにこの発明の一実施形態では、自動運転モードから手動運転モードに切り替える場合に、準備期間制御部６１３により準備期間を設定してカウントすると共に、準備期間の残り時間を知らせるための準備期間情報を準備期間情報生成部６１４により生成し、音声出力器９や表示部１０から出力する。そして、ドライバ状態判定部６１２によって運転者の交代が発生したと判定した場合には、準備期間制御部６１３によって新たな準備期間を設定してカウントすると共に、当該新たな準備期間の残り時間を知らせるための新たな準備期間情報を準備期間情報生成部６１４により生成し、音声出力器９や表示部１０から出力する。従って、自動運転モードから手動運転モードに切り替わる際の限られた準備期間を二人の運転者で共有するという事態を防止することができ、交代後の運転者のために必ず一定の準備期間を確保することができる。これにより、交代後の新たな運転者は、手動運転操作のために十分な準備をすることができると共に、心理的にも余裕を持って手動運転を行うことができる。その結果、安全かつ快適な運転環境を提供することができる。

また、ドライバ状態判定部６１２により、ステップＳ１７において設定された準備期間のカウントを開始する以前に監視カメラにより取得された運転者についての映像データと、新たな準備期間において監視カメラにより取得された運転者についての映像データとを用いて類似度を計算し、計算された類似度に基づいて運転者の交代が発生したか否かについての判定を実行する。従って、運転者の顔等の固有の情報に基づいて、最新の準備期間の開始前と開始以後とで運転者の交代が発生したか否かを確実に判定することができる。

さらに、新たな準備期間において運転者の交代が発生した場合には、さらに新たな準備期間を設定して当該さらに新たな準備期間をカウントすると共に、その残り時間を知らせるための準備期間情報を生成し、音声出力器９や表示部１０から出力する。これにより、新たに設定された準備期間においても運転者の交代が発生したか否かを判定することができ、自動運転モードから手動運転モードに切り替わるまでの間、運転者が交代する度に新たな運転者に対して新たな準備期間を確実に設定することができる。

さらに、ドライバ状態判定部６１２により、さらに新たな準備期間のカウントを開始する以前に監視カメラにより取得された運転者についての映像データとさらに新たな準備期間において監視カメラにより取得された運転者についての映像データとを用いて類似度を計算し、計算された類似度に基づいて運転者の交代が発生したか否かについての判定を実行する。従って、運転者の顔等の固有の情報に基づいて、最新の準備期間の開始前と開始以後とで運転者の交代が発生したか否かを確実に判定することができる。

さらに、運転モード切替信号出力部６１５により、最新の準備期間が経過したことを契機として自動運転モードを手動運転モードに切り替える信号を、自動運転制御装置５に対して出力する。このため、交代後の新たな運転者に対して一定の準備期間を確実に提供した上で、自動運転モードを手動運転モードに切り替えることができる。

さらに、準備期間制御部６１３により、新たに設定される準備期間を現在の運転者の状態に応じて所定の長さに調整することができ、適切な準備期間を臨機応変に設定することができ、より安全性を高めることができる。

さらに、準備期間情報生成部６１４により運転者の交代を確認したことを知らせる情報を生成し、所定の出力部から出力する。従って、運転者は、準備期間が新たに設定されたこと及び準備期間の残り時間に加えて、準備期間が新たに設定されたことが運転者の交代に起因することを迅速且つ簡便に把握することができる。

（変形例１）
上記実施形態においては、運転者の交代の発生を判定するための基準となる監視映像データとして、最新の準備期間の開始以前において取得された最新の監視映像データを採用した。しかしながら、これはあくまでも一例であり、基準となる監視映像データには、他の監視映像データを採用することも可能である。基準となる監視映像データの選択条件の例としては、顔領域の各特徴点の位置の検出に成功した監視映像データであること、最新の準備期間の開始時刻に時間的になるべく近い監視映像データであること等が挙げられる。また、基準となる監視映像データはある特定の時刻の監視映像データに限定する必要はなく、複数の時刻の監視映像データを選択し、それぞれの監視映像データについての顔形状パターンを用いて平均化されたものを類似度計算に用いることも可能である。

この様な構成により、特定の時刻の監視映像に依存することなく、ロバストな準備時間の制御を実現することができる。

（変形例２）
上記実施形態においては、運転者の交代の発生に伴い新たに設定される準備期間は、一律の時間（新たに設定される前の準備期間と同じ６０秒）として説明した。しかしながら、これはあくまでも一例であり、現在の運転者の状態に応じて、新たに設定される準備期間の長さを調整することも可能である。この場合、ドライバ状態判定部６１２は、例えば、ドライバ監視映像取得制御部６１１によって経時的に取得される（運転者に関する）大局的な動作映像、生体センサにより得られる生体信号（例えば脈波センサまたは心拍センサにより検出される運転者の脈波信号または心拍信号や、圧力センサにより検出される横隔膜の上下動を表す信号）等をもとに、運転者の状態を判定する。その結果、「新たな運転者は、緊張状態にある。」といったように準備期間を通常よりも伸ばした方が良い状況である場合には、準備期間制御部６１３は、準備期間テーブル記憶部６３３に記憶されたテーブルを参照し、現在の運転者の状況に応じた準備期間を設定する。

この様な構成により、新たな運転者の状態を考慮した準備期間を臨機応変に設定することができ、さらに安全かつ快適な運転環境を提供することができる。

（変形例３）
上記実施形態においては、運転者の交代の発生を判定するための手段として、ドライバカメラ７により得られる運転者の顔を含む監視映像データを用いる場合を例とした。しかし、これはあくまでも一例であり、運転者の交代の発生を正確に判定できるものであれば、どのような手段であってもよい。例えば、運転者の指紋、耳紋、網膜のパターンの様な個人によって異なる情報を交代の際に取得し、これに基づいて運転者の交代の発生を正確に判定するようにしてもよい。

（変形例４）
上記実施形態においては、ステップＳ１６においてドライバ状態判定部６１２が「手動運転モードに切り替える」と判定した場合に、準備期間制御部６１３が準備期間の設定及びそのカウントダウンを開始する例とした。しかしながら、準備期間制御部６１３による準備期間の設定及びカウントダウンの開始のためのトリガは、当該例に限定されない。例えば、運転者自身が所定の操作により「手動運転モードに切り替える」との指示入力をトリガとしてもよいし、オーバーライド操作がなされたことをトリガとしてもよい。

その他、車両の種類、自動運転制御装置の機能、運転モード切替制御装置の制御機能と制御手順及び制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。

（付記１）
車両の運転モードを手動運転モードと自動運転モードとの間で切替制御する運転モード切替制御装置であって、
少なくとも１つのハードウェアプロセッサを有し、
前記少なくとも１つのハードウェアプロセッサは、
前記自動運転モードによる運転制御期間中に、運転者が前記手動運転モードによる運転操作を行える状態にあると判定された場合に第１の準備期間を設定し、当該第１の準備期間をカウントし、
前記第１の準備期間の残り時間を知らせるための第１の準備期間情報を生成し、
前記第１の準備期間情報を出力部に出力させ、
前記第１の準備期間において、運転者の交代が発生したか否かを判定し、
運転者の交代が発生したと判定された場合には、
第２の準備期間を設定して当該第２の準備期間をカウントし、
前記第２の準備期間の残り時間を知らせるための第２の準備期間情報を生成し、
前記第２の準備期間情報を前記出力部に出力させるように構成される運転モード切替制御装置。
（付記２）
車両の運転モードを手動運転モードと自動運転モードとの間で切替制御する装置が実行する運転モード切替制御方法であって、
少なくとも１つのハードウェアプロセッサを用いて、
前記自動運転モードから前記手動運転モードに切り替える場合に第１の準備期間を設定し、当該第１の準備期間をカウントする制御過程と、
前記第１の準備期間の残り時間を知らせるための第１の準備期間情報を生成する生成過程と、
前記第１の準備期間情報を出力する出力過程と、
前記第１の準備期間において、運転者の交代が発生したか否かを判定する判定過程と、
を実行し、
前記判定過程において運転者の交代が発生したと判定された場合には、
第２の準備期間を設定して当該第２の準備期間をカウントする制御過程と、
前記第２の準備期間の残り時間を知らせるための第２の準備期間情報を生成する生成過程と、
前記第２の準備期間情報を出力する出力過程と、
を実行する運転モード切替制御方法。

１…車両、２…パワーユニット、３…操舵装置、４…ステアリングホイール、５…自動運転制御装置、６…運転モード切替制御装置、７…ドライバカメラ、８…トルクセンサ、９…音声出力器、１１…ステアリングセンサ、１２…アクセルペダルセンサ、１３…ブレーキペダルセンサ、１４…ＧＰＳ受信機、１５…ジャイロセンサ、１６…車速センサ、６１…制御ユニット、６２…入出力インタフェースユニット、６３…記憶ユニット、６１１…ドライバ監視映像取得制御部、６１２…ドライバ状態判定部、６１３…準備期間制御部、６１４…準備期間情報生成部、６１５…運転モード切替信号出力部、６３１…ドライバ監視映像記憶部、６３２…ドライバ状態記憶部、６３３…準備期間テーブル記憶部。

Claims (9)

1. 車両の運転モードを手動運転モードと自動運転モードとの間で切替制御する運転モード切替制御装置であって、
   前記自動運転モードから前記手動運転モードに切り替える場合に第１の準備期間を設定し、当該第１の準備期間をカウントする準備期間制御部と、
   前記第１の準備期間の残り時間を知らせるための第１の準備期間情報を生成する準備期間情報生成部と、
   前記第１の準備期間情報を出力する出力部と、
   前記第１の準備期間において、運転者の交代が発生したか否かを判定する判定部と、
   を具備し、
   前記判定部により運転者の交代が発生したと判定された場合には、
   前記準備期間制御部は、第２の準備期間を設定して当該第２の準備期間をカウントし、
   前記準備期間情報生成部は、前記第２の準備期間の残り時間を知らせるための第２の準備期間情報を生成し、
   前記出力部は、前記第２の準備期間情報を出力する、
   運転モード切替制御装置。
2. 前記判定部は、前記第１の準備期間のカウントを開始する以前に監視カメラにより取得された運転者についての映像データと前記第１の準備期間において監視カメラにより取得された運転者についての映像データとを用いた類似度を計算し、前記計算された類似度に基づいて運転者の交代が発生したか否かについての前記判定を実行する請求項１記載の運転モード切替制御装置。
3. 前記判定部は、前記第２の準備期間において運転者の交代が発生したか否かを判定し、
   前記準備期間制御部は、前記第２の準備期間において前記判定部により運転者の交代が発生したと判定された場合には、第３の準備期間を設定して当該第３の準備期間をカウントし、
   前記準備期間情報生成部は、前記第３の準備期間の残り時間を知らせるための準備期間情報を生成し、
   前記出力部は、前記第３の準備期間情報を出力する請求項１記載の運転モード切替制御装置。
4. 前記判定部は、前記第１の準備期間において監視カメラにより取得された運転者についての映像データと、前記第２の準備期間において監視カメラにより取得された運転者についての映像データとを用いた類似度を計算し、前記計算された類似度に基づいて前記第２の準備期間において運転者の交代が発生したか否かについての前記判定を実行する請求項３記載の運転モード切替制御装置。
5. 最新の準備期間が経過したことを契機として前記自動運転モードを前記手動運転モードに切り替える信号を出力する運転モード切替信号出力部をさらに具備する請求項１乃至４のうちいずれか一項記載の運転モード切替制御装置。
6. 前記準備期間情報生成部は、所定の基準に従って、新たに設定される準備期間の長さを調整する請求項１乃至５のうちいずれか一項記載の運転モード切替制御装置。
7. 前記準備期間情報生成部は、運転者の交代を確認したことを知らせる情報をさらに生成し、
   前記出力部は、前記運転者の交代を確認したことを知らせる情報を出力する請求項１乃至６にうちいずれか一項記載の運転モード切替制御装置。
8. 車両の運転モードを手動運転モードと自動運転モードとの間で切替制御する装置が実行する運転モード切替制御方法であって、
   前記自動運転モードから前記手動運転モードに切り替える場合に第１の準備期間を設定し、当該第１の準備期間をカウントする制御過程と、
   前記第１の準備期間の残り時間を知らせるための第１の準備期間情報を生成する生成過程と、
   前記第１の準備期間情報を出力する出力過程と、
   前記第１の準備期間において、運転者の交代が発生したか否かを判定する判定過程と、
   を具備し、
   前記判定過程において運転者の交代が発生したと判定された場合には、
   第２の準備期間を設定して当該第２の準備期間をカウントする制御過程と、
   前記第２の準備期間の残り時間を知らせるための第２の準備期間情報を生成する生成過程と、
   前記第２の準備期間情報を出力する出力過程と、
   を具備する運転モード切替制御方法。
9. 請求項１乃至請求項７の何れかに記載の運転モード切替制御装置が具備する前記各部としてコンピュータを機能させるプログラム。