WO2025088692A1

WO2025088692A1 - 移動体

Info

Publication number: WO2025088692A1
Application number: PCT/JP2023/038331
Authority: WO
Inventors: 雅浩虻川; 尚之対馬
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2023-10-24
Filing date: 2023-10-24
Publication date: 2025-05-01
Anticipated expiration: 2026-04-24
Also published as: JPWO2025088692A1; JP7770616B2

Abstract

車（１００）は、自動運転を行っている。車（１００）は、視線情報、運転者の前方を撮影することで得られた複数の画像、セミ自動運転または手動運転への切替要求、及びリスクポテンシャルエネルギーを取得する取得部（１１５）と、複数の画像のうちの１つの画像と視線情報とに基づいて、注視点座標を検出する検出部（１１８）と、複数の視野画像と注視点座標とを用いて、速度残効エネルギーを算出し、速度残効エネルギーが存在する場合、速度残効エネルギーから、速度残効継続時間を算出する算出部（１１４）と、速度残効継続時間を用いて、自動運転からセミ自動運転または手動運転に運転システムを切り替えるか否かを判定する決定部（１２０）と、を有する。

Description

移動体

　本開示は、移動体に関する。

　車の自動運転が知られている。自動運転に関する技術が提案されている（特許文献１を参照）。

特許７１７３１０５号公報

彌城　祐亮　他、「ポテンシャル法によるロボット製品の障害物回避技術の開発」、三菱重工技報　Ｖｏｌ．５１　Ｎｏ．１、２０１４年

　ところで、運転システムが自動運転から手動運転に切り替わることができることが知られている。運転システムが自動運転から手動運転に切り替わる場合、運転者の状態を把握せずに切り替わっても運転者が車を正しく運転できない可能性が高い。

　本開示の目的は、運転システムが自動運転から手動運転に切り替わる時、運転者が手動運転をできるように、運転システムが運転者の状況把握し運転操作を支援しながら、徐々に手動運転に切り替わることである。

　本開示の一態様に係る移動体が提供される。移動体は、運転者が乗っており、かつ自動運転を行っている。移動体は、前記運転者の視線を示す視線情報、前記移動体の進行方向を撮影することで得られた複数の距離情報を含む動画像、手動運転・セミ自動運転への切替要求、及び前記移動体が走行している道路の状況と障害物をエネルギーで表現されたリスクポテンシャルエネルギーを取得する取得部と、前記複数の動画像のうちの１つの動画像と前記視線情報とに基づいて、前記運転者の注視点に対応する座標である注視点座標を検出する検出部と、前記複数の動画像と前記注視点座標とを用いて、速度残効のエネルギーを示す速度残効エネルギーを算出し、前記速度残効エネルギーが継続した時間を用いて、前記運転者に速度残効の影響が残る速度残効継続時間を算出する算出部と、前記速度残効継続時間を用いて、自動運転から手動運転もしくはセミ自動運転に運転システムを切り替えるタイミングを判定する判定部と、を有する。

　本開示によれば、運転システムが運転者の状態を把握し、運転者が手動運転をするための状況把握と運転操作を支援しながら切り替わることができる。

実施の形態１の車の例を示す図である。実施の形態１の車が有するハードウェアを示す図である。実施の形態１の車の機能を示すブロック図である。実施の形態１のリスクポテンシャルエネルギーの算出に関する例を示す図である。実施の形態１の車が実行する処理の例を示すフローチャート（その１）である。実施の形態１の車が実行する処理の例を示すフローチャート（その２）である。実施の形態１の車が実行する処理の例を示すフローチャート（その３）である。

　以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。

実施の形態１．
　図１は、実施の形態１の車の例を示す図である。図１は、車１００を示している。車１００は、移動体の一例である。車１００には、運転者が乗っている。車１００は、自動運転を行っている。車１００は、セミ自動運転、手動運転で動くことができる。すなわち、運転者は、セミ自動運転又は手動運転で車１００を動かすことができる。

　次に、車１００が有するハードウェアを説明する。
　図２は、実施の形態１の車が有するハードウェアを示す図である。車１００は、プロセッサ１０１、揮発性記憶装置１０２、不揮発性記憶装置１０３、アクチュエータ１０４、車外情報取得装置１０５、車両情報取得装置１０６、位置情報取得装置１０７、及び視線検出センサ１０８を有する。

　プロセッサ１０１は、車１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ）、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ　ｃｏｍｐｕｔｉｎｇ　ｏｎ　Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔｓ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などである。プロセッサ１０１は複数のプロセッサで構成してもよい。また、車１００は、処理回路を有する。

　揮発性記憶装置１０２は、車１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、車１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。

　アクチュエータ１０４は、駆動装置、制動装置、操舵装置などである。
　車外情報取得装置１０５は、車１００の外側の情報を取得する。例えば、車外情報取得装置１０５は、ミリ波レーダ、ＬｉＤＡＲ、超音波ソナー、カメラなどである。
　車両情報取得装置１０６は、車１００の操舵角、速度、姿勢、トルクなどの情報を取得する。
　位置情報取得装置１０７は、車１００の位置情報を取得する。例えば、位置情報取得装置１０７は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）レシーバである。
　視線検出センサ１０８は、運転者の視線を検出する。

　次に、車１００が有する機能を説明する。
　図３は、実施の形態１の車の機能を示すブロック図である。車１００は、記憶部１１１、情報処理部１１２、経路生成部１１３、算出部１１４、取得部１１５、制御部１１６、解析部１１７、検出部１１８、判定部１１９、決定部１２０、及び提供部１２１を有する。

　記憶部１１１は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
　情報処理部１１２、経路生成部１１３、算出部１１４、取得部１１５、制御部１１６、解析部１１７、検出部１１８、判定部１１９、決定部１２０、及び提供部１２１の一部又は全部は、処理回路によって実現してもよい。また、情報処理部１１２、経路生成部１１３、算出部１１４、取得部１１５、制御部１１６、解析部１１７、検出部１１８、判定部１１９、決定部１２０、及び提供部１２１の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。

　記憶部１１１は、様々な情報を記憶する。

　情報処理部１１２は、車外情報取得装置１０５から得られた情報に基づいて、車１００の周辺に存在する物（例えば、他の車、歩行者）、路面などを検出する。また、情報処理部１１２は、車外情報取得装置１０５から得られた情報に基づいて、山、海、河川、草木、建造物などの背景も検出する。

　情報処理部１１２は、車外情報取得装置１０５から得られた情報に含まれるノイズを除去する。情報処理部１１２は、除去により得られた情報に基づいて、車１００が原点である相対座標系車両周辺地図を生成する。また、相対座標系車両周辺地図は、３次元情報である。情報処理部１１２は、車１００の位置情報、車１００のオドメトリ、６軸ジャイロセンサ、位置情報取得装置１０７などを用いて、相対座標系車両周辺地図を絶対座標系車両周辺地図に変換する。絶対座標系車両周辺地図は、地球上の絶対座標系の地図である。

　情報処理部１１２は、時刻ｔ_ｎ－１の絶対座標系車両周辺地図と、現在時刻ｔ_ｎの絶対座標系車両周辺地図とを生成する。情報処理部１１２は、２つの絶対座標系車両周辺地図を比較することで、静止物体と移動物体とを識別することができる。情報処理部１１２は、大きさ、速度などに基づいて、移動物体を分類する。また、情報処理部１１２は、車両、人などのように、移動物体をさらに細分化する。

　情報処理部１１２は、移動物体の時刻ｔ_ｎ＋１の位置を予測する。例えば、移動物体が車両である場合、情報処理部１１２は、現在時刻ｔ_ｎの位置から直進した位置を予測する。また、例えば、移動物体が人である場合、情報処理部１１２は、現在時刻ｔ_ｎの位置から移動可能な範囲（すなわち、全範囲）を、将来の位置として予測する。

　経路生成部１１３は、情報処理部１１２の処理により得られた情報と車１００の現在位置とを用いて、短期の経路を生成する。具体的には、経路生成部１１３は、道路の幅、道路の形状、エネルギー効率、障害物への衝突回避などを考慮して、短期の経路を生成する。なお、長期の経路は、運転者が出発前にナビゲーションシステムに行先を入力することにより生成される経路である。経路生成部１１３は、リスクポテンシャル法を用いて、短期の経路を生成してもよい。具体的には、経路生成部１１３は、リスクポテンシャルエネルギーに基づいて、リスクポテンシャルマップを作成し、リスクポテンシャルマップにおける平坦な部分を通る経路を探索することにより、短期の経路を生成できる。なお、例えば、リスクポテンシャル法は、非特許文献１に記載されている。また、経路生成部１１３は、平坦な部分を通る経路を探索できない場合、経路を生成できない。

　ここで、リスクポテンシャルエネルギーを説明する。
　算出部１１４は、情報処理部１１２の処理により得られた情報（例えば、絶対座標系車両周辺地図、静止物体、移動物体など）を用いて、車１００が走行している道路の形状などで衝突する衝突確率をエネルギーで表現されたリスクポテンシャルエネルギーとして算出する。リスクポテンシャルエネルギーは、移動体が走行している道路の状況と障害物をエネルギーで表現されたポテンシャルエネルギーと表現してもよい。具体例を用いて、算出処理を説明する。

　図４は、実施の形態１のリスクポテンシャルエネルギーの算出に関する例を示す図である。図４は、車１００に対し、一方通行路で道路左路側に駐車する車２００を示している。図４は、道路右側の通行路に存在する車１００を示している。図４の右方向は、ｘ軸方向である。図４の上方向は、ｙ軸方向である。このような状況の場合、道路境界斥力ポテンシャル関数Ｕ_ｗ（ｘ，ｙ）が、式（１）を用いて、表される。なお、ｙ_ｗｃは、車１００の重心のｙ座標である。ｗ_ｗは、重み係数である。σ_ｗは、分散を示す。

　障害物斥力ポテンシャル関数Ｕ_ｏ（ｘ，ｙ）が、式（２）を用いて、表される。なお、車２００のリアのｘ座標は、ｘ_ｏｒである。車２００のフロントのｘ座標は、ｘ_ｏｆである。ｙ_ｏは、車２００の重心のｙ座標である。ｗ_ｏは、重み係数である。σ_ｏは、分散を示す。

　算出部１１４は、道路境界斥力ポテンシャル関数Ｕ_ｗ（ｘ，ｙ）と障害物斥力ポテンシャル関数Ｕ_ｏ（ｘ，ｙ）とを用いて、リスクポテンシャルエネルギーＵ_ａ（ｘ，ｙ）を算出する。具体的には、算出部１１４は、式（３）を用いて、リスクポテンシャルエネルギーＵ_ａ（ｘ，ｙ）を算出する。

　算出部１１４は、算出されたリスクポテンシャルエネルギーＵ_ａ（ｘ，ｙ）から全ての（ｘ、ｙ）座標のリスクポテンシャルエネルギーを算出する。このように、リスクポテンシャルエネルギーが、算出される。
　算出部１１４は、リスクポテンシャルエネルギーに基づいて、リスクポテンシャルマップを生成する。取得部１１５は、リスクポテンシャルマップを取得する。

　制御部１１６は、車１００が経路生成部１１３により生成された経路を自動運転で移動するためのアクチュエータ１０４の制御量とアクチュエータ１０４の制御タイミングとを示す制御内容を決定する。例えば、制御部１１６は、時刻ｔにおけるハンドルの操舵角を決定する。また、例えば、制御部１１６は、時刻ｔにおける移動速度を決定する。このように、車１００は、自動運転を行っているときに、様々な処理を行う。

　また、制御部１１６は、制御内容により永久に停止又は衝突する場合、または車両の姿勢が制御できなくなるなどの場合、制御不可とする。制御不可となる場合、自動運転からセミ自動運転または手動運転への切替要求を取得部１１５へ送る。

　次に、自動運転からセミ自動運転又は手動運転への切替に関する内容を説明する。
　取得部１１５は、手動運転又はセミ自動運転への切替要求を取得する。例えば、判定部１１９は、リスクポテンシャルマップに基づいて、経路生成部１１３が自動運転の経路（すなわち、短期の経路）を生成できない場合、切替要求を取得部１１５に送信する。そして、取得部１１５は、切替要求を取得する。また、取得部１１５は、図示されていない装置から切替要求を取得してもよい。

　取得部１１５は、運転者の視線を示す視線情報を取得する。例えば、取得部１１５は、視線情報を視線検出センサ１０８から取得する。また、視線情報は、次のように取得されてもよい。取得部１１５は、可視光カメラ、赤外線カメラなどから、運転者の顔を含む画像を取得する。解析部１１７は、当該画像を用いて、運転者の顔向き、目の位置、瞳の位置などを抽出する。解析部１１７は、抽出された情報を用いて、視線を推定する。取得部１１５は、推定された視線情報を取得する。

　さらに、視線情報は、次のように取得された情報も含む。解析部１１７は、解析された視線情報と車両進行方向のカメラの車外画像を用いて、運転者の視線が向けられている車外画像上の注視点と注視点を中心とする視野画像を解析し抽出する。

　算出部１１４は、取得された当該視線情報を用いて、速度残効のエネルギーを示す速度残効エネルギーを算出する。以下、具体的に、速度残効エネルギーの算出方法を説明する。

　まず、時間ｔにおける目に映る網膜上の座標（ｐ，ｑ）で表される網膜画像の画像強度Ｉ（ｐ，ｑ，ｔ）とする。ｐ、ｑ、ｔは変数で、静止画像を意味する。ｔが変化することによって、複数の静止画像が得られることが、表現できる。そして、複数の静止画像は、動画像とも言う。画像強度は網膜上の刺激強度であり、輝度画像で示してもよい。また網膜上の（ｐ，ｑ）で表される網膜画像の原点は視線情報の注視点座標である。網膜画像と物理的実世界の画像は、ほぼ相似関係にある。次に、算出部１１４は、式（４），（５）を用いて、空間インパルス応答の偶関数ｆ_ｏｄｄ（ｐ，ｑ）、奇関数ｆ_ｅｖｅｎ（ｐ，ｑ）を算出する。なお、σは、標準偏差を示す。λは、波長を示す。φは、位相角を示す。

　次に、算出部１１４は、式（６），（７）を用いて、時間インパルス応答ｈ_ｓｌｏｗ（ｔ），ｆ_ｆａｓｔ（ｔ）を算出する。なお、ｋは、応答時間を示す。ｎ_ｓｌｏｗは、推論された低速時間フィルタを示す。ｎ_ｆａｓｔは、推論された高速時間フィルタを示す。βは、ベータ分布に従う二相性のベータパラメータを示す。

　算出部１１４は、式（８）～（１１）を用いて、二相応答Ｒｅｓ_ｓｅ（ｐ，ｑ，ｔ），Ｒｅｓ_ｆｅ（ｐ，ｑ，ｔ），Ｒｅｓ_ｓｏ（ｐ，ｑ，ｔ），Ｒｅｓ_ｆｏ（ｐ，ｑ，ｔ）を算出する。

　算出部１１４は、式（１２）～（１５）を用いて、指向性を算出する。なお、Ｌは、左方向を示す。Ｒは、右方向を示す。また、奇数空間応答は、負方向を示す。偶数空間応答は、正方向を示す。

　算出部１１４は、式（１６）～（１９）を用いて、指向性時空間応答Ｒｅｓ_Ｌ＿１，Ｒｅｓ_Ｌ＿２，Ｒｅｓ_Ｒ＿１，Ｒｅｓ_Ｒ＿２を算出する。

　算出部１１４は、指向性時空間応答を用いて、左の指向性エネルギーＥ_Ｌと右の指向性エネルギーＥ_Ｒとを算出する。具体的には、算出部１１４は、式（２０），（２１）を用いて、指向性エネルギーＥ_Ｌと指向性エネルギーＥ_Ｒとを算出し、正規化する。なお、Ｔ_ｅは、正規化のための４つの指向性時空間応答の合計値である。

　算出部１１４は、指向性エネルギーＥ_Ｌと指向性エネルギーＥ_Ｒとを用いて、ＭＥ（モーションエナジー）を算出する。具体的には、算出部１１４は、式（２２）を用いて、ＭＥを算出する。

　ＭＥがゼロ以外の場合、速度残効が発生していること意味する。なお、式（２２）は、ある方向における速度残効エネルギーを求める式である。
　このように、算出部１１４は、複数の式を用いて、速度残効エネルギーを算出する。

　また、算出部１１４は、速度残効エネルギーが存在する場合、速度残効エネルギーの値がゼロになるまでの速度残効継続時間を式（２２）から算出し、速度残効エネルギーと速度残効継続時間を記憶部１１１に格納する。

　決定部１２０は、前記判定部１１９で判定した自動運転からセミ自動運転または手動運転への切替判定で切替と判定された場合、記憶部１１１を経由して、切替要求を受け取る。決定部１２０は、記憶部１１１から速度残効エネルギーＭＥと速度残効継続時間を取得する。決定部１２０は、速度残効エネルギーＭＥがゼロ以外の場合、速度残効継続時間がゼロか否かを判定する。決定部１２０は、速度残効継続時間がゼロ以外の場合、セミ自動運転への切替を決定する。決定部１２０は、速度残効継続時間がゼロの場合、手動運転への切替を決定し、手動運転への切替が決定したことを経路生成部１１３，制御部１１６へ通知する。なお、セミ自動運転の場合、時刻ｔにおけるアクチュエータ１０４の制御が完了次第、決定部１２０は、再び速度残効継続時間がゼロ以外か否かを判定する。そして、速度残効継続時間がゼロになるまで判定と制御が、繰り返される。

　判定部１１９は、速度残効継続時間とリスクポテンシャルエネルギーを用いて、自動運転から手動運転もしくはセミ自動運転に運転システムを切り替えるか否かを判定する。セミ自動運転とは、手動運転を基本とするが、衝突軽減する自動加減速制御や衝突回避する自動操舵制御、車体が左右に滑り出す自動車両姿勢自動制御など一部自動運転機能を含む制御モードである。詳細に判定処理を説明する。

　決定部１２０は、算出部１１４から速度残効エネルギーの値、速度残効継続時間を受け取る。決定部１２０は速度残効エネルギーの値がゼロでない場合、残効影響有りと判定する、また決定部１２０は速度残効継続時間がゼロでない場合、セミ自動運転として切り替え、運転者が手動運転を一部自動運転、運転支援する制御モードを開始する。時刻ｔにおけるセミ自動運転制御が完了したら、その処理時間を速度残効継続時間から減算し、再度セミ自動運転制御を行うループ処理を行い、速度残効継続時間がゼロ以下になるまで繰り返す。速度残効継続時間がゼロ以下になったら、運転者の速度残効の影響は消滅したと判定し、手動運転へ切り替えを決定する。

　制御部１１６は、運転システムがセミ自動運転または手動運転に切り替わることが決定した場合、セミ自動運転または手動運転を行うための制御を行う。

　提供部１２１は、運転システムがセミ自動運転または手動運転に切り替わることが決定された後、運転システムがセミ自動運転または手動運転に切り替わることを示す情報を運転者に提供する。当該情報は、画像又は動画で提供されてもよい。例えば、提供部１２１は、車１００が有するディスプレイに、画像又は動画を提供する。また、当該情報は、音声情報で提供されてもよい。例えば、提供部１２１は、車１００が有するスピーカに、音声情報を提供する。運転者は、情報の提供を受けることにより、セミ自動運転又は手動運転に切り替わることを認識できる。また、当該情報には、車１００の周辺に存在する走行上の障害物の情報などが追加されてもよい。例えば、提供部１２１は、車１００が有するディスプレイに、グラフィックスによって表された当該障害物の位置、種類（例えば、自動車、人、自転車、壁など）、現在の車１００の速度、方向での予測到達時間を自車両を原点として俯瞰できる周辺マップを提供する。当該情報は、音声情報で提供されても良い。例えば、提供部１２１は、車１００が有するスピーカに、車１００を原点として、障害物の存在する方向と距離、種類（例えば、自動車、人、自転車、壁など）、現在の車１００の速度、方向での予測到達時間を音声情報で提供する。

　また、制御部１１６は、運転システムがセミ自動運転または手動運転に切り替えられた場合、運転者がアクセルを踏んでも、予め定められた速度又は加速度を超えないように、制御を行う。例えば、車両の姿勢が、操舵角と走行速度、加速度によって発生する遠心力によって、外側に膨らみ、スピン、転倒など車両の挙動が制御できない状況になる場合にあらかじめ定めた速度や加速度以下に制御する。ここで、速度残効が発生している場合、運転者は、周りの景色の移動速度が遅く感じる。そのため、運転者がアクセルを踏みすぎることで、車１００は、異常な速度で移動する。このような事態を防ぐために、制御部１１６は、制御を行う。なお、制御部１１６は、速度残効継続時間がゼロになった場合、セミ自動運転から手動運転へ切り替え要求を決定部１２０へ送る。

　制御部１１６は、決定部１２０で運転システムがセミ自動運転に切り替わることが決定した場合、セミ自動運転を行うための制御を行う。

　提供部１２１は、決定部１２０で運転システムがセミ自動運転に切り替わることが決定された後、運転システムがセミ自動運転に切り替わることを示す情報を運転者に提供する。

　また、制御部１１６は、運転システムがセミ自動運転に切り替えられた場合、運転者がアクセルを踏んでも、予め定められた速度を超えないように、制御を行う。

　次に、車１００が実行する処理を、フローチャートを用いて、説明する。
　図５は、実施の形態１の車が実行する処理の例を示すフローチャート（その１）である。車１００は、自動運転を行っているものとする。
　（ステップＳ１１）情報処理部１１２は、車外情報取得装置１０５から自車両周辺の路面、障害物、建築物など物体の位置情報、それ以外の背景情報を取得する。
　（ステップＳ１２）算出部１１４は、情報処理部１１２から自車両周辺の物体の位置情報から物体毎のリスクポテンシャルエネルギーを算出する。
　（ステップＳ１３）算出部１１４は、物体毎のリスクポテンシャルエネルギーからリスクポテンシャルマップを生成する。
　（ステップＳ１４）経路生成部１１３は、算出部１１４で生成したリスクポテンシャルマップを取得し、目的地に向かってマップ上の最も平坦な部分を経路として生成する。
　（ステップＳ１５）判定部１１９は、経路生成部１１３が生成した経路決定ができているかを判定する。経路が決定できた場合はステップＳ１６へ、経路が決定できなかった場合はステップＳ３１へ進む。
　（ステップＳ１６）取得部１１５は、車両情報取得装置１０６から自車両の車速、６軸方向の加速度、姿勢など車両情報を取得する。
　（ステップＳ１７）算出部１１４は、判定部１１９の経路情報と取得部１１５の車両情報を用い、駆動、制動、操舵などの各アクチュエータ制御量、制御タイミングを算出する。
　（ステップＳ１８）制御部１１６は、算出部１１４から各アクチュエータ制御量と制御タイミングを取得し、これら値が有効か（計算できたか）を判定する。有効だった場合はステップＳ１９へ、無効だった場合はステップＳ３１へ進む。
　（ステップＳ１９）制御部１１６は、算出部１１４から各アクチュエータ制御量と制御タイミングを取得し、現在ｔより１つ前に決定した時刻ｔ－１の当該制御量、タイミングとの差が、あらかじめ決められた閾値以下であるか否かを判定する。当該閾値以下だった場合はステップＳ１１０へ、当該閾値以上だった場合はステップＳ３１へ進む。
　（ステップＳ１１０）制御部１１６は、各アクチュエータに対し、当該制御タイミングに時刻ｔが到達したとき、当該制御量を設定する。

　図６は、実施の形態１の車が実行する処理の例を示すフローチャート（その２）である。
　（ステップＳ２１）取得部１１５は、検出部１１８が車外情報取得装置１０５から検出した車両進行方向に係る１つまたは複数のカメラからの車両進行方向画像を取得する。
　（ステップＳ２２）取得部１１５は、検出部１１８が視線検出センサ１０８から検出した運転者の視線情報を取得する。
　（ステップＳ２３）算出部１１４は、取得部１１５から当該車両進行方向画像と当該視線情報を受け取り、車両進行方向画像上の注視点と視野画像を算出する。
　（ステップＳ２４）算出部１１４は、解析部１１７から当該注視点と当該視野画像を受け取り、速度残効エネルギーと速度残効継続時間を解析して算出する。
　（ステップＳ２５）取得部１１５は、当該速度残効エネルギーと当該速度残効継続時間を取得し、記憶部１１１で記憶する。

　図７は、実施の形態１の車が実行する処理の例を示すフローチャート（その３）である。
　（ステップＳ３１）決定部１２０は、算出部１１４で算出した結果である速度残効エネルギーを記憶部１１１から抽出する。
　（ステップＳ３２）決定部１２０は速度残効エネルギーがゼロでないか、ゼロかを判定する。ゼロでない場合はステップＳ３３へ、ゼロの場合はステップＳ３６へ進む。
　（ステップＳ３３）決定部１２０はセミ自動運転モードへ移行を決定し、制御部１１６、経路生成部１１３、情報処理部１１２へ移行する指示を送る。
　（ステップＳ３４）決定部１２０は現在時刻から速度残効継続時間を減算する。
　（ステップＳ３５）決定部１２０は算出部１１４の解析結果である速度残効継続時間がゼロになったかを判定する。ゼロになった場合はステップＳ３６へ、ゼロではなかった場合はステップＳ３４へ進む。
　（ステップＳ３６）決定部１２０は手動運転モードへ移行を決定し、制御部１１６、経路生成部１１３、情報処理部１１２へ移行する指示を送る。

　ここで、運転システムが自動運転から手動運転に切り替わることができることが知られている。運転システムが自動運転から手動運転に切り替わる場合、運転者の状態を把握せずに切り替わっても運転者が車を正しく運転できない可能性が高い。

　実施の形態１によれば、車１００は、速度残効を考慮して、切り替えを行う際の切替レベルとして、セミ自動運転と手動運転のいずれかを判定する。言い換えれば、車１００は、運転者の状態を考慮して、切り替え際の切替レベルを判定する。そのため、車１００は、運転者の状態を把握し、状態に合わせた運転支援を行うことができる。

実施の形態２．
　次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。

　実施の形態１では、速度残効エネルギーが式を用いて算出される場合を説明した。実施の形態２では、速度残効エネルギーが異なる方法で算出される場合を説明する。

　取得部１１５は、記憶部１１１から学習済モデルを取得する。
　算出部１１４は、複数の画像と注視点座標と学習済モデルとを用いて、速度残効エネルギーを算出する。詳細には、算出部１１４が車両進行方向の複数の画像と注視点座標に基づいて得られた、注視点を中心とする視野画像、車１００の速度、車１００の６軸加速度、及び当該複数の画像を得るために撮影が行われた時間である継続時間を学習済モデルに入力した場合、学習済モデルは、速度残効エネルギーを出力する。
　このように、車１００は、学習済モデルを用いて、速度残効エネルギーを算出してもよい。

　また、算出部１１４は、実施の形態１で示した複数の式の一部と学習済モデルとを用いて、速度残効エネルギーを算出してもよい。例えば、算出部１１４は、式（４）～式（１１）を実行した後、算出結果と学習済モデルとを用いて、速度残効エネルギーを算出する。

　以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。また、各実施の形態では、車１００が実行する場合を説明した。各実施の形態は、車以外の移動体で実現されてもよい。例えば、車以外の移動体は、鉄道車両である。

　１００　車、　１０１　プロセッサ、　１０２　揮発性記憶装置、　１０３　不揮発性記憶装置、　１０４　アクチュエータ、　１０５　車外情報取得装置、　１０６　車両情報取得装置、　１０７　位置情報取得装置、　１０８　視線検出センサ、　１１１　記憶部、　１１２　情報処理部、　１１３　経路生成部、　１１４　算出部、　１１５　取得部、　１１６　制御部、　１１７　解析部、　１１８　検出部、　１１９　判定部、　１２０　決定部、　１２１　提供部、　２００　車。

Claims

　運転者が乗っており、かつ自動運転を行っている移動体であって、
　前記運転者の視線を示す視線情報、前記運転者の前方を撮影することで得られた複数の画像、運転モードの切替要求、及び前記移動体が走行している道路の状況と障害物をエネルギーで表現されたリスクポテンシャルエネルギーとして取得する取得部と、
　前記複数の画像のうちの１つの画像と前記視線情報とに基づいて、前記運転者の注視点に対応する座標である注視点座標を検出する検出部と、
　前記複数の画像と前記注視点座標とを用いて、速度残効のエネルギーを示す速度残効エネルギーと速度残効継続時間を算出する算出部と、
　前記速度残効エネルギーが存在する場合、前記リスクポテンシャルエネルギーと前記速度残効エネルギーと用いて、前記運転者に、即時、手動運転を実行させるか、前記速度残効継続時間の間、セミ自動運転で手動運転を実行させた後、手動運転を実行させるかを判定する決定部と、
　を有する移動体。
　前記手動運転、セミ自動運転、自動運転に対応した制御部と、をさらに有する、
　請求項１に記載の移動体。
　運転システムがセミ自動運転もしくは手動運転に切り替えられた場合、前記運転者が駆動操作、操舵操作、制動操作をするとき、車体のタイヤが滑って制御できなくならないレベルに操作量を抑える制御部をさらに有する、
　請求項１又は２に記載の移動体。
　運転システムが自動運転時に経路決定部、車両制御部を有し、経路、車両制御量、又は車両制御タイミングを決定できない場合に、運転モード切替を要求する、
　請求項１から３のいずれか１項に記載の移動体。
　記憶部をさらに有し、
　前記取得部は、前記記憶部から学習済モデルを取得し、
　前記算出部は、前記複数の画像と前記注視点座標と前記学習済モデルとを用いて、前記速度残効エネルギーを算出する、
　請求項１から４のいずれか１項に記載の移動体。
　前記算出部は、複数の式の一部と学習済モデルとを用いて、前記速度残効エネルギーを算出する、
　請求項４又は５に記載の移動体。