JP2019214320A - 認識処理装置、車両制御装置、認識制御方法、およびプログラム - Google Patents

Abstract

【課題】車両の周辺状況の変化を包括的に予測することが可能なテキストを生成することができる認識処理装置、車両制御装置、認識制御方法、およびプログラムを提供すること。【解決手段】車両周辺の対象物の種別および前記車両との位置関係を認識する周辺状況認識部（１３２）と、前記周辺状況認識部により認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択するオブジェクト認識部（１３４）と、前記オブジェクト認識部の選択した前記対象物の種別を示す単語と、前記オブジェクト認識部の選択した前記車両と前記対象物との位置関係を示す単語を含むテキストであって、前記周辺状況認識部により認識された周辺状況を説明する前記テキストを生成するテキスト生成部（１３８）とを備える認識処理装置。【選択図】図２

Description

本発明は、認識処理装置、車両制御装置、認識制御方法、およびプログラムに関する。

従来、画像や動画を認識し、その画像等を平易な文章に変換する（換言すると、文章化、あるいは単語列化する）技術が開示されている（例えば、特許文献１）。特許文献１に記載の技術では、映り込んでいる人物が手話をしている画像を認識し、その人物の手話パターンが表す自然言語的な意味を示す単語列候補を出力することで、適正な単語列を推定して提供する。

特開２０００−２２１９９１号公報

しかしながら、従来の技術では、周辺状況のごく一部を表現するセグメント的な単語列ではなく、周辺状況の全体を包括的に表現することができる、自然言語的なテキスト文章を生成することについては特に考慮されていなかった。

本発明は、このような事情を考慮してなされたものであり、車両の周辺状況の変化を包括的に予測することが可能なテキストを生成することができる認識処理装置、車両制御装置、認識制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る認識処理装置、車両制御装置、認識制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る認識処理装置は、車両周辺の対象物の種別および前記車両との位置関係を認識する周辺状況認識部と、前記周辺状況認識部により認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択するオブジェクト認識部と、前記オブジェクト認識部により選択された前記対象物の種別を示す単語と、前記オブジェクト認識部の選択した前記車両と前記対象物との位置関係を示す単語を含み、所定の文法に従い生成されるテキストであって、前記周辺状況認識部により認識された周辺状況を説明する前記テキストを生成するテキスト生成部とを備えるものである。

（２）：上記（１）の様態において、前記テキスト生成部は、前記対象物のうち、前記車両への影響が大きい前記対象物を識別して優先度を設定し、前記優先度が高い前記対象物を含む前記周辺状況を説明する前記単語を優先的に前記テキストに含めるものである。

（３）：上記（１）または（２）の様態において、前記テキスト生成部は、前記対象物のうち、前記車両への影響が大きい前記対象物を識別して優先度を設定し、前記優先度が高い前記対象物を含む前記周辺状況を説明するテキストを、優先的に前記テキストを構成する段落のうちより上位の段落に配置させるものである。

（４）：上記（１）から（３）のいずれかの様態において、前記テキスト生成部は、前記対象物のうち、前記車両への影響が大きい複数の前記対象物の位置関係を識別して優先度を設定し、前記優先度が高い前記対象物の位置関係を含む前記周辺状況を説明する前記単語を優先的に前記テキストに含めるものである。

（５）：この発明の一態様に係る車両制御装置は、上記（１）から（４）のいずれかの認識処理装置と、前記認識処理装置の前記テキスト解析部による解析結果に基づいて、前記テキストに基づいて周辺状況の変化を予測するテキスト解析部と、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行する運転制御部とを備えるものである。

（６）：上記（５）の様態において、前記テキスト解析部は、前記テキストが前記対象物の属性上起こり得る前記周辺状況を示すテキストであるかを解析し、前記対象物の属性上起こり得る前記周辺状況を示すテキストであると解析した場合には、前記テキスト生成部の生成した前記テキストを出力し、前記対象物の属性上起こり得る前記周辺状況を示すテキストであると解析しなかった場合には、前記テキスト生成部の生成したテキストを破棄するものである。

（７）：この発明の一態様に係る認識制御方法は、コンピュータが、車両周辺の対象物の種別および前記車両との位置関係を認識し、認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択し、選択された前記対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を含み、所定の文法に従い生成されるテキストであって、認識された周辺状況を説明する前記テキストを生成する、認識制御方法である。

（８）：この発明の一態様に係るプログラムは、コンピュータに、車両周辺の対象物の種別および前記車両との位置関係を認識させ、認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択させ、選択された前記対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を含み、所定の文法に従い生成されるテキストであって、認識された周辺状況を説明する前記テキストを生成させる、プログラムである。

（１）〜（８）によれば、車両の周辺状況の変化を包括的に予測することが可能なテキストを生成することができる。

実施形態に係る車両制御装置１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 周辺状況認識部１３２の処理について説明するための図である。 オブジェクト認識部１３４の処理について説明するための図である。 周辺状況認識部１３２が交通参加者または道路環境として認識する対象物の一例を示す図である。 オブジェクト認識部１３４によるラベリング処理の流れの一例を示すフローチャートである。 交通シーン選択部１３６による交通シーンの選択規則の一例を示す図である。 交通シーン選択部１３６による交通シーン選択処理の流れの一例を示すフローチャートである。 テキスト生成部１３８のテキスト生成処理を説明するための図である。 テキスト生成部１３８によるテキスト生成の処理の流れの一例を示すフローチャートである。 テキスト生成部１３８のテキスト生成処理の優先度を説明するための図である。 周辺状況認識部１３２およびオブジェクト認識部１３４の処理について説明するための図である。 テキスト生成部１３８のテキスト生成処理を説明するための図である。 周辺状況認識部１３２およびオブジェクト認識部１３４の処理について説明するための他の図である。 テキスト生成部１３８のテキスト生成処理を説明するための図である。 テキスト生成部１３８による優先度をテキスト生成に反映する処理の流れの一例を示すフローチャートである。 実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の認識処理装置、車両制御装置、認識制御方法、およびプログラムの実施形態について説明する。

［全体構成］
図１は、実施形態に係る車両制御装置１の構成図である。車両制御装置１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両制御装置１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両制御装置１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両制御装置１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、例えば、周辺状況認識部１３２と、オブジェクト認識部１３４と、交通シーン選択部１３６と、テキスト生成部１３８とを備える。周辺状況認識部１３２は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、周辺状況認識部１３２は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、周辺状況認識部１３２は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、周辺状況認識部１３２は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、周辺状況認識部１３２は、停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

周辺状況認識部１３２は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。周辺状況認識部１３２は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、周辺状況認識部１３２は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

周辺状況認識部１３２は、走行車線、走路境界、路側帯、歩道等（以下、道路環境と称する）と、自車両Ｍの周辺の交通参加者（他車両、自転車、歩行者等）をそれぞれ区別して認識する。周辺状況認識部１３２は、例えば、認識された対象物の自車両Ｍの進行方向と同一方向に関する、自車両Ｍに対する相対速度に基づいて、交通参加者であるか道路環境であるかを区別する。周辺状況認識部１３２は、車両周辺の道路環境および交通参加者の種別と、認識した道路環境または交通参加者と自車両Ｍとの位置関係を認識する。周辺状況認識部１３２は、認識した道路環境または交通参加者と自車両Ｍとの位置関係に基づいて、交通参加者同士の位置関係を導出してもよい。

また、周辺状況認識部１３２は、認識された対象物の相対速度が自車両Ｍと異なる場合や、変化する場合に物体であると区別し、認識された対象物の相対速度が自車両Ｍとほぼ同じ場合に道路環境であると区別してもよい。したがって、周辺状況認識部１３２は、停止線、横断歩道、道路標示、交通標識、障害物、赤信号、料金所、その他の道路事象を、道路環境ではなく交通参加者として認識する。周辺状況認識部１３２は、例えば、周辺状況記憶部１３２Ａに記憶された識別器に基づいて、交通参加者の種別を識別する。識別器とは、予め各種の交通参加者の画像等を教師データとしてディープラーニング等の機械学習によって生成されたソフトウェア（データ構造）であり、画像や画像特徴量その他の識別対象のデータを入力すると、交通参加者であるか否か、およびその種別を出力するものである。オブジェクト認識部１３４、交通シーン選択部１３６およびテキスト生成部１３８については後述する。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

行動計画生成部１４０は、例えば、テキスト解析部１４２を備える。テキスト解析部１４２については後述する。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

図１に戻り、走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

上記説明した構成のうち、周辺状況認識部１３２と周辺状況記憶部１３２Ａとオブジェクト認識部１３４と、交通シーン選択部１３６と、テキスト生成部１３８とを合わせたものが認識処理装置の一例であり、認識処理装置に更に行動計画生成部１４０と第２制御部１６０とを加えたものが車両制御装置の一例である。

［第１制御部の構成］
図３および図４を用いて、オブジェクト認識部１３４について説明する。図３は、周辺状況認識部１３２の処理について説明するための図であり、カメラ１０によって自車両Ｍの走行方向前方が撮像された画像を示す模式図である。図３の例において、周辺状況認識部１３２は、中央分離帯ＭＳ、自車両Ｍが走行する車線Ｒ１、車線Ｒ１に隣接する車線Ｒ０、対向車線ＲＲ０およびＲＲ１、横断歩道ＣＲ、歩道ＳＷと車線Ｒ１の間のフェンスＦ、並びに、信号機Ｓ１およびＳ２のそれぞれを認識する。

周辺状況認識部１３２は、例えば、歩道ＳＷ上に歩行者Ｐ１を認識し、遠方の対向車線上に他車両ＯＶ１を認識する。また、周辺状況認識部１３２は、図３に示す画像を解析して、画像に映り込む空の様子を認識する。周辺状況認識部１３２は、空の一部分Ｗの認識結果をオブジェクト認識部１３４に出力する。

図４は、オブジェクト認識部１３４の処理について説明するための図である。オブジェクト認識部１３４は、周辺状況認識部１３２によって認識された交通参加者を識別して、周辺状況認識部１３２によって認識された交通参加者の座標位置の情報と、ラベル名称（ラベルＩＤ）とを交通参加者に付与することを含むラベリングを行う。ラベル名称は、交通参加者の種別を含んでもよい。また、ラベリングは、交通参加者の占める領域を設定することを含んでもよい。オブジェクト認識部１３４は、周辺状況認識部１３２によって認識された交通参加者をラベリングして、交通参加者を示す「Ｌｂ＋（交通参加者の種別を含む符号）」のようなラベルＩＤを付与し、領域として周辺状況認識部１３２によって認識された交通参加者の少なくとも一部を包含する矩形領域を設定する。

例えば、オブジェクト認識部１３４は、周辺状況認識部１３２によって認識された歩行者Ｐ１にラベルＩＤ「Ｌｂ（Ｐ１）」を付与し、歩行者Ｐ１の一部または全部を包含する矩形領域を設定する。ラベルＩＤのうち「Ｐ」は歩行者を、「１」はどの歩行者であるかを示す符号である。また、周辺状況認識部１３２によって認識された空（そら）の一部分ＷにラベルＩＤ「Ｌｂ（Ｗ）」を付与し、空の一部分Ｗを包含する矩形領域を設定する。オブジェクト認識部１３４は、車線Ｒ１のように閉領域で定義できないような交通参加者には領域を設定せず、種別を示すラベルＩＤのみを付与してもよい。

さらに、オブジェクト認識部１３４は、ラベリングした交通参加者の種別に基づいて、交通参加者をグループ化し、ラベリング処理結果をグループ単位で管理する。オブジェクト認識部１３４は、ラベリング処理された交通参加者が他車両とバスである場合に、それぞれを「自動車」と「バス」とを示すグループにグループ化してもよいし、両者を「車両類」という種別名でグループ化してもよい。オブジェクト認識部１３４は、ラベリング結果のグループと、そのグループを示す単語または語句とを対応付ける。グループを示す単語または語句は、例えば、テキスト記憶部１５２が記憶する単語から選択される。これに限らず、他車両を示すグループには「車（car）」という種別名が、バスを示すグループには「バス（bus）」という種別名が対応付けられる。また、オブジェクト認識部１３４は、複数の交通参加者を同一のグループにグループ化した場合に、それぞれの交通参加者を識別できるよう、「バス１（bus1）」、「バス２（bus2）」のように、グループを示す種別名の後に交通参加者を個々に識別する識別番号を付与してもよい。

また、オブジェクト認識部１３４は、例えば、周辺状況認識部１３２によって認識された道路環境が走行車線と中央分離帯である場合に、それぞれを「走行車線」と「中央分離帯」とを示すグループにグループ化する。

また、オブジェクト認識部１３４は、認識した交通参加者の動作や状況の情報や、交通参加者が行うと予想される動作や状況の情報を、ラベルＩＤと対応付けて設定する。オブジェクト認識部１３４は、例えば、周辺状況認識部１３２によって認識された他車両が右折中であることが認識された場合に、「右折」なる情報をラベルＩＤに付与する。オブジェクト認識部１３４は、ラベリングによって設定したラベルＩＤおよび付随する情報を交通シーン選択部１３６に出力する。また、図４に示すオブジェクト認識部１３４によるラベリングの結果は、ＨＭＩ３０の表示装置に表示してもよい。

交通シーン選択部１３６は、オブジェクト認識部１３４により出力されたラベルＩＤを用いてラベリング結果を参照し、参照したラベリング結果に基づいて、自車両Ｍの走行する状況を認識し、自車両Ｍがまもなく接近する状況を推定して、推定される交通シーンを選択する。交通シーンとは、自車両Ｍの走行する状況、または自車両Ｍがまもなく接近する状況を予め設定された種別の中から最適な種別に分類するものである。交通シーン選択部１３６は、例えば、オブジェクト認識部１３４によって自車両Ｍの前方に交差点が認識された場合には、交通シーン記憶部１５０に記憶された交差点に関連する交通シーンの中から、最も適した交通シーンを選択する。

交通シーン選択部１３６は、例えば、図４に示すオブジェクト認識部１３４によるラベリング結果を出力された場合、複数の車線が存在し、信号機Ｓ１や横断歩道ＣＲがラベリングされたことを認識し、交通シーン「一般道路」を選択する。交通シーン選択部１３６は、選択した交通シーンと、オブジェクト認識部１３４により設定されたラベルＩＤをテキスト生成部１３８に出力する。また、交通シーン選択部１３６は、例えば、所定の人数以上の歩行者のラベリング結果を認識した場合、通信装置２０等による時間の認識結果や、地図情報と併せて、通勤・通学時間帯に関連する交通シーンを選択する。

テキスト生成部１３８は、交通シーン選択部１３６により出力された交通シーン、およびラベルＩＤに基づいて、周辺状況を説明する少なくとも１段落以上のテキストを生成する。周辺状況を示すテキストには、例えば、周辺状況認識部１３２により認識された交通参加者および道路環境を示す単語や、オブジェクト認識部１３４により設定された交通参加者および道路環境の種別名を示す単語、交通シーン選択部１３６により選択された交通シーンを示す単語が含まれるテキストである。

テキスト生成部１３８は、例えば、自車両Ｍが交差点に差し掛かって赤信号を確認して停止している場合に、「交差点があります。（There is an intersection.）」や、「走行車線の正面の信号が赤です。(The signal lights red in front of the road.)」といった平易な文によって構成される段落を含むテキストを生成する。テキスト生成部１３８は、生成したテキストをテキスト記憶部１５２に出力する。

［対象物のラベリング］
以下、図５を用いて、オブジェクト認識部１３４による交通参加者および道路環境のラベリングについて説明する。図５は、周辺状況記憶部１３２Ａの記憶する、周辺状況認識部１３２が交通参加者または道路環境として認識する対象物の一例を示す図である。

オブジェクト認識部１３４は、例えば、図５に示すように、周辺の環境に関する情報、道路環境に関する情報、交通参加者の情報、交通参加者の位置に関する情報を認識し、それぞれの認識結果をラベリングする。交通参加者の位置に関する情報とは、自車両Ｍを基準とした場合の交通参加者の位置に関する情報であってもよいし、交通参加者同士の位置関係を示す情報であってもよいし、交通参加者の動作を示す情報であってもよい。

オブジェクト認識部１３４により認識される環境に関する情報は、例えば、時間、季節、気温、天候を含む。オブジェクト認識部１３４により認識される環境に関する情報は、物体認識装置１６が周辺状況の天候等の環境を認識できる場合には、環境に関する情報を周辺状況認識部１３２の認識した結果から導出されてもよいし、通信装置２０が他装置と通信することにより取得した情報が用いられてもよい。

また、オブジェクト認識部１３４は、周辺状況記憶部１３２Ａの記憶する交通参加者の情報、および道路環境に関する情報から、周辺状況認識部１３２が認識した自車両Ｍの周辺の交通参加者や道路事象の認識結果を示す名称を選択してラベリングする。さらに、オブジェクト認識部１３４は、周辺状況記憶部１３２Ａの記憶する交通参加者の動作または状況に関する情報から、周辺状況認識部１３２が認識した自車両Ｍの周辺の交通参加者の動作または状況に関する認識結果を示す名称を選択してラベリングする。

図６は、オブジェクト認識部１３４によるラベリング処理の流れの一例を示すフローチャートである。

まず、オブジェクト認識部１３４は、周辺の環境に関する情報を検出し、ラベリングする（ステップＳ１００）。次に、オブジェクト認識部１３４は、道路環境に関する情報を検出し、ラベリングする（ステップＳ１０２）。次に、オブジェクト認識部１３４は、交通参加者に関する情報を検出し、ラベリングする（ステップＳ１０４）。次に、オブジェクト認識部１３４は、交通参加者の位置に関する情報を検出し、ラベリングする（ステップＳ１０６）。以上、本フローチャートの処理を終了する。

［交通シーン選択］
以下、図７を用いて、交通シーン選択部１３６による交通シーンの選択について説明する。図７は、周辺状況記憶部１３２Ａの記憶する、交通シーンおよび、交通シーンに関連する交通参加者および道路環境の一例である。

図７（ａ）は、交通シーン選択部１３６による交通シーンの選択規則の一例を示す図である。交通シーン選択部１３６は、オブジェクト認識部１３４によってラベリングされた交通参加者および道路環境の有無に基づいて、自車両Ｍの周辺状況を示す交通シーンを選択する。

図７（ａ）に示す二重丸印は、その交通参加者または道路環境がオブジェクト認識部１３４によって認識された場合に、対応付けられる交通シーンが導出できることを示す。例えば、交通シーン選択部１３６は、周辺状況認識部１３２によって交差車線が認識され、且つ、オブジェクト認識部１３４によって交差車線がラベリングされた場合、対応付けられる交通シーンが「交差点」であると選択する。

図７（ａ）に示す丸印は、交通シーンが導出された場合に、対応付けられる交通参加者または道路環境がオブジェクト認識部１３４によってラベリングされる可能性が高いことを示す。例えば、交通シーン選択部１３６は、「交差点」の交通シーンを選択した場合、選択した交通シーンに対応付けられる他の交通参加者（例えば、「信号機」、「横断歩道」）がオブジェクト認識部１３４によってラベリングされる可能性が高いと推定し、オブジェクト認識部１３４に推定結果を出力する。オブジェクト認識部１３４は、交通シーン選択部１３６によりラベリングされる可能性が高いと推定された交通シーンと対応づく交通参加者がラベリングされている場合には、それらのラベリング結果をまとめてテキスト生成部１３８に出力することによって、テキスト生成部１３８の生成するテキストが周辺状況を示す精度を高める。また、オブジェクト認識部１３４は、交通シーン選択部１３６によりラベリングされる可能性が高いと推定された交通シーンと対応づく交通参加者がラベリングされていない場合には、オブジェクト認識部１３４にラベリングされる可能性が高いと推定された交通参加者や、その交通参加者が所属するグループの情報を出力することで、オブジェクト認識部１３４によるラベリング間違いに早期に対応することができる。

図７（ａ）に示す四角印は、交通シーンが導出された場合に、対応付かない交通参加者および道路環境を示す。例えば、交通シーン選択部１３６は、オブジェクト認識部１３４によって歩行者、信号機、横断歩道がラベリングされない場合や、ラベリングされる割合が所定の割合以下である場合、且つ、走行車線や交通標識がラベリングされる回数が所定の割合以上である場合、対応付けられる交通シーンが「幹線道路」であると選択する。

上述のように、交通シーン選択部１３６は、オブジェクト認識部１３４によってラベリングされた交通参加者および道路環境の有無に基づいて、自車両Ｍの周辺状況を示す交通シーンを選択する。

図７（ｂ）は、交通シーンと、交通シーンに対応付けられる交通参加者、および交通参加者の動作または選択規則を表形式で示す図である。例えば、交通シーン選択部１３６が既に交通シーンの「交差点」を選択した場合、且つ、オブジェクト認識部１３４によって交通参加者の「横断歩道」がラベリングされた場合、交通シーン選択部１３６は、図７（ｂ）に示す表に基づいて、「横断歩道」に対応付けられる交通参加者の動作または状況がオブジェクト認識部１３４によってラベリングされる可能性が高いと推定し、オブジェクト認識部１３４に推定結果を出力する。オブジェクト認識部１３４は、交通シーン選択部１３６によりラベリングされる可能性が高いと推定された交通シーンと対応づく交通参加者がラベリングされている場合には、それらのラベリング結果をまとめてテキスト生成部１３８に出力することによって、テキスト生成部１３８の生成するテキストが周辺状況を示す正確性を高める。

また、オブジェクト認識部１３４は、交通シーン選択部１３６によりラベリングされる可能性が高いと推定された交通シーンと対応づく交通参加者の動作または状況がラベリングされていない場合には、オブジェクト認識部１３４にラベリングされる可能性が高いと推定された交通参加者の動作または状況や、その交通参加者の動作または状況が所属するグループの情報を出力することで、オブジェクト認識部１３４によるラベリング間違いを早期に検知し対策を打つことができる。

なお、図７（ｂ）に示す関係表には、例えば、自車両Ｍの製造メーカ等によってテキスト生成部１３８に優先してテキストを生成させるべき交通参加者と交通参加者の動作または状態の関係が設定される。交通シーン選択部１３６は、図７（ｂ）に示す関係に基づいて交通シーンを選択し、テキスト生成部１３８に出力することで、テキスト生成部１３８の生成するテキストが周辺状況を示す正確性を高めることができる。

図８は、交通シーン選択部１３６による交通シーン選択処理の流れの一例を示すフローチャートである。なお、ステップＳ２００は、図６に示すフローチャートの処理である。

まず、オブジェクト認識部１３４は、周辺状況認識部１３２により認識された交通参加者、および道路環境をラベリングして交通シーン選択部１３６に出力する（ステップＳ２００）。次に、交通シーン選択部１３６は、オブジェクト認識部１３４によりラベリングされた交通参加者、および道路環境に基づいて、交通シーンを選択する（ステップＳ２０２）。次に、交通シーン選択部１３６は、選択した交通シーンに対応付けられる交通参加者、道路環境、および交通参加者の動作または状況のラベリング結果をテキスト生成部１３８に出力する（ステップＳ２０４）。以上、本フローチャートの処理を終了する。

［テキスト生成］
図９は、テキスト生成部１３８のテキスト生成処理を説明するための図である。テキスト生成部１３８は、交通シーン選択部１３６によって選択された交通シーン、およびオブジェクト認識部１３４によってラベリングされた交通参加者、道路環境、および交通参加者の動作または状況に基づいて、出力対象となる単語または語句を選択し、生成するテキストに反映させる。

テキスト生成部１３８は、例えば、図４に示すオブジェクト認識部１３４によるラベリング結果から、図９のような７段落のテキストを生成する。テキスト生成部１３８は、着目度合の高い語句（例えば、交通参加者を示す単語または語句）と、着目度合の低い語句（例えば、冠詞や接続詞）とを色や大きさで識別できるようにしてもよい。例えば、テキスト生成部１３８は、交通参加者を示す着目度合の高い語句に、図９に示すように、下線を引いて示す。

テキスト生成部１３８は、第１段落（A sunny day on an open road. There is one man and one car.）に、交通シーン選択部１３６の選択した「一般道路」（open road）の選択結果を示す単語または語句を反映させる。なお、第１段落を構成する文のうち、交通シーン選択部１３６の選択結果を示す単語または語句以外の箇所（例えば、“There is”の箇所）は、テキスト生成部１３８がテキストを生成する際の規則である、所定の文法により提供されるテンプレートの一例である。

また、テキスト生成部１３８は、第１段落に、オブジェクト認識部１３４によるラベリング結果に基づいて、空の一部分Ｗ（sunny day）、歩行者Ｐ１(one man)、他車両ＯＶ１(one car)といった、グルーピング結果を内包する単語または語句を反映する。

テキスト生成部１３８は、第２段落（There is a median strip on an open road.）に示すように、交通シーン選択部１３６の選択した「一般道路」（open road）の選択結果を示す語句を反映させ、オブジェクト認識部１３４によるラベリング結果である中央分離帯ＭＳ(median strip）を示す語句を反映させたテキストを生成する。また、テキスト生成部１３８は、第３段落（The man is on the left of lane R1.）に示すように、オブジェクト認識部１３４によるラベリング結果である、歩行者Ｐ１(man)と車線Ｒ１（lane R1）との位置を示す（left）を示す単語または語句を反映させたテキストを生成する。

なお、テキスト生成部１３８は、生成する周辺状況を示すテキストに、周辺状況認識部１３２によって認識された結果のうち、ノイズとなりうる認識結果を反映しない。ノイズとなりうる認識結果とは、例えば、周辺状況認識部１３２によって認識された歩行者Ｐ１の推定される性別、年齢等の詳細な認識結果であり、自車両Ｍの運転制御において有用でない認識結果である。テキスト生成部１３８は、テキスト生成内容から自車両Ｍの運転制御において有用でない可能性が高い認識結果を除外することで、起こり得る事象を正確に示すテキストを生成する。したがって、後述のテキスト解析部１４２は、周辺状況認識部１３２によって認識された認識結果から目標軌道を直接生成する方法と比較して、テキスト生成部１３８によって生成されたテキストに基づいて目標軌道を生成することにより、ロバスト安定性をより向上させることができる。

図１０は、テキスト生成部１３８によるテキスト生成の処理の流れの一例を示すフローチャートである。なお、図１０に示す各ステップの実行順序については、特に限定されず、他の順序で実行されてもよい。

まず、テキスト生成部１３８は、交通シーンに関する単語または語句を出力する（ステップＳ３００）。次に、テキスト生成部１３８は、周辺の環境に関する情報を示す単語を出力する（ステップＳ３０２）。次に、テキスト生成部１３８は、道路環境に関する情報を示す単語を出力する（ステップＳ３０４）。次に、テキスト生成部１３８は、交通参加者に関する情報を示す単語を出力する（ステップＳ３０６）。次に、テキスト生成部１３８は、交通参加者の位置に関する情報を示す単語を出力する（ステップＳ３０８）。以上、本フローチャートの処理を終了する。

さらに、テキスト生成部１３８は、例えば、自車両Ｍの運転制御に影響がある交通参加者および道路環境の位置関係や、交通参加者の行動の変化を示す場合に、その位置関係や行動を示すテキストの優先度を上げて、テキストを生成する。テキスト生成部１３８は、生成したテキストを行動計画生成部１４０に出力する。

図１１は、テキスト生成部１３８のテキスト生成処理の優先度を説明するための図である。図１１の分類１は、オブジェクト認識部１３４によりラベリングされた交通参加者と自車両Ｍとの位置関係を示し、分類２はオブジェクト認識部１３４によりラベリングされた交通参加者の行動の変化を示す。例えば、オブジェクト認識部１３４によりラベリングされた交通参加者が自車両Ｍと同一の走行車線内に位置する場合、優先度は高いと設定される。また、オブジェクト認識部１３４によりラベリングされた交通参加者が自車両Ｍの走行車線内に位置しない場合、且つ、オブジェクト認識部１３４によりラベリングされた交通参加者が自車両Ｍの走行車線に接近していない場合には、優先度は低いと設定される。

テキスト生成部１３８は、優先度が高いと設定された交通参加者を示す単語を含む文を優先してテキスト化する。図９に示すテキストにおいて、第１段落や第２段落を構成する文にはテキスト生成部１３８によって優先度が高いと設定された交通参加者を示す単語が含まれる。図９において、歩行者Ｐ１に関するテキストは第４段落に出力されるが、これはオブジェクト認識部１３４によりラベリングされた交通参加者が自車両Ｍの走行車線内に位置しない場合、且つ、オブジェクト認識部１３４によりラベリングされた交通参加者が自車両Ｍの走行車線に接近していない場合であって、優先度が低いと設定されることを示すためである。仮に、オブジェクト認識部１３４により、歩行者Ｐ１が自車両Ｍの走行車線Ｒ１に向かって接近しているとラベリングされた場合、テキスト生成部１３８は、歩行者Ｐ１について高い優先度を設定し、歩行者Ｐ１に関するテキストはより上位（例えば、第１段落や第２段落）に、「歩行者Ｐ１が走行車線Ｒ１方向に向かっている。（The Man is moving toward the lane R1.）」といったテキストを生成する。

図１１には、テキスト生成部１３８は、自車両Ｍの走行車線Ｒ１上に位置する交通参加者や、走行車線Ｒ１に接近するとラベリングされた交通参加者を優先度が高いと設定する例を示したが、対向車線ＲＲ０を走行する他車両ＯＶ１の相対速度が所定の速度以上である場合に優先度が高いと設定してもよい。

以下、図１２―図１５を用いて、テキスト生成部１３８による優先度設定について説明する。図１２は、周辺状況認識部１３２およびオブジェクト認識部１３４の処理について説明するための図であり、自車両Ｍが市街地の一般道路を走行中であって、交差点で停止する際に周辺状況認識部１３２によって認識された周辺状況を示す。

図１２の例において、周辺状況認識部１３２は、自車両Ｍが走行する車線Ｒ１、車線Ｒ１に隣接する車線Ｒ０、停止線ＳＬ、停止線ＳＬと隣接する横断歩道ＣＲ１、車線Ｒ１に隣接する路肩ＲＳ、自車両Ｍの進行方向左側前方に位置する横断歩道ＣＲ２、並びに、信号機Ｓ１―Ｓ８のそれぞれを認識する。また、周辺状況認識部１３２は、自車両Ｍの走行車線Ｒ１と同一の車線上に位置し自車両Ｍの進行方向前方に停止する他車両ＯＶ１、自車両Ｍの走行車線と隣接する車線Ｒ０上に位置し自車両Ｍの進行方向前方に停止する二輪車ＭＢ、歩行者Ｐ１―Ｐ６、交差車線上のバスＢ１および他車両ＯＶ２−ＯＶ４を認識する。また、周辺状況認識部１３２は、図１２に示す画像を解析して、画像に映り込む空の様子を認識する。周辺状況認識部１３２は、空の一部分Ｗの認識結果をオブジェクト認識部１３４に出力する。

オブジェクト認識部１３４は、周辺状況認識部１３２によって認識された交通参加者を識別して、図４と同様にラベリング処理を行う。オブジェクト認識部１３４は、例えば、周辺状況認識部１３２によって認識された歩行者Ｐ１―Ｐ６をそれぞれラベリングして、Ｌｂ（Ｐ１）―Ｌｂ（Ｐ６）のラベルＩＤを付与し、歩行者Ｐ１―Ｐ６の一部または全部を包含する矩形領域を設定する。オブジェクト認識部１３４は、ラベリングによって設定したラベルＩＤを交通シーン選択部１３６に出力する。交通シーン選択部１３６は、オブジェクト認識部１３４により出力されたラベルＩＤを用いて図１２に示すラベリング結果を参照し、交差点に関連する交通シーンを選択する。

テキスト生成部１３８は、交通シーン選択部１３６によって選択された交通シーン、およびオブジェクト認識部１３４によってラベリングされた交通参加者、道路環境、および交通参加者の動作または状況に基づいて、図１２に示す自車両Ｍの周辺状況に示すテキストを生成する。

図１３は、テキスト生成部１３８のテキスト生成処理を説明するための図である。テキスト生成部１３８は、図１２に示すオブジェクト認識部１３４によるラベリング結果から、図１３のような６段落のテキストを生成する。テキスト生成部１３８は、図１３に示すテキストの第３段落の第１文（One person is crossing the left crosswalk.）に示すように、オブジェクト認識部１３４によるラベリング結果である、歩行者Ｐ１の認識結果を示す単語または語句を反映させたテキストを生成する。また、テキスト生成部１３８は、図１３に示すテキストの第３段落の第４文（No person is on the front crosswalk.）に示すように、周辺状況認識部１３２によって横断歩道ＣＲ１（front crosswalk）付近に歩行者が認識されなかったこと（No person）を示すテキストを生成する。

一方、テキスト生成部１３８は、図１３に示すテキストに、路肩ＲＳや交差点上の他車両ＯＶ２−ＯＶ４を示す単語や語句を反映していない。これは、テキスト生成部１３８が、オブジェクト認識部１３４による認識結果のうち、他車両ＯＶ１や二輪車ＭＢ等の他の認識結果に対してより高い優先度が設定されて優先的にテキストに含まれたことにより、他の認識結果に比して優先度の低い他車両ＯＶ２−ＯＶ４の認識結果を示す単語がテキストに反映されなかったことを示す。

テキスト生成部１３８は、図１３に示すテキストの第４段落の第１文（A car is waiting on the turn left line before the stop line.）に示すように、他車両ＯＶ１が停止線ＳＬの手前に停止した状態であるといった、交通参加者同士の位置関係を示すテキストを生成する。なお、第４段落の第１文を構成する文のうち、交通シーン選択部１３６の選択結果を示す単語または語句以外の箇所（例えば、“is waiting on the”, “before the”の箇所）は、テキスト生成部１３８がテキストを生成する際のテンプレートの他の一例である。

図１４は、周辺状況認識部１３２およびオブジェクト認識部１３４の処理について説明するための他の図であり、自車両Ｍが夜間に幹線道路を走行中に周辺状況認識部１３２によって認識された周辺状況を示す。

図１４の例において、周辺状況認識部１３２は、自車両Ｍが走行する車線Ｒ１、車線Ｒ１に隣接する車線Ｒ０およびＲ２、車線Ｒ０に隣接する中央分離帯ＭＳ、交通標識Ｄ１−Ｄ３、並びに、街灯Ｌ１―Ｌ４のそれぞれを認識する。また、周辺状況認識部１３２は、自車両Ｍの走行車線Ｒ１と同一の車線上に位置し自車両Ｍの進行方向前方を走行する他車両ＯＶ１―ＯＶ３、トラックＴ１およびＴ２を認識する。また、周辺状況認識部１３２は、図１４に示す画像を解析して、画像に映り込む空の様子を認識し、空の一部分Ｗの認識結果をオブジェクト認識部１３４に出力する。

オブジェクト認識部１３４は、周辺状況認識部１３２によって認識された交通参加者を識別して、図４および図１２と同様にラベリング処理を行う。交通シーン選択部１３６は、オブジェクト認識部１３４により出力されたラベルＩＤを用いて図１４に示すラベリング結果を参照し、夜間の幹線道路に関連する交通シーンを選択する。テキスト生成部１３８は、交通シーン選択部１３６によって選択された交通シーン、およびオブジェクト認識部１３４によってラベリングされた交通参加者、道路環境、および交通参加者の動作または状況に基づいて、図１５に示す自車両Ｍの周辺状況に示すテキストを生成する。

図１５は、テキスト生成部１３８のテキスト生成処理を説明するための図である。テキスト生成部１３８は、図１４に示すオブジェクト認識部１３４によるラベリング結果から、図１５のような７段落のテキストを生成する。

図１５に示すように、テキストの第２段落および第３段落には車線Ｒ０−Ｒ２に関する単語（lane, line）が含まれ、第４段落にはトラックＴ１およびＴ２に関する単語（truck）が含まれる。これは、テキスト生成部１３８が、オブジェクト認識部１３４による認識結果のうち、第３段落に示す車線Ｒ０−Ｒ２の認識結果に対して、第４段落に示すトラックＴ１およびＴ２の認識結果より高い優先度が設定された結果、車線Ｒ０−Ｒ２の認識結果を示す単語を含む文がより上位の段落に配置されたことを示す。また、図１３に示すように、テキストの第６段落には交通標識Ｄ１−Ｄ３に関する単語（traffic sign）が含まれる。これは、テキスト生成部１３８が、オブジェクト認識部１３４による認識結果のうち、第４段落に示すトラックＴ１およびＴ２の認識結果に対して、第３段落に示す車線Ｒ０−Ｒ２の認識結果よりは低く、且つ、交通標識Ｄ１−Ｄ３より高い優先度が設定された結果、車線Ｒ０−Ｒ２の認識結果を示す単語を含む文より下位の段落、且つ、交通標識Ｄ１−Ｄ３の認識結果を示す単語を含む文より上位に配置されたことを示す。

図１６は、テキスト生成部１３８による優先度をテキスト生成に反映する処理の流れの一例を示すフローチャートである。なお、図１６に示すステップＳ４００−Ｓ４０４と、ステップＳ４０６−Ｓ４１０との実行順序については、特に限定されず、例えば、ステップＳ４０６−Ｓ４１０が実行された後にステップＳ４００−Ｓ４０４が実行されてもよい。

まず、テキスト生成部１３８は、交通参加者および道路環境の位置関係を導出する（ステップＳ４００）。次に、テキスト生成部１３８は、交通参加者および道路環境の位置関係が自車両Ｍの運転制御に影響する可能性が高いか否かを判定する（ステップＳ４０２）。テキスト生成部１３８は、自車両Ｍの運転制御に影響する可能性が高いと判定した場合、交通参加者および道路環境の位置関係の出力優先度を高くする（ステップＳ４０４）。テキスト生成部１３８は、自車両Ｍの運転制御に影響する可能性が高いと判定しなかった場合、ステップＳ４０６に処理を進める。

テキスト生成部１３８は、交通参加者同士の位置関係を導出する（ステップＳ４０６）。次に、テキスト生成部１３８は、交通参加者同士の位置関係が自車両Ｍの運転制御に影響する可能性が高いか否かを判定する（ステップＳ４０８）。テキスト生成部１３８は、自車両Ｍの運転制御に影響する可能性が高いと判定した場合、交通参加者同士の位置関係の出力優先度を高くし（ステップＳ４１０）、テキストの全体をテキスト生成部１３８の保持するテンプレートを用いることで所定の文法に従って整形する（ステップＳ４１２）。テキスト生成部１３８は、自車両Ｍの運転制御に影響する可能性が高いと判定しなかった場合、ステップＳ４１２に処理を進める。以上、本フローチャートの処理を終了する。

［テキスト解析］
テキスト解析部１４２は、テキスト生成部１３８により出力されたテキストに基づいて、目標軌道を生成する。テキスト解析部１４２は、例えば、図９、図１３および図１５に示すテキストが、周辺状況を的確に表現しているか、すなわちテキストに示された状況が実際に起こり得るか否かを解析する。テキスト解析部１４２は、テキストが示す事象が実際に起こり得ると解析した場合には、そのテキストが示す事象を考慮して目標軌道を生成する。テキスト解析部１４２は、テキストが示す事象が実際に起こり得ると解析しなかった場合には、そのテキストを破棄して、事象が起こり得ると解析したテキストのみから目標軌道を生成する。

例えば、テキスト生成部１３８が、図１４に示す周辺状況に基づいて、「トラックＴ２が中央分離帯ＭＳ上を走行する。（There is a truck 0 on the median strip.）」といったトラックＴ２および中央分離帯ＭＳの属性上起こり得ない文が含まれるテキストを生成し、テキスト解析部１４２に出力する。テキスト解析部１４２は、テキスト生成部１３８によって出力されたテキストが示す事象が実際に起こり得ると解析しなかった場合には、「トラックＴ２が中央分離帯ＭＳ上を走行する。」に該当する箇所を破棄して、破棄した箇所以外のテキストから目標軌道を生成してもよいし、テキスト全体を破棄してテキスト生成部１３８に再度テキストを生成させてもよい。

テキスト生成部１３８により出力されたテキストには、周辺状況認識部１３２により認識された認識結果と比較して、自車両Ｍの運転制御に関係する対象物の認識結果が淘汰された状態であるといえる。したがって、テキスト解析部１４２によってテキスト生成部１３８が生成したテキストから目標軌道が生成する際の規格統一が行い易く、目標軌道生成に要する処理コストを削減することができる。

周辺状況認識部１３２により認識された認識結果に細かな差異がある場合であっても、同様の事象を示しておりグループ化してもよい場合がある。テキスト生成部１３８によって周辺状況認識部１３２により認識された認識結果を示すテキストを生成することで、無視してもよい程度の細かな差異については情報を除外したり、情報の優先度を下げることによって、テキスト解析部１４２によって行われる目標軌道の予測精度を高めることができる。

また、テキスト解析部１４２によって行われる目標軌道の生成に不要なテキストの一部を削除してもよい。テキスト解析部１４２は、例えば、図１３に示すテキストの第７段落に示された街灯Ｄ１−Ｄ３に関するテキストは、目標軌道が生成する際に用いられる優先度が低いことから、テキストの一部または全部を破棄してもよいと解析して、テキストを記憶するテキスト記憶部１５２から削除する。

上述したように本実施形態の車両制御装置１によれば、自車両Ｍ周辺状況を認識する周辺状況認識部１３２と、周辺状況認識部により認識された交通参加者および道路環境の種別や、自車両Ｍと交通参加者および道路環境との位置関係を示す単語または語句を選択するオブジェクト認識部１３４と、周辺状況認識部１３２により認識された周辺状況を示すテキストを生成するテキスト生成部１３８とを備えることにより、自車両の周辺状況の認識結果を示すテキストに基づいて周辺状況の変化を予測することで、より予測精度を高めることができる。

［ハードウェア構成］
図１７は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００−３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００−４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、認識部１３０および行動計画生成部１４０が実現される。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
車両周辺状況を認識させ、
認識された周辺状況に基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行させ、
前記周辺状況認識部により認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択するオブジェクト認識部と、
前記オブジェクト認識部の選択した前記対象物の種別を示す単語と、前記オブジェクト認識部の選択した前記車両と前記対象物との位置関係を示す単語を含むテキストであって、前記周辺状況を説明するテキストを生成するテキスト生成部と、を備え、
前記運転制御部は、前記テキスト生成部の生成したテキストに基づいて前記運転制御を実行する、
ように構成されている、車両制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両制御装置、１０…カメラ、１２…レーダ装置、１４…ファインダ、１６…物体認識装置、２０…通信装置、３０…ＨＭＩ、４０…車両センサ、５０…ナビゲーション装置、６０…ＭＰＵ、８０…運転操作子、１００…自動運転制御装置、１２０…第１制御部、１３０…認識部、１３２…周辺状況認識部、１３２Ａ…周辺状況記憶部、１３４…オブジェクト認識部、１３６…交通シーン選択部、１３８…テキスト生成部、１４０…行動計画生成部、１４２…テキスト解析部、１５０…交通シーン記憶部、１５２…テキスト記憶部、１６０…第２制御部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置、Ｍ…自車両

Claims (8)

1. 車両周辺の対象物の種別および前記車両との位置関係を認識する周辺状況認識部と、
   前記周辺状況認識部により認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択するオブジェクト認識部と、
   前記オブジェクト認識部により選択された前記対象物の種別を示す単語と、前記オブジェクト認識部の選択した前記車両と前記対象物との位置関係を示す単語を含み、所定の文法に従い生成されるテキストであって、前記周辺状況認識部により認識された周辺状況を説明する前記テキストを生成するテキスト生成部と、
   を備える、認識処理装置。
2. 前記テキスト生成部は、
   前記対象物のうち、前記車両への影響が大きい前記対象物を識別して優先度を設定し、前記優先度が高い前記対象物を含む前記周辺状況を説明する前記単語を優先的に前記テキストに含める、
   請求項１に記載の認識処理装置。
3. 前記テキスト生成部は、
   前記対象物のうち、前記車両への影響が大きい前記対象物を識別して優先度を設定し、前記優先度が高い前記対象物を含む前記周辺状況を説明するテキストを、優先的に前記テキストを構成する段落のうちより上位の段落に配置させる、
   請求項１または２に記載の認識処理装置。
4. 前記テキスト生成部は、
   前記対象物のうち、前記車両への影響が大きい複数の前記対象物の位置関係を識別して優先度を設定し、前記優先度が高い前記対象物の位置関係を含む前記周辺状況を説明する前記単語を優先的に前記テキストに含める、
   請求項１から３のいずれか一項に記載の認識処理装置。
5. 請求項１から４のいずれか一項に記載の認識処理装置と、
   前記テキストに基づいて周辺状況の変化を予測するテキスト解析部と、
   前記認識処理装置の前記テキスト生成部により生成されたテキストに基づいて、前記車両の操舵または加減速のうち一方または双方を制御する運転制御を実行する運転制御部と、
   を備える車両制御装置。
6. 前記テキスト解析部は、
   前記テキストが前記対象物の属性上起こり得る前記周辺状況を示すテキストであるかを解析し、前記対象物の属性上起こり得る前記周辺状況を示すテキストであると解析した場合には、前記テキスト生成部の生成した前記テキストを出力し、前記対象物の属性上起こり得る前記周辺状況を示すテキストであると解析しなかった場合には、前記テキスト生成部の生成したテキストを破棄する、
   請求項５に記載の車両制御装置。
7. コンピュータが、
   車両周辺の対象物の種別および前記車両との位置関係を認識し、
   認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択し、
   選択された前記対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を含み、所定の文法に従い生成されるテキストであって、認識された周辺状況を説明する前記テキストを生成する、
   認識制御方法。
8. コンピュータに、
   車両周辺の対象物の種別および前記車両との位置関係を認識させ、
   認識された対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を選択させ、
   選択された前記対象物の種別を示す単語と、前記車両と前記対象物との位置関係を示す単語を含み、所定の文法に従い生成されるテキストであって、認識された周辺状況を説明する前記テキストを生成させる、
   プログラム。

Images