JP2019034714A - 複数車両環境における自律的車両目標のための自律的動作 - Google Patents

Abstract

【課題】複数車両環境用の自律的車両目標に関連する一組の自律的車両状態セット内の状態の進行のための装置および方法を提供する。【解決手段】別の車両の判別された車両状態を生成するために複数車両環境の別の車両の車両状態が判別され、ここで別の車両は自律的車両目標に影響を及ぼすように動作している。判別された車両状態に基づいて自律的車両状態セットのうちの現在の自律的車両状態についての適応ポリシーが形成され、適応ポリシーから、自律的車両状態セットのうちの後続する自律的車両状態まで進行するための自律的車両アクションが生成される。自律的車両状態セットのうちの後続する自律的車両状態までの進行をもたらすために自律的車両アクションが伝送される。【選択図】図６

Description

本明細書中に記載の主題は、概して、車両環境装置内における自律的車両動作に関し、より詳細には、複数車両環境内で自律的車両目標を達成するための自律的車両動作に関する。

概して、自律的車両は、起点と目的地を有する軌道計画を走行するための自律的運転機能を実施するために、制御システムアーキテクチャを使用してきた。起点から目的地まで走行するというより大きな目標を達成するために、軌道計画は、具体的なランドマークにおいて「右左折する」、指定された制限内の速度で走行する、などのより小さい目標へと解析（parse）された。完全にまたは部分的に自律的でない可能性のある他の車両には、軌道計画を共有しかつ／または道路上の自律的車両と他の形で走行経路を調和させる能力が無かった。１つの戦略は、これらの他の車両を自律的車両との関係における定常環境の一部とみなし、単にこの環境がより頻繁に変化したと考える、というものであった。同様に、これらの環境を査定するための高いサンプリングおよび走査速度は、自律的車両の適時の決断を有効に可能にするのに充分な時間閾値内で処理しアクセスすべき大量のデータを生み出した。複数車両環境内での他の車両の非恒常的または非静的動作も同様に考慮に入れながら（加速すべきか否か、減速すべきか否かなどの）適時のアクション決断を形成する目的で複数車両環境内での自律的車両の決断を最適化することのできる方法および装置に対するニーズが存在する。

複数車両環境における自律的車両の動作のための装置および方法が開示されている。自律的車両の動作は、自律的車両状態セットを含む自律的車両目標を提供し、ここで、複数車両環境の別の車両がこの自律的車両目標に影響を及ぼす。自律的動作による複数車両環境の能動的な走査および検知を必要とすることなく、別の車両の判別された車両状態を考慮しながら自律的車両状態セットのうちの後続する状態まで進行するための、自律的車両アクションが選択される。

一実施形態においては、複数車両環境用の自律的車両目標に関連する一組の自律的車両状態セット内の状態の進行のための方法が開示されている。別の車両の判別された車両状態を生成するために複数車両環境の別の車両の車両状態が判別され、別の車両は自律的車両目標に影響を及ぼすように動作している。判別された車両状態に基づいて自律的車両状態セットのうちの現在の自律的車両状態についての適応ポリシーが形成され、適応ポリシーから、自律的車両状態セットのうちの後続する自律的車両状態まで進行するための自律的車両アクションが生成される。自律的車両アクションは、自律的車両状態セットのうちの後続する自律的車両状態までの進行をもたらすために伝送される。

別に実装においては、複数車両環境における自律的車両の動作のための車両制御ユニットが開示されている。車両制御ユニットは、無線通信インタフェース、プロセッサおよびメモリを含む。無線通信インタフェースは、車両ネットワークとの通信に供用するために動作可能である。プロセッサは、無線通信インタフェースおよび複数の車両センサ装置に対し通信可能な形で結合されている。メモリは、プロセッサに対して通信可能な形で結合され、自律的車両目標のための自律的車両状態セットの各々の状態進行について、複数車両検出モジュールおよび強化学習モジュールを記憶している。複数車両検出モジュールは、プロセッサによって実行された場合に、プロセッサに、複数の車両センサ装置の第１の部分に基づいて複数車両環境の別の車両の車両状態を判別して、別の車両の判別された車両状態を生成させる命令を含み、ここで別の車両は、自律的車両目標に影響を及ぼすように動作する。強化学習モジュールは、プロセッサによって実行された場合に、プロセッサに、複数の車両センサ装置の第２の部分に基づいて複数車両環境に関係する自律的車両の動作についての受動的動的データを検索させる命令を含む。強化学習モジュールは、判別された車両状態および受動的動的データに基づいて、自律的車両目標に関連する複数の自律的車両状態のうちの現在の自律的車両状態のための適応ポリシーを形成する。この適応ポリシーから、強化学習モジュールは、自律的車両状態セットのうちの後続する自律的車両状態まで進行するために適応ポリシーから自律的車両のアクションを形成し、自律的車両状態のうちの後続する自律的車両状態までの進行をもたらすために自律的車両アクション指令を伝送する。

複数の図を通して、同様の参照番号は同様の部分を意味している添付図面を参照しながら説明が行なわれ、図面は次の通りである：

図１は、複数車両環境内で自律的車両の動作を提供するための車両制御ユニットを含む車両の概略的例示である。 図２は、図１の車両制御ユニットのブロック図を例示する。 図３は、複数車両環境内での自律的車両の動作のための強化学習構造を伴う機能的モジュールブロック図を例示する。 図４は、図３の強化学習モジュールの一実施例の機能的モジュールブロック図を示す。 図５は、自律的動作機能性を有する車両および別の車両を含む複数車両環境の一実施例を示す。 図６は、複数車両環境内で自律的車両目標まで進行するための、自律的動作ための例示的プロセスを示す。

本明細書では、自律的車両目標のための複数車両環境用の自律的車両動作について説明する。例示的方法では、複数車両環境内の別の車両が自律的車両目標に影響を及ぼすか否かが考慮される（例えば別の車両を含む車線の交通の流れとの合流）。自律的車両ソリューションでは、別の車両を、自律的車両との関係における定常な、または予測可能な車両環境の一構成要素として考慮していた。これとは対照的に本明細書中の例示的方法および実施形態では、車両目標を達成する目的で車両のソリューションを形成するため、別の１つまたは複数の車両の車両アクションが考慮されている。

図１は、複数車両環境１１６において自律的車両動作を提供するための車両制御ユニット１１０を含む車両１００の概略的例示である。

ここで分かるように、車両１００は、自動車、軽トラック、貨物輸送車両または他の任意の乗用車または非乗用車両であり得る。

複数の物体センサ装置１０２−１、１０２−２、１０３−３、１０２−４、１０２−５および１０２−６（全体として、物体センサ装置１０２）は、別の車両１５０が車両１００についての軌道計画１３４との関係における自律的車両目標に影響を及ぼすように動作し得る複数車両環境１１６を査定するために制御ユニット１１０と通信状態にある。車両１００の軌道情報（および自律的車両状態）は、概して、軌道計画１３４、車両速度、車両メーカー、車両モデル、ファームウェア設備、目的地地点、および、ＧＰＳおよび／またはマッピング技術上で位置設定され得るさまざまな既定のマーカーにおける軌道点動作（例えば、減速、停止、右左折、加速、交通の流れとの合流など）を含み得る。

同様に、軌道情報は、中間自律的車両目標も含み得る。すなわち、車両制御ユニット１１０は、信号、通りにおける右左折など、交通信号マーカーのための加速または減速などの目標を概して静的なものとして識別し得る。一方で、複数車両環境１１６の場合などには、中間自律的車両目標は、別の車両１５０に関連して動的であり得る。このような自律的車両目標は、図２〜６を参照しながら詳述されるように、例えば合流車線を介して高速道路へ、現在の交通車線から隣接する交通車線へ、出口車線から側道車線へなど、別の車両１５０を伴う交通の流れの中への車両１００による合流を含み得る。便宜上、自律的相互作用は、別の車両１５０の速度および進路の変動および交通合流などの中間自律的車両目標に対して結果としてもたらされる効果を無視して、静的および／または恒常なものとして別の車両１５０の挙動をモデリングする場合がある。

複数の物体センサ装置１０２は、車両１００の外部表面上に位置付けされ得、あるいは、美観上から車両１００との関係において隠された形で位置付けされてもよい。物体センサ装置１０２と車両制御ユニット１００を含めた車両制御ユニットとの間の通信は、バスベースであってよいが、同様に、車両１００の他のシステムによって使用されるかまたは動作させられてもよい。

例えば、物体センサ装置１０２は、Ｂｏｄｙ Ｅｌｅｃｔｒｏｎｉｃ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＢＥＡＮ）、Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＣＡＮ）バス構成、Ａｕｄｉｏ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＡＶＣ−ＬＡＮ）構成および／または車両１００の装置およびシステム間の通信を提供するための追加の通信システムアーキテクチャの他の組合せなどのネットワークアーキテクチャの組合せによって結合されてよい。

例示的物体センサ装置１０２の出力は、検知用信号を介して複数車両環境１１６の別の車両が自律的車両物体に影響を及ぼすか否かを決定するために、車両制御ユニット１１０によって使用されてよい。そのような場合、物体センサ装置１０２は、検知用信号１５２を介して、車両１００を基準にして別の車両１５０の車両状態を判別することができる。

物体センサ装置１０２は、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ（ＬＩＤＡＲ）システムによって提供されてよく、ここで、物体入力装置１０２は、車両１００の環境１１６内の物理的物体からのレーザ光の戻りに関連するデータを捕捉することができる。物体センサ装置１０２は同様に、レーザ（ＬＩＤＡＲ）とミリ波レーダ装置の組合せを含むこともできる。ＬＩＤＡＲおよびレーダベースの装置は、物体の速度（すなわち相対的および／または絶対的速度）と共に物体を検知するように動作し得る。

物体センサ装置１０２は、深さ画像を捕捉するため、または捕捉画像についての深さ情報を他の形で生成するために、単独でまたは組合せた形で動作してよい。例えば、物体センサ装置１０２は、画像（視覚的および非視覚的スペクトル波長、可視および非可聴波長など）を捕捉するように構成されてよい。

この点において、物体センサ装置１０２は、検知用信号１５２を介して複数車両環境１１６の別の車両１５０の距離ベクトル測定を決定するように動作可能である。

例えば、物体センサ装置１０２の各々は、構造化光、飛行時間（例えばドップラ検知用信号のもの）、光検出測距（ＬＩＤＡＲ）、光照射野および、別の車両１５０の深度／距離、方向および／または速度を決定するための他の情報を検知および／または分析するように構成されていてよい。

動作中、多数のセンサ１０２−１〜１０２−６を組合わせて、または独立して使用して物体を検出することができる。一実施例において、物体センサ装置１０２−１、１０２−２、１０３−３は、車両１００の前方の物体を検出するために動作でき、物体センサ装置１０２−４、１０２−５および１０２−６は、車両１００の後方の物体を検出するために動作することができる。

同様に、物体センサ装置１０２の各々は、それぞれの空間的部分に基づいて集合的物体パラメータ検出を提供するためにそれぞれの機能を実装することができる。例えば、物体センサ装置１０２−１は、別の車両１５０などの物体を検出するために動作することができ、物体センサ装置１０２−２は、車両１００との関係において別の車両１５０の物体速度を検出するために動作することができる。さらに物体センサ装置１０２−３は、別の車両１５０などの物体の検知および／または検出を確証するために、物体センサ装置１０２−１との組合せで動作することができる。ここで分かるように、物体の速度を、物体センサ装置１０２を介して決定してよく、物体の連続的な位置検出測定およびそれに基づいて運動の速度および／または方向を計算すること（例えば運動ベクトルを形成するため）によって外挿することができる。

同様に、物体センサ装置１０２のそれぞれのサブセットは、他の物体センサ装置サブセットと組合わせた形で動作してよく、所望される検知機能および／または利用分野用に交番式または非同期的、同時または個別的ベースで動作することもできる。

動作中、車両制御ユニット１１０は、物体センサ装置１０２により出力され得る車両センサデータを受信するように動作することができる。物体センサ装置１０２は、軌道計画１３４に沿って、速度Ｖ₁₀₀で走行しながら車両１００を取り囲むエリア内の物理的物体からのレーザ戻りに関連する車両センサデータを捕捉し送信することができる。一例として、検知用信号１５２の信号の戻りは、車両経路のマーキング、例えばセンタライン、車線ラインおよび車両経路１３４の縁部、交通標識など、ならびに別の車両１５０を標示し得る。

ここで分かるように、車両制御ユニット１１０は、複数車両環境１１６のための自律的車両目標を選択するために動作し得る。自律的車両目標は、軌道計画１３４および／または車両制御ユニット１１６による短期自律的制御に基づくものであり得る。自律的車両目標に関して、車両制御ユニット１１０は、１組の自律的車両状態セットを識別し、複数車両環境の別の車両１５０が自律的車両目標に影響を及ぼすか否かを決定することができる。

車両環境１１６の別の車両１５０が自律的車両目標に影響を及ぼす場合、車両制御ユニット１１０は、別の車両１５０の判別された車両状態をも考慮しながら、自律的車両目標を達成するために自律的車両状態セットを通して進行するように動作する。車両制御ユニット１１０は、別の車両１５０の判別された車両状態に基づいて、車両１００のための自律的車両状態セットのうちの現在の自律的車両状態に対する適応ポリシーを形成するように動作することができる。適応ポリシーは、車両目標の自律的車両状態セットのうちの後続する自律的車両状態まで進行するための自律的車両アクションを形成する。車両制御ユニット１１０は、自律的車両状態セットのうちの後続する自律的車両状態まで進行させるための車両アクションを伝送し得る。このように車両状態セットを通して再帰的に進行することにより、車両制御ユニット１１０は、図２〜６を参照しながら詳述されるように、複数車両環境１１６内の自律的車両目標を満たすことができる。

図２は、図１の車両制御ユニット１１０のブロック図を例示する。図２は、バス２０８を介して通信可能な形で結合されている無線通信インタフェース２０２、プロセッサ２０４およびメモリ２０６を含む車両制御ユニット１１０のブロック図である。車両制御ユニット１１０は、図１〜６を参照して詳述される装置および方法のための例示的プラットフォームを提供することができる。

プロセッサ２０４は、従来の中央処理ユニットまたは情報を操作または処理できる任意の他のタイプの装置または多数の装置であり得る。ここで分かるように、プロセッサ２０４は、単一の処理装置または複数の処理装置であってよい。このような処理装置は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、フィールドプログラマブルゲートアレイ、プログラマブル論理装置、状態機械、論理回路、アナログ回路、デジタル回路、および／または回路および／または動作命令のハードコーディングに基づき信号（アナログおよび／またはデジタル）を操作する任意の装置であってよい。

メモリ（および／またはメモリエレメント）２０６は、プロセッサ２０４に対して通信可能な形で結合され得、本明細書中に記載の１つ以上のモジュールを記憶するように動作することができる。モジュールは、実行された場合に本明細書中に記載のさまざまなプロセスおよび／またはオペレーションのうちの１つ以上をプロセッサ２０４に実施させる命令を含むことができる。

メモリおよび／またはメモリエレメント２０６は、単一のメモリ装置、複数のメモリ装置、および／またはプロセッサ２０４の埋込み型回路であってよい。このようなメモリ装置は、読取り専用メモリ、ランダムアクセスメモリ、揮発性メモリ、不揮発性メモリ、スタティックメモリ、ダイナミックメモリ、フラッシュメモリ、キャッシュメモリ、および／またはデジタル情報を記憶する任意の装置であってよい。さらに、本明細書中に記載の配置は、コンピュータ可読プログラムコードが上に具体化、例えば記憶された１つ以上のコンピュータ可読媒体の形で具体化されたコンピュータプログラムプロダクトの形を取ることができる。１つ以上のコンピュータ可読媒体の任意の組合せを利用してよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。

「コンピュータ可読記憶媒体」は、非一時的記憶媒体を意味する。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線または半導体システム、装置または装置、あるいはこれらの任意の好適な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的リスト）としては、以下のものが含まれると思われる：すなわち、ポータブルコンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、ポータブルコンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、光学記憶装置、磁気記憶装置またはこれらの任意の好適な組合せ。本明細書に関連して、コンピュータ可読記憶媒体は、命令実行システム、装置または装置によるまたはこれらに関連した使用のためのプログラムを格納または記憶できる任意の有形媒体であってよい。コンピュータ可読媒体上に具体化されたプログラムコードは、非限定的に無線、有線、光ファイバ、ケーブル、ＲＦなどまたはこれらの任意の好適な組合せを含む、任意の適切な媒体を使用して伝送されてよい。

メモリ２０６は、機械可読命令または命令を記憶でき、こうしてプロセッサ２０４が機械可読命令にアクセスできるようになっている。機械可読命令は、プログラミング言語およびその各世代（例えば１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬまたは５ＧＬ）、例えばプロセッサ２０４により直接実行され得る機械語、またはアセンブリ言語、オブジェクト指向プログラミング（ＯＯＰ）、例えばＪＡＶＡ、Ｓｍａｌｌｔａｌｋ、Ｃ⁺⁺など、従来の手続き型プログラミング言語、スクリプト言語、マイクロコードなど、機械可読命令へとコンパイルまたはアセンブルされメモリ２０６内に記憶され得る言語で書かれた論理またはアルゴリズムを含むことができる。代替的には、機械可読命令は、ハードウェア記述言語（ＨＤＬ）例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）構成かまたは特定用途向け集積回路（ＡＳＩＣ）、またはそれらの等価物を介して実装される論理で書かれていてもよい。したがって、本明細書中に記載の方法および装置は、予めプログラムされたハードウェア素子として、またはハードウェアおよびソフトウェア構成要素の組合せとして、任意の従来のコンピュータプログラミング言語で実装され得る。

プロセッサ２０４が２つ以上の処理装置を含む場合、処理装置は中央に位置設定（例えば有線および／または無線バス構造を介して直接合わせて結合）されてよく、あるいは分散して位置設定（例えばローカルエリアネットワークおよび／または広域ネットワークを介した間接的結合によるクラウドコンピューティング）されてもよい、ということに留意されたい。さらに、プロセッサ２０４が、状態機械、アナログ回路、デジタル回路および／または論理回路を介してその機能の１つ以上を実装する場合、対応する動作命令を記憶するメモリおよび／またはメモリエレメントは、状態機械、アナログ回路、デジタル回路および／または論理回路を含めた回路の内部に埋込まれるかまたはこの回路の外部にあってよいという点に留意されたい。

さらにまた、メモリ２０６は、図１〜６に例示されたステップおよび／または機能の少なくともいくつかに対応するモジュールのハードコーディングされた命令および／または動作命令を記憶し、プロセッサ２０４はそれを実行する、という点に留意されたい。

車両制御ユニット１１０は、本明細書中にその少なくともいくつかが記載されている１つ以上のモジュールを含むことができる。モジュールは、プロセッサ２０４によって実行された場合に本明細書中に記載のさまざまなプロセスの１つ以上を実行するコンピュータ可読プログラムコードとして実装可能である。モジュールの１つ以上は、プロセッサ２０４の一構成要素であり得、あるいはモジュールの１つ以上を、プロセッサ２０４が動作可能な形で接続されている他の処理システム上で実行させる、および／またはこれらのシステムの間で分散させることも可能である。モジュールは、１つ以上のプロセッサ２０４により実行可能な命令（例えばプログラム論理）を含むことができる。

無線通信インタフェース２０２は概して、車両ネットワーク２１２を介して受信したデータを支配し管理する。任意の特定のハードウェア配置上で動作する本開示に対する制約は全く無く、したがって、本明細書中の基本的特徴は、開発される可能性のある改良型のハードウェアおよび／またはファームウェア配置のために、置換、除去、追加または他の形で修正されてもよい。

アンテナ１１２は、全地球測位システム衛星により伝送される電磁信号と相互作用する１つ以上の導体素子を含み得る。受信された信号は、場所（例えば緯度および経度位置）を表わす、さらには道路データとの関係における車両の位置付けを表わすデータ信号へと変換されてよい。

車両制御ユニット１１０は、例えば車両制御ユニット１１０のアンテナ１１２または他のこのような車両アンテナ（図示せず）を介して、全地球測位システム衛星からの信号を受信するために通信可能な形で結合され得る。アンテナ１１２は、無線通信１１２を通した車両制御ユニット１１０との通信を提供するように動作する。ここで分かるように、無線通信１１２は、別の車両１５０に関し得る車両の動作データ１４０を受信する目的で、車両間（Ｖ２Ｖ）通信、車両・インフラ間（Ｖ２Ｉ）通信および／またはデータ／セルラ通信を搬送するために動作することができる（図１）。

無線通信１２２は、１つまたは多くの無線通信システム仕様に基づくものであってよい。例えば、無線通信システムは、非限定的に３ＧＰＰ（第３世代パートナシッププロジェクト）、４ＧＰＰ（第４世代パートナシッププロジェクト）、５ＧＰＰ（第５世代パートナシッププロジェクト）、ＬＴＥ（ロングタームエボリューション）、ＬＴＥ Ａｄｖａｎｃｅｄ、ＲＦＩＤ、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ、ＡＭＰＳ（先進移動電話サービス）、デジタルＡＭＰＳ、ＧＳＭ（汎欧州デジタル移動電話方式）、ＣＤＭＡ（符号分割多元接続）、ＬＭＤＳ（ローカル多地点配信システム）、ＭＭＤＳ（多チャンネル多地点配信システム）、ＩｒＤＡ、無線ＵＳＢ、Ｚ−Ｗａｖｅ、ＺｉｇＢｅｅ、および／またはそれらの変形形態を含めた１つ以上の標準仕様にしたがって動作し得る。

ここで分かるように、車両ネットワーク２１２の通信路２１３は、例えば導線、導電性トレース、光導波路などの、信号を伝送するのに好適な媒体で形成されてよい。さらに、通信路２１３を、信号を伝送できる媒体の組合せで形成することもできる。

一実施形態において、通信路２１３は、プロセッサ、メモリ、センサ、入力装置、出力装置および通信装置などの構成要素に対する電気データ信号の伝送を可能にするように協働する導電性トレース、導線、コネクタおよびバスの組合せを含んでいてよい。

したがって、通信路２１３は、車両バスまたはその組合せ、例えばＢｏｄｙ Ｅｌｅｃｔｒｉｃ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＢＥＡＮ）、Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＣＡＮ）バス構成、Ａｕｄｉｏ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ−Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＡＶＣ−ＬＡＮ）構成、Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ（ＬＩＮ）構成、Ｖｅｈｉｃｌｅ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＶＡＮ）バス、および／または車両１００の装置およびシステムの間の通信を提供するための追加の通信・システムアーキテクチャの他の組合せによって提供され得る。

「信号」なる用語は、本明細書中に記載の媒体の少なくともいくつかを通って伝播できる波形（例えば電気的、光学的、磁気的、機械的または電磁的）、例えばＤＣ、ＡＣ、正弦波、三角波、方形波、振動などに関係するものと理解されてよい。

車両制御ユニット１１０のそれぞれのモジュールおよび付随する命令は、図３〜６を参照して詳述されるように、プロセッサ２０４により実行された場合に、このプロセッサ２０４に物体センサ装置１０２（図１）からの車両センサデータ２１６を受信させ、少なくとも部分的に車両センサデータ２１６に基づいて自律的車両アクション指令１２４を生成させる。

図３は、車両制御ユニット１１０のためのメモリ２０６内に記憶された機能的モジュールブロック図を例示し、ここで、メモリ２０６は複数車両検出モジュール３０８および強化学習モジュール３１２を記憶することができる。メモリ２０６は同様に、フィードバックモジュール３１８および自律的車両データモジュール３１４を記憶することもできる。

車両検出モジュール３０８は、別の車両のための動作データ３０６を受信し得る。動作データ３０６は、別の車両により伝送された車両動作データ１４０、および／または別の車両１５０（図１）の観察に関係する車両センサデータ２１６−１５０（例えば、物体センサ装置１０２データ出力）に基づいていてよい。車両についての自律的車両状態３２２に関するデータとの関係において、車両センサデータ２１６−１００は、車両１００の動作に関係する車両センサデータ２１６（例えば、車両速度センサ（ＶＳＳ）データ出力、慣性測定ユニット（ＩＭＵ）データ出力など）に関係する。

動作データ３０６に基づいて、複数車両検出モジュール３０８は、プロセッサによって実行された場合にこのプロセッサに複数車両環境の別の車両の車両状態を判別させて自律的車両目標に影響を及ぼし得る別の車両の判別された車両状態を生成する命令を介する。例えば、自律的車両目標が交通の流れと合流することになる可能性がある場合（例えば道路および／または高速道路上へ）、別の車両が自律的車両目標に影響を及ぼす可能性があるが、これは自律的車両が別の車両の動作状態を要因として考慮しないときには衝突および／または回避アクションが必然的に発生し得るからである。この点において、合流の目標は、自律的車両が充分な間隔を取ってかつ別の車両（または他の車両全般）との衝突無く安全に流れの中に移行することであり得る。

強化学習モジュール３１２は、判別された車両状態３１０および自律的車両１００に関係する車両センサ装置２１６−１００に基づく自律的車両状態３２２を受信する。ここで分かるように、強化学習構造は、自律的車両アクション指令１２４を基礎として用いるべく制御ダイナミクスを生成するのに、環境の能動的サンプリングに依存していた。調査コストは過剰となる可能性があり、その結果、適時のアクション決断に到達するために時間および処理およびサンプリングオーバーヘッドがかかり過ぎることを理由として、衝突またはニアミスを導く可能性のある楽観的な操作を自律的車両に試みさせることを受容できない可能性がある。

したがって、強化学習モジュール３１２は、受動的動的データを検索するために自律的車両データセットモジュール３１４にアクセスしてよい。自律的車両データセットモジュール３１４は、車両１００に関係する部分的に公知のシステムダイナミクスモデルをサンプリングし、開発しメモリ２０６内に記憶するように動作する。モデルは、（ａ）制御ダイナミクスデータと（ｂ）受動的環境ダイナミクスデータとを含む。制御ダイナミクスデータは、車両１００の自律的制御（速度パラメータ、方向パラメータ、加速パラメータ、減速パラメータなど）と符合する。環境ダイナミクスデータ（例えば、道路上の平均速度、別の車両１５０との過去の相互作用／シミュレーション、環境内の気候条件など）は、能動的に収集されておらず、その代りに自律的車両１００と符合する先に収集され記憶された状態遷移および／またはシミュレーションデータに基づくものであり得るという点で、受動的であり得る。

こうして、環境ダイナミクスデータは、車両１１０と結びつけられた位置−ベクトルデータに基づいて軌道計画１３４の道路部分に、そして判別された車両状態３１０を介して別の車両１５０と結びつけられる位置−ベクトルデータに関係し得る。

フィードバックモジュール３１８は、車両動作データ１４０および／または車両センサデータ２１６−１５０に基づいて別の車両の動作データを受信し、自律的車両アクション指令１２４の結果に関係する報酬データ３２０−１５０を決定する。車両センサデータ２１６−１００との関係におけるに自律的車両状態３２２に基づいて、さらなる報酬または強化を決定してよい。

図４は、図３の強化学習モジュール３１２の一実施例の機能的モジュールブロック図を例示する。ここで分かるように、強化学習（ＲＬ）は、機械学習の一形態であり、人工頭脳（ＡＩ）の一態様とみなされ得る。強化学習モジュール３１２の１つの目標は、ポリシー決断に続いて状態値を予測し、最適なポリシーの達成に向けてポリシーを変更することにある。

強化モジュール３１２は、クリティックモジュール４０２とアクターモジュール４０６を含んでいてよい。クリティックモジュール４０２は、報酬データ３２０および車両センサデータ２１６−１００を介した自律的車両アクション１２４の帰結の観察に基づくものであり得る、強化フィードバック信号４０４の生成による状態評価を提供するために動作する。ここで分かるように、クリティックモジュール４０２は、アクションが先行する自律的車両アクション１２４で期待されるものに比べて改善したかまたは悪化したかについての標示を提供する時間的差異誤差の形をとり得る。時間的差異が正である場合、その自律的車両アクション１２４の選択に向かう傾向は強められると考えられる。報酬データの一般的な例として、正の報酬は、所望の軌道を首尾よくたどっていることを表わし、一方負の報酬は衝突（または所望の軌道を首尾よくたどらないこと）を表わし得る。

アクターモジュール４０６は、ポリシーπ改善を提供することができ、自律的車両アクション１２４がいかに「良好に」機能すると期待され得るか（すなわち将来の報酬）の値関数であるエージェントモジュール挙動関数および複数車両環境１１６のモデル表現を含むポリシーπ構成要素を含む。ポリシーπは、自律的車両状態から自律的車両アクション１２４に対してマッピングされ得るような車両の挙動とみなすことができる。ここで分かるように、ポリシーπは、決定論的ポリシー（例えばアクション「ａ」はπ（状態「ｓ」に等しい）であるか、または、ポリシーπ（アクション「ａ」｜状態「ｓ」）がマルコフの進行における次の自律的車両状態のための確率Ｐ［Ａｔ＝アクション「ａ」１２４｜Ｓｔ＝アクション「ｓ」］に等しい確率的ポリシーであることができる。

アクターモジュール４０６は、自律的動作の未来が現在の状態（位置、速度、方向など）および自律的車両アクション１２４に依存しているマルコフ形とみなされてよい。Ｓを状態セットとし、Ａ（ｓ）を状態Ｓにおいて可能なアクションのセットとし、ｐを状態「Ｓ」からの遷移の確率とし、ｒを、自律的車両アクションＡを状態Ｓで実行したときの期待報酬とし、γを期待報酬ｒについての割引率として、｛Ｓ、Ａ、ｐ、ｒ、γ｝によりマルコフ決断プロセスが定義される。

指摘された通り、強化学習モジュール３１２のための受動的アクタークリティック構造において、２つのデータソース、そのうちの１つは、受動的状態遷移（すなわち環境１１６に関するサンプリングおよび／またはシミュレーションされた車両アクション）上で収集された受動的動的データ、および自律的車両１００のための公知の制御ダイナミクスである。線形可解の連続マルコフ決断プロセス（Ｌ−ＭＤＰ）に適用され得るように、クリティックモジュール４０２は、受動的動的データ３１６から線形化ベルマン方程式に基づいて推定値を推定することができ、一方アクターモジュール４０６は、受動的動的データ３１６上の標準ベルマン方程式および自律的車両１００のための制御ダイナミクスモデルに基づいてポリシーπを最適化する（自律的車両アクション１２４を生成する）ために動作することができる。

図５は、車両１００および別の車両１５０を含む複数車両環境１１６の一実施例を示す。車両１００は、自律的車両目標５４６を選択し、本実施例については道路５６０の交通の流れに車両１００を合流させることである自律的車両目標に関係する自律的車両状態セット５４０、５４２、５４４、および５４６を識別する。自律的車両状態５４０、５４２、５４４および５４６は、車両制御ユニット１１０によって離散的サンプリング間隔により標示され得、概して、自律的車両目標５４６に向かう車両１００の進行の過小サンプリングおよび／または過大サンプリングを回避するように選択され得る。ここで分かるように、自律的車両状態の数は、離散的サンプリング間隔に基づいて増減し得る。

強化学習モジュール３１２の受動的アクタークリティック構造に関して（図４）、受動的動的データ３１６は、自律的車両１００による最適なポリシーπ（すなわち、合流車線５６２から道路５６０の交通の流れに合流するための所与の距離にわたる速度の増加）を可能にする。この実施例において、最適なポリシーπは、自律的車両目標５４６、すなわち交通の流れとの合流のための物理的特性の各々（例えば合流車線５６２の長さ、合流車線５６２のための平均速度、道路５６０の交通の流れと合流するために加速すべき速度など）を識別するために複数車両環境１１６の能動的調査に基づいていない。その代り、これらの特性は、受動的に収集されており、かつ／または車両制御ユニット１１０の強化学習モジュール３１２による使用のために環境モデルをレンダリングするためにシミュレートされ、こうして、そうでなければ環境および／または状況査定に割当てられる時間が削減される。

別の車両１５０は、車両１００の時間においてまたはおよそこの時間において自律的車両目標５４６を妨害し得ることから、車両１００の車両制御ユニット１１０を介して、自律的車両目標５４６に影響を及ぼすものと決定される。この点において、車両１００と別の車両１５０との間の衝突および／またはニアミスの可能性が結果として発生し得る。

ここで分かるように、例えば現在の交通車線から別の車両を含む隣接する交通車線への合流、出口車線から別の車両を含む側道車線への合流など、自律的車両１００の自律的車両目標に別の車両１５０が影響を及ぼす他の例示的シナリオも発生し得る。同様に実施例を簡略化するため、１台の車両１５０が自律的車両目標に影響を及ぼすものとして示されている。より激しい交通の流れ条件においては、数台の他の車両が自律的車両目標に影響を及ぼす可能性があり、自律的車両目標５４６に向かう自律的車両１００のアプローチを調整するために、追加の他の車両についての車両状態のさらなる検知および判別を実施することができる。

動作中、車両制御ユニット１１０は、検知用信号１５２（およびそれらのそれぞれの戻り）および／または無線通信１２２を介して車両制御ユニット１１０により受信された車両動作データ１４０（例えば車両制御ユニット１１０との関係における別の車両１５０の位置、速度、進行方向など）に基づいて、判別された車両状態５０２、５０４、５０６．．．などを生成することができる。この点において、車両制御ユニット１１０は、自律的車両目標５４６に向かって後続する自律的車両状態５４０まで進行するための自律的車両アクション（例えば加速レベル（ｍ／ｓ²））を形成するために適応ポリシーπを形成する上で反復的に別の車両１５０の動きを考慮に入れるように動作することができる。

動作中、車両制御ユニット１１０は、別の車両１５０の車両状態を判別して、判別された車両状態を生成することができる。別の車両１５０の判別された車両状態は、別の離散的時間的間隔に基づくものであってよい。車両制御ユニット１１０は、別の車両１５０の時間ｔ’における判別された車両状態Ｓとの関係における時間ｔにおける現在の自律的車両状態に対する適応ポリシーπを形成する。適応ポリシーπから、時間ｔにおける現在の自律的車両状態から時間ｔ＋１における自律的車両状態セットＳのうちの後続する自律的車両状態まで進行するために、自律的車両アクション（ｔ）５２２が生成される。明確さのため、自律的車両アクションは、合流車線５６２から道路５６０への合流のために充分な自律的車両１００と別の車両１５０の相対的速度に基づくものであり得る適応ポリシーπに基づく自律的車両の速度に関係するものであってよい。

自律的車両アクション（ｔ）５２２は、自律的車両状態セットのうちの後続する自律的車両状態への進行をもたらすために伝送され得る。すなわち、自律的車両アクション（ｔ）５２２は、車両パワートレインアクチュエータに対する自律的車両アクション（ｔ）５２２、自律的車両アクション（ｔ₁）５２６、自律的車両アクション（ｔ＋２）５３０などに基づいて制御データを生成することのできる、パワートレイン制御ユニットなどの自律的車両１００の他の車両制御ユニットに対して提供されてよい。

ここで分かるように、車両１００の他の車両制御ユニットは、車両制御ユニット１１０（図２）などと類似の構造を有することができる。同様に本明細書中で使用される「パワートレイン」なる用語は、動力を発生させその動力を路面、水または空気に送出する車両構成要素を表わし、エンジン、トランスミッション、駆動シャフト、差動装置およびこの動力を運動に伝達する最終駆動機構（例えば、駆動輪、軍用戦車またはキャタピラトラクタ内の連続軌道、プロペラなど）を含み得る。同様に、パワートレインは、車両１００の物理的ハンドルを通したまたはドライブバイワイヤおよび／またはドライブバイライトアクチュエータを介した、ハンドル角度制御を含み得る。

図５に示されているように、自律的車両状態セットのうちの後続する状態への進行には、現時間（ｔ）に関連する自律的車両アクション部分と、後続する自律的車両状態との関係における将来の時間的間隔（ｔ＋１）における報酬部分（例えばＳ_t+1における自律的車両状態５４０についての報酬（ｔ＋１））が含まれる。受動的アクタークリティックモジュール（図４）に基づく強化学習構造３１２においては、クリティックモジュール４０２は、達成されたか否かを決定するために知覚された報酬５２４を評価し、さらに、強化フィードバック信号４０４を介して適宜アクターモジュール４０６（図４）のポリシーπをさらに適応させるように動作することができる。

したがって、判別された車両状態５０２（例えば時間ｔ’から時間（ｔ’＋１）までの別の車両１５０の距離ｘの変化および速度ｖ_t’+1ｍ／ｓ）で、自律的車両状態５４０から後続する自律的車両状態５４２まで進行するために、自律的車両１００は、知覚された報酬（ｔ＋２）５２８（例えば、別の車両１５０の前方または後方の距離ｄ_t+1メートル）を伴って、自律的車両アクション（ｔ＋１）５２６（例えば加速度ａ_t+1ｍ／ｓ²）を実施する。

判別された車両状態５０４（例えば時間（ｔ’＋１）から時間（ｔ’＋２）までの別の車両１５０の距離ｘの変化および速度ｖ_t’+2ｍ／ｓ）で、自律的車両状態５４２から後続する自律的車両状態５４４まで進行するために、自律的車両１００は、知覚された報酬（ｔ＋３）５２８（例えば、別の車両１５０の前方または後方の距離ｄ_t+2メートル）を伴って、自律的車両アクション（ｔ＋２）５３０（例えば加速度ａ_t+2ｍ／ｓ²）を実施する。

判別された車両状態５０６（例えば時間（ｔ’+２）から時間（ｔ’＋３）までの別の車両１５０の距離ｘの変化および速度ｖ_t’+3ｍ／ｓ）に関して、自律的車両状態５４４から後続する自律的車両状態（および）自律的車両目標）５４６まで進行するために、自律的車両１００は、知覚された報酬（ｔ＋４）５３６（例えば、別の車両１５０の前方または後方の距離ｄ_t+4メートル）を伴って、自律的車両アクション（ｔ＋３）５３４（例えば加速度ａ_t+3ｍ／ｓ²）を実施する。

ここで分かるように、１つの自律的車両状態５４０、５４２、５４４および５４６からの自律的車両アクションは、互いに類似していない場合がある。同様に、別の車両１５０の速度および／または加速度は、判別された車両状態Ｓ_t’から判別された車両状態および初期時間ｔ’まで、恒常でない可能性がある。

図６は、複数車両環境内の自律的車両目標まで進行するための自律的動作についての例示的プロセス６００を示す。図６は、複数車両環境内の自律的車両目標まで進行するための例示的プロセス６００である。

動作６０２において、車両環境についての自律的車両目標が選択され、動作６０４において、自律的車両目標に関連する自律的車両状態セットを識別する。自律的車両状態は、自律的車両目標までの進行を査定するための離散的時間的間隔および／または周期とみなされてよい。自律的車両目標の一例は、進入車線から主要道路の交通の流れへの合流、現在の交通車線から別の車両を含む隣接する交通車線への合流、出口車線から別の車両を含む側道車線への合流などであり得る。

動作６０６では、車両環境の別の車両が、自律的車両目標に影響を及ぼすか否かについての決定が行なわれる。例えば静的環境という仮定の下では、自律的車両は、目標を完遂する上で他の物体および／または車両の動きを考慮に入れない。いくつかの事例においては、他の車両および／または物体が充分な距離だけ離れたところにありそれらが自律的車両の動作と干渉する確率が無視できるものであり得る場合など、この仮定が有効であり得る。

別の車両が動作６０８において自律的車両目標に影響を及ぼす場合には、本明細書中で論述されている方法および装置は、このような別の車両により導入される変数を考慮し、適応ポリシーπを通して、別の車両を考慮に入れ、自律的車両目標へと進行する自律的車両アクションを選択する。

渋滞シナリオ、例えば道路への合流が遭遇し得るシナリオにおいては、自律的車両目標に対する別の車両の効果が無視できるものでない確率が高くなる。その上、アクタークリティック制御構造は環境の能動的な現在のスキャニング／サンプリングに依存してきたことから、動的環境が、時宜を得た形でサンプリングおよび査定を行なうために、車両制御ユニットを凌駕する傾向を有し得る。概して、アクションの決断は、自律的車両が車両環境と対話するための許容時間ウィンドウ外に来る場合がある。

したがって、受動的アクタークリティック構造では、必要に応じて類似の環境内で想起され得る、受動的な記憶されたベースで収集された環境サンプルに基づいて、最適化および／または適応ポリシーπを開発することができる。この点において、自律的車両アクションは、能動的な環境スキャニングおよび査定に依存せず、その代りに、同じく別の車両を考慮に入れるために動作可能である適応ポリシーの下で生成されたアクションに焦点を当てる適応ポリシーπに基づいていてよい。

したがって、動作６１０では、別の車両に関係する車両状態が判別されて、判別された車両状態を生成する。動作６１２において、別の車両の判別された車両状態との関係における自律的車両状態セットのうちの現在の自律的車両状態についての適応ポリシーが形成される。概して、自律的車両アクションに関して達成された報酬に対して推定上の報酬を評価することにより、ポリシーπを適応させることができる。

例えばアクションが、後続する自律的車両の状態への到達に基づいて、および別の車両の判別された車両状態に基いて加速度を増大させることである場合、推定上の報酬は、速度を一定量だけ増大させ、後続する自律的車両状態において別の車両までの相対的距離を増大させることである。例えば、期待が及ばない場合（例えば他の車両がそれぞれの速度を自律的車両の速度を超えて増大させた場合）、後続するアクションはこのフィードバックに基づくものとなる。

同様に、ここで分かるように、自律的車両および別の車両の状態間隔のサンプリングおよび／または査定は、自律的車両アクション（例えば加速度の増減）についての充分な情報を得た上での決断を可能にするように、交互および／またはインターレース方式であり得る。

動作６１４においては、車両目標の自律的車両状態セットのうちの後続する自律的車両状態まで進行するための適応ポリシーに基づいて、自律的車両アクションが形成される。動作６１６において、自律的車両アクションは、自律的車両状態セットのうちの後続する自律的車両状態までの進行をもたらすために伝送される。例えば、パワートレイン制御ユニットなどの自律的車両１００の他の車両制御ユニットに対して自律的車両アクションを伝送することができる。パワートレイン制御ユニットは、適応ポリシーπにより形成された自律的車両アクションに基づいた制御データを生成するように動作することができ、このデータは後に車両パワートレインアクチュエータに提供される。

動作６１８において、自律的車両状態セットのうちの後続する自律的車両状態が同様に自律的車両目標である場合、プロセス６００は終了する。そうでなければ、プロセス６００は、動作６１０において、自律的車両状態セットの状態進行を続行する。

本明細書中では詳細な実施形態が開示されている。しかしながら、開示された実施形態は単なる一例として意図されたものであるということを理解すべきである。したがって、本明細書中で開示されている具体的な構造的および機能的詳細は、限定的なものとして解釈されるべきではなく、単にクレームのための根拠としておよび本明細書中の態様を事実上任意の詳細な構造内でさまざまな形で利用するように当業者に教示するための代表的根拠として解釈されるべきものである。さらに、本明細書中で使用されている用語および言いまわしは、限定的であるよう意図されておらず、むしろ考えられる実装の理解可能な説明を提供するべく意図されたものである。さまざまな実施形態が図１〜７に示されているが、実施形態は、例示された構造または利用分野に限定されない。

当業者であれば認識し得るように、本明細書中で使用され得る「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」または「おおよそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」なる用語は、その対応する用語および／または品目間の相対性に対して、業界で受容される誤差を提供している。品目間のこのような相対性は、数パーセントの差異から大きな差異にまで及ぶ。

当業者であればさらに認識し得るように、本明細書中で使用され得る「結合された（ｃｏｕｐｌｅｄ）」なる用語は、直接的結合および別の構成要素、要素、回路またはモジュールを介した間接的な結合を含み、ここで間接的結合については、介入する構成要素、要素、回路またはモジュールは、信号の情報を修正しないが、その電流レベル、電圧レベル、および／または電力レベルを調整することができる。同様に当業者であれば認識するように、推論上の結合（すなわち、推論によって１つの要素が別の要素に結合されている場合）は、「結合された（ｃｏｕｐｌｅｄ）」と同様に２つの要素間での直接的および間接的結合を含む。

「モジュール」なる用語が図面の描写内で使用されるように、モジュールは、出力信号を生成するための入力信号の処理などの１つ以上の機能を行なうハードウェア、ソフトウェアおよび／またはファームウェア内で実装される機能的ブロックを含む。本明細書中で使用されるように、モジュールは、それ自体モジュールであるサブモジュールを格納し得る。

図中の流れ図およびブロック図は、さまざまな実施形態に係るシステム、方法およびコンピュータプログラムプロダクトの考えられる実装のアーキテクチャ、機能性およびオペレーションを例示する。この点において、流れ図またはブロック図内の各ブロックは、規定の論理機能を実施するための１つ以上の実行可能な命令を含むモジュール、セグメントまたはコード部分を表わし得る。いくつかの代替的実装において、ブロック内で指摘された機能が、図中に記された順序から逸脱して発生し得るというということにも留意すべきである。例えば、連続して示された２つのブロックを、実際には、実質的に同時に実行してもよく、あるいは、時には関与する機能性に応じてブロックを逆の順序で実行してもよい。

上述のシステム、構成要素および／またはプロセスは、ハードウェアの形またはハードウェアとソフトウェアの組合せの形で実現でき、１つの処理システム内で集中的に、または異なる要素が複数の相互接続された処理システムを横断して広がっている分散型として、実現可能である。本明細書中に記載されている方法を実施するために適応されたあらゆる種類の処理システムまたは別の装置が適している。ハードウェアとソフトウェアの典型的な組合せは、ロードされ実行された場合に処理システムを制御してそれが本明細書中に記載の方法を実施するようにするコンピュータ使用可能なプログラムコードを伴う処理システムであり得る。

さらに、本明細書中に記載の配置は、コンピュータ可読プログラムコードが上に具体化、例えば記憶される１つ以上のコンピュータ可読媒体の形で具体化されたコンピュータプログラムプロダクトの形を取ることができる。１つ以上のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってよい。

本明細書中で使用される「ａ」および「ａｎ」なる用語は、１つまたは２つ以上として定義される。本明細書中で使用される「複数（ｐｌｕｒａｌｉｔｙ）」なる用語は、２つまたは３つ以上として定義される。本明細書中で使用される「別の（ａｎｏｔｈｅｒ）」なる用語は、少なくとも第２のもの以上として定義される。本明細書で使用される「ｉｎｃｌｕｄｉｎｇ（〜を含む、含めた）」および／または「ｈａｖｉｎｇ（〜を有する）」なる用語は、「ｃｏｍｐｒｉｓｉｎｇ（〜を含む）」（すなわちオープンランゲージ）として定義される。本明細書中で使用されている「…および…のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ…ａｎｄ…）」なる語句は、付随する列挙する項目のうちの１つ以上の考えられるいずれかのおよび全ての組合せを意味し、包含する。一例として、「Ａ、ＢおよびＣのうちの少なくとも１つ」なる語句は、Ａのみ、Ｂのみ、Ｃのみ、またはその任意の組合せ（例えばＡＢ、ＡＣ、ＢＣまたはＡＢＣ）を含む。

本明細書中の態様は、その精神または不可欠の属性から逸脱することなく、他の形態で具体化することができる。したがって、その範囲を標示するものとしては以上の明細書ではなくむしろ以下のクレームの参照が指示されるべきである。

Claims (20)

1. 複数車両環境用の自律的車両目標に関連する一組の自律的車両状態セットの各状態の進行のために：
   前記複数車両環境の別の車両の車両状態を判別して、前記別の車両の判別された車両状態を生成するステップであって、前記別の車両が前記自律的車両目標に影響を及ぼすように動作している、ステップと、
   前記判別された車両状態に基づいて前記自律的車両状態セットのうちの現在の自律的車両状態に対する適応ポリシーを形成するステップと、
   前記適応ポリシーから、前記自律的車両状態セットのうちの後続する自律的車両状態まで進行するための自律的車両アクションを生成するステップと、
   前記自律的車両状態セットのうちの前記後続する自律的車両状態までの進行をもたらすための自律的車両アクションを伝送するステップと、を含む方法。
2. 前記自律的車両目標は、
   合流車線から前記別の車両を含んでいる交通の流れへと合流することと、
   現在の交通車線から前記別の車両を含む隣接する交通車線へと合流することと、
   出口車線から前記別の車両を含む側道車線へと合流することと、のうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記別の車両の前記ポリシーを判別する前記ステップが、前記別の車両の動作に関係するセンサ入力データと、無線通信を介して前記別の車両から受信したデータと、を含む、請求項１に記載の方法。
4. 前記適応ポリシーを形成する前記ステップが、車両ポリシーの少なくとも１つのパラメータを最適化して前記適応ポリシーを形成するように、および、前記適応ポリシーに基づいて前記自律的車両アクションの報酬予測を生成するように、動作可能な受動的アクタークリティックモジュールによるものである、請求項１に記載の方法。
5. 前記アクタークリティックモジュールが、
   車両アクションおよび受動的動的データに応答して報酬パラメータに関係する前記アクターモジュールのためのフィードバックデータを生成するように動作可能であるクリティックモジュールであって、前記フィードバックデータを介してさらに、前記アクターモジュールのポリシーパラメータを修正して前記適応ポリシーを形成するために動作するクリティックモジュールと、
   前記受動的動的データおよび車両制御動的データから生成された前記適応ポリシーに基づいて、前記自律的車両アクションの予測を生成するために動作可能であるアクターモジュールと、を更に含んでいる、請求項４に記載の方法。
6. 前記フィードバックデータが時間的な変位誤差データを含む、請求項５に記載の方法。
7. 前記別の車両の前記車両状態が、前記自律的車両状態セットのうちの前記現在の自律的車両状態と同期していない、請求項１に記載の方法。
8. 車両環境について自律的車両目標を選択するステップと、
   前記自律的車両目標に関連する自律的車両状態セットを識別するステップと、
   前記車両環境の別の車両が前記自律的車両目標に影響を及ぼすか否かを決定するステップと、
   前記車両環境の前記別の車両が前記自律的車両目標に影響を及ぼす場合には、前記自律的車両状態セットの各状態進行について、
   前記別の車両の車両状態を判別して、判別された車両状態を生成するステップと、
   前記別の車両の前記判別された車両状態との関係における前記自律的車両状態セットのうちの現在の自律的車両状態に対する適応ポリシーを形成するステップと、
   前記自律的車両目標の前記自律的車両状態セットのうちの後続する自律的車両状態まで進行するために前記適応ポリシーに基づいて自律的車両アクションを形成するステップと、
   前記自律的車両状態セットのうちの前記後続する自律的車両状態までの進行をもたらすために前記自律的車両アクションを伝送するステップと、を含む方法。
9. 前記自律的車両目標は、
   合流車線から前記別の車両を含む交通の流れへと合流することと、
   現在の交通車線から前記別の車両を含む隣接する交通車線へと合流することと、
   出口車線から前記別の車両を含む側道車線へと合流することと、のうちの少なくとも１つを含む、請求項８に記載の方法。
10. 前記別の車両の前記ポリシーを判別する前記ステップが、前記別の車両の動作に関係するセンサ入力データと、無線通信を介して前記別の車両から受信したデータと、を含む、請求項８に記載の方法。
11. 前記適応ポリシーを形成する前記ステップが、車両ポリシーを最適化して前記適応ポリシーを形成するように、且つ、前記適応ポリシーに基づいて前記自律的車両アクションの予測を生成するように、動作可能な受動的アクタークリティックモジュールによるものである、請求項８に記載の方法。
12. 前記アクタークリティックモジュールが、
    自律的車両アクションに応答して報酬パラメータに関係する前記アクターモジュールのためのフィードバックデータを生成するように動作可能であるクリティックモジュールであって、前記フィードバックデータを介してさらに、前記アクターモジュールのポリシーパラメータを修正して前記適応ポリシーを形成するために動作するクリティックモジュールと、
    前記適応ポリシーに基づいて、前記自律的車両アクションの前記予測を生成するために動作可能であるアクターモジュールと、を更に含んでいる、請求項１１に記載の方法。
13. 前記フィードバックデータが時間的な変位誤差データを含む、請求項１２に記載の方法。
14. 前記別の車両の前記車両状態が、前記自律的車両状態セットのうちの前記現在の自律的車両状態と同期していない、請求項８に記載の方法。
15. 複数車両環境における自律的車両の動作のための車両制御ユニットであって、
    車両ネットワークとの通信に供用するための無線通信インタフェースと、
    前記無線通信インタフェースおよび複数の車両センサ装置に対し通信可能な形で結合されたプロセッサと、
    前記プロセッサに対して通信可能な形で結合されたメモリであって、自律的車両目標のための自律的車両状態セットの各々の状態進行について、
    複数車両検出モジュールであって、前記プロセッサによって実行された場合に、前記プロセッサに、前記複数の車両センサ装置の第１の部分に基づいて前記複数車両環境の別の車両の車両状態を判別して、前記別の車両の判別された車両状態を生成させる命令を含み、ここで前記別の車両が前記自律的車両目標に影響を及ぼすように動作する、複数車両検出モジュールと、
    強化学習モジュールであって、前記プロセッサによって実行された場合に、前記プロセッサに、
    前記複数の車両センサ装置の第２の部分に関連する前記複数車両環境に関係する前記自律的車両の動作についての受動的動的データを検索させ、
    前記判別された車両状態および前記受動的動的データに基づいて、前記自律的車両目標に関連する複数の自律的車両状態のうちの現在の自律的車両状態に対する適応ポリシーを形成させ、
    前記自律的車両状態セットのうちの後続する自律的車両状態まで進行するために適応ポリシーから自律的車両アクション指令を形成させ、
    前記自律的車両状態のうちの前記後続する自律的車両状態までの進行をもたらすために前記自律的車両アクション指令を伝送させる、命令を含む強化学習モジュールと、
    を記憶するメモリと、
    を含む車両制御ユニット。
16. 前記自律的車両目標は、
    合流車線から前記別の車両を含む交通の流れへと合流することと、
    現在の交通車線から前記別の車両を含む隣接する交通車線へと合流することと、
    出口車線から前記別の車両を含む側道車線へと合流することと、
    のうちの少なくとも１つを含む、請求項１５に記載の車両制御ユニット。
17. 前記別の車両の前記判別された車両状態が、前記別の車両の前記動作に関係する前記複数の車両センサ装置の少なくとも一部分のセンサデータと、無線インタフェースを介して前記別の車両から受信したデータと、のうちの少なくとも１つに基づいている、請求項１５に記載の車両制御ユニット。
18. 前記強化学習モジュールが、
    前記プロセッサにより実行されたときに、車両ポリシーを最適化して前記適応ポリシーを形成することによって、および、前記適応ポリシーに基づいて前記自律的車両アクションについての予測を生成することによって、前記プロセッサに前記適応ポリシーを形成させる命令を含む、受動的アクタークリティックモジュールを更に含む、請求項１５に記載の車両制御ユニット。
19. 前記アクタークリティックモジュールが、
    前記プロセッサにより実行されたとき、このプロセッサに、車両アクションに応答して報酬パラメータに関係する前記アクターモジュールのためのフィードバックデータを生成させる命令を含むクリティックモジュールであって、前記フィードバックデータを介してさらに、前記アクターモジュールのポリシーパラメータを修正して前記適応ポリシーを形成するために動作するクリティックモジュールと、
    前記プロセッサにより実行されたとき、このプロセッサに前記適応ポリシーに基づいて、前記自律的車両アクションの前記予測を生成させる命令を含むアクターモジュールと、
    を更に含んでいる、請求項１８に記載の車両制御ユニット。
20. 前記フィードバックデータが時間的な変位誤差データを含む、請求項１９に記載の車両制御ユニット。

Images