JP7597031B2 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、物体認識精度を向上できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

車両に搭載されるカメラやLiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）等の各種のセンサにより車両の周辺をセンシングし、センシング結果に基づいて、車両周辺の物体を認識する技術が提案されている。

ところが、ユーザが搭乗する車両に搭載されたセンサのセンシング結果のみでは、他の車両との位置関係によっては物体が隠れているようなセンシング結果や、物体を認識し難い方向からのセンシング結果しか得られないことがあり、物体の認識精度を低下させる原因となっていた。

そこで、特定の物体について、他の物体の処理に用いるために撮像された画像も併せて用いて処理することにより、特定の物体についての処理精度を向上させる技術を応用させることが考えられる（特許文献１参照）。

特開２０１９－０１６１６１号公報

しかしながら、特許文献１に係る技術を応用して、他の車両でセンシングされたセンシング結果を用いた場合でも、センサが異なることにより認識結果が相互に矛盾してしまう恐れがあった。

また、他の車両でセンシングされたセンシング結果を用いても、共通観測領域における認識精度のみしか向上させることができず、全体として認識精度を向上させることができない恐れがあった。

本開示は、このような状況に鑑みてなされたものであり、特に、他の車両のセンシング結果から得られる特徴量を取得し、選択して結合した上で、一括して物体認識に用いることで、物体の認識精度を向上するものである。

本開示の一側面の情報処理装置、およびプログラムは、周囲情報検出センサにより検出されたセンシング結果に基づいて、複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算する特徴量計算部と、前記周囲情報検出センサと異なる他の周囲情報検出センサにより検出された他のセンシング結果に基づいて、前記特徴量計算部と異なる他の特徴量計算部により計算された前記物体認識に用いる前記特徴量と異なる他の特徴量を取得する取得部と、前記特徴量と、前記他の特徴量とに基づいて、前記物体認識を行う認識部とを備え、前記周囲情報検出センサと前記他の周囲情報検出センサとは、それぞれ異なる物体に設けられる情報処理装置、およびプログラムである。

本開示の一側面の情報処理方法は、特徴量計算部と、取得部と、認識部とを備えた情報処理装置の情報処理方法であって、前記特徴量計算部が、周囲情報検出センサにより検出されたセンシング結果に基づいて、複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算する計算処理することと、前記取得部が、前記周囲情報検出センサと異なる他の周囲情報検出センサにより検出された他のセンシング結果に基づいて、前記特徴量計算処理とは異なる他の特徴量計算処理により計算された前記物体認識に用いる前記特徴量と異なる他の特徴量を取得する取得処理することと、前記認識部が、前記特徴量と、前記他の特徴量とに基づいて、前記物体認識を行う物体認識処理することとを含み、前記周囲情報検出センサと前記他の周囲情報検出センサとは、それぞれ異なる物体に設けられる情報処理方法である。

本開示の一側面においては、特徴量計算部により、周囲情報検出センサにより検出されたセンシング結果に基づいて、複数の階層のそれぞれにおいて、物体認識に用いる特徴量が段階的に計算され、前記周囲情報センサと異なる他の周囲情報検出センサにより検出された他のセンシング結果に基づいて、前記特徴量計算部と異なる他の特徴量計算部により計算された前記物体認識に用いる前記特徴量と異なる他の特徴量が取得され、前記特徴量と、前記他の特徴量とに基づいて、前記物体認識が行われ、前記周囲情報検出センサと前記他の周囲情報検出センサとは、それぞれ異なる物体に設けられる。

本開示の物体認識システムの概要を説明する図である。 本開示の車両制御システムの構成例を説明する図である。 本開示の物体認識部の第１の実施の形態の構成例を説明するブロック図である。 第１の実施の形態の物体認識処理を説明するフローチャートである。 第１の実施の形態の物体認識処理を説明するフローチャートである。 第１の実施の形態の変形例の物体認識処理を説明するフローチャートである。 第１の実施の形態の変形例の物体認識処理を説明するフローチャートである。 本開示の物体認識部の第２の実施の形態の構成例を説明するブロック図である。 第２の実施の形態の物体認識処理を説明するフローチャートである。 第２の実施の形態の物体認識処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．第１の実施の形態
３．第１の実施の形態の変形例
４．第２の実施の形態
５．ソフトウェアにより実行させる例

＜＜１．本開示の概要＞＞
本開示は、車両毎に自車の周囲の環境をセンシングし、センシング結果から特徴量を抽出し、他車において抽出された特徴量と自車において抽出された特徴量とを結合し、結合した特徴量に基づいて物体を認識することで、物体の認識精度を向上させる。

まず、図１を参照して、本開示の物体認識システムの概要について説明する。

図１の物体認識システム１１は、複数の車両３１－１乃至３１－５より構成される。なお、図１の物体認識システム１１においては、車両３１－１乃至３１－５を特に区別する必要がない場合、単に車両３１と称する。また、図１の物体認識システム１１においては、車両３１は、５台であることを前提とするが、自車以外に少なくとももう１台あれば、それ以外の台数であってもよい。

また、ユーザが搭乗する車両３１は、特に自車とも称し、それ以外の車両３１については、他車とも称する。

図１の物体認識システム１１においては、車両３１－１が自車であるものとし、車両３１－２乃至３１－５が他車であるものとする。

また、図示しないが、車両３１－１乃至３１－５は所定距離内において、いわゆる車車間通信により相互に通信が可能な構成とされている。

さらに、車両３１－１乃至３１－５は、それぞれ物体認識装置４１－１乃至４１－５を備えている。

物体認識装置４１－１乃至４１－５は、それぞれ物体認識部４１ａ－１乃至４１ａ―５を備えており、物体認識部４１ａ－１乃至４１ａ―５が、それぞれの周囲の情報を点群情報ＰＣ１乃至ＰＣ５として取得し、点群情報ＰＣ１乃至ＰＣ５より特徴量Ｆ１乃至Ｆ５をそれぞれ抽出する。

そして、物体認識部４１ａ－１乃至４１ａ－５は、それぞれ周囲に車両が存在しない場合、それぞれで抽出した特徴量Ｆ１乃至Ｆ５をそれぞれ単独で用いて物体認識処理を実行し、それぞれ認識結果ＳＲ１乃至ＳＲ５を出力する。

車両３１－１乃至３１－５のそれぞれは、認識結果ＳＲ１乃至ＳＲ５に基づいて、各種の処理を実行する。

また、物体認識部４１ａ－１乃至４１ａ－５は、それぞれ周囲において所定の距離内となる近傍において他車が存在する場合、他車の特徴量を要求して取得し、他社の特徴量と自車の特徴量とを使用して、物体認識処理を実行する。

すなわち、図１における車両３１－１の場合、点線で示される所定の距離内の範囲Ｚ内であって、自車の走行方向前方を撮像する、例えば、車両３１－２，３１－４が車両３１－１における近傍の車両であるものと認識されるものとする。

この場合、車両３１－１の物体認識部４１ａ－１は、周囲の車両である車両３１－２，３１－４に対して特徴量を要求する。

この要求に応じて、車両３１－２，３１－４の物体認識部４１ａ－２，４１ａ－４は、それぞれの特徴量Ｆ２，Ｆ４を車両３１－１に送信する。

これにより、車両３１－１の物体認識部４１ａ－１は、車両３１－２，３１－４の物体認識部４１ａ－２，４１ａ－４から送信されてくる特徴量Ｆ２，Ｆ４を取得する。

そして、車両３１－１の物体認識部４１ａ－１は、このように取得した特徴量Ｆ２，Ｆ４と、自らで求めた特徴量Ｆ１とを結合して利用することで、物体認識処理を実行する。

このような処理により、車両３１－１の物体認識部４１ａ－１は、自車の監視領域の点群情報に基づいた特徴量Ｆ１と共に、他車の監視領域の点群情報に基づいた特徴量Ｆ２，Ｆ４を用いて物体認識処理を実行することで、物体の認識精度を向上させることが可能となる。

また、送受信される特徴量Ｆ２，Ｆ４は、点群情報ＰＣ２，ＰＣ４と比較して十分に小さな情報量であるので、車車間通信における通信負荷を抑制すると共に、通信速度を向上させることが可能となり、高精度な物体認識処理を高速で実現させることが可能となる。

＜＜２．第１の実施の形態＞＞
＜車両制御システムの構成例＞
図２は、本技術が適用され得る車両の移動体制御システムの一例である車両５１の車両制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図２の車両５１は、図１の車両３１に対応する。

また、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、CAN（Controller Area Network）、LIN（Local Interconnect Network）、LAN（Local Area Network）、又は、FlexRay（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ToF（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、GNSS（Global Navigation Satellite System）衛星からのGNSS信号を受信するGNSS受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線LAN、Bluetooth（登録商標）、NFC（Near Field Communication）、又は、WUSB（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）、又は、MHL（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、P2P（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、MTC（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のV2X通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS（Antilock Brake System）、ESC（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ROM（Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車外情報検出部１４１は、さらに、物体認識部１８１、および車両検出部１８２を備えている。

物体認識部１８１は、図１の物体認識部４１ａに対応する構成であり、データ取得部１０２の超音波センサ、レーダ、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ステレオカメラ、およびソナー等の周囲情報検出センサより供給されるポイントクラウド（点群情報）に基づいて、物体認証処理を行い、自車の周囲のポイントクラウドの各ポイント単位で物体を認証する。

車両検出部１８２は、データ取得部１０２の、例えば、カメラ等の撮像装置により撮像された画像や、通信部１０３を介して他車との間でなされる車車間通信により自車の周囲における他車の接近を検出する。

より詳細には、物体認識部１８１は、ポイントクラウドからなるセンシング結果をDNN（Deep Neural Network）により特徴量を計算し、計算結果に基づいて、物体認識処理を行い、ポイント単位で物体を認識する。

この際、物体認識部１８１は、車両検出部１８２により自車の周囲に他車の接近が検出されると、他車に対して車車間通信等により、他車の物体認識部１８１により計算された特徴量を要求して取得し、自らで計算した特徴量と結合して物体認証処理を行う。

これにより、物体認識部１８１は、自車の周囲の全ポイントクラウドに相当する物体認証を行うことが可能となり、物体認証精度を向上させることが可能となる。

尚、物体認識部１８１の構成については、詳細を後述する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

＜物体認識部の第１の構成例＞
次に、図３を参照して、物体認識部１８１の第１の構成例について説明する。

物体認識部１８１は、ステレオカメラやLiDARなどのセンサよりデータ取得部１０２より供給されるポイントクラウドＰＣに基づいて、物体認識処理を行い、ポイント毎の大域特徴量Ｒとして出力する。

ポイントクラウドＰＣは、例えば、ポイント（ｘ１，ｙ１，ｚ１）、ポイント（ｘ２，ｙ２，ｚ２）、ポイント（ｘ３，ｙ３，ｚ３）・・・ポイント（ｘｎ，ｙｎ，ｚｎ）のそれぞれの位置情報からなる点群情報である。

また、大域特徴量Ｒは、（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２），（ｘ３，ｙ３，ｚ３）に対応する大域特徴量Ｒ（ｘ１，ｙ１，ｚ１）、大域特徴量Ｒ（ｘ２，ｙ２，ｚ２）、大域特徴量Ｒ（ｘ３，ｙ３，ｚ３）・・・大域特徴量Ｒ（ｘｎ，ｙｎ，ｚｎ）であり、ポイント単位の物体の認識結果である。

より詳細には、物体認識部１８１は、局所特徴量計算部２０１、特徴量結合部２０２、大域特徴量計算部２０３、認識部２０４、特徴量抽出部２０５、特徴量送信制御部２０６、特徴量受信制御部２０７、および特徴量選択部２０８を備えている。

局所特徴量計算部２０１は、ポイントクラウドＰＣにおけるポイント毎の特徴量を段階的に計算するものであり、第１特徴量計算部２２１、第２特徴量計算部２２２、および第３特徴量計算部２２３を備えている。

第１特徴量計算部２２１は、それぞれポイント毎のＭＬＰ（Multi Layer Perceptron）２３１－１乃至２３１－ｎにより構成されており、ポイントクラウドＰＣのポイントのそれぞれについて、第１段階の特徴量である第１特徴量を計算し、第２特徴量計算部２２２、および特徴量抽出部２０５の第１特徴量抽出部２８１に出力する。

第２特徴量計算部２２２は、それぞれポイント毎のＭＬＰ２４１－１乃至２４１－ｎにより構成されており、第１特徴量計算部２２１よりポイントクラウドＰＣのポイントのそれぞれについて供給される第１特徴量に基づいて、第２段階の特徴量である第２特徴量を計算して、第３特徴量計算部２２３、および特徴量抽出部２０５の第２特徴量抽出部２８２に出力する。

第３特徴量計算部２２３は、それぞれポイント毎のＭＬＰ２５１－１乃至２５１－ｎにより構成されており、第２特徴量計算部２２２よりポイントクラウドＰＣのポイントのそれぞれについて供給される第２特徴量に基づいて、第３段階の特徴量である第３特徴量を計算して、特徴量結合部２０２、および特徴量抽出部２０５の第３特徴量抽出部２８３に出力する。

特徴量結合部２０２は、通信部１０３、特徴量受信制御部２０７、および特徴量選択部２０８を介して他車より供給される第１特徴量、第２特徴量、および第３特徴量と、局所特徴量計算部２０１より供給される第３特徴量とを結合させて大域特徴量計算部２０３に出力する。

より詳細には、特徴量結合部２０２は、第２特徴量計算部２７１、および第３特徴量計算部２７２を備えている。

第２特徴量計算部２７１、および第３特徴量計算部２７２は、第２特徴量計算部２２２、および第３特徴量計算部２２３と同一の機能を備えたものであり、必要に応じて他車より供給された第１特徴量、および第２特徴量より第２特徴量や第３特徴量を計算し、最終的に他車の特徴量に基づいた第３特徴量を計算する。

そして、特徴量結合部２０２は、他車より求められた第３特徴量と、局所特徴量計算部２０１により計算された第３特徴量とを、例えば、重みを設定した積和により結合する。

重みの設定については、均等にしてもよいし、他車との距離やDNN構造が同一であるか否かに応じて設定するようにしてもよい。

大域特徴量計算部２０３は、例えば、Maxpoolingにより、特徴量結合部２０２より供給される特徴量（実質的に第３特徴量）に基づいて、各ポイントにおける大域特徴量Ｒを計算して認識部２０４に出力する。認識部２０４は、大域特徴量Ｒに基づいて、物体認識処理を行い、処理結果である物体認識結果を出力する。

すなわち、本開示の図３の物体認識部１８１においては、局所特徴量計算部２０１と特徴量結合部２０２と大域特徴量計算部２０３とにより、DNNによるPointNetが形成されている。

ここで、PointNetとは、点群情報を入力とし、入力された点群情報に基づいて、所定の処理結果を出力するニューラルネットワークをいう。

すなわち、局所特徴量計算部２０１における、第１特徴量計算部２２１、第２特徴量計算部２２２、および第３特徴量計算部２２３は、局所的な特徴を抽出する中間層である。

このため、図３の局所特徴量計算部２０１は、第１特徴量計算部２２１乃至第３特徴量計算部２２３のように３段階の階層構造により特徴量を求める構成としているが、入力層と出力層に対応する少なくとも２階層以上の階層構造であれば、階層数は２または３以外であってもよい。

そして、局所特徴量計算部２０１と大域特徴量計算部２０３は、例えば、ポイントクラウドである位置（x，y，z）および色（r，g，b）を入力とし、セマンティックセグメンテーションラベルを正解とした学習（バックプロパゲーション：backpropagation）がなされていることが前提とされる。

特徴量抽出部２０５は、局所特徴量計算部２０１の計算結果である特徴量を抽出して特徴量送信制御部２０６に供給する。

より詳細には、特徴量抽出部２０５は、第１特徴量抽出部２８１、第２特徴量抽出部２８２、および第３特徴量抽出部２８３を備えている。

第１特徴量抽出部２８１は、局所特徴量計算部２０１の第１特徴量計算部２２１の計算結果である第１特徴量を抽出して特徴量送信制御部２０６に出力する。

第２特徴量抽出部２８２は、局所特徴量計算部２０１の第２特徴量計算部２２２の計算結果である第２特徴量を抽出して特徴量送信制御部２０６に出力する。

第３特徴量抽出部２８３は、局所特徴量計算部２０１の第３特徴量計算部２２３の計算結果である第３特徴量を抽出して特徴量送信制御部２０６に出力する。

特徴量送信制御部２０６は、自車の周囲の他車より特徴量の要求があったとき、通信部１０３を制御して、要求のあった他車に対して、例えば、車車間通信等により抽出された第１特徴量乃至第３特徴量を送信する。

このとき、特徴量送信制御部２０６は、特徴量のそれぞれについて第１特徴量、第２特徴量、および第３特徴量のいずれであるかを識別する情報を付加して送信する。

また、特徴量送信制御部２０６は、自車の局所特徴量計算部２０１のDNN（Deep Neural Network）構造を示す情報を付加して特徴量を送信する。ここで、DNN構造を示す情報は、例えば、DNNにおける各層である第１特徴量計算部２２１乃至第３特徴量計算部２２３のそれぞれのポイントに対応するMLP２３１，２４１，２５１に対する重み係数の値である。

特徴量受信制御部２０７は、自車の周囲において所定の距離となる近傍に他車が存在する場合、通信部１０３を制御して自車の近傍の他車に対して特徴量の送付を要求すると共に、要求に応じて他車から送信されてくる特徴量を取得して特徴量選択部２０８に供給する。

特徴量選択部２０８は、特徴量受信制御部２０７より供給されてくる自車の周囲に存在する他社からの特徴量のうち、必要な特徴量を選択して特徴量結合部２０２に出力する。すなわち、特徴量選択部２０８は、例えば、現在時刻から所定の時刻範囲の特徴量だけを選択し、特徴量結合部２０２に出力する。

また、特徴量選択部２０８は、他車から供給される特徴量のそれぞれに付与されている他車のDNN構造を示す情報に基づいて、自車におけるDNN構造と同一の特徴量のみを選択的に抽出し、特徴量結合部２０２に出力する。

特徴量結合部２０２は、このように特徴量選択部２０８より供給される特徴量と、他車のDNN構造に応じて、特徴量を結合し、大域特徴量計算部２０３に出力する。

ここで、特徴量結合部２０２は、特徴量選択部２０８より供給される特徴量により求められる第３特徴量と、局所特徴量計算部２０１より供給される第３特徴量とを、重みを用いて積和により結合する際、その重みを調整して結合するようにしてもよい。

例えば、自車と他車とのDNN構造が異なる場合については、特徴量結合部２０２は、他車の特徴量の重みを小さくして、自車の特徴量の重みを大きくして結合するようにしてもよい。

また、自車と他車とのDNN構造が同一である場合については、特徴量結合部２０２は、他車の特徴量の重みと、自車の特徴量の重みとを同一にして結合するようにしてもよい。

さらに、局所特徴量計算部２０１を構成する第１特徴量計算部２２１、第２特徴量計算部２２２、および第３特徴量計算部２２３は、それぞれポイント毎の特徴量を計算するローカル処理構造を構成する。

また、大域特徴量計算部２０３は、ポイントの順序が変わっても、全体として大域特徴量Ｒに影響しない処理を行うグローバル処理構造を構成する。

すなわち、本開示の図３の物体認識部１８１は、上述したポイント毎の処理を行うローカル処理構造と、ポイントの順序が変わっても処理結果に影響しないグローバル処理構造とを備え、全体としてPointNetが形成されている。

そして、本開示の図３の物体認識部１８１においては、ローカル処理構造により、ポイントクラウドＰＣにおけるポイント毎の特徴量が計算され、グローバル構造により、計算された特徴量からなる大域特徴量Ｒが用いられて、ポイント毎の物体認識処理がなされる。

＜第１の実施の形態における物体認識処理＞
次に、図４，図５のフローチャートを参照して、図３の物体認識部１８１による第１の実施の形態における物体認識処理について説明する。

ステップＳ１１において、局所特徴量計算部２０１の第１特徴量計算部２２１は、データ取得部１０２より供給される、超音波センサ、レーダ、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ステレオカメラ、およびソナー等の周囲情報検出センサ等により検出されるポイントクラウドＰＣを取得する。

ステップＳ１２において、第１特徴量計算部２２１は、ポイントクラウドＰＣより第１特徴量を計算し、第２特徴量計算部２２２、および特徴量抽出部２０５の第１特徴量抽出部２８１に出力する。

ステップＳ１３において、第１特徴量抽出部２８１は、第１特徴量計算部２２１より供給される第１特徴量を抽出して、特徴量送信制御部２０６に出力する。これにより、特徴量送信制御部２０６は、供給されてきた第１特徴量に、図示せぬシステムクロックにおける現在時刻に応じたタイムスタンプを付して記憶する。

ステップＳ１４において、第２特徴量計算部２２２は、第１特徴量計算部２２１より供給される第１特徴量を取得し、第１特徴量より第２特徴量を計算し、第３特徴量計算部２２３、および特徴量抽出部２０５の第２特徴量抽出部２８２に出力する。

ステップＳ１５において、特徴量抽出部２０５の第２特徴量抽出部２８２は、第２特徴量計算部２２２より供給される第２特徴量を抽出して、特徴量送信制御部２０６に出力する。これにより、特徴量送信制御部２０６は、供給されてきた第２特徴量に、図示せぬシステムクロックにおける現在時刻に応じたタイムスタンプを付して記憶する。

ステップＳ１６において、第３特徴量計算部２２３は、第２特徴量計算部２２２より供給される第２特徴量を取得し、第２特徴量より第３特徴量を計算し、局所特徴量として特徴量結合部２０２、および特徴量抽出部２０５の第３特徴量抽出部２８３に出力する。

ステップＳ１７において、特徴量抽出部２０５の第３特徴量抽出部２８３は、第３特徴量計算部２２３より供給される第３特徴量を抽出して、特徴量送信制御部２０６に出力する。これにより、特徴量送信制御部２０６は、供給されてきた第３特徴量に、図示せぬシステムクロックにおける現在時刻に応じたタイムスタンプを付して記憶する。

ステップＳ１８において、特徴量送信制御部２０６は、通信部１０３を制御して、周囲の他車より特徴量の要求が送信されてきたか否かを判定する。

ステップＳ１８において、他車より特徴量の要求が送信されてきたと判定された場合、処理は、ステップＳ１９に進む。

ステップＳ１９において、特徴量送信制御部２０６は、他車より送信されてきた特徴量の要求を受信する。

ステップＳ２０において、特徴量送信制御部２０６は、記憶している第１特徴量乃至第３特徴量のうち、現在時刻に最も近い時刻の第１特徴量乃至第３特徴量を選択する。

ステップＳ２１において、特徴量送信制御部２０６は、通信部１０３を制御して、選択した現在時刻に最も近い時刻の第１特徴量乃至第３特徴量を、特徴量を要求してきた他車に向けて送信する。

このとき、特徴量送信制御部２０６は、自己位置推定部１３２により検出される自己位置の情報、および、自己の姿勢の情報を併せて、特徴量を要求してきた他車に向けて送信する。

尚、自己位置の情報、および、自己の姿勢の情報は、車両５１における座標系（ローカル座標系）からなるポイントクラウドＰＣの各ポイントの位置情報を、グローバル座標系、または、他車のローカル座標系に変換するための情報である。

このため、ポイントクラウドＰＣにおける各ポイントの位置情報がグローバル座標系で表現されている場合には、自己位置の情報、および、自己の姿勢の情報は不要である。

また、ステップＳ１８において、特徴量の送付の要求がないと判定された場合、ステップＳ１９乃至Ｓ２１の処理がスキップされ、他車に対して特徴量の送付がなされない。

ステップＳ２２（図５）において、車両検出部１８２は、車車間通信等により自車の周辺の車両との通信により自車へと接近する車両（他車）を検出する。

ステップＳ２３において、特徴量受信制御部２０７は、車両検出部１８２の検出結果に基づいて、自車から所定の距離内となる自車の近傍に他車が存在するか否かを判定する。

ステップＳ２３において、例えば、図１で示されるように、自車である車両３１－１からの所定の距離内を示す点線の範囲内に他車となる車両３１－２，３１－４が存在するようなとき、自車の近傍に他車が存在すると判定される。図１で示されるように、自車の近傍に他車が存在すると判定された場合、処理は、ステップＳ２４に進む。

ステップＳ２４において、特徴量受信制御部２０７は、通信部１０３を制御して、自車から所定の距離内の他車に対して、特徴量を送付するように送信する。

この処理により、他車における物体認識処理における、上述したステップＳ１８において、他車からの要求が受信されることになるため、ステップＳ１９乃至Ｓ２１の処理により、他車から自車に向けて特徴量が送信されてくることになる。

そこで、ステップＳ２５において、特徴量受信制御部２０７は、通信部１０３を制御して、他車より送信されてくる特徴量、および他車の位置、および姿勢の情報を取得し、特徴量選択部２０８に供給する。

ステップＳ２６において、特徴量選択部２０８は、供給された特徴量のうち、タイムスタンプに付された時刻が、現在時刻に最も近い時刻の特徴量を選択して、特徴量結合部２０２に出力する。このとき、特徴量選択部２０８は、選択した特徴量を送信してきた、他車の位置や姿勢の情報も併せて特徴量結合部２０２に供給する。

ステップＳ２７において、特徴量結合部２０２は、特徴量選択部２０８より供給されてきた他車から送信されてきた特徴量と、局所特徴量計算部２０１より送信されてきた特徴量とを結合させて、大域特徴量計算部２０３に出力する。

ここで、特徴量結合部２０２は、他車から送信されてきた特徴量のうち、第１特徴量および第２特徴量については、内蔵する第２特徴量計算部２７１、および第３特徴量計算部２７２を使用して、第３特徴量を求め、局所特徴量計算部２０１より供給されてくる第３特徴量を、それぞれのポイント毎に結合する。

この際、特徴量結合部２０２は、特徴量を送信してきた他車と自車との位置関係やDNN構造に応じて重みを設定し、重みを用いた積和により第３特徴量を結合する。また、特徴量結合部２０２は、他車の位置、および姿勢の情報に基づいて、自らの座標系に変換して、他車からの第３特徴量と、局所特徴量計算部２０１により計算された第３特徴量とを結合する。

ステップＳ２８において、大域特徴量計算部２０３は、特徴量結合部より供給された第３特徴量に基づいて、例えば、Maxpoolingにより、大域特徴量Ｒを計算し、認識部２０４に出力する。

ステップＳ２９において、認識部２０４は、大域特徴量Ｒにおけるポイント毎に物体認識処理を行い、物体認識結果を出力する。

ステップＳ３０において、物体認識部１８１は、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１（図４）に戻り、それ以降の処理が繰り返される。

また、ステップＳ２３において、自車の所定の距離内の近傍に車両５１が存在せず、他車が存在しないとみなされた場合、処理は、ステップＳ３１に進む。

ステップＳ３１において、特徴量結合部２０２は、局所特徴量計算部２０１により計算された第３特徴量をそのまま大域特徴量計算部２０３に出力する。

すなわち、自車の近傍に他車が存在しないということは、他車からの特徴量の供給がないことになるので、処理は、ステップＳ３０に進み、自車において計算された第３特徴量のみを使った自車単独による第３特徴量のみを使った大域特徴量が計算されて、物体認識処理が行われる。

以上の一連の処理により、自車の所定の距離内となる近傍に他車が存在していた場合、他車に対して特徴量が要求されて、要求に応じて他車の物体認識処理において計算された特徴量が取得される。そして、自車において計算された特徴量と、取得された他車の特徴量とが結合され、自車と他車の特徴量が一括して使用されて物体認識処理がなされる。

結果として、他車のセンシング結果と、自車のセンシング結果とが利用されて特徴量が求められることになるので、ポイントクラウド全体のセンシング結果を用いた場合に相当する認識精度で物体認識処理を実現することが可能となる。

また、以上においては、第１特徴量、第２特徴量、および第３特徴量の３種類の特徴量を全て、他車に送信する、または、他車から送信される例について説明してきたが、他車に送信する、または、他車から送信される特徴量の種類は、そのうちの一部でもよく、例えば、第１特徴量、第２特徴量、および第３特徴量の３種類のうちの、いずれか、または、そのうちの２つの組み合わせであってもよい。

また、送受信される特徴量は、通信負荷に応じて、ランダムサンプリングされることにより、データ量が制限されるようにして、データ量を低減するようにしてもよい。

さらに、以上においては、自車の近傍の他車から特徴量を取得して、自らの特徴量と結合して物体認識処理がなされる例について説明してきたが、ポイントクラウドにより特徴量を求めることができれば、自車の近傍の車両以外でもよく、例えば、道端に設けられたLiDARやステレオカメラなどにより取得されるポイントクラウドに基づいて計算される特徴量を要求して取得し、自車で計算した特徴量と結合して、物体認識処理を実行するようにしてもよい。

すなわち、自車以外の特徴量は、以上において説明してきたV2V通信のみならず、V2X通信により、車両以外のものから取得されるようにしてもよい。

また、物体認識処理においては、取得する特徴量が多い程、物体認識精度を高くすることができるので、自車の近傍により多くの他車が存在し、より多くの他車から特徴量を取得することで、物体認識精度を、さらに向上させることが可能となる。

さらに、ポイントクラウドＰＣは、LiDAR、ステレオカメラ、およびデプス画像などいずれのものであってもよいので、本開示の物体認識部１８１においては、センサフュージョンを容易に実現することが可能となる。

また、入力となるポイントクラウドＰＣは、点群情報が形成される限り、様々な形態でもよく、例えば、３次元の点群情報でもよいし、２次元の点群情報でもよい。

＜＜３．第１の実施の形態の変形例＞＞
以上においては、自車の近傍に他車が存在する場合、他車から特徴量の要求があるときには、特徴量を送信すると共に、自らも特徴量を要求し、他車からの特徴量を取得して、自車の特徴量と他車の特徴量とが結合されて一括して物体認識処理が行われる例について説明してきたが、他車に要求する特徴量の条件を設定し、設定した条件に合った特徴量だけを他車から取得できるようにしてもよい。

すなわち、例えば、自車のDNN構造と他車のDNN構造とが異なる場合、すなわち、第１特徴量計算部２２１、第２特徴量計算部２２２、および第３特徴量計算部２２３の計算に係る重み係数等が異なるような場合について考える。

このような場合、自車と他車とで求められる特徴量は、同一の条件下で計算されたものではないので、両者を結合して物体認識を行っても必ずしも認識精度を向上させることができない可能性がある。

そこで、自車から他車へ特徴量を要求する際、要求する特徴量の条件として、自車のDNN構造（特徴量を計算する際の重み係数の値等）の情報が併せて送信されるようにする。そして、特徴量の要求を受信した他車においては、DNN構造が一致する、条件を満たす場合にのみ、要求に応じて特徴量を送信する。

このようにすることで、自らのDNN構造と同一のDNN構造からなる条件を満たす特徴量だけが他車から送信されることになるので、同一のDNN構造により計算された、自車と他車との特徴量が結合されて、物体認識処理がなされるので、物体認識精度を向上させることが可能となる。

尚、以上においては、特徴量の条件がDNN構造である場合について説明してきたが、他の条件であってもよく、例えば、第１特徴量、第２特徴量、および第３特徴量のうちのいずれか１または２を特定する情報や、特徴量が計算されたタイミングを示す時刻範囲の情報でもよい。また、特徴量の条件としては、自車の視野外に存在する他車からの特徴量に限定するようなものでもよいし、自車の後方に存在する他車の特徴量を除外するような条件や、自車に対向する他車の特徴量だけに限定するようなものでもよい。

ここで、図６，図７のフローチャートを参照して、自車から他車に特徴量を要求する場合、他車に要求する特徴量の条件を設定して要求し、他車においては、設定された条件に合った特徴量のみ、特徴量を送信するようにする場合の物体認識処理について説明する。

尚、図６，図７のフローチャートにおけるステップＳ５１乃至Ｓ５８、およびステップＳ６４，Ｓ６５，Ｓ７１乃至Ｓ７４の処理は、図４，図５のフローチャートにおけるステップＳ１１乃至Ｓ１８、およびステップＳ２８乃至Ｓ３１の処理と同一であるので、その説明は省略する。

すなわち、ステップＳ５８において、特徴量の送付の要求が送信されてきたと判定された場合、処理は、ステップＳ５９に進む。

ステップＳ５９において、特徴量送信制御部２０６は、他車より送信されてきた特徴量の要求を、特徴量の条件と共に受信する。

ステップＳ６０において、特徴量送信制御部２０６は、条件に合った特徴量があるか否かを判定する。

ステップＳ６０において、条件に合った特徴量がある場合、処理は、ステップＳ６１に進む。

ステップＳ６１において、特徴量送信制御部２０６は、記憶している第１特徴量乃至第３特徴量のうち、条件の合った特徴量を選択する。

ステップＳ６２において、特徴量送信制御部２０６は、通信部１０３を制御して、選択した、条件に合った特徴量を、特徴量を要求してきた他車に向けて送信する。このとき、特徴量送信制御部２０６は、自己位置推定部１３２により検出される自己位置の情報、および、自己の姿勢の情報を併せて、特徴量を要求してきた他車に向けて送信する。

尚、ステップＳ６０において、条件に合った特徴量がない場合、処理は、ステップＳ６３に進む。

ステップＳ６３において、特徴量送信制御部２０６は、通信部１０３を制御して、条件に合った特徴量がないことを示す旨の通知を、特徴量を要求してきた他車に向けて送信する。

以上の処理により、他車から特徴量が要求された場合、要求と共に受信された条件に合った特徴量があるときには、条件に合った特徴量が他車に送信され、条件に合った特徴量がない場合には、条件に合った特徴量がないことが通知される。

また、自車の近傍に他車が存在する場合、ステップＳ６６（図７）において、特徴量受信制御部２０７は、通信部１０３を制御して、自車から所定の距離内の近傍の他車に対して、特徴量の条件の情報と共に、特徴量を要求する通知を送信する。

ステップＳ６７において、特徴量受信制御部２０７は、特徴量を要求した他車から条件に合った特徴量がないことを示す通知が送信されてきたか否かを判定する。

ステップＳ６７において、例えば、特徴量を要求した他車から条件に合った特徴量が送信されてきた場合、特徴量を要求した他車から条件に合った特徴量がないことを示す通知が送信されないことになるので、処理は、ステップＳ６８に進む。

ステップＳ６８において、特徴量受信制御部２０７は、通信部１０３を制御して、他車より送信されてくる条件に合った特徴量、および他車の位置、および姿勢の情報を取得し、特徴量選択部２０８に供給する。

ステップＳ６９において、特徴量選択部２０８は、条件に合った特徴量のうち、タイムスタンプに付された時刻のうち、現在時刻に最も近い時刻の特徴量を選択して、特徴量結合部２０２に出力する。このとき、特徴量選択部２０８は、選択した特徴量を送信してきた、他車の位置や姿勢の情報も併せて特徴量結合部２０２に供給する。

ステップＳ７０において、特徴量結合部２０２は、特徴量選択部２０８より供給されてきた他車から送信されてきた条件に合った特徴量と、局所特徴量計算部２０１より送信されてきた自車の特徴量とを結合させて、大域特徴量計算部２０３に出力する。

また、ステップＳ６７において、例えば、特徴量を要求した他車から条件に合った特徴量がないことを示す通知が送信されてきた場合、処理は、ステップＳ７４に進む。

すなわち、この場合、条件に合った特徴量がないことが通知されて、特徴量が送信されてこないので、自らの局所特徴量計算部２０１により計算された特徴量のみを使用して物体認識処理を実行する。

ただし、自車の近傍に複数の他車が存在している場合については、条件に合った特徴量を送信してきた他車からの特徴量のみを受信し、物体認識処理に使用する。

以上の処理により、条件を満たす特徴量だけが他車から送信されることにより、条件にあった特徴量のみで自車と他車とで計算された特徴量が結合されて物体認識処理がなされるので、物体認識精度を向上させることが可能となる。

尚、以上においては、車両５１が、近傍に存在する他車に対して、要求する特徴量の条件と併せて、他車に対して特徴量を要求し、要求を受けた他車が、条件に合った特徴量があれば送信し、条件に合った特徴量がなければ、条件に合った特徴量がないことを通知する例について説明してきた。

しかしながら、車両５１は、近傍に他車が存在する場合、近傍の他車に対して特徴量を要求し、要求を受けた他車は、条件とは無関係に、特徴量を送信し、特徴量を要求した車両５１が、受信した特徴量のうち、条件に合うものを選択して使用し、それ以外の特徴量については破棄するようにしてもよい。

＜＜４．第２の実施の形態＞＞
＜物体認識部の第２の構成例＞
以上においては、物体認識部１８１が、PointNetにより構成される例について説明してきたが、DNN構造が実現される構成であれば、他の構成でもよく、例えば、PointNet++により構成されるようにしてもよい。

ここで、PointNet++とは、PointNetと同様、点群情報を入力とし、入力された点群情報に基づいて、所定の処理結果を出力するニューラルネットワークをいう。

図８は、PointNet++により構成されるようにした、物体認識部１８１の第２の構成例を示す図である。

図８の物体認識部１８１は、局所特徴量計算部３０１、特徴量結合部３０２、大域特徴量計算部３０３、認識部３０４、特徴量抽出部３０５、特徴量送信制御部３０６、特徴量受信制御部３０７、および特徴量選択部３０８を備えている。

局所特徴量計算部３０１は、ポイントクラウドＰＣにおけるポイント毎の局所特徴量を段階的に計算するものであり、第１特徴量計算部３２１、第２特徴量計算部３２２、および第３特徴量計算部３２３を備えている。

第１特徴量計算部３２１は、ポイントクラウドＰＣを構成するポイントのうち、複数のポイントからなるグループ単位で、第１段階の特徴量である第１特徴量を計算し、第２特徴量計算部３２２、特徴量結合部３０２の第１特徴量結合部３４１、および特徴量抽出部３０５の第１特徴量抽出部３８１に出力する。

尚、ここで、第１特徴量計算部３２１により第１特徴量が求められる単位であるグループを第１階層グループと称する。

第２特徴量計算部３２２は、第１特徴量計算部３２１により求められた第１特徴量のうち、複数の第１特徴量からなるグループ単位で、第２段階の特徴量である第２特徴量を計算して、第３特徴量計算部３２３、特徴量結合部３０２の第２特徴量結合部３４２、および特徴量抽出部３０５の第２特徴量抽出部３８２に出力する。

尚、ここで、第２特徴量計算部３２２により第２特徴量が求められる単位であるグループを第２階層グループと称する。

第３特徴量計算部３２３は、第２特徴量計算部３２２により求められた第２特徴量のうち、複数の第２特徴量からなるグループ単位で、第３段階の特徴量である第３特徴量を計算して、特徴量結合部３０２の第３特徴量結合部３４３、および特徴量抽出部３０５の第３特徴量抽出部３８３に出力する。

尚、ここで、第３特徴量計算部３２３により第３特徴量が求められる単位であるグループを第３階層グループと称する。

特徴量結合部３０２は、通信部１０３、特徴量受信制御部３０７、および特徴量選択部３０８を介して他車より供給される第１特徴量、第２特徴量、および第３特徴量と、局所特徴量計算部３０１より供給される第１特徴量、第２特徴量、および第３特徴量とをそれぞれ結合させて大域特徴量計算部３０３に出力する。

より詳細には、特徴量結合部３０２は、第１特徴量結合部３４１、第２特徴量結合部３４２、および第３特徴量結合部３４３を備えている。

第１特徴量結合部３４１は、第１特徴量計算部３２１より供給される第１特徴量と、特徴量選択部３０８より供給される他車より供給される第１特徴量とを結合させて、大域特徴量計算部３０３の第２特徴量計算部３６２に出力する。

第２特徴量結合部３４２は、第２特徴量計算部３２２より供給される第２特徴量と、特徴量選択部３０８より供給される他車より供給される第２特徴量とを結合させて、大域特徴量計算部３０３の第３特徴量計算部３６１に出力する。

第３特徴量結合部３４３は、第３特徴量計算部３２３より供給される第３特徴量と、特徴量選択部３０８より供給される他車より供給される第３特徴量とを結合させて、大域特徴量計算部３０３の第３特徴量計算部３６１に出力する。

大域特徴量計算部３０３は、特徴量結合部２０２より供給される第１特徴量、第２特徴量、および第３特徴量に基づいて、各ポイントにおける大域特徴量Ｒを計算し出力する。

より詳細には、大域特徴量計算部３０３は、第３特徴量計算部３６１、第２特徴量計算部３６２、および第１特徴量計算部３６３を備えている。

第３特徴量計算部３６１は、第３特徴量結合部３４３より供給される第３特徴量と、第２特徴量結合部３４２より供給される第２特徴量とに基づいて、第２階層グループ単位の点群からなる特徴量を復元し、復元結果を第２階層グループ単位の大域特徴量として第２特徴量計算部３６２に出力する。

より詳細には、第３特徴量計算部３６１は、第３特徴量結合部３４３より供給される第３特徴量を、第２特徴量結合部３４２より供給される第２階層グループ単位の第２特徴量を用いて拡張し、第２階層グループ単位の点群の特徴量である第２特徴量として復元する。そして、第３特徴量計算部３６１は、復元結果を第２階層グループ単位の大域特徴量Ｒとして第２特徴量計算部３６２に出力する。

第２特徴量計算部３６２は、第３特徴量計算部３６１より供給される、第２階層グループ単位の大域特徴量Ｒと、第１特徴量結合部３４１より供給される第１特徴量とに基づいて、第１階層グループ単位の特徴量を復元し、復元結果を第１階層グループ単位の大域特徴量Ｒとして第１特徴量計算部３６３に出力する。

より詳細には、第２特徴量計算部３６２は、第３特徴量計算部３６１より供給される第２特徴量を、第１特徴量結合部３４１より供給される第１階層グループ単位の第１特徴量を用いて拡張し、第１階層グループ単位の点群の特徴量である第１特徴量として復元する。そして、第２特徴量計算部３６２は、復元結果を第１階層グループ単位の大域特徴量Ｒとして第１特徴量計算部３６３に出力する。

第１特徴量計算部３６３は、第２特徴量計算部３６２より供給される、第１階層グループ単位の大域特徴量Ｒと、ポイントクラウドＰＣとに基づいて、各ポイント単位の特徴量を復元し、復元結果を物体の大域特徴量Ｒとして認識部３０４に出力する。認識部３０４は、大域特徴量Ｒに基づいた物体認識処理を実行し、物体認識結果を出力する。

より詳細には、第１特徴量計算部３６３は、第２特徴量計算部３６２より供給される第１特徴量を、ポイントクラウドＰＣを用いて拡張し、ポイント単位の点群の特徴量に基づいた大域特徴量Ｒとして復元する。そして、第１特徴量計算部３６３は、復元結果をポイント単位の大域特徴量Ｒとして認識部３０４に出力する。

すなわち、本開示の図８の物体認識部１８１においては、局所特徴量計算部３０１と大域特徴量計算部３０３とにより、DNNによるPointNet++が形成されている。

すなわち、局所特徴量計算部３０１における、第１特徴量計算部３２１、第２特徴量計算部３２２、および第３特徴量計算部３２３は、実質的にDNN（Deep Neural Network）における入力層、隠れ層、および出力層を構成している。

このため、図８の局所特徴量計算部３０１は、第１特徴量計算部３２１乃至第３特徴量計算部３２３のように３段階の階層構造により特徴量を求める構成としているが、入力層と出力層に対応する少なくとも２階層以上の階層構造であれば、階層数は２または３以外であってもよい。

そして、局所特徴量計算部３０１と大域特徴量計算部３０３は、例えば、ポイントクラウドである位置（x，y，z）および色（r，g，b）を入力とし、セマンティックセグメンテーションラベルを正解とした学習（バックプロパゲーション：backpropagation）がなされている。

特徴量抽出部３０５は、局所特徴量計算部３０１の計算結果である特徴量を抽出して特徴量送信制御部３０６に供給する。

より詳細には、特徴量抽出部３０５は、第１特徴量抽出部３８１、第２特徴量抽出部３８２、および第３特徴量抽出部３８３を備えている。

第１特徴量抽出部３８１は、局所特徴量計算部３０１の第１特徴量計算部３５１の計算結果である第１特徴量を抽出して特徴量送信制御部３０６に出力する。

第２特徴量抽出部３８２は、局所特徴量計算部３０１の第２特徴量計算部３５２の計算結果である第２特徴量を抽出して特徴量送信制御部３０６に出力する。

第３特徴量抽出部３８３は、局所特徴量計算部３０１の第３特徴量計算部３５３の計算結果である第３特徴量を抽出して特徴量送信制御部３０６に出力する。

特徴量送信制御部３０６は、自車の周囲の他車より特徴量の要求があったとき、通信部１０３を制御して、要求のあった他車に対して、例えば、車車間通信等により抽出された第１特徴量乃至第３特徴量を送信する。

このとき、特徴量送信制御部３０６は、特徴量のそれぞれについて第１特徴量、第２特徴量、および第３特徴量のいずれであるかを識別する情報を付加して送信する。

また、特徴量送信制御部３０６は、自車の局所特徴量計算部３０１のDNN（Deep Neural Network）構造を示す情報を付加して特徴量を送信する。

特徴量受信制御部３０７は、自車の近傍に他車が存在する場合、通信部１０３を制御して自車の近傍の他車に対して特徴量の送付を要求すると共に、要求に応じて他車から送信されてくる特徴量を取得して特徴量選択部３０８に供給する。

特徴量選択部３０８は、特徴量受信制御部３０７より供給されてくる自車の周囲に存在する他社からの特徴量のうち、例えば、現在時刻から所定の時刻範囲の特徴量だけを抽出し、特徴量結合部３０２に出力する。

また、特徴量選択部３０８は、他車から供給される特徴量のそれぞれに付与されている他車のDNN構造を示す情報に基づいて、自車におけるDNN構造と同一の特徴量のみを選択的に抽出し、特徴量結合部３０２に出力する。

より詳細には、特徴量選択部３０８は、選択した特徴量のうち、第１特徴量を特徴量結合部３０２の第１特徴量結合部３４１に、第２特徴量を第２特徴量結合部３４２に、第３特徴量を第３特徴量結合部３４３にそれぞれ出力する。

特徴量結合部３０２の第１特徴量結合部３４１、第２特徴量結合部３４２、および第３特徴量結合部３４３は、それぞれ、特徴量選択部３０８より供給される第１特徴量、第２特徴量、および第３特徴量と、他車のDNN構造に応じて、第１特徴量、第２特徴量、および第３特徴量とをそれぞれ結合する際、重みを調整するようにしてもよい。

すなわち、自車と他車とのDNN構造が異なる場合については、特徴量結合部２０２は、他車の特徴量の重みを小さくして、自車の特徴量の重みを大きくして結合するようにしてもよい。

また、自車と他車とのDNN構造が同一である場合については、特徴量結合部２０２は、他車の特徴量の重みと、自車の特徴量の重みとを同一にして結合する。

また、局所特徴量計算部３０１を構成する第１特徴量計算部３５１、第２特徴量計算部３５２、および第３特徴量計算部３５３は、それぞれポイントクラウドＰＣにおけるポイントを基準とした、第１階層グループ、第２階層グループ、および第３階層グループのそれぞれのグループ毎の特徴量を計算するローカル処理構造を構成する。

さらに、大域特徴量計算部３０３は、ポイントの順序が変わっても、全体として大域特徴量Ｒに影響しない処理を行うグローバル処理構造を構成する。

すなわち、本開示の図８の物体認識部１８１は、上述したポイント毎の処理を行うローカル処理構造と、ポイントの順序が変わっても処理結果に影響しないグローバル処理構造とを備え、全体としてPointNet++が形成されている。

そして、本開示の図８の物体認識部１８１においては、ローカル処理構造によりポイントクラウドＰＣにおけるポイントを基準とした、第１階層グループ、第２階層グループ、および第３階層グループのそれぞれのグループ毎の処理により特徴量が計算される、グローバル処理構造による処理がなされる。

＜第２の実施の形態における物体認識処理＞
次に、図９，図１０のフローチャートを参照して、図８の物体認識部１８１による第２の実施の形態における物体認識処理について説明する。

ステップＳ９１において、局所特徴量計算部２０１の第１特徴量計算部２２１は、データ取得部１０２より供給されるステレオカメラやLiDAR等により得られるポイントクラウドＰＣを取得する。

ステップＳ９２において、第１特徴量計算部３２１は、ポイントクラウドＰＣより第１階層グループ単位の特徴量である第１特徴量を計算し、第２特徴量計算部３２２、特徴量結合部３０２の第１特徴量結合部３４１、および特徴量抽出部３０５の第１特徴量抽出部３８１に出力する。

ステップＳ９３において、第１特徴量抽出部３８１は、第１特徴量計算部３２１より供給される第１特徴量を抽出して、特徴量送信制御部３０６に出力する。これにより、特徴量送信制御部３０６は、供給されてきた第１特徴量に、図示せぬシステムクロックにおける現在時刻に応じたタイムスタンプを付して記憶する。

ステップＳ９４において、第２特徴量計算部３２２は、第１特徴量計算部３２１より供給される第１特徴量を取得し、第１特徴量より第２階層グループ単位の特徴量である第２特徴量を計算し、第３特徴量計算部３２３、特徴量結合部３０２の第２特徴量結合部３４２、および特徴量抽出部３０５の第２特徴量抽出部３８２に出力する。

ステップＳ９５において、特徴量抽出部３０５の第２特徴量抽出部３８２は、第２特徴量計算部３２２より供給される第２特徴量を抽出して、特徴量送信制御部３０６に出力する。これにより、特徴量送信制御部３０６は、供給されてきた第２特徴量に、図示せぬシステムクロックにおける現在時刻に応じたタイムスタンプを付して記憶する。

ステップＳ９６において、第３特徴量計算部３２３は、第２特徴量計算部３２２より供給される第２特徴量を取得し、第２特徴量より第３階層グループ単位の特徴量である第３特徴量を計算し、特徴量結合部３０２の第３特徴量結合部３４３、および特徴量抽出部３０５の第３特徴量抽出部３８３に出力する。

ステップＳ９７において、特徴量抽出部３０５の第３特徴量抽出部３８３は、第３特徴量計算部３２３より供給される第３特徴量を抽出して、特徴量送信制御部３０６に出力する。これにより、特徴量送信制御部３０６は、供給されてきた第３特徴量に、図示せぬシステムクロックにおける現在時刻に応じたタイムスタンプを付して記憶する。

ステップＳ９８において、特徴量送信制御部３０６は、通信部１０３を制御して、周囲の他車より特徴量の要求が送信されてきたか否かを判定する。

ステップＳ９８において、他車より特徴量の要求が送信されてきたと判定された場合、処理は、ステップＳ９９に進む。

ステップＳ９９において、特徴量送信制御部３０６は、他車より送信されてきた特徴量の要求を受信する。

ステップＳ１００において、特徴量送信制御部３０６は、記憶している第１特徴量乃至第３特徴量のうち、現在時刻に最も近い時刻の第１特徴量乃至第３特徴量を選択する。

ステップＳ１０１において、特徴量送信制御部３０６は、通信部１０３を制御して、選択した現在時刻に最も近い時刻の第１特徴量乃至第３特徴量を、特徴量を要求してきた他車に向けて送信する。このとき、特徴量送信制御部３０６は、自己位置推定部１３２により検出される自己位置の情報、および、自己の姿勢の情報を併せて、特徴量を要求してきた他車に向けて送信する。

尚、ステップＳ９８において、特徴量の送付の要求がないと判定された場合、ステップＳ９９乃至Ｓ１０１の処理がスキップされ、他車に対して特徴量の送付がなされない。

ステップＳ１０２（図１０）において、車両検出部１８２は、車車間通信等により自車の周辺に車両との通信により自車の周辺の車両（他車）との通信により自車へと接近する車両を検出する。

ステップＳ１０３において、特徴量受信制御部３０７は、車両検出部１８２の検出結果に基づいて、自車から所定の距離内である近傍に他車が存在するか否かを判定する。

ステップＳ１０３において、自車の近傍に他車が存在すると判定された場合、処理は、ステップＳ１０４に進む。

ステップＳ１０４において、特徴量受信制御部３０７は、通信部１０３を制御して、自車の近傍の他車に対して、特徴量を送付するように送信する。

この処理により、他車における物体認識処理において、上述したステップＳ９８において、他車からの要求が受信されることになるため、ステップＳ９９乃至Ｓ１０１の処理により、他車から自車に向けて特徴量が送信されてくることになる。

そこで、ステップＳ１０５において、特徴量受信制御部３０７は、通信部１０３を制御して、他車より送信されてくる特徴量、および他車の位置、および姿勢の情報を取得し、特徴量選択部３０８に供給する。

ステップＳ１０６において、特徴量選択部３０８は、供給された特徴量のうち、タイムスタンプに付された時刻のうち、現在時刻に最も近い時刻の特徴量を選択して、特徴量結合部３０２に出力する。このとき、特徴量選択部３０８は、選択した特徴量を送信してきた、他車の位置や姿勢の情報も併せて特徴量結合部３０２に供給する。

より詳細には、特徴量選択部３０８は、供給された特徴量のうち、第１特徴量を第１特徴量結合部３４１に出力し、第２特徴量を第２特徴量結合部３４２に出力し、第３特徴量を第３特徴量結合部３４３にそれぞれ出力する。

ステップＳ１０７において、特徴量結合部３０２の第１特徴量結合部３４１は、特徴量選択部３０８より供給されてきた他車から送信されてきた第１特徴量と、局所特徴量計算部３０１の第１特徴量計算部３２１より送信されてきた第１特徴量とを結合させて、大域特徴量計算部３０３の第２特徴量計算部３６２に出力する。

また、特徴量結合部３０２の第２特徴量結合部３４２、および第３特徴量結合部３４３は、それぞれ特徴量選択部３０８より供給されてきた他車から送信されてきた第２特徴量、および第３特徴量と、第２特徴量計算部３２２、および第３特徴量計算部３２３より送信されてきた第２特徴量、および第３特徴量とをそれぞれ結合させて、大域特徴量計算部３０３の第３特徴量計算部３６１に出力する。

この際、特徴量結合部３０２の第１特徴量結合部３４１、第２特徴量結合部３４２、および第３特徴量結合部３４３は、それぞれ特徴量を送信してきた他車と自車との位置関係やDNN構造に応じて重みを設定し、重みを用いた積和により第１特徴量、第２特徴量、および第３特徴量をそれぞれ結合する。

ステップＳ１０８において、大域特徴量計算部３０３の第３特徴量計算部３６１は、第３特徴量結合部３４３より供給される第３特徴量に基づいて、第３階層グループ単位の大域特徴量Ｒを計算し、第２特徴量結合部３４２より供給される第２特徴量により第２階層グループ単位の特徴量に拡張し、第２階層グループ単位の大域特徴量Ｒとして、第２特徴量計算部３６２に出力する。

ステップＳ１０９において、大域特徴量計算部３０３の第２特徴量計算部３６２は、第３特徴量計算部３６１より供給される第２階層グループ単位の大域特徴量Ｒを、第１特徴量結合部３４１より供給される第１特徴量により、第１階層グループ単位の特徴量に拡張し、第１階層グループ単位の大域特徴量Ｒとして第１特徴量計算部３６３に出力する。

ステップＳ１１０において、大域特徴量計算部３０３の第１特徴量計算部３６３は、第２特徴量計算部３６２より供給される第１階層グループ単位の大域特徴量Ｒを、ポイントクラウドＰＣにより、ポイントクラウドＰＣにおけるポイント単位の特徴量に拡張し、ポイント単位の大域特徴量Ｒとして認識部３０４に出力する。

ステップＳ１１１において、認識部３０４は、ポイント単位の大域特徴量Ｒにおけるポイント毎に物体認識処理を行い、物体認識結果を出力する。

ステップＳ１１２において、物体認識部１８１は、処理の終了が指示されたか否かを判定し、終了が指示されない場合、処理は、ステップＳ９１（図９）に戻り、それ以降の処理が繰り返される。

また、ステップＳ１０３において、自車の所定の距離内の近傍に車両が存在せず、他車が存在しないとみなされた場合、処理は、ステップＳ１１３に進む。

ステップＳ１１３において、特徴量結合部３０２の第１特徴量結合部３４１、第２特徴量結合部３４２、および第３特徴量結合部３４３は、それぞれ局所特徴量計算部３０１の第１特徴量計算部３２１、第２特徴量計算部３２２、および第３特徴量計算部３２３のそれぞれにより計算された第１特徴量、第２特徴量、および第３特徴量をそのまま大域特徴量計算部３０３の第３特徴量計算部３６１、および第２特徴量計算部３６２に出力する。

すなわち、自車の近傍に他車が存在しないということは、他車からの特徴量の供給がないことになるので、処理は、ステップＳ１１２に進み、計算された第１特徴量、第２特徴量、および第３特徴量のみを使った自車単独による第１特徴量、第２特徴量、および第３特徴量を使った物体認識処理が行われる。

以上の一連の処理により、図８で示されるようなPointNet++により構成される物体認識部１８１においても、自車の所定の距離内となる近傍に他車が存在していた場合、他車に対して特徴量が要求されて、要求に応じて他車の物体認識処理において計算された特徴量が取得される。そして、自車において計算された特徴量と、取得された他車の特徴量とが結合されることで、他車により求められた特徴量とが併せられた一括した物体認識処理により物体が認識される。

結果として、他車のセンシング結果と、自車のセンシング結果とが利用されて特徴量が求められることになるので、ポイントクラウド全体のセンシング結果を用いた場合に相当する認識精度で物体認識処理を実現することが可能となる。

尚、図８の物体認識部１８１においても、図３の物体認識部１８１における変形例と同様に、特徴量を他車に要求する際に、特徴量の条件を併せて送信し、条件に合った特徴量だけを他車より送信させてもよいし、条件を付けることなく特徴量を要求し、受信した特徴量から条件に合ったものだけを選択して、それ以外を破棄してもよい。

第２の実施の形態における変形例については、第１の実施の形態の変形例における物体認識処理と同様に、第２の実施の形態に対して、特徴量を他車に要求する際に、特徴量の条件を併せて送信し、条件に合った特徴量だけを他車より送信される点が異なるのみであり、その点の説明については同様であるので、その説明は省略する。

また、図８の物体認識部１８１における局所特徴量計算部３０１の第１特徴量計算部３２１、第２特徴量計算部３２２、および第３特徴量計算部３２３は、階層毎のグループ単位で特徴量が求められるため、第１特徴量、第２特徴量、および第３特徴量の順に求められる特徴量の情報量が小さくなる。このため、特徴量を他車から取得する場合、階層が上位となる特徴量を選択的に送受信させるようにすることで、車車間通信の通信負荷を低減させて、高速の通信を実現させることが可能となる。

すなわち、他車に対して特徴量を要求する際、例えば、第１特徴量のみを要求するよりも第２特徴量のみを要求することで、取得する特徴量の情報量を小さくすることができ、通信負荷を低減させ、特徴量の取得に係る処理を高速化することが可能となる。

さらに、他車に対して特徴量を要求する際、第２特徴量のみを要求するよりも第３特徴量のみを要求することで、さらに、通信負荷を低減させることができ、特徴量の取得に係る処理を、さらに高速化することが可能となる。

＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

図１１は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図１１におけるCPU１００１が、図３，図８の物体認識部１８１の機能を実現させる。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ 複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算する特徴量計算部と、
前記特徴量計算部と異なる他の特徴量計算部により計算された前記物体認識に用いる特徴量を取得する取得部と、
計算された特徴量と、取得された特徴量とに基づいて、前記物体認識を行う認識部と
を備える情報処理装置。
＜２＞ 前記特徴量計算部は移動体に設けられ、前記他の特徴量計算部は前記移動体とは異なる他の移動体に設けられる
＜１＞に記載の情報処理装置。
＜３＞ 前記認識部は、前記特徴量計算部において２以上の段階的に計算された複数の階層の特徴量に基づいて、前記物体認識を行う
＜１＞または＜２＞に記載の情報処理装置。
＜４＞ 前記取得部は、前記他の特徴量計算部において段階的に計算された複数の階層の特徴量のうち、２以上の階層の特徴量を取得する
＜１＞または＜２＞に記載の情報処理装置。
＜５＞ 前記取得部は、前記他の特徴量計算部により計算された複数の階層の特徴量のうち、特定の階層の特徴量を取得する
＜１＞または＜２＞に記載の情報処理装置。
＜６＞ 前記取得部は、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を取得する
＜２＞に記載の情報処理装置。
＜７＞ 前記移動体と、前記他の移動体との距離が所定の距離内であるとき、前記取得部は、前記他の移動体に対して、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を要求し、
前記取得部は、前記特徴量の要求に応じて、前記他の移動体より送信されてくる、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を取得する
＜６＞に記載の情報処理装置。
＜８＞ 前記取得部は、前記他の移動体に対して、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を要求し、前記特徴量の要求に応じて、前記他の移動体より送信されてくる、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を取得する
＜７＞に記載の情報処理装置。
＜９＞ 前記取得部は、前記他の移動体に対して、前記他の特徴量計算部により計算された特徴量を要求し、前記特徴量の要求に応じて、前記他の移動体より送信されてくる、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を抽出して取得し、前記特徴量計算部と同一のニューラルネットワーク構造を持たない階層の、前記他の特徴量計算部により計算された特徴量を破棄する
＜７＞に記載の情報処理装置。
＜１０＞ 計算された特徴量と、取得された特徴量とを結合する結合部と、
前記結合部により結合された特徴量に基づいて、大域特徴量を計算する大域特徴量計算部とをさらに含み、
前記認識部は、前記大域特徴量計算部により計算された特徴量に基づいて、前記物体認識を行う
＜１＞乃至＜９＞のいずれかに記載の情報処理装置。
＜１１＞ 前記特徴量計算部と、前記大域特徴量計算部とにおいて、
前記結合部は、前記特徴量計算部により段階的に計算された最終階層の特徴量と、前記他の特徴量計算部により段階的に計算された最終階層の特徴量とを結合し、
前記大域特徴量計算部は、計算された最終階層の特徴量と、取得された最終階層の特徴量とが前記結合部により結合された特徴量に基づいて、前記大域特徴量を計算する
＜１０＞に記載の情報処理装置。
＜１２＞ 前記特徴量計算部と、前記大域特徴量計算部とは、PointNet構造を形成する
＜１１＞に記載の情報処理装置。
＜１３＞ 前記特徴量計算部と、前記大域特徴量計算部とにおいて、
前記結合部は、前記特徴量計算部により段階的に計算された階層毎の特徴量と、前記他の特徴量計算部により段階的に計算された階層毎の特徴量とを、前記階層毎に結合し、
前記大域特徴量計算部は、前記計算された階層毎の特徴量と、取得された階層毎の特徴量とが前記結合部により前記階層毎に結合された特徴量に基づいて、前記大域特徴量を計算する
＜１０＞に記載の情報処理装置。
＜１４＞ 前記特徴量計算部と、前記大域特徴量計算部とは、PointNet++構造を形成する
＜１３＞に記載の情報処理装置。
＜１５＞ 前記特徴量計算部は、ポイントクラウドからなる入力情報におけるポイント毎のローカル処理を行うローカル処理構造からなり、前記複数の階層のそれぞれにおいて、前記物体認識に用いる特徴量を段階的に計算し、
前記大域特徴量計算部は、前記ポイントの順番に影響されないグローバル処理を行うグローバル処理構造からなり、前記特徴量計算部により計算された特徴量と、取得された特徴量とに基づいて、前記大域特徴量を計算する
＜１０＞に記載の情報処理装置。
＜１６＞ 特徴量計算部と、
取得部と、
認識部と
を備えた情報処理装置の情報処理方法であって、
前記特徴量計算部が、複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算し、
前記取得部が、前記特徴量計算部とは異なる他の特徴量計算部により計算された前記物体認識に用いる特徴量を取得し、
前記認識部が、計算された特徴量と、取得された特徴量とに基づいて、前記物体認識を行う
ステップを含む情報処理方法。
＜１７＞ 複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算する特徴量計算部と、
前記特徴量計算部と異なる他の特徴量計算部により計算された前記物体認識に用いる特徴量を取得する取得部と、
計算された特徴量と、取得された特徴量とに基づいて、前記物体認識を行う認識部と
してコンピュータを機能させるプログラム。

１１ 物体認識システム， ３１，５１ 車両， １４１ 車外情報検出部， １８１ 物体認識部， １８２ 車両検出部， ２０１ 局所特徴量計算部， ２０２ 特徴量結合部， ２０３ 大域特徴量計算部， ２０４ 認識部， ２０５ 特徴量抽出部， ２０６ 特徴量送信制御部， ２０７ 特徴量受信制御部， ２０８ 特徴量選択部， ２２１ 第１特徴量計算部， ２２２ 第２ 特徴量計算部， ２２３ 第３特徴量計算部， ２７１ 第２特徴量計算部， ２７２ 第３特徴量計算部， ２８１ 第１特徴量抽出部， ２８２ 第２特徴量抽出部， ２８３ 第３特徴量抽出部， ３０１ 特徴量計算部， ３０２ 特徴量結合部， ３０３ 大域特徴量計算部， ３０４ 認識部， ３０５ 特徴量抽出部， ３０６ 特徴量送信制御部， ３０７ 特徴量受信制御部， ３０８ 特徴量選択部， ３２１ 第１特徴量計算部， ３２２ 第２ 特徴量計算部， ３２３ 第３特徴量計算部， ３６１ 第３特徴量計算部， ３６２ 第２特徴量計算部， ３６３ 第１特徴量計算部， ３８１ 第１特徴量抽出部， ３８２ 第２特徴量抽出部， ３８３ 第３特徴量抽出部

Claims (17)

1. 周囲情報検出センサにより検出されたセンシング結果に基づいて、複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算する特徴量計算部と、
   前記周囲情報検出センサと異なる他の周囲情報検出センサにより検出された他のセンシング結果に基づいて、前記特徴量計算部と異なる他の特徴量計算部により計算された前記物体認識に用いる、前記特徴量と異なる他の特徴量を取得する取得部と、
   前記特徴量と、前記他の特徴量とに基づいて、前記物体認識を行う認識部とを備え、
   前記周囲情報検出センサと前記他の周囲情報検出センサとは、それぞれ異なる物体に設けられる
   情報処理装置。
2. 前記周囲情報検出センサおよび前記特徴量計算部は移動体に設けられ、前記他の周囲情報検出センサおよび前記他の特徴量計算部は前記移動体とは異なる他の移動体に設けられる
   請求項１に記載の情報処理装置。
3. 前記認識部は、前記特徴量計算部において２以上の段階的に計算された複数の階層の特徴量に基づいて、前記物体認識を行う
   請求項１に記載の情報処理装置。
4. 前記取得部は、前記他の特徴量計算部において段階的に計算された複数の階層の特徴量のうち、２以上の階層の特徴量を前記他の特徴量として取得する
   請求項１に記載の情報処理装置。
5. 前記取得部は、前記他の特徴量計算部により計算された複数の階層の特徴量のうち、特定の階層の特徴量を前記他の特徴量として取得する
   請求項１に記載の情報処理装置。
6. 前記取得部は、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を前記他の特徴量として取得する
   請求項２に記載の情報処理装置。
7. 前記移動体と、前記他の移動体との距離が所定の距離内であるとき、前記取得部は、前記他の移動体に対して、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を要求し、前記特徴量の要求に応じて、前記他の移動体より送信されてくる、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を前記他の特徴量として取得する
   請求項６に記載の情報処理装置。
8. 前記取得部は、前記他の移動体に対して、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を要求し、前記特徴量の要求に応じて、前記他の移動体より送信されてくる、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を前記他の特徴量として取得する
   請求項７に記載の情報処理装置。
9. 前記取得部は、前記他の移動体に対して、前記他の特徴量計算部により計算された特徴量を要求し、前記特徴量の要求に応じて、前記他の移動体より送信されてくる、前記他の特徴量計算部により計算された特徴量のうち、前記特徴量計算部と同一のニューラルネットワーク構造を持つ階層の、前記他の特徴量計算部により計算された特徴量を抽出して前記他の特徴量として取得し、前記特徴量計算部と同一のニューラルネットワーク構造を持たない階層の、前記他の特徴量計算部により計算された特徴量を破棄する
   請求項７に記載の情報処理装置。
10. 前記特徴量と、前記他の特徴量とを結合する結合部と、
    前記結合部により結合された特徴量に基づいて、大域特徴量を計算する大域特徴量計算部とをさらに含み、
    前記認識部は、前記大域特徴量計算部により計算された特徴量に基づいて、前記物体認識を行う
    請求項１に記載の情報処理装置。
11. 前記特徴量計算部と、前記大域特徴量計算部とにおいて、
    前記結合部は、前記特徴量計算部により段階的に計算された最終階層の特徴量と、前記他の特徴量計算部により段階的に計算された最終階層の特徴量とを結合し、
    前記大域特徴量計算部は、計算された最終階層の特徴量と、取得された最終階層の特徴量とが前記結合部により結合された特徴量に基づいて、前記大域特徴量を計算する
    請求項１０に記載の情報処理装置。
12. 前記特徴量計算部と、前記大域特徴量計算部とは、PointNet構造を形成する
    請求項１１に記載の情報処理装置。
13. 前記特徴量計算部と、前記大域特徴量計算部とにおいて、
    前記結合部は、前記特徴量計算部により段階的に計算された階層毎の特徴量と、前記他の特徴量計算部により段階的に計算された階層毎の特徴量とを、前記階層毎に結合し、
    前記大域特徴量計算部は、前記計算された階層毎の特徴量と、取得された階層毎の特徴量とが前記結合部により前記階層毎に結合された特徴量に基づいて、前記大域特徴量を計算する
    請求項１０に記載の情報処理装置。
14. 前記特徴量計算部と、前記大域特徴量計算部とは、PointNet++構造を形成する
    請求項１３に記載の情報処理装置。
15. 前記特徴量計算部は、ポイントクラウドからなる入力情報におけるポイント毎のローカル処理を行うローカル処理構造からなり、前記複数の階層のそれぞれにおいて、前記物体認識に用いる特徴量を段階的に計算し、
    前記大域特徴量計算部は、前記ポイントの順番に影響されないグローバル処理を行うグローバル処理構造からなり、前記特徴量計算部により計算された特徴量と、取得された特徴量とに基づいて、前記大域特徴量を計算する
    請求項１０に記載の情報処理装置。
16. 特徴量計算部と、
    取得部と、
    認識部と
    を備えた情報処理装置の情報処理方法であって、
    前記特徴量計算部が、周囲情報検出センサにより検出されたセンシング結果に基づいて、複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算する計算処理することと、
    前記取得部が、前記周囲情報検出センサと異なる他の周囲情報検出センサにより検出された他のセンシング結果に基づいて、前記特徴量計算部とは異なる他の特徴量計算部により計算された前記物体認識に用いる前記特徴量と異なる他の特徴量を取得する取得処理することと、
    前記認識部が、前記特徴量と、前記他の特徴量とに基づいて、前記物体認識を行う物体認識処理することとを含み、
    前記周囲情報検出センサと前記他の周囲情報検出センサとは、それぞれ異なる物体に設けられる
    情報処理方法。
17. 周囲情報検出センサにより検出されたセンシング結果に基づいて、複数の階層のそれぞれにおいて、物体認識に用いる特徴量を段階的に計算する特徴量計算部と、
    前記周囲情報検出センサと異なる他の周囲情報検出センサにより検出された他のセンシング結果に基づいて、前記特徴量計算部と異なる他の特徴量計算部により計算された前記物体認識に用いる前記特徴量と異なる他の特徴量を取得する取得部と、
    前記特徴量と、前記他の特徴量とに基づいて、前記物体認識を行う認識部としてコンピュータを機能させ、
    前記周囲情報検出センサと前記他の周囲情報検出センサとは、それぞれ異なる物体に設けられる
    プログラム。

Images