[go: up one dir, main page]

JP2022028989A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP2022028989A
JP2022028989A JP2018236535A JP2018236535A JP2022028989A JP 2022028989 A JP2022028989 A JP 2022028989A JP 2018236535 A JP2018236535 A JP 2018236535A JP 2018236535 A JP2018236535 A JP 2018236535A JP 2022028989 A JP2022028989 A JP 2022028989A
Authority
JP
Japan
Prior art keywords
object recognition
vehicle
recognition result
unit
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018236535A
Other languages
English (en)
Inventor
信之 五十嵐
Nobuyuki Igarashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018236535A priority Critical patent/JP2022028989A/ja
Priority to PCT/JP2019/047537 priority patent/WO2020129656A1/ja
Priority to US17/309,606 priority patent/US11763675B2/en
Priority to DE112019006281.6T priority patent/DE112019006281T5/de
Priority to CN201980082175.2A priority patent/CN113196106B/zh
Publication of JP2022028989A publication Critical patent/JP2022028989A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】勾配路における障害物に対する適切な衝突判定を実現できるようにする。【解決手段】カメラにより撮像された画像による物体認識結果、ミリ波レーダの検出結果に基づいた物体認識結果、およびLiDARの検出結果による物体認識結果がそれぞれ検出され、車両周辺の環境に応じて選択され、選択された物体認識結果に基づいて、前記物体との衝突の有無が判定される。本開示は、車載システムに適用することができる。【選択図】図５

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、勾配路における障害物に対する適切な衝突判定を実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
ACC（Adaptive Cruise Control）やPCS（Pre-Crash Safety）のような利便性と、安全性の向上を目的としたADAS（Advanced Driver Assistance System）において、システムの誤作動を防止するために、障害物の有無を確認したうえで、走行可能か否かを判定する必要がある。
特にPCSにおいては、勾配路面上のマンホールやグレーチングに対して、衝突の可能性があると誤った判定により、急ブレーキがかかってしまう恐れがあった。
このため、路面の勾配を認識したうえで、衝突判定を行う必要がある。
勾配を認識する技術としては、カメラを使って先行車のテールランプ部分の垂直位置の変化から勾配を推定する技術が提案されている（特許文献１参照）。
特開２０１２－０８８２１７号公報
しかしながら、特許文献１の技術においては、カメラを使用しているため、夜間や荒天時など、画像が撮像される環境の変化による影響を受けることがあるので、先行車の認識精度が低下して、誤判定を発生させる恐れがある。
また、先行車のテールランプ部分の垂直位置の変化を検出する必要があるため、先行車が存在しないときには、勾配を推定することができない。
本開示は、このような状況に鑑みてなされたものであり、特に、環境や先行車の有無による影響を受けることなく、勾配路における障害物に対する適切な衝突判定を実現するものである。
本開示の一側面の情報処理装置は、複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部とを備える情報処理装置である。
本開示の一側面の情報処理方法およびプログラムは、情報処理装置に対応する。
本開示の一側面においては、複数の認識方式で、車両の前方の物体が認識され、前記複数の認識方式のそれぞれの物体認識結果が出力され、前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果が選択され、選択された前記物体認識結果に基づいて、前記物体との衝突の有無が判定される。
衝突判定における誤検出を説明する図である。 ミリ波レーダによる衝突判定の概要を説明する図である。 LiDARによる衝突判定の概要を説明する図である。 本開示の車両制御システムの構成例を説明するブロック図である。 図４における誤判定を抑制するようにした車両制御システムの構成例を説明するブロック図である。 LiDARによる衝突判定を説明する図である。 LiDARによる衝突判定を説明する図である。 運転制御処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．本開示の車両を制御する車両制御システムの構成例
３．勾配路における障害物の誤判定を抑制する構成
４．衝突判定処理
５．ソフトウェアにより実行させる例
＜＜１．本開示の概要＞＞
＜衝突判定における誤検出＞
本開示の概要について説明する。
本開示の車両は、利便性と、安全性の向上を目的としたADAS（Advanced Driver Assistance System）による勾配路の障害物に対する適切な衝突判定を実現するものである。
例えば、図１の上段で示されるように、自動運転機能や運転支援機能を備えた車両１－１が、平面路ＦＬ１上を図中の右方向に走行する場合について考える。ここで、図１の上段は、図中を右方向に走行する車両１－１を側面方向から見た様子が示されており、平面路ＦＬ１の図中の右端には、勾配路ＳＬ１が接続されている。
さらに、勾配路ＳＬ１には、マンホール２－１が路面に埋設された状態とされている。
車両１－１は、自動運転機能や運転支援機能を実現させるため、外界認識センサ１ａ－１を備えている。そして、車両１－１は、点線で示されるように、走行方向の前方を外界認識センサ１ａ－１によりセンシングしており、路面上の障害物の有無を検出し、障害物を検出したときには、緊急停止動作や緊急回避動作をとることにより、安全を確保する。
外界認識センサ１ａ－１は、例えば、カメラ、ミリ波レーダ、およびLiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）等である。
ここで、外界認識センサ１ａ－１がカメラである場合、晴天時の日中の明るい環境であれば、画像認識により前方に存在する物体の大きさや種類まで認識できるので、図１の場合、勾配路ＳＬ１にマンホール２－１が埋設されていることを認識することができる。
このため、路面上にマンホール２－１が存在することが認識されるものの、マンホール２－１が障害物であるとの認識はなされないことになる。
しかしながら、夜間や荒天時など、周辺の環境に変化が生じると、外界認識センサ１ａ－１がカメラであるときには、撮像される画像では、前方が勾配路ＳＬ１であることやマンホール２－１が埋設されていることを認識できない恐れがある。このような場合、車両１－１の自動運転機能や運転支援機能は機能できない状態となる。
ただし、図１における状況において、夜間や荒天時など、周辺の環境に変化が生じでも、外界認識センサ１ａ－１がカメラである場合については、マンホール２－１を検出することができないのみで、誤検出等に起因する問題は発生しない。
次に、外界認識センサ１ａ－１がミリ波レーダである場合について考える。
外界認識センサ１ａ－１がミリ波レーダである場合には、夜間や荒天時などでも、対象物が勾配路ＳＬ１やマンホール２－１等であるか否かについては、認識ができないものの、マンホール２－１の存在する位置に、何らかの物体が存在ことを認識することはできる。
しかしながら、外界認識センサ１ａ－１がミリ波レーダの場合、外界認識センサ１ａ－１は、走行方向の前方に何らかの対象物が存在することは認識できても、勾配路ＳＬ１の路面上にマンホール２－１が埋設されていることを認識することはできない。
このため、外界認識センサ１ａ－１がミリ波レーダである場合、図１の上段であるときには、平面路ＦＬ１上に何らかの高さを有する、衝突する可能性のある障害物が存在するものと誤検出する恐れがあった。
結果として、車両１－１は、例えば、障害物との衝突が発生する可能性があるものと誤検出し、衝突を回避するため、緊急停止動作や緊急回避動作を取ってしまい、この緊急停止動作や緊急回避動作により事故等を誘発させる恐れがあった。
ところで、図１の下段で示されるように、車両１－２が、カメラやミリ波レーダからなる外界認識センサ１ａ－２を備えて、勾配路ＳＬ２を図中右方向に下りながら走行し、勾配路ＳＬ２の先に平面路ＦＬ２が接続され、平面路ＦＬ２上にマンホール２－２が設けられている場合についても同様の現象が発生する可能性がある。
ところで、ミリ波レーダは、先行車が存在する場合、先行車の車体の下の路面に反射させながら、先行車よりも前方を照射し、その反射波を受信することで、先行車の、さらに前方の物体の有無も検出することができる。
ここで、図２の上段で示されるように、車両１１がミリ波レーダからなる外界認識センサ１１ａを備えて、平面路ＦＬ上を、走行方向前方をセンシングしながら図中右方向に走行する際、前方に勾配路ＳＬが存在して、マンホール１２が埋設されている場合について考える。
図２の上段の場合、車両１１は、外界認識センサ１１ａにより前方に存在するマンホール１２からの反射波により、どのような物体であるかについては認識できないが、障害物が存在する可能性があることだけは認識することができる。
従って、この情報だけでは、車両１１は、前方に存在する物体が、衝突の可能性がない勾配路ＳＬに埋設されたマンホール１２であるのか、衝突の可能性のある障害物であるのかについて判断することができない。
このような場合、誤検出の発生を抑制するには、車両１１は、運転者に対して、判断できないが何らかの物体が存在することを通知するしかない状態となる。
しかしながら、図２の下段で示されるように、先行車１１’が、車両１１の前方に存在し、図中の右方向に走行している場合、先行車１１’が勾配路ＳＬやマンホール１２と同じ位置を通過したか否かを検出することはできる。このようなとき、マンホール１２が障害物であるか否かが不明ではあるが、何らかの物体が存在した位置を先行車１１’が通過したとき、車両１１は、少なくとも検出された物体が衝突の恐れがある障害物ではないことを認識することができる。
そこで、本開示においては、図２の車両１１のように、外界認識センサ１１ａにミリ波レーダを用いる場合、図２の下段で示されるように、自らの走行が継続されることにより、障害物である可能性のある物体を認識するときには、先行車１１’が、障害物である可能性のあるものとして認識した物体の位置を通過したか否かにより検出した物体の衝突の可能性の有無を判定するようにする。
すなわち、本開示の車両１１は、前方に存在する物体を認識する場合、先行車１１’が認識した物体の位置を通過するときには、その物体が障害物ではないものとみなすようにすることで、誤検出の発生を抑制する。
ただし、外界認識センサ１１ａをミリ波レーダとした場合、障害物の可能性がある物体が存在する位置を走行する先行車が存在しないと、誤検出の発生を抑制することができない。
ここで、外界認識センサ１１ａとして、LiDARを用いた場合について考える。
LiDARは、測距する方向に対してレーザ光を投光し、反射光を受光することで、往復時間から距離を求め、水平方向および垂直方向に所定の間隔で点群情報を取得する。
すなわち、例えば、図３で示されるような場合、外界認識センサ１１ａは、平面路ＦＬを図中右方向に走行しながら、例えば、垂直方向に対して、５本のレーザ光を投光し、それぞれの投光タイミングと、前方の勾配路ＳＬ上におけるマンホール１２からの反射光を受光する受光タイミングとの差分から距離を求めることで、マンホール１２の点群情報を取得する。
このとき、車両１１が図中の右方向に走行すると、勾配路ＳＬは、時刻の経過に伴って、時刻ｔ１，ｔ２，ｔ３のように、車両１１との距離が短くなっていく。
ここで、時刻ｔ１においては、５本のレーザ光のうち、２本のレーザ光が勾配路ＳＬに埋設されたマンホール１２により反射される。そして、時刻ｔ２においては、３本のレーザ光が、時刻ｔ３においては、４本のレーザ光が、それぞれ勾配路ＳＬに埋設されたマンホール１２により反射される。
すなわち、車両１１が勾配路ＳＬ近付くにつれて、マンホール１２から反射されるレーザ光の本数が増える。
つまり、LiDARからなる外界認識センサ１１ａは、マンホール１２への接近に伴って、マンホール１２から反射されるレーザ光の本数が変化することにより、３次元の点群情報に基づいて、マンホール１２の大きさや、マンホール１２の時系列の大きさの変化に基づいた勾配路ＳＬの勾配を認識することができる。
結果として、この点群情報を用いることで、車両１１は、前方に存在する物体が勾配路ＳＬであって、マンホール１２が勾配路ＳＬに埋設されていることを認識でき、障害物であるといった誤検出を抑制することが可能となる。
そこで、本開示においては、カメラ、ミリ波レーダ、およびLiDARからなる３種類の外界認識センサ１１ａを組み合わせ、それぞれのセンシング結果を環境に応じて使い分けることで、物体検出に係る誤検出を抑制する。
すなわち、晴天時の明るい日中等は、外界認識センサ１１ａとしてカメラにより撮像された画像の認識結果を用いることにし、例えば、夜間や荒天時であって、先行車が存在するときには、ミリ波レーダのセンシング結果を使用し、夜間や荒天時であって、先行車が存在しないときには、LiDARのセンシング結果を用いるようにする。
このように、環境に応じて複数のセンサからなる外界認識センサ１１ａのセンシング結果を使い分けるようにすることで、それぞれの特性に応じて適切に衝突判定を実現することが可能となり、誤検出の発生を抑制することが可能となる。
＜＜２．本開示の車両を制御する車両制御システムの構成例＞＞
次に、図４のブロック図を参照して、本開示の車両の車両制御システムについて説明する。
図４は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。車両制御システム１００は、車両１１に搭載されている。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜＜３．勾配路における障害物の誤判定を抑制する構成＞＞
次に、図５のブロック図を参照して、勾配路における障害物の誤判定を抑制する構成について説明する。尚、図５は、図４を参照して説明した車両制御システム１００を実現する機能の構成例のうち、勾配路における障害物の誤判定を抑制する構成を抜粋した構成を示している。
データ取得部１０２は、カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３を備えている。カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３は、いずれも車両１１の前方やフロントウィンドウの上部など、車両１１の走行方向の前方における物体を検出する。カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３は、例えば、図２，図３の車両１１における外界認識センサ１１ａに対応するものである。
カメラ２０１は、走行方向の前方の画像を撮像し、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。
ミリ波レーダ２０２は、走行方向の前方にミリ波帯の電波を照射し、物体からの反射波を受信して物体の位置と速度の情報を検出し、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。
LiDAR２０３は、走行方向の前方に対して、水平方向および垂直方向に対して所定の間隔でレーザ光を投光し、物体からの反射光を受光することで、物体の位置や形状に応じた点群情報を検出し、自動運転制御部１１２における検出部１３１の車外情報検出部１４１に出力する。
車外情報検出部１４１は、カメラ２０１により撮像された画像、ミリ波レーダ２０２の検出結果、およびLiDAR２０３のセンシング結果に基づいて、車両１１の前方の物体認識を行うと共に、認識結果に基づいた衝突判定を行う。より詳細には、車外情報検出部１４１は、物体認識部２２１、勾配認識部２２２、および衝突判定部２２３を備えている。
物体認識部２２１は、カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３のそれぞれのセンシング結果に基づいて、物体を認識する。
より詳細には、物体認識部２２１は、カメラ２０１のセンシング結果である、撮像された画像に基づいて、画像内の情報から、例えば、セマンティックセグメンテーション等により画素単位で画像内に映し出されている進路上の物体を個別に認識する。このため、例えば、進路上の路面が勾配路であるような場合、またはマンホールやグレーチングが存在するような場合には、物体認識部２２１は、画像から前方に勾配路が存在すること、またはマンホールやグレーチングが存在することを認識することができる。
また、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、進路上の物体の有無を認識する。このとき、物体認識部２２１は、前方を照射したミリ波帯の電波のうち、反射強度の高いものを物体からの反射波として認識する。しかしながら、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果のみでは、物体の位置（距離と方向）を認識することはできても、物体が、例えば、車両であるのか、通行人であるのかなど、何であるのかや、大きさ等を認識することはできない。
ただし、ミリ波帯の電波は、先行車が存在しても、一部が先行車の車体の下の路面に反射することで、先行車よりも、さらに前方の物体からの反射波が受信される。このため、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、例えば、先行車よりも、さらに前方の物体の存在を認識することができる。
さらに、物体認識部２２１は、LiDAR２０３のセンシング結果に基づいて、進路上の物体を認識する。このとき、LiDAR２０３のセンシング結果は、３次元の点群情報であるので、物体認識部２２１は、ミリ波レーダ同様に、前方に物体が存在することを認識できる。しかしながら、LiDAR２０３のセンシング結果からでは、検出される物体がどのような物体であるのかを認識することはできない。また、LiDAR２０３のセンシング結果は、レーザ光であるので、例えば、先行車などが存在する場合、その先行車の前方の情報は取得できない。このため、LiDAR２０３のセンシング結果による物体認識においては、先行車が存在する場合には、衝突判定に使用するような物体認識をすることができない。ただし、LiDAR２０３のセンシング結果を用いる場合、図３を参照して説明したように、物体が存在し、時間の経過に伴って接近するようなとき、物体への接近に伴って、反射するレーザ光が増える。この結果、物体認識部２２１は、反射するレーザ光の数の変化により、物体の大きさや勾配を認識することができる。
勾配認識部２２２は、物体認識部２２１による認識結果のうち、カメラ２０１により撮像された画像による物体認識結果やLiDAR２０３のセンシング結果による物体検出結果に基づいて、進路上の路面の勾配を認識する。例えば、カメラ２０１により撮像された画像を用いた物体認識結果を用いる場合、勾配認識部２２２は、物体認識結果に基づいて、路面の領域の情報から路面の勾配を認識する。
また、例えば、LiDARによるセンシング結果を用いた物体認識結果を用いる場合、勾配認識部２２２は、３次元点群情報内で認識される物体の時系列の変化に基づいて物体を認識する。より詳細には、ミリ波レーダによるセンシング結果を用いた場合、物体への接近に伴って、反射されるレーザ光の本数（面積）が増えることになる。このため、物体認識部２２１が、物体により反射されるレーザ光の本数（面積）に基づいて物体の大きさを認識する。また、勾配認識部２２２は、物体により反射されるレーザ光の本数の時系列の変化に基づいて路面の勾配を認識する。
尚、例えば、ミリ波レーダによるセンシング結果から路面の勾配を求めることはできない。
衝突判定部２２３は、物体認識部２２１の物体認識結果に基づいて、進路上の物体との衝突の有無である衝突判定を実施する。
衝突判定部２２３は、環境条件に応じて、物体認識結果を使い分けて、衝突判定を行う。
衝突判定部２２３は、日中の晴天時においては、カメラ２０１により撮像された画像に基づいた物体認識結果に基づいて、衝突判定を行う。
また、衝突判定部２２３は、夜間や荒天時においては、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果と、LiDAR２０３のセンシング結果を用いた物体認識結果とを用いて衝突判定を行う。
この際、先行車が存在する場合、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により進路上に物体が存在することを認識すると共に、認識した物体の位置を先行車が通過したか否かにより衝突判定を行う。
すなわち、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により衝突判定を行う場合、衝突判定部２２３は、先行車の存在と共に、先行車のさらに前方の物体の存在を認識することができる。
しかしながら、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果からでは、物体の存在を認識することができても、衝突の可能性を考慮する必要のある物体であるか否かを識別することはできない。
そこで、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により衝突判定を行う場合、先行車が存在するときについては、認識した物体の位置を先行車が通過したときには衝突の可能性がないものとみなす。
また、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果を用いた物体認識結果により衝突判定を行う場合、先行車が存在するときについては、先行車が認識した物体の位置を通過しないときには、すなわち、避けて通過することが認識できるようなときは、認識した物体への衝突の可能性があるものとみなす。
さらに、先行車が存在しない場合、衝突判定部２２３は、LiDAR２０３のセンシング結果を用いた物体認識結果により進路上に物体が存在することを認識することにより衝突判定を行う。
すなわち、LiDAR２０３のセンシング結果を用いた物体認識結果により衝突判定を行う場合、衝突判定部２２３は、物体の接近に伴って、投光したレーザ光のうち、物体により反射されるレーザ光の本数が時系列に増え、反射されるレーザ光の本数の変化に対応して物体の大きさや勾配を認識することができる。
より詳細には、図６で示されるように、車両１１が平面路ＦＬを図中の右方向に走行し、平面路ＦＬは右端部が勾配路ＳＬに接続されており、さらに、勾配路ＳＬにはマンホール１２が設けられているものとする。ここで、車両１１の前方には、カメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３からなるデータ取得部１０２の各構成が組み込まれた外界認識センサ１１ａが設けられている。このデータ取得部１０２である外界認識センサ１１ａのうちのLiDAR２０３により、例えば、図６で示されるように、走行方向前方に向けてレーザ光Ｌ１乃至Ｌ１３が投光され、それぞれの反射光が受光されることで３次元点群情報が物体認識結果として取得されるものとする。
ここで、図６においては、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ３乃至Ｌ８からなる６本のレーザ光がマンホール１２に照射されて、反射光として受光されることが示されている。
この状態から時間の経過に伴って車両１１が勾配路ＳＬのマンホール１２に接近するとき、経過時刻ｔ１乃至ｔ３においては、図７で示されるように徐々にマンホール１２から反射されるレーザ光の本数が増える。
すなわち、図６の状態から所定時間が経過した時刻ｔ１においては、図７の上段で示されるように、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ２乃至Ｌ９からなる８本のレーザ光がマンホール１２に照射されて、LiDAR２０３において反射光として受光される。
また、その後、時刻ｔ２においては、図７の中段で示されるように、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ１乃至Ｌ１０からなる１０本のレーザ光がマンホール１２に照射されて、LiDAR２０３において反射光として受光される。
さらに、その後、時刻ｔ３においては、図７の下段で示されるように、レーザ光Ｌ１乃至Ｌ１３のうち、レーザ光Ｌ１乃至Ｌ１３の１３本全てのレーザ光がマンホール１２に照射されて、LiDAR２０３において反射光として受光される。
このように、車両１１の外界認識センサ１１ａとして設けられたLiDAR２０３から照射されるレーザ光のうち、マンホール１２により反射されるレーザ光の本数は、車両１１のマンホール１２への接近に伴って、時系列に増大する。また、この反射されるレーザ光の本数の時系列の変化は、マンホール１２の表面の勾配により変化する。すなわち、勾配が大きい程、時系列に変化するレーザ光の本数は多く、勾配が小さい程、時系列に変化するレーザ光の本数は少ない。
そこで、衝突判定部２２３は、物体により反射されるレーザ光の本数の時系列の変化に基づいて、物体の表面の勾配を求め、物体が所定の大きさより大きく、かつ、所定の勾配より大きな勾配であるか否かにより衝突判定を行う。
＜＜４．衝突判定処理＞＞
次に、図８のフローチャートを参照して、本開示の車両１１による衝突判定処理について説明する。
ステップＳ１１において、データ取得部１０２のカメラ２０１、ミリ波レーダ２０２、およびLiDAR２０３は、それぞれのセンシング結果（カメラ２０１においては撮像された画像）を自動運転制御部１１２の検出部１３１に出力する。
ステップＳ１２において、物体認識部２２１は、カメラ２０１により撮像された画像による物体の認識が可能であるか否かを判定する。より詳細には、物体認識部２２１は、夜間や荒天時などにより十分な明るさが足りないなどの環境の影響に起因する理由により、カメラ２０１により撮像された画像から物体を適切に認識できるか否かを判定する。
ステップＳ１２において、カメラ２０１により撮像された画像による物体の認識が可能であると判定された場合、処理は、ステップＳ１３に進む。
ステップＳ１３において、物体認識部２２１は、カメラ２０１のセンシング結果である撮像された画像に基づいて、例えば、セマンティックセグメンテーション等により、画素単位で物体を認識する。
ステップＳ１４において、衝突判定部２２３は、カメラ２０１のセンシング結果である撮像された画像に基づいた物体認識部２２１の物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
ステップＳ１４において、例えば、進路上に障害物となり得る物体が存在すると判定された場合、処理は、ステップＳ１５に進む。
ステップＳ１５において、勾配認識部２２２は、物体認識部２２１により路面として認識された領域の勾配を認識する。
ステップＳ１６において、衝突判定部２２３は、路面の勾配と進路上の障害物となり得る物体の情報に基づいて、衝突の有無を判定する。
ステップＳ１６において、例えば、人物や駐車車両など、物体としてのサイズが大きい、または、路面の勾配が大きく、壁や塀である可能性がある場合、衝突の可能性があるものとみなして、処理は、ステップＳ１７に進む。
ステップＳ１７において、衝突判定部２２３は、動作制御部１３５の緊急事態回避部１７１に衝突の可能性があることを通知する。
ステップＳ１８において、緊急事態回避部１７１は、衝突判定部２２３からの通知に基づいて、加減速制御部１７２、および方向制御部１７３を制御して、障害物となり得る物体との衝突を回避するように駆動系制御部１０７により駆動系システム１０８を駆動させる。
ステップＳ１９において、処理の終了が指示されたか否かが判定されて、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１９において、処理の終了が指示された場合、処理は、終了する。
また、ステップＳ１４において、進路上に障害物となり得る物体がないと判定された場合、または、ステップＳ１６において、衝突の可能性がないと判定された場合、処理は、ステップＳ２６に進む。
ステップＳ２６において、衝突判定部２２３は、動作制御部１３５の緊急事態回避部１７１に衝突の可能性がないことを通知する。尚、衝突の可能性がない場合については、緊急事態回避部１７１への通知は必須ではないので、ステップＳ２６の処理は、必要に応じてスキップされるようにしてもよいし、処理そのものを削除するようにしてもよい。
さらに、ステップＳ１２において、画像による物体認識が不能であるとみなされた場合、処理は、ステップＳ２０に進む。
ステップＳ２０において、物体認識部２２１は、LiDAR２０３のセンシング結果による物体の認識が可能であるか否かを判定する。より詳細には、LiDAR２０３は、夜間や荒天時等、カメラ２０１による画像を撮像するには、光量が足らないといった条件が厳しい状況でもセンシングは可能である。そこで、物体認識部２２１は、LiDAR２０３に動作不良等がなくセンシングできるか否かを判定する。
ステップＳ２０において、LiDAR２０３のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップＳ２１に進む。
ステップＳ２１において、物体認識部２２１は、LiDAR２０３のセンシング結果に基づいて、物体を認識する。
ステップＳ２２において、衝突判定部２２３は、LiDAR２０３のセンシング結果に基づいた物体認識結果に基づいて、先行車が存在するか否かを判定する。衝突判定部２２３は、物体認識結果に基づいて、例えば、自車との位置関係が所定の状態で維持される前方の物体があるとき、先行車が存在するものと判定する。
ステップＳ２２において、先行車が存在しないとみなされた場合、処理は、ステップＳ２３に進む。
ステップＳ２３において、衝突判定部２２３は、LiDAR２０３のセンシング結果に基づいた物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
ステップＳ２３において、障害物となり得る物体が存在しない場合、処理は、ステップＳ２４に進む。
ステップＳ２４において、勾配認識部２２２は、LiDAR２０３のセンシング結果に基づいた物体認識結果に基づいて、路面の勾配を認識する。
ステップＳ２５において、衝突判定部２２３は、LiDAR２０３のセンシング結果に基づいた物体認識結果と勾配に基づいて、物体が所定の大きさよりも、大きい、または、勾配が所定の勾配よりも大きいか否かに基づいて、衝突の可能性があるか否かを判定する。
ステップＳ２５において、衝突の可能性があるとみなされた場合、または、ステップＳ２３において、進路上に障害物となり得る物体がないとみなされた場合、処理は、ステップＳ１７に進み、衝突の可能性があることが通知される。
また、ステップＳ２５において、衝突の可能性がないとみなされた場合、処理は、ステップＳ２６に進み、衝突の可能性がないことが通知される。
また、ステップＳ２２において、先行車が存在する場合、処理は、ステップＳ２７に進む。
すなわち、LiDAR２０３のセンシング結果に基づいた物体認識結果のみでは、先行車が存在する場合、先行車が障害となり、先行車のさらに前方に存在する可能性のある障害物を検出することはできない。このため、先行車が存在するときには、LiDAR２０３の動作不良時と同様に衝突判定が不能となる。
ステップＳ２７において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であるか否かを判定する。より詳細には、ミリ波レーダ２０２は、夜間や荒天時等、カメラ２０１による画像を撮像するには、光量が足らないといった条件が厳しい状況でもセンシングは可能である。そこで、物体認識部２２１は、ミリ波レーダ２０２に動作不良等がなくセンシングできるか否かを判定する。
ステップＳ２７において、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップＳ２８に進む。
ステップＳ２８において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、物体を認識する。
ステップＳ２９において、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果に基づいた物体認識結果に基づいて、進路上に障害物となり得る物体が存在するか否かを判定する。
ステップＳ２９において、障害物となり得る物体が存在しない場合、処理は、ステップＳ２６に進み、衝突の可能性なしが通知される。
一方、ステップＳ２９において、障害物となり得る物体が存在する場合、処理は、ステップＳ３０に進む。
ステップＳ３０において、衝突判定部２２３は、先行車が、障害物となり得る物体が存在する位置を通過したか否かを判定する。
ステップＳ３０において、先行車が、障害物となり得る物体が存在する位置を通過した場合、処理は、ステップＳ２６に進み、衝突の可能性がないことが通知される。
また、ステップＳ３０において、例えば、先行車が障害物となり得る物体の位置を回避して通過するような場合、処理は、ステップＳ１７に進み、衝突の可能性ありが通知される。
すなわち、この場合、先行車は、障害物として物体を認識して、衝突を回避すべく、避けて通過したものとみなされるので、検出した物体に対して衝突の可能性があるものとみなされる。
ステップＳ２０において、LiDAR２３のセンシング結果による物体の認識が不能であると判定された場合、処理は、ステップＳ３１に進む。
ステップＳ３１において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であるか否かを判定する。
ステップＳ３１において、ミリ波レーダ２０２のセンシング結果による物体の認識が可能であると判定された場合、処理は、ステップＳ３２に進む。
ステップＳ３２において、物体認識部２２１は、ミリ波レーダ２０２のセンシング結果に基づいて、物体を認識する。
ステップＳ３３において、衝突判定部２２３は、ミリ波レーダ２０２のセンシング結果に基づいた物体認識結果に基づいて、先行車が存在するか否かを判定する。
ステップＳ３３において、先行車が存在する場合、処理は、ステップＳ２９に進み、進路上に障害物となり得る物体の有無が判定されて、先行車が物体の位置を通過したか否かで衝突判定がなされる。
一方、ステップＳ３３において、先行車が存在しないとみなされた場合、または、ステップＳ３１において、ミリ波レーダ２０２のセンシング結果に基づいた物体認識結果では、物体認識が不能であれるとみなされた場合、処理は、ステップＳ３４に進む。
ステップＳ３４において、衝突判定部２２３は、衝突判定が不能であることを出力する。すなわち、カメラ２０１により撮像された画像による物体認識結果、ミリ波レーダ２０２のセンシング結果による物体認識結果、およびLiDAR２０３のセンシング結果による物体認識結果のいずれにおいても、衝突判定が不能であることが通知される。
以上の処理により、晴天時等の明るい条件においては、カメラ２０１のセンシング結果（撮像された画像）に基づいて、衝突判定を行うようにした。これにより画像を用いた高精度な物体認識結果に基づいて、高精度な衝突判定を実現することが可能となる。
また、画像による物体認識が不能となる場合、すなわち、荒天時や夜間などの場合であって、先行車が存在しないときには、LiDARのセンシング結果に基づいて、衝突判定を行うようにした。
さらに、画像による物体認識が不能となる場合、すなわち、荒天時や夜間などの場合であって、先行車が存在するときには、ミリ波レーダのセンシング結果に基づいて、先行車が検出した物体の位置を通過するか否かにより衝突判定を行うようにした。
これにより、画像による衝突判定が不能な状態でも、先行車の有無に関わらず、衝突判定を実現することが可能となる。
結果として、いずれにおいても、環境の変化に影響されることなく、適切な衝突判定を実現することが可能となる。
＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図９は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記録媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記録媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図９におけるCPU１００１が、図４における自動運転制御部１１２の機能を実現させる。また、図９における記憶部１００８が、図４における記憶部１１１を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
を備える情報処理装置。
＜２＞ 前記車両の前方の画像を撮像するカメラと、
ミリ波帯の電波を前方に照射し、前記物体からの反射波を検出するミリ波レーダと、
前記車両の前方にレーザ光を照射し、前記物体からの反射光を検出するLiDARとをさらに含み、
前記物体認識部は、前記カメラにより撮像された画像に基づいた画像物体認識結果、前記ミリ波レーダの検出結果に基づいたミリ波レーダ物体認識結果、および前記LiDARの検出結果に基づいたLiDAR物体認識結果を出力する
＜１＞に記載の情報処理装置。
＜３＞ 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が可能である場合、前記衝突判定部は、前記画像物体認識結果に基づいて、前記物体との衝突の有無を判定する
＜２＞に記載の情報処理装置。
＜４＞ 前記画像物体認識結果に基づいて、前記車両の前方の路面の勾配を認識する勾配認識部をさらに含み、
前記衝突判定部は、前記画像物体認識結果と、前記路面の勾配とに基づいて、前記物体との衝突の有無を判定する
＜２＞または＜３＞に記載の情報処理装置。
＜５＞ 前記勾配認識部は、前記物体との時系列の距離の変化に伴った、前記LiDARにより検出される前記反射光の本数の時系列の変化に基づいて、前記車両の前方の路面の勾配を認識する
＜４＞に記載の情報処理装置。
＜６＞ 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合、前記衝突判定部は、前記ミリ波レーダ物体認識結果、または、前記LiDAR物体認識結果のいずれかに基づいて、前記物体との衝突の有無を判定する
＜２＞乃至＜５＞のいずれかに記載の情報処理装置。
＜７＞ 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記LiDAR物体認識結果に基づいた物体認識が可能であるとき、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
＜６＞に記載の情報処理装置。
＜８＞ 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されないとき、前記LiDAR物体認識結果に基づいた物体認識が可能であるとみなされ、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
＜７＞に記載の情報処理装置。
＜９＞ 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されるとき、前記LiDAR物体認識結果に基づいた物体認識が不能であるとみなされ、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
＜８＞に記載の情報処理装置。
＜１０＞ 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
＜９＞に記載の情報処理装置。
＜１１＞ 前記LiDAR物体認識結果に基づいた物体認識が不能であるとき、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
＜６＞に記載の情報処理装置。
＜１２＞ 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、先行車の存在が認識されるとき、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
＜１１＞に記載の情報処理装置。
＜１３＞ 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
＜１２＞に記載の情報処理装置。
＜１４＞ 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記ミリ波レーダ物体認識結果、および前記LiDAR物体認識結果によるいずれの物体認識も不能であるとき、前記衝突判定部は、前記物体との衝突の有無の判定が不能であることを示す情報を出力する
＜２＞に記載の情報処理装置。
＜１５＞ 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識処理と、
前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定処理と
を含む情報処理方法。
＜１６＞ 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
してコンピュータを機能させるプログラム。
１１ 車両， １００ 車両制御システム， １０２ データ取得部， １１２ 自動運転制御部， １３３ 状況分析部， １３４ 計画部， １３５ 動作制御部， １５３ 状況認識部， １５４ 状況予測部， １７２ 加減速制御部， １７３ 方向制御部， ２０１ カメラ， ２０２ ミリ波レーダ， ２０３ LiDAR， ２２１ 物体認識部， ２２２ 勾配認識部， ２２３ 衝突判定部

Claims (16)

  1. 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
    前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
    を備える情報処理装置。
  2. 前記車両の前方の画像を撮像するカメラと、
    ミリ波帯の電波を前方に照射し、前記物体からの反射波を検出するミリ波レーダと、
    前記車両の前方にレーザ光を照射し、前記物体からの反射光を検出するLiDARとをさらに含み、
    前記物体認識部は、前記カメラにより撮像された画像に基づいた画像物体認識結果、前記ミリ波レーダの検出結果に基づいたミリ波レーダ物体認識結果、および前記LiDARの検出結果に基づいたLiDAR物体認識結果を出力する
    請求項１に記載の情報処理装置。
  3. 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が可能である場合、前記衝突判定部は、前記画像物体認識結果に基づいて、前記物体との衝突の有無を判定する
    請求項２に記載の情報処理装置。
  4. 前記画像物体認識結果に基づいて、前記車両の前方の路面の勾配を認識する勾配認識部をさらに含み、
    前記衝突判定部は、前記画像物体認識結果と、前記路面の勾配とに基づいて、前記物体との衝突の有無を判定する
    請求項２に記載の情報処理装置。
  5. 前記勾配認識部は、前記物体との時系列の距離の変化に伴った、前記LiDARにより検出される前記反射光の本数の時系列の変化に基づいて、前記車両の前方の路面の勾配を認識する
    請求項４に記載の情報処理装置。
  6. 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合、前記衝突判定部は、前記ミリ波レーダ物体認識結果、または、前記LiDAR物体認識結果のいずれかに基づいて、前記物体との衝突の有無を判定する
    請求項２に記載の情報処理装置。
  7. 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記LiDAR物体認識結果に基づいた物体認識が可能であるとき、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
    請求項６に記載の情報処理装置。
  8. 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されないとき、前記LiDAR物体認識結果に基づいた物体認識が可能であるとみなされ、前記衝突判定部は、前記LiDAR物体認識結果に基づいて、前記物体との衝突の有無を判定する
    請求項７に記載の情報処理装置。
  9. 前記LiDAR物体認識結果に基づいて、先行車の存在が認識されるとき、前記LiDAR物体認識結果に基づいた物体認識が不能であるとみなされ、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
    請求項８に記載の情報処理装置。
  10. 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
    請求項９に記載の情報処理装置。
  11. 前記LiDAR物体認識結果に基づいた物体認識が不能であるとき、前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
    請求項６に記載の情報処理装置。
  12. 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、先行車の存在が認識されるとき、前記ミリ波レーダ物体認識結果に基づいて、前記物体との衝突の有無を判定する
    請求項１１に記載の情報処理装置。
  13. 前記衝突判定部は、前記ミリ波レーダ物体認識結果に基づいて、前記物体が認識された位置を前記先行車が通過したか否かに基づいて、前記物体との衝突の有無を判定する
    請求項１２に記載の情報処理装置。
  14. 前記車両の周辺の環境に応じて、前記画像物体認識結果による物体認識が不能である場合であって、前記ミリ波レーダ物体認識結果、および前記LiDAR物体認識結果によるいずれの物体認識も不能であるとき、前記衝突判定部は、前記物体との衝突の有無の判定が不能であることを示す情報を出力する
    請求項２に記載の情報処理装置。
  15. 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識処理と、
    前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定処理と
    を含む情報処理方法。
  16. 複数の認識方式で、車両の前方の物体を認識し、前記複数の認識方式のそれぞれの物体認識結果を出力する物体認識部と、
    前記複数の認識方式の前記物体認識結果のうち、前記車両の周辺の環境に応じて前記物体認識結果を選択し、選択した前記物体認識結果に基づいて、前記物体との衝突の有無を判定する衝突判定部と
    してコンピュータを機能させるプログラム。
JP2018236535A 2018-12-18 2018-12-18 情報処理装置、および情報処理方法、並びにプログラム Pending JP2022028989A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018236535A JP2022028989A (ja) 2018-12-18 2018-12-18 情報処理装置、および情報処理方法、並びにプログラム
PCT/JP2019/047537 WO2020129656A1 (ja) 2018-12-18 2019-12-05 情報処理装置、および情報処理方法、並びにプログラム
US17/309,606 US11763675B2 (en) 2018-12-18 2019-12-05 Information processing apparatus and information processing method
DE112019006281.6T DE112019006281T5 (de) 2018-12-18 2019-12-05 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN201980082175.2A CN113196106B (zh) 2018-12-18 2019-12-05 信息处理设备、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018236535A JP2022028989A (ja) 2018-12-18 2018-12-18 情報処理装置、および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2022028989A true JP2022028989A (ja) 2022-02-17

Family

ID=71101747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018236535A Pending JP2022028989A (ja) 2018-12-18 2018-12-18 情報処理装置、および情報処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US11763675B2 (ja)
JP (1) JP2022028989A (ja)
CN (1) CN113196106B (ja)
DE (1) DE112019006281T5 (ja)
WO (1) WO2020129656A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2026007019A (ja) * 2024-07-01 2026-01-16 株式会社ヴァレオジャパン 運転アシスト装置、運転アシスト装置の制御方法、プログラム、車両、及び、車両の制御方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413935B2 (ja) * 2020-06-16 2024-01-16 トヨタ自動車株式会社 車載センサシステム
CN117369202A (zh) * 2022-06-30 2024-01-09 中强光电股份有限公司 投影系统及其控制方法
US20240351578A1 (en) * 2023-04-20 2024-10-24 Bendix Commercial Vehicle Systems Llc Multi-Sensor Advanced Driver Assistance System and Method for Generating a Conditional Stationary Object Alert
CN118311562B (zh) * 2024-06-07 2025-04-15 河北工业职业技术大学 一种乘用车辆车门开启监测系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003065740A (ja) * 2001-08-27 2003-03-05 Nissan Motor Co Ltd 前方路面勾配判定装置
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置
JP2009090840A (ja) * 2007-10-10 2009-04-30 Mitsubishi Motors Corp 車両の走行制御装置
JP2010091386A (ja) * 2008-10-07 2010-04-22 Toyota Motor Corp レーダ判定装置、レーダ保全装置
JP2012088217A (ja) * 2010-10-21 2012-05-10 Daihatsu Motor Co Ltd 運転支援制御装置
WO2014033957A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
JP6011489B2 (ja) * 2013-08-26 2016-10-19 トヨタ自動車株式会社 車載制御装置
JP6036724B2 (ja) * 2014-02-17 2016-11-30 トヨタ自動車株式会社 車両周辺状況認識装置および車両制御装置
DE102015224192B4 (de) 2015-12-03 2021-03-18 Robert Bosch Gmbh Erkennen einer Freifläche
CN105946766A (zh) * 2016-07-14 2016-09-21 奇瑞汽车股份有限公司 一种基于激光雷达与视觉的车辆碰撞预警系统及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2026007019A (ja) * 2024-07-01 2026-01-16 株式会社ヴァレオジャパン 運転アシスト装置、運転アシスト装置の制御方法、プログラム、車両、及び、車両の制御方法

Also Published As

Publication number Publication date
CN113196106B (zh) 2024-11-01
US11763675B2 (en) 2023-09-19
DE112019006281T5 (de) 2021-09-16
CN113196106A (zh) 2021-07-30
WO2020129656A1 (ja) 2020-06-25
US20220020272A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
KR102916267B1 (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11590985B2 (en) Information processing device, moving body, information processing method, and program
US12181566B2 (en) Information processing device, information processing method, computer program, and mobile device
US11915452B2 (en) Information processing device and information processing method
US11501461B2 (en) Controller, control method, and program
US11341615B2 (en) Image processing apparatus, image processing method, and moving body to remove noise in a distance image
WO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US12151677B2 (en) Vehicle control device, vehicle control method, program, and vehicle
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN113196106B (zh) 信息处理设备、信息处理方法和程序
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20200298849A1 (en) Information processing apparatus, information processing method, program, and vehicle
WO2020116206A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
JP2022017612A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20240386724A1 (en) Recognition processing device, recognition processing method, and recognition processing system
US20240019539A1 (en) Information processing device, information processing method, and information processing system