JP2017019435A - Parking assistance device and parking assistance method - Google Patents
Parking assistance device and parking assistance method Download PDFInfo
- Publication number
- JP2017019435A JP2017019435A JP2015139750A JP2015139750A JP2017019435A JP 2017019435 A JP2017019435 A JP 2017019435A JP 2015139750 A JP2015139750 A JP 2015139750A JP 2015139750 A JP2015139750 A JP 2015139750A JP 2017019435 A JP2017019435 A JP 2017019435A
- Authority
- JP
- Japan
- Prior art keywords
- parking
- feature point
- straight line
- host vehicle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】自車両を駐車初期位置まで適切に誘導することが可能な、駐車支援装置及び駐車支援方法を提供する。
【解決手段】目標の駐車枠の近傍に駐車初期位置を設定し、自車両の周辺に存在する障害物を検出し、検出した障害物の特徴点を抽出し、抽出した特徴点に適合する適合直線を検出し、検出した適合直線に応じて現在の位置から駐車初期位置まで自車両を誘導する方向である目標進行方向を設定し、設定した目標進行方向に沿って、現在の位置から駐車初期位置まで自車両を誘導する。
【選択図】図5A parking support device and a parking support method capable of appropriately guiding a host vehicle to an initial parking position are provided.
An initial parking position is set in the vicinity of a target parking frame, an obstacle existing in the vicinity of the host vehicle is detected, a feature point of the detected obstacle is extracted, and matching that matches the extracted feature point is performed. A straight line is detected, and the target traveling direction, which is the direction to guide the vehicle from the current position to the initial parking position, is set according to the detected matching straight line, and the initial parking is started from the current position along the set target traveling direction. Guide your vehicle to the position.
[Selection] Figure 5
Description
本発明は、運転者の駐車支援を行う駐車支援装置及び駐車支援方法に関する。 The present invention relates to a parking assistance device and a parking assistance method for providing parking assistance for a driver.
運転者の駐車支援を行う技術として、例えば、特許文献1に記載されている技術がある。
特許文献1に記載されている技術では、自車両周辺の障害物や駐車枠を検出する。そして、自車両を、検出した障害物や駐車枠と自車両との車幅方向に沿った距離に基づいて、障害物に隣接する駐車空間や駐車枠への駐車が可能な駐車初期位置に誘導する。
As a technique for providing parking assistance for a driver, for example, there is a technique described in Patent Document 1.
In the technique described in Patent Document 1, obstacles and parking frames around the host vehicle are detected. Then, the host vehicle is guided to a parking space adjacent to the obstacle or an initial parking position where parking in the parking frame is possible based on the detected obstacle or the distance along the vehicle width direction between the parking frame and the host vehicle. To do.
特許文献1に記載されている技術では、平面視で、車両の進行方向が目標駐車位置への進行方向に対して傾斜した状態で誘導時の走行距離が長くなると、駐車初期位置へ自車両を誘導する方向が、車両の進行方向と乖離する。このため、自車両を現在の位置から駐車初期位置へ誘導する方向が明確に設定されず、自車両が駐車初期位置まで適切に誘導されない可能性があるという問題点があった。
本発明は、上記のような問題点に着目してなされたもので、自車両を、現在の位置から駐車初期位置まで適切に誘導することが可能な、駐車支援装置及び駐車支援方法を提供することを目的とする。
In the technique described in Patent Document 1, when the traveling distance at the time of guidance becomes long in a state where the traveling direction of the vehicle is inclined with respect to the traveling direction to the target parking position in plan view, the host vehicle is moved to the initial parking position. The direction of guidance deviates from the traveling direction of the vehicle. For this reason, there is a problem in that the direction in which the host vehicle is guided from the current position to the initial parking position is not clearly set, and the host vehicle may not be properly guided to the initial parking position.
The present invention has been made paying attention to the above problems, and provides a parking support apparatus and a parking support method capable of appropriately guiding the host vehicle from the current position to the initial parking position. For the purpose.
上記課題を解決するために、本発明の一態様は、目標の駐車枠の近傍に駐車初期位置を設定し、自車両の周辺に存在する検出した障害物の特徴点を抽出する。そして、現在の位置から駐車初期位置まで自車両を誘導する方向である目標進行方向を、抽出した特徴点に適合する直線に応じて設定し、この設定した目標進行方向に沿って、現在の位置から駐車初期位置まで自車両を誘導する。 In order to solve the above problems, according to one aspect of the present invention, a parking initial position is set in the vicinity of a target parking frame, and feature points of detected obstacles existing around the host vehicle are extracted. Then, a target traveling direction that is a direction for guiding the host vehicle from the current position to the initial parking position is set according to a straight line that matches the extracted feature point, and the current position is set along the set target traveling direction. To guide the vehicle to the initial parking position.
本発明の一態様によれば、自車両の周辺に存在する駐車車両等の障害物の特徴点を抽出し、抽出の結果に適合する直線を検出して自車両の進行方向を特定し、現在の位置から駐車初期位置まで自車両を誘導することが可能となる。
これにより、自車両の周辺に存在する障害物の特徴点に応じて、現在の位置から駐車初期位置まで自車両を誘導するための進行方向を設定することが可能となり、現在の位置から目標駐車位置への誘導を適切に行うことが可能となる。
According to one aspect of the present invention, feature points of obstacles such as parked vehicles existing around the host vehicle are extracted, a straight line that matches the extraction result is detected, the traveling direction of the host vehicle is identified, It becomes possible to guide the host vehicle from the position to the initial parking position.
This makes it possible to set the traveling direction for guiding the vehicle from the current position to the initial parking position according to the feature points of obstacles existing around the vehicle. It is possible to appropriately guide to the position.
以下の詳細な説明では、本発明の実施形態について、完全な理解を提供するように、特定の細部について記載する。しかしながら、かかる特定の細部が無くとも、一つ以上の実施形態が実施可能であることは明確である。また、図面を簡潔なものとするために、周知の構造及び装置を、略図で表す場合がある。 In the following detailed description, specific details are set forth in order to provide a thorough understanding of the embodiments of the invention. However, it will be apparent that one or more embodiments may be practiced without such specific details. In other instances, well-known structures and devices are schematically shown in order to simplify the drawing.
(第一実施形態)
以下、本発明の第一実施形態について、図面を参照しつつ説明する。
(駐車支援装置の構成)
図1から図4を用いて、駐車支援装置1の構成について説明する。
図1中に表すように、駐車支援装置1は、前方距離センサ2Fと、右側方距離センサ2Rと、左側方距離センサ2Lと、移動距離センサ4と、操舵角センサ6と、駐車支援ECU10を備える。これに加え、駐車支援装置1は、HMI装置12と、操舵機構14と、駆動力コントローラ16と、制動力コントローラ18を備える。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
(Configuration of parking assistance device)
The structure of the parking assistance apparatus 1 is demonstrated using FIGS. 1-4.
As shown in FIG. 1, the parking assistance device 1 includes a
前方距離センサ2Fは、例えば、レーザスキャナを用いて形成する。また、前方距離センサ2Fは、駐車支援装置1を備えた車両(以降の説明では、「自車両」と記載する場合がある)に搭載する。また、前方距離センサ2Fは、図2中に表すように、自車両MVの車両前後方向前方の位置(例えば、フロントバンパーの中心)に搭載する。
また、前方距離センサ2Fは、自車両MVの車両前後方向前方に設定した領域(以降の説明では、「前方検出領域」と記載する場合がある)へ向けてレーザを照射する。そして、前方距離センサ2Fは、他車両等の障害物に反射したレーザを受信すると、レーザの送信時間及び受信時間を含む情報信号(以降の説明では、「前方送受信時間信号」と記載する場合がある)を、駐車支援ECU10に出力する。
また、第一実施形態では、一例として、前方検出領域の大きさを、自車両MVから10[m]以内の領域に設定した場合について説明する。
The
Further, the
Moreover, in 1st embodiment, the case where the magnitude | size of a front detection area | region is set to the area | region within 10 [m] from the own vehicle MV is demonstrated as an example.
右側方距離センサ2Rは、前方距離センサ2Fと同様、例えば、レーザスキャナを用いて形成する。また、右側方距離センサ2Rは、図2中に表すように、自車両MVの車幅方向右側方(自車両MVの前進時における右側方)の位置(例えば、右側のリアドア付近)に搭載する。
また、右側方距離センサ2Rは、自車両MVの車幅方向右側方に設定した領域(以降の説明では、「右側方検出領域」と記載する場合がある)へ向けてレーザを照射する。そして、右側方距離センサ2Rは、障害物に反射したレーザを受信すると、レーザの送信時間及び受信時間を含む情報信号(以降の説明では、「右側方送受信時間信号」と記載する場合がある)を、駐車支援ECU10に出力する。
The right
Further, the right
なお、第一実施形態では、一例として、右側方検出領域の大きさを、自車両MVから10[m]以内の領域に設定した場合について説明する。
左側方距離センサ2Lは、前方距離センサ2Fと同様、例えば、レーザスキャナを用いて形成する。また、左側方距離センサ2Lは、図2中に表すように、自車両MVの車幅方向左側方(自車両MVの前進時における左側方)の位置(例えば、左側のリアドア付近)に搭載する。
また、左側方距離センサ2Lは、自車両MVの車幅方向左側方に設定した領域(以降の説明では、「左側方検出領域」と記載する場合がある)へ向けてレーザを照射する。そして、左側方距離センサ2Lは、障害物等に反射したレーザを受信すると、レーザの送信時間及び受信時間を含む情報信号(以降の説明では、「左側方送受信時間信号」と記載する場合がある)を、駐車支援ECU10に出力する。
In the first embodiment, a case where the size of the right side detection area is set to an area within 10 [m] from the host vehicle MV will be described as an example.
The left
Further, the left
なお、第一実施形態では、一例として、左側方検出領域の大きさを、自車両MVから10[m]以内の領域に設定した場合について説明する。
なお、前方距離センサ2F、右側方距離センサ2R、左側方距離センサ2Lの構成は、レーザスキャナを用いて形成した構成に限定するものではなく、例えば、レーダやステレオカメラ等を用いて形成してもよい。
すなわち、前方距離センサ2Fの構成は、前方検出領域内に存在する障害物と自車両MVとの距離を検出可能な構成であればよい。同様に、右側方距離センサ2Rの構成は、右側方検出領域内に存在する障害物と自車両MVとの距離を検出可能な構成であればよい。また、左側方距離センサ2Lの構成は、左側方検出領域内に存在する障害物と自車両MVとの距離を検出可能な構成であればよい。
In the first embodiment, as an example, a case where the size of the left side detection area is set to an area within 10 [m] from the host vehicle MV will be described.
The configuration of the
That is, the configuration of the
移動距離センサ4は、例えば、図2中に表すように、自車両MVの車輪Wに設置した車輪速センサ8を用いて形成する。なお、車輪W及び車輪速センサ8の構成については、後述する。
また、移動距離センサ4は、自車両MVの移動量を算出し、算出した移動量を含む情報信号(以降の説明では、「移動量信号」と記載する場合がある)を、駐車支援ECU10に出力する。
なお、移動距離センサ4の構成は、車輪速センサ8を用いて形成した構成に限定するものではなく、例えば、自車両MVの速度を検出する車速センサの値を積分することで、自車両MVの移動量を算出する構成としてもよい。
The movement distance sensor 4 is formed using, for example, a wheel speed sensor 8 installed on the wheel W of the host vehicle MV, as shown in FIG. The configuration of the wheel W and the wheel speed sensor 8 will be described later.
Further, the movement distance sensor 4 calculates the movement amount of the host vehicle MV, and sends an information signal including the calculated movement amount (may be referred to as “movement amount signal” in the following description) to the
In addition, the structure of the movement distance sensor 4 is not limited to the structure formed using the wheel speed sensor 8, For example, the own vehicle MV is integrated by integrating the value of the vehicle speed sensor which detects the speed of the own vehicle MV. The amount of movement may be calculated.
操舵角センサ6は、例えば、図2中に表すように、ステアリングホイールSWを回転可能に支持するステアリングコラム(図示せず)に設ける。
また、操舵角センサ6は、ステアリングホイールSWの現在の回転角度(操舵操作量)である現在操舵角を検出する。そして、検出した現在操舵角を含む情報信号(以降の説明では、「現在操舵角信号」と記載する場合がある)を、駐車支援ECU10に出力する。なお、操向輪(例えば、前輪WFR,WFL)の転舵角を含む情報信号を、操舵角を表す情報として検出してもよい。
For example, as shown in FIG. 2, the
The
なお、前方距離センサ2F、右側方距離センサ2R、左側方距離センサ2L、移動距離センサ4及び操舵角センサ6から、駐車支援ECU10への情報信号の出力は、通信バスCBを介して行う。通信バスCBとしては、例えば、CAN(Controller Area Network)等を用いる。
駐車支援ECU(Electronic Control Unit)10は、駐車支援装置1を統括的に制御するコントローラであり、マイクロコンピュータで構成する。なお、マイクロコンピュータは、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備えた構成である。
Information signals are output from the
A parking assistance ECU (Electronic Control Unit) 10 is a controller that comprehensively controls the parking assistance device 1 and is constituted by a microcomputer. Note that the microcomputer includes, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
また、駐車支援ECU10は、例えば、マイクロコンピュータとメモリとを用いて動作するプログラムにより構成する。
なお、第一実施形態では、駐車支援ECU10を、ハードウエアで構成した場合を説明する。駐車支援ECU10を構成するハードウエアとしては、例えば、ASIC(Application Specific Integrated Circuit)や、FPGA(Field−Programmable Gate Array)等を用いる。
しかしながら、図1中では、駐車支援ECU10の構成を、便宜的に、機能ブロック毎に分けて表す。これに伴い、以降の記載では、駐車支援ECU10の構成を、便宜的に、機能ブロック毎に分けて説明する。
なお、駐車支援ECU10の具体的な構成については、後述する。
Further, the parking assist
In the first embodiment, a case where the parking assist
However, in FIG. 1, the configuration of the parking assist
The specific configuration of the parking assist
HMI(Human Machine Interface)装置12は、自車両MVの運転者に対して、誘導経路を含む駐車支援情報を提表する装置である。また、HMI装置12は、ディスプレイや各種メータ等の表示装置と、スピーカ等の音声出力装置を備える。
また、HMI装置12は、駐車支援ECU10から入力を受けた情報信号が含む情報提示指令に応じて、ディスプレイや各種メータ等への表示内容や、スピーカから出力する音声内容を切り替える。なお、情報提示指令の説明は、後述する。
操舵機構14は、例えば、操舵モータ(図示せず)によりステアリングホイールSWを操舵する機構である。また、操舵機構14は、駐車支援ECU10から入力を受けた情報信号が含む操舵指令に応じて操舵モータを駆動し、ステアリングホイールSWを操舵する。なお、操舵指令の説明は、後述する。
The HMI (Human Machine Interface)
Further, the
The
駆動力コントローラ16は、自車両MVの駆動力を制御するものであり、マイクロコンピュータで構成する。
また、駆動力コントローラ16は、駐車支援ECU10から入力を受けた情報信号が含む前進指令に応じて、自車両MVの駆動源(例えば、エンジン)が発生させる駆動力を制御する。なお、前進指令の説明は、後述する。
制動力コントローラ18は、自車両MVの制動力を制御するものであり、マイクロコンピュータで構成する。
また、制動力コントローラ18は、駐車支援ECU10から入力を受けた情報信号が含む停止指令に応じて、自車両MVが備える制動力発生源(例えば、液圧制御装置)が発生させる制動力を制御する。なお、停止指令の説明は、後述する。
The driving
Further, the driving
The
In addition, the
(自車両MVの構成)
図1から図2を参照して、駐車支援装置1を備える自車両MVの構成について説明する。
図2中に表すように、駐車支援装置1を備える自車両MVは、前方距離センサ2Fと、右側方距離センサ2Rと、左側方距離センサ2Lと、車輪速センサ8と、操舵角センサ6と、駐車支援ECU10を備える。これに加え、自車両MVは、HMI装置12と、操舵機構14と、駆動力コントローラ16と、制動力コントローラ18と、車輪W(右前輪WFR、左前輪WFL、右後輪WRR、左後輪WRL)を備える。
前方距離センサ2Fと、右側方距離センサ2Rと、左側方距離センサ2Lの構成は、上述したため、その説明を省略する。
(Configuration of own vehicle MV)
With reference to FIGS. 1 to 2, the configuration of the host vehicle MV including the parking assistance device 1 will be described.
As shown in FIG. 2, the host vehicle MV including the parking assist device 1 includes a
Since the configurations of the
車輪速センサ8は、各車輪Wに対応して設ける。
また、車輪速センサ8は、対応する車輪Wの一回転について、予め設定した数の車輪速パルスを発生させる。そして、車輪速センサ8は、発生させた車輪速パルスを含む情報信号を、移動距離センサ4へ出力する。
なお、図2中では、右前輪WFRの一回転について車輪速パルスを発生させる車輪速センサ8を、車輪速センサ8FRと示し、左前輪WFLの一回転について車輪速パルスを発生させる車輪速センサ8を、車輪速センサ8FLと表す。同様に、図2中では、右後輪WRRの一回転について車輪速パルスを発生させる車輪速センサ8を、車輪速センサ8RRと示し、左後輪WRLの一回転について車輪速パルスを発生させる車輪速センサ8を、車輪速センサ8RLと表す。また、以降の説明においても、各車輪Wや各車輪速センサ8を、上記のように表す場合がある。
The wheel speed sensor 8 is provided corresponding to each wheel W.
The wheel speed sensor 8 generates a preset number of wheel speed pulses for one rotation of the corresponding wheel W. Then, the wheel speed sensor 8 outputs an information signal including the generated wheel speed pulse to the movement distance sensor 4.
In FIG. 2, a wheel speed sensor 8 that generates a wheel speed pulse for one rotation of the right front wheel WFR is indicated as a wheel speed sensor 8FR, and a wheel speed sensor 8 that generates a wheel speed pulse for one rotation of the left front wheel WFL. Is represented as a wheel speed sensor 8FL. Similarly, in FIG. 2, a wheel speed sensor 8 that generates a wheel speed pulse for one rotation of the right rear wheel WRR is indicated as a wheel speed sensor 8RR, and a wheel that generates a wheel speed pulse for one rotation of the left rear wheel WRL. The speed sensor 8 is represented as a wheel speed sensor 8RL. In the following description, each wheel W and each wheel speed sensor 8 may be expressed as described above.
操舵角センサ6の構成は、上述したため、その説明を省略する。
駐車支援ECU10の具体的な構成については、後述する。
HMI装置12と、操舵機構14と、駆動力コントローラ16と、制動力コントローラ18の構成は、上述したため、その説明を省略する。
各車輪Wには、駆動力コントローラ16で制御した駆動力を、駆動源(図示せず)から付与する。
また、各車輪Wには、制動力コントローラ18が制御した駆動力を、各車輪Wに対応して設けたホイールシリンダ(図示せず)を介して付与する。
Since the configuration of the
A specific configuration of the parking assist
Since the configurations of the
The driving force controlled by the driving
The driving force controlled by the
(駐車支援ECU10の構成)
図1を参照して、駐車支援ECU10の構成について説明する。
図1中に表すように、駐車支援ECU10は、周辺環境検出部20と、駐車初期位置設定部30と、特徴点抽出部40と、適合直線検出部50と、目標進行方向設定部60と、前進経路算出部70と、情報出力制御部80を備える。
周辺環境検出部20は、前方距離センサ2F、右側方距離センサ2R、左側方距離センサ2L、移動距離センサ4から、情報信号の入力を受ける。そして、周辺環境検出部20は、入力を受けた情報信号に応じて、自車両MVの周囲に存在する障害物を検出する。
具体的には、前方送受信時間信号が含むレーザの送信時間及び受信時間と、移動量信号が含む自車両MVの移動量を参照する。そして、図3中に表すように、前方検出領域SEF内に存在する駐車車両PV(他車両)等の障害物を検出する。
(Configuration of parking assist ECU 10)
With reference to FIG. 1, the structure of parking assistance ECU10 is demonstrated.
As shown in FIG. 1, the
The surrounding
Specifically, the laser transmission time and reception time included in the forward transmission / reception time signal and the movement amount of the host vehicle MV included in the movement amount signal are referred to. Then, as shown in FIG. 3, an obstacle such as a parked vehicle PV (another vehicle) existing in the front detection area SEF is detected.
なお、図3中には、一例として、複数の駐車枠が整備された駐車場に自車両MVが進入し、自車両MVの左側(自車両MVの前進時における左側方)に存在する駐車枠の近傍に、目標とする駐車初期位置SPを設定する。そして、設定した駐車初期位置SPへ向けて、自車両MVが駐車場内を移動する場合を表す。
また、周辺環境検出部20は、右側方送受信時間信号が含むレーザの送信時間及び受信時間と、移動量信号が含む自車両MVの移動量を参照する。そして、図3中に表すように、右側方検出領域SER内に存在する障害物を検出する。
In FIG. 3, as an example, the own vehicle MV enters a parking lot with a plurality of parking frames, and the parking frame exists on the left side of the own vehicle MV (the left side when the own vehicle MV moves forward). A target parking initial position SP is set in the vicinity of. And the case where the own vehicle MV moves in the parking lot toward the set parking initial position SP is shown.
In addition, the surrounding
また、周辺環境検出部20は、左側方送受信時間信号が含むレーザの送信時間及び受信時間と、移動量信号が含む自車両MVの移動量を参照する。そして、図3中に表すように、左側方検出領域SEL内に存在する障害物を検出する。
なお、図3中には、一例として、前方距離センサ2F、右側方距離センサ2R、左側方距離センサ2Lが、障害物として、駐車車両PVの前面バンパー(フロントバンパー)端部や、駐車車両PVの側面を検出する場合を表す。
自車両MVの周囲に存在する障害物を検出した周辺環境検出部20は、検出した障害物を含む情報信号(以降の説明では、「障害物信号」と記載する場合がある)を、特徴点抽出部40に出力する。
In addition, the surrounding
In FIG. 3, as an example, the
The surrounding
駐車初期位置設定部30は、前方距離センサ2F、右側方距離センサ2R、左側方距離センサ2L、移動距離センサ4から、情報信号の入力を受ける。そして、駐車初期位置設定部30は、入力を受けた情報信号に応じて、図3中に表すように、駐車初期位置SPを設定する。駐車初期位置SPは、目標の駐車枠(目標駐車枠TPE)の近傍に設定する位置であり、例えば、目標の駐車枠へ自車両MVの移動を開始する位置である。
具体的には、前方送受信時間信号、右側方送受信時間信号、左側方送受信時間信号、移動量信号が情報を用いて、目標駐車枠TPEの幅や奥行きを算出する。そして、自車両MVが目標駐車枠TPEへ向けて後退を開始する位置を、目標駐車枠TPEと対応付けて設定し、この設定した位置を、駐車初期位置SPとして設定する。
The initial parking
Specifically, the front transmission / reception time signal, right side transmission / reception time signal, left side transmission / reception time signal, and movement amount signal are used to calculate the width and depth of the target parking frame TPE. Then, the position at which the host vehicle MV starts to move backward toward the target parking frame TPE is set in association with the target parking frame TPE, and the set position is set as the parking initial position SP.
なお、駐車初期位置SPは、目標駐車枠TPEの近傍であればよく、特に限定されるわけではない。
すなわち、第一実施形態では、一例として、駐車初期位置SPを、自車両MVが目標駐車枠TPEへ向けて後退を開始する位置とした場合を説明する。
また、自車両MVが目標駐車枠TPEへ向けて後退を開始する位置は、例えば、目標駐車枠TPEの大きさ・形状、自車両MVの全長及び全幅、自車両MVの旋回性能、目標駐車枠TPEと連続する道路の幅等から算出する。なお、本実施形態では、一例として、駐車初期位置SPを、切り返し操作を必要とせずに自車両MVを目標駐車枠TPE内へ後退可能な位置として算出・設定する場合について説明する。
In addition, the parking initial position SP should just be the vicinity of the target parking frame TPE, and is not necessarily limited.
That is, in the first embodiment, as an example, a case will be described in which the parking initial position SP is a position where the host vehicle MV starts to move backward toward the target parking frame TPE.
The position at which the host vehicle MV starts to move backward toward the target parking frame TPE is, for example, the size and shape of the target parking frame TPE, the total length and the entire width of the host vehicle MV, the turning performance of the host vehicle MV, and the target parking frame. It is calculated from the width of the road that continues with TPE. In the present embodiment, as an example, a case will be described in which the parking initial position SP is calculated and set as a position where the host vehicle MV can be retracted into the target parking frame TPE without requiring a turnover operation.
駐車初期位置SPを設定した駐車初期位置設定部30は、設定した駐車初期位置SPを含む情報信号(以降の説明では、「駐車初期位置信号」と記載する場合がある)を、前進経路算出部70に出力する。
特徴点抽出部40は、障害物信号が含む障害物に応じて、図3中に表すように、障害物信号が含む障害物の、複数の特徴点CPを、予め設定した特徴点抽出範囲ECP1内で抽出する。特徴点CPは、例えば、障害物のうち、各距離センサ2が照射したレーザを反射し、この反射したレーザを各距離センサ2が受信した位置である。
The initial parking
As shown in FIG. 3, the feature
なお、第一実施形態では、一例として、特徴点抽出範囲ECP1を、平面視で、自車両MVの中心を通過して車両前後方向へ延在する直線を基準線とし、さらに、基準線から自車両MVの車幅方向へ4[m]以内の幅を持つ範囲とする。なお、図3中では、特徴点抽出範囲ECP1の、自車両MVの車幅方向に沿った長さを、符号「D1」で表す。また、図3中には、一例として、基準線から自車両MVの車幅方向のうち、自車両MVの前進時における左側方へ長さD1の範囲を、特徴点抽出範囲ECP1に設定した場合を表す。
具体的には、障害物信号が含む障害物の複数の特徴点CPから、特徴点抽出範囲ECP内に存在する特徴点CPのみを選択する。そして、この選択した特徴点CPを、特徴点抽出範囲ECP内に存在する特徴点CPとして抽出する。
In the first embodiment, as an example, the feature point extraction range ECP1 is a straight line that passes through the center of the host vehicle MV in the plan view and extends in the vehicle front-rear direction, and further from the reference line. The range is within 4 [m] in the vehicle width direction of the vehicle MV. In FIG. 3, the length of the feature point extraction range ECP <b> 1 along the vehicle width direction of the host vehicle MV is represented by a symbol “D <b> 1”. Moreover, in FIG. 3, as an example, when the range of the length D1 from the reference line to the left side when the host vehicle MV moves forward is set as the feature point extraction range ECP1 in the vehicle width direction of the host vehicle MV Represents.
Specifically, only the feature point CP existing in the feature point extraction range ECP is selected from the plurality of feature points CP of the obstacle included in the obstacle signal. Then, the selected feature point CP is extracted as a feature point CP existing in the feature point extraction range ECP.
すなわち、第一実施形態の特徴点抽出部40は、障害物の複数の特徴点CPのうち、自車両MVの車幅方向に沿った距離が予め設定した距離D1の範囲(特徴点抽出範囲ECP1)内に存在する、複数の特徴点CPを抽出する。
なお、図3中には、特徴点抽出範囲ECP1内に存在する特徴点CP(以降の説明では、「範囲内特徴点」と記載する場合がある)を、符号「CPin」で表す。また、特徴点抽出範囲ECP1外に存在する特徴点CP(以降の説明では、「範囲外特徴点」と記載する場合がある)を、符号「CPout」で表す。
That is, the feature
In FIG. 3, a feature point CP existing in the feature point extraction range ECP1 (in the following description, may be described as “in-range feature point”) is represented by a symbol “CPin”. In addition, a feature point CP that exists outside the feature point extraction range ECP1 (in the following description, may be referred to as “out-of-range feature point”) is represented by a symbol “CPout”.
範囲内特徴点CPinを抽出した特徴点抽出部40は、抽出した範囲内特徴点CPinを含む情報信号(以降の説明では、「抽出特徴点信号」と記載する場合がある)を、適合直線検出部50に出力する。
適合直線検出部50は、抽出特徴点信号が含む範囲内特徴点CPinに応じて、範囲内特徴点CPinに最も適合する直線(以降の説明では、「適合直線」と記載する場合がある)を検出する。
具体的には、特徴点抽出範囲ECPに応じて、障害物である駐車車両PVの車列群の中から、各駐車車両PVの側面(車幅方向両側)に存在する範囲外特徴点CPoutのデータを除去する。これにより、図3及び図4中に表すように、各駐車車両PVに対して、車両前面のバンパー(フロントバンパー)端部の位置を抽出する。
The feature
The conforming straight
Specifically, in accordance with the feature point extraction range ECP, out-of-range feature points CPout existing on the side surfaces (both sides in the vehicle width direction) of each parked vehicle PV from the vehicle train group of parked vehicles PV that are obstacles. Remove data. Thereby, as shown in FIG.3 and FIG.4, the position of the bumper (front bumper) edge part of a vehicle front surface is extracted with respect to each parked vehicle PV.
さらに、抽出したフロントバンパー端部の位置を用いて、各フロントバンパー端部に存在する範囲内特徴点CPinに最も適合する直線を生成する。そして、生成した直線を、図4中に表すように、適合直線CLとして検出する。
なお、図3及び図4中に表すように、各駐車車両PVのフロントバンパー端部が、自車両MVから見て一列に揃っている場合には、最小二乗法を用いて、適合直線CLを検出してもよい。
なお、範囲内特徴点CPinに最も適合する直線とは、例えば、以下の適合条件I〜IIIのうち、少なくとも一つを満足する直線である。
適合条件I.予め設定した距離を自車両MVが移動する間に抽出した範囲内特徴点CPinを用いて、範囲内特徴点CPinに最も適合する直線。
適合条件II.予め設定した時間内で抽出した範囲内特徴点CPinを用いて、範囲内特徴点CPinに最も適合する直線。
適合条件III.予め設定した数の範囲内特徴点CPinと適合する直線である。
Furthermore, using the extracted position of the front bumper end, a straight line that best matches the in-range feature point CPin existing at each front bumper end is generated. Then, the generated straight line is detected as a matching straight line CL as shown in FIG.
As shown in FIGS. 3 and 4, when the front bumper ends of the parked vehicles PV are aligned in a row when viewed from the own vehicle MV, the conforming straight line CL is detected using the least square method. May be.
The straight line that best matches the in-range feature point CPin is, for example, a straight line that satisfies at least one of the following matching conditions I to III.
Conformity conditions A straight line that best fits the in-range feature point CPin using the in-range feature point CPin extracted while the host vehicle MV moves within a preset distance.
Conformity condition II. A straight line that best fits the in-range feature point CPin using the in-range feature point CPin extracted within a preset time.
Conformity condition III. This is a straight line that matches a preset number of in-range feature points CPin.
すなわち、第一実施形態では、一例として、適合直線検出部50が、特徴点抽出部40が抽出した複数の特徴点CPで形成する点列群に適合する直線を検出して、適合直線CLを検出する場合について説明する。
ここで、「点列群」とは、図3中に表すように、駐車車両PVのフロントバンパー端部に存在する「複数の特徴点CP」を「配列」した「群」で形成する。
適合直線CLを検出した適合直線検出部50は、検出した適合直線CLを含む情報信号(以降の説明では、「適合直線信号」と記載する場合がある)を、目標進行方向設定部60に出力する。
That is, in the first embodiment, as an example, the matching
Here, as shown in FIG. 3, the “point sequence group” is formed by a “group” in which “a plurality of feature points CP” existing at the end of the front bumper of the parked vehicle PV are “arrayed”.
The matching
目標進行方向設定部60は、適合直線信号が含む適合直線CLに応じて、自車両MVの目標とする進行方向(以降の説明では、「目標進行方向」と記載する場合がある)を設定する。すなわち、目標進行方向設定部60は、現在の位置から駐車初期位置SPまで自車両MVを誘導する方向である目標進行方向を、適合直線検出部50が検出した適合直線CLに応じて設定する。
具体的には、図4中に表すように、適合直線信号が含む適合直線CLと平面視で平行であるとともに、自車両MVの車幅方向中心を通過する直線を、目標進行方向TDとして設定する。なお、図4中では、説明のために、目標進行方向TDのうち、自車両MVの車両前後方向前方に位置する部分を表している。
The target travel
Specifically, as shown in FIG. 4, a straight line that is parallel to the fitting straight line CL included in the fitting straight line signal in plan view and passes through the center in the vehicle width direction of the host vehicle MV is set as the target traveling direction TD. To do. In FIG. 4, for the purpose of explanation, a portion of the target traveling direction TD that is located forward of the host vehicle MV in the vehicle front-rear direction is shown.
なお、「適合直線と平面視で平行な直線」には、「平面視で、適合直線と予め設定した角度の範囲内で傾斜する直線」を含む。また、「平面視で、適合直線と予め設定した角度の範囲」は、「適合直線と平面視で平行な角度」を基準として、例えば、+5[°]〜−5[°]の範囲に設定する。
したがって、第一実施形態の目標進行方向設定部60は、適合直線CLと自車両MVの車両前後方向との傾斜角度が、平行を基準として予め設定した範囲内の角度であるときに、適合直線CLの方向を、目標進行方向TDとして設定する。
The “straight line parallel to the conforming straight line in plan view” includes “a straight line inclined in the range of the conforming straight line and a preset angle in plan view”. In addition, the “range of the straight line and the preset angle in plan view” is set to, for example, a range of +5 [°] to −5 [°] based on the “angle parallel to the fit straight line and plan view” To do.
Therefore, the target travel
目標進行方向TDを設定した目標進行方向設定部60は、設定した目標進行方向TDを含む情報信号(以降の説明では、「目標進行方向信号」と記載する場合がある)を、前進経路算出部70に出力する。
前進経路算出部70は、目標進行方向信号が含む目標進行方向TDと、駐車初期位置信号が含む駐車初期位置SPを参照する。そして、前進経路算出部70は、自車両MVを、現在の位置から駐車初期位置SPまで、目標進行方向TDに沿って前進させる経路(以降の説明では、「目標前進経路」と記載する場合がある)を算出する。
The target travel
The forward
目標前進経路を算出した前進経路算出部70は、算出した目標前進経路を含む情報信号(以降の説明では、「目標前進経路信号」と記載する場合がある)を、情報出力制御部80に出力する。
情報出力制御部80は、目標前進経路信号が含む目標前進経路に応じて、HMI装置12、操舵機構14、駆動力コントローラ16、制動力コントローラ18へ出力する情報信号を生成する。
HMI装置12へ出力する情報信号は、自車両MVの運転者に対して、目標前進経路を提表する情報提示指令を含んで生成する。なお、目標前進経路の提示は、例えば、表示装置に目標前進経路の映像を表示することや、音声出力装置から目標前進経路に沿った走行を促す音声を出力することにより行う。
The forward
The information
The information signal to be output to the
操舵機構14へ出力する情報信号は、操舵機構14が備える操舵モータによりステアリングホイールSWを自動操舵することで、自車両MVの走行経路を目標前進経路へ誘導する操舵指令を含んで生成する。
駆動力コントローラ16へ出力する情報信号は、自車両MVの駆動源が発生させる駆動力を制御することで、自車両MVを、現在の位置から駐車初期位置SPまで前進させる前進指令を含んで生成する。
制動力コントローラ18へ出力する情報信号は、自車両MVが備える制動力発生源が発生させる制動力を制御することで、駐車初期位置SPへ向けて前進している自車両MVを駐車初期位置で停止させる停止指令を含んで生成する。
したがって、前進経路算出部70、情報出力制御部80、HMI装置12、操舵機構14、駆動力コントローラ16、制動力コントローラ18は、目標進行方向設定部60が設定した目標進行方向TDに沿って、自車両MVを駐車初期位置SPへ誘導する。
The information signal output to the
The information signal output to the driving
The information signal output to the
Therefore, the forward
(動作)
次に、図1から図4を参照しつつ、図5を用いて、第一実施形態の駐車支援装置1を用いて行なう動作を説明する。
駐車支援装置1を用いて行なう動作では、複数の駐車枠が整備された駐車場内で、自車両MVが、目標駐車枠TPEまで移動する場面において、駐車初期位置SPへ近づくように、自車両MVの周囲に存在する障害物から誘導経路を算出する。そして、自車両MVの運転者に対して、現在の位置から駐車初期位置SPまでの誘導経路を提示するとともに、現在の位置から駐車初期位置SPまで、自車両MVを自動で走行させる。
(Operation)
Next, with reference to FIGS. 1 to 4, an operation performed using the parking assist device 1 of the first embodiment will be described using FIG. 5.
In the operation performed using the parking assist device 1, the host vehicle MV approaches the parking initial position SP in the scene where the host vehicle MV moves to the target parking frame TPE in a parking lot where a plurality of parking frames are provided. The guide route is calculated from the obstacles around. And while showing the guidance path | route from the present position to the parking initial position SP with respect to the driver | operator of the own vehicle MV, the own vehicle MV is made to drive | work automatically from the present position to the parking initial position SP.
図5中に表すように、駐車支援装置1を用いて行なう動作を開始(START)すると、まず、ステップS100の処理を行う。
ステップS100では、周辺環境検出部20により、自車両MVの周囲に存在する障害物を検出(図中に表す「障害物検出」)する。ステップS100において、自車両MVの周囲に存在する障害物を検出すると、駐車支援装置1を用いて行なう動作は、ステップS102へ移行する。
ステップS102では、駐車初期位置設定部30により、駐車初期位置SPを設定(図中に表す「駐車初期位置設定」)する。ステップS102において、駐車初期位置SPを設定すると、駐車支援装置1を用いて行なう動作は、ステップS104へ移行する。
As shown in FIG. 5, when the operation performed using the parking assist device 1 is started (START), first, the process of step S100 is performed.
In step S100, the surrounding
In step S102, the parking initial
ステップS104では、特徴点抽出部40により、ステップS100で検出した障害物の複数の特徴点CPを、特徴点抽出範囲ECP内で抽出(図中に表す「特徴点抽出範囲内で特徴点を抽出」)する。ステップS104において、複数の特徴点CPを特徴点抽出範囲ECP内で抽出すると、駐車支援装置1を用いて行なう動作は、ステップS106へ移行する。
ステップS106では、適合直線検出部50により、ステップS104で抽出した範囲内特徴点CPinに応じて、適合直線CLを検出(図中に表す「適合直線検出」)する。ステップS106において、適合直線CLを検出すると、駐車支援装置1を用いて行なう動作は、ステップS108へ移行する。
In step S104, the feature
In step S106, the matching
ステップS108では、目標進行方向設定部60により、ステップS106で検出した適合直線CLに応じて、目標進行方向TDを設定(図中に表す「目標進行方向設定」)する。ステップS108において、目標進行方向TDを設定すると、駐車支援装置1を用いて行なう動作は、ステップS110へ移行する。
ステップS110では、前進経路算出部70により、ステップS102で設定した駐車初期位置SPと、ステップS108で設定した目標進行方向TDに応じて、目標前進経路を算出(図中に表す「目標前進経路算出」)する。ステップS110において、目標前進経路を算出すると、駐車支援装置1を用いて行なう動作は、ステップS112へ移行する。
In step S108, the target travel
In step S110, the forward
ステップS112では、情報出力制御部80により、ステップS110で算出した目標前進経路に応じて、情報提示指令、操舵指令、前進指令を含む情報信号を生成する。これにより、ステップS112では、自車両MVが現在の位置から駐車初期位置SPへ近づくように、自車両MVを制御(図中に表す「自車両進行制御」)する。
具体的には、HMI装置12が備える表示装置に目標前進経路の映像を表示するとともに、HMI装置12が音声出力装置から目標前進経路に沿った走行を促す音声を出力することにより、自車両MVの運転者に対して、誘導経路を提示する。
In step S112, the information
Specifically, the video of the target forward route is displayed on the display device included in the
これに加え、操舵機構14が備える操舵モータによりステアリングホイールSWを自動操舵するとともに、自車両MVの駆動源が発生させる駆動力を制御して、自車両MVを駐車初期位置SPへ向けて自動で走行させる。
ステップS112において、自車両MVが現在の位置から駐車初期位置SPへ近づくように、自車両MVを制御すると、駐車支援装置1を用いて行なう動作は、ステップS114へ移行する。
ステップS114では、例えば、前方距離センサ2F及び移動距離センサ4から入力を受けた情報信号が含むデータを用いて、自車両MVの位置が駐車初期位置SPの近傍であるか否かを判定する処理(図中に表す「自車両が駐車初期位置の近傍」)を行う。
In addition to this, the steering wheel SW is automatically steered by the steering motor provided in the
In step S112, when the host vehicle MV is controlled so that the host vehicle MV approaches the parking initial position SP from the current position, the operation performed using the parking assist device 1 proceeds to step S114.
In step S114, for example, a process of determining whether or not the position of the host vehicle MV is in the vicinity of the initial parking position SP using data included in information signals received from the
なお、ステップS114で判定対象とする「駐車初期位置SPの近傍」とは、駐車初期位置SPの中心を基準として、駐車初期位置SPへ向けて走行している自車両MVが、駐車初期位置SPで停止可能な距離の範囲である。また、ステップS114で判定対象とする「駐車初期位置SPの近傍」は、自車両MVの速度や、自車両MVの制動性能に応じて設定する。
ステップS114において、自車両MVの位置が駐車初期位置SPの近傍である(図中に表す「Yes」)と判定した場合、駐車支援装置1を用いて行なう動作は、ステップS112へ移行する。
Note that “the vicinity of the initial parking position SP” to be determined in step S114 means that the host vehicle MV traveling toward the initial parking position SP with respect to the center of the initial parking position SP is the initial parking position SP. The range of distance that can be stopped by. Further, “the vicinity of the parking initial position SP” to be determined in step S114 is set according to the speed of the host vehicle MV and the braking performance of the host vehicle MV.
If it is determined in step S114 that the position of the host vehicle MV is in the vicinity of the parking initial position SP (“Yes” shown in the drawing), the operation performed using the parking assist device 1 proceeds to step S112.
一方、ステップS114において、自車両MVの位置が駐車初期位置SPの近傍に達していない(図中に表す「No」)と判定した場合、駐車支援装置1を用いて行なう動作は、ステップS116へ移行する。
ステップS116では、情報出力制御部80により、ステップS110で算出した目標前進経路に応じて、停止指令を含む情報信号を生成する。これにより、ステップS116では、自車両MVを駐車初期位置SPで停止させるように、自車両MVを制御(図中に表す「自車両停止制御」)する。具体的には、操舵機構14が備える操舵モータによりステアリングホイールSWを自動操舵するとともに、自車両MVが備える制動力発生源が発生させる制動力を制御して、自車両MVを駐車初期位置SPで停止させる。
On the other hand, if it is determined in step S114 that the position of the host vehicle MV has not reached the vicinity of the parking initial position SP ("No" shown in the figure), the operation performed using the parking assist device 1 proceeds to step S116. Transition.
In step S116, the information
ステップS116において、自車両MVを駐車初期位置SPで停止させるように、自車両MVを制御すると、駐車支援装置1を用いて行なう動作を終了(END)する。
第一実施形態の駐車支援装置1であれば、上述したように、最終的に自車両MVを駐車初期位置SPまで正確に誘導することが可能である。したがって、第一実施形態の駐車支援装置1は、例えば、白線等が引かれていない駐車場内においても、自車両MVを自動的に走行させながら、目標駐車位置SPの近傍まで移動させることが可能である。
なお、上述した前進経路算出部70、情報出力制御部80、HMI装置12、操舵機構14、駆動力コントローラ16、制動力コントローラ18は、誘導部に対応する。
In step S116, when the host vehicle MV is controlled so that the host vehicle MV is stopped at the parking initial position SP, the operation performed using the parking assist device 1 is ended (END).
If it is the parking assistance apparatus 1 of 1st embodiment, as mentioned above, it is finally possible to guide the own vehicle MV to the parking initial position SP accurately. Therefore, the parking assist device 1 of the first embodiment can move the host vehicle MV to the vicinity of the target parking position SP while automatically driving the host vehicle MV even in a parking lot where no white line or the like is drawn. It is.
The forward
また、上述した情報出力制御部80、操舵機構14、駆動力コントローラ16、制動力コントローラ18は、誘導部が備える自動走行装置に対応する。
また、上述したように、第一実施形態の駐車支援装置1の動作で実施する駐車支援方法では、駐車初期位置SPを設定し、自車両MVの周辺に存在する障害物を検出し、検出した障害物の特徴点CPを抽出する。そして、抽出した特徴点CPに適合する適合直線CLを検出し、検出した適合直線CLに応じて目標進行方向TDを設定し、設定した目標進行方向TDに沿って、現在の位置から駐車初期位置SPまで自車両MVを誘導する。
なお、上述した第一実施形態は、本発明の一例であり、本発明は、上述した第一実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
Further, the information
Moreover, as mentioned above, in the parking assistance method implemented by the operation of the parking assistance device 1 of the first embodiment, the parking initial position SP is set, and obstacles existing around the host vehicle MV are detected and detected. The feature point CP of the obstacle is extracted. Then, a matching straight line CL that matches the extracted feature point CP is detected, a target traveling direction TD is set according to the detected matching straight line CL, and a parking initial position is determined from the current position along the set target traveling direction TD. The vehicle MV is guided to SP.
The above-described first embodiment is an example of the present invention, and the present invention is not limited to the above-described first embodiment, and the present invention may be applied to other forms than this embodiment. Various modifications can be made according to the design or the like as long as they do not depart from the technical idea.
(第一実施形態の効果)
第一実施形態の駐車支援装置1であれば、以下に記載する効果を奏することが可能となる。
(1)適合直線検出部50が、特徴点抽出部40が抽出した特徴点CPに適合する適合直線CLを検出し、目標進行方向設定部60が、現在の位置から駐車初期位置SPまで自車両MVを誘導する方向である目標進行方向TDを、適合直線CLに応じて設定する。そして、前進経路算出部70、情報出力制御部80、HMI装置12、操舵機構14、駆動力コントローラ16、制動力コントローラ18が、自車両MVを、目標進行方向TDに沿って、現在の位置から駐車初期位置SPまで誘導する。
(Effects of the first embodiment)
If it is the parking assistance apparatus 1 of 1st embodiment, it will become possible to show the effect described below.
(1) The matching straight
このため、自車両MVの周辺に存在する駐車車両PV等の障害物の特徴点CPを抽出し、抽出の結果に適合する適合直線CLを検出して自車両MVの進行方向を特定し、現在の位置から駐車初期位置SPまで、自車両MVを誘導することが可能となる。
その結果、自車両MVの周辺に存在する障害物の特徴点CPに応じて、現在の位置から駐車初期位置SPまで自車両MVを誘導するための進行方向を設定することが可能となる。これにより、現在の位置から目標駐車位置SPへの自車両MVの誘導を、適切に行うことが可能となる。
For this reason, feature points CP of obstacles such as a parked vehicle PV existing around the host vehicle MV are extracted, a matching straight line CL that matches the extraction result is detected, and the traveling direction of the host vehicle MV is specified. It is possible to guide the host vehicle MV from the position to the parking initial position SP.
As a result, the traveling direction for guiding the host vehicle MV from the current position to the parking initial position SP can be set according to the feature point CP of the obstacle present around the host vehicle MV. Accordingly, it is possible to appropriately guide the host vehicle MV from the current position to the target parking position SP.
(2)適合直線検出部50が、特徴点抽出部40が抽出した特徴点CPに最も適合する直線を、適合直線CLとして検出する。
このため、自車両MVの周辺に存在する駐車車両PV等の障害物に設定した特徴点CPの抽出結果から、特徴点抽出部40が抽出した特徴点CPに最も適合する適合直線CLを検出することが可能となる。
その結果、特徴点抽出部40が抽出した特徴点CPに最も適合する自車両MVの進行方向を特定して、現在の位置から駐車初期位置SPまで、自車両MVを誘導することが可能となる。
(2) The matching straight
For this reason, the fitting straight line CL that best matches the feature point CP extracted by the feature
As a result, the traveling direction of the host vehicle MV that best matches the feature point CP extracted by the feature
(3)特徴点抽出部40が、自車両MVの車幅方向に沿った距離が予め設定した距離D1の特徴点抽出範囲ECP1内に存在する複数の特徴点CPを抽出する。さらに、適合直線検出部50が、特徴点抽出部40が抽出した複数の特徴点CPで形成する点列群に適合する適合直線CLを検出する。これに加え、目標進行方向設定部60が、適合直線CLと自車両MVの車両前後方向との傾斜角度が平行を基準として予め設定した範囲内の角度であるときに適合直線検出部50が検出した適合直線CLの方向を、目標進行方向TDとして設定する。
(3) The feature
このため、自車両MVの車幅方向に沿った距離が近い複数の特徴点CPで形成する点列群に応じて検出した適合直線CLと、自車両MVの車両前後方向と、の傾斜角度が略平行となる直線を、目標進行方向TDとして設定することが可能となる。
その結果、自車両MVの車幅方向に沿った距離が近い複数の特徴点CPに応じて、現在の位置から駐車初期位置SPまで自車両MVを誘導するための進行方向を設定することが可能となる。これにより、現在の位置から目標駐車位置SPへの自車両MVの誘導を、適切に行うことが可能となる。
Therefore, the inclination angle between the matching straight line CL detected according to the point sequence group formed by the plurality of feature points CP that are close in the vehicle width direction of the host vehicle MV and the vehicle front-rear direction of the host vehicle MV is A straight line that is substantially parallel can be set as the target traveling direction TD.
As a result, it is possible to set the traveling direction for guiding the host vehicle MV from the current position to the parking initial position SP according to a plurality of feature points CP that are close in the vehicle width direction of the host vehicle MV. It becomes. Accordingly, it is possible to appropriately guide the host vehicle MV from the current position to the target parking position SP.
また、上述した従来技術では、障害物と自車両MVとの距離を表す点列データに基づいて、全点列、または、所定長さ以上の点列に対して、直線近似、または、曲線近似を行う。このため、従来技術では、検出範囲外の点群が検出された場合に、全点列、または、所定長さ以上の点列に対して近似した線の位置が、実際の障害物の位置と乖離し、実際に自車両MVを誘導する方向と目標進行方向TDとの誤差が大きくなる可能性があった。
これに対し、第一実施形態では、特徴点抽出部40が特徴点抽出範囲ECP1内に存在する複数の特徴点CPを抽出し、適合直線検出部50が、特徴点抽出部40が抽出した複数の特徴点CPで形成する点列群に適合する適合直線CLを検出する。このため、実際に自車両MVを誘導する方向と目標進行方向TDとの誤差を、減少させることが可能となる。
Further, in the above-described conventional technology, linear approximation or curve approximation is performed for all point sequences or point sequences longer than a predetermined length based on the point sequence data representing the distance between the obstacle and the host vehicle MV. I do. For this reason, in the prior art, when a point group outside the detection range is detected, the position of the line approximated to all point sequences or point sequences of a predetermined length or more is the actual obstacle position. There is a possibility that the difference between the direction in which the host vehicle MV is actually guided and the target traveling direction TD increases.
On the other hand, in the first embodiment, the feature
(4)情報出力制御部80、操舵機構14、駆動力コントローラ16、制動力コントローラ18を用いて形成する自動走行装置が、現在の位置から駐車初期位置SPまで自車両MVを自動走行させる。
その結果、従来のように、運転者によって自車両MVを駐車初期位置SPまで移動させる必要が無くなる。これにより、運転者が、自動操舵等の運転支援制御を開始する位置を意識する必要が無いため、運転者の手間を大幅に低減することが可能となる。
(4) The automatic travel device formed by using the information
As a result, it is not necessary for the driver to move the host vehicle MV to the parking initial position SP as in the prior art. As a result, it is not necessary for the driver to be aware of the position at which driving assistance control such as automatic steering is started, so that it is possible to greatly reduce the driver's effort.
(5)駐車初期位置SPを、自車両MVが目標の駐車枠(目標駐車枠TPE)へ向けて後退を開始する位置とする。
その結果、駐車初期位置SPに誘導した自車両MVを、後退走行のみで目標駐車枠TPEへ移動させることが可能となる。これにより、運転者が運転時に受ける負荷を低減させることが可能となる。また、目標駐車枠TPEから発進する際に、運転者が運転時に受ける負荷を低減させることが可能となる。
(5) The parking initial position SP is set to a position at which the host vehicle MV starts moving backward toward the target parking frame (target parking frame TPE).
As a result, the host vehicle MV guided to the parking initial position SP can be moved to the target parking frame TPE only by traveling backward. Thereby, it is possible to reduce the load that the driver receives during driving. Moreover, when starting from the target parking frame TPE, it is possible to reduce the load that the driver receives during driving.
(6)第一実施形態の駐車支援装置1の動作で実施する駐車支援方法では、駐車初期位置SPを設定し、自車両MVの周辺に存在する障害物を検出し、検出した障害物の特徴点CPを抽出する。そして、抽出した特徴点CPに適合する適合直線CLを検出し、検出した適合直線CLに応じて目標進行方向TDを設定し、設定した目標進行方向TDに沿って、現在の位置から駐車初期位置SPまで自車両MVを誘導する。
このため、自車両MVの周辺に存在する駐車車両PV等の障害物の特徴点CPを抽出し、抽出の結果に適合する適合直線CLを検出して自車両MVの進行方向を特定し、現在の位置から駐車初期位置SPまで、自車両MVを誘導することが可能となる。
その結果、自車両MVの周辺に存在する障害物の特徴点CPに応じて、現在の位置から駐車初期位置SPまで自車両MVを誘導するための進行方向を設定することが可能となる。これにより、現在の位置から目標駐車位置SPへの自車両MVの誘導を、適切に行うことが可能となる。
(6) In the parking assistance method implemented by the operation of the parking assistance device 1 of the first embodiment, the parking initial position SP is set, obstacles existing around the host vehicle MV are detected, and the features of the detected obstacles are detected. A point CP is extracted. Then, a matching straight line CL that matches the extracted feature point CP is detected, a target traveling direction TD is set according to the detected matching straight line CL, and a parking initial position is determined from the current position along the set target traveling direction TD. The vehicle MV is guided to SP.
For this reason, feature points CP of obstacles such as a parked vehicle PV existing around the host vehicle MV are extracted, a matching straight line CL that matches the extraction result is detected, and the traveling direction of the host vehicle MV is specified. It is possible to guide the host vehicle MV from the position to the parking initial position SP.
As a result, the traveling direction for guiding the host vehicle MV from the current position to the parking initial position SP can be set according to the feature point CP of the obstacle present around the host vehicle MV. Accordingly, it is possible to appropriately guide the host vehicle MV from the current position to the target parking position SP.
(第一実施形態の変形例)
(1)第一実施形態では、駐車支援装置1の構成を、ステアリングホイールSWの自動操舵、駆動力及び制動力の制御を行い、自車両MVを、現在の位置から駐車初期位置SPまで自動で移動させる自動運転を行う構成とした。しかしながら、駐車支援装置1の構成は、これに限定するものではない。
すなわち、駐車支援装置1の構成を、例えば、HMI装置12により、自車両MVの運転者に対して誘導経路を提示するのみを行う構成としてもよい。また、駐車支援装置1の構成を、例えば、ステアリングホイールSWの自動操舵のみ行う構成としてもよい。また、駐車支援装置1の構成を、例えば、ステアリングホイールSWの操舵アシスト、制動力及び駆動力のアシスト等、運転操作のアシストのみを行う構成としてもよい。
したがって、駐車支援装置1の構成を、HMI装置12、操舵機構14、駆動力コントローラ16、制動力コントローラ18のうち、少なくとも一つを備えた構成としてもよい。
(Modification of the first embodiment)
(1) In the first embodiment, the configuration of the parking assist device 1 automatically controls the steering wheel SW, controls the driving force and the braking force, and automatically moves the host vehicle MV from the current position to the parking initial position SP. The configuration is such that automatic movement is performed. However, the structure of the parking assistance apparatus 1 is not limited to this.
That is, the configuration of the parking assistance device 1 may be a configuration in which, for example, the
Therefore, the configuration of the parking assist device 1 may be configured to include at least one of the
(2)第一実施形態では、適合直線検出部50が、特徴点抽出部40が抽出した特徴点CPに最も適合する直線を、適合直線CLとして検出したが、これに限定するものではない。すなわち、適合直線検出部50が、特徴点抽出部40が抽出した特徴点CPに対して二番目や三番目に適合する直線を、適合直線CLとして検出してもよい。
(3)第一実施形態では、前方距離センサ2F、右側方距離センサ2R、左側方距離センサ2Lの構成は、レーザスキャナを用いて形成した構成したが、これに限定するものではない。すなわち、前方距離センサ2F、右側方距離センサ2R、左側方距離センサ2Lの構成を、例えば、超音波ソナーを用いて形成した構成としてもよい。この場合、障害物の近傍を通過する際に、移動距離センサ4が算出した移動量を用いて、自車両MVの周囲に存在する障害物の検出結果をメモリに記録する構成としてもよい。
(2) In the first embodiment, the matching straight
(3) In the first embodiment, the configurations of the
(4)第一実施形態では、図3及び図4中に表すように、自車両MVの前進時における左側方に目標駐車位置(目標駐車枠TPE)を設定して駐車を行う場合について説明したが、これに限定するものではない。すなわち、自車両MVの前進時における右側方に目標駐車位置(目標駐車枠TPE)を設定して駐車を行う場合に適用してもよい。
自車両MVの前進時における右側方に目標駐車位置を設定する場合であっても、上述した第一実施形態と同様の処理を行うことにより、自車両MVの周辺に存在する障害物を回避しながら、自車両MVを駐車初期位置SPまで誘導することが可能である。
また、駐車支援装置1の構成を、予め、自車両MVの車幅方向両側に位置する駐車車両PVを検出して、自車両MVの車幅方向両側に存在する駐車車両PVの車列群から、目標進行方向TDを設定する構成としてもよい。
(4) In the first embodiment, as shown in FIGS. 3 and 4, the case where the target parking position (target parking frame TPE) is set on the left side when the host vehicle MV moves forward and parking is performed has been described. However, the present invention is not limited to this. That is, the present invention may be applied when parking is performed by setting a target parking position (target parking frame TPE) on the right side when the host vehicle MV moves forward.
Even when the target parking position is set on the right side when the host vehicle MV moves forward, obstacles existing around the host vehicle MV can be avoided by performing the same processing as in the first embodiment described above. However, it is possible to guide the host vehicle MV to the parking initial position SP.
In addition, the configuration of the parking assist device 1 is detected in advance from the vehicle group of the parked vehicles PV existing on both sides in the vehicle width direction of the host vehicle MV by detecting parked vehicles PV positioned on both sides of the host vehicle MV in the vehicle width direction. The target traveling direction TD may be set.
(第二実施形態)
以下、本発明の第二実施形態について、図面を参照しつつ説明する。
(駐車支援装置の構成)
図1から図5を参照しつつ、図6及び図7を用いて、駐車支援装置1の構成について説明する。なお、上述した第一実施形態と同様の構成については、その説明を省略する場合がある。
第二実施形態の駐車支援装置1の構成は、特徴点抽出部40と、適合直線検出部50と、目標進行方向設定部60の構成を除き、上述した第一実施形態と同様である。したがって、以降の説明では、特徴点抽出部40と、適合直線検出部50と、目標進行方向設定部60以外の構成について、その説明を省略する場合がある。
特徴点抽出部40は、障害物信号が含む障害物に応じて、図6中に表すように、障害物信号が含む障害物の複数の特徴点CPを、予め設定した特徴点抽出範囲ECP2内で抽出する。
(Second embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings.
(Configuration of parking assistance device)
The structure of the parking assistance apparatus 1 is demonstrated using FIG.6 and FIG.7, referring FIGS. 1-5. In addition, the description about the structure similar to 1st embodiment mentioned above may be abbreviate | omitted.
The configuration of the parking assistance device 1 of the second embodiment is the same as that of the first embodiment described above, except for the configuration of the feature
As shown in FIG. 6, the feature
なお、第二実施形態では、一例として、特徴点抽出範囲ECP2を、平面視で、自車両MVの後輪WRL,WRRの中心を通過する直線を基準線とし、さらに、基準線を中心として自車両MVの車両前後方向へ0.5[m]以内の幅を持つ範囲とする。なお、図6中では、特徴点抽出範囲ECP2の、自車両MVの車両前後方向に沿った長さを、符号「D2」で表す。
具体的には、障害物信号が含む障害物の複数の特徴点CPから、特徴点抽出範囲ECP2内に存在する特徴点CPのみを選択する。そして、この選択した特徴点CPを、特徴点抽出範囲ECP内に存在する特徴点CPとして抽出する。
In the second embodiment, as an example, the feature point extraction range ECP2 is obtained by using a straight line passing through the center of the rear wheels WRL and WRR of the host vehicle MV as a reference line in plan view, and further using the reference point as a center. A range having a width within 0.5 [m] in the vehicle longitudinal direction of the vehicle MV. In FIG. 6, the length of the feature point extraction range ECP2 along the vehicle front-rear direction of the host vehicle MV is represented by reference sign “D2”.
Specifically, only the feature point CP existing in the feature point extraction range ECP2 is selected from the plurality of feature points CP of the obstacle included in the obstacle signal. Then, the selected feature point CP is extracted as a feature point CP existing in the feature point extraction range ECP.
すなわち、第二実施形態の特徴点抽出部40は、障害物の複数の特徴点CPのうち、自車両MVの車両前後方向に沿った距離が予め設定した距離D2の範囲(特徴点抽出範囲ECP2)内に存在する、複数の特徴点CPを抽出する。
なお、図6中には、特徴点抽出範囲ECP2内に存在する特徴点CP(以降の説明では、「範囲内特徴点」と記載する場合がある)を、符号「CPin」で表す。また、特徴点抽出範囲ECP2外に存在する特徴点CP(以降の説明では、「範囲外特徴点」と記載する場合がある)を、符号「CPout」で表す。
That is, the feature
In FIG. 6, a feature point CP existing in the feature point extraction range ECP <b> 2 (may be described as “in-range feature point” in the following description) is represented by a symbol “CPin”. In addition, a feature point CP that exists outside the feature point extraction range ECP2 (in the following description, may be described as “out-of-range feature point”) is represented by a symbol “CPout”.
範囲内特徴点CPinを抽出した特徴点抽出部40は、抽出特徴点信号を、適合直線検出部50に出力する。
適合直線検出部50は、抽出特徴点信号が含む範囲内特徴点CPinに応じて、適合直線CLを検出する。
具体的には、特徴点抽出範囲ECP2に応じて、障害物である各駐車車両PVの車列群の中から、特徴点抽出範囲ECP2内に存在する一台の駐車車両PVを検出する。そして、特徴点抽出範囲ECP2内に存在する一台の駐車車両PVに対し、車両前面のバンパー(フロントバンパー)端部に存在する範囲外特徴点CPoutのデータを除去する。これにより、図6及び図7中に表すように、特徴点抽出範囲ECP2内に存在する一台の駐車車両PVに対して、車両右側面の位置を抽出する。
The feature
The matching straight
Specifically, according to the feature point extraction range ECP2, one parked vehicle PV existing in the feature point extraction range ECP2 is detected from the vehicle train group of each parked vehicle PV that is an obstacle. Then, for the one parked vehicle PV existing in the feature point extraction range ECP2, the data of the out-of-range feature point CPout existing at the bumper (front bumper) end of the vehicle front is removed. As a result, as shown in FIGS. 6 and 7, the position of the right side surface of the vehicle is extracted with respect to one parked vehicle PV existing in the feature point extraction range ECP2.
さらに、抽出した車両右側面の位置を用いて、車両右側面に存在する範囲内特徴点CPinに最も適合する直線を生成する。そして、生成した直線を、図7中に表すように、適合直線CLとして検出する。
なお、図6及び図7中に表すように、左側方距離センサ2L、すなわち、一つの距離センサ2で、特徴点抽出範囲ECP2内に存在する一台の駐車車両PVの側面を検出可能な場合には、最小二乗法を用いて、適合直線CLを検出してもよい。
すなわち、第二実施形態では、一例として、適合直線検出部50が、特徴点抽出部40が抽出した複数の特徴点CPで形成する点列群に適合する直線を検出して、適合直線CLを検出する場合について説明する。
Furthermore, a straight line that best matches the in-range feature point CPin existing on the vehicle right side surface is generated using the extracted position of the vehicle right side surface. Then, the generated straight line is detected as a conforming straight line CL as shown in FIG.
As shown in FIGS. 6 and 7, the left
That is, in the second embodiment, as an example, the matching
ここで、「点列群」とは、図6中に表すように、特徴点抽出範囲ECP2内に存在する一台の駐車車両PVに対して、車両右側面に存在する「複数の特徴点CP」を「配列」した「群」で形成する。
適合直線CLを検出した適合直線検出部50は、適合直線信号を、目標進行方向設定部60に出力する。
目標進行方向設定部60は、適合直線信号が含む適合直線CLに応じて、目標進行方向を設定する。すなわち、目標進行方向設定部60は、現在の位置から駐車初期位置SPまで自車両MVを誘導する方向である目標進行方向を、適合直線検出部50が検出した適合直線CLに応じて設定する。
Here, as shown in FIG. 6, the “point sequence group” refers to “a plurality of feature points CP existing on the right side of the vehicle with respect to one parked vehicle PV existing in the feature point extraction range ECP2. "Is a" group "of" sequence ".
The matching straight
The target traveling
具体的には、図7中に表すように、適合直線信号が含む適合直線CLと平面視で垂直な直線を、目標進行方向補助線SCLとして設定する。なお、図7中には、平面視で、適合直線CLと目標進行方向補助線SCLとの傾斜角度を、符号「θ」で表す。さらに、目標進行方向補助線SCLと平面視で平行であるとともに、自車両MVの車幅方向中心を通過する直線を、目標進行方向TDとして設定する。なお、図7中では、説明のために、目標進行方向TDのうち、自車両MVの車両前後方向前方に位置する部分を表している。
なお、「適合直線と平面視で垂直な直線」には、「平面視で、適合直線と予め設定した角度の範囲内で傾斜する直線」を含む。また、「平面視で、適合直線と予め設定した角度の範囲」は、「適合直線と平面視で垂直な角度」を基準として、例えば、+5[°]〜−5[°]の範囲に設定する。
したがって、第二実施形態の目標進行方向設定部60は、適合直線CLと自車両MVの車両前後方向との傾斜角度が、垂直を基準として予め設定した範囲内の角度であるときに、適合直線CLの方向を、目標進行方向TDとして設定する。
目標進行方向TDを設定した目標進行方向設定部60は、目標進行方向信号を、前進経路算出部70に出力する。
Specifically, as shown in FIG. 7, a straight line perpendicular to the matching straight line CL included in the matching straight line signal in plan view is set as the target traveling direction auxiliary line SCL. In FIG. 7, the inclination angle between the matching straight line CL and the target traveling direction auxiliary line SCL is represented by a symbol “θ” in plan view. Further, a straight line that is parallel to the target traveling direction auxiliary line SCL in plan view and passes through the center of the host vehicle MV in the vehicle width direction is set as the target traveling direction TD. In FIG. 7, for the sake of explanation, a portion of the target traveling direction TD that is located in front of the host vehicle MV in the vehicle front-rear direction is shown.
The “straight line that is perpendicular to the conforming straight line in plan view” includes “a straight line that is tilted within a range of angles that are preset with the conforming straight line in plan view”. Further, the “range of the straight line and the preset angle in the plan view” is set to, for example, a range of +5 [°] to −5 [°] based on the “angle perpendicular to the fit straight line and the plan view”. To do.
Therefore, the target travel
The target travel
(車両の構成)
駐車支援装置1を備える自車両MVの構成は、上述した第一実施形態と同様であるため、その説明を省略する。
(動作)
第二実施形態の駐車支援装置1を用いて行なう動作は、上述した第一実施形態と同様であるため、その説明を省略する。
なお、上述した第二実施形態は、本発明の一例であり、本発明は、上述した第二実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
(Vehicle configuration)
Since the structure of the own vehicle MV provided with the parking assistance apparatus 1 is the same as that of 1st embodiment mentioned above, the description is abbreviate | omitted.
(Operation)
Since the operation | movement performed using the parking assistance apparatus 1 of 2nd embodiment is the same as that of 1st embodiment mentioned above, the description is abbreviate | omitted.
The above-described second embodiment is an example of the present invention, and the present invention is not limited to the above-described second embodiment, and the present invention may be applied to other forms than this embodiment. Various modifications can be made according to the design or the like as long as they do not depart from the technical idea.
(第二実施形態の効果)
第二実施形態の駐車支援装置1であれば、以下に記載する効果を奏することが可能となる。
(1)特徴点抽出部40が、自車両MVの車両前後方向に沿った距離が予め設定した距離D2の特徴点抽出範囲ECP2内に存在する複数の特徴点CPを抽出する。さらに、適合直線検出部50が、特徴点抽出部40が抽出した複数の特徴点CPで形成する点列群に適合する適合直線CLを検出する。これに加え、目標進行方向設定部60が、適合直線CLと自車両MVの車幅方向との傾斜角度が垂直を基準として予め設定した範囲内の角度であるときに適合直線検出部50が検出した適合直線CLの方向を、目標進行方向TDとして設定する。
このため、自車両MVの車両前後方向に沿った幅が狭い領域内に存在する複数の特徴点CPで形成する点列群に応じて検出した適合直線CLと、自車両MVの車幅方向と、の傾斜角度が略垂直となる直線を、目標進行方向TDとして設定することが可能となる。
(Effect of the second embodiment)
If it is the parking assistance apparatus 1 of 2nd embodiment, it will become possible to show the effect described below.
(1) The feature
For this reason, the fitting straight line CL detected according to the point sequence group formed by the plurality of feature points CP existing in the narrow area along the vehicle longitudinal direction of the host vehicle MV, and the vehicle width direction of the host vehicle MV It is possible to set a straight line in which the inclination angle is substantially vertical as the target traveling direction TD.
その結果、駐車車両が少ない場合であっても、現在の位置から駐車初期位置SPまで自車両MVを誘導するための進行方向を設定することが可能となる。これにより、現在の位置から目標駐車位置SPへの自車両MVの誘導を、適切に行うことが可能となる。
また、上述した従来技術では、障害物と自車両MVとの距離を表す点列データに基づいて、全点列、または、所定長さ以上の点列に対して、直線近似、または、曲線近似を行う。このため、従来技術では、検出範囲外の点群が検出された場合に、全点列、または、所定長さ以上の点列に対して近似した線の位置が、実際の障害物の位置と乖離し、実際に自車両MVを誘導する方向と目標進行方向TDとの誤差が大きくなる可能性があった。
これに対し、第二実施形態では、特徴点抽出部40が特徴点抽出範囲ECP2内に存在する複数の特徴点CPを抽出し、適合直線検出部50が、特徴点抽出部40が抽出した複数の特徴点CPで形成する点列群に適合する適合直線CLを検出する。このため、実際に自車両MVを誘導する方向と目標進行方向TDとの誤差を、減少させることが可能となる。
As a result, even when the number of parked vehicles is small, it is possible to set the traveling direction for guiding the host vehicle MV from the current position to the parking initial position SP. Accordingly, it is possible to appropriately guide the host vehicle MV from the current position to the target parking position SP.
Further, in the above-described conventional technology, linear approximation or curve approximation is performed for all point sequences or point sequences longer than a predetermined length based on the point sequence data representing the distance between the obstacle and the host vehicle MV. I do. For this reason, in the prior art, when a point group outside the detection range is detected, the position of the line approximated to all point sequences or point sequences of a predetermined length or more is the actual obstacle position. There is a possibility that the difference between the direction in which the host vehicle MV is actually guided and the target traveling direction TD increases.
On the other hand, in the second embodiment, the feature
(第三実施形態)
以下、本発明の第三実施形態について、図面を参照しつつ説明する。
(駐車支援装置の構成)
図1から図7を参照しつつ、図8及び9を用いて、駐車支援装置1の構成について説明する。なお、上述した第一実施形態と同様の構成については、その説明を省略する場合がある。
第三実施形態の駐車支援装置1の構成は、適合直線検出部50の構成を除き、上述した第一実施形態と同様である。したがって、以降の説明では、適合直線検出部50以外の構成について、その説明を省略する場合がある。
適合直線検出部50は、データ抽出部52と、数式モデル演算部54と、適合度合演算部56を備える。
データ抽出部52は、特徴点抽出部40が抽出した特徴点CPのデータである特徴点データの中から、数式モデルとの適合に必要な最小限の数の特徴点データを、予め設定した時間間隔(例えば、50[msec])で抽出する。
(Third embodiment)
Hereinafter, a third embodiment of the present invention will be described with reference to the drawings.
(Configuration of parking assistance device)
The configuration of the parking assistance device 1 will be described with reference to FIGS. 1 to 7 and FIGS. 8 and 9. In addition, the description about the structure similar to 1st embodiment mentioned above may be abbreviate | omitted.
The configuration of the parking assistance device 1 of the third embodiment is the same as that of the first embodiment described above except for the configuration of the conforming straight
The fitting
The
数式モデル演算部54は、データ抽出部52が抽出した最小限の数の特徴点データに基づいて、数式モデルを演算する。
適合度合演算部56は、データ抽出部52が抽出した最小限の数の特徴点データから、数式モデル演算部54が演算した数式モデルに適合する特徴点データの数を算出する。
これに加え、適合度合演算部56は、特徴点抽出部40が抽出した全ての特徴点データを、数式モデル演算部54が演算した数式モデルと順に適合させる。そして、数式モデル演算部54が演算した数式モデルに適合する特徴点データの数が予め設定した適合閾値以上の数式モデルを、適合直線CLとして検出する。なお、適合閾値は、駐車支援ECU10の性能等に応じて設定する。
The mathematical
The degree-of-
In addition to this, the degree-of-
すなわち、第三実施形態の適合直線検出部50は、図9中に表す処理を行い、適合直線CLを検出する。なお、図9中には、適合直線検出部50と目標進行方向設定部60が行う処理を表す。
図9中に表すように、適合直線検出部50と目標進行方向設定部60が行う処理を開始(START)すると、まず、ステップS200の処理を行う。
ステップS200では、データ抽出部52により、特徴点抽出部40が抽出した特徴点CPのデータである特徴点データの中から、ランダムでn個の特徴点データを抽出(図中に表す「ランダムでn個のデータを抽出」)する。なお、「n個」とは、数式モデルとの適合に必要な最小限の数である。ステップS200において、ランダムでn個の特徴点データを抽出すると、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS202へ移行する。
That is, the conforming straight
As shown in FIG. 9, when the process performed by the matching straight
In step S200, the
ステップS202では、数式モデル演算部54により数式モデルを演算し、さらに、適合度合演算部56により、数式モデルと特徴点データとの適合度合いを演算(図中に表す「数式モデルと適合度を演算」)する。ステップS202において、数式モデルと適合度合いを演算すると、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS204へ移行する。
ステップS204では、適合度合演算部56により、予め設定した範囲(インライア範囲)内の特徴点データのみを用いて、ステップS202で演算した数式モデルのパラメータが、どれくらい正しいかを表すスコア(適合度スコア)を演算する。すなわち、ステップS204では、数式モデルのパラメータ(モデルパラメータ)の適合度スコアを演算(図中に表す「モデルパラメータの適合度スコアを演算」)する。ステップS204において、モデルパラメータの適合度スコアを演算すると、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS206へ移行する。
In step S202, the mathematical model is calculated by the mathematical
In step S204, a score indicating the correctness of the parameters of the mathematical formula model calculated in step S202 by using only the feature point data within a preset range (inlier range) by the fitness degree calculation unit 56 (fitness score) ) Is calculated. That is, in step S204, the fitness score of the parameter (model parameter) of the mathematical model is calculated (“calculate the fitness score of the model parameter” shown in the figure). In step S204, when the fitness score of the model parameter is calculated, the processing performed by the matching
ステップS206では、ステップS204で演算した適合度スコアが、予め設定した適合閾値以上であるか(許容範囲内であるか)否かを判定する処理(図中に表す「スコアが許容範囲内」)を行う。
ステップS206において、適合度スコアが許容範囲内である(図中に表す「Yes」)と判定した場合、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS208へ移行する。
一方、ステップS206において、適合度スコアが許容範囲外である(図中に表す「No」)と判定した場合、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS200へ移行する。
In step S206, it is determined whether or not the fitness score calculated in step S204 is equal to or greater than a preset fitness threshold (within an allowable range) ("score is within allowable range" shown in the figure). I do.
If it is determined in step S206 that the fitness score is within the allowable range (“Yes” shown in the figure), the processing performed by the fitness
On the other hand, if it is determined in step S206 that the fitness score is out of the allowable range ("No" shown in the figure), the process performed by the matching
ステップS208では、適合度合演算部56により、ステップS200で抽出した特徴点データを用いて、適合直線CLと、自車両MVの車両前後方向、または、自車両MVの車幅方向との傾斜角度を演算(図中に表す「傾斜角度を演算」)する。ステップS208において、適合直線CLと、自車両MVの車両前後方向、または、自車両MVの車幅方向との傾斜角度を演算すると、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS210へ移行する。
ステップS210では、ステップS208で演算した傾斜角度が、予め設定した角度閾値以内であるか否かを判定する処理(図中に表す「傾斜角度が角度閾値以内」)を行う。
In step S208, the matching
In step S210, a process of determining whether or not the tilt angle calculated in step S208 is within a preset angle threshold ("tilt angle is within angle threshold" shown in the figure) is performed.
なお、ステップS208で、適合直線CLと自車両MVの車両前後方向との傾斜角度を演算した場合、ステップS210では、角度閾値を、「適合直線CLと平面視で平行な角度」を基準として、例えば、+5[°]〜−5[°]の範囲に設定する。また、ステップS208で、適合直線CLと自車両MVの車幅方向との傾斜角度を演算した場合、ステップS210では、角度閾値を、「適合直線CLと平面視で垂直な角度」を基準として、例えば、+5[°]〜−5[°]の範囲に設定する。
ステップS210において、ステップS208で演算した傾斜角度が角度閾値以内である(図中に表す「Yes」)と判定した場合、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS212へ移行する。
In addition, when the inclination angle between the conforming straight line CL and the vehicle front-rear direction of the host vehicle MV is calculated in step S208, in step S210, the angle threshold is set based on “an angle parallel to the conforming straight line CL in plan view”. For example, it is set in the range of +5 [°] to −5 [°]. Further, when the inclination angle between the matching straight line CL and the vehicle width direction of the host vehicle MV is calculated in step S208, in step S210, the angle threshold is set based on “an angle perpendicular to the matching straight line CL in plan view”. For example, it is set in the range of +5 [°] to −5 [°].
If it is determined in step S210 that the inclination angle calculated in step S208 is within the angle threshold (“Yes” shown in the figure), the process performed by the matching
一方、ステップS210において、ステップS208で演算した傾斜角度が角度閾値以内ではない(図中に表す「No」)と判定した場合、適合直線検出部50と目標進行方向設定部60が行う処理は、ステップS200へ移行する。
ステップS212では、目標進行方向設定部60により、ステップS208で演算した傾斜角度を用いて、前回の処理で設定した目標進行方向TDを更新(図中に表す「目標進行方向を更新」)する。ステップS212において、目標進行方向TDを更新すると、適合直線検出部50と目標進行方向設定部60が行う処理を終了(END)する。
上述したステップS200からステップS212の処理は、駐車車両PVの車列群の並びを検出する直線の傾きの精度を高めるために、評価関数が閾値以下になるまで繰り返す。すなわち、第三実施形態では、公知のRANSAC(RANdom SAmple Consensus)法を用いて、適合直線CLの検出と、目標進行方向TDの設定を行う。
On the other hand, if it is determined in step S210 that the inclination angle calculated in step S208 is not within the angle threshold ("No" shown in the figure), the process performed by the matching
In step S212, the target travel
The above-described processing from step S200 to step S212 is repeated until the evaluation function becomes equal to or less than the threshold value in order to increase the accuracy of the inclination of the straight line for detecting the arrangement of the vehicle train group of the parked vehicle PV. That is, in the third embodiment, the matching straight line CL is detected and the target traveling direction TD is set using a known RANSAC (RANdom Sampl Consensus) method.
(車両の構成)
駐車支援装置1を備える自車両MVの構成は、上述した第一実施形態と同様であるため、その説明を省略する。
(動作)
第三実施形態の駐車支援装置1を用いて行なう動作は、上述した第一実施形態と同様であるため、その説明を省略する。
なお、上述した第三実施形態は、本発明の一例であり、本発明は、上述した第三実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
(Vehicle configuration)
Since the structure of the own vehicle MV provided with the parking assistance apparatus 1 is the same as that of 1st embodiment mentioned above, the description is abbreviate | omitted.
(Operation)
Since the operation | movement performed using the parking assistance apparatus 1 of 3rd embodiment is the same as that of 1st embodiment mentioned above, the description is abbreviate | omitted.
The above-described third embodiment is an example of the present invention, and the present invention is not limited to the above-described third embodiment, and the present invention is not limited to the above-described third embodiment. Various modifications can be made according to the design or the like as long as they do not depart from the technical idea.
(第三実施形態の効果)
第三実施形態の駐車支援装置1であれば、以下に記載する効果を奏することが可能となる。
(1)適合度合演算部56が、データ抽出部52が抽出した最小限の数の特徴点データから、数式モデル演算部54が演算した数式モデルに適合する特徴点データの数を算出する。これに加え、適合度合演算部56は、特徴点抽出部40が抽出した全ての特徴点データを、数式モデル演算部54が演算した数式モデルと順に適合させる。そして、数式モデル演算部54が演算した数式モデルに適合する特徴点データの数が、適合閾値以上の数式モデルを、適合直線CLとして検出する。
(Effect of the third embodiment)
If it is the parking assistance apparatus 1 of 3rd embodiment, it will become possible to show the effect described below.
(1) The degree-of-
このため、最初二乗法を用いて適合直線CLを検出する構成と比較して、適合直線CLの検出精度を向上させることが可能となる。
その結果、自車両MVの周辺に存在する障害物に設定した特徴点CPに応じて、現在の位置から駐車初期位置SPまで自車両MVを誘導するための進行方向を設定することが可能となる。これにより、現在の位置から目標駐車位置SPへの自車両MVの誘導を、適切に行うことが可能となる。
For this reason, it becomes possible to improve the detection accuracy of the conforming straight line CL as compared with the configuration in which the conforming straight line CL is detected using the first square method.
As a result, the traveling direction for guiding the host vehicle MV from the current position to the parking initial position SP can be set according to the feature point CP set for the obstacle existing around the host vehicle MV. . Accordingly, it is possible to appropriately guide the host vehicle MV from the current position to the target parking position SP.
1…駐車支援装置、2F…前方距離センサ、2R…右側方距離センサ、2L…左側方距離センサ、4…移動距離センサ、6…操舵角センサ、8…車輪速センサ、10…駐車支援ECU、12…HMI装置、14…操舵機構、16…駆動力コントローラ、18…制動力コントローラ、20…周辺環境検出部、30…駐車初期位置設定部、40…特徴点抽出部、50…適合直線検出部、52…データ抽出部、54…数式モデル演算部、56…適合度合演算部、60…目標進行方向設定部、70…前進経路算出部、80…情報出力制御部、MV…自車両、PV…駐車車両、SW…ステアリングホイール、CB…通信バス、W…車輪(左前輪WFL,右前輪WFR,左後輪WRL,右後輪WRR)、SP…駐車初期位置、TPE…目標駐車枠、SEF…前方検出領域、SER…右側方検出領域、SEL…左側方検出領域、CP…特徴点、ECP…特徴点抽出範囲、CPin…範囲内特徴点、CPout…範囲外特徴点、CL…適合直線、TD…目標進行方向、SCL…目標進行方向補助線
DESCRIPTION OF SYMBOLS 1 ... Parking assistance apparatus, 2F ... Forward distance sensor, 2R ... Right side distance sensor, 2L ... Left side distance sensor, 4 ... Movement distance sensor, 6 ... Steering angle sensor, 8 ... Wheel speed sensor, 10 ... Parking assistance ECU, DESCRIPTION OF
Claims (8)
前記自車両の周辺に存在する障害物を検出する周辺環境検出部と、
前記周辺環境検出部が検出した障害物の特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部が抽出した特徴点に適合する直線を検出する適合直線検出部と、
現在の位置から前記駐車初期位置まで前記自車両を誘導する方向である目標進行方向を、前記適合直線検出部が検出した直線に応じて設定する目標進行方向設定部と、
前記目標進行方向設定部が設定した目標進行方向に沿って前記現在の位置から前記駐車初期位置まで前記自車両を誘導する誘導部と、を備えることを特徴とする駐車支援装置。 An initial parking position setting unit for setting an initial parking position in the vicinity of the target parking frame;
A surrounding environment detection unit for detecting obstacles existing around the vehicle;
A feature point extraction unit for extracting feature points of obstacles detected by the surrounding environment detection unit;
A matching straight line detection unit that detects a straight line matching the feature point extracted by the feature point extraction unit;
A target advancing direction setting unit that sets a target advancing direction that is a direction for guiding the host vehicle from the current position to the initial parking position according to the straight line detected by the conforming straight line detecting unit;
A parking assistance device comprising: a guidance unit that guides the host vehicle from the current position to the parking initial position along a target travel direction set by the target travel direction setting unit.
前記適合直線検出部は、前記特徴点抽出部が抽出した複数の特徴点で形成する点列群に適合する直線を検出し、
前記目標進行方向設定部は、前記適合直線検出部が検出した直線と、前記自車両の車両前後方向と、の傾斜角度が平行を基準として予め設定した範囲内の角度であるときに前記適合直線検出部が検出した直線の方向を、前記目標進行方向として設定することを特徴とする請求項1または請求項2に記載した駐車支援装置。 The feature point extraction unit includes a plurality of feature points of the obstacle detected by the surrounding environment detection unit, and a plurality of distances along a vehicle width direction of the host vehicle are present within a preset distance range. Extract feature points,
The conforming line detection unit detects a line conforming to a point sequence group formed by a plurality of feature points extracted by the feature point extraction unit,
The target travel direction setting unit is configured such that when the inclination angle between the straight line detected by the adaptive straight line detection unit and the vehicle front-rear direction of the host vehicle is an angle within a range set in advance with reference to parallel, the adaptive straight line The parking assistance device according to claim 1 or 2, wherein a direction of a straight line detected by the detection unit is set as the target traveling direction.
前記適合直線検出部は、前記特徴点抽出部が抽出した複数の特徴点で形成する点列群に適合する直線を検出し、
前記目標進行方向設定部は、前記適合直線検出部が検出した直線と、前記自車両の車幅方向と、の傾斜角度が垂直を基準として予め設定した範囲内の角度であるときに前記適合直線検出部が検出した直線の方向を、前記目標進行方向として設定することを特徴とする請求項1または請求項2に記載した駐車支援装置。 The feature point extraction unit includes a plurality of the feature points of the obstacle detected by the surrounding environment detection unit, and a plurality of distances along a vehicle front-rear direction of the host vehicle exist within a preset distance range. Extract feature points,
The conforming line detection unit detects a line conforming to a point sequence group formed by a plurality of feature points extracted by the feature point extraction unit,
When the inclination angle between the straight line detected by the conforming straight line detection unit and the vehicle width direction of the host vehicle is an angle within a preset range with reference to the vertical, the target traveling direction setting unit is the conforming straight line The parking assistance device according to claim 1 or 2, wherein a direction of a straight line detected by the detection unit is set as the target traveling direction.
前記適合度合演算部は、前記特徴点抽出部が抽出した全ての前記特徴点データを順に前記数式モデル演算部が演算した数式モデルと適合させ、前記数式モデル演算部が演算した数式モデルに適合する特徴点データの数が予め設定した適合閾値以上の数式モデルを、前記適合する直線として検出することを特徴とする請求項3または請求項4に記載した駐車支援装置。 The conforming line detection unit is configured to extract a minimum number of feature point data necessary for conformity with the mathematical model from feature point data that is feature point data extracted by the feature point extraction unit at a preset time interval. A data extraction unit to extract, a mathematical model calculation unit to calculate the mathematical model based on the minimum number of feature point data extracted by the data extraction unit, and the minimum number extracted by the data extraction unit A degree-of-fit calculation unit that calculates the number of feature point data that matches the mathematical model calculated by the mathematical model calculation unit from the feature point data of
The degree-of-fit calculation unit matches all the feature point data extracted by the feature point extraction unit with the formula model calculated by the formula model calculation unit in order, and matches the formula model calculated by the formula model calculation unit. The parking assistance device according to claim 3 or 4, wherein a mathematical model in which the number of feature point data is greater than or equal to a preset matching threshold value is detected as the matching straight line.
前記自車両の周辺に存在する障害物を検出し、
前記検出した障害物の特徴点を抽出し、
前記抽出した特徴点に適合する直線を検出し、
現在の位置から前記駐車初期位置まで前記自車両を誘導する方向である目標進行方向を、前記検出した直線に応じて設定し、
前記設定した目標進行方向に沿って前記現在の位置から前記駐車初期位置まで前記自車両を誘導することを特徴とする駐車支援方法。 Set the parking initial position near the target parking frame,
Detect obstacles around the vehicle,
Extracting feature points of the detected obstacle,
Detecting a straight line that matches the extracted feature points;
A target traveling direction, which is a direction for guiding the host vehicle from the current position to the initial parking position, is set according to the detected straight line,
A parking assistance method, wherein the host vehicle is guided from the current position to the parking initial position along the set target traveling direction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139750A JP6512004B2 (en) | 2015-07-13 | 2015-07-13 | Parking support device and parking support method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015139750A JP6512004B2 (en) | 2015-07-13 | 2015-07-13 | Parking support device and parking support method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017019435A true JP2017019435A (en) | 2017-01-26 |
| JP6512004B2 JP6512004B2 (en) | 2019-05-15 |
Family
ID=57888819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015139750A Active JP6512004B2 (en) | 2015-07-13 | 2015-07-13 | Parking support device and parking support method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6512004B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018207782A1 (en) * | 2017-05-09 | 2018-11-15 | 株式会社デンソー | Parking space detection device |
| WO2019065180A1 (en) * | 2017-09-29 | 2019-04-04 | クラリオン株式会社 | Parking assistant device |
| JP2020123343A (en) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョン | Learning method and learning device for detecting parking spaces by using relationship between decision points and regression results for decision points inorder to provide automatic parking system, and testing method and testing device using the same |
| JP2021062750A (en) * | 2019-10-15 | 2021-04-22 | アイシン精機株式会社 | Parking support apparatus, parking support method, and parking support program |
| US11230320B2 (en) | 2017-03-21 | 2022-01-25 | Denso Corporation | Driving assistance device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006234494A (en) * | 2005-02-23 | 2006-09-07 | Aisin Seiki Co Ltd | Object recognition device |
| JP2008143430A (en) * | 2006-12-12 | 2008-06-26 | Toyota Motor Corp | Parking assistance device |
| JP2008195357A (en) * | 2007-02-15 | 2008-08-28 | Toyota Motor Corp | Parking assistance device and parking assistance method |
| JP2009151378A (en) * | 2007-12-18 | 2009-07-09 | Honda Motor Co Ltd | Vehicle parking availability determination device |
| JP2010018180A (en) * | 2008-07-11 | 2010-01-28 | Nissan Motor Co Ltd | Parking support device and parking support method |
| US20130021171A1 (en) * | 2011-07-22 | 2013-01-24 | Automotive Research & Test Center | Parking space detection device and method thereof |
-
2015
- 2015-07-13 JP JP2015139750A patent/JP6512004B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006234494A (en) * | 2005-02-23 | 2006-09-07 | Aisin Seiki Co Ltd | Object recognition device |
| JP2008143430A (en) * | 2006-12-12 | 2008-06-26 | Toyota Motor Corp | Parking assistance device |
| JP2008195357A (en) * | 2007-02-15 | 2008-08-28 | Toyota Motor Corp | Parking assistance device and parking assistance method |
| JP2009151378A (en) * | 2007-12-18 | 2009-07-09 | Honda Motor Co Ltd | Vehicle parking availability determination device |
| JP2010018180A (en) * | 2008-07-11 | 2010-01-28 | Nissan Motor Co Ltd | Parking support device and parking support method |
| US20130021171A1 (en) * | 2011-07-22 | 2013-01-24 | Automotive Research & Test Center | Parking space detection device and method thereof |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11230320B2 (en) | 2017-03-21 | 2022-01-25 | Denso Corporation | Driving assistance device |
| WO2018207782A1 (en) * | 2017-05-09 | 2018-11-15 | 株式会社デンソー | Parking space detection device |
| JP2018190220A (en) * | 2017-05-09 | 2018-11-29 | 株式会社デンソー | Parking space detection device |
| WO2019065180A1 (en) * | 2017-09-29 | 2019-04-04 | クラリオン株式会社 | Parking assistant device |
| US11366475B2 (en) | 2017-09-29 | 2022-06-21 | Clarion Co., Ltd. | Parking support apparatus |
| JP2020123343A (en) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョン | Learning method and learning device for detecting parking spaces by using relationship between decision points and regression results for decision points inorder to provide automatic parking system, and testing method and testing device using the same |
| JP2021062750A (en) * | 2019-10-15 | 2021-04-22 | アイシン精機株式会社 | Parking support apparatus, parking support method, and parking support program |
| JP7415422B2 (en) | 2019-10-15 | 2024-01-17 | 株式会社アイシン | parking assist device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6512004B2 (en) | 2019-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5975172B2 (en) | Parking assistance device | |
| JP5083079B2 (en) | Parking assistance device and parking assistance method | |
| EP3312057B1 (en) | Parking assistance device and parking assistance method | |
| JP5449574B2 (en) | Driver support method for detecting side objects | |
| EP1840859B1 (en) | Traffic lane deviation preventing system for a vehicle | |
| US11052907B2 (en) | Parking control device and parking control method | |
| CN102427989B (en) | For equipment and the method for supported ground parked vehicle | |
| JP5978709B2 (en) | Parking assistance device | |
| US9604637B2 (en) | Vehicle acceleration suppression device and vehicle acceleration suppression method | |
| JP2015194946A (en) | Lane deviation prevention control device for vehicle | |
| JP6512004B2 (en) | Parking support device and parking support method | |
| KR20080109876A (en) | Parking Assistance and Parking Assistance | |
| JP2017526064A (en) | Method for driving a vehicle at least semi-autonomously, driver assistance system and vehicle | |
| JP2008143430A (en) | Parking assistance device | |
| KR20090101492A (en) | Parking assistance device and parking assistance method | |
| US10780920B2 (en) | Deviation avoidance apparatus | |
| KR20170000569A (en) | Method for detecting collision of vehicle | |
| JP2018034541A (en) | Parking support method and parking support apparatus | |
| JP2009252032A (en) | Vehicular collision avoidance support apparatus | |
| JP6455380B2 (en) | Vehicle driving support device and driving support method | |
| JP2014100957A (en) | Parking support device and control device | |
| JP4086060B2 (en) | Point sequence approximation method and point sequence approximation apparatus | |
| JP4645542B2 (en) | Parking space detection device | |
| JP5799688B2 (en) | Steering support apparatus and steering support method for vehicle | |
| KR20130113092A (en) | Smart parking assist system of vehicle and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190325 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6512004 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |