[go: up one dir, main page]

JP5001911B2 - Stop duty point learning device, stop duty point learning program, and navigation device using the same - Google Patents

Stop duty point learning device, stop duty point learning program, and navigation device using the same Download PDF

Info

Publication number
JP5001911B2
JP5001911B2 JP2008171695A JP2008171695A JP5001911B2 JP 5001911 B2 JP5001911 B2 JP 5001911B2 JP 2008171695 A JP2008171695 A JP 2008171695A JP 2008171695 A JP2008171695 A JP 2008171695A JP 5001911 B2 JP5001911 B2 JP 5001911B2
Authority
JP
Japan
Prior art keywords
stop
image recognition
stop duty
range
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008171695A
Other languages
Japanese (ja)
Other versions
JP2010008390A (en
Inventor
正樹 中村
基揮 勘場
真樹 吉田
陽介 和田
経明 伊藤
潔 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Denso Corp
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Denso Corp, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2008171695A priority Critical patent/JP5001911B2/en
Publication of JP2010008390A publication Critical patent/JP2010008390A/en
Application granted granted Critical
Publication of JP5001911B2 publication Critical patent/JP5001911B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、一時停止義務があることを表す停止義務情報を生成して、当該停止義務情報を一時停止義務がある交差点に関連付けて記憶する停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置に関する。   The present invention relates to a stop duty point learning device, a stop duty point learning program that generates stop duty information indicating that there is a temporary stop duty, and stores the stop duty information in association with an intersection with a temporary stop duty, and a stop duty point learning program The present invention relates to a navigation device using the.

近年、車両の運転者に対して走行中の道路に関する情報を提供したり、そのような情報に基づいて車両の動作制御への補助或いは介入を行なったりして、車両の運転を支援する各種の技術が提案されている。例えば、車両が走行中の道路の前方に一時停止義務のある交差点がある場合に、それを認識して車両の運転者にその旨を通知したり、交差点手前でエンジンの回転数やブレーキ動作等を制御することにより安全かつ確実に一時停止を実行させたりすることができる運転支援装置が知られている(例えば、以下の特許文献1を参照)。   In recent years, various types of information have been provided to assist the driving of a vehicle by providing information on the road on which the vehicle is being driven or assisting or intervening in the operation control of the vehicle based on such information. Technology has been proposed. For example, when there is an intersection that is obligated to pause in front of the road on which the vehicle is traveling, it is recognized and notified to the driver of the vehicle, or the engine speed, braking operation, etc. before the intersection There is known a driving support device that can safely and surely execute a temporary stop by controlling (see, for example, Patent Document 1 below).

この運転支援装置は、自車位置周辺の画像情報に含まれる一時停止標識の画像認識を行なう画像認識手段と、一時停止標識の画像認識結果に基づいて停止義務情報を自車位置情報と対応付けて記憶する記憶手段とを備える。そして、画像認識手段が一時停止標識の画像認識に成功した場合において、それに対応する情報が記憶手段に存在しない場合、新たな停止義務情報を追加して情報を更新する。そして、運転支援装置は、記憶手段の更新後の記憶内容に基づいて運転支援を行なう。   The driving support device associates stop obligation information with own vehicle position information based on image recognition means for recognizing a stop sign included in image information around the own vehicle position and the image recognition result of the stop sign. And storing means for storing. When the image recognition unit succeeds in recognizing the stop sign image and there is no corresponding information in the storage unit, new stop duty information is added to update the information. And a driving assistance device performs driving assistance based on the storage contents after updating of a storage means.

特開2006−275690号公報JP 2006-275690 A

特許文献1に記載された運転支援装置では、一時停止標識の画像認識結果に基づく停止義務情報を自車位置情報と対応付けて記憶することにより、一時停止義務のある交差点を学習していく。ここで、自車位置情報は、GPS受信機を介してGPS衛星から受信される信号を解析することにより取得することができる。このようにして取得される自車位置情報は、一般に、数メートルから数十メートルの誤差を有している。そのため、一時停止義務のある交差点に対応する一時停止標識の画像認識処理を行う範囲に関しては、自車位置情報が有する誤差の大きさを考慮して設定する必要がある。具体的には、例えば一時停止標識の位置を基準として一定の距離分だけの前後幅を持たせて画像認識範囲を設定する必要がある。   In the driving support device described in Patent Literature 1, the stop duty information based on the image recognition result of the stop sign is stored in association with the own vehicle position information, thereby learning the intersection with the temporary stop duty. Here, the vehicle position information can be obtained by analyzing a signal received from a GPS satellite via a GPS receiver. The vehicle position information acquired in this way generally has an error of several meters to several tens of meters. Therefore, it is necessary to set the range for performing the image recognition processing of the stop sign corresponding to the intersection having the obligation to stop temporarily in consideration of the magnitude of the error included in the vehicle position information. Specifically, for example, it is necessary to set the image recognition range with a front-rear width of a certain distance with reference to the position of the stop sign.

しかしながら、このようにして画像認識範囲を設定する場合、複数の交差点どうしが互いに近接している場合には、それぞれの交差点に対応する一時停止標識の画像認識処理を行う画像認識範囲が相互に一部重複してしまう。このような状況が生じてしまう場合の例を図11に示した。図11の例においては、交差点U1と交差点U2とが比較的近接しており、交差点U1に対応する一時停止標識の画像認識範囲X1と交差点U2に対応する一時停止標識の画像認識範囲X2とが、範囲Yにおいて一部重複している。本来的には、画像認識範囲X1で一時停止標識の画像認識に成功した場合には交差点U1に一時停止義務があると判定され、同様に、画像認識範囲X2で一時停止標識の画像認識に成功した場合には交差点U2に一時停止義務があると判定されるはずである。しかし、範囲Yにおいて一時停止標識の画像認識に成功した場合には、交差点U1及び交差点U2のどちらに対応させて停止義務情報を記憶すれば良いかを一意に決定することができない。   However, when setting the image recognition range in this way, when a plurality of intersections are close to each other, the image recognition ranges for performing the image recognition processing of the stop sign corresponding to each intersection are mutually exclusive. It will be duplicated. An example in which such a situation occurs is shown in FIG. In the example of FIG. 11, the intersection U1 and the intersection U2 are relatively close to each other, and the image recognition range X1 of the stop sign corresponding to the intersection U1 and the image recognition range X2 of the stop sign corresponding to the intersection U2 , Partly overlaps in the range Y. Originally, when the image recognition of the stop sign is successful in the image recognition range X1, it is determined that the intersection U1 has the obligation to stop, and similarly, the image recognition of the stop sign succeeds in the image recognition range X2. In such a case, it should be determined that the intersection U2 is obliged to pause. However, if the image recognition of the stop sign is successful in the range Y, it is not possible to uniquely determine which stop duty information should be stored corresponding to the intersection U1 or the intersection U2.

そのため、複数の画像認識範囲が相互に重複する範囲で一時停止標識の画像認識に成功した場合には、少なくとも停止義務のある交差点が存在することが分かっていながらも、対応付ける交差点が確定できないために学習効率が低下してしまうという問題があった。一方、重複範囲を二分割して二つの交差点に割り振る等の所定の法則に従い、いずれかの交差点に対応させて停止義務情報を記憶させる場合には、現実とは異なる交差点に対応させて記憶してしまう場合があり、現実の状況に合致した運転支援を行うことができない場合があるという問題があった。   Therefore, when image recognition of a stop sign is successful in a range where multiple image recognition ranges overlap each other, it is known that there is at least an intersection with a stop obligation, but the corresponding intersection cannot be determined. There was a problem that the learning efficiency was reduced. On the other hand, according to a predetermined rule such as dividing the overlapping range into two and allocating to two intersections, when storing the stop obligation information corresponding to any intersection, store it corresponding to the intersection different from the actual In some cases, driving assistance that matches the actual situation may not be possible.

本発明は、上記の課題に鑑みてなされたものであり、学習効率の低下を最小限に抑えつつ、停止義務情報を関連付ける交差点を適切に決定することのできる停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置を提供することを目的とする。   The present invention has been made in view of the above problems, and a stop duty point learning device and a stop duty point that can appropriately determine an intersection that associates stop duty information while minimizing a decrease in learning efficiency. It is an object to provide a learning program and a navigation device using the learning program.

この目的を達成するための、本発明に係る一時停止義務があることを表す停止義務情報を生成して、当該停止義務情報を一時停止義務がある交差点に関連付けて記憶する停止義務地点学習装置の特徴構成は、一時停止義務があることを表す停止義務指標の画像認識を行う画像認識範囲を、各交差点を基準として設定する認識範囲設定手段と、自車位置周辺の画像情報に含まれる、前記停止義務指標の画像認識を行なう画像認識手段と、前記停止義務指標の画像認識結果に基づいて前記停止義務情報を生成する停止義務情報生成手段と、前記画像認識範囲がN(Nは2以上の自然数)個に亘って順次重複している場合に、当該N個の前記画像認識範囲を連続する一つの範囲である和範囲とし、当該和範囲に含まれる、画像認識に成功した前記停止義務指標の個数に基づいて、前記停止義務情報を関連付ける交差点を決定する停止義務地点決定手段と、を備える点にある。   In order to achieve this object, a stop duty information learning device that generates stop duty information indicating that there is a temporary stop duty according to the present invention and stores the stop duty information in association with an intersection with a temporary stop duty is stored. The feature configuration is included in recognition range setting means for setting an image recognition range for performing image recognition of a stop duty index indicating that there is a duty to stop temporarily, based on each intersection, and image information around the vehicle position, Image recognition means for performing image recognition of the stop duty index, stop duty information generation means for generating the stop duty information based on the image recognition result of the stop duty index, and the image recognition range is N (N is 2 or more) Natural number), the N image recognition ranges are defined as a sum range that is one continuous range, and the stop that has been successfully recognized in the image is included in the sum range. Based on the number of compulsory indicators, in that and a stop duty point determining means for determining the intersection associating said stop duty information.

上記の特徴構成によれば、自車位置周辺の画像情報に含まれる、一時停止義務があることを表す停止義務指標の画像認識結果に基づいて停止義務情報を生成して記憶することで、一時停止義務がある交差点に係る情報を収集することができる。このとき、停止義務地点決定手段により、各交差点を基準として設定される複数の画像認識範囲の和範囲に含まれる、画像認識に成功した停止義務指標の個数に基づいて一時停止義務があることを表す停止義務情報を関連付ける交差点が決定される。この場合、複数の画像認識範囲が相互に重複する範囲で停止義務指標の画像認識に成功した場合であっても、和範囲内において画像認識に成功した停止義務指標の個数次第では停止義務情報を関連付ける交差点を確定させることができる。したがって、学習効率の低下を最小限に抑えつつ、停止義務情報を関連付ける交差点を適切に決定することのできる停止義務地点学習装置を提供することができる。   According to the above characteristic configuration, by generating and storing the stop duty information based on the image recognition result of the stop duty index indicating that there is a stop duty included in the image information around the vehicle position, Information on intersections that are obliged to stop can be collected. At this time, it is determined that there is a suspension obligation based on the number of suspension obligation indicators that have been successfully recognized by the stop duty point determination means included in the sum range of a plurality of image recognition ranges set with reference to each intersection. An intersection is determined that associates the stop obligation information that it represents. In this case, even if image recognition of the stop obligation index succeeds in a range where a plurality of image recognition ranges overlap with each other, the stop obligation information may be changed depending on the number of stop obligation indexes that succeeded in image recognition within the sum range. The associated intersection can be established. Therefore, it is possible to provide a stop duty point learning device that can appropriately determine an intersection associated with stop duty information while minimizing a decrease in learning efficiency.

ここで、前記停止義務地点決定手段は、前記和範囲においてN個の前記停止義務指標の画像認識に成功した場合には、前記和範囲を構成するそれぞれの画像認識範囲に対応する交差点に前記停止義務情報を関連付けるように決定する構成とすると好適である。   Here, when the stop obligation point determination means has succeeded in image recognition of the N stop obligation indicators in the sum range, the stop duty point determination means determines the stop at the intersection corresponding to each image recognition range constituting the sum range. It is preferable that the configuration is such that the duty information is determined to be associated.

この構成によれば、停止義務地点決定手段は、順次重複する画像認識範囲の個数と画像認識に成功した停止義務指標の個数とが一致する場合には、停止義務指標の画像認識に成功した位置によらずに、それぞれの画像認識範囲に対応する交差点に停止義務情報を関連付けるように決定することができる。よって、いずれかの停止義務指標の画像認識に、複数の画像認識範囲の重複範囲において成功した場合であっても、確実にすべての交差点に停止義務情報を関連付けることができる。   According to this configuration, when the number of image recognition ranges that overlap sequentially and the number of stop duty indicators that succeeded in image recognition coincide with each other, the stop duty point determination unit determines the position at which image recognition of the stop duty indicator succeeded. Regardless of this, it is possible to determine to associate the stop duty information with the intersection corresponding to each image recognition range. Therefore, even if the image recognition of any stop duty index is successful in the overlapping range of the plurality of image recognition ranges, the stop duty information can be reliably associated with all the intersections.

また、前記停止義務地点決定手段は、前記和範囲において1個以上N個未満の前記停止義務指標の画像認識に成功した場合に、さらに、隣接する画像認識範囲とは重複しない画像認識範囲である非重複範囲において前記停止義務指標の画像認識に成功した場合には、当該非重複範囲に対応する交差点に前記停止義務情報を関連付けるように決定し、互いに隣接する画像認識範囲どうしが重複する範囲である重複範囲において前記停止義務指標の画像認識に成功した場合には、当該重複範囲を含む複数の前記画像認識範囲に対応する交差点には前記停止義務情報を関連付けないと決定する構成とすると好適である。   Moreover, the said stop duty point determination means is an image recognition range which does not overlap with an adjacent image recognition range when the image recognition of the said stop duty index of 1 or more and less than N is successful in the said sum range. When the image recognition of the stop duty index is successful in the non-overlapping range, it is determined to associate the stop duty information with the intersection corresponding to the non-overlapping range, and the image recognition ranges adjacent to each other are overlapped with each other. When image recognition of the stop duty index is successful in a certain overlapping range, it is preferable to determine that the stop duty information is not associated with intersections corresponding to the plurality of image recognition ranges including the overlapping range. is there.

この構成によれば、停止義務地点決定手段は、和範囲において少なくとも1個の停止義務指標の画像認識に成功した場合であって、かつ順次重複する画像認識範囲の個数と画像認識に成功した停止義務指標の個数とが一致しない場合には、停止義務指標の画像認識に成功した位置に応じて、停止義務情報を関連付ける交差点を適切に決定することができる。つまり、停止義務指標の画像認識に成功した位置が、誤学習のおそれがない非重複範囲である場合にのみ停止義務情報を関連付ける交差点を決定し、停止義務指標の画像認識に成功した位置が、誤学習のおそれがある重複範囲である場合には当該重複範囲を含む複数の画像認識範囲に対応する交差点には停止義務情報を関連付けないと決定することにより、誤学習を抑制しつつ、停止義務指標の画像認識に成功した位置次第では停止義務情報を関連付ける交差点を確定させることができる。   According to this configuration, the stop duty point determination means is the case where the image recognition of at least one stop duty index is successful in the sum range, and the number of the overlapping image recognition ranges and the stop that succeeds in the image recognition. When the number of duty indicators does not match, the intersection with which the stop duty information is associated can be appropriately determined according to the position where the image recognition of the stop duty indicator is successful. In other words, the position that succeeded in the image recognition of the stop duty index is determined by determining the intersection that associates the stop duty information only when the position that succeeded in the image recognition of the stop duty index is a non-overlapping range where there is no possibility of erroneous learning. If it is an overlapping range that is likely to be mislearned, it is determined that the stop obligation information should not be associated with intersections corresponding to a plurality of image recognition ranges including the overlapping range, thereby suppressing mislearning and Depending on the position where image recognition of the index is successful, an intersection that associates stop obligation information can be determined.

また、前記停止義務地点決定手段は、前記和範囲において前記停止義務指標の画像認識に成功しなかった場合には、前記和範囲を構成するそれぞれの画像認識範囲に対応する交差点には前記停止義務情報を関連付けないと決定する構成とすると好適である。   Further, if the stop duty point determining means does not succeed in image recognition of the stop duty index in the sum range, the stop duty point is determined at the intersection corresponding to each image recognition range constituting the sum range. A configuration in which it is determined that information is not associated is preferable.

この構成によれば、画像情報の中から停止義務指標の画像認識に成功しなかった場合には、和範囲を構成するそれぞれの画像認識範囲に対応する交差点には一時停止義務がないことを適切に決定することができる。   According to this configuration, when the image recognition of the stop obligation index is not successful from the image information, it is appropriate that the intersection corresponding to each image recognition range that constitutes the sum range has no pause obligation. Can be determined.

また、前記和範囲に含まれる前記画像認識範囲の個数を表す重複範囲数を取得する重複範囲数取得手段と、前記和範囲において画像認識に成功した前記停止義務指標の個数を表す停止義務地点数を計測する停止義務地点数計測手段と、を備え、前記停止義務地点決定手段は、前記重複範囲数及び前記停止義務地点数に基づいて、前記停止義務情報を関連付ける交差点を決定する構成とすると好適である。   The overlapping range number acquisition means for acquiring the number of overlapping ranges indicating the number of the image recognition ranges included in the sum range, and the number of stop obligation points indicating the number of the stop obligation indicators that have succeeded in image recognition in the sum range. It is preferable that the stop duty point determination unit is configured to determine an intersection that associates the stop duty information based on the number of overlapping ranges and the number of stop duty points. It is.

この構成によれば、重複範囲数取得手段により取得される重複範囲数と、停止義務地点数計測手段により計測される停止義務地点数とを参照することにより、停止義務地点決定手段による停止義務情報を関連付ける交差点を決定する処理を適切に実行することができる。   According to this configuration, by referring to the number of overlapping ranges acquired by the overlapping range number acquiring means and the number of stop obligation points measured by the stop duty point number measuring means, the stop duty information by the stop duty point determining means It is possible to appropriately execute the process of determining the intersection that associates.

また、交差点に対応するノード及び各交差点を結ぶ道路に対応するリンクにより道路の接続関係を表す道路ネットワーク情報を含む地図情報を記憶した地図情報記憶手段を備え、前記停止義務情報は、前記ノード又は前記リンクの一方端に関連付けて記憶される構成とすると好適である。   Further, the information processing apparatus includes map information storage means for storing map information including road network information representing road connection relations by nodes corresponding to intersections and links corresponding to roads connecting the intersections, and the stop obligation information includes the nodes or It is preferable that the information is stored in association with one end of the link.

この構成によれば、地図情報記憶手段に記憶されるノード又はリンクに関する情報を利用して、停止義務情報を一時停止義務がある交差点に適切に関連付けて記憶することができる。よって、例えば、車両の運転者に対して一時停止を促す注意喚起や、車両制御等の各種の用途に適切に利用させることが可能となる。   According to this configuration, it is possible to store the stop duty information appropriately associated with the intersection having the temporary stop duty by using the information regarding the node or the link stored in the map information storage means. Therefore, for example, it is possible to appropriately use for various uses such as alerting the driver of the vehicle to urge the suspension and vehicle control.

また、前記停止義務指標が、道路の路面に設けられた停止線と、当該停止線に隣接して設けられた「とまれ」の文字列の中の少なくとも一部の文字との組み合せである構成とすると好適である。   Further, the stop obligation index is a combination of a stop line provided on the road surface and at least a part of characters in a character string of “to rare” provided adjacent to the stop line; It is preferable.

一般に、一時停止義務のある交差点の手前には、停止線が設けられるとともにその手前には「とまれ」等の文字列が路面上にペイント表示されている。よって、上記の構成を採用することにより、一時停止義務がある交差点を適切に選別することができる。また、停止線及び「とまれ」の文字列の双方の画像認識に成功した場合にのみ停止義務指標の画像認識に成功したと判定されることになるので、誤認識を抑制することができる。さらに、「とまれ」の文字列については、その中の一部の文字のみの画像認識を行なうように構成することで、画像認識の処理負担を軽減することができる。   In general, a stop line is provided in front of an intersection that is obliged to temporarily stop, and a character string such as “Tare” is painted on the road surface. Therefore, by adopting the above configuration, it is possible to appropriately select an intersection having a suspension obligation. In addition, since it is determined that the image recognition of the stop duty index is successful only when the image recognition of both the stop line and the character string “Tore rare” is successful, it is possible to suppress erroneous recognition. Furthermore, the “to rare” character string is configured to perform image recognition of only some of the characters, thereby reducing the image recognition processing burden.

本発明に係るナビゲーション装置の特徴構成は、これまで説明してきた停止義務地点学習装置と、前記停止義務情報に基づいて、前記一時停止義務がある交差点についての案内を行う案内手段と、を備える点にある。   The characteristic configuration of the navigation device according to the present invention includes the stop duty point learning device that has been described so far, and guidance means that guides the intersection having the suspension obligation based on the stop duty information. It is in.

この特徴構成によれば、ナビゲーション装置は、上記の停止義務地点学習装置を用いて収集された停止義務情報を参照して一時停止義務がある交差点についての案内を行なうので、もともと地図情報記憶手段に格納されていなかった一時停止義務がある交差点についても、停止義務情報を生成して記憶した後は、例えば、車両の運転者に対して停止義務がある旨の案内を行い、一時停止を促す注意喚起を行なうこと等が可能となる。   According to this characteristic configuration, the navigation device refers to the stop duty information collected using the stop duty point learning device described above, and guides the intersection having the temporary stop duty. For intersections that have not been stored and that have a duty to stop, after generating and storing information on the obligation to stop, for example, the driver of the vehicle is informed that there is a duty to stop and is urged to suspend Arousing can be performed.

本発明に係る、一時停止義務があることを表す停止義務情報を生成して、当該停止義務情報を一時停止義務がある交差点に関連付けて記憶する処理をコンピュータに実行させる停止義務地点学習プログラムの特徴構成は、一時停止義務があることを表す停止義務指標の画像認識を行う画像認識範囲を、各交差点を基準として設定する認識範囲設定ステップと、自車位置周辺の画像情報に含まれる、前記停止義務指標の画像認識を行なう画像認識ステップと、前記停止義務指標の画像認識結果に基づいて前記停止義務情報を生成する停止義務情報生成ステップと、前記画像認識範囲がN(Nは2以上の自然数)個に亘って順次重複している場合に、当該連続するN個の前記画像認識範囲を連続する一つの範囲である和範囲とし、当該和範囲に含まれる、画像認識に成功した前記停止義務指標の個数に基づいて、前記停止義務情報を関連付ける交差点を決定する停止義務地点決定ステップと、をコンピュータに実行させる点にある。   Features of a stop duty point learning program according to the present invention for generating stop duty information indicating that there is a stop duty and causing a computer to execute processing for associating and storing the stop duty information in association with an intersection with a stop duty The configuration includes a recognition range setting step for setting an image recognition range for performing image recognition of a stop obligation index indicating that there is a temporary stop obligation, with each intersection as a reference, and the stop included in the image information around the vehicle position. An image recognition step for performing image recognition of the duty index, a stop duty information generation step for generating the stop duty information based on an image recognition result of the stop duty index, and the image recognition range is N (N is a natural number of 2 or more) ) When there are sequential overlaps, the consecutive N image recognition ranges are defined as a sum range that is one continuous range, and are included in the sum range. Is the succeeded in image recognition based on the number of stop duty indicator, there are a stop duty point determining step of determining an intersection associating said stop duty information, to a point for causing a computer to execute.

この特徴構成によれば、自車位置周辺の画像情報に含まれる、一時停止義務があることを表す停止義務指標の画像認識結果に基づいて停止義務情報を生成して記憶する処理をコンピュータに実行させることで、一時停止義務がある交差点に係る情報を収集することができる。このとき、停止義務地点決定ステップで、各交差点を基準として設定される複数の画像認識範囲の和範囲に含まれる、画像認識に成功した停止義務指標の個数に基づいて一時停止義務があることを表す停止義務情報を関連付ける交差点が決定される。この場合、複数の画像認識範囲が相互に重複する範囲で停止義務指標の画像認識に成功した場合であっても、和範囲内において画像認識に成功した停止義務指標の個数次第では停止義務情報を関連付ける交差点を確定させることができる。したがって、学習効率の低下を最小限に抑えつつ、停止義務情報を関連付ける交差点を適切に決定することのできる停止義務地点学習プログラムを提供することができる。   According to this feature configuration, the computer executes processing for generating and storing stop duty information based on the image recognition result of the stop duty index indicating that there is a duty to stop included in the image information around the vehicle position. By doing so, it is possible to collect information on intersections that are obligated to pause. At this time, in the stop duty point determination step, it is determined that there is a stop duty based on the number of stop duty indices that have been successfully recognized in the image, which are included in the sum of the plurality of image recognition ranges set with reference to each intersection. An intersection is determined that associates the stop obligation information that it represents. In this case, even if image recognition of the stop obligation index succeeds in a range where a plurality of image recognition ranges overlap with each other, the stop obligation information may be changed depending on the number of stop obligation indexes that succeeded in image recognition within the sum range. The associated intersection can be established. Therefore, it is possible to provide a stop duty point learning program that can appropriately determine an intersection associated with stop duty information while minimizing a decrease in learning efficiency.

次に、本発明の実施形態について図面を参照して説明する。図1は、本実施形態に係るナビゲーション装置1の概略構成を示すブロック図である。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図であり、図3は、地物データベースDB2に記憶されている道路標示等の地物情報Fの例を示す図である。図4は、自車両への撮像装置18の配置構成の一例を示す図である。図5は、画像認識範囲Cの設定方法の一例を説明するための説明図であり、図6及び図7は、停止義務地点決定部9による停止義務情報sを関連付ける交差点の決定方法を説明するための説明図である。   Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a navigation device 1 according to the present embodiment. FIG. 2 is a diagram showing an example of the configuration of map information M stored in the map database DB1, and FIG. 3 shows an example of feature information F such as road markings stored in the feature database DB2. FIG. FIG. 4 is a diagram illustrating an example of an arrangement configuration of the imaging device 18 on the host vehicle. FIG. 5 is an explanatory diagram for explaining an example of a method for setting the image recognition range C, and FIGS. 6 and 7 illustrate a method for determining an intersection associated with the stop duty information s by the stop duty point determination unit 9. It is explanatory drawing for.

本実施形態に係るナビゲーション装置1が備える停止義務地点学習装置2は、自車位置周辺の画像情報Gに含まれる、一時停止義務があることを表す停止義務指標Iの画像認識を行ない、画像認識結果に基づいて停止義務情報sを生成する。そして、停止義務地点学習装置2は、当該停止義務情報sを一時停止義務がある交差点に関連付けて記憶していく。また、ナビゲーション装置1は、目的地までの経路案内等の通常の処理を行うとともに、停止義務地点学習装置2が学習して記憶した停止義務情報sを参照して、一時停止義務がある交差点についての案内を行う。   The stop duty point learning device 2 included in the navigation device 1 according to the present embodiment performs image recognition of the stop duty index I that is included in the image information G around the vehicle position and indicates that there is a duty to pause, and performs image recognition. Stop obligation information s is generated based on the result. Then, the stop duty point learning device 2 stores the stop duty information s in association with the intersection having the temporary stop duty. Further, the navigation device 1 performs normal processing such as route guidance to the destination, and refers to the stop duty information s that is learned and stored by the stop duty point learning device 2, and about the intersection having the temporary stop duty. I will guide you.

図1に示す地点情報収集装置2の各機能部、具体的には、自車位置情報取得部3、画像情報取得部4、認識範囲設定部5、重複範囲数取得部6、画像認識部7、停止義務地点数計測部8、停止義務地点決定部9、停止義務情報生成部10及びナビゲーション用演算部11は、互いに共通の或いはそれぞれ独立のCPUなどの演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、デジタル転送バス等の通信線を介して相互に情報の受け渡しを行うことができるように構成されている。また、地図データベースDB1及び地物データベースDB2は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えており、学習データベースDB3は、例えば、ハードディスクドライブ、DVD−RAMを備えたDVDドライブ等のように、情報の書換えが可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。   Each functional unit of the spot information collection device 2 shown in FIG. 1, specifically, the own vehicle position information acquisition unit 3, the image information acquisition unit 4, the recognition range setting unit 5, the overlapping range number acquisition unit 6, and the image recognition unit 7. The stop duty point number measurement unit 8, the stop duty point determination unit 9, the stop duty information generation unit 10, and the navigation calculation unit 11 are input using a common processing unit such as a CPU as a core member. A functional unit for performing various processes on the data is implemented by hardware or software (program) or both. Each of these functional units is configured to be able to exchange information with each other via a communication line such as a digital transfer bus. Further, the map database DB1 and the feature database DB2 are, for example, a recording medium capable of storing information, such as a hard disk drive, a DVD drive equipped with a DVD-ROM, a CD drive equipped with a CD-ROM, and a driving means thereof. The learning database DB3 includes a recording medium on which information can be rewritten, such as a hard disk drive, a DVD drive equipped with a DVD-RAM, and a driving means thereof. The apparatus which has is provided as a hardware configuration. Hereinafter, the configuration of each part of the navigation device 1 according to the present embodiment will be described in detail.

1.地図データベース
地図データベースDB1は、所定の経度および緯度で区切られた区画と呼ばれる矩形領域毎に分けられた地図情報Mが記憶されたデータベースである。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Raを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、ノードnを介して接続されており、その属性情報として、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。なお、図2においては、一つの区画の道路情報Raのみを図示し、他の区画の道路情報Raは省略して示している。
1. Map Database The map database DB1 is a database in which map information M divided for each rectangular area called a section divided by predetermined longitude and latitude is stored. FIG. 2 is a diagram illustrating an example of the configuration of the map information M stored in the map database DB1. As shown in this figure, the map information M has road information Ra representing a road network by connection relations between a large number of nodes n corresponding to intersections and links k corresponding to roads connecting the intersections. . Each node n has information on the position (coordinates) on the map expressed by latitude and longitude. Each link k is connected via the node n, and has attribute information such as road type, area type, link length, road width, and shape interpolation point for expressing the link shape. . In FIG. 2, only the road information Ra of one section is illustrated, and the road information Ra of other sections is omitted.

2.地物データベース
地物データベースDB2は、道路の路面に設けられた地物の情報、すなわち地物情報Fを記憶するデータベースである。図3は、地物データベースDB2に記憶されている道路標示の地物情報Fの例を示す図である。本実施形態において地物データベースDB2に地物情報Fが記憶される地物としては、例えば、道路の路面に設けられた停止線や、当該停止線に隣接して設けられた「とまれ」の文字列等が挙げられる。その他にも、例えば、横断歩道、停止線、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等に係る地物情報Fを含んでいても良い。また、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識(例えば、一時停止標識)、陸橋、トンネル等の各種の地物も含めることができる。地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた地物属性情報とを有している。ここで、位置情報は、道路情報Raを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。また、地物属性情報は、各地物の地物種別を表す種別情報、或いは、地物の形状、大きさ、色彩等の地物形態情報等を含んでいる。ここで、地物種別は、具体的には、「横断歩道」、「停止線」、「速度標示(30km/時)」等のような、基本的に同じ形態を有する地物の種別を表す情報である。また、詳しくは説明しないが、地物情報Fは、画像認識部7による道路上の実際の地物の画像認識処理と合わせて、自車位置情報Pの補正や車両制御等に用いることができる。
2. Feature database The feature database DB2 is a database for storing feature information provided on the road surface of the road, that is, feature information F. FIG. 3 is a diagram illustrating an example of the feature information F of the road marking stored in the feature database DB2. In the present embodiment, as the feature information F stored in the feature database DB2, for example, a stop line provided on the road surface of the road, or a character “to rare” provided adjacent to the stop line. Column etc. are mentioned. In addition, for example, a pedestrian crossing, a stop line, a speed sign indicating a maximum speed, a zebra zone, a lane line that divides a lane along the road (including various lane lines such as a solid line, a broken line, and a double line), It may include feature information F relating to a traveling direction marking (designating an arrow marking, for example, a straight arrow, a right turn arrow, etc.) specifying the traveling direction of each lane. In addition to such road markings, the features in which the feature information F is stored can include various features such as traffic lights, signs (for example, temporary stop signs), overpasses, and tunnels. The feature information F includes position information of each feature and feature attribute information associated therewith as its contents. Here, the position information includes information on the position (coordinates) on the map of the representative point of each feature associated with the link k or the node n constituting the road information Ra, and the direction of each feature. The feature attribute information includes type information indicating the type of each feature, or feature form information such as the shape, size, and color of the feature. Here, the feature type specifically indicates the type of feature having basically the same form such as “pedestrian crossing”, “stop line”, “speed indication (30 km / hour)”, and the like. Information. Although not described in detail, the feature information F can be used for correction of the vehicle position information P, vehicle control, and the like, together with image recognition processing of actual features on the road by the image recognition unit 7. .

3.学習データベース
学習データベースDB3は、後述する停止義務情報生成部10により生成される停止義務情報sを記憶するデータベースであり、停止義務情報記憶手段として機能する。この学習データベースDB3には、画像認識部7による停止義務指標I(詳しくは後述する)の画像認識結果に基づいて生成する停止義務情報sが、一時停止義務がある交差点に関連付けて記憶される。
3. Learning Database The learning database DB3 is a database that stores stop duty information s generated by the stop duty information generation unit 10 described later, and functions as a stop duty information storage unit. In this learning database DB3, stop duty information s generated based on an image recognition result of a stop duty index I (details will be described later) by the image recognition unit 7 is stored in association with an intersection having a temporary stop duty.

4.自車位置情報取得部
自車位置情報取得部3は、自車両の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部3は、GPS受信機15、方位センサ16、及び距離センサ17と接続されている。ここで、GPS受信機15は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部3へ出力される。自車位置情報取得部3では、GPS受信機15で受信されたGPS衛星からの信号を解析し、自車両の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ16は、自車両の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ16は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ16は、その検出結果を自車位置情報取得部3へ出力する。距離センサ17は、自車両の車速や移動距離を検出するセンサである。この距離センサ17は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ17は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部3へ出力する。
4). Own vehicle position information acquisition unit The own vehicle position information acquisition unit 3 functions as own vehicle position information acquisition means for acquiring own vehicle position information P indicating the current position of the own vehicle. Here, the vehicle position information acquisition unit 3 is connected to the GPS receiver 15, the direction sensor 16, and the distance sensor 17. Here, the GPS receiver 15 is a device that receives a GPS signal from a GPS (Global Positioning System) satellite. This GPS signal is normally received every second and output to the vehicle position information acquisition unit 3. The own vehicle position information acquisition unit 3 can analyze a signal from a GPS satellite received by the GPS receiver 15 and acquire information such as the current position (latitude and longitude), traveling direction, and moving speed of the own vehicle. it can. The direction sensor 16 is a sensor that detects a traveling direction of the host vehicle or a change in the traveling direction. The azimuth sensor 16 includes, for example, a gyro sensor, a geomagnetic sensor, an optical rotation sensor attached to the rotating part of the handle, a rotary resistance volume, and an angle sensor attached to the wheel part. Then, the direction sensor 16 outputs the detection result to the vehicle position information acquisition unit 3. The distance sensor 17 is a sensor that detects a vehicle speed and a moving distance of the host vehicle. The distance sensor 17 integrates, for example, a vehicle speed pulse sensor that outputs a pulse signal every time a drive shaft or wheel of the vehicle rotates by a certain amount, a yaw / G sensor that detects the acceleration of the host vehicle, and the detected acceleration. It is composed of a circuit or the like. Then, the distance sensor 17 outputs information on the vehicle speed and movement distance as the detection result to the own vehicle position information acquisition unit 3.

そして、自車位置情報取得部3は、これらのGPS受信機15、方位センサ16及び距離センサ17からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部3は、地図データベースDB1から自車位置周辺の地図情報Mを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を地図情報Mに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部3は、緯度及び経度で表された自車両の現在位置の情報、及び自車両の進行方位の情報を含む自車位置情報Pを取得する。ただし、GPS受信機15によりGPS衛星から受信される信号は、一般に、数メートルから数十メートルの誤差を有している。そのため、このようにして取得される自車位置情報Pも、数メートルから数十メートルの誤差を有することになる。自車位置情報取得部3で得られた自車位置情報Pは、認識範囲設定部5及び地点情報生成部9に出力される。   And the own vehicle position information acquisition part 3 performs the calculation which pinpoints an own vehicle position by a well-known method based on the output from these GPS receiver 15, the direction sensor 16, and the distance sensor 17. FIG. In addition, the vehicle position information acquisition unit 3 acquires map information M around the vehicle position from the map database DB1 and performs known map matching based on the map information M on the road indicated by the map information M. Correction to match is also performed. In this way, the host vehicle position information acquisition unit 3 acquires host vehicle position information P including information on the current position of the host vehicle represented by latitude and longitude and information on the traveling direction of the host vehicle. However, the signal received from the GPS satellite by the GPS receiver 15 generally has an error of several meters to several tens of meters. Therefore, the own vehicle position information P acquired in this way also has an error of several meters to several tens of meters. The vehicle position information P obtained by the vehicle position information acquisition unit 3 is output to the recognition range setting unit 5 and the spot information generation unit 9.

5. 画像情報取得部
画像情報取得部4は、撮像装置18により撮像した自車両の周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置18は、撮像素子を備えた車載カメラ等であって、少なくとも自車両の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置18としては、例えば、図4に示すような自車両の後方の路面を撮像するバックカメラを用いると好適である。以下では、このようなバックカメラを用いて自車両の周辺の画像情報Gを取得する例について説明する。画像情報取得部4は、撮像装置18により撮像した画像情報Gをフレームメモリ(不図示)等を介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部4は、撮像装置18により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部7へ出力される。
5. Image Information Acquisition Unit The image information acquisition unit 4 functions as an image information acquisition unit that acquires image information G around the host vehicle captured by the imaging device 18. Here, the imaging device 18 is an in-vehicle camera or the like provided with an imaging element, and is provided at a position where at least a road surface of a road around the host vehicle can be imaged. As such an imaging device 18, for example, a back camera that images the road surface behind the host vehicle as shown in FIG. 4 is preferably used. Below, the example which acquires the image information G around the own vehicle using such a back camera is demonstrated. The image information acquisition unit 4 captures image information G captured by the imaging device 18 at predetermined time intervals via a frame memory (not shown) or the like. The time interval for capturing the image information G at this time can be set to, for example, about 10 to 50 ms. Thereby, the image information acquisition unit 4 can continuously acquire the image information G of a plurality of frames captured by the imaging device 18. The acquired image information G is output to the image recognition unit 7.

6.認識範囲設定部
認識範囲設定部5は、一時停止義務があることを表す停止義務指標I(詳しくは後述する)の画像認識を行う画像認識範囲Cを、各交差点Tを基準として設定する認識範囲設定手段として機能する。画像認識範囲Cの設定に際しては、図5に示すように、認識範囲設定部5は、まず、自車位置情報P及び地図情報Mに基づき、自車位置よりも進行方向前方側の所定距離D内にある直近の交差点T1に対応するノードn1を抽出する。次に、交差点T1に対応するノードn1の位置を第一の基準点B1として、リンクk(車両の進行方向)に沿って自車位置側へ所定距離Wだけオフセットした位置を第二の基準点B2として求める。ここで、ノードnの位置からオフセットさせる所定距離Wとしては、交差点T1において自車両が走行中の道路と交差する道路の道路幅の1/2に予め設定された一定距離を加えて設定される可変値とすることができる。予め設定される一定距離は、停止義務指標Iと交差点の入口との間の距離の平均値に基づいて設定される固定値(例えば、1メートル)とすると好ましい。一般に、ノードnの位置は交差点Tの中心点に設定されていることから、上記のような距離を所定距離Wとして設定することにより、第二の基準点B2を、交差点Tに進入する直前位置に設けられる場合が多い停止義務指標Iの位置と略同じ位置に設定することができる。交差点Tにおいて自車両が走行中の道路と交差する道路の道路幅に関する情報は、当該道路に対応するリンクkが有する属性情報を参照して取得することができる。
6). Recognition range setting unit The recognition range setting unit 5 sets an image recognition range C for performing image recognition of a stop obligation index I (details will be described later) indicating that there is a temporary stop obligation, with each intersection T as a reference. Functions as setting means. When setting the image recognition range C, as shown in FIG. 5, the recognition range setting unit 5 first determines a predetermined distance D ahead of the vehicle position in the traveling direction based on the vehicle position information P and the map information M. The node n1 corresponding to the nearest intersection T1 within is extracted. Next, using the position of the node n1 corresponding to the intersection T1 as the first reference point B1, a position offset by a predetermined distance W toward the own vehicle position along the link k (vehicle traveling direction) is set as the second reference point. Obtained as B2. Here, the predetermined distance W to be offset from the position of the node n is set by adding a predetermined distance to a half of the road width of the road intersecting with the road where the host vehicle is traveling at the intersection T1. It can be a variable value. The fixed distance set in advance is preferably a fixed value (for example, 1 meter) set based on the average value of the distance between the stop duty index I and the entrance of the intersection. In general, since the position of the node n is set at the center point of the intersection T, by setting the distance as described above as the predetermined distance W, the position immediately before the second reference point B2 enters the intersection T. Can be set at substantially the same position as the position of the stop duty index I, which is often provided at. Information regarding the road width of the road intersecting with the road on which the host vehicle is traveling at the intersection T can be acquired by referring to attribute information of the link k corresponding to the road.

次に、認識範囲設定部5は、リンクk(車両の進行方向)に沿って第二の基準点B2の両側にそれぞれ所定距離Eだけ広げた範囲を画像認識範囲C1として設定する。ここで、所定距離Eとしては、上述した自車位置情報Pが有する誤差の最大値に合わせて設定される固定値(例えば、50メートル)とすることができる。このような距離を所定距離Eとして設定することにより、自車位置情報Pが所定の誤差を有していたとしても、第二の基準点B2の位置に停止義務指標Iが存在する場合には、全長が2Eとなる画像認識範囲C内のいずれかの位置において、後述する画像認識部7により画像認識をすることが可能となる。   Next, the recognition range setting unit 5 sets, as the image recognition range C1, a range that is expanded by a predetermined distance E on both sides of the second reference point B2 along the link k (vehicle traveling direction). Here, the predetermined distance E can be a fixed value (for example, 50 meters) set in accordance with the maximum value of the error of the vehicle position information P described above. By setting such a distance as the predetermined distance E, even if the vehicle position information P has a predetermined error, if the stop obligation index I exists at the position of the second reference point B2, In any position within the image recognition range C where the total length is 2E, the image recognition unit 7 described later can perform image recognition.

本実施形態においては、認識範囲設定部5は、先に抽出した交差点T1に加えて、当該交差点T1よりもさらに自車位置の進行方向前方側に存在する次の交差点T2に対応するノードn2も抽出する。そして、交差点T2についても上記と同様にして画像認識範囲C2を設定する(図6を参照)。次に、認識範囲設定部5は、画像認識範囲C1と画像認識範囲C2とが部分的に重複しているか否かを判定する。画像認識範囲C1と画像認識範囲C2とが重複していない場合には、認識範囲設定部5は、画像認識範囲C1のみを画像認識範囲Cとして設定する。一方、画像認識範囲C1と画像認識範囲C2とが重複している場合には、認識範囲設定部5は、先に抽出した交差点T1及びT2に加えて、当該交差点T1及びT2よりもさらに自車位置の進行方向前方側に存在する次の交差点T3に対応するノードn3も抽出する。そして、交差点T3についても上記と同様にして画像認識範囲C3を設定する。次に、認識範囲設定部5は、画像認識範囲C2と画像認識範囲C3とが部分的に重複しているか否かを判定する。画像認識範囲C2と画像認識範囲C3とが重複していない場合には、認識範囲設定部5は、画像認識範囲C1及び画像認識範囲C2を画像認識範囲Cとして設定する。一方、画像認識範囲C2と画像認識範囲C3とが重複している場合には、認識範囲設定部5は、先に抽出した交差点T1、T2及びT3に加えて、当該交差点T1、T2及びT3よりもさらに自車位置の進行方向前方側に存在する次の交差点T4に対応するノードn4も抽出する。このような処理を、N(Nは自然数)番目の交差点TNに対応する画像認識範囲CNと(N+1)番目の交差点T(N+1)に対応する画像認識範囲C(N+1)とが重複していないと判断されるまで繰り返す。このようにして、認識範囲設定部5は、N個に亘って順次重複している画像認識範囲C1、C2、・・・、CNを、それぞれ交差点T1、T2、・・・、TNを基準として順次設定する。   In this embodiment, in addition to the previously extracted intersection T1, the recognition range setting unit 5 also includes a node n2 corresponding to the next intersection T2 existing further ahead of the vehicle position in the traveling direction than the intersection T1. Extract. Then, the image recognition range C2 is set for the intersection T2 in the same manner as described above (see FIG. 6). Next, the recognition range setting unit 5 determines whether or not the image recognition range C1 and the image recognition range C2 partially overlap. When the image recognition range C1 and the image recognition range C2 do not overlap, the recognition range setting unit 5 sets only the image recognition range C1 as the image recognition range C. On the other hand, when the image recognition range C1 and the image recognition range C2 overlap, the recognition range setting unit 5 adds to the vehicle further than the intersections T1 and T2 in addition to the intersections T1 and T2 extracted earlier. A node n3 corresponding to the next intersection T3 existing on the front side in the traveling direction of the position is also extracted. The image recognition range C3 is set for the intersection T3 in the same manner as described above. Next, the recognition range setting unit 5 determines whether or not the image recognition range C2 and the image recognition range C3 partially overlap. When the image recognition range C2 and the image recognition range C3 do not overlap, the recognition range setting unit 5 sets the image recognition range C1 and the image recognition range C2 as the image recognition range C. On the other hand, when the image recognition range C2 and the image recognition range C3 overlap, the recognition range setting unit 5 uses the intersections T1, T2, and T3 in addition to the previously extracted intersections T1, T2, and T3. Further, a node n4 corresponding to the next intersection T4 existing on the front side in the traveling direction of the vehicle position is also extracted. In such a process, the image recognition range CN corresponding to the Nth (N is a natural number) intersection TN and the image recognition range C (N + 1) corresponding to the (N + 1) th intersection T (N + 1) do not overlap. Repeat until it is determined. In this way, the recognition range setting unit 5 uses the N image recognition ranges C1, C2,..., CN, which are sequentially overlapped, with the intersections T1, T2,. Set sequentially.

図6に示す例では、画像認識範囲C1と画像認識範囲C2とが相互に部分的に重複しているが、画像認識範囲C2と画像認識範囲C3とは重複せずに完全に分離している。したがって、図6の例では、認識範囲設定部5は、2個に亘って順次重複している画像認識範囲C1及びC2を、それぞれ交差点T1及びT2を基準として順次設定する。このとき、認識範囲設定部5は、互いに隣接する画像認識範囲Cどうしが重複する範囲である重複範囲L及び隣接する画像認識範囲Cとは重複しない画像認識範囲である非重複範囲Rの設定も行なうように構成されている。図示の例では、画像認識範囲C1は非重複範囲R1と重複範囲L12とに分けられ、画像認識範囲C2は重複範囲L12と非重複範囲R2とに分けられる。そして、画像認識範囲C1及び画像認識範囲C2を連続する一つの範囲として捉えた範囲が本発明における「和範囲A」とされる。すなわち、和範囲Aは、画像認識範囲C1の非重複範囲R1と、画像認識範囲C1と画像認識範囲C2との重複範囲L12と、画像認識範囲C2の非重複範囲R2とに亘る範囲となる。言い換えれば、和範囲Aは、画像認識範囲C1におけるリンクkに沿った車両の進行方向後方側の端部から、画像認識範囲C2におけるリンクkに沿った車両の進行方向前方側の端部までの範囲となる。 In the example shown in FIG. 6, the image recognition range C1 and the image recognition range C2 partially overlap each other, but the image recognition range C2 and the image recognition range C3 are completely separated without overlapping. . Therefore, in the example of FIG. 6, the recognition range setting unit 5 sequentially sets two image recognition ranges C1 and C2 that are sequentially overlapped with respect to the intersections T1 and T2, respectively. At this time, the recognition range setting unit 5 also sets an overlapping range L that is a range in which image recognition ranges C adjacent to each other overlap and a non-overlapping range R that is an image recognition range that does not overlap with the adjacent image recognition range C. Configured to do. In the illustrated example, the image recognition range C1 is divided into a non-overlapping range R 1 and overlapping range L 12, the image recognition range C2 is divided into the overlapping range L 12 and a non-overlapping range R 2. And the range which caught the image recognition range C1 and the image recognition range C2 as one continuous range is made into the "sum range A" in this invention. That is, the sum range A includes a non-overlapping range R 1 of the image recognition range C 1, an overlapping range L 12 of the image recognition range C 1 and the image recognition range C 2, and a non-overlapping range R 2 of the image recognition range C 2. It becomes. In other words, the sum range A is from the rear end portion of the vehicle along the link k in the image recognition range C1 to the front end portion of the vehicle along the link k in the image recognition range C2. It becomes a range.

7.重複範囲数取得部
重複範囲数取得部6は、和範囲Aに含まれる画像認識範囲Cの個数を表す重複範囲数Nl(Nlは自然数)を取得する重複範囲数取得手段として機能する。上述したように、認識範囲設定部5は、自車位置の進行方向前方側に存在する交差点TN、T(N+1)を抽出して、それらの交差点Tにそれぞれ対応する画像認識範囲CN、C(N+1)を設定するとともに、画像認識範囲CNと画像認識範囲C(N+1)とが部分的に重複しているか否かを判定する。そして、このような処理を、画像認識範囲CNと画像認識範囲C(N+1)とが重複していないと判定されるまで繰り返す。本実施形態においては、重複範囲数取得部6は、この画像認識範囲CNと画像認識範囲C(N+1)とが重複していないと判定された際のNの値を、重複範囲数Nlとして取得する。取得された重複範囲数Nlは、停止義務地点決定部9に出力される。
7). Overlapping Range Number Acquisition Unit The overlapping range number acquisition unit 6 functions as overlapping range number acquisition means for acquiring the overlapping range number Nl (Nl is a natural number) representing the number of image recognition ranges C included in the sum range A. As described above, the recognition range setting unit 5 extracts the intersections TN and T (N + 1) existing on the front side in the traveling direction of the vehicle position, and the image recognition ranges CN and C (C (C) respectively corresponding to the intersections T. N + 1) is set, and it is determined whether or not the image recognition range CN and the image recognition range C (N + 1) partially overlap. Such processing is repeated until it is determined that the image recognition range CN and the image recognition range C (N + 1) do not overlap. In the present embodiment, the overlapping range number acquisition unit 6 acquires the value of N when it is determined that the image recognition range CN and the image recognition range C (N + 1) do not overlap as the overlapping range number Nl. To do. The acquired overlapping range number Nl is output to the stop duty point determination unit 9.

8.画像認識部
画像認識部7は、自車位置周辺の画像情報Gに含まれる、停止義務指標Iの画像認識を行なう画像認識手段として機能する。画像認識部7は、認識範囲設定部5により設定された画像認識範囲Cにいて、画像情報Gの中から停止義務指標Iの画像認識を行う。ここで、停止義務指標Iは、一時停止義務がある交差点に対応させて設けられ、当該交差点の手前に一時停止義務がある旨を車両の運転者に通知する指標である。例えば、道路の路肩に設置された一時停止標識(「とまれ」標識)や、道路の路面に設けられた停止線に隣接して設けられた「とまれ」標示等が挙げられる。「とまれ」標示を利用する場合、「とまれ」標示全体を停止義務指標Iとしても良いし、「とまれ」の文字列の中の少なくとも一部の文字を停止義務指標Iとしても良い。さらに、これらと停止線との組み合せを停止義務指標Iとしても良い。本実施形態においては、道路の路面に設けられた停止線と当該停止線に隣接して設けられた「とまれ」の文字列のうちの文字「ま」及び「れ」との組み合せが、停止義務指標Iとされている。
8). Image Recognizing Unit The image recognizing unit 7 functions as an image recognizing unit that performs image recognition of the stop duty index I included in the image information G around the vehicle position. The image recognition unit 7 performs image recognition of the stop obligation index I from the image information G in the image recognition range C set by the recognition range setting unit 5. Here, the stop duty index I is an index that is provided corresponding to an intersection with a temporary stop obligation and notifies the vehicle driver that there is a temporary stop obligation before the intersection. For example, there are temporary stop signs ("To rare" signs) installed on the shoulders of roads, "To rare" signs provided adjacent to a stop line provided on the road surface, and the like. In the case of using the “tore rare” sign, the entire “tore rare” sign may be used as the stop obligation index I, or at least some characters in the “to rare” character string may be used as the stop duty index I. Further, a combination of these and the stop line may be used as the stop obligation index I. In the present embodiment, the combination of the stop line provided on the road surface and the characters “MA” and “RE” in the character string “TO rare” provided adjacent to the stop line is an obligation to stop. It is set as index I.

したがって、本実施形態においては、画像認識部7は、和範囲Aに含まれる画像認識範囲Cにおいて、画像情報Gの中から停止義務指標Iとして文字「ま」、「れ」及び停止線の画像認識処理を行う。ここで、停止義務指標Iに含まれる文字列「とまれ」のうち、文字「ま」及び「れ」のみについて画像認識処理を行うのは、文字「ま」及び「れ」は、道路上に設けられた各種の地物の中でも比較的エッジが多く、また複雑な形状を有しており、文字らしい特徴を元来備えているので、これらの文字の画像認識に成功すれば、文字列「とまれ」全体の画像認識に成功したとみなすことができるからである。文字「ま」、「れ」及び停止線の画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物の輪郭情報を抽出する。画像認識部7は、抽出した地物の輪郭情報と停止義務指標Iである文字「ま」、「れ」及び停止線の形態の特徴量とのパターンマッチングを行うことにより、画像情報Gに含まれる文字「ま」、「れ」及び停止線の画像を抽出する。その結果、画像情報Gの中から文字「ま」、「れ」及び停止線の画像を抽出できた場合には、画像認識部7は停止義務指標Iの画像認識に成功したと判定して、その結果を停止義務地点数計測部8及び停止義務情報生成部10に対して出力する。   Therefore, in the present embodiment, the image recognition unit 7 uses the image “G”, “Re”, and stop line images as the stop obligation index I from the image information G in the image recognition range C included in the sum range A. Perform recognition processing. Here, of the character string “Tare rare” included in the stop obligation index I, the characters “MA” and “RE” are subjected to image recognition processing only on the road. Among the various features that have been created, there are relatively many edges, complex shapes, and inherently character-like features. This is because it can be considered that the entire image recognition is successful. When recognizing the characters “ma”, “re”, and the stop line, binarization processing, edge detection processing, etc. are performed on the image information G, and the contour information of the feature included in the image information G is obtained. Extract. The image recognizing unit 7 performs pattern matching between the extracted feature outline information and the stop duty index I, which are the characters “ma”, “re”, and the feature amount of the stop line form, and is included in the image information G. The images of the characters “MA”, “RE” and the stop line are extracted. As a result, when the images of the characters “MA”, “RE”, and the stop line can be extracted from the image information G, the image recognition unit 7 determines that the image recognition of the stop obligation index I is successful, The result is output to the stop duty point number measuring unit 8 and the stop duty information generating unit 10.

9.停止義務地点数計測部
停止義務地点数計測部8は、和範囲Aにおいて画像認識に成功した停止義務指標Iの個数を表す停止義務地点数Ns(Nsは自然数)を計測する停止義務地点数計測手段として機能する。停止義務地点数計測部8は、停止義務地点数Nsの初期値として「0」を有しており、和範囲Aに含まれる画像認識範囲Cにおいて、画像情報Gの中から停止義務指標Iとしての文字「ま」、「れ」及び停止線の画像認識処理に成功するたびに、停止義務地点数Nsに「1」を加える処理を行なう(Ns=Ns+1)。和範囲Aにおいてすべての画像情報Gについての画像認識処理を終了した際の停止義務地点数Nsは、停止義務地点決定部9に出力される。
9. Stop duty point number measurement unit Stop duty point number measurement unit 8 measures the number of stop duty points Ns (Ns is a natural number) that represents the number of stop duty indicators I that succeeded in image recognition in the sum range A. Functions as a means. The stop duty point number measuring unit 8 has “0” as an initial value of the stop duty point number Ns, and in the image recognition range C included in the sum range A, as the stop duty index I from the image information G. Each time the image recognition process of the characters “MA”, “RE” and the stop line is successfully performed, a process of adding “1” to the stop duty number Ns is performed (Ns = Ns + 1). The stop duty point number Ns when the image recognition processing for all the image information G in the sum range A is finished is output to the stop duty point determination unit 9.

10.停止義務地点決定部
停止義務地点決定部9は、後述する停止義務情報sを関連付ける交差点Tを決定する停止義務地点決定手段として機能する。本実施形態においては、停止義務地点決定部9は、重複範囲数取得部6から出力された重複範囲数Nl及び停止義務地点数計測部8から出力された停止義務地点数Nsに基づいて、停止義務情報sを関連付ける交差点Tを決定する。以下では、停止義務地点決定部9による停止義務情報sを関連付ける交差点Tの決定方法を説明する。
10. Stop Obligation Point Determination Unit The stop duty point determination unit 9 functions as a stop duty point determination unit that determines an intersection T that associates stop duty information s described later. In this embodiment, the stop duty point determination unit 9 stops based on the overlap range number Nl output from the overlap range number acquisition unit 6 and the stop duty point number Ns output from the stop duty point number measurement unit 8. The intersection T with which the duty information s is associated is determined. Below, the determination method of the intersection T which associates the stop duty information s by the stop duty point determination part 9 is demonstrated.

まず、重複範囲数Nlが2以上の場合、少なくとも画像認識範囲C1と画像認識範囲C2とが重複することになり、和範囲Aは画像認識範囲C1から画像認識範囲CNlを連続する一つの範囲として捉えた範囲に一致する。図6に示す例では、画像認識範囲C1及び画像認識範囲C2だけが重複し、画像認識範囲C2と画像認識範囲C3は重複していないので、重複範囲数Nlは「2」となる。このとき、和範囲Aには、画像認識範囲C1の非重複範囲R1と、画像認識範囲C1と画像認識範囲C2との重複範囲L12と、画像認識範囲C2の非重複範囲R2とが含まれる。ここで、画像認識範囲C1の非重複範囲R1における画像情報Gの中から停止義務指標Iの画像認識に成功した場合には、画像認識範囲C1に対応する交差点T1に一時停止義務があると確実に判定することができる。同様に、画像認識範囲C2の非重複範囲R2における画像情報Gの中から停止義務指標Iの画像認識に成功した場合には、画像認識範囲C2に対応する交差点T2に一時停止義務があると確実に判定することができる。一方、画像認識範囲C1と画像認識範囲C2との重複範囲L12における画像情報Gの中から停止義務指標Iの画像認識に成功した場合には、画像認識範囲C1に対応する交差点T1及び画像認識範囲C2に対応する交差点T2のどちらに一時停止義務があるのかを確実に判定することができない。そのため、重複範囲L12で停止義務指標Iの画像認識に成功した場合には、少なくとも一時停止義務のある交差点が存在することが分かっていながらも、対応付ける交差点を確実に判定することができないために学習効率が低下してしまう。そこで、停止義務地点決定部9は、重複範囲数Nlと停止義務地点数Nsとの関係に基づいて、以下の決定パターンにしたがって停止義務情報sを関連付ける交差点Tを決定することで、学習効率の低下を最小限に抑えることを可能としている。 First, when the overlapping range number Nl is 2 or more, at least the image recognition range C1 and the image recognition range C2 overlap, and the sum range A is defined as one continuous range from the image recognition range C1 to the image recognition range CNl. Matches the captured range. In the example shown in FIG. 6, since only the image recognition range C1 and the image recognition range C2 overlap, and the image recognition range C2 and the image recognition range C3 do not overlap, the number of overlap ranges Nl is “2”. At this time, the sum range A includes a non-overlapping range R 1 of the image recognition range C 1, an overlapping range L 12 of the image recognition range C 1 and the image recognition range C 2, and a non-overlapping range R 2 of the image recognition range C 2. included. Here, when image recognition of the stop obligation index I is successfully performed from the image information G in the non-overlapping range R 1 of the image recognition range C1, the intersection T1 corresponding to the image recognition range C1 has a temporary stop obligation. It can be determined with certainty. Similarly, if from the image information G in the non-overlapping range R 2 of the image recognition range C2 succeeded in image recognition of the stop duty index I is, if there is a pause obligation intersection T2 corresponding to the image recognition range C2 It can be determined with certainty. On the other hand, if from the image information G in the image recognition range C1 and the overlap region L 12 between the image recognition range C2 succeeded in image recognition of the stop duty index I is an intersection T1 and image recognition corresponding to the image recognition range C1 It cannot be reliably determined which of the intersections T2 corresponding to the range C2 is obliged to pause. Therefore, when the image recognition of the stop obligation index I is successful in the overlapping range L 12 , it is known that there is at least an intersection having a stop obligation, but the corresponding intersection cannot be reliably determined. Learning efficiency is reduced. Therefore, the stop duty point determination unit 9 determines the intersection T that associates the stop duty information s according to the following determination pattern based on the relationship between the overlap range number Nl and the stop duty point number Ns, thereby improving the learning efficiency. It is possible to minimize the decline.

決定パターン1
停止義務地点決定部9は、和範囲Aにおける画像情報Gの中から重複範囲数Nlと等しい個数の停止義務指標Iの画像認識に成功した場合、すなわちNs=Nlと判定された場合には、和範囲Aを構成するそれぞれの画像認識範囲Cに対応する交差点Tに停止義務情報sを関連付けるように決定する。
パターン1にしたがった停止義務情報sを関連付ける交差点Tの決定方法を図6を参照して説明する。図6(a)は、2個の画像認識範囲C1及びC2を連続する一つの範囲として捉えた和範囲A内に、自車両が走行中の道路上に2組の停止義務指標Iとしての文字「ま」、「れ」及び停止線が存在している様子を示している。図6(b)〜(d)は、図6(a)に対応させて、進行中の道路上における交差点T、第二の基準点B2(停止義務指標Iに略対応)、及び実際に画像認識に成功した時点における自車位置情報Pが示す地点の位置を簡略化して示している。図6(b)〜(d)においては、交差点Tを「●」で、第二の基準点B2を「△」で、実際に画像認識に成功した時点における自車位置情報Pが示す地点を「☆」で示している(図7においても同様である)。ここで、停止義務指標Iに略対応する第二の基準点B2と、実際に画像認識に成功した時点における自車位置情報Pが示す地点との間の距離が、先に説明した自車位置情報Pが有する誤差に相当することになる。この例では、Ns=Nl=2であるので、決定パターン1では、これらいずれの場合にあっても、停止義務地点決定部9は、それぞれの画像認識範囲C1及びC2に対応する交差点T1及びT2に停止義務情報sを関連付けるように決定する。このような決定パターン1によれば、例えば図6(b)や(d)のように、自車位置情報Pが車両の進行方向に対して後方側或いは前方側に比較的大きな誤差を有している状態(実際の自車位置に対して車両の進行方向後方側或いは前方側に比較的大きくずれた位置を自車位置として認識している状態)のときに、重複範囲L12においていずれか一方の停止義務指標Iの画像認識を行なうことになってしまったとしても、確実に交差点T1及びT2の双方に停止義務情報sを関連付けることができる。よって、学習効率の低下を最小限に抑えることが可能とされている。
Decision pattern 1
When the stop obligation point determination unit 9 succeeds in the image recognition of the number of stop obligation indicators I equal to the overlap range number Nl from the image information G in the sum range A, that is, when it is determined that Ns = Nl, The stop duty information s is determined to be associated with the intersection T corresponding to each image recognition range C constituting the sum range A.
A method of determining the intersection T that associates the stop obligation information s according to the pattern 1 will be described with reference to FIG. FIG. 6A shows characters as two sets of stop obligation indicators I on the road on which the host vehicle is traveling within the sum range A where the two image recognition ranges C1 and C2 are regarded as one continuous range. The state where “MA”, “RE”, and a stop line exist is shown. 6 (b) to 6 (d) correspond to FIG. 6 (a), an intersection T on the ongoing road, a second reference point B2 (corresponding to the stop duty index I), and an actual image. The position of the point indicated by the own vehicle position information P at the time of successful recognition is shown in a simplified manner. 6B to 6D, the intersection T is “●”, the second reference point B2 is “Δ”, and the point indicated by the vehicle position information P when the image recognition is actually successful is shown. It is indicated by “☆” (the same applies to FIG. 7). Here, the distance between the second reference point B2 substantially corresponding to the stop duty index I and the point indicated by the vehicle position information P at the time when the image recognition is actually successful is the vehicle position described above. This corresponds to the error of the information P. In this example, since Ns = Nl = 2, in the determination pattern 1, in any of these cases, the stop duty point determination unit 9 performs intersections T1 and T2 corresponding to the respective image recognition ranges C1 and C2. Is determined to be associated with the stop obligation information s. According to such a determination pattern 1, for example, as shown in FIGS. 6B and 6D, the vehicle position information P has a relatively large error on the rear side or the front side with respect to the traveling direction of the vehicle. in that state when (a relatively large displacement position relative to the actual vehicle position in the traveling direction of the rear side or front side of the vehicle recognized by that state as the vehicle position), either in the overlap region L 12 Even if image recognition of one stop duty index I is to be performed, the stop duty information s can be reliably associated with both the intersections T1 and T2. Therefore, it is possible to minimize a decrease in learning efficiency.

決定パターン2
停止義務地点決定部9は、和範囲Aにおける画像情報Gの中から1個以上Nl個未満の停止義務指標Iの画像認識に成功した場合、すなわち1≦Ns<Nlと判定された場合には、停止義務指標Iの画像認識に成功した位置に応じて、停止義務情報sを関連付ける交差点Tを可変に決定する。具体的には、画像認識部7が非重複範囲Rにおいて停止義務指標Iの画像認識に成功した場合には、停止義務地点決定部9は、当該非重複範囲Rに対応する交差点Tに停止義務情報sを関連付けるように決定する。一方、画像認識部7が重複範囲Lにおいて停止義務指標Iの画像認識に成功した場合には、停止義務地点決定部9は、当該重複範囲Lを含む複数の画像認識範囲Cに対応する交差点Tには停止義務情報sを関連付けないと決定する。
パターン2にしたがった停止義務情報sを関連付ける交差点Tの決定方法を図7を参照して説明する。図7(a)は、2個の画像認識範囲C1及びC2を連続する一つの範囲として捉えた和範囲A内に、自車両が走行中の道路上に1組の停止義務指標Iとしての文字「ま」、「れ」及び停止線が存在している様子を示している。決定パターン2では、自車位置情報Pが有する誤差の大きさ及び方向性次第では、その処理内容が異なる場合がある。すなわち、例えば図7(b)のように、自車位置情報Pが車両の進行方向に対して後方側に比較的大きな誤差を有している状態(実際の自車位置に対して車両の進行方向後方側に比較的大きくずれた位置を自車位置として認識している状態)では、重複範囲L12において停止義務指標Iの画像認識に成功することになる。そのため、停止義務地点決定部9は、重複範囲L12を含む画像認識範囲C1及びC2に対応する交差点T1及びT2には停止義務情報sを関連付けないと決定する。このようにすれば、停止義務情報sを関連付ける交差点Tを誤って決定することを防止することができる。一方、例えば図7(c)のように、自車位置情報Pが車両の進行方向に対して前方側に比較的大きな誤差を有している状態(実際の自車位置に対して車両の進行方向前方側に比較的大きくずれた位置を自車位置として認識している状態)では、非重複範囲R2において停止義務指標Iの画像認識に成功することになる。そのため、停止義務地点決定部9は、非重複範囲R2に対応する交差点T2に停止義務情報sを関連付けるように決定する。このようにすれば、停止義務情報sを関連付ける交差点Tを誤って決定するおそれがない場合には、停止義務情報sを関連付ける交差点Tを確実に決定し、学習効率の低下を抑制することができる。
Decision pattern 2
If the stop obligation point determination unit 9 succeeds in image recognition of one or more stop obligation indicators I from the image information G in the sum range A, that is, if it is determined that 1 ≦ Ns <Nl. The intersection T to which the stop duty information s is associated is variably determined according to the position where the image recognition of the stop duty index I is successful. Specifically, when the image recognition unit 7 succeeds in the image recognition of the stop duty index I in the non-overlapping range R, the stop duty point determining unit 9 is obliged to stop at the intersection T corresponding to the non-overlapping range R. Decide to associate information s. On the other hand, when the image recognition unit 7 succeeds in image recognition of the stop duty index I in the overlap range L, the stop duty point determination unit 9 determines the intersection T corresponding to the plurality of image recognition ranges C including the overlap range L. Is determined not to be associated with the stop obligation information s.
A method of determining the intersection T that associates the stop obligation information s according to the pattern 2 will be described with reference to FIG. FIG. 7A shows characters as a set of stop obligation indicators I on the road on which the host vehicle is traveling within the sum range A where the two image recognition ranges C1 and C2 are regarded as one continuous range. The state where “MA”, “RE”, and a stop line exist is shown. In the determination pattern 2, the processing content may differ depending on the magnitude and direction of the error included in the vehicle position information P. That is, for example, as shown in FIG. 7B, the vehicle position information P has a relatively large error on the rear side with respect to the traveling direction of the vehicle (the vehicle traveling relative to the actual vehicle position). in state) recognizes the relatively large displacement position in the direction of the rear side as a vehicle position, so that a successful image recognition stop duty index I in the overlap range L 12. Therefore, stop duty point determining unit 9, the intersection T1 and T2 corresponding to the image recognition range C1 and C2 containing overlapping range L 12 determines not associate stop duty information s. In this way, it is possible to prevent the intersection T associated with the stop obligation information s from being erroneously determined. On the other hand, as shown in FIG. 7C, for example, the vehicle position information P has a relatively large error on the front side with respect to the traveling direction of the vehicle (the vehicle travels relative to the actual vehicle position). in state) recognizes the relatively large displacement position in the forward side as the vehicle position, so that in the non-overlapping ranges R 2 successfully image recognition stop duties indicators I. Therefore, stop duty point determining unit 9 determines to associate the stop duty information s the intersection T2 corresponding to the non-overlapping range R 2. In this way, when there is no possibility of erroneously determining the intersection T associated with the stop duty information s, the intersection T associated with the stop duty information s can be reliably determined, and a decrease in learning efficiency can be suppressed. .

決定パターン3
停止義務地点決定部9は、和範囲Aにおける画像情報Gの中から停止義務指標Iの画像認識に成功しなかった場合、すなわちNs=0と判定された場合には、和範囲Aを構成するそれぞれの画像認識範囲Cに対応する交差点Tには停止義務情報sを関連付けないと決定する。このようにすれば、画像情報Gの中から停止義務指標Iの画像認識に成功しなかった場合には、和範囲Aを構成するそれぞれの画像認識範囲Cに対応する交差点Tには一時停止義務がないことを適切に決定することができる。
Decision pattern 3
If the stop obligation indicator I is not successfully recognized from the image information G in the sum range A, that is, if it is determined that Ns = 0, the stop duty point determination unit 9 configures the sum range A. It is determined that the stop duty information s is not associated with the intersection T corresponding to each image recognition range C. In this way, if the image recognition G does not succeed in recognizing the stop obligation index I from the image information G, the intersection T corresponding to each image recognition range C constituting the sum range A is obliged to pause. It can be determined appropriately that there is no.

なお、重複範囲数Nlが1の場合には、画像認識範囲C1と画像認識範囲C2とは重複しないので、和範囲Aは画像認識範囲C1に一致することになる。この場合、停止義務地点決定部9は、画像認識部7が画像認識範囲C1において停止義務指標Iとしての文字「ま」、「れ」及び停止線の画像認識に成功した場合には、画像認識範囲C1に対応する交差点T1に停止義務情報sを関連付けるように決定する。すなわち、Nl=1の場合に行われる処理は通常通りの処理と同様であり、この場合、停止義務地点決定部9は実質的には何の処理も行わない。   When the overlapping range number Nl is 1, the image recognition range C1 and the image recognition range C2 do not overlap, so the sum range A matches the image recognition range C1. In this case, if the image recognition unit 7 succeeds in image recognition of the characters “MA”, “RE”, and the stop line as the stop obligation index I in the image recognition range C1, the stop duty point determination unit 9 performs image recognition. It is determined that the stop obligation information s is associated with the intersection T1 corresponding to the range C1. That is, the process performed when Nl = 1 is the same as the normal process, and in this case, the stop duty point determination unit 9 does not perform any process.

11.停止義務情報生成部
停止義務情報生成部10は、停止義務指標Iの画像認識結果に基づいて停止義務情報sを生成する停止義務情報生成手段として機能する。本実施形態においては、停止義務情報sは、一時停止義務があることを表す属性情報として生成される。生成した停止義務情報sは学習データベースDB3に出力され、学習データベースDB3に記憶される。このとき、それぞれの停止義務情報sは、停止義務地点決定部9により決定された結果に従い、関連付けられるべき交差点Tに対応する地図情報Mに関連付けて記憶される。本実施形態においては、それぞれの停止義務情報sは、地図情報Mが有するリンクkの情報に関連付けて記憶される。具体的には、停止義務情報sは、停止義務地点決定部9が決定した停止義務情報sを関連付ける交差点Tに対応するノードnに接続されるリンクkにおける、当該ノードn側のリンク端に関連付けて記憶される。このような位置は、実際に一時停止義務のある交差点に接続される道路端の位置に対応したものとなるので、停止義務情報sを利用して一時停止義務のある交差点の案内を適切に行なうことが可能となる。
11. Stop Duty Information Generation Unit The stop duty information generation unit 10 functions as a stop duty information generation unit that generates the stop duty information s based on the image recognition result of the stop duty index I. In the present embodiment, the stop duty information s is generated as attribute information indicating that there is a temporary stop duty. The generated stop obligation information s is output to the learning database DB3 and stored in the learning database DB3. At this time, each stop duty information s is stored in association with the map information M corresponding to the intersection T to be associated according to the result determined by the stop duty point determination unit 9. In the present embodiment, each stop obligation information s is stored in association with the link k information included in the map information M. Specifically, the stop duty information s is associated with the link end on the node n side in the link k connected to the node n corresponding to the intersection T that associates the stop duty information s determined by the stop duty point determination unit 9. Is remembered. Such a position corresponds to the position of the road edge that is actually connected to the intersection that is obligated to temporarily stop, and therefore, the stop obligatory information s is used to appropriately guide the intersection that is obliged to temporarily stop. It becomes possible.

12.ナビゲーション用演算部
ナビゲーション用演算部11は、自車位置表示、出発地から目的地までの経路計算、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラムに従って動作する演算処理手段である。例えば、ナビゲーション用演算部11は、地図データベースDB1から自車両周辺の地図情報Mを取得して表示入力装置19に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部11は、公知の方法により計算された出発地から目的地までの経路と自車位置情報とに基づいて、表示入力装置19及び音声出力装置20の一方又は双方を用いて進路案内を行う。このとき、ナビゲーション用演算部11は、学習データベースDB3に格納された停止義務情報sを参照して、一時停止義務がある交差点Tについての案内を行う。したがって、本実施形態においてナビゲーション用演算部11は、停止義務情報sに基づいて一時停止義務がある交差点Tについての案内を行う案内手段として機能する。なお、ナビゲーション用演算部11は、この他にも、リモートコントローラや表示入力装置19と一体的に設けられたタッチパネルなどのユーザインタフェース等、ナビゲーション装置1として必要な公知の各種構成に接続されている。
12 Navigation Calculation Unit The navigation calculation unit 11 operates according to an application program to execute navigation functions such as display of the vehicle position, calculation of a route from the departure point to the destination, route guidance to the destination, and destination search. Arithmetic processing means. For example, the navigation calculation unit 11 acquires the map information M around the host vehicle from the map database DB1, displays a map image on the display input device 19, and displays the map position information P on the map image. Based on this, the process of displaying the self-position mark in a superimposed manner is performed. In addition, the navigation calculation unit 11 uses one or both of the display input device 19 and the audio output device 20 based on the route from the departure point to the destination calculated by a known method and the vehicle position information. Provide route guidance. At this time, the navigation calculation unit 11 refers to the stop duty information s stored in the learning database DB3 and provides guidance for the intersection T having the temporary stop duty. Therefore, in the present embodiment, the navigation calculation unit 11 functions as a guidance unit that performs guidance for the intersection T having a suspension obligation based on the suspension obligation information s. In addition, the navigation calculation unit 11 is connected to various known configurations necessary for the navigation device 1 such as a remote controller and a user interface such as a touch panel provided integrally with the display input device 19. .

13.停止義務地点学習処理の手順
次に、本実施形態に係るナビゲーション装置1に適用される、停止義務地点学習装置2において実行される停止義務地点学習処理の手順について説明する。図8は、本実施形態に係る停止義務地点学習プログラムの処理順序を示すフローチャートであり、図9は、停止義務地点決定処理の処理手順を示すフローチャートである。以下に説明する停止義務地点学習処理の手順は、上記の停止義務地点学習装置2の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方の組み合せにより実行される。停止義務地点学習装置2の各機能部がプログラムにより構成される場合には、停止義務地点学習装置2が有する演算処理装置は、上記の各機能部を構成する停止義務地点学習プログラムを実行するコンピュータとして動作する。
13. Next, the procedure of the stop duty point learning process executed in the stop duty point learning device 2 applied to the navigation device 1 according to the present embodiment will be described. FIG. 8 is a flowchart showing the processing order of the stop duty point learning program according to this embodiment, and FIG. 9 is a flowchart showing the processing procedure of the stop duty point determination process. The procedure of the stop duty point learning process described below is executed by hardware, software (program), or a combination of both constituting each functional unit of the stop duty point learning device 2 described above. When each function part of the stop duty point learning device 2 is configured by a program, the arithmetic processing unit included in the stop duty point learning device 2 is a computer that executes the stop duty point learning program that constitutes each of the above function units. Works as.

まず、停止義務地点学習処理の全体の手順について説明する。図8に示すように、まず自車位置情報取得部3は、GPS受信機15、方位センサ16及び距離センサ17からの出力に基づき、自車位置情報Pを取得する(ステップ#01)。次に認識範囲設定部5は、自車位置情報P及び地図情報Mに基づき、自車位置よりも進行方向前方側の所定距離D内にある直近の交差点Tに対応するノードnを抽出し(ステップ#02)、当該交差点Tを基準として、停止義務指標Iの画像認識を行う画像認識範囲Cを設定する(ステップ#03)。次に認識範囲設定部5は、交差点Tよりもさらに自車位置の進行方向前方側に存在する次の交差点T’に対応するノードn’を抽出し(ステップ#04)、当該交差点T’を基準として、停止義務指標Iの画像認識を行う画像認識範囲C’を設定する(ステップ#05)。次に認識範囲設定部5は、画像認識範囲Cと画像認識範囲C’とが相互に重複しているか否かを判定する(ステップ#06)。画像認識範囲Cと画像認識範囲C’とが相互に重複していると判定された場合には(ステップ#06:Yes)、再度ステップ#04からステップ#06の処理を繰り返す。一方、画像認識範囲Cと画像認識範囲C’とが相互に重複していないと判定された場合には(ステップ#06:No)、重複範囲数取得部6は、和範囲Aに含まれる画像認識範囲Cの個数を表す重複範囲数Nlを取得し(ステップ#07)、重複範囲数Nlが2以上であるか否かを判定する(ステップ#08)。重複範囲数Nlが2未満、すなわち「1」であると判定された場合には(ステップ#08:No)、画像認識部7は、画像認識範囲Cにおいて自車位置周辺の画像情報Gに含まれる停止義務指標Iの画像認識を行い(ステップ#13)、その後ステップ#14に進む。一方、重複範囲数Nlが2以上であると判定された場合には(ステップ#08:Yes)、認識範囲設定部5は、それぞれの画像認識範囲Cについて、重複範囲L及び非重複範囲Rの設定を行なう(ステップ#09)。   First, the overall procedure of the stop duty point learning process will be described. As shown in FIG. 8, first, the vehicle position information acquisition unit 3 acquires the vehicle position information P based on the outputs from the GPS receiver 15, the direction sensor 16, and the distance sensor 17 (step # 01). Next, the recognition range setting unit 5 extracts the node n corresponding to the nearest intersection T within the predetermined distance D ahead of the own vehicle position in the traveling direction based on the own vehicle position information P and the map information M ( In step # 02), an image recognition range C for performing image recognition of the stop duty index I is set with the intersection T as a reference (step # 03). Next, the recognition range setting unit 5 extracts a node n ′ corresponding to the next intersection T ′ existing further forward than the intersection T in the traveling direction of the host vehicle position (step # 04), and determines the intersection T ′. As a reference, an image recognition range C ′ for performing image recognition of the stop obligation index I is set (step # 05). Next, the recognition range setting unit 5 determines whether or not the image recognition range C and the image recognition range C ′ overlap each other (step # 06). If it is determined that the image recognition range C and the image recognition range C ′ overlap each other (step # 06: Yes), the processing from step # 04 to step # 06 is repeated again. On the other hand, when it is determined that the image recognition range C and the image recognition range C ′ do not overlap each other (step # 06: No), the overlapping range number acquisition unit 6 determines that the images included in the sum range A The overlapping range number Nl representing the number of recognition ranges C is acquired (step # 07), and it is determined whether the overlapping range number Nl is 2 or more (step # 08). When it is determined that the overlapping range number Nl is less than 2, that is, “1” (step # 08: No), the image recognition unit 7 includes the image recognition range C in the image information G around the vehicle position. Is recognized (step # 13), and then the process proceeds to step # 14. On the other hand, when it is determined that the overlapping range number Nl is 2 or more (step # 08: Yes), the recognition range setting unit 5 sets the overlapping range L and the non-overlapping range R for each image recognition range C. Setting is made (step # 09).

次に画像認識部7は、画像認識範囲Cにおいて自車位置周辺の画像情報Gに含まれる停止義務指標Iの画像認識を行う(ステップ#10)。そして停止義務地点数計測部8は、和範囲Aにおいて画像認識に成功した停止義務指標Iの個数を表す停止義務地点数Nsを計測する(ステップ#11)。次に停止義務地点決定部9は、重複範囲数Nl及び停止義務地点数Nsに基づいて停止義務情報sを関連付ける交差点Tを決定する停止義務地点決定処理を実行する(ステップ#12)。停止義務地点決定処理の手順については後述する。最後に、停止義務情報生成部10は停止義務情報sを生成するとともに、それぞれの停止義務情報sは、関連付けられるべき交差点Tに対応するリンク情報に関連付けて記憶される(ステップ#14)。このとき、ステップ#08で重複範囲数Nlが2以上であると判定されていた場合にあっては、停止義務地点決定処理により決定された結果に従って、それぞれの停止義務情報sが関連付けられるべき交差点Tに対応するリンク情報に関連付けて記憶される。以上で、停止義務地点学習処理を終了する。   Next, the image recognition unit 7 performs image recognition of the stop obligation index I included in the image information G around the vehicle position in the image recognition range C (step # 10). Then, the stop duty point number measuring unit 8 measures the stop duty point number Ns indicating the number of the stop duty index I that has succeeded in image recognition in the sum range A (step # 11). Next, the stop duty point determination unit 9 executes a stop duty point determination process for determining the intersection T with which the stop duty information s is associated based on the overlapping range number Nl and the stop duty point number Ns (step # 12). The procedure of the stop duty point determination process will be described later. Finally, the stop duty information generating unit 10 generates stop duty information s, and each stop duty information s is stored in association with link information corresponding to the intersection T to be associated (step # 14). At this time, if it is determined in step # 08 that the overlapping range number Nl is 2 or more, according to the result determined by the stop duty point determination process, each stop duty information s should be associated. It is stored in association with the link information corresponding to T. Thus, the stop duty point learning process is completed.

14.停止義務地点決定処理の手順
次に、ステップ#12の停止義務地点決定処理の詳細について説明する。図9に示すように、まず停止義務地点決定部9は、停止義務地点数Nsと重複範囲数Nlとが等しいか否かを判定する(ステップ#21)。停止義務地点数Nsと重複範囲数Nlとが等しいと判定された場合には(ステップ#21:Yes)、停止義務地点決定部9は、和範囲Aを構成するそれぞれの画像認識範囲Cに対応する交差点Tに停止義務情報sを関連付けるように決定する(ステップ#22)。一方、停止義務地点数Nsと重複範囲数Nlとが等しくないと判定された場合には(ステップ#21:No)、次に停止義務地点決定部9は、停止義務地点数Nsが「0」であるか否かを判定する(ステップ#23)。停止義務地点数Nsが「0」であると判定された場合には(ステップ#23:Yes)、停止義務地点決定部9は、和範囲Aを構成するそれぞれの画像認識範囲Cに対応する交差点Tには停止義務情報sを関連付けないと決定する(ステップ#24)。一方、停止義務地点数Nsが「0」ではない、すなわち停止義務地点数Nsが1以上重複範囲数Nl未満であると判定された場合には(ステップ#23:No)、次に停止義務地点決定部9は、画像認識部7が停止義務指標Iの画像認識に成功した位置が、非重複範囲R内であるか否かを判定する(ステップ#25)。非重複範囲R内であると判定された場合には(ステップ#25:Yes)、停止義務地点決定部9は、当該非重複範囲Rに対応する交差点Tに停止義務情報sを関連付けるように決定する(ステップ#26)。一方、非重複範囲R内ではない、すなわち重複範囲L内であると判定された場合には(ステップ#25:No)、停止義務地点決定部9は、当該重複範囲Lを含む複数の画像認識範囲Cに対応する交差点Tには停止義務情報sを関連付けないと決定する(ステップ#27)。以上で、停止義務地点決定処理を終了する。
14 Next, details of the stop duty point determination process in step # 12 will be described. As shown in FIG. 9, the stop duty point determination unit 9 first determines whether or not the stop duty point number Ns and the overlapping range number Nl are equal (step # 21). When it is determined that the number Ns of stop duty points and the number Nl of overlapping ranges are equal (step # 21: Yes), the stop duty point determination unit 9 corresponds to each image recognition range C constituting the sum range A. It is determined to associate the stop obligation information s with the intersection T to be performed (step # 22). On the other hand, when it is determined that the number Ns of stop duty points and the overlap range number Nl are not equal (step # 21: No), the stop duty point determination unit 9 then sets the stop duty point number Ns to “0”. Is determined (step # 23). When it is determined that the stop duty point number Ns is “0” (step # 23: Yes), the stop duty point determination unit 9 performs intersections corresponding to the respective image recognition ranges C constituting the sum range A. It is determined that the stop obligation information s is not associated with T (step # 24). On the other hand, if it is determined that the number Ns of stop duty points is not “0”, that is, the number Ns of stop duty points is 1 or more and less than the overlapping range number Nl (step # 23: No), then the stop duty point The determination unit 9 determines whether or not the position at which the image recognition unit 7 has successfully recognized the stop obligation index I is within the non-overlapping range R (step # 25). When it is determined that it is within the non-overlapping range R (step # 25: Yes), the stop duty point determination unit 9 determines to associate the stop duty information s with the intersection T corresponding to the non-overlapping range R. (Step # 26). On the other hand, when it is determined that it is not within the non-overlapping range R, that is, within the overlapping range L (step # 25: No), the stop duty point determination unit 9 recognizes a plurality of images including the overlapping range L. It is determined that the stop duty information s is not associated with the intersection T corresponding to the range C (step # 27). The stop duty point determination process is thus completed.

〔その他の実施形態〕
(1)上記の実施形態においては、交差点T1に対応する画像認識範囲C1と交差点T2に対応する画像認識範囲C2とが重複し、交差点T2に対応する画像認識範囲C2と交差点T3に対応する画像認識範囲C3とは重複しない場合、すなわち重複範囲数Nlが「2」である場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、本発明は重複範囲数Nlが3以上である場合にも当然適用することができる。図10に、重複範囲数Nlが「4」である場合の例を示した。図示の例にあっては、交差点T1に対応する画像認識範囲C1、交差点T2に対応する画像認識範囲C2、交差点T3に対応する画像認識範囲C3、及び交差点T4に対応する画像認識範囲C4が順次重複している。なお、図示はされていないが、交差点T4に対応する画像認識範囲C4と、交差点T4の次に現れる交差点T5に対応する画像認識範囲C5とは重複していない。この場合、画像認識範囲C1から画像認識範囲C4までを連続する一つの範囲として捉えた範囲が「和範囲A」とされる。そして、画像認識範囲C1は非重複範囲R1と重複範囲L12とに分けられ、画像認識範囲C2は重複範囲L12と非重複範囲R2と重複範囲L23とに分けられる。また、画像認識範囲C3は重複範囲L23と非重複範囲R3と重複範囲L34とに分けられ、画像認識範囲C4は重複範囲L34と非重複範囲R4とに分けられる。
[Other Embodiments]
(1) In the above embodiment, the image recognition range C1 corresponding to the intersection T1 and the image recognition range C2 corresponding to the intersection T2 overlap, and the image recognition range C2 corresponding to the intersection T2 and the image corresponding to the intersection T3. The case where there is no overlap with the recognition range C3, that is, the case where the overlap range number Nl is “2” has been described as an example. However, the embodiment of the present invention is not limited to this. That is, the present invention can naturally be applied to the case where the overlapping range number Nl is 3 or more. FIG. 10 shows an example in which the overlapping range number Nl is “4”. In the illustrated example, an image recognition range C1 corresponding to the intersection T1, an image recognition range C2 corresponding to the intersection T2, an image recognition range C3 corresponding to the intersection T3, and an image recognition range C4 corresponding to the intersection T4 are sequentially provided. Duplicate. Although not shown, the image recognition range C4 corresponding to the intersection T4 does not overlap with the image recognition range C5 corresponding to the intersection T5 appearing next to the intersection T4. In this case, a range obtained as a continuous range from the image recognition range C1 to the image recognition range C4 is set as a “sum range A”. Then, the image recognition range C1 is divided into a non-overlapping range R 1 and overlapping range L 12, the image recognition range C2 is divided into the overlapping range L 12 and the non-overlapping range R 2 and overlapping range L 23. Further, the image recognition range C3 is divided into a duplicated range L 23 and the non-overlapping range R 3 and overlapping range L 34, the image recognition range C4 is divided into an overlapping range L 34 and a non-overlapping range R 4.

この例においては、和範囲Aにおいて画像認識に成功した停止義務指標Iの個数を表す停止義務地点数Nsが「4」であった場合には、停止義務地点決定部9は、和範囲Aを構成するそれぞれの画像認識範囲C1〜C4に対応する交差点T1〜T4に停止義務情報sを関連付けるように決定する。また、和範囲Aにおいて画像認識に成功した停止義務指標Iの個数を表す停止義務地点数Nsが「0」であった場合には、停止義務地点決定部9は、和範囲Aを構成するそれぞれの画像認識範囲C1〜C4に対応する交差点T1〜T4には停止義務情報sを関連付けないと決定する。そして、和範囲Aにおいて画像認識に成功した停止義務指標Iの個数を表す停止義務地点数Nsが「1」から「3」のいずれかであった場合には、画像認識部7が非重複範囲R1、R2、R3、R4のいずれかにおいて停止義務指標Iの画像認識に成功した場合には、停止義務地点決定部9は、当該非重複範囲Rにそれぞれ対応する交差点T1、T2、T3、T4に停止義務情報sを関連付けるように決定する。一方、画像認識部7が重複範囲L12、L23、L34のいずれかにおいて停止義務指標Iの画像認識に成功した場合には、停止義務地点決定部9は、当該重複範囲Lを含む複数の画像認識範囲Cに対応する交差点Tには停止義務情報sを関連付けないと決定する。 In this example, when the stop duty point number Ns representing the number of stop duty indices I that have been successfully recognized in the sum range A is “4”, the stop duty point determination unit 9 sets the sum range A to It is determined that the stop duty information s is associated with the intersections T1 to T4 corresponding to the respective image recognition ranges C1 to C4. When the stop duty point number Ns representing the number of stop duty indicators I that have been successfully recognized in the sum range A is “0”, the stop duty point determination unit 9 configures the sum range A. It is determined that the stop duty information s is not associated with the intersections T1 to T4 corresponding to the image recognition ranges C1 to C4. When the number Ns of stop duty points indicating the number of stop duty indices I that have been successfully recognized in the sum range A is any one of “1” to “3”, the image recognition unit 7 When image recognition of the stop duty index I is successful in any of R 1 , R 2 , R 3 , and R 4 , the stop duty point determination unit 9 determines the intersections T1 and T2 corresponding to the non-overlapping range R, respectively. , T3, and T4 are determined to be associated with the stop obligation information s. On the other hand, when the image recognition unit 7 succeeds in the image recognition of the stop duty index I in any of the overlapping ranges L 12 , L 23 , and L 34 , the stop duty point determining unit 9 includes a plurality of the overlapping ranges L including the overlapping range L. It is determined that the stop duty information s is not associated with the intersection T corresponding to the image recognition range C.

(2)上記の実施形態においては、停止義務指標Iが存在する位置を中心として画像認識範囲Cが設定され得るようにする目的で、交差点Tに対応するノードnの位置を第一の基準点B1とするとともに、リンクk(車両の進行方向)に沿って自車位置側へ所定距離Wだけオフセットした位置を第二の基準点B2とし、リンクk(車両の進行方向)に沿って第二の基準点B2の両側にそれぞれ所定距離Eだけ広げた範囲を画像認識範囲Cとして設定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、第二の基準点B2を設定することなく、交差点Tに対応するノードnの位置の両側にそれぞれ所定距離Eだけ広げた範囲を画像認識範囲Cとして設定しても良い。この場合、停止義務指標Iが存在する位置が画像認識範囲Cの中心と略一致しなくなる状況も生じ得るが、画像認識範囲Cの設定方法を単純化し、そのための処理負荷を軽減することができる。 (2) In the above embodiment, the position of the node n corresponding to the intersection T is set to the first reference point for the purpose of enabling the image recognition range C to be set around the position where the stop duty index I exists. B1 and a position offset by a predetermined distance W toward the vehicle position along the link k (vehicle traveling direction) as a second reference point B2, and the second along the link k (vehicle traveling direction). An example has been described in which a range expanded by a predetermined distance E on both sides of the reference point B2 is set as the image recognition range C. However, the embodiment of the present invention is not limited to this. That is, a range expanded by a predetermined distance E on both sides of the position of the node n corresponding to the intersection T may be set as the image recognition range C without setting the second reference point B2. In this case, there may occur a situation in which the position where the stop obligation index I exists does not substantially coincide with the center of the image recognition range C. However, the method for setting the image recognition range C can be simplified, and the processing load therefor can be reduced. .

(3)上記の実施形態においては、所定距離Wを、交差点T1において自車両が走行中の道路と交差する道路の道路幅の1/2に予め設定された一定距離を加えて設定される可変値とするとともに、所定距離Eを、自車位置情報Pが有する誤差の最大値に合わせて設定される固定値とする場合を例として説明した。しかし、所定距離Wや所定距離Eの大きさの設定は任意であり、これらに限定されない。例えば、所定距離Wを予め設定された固定値としたり、所定距離Eを、マップマッチング処理後の走行距離に応じて設定される可変値としたりしても良い。 (3) In the above embodiment, the predetermined distance W is set by adding a predetermined distance to a half of the road width of the road intersecting with the road where the host vehicle is traveling at the intersection T1. As an example, a case has been described in which the predetermined distance E is a fixed value set in accordance with the maximum value of the error included in the vehicle position information P. However, the settings of the predetermined distance W and the predetermined distance E are arbitrary and are not limited to these. For example, the predetermined distance W may be a fixed value set in advance, or the predetermined distance E may be a variable value set according to the travel distance after the map matching process.

(4)上記の実施形態においては、道路の路面に設けられた停止線と、当該停止線に隣接して設けられた「とまれ」の文字列のうちの文字「ま」及び「れ」との組み合せを停止義務指標Iとして設定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば道路の路面に設けられた停止線と当該停止線に隣接して設けられた「とまれ」の文字列全体を停止義務指標Iとして設定することができる。また、一時停止義務があることを表す指標となり得るものであれば、これ以外にも、一時停止標識や、一時停止標識と停止線との組み合せ等を停止義務指標Iとして設定することもできる。 (4) In the above embodiment, the characters “MA” and “RE” in the stop line provided on the road surface of the road and the character string “TORAARE” provided adjacent to the stop line The case where the combination is set as the stop duty index I has been described as an example. However, the embodiment of the present invention is not limited to this. In other words, for example, the stop line provided on the road surface of the road and the entire character string of “to rare” provided adjacent to the stop line can be set as the stop duty index I. In addition to this, a stop sign, a combination of a stop sign and a stop line, or the like can be set as the stop duty index I as long as it can serve as an index indicating that there is a duty to stop.

(5)上記の実施形態においては、生成した停止義務情報sが関連付けられるべき交差点Tに対応するリンク情報に関連付けて記憶される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、生成した停止義務情報sを、関連付けられるべき交差点Tに対応するノード情報に関連付けて記憶する構成としても良い。この構成の場合、地図情報Mを構成するノードn自体が交差点に対応したものであることから、停止義務情報sを関連付けるべき一時停止義務のある交差点との対応が取りやすいというメリットがある。この場合にあっては、当該ノードnに接続されるリンクkのうち、どのリンクkとの接続部側に一時停止義務があるかを示す情報も合わせて記憶させておくことが好ましい。 (5) In the above embodiment, the case where the generated stop duty information s is stored in association with the link information corresponding to the intersection T to be associated with has been described as an example. However, the embodiment of the present invention is not limited to this. That is, the generated stop obligation information s may be stored in association with node information corresponding to the intersection T to be associated. In the case of this configuration, since the node n itself constituting the map information M corresponds to the intersection, there is an advantage that it is easy to correspond to the intersection having the suspension obligation to which the suspension obligation information s should be associated. In this case, it is preferable that information indicating which link k of the link k connected to the node n has a suspension obligation is stored together.

(6)上記の実施形態においては、生成した停止義務情報sが学習データベースDB3に記憶される場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば学習データベースDB3を設けずに、生成した停止義務情報sが、ノードn及びリンクkで構成される道路ネットワーク情報に関連付けられて、地図データベースDB1に直接記憶されるように構成してあっても良い。この場合にあっては、地図データベースDB1を、例えば、ハードディスクドライブ、DVD−RAMを備えたDVDドライブ等のように、情報の書換えが可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えた構成としておく。 (6) In the above embodiment, the case where the generated stop obligation information s is stored in the learning database DB3 has been described as an example. However, the embodiment of the present invention is not limited to this. That is, for example, without providing the learning database DB3, the generated stop obligation information s is associated with the road network information composed of the node n and the link k and stored directly in the map database DB1. May be. In this case, the map database DB1 has a hardware configuration of an apparatus having a recording medium capable of rewriting information and a driving means thereof, such as a hard disk drive, a DVD drive equipped with a DVD-RAM, and the like. It is set as the structure prepared as.

(7)上記の実施形態においては、自車両の後方の路面を撮像するバックカメラを用いて自車両の周辺の画像情報Gを取得する例について説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、例えば路面を含む自車両の前方の状況を撮像するフロントカメラを用いて自車両の周辺の画像情報Gを取得する構成としてあっても良い。一般的にフロントカメラは、自車両前方の比較的広範囲の画像情報Gを取得するように設けられることが多いので、例えば一時停止標識を停止義務指標Iとして設定する場合における撮像装置18の構成として適している。 (7) In the above embodiment, an example in which the image information G around the host vehicle is acquired using the back camera that captures the road surface behind the host vehicle has been described. However, the embodiment of the present invention is not limited to this. That is, for example, the configuration may be such that image information G around the host vehicle is acquired using a front camera that captures the situation ahead of the host vehicle including the road surface. In general, the front camera is often provided to acquire a relatively wide range of image information G in front of the host vehicle. Therefore, for example, as a configuration of the imaging device 18 when a stop sign is set as the stop obligation index I, Is suitable.

(8)上記の各実施形態においては、停止義務地点学習装置2及びナビゲーション装置1の全ての構成が車両に積載されている場合を念頭において説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、停止義務地点学習装置2及びナビゲーション装置1の一部が、通信ネットワークを介して車外に設けられた構成としてあっても良い。例えば、各機能部、各データベースの一部又は全部を、外部サーバーに設けた構成として、通信ネットワークを介在させて停止義務地点学習処理及びナビゲーション処理を行うように構成することもできる。 (8) In each of the embodiments described above, the case where all the configurations of the stop duty point learning device 2 and the navigation device 1 are loaded on the vehicle has been described. However, the embodiment of the present invention is not limited to this. That is, a part of the stop obligation point learning device 2 and the navigation device 1 may be provided outside the vehicle via a communication network. For example, a part or all of each functional unit and each database may be provided in an external server, and the stop duty point learning process and the navigation process may be performed via a communication network.

本発明は、一時停止義務があることを表す停止義務情報を生成して、当該停止義務情報を一時停止義務がある交差点に関連付けて記憶する停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置に好適に利用することができる。   The present invention relates to a stop duty point learning device, a stop duty point learning program that generates stop duty information indicating that there is a temporary stop duty, and stores the stop duty information in association with an intersection with a temporary stop duty, and a stop duty point learning program It can utilize suitably for the navigation apparatus using.

本実施形態に係るナビゲーション装置の概略構成を示すブロック図1 is a block diagram showing a schematic configuration of a navigation device according to the present embodiment. 地図データベースに記憶されている地図情報の構成の例を示す図The figure which shows the example of a structure of the map information memorize | stored in the map database 地物データベースに記憶されている道路標示の地物情報の例を示す図The figure which shows the example of the feature information of the road marking memorize | stored in the feature database 自車両への撮像装置の配置構成の一例を示す図The figure which shows an example of the arrangement configuration of the imaging device to the own vehicle 画像認識範囲の設定方法の一例を説明するための説明図Explanatory drawing for demonstrating an example of the setting method of an image recognition range 停止義務地点決定手段による停止義務情報を関連付ける交差点の決定方法を説明するための説明図Explanatory drawing for demonstrating the determination method of the intersection which links the stop duty information by the stop duty point determination means 停止義務地点決定手段による停止義務情報を関連付ける交差点の決定方法を説明するための説明図Explanatory drawing for demonstrating the determination method of the intersection which links the stop duty information by the stop duty point determination means 本実施形態に係る停止義務地点学習プログラムの処理順序を示すフローチャートThe flowchart which shows the processing order of the stop duty point learning program which concerns on this embodiment 停止義務地点決定処理の処理手順を示すフローチャートFlowchart showing the processing procedure of stop duty point determination processing 別実施形態に係る停止義務地点決定手段による停止義務情報を関連付ける交差点の決定方法を説明するための説明図Explanatory drawing for demonstrating the determination method of the intersection which links the stop duty information by the stop duty point determination means which concerns on another embodiment 従来技術の課題を説明するための説明図Explanatory drawing for demonstrating the subject of a prior art

符号の説明Explanation of symbols

1 ナビゲーション装置
2 停止義務地点学習装置
5 認識範囲設定部(認識範囲設定手段)
6 重複範囲数取得部(重複範囲数取得手段)
7 画像認識部(画像認識手段)
8 停止義務地点数計測部(停止義務地点数計測手段)
9 停止義務地点決定部(停止義務地点決定手段)
10 停止義務情報生成部(停止義務情報生成手段)
11 ナビゲーション用演算部
DB1 地図データベース(地図情報記憶手段)
G 画像情報
M 地図情報
n ノード
k リンク
s 停止義務情報
I 停止義務指標
C 画像認識範囲
A 和範囲
L 重複範囲
R 非重複範囲
Nl 重複範囲数
Ns 停止義務地点数
T 交差点
DESCRIPTION OF SYMBOLS 1 Navigation apparatus 2 Stop stop point learning apparatus 5 Recognition range setting part (recognition range setting means)
6 Overlapping range number acquisition unit (overlapping range number acquisition means)
7 Image recognition unit (image recognition means)
8 stop duty point number measurement part (stop duty point number measuring means)
9 Stop duty point determination section (stop duty point determination means)
10 Stop obligation information generator (stop duty information generator)
11 Calculation unit DB1 for navigation Map database (map information storage means)
G Image information M Map information n Node k Links s Stop obligation information I Stop obligation index C Image recognition range A Sum range L Overlapping range R Non-overlapping range Nl Overlapping range number Ns Stopping duty point number T Intersection

Claims (9)

一時停止義務があることを表す停止義務情報を生成して、当該停止義務情報を一時停止義務がある交差点に関連付けて記憶する停止義務地点学習装置であって、
一時停止義務があることを表す停止義務指標の画像認識を行う画像認識範囲を、各交差点を基準として設定する認識範囲設定手段と、
自車位置周辺の画像情報に含まれる、前記停止義務指標の画像認識を行なう画像認識手段と、
前記停止義務指標の画像認識結果に基づいて前記停止義務情報を生成する停止義務情報生成手段と、
前記画像認識範囲がN(Nは2以上の自然数)個に亘って順次重複している場合に、当該N個の前記画像認識範囲を連続する一つの範囲である和範囲とし、当該和範囲に含まれる、画像認識に成功した前記停止義務指標の個数に基づいて、前記停止義務情報を関連付ける交差点を決定する停止義務地点決定手段と、
を備える停止義務地点学習装置。
A stop duty point learning device that generates stop duty information indicating that there is a temporary stop duty and stores the stop duty information in association with an intersection with a temporary stop duty,
A recognition range setting means for setting an image recognition range for performing image recognition of a stop duty index indicating that there is a temporary stop duty, based on each intersection;
Image recognition means for performing image recognition of the stop duty index included in the image information around the vehicle position;
Stop duty information generating means for generating the stop duty information based on the image recognition result of the stop duty index;
When the image recognition ranges are sequentially overlapped over N (N is a natural number of 2 or more), the N image recognition ranges are set as a continuous range, and the sum range is included in the sum range. A stop duty point determining means for determining an intersection to be associated with the stop duty information based on the number of the stop duty indicators that have been successfully recognized in the image;
Stop duty point learning device comprising.
前記停止義務地点決定手段は、前記和範囲においてN個の前記停止義務指標の画像認識に成功した場合には、前記和範囲を構成するそれぞれの画像認識範囲に対応する交差点に前記停止義務情報を関連付けるように決定する請求項1に記載の停止義務地点学習装置。   When the stop duty point determining means succeeds in image recognition of the N stop duty indicators in the sum range, the stop duty point determination means sets the stop duty information at intersections corresponding to the image recognition ranges constituting the sum range. The stop duty point learning device according to claim 1, wherein the stop duty point learning device is determined to be associated. 前記停止義務地点決定手段は、前記和範囲において1個以上N個未満の前記停止義務指標の画像認識に成功した場合に、さらに、
隣接する画像認識範囲とは重複しない画像認識範囲である非重複範囲において前記停止義務指標の画像認識に成功した場合には、当該非重複範囲に対応する交差点に前記停止義務情報を関連付けるように決定し、
互いに隣接する画像認識範囲どうしが重複する範囲である重複範囲において前記停止義務指標の画像認識に成功した場合には、当該重複範囲を含む複数の前記画像認識範囲に対応する交差点には前記停止義務情報を関連付けないと決定する請求項1又は2記載の停止義務地点学習装置。
If the stop obligation point determination means succeeds in image recognition of the stop obligation index of 1 or more and less than N in the sum range,
When image recognition of the stop duty index is successful in a non-overlapping range that is an image recognition range that does not overlap with an adjacent image recognition range, the decision to associate the stop duty information with an intersection corresponding to the non-overlapping range And
When image recognition of the stop duty index is successful in an overlapping range in which image recognition ranges adjacent to each other overlap, the stop duty is given to intersections corresponding to a plurality of the image recognition ranges including the overlapping range. The stop duty point learning device according to claim 1, wherein it is determined that the information is not associated.
前記停止義務地点決定手段は、前記和範囲において前記停止義務指標の画像認識に成功しなかった場合には、前記和範囲を構成するそれぞれの画像認識範囲に対応する交差点には前記停止義務情報を関連付けないと決定する請求項1から3のいずれか一項に記載の停止義務地点学習装置。   When the stop duty point determining means does not succeed in image recognition of the stop duty index in the sum range, the stop duty information is provided at the intersection corresponding to each image recognition range constituting the sum range. The stop duty point learning device according to any one of claims 1 to 3, wherein the stop obligatory point learning device is determined not to be associated. 前記和範囲に含まれる前記画像認識範囲の個数を表す重複範囲数を取得する重複範囲数取得手段と、
前記和範囲において画像認識に成功した前記停止義務指標の個数を表す停止義務地点数を計測する停止義務地点数計測手段と、を備え、
前記停止義務地点決定手段は、前記重複範囲数及び前記停止義務地点数に基づいて、前記停止義務情報を関連付ける交差点を決定する請求項1から4のいずれか一項に記載の停止義務地点学習装置。
Overlapping range number acquisition means for acquiring the number of overlapping ranges representing the number of the image recognition ranges included in the sum range;
A stop duty point number measuring means for measuring the number of stop duty points indicating the number of the stop duty index that has been successfully image recognition in the sum range, and
The stop duty point learning device according to any one of claims 1 to 4, wherein the stop duty point determination unit determines an intersection that associates the stop duty information based on the number of overlapping ranges and the number of stop duty points. .
交差点に対応するノード及び各交差点を結ぶ道路に対応するリンクにより道路の接続関係を表す道路ネットワーク情報を含む地図情報を記憶した地図情報記憶手段を備え、
前記停止義務情報は、前記ノード又は前記リンクの一方端に関連付けて記憶される請求項1から5のいずれか一項に記載の停止義務地点学習装置。
Comprising map information storage means for storing map information including road network information representing connection relations of roads by nodes corresponding to intersections and links corresponding to roads connecting the intersections;
The stop duty point learning device according to any one of claims 1 to 5, wherein the stop duty information is stored in association with one end of the node or the link.
前記停止義務指標が、道路の路面に設けられた停止線と、当該停止線に隣接して設けられた「とまれ」の文字列の中の少なくとも一部の文字との組み合せである請求項1から6のいずれか一項に記載の停止義務地点学習装置。   The stop duty index is a combination of a stop line provided on a road surface of a road and at least a part of characters in a character string of “to rare” provided adjacent to the stop line. The stop duty point learning device according to any one of claims 6 to 6. 請求項1から7のいずれか一項に記載の停止義務地点学習装置と、
前記停止義務情報に基づいて、前記一時停止義務がある交差点についての案内を行う案内手段と、
を備えるナビゲーション装置。
Stop duty point learning device according to any one of claims 1 to 7,
Based on the stop duty information, guide means for guiding the intersection having the temporary stop duty;
A navigation device comprising:
一時停止義務があることを表す停止義務情報を生成して、当該停止義務情報を一時停止義務がある交差点に関連付けて記憶する処理をコンピュータに実行させる停止義務地点学習プログラムであって、
一時停止義務があることを表す停止義務指標の画像認識を行う画像認識範囲を、各交差点を基準として設定する認識範囲設定ステップと、
自車位置周辺の画像情報に含まれる、前記停止義務指標の画像認識を行なう画像認識ステップと、
前記停止義務指標の画像認識結果に基づいて前記停止義務情報を生成する停止義務情報生成ステップと、
前記画像認識範囲がN(Nは2以上の自然数)個に亘って順次重複している場合に、当該連続するN個の前記画像認識範囲を連続する一つの範囲である和範囲とし、当該和範囲に含まれる、画像認識に成功した前記停止義務指標の個数に基づいて、前記停止義務情報を関連付ける交差点を決定する停止義務地点決定ステップと、
をコンピュータに実行させる停止義務地点学習プログラム。
A stop duty point learning program that generates stop duty information indicating that there is a temporary stop duty, and causes the computer to execute a process of storing the stop duty information in association with an intersection with the temporary stop duty,
A recognition range setting step for setting an image recognition range for performing image recognition of a stop duty index indicating that there is a temporary stop duty, based on each intersection;
An image recognition step for performing image recognition of the stop duty index included in the image information around the vehicle position;
A stop duty information generating step for generating the stop duty information based on an image recognition result of the stop duty index;
When the image recognition ranges are sequentially overlapped over N (N is a natural number equal to or greater than 2), the N consecutive image recognition ranges are set as one continuous range, and the sum A stop duty point determination step for determining an intersection to be associated with the stop duty information based on the number of the stop duty indices that have been successfully recognized in the image included in the range;
Stop point learning program to make the computer execute.
JP2008171695A 2008-06-30 2008-06-30 Stop duty point learning device, stop duty point learning program, and navigation device using the same Expired - Fee Related JP5001911B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008171695A JP5001911B2 (en) 2008-06-30 2008-06-30 Stop duty point learning device, stop duty point learning program, and navigation device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008171695A JP5001911B2 (en) 2008-06-30 2008-06-30 Stop duty point learning device, stop duty point learning program, and navigation device using the same

Publications (2)

Publication Number Publication Date
JP2010008390A JP2010008390A (en) 2010-01-14
JP5001911B2 true JP5001911B2 (en) 2012-08-15

Family

ID=41589061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008171695A Expired - Fee Related JP5001911B2 (en) 2008-06-30 2008-06-30 Stop duty point learning device, stop duty point learning program, and navigation device using the same

Country Status (1)

Country Link
JP (1) JP5001911B2 (en)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06347278A (en) * 1993-06-10 1994-12-20 Alpine Electron Inc Existent link detection method of vehicle
JP3811238B2 (en) * 1996-12-16 2006-08-16 トヨタ自動車株式会社 Voice guidance device for vehicles using image information
JPH1137776A (en) * 1997-07-24 1999-02-12 Denso Corp Navigation apparatus for vehicle
JP2006151014A (en) * 2004-11-25 2006-06-15 Denso Corp Safety operation support system
JP2006277547A (en) * 2005-03-30 2006-10-12 Toyota Motor Corp Vehicle driving assistance device
JP2006330908A (en) * 2005-05-24 2006-12-07 Toyota Motor Corp Position recording apparatus and position recording method
JP4631750B2 (en) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 Image processing system
JP2007257299A (en) * 2006-03-23 2007-10-04 Honda Motor Co Ltd Outside vehicle recognition device
JP4724043B2 (en) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 Object recognition device

Also Published As

Publication number Publication date
JP2010008390A (en) 2010-01-14

Similar Documents

Publication Publication Date Title
JP4950858B2 (en) Image recognition apparatus and image recognition program
EP2113746B1 (en) Feature information collecting device and feature information collecting program, and vehicle position recognizing device and navigation device
JP4437556B2 (en) Feature information collecting apparatus and feature information collecting method
JP4446201B2 (en) Image recognition apparatus and image recognition method
JP4703605B2 (en) Feature extraction method, image recognition method and feature database creation method using the same
JP4861850B2 (en) Lane determination device and lane determination method
CN101675442B (en) Lane determination device, lane determination method, and navigation equipment using the same
JP4984152B2 (en) Image recognition system, server device, and image recognition device
JP5670840B2 (en) Map creation apparatus, method, and in-vehicle navigation apparatus
JP5141969B2 (en) Image recognition apparatus, image recognition program, and point information collection apparatus and navigation apparatus using the same
JP4953012B2 (en) Image recognition device, program for image recognition device, navigation device using the same, and program for navigation device
JP2009008589A (en) Device and program for recognzing one&#39;s own vehicle position
JP2008250687A (en) Feature information collection device and feature information collection method
JP4861851B2 (en) Lane determination device, lane determination method, and navigation device using the same
JP4953015B2 (en) Own vehicle position recognition device, own vehicle position recognition program, and navigation device using the same
JP4831433B2 (en) Own vehicle position recognition device, own vehicle position recognition program, and navigation device
JP5071737B2 (en) Lane determination device, lane determination program, and navigation device using the same
JP4731380B2 (en) Self-vehicle position recognition device and self-vehicle position recognition method
JP5001911B2 (en) Stop duty point learning device, stop duty point learning program, and navigation device using the same
JP2009008591A (en) Device and program for recognizing one&#39;s own vehicle position
JP2009058430A (en) Navigation apparatus and program
JP4497424B2 (en) Feature recognition device, feature recognition method, lane determination device and lane determination method using the same
US20220373349A1 (en) Navigation device
JP4943246B2 (en) Lane determination device, lane determination program, and navigation device using the same
JP3766502B2 (en) Navigation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20111202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20111202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120518

R150 Certificate of patent or registration of utility model

Ref document number: 5001911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees