JP4005679B2 - 自律走行車の周囲環境認識装置 - Google Patents
自律走行車の周囲環境認識装置 Download PDFInfo
- Publication number
- JP4005679B2 JP4005679B2 JP31852397A JP31852397A JP4005679B2 JP 4005679 B2 JP4005679 B2 JP 4005679B2 JP 31852397 A JP31852397 A JP 31852397A JP 31852397 A JP31852397 A JP 31852397A JP 4005679 B2 JP4005679 B2 JP 4005679B2
- Authority
- JP
- Japan
- Prior art keywords
- ground
- dimensional object
- parallax
- distance image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001514 detection method Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 239000002420 orchard Substances 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 238000005507 spraying Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 239000000575 pesticide Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000003905 agrochemical Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置に関する。
【０００２】
【従来の技術】
従来より、ゴルフ場、河川敷堤防、公園における草刈、芝刈作業や果樹園での農薬散布等の各種フィールドでの作業を無人で行いながら自律的に走行する自律走行車に係わる開発が積極的に行われている。
【０００３】
この自律走行車では、光電センサや超音波センサ等の各種センサを用いて走行制御に必要な情報を得たり、誘導ケーブルによって走行制御を行うようにしているが、センサによってはガイドやビーコン等を敷設する必要があり、また、誘導ケーブルでは、切れやすい、コストがかかる、保守管理が大変であるといった問題がある。
【０００４】
このため、近年では、画像処理の技術を適用して周囲環境を認識し、走行制御を行う技術が開発されており、例えば、特開昭６３−３１４６１６号公報には、２台のカメラを用いて撮像した進行方向のステレオ画像から自己位置を検出することにより、自律走行制御を行なう技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、果樹園等での自律走行では、木や枝等の立体障害物だけでなく、窪地、丘、段差等を考慮した走行可能領域の判断及び車体制御が必要であり、明暗の大きい環境下で撮像した一対の画像（基準画像及び比較画像）をステレオ処理して樹木等の立体物と地面形状とを３次元的に把握しなければならない。
【０００６】
しかしながら、明暗の大きい画像をバランスの取れた明るさに調整すると、カメラのダイナミックレンジの関係で地面部の輝度がつぶれてしまう（周りと非常によく似る）傾向があり、基準画像の小領域と比較画像の小領域との輝度差によるシティブロック距離を用いて２つの画像のマッチングを取る従来のステレオ処理では、シティブロック距離の変化がつきにくく、立体物と区別して地面部を検出することは困難であった。
【０００７】
この場合、地面部に合わせて画像全体の明るさを調整すると、取り込んだ画像から地面は検出できても、ほかの立体物が検出しづらくなってしまい、さらには、２台のカメラのゲイン調整（明るさの調整）のちょっとしたずれの影響を受けて視差検出の誤りが多くなる。
【０００８】
本発明は上記事情に鑑みてなされたもので、明暗の大きい環境下でステレオ撮像した一対の画像から立体物と地面部とを誤り無く検出し、立体物及び地面部の３次元情報を同時に得ることのできる自律走行車の周囲環境認識装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、２台１組のカメラからなるステレオカメラを搭載し、このステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置であって、立体物と地面部とを含む１対の撮像画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成する手段と、上記１対の撮像画像に対し、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する手段と、上記立体物主体の距離画像と上記地面主体の距離画像とを合成し、上記１対の撮像画像に対して画面全体に渡る遠近情報を数値化した距離画像を生成する手段とを備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を、地面部の視差検出範囲として設定することを特徴とする。
【００１１】
すなわち、本発明では、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成する。
【００１２】
この際、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の一形態に係わり、図１は周囲環境認識装置の構成図、図２は地面部ステレオ処理部の構成図、図３は元画像から立体物主体の距離画像を生成した例を示す説明図、図４はカメラと平面との位置関係を示す説明図、図５は視差検出範囲の説明図、図６は元画像から地面主体の距離画像を生成した例を示す説明図、図７は出力距離画像を示す説明図である。
【００１４】
図１において、符号１は、自律走行車、例えば果樹園における農薬散布等の作業を無人で行う作業ロボット等に搭載され、周囲を撮像した画像を処理して障害物や自己位置を認識し、地形に応じた姿勢制御を伴う自律移動をアシストする周囲環境認識装置である。
【００１５】
この周囲環境認識装置１は、２台１組のカメラ１０ａ，１０ｂからなるステレオカメラ１０、立体物ステレオ処理部２０、地面部ステレオ処理部３０、データ選択部４０、距離画像メモリ５０、認識部６０等から構成されており、果樹園等の明暗の大きい環境下で撮像した１対の元画像（基準画像及び比較画像）を立体物ステレオ処理部２０と地面部ステレオ処理部３０との２系統に分配して並列処理し、各並列処理結果を統合することで、木や枝葉等の立体障害物と、窪地、丘、段差等の地面形状とを同時に認識する。
【００１６】
具体的には、立体物ステレオ処理部２０では、２台１組のステレオカメラ１０で撮像した一対の画像をステレオマッチングして立体物主体の距離画像を生成する。この処理では、まず、地面部と樹木等の立体物とを含む元画像に対してエッジ検出を強めに行って地面部を排除し、この地面部を排除した画像の小領域、例えば４×４画素の小領域毎に、互いの画素の輝度の差から以下の(1)式に示すシティブロック距離Ｃ１を計算する。
【００１７】
Ｃ１＝Σ｜Ａi−Ｂi｜ …(1)
但し、Ａi：基準画像の小領域におけるｉ番目画素の輝度
Ｂi：比較画像の小領域におけるｉ番目画素の輝度
Σ ：ｉ＝０〜ｎ（小領域内の画素数）の総和
そして、上記(1)式によるシティブロック距離Ｃ１が最小となる比較画像の小領域を基準画像の小領域に対応する場所として決定し、互いに対応する小領域で対象物までの距離に応じて生じる画素のズレ（＝視差）を求めた後、この視差から得られる立体物までの遠近情報を数値化した３次元画像情報（距離画像）を生成する。
【００１８】
すなわち、この立体物主体のステレオ処理では、通常のステレオ処理（例えば、本出願人による特開平５−１１４０９９号公報に詳述されている）に対してエッジ検出を強めに行うことで、例えば、図３に示すような元画像から立体物主体の距離画像を生成し、地面部を排除した立体物だけの距離データを得るようにしている。
【００１９】
一方、上記地面部ステレオ処理部３０は、図２に示すように、視差検出範囲設定部３１、輝度微分シティブロック距離計算部３２、視差検出部３３等から構成されており、ステレオカメラ１０で撮像した一対の画像をステレオマッチングし、地面主体の距離画像を生成する。
【００２０】
すなわち、地面はある程度平面とみなすことができることから、視差検出範囲設定部３１では、地面を平面と仮定して基準画像の１つの小領域にマッチングする比較画像の小領域の位置を推測し、視差を検出する範囲を設定する。
【００２１】
図４に示すように、カメラが平面を写しているとすると、カメラの平面からの高さをＨ、画面上の消失点を（Ｘv，Ｙv）、画面上の任意の点を（Ｘi，Ｙi）、焦点距離をｆとして、任意点の実際の距離Ｚは、以下の(2)式で与えられる。
【００２２】
Ｚ＝Ｈ／ｔａｎ（ｔａｎ-1(Ｙv／ｆ)−ｔａｎ-1(Ｙi／ｆ)）…(2)
また、2台のカメラ１０ａ，１０ｂの基線長（カメラ光軸間の距離）をｒ、視差をｘとすると、レンズから目標物体までの距離Ｄは、以下の(3)式で与えられる。
【００２３】
Ｄ＝ｒｆ／ｘ …(3)
従って、上記(2)式の右辺と上記(3)式の右辺とが等しいとみなすことにより、およその視差を求めることができ、このおよその視差を用いて地面を平面と仮定した場合の基準画像の１つの小領域、例えば８×２画素の小領域に対し、図５に示すように、マッチングする比較画像の小領域の位置を推測する。そして、この推測点から水平走査方向の前後所定範囲を、比較画像の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【００２４】
次に、輝度微分シティブロック距離計算部３２では、視差検出範囲内の小領域毎に、以下の(4)式による輝度微分のシティブロック距離Ｃ２を計算する。すなわち、地面部は、各部分の輝度が周りと非常によく似ており、通常のマッチング処理のように２枚の画像の輝度の差をとるだけでは視差検出の誤りが多くなる。このため、輝度の差でマッチングをとるのではなく、輝度変化点を検出することにより、マッチングをとる。
【００２５】
Ｃ２＝Σ｜(Ａi−Ａi-1)−(Ｂi−Ｂi-1)｜ …(4)
そして、視差検出部３３で、上記(4)式による輝度微分のシティブロック距離Ｃ２が最小となる比較画像の小領域を、基準画像の小領域に対応する場所として決定して互いの視差を求め、この視差から得られる地面部の遠近情報を数値化した３次元画像情報（距離画像）を生成する。図６は、元画像から輝度微分のシティブロック距離によって地面主体の距離画像を生成した例である。
【００２６】
データ選択部４０では、上記立体物ステレオ処理部２０で生成された立体物主体の距離画像に、上記地面部ステレオ処理部３０で生成された地面主体の距離画像から選択した地面部のデータを埋め込み、図７に示すように、１つの距離画像として合成する。
【００２７】
上記データ選択部４０から出力される距離画像は上記距離画像メモリ５０にストされ、認識部６０に読み込まれる。この認識部６０では、距離画像メモリ５０からの３次元の距離情報に基づいて樹木等の立体物や地面の凹凸等を認識し、図示しない走行制御装置に自律走行のための情報を出力する。
【００２８】
これにより、例えば、果樹園における農薬散布で予め走行経路を学習させて自律走行を行う場合、丘があると認識された場合には減速し、段差があると認識された場合には徐行するといったように、その場に応じた走行可能領域を判断し、地形に応じた車体制御を伴う自律走行をアシストすることができる。
【００２９】
【発明の効果】
以上説明したように請求項１記載の発明によれば、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成するため、例えば、果樹園等の明暗の大きい環境下においても樹木等の立体物と地面部とを誤り無く検出して正確な３次元情報を得ることができ、正確な走行可能領域の判断を可能として地形に応じた車体制御を行う自律走行をアシストすることができる。
【００３０】
この場合、請求項２に記載したように、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【図面の簡単な説明】
【図１】周囲環境認識装置の構成図
【図２】地面部ステレオ処理部の構成図
【図３】元画像から立体物主体の距離画像を生成した例を示す説明図
【図４】カメラと平面との位置関係を示す説明図
【図５】視差検出範囲の説明図
【図６】元画像から地面主体の距離画像を生成した例を示す説明図
【図７】出力距離画像を示す説明図
【符号の説明】
１ …周囲環境認識装置
１０…ステレオカメラ
２０…立体物ステレオ処理部
３０…地面部ステレオ処理部
４０…データ選択部
５０…距離画像メモリ
６０…認識部
【発明の属する技術分野】
本発明は、ステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置に関する。
【０００２】
【従来の技術】
従来より、ゴルフ場、河川敷堤防、公園における草刈、芝刈作業や果樹園での農薬散布等の各種フィールドでの作業を無人で行いながら自律的に走行する自律走行車に係わる開発が積極的に行われている。
【０００３】
この自律走行車では、光電センサや超音波センサ等の各種センサを用いて走行制御に必要な情報を得たり、誘導ケーブルによって走行制御を行うようにしているが、センサによってはガイドやビーコン等を敷設する必要があり、また、誘導ケーブルでは、切れやすい、コストがかかる、保守管理が大変であるといった問題がある。
【０００４】
このため、近年では、画像処理の技術を適用して周囲環境を認識し、走行制御を行う技術が開発されており、例えば、特開昭６３−３１４６１６号公報には、２台のカメラを用いて撮像した進行方向のステレオ画像から自己位置を検出することにより、自律走行制御を行なう技術が開示されている。
【０００５】
【発明が解決しようとする課題】
ところで、果樹園等での自律走行では、木や枝等の立体障害物だけでなく、窪地、丘、段差等を考慮した走行可能領域の判断及び車体制御が必要であり、明暗の大きい環境下で撮像した一対の画像（基準画像及び比較画像）をステレオ処理して樹木等の立体物と地面形状とを３次元的に把握しなければならない。
【０００６】
しかしながら、明暗の大きい画像をバランスの取れた明るさに調整すると、カメラのダイナミックレンジの関係で地面部の輝度がつぶれてしまう（周りと非常によく似る）傾向があり、基準画像の小領域と比較画像の小領域との輝度差によるシティブロック距離を用いて２つの画像のマッチングを取る従来のステレオ処理では、シティブロック距離の変化がつきにくく、立体物と区別して地面部を検出することは困難であった。
【０００７】
この場合、地面部に合わせて画像全体の明るさを調整すると、取り込んだ画像から地面は検出できても、ほかの立体物が検出しづらくなってしまい、さらには、２台のカメラのゲイン調整（明るさの調整）のちょっとしたずれの影響を受けて視差検出の誤りが多くなる。
【０００８】
本発明は上記事情に鑑みてなされたもので、明暗の大きい環境下でステレオ撮像した一対の画像から立体物と地面部とを誤り無く検出し、立体物及び地面部の３次元情報を同時に得ることのできる自律走行車の周囲環境認識装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、２台１組のカメラからなるステレオカメラを搭載し、このステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置であって、立体物と地面部とを含む１対の撮像画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成する手段と、上記１対の撮像画像に対し、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する手段と、上記立体物主体の距離画像と上記地面主体の距離画像とを合成し、上記１対の撮像画像に対して画面全体に渡る遠近情報を数値化した距離画像を生成する手段とを備えたことを特徴とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明において、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を、地面部の視差検出範囲として設定することを特徴とする。
【００１１】
すなわち、本発明では、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成する。
【００１２】
この際、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することが望ましい。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の一形態に係わり、図１は周囲環境認識装置の構成図、図２は地面部ステレオ処理部の構成図、図３は元画像から立体物主体の距離画像を生成した例を示す説明図、図４はカメラと平面との位置関係を示す説明図、図５は視差検出範囲の説明図、図６は元画像から地面主体の距離画像を生成した例を示す説明図、図７は出力距離画像を示す説明図である。
【００１４】
図１において、符号１は、自律走行車、例えば果樹園における農薬散布等の作業を無人で行う作業ロボット等に搭載され、周囲を撮像した画像を処理して障害物や自己位置を認識し、地形に応じた姿勢制御を伴う自律移動をアシストする周囲環境認識装置である。
【００１５】
この周囲環境認識装置１は、２台１組のカメラ１０ａ，１０ｂからなるステレオカメラ１０、立体物ステレオ処理部２０、地面部ステレオ処理部３０、データ選択部４０、距離画像メモリ５０、認識部６０等から構成されており、果樹園等の明暗の大きい環境下で撮像した１対の元画像（基準画像及び比較画像）を立体物ステレオ処理部２０と地面部ステレオ処理部３０との２系統に分配して並列処理し、各並列処理結果を統合することで、木や枝葉等の立体障害物と、窪地、丘、段差等の地面形状とを同時に認識する。
【００１６】
具体的には、立体物ステレオ処理部２０では、２台１組のステレオカメラ１０で撮像した一対の画像をステレオマッチングして立体物主体の距離画像を生成する。この処理では、まず、地面部と樹木等の立体物とを含む元画像に対してエッジ検出を強めに行って地面部を排除し、この地面部を排除した画像の小領域、例えば４×４画素の小領域毎に、互いの画素の輝度の差から以下の(1)式に示すシティブロック距離Ｃ１を計算する。
【００１７】
Ｃ１＝Σ｜Ａi−Ｂi｜ …(1)
但し、Ａi：基準画像の小領域におけるｉ番目画素の輝度
Ｂi：比較画像の小領域におけるｉ番目画素の輝度
Σ ：ｉ＝０〜ｎ（小領域内の画素数）の総和
そして、上記(1)式によるシティブロック距離Ｃ１が最小となる比較画像の小領域を基準画像の小領域に対応する場所として決定し、互いに対応する小領域で対象物までの距離に応じて生じる画素のズレ（＝視差）を求めた後、この視差から得られる立体物までの遠近情報を数値化した３次元画像情報（距離画像）を生成する。
【００１８】
すなわち、この立体物主体のステレオ処理では、通常のステレオ処理（例えば、本出願人による特開平５−１１４０９９号公報に詳述されている）に対してエッジ検出を強めに行うことで、例えば、図３に示すような元画像から立体物主体の距離画像を生成し、地面部を排除した立体物だけの距離データを得るようにしている。
【００１９】
一方、上記地面部ステレオ処理部３０は、図２に示すように、視差検出範囲設定部３１、輝度微分シティブロック距離計算部３２、視差検出部３３等から構成されており、ステレオカメラ１０で撮像した一対の画像をステレオマッチングし、地面主体の距離画像を生成する。
【００２０】
すなわち、地面はある程度平面とみなすことができることから、視差検出範囲設定部３１では、地面を平面と仮定して基準画像の１つの小領域にマッチングする比較画像の小領域の位置を推測し、視差を検出する範囲を設定する。
【００２１】
図４に示すように、カメラが平面を写しているとすると、カメラの平面からの高さをＨ、画面上の消失点を（Ｘv，Ｙv）、画面上の任意の点を（Ｘi，Ｙi）、焦点距離をｆとして、任意点の実際の距離Ｚは、以下の(2)式で与えられる。
【００２２】
Ｚ＝Ｈ／ｔａｎ（ｔａｎ-1(Ｙv／ｆ)−ｔａｎ-1(Ｙi／ｆ)）…(2)
また、2台のカメラ１０ａ，１０ｂの基線長（カメラ光軸間の距離）をｒ、視差をｘとすると、レンズから目標物体までの距離Ｄは、以下の(3)式で与えられる。
【００２３】
Ｄ＝ｒｆ／ｘ …(3)
従って、上記(2)式の右辺と上記(3)式の右辺とが等しいとみなすことにより、およその視差を求めることができ、このおよその視差を用いて地面を平面と仮定した場合の基準画像の１つの小領域、例えば８×２画素の小領域に対し、図５に示すように、マッチングする比較画像の小領域の位置を推測する。そして、この推測点から水平走査方向の前後所定範囲を、比較画像の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【００２４】
次に、輝度微分シティブロック距離計算部３２では、視差検出範囲内の小領域毎に、以下の(4)式による輝度微分のシティブロック距離Ｃ２を計算する。すなわち、地面部は、各部分の輝度が周りと非常によく似ており、通常のマッチング処理のように２枚の画像の輝度の差をとるだけでは視差検出の誤りが多くなる。このため、輝度の差でマッチングをとるのではなく、輝度変化点を検出することにより、マッチングをとる。
【００２５】
Ｃ２＝Σ｜(Ａi−Ａi-1)−(Ｂi−Ｂi-1)｜ …(4)
そして、視差検出部３３で、上記(4)式による輝度微分のシティブロック距離Ｃ２が最小となる比較画像の小領域を、基準画像の小領域に対応する場所として決定して互いの視差を求め、この視差から得られる地面部の遠近情報を数値化した３次元画像情報（距離画像）を生成する。図６は、元画像から輝度微分のシティブロック距離によって地面主体の距離画像を生成した例である。
【００２６】
データ選択部４０では、上記立体物ステレオ処理部２０で生成された立体物主体の距離画像に、上記地面部ステレオ処理部３０で生成された地面主体の距離画像から選択した地面部のデータを埋め込み、図７に示すように、１つの距離画像として合成する。
【００２７】
上記データ選択部４０から出力される距離画像は上記距離画像メモリ５０にストされ、認識部６０に読み込まれる。この認識部６０では、距離画像メモリ５０からの３次元の距離情報に基づいて樹木等の立体物や地面の凹凸等を認識し、図示しない走行制御装置に自律走行のための情報を出力する。
【００２８】
これにより、例えば、果樹園における農薬散布で予め走行経路を学習させて自律走行を行う場合、丘があると認識された場合には減速し、段差があると認識された場合には徐行するといったように、その場に応じた走行可能領域を判断し、地形に応じた車体制御を伴う自律走行をアシストすることができる。
【００２９】
【発明の効果】
以上説明したように請求項１記載の発明によれば、２台１組のカメラからなるステレオカメラで撮像した立体物と地面部とを含む１対の画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成するとともに、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する。そして、立体物主体の距離画像と地面主体の距離画像とを合成して画面全体に渡る遠近情報を数値化した距離画像を生成するため、例えば、果樹園等の明暗の大きい環境下においても樹木等の立体物と地面部とを誤り無く検出して正確な３次元情報を得ることができ、正確な走行可能領域の判断を可能として地形に応じた車体制御を行う自律走行をアシストすることができる。
【００３０】
この場合、請求項２に記載したように、地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を地面部の視差検出範囲として設定することで、より正確に地面部を検出することができる。
【図面の簡単な説明】
【図１】周囲環境認識装置の構成図
【図２】地面部ステレオ処理部の構成図
【図３】元画像から立体物主体の距離画像を生成した例を示す説明図
【図４】カメラと平面との位置関係を示す説明図
【図５】視差検出範囲の説明図
【図６】元画像から地面主体の距離画像を生成した例を示す説明図
【図７】出力距離画像を示す説明図
【符号の説明】
１ …周囲環境認識装置
１０…ステレオカメラ
２０…立体物ステレオ処理部
３０…地面部ステレオ処理部
４０…データ選択部
５０…距離画像メモリ
６０…認識部
Claims (2)
- ２台１組のカメラからなるステレオカメラを搭載し、このステレオカメラで撮像した１対の画像をステレオ処理して周囲環境を認識する自律走行車の周囲環境認識装置であって、
立体物と地面部とを含む１対の撮像画像に対し、地面部を排除して互いに対応する領域を輝度の差に基づいて求め、対応する領域の視差から得られる立体物までの遠近情報を数値化した立体物主体の距離画像を生成する手段と、
上記１対の撮像画像に対し、地面部の互いに対応する領域を輝度変化の差に基づいて求め、対応する領域の視差から得られる地面部の遠近情報を数値化した地面主体の距離画像を生成する手段と、
上記立体物主体の距離画像と上記地面主体の距離画像とを合成し、上記１対の撮像画像に対して画面全体に渡る遠近情報を数値化した距離画像を生成する手段とを備えたことを特徴とする自律走行車の周囲環境認識装置。 - 地面を平面と仮定して求めた画面上の任意点の距離から視差を概算して対応する領域の位置を推測し、この推測位置から所定範囲を、地面部の視差検出範囲として設定することを特徴とする請求項１記載の自律走行車の周囲環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31852397A JP4005679B2 (ja) | 1997-11-19 | 1997-11-19 | 自律走行車の周囲環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31852397A JP4005679B2 (ja) | 1997-11-19 | 1997-11-19 | 自律走行車の周囲環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11149557A JPH11149557A (ja) | 1999-06-02 |
| JP4005679B2 true JP4005679B2 (ja) | 2007-11-07 |
Family
ID=18100071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31852397A Expired - Lifetime JP4005679B2 (ja) | 1997-11-19 | 1997-11-19 | 自律走行車の周囲環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4005679B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4672175B2 (ja) * | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| JP5148669B2 (ja) * | 2000-05-26 | 2013-02-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
| KR100416306B1 (ko) * | 2000-12-16 | 2004-01-31 | 주식회사 포디컬쳐 | 명암 대비가 큰 영상의 3차원 형상 획득 및 조각 시스템및 방법과 그 프로그램 소스를 기록한 기록 매체 |
| JP4956452B2 (ja) * | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
| US8340438B2 (en) * | 2009-12-17 | 2012-12-25 | Deere & Company | Automated tagging for landmark identification |
| JP6548518B2 (ja) | 2015-08-26 | 2019-07-24 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
| US9915951B2 (en) | 2015-12-27 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Detection of overhanging objects |
| US10078335B2 (en) | 2016-06-28 | 2018-09-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Ray tracing for hidden obstacle detection |
| US9910442B2 (en) | 2016-06-28 | 2018-03-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Occluded area detection with static obstacle maps |
| US10137890B2 (en) | 2016-06-28 | 2018-11-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Occluded obstacle classification for vehicles |
| CN110392216B (zh) * | 2018-08-08 | 2021-07-23 | 乐清市川嘉电气科技有限公司 | 光线变化量即时判断系统 |
| KR102077219B1 (ko) * | 2018-11-01 | 2020-02-13 | 재단법인대구경북과학기술원 | 줄기 검출을 이용한 과수원 자율주행 차량의 경로 설정 방법 및 시스템 |
-
1997
- 1997-11-19 JP JP31852397A patent/JP4005679B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11149557A (ja) | 1999-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10129521B2 (en) | Depth sensing method and system for autonomous vehicles | |
| US8712144B2 (en) | System and method for detecting crop rows in an agricultural field | |
| US8855405B2 (en) | System and method for detecting and analyzing features in an agricultural field for vehicle guidance | |
| JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
| US8737720B2 (en) | System and method for detecting and analyzing features in an agricultural field | |
| JP4005679B2 (ja) | 自律走行車の周囲環境認識装置 | |
| KR20210090384A (ko) | 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치 | |
| JP5160370B2 (ja) | 自律移動ロボット装置、移動体の操縦補助装置、自律移動ロボット装置の制御方法及び移動体の操縦補助方法 | |
| Agrawal et al. | Rough terrain visual odometry | |
| CN110717445B (zh) | 一种用于自动驾驶的前车距离跟踪系统与方法 | |
| US20050004762A1 (en) | Obstacle detection apparatus and method for automotive vehicle | |
| JP2019125116A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN111862673A (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| CN110163963B (zh) | 一种基于slam的建图装置和建图方法 | |
| JP7572555B2 (ja) | 列検出システム、列検出システムを備える農業機械、および、列検出方法 | |
| US12488586B2 (en) | Row detection system and agricultural machine | |
| JP2025128274A (ja) | 列検出システム、列検出システムを備える農業機械、および、列検出方法 | |
| US20240340545A1 (en) | Camera System and Method for Generating a Combined Image Projection | |
| US11447063B2 (en) | Steerable scanning and perception system with active illumination | |
| WO2023276226A1 (ja) | 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法 | |
| JP7735430B2 (ja) | 農業機械 | |
| RoviraMás et al. | Automated agricultural equipment navigation using stereo disparity images | |
| Shacklock et al. | Visual guidance for autonomous vehicles: capability and challenges | |
| JP3279610B2 (ja) | 環境認識装置 | |
| JP3977505B2 (ja) | 道路形状認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |