JP2003006620A - ステレオカメラによる障害物の認識方法およびその認識処理装置 - Google Patents
ステレオカメラによる障害物の認識方法およびその認識処理装置Info
- Publication number
- JP2003006620A JP2003006620A JP2001190823A JP2001190823A JP2003006620A JP 2003006620 A JP2003006620 A JP 2003006620A JP 2001190823 A JP2001190823 A JP 2001190823A JP 2001190823 A JP2001190823 A JP 2001190823A JP 2003006620 A JP2003006620 A JP 2003006620A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- searching
- processing
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000004069 differentiation Effects 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000005314 correlation function Methods 0.000 description 2
- 101000650817 Homo sapiens Semaphorin-4D Proteins 0.000 description 1
- 102100027744 Semaphorin-4D Human genes 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Landscapes
- Steering Control In Accordance With Driving Conditions (AREA)
- Regulating Braking Force (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】車両障害物の認識にあたり、マッチングパター
ンライブラリを不要にし、処理速度も高速なものを必要
としないで実現する。 【解決手段】ステレオカメラ１による障害物画像の前処
理，ラベリング，探索処理機能を備えた画像処理部７を
有し、その障害物座標出力６でブレーキ・アクセル制御
やパワーステアリング制御を行う。その際、探索処理で
は、左カメラによる候補画像を求め、右カメラによるペ
ア画像を探索し、一致画像があるときには、グループ画
像探索処理を行う。このグループ画像探索処理では、接
触画像を求め、同様にペア画像を求め、対象画像を画像
グループとして登録する。これら候補画像、接触画像を
繰返し求め、障害物を特定することにより、車の制御を
行う。
ンライブラリを不要にし、処理速度も高速なものを必要
としないで実現する。 【解決手段】ステレオカメラ１による障害物画像の前処
理，ラベリング，探索処理機能を備えた画像処理部７を
有し、その障害物座標出力６でブレーキ・アクセル制御
やパワーステアリング制御を行う。その際、探索処理で
は、左カメラによる候補画像を求め、右カメラによるペ
ア画像を探索し、一致画像があるときには、グループ画
像探索処理を行う。このグループ画像探索処理では、接
触画像を求め、同様にペア画像を求め、対象画像を画像
グループとして登録する。これら候補画像、接触画像を
繰返し求め、障害物を特定することにより、車の制御を
行う。
Description
【０００１】
【発明の属する技術分野】本発明はステレオカメラによ
る障害物の認識方法およびその認識処理装置に関し、特
に左右のカメラの画角の違いを利用して歩行者画像等の
探索を行うステレオカメラによる障害物の認識方法およ
びその認識処理装置に関する。
る障害物の認識方法およびその認識処理装置に関し、特
に左右のカメラの画角の違いを利用して歩行者画像等の
探索を行うステレオカメラによる障害物の認識方法およ
びその認識処理装置に関する。
【０００２】
【従来の技術】一般に、車載カメラによる障害物の認識
装置は、道路上の白線ばかりでなく、先行車両や歩行者
などの障害物の認識が必要とされている。
装置は、道路上の白線ばかりでなく、先行車両や歩行者
などの障害物の認識が必要とされている。
【０００３】しかし、歩行者などの画像は白線画像と異
なり、濃度変換処理、ノイズ除去フィルタ処理、微分処
理、グルーピング処理、ラベリング処理などの前処理を
経ても、得られる画像は複数のパーツに分かれてしまう
ケースが多い。しかも、この複数に分かれてしまった画
像の相関関係は取りにくく、障害物の認識そのものが困
難となっている。
なり、濃度変換処理、ノイズ除去フィルタ処理、微分処
理、グルーピング処理、ラベリング処理などの前処理を
経ても、得られる画像は複数のパーツに分かれてしまう
ケースが多い。しかも、この複数に分かれてしまった画
像の相関関係は取りにくく、障害物の認識そのものが困
難となっている。
【０００４】図６は従来の一例を説明するための単眼式
車載カメラを用いた際の歩行者と自動車の位置関係を表
わす模式図である。図６に示すように、従来の単眼式
（シングル）車載カメラは、実空間の位置に実際に存在
する歩行者２０（例えば、１０メートル：ｍの位置）な
どを撮影したとき、歩行者画像が頭部，胴体部，足部な
どの複数の部分に分かれるため、角度の関係からその歩
行者２０があたかも実空間の誤った位置２１に存在して
いた（例えば、４０ｍの位置）ものと認識してしまい易
い。
車載カメラを用いた際の歩行者と自動車の位置関係を表
わす模式図である。図６に示すように、従来の単眼式
（シングル）車載カメラは、実空間の位置に実際に存在
する歩行者２０（例えば、１０メートル：ｍの位置）な
どを撮影したとき、歩行者画像が頭部，胴体部，足部な
どの複数の部分に分かれるため、角度の関係からその歩
行者２０があたかも実空間の誤った位置２１に存在して
いた（例えば、４０ｍの位置）ものと認識してしまい易
い。
【０００５】図７は図６に用いた単眼式車載カメラで得
られる遠近画像図である。図７に示すように、この単眼
式車載カメラは、前述した歩行者２０などを撮影する
と、遠近関係により、足部２０Ｂが実際の位置、例え
ば、１０ｍの位置にあるにも拘わらず、胴体部２０Ａが
白線（太い実線）の位置、すなわち４０ｍの位置にある
ように錯覚させてしまう。要するに、この場合、前処理
を経て抽出された画像は、頭部、胴部２０Ａ、脚部、足
部２０Ｂなどに分かれてしまうことが多い。
られる遠近画像図である。図７に示すように、この単眼
式車載カメラは、前述した歩行者２０などを撮影する
と、遠近関係により、足部２０Ｂが実際の位置、例え
ば、１０ｍの位置にあるにも拘わらず、胴体部２０Ａが
白線（太い実線）の位置、すなわち４０ｍの位置にある
ように錯覚させてしまう。要するに、この場合、前処理
を経て抽出された画像は、頭部、胴部２０Ａ、脚部、足
部２０Ｂなどに分かれてしまうことが多い。
【０００６】さらに、図８は従来の他の例を説明するた
めのステレオ車載カメラを用いた際の歩行者と自動車の
位置関係を表わす模式図である。図８に示すように、従
来のステレオ車載カメラは、左カメラ視線から実空間で
足部２３の画像に対応する位置および左カメラ視線から
実空間で胴部２４の画像に対応する位置に存在する歩行
者（例えば、１０ｍの位置）などを撮影したとき、左カ
メラ視線から実空間で胴部２４の画像が接地していると
仮定したときの誤った位置２５に存在している（例え
ば、４０ｍの位置）ものと認識してしまい易い。
めのステレオ車載カメラを用いた際の歩行者と自動車の
位置関係を表わす模式図である。図８に示すように、従
来のステレオ車載カメラは、左カメラ視線から実空間で
足部２３の画像に対応する位置および左カメラ視線から
実空間で胴部２４の画像に対応する位置に存在する歩行
者（例えば、１０ｍの位置）などを撮影したとき、左カ
メラ視線から実空間で胴部２４の画像が接地していると
仮定したときの誤った位置２５に存在している（例え
ば、４０ｍの位置）ものと認識してしまい易い。
【０００７】図９は図８に用いたステレオ車載カメラの
左カメラで得られる遠近画像図である。図９に示すよう
に、左カメラで撮影すると、カメラ角度および遠近関係
より、歩行者の足部（靴など）２６の画像は、例えば１
０ｍの地点に存在し、また足部以外（胴など）２７の画
像は、例えば４０ｍの白線の地点に存在していたものと
認識してしまう。
左カメラで得られる遠近画像図である。図９に示すよう
に、左カメラで撮影すると、カメラ角度および遠近関係
より、歩行者の足部（靴など）２６の画像は、例えば１
０ｍの地点に存在し、また足部以外（胴など）２７の画
像は、例えば４０ｍの白線の地点に存在していたものと
認識してしまう。
【０００８】また、図１０は図８に用いたステレオ車載
カメラの右カメラで得られる遠近画像図である。図１０
に示すように、右カメラで撮影すると、カメラ角度およ
び遠近関係より、右カメラで対応する足部２８の画像
は、例えば１０ｍの地点に存在し、また歩行者の足部以
外（胴など）２９の画像は、例えば３０ｍの地点に存在
していたものと認識してしまう。しかも、前述した図８
の誤った位置２５に対応する個所には胴部３０の画像は
存在しない。
カメラの右カメラで得られる遠近画像図である。図１０
に示すように、右カメラで撮影すると、カメラ角度およ
び遠近関係より、右カメラで対応する足部２８の画像
は、例えば１０ｍの地点に存在し、また歩行者の足部以
外（胴など）２９の画像は、例えば３０ｍの地点に存在
していたものと認識してしまう。しかも、前述した図８
の誤った位置２５に対応する個所には胴部３０の画像は
存在しない。
【０００９】このように、ステレオ車載カメラで得られ
る画像も、図９および図１０に示すように、頭部、胴部
（２７，２９）、脚部、足部（２６，２８）などに分か
れてしまうことが多い。
る画像も、図９および図１０に示すように、頭部、胴部
（２７，２９）、脚部、足部（２６，２８）などに分か
れてしまうことが多い。
【００１０】上述した障害物の認識装置は、これらのば
らばらになった画像群をある一定の法則の基に連結し、
歩行者などを障害物として認識しなければならない。か
かる従来の技術では、その認識手法として、近傍にある
画像をひとつの集合とみなし、それが目的の歩行者など
の障害物画像であるか否かのパターンマッチングにより
特定している。
らばらになった画像群をある一定の法則の基に連結し、
歩行者などを障害物として認識しなければならない。か
かる従来の技術では、その認識手法として、近傍にある
画像をひとつの集合とみなし、それが目的の歩行者など
の障害物画像であるか否かのパターンマッチングにより
特定している。
【００１１】
【発明が解決しようとする課題】しかし、上述した従来
の認識方法あるいは認識装置は、連結した画像の過不足
があったときには、パターンマッチングによっても歩行
者などを障害物として特定することが難しく、確実な判
定を行えない場合がある。
の認識方法あるいは認識装置は、連結した画像の過不足
があったときには、パターンマッチングによっても歩行
者などを障害物として特定することが難しく、確実な判
定を行えない場合がある。
【００１２】また、部分的に判定できたとしても、シン
グルカメラ（図７）では、足部２０Ｂなどの画像が前処
理の段階で喪失してしまった場合には、胴部２０Ａと足
部２０Ｂの連結ができないため、胴部２０Ａを単独で且
つ路面に接地していると仮定して処理することになる。
その結果、胴部２０Ａの路面座標系で実空間の位置（図
６の歩行者２０の位置）にあるべきものが、誤った位置
２１にあると勘違いしてしまう可能性がある。
グルカメラ（図７）では、足部２０Ｂなどの画像が前処
理の段階で喪失してしまった場合には、胴部２０Ａと足
部２０Ｂの連結ができないため、胴部２０Ａを単独で且
つ路面に接地していると仮定して処理することになる。
その結果、胴部２０Ａの路面座標系で実空間の位置（図
６の歩行者２０の位置）にあるべきものが、誤った位置
２１にあると勘違いしてしまう可能性がある。
【００１３】さらに、ステレオカメラでも、図９で足部
２６などの画像が前処理の結果喪失してしまった場合に
は、左カメラ画像で胴部２７と足部２６の連結ができな
いため、図１０で説明した右カメラ画像の胴部２９を厳
密な一致性を持って探索しなければならなくなる。それ
が失敗した場合には、胴部２９が単独で且つ路面に接地
していると仮定して処理することになる。その結果、胴
部２９の路面座標系で図８の誤った位置２５に対する右
カメラによる胴体画像３０が存在しないにもかかわら
ず、実空間の位置（図８の歩行者２４）にあるべきもの
が、誤った位置２５にあると勘違いしてしまう可能性が
ある。
２６などの画像が前処理の結果喪失してしまった場合に
は、左カメラ画像で胴部２７と足部２６の連結ができな
いため、図１０で説明した右カメラ画像の胴部２９を厳
密な一致性を持って探索しなければならなくなる。それ
が失敗した場合には、胴部２９が単独で且つ路面に接地
していると仮定して処理することになる。その結果、胴
部２９の路面座標系で図８の誤った位置２５に対する右
カメラによる胴体画像３０が存在しないにもかかわら
ず、実空間の位置（図８の歩行者２４）にあるべきもの
が、誤った位置２５にあると勘違いしてしまう可能性が
ある。
【００１４】したがって、シングルカメラ方式では、路
面から浮上している画像単体での路面座標算出が不可能
であるため、路面に接地した足部などの画像を確実に抽
出しなければならない。
面から浮上している画像単体での路面座標算出が不可能
であるため、路面に接地した足部などの画像を確実に抽
出しなければならない。
【００１５】また、距離の異なる画像が隣接して存在す
るステレオカメラ場合、両方のカメラによる画像を結合
してから判断せざるを得ないため、処理が複雑になり、
確実な判断ができないという欠点がある。
るステレオカメラ場合、両方のカメラによる画像を結合
してから判断せざるを得ないため、処理が複雑になり、
確実な判断ができないという欠点がある。
【００１６】かかる判定確度の向上には、無限にある障
害物の形状を判断するためのマッチングパターンライブ
ラリを必要とし、それを高速で処理する処理装置も必要
となるので、実際には実現困難である。
害物の形状を判断するためのマッチングパターンライブ
ラリを必要とし、それを高速で処理する処理装置も必要
となるので、実際には実現困難である。
【００１７】本発明の目的は、ステレオカメラの特徴を
生かし、汎用的なマッチングパターンライブラリを不要
にするとともに、処理速度も高速なものを必要としない
ステレオカメラによる障害物の認識方法およびその認識
処理装置を提供することにある。
生かし、汎用的なマッチングパターンライブラリを不要
にするとともに、処理速度も高速なものを必要としない
ステレオカメラによる障害物の認識方法およびその認識
処理装置を提供することにある。
【００１８】
【課題を解決するための手段】本発明のステレオカメラ
による障害物の認識方法は、ステレオカメラに接続され
た画像前処理部により、前記ステレオカメラから得られ
る左右各々の画像に対し、フィルタ処理，二値化処理，
微分処理を行うカメラ画像前処理ステップと、前記画像
前処理部の出力に対し、ラベリング処理部を用いて左右
カメラの微分画像に対するラベリング処理を行うラベリ
ング処理ステップと、前記ラベリング処理部で非部品化
された左右の連結画像に対し、探索処理部を用いて探索
処理を行う探索処理ステップと、座標変換部により座標
化された障害物座標出力を用いて求められたグループ画
像に対し、実空間画像とその大きさを分析する分析ステ
ップと、画像処理・制御装置において前記分析ステップ
の分析結果より求めた画像の大きさを用い、歩行者，二
輪車またはその他の障害物か否かを判断する障害物判定
ステップとを含み、前記障害物判定ステップの出力によ
り、ブレーキ・アクセル制御装置を制御して車両の加速
・減速をコントロールすると同時に、パワーステアリン
グ装置を制御してハンドルの操舵量をコントロールする
ように構成される。
による障害物の認識方法は、ステレオカメラに接続され
た画像前処理部により、前記ステレオカメラから得られ
る左右各々の画像に対し、フィルタ処理，二値化処理，
微分処理を行うカメラ画像前処理ステップと、前記画像
前処理部の出力に対し、ラベリング処理部を用いて左右
カメラの微分画像に対するラベリング処理を行うラベリ
ング処理ステップと、前記ラベリング処理部で非部品化
された左右の連結画像に対し、探索処理部を用いて探索
処理を行う探索処理ステップと、座標変換部により座標
化された障害物座標出力を用いて求められたグループ画
像に対し、実空間画像とその大きさを分析する分析ステ
ップと、画像処理・制御装置において前記分析ステップ
の分析結果より求めた画像の大きさを用い、歩行者，二
輪車またはその他の障害物か否かを判断する障害物判定
ステップとを含み、前記障害物判定ステップの出力によ
り、ブレーキ・アクセル制御装置を制御して車両の加速
・減速をコントロールすると同時に、パワーステアリン
グ装置を制御してハンドルの操舵量をコントロールする
ように構成される。
【００１９】また、本発明における前記探索処理は、カ
メラ画角から算出される直進状態における前方路面領域
を仮の探索領域として障害物を探索する探索領域設定ス
テップと、左カメラ画像で前記探索領域を手前から探索
し、最初の候補連結画像を求める左カメラ候補画像探索
ステップと、前記候補画像があるときには、前記候補画
像が接地していると仮定して右カメラ画像の対応位置に
ペアとなる画像が存在するか否かを探索する右カメラペ
ア画像探索ステップと、前記左カメラ候補画像探索ステ
ップおよび前記右カメラペア画像探索ステップによって
得られた左右の候補連結画像対が一致した連結画像か否
かを判断する一致画像判定ステップと、前記一致画像判
定ステップで一致画像があるときには、前記ペアとなる
画像を記録し、グループ画像の探索処理を行うグループ
画像探索処理ステップと、しかる後、グループ画像の探
索処理が終了すると、左カメラ画像の探索領域で、次の
接地連結画像としての候補連結画像を探索する次候補探
索ステップとを有し、繰返し処理で前記候補画像がない
と判定されたときには、前記探索処理を終了させるよう
に形成される。
メラ画角から算出される直進状態における前方路面領域
を仮の探索領域として障害物を探索する探索領域設定ス
テップと、左カメラ画像で前記探索領域を手前から探索
し、最初の候補連結画像を求める左カメラ候補画像探索
ステップと、前記候補画像があるときには、前記候補画
像が接地していると仮定して右カメラ画像の対応位置に
ペアとなる画像が存在するか否かを探索する右カメラペ
ア画像探索ステップと、前記左カメラ候補画像探索ステ
ップおよび前記右カメラペア画像探索ステップによって
得られた左右の候補連結画像対が一致した連結画像か否
かを判断する一致画像判定ステップと、前記一致画像判
定ステップで一致画像があるときには、前記ペアとなる
画像を記録し、グループ画像の探索処理を行うグループ
画像探索処理ステップと、しかる後、グループ画像の探
索処理が終了すると、左カメラ画像の探索領域で、次の
接地連結画像としての候補連結画像を探索する次候補探
索ステップとを有し、繰返し処理で前記候補画像がない
と判定されたときには、前記探索処理を終了させるよう
に形成される。
【００２０】また、本発明における前記グループ画像探
索処理は、左カメラの画像より求められた一致連結画像
の周囲に且つ所定の距離内に存在する接触画像がないか
否かを探索する左カメラ接触画像探索ステップと、前記
左カメラ接触画像探索ステップで接触画像があるときに
は、右カメラ画像の一致連結画像に左カメラ画像と同じ
位置関係の接触画像があるか否かを探索する右カメラ接
触ペア画像探索ステップと、このペア画像の探索の結
果、対象となる画像を画像グループとして登録する登録
ステップと、しかる後、前記左カメラ画像で前記候補画
像と接している次の画像を探索する次画像探索ステップ
とを有し、繰返し処理で前記接触画像がないと判定され
たときには、前記グループ画像探索処理を終了させるよ
うに形成される。
索処理は、左カメラの画像より求められた一致連結画像
の周囲に且つ所定の距離内に存在する接触画像がないか
否かを探索する左カメラ接触画像探索ステップと、前記
左カメラ接触画像探索ステップで接触画像があるときに
は、右カメラ画像の一致連結画像に左カメラ画像と同じ
位置関係の接触画像があるか否かを探索する右カメラ接
触ペア画像探索ステップと、このペア画像の探索の結
果、対象となる画像を画像グループとして登録する登録
ステップと、しかる後、前記左カメラ画像で前記候補画
像と接している次の画像を探索する次画像探索ステップ
とを有し、繰返し処理で前記接触画像がないと判定され
たときには、前記グループ画像探索処理を終了させるよ
うに形成される。
【００２１】また、本発明のステレオカメラによる障害
物の認識方法は、ステレオカメラのカメラ画角から割り
出される３次元空間座標上の路面座標を求め、前記路面
座標より路面に接地している連結画像を探索する探索ス
テップと、左右連結画像の一致判定を行うペアリング処
理ステップと、前記ペアリング処理ステップにおける一
致連結画像を基準として、周囲に分散した障害物画像の
全体像を探索する全体像探索ステップとを含み、前記全
体像探索ステップにより、他の探索処理対象連結画像の
候補数を削減するように構成される。
物の認識方法は、ステレオカメラのカメラ画角から割り
出される３次元空間座標上の路面座標を求め、前記路面
座標より路面に接地している連結画像を探索する探索ス
テップと、左右連結画像の一致判定を行うペアリング処
理ステップと、前記ペアリング処理ステップにおける一
致連結画像を基準として、周囲に分散した障害物画像の
全体像を探索する全体像探索ステップとを含み、前記全
体像探索ステップにより、他の探索処理対象連結画像の
候補数を削減するように構成される。
【００２２】さらに、本発明の障害物の認識処理装置
は、車両の進行方向を任意の角度で撮影するステレオカ
メラと、前記ステレオカメラの画像出力を処理する画像
処理部とを有し、前記画像処理部は、前記ステレオカメ
ラの画像出力をそれぞれ入力し、画像に対するフィルタ
処理機能，二値化処理機能および微分回路を備えた一対
の画像前処理部と、前記一対の画像前処理部の出力をそ
れぞれ入力し、微分画像に基づいて連結画像を作成する
ためのラベリング処理を施す一対のラベリング処理部
と、前記一対のラベリング処理部の出力を入力し、前記
連結画像に対し特定の画像を探索する探索処理部と、前
記探索処理部によって探索された画像を路面座標系に変
換する座標変換処理部とを備えて構成される。
は、車両の進行方向を任意の角度で撮影するステレオカ
メラと、前記ステレオカメラの画像出力を処理する画像
処理部とを有し、前記画像処理部は、前記ステレオカメ
ラの画像出力をそれぞれ入力し、画像に対するフィルタ
処理機能，二値化処理機能および微分回路を備えた一対
の画像前処理部と、前記一対の画像前処理部の出力をそ
れぞれ入力し、微分画像に基づいて連結画像を作成する
ためのラベリング処理を施す一対のラベリング処理部
と、前記一対のラベリング処理部の出力を入力し、前記
連結画像に対し特定の画像を探索する探索処理部と、前
記探索処理部によって探索された画像を路面座標系に変
換する座標変換処理部とを備えて構成される。
【００２３】また、本発明の障害物の認識処理装置にお
ける前記画像処理部は、前記座標変換部より出力される
障害物座標出力を前記車両内の画像処理・制御装置に供
給し、ブレーキ・アクセル制御装置およびパワーステア
リング装置を制御するように形成される。
ける前記画像処理部は、前記座標変換部より出力される
障害物座標出力を前記車両内の画像処理・制御装置に供
給し、ブレーキ・アクセル制御装置およびパワーステア
リング装置を制御するように形成される。
【００２４】
【発明の実施の形態】本発明の実施の形態は、ステレオ
カメラの特徴を生かし、左右のカメラ画角から割り出さ
れる３次元空間上の路面座標を利用するとともに、狭い
範囲での接地連結画像を探索の基準にして、それに接触
している画像を接続していくという簡単な処理を再帰的
に使用することにより、汎用的なマッチング用ライブラ
リを不要にし且つ処理速度もそれほど高速なものを必要
としない障害物認識処理を実現することにある。
カメラの特徴を生かし、左右のカメラ画角から割り出さ
れる３次元空間上の路面座標を利用するとともに、狭い
範囲での接地連結画像を探索の基準にして、それに接触
している画像を接続していくという簡単な処理を再帰的
に使用することにより、汎用的なマッチング用ライブラ
リを不要にし且つ処理速度もそれほど高速なものを必要
としない障害物認識処理を実現することにある。
【００２５】以下、本発明の実施の形態について図面を
参照して説明する。図１は本発明の一実施の形態を説明
するためのステレオカメラおよび画像処理部のブロック
構成図である。図１に示すように、本実施形態における
障害物を認識するための認識処理装置は、車両の進行方
向を任意の角度で撮影する右カメラＲおよび左カメラＬ
からなる二眼式（ステレオ）カメラ１と、このステレオ
カメラ１の画像出力を処理する画像処理部７とを含んで
いる。この画像処理部７は、ステレオカメラ１における
右カメラＲおよび左カメラＬの画像出力をそれぞれ入力
し、画像に対するフィルタ処理機能，二値化処理機能お
よび微分回路を備えた一対の画像前処理部２と、この一
対の画像前処理部２の出力をそれぞれ入力し、微分画像
に基づいて連結画像を作成するためのラベリング処理を
施す一対のラベリング処理部３と、この一対のラベリン
グ処理部３の出力を入力し、得られた連結画像に対し特
定の画像を探索する探索処理部４と、この探索処理部４
によって探索された画像を路面座標系に変換する座標変
換処理部５とを有し、座標変換処理部５の障害物座標出
力６を後述する画像処理・制御装置に供給するようにし
ている。
参照して説明する。図１は本発明の一実施の形態を説明
するためのステレオカメラおよび画像処理部のブロック
構成図である。図１に示すように、本実施形態における
障害物を認識するための認識処理装置は、車両の進行方
向を任意の角度で撮影する右カメラＲおよび左カメラＬ
からなる二眼式（ステレオ）カメラ１と、このステレオ
カメラ１の画像出力を処理する画像処理部７とを含んで
いる。この画像処理部７は、ステレオカメラ１における
右カメラＲおよび左カメラＬの画像出力をそれぞれ入力
し、画像に対するフィルタ処理機能，二値化処理機能お
よび微分回路を備えた一対の画像前処理部２と、この一
対の画像前処理部２の出力をそれぞれ入力し、微分画像
に基づいて連結画像を作成するためのラベリング処理を
施す一対のラベリング処理部３と、この一対のラベリン
グ処理部３の出力を入力し、得られた連結画像に対し特
定の画像を探索する探索処理部４と、この探索処理部４
によって探索された画像を路面座標系に変換する座標変
換処理部５とを有し、座標変換処理部５の障害物座標出
力６を後述する画像処理・制御装置に供給するようにし
ている。
【００２６】図２は図１に示す画像処理部を含む画像処
理・制御装置を取り付けた自動車の前半分の断面図であ
る。図２に示すように、かかる自動車においては、図１
で説明した画像処理部７を実装し、ステレオカメラ１の
出力を処理するとともに、内部の各装置へ指示するため
の画像処理・制御装置８と、この画像処理・制御装置８
からそれぞれ制御信号を受け、車両の加速・減速を制御
するブレーキ・アクセル制御装置９および操舵量を制御
する電動パワーステアリング装置１０とを備えている。
また、かかる画像処理部７は、ここではステレオカメラ
１と一体化して示しているが、ステレオカメラ１とは切
離し、画像処理・制御装置８側に一体化してもよい。
理・制御装置を取り付けた自動車の前半分の断面図であ
る。図２に示すように、かかる自動車においては、図１
で説明した画像処理部７を実装し、ステレオカメラ１の
出力を処理するとともに、内部の各装置へ指示するため
の画像処理・制御装置８と、この画像処理・制御装置８
からそれぞれ制御信号を受け、車両の加速・減速を制御
するブレーキ・アクセル制御装置９および操舵量を制御
する電動パワーステアリング装置１０とを備えている。
また、かかる画像処理部７は、ここではステレオカメラ
１と一体化して示しているが、ステレオカメラ１とは切
離し、画像処理・制御装置８側に一体化してもよい。
【００２７】次に、上述した認識処理装置の動作を図３
〜図５の処理フローを用い、図１，図２と前述した図８
〜図１０の位置関係を参照しながら説明する。
〜図５の処理フローを用い、図１，図２と前述した図８
〜図１０の位置関係を参照しながら説明する。
【００２８】図３は図２における画像処理・制御装置の
処理フロー図である。図３に示すように、まず左右カメ
ラ画像前処理ステップＳ１においては、画像前処理部２
により、あらかじめステレオカメラ１から得られる左右
各々の画像に対して、フィルタ処理、二値化処理、微分
処理などの前処理を行う。ついで、ラベリング処理ステ
ップＳ２において、ラベリング処理部３を用い、左右カ
メラの微分画像に対するラベリング処理を行っておく。
その後、これらの処理で非部品化された左右の連結画像
に対し、探索処理ステップＳ３において、探索処理部４
により探索処理を行う。
処理フロー図である。図３に示すように、まず左右カメ
ラ画像前処理ステップＳ１においては、画像前処理部２
により、あらかじめステレオカメラ１から得られる左右
各々の画像に対して、フィルタ処理、二値化処理、微分
処理などの前処理を行う。ついで、ラベリング処理ステ
ップＳ２において、ラベリング処理部３を用い、左右カ
メラの微分画像に対するラベリング処理を行っておく。
その後、これらの処理で非部品化された左右の連結画像
に対し、探索処理ステップＳ３において、探索処理部４
により探索処理を行う。
【００２９】次に、分析ステップＳ４において、座標変
換部５により座標化された障害物座標出力６を用いて求
められたグループ画像に対し、実空間画像やその大きさ
などを分析する。さらに、画像処理・制御装置８は、障
害物判定ステップＳ５において、分析結果より求められ
た画像の大きさによって、歩行者、二輪車またはその他
の障害物か否かを判断する。
換部５により座標化された障害物座標出力６を用いて求
められたグループ画像に対し、実空間画像やその大きさ
などを分析する。さらに、画像処理・制御装置８は、障
害物判定ステップＳ５において、分析結果より求められ
た画像の大きさによって、歩行者、二輪車またはその他
の障害物か否かを判断する。
【００３０】このような処理および判断に基づき、画像
処理・制御装置８は、ブレーキ・アクセル制御装置９を
制御して車両の加速・減速をコントロールすると同時
に、電動パワーステアリング装置１０を制御してハンド
ルの操舵量をコントロールする。
処理・制御装置８は、ブレーキ・アクセル制御装置９を
制御して車両の加速・減速をコントロールすると同時
に、電動パワーステアリング装置１０を制御してハンド
ルの操舵量をコントロールする。
【００３１】上述した探索処理Ｓ３の詳細な動作は、つ
ぎのとおりである。
ぎのとおりである。
【００３２】図４は図３における探索処理のフロー図で
ある。図４に示すように、探索処理（ステップＳ３）に
おいては、まず探索領域設定ステップＳ６において、障
害物を探索しなければならない領域として、固定された
カメラ画角から算出される３次元空間座標上の直進状態
における前方路面領域を仮の探索領域とする。この場
合、直進状態における前方路面領域の代りに、別の白線
認識処理などにより前方路面領域を求め、これを探索領
域とすることも可能である。いずれにしても、この仮の
探索領域が設定されると、左カメラ候補画像探索ステッ
プＳ７において、左カメラ画像で探索領域を手前（画面
の下辺）から探索し、最初の候補連結画像としての足部
２６（図９参照）を求める。
ある。図４に示すように、探索処理（ステップＳ３）に
おいては、まず探索領域設定ステップＳ６において、障
害物を探索しなければならない領域として、固定された
カメラ画角から算出される３次元空間座標上の直進状態
における前方路面領域を仮の探索領域とする。この場
合、直進状態における前方路面領域の代りに、別の白線
認識処理などにより前方路面領域を求め、これを探索領
域とすることも可能である。いずれにしても、この仮の
探索領域が設定されると、左カメラ候補画像探索ステッ
プＳ７において、左カメラ画像で探索領域を手前（画面
の下辺）から探索し、最初の候補連結画像としての足部
２６（図９参照）を求める。
【００３３】ついで、前述したステップＳ７で候補画像
がある旨探索されたときは、繰返しステップＳ８におい
て、繰返し処理（Ｗｈｉｌｅ：候補画像あり）を行う
（候補画像がないときは、リターン）。すなわち、この
繰返しステップＳ８で候補画像があるときは、まず右カ
メラ対応画像探索ステップＳ９において、その候補画像
が路面に接地していると仮定して路面座標を算出し、右
カメラ画像の対応する路面座標位置の連結画像としての
足部２８（図１０参照）を探索する。
がある旨探索されたときは、繰返しステップＳ８におい
て、繰返し処理（Ｗｈｉｌｅ：候補画像あり）を行う
（候補画像がないときは、リターン）。すなわち、この
繰返しステップＳ８で候補画像があるときは、まず右カ
メラ対応画像探索ステップＳ９において、その候補画像
が路面に接地していると仮定して路面座標を算出し、右
カメラ画像の対応する路面座標位置の連結画像としての
足部２８（図１０参照）を探索する。
【００３４】さらに、一致画像判定ステップＳ１０にお
いて、上述したステップＳ７およびＳ９によって得られ
た左右の候補連結画像対としての足部２６，２８が一致
した連結画像か否かを判断する。例えば、具体的な判定
手段としては、それぞれの連結画像のＸ方向、Ｙ方向の
大きさ、総画素数などの値を比較し、左連結画像の値に
対して±１０％以内に右連結画像の値が入っていれば、
一致しているとみなす方法がある。要するに、片方を基
準とし、他方が一定範囲内の値に収まっていることを確
認する方法が最も簡便であり且つ効率が良い。その他の
判定手段としては、左右の連結画像に対し、相関関数を
用いて相関値を求め、相関値が一定値以上か否かを比較
する方法、あるいは連結画像の特徴をスケルトン処理な
どを行って求め、相関値を比較する方法などが考えられ
る。
いて、上述したステップＳ７およびＳ９によって得られ
た左右の候補連結画像対としての足部２６，２８が一致
した連結画像か否かを判断する。例えば、具体的な判定
手段としては、それぞれの連結画像のＸ方向、Ｙ方向の
大きさ、総画素数などの値を比較し、左連結画像の値に
対して±１０％以内に右連結画像の値が入っていれば、
一致しているとみなす方法がある。要するに、片方を基
準とし、他方が一定範囲内の値に収まっていることを確
認する方法が最も簡便であり且つ効率が良い。その他の
判定手段としては、左右の連結画像に対し、相関関数を
用いて相関値を求め、相関値が一定値以上か否かを比較
する方法、あるいは連結画像の特徴をスケルトン処理な
どを行って求め、相関値を比較する方法などが考えられ
る。
【００３５】このように、一致画像判定ステップＳ１０
で一致していると判定された一致連結画像対としての足
部２６および２８に対しては、記録ステップＳ１１にお
いて、探索結果データベース（図示省略）にペア接地画
像であることを記録すると同時に、それらの路面座標を
登録する。さらに、一致画像があるときは、グループ画
像探索処理ステップＳ１２において、近傍に部品化して
バラバラになっているであろうグループ画像の探索処理
を行う。一方、一致画像判定ステップＳ１０において、
一致する画像がなくなったとき、もしくはないときは、
次のステップＳ１３へ進む。
で一致していると判定された一致連結画像対としての足
部２６および２８に対しては、記録ステップＳ１１にお
いて、探索結果データベース（図示省略）にペア接地画
像であることを記録すると同時に、それらの路面座標を
登録する。さらに、一致画像があるときは、グループ画
像探索処理ステップＳ１２において、近傍に部品化して
バラバラになっているであろうグループ画像の探索処理
を行う。一方、一致画像判定ステップＳ１０において、
一致する画像がなくなったとき、もしくはないときは、
次のステップＳ１３へ進む。
【００３６】最後に、グループ画像探索処理ステップＳ
１２におけるグループ画像の探索処理が終了すると、次
候補探索ステップＳ１３において、左カメラ画像の探索
領域で、次の接地連結画像としての候補連結画像（但
し、前述した探索結果データベースに登録した連結画像
は候補から除く）を探索する。このステップＳ１３にお
いて、次候補がないときは、リターンに戻って探索処理
ステップＳ３を終了する。
１２におけるグループ画像の探索処理が終了すると、次
候補探索ステップＳ１３において、左カメラ画像の探索
領域で、次の接地連結画像としての候補連結画像（但
し、前述した探索結果データベースに登録した連結画像
は候補から除く）を探索する。このステップＳ１３にお
いて、次候補がないときは、リターンに戻って探索処理
ステップＳ３を終了する。
【００３７】図５は図４におけるグループ画像探索処理
のフロー図である。図５に示すように、グループ画像探
索処理ステップ（Ｓ１２：図４参照）では、左カメラ接
触画像探索ステップＳ１４において、左カメラの画像よ
り求められた一致連結画像としての足部２６の周囲に且
つ一定の距離（空白画素数）以内に存在する連結画像
（以下、接触画像とする）がないか否かを探索する。こ
こで、繰返しステップＳ１５は、接触画像がある間、以
下の処理を繰返す。
のフロー図である。図５に示すように、グループ画像探
索処理ステップ（Ｓ１２：図４参照）では、左カメラ接
触画像探索ステップＳ１４において、左カメラの画像よ
り求められた一致連結画像としての足部２６の周囲に且
つ一定の距離（空白画素数）以内に存在する連結画像
（以下、接触画像とする）がないか否かを探索する。こ
こで、繰返しステップＳ１５は、接触画像がある間、以
下の処理を繰返す。
【００３８】次に、繰返しステップＳ１５で接触画像２
６があるときには、その接触画像２６などに対し、ペア
画像探索ステップＳ１６において、右カメラ画像の一致
連結画像に左カメラ画像と同じ位置関係の接触画像があ
るか否かを探索する。ついで、このペア画像の探索の結
果、得られた左右接触画像対２６，２９などに対し、対
象画像判定ステップＳ１７において、前述した図４のス
テップＳ１４と同様の一致判定処理を行う。
６があるときには、その接触画像２６などに対し、ペア
画像探索ステップＳ１６において、右カメラ画像の一致
連結画像に左カメラ画像と同じ位置関係の接触画像があ
るか否かを探索する。ついで、このペア画像の探索の結
果、得られた左右接触画像対２６，２９などに対し、対
象画像判定ステップＳ１７において、前述した図４のス
テップＳ１４と同様の一致判定処理を行う。
【００３９】しかる後、対象画像判定ステップＳ１７で
対象画像があり、且つ一致していると判断された場合
は、登録ステップＳ１８において先に登録した接地連結
画像対２６，２８の子連結画像として探索結果データベ
ースに画像グループを登録する。また、対象画像判定ス
テップＳ１７においては、対象画像がなくなるまで、続
けられる。
対象画像があり、且つ一致していると判断された場合
は、登録ステップＳ１８において先に登録した接地連結
画像対２６，２８の子連結画像として探索結果データベ
ースに画像グループを登録する。また、対象画像判定ス
テップＳ１７においては、対象画像がなくなるまで、続
けられる。
【００４０】さらに、ステップＳ１７において対象画像
がなくなると、次候補探索ステップＳ１９において、グ
ループ画像を基準として、頭部などの他の接触画像がな
いか否かを探索する。すなわち、左カメラ画像におい
て、候補画像と接している次の画像を探索する。要する
に、すべての接触画像に対して、ステップＳ１５からス
テップＳ１９までの繰返し処理を行う。
がなくなると、次候補探索ステップＳ１９において、グ
ループ画像を基準として、頭部などの他の接触画像がな
いか否かを探索する。すなわち、左カメラ画像におい
て、候補画像と接している次の画像を探索する。要する
に、すべての接触画像に対して、ステップＳ１５からス
テップＳ１９までの繰返し処理を行う。
【００４１】かかるすべての候補連結画像に対してこれ
らの処理を行い、すべての接地連結画像対、グループ画
像対を探索すると、前述した図４のステップＳ８におけ
る候補画像の処理が完結する。
らの処理を行い、すべての接地連結画像対、グループ画
像対を探索すると、前述した図４のステップＳ８におけ
る候補画像の処理が完結する。
【００４２】上述した本実施の形態によれば、左右のカ
メラ画角から割り出される３次元空間上の路面座標を利
用し、足部などの接地連結画像を探索の基準としている
ため、次のような利点が挙げられる。 （Ａ）あらかじめ探索範囲を狭く設定でき、無駄な探索
処理を必要としない。 （Ｂ）左右連結画像の一致性を簡便な方法で判定するだ
けで済み、パターンマッチング処理などで必要となる膨
大なライブラリや超高速な処理を必要とせず、左右カメ
ラ画像における些細な特徴相違に対する判定ミスを発生
しない。
メラ画角から割り出される３次元空間上の路面座標を利
用し、足部などの接地連結画像を探索の基準としている
ため、次のような利点が挙げられる。 （Ａ）あらかじめ探索範囲を狭く設定でき、無駄な探索
処理を必要としない。 （Ｂ）左右連結画像の一致性を簡便な方法で判定するだ
けで済み、パターンマッチング処理などで必要となる膨
大なライブラリや超高速な処理を必要とせず、左右カメ
ラ画像における些細な特徴相違に対する判定ミスを発生
しない。
【００４３】また、本実施の形態において、一致連結画
像に対する接触画像 （グループ画像）の探索にあた
り、次のような利点が挙げられる。 （Ａ）探索範囲を限定できるため、無駄な探索処理を必
要としない。 （Ｂ）同様に、左右連結画像の一致性を簡便な方法で判
定するだけで済むため、パターンマッチング処理などで
必要となる膨大なライブラリや、超高速な処理を必要と
せず、左右カメラ画像における些細な特徴相違に対する
判定ミスを発生しない。 （Ｃ）グループ画像判定処理により、次の接地連結画像
および接触連結画像の探索候補から対象をはずすことが
可能であり、全体の処理を高速化できる。 （Ｄ）障害物の全体像に拘らず、障害物の有無を探索可
能であり、その障害物が歩行者なのか、自転車なのか、
その他の静止物なのかという判定の拡張に対しても余裕
を与えることが可能である。
像に対する接触画像 （グループ画像）の探索にあた
り、次のような利点が挙げられる。 （Ａ）探索範囲を限定できるため、無駄な探索処理を必
要としない。 （Ｂ）同様に、左右連結画像の一致性を簡便な方法で判
定するだけで済むため、パターンマッチング処理などで
必要となる膨大なライブラリや、超高速な処理を必要と
せず、左右カメラ画像における些細な特徴相違に対する
判定ミスを発生しない。 （Ｃ）グループ画像判定処理により、次の接地連結画像
および接触連結画像の探索候補から対象をはずすことが
可能であり、全体の処理を高速化できる。 （Ｄ）障害物の全体像に拘らず、障害物の有無を探索可
能であり、その障害物が歩行者なのか、自転車なのか、
その他の静止物なのかという判定の拡張に対しても余裕
を与えることが可能である。
【００４４】以上、本発明の一実施の形態を説明した
が、この他にも以下のような変形例を形成することがで
きる。
が、この他にも以下のような変形例を形成することがで
きる。
【００４５】上述したステレオカメラにおける基準とな
る画像は、左右どちらのカメラ画像を基準としてもよ
い。また、左右の候補連結画像対に対し、一致した連結
画像か否かを判断する判定手段として、それぞれの連結
画像のＸ方向、Ｙ方向の大きさ、総画素数などの値を比
較し、左連結画像の値に対して±１０％以内に右連結画
像の値が入っていれば、一致しているとみなしてもよ
い。
る画像は、左右どちらのカメラ画像を基準としてもよ
い。また、左右の候補連結画像対に対し、一致した連結
画像か否かを判断する判定手段として、それぞれの連結
画像のＸ方向、Ｙ方向の大きさ、総画素数などの値を比
較し、左連結画像の値に対して±１０％以内に右連結画
像の値が入っていれば、一致しているとみなしてもよ
い。
【００４６】さらに、左右の連結画像に対し、相関関数
を用いて相関値を求め、その相関値が一定値以上かどう
かを比較する方法や、連結画像の特徴をスケルトン処理
などを行って求めて比較する方法を採用してもよい。
を用いて相関値を求め、その相関値が一定値以上かどう
かを比較する方法や、連結画像の特徴をスケルトン処理
などを行って求めて比較する方法を採用してもよい。
【００４７】また、上述した一実施の形態における接触
画像の探索方法として、一定の距離（空白画素数）以下
という判断基準を設けたり、あるいは連結画像の重心の
距離または接触辺〔一定の距離（空白画素数）以下の空
隙〕の長さを判断基準としても可能である。
画像の探索方法として、一定の距離（空白画素数）以下
という判断基準を設けたり、あるいは連結画像の重心の
距離または接触辺〔一定の距離（空白画素数）以下の空
隙〕の長さを判断基準としても可能である。
【００４８】なお、上述した実施の形態では、ハンドル
の操舵量を制御するために、電動パワーステアリング装
置を例にとって説明したが、パワーステアリング装置と
しては、電気的に制御する他に油圧手段などを用いて制
御することもできる。
の操舵量を制御するために、電動パワーステアリング装
置を例にとって説明したが、パワーステアリング装置と
しては、電気的に制御する他に油圧手段などを用いて制
御することもできる。
【００４９】
【発明の効果】以上説明したように、本発明のステレオ
カメラによる障害物の認識方法およびその認識処理装置
は、左右のカメラ画角から割り出される３次元空間上の
路面座標を利用し、連結画像が路面に接地しているとす
る仮定のもとに、他方のカメラ画像で同じ路面座標の探
索および実際に路面に接地している画像の抽出を行い、
さらにその連結画像と接触している連結画像を抽出して
歩行者などの障害物の全体像を抽出し、同時に路面座標
を求めることができるので、汎用的なマッチングパター
ンライブラリを不要にするとともに、処理速度も高速な
ものを必要としないで、正確な障害物判定を実現できる
という効果がある。また、本発明によれば、抽出された
障害物全体像の特徴を求めることにより、その障害物が
歩行者なのか、自転車なのか、その他静止物なのかとい
う判定にも拡張が可能である。
カメラによる障害物の認識方法およびその認識処理装置
は、左右のカメラ画角から割り出される３次元空間上の
路面座標を利用し、連結画像が路面に接地しているとす
る仮定のもとに、他方のカメラ画像で同じ路面座標の探
索および実際に路面に接地している画像の抽出を行い、
さらにその連結画像と接触している連結画像を抽出して
歩行者などの障害物の全体像を抽出し、同時に路面座標
を求めることができるので、汎用的なマッチングパター
ンライブラリを不要にするとともに、処理速度も高速な
ものを必要としないで、正確な障害物判定を実現できる
という効果がある。また、本発明によれば、抽出された
障害物全体像の特徴を求めることにより、その障害物が
歩行者なのか、自転車なのか、その他静止物なのかとい
う判定にも拡張が可能である。
【図１】本発明の一実施の形態を説明するためのステレ
オカメラおよび画像処理部のブロック構成図である。
オカメラおよび画像処理部のブロック構成図である。
【図２】図１に示す画像処理部を含む画像処理・制御装
置を取り付けた自動車の前半分の断面図である。
置を取り付けた自動車の前半分の断面図である。
【図３】図２における画像処理・制御装置の処理フロー
図である。
図である。
【図４】図３における探索処理のフロー図である。
【図５】図４におけるグループ画像探索処理のフロー図
である。
である。
【図６】従来の一例を説明するための単眼式車載カメラ
を用いた際の歩行者と自動車の位置関係を表わす模式図
である。
を用いた際の歩行者と自動車の位置関係を表わす模式図
である。
【図７】図６に用いた単眼式車載カメラで得られる遠近
画像図である。
画像図である。
【図８】従来の他の例を説明するためのステレオ車載カ
メラを用いた際の歩行者と自動車の位置関係を表わす模
式図である。
メラを用いた際の歩行者と自動車の位置関係を表わす模
式図である。
【図９】図８に用いたステレオ車載カメラの左カメラで
得られる遠近画像図である。
得られる遠近画像図である。
【図１０】図８に用いたステレオ車載カメラの右カメラ
で得られる遠近画像図である。
で得られる遠近画像図である。
１ ステレオカメラ
２ 画像前処理部
３ ラベリング処理部
４ 探索処理部
５ 座標変換部
６ 障害物座標出力
７ 画像処理部
８ 画像処理・制御装置
９ ブレーキ・アクセル制御装置
１０ 電動パワーステアリング装置
Ｓ３ 探索処理ステップ
Ｓ１２ グループ画像探索処理ステップ
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｂ６０Ｋ 41/28 Ｂ６０Ｋ 41/28 ５Ｌ０９６
Ｂ６０Ｒ 21/00 ６２４ Ｂ６０Ｒ 21/00 ６２４Ｃ
６２６ ６２６Ｇ
Ｂ６０Ｔ 7/12 Ｂ６０Ｔ 7/12 Ｄ
Ｂ６２Ｄ 6/00 Ｂ６２Ｄ 6/00
Ｇ０６Ｔ 7/60 １１０ Ｇ０６Ｔ 7/60 １１０
１５０ １５０Ｂ
１５０Ｊ
Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ
Ｆターム(参考） 3D032 DA88
3D041 AA71 AB01 AC00 AC04 AC26
AD00 AD47 AE00 AE04 AE41
3D046 BB18 GG01 GG10 HH20
5B057 AA16 BA02 CE12 DA07 DA08
DA15 DB03 DB08 DC04 DC14
DC34 DC36
5H180 AA01 CC04 LL01 LL09
5L096 AA06 AA09 BA02 BA04 CA05
EA43 FA34 FA59 FA69 GA02
GA08 GA34 HA08 JA26 LA01
Claims (6)
- 【請求項１】 ステレオカメラに接続された画像前処理
部により、前記ステレオカメラから得られる左右各々の
画像に対し、フィルタ処理，二値化処理，微分処理を行
うカメラ画像前処理ステップと、前記画像前処理部の出
力に対し、ラベリング処理部を用いて左右カメラの微分
画像に対するラベリング処理を行うラベリング処理ステ
ップと、前記ラベリング処理部で非部品化された左右の
連結画像に対し、探索処理部を用いて探索処理を行う探
索処理ステップと、座標変換部により座標化された障害
物座標出力を用いて求められたグループ画像に対し、実
空間画像とその大きさを分析する分析ステップと、画像
処理・制御装置において前記分析ステップの分析結果よ
り求めた画像の大きさを用い、歩行者，二輪車またはそ
の他の障害物か否かを判断する障害物判定ステップとを
含み、前記障害物判定ステップの出力により、ブレーキ
・アクセル制御装置を制御して車両の加速・減速をコン
トロールすると同時に、パワーステアリング装置を制御
してハンドルの操舵量をコントロールすることを特徴と
するステレオカメラによる障害物の認識方法。 - 【請求項２】 前記探索処理は、カメラ画角から算出さ
れる直進状態における前方路面領域を仮の探索領域とし
て障害物を探索する探索領域設定ステップと、左カメラ
画像で前記探索領域を手前から探索し、最初の候補連結
画像を求める左カメラ候補画像探索ステップと、前記候
補画像があるときには、前記候補画像が接地していると
仮定して右カメラ画像の対応位置にペアとなる画像が存
在するか否かを探索する右カメラペア画像探索ステップ
と、前記左カメラ候補画像探索ステップおよび前記右カ
メラペア画像探索ステップによって得られた左右の候補
連結画像対が一致した連結画像か否かを判断する一致画
像判定ステップと、前記一致画像判定ステップで一致画
像があるときには、前記ペアとなる画像を記録し、グル
ープ画像の探索処理を行うグループ画像探索処理ステッ
プと、しかる後、グループ画像の探索処理が終了する
と、左カメラ画像の探索領域で、次の接地連結画像とし
ての候補連結画像を探索する次候補探索ステップとを有
し、繰返し処理で前記候補画像がないと判定されたとき
には、前記探索処理を終了させる請求項１記載のステレ
オカメラによる障害物の認識方法。 - 【請求項３】 前記グループ画像探索処理は、左カメラ
の画像より求められた一致連結画像の周囲に且つ所定の
距離内に存在する接触画像がないか否かを探索する左カ
メラ接触画像探索ステップと、前記左カメラ接触画像探
索ステップで接触画像があるときには、右カメラ画像の
一致連結画像に左カメラ画像と同じ位置関係の接触画像
があるか否かを探索する右カメラ接触ペア画像探索ステ
ップと、このペア画像の探索の結果、対象となる画像を
画像グループとして登録する登録ステップと、しかる
後、前記左カメラ画像で前記候補画像と接している次の
画像を探索する次画像探索ステップとを有し、繰返し処
理で前記接触画像がないと判定されたときには、前記グ
ループ画像探索処理を終了させる請求項２記載のステレ
オカメラによる障害物の認識方法。 - 【請求項４】 ステレオカメラのカメラ画角から割り出
される３次元空間座標上の路面座標を求め、前記路面座
標より路面に接地している連結画像を探索する探索ステ
ップと、左右連結画像の一致判定を行うペアリング処理
ステップと、前記ペアリング処理ステップにおける一致
連結画像を基準として、周囲に分散した障害物画像の全
体像を探索する全体像探索ステップとを含み、前記全体
像探索ステップにより、他の探索処理対象連結画像の候
補数を削減することを特徴とするステレオカメラによる
障害物の認識方法。 - 【請求項５】 車両の進行方向を任意の角度で撮影する
ステレオカメラと、前記ステレオカメラの画像出力を処
理する画像処理部とを有し、前記画像処理部は、前記ス
テレオカメラの画像出力をそれぞれ入力し、画像に対す
るフィルタ処理機能，二値化処理機能および微分回路を
備えた一対の画像前処理部と、前記一対の画像前処理部
の出力をそれぞれ入力し、微分画像に基づいて連結画像
を作成するためのラベリング処理を施す一対のラベリン
グ処理部と、前記一対のラベリング処理部の出力を入力
し、前記連結画像に対し特定の画像を探索する探索処理
部と、前記探索処理部によって探索された画像を路面座
標系に変換する座標変換処理部とを備えたことを特徴と
する障害物の認識処理装置。 - 【請求項６】 前記画像処理部は、前記座標変換部より
出力される障害物座標出力を前記車両内の画像処理・制
御装置に供給し、ブレーキ・アクセル制御装置およびパ
ワーステアリング装置を制御する請求項５記載の障害物
の認識処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001190823A JP4509429B2 (ja) | 2001-06-25 | 2001-06-25 | ステレオカメラによる障害物の認識方法およびその認識処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001190823A JP4509429B2 (ja) | 2001-06-25 | 2001-06-25 | ステレオカメラによる障害物の認識方法およびその認識処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003006620A true JP2003006620A (ja) | 2003-01-10 |
| JP4509429B2 JP4509429B2 (ja) | 2010-07-21 |
Family
ID=19029537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001190823A Expired - Fee Related JP4509429B2 (ja) | 2001-06-25 | 2001-06-25 | ステレオカメラによる障害物の認識方法およびその認識処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4509429B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1515293A1 (fr) * | 2003-09-11 | 2005-03-16 | Valeo Vision | Dispositif de détection d'obstacle comportant un système d'imagerie stéréoscopique incluant deux capteurs optiques |
| WO2007066842A1 (en) * | 2005-12-07 | 2007-06-14 | Electronics And Telecommunications Research Institute | Apparatus and method for vision processing on network based intelligent service robot system and the system using the same |
| US9731717B2 (en) * | 2014-10-27 | 2017-08-15 | Hyundai Motor Company | Driver assistance apparatus and method for operating the same |
| JP2019196122A (ja) * | 2018-05-10 | 2019-11-14 | 鹿島道路株式会社 | 重機の自動制動装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08271222A (ja) * | 1995-03-29 | 1996-10-18 | Sanyo Electric Co Ltd | 人体頭部位置検出装置 |
-
2001
- 2001-06-25 JP JP2001190823A patent/JP4509429B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08271222A (ja) * | 1995-03-29 | 1996-10-18 | Sanyo Electric Co Ltd | 人体頭部位置検出装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1515293A1 (fr) * | 2003-09-11 | 2005-03-16 | Valeo Vision | Dispositif de détection d'obstacle comportant un système d'imagerie stéréoscopique incluant deux capteurs optiques |
| FR2859860A1 (fr) * | 2003-09-11 | 2005-03-18 | Valeo Vision | Dispositif de detection d'obstacle comportant un systeme d'imagerie stereoscopique incluant deux capteurs optiques |
| WO2007066842A1 (en) * | 2005-12-07 | 2007-06-14 | Electronics And Telecommunications Research Institute | Apparatus and method for vision processing on network based intelligent service robot system and the system using the same |
| US8170324B2 (en) | 2005-12-07 | 2012-05-01 | Electronics And Telecommunications Research Institute | Apparatus and method for vision processing on network based intelligent service robot system and the system using the same |
| US9731717B2 (en) * | 2014-10-27 | 2017-08-15 | Hyundai Motor Company | Driver assistance apparatus and method for operating the same |
| JP2019196122A (ja) * | 2018-05-10 | 2019-11-14 | 鹿島道路株式会社 | 重機の自動制動装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4509429B2 (ja) | 2010-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6398347B2 (ja) | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム | |
| Bertozzi et al. | Artificial vision in road vehicles | |
| JP7280865B2 (ja) | 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御 | |
| CN103105174B (zh) | 一种基于ar增强现实技术的车载实景安全导航方法 | |
| Hoang et al. | Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning | |
| EP1783684A1 (en) | Plane detector and detecting method | |
| EP1780675A1 (en) | Object detector | |
| US9870513B2 (en) | Method and device for detecting objects from depth-resolved image data | |
| US20060067562A1 (en) | Detection of moving objects in a video | |
| JP6837262B2 (ja) | 走行可能領域検出装置及び走行支援システム | |
| US9008364B2 (en) | Method for detecting a target in stereoscopic images by learning and statistical classification on the basis of a probability law | |
| EP1553516A2 (en) | Pedestrian extracting apparatus | |
| KR20170104287A (ko) | 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법 | |
| CN109827516B (zh) | 一种通过车轮来测量距离的方法 | |
| CN110717445A (zh) | 一种用于自动驾驶的前车距离跟踪系统与方法 | |
| Broggi et al. | Stereo-based preprocessing for human shape localization in unstructured environments | |
| Seki et al. | Robust obstacle detection in general road environment based on road extraction and pose estimation | |
| Nakanishi et al. | Automatic vehicle image extraction based on spatio‐temporal image analysis | |
| US8213684B2 (en) | Motion estimating device | |
| CN111862147A (zh) | 视频中多车辆和多行人目标的跟踪方法 | |
| JPH1186185A (ja) | 車種判別装置 | |
| CN119559799A (zh) | 一种违章停车检测联动抓拍系统及方法 | |
| CN115239810A (zh) | 一种用于共享电动车骑行与停放的位姿检测方法 | |
| CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
| JP2005156199A (ja) | 車両検知方法及び車両検知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071005 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090915 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100428 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |