JP2010510918A - 自動車を操縦するための方法および配置 - Google Patents

Abstract

走行方向で自動車（1）前方にある地面から画像情報が把握され、これらの画像情報から走行方向および／または走行速度を変化させるための操縦命令が作り出される自動車を操縦するための方法を用いて、農業用自動車の画像情報に基づき、目立つ対象構造（３）が選択され、繰り返し自動車（１）と目立つ対象構造（３）との間の距離（ａ）が求められ、操縦命令が、対象構造に対応する画像情報から、および自動車と対象構造との間の距離変化から、作り出される自動車を操縦する方法。
【選択図】図１

Description

本発明は、自動車前方の走行方向にある地面からの画像情報を把握し、これから走行方向および／または走行速度を変化させるための操縦命令が作り出される方法に関する。そのほか本発明は、この方法に従い農業用自動車を操縦するための配置に関する。

トラクター、コンバインまたは飼料ホッパーのような、特に農業用自動車の運転者は、通常自動車のハンドル操作のほかに、多量な他の任務、たとえば放出アームの操縦、穀物タンク充填の監視、農場噴霧器、鋤または打穀作業の調整の制御も課されている。

自動車運転者からこれらの任務を免除するため、すでに自動操舵装置が開発されている。この場合、収穫作物の損傷およびこれによる生産高の損失を避けるため、および収穫列の重複、たとえば穀物収穫の際に、目的、時間および燃料コストの節約、およびこれらによる農業面の経営の効率を高め、最適化するために、正確な追跡把握が有意義である。

知られているように、自動車の自動操縦は、ＧＰＳに基づき指示される配置を実現する。この際、ＧＰＳ受信機は自動車に存在し、ソフトウェアを介して、場所の寸法および最適な走行ルートが、計画された作業を遂行するために算出され、これから操縦命令が作出され、操舵装置へ伝達される。

この原理での短所は、多くの適用において十分な精度とならない。たとえば、植物列の間の走行軌間がちょうど自動車のタイヤ幅と同じ軌間の寸法である場所を通行するため、作物を傷つけないよう、最大で８ｃｍの走行軌間偏倚が許容される。このことは、衛星によってのみ支持されたＧＰＳ配置を用いては達成可能でない。

精度を高めるためには、前記目的のため、すでに異なるＧＰＳシステムが開発されている。この場合、受信機は自動車において、衛星信号ばかりでなく、加えて定常送信局の情報をも供給される。

この様式で軌間確保の精度は、約±５ｃｍまで改善することがうまく行く。このようなシステムが、たとえばＵＳ ２００３０２０８３１１ Ａ１に記述されている。

ＵＳ ６，５３９，３０３には、さらに進んだ方法様式が明示されており、ここでは互いに平行に離れて走る自動車が自動的に操縦される。

しかし、紹介された両システムに共通なのは、障害物の状況またはすでに与えられた走行軌間の、非常に正確な知識が存在せねばならないことである。しかし、たとえば収穫作物から刈り束を作り出す際にはこのような情報は存在しない。

さらに、使用されるシステムの空間的ドリフトが、たとえば種まきと収穫との間にある時期間隔に基づき、いつも残っている。

さらに開発された方法および配置が、自動車を操縦することのために知られており、これらにおいては、自動車を取り巻く地面に関する情報が、操縦命令を作り出すための基礎とされ、たとえば、ＵＳ ６，２７８，９１８およびＵＳ ６，６８６，９５１に記述されている。

ここでは自動車前方の地面は、カメラの助けを借りて観察され、後ろに接続された画像解析装置において、さまざまなアルゴリズムを用いて、現れている構造が評価される。このようにして、たとえば刈り束認識のために、刈り束と刈り取られた刈り株耕地との差異が、色彩差に基づいて行われる。

この場合、問題があり、刈り束および地面の色が湿り・乾き特性のような条件に依存し、しばしば色彩の差が少なすぎるという事情が持ち上がる。また、撮影された画像の評価も周囲光に影響される。影、特に当該自動車の影が、処理すべき信号中に大きな明暗コントラストを作り出し、これによって自動的解析をかなり困難にする。

刊行物「超音波を用いた刈り束読み取り」、土地技術時報Ｖｏｌ．５／１９９３，ｐ．２６６において、複数個の超音波センサが地面に平行な列に配置されている方法様式が記述されている。これらの各センサは、地面までの距離を求め、割り与えられた全センサにより求められた距離に得られる高度プロファイルの、「画像点」を支給する。読み取りごとに、高度プロファイルに関する２次元情報が存在する。自動車の前進の間に読み取りを繰り返すことを用いれば、高度プロファイルの３次元情報が得られる。

この原理に従い、比較的粗い構造のみ、おおよそ読み取り地面上に横たわる刈り束の高さと幅が検出される。

別の知られた装置が、画像把握のためにステレオカメラを利用し、たとえばＥＰ １ ４７３ ６７３に明示する。自動車によるさまざまな視角から得られる２枚の画像を解析することによって、表面の３次元プロファイルが線引きされ、こうすることで両画像上の同一対象からの２次元偏倚が空間深度に変換されるようになる。

この場合の短所は、両カメラの位置が非常に正確に知られねばならないこと、および自動車上で変更されてはならないことである。

距離測定方向が、ＵＳ ６，３８９，７８５に記述されるように、レーザスキャナ・ベースで使用される配置では、地面の行が走行方向に垂直に点ごとに読み取られ、これの距離が測られる。自動車の前進の間に、測定データは３次元プロファイルに組み立てられる。

スキャナによる制限から、この場合、移動成分が画像把握のために使用される。ちょうど農業自動車上で現れる震動および振戦は、それゆえ測定システムの軽度の乱れを導き、そのうえスキャナの寿命を縮める。

ＵＳ ２００３０２０８３１１ Ａ１ ＵＳ ６，５３９，３０３ ＵＳ ６，２７８，９１８ ＵＳ ６，６８６，９５１ ＥＰ １ ４７３ ６７３ ＵＳ ６，３８９，７８５

刊行物「超音波を用いた刈り束読み取り」、土地技術時報Ｖｏｌ．５／１９９３，ｐ．２６６

この現状技術から出発し、本発明は、自動車、特に農業用自動車を自動操縦するための方法をさらに開発するということを課題の基礎としている。本発明の課題は、とりわけ、農業の面の経営効率の観点で改善された農業用自動車の操縦を可能とする配置を作り出すことに存する。

本発明に則し本課題は、画像情報が走行方向で自動車前方にある地面から把握されることと、これらの画像情報から走行方向および／または走行速度を変化させるための操縦命令が作り出されるところの、自動車を操縦するための方法を用いて、画像情報に基づき目立つ対象構造が選択されることと、繰り返し自動車と目立つ対象構造との間の距離が求められることと、操縦命令が、対象構造に対応する画像情報から、および自動車と対象構造との間の距離変化から、作り出されることとによって解決される。

ここで目立つ対象構造としては、一定の植物、植物列、耕地のうね溝、収穫作物の刈り束、道路の縁または走行軌間が利用でき、操縦命令は、このような対象構造に相対的に走行方向を変化させるために作り出される。

言いかえると、目立つ対象構造から獲得される画像情報、およびこれらの画像情報に関連する自動車と対象構造との間の距離変化は、自動車の車輪が自動的に予定の通路に、たとえば植物列の間の正確な向きに、自動車運転者が巻き込まれることなく走るように、自動車の操縦に影響を与えて走行方向を修正するところの操縦命令へと変換する。

本発明に係る方法の長所ある構成においては、障害物を迂回する目的で走行方向または走行速度を変化させるための、操縦命令が作り出される。これは、特に対象物を、これらの大きさと成分に基づき、自動車が危険となり得る対象物であることを認識する働きをする。また、走行方向に存在する、なにか他の自動車または人物のような、移動する対象物も検出でき、これらの画像情報から、走行方向または走行速度を変化させるための操縦命令、および／または警報信号も、発生させることができる。

別の長所ある構成においては、操縦すべき自動車の距離および向きを別の自動車に対して変化させるため、走行速度または走行方向を変化させるための操縦命令も、発生させることができる。これを用いて、たとえば収穫用自動車の走行速度または走行方向を、収穫作物を搬出するための１両かそれ以上の自動車の走行速度または走行方向へ、同期させることが可能である。そのため、収穫作物を収穫用自動車から代わりの輸送用自動車へ伝達するのを、収穫過程を中断せずに行えるので、収穫用自動車へ効率的に積み込まれる。特にこの方法様式が好適なのは、走行可能な裁断機において、または穀物収穫において適用する場合である。

こうして、農業での数多くの任務において、複数両の農業機械が同時に一つの農場に存在する場合、互いに離れて、穀物を収穫するコンバインの連合体を容易に扱えるが、または機械に平行に移動するトラクターのトレーラーを積んだ収穫機も扱える。これらの場合にすべて、干渉のない作業過程を保証するよう、個別機械の走行方向および走行速度が互いに重要な意味を持つ状態が取り扱われる。

本発明に係る方法の構成に応じて、画像情報は、赤外領域および／または可視範囲の光を用いて獲得される。それで、決まった色の評価に基づき、たとえば刈り束の認識を改善するよう、また刈り束の密度に関して情報を得るよう、画像情報を分光学的に解明することが可能である。農業用自動車の操縦は、この場合収穫作物の分量および品質に依存して行われる。

本発明に係る方法の別の構成では、同時に操縦命令と共に、または別々に、これのための音声警告信号を自動車運転者用に発生させることが設けられており、運転者はそのうえ、自動制御の作用および訂正尺度をコントロールすることができる。

自動車を前進させるための駆動装置、前進方向を決定するためのハンドル装置、前進速度を変化させるための加速装置およびブレーキ装置、画像情報を前進方向で自動車前方にある地面から把握するための光学装置、およびハンドル装置用および／または加速装置およびブレーキ装置用の、操縦命令を画像情報から作り出すための評価装置および処理装置を装備しているところの、農業用自動車を操縦するための配置において、本発明に則し、以下のように設けられる：

目立つ対象構造に対応する画像情報を選択するための手段、並びに自動車とこれらの対象構造との間の距離を、クロックされ繰り返し求めるための距離測定装置であって、評価装置および処理装置が、操縦命令を、目立つ対象構造に対応し、自動車と対象構造との間の距離変化に対応する画像情報から作り出すために形成されている手段並びに装置。

長所として光学装置は、農業用自動車前方の空間内で１本の直線上にある対象構造に起因する画像情報を把握するための手段を有し、ここでこの直線は、前進方向に角α≠０°、特にα≒９０°をなす。

これの代わりに光学装置は、農業用自動車前方の空間内で１枚の平面内にある対象構造に起因する画像情報を把握するための手段を有し、ここでこの平面は、自動車の前進方向に角α≠０、特にα≒９０°をなす。

画像情報を把握するための光学装置は、光学個別センサ、光学センサ列および／または光学センサアレーを装備している。ここでセンサの少なくとも１個は、位相敏感センサとして形成されており、距離変化を把握するために設けられている。

これに関して、光学装置として長所と共に、走時カメラが利用される。従来のカメラが単に画像ポイントの明度のみ把握する光学センサを装備している一方、走時カメラはこれらのセンサの代わりに、またこれらと並んで、明度のほかに光の走時をも測る位相敏感センサを使用し、この光は画像情報を運び、これにより距離測定を可能とする。このことは、距離が測定されるべき対象物を照明するための、別々に変調された光源の助けを借りて行われる。こうして走時カメラを用いて、対象物の画像情報ばかりでなく、この対象物までの距離値もが獲得される。

走時カメラを使用する際に、自動車前方の地面は、長所をもって走時カメラ内へ装入されていて、たとえば周波数ｆを用いて正弦形に変調される、光源を用いて照明される。光速度ｃで広がる波は、この場合、周期１/ｆを持つ。選択されて照明された対象物、すなわち照明された対象構造への距離は、位相変位を測ることにより算出され、これは光の走時ｃｊ，ψの間に、関数ｚ＝ｃ/２ｆ×ψ/２πに従って得られ、ここでｃ光速度、ｆ変調周波数、およびψ位相変位である。距離はこうして位相変位ψに基づき決定される。

この「タイム・オヴ・フライト」原理という概念の下でも知られる距離測定法は、たとえば雑誌「エレクトロニクス」、ＷＥＫ専門雑誌出版有限会社、２０００年、第１２巻の、標題「光混合検出器が３Ｄ画像を把握する」に、詳細に記述されている。別の記述が、学位請求論文「変調走時に基づくＳＤ視界システムの研究および開発」を含み、ホルスト・Ｇ・ハイノルトにより、ジーゲン大学の電子技術・情報学専門分野に提出されている。詳細な解明が、それゆえここの場所では必要でない。

画像把握は、本発明にかかる配置の場合、たとえば刈り束認識について分解能約１０ｃｍないし２０ｃｍが可能であるように、設計されている。植物列の画像情報を把握する場合には、これに対し、配置は精度５ｃｍないし１０ｃｍについて形成されるのが有利である。

光学装置には、不均一に配分された光学的分解能を画像情報把握の際に達成するという目的のために、円筒レンズまたはプリズムがあらかじめ配置できることが有利である。この場合レンズまたはプリズムは、光学装置の決まったセンサ領域が、自動車前方地面からの画像情報を、それ以外のセンサ領域より高い分解能を用いて把握するように形成されている。

典型的な経営農場における農業用自動車の側面図。 図１の農業用自動車の平面図。 ブロック結線図において、画像情報および距離情報を獲得する際の信号の流れ、および操縦命令におけるこれらの変換。

図１の農業用自動車１は、以下の個別には記号表示されない装置を含む：前進用の駆動装置、前進方向を変化させるためのハンドル装置、前進速度を変化させるための加速装置およびブレーキ装置、自動車前方の前進方向内にある目立つ対象構造３の画像情報を把握するために、並びに自動車１と対象構造３との間の距離がクロックされ繰り返し求めるために形成されている走時カメラ２、およびハンドル装置用および加速装置およびブレーキ装置用に、画像情報および距離変化から操縦命令を作り出すための評価装置および処理装置。

走時カメラ２は、図１に提示された側面図で、視角β約１５°ないし４０°を有する視範囲４を持つ。視角βは、農業用自動車１の目標決定に依存しており、構成尺度によって予め与えられている。こうして、たとえば農業用自動車１をとうもろこし収穫のために投入の際には、視角β＝１５°で十分であり、一方植物列をたどる際、たとえば分離した列を認識できるようにするためには、より大きい視角βが望ましい。

図２は、図１の平面図を示し、これにより走時カメラ２の視範囲４の側方視角γが見られ、これはたとえば大きさ４０°ないし１４０°の程度である。視角γもまた農業用自動車１の投入に依存しており、構成尺度によって予め与えられる。こうして、たとえば刈り束を認識するためにはγ＝４０°で十分であり、一方コンバインとして形成された農業用自動車１では、スリッタ・ローラの幅全体をカバーする視角γが必要である。

走時カメラ２は、センサから成るアレーを用い、これらのうちで少なくとも１基が、しかし多数のほうが有利であるが、すべて位相敏感に形成されれば特に有利であり、そして明度信号をも距離信号をも供給し、これらの信号入口が、主として自動車１内部に格納された評価装置および処理装置に接続されている。

この配置を始動させた場合、走時カメラ２は、自動車前方の前進方向にある地面の画像を撮像し、これにより獲得された画像情報を、センサの配置に対応して、１次元または２次元の、対象構造３によってもたらされた明度分布を、評価装置および処理装置に伝達する。

自動車１の前進と共に、前進速度に依存して、走時カメラ２すなわち自動車１と走時カメラ２により、その視範囲４で把握される対象構造３との間の距離ａは、変化する。

位相敏感なセンサにより、このように「タイム・オヴ・フライト」原理に従い、明度値と並んで、対象構造までの距離ａに関する情報も獲得される。走時カメラ２に組み込まれているのが有利なクロック発振器が予め与える短い時間間隔で、この情報は現時点で活性化され、この原理で評価装置および処理装置に、常に自動車１前方の空間の３次元画像が作り出される。自明なように、ここにおいて時間ユニット当たりのクロックは、同じ時間ユニットに自動車１の過ぎた道程区間より何倍も大きい。

距離ａに関する情報を獲得するために、１行にあるかまたは１面を張る位相敏感なセンサが設けられていて、１列にある複数個の対象物の構造による画像情報が把握されるか、または１面にある複数個の対象物の構造による画像情報が把握されるようになる。

自動車１前方の空間の３次元画像は、目立つ対象構造３を画像から画像へ再認識するように永久的に評価される。このような対象構造３は、本発明に係る配置の適用に応じて、刈り束、植物列、穀物収穫時の刈り取り際（きわ）、倒れた穀物の地面、またとうもろこしまたは大豆の列に対応する。こうして図２には典型的に、自動車１の前進方向に平行に伸びて、走行軌間６として用いられるうね溝によって互いに分けられているところの、植物列５が示されている。

画像と画像を比較することから、評価装置および処理装置を介して、距離変化に関する情報のほかに、対象構造３に相対的な自動車１の状況の変化に関する情報も獲得され、これにより修正するハンドル装置用、および加速装置およびブレーキ装置用の調整命令が導出され、これらへと伝達され、そして自動車１の前進方向および前進速度が変化させられる。

本発明にかかる配置の構築を続行する時、評価装置および処理装置は、３次元画像で色評価するためにも形成されていて、対象構造３はそれらの大きさまたは形に関してばかりでなく、それらの特に色に基づいても区別可能なようになっている。

このように、たとえば求められた情報に基づき、植物列５は走行軌間６から正確に区別される。これを用いて特に高い精度が、自動車１の前進方向に修正して変化を与える時に達せられる。

考え得ることは、またそれでたとえば地面の非平坦性に基づく自動車１の偶発的な傾斜状態に関する３次元画像を評価するための別の構成である。

また考え得るのは、評価装置および処理装置に達する情報をＧＰＳシステム、また微分ＧＰＳシステムの情報で補完し、これによって別の正確な規定が達成されることである。

図３は、本発明にかかる配置のブロック結線図を模式的に示し、これの中に含まれる図に基づき、矢印によって記される信号流方向はおのずから明白である。

自動車前方の空間の３次元プロファイルが、走査する光学系を介して作り出されるという、当該の現状技術により知られた方法および配置とは反対に、本発明に係る方法および本発明に係る配置は、走査する光学系を用いない。これによって、多数の２次元画像情報を時間的に並行して把握し、現状技術とは反対に３次元プロファイルを同時に作り出すことが可能である。

本発明に係る方法は、特に典型的に提供される本発明に係る配置は、さらに、自動車前方の視界内の障害物を検出するのに利用されることができる。本システムは、３次元の地面プロファイルを作り出すから、機械についてその寸法に基づき、大きい石、樹木、不意に走行方向を横切る他の自動車などのような危険性ポテンシャルを所有する対象物を認識する状況にある。

さらに、獲得された画像情報および距離情報に基づき、相対速度が非常に正確に認識されることができる。特に、走行方向で障害物（たとえば他の農業機械）に相対的な農業機械の移動には、走時に基づく画像情報把握は、距離に関する直接情報を所有するという、長所を所有するが、その一方従来の方法様式は、単に画像中の寸法変化に基づき距離に関する表出に言及できるのみである。

農業用自動車前方の空間の３次元プロファイルは、たとえばさらに、自動車に結合された工具の適合を地面プロファイルに行うことに利用される。こうして、コンバインのスリッタ・ローラなどは、地面接触または低い障害物との接触、およびこれによる損傷を避けるよう、自動的に高さで調整されることができる。スリッタ・ローラは、下底まで最適な間隔が保たれるよう、高さにおいて常に調整される。

本発明は構築法も含み、この場合走時カメラは、走行方向での地面区分ばかりでなく、地面区分の反対側の、または走行方向側方の３次元プロファイルも獲得されるように向けられている。それで、たとえば近隣の自動車が場所、距離および／または相対速度に関して監視されるのが有利であり、この基盤で操縦される自動車の走行速度および走行方向の適合がなされる。

１ 自動車
２ 走時カメラ
３ 対象構造
４ 視範囲
５ 植物列
６ 軌間
ａ 距離
ｆ 周波数

Claims (16)

1. 画像情報が、自動車前方の走行方向にある地面から把握され、これらの画像情報から走行方向および／または走行速度を変化させるための操縦命令が作り出される、自動車を操縦するための方法であって、画像情報に基づき目立つ対象構造（３）が選択され、繰り返し自動車と対象構造（３）との間の距離（ａ）が求められ、操縦命令が、対象構造（３）に対応する画像情報および自動車と対象構造（３）との間の距離変化から作り出されることを特徴とする方法。
2. 目立つ対象構造（３）として決定された植物、植物列（５）、耕地のうね溝、収穫作物の刈り束、路縁または走行軌間（６）が利用される請求項１に記載の方法。
3. 走行方向を変化させるための操縦命令が、対象構造に相対的に軌間を保つ目的で作り出される請求項１または２に記載の方法。
4. 走行方向または走行速度を変化させるための操縦命令が、障害物を迂回する目的で作り出される請求項１ないし３の１項に記載の方法。
5. 自動車の走行速度または走行方向を変化させるための操縦命令が、少なくとも１両の他の自動車の走行速度または走行方向に同期させる目的で作り出される請求項１ないし４の１項に記載の方法。
6. 走行速度を変化させるための操縦命令が、自動車に結合された農業機械の作業遂行を変化させ、および／または一定に保つ目的で作り出される請求項１ないし５の１項に記載の方法。
7. 画像情報が、赤外領域内の、および／または可視範囲内の光を用いて獲得される請求項１ないし６の１項に記載の方法。
8. 収穫機に結合された農業用自動車（１）を操縦するための方法であって、操縦命令が収穫作物の分量および品質に依存して作り出される請求項１ないし７の１項に記載の方法。
9. 農業用自動車（１）を操縦するための配置であって、自動車を前進させるための駆動装置と、前進方向を決定するためのハンドル装置と、前進速度を変化させるための加速装置およびブレーキ装置と、自動車（１）前方で前進方向にある地面から画像情報を把握するための光学装置と、
   ハンドル装置用、加速装置およびブレーキ装置用および／または農業用自動車（１）に結合した作業機械用の画像情報から、操縦命令を作り出すための評価装置および処理装置とを含む配置であって、
   地面内の目立つ対象構造（３）の画像情報を把握するための手段、並びに自動車（１）とこれらの対象構造（３）との間の距離（ａ）を、クロックされて繰り返し求めるための距離測定装置であって、評価装置および処理装置が、対象構造（３）に対応する画像情報から、および自動車（１）と対象構造（３）との間の距離変化から、操縦命令を作り出すために形成されていることを特徴とする配置。
10. 光学装置が、農業用自動車前方の空間内で１本の直線状にある対象構造から、もたらされる画像情報を、把握するための手段を有し、この直線が前進方向に角α≠０°、有利にはα≒９０°をなす、請求項８に記載の配置。
11. 光学装置が、農業用自動車前方の空間内で１枚の平面内にある対象構造から、もたらされる画像情報を、把握するための手段を有し、この平面が自動車の前進方向に角α≠０°、有利にはα≒９０°をなす請求項１０に記載の配置。
12. 光学装置が画像情報を把握するために、光学的個別センサ、光学的センサ列および／または光学的センサアレーにより装備されている請求項８ないし１２の１項に記載の配置。
13. センサの少なくとも１個が位相敏感なセンサとして形成され、距離変化を把握するために設けられている請求項１３に記載の配置。
14. 光学装置が、画像情報を把握するために、自動車（１）に固定されており、自動車（１）が前進する間にこれに相対的に静止状態にある請求項８ないし１４の１項に記載の配置。
15. 光学装置に、非均一に分布する光学的分解能を画像情報把握時に実現させるよう、円筒レンズまたはプリズムが前置されている、請求項８ないし１５の１項に記載の配置。
16. 円筒レンズまたはプリズムが、光学装置の決まったセンサ領域が自動車前方の地面からほかのセンサ領域より高い分解能により把握するように、形成されている請求項１６に記載の配置。