-
Die vorliegende Erfindung bezieht sich auf ein System zur selbsttätigen Lenkung eines Fahrzeugs und/oder eines damit verbundenen Arbeitsgeräts zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld, sowie eine Kombination aus einem Fahrzeugs und einem damit verbundenen Arbeitsgerät.
-
Stand der Technik
-
In der Landwirtschaft besteht ein Bedürfnis, Fahrzeuge selbsttätig über ein Feld zu lenken, um dem Bediener die Arbeit zu erleichtern und es ihm zu ermöglichen, sich auf die Überwachung und Kontrolle der beim Überfahren des Feldes durchgeführten Arbeiten, wie Bodenbearbeitung, Ausbringen von Mitteln oder Ernten von Pflanzen zu konzentrieren. Im Stand der Technik sind neben Lenksystemen, die mittels eines satellitenbasierten Positionsbestimmungssystems (GNSS, globales Satellitennavigationssystem) und einer Karte der zu befahrenden Spuren ein Lenksignal erzeugen (
EP 0 856 453 A2 ) auch optische Lenksysteme bekannt, die anhand eines das Feld vor dem Fahrzeug abtastenden Laserentfernungsmessers (
DE 197 43 884 A1 ) oder anhand des Bildes einer Kamera, das mit einem Bildverarbeitungssystem ausgewertet wird (
DE 103 51 861 A1 ,
US 8 706 341 B2 ) Merkmale auf dem Feld erkennen, anhand denen ein zu befahrender Weg evaluiert wird. Bei diesen Merkmalen kann es sich um Bearbeitungsgrenzen handeln, die eine Änderung des Bodenprofils mit sich bringen, oder um die Kante eines noch stehenden Erntegutbestandes.
-
Derartige, mit einer Kamera erzeugte Lenksignale können zur selbsttätigen Lenkung eines Fahrzeugs dienen und/oder verwendet werden, um einen zur seitlichen Verstellung des Geräts vorgesehenen Aktor gegenüber dem Fahrzeug zu kontrollieren, um das Arbeitsgerät auf dem gewünschten Weg zu halten (
EP 2283719 A2 ,
US 2013/0110358 A1 ,
DE 1020015009889 A1 ) und somit mögliche Lenkfehler des Fahrzeugs zu kompensieren.
-
Falls das Fahrzeug bzw. das Arbeitsgerät über ein Feld gelenkt werden soll, auf dem Pflanzen in Reihen angebaut werden, bietet es sich an, die Pflanzen als Merkmal zu erkennen. Es wurde im Stand der Technik schon vorgeschlagen, anhand mehrerer, in Fahrtrichtung voreinander liegender, jeweils im Bild als Pflanzen identifizierter Punkte zu unterscheiden, ob die Pflanzen in einer geraden Reihe oder in einer Kurve angebaut wurden und das Lenksignal dementsprechend zu Führung entlang einer Geraden oder einer Kurve zu erzeugen (s.
US 6 385 515 B1 ).
-
Eine ähnliche Vorgehensweise, bei der eine Maschine selbsttätig durch ein Bildverarbeitungssystem entlang eines Schwads oder von zwischen zwei Schwaden liegenden Fahrspuren geführt wird, ist in der
US 9 002 566 B2 beschrieben. Falls die Qualität des Bildsignals zur selbsttätigen Lenkung ausreicht, wird das Fahrzeug entlang eines geraden oder gekrümmten Weges geführt, abhängig vom Bildsignal. Die Genauigkeit des Lenksignals wird anhand von Signalen eines GNSS-Empfängers und/oder Trägheitsnavigationssystems verbessert, das eine Nennwenderadiuskalibrierung und einen zweidimensionalen Versatz von einer zuvor aufgenommenen Spur bereitstellt. Hier dient das Navigationssignal demnach zur Verbesserung der Genauigkeit des optisch erzeugten Lenksignals.
-
Eine ähnliche Vorgehensweise wird in V. Dworak et al., Precise Naviation of Small Agricultural Robots in Sensitive Areas with a Smart Plant Camera, J. Imaging 2015, 1 (1), p. 115-133 (https://www.mdpi.com/2313-433X/1/1/115/htm) beschrieben. Dort ist der Bildverarbeitungsalgorithmus ebenfalls in der Lage, zwischen geraden und gekrümmten Pflanzenreihen im Bild zu unterscheiden und ein entsprechendes Lenksignal abzugeben, das mit Signalen von Kreiseln, Beschleunigungsmessern, magnetischen Kompassen, Barometern und GNSS-Empfängern fusioniert werden kann, um die Genauigkeit zu verbessern.
-
Problem
-
Im Stand der Technik werden das Bildsignal und das Positionssignal demnach fusioniert, um die Genauigkeit der Lenkung zu verbessern. Die Bildverarbeitungssoftware muss jedoch selbst herausfinden, ob das auf dem Feld erkannte Merkmal (Pflanzenreihe) gerade oder kurvenförmig ist, was insbesondere bei nicht perfekten Sichtbedingungen problematisch sein kann.
-
Lösung
-
Verschiedene Aspekte der vorliegenden Offenbarung werden in den Ansprüchen dargelegt.
-
Ein System zur selbsttätigen Lenkung eines Fahrzeugs und/oder eines damit verbundenen Arbeitsgeräts zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs auf einem Feld umfasst:
- ein Bahnkrümmungsbestimmungssystem, das eingerichtet ist, ein Signal hinsichtlich der Krümmung der vom Fahrzeug und/ oder dem Arbeitsgerät befahrenen Bahn abzugeben, und
- eine Kamera, die mit einem Bildverarbeitungssystem verbunden ist, das programmiert ist, anhand des Bildsignals der Kamera in Vorwärtsrichtung aufeinander folgende Merkmale oder sich in Vorwärtsrichtung erstreckende auf dem Feld zu erkennen, an denen das Fahrzeug und/oder das Arbeitsgerät entlang zu lenken ist,
- wobei das zur Erzeugung eines Lenksignals für das Fahrzeug und/oder das Arbeitsgerät eingerichtete Bildverarbeitungssystem signalübertragend mit dem Bahnkrümmungsbestimmungssystem verbunden und programmiert ist, im Fall, (a) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn des Fahrzeugs und/oder Arbeitsgeräts gerade ist, beim Verarbeiten des Bildsignals der Kamera davon auszugehen, dass die Merkmale auf einer geraden Reihe angeordnet sind und im Fall, (b) dass das Signal des Bahnkrümmungsbestimmungssystem anzeigt, dass die Bahn des Fahrzeugs und/oder Arbeitsgeräts gekrümmt ist, beim Verarbeiten des Bildsignals der Kamera davon auszugehen, dass die Merkmale auf einer gekrümmten Linie angeordnet sind.
-
Mit anderen Worten dient das Signal des Bahnkrümmungsbestimmungssystems nicht ausschließlich, wie im Stand der Technik, zur Verbesserung der Genauigkeit des Bildverarbeitungssystems durch Fusionierung der Signale, sondern informiert das Bildverarbeitungssystem darüber, an welchen Stellen des Bildes die Merkmale, auf denen das Lenksignal basieren soll, wahrscheinlich zu finden und demnach zu suchen sind. Demnach werden die Genauigkeit des Bildverarbeitungssystems und/oder die Schnelligkeit der Bildverarbeitung verbessert, denn diese kann vorrangig an den Stellen stattfinden, an denen die Merkmale zu erwarten sind bzw. dort identifizierte Merkmal können mit einer höheren Wichtung versehen werden als an anderen Stellen des Bildes identifizierte Merkmale. Selbstverständlich kann das Signal des Bahnkrümmungsbestimmungssystem auch mit dem Signal des Bildverarbeitungssystems zur Verbesserung von dessen Genauigkeit fusioniert werden, wie an sich im Stand der Technik bekannt.
-
Das Bahnkrümmungsbestimmungssystem kann einen GNSS-Empfänger und/oder ein Trägheitsnavigationssystem und/oder einen Lenkwinkelsensor umfassen.
-
Das Bildverarbeitungssystem kann programmiert sein, das Lenksignal anhand einer Sollweginformation zu erzeugen, die im Fall (a) gerade und im Fall (b) gekrümmt ist.
-
Die Merkmale können Pflanzenreihen und/oder Fahrspuren darstellen.
-
Die Sollweginformation kann eine zwischen benachbarten Pflanzenreihen oder Fahrspuren liegende Mitte oder eine Pflanzenreihe oder eine Fahrspur repräsentieren.
-
Das Bildverarbeitungssystem kann programmiert sein, im Fall (b) beim Verarbeiten des Bildsignals der Kamera davon auszugehen, dass die Linie entsprechend eines vom Bahnkrümmungsbestimmungssystem signalisierten Radius gekrümmt ist.
-
Das Bildverarbeitungssystem kann programmiert sein, ein im Bild identifiziertes Merkmal mit einer höheren Wichtung in die Berechnung des Lenksignals aufzunehmen, je näher es an der geraden oder gekrümmten Linie liegt.
-
Das Arbeitsgerät kann gegenüber dem Fahrzeug durch einen vom Bildverarbeitungssystem kontrollierten Aktor seitlich beweglich sein.
-
Die Kamera kann am Arbeitsgerät angeordnet sein.
-
Figurenliste
-
Die erwähnten und andere Merkmale werden durch die folgende Beschreibung und beigefügten Zeichnungen erkennbar, in denen:
- 1 eine schematische Draufsicht auf ein landwirtschaftliches Fahrzeug mit einem Arbeitsgerät mit Werkzeugen und einem System zur Steuerung der seitlichen Position des Arbeitsgeräts während eines Bearbeitungsvorgangs auf einem Feld;
- 2 ein Flussdiagramm, nach dem eine Gerätesteuereinheit vorgeht;
- 3 eine Draufsicht auf ein Fahrzeug bei Geradeausfahrt und
- 4 eine Draufsicht auf ein Fahrzeug bei Kurvenfahrt zeigt.
-
Gleiche Bezugszeichen werden verwendet, um in den Figuren durchgängig gleiche Elemente zu kennzeichnen. Wenigstens eine beispielhafte Ausführungsform des Gegenstands der vorliegenden Offenbarung ist anhand der 1 bis 4 verständlich.
-
1 zeigt eine Draufsicht auf ein Feld 10, auf dem in landwirtschaftliches Fahrzeug 12, das ein selbstfahrendes Fahrzeug und ein damit verbundenes Arbeitsgerät 14 umfasst, einen Arbeitsvorgang durchführt. Auf dem Feld 10 wurden während eines vorhergehenden Arbeitsschrittes Pflanzen 16 gesät oder gepflanzt. Die Pflanzen 16 sind in einem rechteckigen Muster, wie gezeigt, angebaut, oder in einem beliebigen anderen Muster, z.B. in einem hexagonalen oder Diamant-Muster, oder bedecken das Feld ohne regelmäßiges Muster, wie wenn sie mit einer Drillmaschine gesät worden sind. Die Pflanzen können auf jegliche sinnvolle Weise gesät oder gepflanzt worden sein, wie basierend auf einem Empfänger für ein Positionierungssystem (GNSS, z.B. GPS) oder unter Verwendung lokaler Sensoren auf dem Sä- oder Pflanzfahrzeug.
-
Das Fahrzeug 12 ist ein Traktor 18 mit einem Fahrgestell 20 oder Rahmen, das oder der auf im Bodeneingriff befindlichen Mitteln in der Form lenkbarer Vorderräder 26 und angetriebener Hinterräder 28 auf dem Erdboden abgestützt ist. Das Fahrzeug 12 umfasst zudem eine Bedienerkabine 24 und einen Motor 61 zum Antreiben der Hinterräder 28 und optional der Vorderräder 26 und einer Zapfwelle (nicht gezeigt).
-
Das Arbeitsgerät 14 umfasst einen Querträger 36, welcher eine Anzahl an Reiheneinheiten 22 abstützt, die seitlich nebeneinander über die Länge des Querträgers 36 verteilt sind. Die Reiheneinheiten 22 umfassen Werkzeuge 88 (z.B. Hacken oder Gänsefußschare zum Entfernen von Unkraut vom Boden des Feldes zwischen den Reihen der Pflanzen 16 oder beliebige andere Werkzeuge zur Durchführung eines pflanzenbaulichen Arbeitsvorgangs, wie Säen, Düngen, Spritzen, Ernten etc.).
-
An der Rückseite des Fahrgestells
20 ist eine Dreipunktkupplung
46 mit Unterlenkern
32 und einem Oberlenker
30 befestigt. Die Lenker
30,
32 sind mit ihren rückwärtigen Enden an einem quer verlaufenden Trägerbalken
35 befestigt, der seinerseits durch sich längs erstreckende Träger
34 am Querträger
36 des Arbeitsgeräts
14 angebracht ist. Die Lenker
30 und
32 sind jeweils um vertikale Achsen schwenkbar am Fahrgestell
20 und am Trägerbalken
35 angebracht. Ein Aktor
38 in der Form eines hydraulischen Zylinders ist mit seinem ersten Ende am Fahrgestell
20 und mit seinem zweiten Ende an einem der Unterlenker
32 angelenkt und kann somit den Trägerbalken
35 und somit das gesamte Arbeitsgerät
14 parallelogrammartig in seitlicher Richtung, d.h. horizontal und quer zur Vorwärtsrichtung V, bewegen. Der Aktor
38 wird durch einen Ventilblock
50 kontrolliert, der mit einer elektronischen Fahrzeugsteuereinheit
52 verbunden ist. Die elektronische Fahrzeugsteuereinheit
52 ist eingerichtet, über ein Bussystem
56 (das vorzugweise nach der Norm ISO 11783 arbeitet Kontrollsignale zu erhalten, welches Kontrollanweisungen von einer elektronischen Gerätesteuereinheit
54 an die Fahrzeugsteuereinheit
52 übersendet. Die Gerätesteuereinheit
54 kann somit die seitliche Position des Arbeitsgeräts
14 kontrollieren, wie im Detail in der
DE 102016212201 A1 beschrieben wird, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird, wie auch mit Bezug auf die
2 näher erläutert wird. Ein Sensor
86 erfasst den Winkel eines der Unterlenker
32 gegenüber dem Fahrgestell
20 um die vertikale Achse und stellt somit ein Signal hinsichtlich der seitlichen Position des Arbeitsgeräts
14 gegenüber dem Fahrgestell
20 bereit. Es sei angemerkt, dass der Sensor
86 in das Gehäuse des Aktors
38 integriert werden könnte (s.
EP 1210854 A1 ). Bei einer anderen Ausführungsform könnten Aktoren
38 zwischen dem Fahrgestell
20 und jedem Unterlenker
32 verwendet werden, mit integrierten oder getrennten Sensoren
86, wobei die Aktoren
38 einfach oder doppelt wirkend sind.
-
Bei einer anderen möglichen Ausführungsform kann das Arbeitsgerät
14 durch einen so genannten Seitenverschieberahmen mit dem Fahrzeug
12 verbunden sein, der einen Aktor zur seitlichen Positionskontrolle des Arbeitsgeräts
14 verwendet, wie z.B. in
EP 2283719 A2 und
US 2013/0110358 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird. Es wäre auch möglich, das Arbeitsgerät
14 auf Rädern abzustützen und es durch eine Deichsel mit einer Kupplung des Fahrzeugs
12 zu verbinden und durch einen Aktor
38 aktiv den Winkel der Deichsel und/oder den Lenkwinkel der Räder des Arbeitsgeräts
14 zu kontrollieren (s.
US 2013/0186657 A1 , durch Verweis mit in die vorliegenden Unterlagen aufgenommen.
-
Somit wird die seitliche Position des Arbeitsgeräts 14 durch die Gerätesteuereinheit 54 kontrolliert, unter Verwendung des Aktors 38. Da das Arbeitsgerät 14 immer in einer seitlichen Position über das Feld 10 bewegt werden sollte, an der die Reiheneinheiten 22 mit den im Bodeneingriff befindlichen Werkzeugen 88 an ihren geeigneten Positionen zwischen den Reihen der Pflanzen 16 angeordnet sind, um den gewünschten landwirtschaftlichen Arbeitsvorgang durchzuführen und Schäden an den Pflanzen zu vermeiden (oder in einer beliebigen, sinnvollen gewünschten Position zur Durchführung eines landwirtschaftlichen Arbeitsvorgangs, wie Säen, Pflanzen, Ernähren, oder Ernten der Pflanzen 16 oder Teilen davon), wird das Arbeitsgerät 14 durch die Gerätesteuereinheit 54 selbsttätig entlang der Reihen der Pflanzen 16 geführt, basierend auf Signalen einer ersten Kamera 60 mit einem Bildverarbeitungssystem 62, einer optionalen zweiten Kamera 60' mit einem Bildverarbeitungssystem 62' und einem optionalen Empfänger 58 zum Empfang eines Satelliten-basierten Positionsbestimmungssystems, wie GPS, Glonass, oder Galileo. Der Empfänger 58 ist am Querträger 36 des Arbeitsgeräts 12 oder an einer anderen, geeigneten Stelle dort befestigt. Die Bildverarbeitungssysteme 62, 62' könnten auch in die Gerätesteuereinheit 54 integriert werden. Bei einer anderen Ausführungsform könnte die Gerätesteuereinheit 54 auch in die Fahrzeugsteuereinheit 52 integriert werden, oder sie kann den Aktor 38 direkt (nicht über die Fahrzeugsteuereinheit 52) ansteuern.
-
Die Kameras 60, 60' sind am Querträger 36 des Arbeitsgeräts 14 befestigt und blicken auf das Feld 10 vor dem Arbeitsgerät 14. Die Bildverarbeitungssysteme 62, 62' extrahieren aus den Bildern die relative Position der Reihen der Pflanzen 16 gegenüber der Kamera 60, 60' und vergleichen diese Position mit einer im Vorab abgespeicherten oder programmierten, gewünschten Sollposition der Pflanzen 16 gegenüber der Kamera 60, 60' oder umgekehrt. Somit wird der Gerätesteuereinheit 54 ein erstes Signal bereitgestellt, das eine mögliche Abweichung zwischen der aktuellen seitlichen Position und der gewünschten seitlichen Position des Arbeitsgeräts 14 anzeigt. Die Signale der Bildverarbeitungssysteme 62, 62' können durch Signale des Empfängers 58 verbessert oder (insbesondere, wenn die Reiheneinheiten 22 Säeinheiten mit Furchenöffnern mit im Bodeneingriff befindlichen Werkzeugen 88 sind) ersetzt werden, unter Verwendung einer im Vorab abgespeicherten Karte mit der aktuellen oder gewünschten Position der Pflanzen 16 (oder von deren Reihen) als Referenz. Das Fusionieren der Signale der Bildverarbeitungssysteme 62, 62' und des Empfängers 58 kann auf der relativen Qualität der Signale basieren.
-
Demnach kontrolliert die Gerätesteuereinheit
54 den Aktor
38, um das Arbeitsgerät
14 mit seinen Reiheneinheiten
22 basierend auf dem ersten Signal entlang eines gewünschten Wegs zu führen. Bei der gezeigten Ausführungsform wird dieser gewünschte Weg durch die Position der Pflanzen
16 auf dem Feld vorgegeben und der Aktor
38 wird durch die Gerätesteuereinheit
54 (unter Verwendung geeigneter Software) basierend auf den Signalen der Kamera
60 und optional 60' derart gelenkt, dass die Reiheneinheiten
22 sich zwischen den Pflanzen
16 (entsprechend der von den Kameras
60,
60' detektierten Position der Pflanzen
16) bewegen. Der gewünschte Weg kann alternativ oder zusätzlich in einem Speicher der Gerätesteuereinheit
54 im Vorab abgespeichert sein und der Aktor
38 basierend auf dem gewünschten Weg kontrolliert werden. Beide Optionen und ihre Kombination sind im Wesentlichen in der
US 2002/0193928 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird. Eine Ausführungsform einer seitlichen Führung des Arbeitsgeräts
14 basierend auf Kameras
60,
60' und einem Empfänger
58 wird zudem detaillierter in
EP 2910098 A1 beschrieben, deren Inhalt durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.
-
Die Vorderräder
26 des Fahrzeugs
12 werden durch einen in der Kabine
18 sitzenden Bediener oder in der Weise selbsttätig gelenkt, dass die Fahrzeugsteuereinheit
52 einen Lenkaktor
64 kontrolliert, der den Lenkwinkel der Vorderräder
26 basierend auf Signalen eines Positionsbestimmungssystems mit einem Empfänger
48 zum Empfang von Signalen eines Satelliten-basierten Positionsbestimmungssystems, wie GPS, Glonass, oder Galileo, unter Verwendung einer im Vorab abgespeicherten Karte, die Daten hinsichtlich der Orte der Pflanzen
16 oder eines Wegs (Fahrgasse) zur Überfahrung des Felds als Referenz verwendet, wobei ein Lenkwinkelsensor
94 Rückkopplungswerte bereitstellen kann. Der Empfänger
48, der optional ein Trägheitsnavigationssystem, wie in
EP 1475609 A2 beschrieben, umfassen kann, ist auf dem Dach der Kabine
24 befestigt. Alternativ oder zusätzlich kann das Fahrzeug
12 basierend auf einer Kamera (nicht gezeigt) gelenkt werden, die am Fahrzeug
12 befestigt und mit einem Bildverarbeitungssystem verbunden ist, das die Reihen der Pflanzen
16 vor dem Fahrzeug
12 erfasst. Es sei auch angemerkt, dass im Falle eines auf Raupenlaufwerken basierenden Fahrzeugs
12 dessen Lenkwinkel durch Geschwindigkeitsdifferenzen der Raupenlaufwerke auf beiden Seiten des Fahrzeugs
12 beeinflusst werden könnte, und dass im Falle einer Knicklenkung ein Aktor den Lenkwinkel des Fahrzeugs
12 durch ein Drehen des vorderen und rückwärtigen Teils des Fahrzeugs
12 um eine vertikale Verbindungsachse kontrollieren würde.
-
Die ordnungsgemäße Funktion der selbsttätigen Lenkung des Fahrzeugs 12 und/oder Arbeitsgeräts 14 entlang ihrer Sollwege beruht, jedenfalls insofern sie auch nur zum Teil auf einer der Kameras 60, 60' zur Seitenverstellung des Arbeitsgeräts 14 mittels des Aktors 38 bzw. einer Kamera zur Lenkung des Fahrzeugs 12 aufbaut, darauf, dass das Bildverarbeitungssystem 62 bzw. 62' (oder das in der 1 nicht gezeigte Bildverarbeitungssystem der nicht gezeigten Kamera zur Lenkung des Fahrzeugs 12) die Reihen der Pflanzen 16 oder andere physische, im Signal der Kamera 60, 60' detektierbare, in Vorwärtsrichtung aufeinander folgende bzw. sich in Vorwärtsrichtung erstreckende Merkmale, wie Fahrspuren oder Zwischenräume zwischen den Pflanzen 16 korrekt erkennt. Diese Merkmale sind in der Praxis nicht notwendigerweise auf einer Geraden angeordnet (wie in 3 gezeigt), sondern können auf Kurven verlaufen (wie in der 4 gezeigt), beispielsweise wenn die äußeren Konturen des Felds 10 gekrümmt sind oder auf dem Feld 10 zu umfahrende Hindernisse, wie Bäume oder Strommasten stehen.
-
Um auch bei gekrümmt verlaufenden Merkmalen eine optimale Lenkgenauigkeit zu erzielen, geht das Bildverarbeitungssystem 62 bzw. 62' (und/oder das in der 1 nicht gezeigte Bildverarbeitungssystem der nicht gezeigten Kamera zur Lenkung des Fahrzeugs 12, das im Folgenden, auch ohne explizite Erwähnung, ebenfalls gemeint ist) nach dem in der 2 gezeigten Flussdiagramm vor.
-
Nach dem Start im Schritt 100 folgt der Schritt 102, in dem das Bildverarbeitungssystem 62, 62' ein Signal hinsichtlich der Krümmung der aktuell vom Fahrzeug 12 befahrenen oder (bei Abfahren eines im vorab geplanten Wegs des Fahrzeugs 12 in unmittelbarer Zukunft zu befahrenen Wegs von einem Bahnkrümmungswinkelbestimmungssystem erhält. Das Bahnkrümmungswinkelbestimmungssystem kann demnach mit dem Lenkwinkelsensor 94 verbunden sein, oder mit dem GNSS-Empfänger 48 des Fahrzeugs 12 oder dem GNSS-Empfänger 58 des Arbeitsgeräts 14 oder einem Trägheitsnavigationssystem oder Kreisel oder Kompass eines oder beider der Empfänger 48, 58 oder einer beliebigen Kombination hieraus. Das Bildverarbeitungssystem 62, 62' erhält demnach eine Information hinsichtlich der Krümmung (Radius und Richtung) des aktuell befahrenen Wegs des Fahrzeugs, insbesondere hinsichtlich der Krümmung auf jenem Abschnitt der vor der Kamera 60, 60' liegenden Strecke des Fahrzeugs 12 bzw. Arbeitsgeräts 14, der gerade von der Kamera 60, 60' erfasst wird, wie in den 3 und 4 gezeigt.
-
Im Schritt 104 wird abgefragt, ob der Weg gerade ist. Falls ja, folgt der Schritt 106 und anderenfalls der Schritt 110. Im Schritt 106 erkennt das Bildverarbeitungssystem 62, 62' vorrangig gerade Merkmale im Bild und im Schritt 110 vorrangig gekrümmte Merkmale. Anhand der erkannten Merkmale wird im Schritt 108 dann das Lenksignal erzeugt.
-
Im Schritt
106 liegt somit eine Situation vor, wie sie in der
3 gezeigt ist. Die vom Bildverarbeitungssystem
62,
62' erfassten Merkmale, nämlich die Pflanzen
16 der vor der Kamera
60 liegenden Reihen, sind (anhand des Signals des Bahnkrümmungswinkelbestimmungssystems) erwartungsgemäß in einer Geraden angeordnet. Das Bildverarbeitungssystem
60 legt sensitive Bereiche
112,
114, in denen es Pflanzen
16 erwartet, somit in geradlinig verlaufend an. Es erzeugt das Lenksignal in diesem Fall basierend auf den in den Bereichen
112,
114 erkannten Pflanzen
16, die es als Istwerte für die tatsächliche Lage der Pflanzen
16 ansieht, und einem abzufahrenden Sollweg
116, der auf einer geraden Mittellinie zwischen den detektierten Reihen der Pflanzen
16 in den Bereichen
112,
114 liegt. Der Sollweg wird mithilfe der erfassten Bahnkrümmung, die in der
3 nicht vorhanden ist, auf die Position der Kamera
60,
60' extrapoliert und das Lenksignal hängt davon ab, ob der auf die Position der Kamera
60,
60' extrapolierte Sollweg von seiner Normallage, in der er sich beispielsweise in der Mitte des Bildes befindet, abweicht. Hierzu sei vorsorglich auf die Offenbarung der
US-Patentanmeldung 62/796756 vom 25.1.2019 verwiesen, die durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.
-
Im Schritt 110 liegt hingegen eine Situation vor, wie sie in der 4 gezeigt ist. Die vom Bildverarbeitungssystem 62, 62' erfassten Merkmale, nämlich die Pflanzen 16 der vor der Kamera 60 liegenden Reihen, sind (anhand des Signals des Bahnkrümmungswinkelbestimmungssystems) erwartungsgemäß in einer Kurve angeordnet, die eine Krümmung nach rechts und einen bestimmten Radius aufweist. Das Bildverarbeitungssystem 60 legt sensitive Bereiche 118, 120, in denen es Pflanzen 16 erwartet, somit in einer mit dem Radius nach rechts verlaufenden Kurve an. Es erzeugt das Lenksignal in diesem Fall basierend auf den in den Bereichen 118, 120 erkannten Pflanzen 16, die es als Istwerte für die tatsächliche Lage der Pflanzen 16 ansieht, und einem abzufahrenden Sollweg, der auf einer mit dem Radius nach rechts verlaufenden Kurve 122 auf einer Mittellinie zwischen den Reihen der Pflanzen 16 in den Bereichen 118, 120 liegt. Der Sollweg wird auch hier mithilfe der erfassten Bahnkrümmung, die in der 4 nach rechts gerichtet ist, auf die Position der Kamera 60, 60' extrapoliert und das Lenksignal hängt davon ab, ob der auf die Position der Kamera 60, 60' extrapolierte Sollweg von seiner Normallage, in der er sich beispielsweise in der Mitte des Bildes befindet, abweicht.
-
Nach alledem erhält das Bildverarbeitungssystem
62,
62' vom Bahnkrümmungswinkelbestimmungssystems ein Signal, nach dem es einen Algorithmus zur Erkennung der in Vorwärtsrichtung aufeinander folgenden oder sich in Vorwärtsrichtung erstreckenden Merkmale auf dem Feld feinabstimmen oder auswählen kann. Bei einer möglichen Ausführungsform kann dabei eine Wichtung der identifizierten Merkmale von der Nähe zu einer gekrümmten oder geraden Kurve in den sensitiven Bereichen
112,
114,
118,
120 abhängig von der Nähe zu einer gekrümmten Linie, welche die Längsmittelachse des jeweiligen Bereichs definiert, erfolgen. Je näher das Merkmal an der Linie ist, umso höher kann es gewichtet und im so höheren Maße zur Erzeugung des Lenksignals herangezogen werden, wie es an sich aus der
WO 2008/150418 A1 bekannt ist, deren Offenbarung durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.
-
Bezugszeichenliste
-
- 100
- Start
- 102
- Bahnkrümmung erfassen
- 104
- gerade?
- 106
- Erkenne auf Gerade liegende Merkmale
- 108
- Erkenne auf Kurve liegende Merkmale
- 110
- Lenksignal
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 0856453 A2 [0002]
- DE 19743884 A1 [0002]
- DE 10351861 A1 [0002]
- US 8706341 B2 [0002]
- EP 2283719 A2 [0003, 0025]
- US 2013/0110358 A1 [0003, 0025]
- DE 1020015009889 A1 [0003]
- US 6385515 B1 [0004]
- US 9002566 B2 [0005]
- DE 102016212201 A1 [0024]
- EP 1210854 A1 [0024]
- US 2013/0186657 A1 [0025]
- US 2002/0193928 A1 [0028]
- EP 2910098 A1 [0028]
- EP 1475609 A2 [0029]
- US 62796756 [0034]
- WO 2008/150418 A1 [0036]
-
Zitierte Nicht-Patentliteratur
-
- V. Dworak et al., Precise Naviation of Small Agricultural Robots in Sensitive Areas with a Smart Plant Camera, J. Imaging 2015, 1 (1), p. 115-133 [0006]