-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren zum Klassifizieren von Pflanzenteilen in einer Bildinformation, insbesondere für landwirtschaftliche Zwecke, eine entsprechende Klassifizierungseinheit und eine landwirtschaftliche Spritzvorrichtung zum Ausbringen eines Mediums, insbesondere flüssigen Spritzmittels nach Gattung der unabhängigen Ansprüche.
-
Der normierte differenzierte Vegetationsindex, kurz „NDVI“ (Normalized Difference Vegetation Index), ist ein Index, der die Bio-Masse, also den Pflanzenanteil, in einem Bild aufzeigt. Pflanzen reflektieren im roten Spektralbereich relativ wenig, im nahen infraroten Spektralbereich relativ viel Strahlung. Zum Bestimmen des NDVI können bei der Beobachtung der Vegetation Infrarotkameras oder Kameras mit Bayer-Sensoren eingesetzt werden.
-
Hierbei werden oft die Blätter einer Pflanze besser segmentiert als der Rest der Pflanze. Um die Objektzugehörigkeit jedes gefundenen Objekts festzustellen, muss aber die Gesamtpflanze segmentiert werden.
-
Ein Verfahren zur Klassifizierung von Pflanzen ist aus der
DE 10 2017 210 804 A1 bekannt. Bei dem bekannten Verfahren wird mittels einer optischen und/oder Infrarot-Erfassungseinheit ein Bereich einer Nutzfläche erfasst und die erfassten Bilddaten ausgewertet, indem die Pflanzen mittels Schwellenwerten im NDVI segmentiert werden. Aus dieser Segmentierung werden die Kulturreihen erkannt. Ziel ist es, Nutzpflanzen zu erkennen, die in Form von Pflanzenreihen angeordnet sind, um dadurch die Nutzpflanzen von zwischen den Nutzpflanzen bzw. Pflanzenreihen sich befindlichen Pflanzen unterscheiden zu können, die insbesondere als Unkraut klassifiziert werden, um dieses beispielsweise mittels entsprechender Spritzmittel behandeln zu können.
-
Offenbarung der Erfindung
-
Gegenstand der vorliegenden Erfindung ist ein Verfahren zum Klassifizieren von Pflanzenteilen in einer Bildinformation, insbesondere für landwirtschaftliche Zwecke, mit folgenden Schritten:
- - Identifizieren von Pflanzenteilen in der Bildinformation unter Verwendung eines ersten Segmentierungsschwellenwerts mittels einer Klassifizierungseinheit, um eine Pflanzenbildinformation zu erhalten;
- - Identifizieren von Referenzpflanzenteilen in der Bildinformation unter Verwendung eines zweiten Segmentierungsschwellenwerts mittels der Klassifizierungseinheit, um eine Referenzpflanzenbildinformation zu erhalten, wobei der zweite Segmentierungsschwellenwert von dem ersten Segmentierungsschwellenwert verschieden und ferner derart gewählt ist, dass die identifizierten Referenzpflanzenteile der Referenzpflanzenbildinformation die identifizierten Pflanzenteile der Pflanzenbildinformation umfasst;
- - Vergleichen der identifizierten Pflanzenteile mit den identifizierten Referenzpflanzenteilen mittels der Klassifizierungseinheit; und
- - Klassifizieren von identifizierten Pflanzenteilen der Pflanzenbildinformation in die gleiche Pflanzenklasse, wenn diese in einem zusammenhängenden identifizierten Referenzpflanzenteil angeordnet sind, mittels der Klassifizierungseinheit.
-
Gegenstand der vorliegenden Erfindung ist ferner eine Klassifizierungseinheit die dazu eingerichtet ist, folgende Schritte durchzuführen:
- - Empfangen einer Bildinformation mit Pflanzenteilen;
- - Identifizieren von Pflanzenteilen in der Bildinformation unter Verwendung eines ersten Segmentierungsschwellenwerts, um eine Pflanzenbildinformation zu erhalten;
- - Identifizieren von Referenzpflanzenteilen in der Bildinformation unter Verwendung eines zweiten Segmentierungsschwellenwerts, um eine Referenzpflanzenbildinformation zu erhalten, wobei der zweite Segmentierungsschwellenwert von dem ersten Segmentierungsschwellenwert verschieden und ferner derart gewählt ist, dass die identifizierten Referenzpflanzenteile der Referenzpflanzenbildinformation die identifizierten Pflanzenteile der Pflanzenbildinformation umfasst;
- - Vergleichen der identifizierten Pflanzenteile mit den identifizierten Referenzpflanzenteilen; und
- - Klassifizieren von identifizierten Pflanzenteilen der Pflanzenbildinformation in die gleiche Pflanzenklasse, wenn diese in einem zusammenhängenden identifizierten Referenzpflanzenteil angeordnet sind.
-
Gegenstand der vorliegenden Erfindung ist außerdem eine landwirtschaftliche Spritzvorrichtung zum Ausbringen eines Mediums, insbesondere flüssigen Spritzmittels auf Pflanzenteile einer landwirtschaftlichen Fläche mit zumindest einer Spritzdüseneinheit zum Ausbringen des Mediums, zumindest einer optischen Erfassungseinheit zum Erfassen der Pflanzenteile und einer vorangehend beschriebenen Klassifizierungseinheit zum Klassifizieren der Pflanzenteile.
-
Gegenstand der vorliegenden Erfindung ist schließlich ein Computerprogramm das dazu eingerichtet ist, die Schritte eines vorangehend beschriebenen Verfahrens und/oder einer vorangehend beschriebenen Klassifizierungseinheit auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, sowie ein maschinenlesbares Speichermedium mit dem darauf gespeicherten Computerprogramm.
-
Das Verfahren wird bzw. die Verfahrensschritte werden verständlicherweise wiederholt durchgeführt.
-
Das Verfahren ist für landwirtschaftliche Zwecke gedacht, jedoch nicht darauf beschränkt. Unter einem landwirtschaftlichen Zweck kann im Rahmen der vorliegenden Erfindung ein Zweck verstanden werden, der auf eine wirtschaftliche Kultivierung von Nutzpflanzen gerichtet ist.
-
Der Begriff „Pflanzenteile“ umfasst im Rahmen der vorliegenden Anmeldung sowohl einzelne Teile bzw. Bestandteile einer Pflanze wie bspw. Pflanzenstängel, Pflanzenstiele und Pflanzenblätter, jedoch auch Gruppen derartiger einzelner Teile sowie ganze Pflanzen.
-
Der Schritt des Identifizierens von Pflanzenteilen kann ein Erfassen eines Farbanteils, insbesondere eines Infrarotanteils und/oder eines grünen Farbanteils in der Bildinformation umfassen. Bevorzugt wird rotes und infrarotes Licht verwendet. Pflanzen bzw. Pflanzenteile reflektieren im roten Spektralbereich relativ wenig, im nahen infraroten Spektralbereich relativ viel Strahlung. Hierbei können mittels der optischen Erfassungseinheit, bspw. anhand eines vorbestimmten NDVI-Schwellenwertes (Normalized Differenced Vegetation Index, er wird aus Reflexionswerten im nahen infraroten und sichtbaren roten Wellenlängenbereich des Lichtspektrums gebildet) Pflanzenteile erfasst werden, indem Biomasse bzw. vitale Pflanzen und Pflanzenteile vom Erdboden unterschieden wird/werden. Aus der normierten Differenz aus beiden Spektralbereichen entsteht ein NDVI-Pflanzenbild, welches die Pflanzenteile abbildet und in dem die Bildinformation die Klassen „Pflanze“ und „keine Pflanze“ unterteilt wird. Das Identifizieren von Pflanzenteilen kann bspw. gemäß der noch unveröffentlichten Anmeldung
DE 10 2020 215 415 erfolgen.
-
Der erste Segmentierungsschwellenwert wird so gewählt, dass nur wirkliche Pflanzen segmentiert werden. Der zweite Segmentierungsschwellenwert ist von dem ersten Segmentierungsschwellenwert verschieden und wird ferner derart gewählt, dass die identifizierten Referenzpflanzenteile der Referenzpflanzenbildinformation die identifizierten Pflanzenteile der Pflanzenbildinformation umfasst. D.h., mit anderen Worten, dass der zweite Segmentierungsschwellenwert so gewählt wird, dass die mit dem ersten Segmentierungsschwellenwert identifizierten Pflanzenteile und noch darüberhinausgehend größere Pflanzenteile, in denen diese enthalten sind und ggf. weiteren Pflanzenteile identifiziert werden. Der zweite Segmentierungsschwellenwert wird bevorzugt derart gewählt, dass gesamte Pflanzenstängel und/oder gesamte Pflanzenstiele und/oder gesamte Pflanzenblätter identifiziert werden.
-
Bevorzugt wird/werden der erste Segmentierungsschwellenwert und/oder der zweite Segmentierungsschwellenwert in Abhängigkeit von einer Art und/oder Kultur der Pflanzenteile gewählt. Alternativ oder zusätzlich wird/werden der erste Segmentierungsschwellenwert und/oder der zweite Segmentierungsschwellenwert bevorzugt in Abhängigkeit von der optischen Erfassungseinheit gewählt.
-
Die Segmentierungsschwellenwert können manuell eingebbar, zuvor festgelegte und an das System übertragene, oder voreingestellte Werte und auf dem System fest eingestellte Werte sein.
-
Hierbei sei angemerkt, dass es sich bei der Wahl des entsprechenden Segmentierungsschwellenwerts insbesondere um eine Höhe des Wertes an sich handelt. Es kann sich jedoch auch ggf. um eine Art des Wertes handeln, ohne den Rahmen der vorliegenden Anmeldung zu verlassen.
-
Bevorzugt sind der erste Segmentierungsschwellenwert ein erster Grauwert-Schwellenwert für ein Bild bzw. eine Bildinformation mit zur Pflanzensegmentierung geeigneten Spektralinformationen, insbesondere für ein Multispektral-Bild mit roten und nahinfraroten Farbinformationen zur NDVI-Berechnung, weiter insbesondere ein erster NDVI-Schwellenwert. Alternativ oder zusätzlich ist der zweite Segmentierungsschwellenwert bevorzugt ein zweiter Grauwert-Schwellenwert für ein Bild bzw. eine Bildinformation mit zur Pflanzensegmentierung geeigneten Spektralinformationen, insbesondere für ein Multispektral-Bild mit roten und nahinfraroten Farbinformationen zur NDVI-Berechnung, weiter insbesondere ein zweiter NDVI-Schwellenwert. Demnach können die Segmentierungsschwellenwerte auch Grün-Schwellenwerte sein.
-
Daher ist weiter bevorzugt der zweite Segmentierungsschwellenwert niedriger als der erste Segmentierungsschwellenwert. Hierbei werden die NDVI-Schwellenwerte bevorzugt je nach Kulturart und eingesetzter optischer Erfassungseinheit bzw. eingesetztem Kamerasystem parametriert. Dadurch, dass der zweite NDVI-Schwellenwert niedriger ist, werden auch schwächer reflektierende Bereiche in der Bildinformation als „Pflanze“ identifiziert, sodass Pflanzenstängel, Pflanzenstiele und komplette Blattformen gefunden werden.
-
Demnach weist die Bildinformation bevorzugt zur Pflanzensegmentierung geeignete Spektralinformationen auf. D.h., mit anderen Worten, dass die Bildinformation ein Bild mit zur Pflanzensegmentierung geeigneten Spektralinformationen ist. Hierbei ist die Bildinformation bevorzugt ein Multispektral-Bild mit roten und nahinfraroten Farbinformationen zur NDVI-Berechnung, weiter bevorzugt ein NDVI-Pflanzenbild. Demnach kann die Bildinformation auch ein monochromatisches Bild mit Signalen im grünen Wellenlängenspektrum sein.
-
Die Bildinformationen kann bspw. einen mittels einer optischen Erfassungseinheit erfassten Feldabschnitt repräsentieren. Die Bildinformation ist bevorzugt ein Bild bzw. Abbild des erfassten Feldabschnitts. Aus der Bildinformation werden Pflanzen identifiziert und klassifiziert.
-
Bevorzugt ist ein Schritt des Erfassens eines Feldabschnitts mit Pflanzen mittels einer optischen Erfassungseinheit, insbesondere einer landwirtschaftlichen Spritzvorrichtung, vorgesehen, um die Bildinformation zu erhalten. Der Schritt des Erfassens der Feldabschnitte kann bspw. während einer Überfahrt der landwirtschaftlichen Spritzvorrichtung mit der optischen Erfassungseinheit über dem Feld erfolgen. Hierbei werden verständlicherweise nebeneinander angeordnete Feldabschnitte im Wesentlichen gleichzeitig von mehreren optischen Erfassungseinheiten erfasst. Die Schritte des Erfassens der Feldabschnitte in Fahrtrichtung werden bevorzugt in einem definierten, insbesondere festen oder in einem der Geschwindigkeit der landwirtschaftlichen Spritzvorrichtung angepassten Zeitintervall durchgeführt bzw. wiederholt durchgeführt. D.h., mit anderen Worten, dass die Feldabschnitte mit einer definierten oder einer geschwindigkeitsabhängigen Bildrate bzw. Bildfrequenz (=Wiederholrate) erfasst werden.
-
Die optische Erfassungseinheit ist bevorzugt an der landwirtschaftlichen Spritzvorrichtung angeordnet. Die optische Erfassungseinheit kann zumindest eine multispektrale und/oder hyperspektrale und/oder Infrarot- und/oder Kamera und/oder 3D-Kamera umfassen. Die optische Erfassungseinheit kann ausgebildet sein, Bilder im NIR und/oder visuellen Bereich zu erfassen bzw. aufzunehmen. Die optische Erfassungseinheit kann eine Licht bzw. Beleuchtungseinheit aufweisen. Es können mehrere optische Erfassungseinheiten vorgesehen sein, welche ausgebildet sind miteinander zu kommunizieren. Die die optische Erfassungseinheit bzw. die optischen Erfassungseinheiten ist/sind bevorzugt an einem Spritzgestänge der landwirtschaftlichen Spritzvorrichtung angeordnet.
-
Die Pflanzenbildinformation stellt eine in „Pflanzen“ und „nicht Pflanzen“ segmentierte Bildinformation dar, wobei das Segmentierungsergebnis in Form von Objekten festgehalten ist. Diese beschreibt sehr gut die Formen und auch die Größen der Pflanzenteile.
-
Analog zu der Pflanzenbildinformation stellt auch die Referenzpflanzenbildinformation eine in „Pflanzen“ und „nicht Pflanzen“ segmentierte Bildinformation dar, wobei das Segmentierungsergebnis in Form von Objekten festgehalten ist. Im Vergleich zur Pflanzenbildinformation ist das Segmentierungsergebnis der Referenzpflanzenbildinformation jedoch umfangreicher, d.h. es enthält die Objekte der Pflanzenbildinformation in Form von größeren Objekten, in denen diese enthalten sind und ggf. weiteren Objekten, welche nicht in der Pflanzenbildinformation enthalten sind. Demnach ist die Referenzpflanzenbildinformation „unschärfer“ als die Pflanzenbildinformation.
-
Im Schritt des Vergleichens der identifizierten Pflanzenteile mit den identifizierten Referenzpflanzenteilen werden Gruppen von Pflanzenteilen ermittelt, die in einem zusammenhängenden identifizierten Referenzpflanzenteil angeordnet sind. D.h., mit anderen Worten, dass eine Art Überlagerung der Pflanzenbildinformation mit der Referenzpflanzenbildinformation stattfindet. Hierdurch können Pflanzenteile, welche in der Bildinformation räumlich auseinanderliegen, als eine Objektgruppe bzw. ein Pflanzenobjekt bzw. zu derselben Pflanze gehörend klassifiziert werden.
-
Folglich werden im Schritt des Klassifizierens identifizierte Pflanzenteile der Pflanzenbildinformation in die gleiche Pflanzenklasse klassifiziert, wenn diese in einem zusammenhängenden identifizierten Referenzpflanzenteil angeordnet sind. Bevorzugt werden die Pflanzenteile hierbei zu derselben Pflanze zugeordnet. Hierbei können die Pflanzenteile in eine erste Pflanzenklasse von Nutzpflanzen und/oder Kulturpflanzen oder in eine zweite Pflanzenklasse von Beikräutern klassifiziert werden.
-
Die Klassifizierungseinheit umfasst einen Algorithmus zum Klassifizieren von Pflanzen in der Bildinformation. Die Klassifizierungseinheit kann eine Recheneinheit oder eine Vielzahl von Recheneinheiten zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Kommunikationsschnittstelle zum Einlesen von Daten, insbesondere zum Empfangen von Bildinformationen und eine Steuereinheit zum Ausgeben von Daten, insbesondere Steuersignalen an eine Einheit, insbesondere einen Aktor umfassen. Jeder optischen Erfassungseinheit kann eine Klassifizierungseinheit zugeordnet sein bzw. jede optische Erfassungseinheit kann eine eigene Klassifizierungseinheit aufweisen. Die Klassifizierungseinheit ist bzw. die Klassifizierungseinheiten sind zur Bildverarbeitung ausgebildet bzw. eingerichtet, sodass sie Berechnungsschritte bzw. Bildverarbeitungsschritte zur Durchführung des erfindungsgemäßen Verfahrens ausführen kann. Demnach weist jede Klassifizierungseinheit eine entsprechende Bildverarbeitungssoftware auf. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten bspw. elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Demnach kann das erfindungsgemäße Verfahren beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware in der Klassifizierungseinheit bzw. einem Steuergerät implementiert sein.
-
Die Klassifizierungseinheit kann vollständig oder teilweise an der landwirtschaftlichen Spritzvorrichtung angeordnet bzw. in diese integriert sein. Die Klassifizierungseinheit kann jedoch auch vollständig oder teilweise extern, bspw. in einer Cloud integriert sein.
-
Das erfindungsgemäße Verfahren ermöglicht eine effiziente Klassifizierung mit einer hohen Klassifizierungsgüte, insbesondere von räumlich in einer Bildinformation entfernt jedoch zu derselben Pflanze gehörenden Pflanzenteilen. Demnach können insbesondere Pflanzenteile, die noch zur Kulturpflanze gehören, jedoch aufgrund von dünnen und/oder schwach reflektierenden Pflanzenanteilen, wie Pflanzenstiele und Pflanzenstängel, bei der Segmentierung anhand der Bilddaten räumlich von ihrer Pflanze getrennt werden, wesentlich genauer klassifiziert werden.
-
Durch das Erzeugen der Referenzbildinformation mit dem zweiten Segmentierungsschwellenwert bzw. niedrigeren NDVI-Schwellenwert und dem anschließenden Vergleich mit der Referenzbildinformation können diese räumlich entfernt angeordneten Pflanzenteile, welche in der „schärferen“ Pflanzenbildinformation nicht als ein Pflanzenobjekt identifiziert wurden, zusammengeführt und als zu derselben Pflanze gehörend klassifiziert bzw. gemeinsam in die richtige Klasse klassifiziert werden.
-
Dies ist bspw. bei Klassifizierungsverfahren bzw. Klassifizierungsalgorithmen - wie auch der
DE 10 2017 210 804 A1 bekannt - relevant, bei denen per Definition alle identifizierten Objekte bzw. Pflanzenteile als „Beikräuter“ klassifiziert werden, wenn diese nicht als zusammenhängendes Objekt/zusammenhängende Pflanze segmentiert werden und einen definierten Mindestabstand zu einer identifizierten Kulturpflanzenreihe überschreiten und/oder einen definierten Kulturpflanzenreihenschlauch nicht berühren
-
Durch das erfindungsgemäße Verfahren werden sämtliche Pflanzenteile zu jeweils einem Pflanzenobjekt „verschmolzen“, solange sich genügend reflektierendes Pflanzenmaterial zwischen diesen Pflanzenteilen befindet, welches mittels des zweiten Segmentierungsschwellenwertes identifiziert und in der Referenzpflanzenbildinformation abgelegt wird. Sobald eine Stelle aus z.B. Erde zwischen Pflanzenteilen liegt, werden diese Objekte nicht verschmolzen, sondern bleiben getrennt. So ist auch gewährleistet, dass ein Beikraut, das in der Nähe zur Kulturpflanze wächst, nicht mit der Kulturpflanze verschmolzen werden kann und somit weiterhin als Beikraut separat bestehen bleibt.
-
Die höhere Klassifizierungsgüte führt wiederum zu einer präziseren Applikation von bspw. Pflanzenschutzmittel, da ein Applikationsbedarf aufgrund ein korrekten Klassifizierung der Pflanzen erfolgen kann. Ferner ermöglicht das erfindungsgemäße Verfahren aufgrund der geringen benötigten Laufzeiten der notwendigen Bildverarbeitungsoperatoren und Rechenleistung eine schnelle und effiziente Arbeitsgeschwindigkeit, insbesondere bei der Behandlung einer landwirtschaftlichen Fläche, bspw. mittels einer Feldspritze.
-
Es ist vorteilhaft, wenn der Schritt des Identifizierens von Referenzpflanzenteilen einen Schritt der Dilatation der identifizierten Referenzpflanzenteile umfasst, um die Referenzpflanzenbildinformation zu erhalten. Hierbei wird das Segmentierungsergebnis des zweiten Segmentierungsschwellenwerts dilatiert, d.h. die identifizierten Objekte bzw. Pflanzenteile werden mittels eines Bildverarbeitungsoperators um eine parametrierbare Größe x ausdehnt. Hierdurch können auf einfache Art und Weise „Lücken“ in und zwischen den identifizierten Pflanzenteilen geschlossen werden, wodurch die Klassifizierungsgüte weiter erhöht werden kann.
-
Es ist ferner vorteilhaft, wenn ein Schritt des Identifizierens von Kulturpflanzenreihen in der Pflanzenbildinformation unter Verwendung von identifizierten Pflanzen mittels der Klassifizierungseinheit vorgesehen ist, wobei im Schritt des Klassifizierens die Pflanzenteile ferner in Abhängigkeit von einer Positionsinformation, insbesondere einem Abstand der Pflanzenteile zu der entsprechenden Kulturpflanzenreihe klassifiziert werden.
-
Der Schritt des Identifizierens bzw. Erkennens von Kulturpflanzenreihen kann durchgehend bzw. permanent durchgeführt werden. Der Schritt des Identifizierens von Kulturpflanzenreihen erfolgt bevorzugt unter Verwendung und/oder Auswertung der gesamten bzw. im Wesentlichen gesamten erhaltenen Bildinformation.
-
Vorteilhafterweise kann das Identifizieren der Kulturpflanzenreihe unter Verwendung zumindest einer der folgenden Informationen erfolgen: Farbanteil, insbesondere grüner Farbanteil der erfassten Pflanzen, Infrarotanteil der erfassten Pflanzen, Pflanzenabstand, Pflanzreihenabstand, Wachstumsstadium der Pflanzen, Geokoordinaten einer Aussaat der Pflanzen, Bewegungsrichtung der optischen Erfassungseinheit bzw. Fahrtrichtung der landwirtschaftlichen Spritzvorrichtung. Mittels dieser Informationen bzw. Eigenschaften können die Kulturpflanzenreihen auf einfache und sichere Art und Weise identifiziert werden. Da sich Kulturpflanzenreihen im Wesentlichen geradlinig erstrecken, kann die Identifizierung einer Kulturpflanzenreihe auch bspw. durch Einpassung einer Geraden bzw. einer geradlinigen Kulturpflanzenreihenmittelpunktlinie in eine Bildtrajektorie mit dem höchsten entsprechenden Farbanteil bzw. Farbwert erfolgen. In dem Schritt des Identifizierens werden bevorzugt alle Kulturpflanzenreihen in der Bildinformation identifiziert.
-
Bevorzugt ist ein Schritt des Ausbringens eines Mediums, insbesondere flüssigen Spritzmittels auf die klassifizierten Pflanzenteile einer entsprechenden Pflanzenklasse, insbesondere auf die klassifizierten Pflanzenteile in dem Bildauswertebereich in Abhängigkeit von der ermittelten Pflanzenkennzahl mittels einer Spritzdüseneinheit, insbesondere einer landwirtschaftlichen Spritzvorrichtung, vorgesehen.
-
Das Ausbringen des Mediums bzw. Spritzmittels erfolgt hierbei bevorzugt auf einer landwirtschaftlichen Fläche bzw. einer landwirtschaftlich genutzten Fläche. Hierunter können ein Feld oder eine Anbaufläche für Pflanzen oder auch eine Parzelle einer solchen Anbaufläche verstanden werden. Die landwirtschaftliche Fläche kann somit eine Ackerfläche, ein Grünland oder eine Weide sein. Die Pflanzen können beispielsweise Nutzpflanzen, deren Frucht landwirtschaftlich genutzt wird (beispielsweise als Nahrungsmittel, Futtermittel oder als Energiepflanze) sowie Beikräuter, Unkräuter und Ungräser umfassen.
-
Bevorzugt werden alle Schritte des Verfahrens während einer Bewegung, insbesondere einer Fahrt oder eines Fluges der landwirtschaftlichen Spritzvorrichtung über der landwirtschaftlichen Fläche durchgeführt. Somit kann im Rahmen der vorliegenden Anmeldung je nach Ausgestaltung der Spritzvorrichtung unter dem Begriff „Fahrtrichtung“ auch eine „Flugrichtung“ verstanden werden.
-
Vorteilhafterweise ist die landwirtschaftliche Spritzvorrichtung ausgebildet, das Verfahren automatisiert und/oder autonom durchzuführen, um eine schnelle, zuverlässige und effiziente Behandlung eines Feldes zu ermöglichen.
-
Die landwirtschaftliche Spritzvorrichtung kann insbesondere Teil einer landwirtschaftlichen Feldspritze bzw. eines Pflanzenschutzgerätes sein oder als eine landwirtschaftliche Feldspritze bzw. ein Pflanzenschutzgerät ausgebildet sein. Die landwirtschaftliche Spritzvorrichtung kann eine mobile Einheit umfassen oder auf einer mobilen Einheit angeordnet sein, wobei die mobile Einheit insbesondere als Landfahrzeug und/oder Luftfahrzeug und/oder Anhänger ausgebildet sein kann. Die mobile Einheit kann insbesondere eine landwirtschaftliche Arbeitsmaschine, bspw. eine Zugmaschine, ein Schlepper, eine selbstfahrende bzw. autonome Feldspritze oder ein selbstfahrender bzw. autonomer Roboter sein. Die landwirtschaftliche Spritzvorrichtung kann insbesondere eine gezogene Feldspritze, eine selbstfahrende Feldspritze oder eine Anbaufeldspritze sein. Die landwirtschaftliche Spritzvorrichtung kann auch an einer hydraulischen Vorrichtung einer landwirtschaftlichen Arbeitsmaschine angebaut sein. Denkbar ist auch, dass die landwirtschaftliche Spritzvorrichtung auf einer Ladefläche einer landwirtschaftlichen Arbeitsmaschine aufgebaut ist. Alternativ kann die Spritzvorrichtung an der landwirtschaftlichen Arbeitsmaschine angehängt sein. Die landwirtschaftliche Spritzvorrichtung bzw. die Feldspritze kann mindestens einen Spritzmitteltank zur Aufnahme des Spritzmittels aufweisen. Die landwirtschaftliche Spritzvorrichtung bzw. die Feldspritze kann hierbei auch eine Mischeinheit aufweisen, welche direkt auf der landwirtschaftlichen Spritzvorrichtung ein Spritzmittelkonzentrat mit Wasser zu dem auszubringenden Spritzmittel (an)mischt.
-
Das Medium bzw. Spritzmittel ist insbesondere eine Spritzflüssigkeit. Das Spritzmittel kann ein landwirtschaftliches Präparat bzw. Pflanzenschutzmittel (PSM), insbesondere ein Pflanzenschutzmittelkonzentrat aufweisen oder sein. Das Spritzmittel kann demnach ein Pestizid, wie bspw. ein Herbizid, Fungizid oder ein Insektizid aufweisen. Das Spritzmittel kann jedoch auch ein Düngemittel, insbesondere ein Düngemittelkonzentrat aufweisen oder sein. Das Spritzmittel kann hierbei einen Wachstumsregulator aufweisen. Das Spritzmittel kann ein granulares Wirkmittel, welches mit einer Trägerflüssigkeit vermischt wurde, aufweisen. Die Spritzflüssigkeit kann bspw. ausgebildet sein als: Flüssigkeit, Suspension, Emulsion, Lösung oder eine Kombination daraus. Die Spritzflüssigkeit ist bevorzugt als mit Wasser verdünntes Pflanzenschutzmittel oder mit Wasser verdünntes Düngemittel ausgebildet. Die Spritzflüssigkeit kann demnach bspw. eine Spritzbrühe sein.
-
Das Ausbringen des Mediums bzw. Spritzmittels kann insbesondere mittels einer Fördereinheit durchgeführt werden. Hierbei kann die Fördereinheit ausgebildet sein, eine Flüssigkeit und/oder ein Granulat unter Druck zu fördern bzw. zu leiten, insbesondere zu dosieren. Demnach kann die Fördereinheit bspw. jeweils ein/eine/einen oder mehrere Pumpen, Förderpumpen, Dosierpumpen, Druckspeicher, Förderschnecken, Ventile, Blenden etc. umfassen.
-
Die Spritzdüseneinheit weist bevorzugt jeweils mindestens eine Spritzdüse zum Ausbringen des Spritzmittels und mindestens ein Ventil zum Steuern bzw. Regeln der ausgebrachten Spritzmittelmenge auf. Demnach ist die Spritzdüseneinheit steuerbar bzw. betätigbar ausgebildet. Das Ventil kann in der Spritzdüse angeordnet bzw. integriert sein. Das Ventil kann jedoch auch der Spritzdüse vorgeschaltet, d.h. (in Strömungsrichtung des Spritzmittels) stromaufwärts der Spritzdüse angeordnet sein. Die Spritzdüseneinheit kann jedoch auch mehrere Spritzdüsen mit jeweils einem vorgeschalteten Ventil aufweisen. Die Spritzdüseneinheit kann ferner auch mehrere Spritzdüsen mit nur einem den Spritzdüsen vorgeschalteten Ventil aufweisen, so dass bei Betätigung des Ventils das Spritzmittel mittels aller Spritzdüsen der Spritzdüseneinheit ausgebracht wird. Das Ventil kann als ein pulsweitenmoduliertes Ventil (PWM-Ventil) oder als ein Proportionalventil ausgebildet sein. Die Spritzdüseneinheit kann als Teilbreite eines Düsensystems der landwirtschaftlichen Spritzvorrichtung ausgebildet sein. Die Spritzdüseneinheiten können einzeln bzw. separat und/oder in definierten Gruppen bzw. Verbänden und/oder alle gemeinsam ansteuerbar sein. Die Spritzdüsen jeder Spritzdüseneinheit können einzeln bzw. separat und/oder in definierten Gruppen bzw. Verbänden und/oder alle gemeinsam ansteuerbar sein.
-
Die Spritzdüseneinheit bzw. die Spritzdüseneinheiten ist/sind bevorzugt an einem Spritzgestänge der landwirtschaftlichen Spritzvorrichtung angeordnet.
-
Bevorzugt ist ein Schritt des Ermittelns je einer Pflanzenkennzahl für zumindest einen definierten Bildauswertebereich in der Pflanzenbildinformation unter Verwendung von klassifizierten Pflanzenteilen in dem jeweiligen definierten Bildauswertebereich mittels der Klassifizierungseinheit, vorgesehen. Hierbei repräsentiert die Pflanzenkennzahl bevorzugt einen Bedeckungsgrad des Bildauswertebereichs von pflanzlichem Material und/oder eine Menge an pflanzlichem Material in dem Bildauswertebereich und/oder eine Anzahl von klassifizierten Pflanzenteilen in dem Bildauswertebereich. Der Bedeckungsgrad kann über das Verhältnis von durch pflanzlichem Material bedeckter Fläche zu gesamter auszuwertenden Fläche definiert werden. Der Bedeckungsgrad für den Bildauswertebereich ist demnach das Verhältnis der Fläche des bewachsenen Bereiches zum jeweiligen gesamten Bildauswertebereich. Dazu kann die Anzahl der Pixel in dem jeweiligen Bildauswertebereich bestimmt werden, an denen pflanzliches Material detektiert wird. Demnach kann mittels der Pflanzenkennzahl eine Maßzahl für den Befall abgeleitet werden, in Abhängigkeit derer entschieden wird, ob und ggf. wie (bspw. mit welcher Ausbringmenge) ein entsprechender Feldbereich bespritzt bzw. behandelt wird.
-
Der Schwellenwert kann manuell eingebbar, ein zuvor festgelegter und an das System übertragener, oder ein voreingestellter Wert und auf dem System fest eingestellter Wert sein. In Abhängigkeit der Kultur im Feld, des Wachstumsstadiums und des verwendeten Spritzmittel bzw. Pflanzenschutzmittels kann hierbei eine sog. Spritzregel hinterlegt sein, d.h. ein Zusammenhang zwischen einer bestimmten Pflanzenkennzahl und der Entscheidung, ob und wieviel Pflanzenschutzmittel appliziert werden soll. Als Beispiel könnte die Regel lauten: „Wenn der Bedeckungsgrad im Auswertebereich 0,5% übersteigt, dann wird auf den Feldbereich appliziert“.
-
Es sei angemerkt, dass in der Bildinformation weitere separate Bildauswertebereiche vorgesehen sein können, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Die Anzahl der Bildauswertebereiche pro Bildinformation ist abhängig vom Spritzdüsenabstand und der Breite der Bildinformation. Jeder Bildauswertebereich kann jeweils einer Spritzdüseneinheit mit einer oder mehreren Spritzdüsen zugeordnet sein. Bspw. wären bei einer Bildinformationsbreite von 1.5m und 25cm Spritzdüsenabstand 6 Bildauswertebereiche pro Kamera vorgesehen.
-
Somit sind die Bildauswertebereiche die Bereiche der Bildinformationen, in denen die Pflanzenkennzahlen ermittelt und ausgewertet werden, um in Abhängigkeit davon, das Medium bzw. Spritzmittel auszubringen. Ein Bildauswertebereich repräsentiert hierbei einen entsprechenden Feldbereich der erfassten Feldabschnitte, sodass im Schritt des Ausbringens das Spritzmittel bevorzugt auf den entsprechenden Feldbereich ausgebracht wird.
-
Im Schritt des Ausbringens wird dann bei einer positiven „Spritzentscheidung“ das Spritzmittel bevorzugt in Abhängigkeit von den ermittelten Pflanzenkennzahlen, insbesondere bei Erreichung und/oder Unterschreitung und/oder Überschreitung eines definierten Schwellenwertes für die Pflanzenkennzahl mittels der Spritzdüseneinheit der landwirtschaftlichen Spritzvorrichtung ausgebracht. Das Spritzmittel wird bevorzugt mit einer definierten Mindestmenge pro Fläche ausgebracht. Hierbei wird das Spritzmittel bevorzugt auf den gesamten Feldbereich ausgebracht.
-
Figurenliste
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
- 1 eine schematische Darstellung einer erfindungsgemäßen landwirtschaftlichen Spritzvorrichtung;
- 2 Farbbild mit einer Soja-Pflanze;
- 3 ein NDVI-Pflanzenbild des Farbbilds aus 1;
- 4 eine Pflanzenbildinformation mit mittels des ersten Segmentierungsschwellenwertes identifizierten Pflanzenteilen aus dem NDVI-Pflanzenbild von 3;
- 5 die Pflanzenbildinformation aus 4 mit klassifizierten Pflanzenteilen gemäß dem Stand der Technik;
- 6 eine erfindungsgemäße Referenzpflanzenbildinformation mit mittels des zweiten Segmentierungsschwellenwertes identifizierten Pflanzenteilen aus dem NDVI-Pflanzenbild von 3;
- 7 ein Vergleichsergebnis der Überlagerung der Pflanzenbildinformation aus 4 mit der Referenzpflanzenbildinformation aus 6;
- 8 die Pflanzenbildinformation aus 4 mit klassifizierten Pflanzenteilen gemäß der vorliegenden Erfindung; und
- 9 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird.
-
In 1 ist eine schematische Darstellung einer landwirtschaftlichen Spritzvorrichtung dargestellt, welche in ihrer Gesamtheit mit dem Bezugszeichen 10 versehen ist.
-
Die landwirtschaftliche Spritzvorrichtung 10 ist als Feldspritze 10 ausgebildet. Die Feldspritze 10 ist an einem mobilen Landfahrzeug 12 angeordnet, welches als Zugmaschine 12 bzw. Traktor 12 ausgebildet ist.
-
Die landwirtschaftliche Spritzvorrichtung 10 weist ein Spritzgestänge 14 auf. An dem Spritzgestänge 14 sind Spritzdüseneinheiten 16 und optische Erfassungseinheiten 18 angeordnet. Die Spritzdüseneinheiten 16 sind ausgebildet ein Spritzmittel 20 auf Pflanzen 22 bzw. Beikräuter 23 einer landwirtschaftlichen Fläche 24 auszubringen. Die optische Erfassungseinheiten 18 sind als optische Kameras 18 ausgebildet. Die optischen Kameras 18 umfassen jeweils eine Filtereinheit, um einen Farbanteil wie beispielsweise den grünen Farbanteil einer erhaltenen bzw. erfassten Bildinformation bzw. eines erfassten Bildes zu extrahieren, um Kulturpflanzen 22 und Beikräuter 23 zu erfassen.
-
Die landwirtschaftliche Spritzvorrichtung 10 weist ferner eine (nicht gezeigte) Fördereinheit auf, mittels derer die Ausbringmenge bzw. eine Wirkmittelmenge in dem auszubringenden Spritzmittel 20 einstellbar bzw. variierbar ist.
-
Die landwirtschaftliche Spritzvorrichtung 10 weist außerdem (nicht gezeigte) Klassifizierungseinheiten auf, welche mit den optischen Kameras 18 verbunden sind, um Informationen von diesen zu empfangen. Hierbei ist jeder optischen Kamera 18 jeweils eine eigene Klassifizierungseinheit zugeordnet. Die Klassifizierungseinheiten weisen eine Recheneinheit auf, welche ausgebildet ist, Berechnungsschritte bzw. Bildverarbeitungsschritte zur Durchführung des erfindungsgemäßen Verfahrens auszuführen. Die Klassifizierungseinheiten sind ferner ausgebildet, ein Steuersignal derart auszugeben, dass das Spritzmittel 20 in Abhängigkeit von der ermittelten Pflanzenkennzahl mittels der zugehörigen Spritzdüseneinheiten 16 ausgebracht wird.
-
2 zeigt eine Bildinformation 26 mit einer Soja-Pflanze 22. Die Bildinformation 26 ist hierbei ein Bild 26 mit zur Pflanzensegmentierung geeigneten Spektralinformationen. Im Hintergrund ist ein Erdboden 28 der landwirtschaftlichen Fläche 24 zu sehen.
-
In 3 ist eine weitere Bildinformation 30 gezeigt. Die Bildinformation 30 ist hierbei ein NDVI-Pflanzenbild 30 des Bilds 26 aus 1.
-
In 4 ist eine Pflanzenbildinformation 32 dargestellt. Die Pflanzenbildinformation 32 veranschaulicht mittels des ersten Segmentierungsschwellenwertes bzw. erstens NDVI-Schwellenwertes identifizierten Pflanzenteile 34 aus dem NDVI-Pflanzenbild 30 von 3.
-
5 zeigt die Pflanzenbildinformation 32 aus 4 mit klassifizierten Pflanzenteilen 34 gemäß dem einleitend erwähnten Stand der Technik. Hierbei wurden teilweise Pflanzenteile 34 aufgrund der Anordnung bzw. Nähe zu einer (nicht gezeigten Kulturpflanzenreihe) in die gleiche Pflanzenklasse, nämlich als „Kulturpflanze“ 22 klassifiziert. Im Gegensatz dazu wurden die restlichen Pflanzenteile 34 aufgrund einer fehlenden Beziehung bzw. Verbindung zu den anderen Pflanzenteilen 34 und des Abstandes zu der Kulturpflanzenreihe in eine andere Pflanzenklasse, nämlich als „Beikraut“ 23 klassifiziert.
-
In 6 ist nun eine erfindungsgemäße Referenzpflanzenbildinformation 36 dargestellt. Die Referenzpflanzenbildinformation 36 veranschaulicht mittels des zweiten Segmentierungsschwellenwertes bzw. zweiten NDVI-Schwellenwertes identifizierten Pflanzenteile 38 aus dem NDVI-Pflanzenbild 30 von 3. Hierbei ist der zweite NDVI-Schwellenwert niedriger als der erste NDVI-Schwellenwert der Pflanzeninformation 32 auf 4.
-
Wie aus 6 ersichtlich, hat die Wahl des niedrigeren zweiten NDVI-Schwellenwerts im Vergleich zur Pflanzenbildinformation 32 von 4 dazu geführt, dass weitere Pflanzenteile 38, im vorliegenden Fall unter anderem ein Pflanzenstängel der Soja-Pflanze 22, und größere Pflanzenteile 38 identifiziert wurden. Dies wird insbesondere aus 7 deutlich, in der ein Vergleichsergebnis der Überlagerung der Pflanzenbildinformation 32 aus 4 mit der Referenzpflanzenbildinformation 6 aus 6 dargestellt ist. Aus Darstellungsgründen sind die identifizierten Pflanzenteile 34 schraffiert dargestellt.
-
Analog zum Klassifizierungsergebnis gemäß dem Stand der Technik aus 5 zeigt ist nun in 8 die Pflanzenbildinformation 32 aus 4 mit klassifizierten Pflanzenteilen 34 gemäß der vorliegenden Erfindung. Hieraus ist ersichtlich, dass die gemäß 5 in die Pflanzenklasse „Beikraut“ 23 klassifizierten Pflanzenteile 34 nun korrekterweise ebenfalls in die Pflanzenklasse „Kulturpflanze“ 22 klassifiziert sind, da diese in einem zusammenhängenden identifizierten Referenzpflanzenteil 38 mit Pflanzenteilen 34 angeordnet sind, die per Definition als „Kulturpflanze“ 22 klassifiziert werden.
-
9 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Klassifizieren von Pflanzenteilen 34, 38 in einer Bildinformation 26, 30, insbesondere für landwirtschaftliche Zwecke. Das Verfahren 100 umfasst einen Schritt des Identifizierens 104 von Pflanzenteilen 34 in der Bildinformation 26, 30 unter Verwendung eines ersten Segmentierungsschwellenwerts mittels einer Klassifizierungseinheit, um eine Pflanzenbildinformation 32 zu erhalten. Das Verfahren 100 umfasst ferner einen Schritt des Identifizierens 108 von Referenzpflanzenteilen 38 in der Bildinformation 26, 30 unter Verwendung eines zweiten Segmentierungsschwellenwerts mittels der Klassifizierungseinheit, um eine Referenzpflanzenbildinformation 36 zu erhalten, wobei der zweite Segmentierungsschwellenwert von dem ersten Segmentierungsschwellenwert verschieden und ferner derart gewählt ist, dass die identifizierten Referenzpflanzenteile 38 der Referenzpflanzenbildinformation 36 die identifizierten Pflanzenteile 34 der Pflanzenbildinformation 32 umfasst. Das Verfahren 100 umfasst außerdem einen Schritt des Vergleichens 112 der identifizierten Pflanzenteile 34 mit den identifizierten Referenzpflanzenteilen 38 mittels der Klassifizierungseinheit. Das Verfahren umfasst der Weiteren einen Schritt des Klassifizierens 114 von identifizierten Pflanzenteilen 34 der Pflanzenbildinformation 32 in die gleiche Pflanzenklasse, wenn diese in einem zusammenhängenden identifizierten Referenzpflanzenteil 38 angeordnet sind, mittels der Klassifizierungseinheit.
-
Das Verfahren 100 umfasst ferner einen optionalen Schritt des Erfassens 102 eines Feldabschnitts mit Pflanzen 22, 23 mittels einer optischen Erfassungseinheit 18, insbesondere einer landwirtschaftlichen Spritzvorrichtung 10, um die Bildinformation 26, 30 zu erhalten. Das Verfahren 100 umfasst außerdem einen optionalen Schritt des Identifizierens 106 von Kulturpflanzenreihen in der Pflanzenbildinformation 32 unter Verwendung von identifizierten Pflanzenteilen 34 mittels der Klassifizierungseinheit, wobei im Schritt des Klassifizierens 114 die Pflanzenteile 34 ferner in Abhängigkeit von einer Positionsinformation, insbesondere einem Abstand der Pflanzenteile 34 zu der entsprechenden Kulturpflanzenreihe klassifiziert werden. Das Verfahren 100 umfasst des Weiteren einen optionalen Schritt des Identifizierens 108 von Referenzpflanzenteilen 38 einen Schritt der Dilatation 110 der identifizierten Referenzpflanzenteile 38 umfasst, um die Referenzpflanzenbildinformation 36 zu erhalten. Das Verfahren 100 umfasst schließlich einen optionalen Schritt des Ermittelns 116 je einer Pflanzenkennzahl für zumindest einen definierten Bildauswertebereich in der Pflanzenbildinformation 32 unter Verwendung von klassifizierten Pflanzenteilen 34 in dem jeweiligen definierten Bildauswertebereich mittels der Klassifizierungseinheit.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017210804 A1 [0004, 0032]
- DE 102020215415 [0012]