[go: up one dir, main page]

WO2019063255A1 - Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes - Google Patents

Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes Download PDF

Info

Publication number
WO2019063255A1
WO2019063255A1 PCT/EP2018/073932 EP2018073932W WO2019063255A1 WO 2019063255 A1 WO2019063255 A1 WO 2019063255A1 EP 2018073932 W EP2018073932 W EP 2018073932W WO 2019063255 A1 WO2019063255 A1 WO 2019063255A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
plant
event
polarity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2018/073932
Other languages
English (en)
French (fr)
Inventor
Gregor Blott
Damian Koesters
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to EP18765629.3A priority Critical patent/EP3688660A1/de
Priority to BR112020002571-2A priority patent/BR112020002571A2/pt
Publication of WO2019063255A1 publication Critical patent/WO2019063255A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Definitions

  • Method for detecting a sheet edge Method for targeted treatment of plants with a foliar treatment agent and use of an event-based image sensor for detecting a sheet edge
  • the present invention relates to a method for detecting a sheet edge, a method for the targeted treatment of plants with a
  • Sheet handling means a use of an event-based image sensor for detecting a sheet edge, a computer program, a machine-readable storage medium and an electronic control unit.
  • the dynamic range is in a single image with direct
  • NDVI Normalized Difference Vegetation Index
  • the NDVI is calculated as the difference in near infrared reflectance and red visible range divided by the sum of these reflectance values.
  • the NDVI is the most commonly used vegetation index and has historically been defined for remote sensing tasks.
  • DVS Dynamic Vision Sensor
  • the Dynamic Vision sensor does not take like classic image sensors
  • CMOS technology images at equidistant time intervals, but measures intensity differences, so-called events, at individual pixel locations and only instantaneously sends them with microsecond accuracy and millisecond latency. If the intensity of a pixel does not change or only slightly changes, no event will be triggered and no data will be sent for that pixel.
  • Change sensor detects an event, for example, a change by a certain percentage or by a certain amount. Other definitions of change are possible.
  • the change sensor is configured to determine intensity changes in a pixel from a time tnl to a time tn2 as intensity data.
  • tn2 - tnl dt2, where dt2 ⁇ 10 "is 4 seconds
  • the time interval dt2 results from the time points of an intensity change detected by the change sensor
  • the times tnl and tn2 and the time interval dt2 are preferably variable and / or not necessarily constant for different intensity changes
  • the time interval dt2 is variable and results from the detected intensity changes in a cell and / or from the transmission rate of the change sensor. Disclosure of the invention
  • the sheet edge detection method comprises, as a first step, acquiring events of an image of a plant or vegetation
  • Such an image of a vegetated soil usually has mainly two types of areas. On the one hand, this is an area in which the color green predominates, which comes from the chlorophyll of the plants.
  • this is an area where a brownish color from the ground predominates.
  • a plant is to be understood as meaning a plant with leaves whose leaves contain chlorophyll.
  • Vegetation has a very low visible level
  • the reflection coefficient of dry soil changes less strongly from the red to the NI R range.
  • the corresponding value of the reflection coefficient is about 25% in the red region and about 30 to 35% in the NI R region.
  • the reflection coefficient of the vegetation is significantly higher than the reflection coefficient of the dry soil.
  • the reflection coefficient of the dry soil is usually larger than that
  • Reflection coefficient of vegetation however, the reflection coefficient of the vegetation in the direction of the NI R range is greater than the reflection coefficient of the dry soil.
  • the method uses a bottom resolution between 0.5 and 1 mm per pixel for the determination of a sheet edge.
  • This ground resolution is that it allows the so-called leaf edge curve to be detected by conventional means.
  • this type of detection is very fast and allows a high dynamic range. This ensures a reliable analysis of the sheet edge curve in real time.
  • a bandpass filter of a first frequency range is arranged in front of a first pixel of the image sensor and a bandpass filter of a second frequency range is arranged in front of a second pixel adjacent to the first pixel.
  • the first frequency range is equal to the second frequency range. This allows the use of a filter that uses machine learning for false positive removal.
  • the first frequency range is preferably the near infrared and the second frequency range is a red spectral range.
  • Spectral range a sheet edge can be reliably detected.
  • the method it is determined that a leaf margin has been detected if the first pixel at a first time tl at least one event of a first Polarity and the second pixel detected at a time t2 at least one event of a second polarity, wherein the first and second polarity are opposite, and that the at least one event of a first polarity of the first pixel and the at least one event of a second polarity of the second pixel the same Place of plant-covered soil corresponds.
  • the term "the same place is to be understood as meaning the plant-covered ground", in particular adjacent pixels of a single image, or alternatively pixels with a spacing of up to three pixels can be understood Plant-covered soil both in the first and in the second
  • Frequency range has an equally intense lighting.
  • the method it is determined that a leaf margin has been detected if the detected events were detected at only the first or the second pixel.
  • This can be achieved in particular by suitable selection of threshold values of the object contrast.
  • the thresholds for on and off events can be set separately.
  • Thresholds may also be used for the different channels, i. the R channel and the NI R channel are set separately. This case occurs, among other things, if the ground is dark or light.
  • the threshold values it can be achieved for any brightness conditions that either the above-mentioned first case, according to which adjacent pixels have an opposite polarity, or the above-mentioned second case, after which only one is present at adjacent pixels
  • the same information can also be deduced from the brightness histogram of the frame.
  • the method of scene reconstruction is suitable, which is e.g. among others in the scientific publication entitled “Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera” by Hanme Kim, Stefan
  • the brightness histogram is in at least one of the two
  • Bimodal color channels in the case of the average ground brightness even in both, thereby allowing automatic definition of the contrast threshold in the event generation, e.g. by Otsu method.
  • intensity changes at the individual pixel positions represent events.
  • a detected event is sent immediately to a computing unit with microsecond accuracy and millisecond latency. If only the two adjacent pixels are considered in the time period, the event-based image sensor provides a time-dependent function for each pixel, which indicates for each time point whether an event was detected or not. If an event has been detected, the function additionally gives the
  • time window When events are considered to be simultaneous depends on a time window.
  • the size of the time window depends on ground resolution and speed. If e.g. If two pixels represent one millimeter and the speed is 1 meter per second, then events with a time difference of approximately half a millisecond are to be regarded as simultaneous. As described elsewhere, one then detects a leaf margin with opposite polarity of the events.
  • the method described can be used to extract leaf margin information and to determine the associated plant species in real time.
  • the method generates a low data rate through the use of event-based image sensors, which has an advantageous effect on subsequent data processing and enables efficient local calculations on the camera and field spray modules. Particularly advantageous is the high robustness of the
  • the duration between the two times t1 and t2 for a given direction of travel depends on a first direction, which extends from a center point of the first pixel to a center point of the second pixel, and a second direction, which corresponds to a tangential direction of the page edge.
  • the events are detected with an event-based image sensor.
  • the event-based image sensor is preferably a DVS sensor. Since the detected events usually require much less memory than the
  • the amount of data delivered by a DVS camera is much less than that of a regular image sensor. Furthermore, the processing speed of a DVS sensor is much faster than with ordinary cameras. Since a DVS sensor looks at individual pixels independently, a much higher dynamic range up to 130 d B is possible. This high dynamic range prevents overexposed image areas, which in turn allows a more reliable image analysis and thus a more accurate detection of the sheet edge.
  • the bottom resolution is between 0.1 and 1 mm per pixel.
  • finer structures can advantageously be resolved in the recorded images. This helps to differentiate between different plant species more reliably.
  • a color filter array (C FA) of band pass filters in the NI R and R spectral range is arranged in front of the image sensor.
  • the R-spectral range stands for the red spectral range.
  • the two different bandpass filters can advantageously be arranged in a checkerboard pattern. This advantageously achieves that next to each pixel with NI R bandpass filter is a pixel with bandpass filter in the red spectral range. This in turn has the advantage that a sheet edge detection can be performed for each pixel. According to another embodiment, the two are different
  • the color filter array is NDVI optimized.
  • An NDVI-optimized color filter array is understood to mean that the color filter array optimally distinguishes between the NI R and the red spectral region so that the NDVI index has high expressivity. This is especially the case when the NI R band pass filter of the color filter array is centered around 850 nm and the R band pass filter of the color filter array is centered around 660 nm.
  • the respective bandpass filters preferably have a width of 20 nm.
  • Such a color filter array is an optimal distinction between
  • a bandpass filter of a third frequency range is arranged in front of a third pixel of the image sensor.
  • the color filter array has a third bandpass filter, which is preferably in the green color range.
  • the accuracy of the detection of the sheet edge can be further increased.
  • other indexes such as e.g. Excessive Green, to be used.
  • the color filter array is optimized for other filters, for example for the Excessive Green Index.
  • the soil which is overgrown with plants, has equally intense illumination both in the first and in the second frequency range. If this is not the case, alternatively the intensity in the first frequency range and in the second frequency range is determined. This can also be done pixel by pixel. Preferably, a new image is calculated in which the intensity in the first and second frequency ranges is the same or identical. This can also be done pixel by pixel.
  • a passing object is measured several times. A passing object is an object that passes through a detection area of the event-based image sensor. Since the vehicle speed and direction of travel and the orientation and position of the event-based image sensor relative to the vehicle are known, an object detected by the image sensor can be tracked.
  • a plant height of a plant is determined from at least one image of the soil covered with plants.
  • an image is understood as an image taken with an event-based image sensor.
  • the stature height is determined from a variety of images of the vegetated soil with soil. The prerequisite for this is that an interpretable flow field can be determined from the at least one image.
  • SfM Structure from motion
  • the determination of the stature height has the advantage that subsequent spraying operations can be dosed more accurately and thus can be flexibly adapted to the particular circumstances.
  • the method comprises a machine-based learning algorithm for recognizing a classification of the plant.
  • the method comprises a machine-based learning algorithm for recognizing a classification of the plant.
  • Foliar treatment agent recognizes a sheet edge in a first step of the method according to the method set out above.
  • a leaf shape of the plant is detected based on the recognized leaf margin of the plant.
  • a leaf margin is detected for each pixel pair in which only one pixel predominantly detects events. Accordingly, any location of the sheet edge can be recognized for the entire still image. If each location of the leaf margin is known, a leaf shape can be determined or recognized. For a moving image, a leaf shape can be determined for each time you see the leaf.
  • a classification of the plant is determined on the basis of the specific leaf shape of the plant. This has the advantage that the thus classified plant can be specifically treated with a suitable agent for this plant.
  • Classification of the plant appropriate means treated. This advantageously ensures that certain plants are selective or targeted can be treated. For example, it is possible for weeds to be specifically treated with a weed control or herbicide. Alternatively or additionally, other recognized plants may be treated by other means.
  • Such agent is especially a pesticide, a pesticide, an insecticide, a fungicide, a herbicide, a biocide, a bactericide
  • Virucide an acaricide, an avicide, a molluscicide, a nematicide, an ovicide or a rodenticide.
  • the targeted treatment of the plant with a suitable agent for this plant has the advantage that no resources are wasted, in particular no plants are damaged because no plant is treated with an inappropriate agent.
  • the method for the targeted treatment of plants enables a rapid differentiation between the different plant species and, based on this, a targeted treatment of the respective plant species with the appropriate agent.
  • the invention relates to a use of an event-based image sensor for detecting a sheet edge using images recorded by an event-based image sensor. This use has already been disclosed in the sheet edge detection method described above.
  • the computer program is set up to perform each step of the method, especially when running on an electronic controller or computing device. This refers to both the method for the detection of a leaf margin and the method for the targeted treatment of plants with a foliar treatment agent. This allows the implementation of the method in a conventional control unit, without constructive
  • the computer program is stored on a machine-readable storage medium.
  • the electronic control unit is obtained, which is set up to recognize a leaf margin or to treat a plant specifically.
  • FIG. 1 shows a flowchart of a method for sheet edge detection according to an exemplary embodiment of the invention.
  • FIG. 1 shows a flow chart of a method 100 for sheet edge detection.
  • a first step 110 of the method 100 events of an image of a vegetated soil at a ground speed relative to the ground are detected using an event-based image sensor.
  • the ground resolution used here is 0.5 mm per pixel and in front of the image sensor, an NDVI-optimized color filter array (CFA) of bandpass filters in the NI R and R spectral range is arranged.
  • the NI R band pass filter is centered around 850 nm and the R band pass filter centered at 660 nm.
  • a sheet edge was detected if the detected events of two adjacent pixels were detected predominantly only at one of the two adjacent pixels.
  • Step 120 is performed for all adjacent pixels of the captured events of the image. This also means that the method 100 repeatedly measures a passing object. Thus, one obtains the leaf margin for all recorded images of the plant, from which one can determine a leaf shape of the plant. In step 130 of the method 100, a plant height of a plant is determined from all images showing the same plant of the overgrown soil.
  • a machine-based learning algorithm is used to classify the plant based on the images of the leaf margin taken by the plant.
  • the classified plant is specifically treated with a leaf treatment agent corresponding to the classification of the plant.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (100) zur Erkennung eines Blattrandes mit folgenden Schritten: Erfassen (110) von Events eines Bildes eines mit Pflanzen bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden, wobei eine Bodenauflösung des Bildes zwischen 0,5 und 1 mm pro Pixel liegt; wobei vor einem ersten Pixel des Bildes ein Bandpassfilter eines ersten Frequenzbereichs und vor einem zweiten Pixel des Bildes ein Bandpassfilter eines zweiten Frequenzbereichs angeordnet ist; und Bestimmen (120), dass ein Blattrand erkannt wurde, falls der erste Pixel zu einem ersten Zeitpunkt t1 mindestens ein Event einer ersten Polarität und der zweite Pixel zu einem Zeitpunkt t2 mindestens ein Event einer zweiten Polarität erfasst, wobei die erste und zweite Polarität entgegengesetzt sind, und dass das mindestens eine Event einer ersten Polarität des ersten Pixels und das mindestens ein Event einer zweiten Polarität des zweiten Pixels demselben Ort des mit Pflanzen bewachsenen Bodens entspricht oder falls die detektierten Events entweder nur bei dem ersten oder dem zweiten Pixel erkannt wurden. Ferner betrifft die Erfindung eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes, ein Computerprogramm, ein maschinenlesbares Speichermedium und ein elektronisches Steuergerät.

Description

Beschreibung
Titel
Verfahren zur Erkennung eines Blattrandes, Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel und Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung eines Blattrandes, ein Verfahren zur gezielten Behandlung von Pflanzen mit einem
Blattbehandlungsmittel, eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein elektronisches Steuergerät.
Stand der Technik
Das vorliegende technische Gebiet betrifft die Erkennung von Blättern oder Pflanzen auf einem Ackerboden durch Bildsensoren bei einer
Fahrtgeschwindigkeit von bis zu 20 km/h eines über den Ackerboden fahrenden Fahrzeugs.
Es ist im Stand der Technik bekannt, dass die verfügbare Information in der Szene sinnvollerweise nur auf die Blattrand- Kurve reduziert ist, die mit einer Bodenauflösung zwischen 0,5 und 1 mm pro Pixel, der sogenannten Blattrand- Auflösung, erfasst werden kann. Dies liegt darin begründet, dass die Blatttextur als nächsthöhere Informationsebene erst mindestens bei Verzehnfachung der Bodenauflösung hinzugenommen werden kann, was bezüglich Datenmengen, Dynamikumfang des Sensors und Kosten für Sensor/Optik mit herkömmlichen Bildsensoren nicht praktikabel ist.
Ferner ist der Dynamikumfang in einem einzelnen Bild bei direktem
Sonnenlichteinfall und vorhandenem Schlagschatten bereits bei der Blattrand- Auflösung an Erdklumpen oder Pflanzen sehr hoch. Bei dem begrenzten Dynamikumfang von ungefähr 60 bis 80 dB verwendbarer CMOS- Kameras bleiben zeitgleich über- und unterbelichtete Bildbereiche, mit denen kein sinnvoller normalisierter differenzierter Vegetationsindex (NDVI, engl. Normalized Difference Vegetation Index) berechnet werden kann. Der NDVI ist ein
Differenzindex aus Nahinfrarot- und Rotkanal zur Pflanzen- / Boden-
Unterscheidung. Der NDVI berechnet sich als die Differenz der Reflexionswerte im nahen Infrarotbereich und des roten sichtbaren Bereichs geteilt durch die Summe dieser Reflexionswerte. Der NDVI ist der am häufigsten angewandte Vegetationsindex und wurde historisch für Fernerkundungsaufgaben definiert.
Im Stand der Technik sind eventbasierte Bildsensoren oder Kameras, insbesondere DVS- Kameras (DVS = Dynamic Vision Sensor), bekannt. DVS- Kameras stellen eine änderungssensitive Form einer Kamera da, deren
Funktionsweise aus der Biologie des menschlichen Auges heraus adaptiert wurde. Der Dynamic- Vision-Sensor nimmt nicht wie klassische Bildsensoren
(z.B. CMOS-Technologie) in äquidistanten Zeitschritten Bilder auf, sondern misst Intensitätsdifferenzen, sogenannte Events, an einzelnen Pixelpositionen und sendet nur diese unverzüglich mit Mikrosekundengenauigkeit und Millisekunden- Latenz. Wenn sich die Intensität eines Pixels nicht oder nur geringfügig ändert, wird kein Event ausgelöst und für dieses Pixel keine Daten gesendet. Ein solcher
Sensor wird auch Veränderungssensor genannt.
Es kann eingestellt werden, ab welcher Intensitätdifferenz der
Veränderungssensor ein Event erkennt, zum Beispiel bei einer Änderung um einen gewissen Prozentsatz oder um einen gewissen Betrag. Es sind auch andere Definitionen einer Änderung möglich. Der Veränderungssensor ist ausgebildet, Intensitätsänderungen in einem Pixel von einem Zeitpunkt tnl zu einem Zeitpunkt tn2 als Intensitätsdaten zu bestimmen. Insbesondere gilt, dass tn2 - tnl = dt2 ist, wobei dt2 < 10"4 Sekunden ist. Vorzugsweise ergibt sich das Zeitintervall dt2 aus den von dem Veränderungssensor detektierten Zeitpunkten einer Intensitätsänderung. Die Zeitpunkte tnl und tn2 sowie das Zeitintervall dt2 sind vorzugsweise veränderlich und/oder nicht zwangsläufig konstant für verschiedene Intensitätsänderungen. Beispielsweise ist das Zeitintervall dt2 variabel und ergibt sich aus den detektierten Intensitätsänderungen in einer Zelle und/oder aus der Übertragungsrate des Veränderungssensors. Offenbarung der Erfindung
Das Verfahren zur Erkennung eines Blattrandes weist als ersten Schritt das Erfassen von Events eines Bildes eines mit Pflanzen oder Vegetation
bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden auf.
Ein derartiges Bild eines mit Pflanzen bewachsenen Bodens weist in der Regel hauptsächlich zwei Arten von Bereichen auf. Zum einen ist dies ein Bereich, in dem die Farbe Grün vorherrscht, welche vom Chlorophyll der Pflanzen stammt.
Zum anderen ist dies ein Bereich, in dem eine vom Boden stammende bräunliche Farbe vorherrscht. Unter einer Pflanze soll eine Pflanze mit Blättern verstanden werden, deren Blätter Chlorophyll enthält.
Im Folgenden werden die Reflexionskoeffizienten von Vegetation und trockenem Boden beschrieben unter der Voraussetzung, dass im roten Spektralbereich und im nahen Infrarot gleich intensive Beleuchtung vorhanden ist und dass die verwendeten Sensoren eine gleiche spektrale Empfindlichkeit aufweisen.
Vegetation weist im sichtbaren Bereich einen sehr niedrigen
Reflexionskoeffizienten unter 25% auf, jedoch steigt der Reflexionskoeffizient vom roten Bereich zum NI R- Bereich, in dem er nahezu 50 % aufweist, steil an. Der Reflexionskoeffizient von trockenen Boden verändert sich weniger stark vom roten zum NI R- Bereich. Der entsprechende Wert des Reflexionskoeffizienten beträgt im roten Bereich ca. 25% und im NI R-Bereich ca. 30 bis 35%. Im ganzen NI R- Bereich ist der Reflexionskoeffizient der Vegetation deutlich höher als der Reflexionskoeffizient des trockenen Bodens. Im roten Spektralbereich ist der Reflexionskoeffizient des trockenen Bodens in der Regel größer als der
Reflexionskoeffizient der Vegetation, jedoch ist der Reflexionskoeffizient der Vegetation in Richtung des NI R-Bereichs größer als der Reflexionskoeffizient des trockenen Bodens.
Unter diesen Voraussetzungen werden bei relativer Bewegung der Kamera zur Szene, z.B. nach rechts, an den Helligkeitsgradienten Events erzeugt. Diese sind für Boden-Boden- bzw. Boden-Stein-Übergänge wegen der nahezu konstanten Reflektivität zwischen R- und NI R- gefiltertem Event-Strom positiv korreliert. Für Vegetation ist die Reflektivitätsdifferenz beider Kanäle deutlich höher, so dass das Vorzeichen der Gradientenstärke im Fall eines Bodens mittlerer Reflektivität stets zwischen beiden Kanälen entgegengesetzt ist. Damit kehrt sich die ON-/OFF-Polarität der Events entsprechend um.
Falls der Boden dunkel ist, erhält man einen schwachen Gradienten im roten Kanal an den Pflanzenrändern und starke Gradienten im NI R-Kanal. Falls der Boden hell ist, erhält man starke Gradienten im R-Kanal an den Pflanzenrändern und schwache Gradienten im NI R-Kanal.
Das Verfahren benutzt für die Ermittlung eines Blattrandes eine Bodenauflösung zwischen 0,5 und 1 mm pro Pixel. Der Vorteil dieser Bodenauflösung liegt darin, dass damit die sogenannte Blattrand- Kurve mit herkömmlichen Mitteln erfasst werden kann. Zudem ist diese Art der Erfassung sehr schnell und ermöglicht einen hohen Dynamikumfang. Dies gewährleistet eine zuverlässige Analyse der Blattrand- Kurve in Echtzeit.
Ferner ist vor einem ersten Pixel des Bildsensors ein Bandpassfilter eines ersten Frequenzbereichs und vor einem zum ersten Pixel benachbarten zweiten Pixel ein Bandpassfilter eines zweiten Frequenzbereichs angeordnet. Durch eine solche benachbarte Anordnung von Bandpassfiltern kann ein unterschiedliches Verhalten in den entsprechenden spektralen Bereichen von unterschiedlichen Materialien detektiert werden.
In einer Ausführungsform des Verfahrens ist der erste Frequenzbereich gleich dem zweiten Frequenzbereich. Dies ermöglicht die Verwendung eines Filters, welcher ein Machine-Learning zur falsch-positiv- Entfernung verwendet.
Bevorzugt ist der erste Frequenzbereich allerdings das nahe Infrarot und der zweite Frequenzbereich ein roter Spektralbereich. Durch eine solche
benachbarte Anordnung von Bandpassfiltern im NI R- und im roten
Spektralbereich kann ein Blattrand zuverlässig erkannt werden.
Gemäß dem Verfahren wird bestimmt, dass ein Blattrand erkannt wurde, falls der erste Pixel zu einem ersten Zeitpunkt tl mindestens ein Event einer ersten Polarität und der zweite Pixel zu einem Zeitpunkt t2 mindestens ein Event einer zweiten Polarität erfasst, wobei die erste und zweite Polarität entgegengesetzt sind, und dass das mindestens eine Event einer ersten Polarität des ersten Pixels und das mindestens ein Event einer zweiten Polarität des zweiten Pixels demselben Ort des mit Pflanzen bewachsenen Bodens entspricht. Hierbei ist unter dem Begriff„desselben Ortes das mit Pflanzen bewachsenen Bodens" insbesondere benachbarte Pixel eines Einzelbildes zu verstehen. Alternativ können hierunter auch Pixel im Abstand von bis zu drei Pixeln verstanden werden. Das oben genannte Merkmal ist insbesondere dann der Fall, falls der mit Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten
Frequenzbereich eine gleich intensive Beleuchtung aufweist.
Alternativ wird gemäß dem Verfahren bestimmt, dass ein Blattrand erkannt wurde, falls die detektierten Events entweder nur bei dem ersten oder dem zweiten Pixel erkannt wurden. Dies kann insbesondere durch geeignete Wahl von Schwellenwerten des Objektkontrastes erreicht werden. Hierbei können die Schwellenwerte für On- und Off- Events separat eingestellt werden. Die
Schwellenwerte können auch für die unterschiedlichen Kanäle, d.h. den R- Kanal und den NI R-Kanal separat eingestellt werden. Dieser Fall tritt unter anderem dann ein, falls der Boden dunkel oder hell ist.
Insbesondere durch geeignete Wahl der Schwellenwerte kann für beliebige Helligkeitsbedingungen erreicht werden, dass entweder der oben genannte erste Fall, wonach benachbarte Pixel eine entgegengesetzte Polarität aufweisen oder der oben genannte zweite Fall, wonach bei benachbarten Pixeln lediglich ein
Pixel Events aufweist, auftritt.
Alternativ lässt sich für beliebige Helligkeitsverhältnisse die gleiche Information auch aus dem Helligkeitshistogramm des Vollbildes folgern. Hierbei bietet sich das Verfahren der Szenenrekonstruktion an, das z.B. unter anderem in der wissenschaftlichen Veröffentlichung mit dem Titel„Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera" von Hanme Kim, Stefan
Leutenegger, Andrew J. Davison in European Conference on Computer Vision, ECCV 2016: Computer Vision - ECCV 2016, pp 349-364, veröffentlicht wurde, gezeigt wird. Dort siehe insbesondere Figur 4. Hierbei ist das Helligkeitshistogramm in mindestens einem der beiden
Farbkanäle bimodal, im Fall der mittleren Bodenhelligkeit sogar in beiden, wodurch eine automatische Festlegung des Kontrastschwellwertes bei der Eventerzeugung ermöglicht wird, z.B. per Otsu- Verfahren.
Wie bereits obenstehend erläutert, stellen Intensitätsänderungen an den einzelnen Pixelpositionen Events dar. Ein detektiertes Event wird unverzüglich mit Mikrosekundengenauigkeit und Millisekunden-Latenz an eine Recheneinheit gesendet. Wenn nur die beiden benachbarten Pixel im Zeitraum betrachtet werden, so liefert der eventbasierte Bildsensor für jeden Pixel eine zeitabhängige Funktion, welche für jeden Zeitpunkt angibt, ob ein Event detektiert wurde oder nicht. Falls ein Event detektiert wurde, gibt die Funktion zusätzlich die
Intensitätsänderung mit an.
Wann Events als gleichzeitig anzusehen sind, hängt von einem Zeitfenster ab. Die Größe des Zeitfensters hängt von Bodenauflösung und Geschwindigkeit ab. Falls z.B. zwei Pixel einen Millimeter abbilden und die Geschwindigkeit 1 Meter pro Sekunden beträgt, so sind Events mit einem Zeitunterschied von ungefähr einer halben Millisekunde als gleichzeitig anzusehen. Wie an anderer Stelle beschrieben, detektiert man dann bei gegensätzlicher Polarität der Events einen Blattrand.
Durch den Einsatz einer entsprechenden Auswertungssoftware können mithilfe des beschriebenen Verfahrens Blattrand-Informationen extrahiert und die zugehörigen Pflanzenarten in Echtzeit ermittelt werden. Das Verfahren generiert durch den Einsatz von eventbasierten Bildsensoren eine geringe Datenrate, was sich vorteilhaft auf die nachfolgende Datenverarbeitung auswirkt und effiziente lokale Berechnungen an den Kamera- und Feldspritzenmodulen ermöglicht. Als besonders vorteilhaft stellt sich dabei auch die hohe Robustheit des
Verfahrens bei einem Dynamikumfang von 130 dB dar. Damit wird ein störungsfreier Ablauf der Blattranderkennung selbst bei sich schnell bewegenden Kameras und Tageslichtbedingungen sichergestellt. Das Erfassen von Events durch den eventbasierten Bildsensor ermöglicht es vorteilhafterweise, Bereiche gleicher Semantik im abgebildeten Bereich als solche zu finden und zu klassifizieren.
Insbesondere hängt die Dauer zwischen den beiden Zeitpunkten tl und t2 bei einer vorgegebenen Fahrtrichtung von einer ersten Richtung, welche von einem Mittelpunkt des ersten Pixels zu einem Mittelpunkt des zweiten Pixels verläuft, und einer zweiten Richtung, welche einer tangentialen Richtung des Blattrandes entspricht, ab.
Bevorzugt werden die Events mit einem eventbasierten Bildsensors erfasst. Der eventbasierte Bildsensor ist bevorzugt ein DVS-Sensor. Da die detektierten Events in der Regel sehr viel weniger Speicherplatz benötigen als die
Speicherung jedes einzelnen Pixels für jedes Frame, ist die von einer DVS- Kamera gelieferte Datenmenge sehr viel geringer als von einem gewöhnlichen Bildsensor. Ferner ist die Verarbeitungsgeschwindigkeit eines DVS-Sensors deutlich schneller als bei gewöhnlichen Kameras. Da ein DVS-Sensor einzelne Pixel unabhängig betrachtet, wird ein sehr viel höherer Dynamikumfang bis zu 130 d B ermöglicht. Dieser hohe Dynamikumfang verhindert überbelichtete Bildbereiche, was wiederum eine zuverlässigere Bildauswertung und somit eine genauere Erkennung des Blattrandes ermöglicht.
Gemäß einer bevorzugten Ausführungsform liegt die Bodenauflösung zwischen 0,1 und 1 mm pro Pixel. Dadurch können vorteilhafterweise feinere Strukturen in den aufgenommenen Bildern aufgelöst werden. Dies trägt dazu bei, dass unterschiedlichen Pflanzenarten zuverlässiger voneinander abgegrenzt werden können.
Gemäß einer weiteren Ausführungsform ist vor dem Bildsensor ein Farbfilterarray (engl.: color filter array (C FA)) aus Band passfiltern im NI R- und R- Spektralbereich angeordnet. Hierbei steht der R-Spektralbereich für den roten Spektralbereich.
Die beiden unterschiedlichen Bandpassfilter können vorteilhafterweise im Schachbrettmuster angeordnet sein. Dadurch wird vorteilhafterweise erreicht, dass neben jedem Pixel mit NI R- Bandpassfilter einen Pixel mit Bandpassfilter im roten Spektralbereich angeordnet ist. Dieser wiederum den Vorteil, dass für jeden Pixel eine Blattranderkennung durchgeführt werden kann. Gemäß einer anderen Ausführungsform sind die beiden unterschiedlichen
Bandpassfilter streifenförmig angeordnet. Hierbei sind die Streifen bevorzugt quer zur Fahrtrichtung angeordnet. Dies hat den Vorteil, dass mithilfe dieser Anordnung jeder Blattrandübergang erfasst werden kann. Gemäß noch einer weiteren Ausführungsform ist das Farbfilterarray NDVI- optimiert. Unter einem NDVI-optimierten Farbfilterarray versteht man, dass das Farbfilterarray optimal zwischen dem NI R und dem roten Spektralbereich unterscheidet, so dass der NDVI-Index eine hohe Aussagekraft aufweist. Dies ist insbesondere dann der Fall, wenn der NI R- Band passfilter des Farbfllterarrays um 850 nm und der R-Bandpassfilter des Farbfllterarrays um 660 nm zentriert ist.
Die jeweiligen Bandpassfilter weisen bevorzugt eine Breite von 20 nm auf. Durch ein solches Farbfilterarray wird eine optimale Unterscheidung zwischen
Vegetation und Boden entsprechend dem NDVI erreicht. Bevorzugt ist vor einem dritten Pixel des Bildsensors ein Bandpassfilter eines dritten Frequenzbereiches angeordnet. Gemäß einer solchen Ausführungsform weist das Farbfilterarray einen dritten Bandpassfilter auf, welcher bevorzugt im grünen Farbbereich liegt. Hierdurch kann vorteilhafterweise, die Genauigkeit der Erkennung des Blattrandes weiter erhöht werden. Es können zum Beispiel neben dem NDVI-Index auch andere Indices, wie z.B. Excessive Green, verwendet werden. Bevorzugt ist das Farbfilterarray für andere Filter optimiert, zum Beispiel für den Excessive Green Index.
Gemäß einer weiteren bevorzugten Ausführungsform weist der mit Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten Frequenzbereich eine gleich intensive Beleuchtung auf. Falls dies nicht der Fall ist, wird alternativ die Intensität im ersten Frequenzbereich und im zweiten Frequenzbereich bestimmt. Dies kann auch pixelweise geschehen. Bevorzugt wird ein neues Bild berechnet, bei dem die Intensität im ersten und zweiten Frequenzbereich gleich oder identisch ist. Dies kann ebenfalls pixelweise geschehen. Gemäß einer weiteren Ausführungsform wird ein passierendes Objekt mehrfach vermessen. Unter einem passierenden Objekt versteht man ein Objekt, welches einen Erfassungsbereich des eventbasierten Bildsensors passiert. Da die Fahrtgeschwindigkeit und die Fahrtrichtung des Fahrzeugs und die Orientierung und Position des eventbasierten Bildsensors relativ zum Fahrzeug bekannt sind, kann ein Objekt, welches von dem Bildsensor erkannt wird, nachverfolgt werden. Falls sich das Objekt während der Erfassung relativ zum Bildsensor nicht dreht, werden alle Punkte des Objektes mehrfach aufgenommen. Bevorzugt wird das passierende Objekt kontinuierlich vermessen. Durch die mehrfache oder kontinuierliche Vermessung des Objektes wird eine zeitliche Mittelung möglich, welche wiederum eine Erhöhung der Erfassungsgenauigkeit und somit auch eine genauere Detektion des Blattrandes ermöglicht. Gemäß einer weiteren Ausführungsform wird eine Wuchshöhe einer Pflanze aus mindestens einem Bild des mit Pflanzen bewachsenen Bodens ermittelt. Hierbei wird unter einem Bild ein mit einem eventbasierten Bildsensor aufgenommenes Bild verstanden. Bevorzugt wird die Wuchshöhe aus einer Vielzahl von Bildern des mit Pflanzen bewachsenen Bodens ermittelt. Voraussetzung hierfür ist, dass aus dem mindestens einen Bild ein interpretierbares Flussfeldes bestimmt werden kann. Im Stand der Technik ist die Technik„Structure from motion (SfM)" bekannt. Diese Technik ist photogrammetrische Bildgebungstechnik für dreidimensionale Strukturen auf Basis von zweidimensionalen Bildsequenzen. Diese Technik wird in den Bereichen„Computer Vision" und visuelle
Wahrnehmung untersucht. Menschen und andere Lebewesen können dreidimensionale Strukturen aufgrund der projizierten zweidimensionalen Bewegung eines bewegten Objektes oder einer Szene im Gehirn rekonstruieren. Die Ermittlung der Wuchshöhe bringt den Vorteil mit sich, dass nachfolgende Spritzvorgänge exakter dosiert werden können und damit flexibel an die jeweiligen Gegebenheiten angepasst werden können.
Bei Aufnahme von Bildern eines mit Pflanzen bewachsenen Bodens mit einer bewegten Kamera, deren Geschwindigkeitsverlauf bekannt ist, brauchen Bereiche des Bildes, welche näher der Kamera sind für einen Bilddurchgang weniger Zeit als weiter entfernte Bereiche des Bildes. Somit ist das durch die Kamera aufgenommene Flussfeld ein interpretierbares Flussfeld. Für metrische Genauigkeit der Ergebnisse müssen nur intrinsische Parameter der Optik wie die fokale Länge (Öffnungswinkel) und Fahrgeschwindigkeit bekannt sein.
Vergleichende Aussagen ohne metrische Genauigkeit sind auch ohne diese Kalibrierung möglich.
Durch die zeitkontinuierliche Aufnahme von Events führen auch Verdeckungen kleiner, bodennaher Unkräuter in hochwachsenden Kulturen mit breiten Blättern (z.B. Mais) seltener zu fehlenden Detektionen als zeitdiskrete Vollbildaufnahmen.
Bevorzugt weist das Verfahren einen maschinenbasierten Lernalgorithmus zum Erkennen einer Klassifikation der Pflanze auf. Mit dessen Hilfe wird die
Bestimmung der Pflanzenart fortwährend verbessert und die
Verfahrensergebnisse insgesamt genauer.
Das Verfahren zur gezielten Behandlung von Pflanzen mit einem
Blattbehandlungsmittel erkennt in einem ersten Schritt des Verfahrens einen Blattrand gemäß dem obenstehend dargelegten Verfahren. In einem zweiten Schritt des Verfahrens wird eine Blattform der Pflanze basierend auf dem erkannten Blattrand der Pflanze erkannt. Für einen Standbild eines Ackerbodens mit einem Blatt wird für jedes Pixelpaar, bei dem nur ein Pixel vorwiegend Events detektiert, einen Blattrand erkannt. Dementsprechend kann für das gesamte Standbild jede Stelle des Blattrandes erkannt werden. Falls jede Stelle des Blattrandes bekannt ist, kann eine Blattform bestimmt oder erkannt werden. Für ein bewegtes Bild kann für jeden Zeitpunkt, an dem man das Blatt sieht, eine Blattform bestimmt werden.
In einem dritten Schritt des Verfahrens wird anhand der bestimmten Blattform der Pflanze eine Klassifikation der Pflanze bestimmt. Dies hat den Vorteil, dass die somit klassifizierte Pflanze gezielt mit einem für diese Pflanze passenden Mittel behandelt werden kann.
In einem vierten Schritt des Verfahrens wird die Pflanze mit einem der
Klassifikation der Pflanze entsprechenden Mittel behandelt. Hierdurch wird vorteilhafterweise erreicht, dass bestimmte Pflanzen selektiv oder gezielt behandelt werden können. Zum Beispiel ist es möglich, dass Unkräuter gezielt mit einem Unkrautbekämpfungsmittel oder Herbizid behandelt wird. Alternativ oder zusätzlich können andere erkannte Pflanzen mit anderen Mitteln behandelt werden. Ein solches Mittel ist insbesondere ein Pflanzenschutzmittel, ein Pestizid, ein Insektizid, ein Fungizid, ein Herbizid, ein Biozid, ein Bakterizid, ein
Viruzid, ein Akarizid, ein Avizid, ein Molluskizid, ein Nematizid, ein Ovizid oder ein Rodentizid. Die gezielte Behandlung der Pflanze mit einem für diese Pflanze passenden Mittel hat den Vorteil, dass keine Ressourcen verschwendet werden, insbesondere werden keine Pflanzen geschädigt, da keine Pflanze mit einem unpassenden Mittel behandelt wird.
Das Verfahren zur gezielten Behandlung von Pflanzen ermöglicht eine schnelle Differenzierung zwischen den verschiedenen Pflanzenarten und darauf aufbauend eine gezielte Behandlung der jeweiligen Pflanzenart mit dem passenden Mittel.
Ferner betrifft die Erfindung eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes mithilfe durch einen eventbasierten Bildsensor aufgenommenen Bilder. Diese Verwendung ist bereits im Rahmen des oben beschriebenen Verfahrens zur Erkennung eines Blattrandes offenbart worden.
Daraus ergeben sich aber auch die mit der Verwendung einhergehenden Vorteile.
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere wenn es auf einem elektronischen Steuergerät oder Rechengerät abläuft. Hierbei ist sowohl das Verfahren zur Erkennung eines Blattrandes als auch das Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel gemeint. Dies ermöglicht die Implementierung des Verfahrens in einem herkömmlichen Steuergerät, ohne hieran bauliche
Veränderungen vornehmen zu müssen. Hierzu ist das Computerprogramm auf einem maschinenlesbaren Speichermedium gespeichert. Durch Aufspielen des Computerprogramms auf ein herkömmliches elektronisches Steuergerät wird das elektronische Steuergerät erhalten, welches eingerichtet ist, einen Blattrand zu erkennen oder eine Pflanze gezielt zu behandeln. Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnung
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und wird in der nachfolgenden Beschreibung näher erläutert.
Figur 1 zeigt ein Ablaufdiagramm eines Verfahrens zur Blattranderkennung gemäß einem Ausführungsbeispiel der Erfindung.
Ausführungsbeispiel der Erfindung
Figur 1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zur Blattranderkennung. In einem ersten Schritt 110 des Verfahrens 100 werden Events eines Bildes eines mit Pflanzen bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden mithilfe eines eventbasierten Bildsensors erfasst. Die hierbei verwendete Bodenauflösung beträgt 0,5 mm pro Pixel und vor dem Bildsensor ist ein NDVI-optimiertes Farbfilterarray (CFA) aus Band passfiltern im NI R- und R- Spektralbereich angeordnet. Hierbei ist der NI R- Band passfilter um 850 nm und der R- Bandpassfilter um 660 nm zentriert.
In einem zweiten Schritt 120 des Verfahrens 100 wird bestimmt, dass ein Blattrand erkannt wurde, falls die detektierten Events zweier benachbarter Pixel vorwiegend nur bei einem der beiden benachbarten Pixel erkannt wurden. Der
Schritt 120 wird für alle benachbarten Pixel der erfassten Events des Bildes durchgeführt. Dies bedeutet ebenfalls, dass das Verfahren 100 ein passierendes Objekt mehrfach vermessen wird. Somit erhält man den Blattrand für alle aufgenommenen Bilder der Pflanze, woraus man eine Blattform der Pflanze bestimmen kann. In Schritt 130 des Verfahrens 100 wird eine Wuchshöhe einer Pflanze aus allen Bildern ermittelt, welche dieselbe Pflanze des bewachsenen Bodens zeigen.
Im darauf folgenden Schritt 140 des Verfahrens 100 wird ein maschinenbasierter Lernalgorithmus dazu benutzt, anhand der von der Pflanze aufgenommenen Bilder des Blattrandes die Pflanze zu klassifizieren.
Im nächsten Schritt 150 Verfahrens 100 wird die klassifizierte Pflanze gezielt mit einem der Klassifikation der Pflanze entsprechenden Blattbehandlungsmittel behandelt.

Claims

Ansprüche
1. Verfahren (100) zur Erkennung eines Blattrandes mit folgenden
Schritten:
Erfassen (110) von Events eines Bildes eines mit Pflanzen
bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden, wobei eine Bodenauflösung des Bildes zwischen 0,5 und 1 mm pro Pixel liegt; wobei
vor einem ersten Pixel des Bildes ein Bandpassfilter eines ersten
Frequenzbereichs und vor einem zweiten Pixel des Bildes ein
Bandpassfilter eines zweiten Frequenzbereichs angeordnet ist; und
Bestimmen (120), dass ein Blattrand erkannt wurde,
falls der erste Pixel zu einem ersten Zeitpunkt tl mindestens ein Event einer ersten Polarität und der zweite Pixel zu einem Zeitpunkt t2 mindestens ein Event einer zweiten Polarität erfasst,
wobei die erste und zweite Polarität entgegengesetzt sind, und dass das mindestens eine Event einer ersten Polarität des ersten Pixels und das mindestens ein Event einer zweiten Polarität des zweiten Pixels demselben Ort des mit Pflanzen bewachsenen Bodens entspricht oder
falls die detektierten Events entweder nur bei dem ersten oder nur dem zweiten Pixel erkannt wurden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der mit
Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten Frequenzbereich eine gleich intensive Beleuchtung aufweist.
3. Verfahren nach einem der vorangegangen Ansprüche, dadurch
gekennzeichnet, dass die Events mit einem eventbasierten Bildsensors erfasst werden. Verfahren nach einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass die Bodenauflösung zwischen 0,1 und 1 mm pro Pixel liegt.
Verfahren nach einem der vorangegangen Ansprüche, dadurch gekennzeichnet, dass der erste Frequenzbereich das nahe Infrarot und der zweite Frequenzbereich ein roter Spektralbereich ist.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass vor einem dritten Pixel des Bildsensors ein Bandpassfilter eines dritten Frequenzbereiches angeordnet ist.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass vor dem Bildsensor ein Farbfilterarray aus
Bandpassfiltern im NI R- und R-Spektralbereich angeordnet ist.
Verfahren nach dem vorangegangenen Anspruch, dadurch
gekennzeichnet, dass das Farbfilterarray NDVI-optimiert ist.
Verfahren nach dem vorangegangenen Anspruch, dadurch
gekennzeichnet, dass das der NI R-Bandpassfilter um 850 nm und der R- Bandpassfilter um 660 nm zentriert ist.
Verfahren nach einem der vorangegangenen Ansprüche,
gekennzeichnet durch eine mehrfache Vermessung eines passierenden Objektes.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Wuchshöhe einer Pflanze aus einer kurzen zeitlichen Sequenz von Bildern des mit Pflanzen bewachsenen Bodens ermittelt werden (130).
Verfahren nach einem der vorangegangenen Ansprüche,
gekennzeichnet durch einen maschinenbasierten Lernalgorithmus zum Erkennen einer Klassifikation der Pflanze (140).
13. Verfahren zur gezielten Behandlung von Pflanzen mit einem
Blattbehandlungsmittel mit den folgenden Schritten:
Erkennen eines Blattrandes gemäß einem Verfahren nach einem der Ansprüche 1 bis 12:
Erkennen einer Blattform der Pflanze basierend auf einem erkannten Blattrand der Pflanze;
Bestimmen (140) einer Klassifikation der Pflanze;
Behandlung (150) der Pflanze mit einem der Klassifikation der Pflanze entsprechenden Mittel.
14. Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes bei mithilfe eines eventbasierten Bildsensors
aufgenommenen Bildern.
15. Computerprogramm, welches eingerichtet ist, jeden Schritt eines
Verfahrens nach einem der Ansprüche 1 bis 13 durchzuführen.
16. Maschinenlesbares Speichermedium, auf welchem ein
Computerprogramm nach dem vorhergehenden Anspruch gespeichert ist.
17. Elektronisches Steuergerät, welches eingerichtet ist, um mittels eines Verfahrens nach einem der Ansprüche 1 bis 12 einen Blattrand zu erkennen oder um mittels eines Verfahrens nach Anspruch 13, eine Pflanze gezielt zu behandeln.
PCT/EP2018/073932 2017-09-28 2018-09-06 Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes Ceased WO2019063255A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18765629.3A EP3688660A1 (de) 2017-09-28 2018-09-06 Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes
BR112020002571-2A BR112020002571A2 (pt) 2017-09-28 2018-09-06 processo para reconhecimento de uma borda de folha, processo para tratamento objetivo de plantas com um agente de tratamento de folhas e uso de um sensor de imagem baseado em evento para reconhecimento de uma borda de folha

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017217275.4A DE102017217275A1 (de) 2017-09-28 2017-09-28 Verfahren zur Erkennung eines Blattrandes, Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel und Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes
DE102017217275.4 2017-09-28

Publications (1)

Publication Number Publication Date
WO2019063255A1 true WO2019063255A1 (de) 2019-04-04

Family

ID=63517892

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/073932 Ceased WO2019063255A1 (de) 2017-09-28 2018-09-06 Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes

Country Status (4)

Country Link
EP (1) EP3688660A1 (de)
BR (1) BR112020002571A2 (de)
DE (1) DE102017217275A1 (de)
WO (1) WO2019063255A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256951A (zh) * 2020-09-09 2021-01-22 青岛大学 一种智能居家苗芽种植系统
US12193434B2 (en) 2019-03-12 2025-01-14 Carbon Bee Agricultural treatment control device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020215415A1 (de) 2020-12-07 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Detektieren einer Störpflanzenabbildung in einem Kamerarohbild und Bildverarbeitungseinrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122988A1 (en) * 2011-03-16 2012-09-20 Syddansk Universitet Spray boom for selectively spraying a herbicidal composition onto dicots
US20150015697A1 (en) * 2013-03-07 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
US20150379702A1 (en) * 2014-06-30 2015-12-31 Trimble Navigation Limited Active Imaging Systems for Plant Growth Monitoring

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075008B2 (en) * 2003-11-07 2015-07-07 Kyle H. Holland Plant treatment based on a water invariant chlorophyll index

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122988A1 (en) * 2011-03-16 2012-09-20 Syddansk Universitet Spray boom for selectively spraying a herbicidal composition onto dicots
US20150015697A1 (en) * 2013-03-07 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
US20150379702A1 (en) * 2014-06-30 2015-12-31 Trimble Navigation Limited Active Imaging Systems for Plant Growth Monitoring

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANME KIM; STEFAN LEUTENEGGER; ANDREW J. DAVISON: "Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera", EUROPEAN CONFERENCE ON COMPUTER VISION, 2016, pages 349 - 364, XP047355269, DOI: doi:10.1007/978-3-319-46466-4_21
MIDOPT: "DB660/850 Dual Bandpass Red + 850nm NIR", 23 June 2017 (2017-06-23), pages 1 - 3, XP055522253, Retrieved from the Internet <URL:https://web.archive.org/web/20170623070705/http://midopt.com/filters/db660850/> [retrieved on 20181108] *
TOBI DELBRUCK: "Dynamic Vision Sensor (DVS) -asynchronous temporal contrast silicon retina", 14 April 2014 (2014-04-14), XP055522343, Retrieved from the Internet <URL:http://siliconretina.ini.uzh.ch/wiki/index.php Go FEB APR APR 14 2016 2017 2018 34> [retrieved on 20181108] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12193434B2 (en) 2019-03-12 2025-01-14 Carbon Bee Agricultural treatment control device
CN112256951A (zh) * 2020-09-09 2021-01-22 青岛大学 一种智能居家苗芽种植系统

Also Published As

Publication number Publication date
DE102017217275A1 (de) 2019-03-28
BR112020002571A2 (pt) 2020-08-04
EP3688660A1 (de) 2020-08-05

Similar Documents

Publication Publication Date Title
EP1267178B1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
WO2018185083A2 (de) Lichtlaufzeitkamera
DE102016118227A1 (de) Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE102013019138A1 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
DE112010003752T5 (de) Dynamische echtzeitreferenzbilderzeugung für ein entfernungsbildgebungssystem
WO2018197389A1 (de) Materialprüfung mit winkelvariabler beleuchtung
DE102009055269A1 (de) Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
WO2019063255A1 (de) Verfahren zur erkennung eines blattrandes, verfahren zur gezielten behandlung von pflanzen mit einem blattbehandlungsmittel und verwendung eines eventbasierten bildsensors zur erkennung eines blattrandes
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
AT508711B1 (de) Verfahren und vorrichtung zur suche und erkennung von in landwirtschaftlichen feldern und wiesen versteckten tieren
DE102019218177A1 (de) Verfahren zum Schätzen eines Verlaufs von Pflanzenreihen
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
DE102014224557A1 (de) Bildverarbeitung mittels Kreuzkorrelation
DE102011083745B4 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
WO2019185184A1 (de) Vorrichtung und verfahren zur optischen positionserkennung transportierter objekte
WO2016116291A1 (de) Verfahren und vorrichtung zur ermittlung der wirkung von wirkstoffen an nematoden und anderen organismen in wässrigen tests
DE102008006373B4 (de) Geschwindigkeitsbestimmung unter Verwendung zweier Lichtsensorarrays
DE102011086091A1 (de) Vorrichtung und Verfahren zum mechanischen Ausdünnen von Blüten
DE102020113183A1 (de) Kamera und Verfahren zur Erfassung von bewegten Objekten
DE102016210056A1 (de) Kameraanordnung zur Bestimmung des optischen Flusses, Fahrassistenzsystem und Überwachungskamera mit der Kameraanordnung
EP4118620A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18765629

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112020002571

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018765629

Country of ref document: EP

Effective date: 20200428

ENP Entry into the national phase

Ref document number: 112020002571

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20200206