[go: up one dir, main page]

WO2024260949A1 - Erkennen von funktionsbeeinträchtigungen bei einer vorrichtung - Google Patents

Erkennen von funktionsbeeinträchtigungen bei einer vorrichtung Download PDF

Info

Publication number
WO2024260949A1
WO2024260949A1 PCT/EP2024/066886 EP2024066886W WO2024260949A1 WO 2024260949 A1 WO2024260949 A1 WO 2024260949A1 EP 2024066886 W EP2024066886 W EP 2024066886W WO 2024260949 A1 WO2024260949 A1 WO 2024260949A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
machine learning
plants
learning model
functional impairment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/EP2024/066886
Other languages
English (en)
French (fr)
Inventor
Walter Mayer
Matthias Tempel
Sven Meyer Zu Eissen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer AG
Original Assignee
Bayer AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer AG filed Critical Bayer AG
Publication of WO2024260949A1 publication Critical patent/WO2024260949A1/de
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems

Definitions

  • the devices, methods and computer programs disclosed herein relate to the automated detection of functional impairments in a device with an image capture and an image recognition unit of plants using machine learning methods.
  • the device is in particular a spray device.
  • WO2019/166497A1 discloses a spray treatment apparatus in which at least one image of a field is provided to a processing unit.
  • the processing unit is also provided with historical details regarding the spray application of a weed control liquid and/or a pest control liquid.
  • the processing unit analyzes the at least one image to determine at least one location within the field for the activation of at least one spray gun for weed control and/or for the activation of at least one spray gun for pest control.
  • W02019007894A1 discloses a device for weed control. At least one image of an environment is provided to the processing unit of the device. The processing unit analyzes the at least one image to determine at least one vegetation control technology from a plurality of vegetation control technologies to be used for weed control for at least a first portion of the environment. An output unit outputs information usable for activating the at least one vegetation control technology.
  • a device with an image capture and image recognition unit for plants may become impaired over time.
  • the optical system of the camera becomes dirty while the device is in operation.
  • Another possible impairment of functionality is, for example, that parts of plants become caught in the device or - if the device is a spray device - that the spray nozzles become clogged.
  • Other possible impairments of functionality are listed further down in the description.
  • a functional impairment means that the function intended to be performed by the device can no longer be performed or can no longer be performed sufficiently.
  • a first subject matter of the present disclosure is a computer-implemented method for a device having an image capture and an image recognition unit of plants comprising:
  • the received image recording shows at least a portion of a field (and optionally shows at least a portion of the device) and was recorded by the image acquisition unit of the device,
  • the machine learning model is configured and has been trained on the basis of training data to distinguish image recordings of at least a part of a field (and optionally at least a part of the device) with a functional impairment of the device with an image capture and an image recognition unit of plants from image recordings of a part of a field (and optionally at least a part of the device) without a functional impairment of the device with an image capture and an image recognition unit of plants,
  • the information indicating whether the image recording of at least part of a field (and optionally at least part of the device) indicates a functional impairment of the device with an image capture and image recognition unit of plants in the event that the received image recording of at least part of a field (and optionally at least part of the device) indicates a functional impairment of the device with an image capture and image recognition unit of plants: issuing a notification that the received image recording indicates a
  • a further subject matter of the present disclosure is a computer system comprising: an input unit, a control and computing unit and an output unit, wherein the control and computing unit is configured to cause the input unit to receive an image recording, wherein the received image recording shows at least part of a field and optionally also at least part of a device with an image capture and image recognition unit for plants and was recorded by a device with an image capture and image recognition unit for plants, to feed the received image recording to a machine learning model, wherein the machine learning model is configured and was trained on the basis of training data, image recordings of at least part of a field and optionally at least part of a device with an image capture and image recognition unit for plants with a functional impairment of the device with an image capture and image recognition unit for plants of image recordings of at least part of a field and optionally at least part of a device with an image capture and image recognition unit for plants without impairing the functionality of the device with an image capture and image recognition unit for plants, to receive information from the machine learning model, the information indicating whether the received image recording represents
  • Another subject of the present disclosure is a non-transitory computer-readable storage medium having stored thereon software instructions that, when executed by a processor of a computer system, cause the computer system to perform the following steps:
  • the received image recording shows at least a part of a field (and optionally at least a part of the device) and was recorded by the image acquisition unit of the device
  • the machine learning model is configured and has been trained on the basis of training data to distinguish image recordings of at least a part of a field (and optionally at least a part of the device) with a functional impairment of the device with an image capture and an image recognition unit of plants from image recordings of a part of a field (and optionally at least a part of the device) without a functional impairment of the device with an image capture and an image recognition unit of plants,
  • the information indicating whether the image recording of at least part of a field (and optionally at least part of the device) indicates a functional impairment of the device with an image capture and image recognition unit of plants in the event that the received image recording of at least part of a field (and optionally at least part of the device) indicates a functional impairment of the device with an image capture and image recognition unit of plants: issuing a notification that the received image recording indicates a
  • Another subject of the present disclosure is a spraying device with an image capture and image recognition unit for plants comprising:
  • control unit is configured to cause the at least one image acquisition unit to generate one or more image recordings of at least a portion of a field and optionally of at least a portion of the spray device
  • analysis unit is configured to distinguish the one or more generated image recordings of at least a portion of the field and optionally of at least a portion of the spray device with a functional impairment of the spray device from image recordings of at least a portion of a field and optionally of at least a portion of the spray device without a functional impairment of the spray device
  • the analysis unit is configured to receive information from the machine learning model, wherein the information indicates whether the one or more image recordings represent the spray device with a functional impairment
  • the output unit is configured to output the information.
  • Fig. 1 shows schematically and as an example the training of a machine learning model.
  • Fig. 2 schematically shows the use of a trained machine learning model to detect a functional impairment in a device with an image acquisition and an image recognition unit of plants.
  • Fig. 3 schematically shows another example of training a machine learning model.
  • Fig. 4 schematically shows another example of using a trained machine learning model to detect a functional impairment in a device with an image acquisition and an image recognition unit of plants.
  • Fig. 5 shows an example and schematically a computer-implemented method for training a machine learning model in the form of a flow chart.
  • Fig. 6 shows, by way of example and schematically, a computer-implemented method for detecting a functional impairment in a device with an image acquisition and an image recognition unit of plants in the form of a flow chart.
  • Fig. 7 shows an exemplary and schematic illustration of an embodiment of a computer system of the present disclosure.
  • Fig. 8 shows an exemplary and schematic illustration of another embodiment of a computer system of the present disclosure.
  • the present disclosure describes means by which a functional impairment in a device with an image capture and an image recognition unit of plants is detected early and automatically.
  • a device with an image capture and an image recognition unit for plants is understood to mean a device in which plants in a field are captured, for example, with a camera and are detected and/or identified by an image recognition algorithm.
  • the device is preferably a spray device and is designed, for example, to spray an accompanying plant with an agent for controlling the accompanying plant. The decision to do so is based at least partially on the result of the image analysis of the plants in the field. It is also possible for the image recognition algorithm to detect and/or identify pests or fungal infestation on the crop and for the affected crop to be sprayed with an appropriate plant protection agent based on the results of the image analysis.
  • Another embodiment is the precise supply of nutrients with the spray device based on the results of the image recognition of the plants (e.g. in the case of low growth of certain identified crops compared to other crops in the same field, or identification of a "visible" nutrient deficiency in crops) in the field.
  • field refers to a spatially definable area of the earth's surface that is used for agricultural purposes, in which crops are planted, possibly supplied with nutrients and harvested. At the time of application, a crop community does not necessarily have to be established.
  • cultiva plant refers to a plant that is purposefully cultivated as a useful or ornamental plant through human intervention.
  • weeds refers to plants of the spontaneous accompanying vegetation (segetal flora) in crop stands, grassland or gardens, which are not deliberately cultivated there and develop, for example, from the seed potential of the soil or via airborne migration.
  • the device with an image capture and an image recognition unit of plants comprises, for example, a control unit, an analysis unit, an output unit and at least one image capture unit.
  • the image capture unit preferably comprises at least one camera.
  • the device further comprises at least one storage container for holding a liquid agent, at least one spray nozzle and means for conveying the liquid agent in the direction of the at least one spray nozzle.
  • the spray device can be connected, for example, to an agricultural machine (e.g. as part of a mobile trailer) but can also be a direct part of a vehicle, e.g. a robot or an aircraft (e.g. a drone). Such a spray device can move autonomously in or over a field or be controlled by a person.
  • the control unit is configured to cause the at least one image capture unit to generate one or more image recordings of at least a part of a field and optionally of the device.
  • the analysis unit is configured to detect and/or identify plants in the field based on the image recordings received from the camera (i.e. execute the image recognition algorithm).
  • the output unit is configured to output the information about the detected and/or identified plants in the field. If the device is a spray device, the output unit is configured to activate the at least one spray nozzle based on the detected and/or identified plants. The spray nozzle sprays the detected and/or identified plant with the liquid agent.
  • the liquid agent may be water or an aqueous solution or suspension.
  • the aqueous solution or suspension may contain one or more nutrients and/or one or more plant protection agents and/or one or more seed treatment agents.
  • nutrients refers to those inorganic and organic compounds from which plants can extract the elements that make up their bodies. These elements themselves are often also referred to as nutrients. These are usually simple inorganic compounds such as nitrate (NO 3- ), phosphate (PO ) and potassium (K + ). In addition to the core elements of organic matter (C, O, H, N and P), K, S, Ca, Mg, Mo, Cu, Zn, Fe, B, Mn, CI in higher plants, Co and Ni are also essential for life. Different compounds can be present for the individual nutrients; for example, nitrogen can be supplied as nitrate, ammonium or amino acid.
  • plant protection product refers to a product that is used to protect plants or plant products from harmful organisms or to prevent their effects, to destroy undesirable plants or parts of plants, to inhibit undesirable plant growth or to prevent such growth, and/or to influence the life processes of plants in a way other than nutrients (e.g. growth regulators).
  • plant protection products are herbicides, fungicides and other pesticides (e.g. insecticides).
  • Growth regulators are used, for example, to increase the stability of cereals by shortening the stalk length (internode shorteners), to improve the rooting of cuttings, to reduce plant height by compressing them in horticulture or to prevent the germination of potatoes.
  • Growth regulators can be, for example, phytohormones or their synthetic analogues.
  • the device with an image capture and an image recognition unit of plants at least one camera is arranged and aligned such that it can generate images of at least part of the field and optionally of at least part of the device.
  • the device with an image capture and an image recognition unit of plants is a spray device and the at least one camera is ideally arranged above at least one spray nozzle and directed at the spray nozzle and the field soil below it so that an image can be generated that shows at least part of the spray device (preferably part of the spray nozzle) and at least part of a field.
  • the at least one camera is pivotable and can capture either part of the field or part of the spray device. It is also conceivable that two or more cameras are used to collect the image data for the two areas mentioned.
  • a camera is a device that can create images in digital form and store them and/or make them available via an interface.
  • a camera usually comprises an image sensor and optical elements.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide-semiconductor
  • the optical elements serve to produce the sharpest possible image of the object from which a digital image is to be recorded on the image sensor.
  • the camera is used to generate digital images of at least part of the field and optionally also of at least part of the device.
  • the generated images can be used (i) to detect whether one or more plants are present in the field (plant detection), (ii) to identify plants, i.e. to determine which plant (subclass, superorder, order, suborder, family, genus, species, growth stage, etc.) it is.
  • the exact location of the plant can also be determined, for example, using RTK-GPS (as another sensor of the device) and knowing the distance of the camera to the recording area.
  • a light source is used to illuminate the image recording area so that light (electromagnetic radiation in the infrared, visible and/or ultraviolet range of the spectrum) is scattered/reflected from the illuminated image recording area towards the camera.
  • Daylight can be used for this.
  • a lighting unit that provides defined lighting that is independent of daylight. This is preferably mounted to the side of the camera so that the camera does not cast a shadow on the image recording area.
  • the image capture unit preferably comprises at least one lighting unit.
  • image capture area means the area to which the camera is aimed and with which at least part of the field and optionally at least part of the device can be captured.
  • light and “illumination” should not mean that the spectral range is limited to visible light (approximately 380 nm to approximately 780 nm). It is also conceivable that electromagnetic radiation with a wavelength below 380 nm (ultraviolet light: 100 nm to 380 nm) or above 780 nm (infrared light: 780 nm to 1000 pm) is used for illumination.
  • the image sensor and the optical elements are usually adapted to the electromagnetic radiation used.
  • the device comprises a control unit.
  • the control unit can be a component of the image capture unit, e.g. the camera, or can be a separate device that can communicate with the image capture unit via a wired or wireless connection (e.g. Bluetooth).
  • the control unit is configured to cause the image capture unit to capture one or more image recordings of and at least part of the field and optionally at least part of the device.
  • the control unit can be a computer system as described further down in the description.
  • the one or more image recordings can be individual image recordings or sequences of image recordings (e.g. video recordings).
  • the device can comprise one or more sensors (other than the camera).
  • a "sensor” is a technical component that can detect certain physical and/or chemical properties and/or the material properties of its environment qualitatively or quantitatively as a measured variable. These variables are detected by means of physical or chemical effects and converted into a further processable, usually electrical or optical signal.
  • a sensor unit with at least one sensor can have further means for transmitting and/or forwarding of signals and/or information (e.g. to the control unit).
  • the at least one sensor can, for example, comprise a receiver of a satellite navigation system, colloquially also referred to as a GPS receiver.
  • GPS Global Positioning System
  • NAVSTAR GPS NAVSTAR GPS
  • GLONASS Galileo and Beidou
  • the satellites of such a satellite navigation system communicate their exact position and time via radio codes.
  • a receiver To determine the position, a receiver (the "GPS receiver") must receive the signals from at least four satellites simultaneously. The pseudo-signal propagation times are measured in the receiver and the current position is determined from this. Exact position determination is possible using a real-time kinematics method (RTK GPS).
  • RTK GPS real-time kinematics method
  • the device can comprise a transmitting unit. Images and/or information can be transmitted to a separate computer system via the transmitting unit. The transmission preferably takes place via a radio network, for example via a mobile network.
  • the transmitting unit can be a component of the control unit or a unit independent of the control unit.
  • the device may include a receiving unit to receive commands from a separate computer system.
  • the transmitting unit and/or the receiving unit can be components of a computer system as described later in the description.
  • the images generated by the camera are typically analyzed automatically to detect and/or identify plants in the field.
  • This analysis can be performed by an analysis unit that can be part of the device; however, this analysis can also be performed by an analysis unit that can be part of a separate computer system to which the images are transmitted by means of the transmission unit of the device.
  • the analysis unit can be part of a computer system as described later in the description.
  • the analysis unit can comprise a trained machine learning model that is configured and trained to detect and/or identify plants depicted in images. Details on the automated detection and/or identification of plants (and, for example, the differentiation of cultivated and companion plants) in image recordings are described in publications on this topic (see, for example: K.K.
  • the analysis unit can also comprise a trained machine learning model that is configured and trained to detect and/or identify diseases and pests of plants depicted in image recordings. Details on this are described in publications on this topic (see, for example: Ju Liu et al., Plant Disease and Pests Detection based on Deep Learning: a Review, Plant Methods, 17, 22, 2021)
  • the images generated by the image acquisition unit can also be used to detect a functional impairment of the device.
  • a functional impairment describes a condition of the device that affects one or more components of the device or the device as a whole in such a way that one or more functions are no longer performed or are no longer performed sufficiently or optimally. For example, a function can no longer be performed sufficiently or optimally if the impairment slows down or makes it more difficult or the result is inferior or the result is faulty.
  • a functional impairment can be an impairment that currently affects the function or will affect the function in the near future if no measures are taken to maintain the functions. Examples of functional impairments are listed below:
  • spider webs in the device mean that the image capture unit no longer has a clear view of the image capture area.
  • spiders that are, for example, in front of a camera lens can also pose a problem.
  • constructs of insects (e.g. pupae of larvae) and/or plant parts (e.g. pollen, flowers, branches, leaves, roots) in the device can completely or partially cover the image capture area from the perspective of the image capture unit.
  • Image capture unit and/or its optical elements are dirty: Deposits on a camera lens can lead to impairment. It is possible that as a result of a deposit, the camera's field of view is restricted and the entire image recording area is no longer recorded. It is conceivable that deposits lead to blurred or partially blurred images. It is possible that water (e.g. rainwater) and/or another liquid gets on a lens and restricts the field of view and/or leads to blurred images.
  • water e.g. rainwater
  • Image capture unit and in particular the camera is defective It is possible that the camera is defective and the images produced are not suitable for automated detection and/or identification of plants in a field. It is possible, for example, that the images produced are noisy and/or have a color cast and/or have a low contrast range and/or are completely black or white.
  • Image capture unit does not produce images of at least part of a field: It is possible that the image capture unit produces images during maintenance of the device, e.g. in a workshop. Such images may be unsuitable for automated detection and/or identification of plants. Such images can also be identified and, for example, sorted out using the means described in this description. Sorting out can mean that a sorted out image is not automatically analyzed to detect and/or identify plants in a field.
  • Illumination source(s) defective and/or dirty If the device is equipped with one or more illumination sources (as part of the image capture unit), it may be that one or more of these illumination sources emits no or less electromagnetic radiation and/or that, as a result of contamination of one or more illumination sources, not enough electromagnetic radiation reaches the image recording area and illuminates it. The lack of or reduced illumination can lead to a loss of contrast and/or increased noise in the images, which in turn can make the automated detection and/or identification of plants more difficult.
  • Unwanted reflections It is possible that reflections can be observed in the images at certain times, which can be caused, for example, by sunlight entering the image recording area at a defined angle. It is possible that sunlight enters the image recording area at certain times of the day and/or year and causes unwanted reflections.
  • Changes in position and/or location of components of the spraying device It is conceivable that over time and due to frequent use of the spraying device, for example, there may be a change in the position and/or location and/or orientation of components of the spraying device (e.g. the spray nozzles, orientation of the camera and/or optical elements of the camera or the lighting source relative to the field floor, etc.). Such changes may be the result of wear or material fatigue, for example, and may cause the the originally intended image recording area is no longer or no longer completely displayed and/or is completely or partially blurred.
  • Image capture unit does not produce images of at least part of the spray device: It is possible that the camera produces images during maintenance of the spray device: e.g. when the spray nozzles are dismantled in a workshop. Such images can be discarded as described above.
  • Plant parts have become trapped in the spray device: it is possible that plant parts become trapped on or in the device while the spray device is being used in the field. For example, plant parts can become wrapped around a spray nozzle and thereby impair the spray function of the nozzle. It is also conceivable that plant parts can become trapped between the image capture unit and the spray nozzle while the spray device is being used, which can lead to a functional impairment.
  • the spray cone of the spray nozzles of the spray device does not correspond to the specifications or the spray nozzles are defective:
  • the image capture unit can, among other things, create a picture of at least part of a spray device.
  • the image capture unit preferably records image data from the nozzle and/or the spray cone that the nozzle creates. Based on the image information from the nozzle and/or the change in the shape of the spray cone, it can be determined, for example, whether the nozzle is clogged.
  • the functional impairments and/or their effects are captured in images generated by the image acquisition unit in the device.
  • the images are used to train a machine learning model to automatically detect such functional impairments.
  • the term "automatically” means without human intervention.
  • Such a “machine learning model” can be understood as a computer-implemented data processing architecture.
  • the model can receive input data and provide output data based on that input data and model parameters.
  • the model can learn a relationship between the input data and the output data through training.
  • model parameters can be adjusted to provide a desired output for a given input.
  • the model When training such a model, the model is presented with training data from which it can learn.
  • the trained machine learning model is the result of the training process.
  • the training data includes the correct output data (target data) that the model should generate based on the input data.
  • patterns are recognized that map the input data to the target data.
  • the input data of the training data is fed into the model and the model generates output data.
  • the output data is compared with the target data.
  • Model parameters are changed so that the deviations between the output data and the target data are reduced to a (defined) minimum.
  • An optimization method such as a gradient method can be used to modify the model parameters with a view to reducing the deviations.
  • the deviations can be quantified using a loss function.
  • a loss function can be used to calculate an error (loss) for a given pair of output data and target data.
  • the goal of the training process can be to change (adjust) the parameters of the machine learning model so that the error is reduced to a (defined) minimum for all pairs of the training data set. For example, if the output data and the target data are numbers, the error function can be the absolute difference between those numbers. In this case, a high absolute error may mean that one or more model parameters need to be changed significantly.
  • difference metrics between vectors such as the mean square error, a cosine distance, a norm of the difference vector such as a Euclidean distance, a Chebyshev distance, an Lp norm of a difference vector, a weighted norm, or another type of difference metric of two vectors can be chosen as the error function.
  • an element-wise difference metric can be used.
  • the output data can be transformed, e.g. into a one-dimensional vector, before calculating an error value.
  • the machine learning model receives one or more image recordings as input data.
  • the model can be trained to output information for the one or more image recordings as to whether the one or more image recordings are one or more image recordings of a device with a malfunction or one or more image recordings of a device without a malfunction.
  • the machine learning model can be trained to distinguish image recordings of a device with a malfunction/malfunctions from image recordings of a device without a malfunction/malfunctions.
  • the machine learning model may be trained to assign the one or more image captures to one of at least two classes, wherein at least a first class represents image captures of devices that do not have functional impairments and at least a second class represents image captures of devices that have a functional impairment.
  • the machine learning model is trained on the basis of training data.
  • the training data comprises a plurality of images of one or more devices (images showing at least part of a field and optionally at least part of a device).
  • the term "plurality" means more than 10, preferably more than 100.
  • the images act as input data. Some of the images may show the one or more devices without functional impairments, i.e. in a state in which they function properly. Another part of the images may show the one or more devices with a functional impairment.
  • the training data may also comprise target data.
  • the target data may indicate for each image whether the device depicted in the image has a functional impairment or whether it has no functional impairment.
  • the target data may also comprise information about which functional impairment is present in the individual case and/or how serious it is and/or what degree of severity it has.
  • the machine learning model can be trained to assign each image to exactly one of two classes, where exactly one class represents images of devices that do not have any functional impairments and the other class represents images of devices that have one or more functional impairments.
  • the machine learning model can be trained to perform a binary classification.
  • the machine learning model can Learning can be trained to recognize devices with one (or more) functional impairments, regardless of which functional impairment(s) are involved.
  • the machine learning model can be trained to generate similar compressed representations for images that do not show a device with a functional impairment. If an image of a device with a functional impairment is fed to the trained machine learning model, the trained machine learning model generates a compressed representation of the image of the device with the functional impairment that can be distinguished from the compressed representations of the images of devices without a functional impairment.
  • Such training where the machine learning model is only trained to recognize whether there is a functional impairment or no functional impairment, may be useful when a user is only interested in knowing whether the device is working properly or whether intervention is required to eliminate a functional impairment (whatever it is).
  • the machine learning model may also be trained to recognize a specific functional impairment.
  • the specific functional impairment may be one of the functional impairments described earlier in this description. It is possible that a user is only interested in knowing whether the specific functional impairment is present.
  • the machine learning model may be trained to assign each image capture to one of two classes, where one class represents image captures of devices that have the specific functional impairment and the other class represents image captures of devices that do not have the specific functional impairment, that is, where either there is no functional impairment at all or there is a functional impairment other than the specific functional impairment.
  • the training data for each image capture includes information about whether or not the specific functional impairment is present in the device.
  • the machine learning model can also be trained to assign each image to one of more than two classes, where the classes represent, for example, the severity of the specific functional impairment.
  • the classes represent, for example, the severity of the specific functional impairment.
  • a first class can represent images of devices in which the specific functional impairment does not occur (e.g. no contamination);
  • a second class can represent images of devices in which the specific functional impairment occurs slightly (e.g. slight contamination);
  • a third class can represent images of devices in which the specific functional impairment occurs clearly (e.g. significant contamination).
  • a slight functional impairment can mean that the device is still sufficiently functional, but that maintenance is necessary in the future to avoid further functional impairment.
  • a significant or severe functional impairment can mean that immediate maintenance is required. More than the three levels mentioned above are also conceivable, e.g. four (e.g.
  • the training data for each image recording includes information on whether the functional impairment of the device is present and, if so, how severe it is and/or with what severity it occurs.
  • the machine learning model can also be trained to recognize more than one specific functional impairment, i.e. to distinguish different functional impairments from each other.
  • the machine learning model can be trained to learn a number n of specific functional impairments, where n is an integer greater than 1.
  • the machine learning model can be trained to assign each image capture to one of at least n+1 classes, wherein a first class represents image recordings of devices that do not have a functional impairment, and each of the at least n remaining classes represents image recordings of devices that show one of the n specific functional impairments. It is also possible for the machine learning model to be additionally trained to recognize two or more degrees of severity of one or more of the n specific functional impairments.
  • the machine learning model can be trained to recognize, for one or more of the n specific functional impairments, how serious it is and/or with what degree of severity it occurs.
  • the training data for each image recording includes information about whether a functional impairment is present, if a functional impairment is present, which specific functional impairment is present, and for one or more of the specific functional impairments, how serious it is and/or with what severity it occurs.
  • Existing devices with an image capture and an image recognition unit of plants can be used to generate the training data described in this description. Such devices can be operated for a period of time to generate image data and the generated images can be analyzed by one or more experts.
  • the one or more experts can provide each image with one of the information required for training (annotations), which are then used as target data.
  • the one or more experts can view the images and provide each image with information as to whether the respective image shows a device without functional impairment or with a functional impairment. If necessary for training the machine learning model, each image representing a device with a functional impairment can be provided with information as to how severe the functional impairment is and/or with what severity it occurs. If necessary for training the machine learning model, each image representing a device with a functional impairment can be provided with information about which specific functional impairment is present.
  • the machine learning model can be configured to assign each image recording to one of at least two classes.
  • the class assignment can be output by the machine learning model, for example, in the form of a number.
  • the number 0 can represent image recordings of devices that show no functional impairment
  • the number 1 can represent image recordings of devices that have a first specific functional impairment
  • the number 2 can represent image recordings of devices that have a second specific functional impairment, etc.
  • the machine learning model can be configured to output a vector for each image recording, wherein the vector includes a number for each functional impairment at a coordinate of the vector, which number indicates whether the respective functional impairment is represented in the image recording (i.e. is present in the device) or is not represented (i.e. is not present in the device).
  • the vector includes a number for each functional impairment at a coordinate of the vector, which number indicates whether the respective functional impairment is represented in the image recording (i.e. is present in the device) or is not represented (i.e. is not present in the device).
  • the number 0 can indicate that a specific functional impairment is not present
  • the number 1 can indicate that the specific functional impairment is present.
  • the location in the vector (coordinate) at which the respective number occurs can provide information about which specific functional impairment is involved in each case.
  • the machine learning model is configured to indicate a probability for one or more (specific) functional impairments with which the (specific) functional impairment occurs in the respective device.
  • the probability can For example, it can be specified as a value in the range 0 to 1, where the larger the value, the greater the probability.
  • the machine learning model is configured to output a severity level for one or more (specific) functional impairments with which the (specific) functional impairment occurs in the respective device.
  • the output (output data) produced by the machine learning model based on an input image acquisition can be compared with the target data.
  • deviations between the output data and the target data can be quantified.
  • the deviations can be reduced by modifying model parameters. If the deviations reach a (predefined) minimum or reach a plateau, training can be terminated.
  • the trained machine learning model can be used to detect one or more functional impairments and optionally their severity in the device.
  • a new image from an image acquisition area can be fed to the machine learning model.
  • the term “new” means that the corresponding image has not already been used to train the machine learning model.
  • the trained machine learning model assigns the new image to one of the at least two classes that were used to train the machine learning model.
  • the trained machine learning model outputs information about which class the machine learning model has assigned the image to. It is possible that the trained machine learning model outputs information about the probability that one or more functional impairments are present and/or how serious they are and/or with what degree of severity they occur.
  • the output of the machine learning model may be displayed on a screen, printed on a printer, stored in a repository, and/or transmitted to a separate computer system (e.g., over a network).
  • the output of the machine learning model can be used to automatically sort out image recordings that represented devices with a functional impairment (or with multiple functional impairments).
  • an image recording of a device is analyzed in a first step according to the present disclosure for the presence of a functional impairment (or multiple functional impairments) before it is analyzed in a subsequent second step to detect and/or identify plants in the field. It is possible that only those image recordings for which the analysis in the first step has shown that they do not have a functional impairment are fed to the second step for detecting and/or identifying plants in the field.
  • a notification may be issued to a user.
  • a notification may inform the user that a functional impairment is present in a device is present.
  • the message can inform the user that an image recording will not be analyzed to detect and/or identify plants in the field because the device has a functional impairment.
  • a message to a user can include the following information: which device is affected (if several devices are in use, a location of the affected device can be specified, for example); location of the image acquisition unit (with which the received image recording of a device with a functional impairment was taken); what functional impairment is present; how severe is the functional impairment; what measures can be taken to restore the full functionality of the device; when should the measures be taken to avoid further functional impairment. It is also possible that the image recording in which the trained machine learning model detected a functional impairment is also displayed to the user so that the user can get an idea of the functional impairment for themselves.
  • the output of the trained machine learning model is a probability value for the presence of a functional impairment
  • this probability value can be compared to a predefined threshold. If the probability value is greater than or equal to the threshold, a notification about the presence of a functional impairment of the device can be issued to a user. If the probability value is less than the threshold, the image recording can be submitted to an analysis to detect and/or identify plants in the field.
  • the probability value there is more than one threshold against which the probability value is compared. For example, it is possible that there is an upper threshold and a lower threshold. If the probability value is below the lower threshold, the probability of a functional impairment is so low that the user does not need to be informed.
  • the image can be submitted to an analysis to detect and/or identify plants in the field. If the probability value is above the upper threshold, the probability of a functional impairment is so high that a message is issued to the user about the presence of a functional impairment. It is possible that the image is not submitted to an analysis to detect and/or identify plants in the field. If the probability value is in the range from the lower threshold to the upper threshold, there is some uncertainty as to whether a functional impairment is present or not.
  • the image recording is of comparatively low quality. It is possible that a command is transmitted to the control unit of the device to generate another image recording in order to also feed this additional image recording to the trained machine learning model for detecting a functional impairment. It is possible that parameters are changed when generating the additional image recording in order to increase the quality of the image recording. For example, the exposure time can be increased and/or the illumination of the image recording area can be increased by one or more lighting units and/or filters (color filters, polarization filters and/or the like) can be used. The additional image recording can then provide clarity as to whether or not a functional impairment is present.
  • the uncertainty about the presence of a functional impairment results from the fact that a functional impairment is only just becoming apparent, i.e. that there is only a comparatively minor functional impairment (e.g. slight contamination). It is possible, for example, for the control unit of the device to be prompted by a command to reduce the time interval between two consecutive image recordings. Images are then recorded at a shorter time interval from one another in order to detect further functional impairment and/or an increase in the severity of the functional impairment at an early stage. Threshold values can be set by an expert based on his or her experience. However, they can also be set by a user. It is possible for the user to decide for themselves whether they would like to be informed when there is a low probability of a functional impairment, or whether they would rather be informed when the probability of a functional impairment is comparatively high.
  • the machine learning model of the present disclosure may be or comprise an artificial neural network.
  • An "artificial neural network” comprises at least three layers of processing elements: a first layer with input neurons (nodes), a k-th layer with at least one output neuron (node), and k-2 inner layers, where k is a natural number and greater than 2.
  • the input neurons are used to receive the input representations. Typically, there is one input neuron for each pixel of an image that is input to the artificial neural network. There may be additional input neurons for additional input values (e.g. information about the image capture, the device, parameters of the camera, weather conditions when the image capture was generated and/or the like).
  • the output neurons can be used to output information about which class the input image was assigned to and/or the probability with which it was assigned to the class.
  • the processing elements of the layers between the input neurons and the output neurons are connected in a predetermined pattern with predetermined connection weights.
  • the neural network can be trained using a backpropagation method, for example.
  • the aim is to map the input data to the target data as reliably as possible.
  • the quality of the prediction is described by an error function.
  • the aim is to minimize the error function.
  • the backpropagation method involves training an artificial neural network by changing the connection weights.
  • connection weights between the processing elements contain information regarding the relationship between image recordings and functional impairments of the devices, which can be used to detect a functional impairment of a device at an early stage based on a new image recording.
  • new means that the new image recording was not already used when training the artificial neural network.
  • a cross-validation method can be used to split the data into training and validation sets.
  • the training set is used in backpropagation training of the network weights.
  • the validation set is used to check the prediction accuracy of the trained network when applied to unknown (new) data.
  • the artificial neural network can be a so-called convolutional neural network (CNN for short) or it can include one.
  • CNN convolutional neural network
  • a convolutional neural network (“CNN”) is able to process input data in the form of a matrix. This makes it possible to use image recordings represented as a matrix (e.g. width x height x color channels) as input data.
  • a neural network e.g. in the form of a multi-layer perceptron (MLP), on the other hand, requires a vector as input, i.e. in order to use an image recording as input, the image elements (pixels) of the image recording would have to be rolled out one after the other in a long chain.
  • MLP multi-layer perceptron
  • multi-layer perceptrons are not able to recognize objects in a image regardless of the position of the object in the image. The same object at a different position in the image would have a different input vector.
  • a CNN usually consists essentially of filters (convolutional layer) and aggregation layers (pooling layer), which repeat alternately, and at the end of one or more layers of fully connected neurons (dense / fully connected layer).
  • the machine learning model of the present disclosure may have such or a similar architecture.
  • the machine learning model of the present disclosure may be or include a transformer.
  • a transformer is a model that can translate one sequence of characters into another sequence of characters, taking into account dependencies between distant characters. Such a model can be used, for example, to translate text from one language to another.
  • a transformer includes encoders connected in series and decoders connected in series. Transformers have been successfully used to classify images (see, for example: A. Dosovitskiy et al.: An image is worth 16 x 16 Words: Transformers for image recognition at scale, arXiv:2010.11929v2; A. Khan et al.'. Transformers in Vision: A Survey, arXiv:2101.01169v5).
  • the machine learning model of the present disclosure may have a hybrid architecture in which, for example, elements of a CNN are combined with elements of a transformer.
  • the machine learning model of the present disclosure can be initialized using standard methods (random initialization, He initialization, Xavier initialization, etc.). However, it can also be pre-trained on the basis of publicly available, already annotated images (see e.g. https://www.image-net.org). The training of the machine learning model can therefore be based on initialization or pre-training and can also include transfer learning, so that only parts of the weights/parameters of the machine learning model are retrained.
  • the machine learning model may have an autoencoder architecture.
  • An “autoencoder” is an artificial neural network that can be used to learn efficient data encodings in an unsupervised learning process. In general, the task of an autoencoder is to learn a compressed representation for a dataset and thus extract essential features. This allows it to be used for dimensionality reduction by training the network to ignore "noise”.
  • An autoencoder includes an encoder, a decoder, and a layer between the encoder and the decoder that provides a lower dimension than the input layer of the encoder and the output layer of the decoder.
  • This layer forces the encoder to generate a compressed representation of the input data in which noise is minimized and which is sufficient for the decoder to reconstruct the input data.
  • the autoencoder can therefore be trained to generate a compressed representation of the image recording for an input image.
  • the autoencoder can be trained exclusively on the basis of image recordings that do not represent any functional impairment of the device.
  • the autoencoder can also be trained on the basis of image recordings that represent devices with and without functional impairment.
  • a first image recording of the device can be generated the first time it is used.
  • This first image recording which represents the device without a functional impairment, can be used as a reference.
  • a compressed representation can be generated from the first image recording using the encoder of the trained autoencoder.
  • This compressed representation is the reference representation.
  • compressed representations can be generated from image recordings generated by the image acquisition unit of the device using the encoder. The more similar a compressed representation is to the reference image recording, the less likely it is that a functional impairment is present. The more a compressed representation differs from the reference image recording, the more likely it is that a functional impairment is present.
  • the similarity of representations can be quantified using a similarity or distance measure.
  • a distance measure or a similarity measure exceeds a predefined threshold, which can be set by an expert or specified by a user, a notification can be issued that a functional impairment exists and/or image capture can be discarded.
  • U-Net An example of an autoencoder architecture is the U-Net (see e.g. O. Ronneberger et al.-. U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, pages 234-241, Springer, 2015, https://doi.org/10.1007/978-3-319-24574-4_28).
  • the autoencoder described therein has, in addition to an encoder and a decoder, a strand (projection head) which, based on the compressed representation generated by the encoder, generates an output which indicates whether the image recording represents a device with a functional impairment or without a functional impairment.
  • the autoencoder is not only trained to generate a compressed representation of the input data and to reconstruct the input data on the basis of the compressed representation, but the autoencoder is simultaneously trained to distinguish image recordings from devices with functional impairments from image recordings from devices without functional impairments (contrastive reconstruction).
  • the encoder can be used, for example, to generate a compressed reference representation for a first image recording of a new device being used for the first time. This compressed reference representation is compared during operation of the device with compressed representations of image recordings that are generated during operation, and in the event of a defined deviation, a message is issued that a functional impairment is present. It is also possible to use the encoder together with the projection operator (projection head) directly for classification.
  • Fig. 1 shows schematically and by way of example the training of a machine learning model.
  • the machine learning model is trained using training data TD.
  • the training data TD comprise a large number of image recordings.
  • Each image recording I shows at least part of a field and optionally at least part of the device (not shown in Fig. 1).
  • the training data TD further comprise, for each image recording I, information A as to whether the device depicted in the image recording I has a functional impairment or whether it has no functional impairment. It is possible for the information A to comprise information as to which specific functional impairment is present in the individual case and/or how serious the functional impairment is and/or what degree of severity the functional impairment has. For the sake of clarity, only one training data set comprising an image recording I with information A is shown in Fig.
  • the image recording I represents input data for the machine learning model MLM.
  • the information A represents target data for the machine learning model MLM.
  • the image recording I is fed to the machine learning model MLM.
  • the machine learning model MLM assigns the image recording to one of at least two classes. The assignment is made on the basis of the image recording I and on the basis of model parameters MP.
  • the machine learning model MLM outputs information O that indicates which class the image recording was assigned to and/or the probability with which the image recording was assigned to one or more of the at least two classes.
  • the output information O is compared with the information A.
  • An error function LF is used to quantify the deviations between the information O (output) and the information A (target data).
  • An error value LV can be calculated for each pair of information A and information O.
  • the error value LV can be reduced in an optimization process (e.g. a gradient method) by modifying model parameters MP.
  • the goal of the training can be to reduce the error value for all image recordings to a predefined minimum. Once the predefined minimum is reached, the training can be terminated.
  • Fig. 2 shows schematically the use of a trained machine learning model for detecting a functional impairment in a device with an image capture and an image recognition unit of plants.
  • the trained machine learning model MLM 1 can have been trained in a training method as described in relation to Fig. 1.
  • a new image recording I* is fed to the trained machine learning model MLM 1.
  • the new image recording I* shows at least part of a field and optionally at least part of the device.
  • the model assigns the new image recording I* to one of the at least two classes for which the trained machine learning model MLM 1 has been trained.
  • the trained machine learning model MLM 1 outputs information O which indicates which class the image recording was assigned to and/or with what probability the image recording was assigned to one or more of the at least two classes.
  • the information O can be output to a user.
  • Fig. 3 schematically shows another example of training a machine learning model.
  • the machine learning model has an autoencoder architecture.
  • the autoencoder AE comprises an encoder E and a decoder D.
  • the encoder is configured to generate a compressed representation CR for an image recording I based on model parameters MP.
  • the decoder is configured to generate a compressed representation CR based on the compressed representation CR and on the basis of model parameters MP to generate a reconstructed image recording RI that is as close as possible to the image recording I.
  • An error function LF can be used to quantify deviations between the image recording I and the reconstructed image recording RI. The deviations can be minimized in an optimization process (e.g. in a gradient process) by modifying model parameters MP.
  • the autoencoder AE is usually trained on the basis of a large number of image recordings in an unsupervised learning process. In Fig. 3, only one image recording I of the large number of image recordings is shown. Each image recording of the large number of image recordings shows at least part of a field and optionally at least part of the device.
  • the components of the device(s) can have one or more functional impairments or can be free of functional impairments.
  • Fig. 4 schematically shows another example of using a trained machine learning model to detect a functional impairment in a device with an image capture and an image recognition unit of plants.
  • the trained machine learning model can have been trained in a training process as described with reference to Fig. 3.
  • the trained machine learning model can be an encoder E of an autoencoder.
  • the encoder E is shown twice in Fig. 4; however, it is the same encoder in both cases; it is only shown twice to illustrate the recognition process.
  • a first image recording Ii* of an image recording area is fed to the encoder E.
  • the asterisk * indicates that the image recording L* was not used to train the machine learning model.
  • the image recording L * is preferably an image recording that represents a device without functional impairment, which may have been generated, for example, after the first use of a new device.
  • the encoder is configured to generate a first compressed representation CRi for the first image recording L*.
  • the first compressed representation CRi can be used as a reference representation. It can be stored in a data memory.
  • further images of the image recording area are generated.
  • Fig. 4 shows one of these further images with the image recording L*.
  • the image recording I2* is also fed to the encoder E.
  • the encoder E generates a second compressed representation CR2 for the image recording I2*.
  • the first representation CRi and the second representation CR2 are compared with each other in a next step.
  • a distance measure D is calculated that quantifies the differences between the first representation CRi and the second representation CR2.
  • the distance measure is compared with a predefined threshold value T. If the distance measure is greater than the predefined threshold value T (, >“), a message M is output. The message M comprises information that the device shown in the image recording I2* has a functional impairment. If the distance measure is not greater than the predefined threshold value T ("n"), the image recording I2* is fed to an analysis DCI(l2*) in order to detect plants in the field in the image recording area of the device and/or to identify the plants located in the image recording area.
  • Fig. 5 shows an example and schematically a computer-implemented method for training a machine learning model in the form of a flow chart.
  • the training procedure (100) includes the following steps:
  • the training data comprises input data and target data
  • the input data show a plurality of image recordings of at least a part of a field and optionally show at least a part of the device with an image capture and an image recognition unit of plants
  • the target data comprise a class assignment for each image recording, wherein the class assignment indicates which class of at least two classes the Image recording is assigned, wherein at least a first class represents image recordings of devices that do not have a functional impairment, and at least a second class represents image recordings of devices that have a functional impairment
  • (120) providing a machine learning model, wherein the machine learning model is configured to assign the image recording to one of the at least two classes based on an image recording and on the basis of model parameters,
  • (140) storing and/or outputting the trained machine learning model and/or using the trained machine learning model to detect a functional impairment in a device having an image capture and an image recognition unit of plants.
  • Fig. 6 shows an example and schematically a computer-implemented method for detecting a functional impairment in a device with an image acquisition and an image recognition unit of plants.
  • the detection method (200) comprises the following steps:
  • (220) providing a trained machine learning model, wherein the machine learning model is configured and trained on the basis of training data to assign image recordings to one of at least two classes, wherein the training data comprises input data and target data,
  • the input data comprises a plurality of image recordings, each showing at least a portion of a field and optionally showing at least a portion of the device,
  • the target data for each image recording comprises a class assignment, wherein the class assignment indicates which class of at least two classes the image recording is assigned to, wherein at least a first class represents image recordings from the device with an image capture and an image recognition unit of plants that do not have a functional impairment, and at least a second class represents image recordings from devices with an image capture and an image recognition unit of plants that have a functional impairment, (230) feeding the image recording to a trained machine learning model,
  • a “computer system” is a system for electronic data processing that processes data using programmable calculation rules. Such a system usually includes a “computer”, the unit that includes a processor for carrying out logical operations, and peripherals.
  • peripherals refers to all devices that are connected to the computer and are used to control the computer and/or as input and output devices. Examples of these are monitors (screens), printers, scanners, mice, keyboards, drives, cameras, microphones, speakers, etc. Internal connections and expansion cards are also considered peripherals in computer technology.
  • Today's computer systems are often divided into desktop PCs, portable PCs, laptops, notebooks, netbooks and tablet PCs as well as so-called handheld devices (e.g. smartphones); all of these systems can be used to carry out the invention.
  • the term "computer” should be interpreted broadly to include any type of electronic device with data processing capabilities, including, as non-limiting examples, personal computers, servers, embedded cores, communications devices, processors (e.g., digital signal processors (DSPs), microcontrollers, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), etc.), and other electronic computing devices.
  • processors e.g., digital signal processors (DSPs), microcontrollers, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), etc.
  • DSPs digital signal processors
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • processor includes any kind of computation or manipulation or transformation of data that is represented as physical, e.g. electronic, phenomena and that may occur or be stored, e.g. in registers and/or memories of at least one computer or processor.
  • processor includes a single processing unit or a plurality of distributed or remote such units.
  • Fig. 7 shows an exemplary and schematic embodiment of a computer system of the present disclosure.
  • the computer system (1) comprises an input unit (10), a control and computing unit (20) and an output unit (30).
  • the control and computing unit (20) is configured to cause the input unit to receive an image recording, wherein the received image recording shows at least a part of a field and optionally also at least a part of a device with an image capture and image recognition unit for plants and was recorded by a device with an image capture and image recognition unit for plants, to feed the received image recording to a trained machine learning model, wherein the machine learning model is configured and has been trained on the basis of training data, to assign image recordings to one of at least two classes, wherein the training data comprises input data and target data, o wherein the input data comprises a plurality of image recordings, each showing at least part of a field and optionally showing at least part of the device, o wherein the target data comprises a class assignment for each image recording, wherein the class assignment indicates which class of at least two classes the image recording is assigned to, wherein at least a first class represents image recordings of devices that do not have a functional impairment and at least a second class represents image recordings of devices that have a functional impairment, to receive information from the machine learning
  • Fig. 8 shows an exemplary and schematic illustration of another embodiment of a computer system of the present disclosure.
  • the computer system (1) comprises a processing unit (20) connected to a memory (50).
  • the processing unit (20) may comprise one or more processors alone or in combination with one or more memories.
  • the processing unit (20) may be ordinary computer hardware capable of processing information such as digital images, computer programs and/or other digital information.
  • the processing unit (20) typically consists of an arrangement of electronic circuits, some of which may be implemented as an integrated circuit or as multiple interconnected integrated circuits (an integrated circuit is sometimes referred to as a "chip").
  • the processing unit (20) may be configured to execute computer programs that may be stored in a main memory of the processing unit (20) or in the memory (50) of the same or another computer system.
  • the memory (50) may be ordinary computer hardware capable of storing information such as digital images (e.g. representations of the examination area), data, computer programs and/or other digital information either temporarily and/or permanently.
  • the memory (50) may comprise volatile and/or non-volatile memory and may be permanently installed or removable. Examples of suitable memories are RAM (Random Access Memory), ROM (Read-Only Memory), a hard disk, flash memory, a removable computer diskette, an optical disc, a magnetic tape, or a combination of the above.
  • Optical discs may include read-only compact discs (CD-ROM), read/write compact discs (CD-R/W), DVDs, Blu-ray discs, and the like.
  • the processing unit (20) may also be connected to one or more interfaces (11, 12, 30, 41, 42) to display, transmit and/or receive information.
  • the interfaces may comprise one or more communication interfaces (41, 42) and/or one or more user interfaces (11, 12, 30).
  • the one or more communication interfaces (41, 42) may be configured to send information and/or receive, e.g., to and/or from other computer systems, networks, data stores, or the like.
  • the one or more communication interfaces (41, 42) may be configured to transmit and/or receive information over physical (wired) and/or wireless communication links.
  • the one or more communication interfaces (41, 42) may include one or more interfaces for connecting to a network, e.g., using technologies such as cellular, Wi-Fi, satellite, cable, DSL, fiber optic, and/or the like.
  • the one or more communication interfaces (41, 42) may include one or more short-range communication interfaces configured to connect devices using short-range communication technologies such as NFC, RFID, Bluetooth, Bluetooth LE, ZigBee, infrared (e.g., IrDA), or the like.
  • the user interfaces (11, 12, 30) may include a display (30).
  • a display (30) may be configured to display information to a user. Suitable examples include a liquid crystal display (LCD), a light emitting diode display (LED), a plasma display panel (PDP), or the like.
  • the user input interface(s) (11, 12) may be wired or wireless and may be configured to receive information from a user into the computer system (1), e.g., for processing, storage, and/or display. Suitable examples of user input interfaces (11, 12) include a microphone, an image or video capture device (e.g., a camera), a keyboard or keypad, a joystick, a touch-sensitive surface (separate from or integrated into a touchscreen), or the like.
  • the user interfaces may include automatic identification and data capture (AIDC) technology for machine-readable information. These may include barcodes, radio frequency identification (RFID), magnetic stripe, optical character recognition (OCR), integrated circuit cards (ICC), and the like.
  • the user interfaces may further include one or more interfaces for communicating with peripheral devices such as printers and the like.
  • One or more computer programs (60) may be stored in the memory (50) and executed by the processing unit (20), which is thereby programmed to perform the functions described in this description.
  • the retrieval, loading and execution of instructions of the computer program (60) may be carried out sequentially, so that one instruction is retrieved, loaded and executed at a time. However, the retrieval, loading and/or execution may also be carried out in parallel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

Die hierin offenbarten Vorrichtungen, Verfahren und Computerprogramme beziehen sich auf die automatisierte Erkennung von Funktionsbeeinträchtigungen bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen mittels Methoden des maschinellen Lernens. Bei der Vorrichtung handelt es sich insbesondere um eine Sprühvorrichtung.

Description

Erkennen von Funktionsbeeinträchtigungen bei einer Vorrichtung
TECHNISCHES GEBIET
Die hierin offenbarten Vorrichtungen, Verfahren und Computerprogramme beziehen sich auf die automatisierte Erkennung von Funktionsbeeinträchtigungen bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen mittels Methoden des maschinellen Lernens. Bei der Vorrichtung handelt es sich insbesondere um eine Sprühvorrichtung.
EINLEITUNG
Es besteht allgemein der Bedarf, Flüssigkeiten in einem Feld für Kulturpflanzen mit zunehmender Genauigkeit zu applizieren, um Ressourcen zu schonen, die Effizienz der ausgebrachten Mittel zu steigern und eine Applikation in unerwünschten Bereichen zu verhindern. Bei der Bekämpfung von Begleitpflanzen, die sich in einem Feld neben den Kulturpflanzen entwickeln, besteht beispielsweise der Bedarf, nur die Begleitpflanzen mit einem Herbizid zu behandeln und kein Herbizid auf Kulturpflanzen oder auf den Ackerboden zwischen den Pflanzen zu applizieren.
WO2019/166497A1 offenbart eine Vorrichtung zur Sprühbehandlung, bei der einer Verarbeitungseinheit mindestens ein Bild eines Feldes bereitgestellt wird. Der Verarbeitungseinheit werden auch historische Details bezüglich der Sprühanwendung einer Unkrautbekämpfungsflüssigkeit und/oder einer Schädlingsbekämpfungsflüssigkeit bereitgestellt. Die Verarbeitungseinheit analysiert das mindestens eine Bild, um mindestens einen Ort innerhalb des Feldes für die Aktivierung mindestens einer Sprühpistole zur Unkrautbekämpfung und/oder für die Aktivierung mindestens einer Sprühpistole zur Schädlingsbekämpfung zu bestimmen.
W02019007894A1 offenbart eine Vorrichtung zur Unkrautbekämpfung. Der Verarbeitungseinheit der Vorrichtung wird mindestens ein Bild einer Umgebung bereitgestellt. Die Verarbeitungseinheit analysiert das mindestens eine Bild, um aus einer Vielzahl von Vegetationskontrolltechnologien mindestens eine Vegetationskontrolltechnologie zu bestimmen, die zur Unkrautbekämpfung für mindestens einen ersten Teil der Umgebung verwendet werden soll. Eine Ausgabeeinheit gibt Informationen aus, die zur Aktivierung der mindestens einen Vegetationskontrolltechnologie verwendbar sind.
Es ist möglich, dass es im Laufe der Zeit bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen zu einer Beeinträchtigung einer Funktion kommt. Es ist beispielsweise möglich, dass das optische System der Kamera, während dem Betrieb der Vorrichtung verschmutzt wird. Eine weitere mögliche Funktionsbeeinträchtigung ist beispielsweise, dass sich Pflanzenteile in der Vorrichtung verfangen oder - falls die Vorrichtung eine Sprühvorrichtung ist - die Sprühdüsen verstopfen. Weitere mögliche Funktionsbeeinträchtigungen sind weiter hinten in der Beschreibung aufgeführt.
Eine Funktionsbeeinträchtigung führt dazu, dass die von der Vorrichtung zu erfüllende Funktion nicht mehr oder nicht mehr ausreichend erfüllt werden kann.
ZUSAMMENFASSUNG
Dieses Problem wird durch die Gegenstände der unabhängigen Ansprüche der vorliegenden Offenbarung gelöst. Bevorzugte Ausführungsformen finden sich in den abhängigen Ansprüchen, der Beschreibung und den Zeichnunuen. Die vorliegende Offenbarung beschreibt Mittel, mit denen eine Funktionsbeeinträchtigung einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen frühzeitig erkannt werden kann.
Ein erster Gegenstand der vorliegenden Offenbarung ist ein computerimplementiertes Verfahren für eine Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen umfassend:
Empfangen einer Bildaufhahme, wobei die empfangene Bildaufhahme zumindest einen Teil eines Feldes zeigt (und optional zumindest einen Teil der Vorrichtung zeigt) und durch die Bilderfassungseinheit der Vorrichtung aufgenommen wurde,
Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von zumindest einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) mit einer Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen von Bildaufhahmen von einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) ohne Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen zu unterscheiden,
Zuführen der empfangenen Bildaufnahme dem trainierten Modell des maschinellen Lernens,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die Bildaufnahme von zumindest einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen hinweist, für den Fall, dass die empfangen Bildaufnahme von zumindest einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit von Pflanzen hinweist: Ausgeben einer Mitteilung, dass die empfangene Bildaufnahme auf eine
Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer
Bilderkennungseinheit hinweist.
Ein weiterer Gegenstand der vorliegenden Offenbarung ist ein Computersystem umfassend: eine Eingabeeinheit, eine Steuer- und Recheneinheit und eine Ausgabeeinheit, wobei die Steuer- und Recheneinheit konfiguriert ist, die Eingabeeinheit zu veranlassen, eine Bildaufnahme zu empfangen, wobei die empfangene Bildaufnahme zumindest einen Teil eines Feldes und optional auch zumindest einen Teil einer Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen zeigt und durch eine Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen aufgenommen wurde, die empfangene Bildaufnahme einem Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von zumindest einem Teil eines Feldes und optional zumindest einem Teil einer Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen mit einer Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen von Bildaufnahmen von zumindest einem Teil eines Feldes und optional zumindest einem Teil einer Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen ohne Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen zu unterscheiden, von dem Modell des maschinellen Lernens eine Information zu empfangen, wobei die Information angibt, ob die empfangene Bildaufnahme eine Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen mit einer Funktionsbeeinträchtigung repräsentiert, die Ausgabeeinheit zu veranlassen, eine Mitteilung auszugeben, wobei die Mitteilung angibt, dass die empfangene Bildaufnahme auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen hinweist, wenn die von dem Modell des maschinellen Lernens ausgegebene Information angibt, dass die empfangene Bildaufnahme eine Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen mit einer Funktionsbeeinträchtigung repräsentiert.
Ein weiterer Gegenstand der vorliegenden Offenbarung ist ein nicht-flüchtiges computerlesbares Speichermedium, auf dem Softwarebefehle gespeichert sind, die, wenn sie von einem Prozessor eines Computersystems ausgeführt werden, das Computersystem veranlassen, folgende Schritte auszuführen:
Empfangen einer Bildaufhahme, wobei die empfangene Bildaufhahme zumindest einen Teil eines Feldes (und optional zumindest einen Teil der Vorrichtung) zeigt und durch die Bilderfassungseinheit der Vorrichtung aufgenommen wurde,
Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von zumindest einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) mit einer Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen von Bildaufhahmen von einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) ohne Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen zu unterscheiden,
Zuführen der empfangenen Bildaufnahme dem trainierten Modell des maschinellen Lernens,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die Bildaufnahme von zumindest einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen hinweist, für den Fall, dass die empfangen Bildaufnahme von zumindest einem Teil eines Feldes (und optional zumindest einem Teil der Vorrichtung) auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit von Pflanzen hinweist: Ausgeben einer Mitteilung, dass die empfangene Bildaufnahme auf eine
Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer
Bilderkennungseinheit hinweist.
Ein weiterer Gegenstand der vorliegenden Offenbarung ist eine Sprühvorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen umfassend:
• eine Steuereinheit,
• eine Analyseneinheit,
• eine Ausgabeeinheit
• mindestens eine Bilderfassungseinheit, wobei die Steuereinheit konfiguriert ist, die mindestens eine Bilderfassungseinheit zu veranlassen, eine oder mehrere Bildaufnahmen von zumindest einem Teil eines Feldes und optional von zumindest einem Teil der Sprühvorrichtung zu erzeugen, wobei die Analyseneinheit konfiguriert ist, die eine oder die mehreren erzeugten Bildaufnahmen von zumindest einem Teil des Feldes und optional von zumindest einem Teil der Sprühvorrichtung mit einer Funktionsbeeinträchtigung der Sprühvorrichtung von Bildaufnahmen von zumindest einem Teil eines Feldes und optional von zumindest einem Teil der Sprühvorrichtung ohne Funktionsbeeinträchtigung der Sprühvorrichtung zu unterscheiden, wobei die Analyseneinheit konfiguriert ist, eine Information von dem Modell des maschinellen Lernens zu empfangen, wobei die Information angibt, ob die eine oder die mehreren Bildaufnahmen die Sprühvorrichtung mit einer Funktionsbeeinträchtigung repräsentieren, wobei die Ausgabeeinheit konfiguriert ist, die Information auszugeben.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Fig. 1 zeigt schematisch und beispielhaft das Training eines Modells des maschinellen Lernens.
Fig. 2 zeigt schematisch die Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen.
Fig. 3 zeigt schematisch ein weiteres Beispiel für das Trainieren eines Modells des maschinellen Lernens.
Fig. 4 zeigt schematisch ein weiteres Beispiel einer Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen.
Fig. 5 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Trainieren eines Modells des maschinellen Lernens in Form eines Ablaufschemas.
Fig. 6 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Erkennen einer Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen in Form eines Ablaufschemas.
Fig. 7 zeigt beispielhaft und schematisch eine Ausführungsform eines Computersystems der vorliegenden Offenbarung.
Fig. 8 zeigt beispielhaft und schematisch eine weitere Ausführungsform eines Computersystems der vorliegenden Offenbarung.
AUSFÜHRLICHE BESCHREIBUNG
Die Erfindung wird im Folgenden näher erläutert, ohne zwischen den Gegenständen der vorliegenden Offenbarung (Verfahren, Computersystem, computerlesbares Speichermedium, Vorrichtung) zu unterscheiden. Vielmehr sollen die nachfolgenden Ausführungen sinngemäß für alle Gegenstände der Erfindung gelten, unabhängig davon, in welchem Zusammenhang (Verfahren, Computersystem, computerlesbares Speichermedium, Vorrichtung) sie beschrieben werden.
Wenn in der vorliegenden Beschreibung oder in den Ansprüchen Schritte in einer Reihenfolge angegeben sind, bedeutet dies nicht unbedingt, dass die Erfindung auf die angegebene Reihenfolge beschränkt ist. Vielmehr ist es denkbar, dass die Schritte auch in einer anderen Reihenfolge oder auch parallel zueinander ausgeführt werden können, es sei denn, ein Schritt baut auf einem anderen auf, was zwingend erfordert, dass der aufbauende Schritt anschließend ausgeführt wird (dies wird aber im Einzelfall klar). Die genannten Reihenfolgen sind somit bevorzugte Ausführungsformen der vorliegenden Offenbarung.
Die Erfindung wird an einigen Stellen in Bezug auf Zeichnungen näher erläutert. Dabei sind in den Zeichnungen konkrete Ausführungsformen mit konkreten Merkmalen und Merkmalskombinationen dargestellt, die in erster Linie der Veranschaulichung dienen; die Erfindung soll nicht so verstanden werden, dass sie auf die in den Zeichnungen dargestellten Merkmale und Merkmalskombinationen beschränkt ist. Ferner sollen Aussagen, die bei der Beschreibung der Zeichnungen in Bezug auf Merkmale und Merkmalskombinationen getroffen werden, allgemein gelten, das heißt auch auf andere Ausführungsformen übertragbar und nicht auf die gezeigten Ausführungsformen beschränkt sein.
Die vorliegende Offenbarung beschreibt Mittel, mit denen eine Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen frühzeitig und automatisch erkannt wird.
Unter einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen wird eine Vorrichtung verstanden, bei dem Pflanzen auf einem Feld beispielsweise mit einer Kamera erfasst werden und durch ein Bilderkennungsalgorithmus detektiert und/oder identifiziert werden. Die Vorrichtung ist vorzugsweise eine Sprühvorrichtung und beispielsweise dafür ausgelegt eine Begleitpflanze mit einem Mittel zur Bekämpfung der Begleitpflanze zu besprühen. Die Entscheidung dazu basiert wenigstens teilweise auf dem Ergebnis der Bildanalyse der Pflanzen auf dem Feld. Es ist auch möglich, dass der Bilderkennungsalgorithmus Schadorganismen oder einen Pilzbefall auf der Kulturpflanze detektiert und/oder identifiziert und das Besprühen der befallenen Kulturpflanze mit einem entsprechenden Pflanzenschutzmittel auf Grundlage der Ergebnisse der Bildanalyse erfolgt. Eine weitere Ausführungsform ist die punktgenaue Zufuhr von Nährstoffen mit der Sprühvorrichtung auf der Basis der Ergebnisse der Bilderkennung der Pflanzen (z.B. bei niedrigem Wuchs bestimmter identifizierter Kulturpflanzen im Vergleich zu anderen Kulturpflanzen auf dem gleichen Feld, bzw. Identifikation von einem „sichtbaren“ Nährstoffmangel von Kulturpflanzen) auf dem Feld.
Unter dem Begriff „Feld“ wird ein räumlich abgrenzbarer Bereich der Erdoberfläche verstanden, der landwirtschaftlich genutzt wird, indem auf einem solchen Feld Kulturpflanzen angepflanzt, gegebenenfalls mit Nährstoffen versorgt und geerntet werden. Zum Zeitpunkt der Applikation Muß dabei nicht zwingend bereits eine Kulturpflanzengesellschaft etabliert sein.
Unter dem Begriff „Kulturpflanze“ wird eine Pflanze verstanden, die durch das Eingreifen der Menschen zielgerichtet als Nutz- oder Zierpflanze angebaut wird.
Unter dem Begriff „Begleitpflanzen“ (oftmals auch als Unkraut/Unkräuter bezeichnet) werden Pflanzen der spontanen Begleitvegetation (Segetalflora) in Kulturpflanzenbeständen, Grünland oder Gartenanlagen verstanden, die dort nicht gezielt angebaut werden und z.B. aus dem Samenpotential des Bodens oder über Zuflug zur Entwicklung kommen.
Die Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen umfasst beispielsweise eine Steuereinheit, eine Analyseneinheit, eine Ausgabeeinheit und mindestens eine Bilderfassungseinheit. Die Bilderfassungseinheit umfasst vorzugsweise mindestens eine Kamera.
Ist die Vorrichtung eine Sprühvorrichtung umfasst die Vorrichtung weiter mindestens einen Vorratsbehälter zur Aufnahme eines flüssigen Mittels, mindestens eine Sprühdüse und Mittel zur Förderung des flüssigen Mittels in Richtung der mindestens einen Sprühdüse. Die Sprühvorrichtung ist beispielsweise verbindbar mit einer Landmaschine (z.B. als Bestandteil eines fahrbaren Anhängers) kann aber auch direkt Bestandteil eines Fahrzeuges z.B. eines Roboters oder eines Luftfahrzeuges (z.B. einer Drohne) sein. Eine solche Sprühvorrichtung kann sich autonom in bzw. über einem Feld bewegen oder durch einen Menschen gesteuert werden. In einer Ausführungsform dieser Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen ist die Steuereinheit konfiguriert, die mindestens eine Bilderfassungseinheit zu veranlassen, eine oder mehrere Bildaufnahmen von zumindest einem Teil eines Feldes und optional von der Vorrichtung zu erzeugen. Die Analyseneinheit ist konfiguriert, Pflanzen auf Basis der von der Kamera empfangenen Bildaufnahmen auf dem Feld zu delektieren und/oder zu identifizieren (d.h. Ausfuhren des Bilderkennungsalgorithmus). Die Ausgabeeinheit ist konfiguriert, die Information über die detektierten und/oder identifizierten Pflanzen auf dem Feld auszugeben. Falls es sich bei der Vorrichtung um eine Sprühvorrichtung handelt, ist die Ausgabeeinheit konfiguriert, die mindestens eine Sprühdüse, auf Basis der detektierten und/oder identifizierten Pflanzen, zu aktivieren. Die Sprühdüse besprüht die detektierte und/oder identifizierte Pflanze mit dem flüssigen Mittel.
Bei dem flüssigen Mittel kann es sich um Wasser oder eine wäßrige Lösung oder Suspension handeln. Die wäßrige Lösung oder Suspension kann einen oder mehrere Nährstoffe und/oder ein oder mehrere Pflanzenschutzmittel und/oder ein oder mehrere Mittel zur Behandlung von Saatgut enthalten.
Unter dem Begriff „Nährstoffe“ werden diejenigen anorganischen und organischen Verbindungen verstanden, denen Pflanzen die Elemente entnehmen können, aus denen ihre Körper aufgebaut sind. Als Nährstoffe werden oft auch diese Elemente selbst bezeichnet. Dabei handelt es sich meistens um einfache anorganische Verbindungen wie Nitrat (NO3-), Phosphat (PO ) und Kalium (K+). Lebensnotwendig sind neben den Kemelementen der organischen Substanz (C, O, H, N und P) noch K, S, Ca, Mg, Mo, Cu, Zn, Fe, B, Mn, CI bei höheren Pflanzen, Co, Ni. Für die einzelnen Nährstoffe können verschiedene Verbindungen vorliegen, so kann beispielsweise Stickstoff als Nitrat, Ammonium oder Aminosäure zugeführt werden.
Unter dem Begriff „Pflanzenschutzmittel“ wird ein Mittel verstanden, das dazu dient, Pflanzen oder Pflanzenerzeugnisse vor Schadorganismen zu schützen oder deren Einwirkung vorzubeugen, unerwünschte Pflanzen oder Pflanzenteile zu vernichten, ein unerwünschtes Wachstum von Pflanzen zu hemmen oder einem solchen Wachstum vorzubeugen, und/oder in einer anderen Weise als Nährstoffe die Lebensvorgänge von Pflanzen zu beeinflussen (z.B. Wachstumsregler). Beispiele für Pflanzenschutzmittel sind Herbizide, Fungizide und andere Pestizide (z.B. Insektizide). Wachstumsregler dienen zum Beispiel der Erhöhung der Standfestigkeit bei Getreide durch Verkürzung der Halmlänge (Internodienverkürzer), Verbesserung der Bewurzelung von Stecklingen, Verringerung der Pflanzenhöhe durch Stauchung im Gartenbau oder der Verhinderung der Keimung von Kartoffeln. Wachstumsregler können beispielsweise Phytohormone oder deren synthetischen Analoge sein.
Bei der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen ist mindestens eine Kamera so angeordnet und ausgerichtet, dass sie Bildaufnahmen von zumindest einem Teil des Feldes und optional von zumindest einem Teil der Vorrichtung erzeugen kann. In einer Ausführungsform ist die Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen eine Sprühvorrichtung und die mindestens eine Kamera ist idealerweise oberhalb mindestens einer Sprühdüse angeordnet und auf die Sprühdüse und den darunterliegenden Feldboden gerichtet damit eine Bildaufnahme erzeugt werden kann, die zumindest einen Teil der Sprühvorrichtung (vorzugsweise einen Teil der Sprühdüse) und zumindest einen Teil eines Feldes zeigt. In einer alternativen Ausführungsform ist die mindestens eine Kamera schwenkbar und kann entweder einen Teil des Feldes oder einen Teil der Sprühvorrichtung erfassen. Es ist auch denkbar, dass für die beiden genannten Bereiche zwei oder mehr Kameras zur Erhebung der Bilddaten verwendet werden.
Unter einer Kamera wird eine Vorrichtung verstanden, die Bildaufnahmen in digitaler Form erzeugen und diese speichern und/oder über eine Schnittstelle bereitstellen kann. Eine Kamera umfasst üblicherweise einen Bildsensor und optische Elemente. Der Bildsensor ist eine Vorrichtung zur Aufnahme von zweidimensionalen Abbildern aus Licht auf elektrischem Weg. Üblicherweise handelt es sich um halbleiterbasierte Bildsensoren wie beispielsweise CCD- (CCD = charge-coupled device) oder CMOS-Sensoren (CMOS = complementary metal-oxide-semiconductor). Die optischen Elemente (Linsen, Blenden und dergleichen) dienen einer möglichst scharfen Abbildung des Objektes, von dem eine digitale Bildaufnahme erzeugt werden soll, auf dem Bildsensor.
Die Kamera wird dazu verwendet, digitale Bildaufnahmen von zumindest einem Teil des Feldes und optional zusätzlich von zumindest einem Teil der Vorrichtung zu erzeugen. Die erzeugten Bildaufnahmen können verwendet werden, (i) um zu erkennen, ob sich ein oder mehrere Pflanzen auf dem Feld befinden (Detektieren von Pflanzen), (ii) Pflanzen zu identifizieren, d.h. festzustellen, um welche Pflanze (Unterklasse, Überordnung, Ordnung, Unterordnung, Familie, Gattung, Art, Wachstumsstadium etc.) es sich handelt. Auch der genaue Standort der Pflanze kann beispielweise mit RTK-GPS (als einen weiteren Sensor der Vorrichtung) und dem Wissen des Abstandes der Kamera zum Aufnahmebereich ermittelt werden.
Zur Abbildung des Bildaufnahmebereichs auf einem oder mehreren Bildsensoren wird eine Lichtquelle benutzt, mit der der Bildaufnahmebereich beleuchtet wird, so dass Licht (elektromagnetische Strahlung im infraroten, sichtbaren und/oder ultravioletten Bereich des Spektrums) vom beleuchteten Bildaufnahmebereich in Richtung Kamera gestreut/reflektiert wird. Hierzu kann das Tageslicht verwendet werden. Es ist aber auch denkbar, eine Beleuchtungseinheit zu verwenden, die für eine definierte, vom Tageslicht unabhängige Beleuchtung sorgt. Diese ist vorzugsweise seitlich neben der Kamera angebracht, so dass es zu keinem Schattenwurf der Kamera auf den Bildaufnahmebereich kommt. Die Bilderfassungseinheit umfasst vorzugsweise zumindest eine Beleuchtungseinheit.
Der Begriff „Bildaufnahmebereich“ bezeichnet den Bereich, auf den die Kamera ausgerichtet ist und mit der zumindest einen Teil des Feldes und optional zumindest einen Teil der Vorrichtung erfasst werden kann.
Es ist auch denkbar, eine Beleuchtungsquelle zu verwenden die an der Vorrichtung befestigt ist und den Bildaufnahmebereich von der Seite beleuchtet, während eine Kamera eine oder mehrere Bildaufnahmen "von oben" erzeugt.
Es denkbar, dass mehrere Beleuchtungsquellen den Bildaufnahmebereich aus unterschiedlichen Richtungen beleuchten.
Der Begriff "Licht" und "Beleuchtung" soll im übrigen nicht bedeuten, dass der Spektralbereich auf sichtbares Licht (etwa 380 nm bis etwa 780 nm) beschränkt ist. Es ist ebenso denkbar, dass zur Beleuchtung elektromagnetische Strahlung mit einer Wellenlänge unterhalb von 380 nm (ultraviolettes Licht: 100 nm bis 380 nm) oder oberhalb von 780 nm (infrarotes Licht: 780 nm bis 1000 pm) verwendet wird. Der Bildsensor und die optischen Elemente sind üblicherweise an die verwendete elektromagnetische Strahlung angepaßt.
Die Vorrichtung umfasst eine Steuereinheit. Die Steuereinheit kann ein Bestandteil der Bilderfassungseinheit z.B. der Kamera sein oder eine separate Vorrichtung sein, die mit der Bilderfassungseinheit über eine kabelgebundene oder kabellose Verbindung (z.B. Bluetooth) kommunizieren kann. Die Steuereinheit ist konfiguriert, die Bilderfassungseinheit zu veranlassen, eine oder mehrere Bildaufnahmen von und zumindest einen Teil des Feldes und optional zumindest einen Teil der Vorrichtung zu erfassen. Die Steuereinheit kann ein Computersystem sein, wie es weiter hinten in der Beschreibung beschrieben ist.
Bei der einen oder mehreren Bildaufnahme kann es sich um einzelne Bildaufnahmen oder um Sequenzen von Bildaufnahmen (z.B. Videoaufnahmen) handeln.
In einer weiteren Ausführungsform kann die Vorrichtung einen oder mehrere (neben der Kamera weitere) Sensoren umfassen. Ein "Sensor" ist ein technisches Bauteil, das bestimmte physikalische und/oder chemische Eigenschaften und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Meßgröße quantitativ erfassen kann. Diese Größen werden mittels physikalischer oder chemischer Effekte erfasst und in ein weiter verarbeitbares, meist elektrisches oder optisches Signal umgeformt. Eine Sensoreinheit mit zumindest einen Sensor kann weitere Mittel zum Übermitteln und/oder Weiterleiten von Signalen und/oder Informationen (z.B. an die Steuereinheit) umfassen. Der mindestens eine Sensor kann beispielsweise einen Empfänger eines Satellitennavigationssystems umfassen, umgangssprachlich auch als GPS-Empfänger bezeichnet. Das Global Positioning System (Abk.: GPS), offiziell NAVSTAR GPS, ist ein Beispiel eines globalen Satellitennavigationssystems zur Positionsbestimmung; andere Beispiele sind GLONASS, Galileo und Beidou. Die Satelliten eines solchen Satellitennavigationssystems teilen über Funkcodes ihre genaue Position und Uhrzeit mit. Zur Positionsbestimmung muß ein Empfänger (der „GPS-Empfänger“) die Signale von mindestens vier Satelliten gleichzeitig empfangen. Im Empfänger werden die Pseudo-Signallaufzeiten gemessen und daraus die aktuelle Position ermittelt. Eine genaue Positionsbestimmung ist möglich durch ein Echtzeitkinematikverfahren (RTK GPS).
In einer weiteren Ausführungsform kann die Vorrichtung eine Sendeeinheit umfassen. Über die Sendeeinheit können Bildaufnahmen und/oder Informationen an ein separates Computersystem übermittelt werden. Die Übermittlung erfolgt vorzugsweise über ein Funknetz, beispielsweise über ein Mobilfunknetz. Die Sendeeinheit kann ein Bestandteil der Steuereinheit sein oder eine von der Steuereinheit unabhängige Einheit sein.
Die Vorrichtung kann eine Empfangseinheit umfassen, um Befehle von einem separaten Computersystem zu empfangen.
Die Sendeeinheit und/oder die Empfangseinheit können Bestandteile eines Computersystems sein, wie es weiter hinten in der Beschreibung beschrieben ist.
Die von der Kamera erzeugten Bildaufnahmen werden üblicherweise automatisiert analysiert, um die in Pflanzen auf dem Feld zu detektieren und/oder zu identifizieren. Diese Analyse kann durch eine Analyseneinheit erfolgen, die Bestandteil der Vorrichtung sein kann; diese Analyse kann aber auch durch eine Analyseneinheit erfolgen, die Bestandteil eines separaten Computersystems sein kann, an das die Bildaufnahmen mittels der Sendeeinheit der Vorrichtung übermittelt werden. Die Analyseneinheit kann ein Bestandteil eines Computersystems sein, wie es weiter hinten in der Beschreibung beschrieben ist. Die Analyseneinheit kann ein trainiertes Modell des maschinellen Lernens umfassen, das konfiguriert und trainiert ist, in Bildaufnahmen abgebildete Pflanzen zu detektieren und/oder zu identifizieren. Details zum automatisierten Detektieren und/oder Identifizieren von Pflanzen (und beispielsweise die Unterscheidung von Kultur- und Begleitpflanzen) in Bildaufnahmen sind in Veröffentlichungen zu diesem Thema beschrieben (siehe z.B.: K.K. Thyagharajan et al., A Review of Visual Descriptors and Classification Techniques used in Leaf Species Identification, Archives of Computational Methods in Engineering, 26, 933-60, 2019). In einerweiteren Ausführungsform kann die Analyseneinheit auch ein trainiertes Modell des maschinellen Lernens umfassen, das konfiguriert und trainiert ist, Krankheiten und Schadbefall von in Bildaufnahmen abgebildeten Pflanzen zu detektieren und/oder zu identifizieren. Details dazu sind in Veröffentlichungen zu diesem Thema beschrieben (siehe z.B.: Ju Liu et al., Plant Disease and Pests Detection based on Deep Learning: a Review, Plant Methods, 17, 22, 2021)
Die von der Bilderfassungseinheit erzeugten Bildaufnahmen können ferner verwendet werden, um eine Funktionsbeeinträchtigung bei der Vorrichtung zu erkennen.
Eine Funktionsbeeinträchtigung kennzeichnet einen Zustand der Vorrichtung, der eine oder mehrere Bestandteile der Vorrichtung oder die Vorrichtung als Ganzes so beeinflusst, dass eine oder mehrere Funktionen nicht mehr oder nicht mehr ausreichend oder nicht mehr optimal ausgeführt werden. Eine Funktion kann beispielsweise dann nicht mehr ausreichend oder nicht mehr optimal ausgeführt werden, wenn die Beeinträchtigung die Funktion verlangsamt oder erschwert oder das Ergebnis minderwertig ist oder das Ergebnis fehlerhaft ist.
Dabei kann eine Funktionsbeeinträchtigung eine Beeinträchtigung sein, die aktuell zu einer Beeinflussung der Funktion führt oder in naher Zukunft zu einer Beeinflussung der Funktion führen wird, wenn keine Maßnahmen zur Aufrechterhaltung der Funktionen getroffen werden. Nachfolgend sind Beispiele für Funktionsbeeinträchtigungen aufgeführt:
Einschränkungen des Sichtfeldes: Es ist möglich, dass Spinnenweben in der Vorrichtung bewirken, dass die Bilderfassungseinheit keine freie Sicht mehr auf den Bildaufnahmebereich hat. Neben den Spinnenweben können auch Spinnen, die sich z.B. vor einer Linse der Kamera aufhalten, ein Problem darstellen. Ferner können auch Konstrukte von Insekten (z.B. Puppen von Larven) und/oder Pflanzenteile (z.B. Pollen, Blüten, Zweige, Blätter, Wurzeln) in der Vorrichtung den Bildaufnahmebereich aus Sicht der Bilderfassungseinheit ganz oder teilweise verdecken.
Bilderfassungseinheit und/oder deren optische Elemente sind verschmutzt: Ablagerungen auf einer Linse der Kamera können zu einer Beeinträchtigung führen. Es ist möglich, dass infolge einer Ablagerung das Sichtfeld der Kamera eingeschränkt ist und nicht mehr der komplette Bildaufnahmebereich abgebildet wird. Es ist denkbar, dass Ablagerungen zu unscharfen oder teilweise unscharfen Bildaufnahmen führen. Es ist möglich, dass Wasser (z.B. Regenwasser) und/oder eine andere Flüssigkeit auf eine Linse gelangt und das Sichtfeld einschränkt und/oder zu Unschärfen in der Bildaufnahme führt.
Bilderfassungseinheit und insbesondere die Kamera ist defekt: Es ist möglich, dass die Kamera einen Defekt aufweist und die erzeugten Bildaufnahmen für ein automatisiertes Detektieren und/oder Identifizieren von Pflanzen auf einem Feld nicht geeignet sind. Es ist zum Beispiel möglich, dass die erzeugten Bildaufnahmen verrauscht sind und/oder einen Farbstich aufweisen und/oder einen geringen Kontrastumfang aufweisen und/oder komplett schwarz oder weiß sind.
Bilderfassungseinheit erzeugt keine Aufnahmen von zumindest einem Teil eines Feldes: Es ist möglich, dass die Bilderfassungseinheit Bildaufnahmen während einer Wartung der Vorrichtung z.B. in einer Werkstatt erzeugt. Solche Aufnahmen können für ein automatisiertes Detektieren und/oder Identifizieren von Pflanzen ungeeignet sein. Auch solche Bildaufnahmen können mit den in dieser Beschreibung beschriebenen Mitteln identifiziert und beispielsweise aussortiert werden. Aussortieren kann bedeuten, dass eine aussortierte Bildaufnahme nicht automatisiert analysiert wird, um Pflanzen auf einem Feld zu detektieren und/oder zu identifizieren.
Beleuchtungsquelle(n) defekt und/oder verschmutzt: Ist die Vorrichtung mit einer oder mehreren Beleuchtungsquellen (als Bestandteil der Bilderfassungseinheit) ausgestattet, kann es sein, dass eine oder mehrere dieser Beleuchtungsquellen keine oder weniger elektromagnetische Strahlung aussendet und/oder, dass infolge einer Verunreinigung der einen oder der mehreren Beleuchtungsquellen nicht mehr genügend elektromagnetische Strahlung in den Bildaufnahmebereich gelangt und diesen ausleuchtet. Die fehlende oder verringerte Beleuchtung kann zu einem Kontrastverlust und/oder erhöhtem Rauschen in den Bildaufnahmen führen, was wiederum das automatisierte Detektieren und/oder Identifizieren von Pflanzen erschweren kann.
Unerwünschte Reflexe: Es ist möglich, dass zu bestimmten Zeiten Reflexe in den Bildaufnahmen zu beobachten sind, die z.B. von Sonnenlicht stammen können, das unter einem definierten Winkelbereich in den Bildaufnahmebereich gelangt. Es ist möglich, dass Sonnenlicht zu bestimmten Tages- und/oder Jahreszeiten in den Bildaufnahmebereich gelangt und dort unerwünschte Reflexionen verursacht.
Nachfolgend sind Beispiele von weiteren Funktionsbeeinträchtigungen genannt, wenn die Vorrichtung eine Sprühvorrichtung ist.
Positions-/ und/oder Lageänderung von Bestandteilen der Sprühvorrichtung: Es ist denkbar, dass es im Laufe der Zeit und beispielsweise auf Grund des häufigen Gebrauchs der Sprühvorrichtung zu einer Änderung der Position und/oder Lage und/oder Ausrichtung von Bestandteilen der Sprühvorrichtung (z.B. der Sprühdüsen, Ausrichtung der Kamera und/oder optische Elemente der Kamera bzw. der Beleuchtungsquelle relativ zum Feldboden etc.) kommt. Solche Änderungen können z.B. die Folge von Abnutzung oder Materialermüdung sein und bewirken, dass der ursprünglich vorgesehene Bildaufnahmebereich nicht mehr oder nicht mehr vollständig abgebildet wird und/oder ganz oder teilweise unscharf abgebildet wird.
Bilderfassungseinheit erzeugt keine Aufnahmen von zumindest einem Teil der Sprühvorrichtung: Es ist möglich, dass die Kamera Bildaufnahmen während einer Wartung der Sprühvorrichtung erzeugt: z.B., wenn die Sprühdüsen in einer Werkstatt abmontiert sind. Solche Aufnahmen können wie oben beschrieben aussortiert werden.
Pflanzenteile haben sich in der Sprühvorrichtung: es ist möglich, dass sich während der Benutzung der Sprühvorrichtung auf dem Feld Pflanzenteile an bzw. in der Vorrichtung verfangen. Beispielsweise können sich Pflanzenbestandteile um eine Sprühdüse wickeln und dadurch die Sprühfunktion der Düse beeinträchtigen. Es ist auch denkbar, dass sich während des Gebrauchs der Sprühvorrichtung Pflanzenteile zwischen der Bilderfassungseinheit und der Sprühdüse ablagern, die zu einer Funktionsbeeinträchtigung führen können.
Der Spritzkegel der Sprühdüsen der Sprühvorrichtung entspricht nicht den Vorgaben bzw. die Sprühdüsen sind defekt: Die Bilderfassungseinheit kann u.a. eine Aufnahme von zumindest einem Teil einer Sprühvorrichtung erzeugen. Vorzugsweise werden von der Bilderfassungseinheit Bilddaten von der Düse und/oder dem Spritzkegel, der die Düse erzeugt, aufgenommen. Anhand der Bildinformationen von der Düse und/oder der Änderung der Form des Spritzkegels kann beispielsweise ermittelt werden, ob die Düse verstopft ist.
Die Funktionsbeeinträchtigungen und/oder ihre Auswirkungen werden in Bildaufnahmen, die von der Bilderfassungseinheit in der Vorrichtung erzeugt werden, bildhaft festgehalten. Die Bildaufnahmen werden verwendet, um ein Modell des maschinellen Lernens zu trainieren, solche Funktionsbeeinträchtigungen automatisch zu erkennen. Der Begriff „automatisch“ bedeutet ohne Zutun eines Menschen.
Ein solches „Modell des maschinellen Lernens“ kann als eine computerimplementierte Datenverarbeitungsarchitektur verstanden werden. Das Modell kann Eingabedaten empfangen und Ausgabedaten auf der Grundlage dieser Eingabedaten und Modellparametern liefern. Das Modell kann durch Training eine Beziehung zwischen den Eingabedaten und den Ausgabedaten erlernen. Beim Training können Modellparameter angepasst werden, um eine gewünschte Ausgabe für eine bestimmte Eingabe zu liefern.
Beim Trainieren eines solchen Modells werden dem Modell Trainingsdaten präsentiert, aus denen es lernen kann. Das trainierte Modell des maschinellen Lernens ist das Ergebnis des Trainingsprozesses. Die Trainingsdaten umfassen neben Eingabedaten die korrekten Ausgabedaten (Zieldaten), die das Modell auf Basis der Eingabedaten erzeugen soll. Beim Trainieren werden Muster erkannt, die die Eingabedaten auf die Zieldaten abbilden.
Im Trainingsprozess werden die Eingabedaten der Trainingsdaten in das Modell eingegeben, und das Modell erzeugt Ausgabedaten. Die Ausgabedaten werden mit den Zieldaten verglichen. Modellparameter werden so verändert, dass die Abweichungen zwischen den Ausgabedaten und den Zieldaten auf ein (definiertes) Minimum reduziert werden. Zur Modifizierung der Modellparameter im Hinblick auf eine Reduzierung der Abweichungen kann ein Optimierungsverfahren wie beispielsweise ein Gradientenverfahren verwendet werden.
Die Abweichungen können mit Hilfe einer Fehlerfunktion (engl.: loss function) quantifiziert werden. Eine solche Fehlerfunktion kann verwendet werden, um einen Fehler (engl. : loss) für ein gegebenes Paar von Ausgabedaten und Zieldaten zu berechnen. Das Ziel des Trainingsprozesses kann darin bestehen, die Parameter des Modells des maschinellen Lernens so zu verändern (anzupassen), dass der Fehler für alle Paare des Trainingsdatensatzes auf ein (definiertes) Minimum reduziert wird. Handelt es sich bei den Ausgabedaten und den Zieldaten beispielsweise um Zahlen, kann die Fehlerfunktion die absolute Differenz zwischen diesen Zahlen sein. In diesem Fall kann ein hoher absoluter Fehler bedeuten, dass ein oder mehrere Modellparameter in hohem Maße geändert werden müssen.
Bei Ausgabedaten in Form von Vektoren können beispielsweise Differenzmetriken zwischen Vektoren wie der mittlere quadratische Fehler, ein Kosinusabstand, eine Norm des Differenzvektors wie ein euklidischer Abstand, ein Tschebyscheff-Abstand, eine Lp-Norm eines Differenzvektors, eine gewichtete Norm oder eine andere Art von Differenzmetrik zweier Vektoren als Fehlerfunktion gewählt werden.
Bei höherdimensionalen Ausgaben, wie z.B. zweidimensionalen, dreidimensionalen oder höherdimensionalen Ausgaben, kann z.B. eine elementweise Differenzmetrik verwendet werden. Alternativ oder zusätzlich können die Ausgabedaten vor der Berechnung eines Fehlerwertes transformiert werden, z.B. in einen eindimensionalen Vektor.
Im vorliegenden Fall erhält das Modell des maschinellen Lernens eine oder mehrere Bildaufnahmen als Eingabedaten. Das Modell kann trainiert werden, für die eine oder die mehreren Bildaufnahmen eine Information auszugeben, ob es sich bei der einen oder den mehreren Bildaufnahmen um eine oder mehrere Bildaufnahmen einer Vorrichtung mit einer Funktionsstörung oder um eine oder mehrere Bildaufnahmen einer Vorrichtung ohne eine Funktionsstörung handelt. Mit anderen Worten, das Modell des maschinellen Lernens kann trainiert werden, Bildaufnahmen von einer Vorrichtung mit Funktionsstörung/Funktionsstörungen von Bildaufnahmen von einer Vorrichtung ohne Funktionsstörung/ Funktionsstörungen zu unterscheiden.
Das Modell des maschinellen Lernens kann trainiert werden, die eine oder die mehreren Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei mindestens eine erste Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die keine Funktionsbeeinträchtigungen aufweisen und mindestens eine zweite Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen.
Das Trainieren des Modells des maschinellen Lernens erfolgt auf Basis von Trainingsdaten. Die Trainingsdaten umfassen eine Vielzahl von Bildaufnahmen einer oder mehrerer Vorrichtungen (Bildaufnahmen, die zumindest einen Teil eines Feldes und optional zumindest einen Teil einer Vorrichtung zeigen). Der Begriff „Vielzahl“ bedeutet mehr als 10, vorzugsweise mehr als 100. Die Bildaufnahmen fungieren als Eingabedaten. Ein Teil der Bildaufnahmen kann die eine oder die mehreren Vorrichtungen ohne Funktionsbeeinträchtigungen zeigen, d.h. in einem Zustand, in dem sie einwandfrei funktionieren. Ein anderer Teil der Bildaufnahmen kann die eine oder die mehreren Vorrichtung/en mit einer Funktionsbeeinträchtigung zeigen. Die Trainingsdaten können neben den Eingabedaten auch Zieldaten umfassen. Die Zieldaten können für jede Bildaufnahme angeben, ob die Vorrichtung, die in der Bildaufnahme abgebildet ist, eine Funktionsbeeinträchtigung aufweist, oder ob sie keine Funktionsbeeinträchtigung aufweist. Die Zieldaten können auch Informationen darüber umfassen, welche Funktionsbeeinträchtigung im Einzelfall vorliegt und/oder wie schwerwiegend sie ist und/oder welchen Schweregrad sie aufweist.
Das Modell des maschinellen Lernens kann trainiert werden, jede Bildaufnahme genau einer von zwei Klassen zuzuordnen, wobei genau eine Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die keine Funktionsbeeinträchtigungen aufweisen und die andere Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die eine Funktionsbeeinträchtigung oder mehrere Funktionsbeeinträchtigungen aufweisen. Mit anderen Worten, das Modell des maschinellen Lernens kann trainiert werden eine binäre Klassierung vorzunehmen. Für solch einen Fall ist es ausreichend, dass für jede der einzelnen Bildaufnahmen der Trainingsdaten eine Information vorliegt, ob die Bildaufnahme eine Vorrichtung mit einer Funktionsbeeinträchtigung repräsentiert oder ob die Bildaufhahme eine Vorrichtung ohne Funktionsbeeinträchtigung repräsentiert. In einem solchen Fall kann das Modell des maschinellen Lernens trainiert werden, Vorrichtungen mit einer (oder mehreren) Funktionsbeeinträchtigungen zu erkennen, unabhängig davon, um welche Funktionsbeeinträchtigung(en) es sich jeweils handelt. Es ist auch möglich, ein Modell des maschinellen Lernens zu trainieren, für jede Bildaufnahme, die in das Modell des maschinellen Lernens eingegeben wird, eine Merkmalsextraktion vorzunehmen und eine komprimierte Repräsentation der Bildaufnahme zu erzeugen. Dabei kann das Modell des maschinellen Lernens trainiert werden, für Bildaufnahmen, die keine Vorrichtung mit einer Funktionsbeeinträchtigung zeigen, ähnliche komprimierte Repräsentationen zu erzeugen. Wird dem trainierten Modell des maschinellen Lernens eine Bildaufnahme einer Vorrichtung mit einer Funktionsbeeinträchtigung zugeführt, so erzeugt das trainierte Modell des maschinellen Lernens eine komprimierte Repräsentation der Bildaufnahme der Vorrichtung mit der Funktionsbeeinträchtigung, die von den komprimierten Repräsentationen der Bildaufnahmen von Vorrichtungen ohne Funktionsbeeinträchtigung unterschieden werden kann. Ein solches Training, bei dem das Modell des maschinellen Lernens lediglich trainiert wird zu erkennen, ob eine Funktionsbeeinträchtigung oder keine Funktionsbeeinträchtigung vorliegt, kann sinnvoll sein, wenn ein Nutzer lediglich daran interessiert ist zu erfahren, ob die Vorrichtung einwandfrei funktioniert oder ob ein Eingreifen erforderlich ist, um eine Funktionsbeeinträchtigung (welche es auch immer ist) zu beseitigen.
Das Modell des maschinellen Lernens kann auch trainiert werden, eine spezifische Funktionsbeeinträchtigung zu erkennen. Bei der spezifischen Funktionsbeeinträchtigung kann es sich um eine der Funktionsbeeinträchtigungen handeln, die weiter vorne in dieser Beschreibung beschrieben wurden. Es ist möglich, dass ein Nutzer nur daran interessiert ist zu erfahren, ob die spezifische Funktionsbeeinträchtigung vorliegt. Das Modell des maschinellen Lernens kann trainiert werden, jede Bildaufnahme einer von zwei Klassen zuzuordnen, wobei eine Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die die spezifische Funktionsbeeinträchtigung aufweisen und die andere Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die die spezifische Funktionsbeeinträchtigung nicht aufweisen, bei denen also entweder gar keine Funktionsbeeinträchtigung vorliegt oder eine andere als die spezifische Funktionsbeeinträchtigung vorliegt. In einem solchen Fall umfassen die Trainingsdaten für jede Bildaufnahme eine Information darüber, ob die spezifische Funktionsbeeinträchtigung bei der Vorrichtung vorliegt oder nicht vorliegt.
Das Modell des maschinellen Lernens kann aber auch trainiert werden, jede Bildaufnahme einer von mehr als zwei Klassen zuzuordnen, wobei die Klassen beispielsweise die Schwere der spezifischen Funktionsbeeinträchtigung repräsentieren. Eine erste Klasse kann beispielsweise Bildaufnahmen von Vorrichtungen repräsentieren, bei denen die spezifische Funktionsbeeinträchtigung nicht auftritt (z.B. keine Verschmutzung); eine zweite Klasse kann Bildaufnahmen von Vorrichtungen repräsentieren, bei denen die spezifische Funktionsbeeinträchtigung leicht auftritt (z.B. eine leichte Verschmutzung); eine dritte Klasse kann Bildaufnahmen von Vorrichtungen repräsentieren, bei denen die spezifische Funktionsbeeinträchtigung deutlich auftritt (z.B. eine deutliche Verschmutzung). Eine leichte Funktionsbeeinträchtigung kann bedeuten, dass die Vorrichtung noch ausreichend funktionsfähig ist, dass aber in der Zukunft eine Wartung nötig ist, um eine weitere Funktionsbeeinträchtigung zu vermeiden. Eine deutliche oder schwerwiegende Funktionsbeeinträchtigung kann bedeuten, dass eine umgehende Wartung erforderlich ist. Es sind auch mehr als die genannten drei Abstufungen denkbar, z.B. vier (z.B. keine Beeinträchtigung, leicht Beeinträchtigung, mittlere Beeinträchtigung, schwere Beeinträchtigung) oder mehr und/oder andere Abstufungen. In einem solchen Fall umfassen die Trainingsdaten für jede Bildaufnahme eine Information darüber, ob die Funktionsbeeinträchtigung bei der Vorrichtung vorliegt, und wenn sie vorliegt, wie schwerwiegend sie ist und/oder mit welcher Schwere sie auftritt.
Das Modell des maschinellen Lernens kann aber auch trainiert werden, mehr als eine spezifische Funktionsbeeinträchtigung zu erkennen, d.h. verschiedene Funktionsbeeinträchtigungen voneinander zu unterscheiden. Das Modell des maschinellen Lernens kann beispielsweise trainiert werden, eine Anzahl n von spezifischen Funktionsbeeinträchtigungen zu lernen, wobei n eine ganze Zahl größer als 1 ist. Das Modell des maschinellen Lernens kann trainiert werden, jede Bildaufnahme einer von mindestens n+1 Klassen zuzuordnen, wobei eine erste Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen, und jede der mindesten n verbleibenden Klassen Bildaufnahmen von Vorrichtungen repräsentieren, die eine der n spezifischen Funktionsbeeinträchtigungen zeigen. Es ist auch möglich, dass das Modell des maschinellen Lernens zusätzlich trainiert wird, zwei oder mehr Schweregrade von einer oder mehreren der n spezifischen Funktionsbeeinträchtigungen zu erkennen. Mit anderen Worten, das Modell des maschinellen Lernens kann trainiert werden, für eine oder mehrere der n spezifischen Funktionsbeeinträchtigungen zu erkennen, wie schwerwiegend sie ist und/oder mit welchem Schweregrad sie auftritt. In einem solchen Fall umfassen die Trainingsdaten für jede Bildaufnahme eine Information darüber, ob eine Funktionsbeeinträchtigung vorliegt, wenn eine Funktionsbeeinträchtigung vorliegt, welche spezifische Funktionsbeeinträchtigung vorliegt, und für ein oder mehrere der spezifischen Funktionsbeeinträchtigungen, wie schwerwiegend sie ist und/oder mit welcher Schwere sie auftritt.
Für die Erzeugung der in dieser Beschreibung beschriebenen Trainingsdaten können bestehende Vorrichtungen mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen verwendet werden. Es können solche Vorrichtungen für einen Zeitraum betrieben werden, um Bilddaten zu generieren und die erzeugten Bildaufnahmen können von einem oder mehreren Experten analysiert werden. Der eine oder die mehrere Experten können jede Bildaufnahme mit einem der für das Training erforderlichen Informationen (Annotationen) versehen, die dann als Zieldaten verwendet werden. Der eine oder die mehreren Experten können die Bildaufnahmen sichten und jede Bildaufnahme mit einer Information versehen, ob die jeweilige Bildaufnahme eine Vorrichtung ohne Funktionsbeeinträchtigung oder mit einer Funktionsbeeinträchtigung zeigt. Wenn es für das Training des Modells des maschinellen Lernens erforderlich ist, kann jede Bildaufnahme, die eine Vorrichtung mit einer Funktionsbeeinträchtigung repräsentiert, mit einer Information versehen werden, wie schwerwiegend die Funktionsbeeinträchtigung ist und/oder mit welcher Schwere sie auftritt. Wenn es für das Training des Modells des maschinellen Lernens erforderlich ist, kann jede Bildaufnahme, die eine Vorrichtung mit einer Funktionsbeeinträchtigung repräsentiert, mit einer Information versehen werden, welche spezifische Funktionsbeeinträchtigung jeweils vorliegt.
Beim Trainieren des Modells des maschinellen Lernens werden die Bildaufnahmen (nacheinander) dem Modell des maschinellen Lernens zugeführt. Das Modell des maschinellen Lernens kann konfiguriert sein, jede Bildaufnahme einer von mindestens zwei Klassen zuzuordnen. Die Klassenzuordnung kann von dem Modell des maschinellen Lernens z.B. in Form einer Zahl ausgegeben werden. So kann beispielsweise die Zahl 0 Bildaufnahmen von Vorrichtungen repräsentieren, die keine Funktionsbeeinträchtigung zeigen; die Zahl 1 kann Bildaufnahmen von Vorrichtungen repräsentieren, die eine erste spezifische Funktionsbeeinträchtigung aufweisen; die Zahl 2 kann Bildaufnahmen von Vorrichtungen repräsentieren, die eine zweite spezifische Funktionsbeeinträchtigung aufweisen, usw.
Es ist auch möglich, dass das Modell des maschinellen Lernens konfiguriert ist, für jede Bildaufnahme einen Vektor auszugeben, wobei der Vektor für jede Funktionsbeeinträchtigung an einer Koordinate des Vektors eine Zahl umfasst, die angibt, ob die jeweilige Funktionsbeeinträchtigung in der Bildaufnahme repräsentiert ist (also bei der Vorrichtung vorhanden ist) oder nicht repräsentiert ist (d.h. bei der Vorrichtung nicht vorhanden ist). Ein solches Vorgehen hat den Vorteil, dass verschiedene Funktionsbeeinträchtigungen, die bei einer Vorrichtung gleichzeitig vorliegen, auch nebeneinander erkannt werden. In einem solchen Vektor kann die Zahl 0 angeben, dass eine spezifische Funktionsbeeinträchtigung nicht vorliegt und die Zahl 1 angeben, dass die spezifische Funktionsbeeinträchtigung vorliegt. Die Stelle in dem Vektor (Koordinate), an der die jeweilige Zahl auftritt, kann Auskunft darüber ergeben, um welche spezifische Funktionsbeeinträchtigung es sich jeweils handelt.
Es ist auch möglich, dass das Modell des maschinellen Lernens konfiguriert ist, für eine oder mehrere (spezifische) Funktionsbeeinträchtigungen eine Wahrscheinlichkeit anzugeben, mit der die (spezifische) Funktionsbeeinträchtigung bei der jeweils Vorrichtung auftritt. Die Wahrscheinlichkeit kann beispielsweise als ein Wert im Bereich von 0 bis 1 angegeben werden, wobei die Wahrscheinlichkeit um so größer ist, je größer der Wert ist.
Es ist auch möglich, dass das Modell des maschinellen Lernens konfiguriert ist, für eine oder mehrere (spezifische) Funktionsbeeinträchtigungen einen Schweregrad auszugeben, mit der die (spezifische) Funktionsbeeinträchtigung bei der jeweils Vorrichtung auftritt.
Die von dem Modell des maschinellen Lernens auf Basis einer eingegebenen Bildaufnahme ausgegebene Ausgabe (Ausgabedaten) kann mit den Zieldaten verglichen werden. Mit Hilfe einer Fehlerfunktion können Abweichungen zwischen den Ausgabedaten und den Zieldaten quantifiziert werden. In einem Optimierungsverfahren (z.B. einem Gradientenverfahren) können die Abweichungen durch Modifizieren von Modellparametern reduziert werden. Erreichen die Abweichungen ein (vordefiniertes) Minimum oder erreichen sie ein Plateau, kann das Training beendet werden. Das trainierte Modell des maschinellen Lernens kann zur Erkennung einer oder mehrerer Funktionsbeeinträchtigungen und optional ihrer Schwere bei der Vorrichtung verwendet werden.
Hierzu kann eine neue Bildaufnahme von einem Bildaufnahmebereich dem Modell des maschinellen Lernens zugeführt werden. Dabei bedeutet der Begriff „neu“, dass die entsprechende Bildaufnahme nicht bereits zum Trainieren des Modells des maschinellen Lernens verwendet wurde. Das trainierte Modell des maschinellen Lernens ordnet die neue Bildaufnahme einer der mindestens zwei Klassen zu, die beim Trainieren des Modells des maschinellen Lernens verwendet wurden. Das trainierte Modell des maschinellen Lernens gibt eine Information aus, welcher Klasse das Modell des maschinellen Lernens die Bildaufnahme zugeordnet hat. Es ist möglich, dass das trainierte Modell des maschinellen Lernens eine Information ausgibt, mit welcher Wahrscheinlichkeit eine oder mehrere Funktionsbeeinträchtigungen vorliegen und/oder wie schwerwiegend sie sind und/oder mit welchem Schweregrad sie auftreten.
Die Ausgabe des Modells des maschinellen Lernens kann auf einem Bildschirm angezeigt, auf einem Drucker ausgedruckt, in einem Datenspeicher gespeichert und/oder an ein separates Computersystem übermittelt werden (z.B. über ein Netzwerk).
Die Ausgabe des Modells des maschinellen Lernens kann dazu verwendet werden, Bildaufnahmen, die Vorrichtungen mit einer Funktionsbeeinträchtigung (oder mit mehreren Funktionsbeeinträchtigungen) repräsentierten, automatisch auszusortieren. In einem solchen Fall wird eine Bildaufnahme einer Vorrichtung in einem ersten Schritt gemäß der vorliegenden Offenbarung auf das Vorliegen einer Funktionsbeeinträchtigung (oder mehrerer Funktionsbeeinträchtigungen) analysiert, bevor es in einem nachfolgenden zweiten Schritt analysiert wird, um Pflanzen auf dem Feld zu detektieren und/oder zu identifizieren. Es ist möglich, dass nur diejenigen Bildaufnahmen, bei denen die Analyse im ersten Schritt ergeben hat, dass sie keine Funktionsbeeinträchtigung aufweisen, dem zweiten Schritt zum Detektieren und/oder Identifizieren von Pflanzen auf dem Feld zugeführt werden. Es ist auch möglich, dass nur diejenigen Bildaufnahmen, bei denen die Analyse im ersten Schritt ergeben hat, dass sie keine Funktionsbeeinträchtigung oder lediglich eine Funktionsbeeinträchtigung mit einem geringen Schweregrad der zweiten Analyse zum Detektieren und/oder Identifizieren von Pflanzen auf dem Feld zugeführt werden. Ebenso ist es möglich, dass nur Bildaufnahmen mit spezifischen Funktionsbeeinträchtigungen oder mit spezifischen Funktionsbeeinträchtigungen eines vordefinierten Schweregrades oder einer Mindestanzahl an vorliegenden verschiedenen Funktionsbeeinträchtigungen aussortiert werden. Es ist möglich, dass ein Nutzer vorab spezifizieren kann, welche Bildaufnahmen aussortiert werden sollen. Als dritter Schritt erfolgt optional dann das Sprühen eines Pflanzenschutzmittels auf die detektierten und/oder identifizierten Pflanzen.
Führt das trainierte Modell des maschinellen Lernens eine Zuordnung einer Bildaufnahme zu einer Klasse durch, die Bildaufnahmen mit Vorrichtungen mit einer Funktionsbeeinträchtigung repräsentieren, kann gegenüber einem Nutzer eine Mitteilung ausgegeben werden. Eine solche Mitteilung kann den Nutzer darüber informieren, dass eine Funktionsbeeinträchtigung bei einer Vorrichtung vorliegt. Die Mitteilung kann den Nutzer darüber informieren, dass eine Bildaufnahme nicht analysiert wird, um Pflanzen auf dem Feld zu detektieren und/oder zu identifizieren, weil die Vorrichtung eine Funktionsbeeinträchtigung aufweist. Eine Mitteilung an einen Nutzer kann folgende Informationen umfassen: welche Vorrichtung ist betroffen (falls mehrere Vorrichtungen im Einsatz sind kann z.B. ein Standort der betroffenen Vorrichtung angegeben werden); Standort der Bilderfassungseinheit (mit welcher die empfangene Bildaufnahme einer Vorrichtung mit einer Funktionsbeeinträchtigung getätigt wurde); welche Funktionsbeeinträchtigung liegt vor; wie schwer ist die Funktionsbeeinträchtigung; welche Maßnahmen können ergriffen werden, um die volle Funktionalität der Vorrichtung wiederherzustellen; wann sollten die Maßnahmen ergriffen werden, um eine weitere Funktionsbeeinträchtigung zu vermeiden. Es ist auch möglich, dass die Bildaufnahme, bei der das trainierte Modell des maschinellen Lernens eine Funktionsbeeinträchtigung erkannt hat, ebenfalls gegenüber dem Nutzer ausgegeben wird, damit sich der Nutzer selbst ein Bild von der Funktionsbeeinträchtigung machen kann.
Ist die Ausgabe des trainierten Modells des maschinellen Lernens ein Wahrscheinlichkeitswert für das Vorliegen einer Funktionsbeeinträchtigung, kann dieser Wahrscheinlichkeitswert mit einem vordefmierten Schwellenwert verglichen werden. Ist der Wahrscheinlichkeitswert größer als der Schwellenwert oder gleich dem Schwellenwert, kann eine Mitteilung über das Vorliegen einer Funktionsbeeinträchtigung bei der Vorrichtung gegenüber einem Nutzer ausgegeben werden. Ist der Wahrscheinlichkeitswert kleiner als der Schwellenwert, so kann die Bildaufnahme einer Analyse zum Detektieren und/oder Identifizieren von Pflanzen auf dem Feld zugeführt werden.
Es ist denkbar, dass es mehr als einen Schwellenwert gibt, mit dem der Wahrscheinlichkeitswert verglichen wird. Es ist beispielsweise möglich, dass es einen oberen Schwellenwert und einen unteren Schwellenwert gibt. Bei einem Wahrscheinlichkeitswert, der unterhalb des unteren Schwellenwerts liegt, ist die Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung so gering, dass der Nutzer nicht informiert werden muss. Die Bildaufnahme kann einer Analyse zum Detektieren und/oder Identifizieren von Pflanzen auf dem Feld zugeführt werden. Liegt der Wahrscheinlichkeitswert oberhalb des oberen Schwellenwerts, ist die Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung so groß, dass gegenüber dem Nutzer eine Mitteilung über das Vorliegen einer Funktionsbeeinträchtigung ausgegeben wird. Es ist möglich, dass die Bildaufnahme keiner Analyse zum Detektieren und/oder Identifizieren von Pflanzen auf dem Feld zugeführt wird. Liegt der Wahrscheinlichkeitswert in dem Bereich von dem unteren Schwellenwert bis zum oberen Schwellenwert, herrscht eine gewisse Unklarheit darüber, ob eine Funktionsbeeinträchtigung vorliegt oder nicht. Diese Unsicherheit kann daraus resultieren, dass die Bildaufnahme eine vergleichsweise geringe Qualität aufweist. Es ist möglich, dass ein Befehl an die Steuereinheit der Vorrichtung übermittelt wird, eine weitere Bildaufnahme zu erzeugen, um diese weitere Bildaufnahme ebenfalls dem trainierten Modell des maschinellen Lernens zum Erkennen einer Funktionsbeeinträchtigung zuzuführen. Es ist möglich, dass bei der Erzeugung der weiteren Bildaufnahme Parameter verändert werden, um die Qualität der Bildaufnahme zu erhöhen. Zum Beispiel kann die Belichtungszeit vergrößert werden und/oder die Beleuchtung des Bildaufnahmebereichs durch eine oder mehrere Beleuchtungseinheiten verstärkt werden und/oder es können Filter (Farbfdter, Polarisationsfilter und/oder dergleichen) eingesetzt werden. Die weitere Bildaufnahme kann dann Klarheit darüber geben, ob eine Funktionsbeeinträchtigung vorliegt oder nicht. Es ist aber auch möglich, dass die Unsicherheit über das Vorliegen einer Funktionsbeeinträchtigung daraus resultiert, dass sich eine Funktionsbeeinträchtigung gerade erst abzeichnet, d.h., dass nur eine vergleichsweise geringe Funktionsbeeinträchtigung vorliegt (z.B. eine leichte Verschmutzung). Es ist beispielsweise möglich, dass die Steuereinheit der Vorrichtung durch einen Befehl veranlasst wird, das Zeitintervall zwischen zwei aufeinanderfolgenden Bildaufnahmen zu verkleinern. Bildaufnahmen werden dann in geringeren zeitlichen Abstand zueinander aufgenommen, um eine weitere Funktionsbeeinträchtigung und/oder ein Erhöhen des Schweregrads der Funktionsbeeinträchtigung frühzeitig zu erkennen. Schwellenwerte können von einem Experten aufgrund seiner Erfahrung festgelegt werden. Sie können aber auch von einem Nutzer festgelegt werden. Es ist möglich, dass der Nutzer selbst entscheiden kann, ob er bereits bei einer geringeren Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung informiert werden möchte, oder ob der Nutzer eher dann informiert werden möchte, wenn die Wahrscheinlichkeit für das Vorliegen einer Funktionsbeeinträchtigung vergleichsweise hoch ist.
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann ein künstliches neuronales Netz sein oder ein solches umfassen. Ein „künstliches neuronales Netzwerk“ umfasst mindestens drei Schichten von Verarbeitungselementen: eine erste Schicht mit Eingangsneuronen (Knoten), eine k-te Schicht mit mindestens einem Ausgangsneuron (Knoten) und k-2 innere Schichten, wobei k eine natürliche Zahl und größer als 2 ist.
Die Eingangsneuronen dienen zum Empfangen der Eingabe -Repräsentationen. Üblicherweise gibt es ein Eingangsneuron für jedes Pixel einer Bildaufnahme, die in das künstliche neuronale Netz eingegeben wird. Es können zusätzliche Eingangsneuronen für zusätzliche Eingangswerte (z.B. Informationen zur Bildaufnahme, der Vorrichtung, Parameter der Kamera, Witterungsbedingungen bei der Erzeugung der Bildaufnahme und/oder dergleichen) vorhanden sein.
Die Ausgangsneuronen können dazu dienen, eine Information auszugeben, welcher Klasse die eingegebene Bildaufnahme zugeordnet wurde und/oder mit welcher Wahrscheinlichkeit sie der Klasse zugeordnet wurde.
Die Verarbeitungselemente der Schichten zwischen den Eingangsneuronen und den Ausgangsneuronen sind in einem vorbestimmten Muster mit vorbestimmten Verbindungsgewichten miteinander verbunden.
Das Trainieren des neuronalen Netzwerks kann beispielsweise mittels eines Backpropagation- Verfahrens durchgeführt werden. Dabei wird für das Netzwerk eine möglichst zuverlässige Abbildung der Eingabedaten auf die Zieldaten angestrebt. Die Qualität der Vorhersage wird durch eine Fehlerfunktion beschrieben. Das Ziel ist die Minimierung der Fehlerfunktion. Das Einlemen eines künstlichen neuronalen Netzwerks erfolgt bei dem Backpropagation-Verfahren durch die Änderung der Verbindungsgewichte.
Im trainierten Zustand enthalten die Verbindungsgewichte zwischen den Verarbeitungselementen Informationen bezüglich des Zusammenhangs zwischen Bildaufnahmen und Funktionsbeeinträchtigungen der Vorrichtungen, die verwendet werden können, um auf Basis einer neuen Bildaufnahme eine Funktionsbeeinträchtigung einer Vorrichtung frühzeitig zu erkennen. Dabei bedeutet der Begriff „neu“, dass die neue Bildaufnahme nicht bereits beim Trainieren des künstlichen neuronalen Netzwerks verwendet wurde.
Eine Kreuzvalidierungsmethode kann verwendet werden, um die Daten in Trainings- und Validierungsdatensätze aufzuteilen. Der Trainingsdatensatz wird beim Backpropagation-Training der Netzwerkgewichte verwendet. Der Validierungsdatensatz wird verwendet, um zu überprüfen, mit welcher Vorhersagegenauigkeit sich das trainierte Netzwerk auf unbekannte (neue) Daten anwenden lässt.
Bei dem künstlichen neuronalen Netzwerk kann es sich um ein so genanntes Convolutional Neural Network (kurz: CNN) handeln oder es kann ein solches umfassen.
Ein Convolutional Neural Network („CNN“) ist in der Lage, Eingabedaten in Form einer Matrix zu verarbeiten. Dies ermöglicht es, als Matrix dargestellte Bildaufnahmen (z.B. Breite x Höhe x Farbkanäle) als Eingabedaten zu verwenden. Ein neuronales Netzwerk z.B. in Form eines Multi-Lay er- Perceptrons (MLP) benötigt dagegen einen Vektor als Eingabe, d.h. um eine Bildaufnahme als Eingabe zu verwenden, müssten die Bildelemente (Pixel) der Bildaufnahme in einer langen Kette hintereinander ausgerollt werden. Dadurch sind Multi-Layer-Perceptrons z.B. nicht in der Lage, Objekte in einer Bildaufnahme unabhängig von der Position des Objekts in der Bildaufnahme zu erkennen. Das gleiche Objekt an einer anderen Position in der Bildaufnahme hätte einen anderen Eingabevektor.
Ein CNN besteht üblicherweise im Wesentlichen aus Filtern (Convolutional Layer) und Aggregations- Schichten (Pooling Layer), die sich abwechselnd wiederholen, und am Ende aus einer Schicht oder mehreren Schichten von vollständig verbundenen Neuronen (Dense / Fully Connected Layer).
In der wissenschaftlichen Literatur sind zahlreiche Architekturen von künstlichen neuronalen Netzwerken beschrieben, die zur Zuordnung eines Bildes zu einer Klasse (engl.: image classification) verwendet werden. Beispiele sind Xception (siehe z.B.: F. Chollet: Xception: Deep Learning with Depthwise Separable Convolutions, 2017, 1800-1807, 10. 1109/CVPR.2017.195), ResNet (siehe z.B.: J. Liang: Image classification based on RESNET, Journal of Physics: Conference Series, 2020, 1634, 012110), EfficientNet (siehe z.B.: T. Mingxing Tan et al. '. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks, arXiv:1905.11946v5), DenseNet (siehe z.B.: G. Wang et al.'. Study on Image Classification Algorithm Based on Improved DenseNet , Journal of Physics: Conference Series, 2021, 1952, 022011), Inception (siehe z.B. J. Bankar et al. '. Convolutional Neural Network based Inception v3 Model for Animal Classification, International Journal of Advanced Research in Computer and Communication Engineering, 2018, Vol. 7, Issue 5) und andere (siehe z.B.: M. Tripathi: Analysis of Convolutional Neural Network based Image Classification Techniques. Journal of Innovative Image Processing, 2021, 3, 100-117; K. He et al. '. Deep Residual Learning for Image Recognition, arXiv:1512.03385vl; M. Aamir et al.'. An Optimized Architecture of Image Classification Using Convolutional Neural Network, International Journal of Image, Graphics and Signal Processing, 2019, 11, 30-39).
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann eine solche oder eine vergleichbare Architektur aufweisen.
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann ein Transformer sein oder einen solchen umfassen. Ein Transformer ist ein Modell, das eine Folge von Zeichen in eine andere Folge von Zeichen übersetzen kann und dabei Abhängigkeiten zwischen weit entfernten Zeichen berücksichtigen kann. Ein solches Modell kann z.B. benutzt werden, um Text von einer Sprache in eine andere zu übersetzen. Ein Transformer umfasst in Serie geschaltete Kodierer (Encoder) und in Serie geschaltete Dekodierer (Decoder). Transformer wurden bereits erfolgreich zur Klassierung von Bildern eingesetzt (siehe z.B.: A. Dosovitskiy et al.: An image is worth 16 x 16 Words: Transformers for image recognition at scale, arXiv:2010.11929v2; A. Khan et al.'. Transformers in Vision: A Survey, arXiv:2101.01169v5).
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann eine hybride Architektur aufweisen, in der beispielsweise Elemente eines CNN mit Elementen eines Transformers kombiniert sind.
Das Modell des maschinellen Lernens der vorliegenden Offenbarung kann nach Standardverfahren (Zufallsinitialisierung, He-Initialisierung, Xavier-Initialisierung etc.) initialisiert werden. Es kann aber auch auf Basis von öffentlich zugänglichen, bereits annotierten Bildern (siehe z.B. https://www.image- net.org) vortrainiert sein. Das Training des Modells des maschinellen Lernens kann also entsprechend auf Initialisierung oder Vortraining aufsetzen und kann auch Transfer-Learning einschließen, so dass nur Teile der Gewichte / Parameter des Modells des maschinellen Lernens neu trainiert werden.
Das Modell des maschinellen Lernens kann eine Autoencoder- Architektur aufweisen. Ein "Autoencoder" ist ein künstliches neuronales Netzwerk, das zum Erlernen effizienter Datenkodierungen in einem unüberwachten Lemverfahren verwendet werden kann. Im Allgemeinen besteht die Aufgabe eines Autoencoders darin, eine komprimierte Repräsentation für einen Datensatz zu erlernen und somit wesentliche Merkmale zu extrahieren. Dadurch kann er zur Dimensionsreduktion verwendet werden, indem das Netz darauf trainiert wird, "Rauschen" zu ignorieren. Ein Autoencoder umfasst einen Encoder, einen Decoder und eine Schicht zwischen dem Encoder und dem Decoder, die eine geringere Dimension aufweist als die Eingabeschicht des Encoders und die Ausgabeschicht des Decoders. Diese Schicht (im Englischen oft als bottleneck, encoding oder embedding bezeichnet) zwingt den Encoder, eine komprimierte Repräsentation der Eingabedaten zu erzeugen, bei der Rauschen minimiert ist, und die für den Decoder ausreichend ist, um die Eingabedaten zu rekonstruieren. Der Autoencoder kann also trainiert werden, für eine eingegebene Bildaufnahme eine komprimierte Repräsentation der Bildaufnahme zu erzeugen. Der Autoencoder kann beispielsweise ausschließlich auf Basis von Bildaufnahmen trainiert werden, die keine Funktionsbeeinträchtigung der Vorrichtung repräsentieren. Der Autoencoder kann aber auch auf Basis von Bildaufhahmen trainiert werden, die Vorrichtungen mit und ohne Funktionsbeeinträchtigung repräsentieren. Ist der Autoencoder trainiert, kann der Decoder verworfen werden und der Encoder kann verwendet werden, für jede eingegebene Bildaufnahme eine komprimierte Repräsentation zu erzeugen. Wird eine neue Vorrichtung verwendet, kann beim ersten Gebrauch eine erste Bildaufnahme von Vorrichtung erzeugt werden. Diese erste Bildaufnahme, die die Vorrichtung ohne eine Funktionsbeeinträchtigung repräsentiert, kann als eine Referenz verwendet werden. Von der ersten Bildaufnahme kann eine komprimierte Repräsentation mit Hilfe des Encoders des trainierten Autoencoders erzeugt werden. Diese komprimierte Repräsentation ist die Referenz- Repräsentation. Im Betrieb der Vorrichtung können von Bildaufnahmen, die von der Bilderfassungseinheit der Vorrichtung erzeugt werden, komprimierte Repräsentationen mit Hilfe des Encoders erzeugt werden. Je ähnlicher eine komprimierte Repräsentation der Referenz-Bildaufnahme ist, desto unwahrscheinlicher ist es, dass eine Funktionsbeeinträchtigung vorliegt. Je mehr sich eine komprimierte Repräsentation von der Referenz-Bildaufnahme unterscheidet, desto wahrscheinlicher ist es, dass eine Funktionsbeeinträchtigung vorliegt. Die Ähnlichkeit von Repräsentationen kann mittels eines Ähnlichkeits- oder Distanzmaßes quantifiziert werden. Beispiele für solche Ähnlichkeits- oder Distanzmaße sind Co sinus -Ähnlichkeit, Manhattan-Distanz, Euklidischer Abstand, Minkowski- Distanz, Lp-Norm, Tschebyscheff-Abstand. Überschreitet ein Distanzmaß oder unterschreitet ein Ähnlichkeitsmaß einen vordefinierten Schwellenwert, der von einem Experten festgelegt oder von einem Nutzer spezifiziert werden kann, kann eine Mitteilung ausgegeben werden, dass eine Funktionsbeeinträchtigung vorliegt, und/oder kann Bildaufnahme aussortiert werden.
Ein Beispiel für eine Architektur eines Autoencoders ist das U-Net (siehe z.B. O. Ronneberger et al.-. U-net: Convolutional networks for biomedical image segmentation, International Conference on Medical image computing and computer-assisted intervention, Seiten 234-241, Springer, 2015, https://doi.org/10.1007/978-3-319-24574-4_28).
Es ist auch möglich, für das Modell des maschinellen Lernens der vorliegenden Erfindung eine Architektur zu verwenden, wie sie beispielsweise in der folgenden Publikation beschrieben ist: J. Dippel, S. Vogler, S. Höhne: Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling, arXiv:2104.04323v2. Der dort beschriebene Autoencoder weist neben einem Encoder und einem Decoder noch einen Strang (projection head) auf, der auf Basis der komprimierten Repräsentation, die der Encoder erzeugt, eine Ausgabe erzeugt, die angibt, ob die Bildaufnahme eine Vorrichtung mit einer Funktionsbeeinträchtigung oder ohne Funktionsbeeinträchtigung repräsentiert. Mit anderen Worten, der Autoencoder wird nicht nur trainiert, eine komprimierte Repräsentation der Eingabedaten zu erzeugen und die Eingabedaten auf Basis der komprimierten Repräsentation zu rekonstruieren, sondern der Autoencoder wird gleichzeitig trainiert, Bildaufnahmen von Vorrichtungen mit Funktionsbeeinträchtigung von Bildaufnahmen von Vorrichtungen ohne Funktionsbeeinträchtigung zu unterscheiden (kontrastive Rekonstruktion). Ist der Autoencoder trainiert, kann der Encoder beispielsweise verwendet werden, für eine erste Bildaufnahme einer erstmalig verwendeten neuen Vorrichtung eine komprimierte Referenz-Repräsentation zu erzeugen. Diese komprimierte Referenz-Repräsentation wird im Betrieb der Vorrichtung mit komprimierten Repräsentationen von Bildaufnahmen, die während des Betriebs erzeugt werden, verglichen, und im Fall einer definierten Abweichung wird eine Mitteilung ausgegeben, dass eine Funktionsbeeinträchtigung vorliegt. Ebenso ist es möglich, den Encoder zusammen mit dem Projektionsoperator (projection head) direkt für eine Klassierung zu verwenden. Weitere Techniken zur Klassierung von Bildern sind beispielsweise beschrieben in S.V.S. Prasad et al. : Techniques in Image Classification - A Survey, Global Journal of Researches in Engineering (F), 2015, Volume XV, Issue, VI, Version I, 17-32; K. Sanghvi et al.'. A Survey on Image Classification Techniques, 2020, http://dx.doi.org/10.2139/ssrn.3754116 und können ebenfalls zur Ausführung der vorliegenden Erfindung verwendet werden.
Die Erfindung wird nachfolgend anhand von Zeichnungen näher erläutert, ohne die Erfindung auf die in den Zeichnungen dargestellten Merkmale und Merkmalskombinationen beschränken zu wollen.
Fig. 1 zeigt schematisch und beispielhaft das Training eines Modells des maschinellen Lernens. Das Modell des maschinellen Lernens wird mit Hilfe von Trainingsdaten TD trainiert. Die Trainingsdaten TD umfassen eine Vielzahl von Bildaufnahmen. Jede Bildaufnahme I zeigt zumindest einen Teil eines Feldes und optional zumindest einen Teil der Vorrichtung (in Fig. 1 nicht dargestellt). Die Trainingsdaten TD umfassen ferner für jede Bildaufnahme I eine Information A, ob die in der Bildaufnahme I abgebildete Vorrichtung eine Funktionsbeeinträchtigung aufweist oder ob sie keine Funktionsbeeinträchtigung aufweist. Es ist möglich, dass die Information A Informationen darüber umfasst, welche spezifische Funktionsbeeinträchtigung im Einzelfall vorliegt und/oder wie schwerwiegend die Funktionsbeeinträchtigung ist und/oder welchen Schweregrad die Funktionsbeeinträchtigung aufweist. In Fig. 1 ist der Übersicht halber nur ein Trainingsdatensatz umfassend eine Bildaufnahme I mit einer Information A gezeigt; die Trainingsdaten umfassen aber eine Vielzahl solcher Trainingsdatensätze. Die Bildaufnahme I stellt Eingabedaten für das Modell MLM des maschinellen Lernens dar. Die Information A stellt Zieldaten für das Modell MLM des maschinellen Lernens dar. Die Bildaufnahme I wird dem Modell MLM des maschinellen Lernens zugeführt. Das Modell MLM des maschinellen Lernens ordnet die Bildaufnahme einer von mindestens zwei Klassen zu. Die Zuordnung erfolgt auf Basis der Bildaufnahme I und auf Basis von Modellparametern MP. Das Modell MLM des maschinellen Lernens gibt eine Information O aus, die angibt, welcher Klasse die Bildaufnahme zugeordnet wurde und/oder mit welcher Wahrscheinlichkeit die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet wurde. Die ausgegebene Information O wird mit der Information A verglichen. Eine Fehlerfunktion LF wird verwendet, um die Abweichungen zwischen der Information O (Ausgabe) und der Information A (Zieldaten) zu quantifizieren. Für jedes Paar aus Information A und Information O kann ein Fehlerwert LV berechnet werden. Der Fehlerwert LV kann in einem Optimierungsverfahren (z.B. einem Gradientenverfahren) durch Modifizieren von Modellparametern MP reduziert werden. Das Ziel des Trainings kann es sein, den Fehlerwert für alle Bildaufnahmen auf ein vordefiniertes Minimum zu reduzieren. Ist das vordefinierte Minimum erreicht, kann das Training beendet werden.
Fig. 2 zeigt schematisch die Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen. Das trainierte Modell MLM1 des maschinellen Lernens kann in einem Trainingsverfahren, wie es in Bezug zu Fig. 1 beschrieben wurde, trainiert worden sein. Dem trainierten Modell MLM1 des maschinellen Lernen wird eine neue Bildaufnahme I* zugeführt. Die neue Bildaufnahme I* zeigt zumindest einen Teil eines Feldes und optional zumindest einen Teil der Vorrichtung. Das Modell ordnet die neue Bildaufnahme I* einer der mindestens zwei Klassen zu, für die das trainierte Modell MLM1 des maschinellen Lernens trainiert worden ist. Das trainierte Modell MLM1 des maschinellen Lernens gibt eine Information O aus, die angibt, welcher Klasse die Bildaufnahme zugeordnet wurde und/oder mit welcher Wahrscheinlichkeit die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet wurde. Die Information O kann einem Nutzer gegenüber ausgegeben werden.
Fig. 3 zeigt schematisch ein weiteres Beispiel für das Trainieren eines Modells des maschinellen Lernens. Das Modell des maschinellen Lernens weist ein Autoencoder-Architektur auf. Der Autoencoder AE umfasst einen Encoder E und einen Decoder D. Der Encoder ist konfiguriert, auf Basis von Modellparametem MP für eine Bildaufnahme I eine komprimierte Repräsentation CR zu erzeugen. Der Decoder ist konfiguriert, auf Basis der komprimierten Repräsentation CR und auf Basis von Modellparametern MP eine rekonstruierte Bildaufnahme RI zu erzeugen, die der Bildaufnahme I möglichst nahe kommt. Eine Fehlerfunktion LF kann verwendet werden, um Abweichungen zwischen der Bildaufnahme I und der rekonstruierten Bildaufnahme RI zu quantifizieren. Die Abweichungen können in einem Optimierungsverfahren (z.B. in einem Gradientenverfahren) durch Modifizieren von Modellparametern MP minimiert werden. Der Autoencoder AE wird üblicherweise auf Basis einer Vielzahl von Bildaufnahmen in einem unüberwachten Lernverfahren trainiert. In Fig. 3 ist nur eine Bildaufnahme I der Vielzahl von Bildaufnahmen gezeigt. lede Bildaufnahme der Vielzahl von Bildaufnahmen zeigt zumindest einen Teil eines Feldes und optional zumindest einen Teil der Vorrichtung. Die Bestandteile der Vorrichtung(en) können eine oder mehrere Funktionsbeeinträchtigungen aufweisen oder frei von Funktionsbeeinträchtigungen sein.
Fig. 4 zeigt schematisch ein weiteres Beispiel einer Verwendung eines trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen. Das trainierte Modell des maschinellen Lernens kann in einem Trainingsverfahren, wie es in Bezug zu Fig. 3 beschrieben wurde, trainiert worden sein. Bei dem trainierten Modell des maschinellen Lernens kann es sich um einen Encoder E eines Autoencoders handeln. Der Encoder E ist in Fig. 4 zweimal dargestellt; es handelt sich aber in beiden Fällen um denselben Encoder; er ist lediglich zur bildhaften Darstellung des Erkennungsverfahrens zweimal dargestellt. In einem ersten Schritt wird dem Encoder E eine erste Bildaufnahme Ii* eines Bildaufnahmebereichs zugeführt. Das Sternchen * zeigt an, dass die Bildaufnahme L* nicht zum Trainieren des Modells des maschinellen Lernens verwendet wurde. Bei der Bildaufnahme L * handelt es sich vorzugsweise um eine Bildaufnahme, die eine Vorrichtung ohne Funktionsbeeinträchtigung repräsentiert, die beispielsweise nach der erstem Gebrauch einer neuen Vorrichtung erzeugt worden sein kann. Der Encoder ist konfiguriert, für die erste Bildaufnahme L * eine erste komprimierte Repräsentation CRi zu erzeugen. Die erste komprimierte Repräsentation CRi kann als eine Referenz-Repräsentation verwendet werden. Sie kann in einem Datenspeicher gespeichert werden. Während des Betriebs der Vorrichtung werden weitere Bildaufnahmen des Bildaufnahmebereichs erzeugt. Fig. 4 zeigt mit der Bildaufnahme L* eine dieser weiteren Bildaufnahmen. Auch die Bildaufnahme I2* wird dem Encoder E zugeführt. Der Encoder E erzeugt für die Bildaufnahme I2* eine zweite komprimierte Repräsentation CR2. Die erste Repräsentation CRi und die zweite Repräsentation CR2 werden in einem nächsten Schritt miteinander verglichen. Bei diesem Vergleich wird ein Distanzmaß D berechnet, dass die Unterschiede zwischen der ersten Repräsentation CRi und der zweiten Repräsentation CR2 quantifiziert. In einem nächsten Schritt wird das Distanzmaß mit einem vordefmierten Schwellenwert T verglichen. Ist das Distanzmaß größer als der vordefmierte Schwellenwert T (, >“), wird eine Mitteilung M ausgegeben. Die Mitteilung M umfasst eine Information, dass die Vorrichtung, die in der Bildaufnahme I2* gezeigt ist, eine Funktionsbeeinträchtigung aufweist. Ist das Distanzmaß nicht größer als der vordefmierte Schwellenwert T („n“), wird die Bildaufnahme I2* einer Analyse DCI(l2*) zugeführt, um Pflanzen auf dem Feld in dem Bildaufnahmebereich der Vorrichtung zu detektieren und/oder die in dem Bildaufnahmebereich befindlichen Pflanzen zu identifizieren.
Fig. 5 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Trainieren eines Modells des maschinellen Lernens in Form eines Ablaufschemas.
Das Trainingsverfahren (100) umfasst die folgenden Schritte:
(HO) Empfangen und/oder Bereitstellen von Trainingsdaten, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen, o wobei die Eingabedaten eine Vielzahl von Bildaufnahmen von zumindest einem Teil eines Feldes zeigen und optional zumindest einen Teil der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen zeigen, o wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen, und mindestens eine zweite Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen,
(120) Bereitstellen eines Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist, auf Basis einer Bildaufnahme und auf Basis von Modellparametern die Bildaufnahme einer der mindestens zwei Klassen zuzuordnen,
(130) Trainieren des Modells des maschinellen Lernens mit den Trainingsdaten, wobei das Trainieren für jede Bildaufnahme umfasst:
(131) Zuführen der Bildaufnahme dem Modell des maschinellen Lernens,
(132) Empfangen einer Ausgabe von dem Modell des maschinellen Lernens, wobei die Ausgabe angibt, welcher Klasse das Modell des maschinellen Lernens die Bildaufnahme zugeordnet hat und/oder mit welcher Wahrscheinlichkeit das Modell des maschinellen Lernens die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet hat,
(133) Ermitteln einer Abweichung zwischen der Ausgabe und der Klassenzuordnung,
(134) Minimieren der Abweichung durch Modifizieren der Modellparameter,
(140) Speichern und/oder Ausgeben des trainierten Modells des maschinellen Lernens und/oder Verwenden des trainierten Modells des maschinellen Lernens zur Erkennung einer Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen.
Fig. 6 zeigt beispielhaft und schematisch ein computerimplementiertes Verfahren zum Erkennen einer Funktionsbeeinträchtigung bei einer Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen.
Das Erkennungsverfahren (200) umfasst die folgenden Schritte:
(210) Empfangen einer Bildaufnahme, wobei die empfangene Bildaufnahme zumindest einen Teil eines Feldes zeigt und optional auch zumindest einen Teil der Vorrichtung zeigt und durch die Bilderfassungseinheit der Vorrichtung aufgenommen wurde,
(220) Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen,
• wobei die Eingabedaten eine Vielzahl von Bildaufnahmen umfassen, die jeweils zumindest einen Teil eines Feldes zeigen und optional zumindest einen Teil der Vorrichtung zeigen,
• wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von der Vorrichtungen mit einer Bilderfassungs- und einer Bildererkennungseinheit von Pflanzen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen, und mindestens eine zweite Klasse Bildaufnahmen von Vorrichtungen mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen, (230) Zuführen der Bildaufnahme einem trainierten Modell des maschinellen Lernens,
(240) Empfangen einer Information von dem Modell des maschinellen Lernens, welcher Klasse die Bildaufnahme zugeführt wurde,
(250) wobei die Mitteilung, dass die Vorrichtung mit einer Bilderfassungs- und einer Bildererkennungseinheit von Pflanzen eine Funktionsbeeinträchtigung aufweist, ausgegeben wird, wenn die empfangene Bildaufnahme einer der mindestens einen zweiten Klasse zugeordnet wurde.
Die in dieser Offenbarung beschriebenen Schritte, Verfahren und/oder Funktionen können ganz oder teilweise von einem Computersystem ausgeführt werden.
Ein "Computersystem" ist ein System zur elektronischen Datenverarbeitung, das mittels programmierbarer Rechenvorschriften Daten verarbeitet. Ein solches System umfasst üblicherweise einen "Computer", diejenige Einheit, die einen Prozessor zur Durchführung logischer Operationen umfasst, sowie eine Peripherie.
Als "Peripherie" bezeichnet man in der Computertechnik alle Geräte, die an den Computer angeschlossen sind, und zur Steuerung des Computers und/oder als Ein- und Ausgabegeräte dienen. Beispiele hierfür sind Monitor (Bildschirm), Drucker, Scanner, Maus, Tastatur, Laufwerke, Kamera, Mikrofon, Lautsprecher etc. Auch interne Anschlüsse und Erweiterungskarten gelten in der Computertechnik als Peripherie.
Heutige Computersysteme werden häufig in Desktop-PCs, tragbare PCs, Laptops, Notebooks, Netbooks und Tablet-PCs sowie sogenannte Handhelds (z. B. Smartphone) unterteilt; alle diese Systeme können für die Durchführung der Erfindung verwendet werden.
Der Begriff "Computer" sollte weit ausgelegt werden und jede Art von elektronischem Gerät mit Datenverarbeitungsfähigkeiten umfassen, einschließlich, als nicht einschränkende Beispiele, Personalcomputer, Server, eingebettete Kerne, Kommunikationsgeräte, Prozessoren (z.B. digitale Signalprozessoren (DSP), Mikrocontroller, feldprogrammierbare Gate-Arrays (FPGA), anwendungsspezifische integrierte Schaltkreise (ASIC) usw.) und andere elektronische Rechengeräte.
Der Begriff "verarbeiten", wie er oben verwendet wird, soll jede Art von Berechnung oder Manipulation oder Umwandlung von Daten umfassen, die als physikalische, z.B. elektronische, Phänomene dargestellt werden und z.B. in Registern und/oder Speichern mindestens eines Computers oder Prozessors auftreten oder gespeichert werden können. Der Begriff "Prozessor" umfasst eine einzelne Verarbeitungseinheit oder eine Vielzahl verteilter oder entfernter solcher Einheiten.
Fig. 7 zeigt beispielhaft und schematisch eine Ausführungsform eines Computersystems der vorliegenden Offenbarung. Das Computersystem (1) umfasst eine Eingabeeinheit (10) eine Steuer- und Recheneinheit (20) und eine Ausgabeeinheit (30).
Die Steuer- und Recheneinheit (20) ist konfiguriert, die Eingabeeinheit zu veranlassen, eine Bildaufnahme zu empfangen, wobei die empfangene Bildaufnahme zumindest einen Teil eines Feldes und optional auch zumindest einen Teil einer Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen zeigt und durch eine Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen aufgenommen wurde, die empfangene Bildaufnahme einem trainierten Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen, o wobei die Eingabedaten eine Vielzahl von Bildaufnahmen umfassen, die jeweils zumindest einen Teil eines Feldes zeigen und optional zumindest einen Teil der Vorrichtung zeigen, o wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen und mindestens eine zweite Klasse Bildaufnahmen von Vorrichtungen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen, von dem Modell des maschinellen Lernens eine Information zu empfangen, welcher Klasse der mindestens zwei Klassen die Bildaufnahme zugeführt wurde und/oder mit welcher Wahrscheinlichkeit die Bildaufnahme einer oder mehreren der mindestens zwei Klassen zugeordnet wurde, die Ausgabeeinheit zu veranlassen, eine Mitteilung auszugeben, dass die Vorrichtung eine Funktionsbeeinträchtigung aufweist, falls die Bildaufnahme einer der mindestens einen zweiten Klasse zugeordnet wurde.
Fig. 8 zeigt beispielhaft und schematisch eine weitere Ausführungsform eines Computersystems der vorliegenden Offenbarung.
Das Computersystem (1) umfassteine Verarbeitungseinheit (20), die mit einem Speicher (50) verbunden ist.
Die Verarbeitungseinheit (20) (engl.: processing unit) kann einen oder mehrere Prozessoren allein oder in Kombination mit einem oder mehreren Speichern umfassen. Bei der Verarbeitungseinheit (20) kann es sich um gewöhnliche Computerhardware handeln, die in der Lage ist, Informationen wie z.B. digitale Bildaufnahmen, Computerprogramme und/oder andere digitale Informationen zu verarbeiten. Die Verarbeitungseinheit (20) besteht üblicherweise aus einer Anordnung elektronischer Schaltungen, von denen einige als integrierter Schaltkreis oder als mehrere miteinander verbundene integrierte Schaltkreise (ein integrierter Schaltkreis wird manchmal auch als "Chip" bezeichnet) ausgeführt sein können. Die Verarbeitungseinheit (20) kann konfiguriert sein, Computerprogramme auszuführen, die in einem Arbeitsspeicher der Verarbeitungseinheit (20) oder im Speicher (50) desselben oder eines anderen Computersystems gespeichert sein können.
Der Speicher (50) kann eine gewöhnliche Computerhardware sein, die in der Lage ist, Informationen wie z.B. digitale Bildaufnahmen (z.B. Repräsentationen des Untersuchungsbereichs), Daten, Computerprogramme und/oder andere digitale Informationen entweder vorübergehend und/oder dauerhaft zu speichern. Der Speicher (50) kann einen flüchtigen und/oder nichtflüchtigen Speicher umfassen und kann fest eingebaut oder entfembar sein. Beispiele für geeignete Speicher sind RAM (Random Access Memory), ROM (Read-Only Memory), eine Festplatte, ein Flash-Speicher, eine austauschbare Computerdiskette, eine optische Disc, ein Magnetband oder eine Kombination der oben genannten. Zu den optischen Discs können Compact Discs mit Nur-Lese-Speicher (CD-ROM), Compact Discs mit Lese-/Schreibfunktion (CD-R/W), DVDs, Blu-ray-Discs und ähnliche gehören.
Zusätzlich zum Speicher (50) kann die Verarbeitungseinheit (20) auch mit einer oder mehreren Schnittstellen (11, 12, 30, 41, 42) verbunden sein, um Informationen anzuzeigen, zu übertragen und/oder zu empfangen. Die Schnittstellen können eine oder mehrere Kommunikationsschnittstellen (41, 42) und/oder eine oder mehrere Benutzerschnittstellen (11, 12, 30) umfassen. Die eine oder mehrere Kommunikationsschnittstellen (41, 42) können so konfiguriert sein, dass sie Informationen senden und/oder empfangen, z.B. zu und/oder von anderen Computersystemen, Netzwerken, Datenspeichern oder dergleichen. Die eine oder mehrere Kommunikationsschnittstellen (41, 42) können so konfiguriert sein, dass sie Informationen über physische (verdrahtete) und/oder drahtlose Kommunikationsverbindungen übertragen und/oder empfangen. Die eine oder die mehreren Kommunikationsschnittstellen (41, 42) können eine oder mehrere Schnittstellen für die Verbindung mit einem Netzwerk enthalten, z.B. unter Verwendung von Technologien wie Mobiltelefon, Wi-Fi, Satellit, Kabel, DSL, Glasfaser und/oder dergleichen. In einigen Beispielen können die eine oder die mehreren Kommunikationsschnittstellen (41, 42) eine oder mehrere Nahbereichskommunikationsschnittstellen umfassen, die so konfiguriert sind, dass sie Geräte mit Nahbereichskommunikationstechnologien wie NFC, RFID, Bluetooth, Bluetooth LE, ZigBee, Infrarot (z. B. IrDA) oder Ähnlichem verbinden.
Die Benutzerschnittstellen (11, 12, 30) können eine Anzeige (30) umfassen. Eine Anzeige (30) kann so konfiguriert sein, dass sie einem Benutzer Informationen anzeigt. Geeignete Beispiele hierfür sind eine Flüssigkristallanzeige (LCD), eine Leuchtdiodenanzeige (LED), ein Plasmabildschirm (PDP) oder Ähnliches. Die Benutzereingabeschnittstelle(n) (11, 12) kann/können verdrahtet oder drahtlos sein und kann/können so konfiguriert sein, dass sie Informationen von einem Benutzer in das Computersystem (1) empfängt/empfangen, z.B. zur Verarbeitung, Speicherung und/oder Anzeige. Geeignete Beispiele für Benutzereingabeschnittstellen (11, 12) sind ein Mikrofon, ein Bild- oder Videoaufnahmegerät (z.B. eine Kamera), eine Tastatur oder ein Tastenfeld, ein Joystick, eine berührungsempfmdliche Oberfläche (getrennt von einem Touchscreen oder darin integriert) oder ähnliches. In einigen Beispielen können die Benutzerschnittstellen eine automatische Identifikations- und Datenerfassungstechnologie (AIDC) für maschinenlesbare Informationen enthalten. Dazu können Barcodes, Radiofrequenz-Identifikation (RFID), Magnetstreifen, optische Zeichenerkennung (OCR), Karten mit integrierten Schaltkreisen (ICC) und ähnliches gehören. Die Benutzerschnittstellen können ferner eine oder mehrere Schnittstellen für die Kommunikation mit Peripherie geräten wie Druckern und dergleichen umfassen.
Ein oder mehrere Computerprogramme (60) können im Speicher (50) gespeichert sein und von der Verarbeitungseinheit (20) ausgeführt werden, die dadurch programmiert wird, die in dieser Beschreibung beschriebenen Funktionen zu erfüllen. Das Abrufen, Laden und Ausführen von Anweisungen des Computerprogramms (60) kann sequentiell erfolgen, so dass jeweils ein Befehl abgerufen, geladen und ausgeführt wird. Das Abrufen, Laden und/oder Ausführen kann aber auch parallel erfolgen.

Claims

Patentansprüche
1. Computerimplementiertes Verfahren für eine Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen umfassend:
Empfangen einer Bildaufhahme, wobei die empfangene Bildaufhahme zumindest einen Teil eines Feldes zeigt und durch die Bilderfassungseinheit der Vorrichtung aufgenommen wurde,
Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von zumindest einem Teil eines Feldes mit einer Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen von Bildaufnahmen von einem Teil eines Feldes ohne Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen zu unterscheiden,
Zuführen der empfangenen Bildaufnahme dem trainierten Modell des maschinellen Lernens,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die Bildaufnahme von zumindest einem Teil eines Feldes auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen hinweist, für den Fall, dass die empfangen Bildaufnahme von zumindest einem Teil eines Feldes auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit von Pflanzen hinweist: Ausgeben einer Mitteilung, dass die empfangene Bildaufnahme auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit hinweist.
2. Ein Verfahren gemäß Anspruch 1, wobei die Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen eine Sprühvorrichtung ist.
3. Ein Verfahren gemäß Anspruch 2, umfassend:
Empfangen einer Bildaufnahme, wobei die empfangene Bildaufhahme zumindest einen Teil der Sprühvorrichtung und zumindest einen Teil eines Feldes zeigt und durch die Bilderfassungseinheit der Vorrichtung aufgenommen wurde,
Bereitstellen eines trainierten Modells des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von zumindest einem Teil der Sprühvorrichtung und zumindest einem Teil des Feldes mit einer Funktionsbeeinträchtigung der Sprühvorrichtung von Bildaufnahmen von zumindest einem Teil der Sprühvorrichtung und zumindest einem Teil des Feldes ohne Funktionsbeeinträchtigung der Sprühvorrichtung zu unterscheiden,
Zuführen der empfangenen Bildaufnahme dem trainierten Modell des maschinellen Lernens,
Empfangen einer Information von dem Modell des maschinellen Lernens, wobei die Information angibt, ob die Bildaufnahme von zumindest einem Teil der Sprühvorrichtung und zumindest einem Teil des Feldes auf eine Funktionsbeeinträchtigung der Sprühvorrichtung hinweist, für den Fall, dass die empfangen Bildaufnahme von zumindest einem Teil der Sprühvorrichtung und zumindest einem Teil des Feldes auf eine Funktionsbeeinträchtigung der Sprühvorrichtung hinweist: Ausgeben einer Mitteilung, dass die zumindest anteilig in der empfangenen Bildaufnahme gezeigte Sprühvorrichtung eine Funktionsbeeinträchtigung aufweist.
4. Verfahren gemäß Anspruch 1 bis 3, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen einer von mindestens zwei Klassen zuzuordnen, wobei die Trainingsdaten Eingabedaten und Zieldaten umfassen, o wobei die Eingabedaten eine Vielzahl von Bildaufnahmen umfassen, die jeweils zumindest einen Teil eines Feldes zeigen und optional zumindest einen Teil der Vorrichtung mit einer Bilderfassungs- und einer Bildererkennungseinheit von Pflanzen zeigen, o wobei die Zieldaten für jede Bildaufnahme eine Klassenzuordnung umfassen, wobei die Klassenzuordnung angibt, welcher Klasse von mindestens zwei Klassen die Bildaufnahme zugeordnet ist, wobei mindestens eine erste Klasse Bildaufnahmen von der Vorrichtungen mit einer Bilderfassungs- und einer Bildererkennungseinheit von Pflanzen repräsentiert, die keine Funktionsbeeinträchtigung aufweisen, und mindestens eine zweite Klasse Bildaufnahmen von Vorrichtungen mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen repräsentiert, die eine Funktionsbeeinträchtigung aufweisen, wobei das Empfangen einer Information von dem Modell des maschinellen Lernens umfasst: o Empfangen einer Information von dem Modell des maschinellen Lernens, welcher Klasse die Bildaufnahme zugeführt wurde, wobei die Mitteilung, dass die Vorrichtung mit einer Bilderfassungs- und einer Bildererkennungseinheit von Pflanzen eine Funktionsbeeinträchtigung aufweist, ausgegeben wird, wenn die empfangene Bildaufnahme einer der mindestens einen zweiten Klasse zugeordnet wurde.
5. Verfahren gemäß Anspruch 4, wobei das Trainieren des Modells des maschinellen Lernens für jede Bildaufnahme der Vielzahl an Bildaufnahmen umfasst:
Eingeben der Bildaufnahme in das Modell des maschinellen Lernens, wobei das Modell des maschinellen Lernens konfiguriert ist, auf Basis der eingegebenen Bildaufnahme und auf Basis von Modellparametem die Bildaufnahme einer von mindestens zwei Klassen zuzuordnen,
Empfangen einer Ausgabe von dem Modell des maschinellen Lernens, wobei die Ausgabe angibt, welcher der mindestens zwei Klassen die eingegebene Bildaufnahme von dem Modell des maschinellen Lernens zugeordnet wurde,
Quantifizieren einer Abweichung zwischen der Ausgabe und der Klassenzuordnung der Trainingsdaten,
Minimieren der Abweichung durch Modifizieren von Modellparametern.
6. Verfahren gemäß einem der Ansprüche 1 bis 5, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, die empfangene Bildaufnahme einer von mehreren Klassen zuzuordnen, wobei jede Klasse einer Mehrzahl von Klassen eine spezifische Funktionsbeeinträchtigung aufweist, wobei das Ausgeben der Mitteilung umfasst: Ausgeben einer Mitteilung, welche spezifische Funktionsbeeinträchtigung bei der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen vorliegt.
7. Verfahren gemäß einem der Ansprüche 1 bis 6, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, auf Basis der empfangenen Bildaufnahme für eine oder mehrere spezifische Funktionsbeeinträchtigungen eine Wahrscheinlichkeit auszugeben, mit der die spezifische Funktionsbeeinträchtigung auftritt, wobei das Ausgeben der Mitteilung umfasst: Ausgeben einer Mitteilung, mit welcher Wahrscheinlichkeit, die eine oder die mehreren spezifischen Funktionsbeeinträchtigungen bei der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen vorliegt.
8. Verfahren gemäß einem der Ansprüche 1 bis 7, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, auf Basis der empfangenen Bildaufnahme für eine oder mehrere spezifische Funktionsbeeinträchtigungen einen Schweregrad auszugeben, wobei das Ausgeben der Mitteilung umfasst: Ausgeben einer Mitteilung, mit welchem Schweregrad die eine oder die mehreren spezifischen Funktionsbeeinträchtigungen bei der Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen vorliegt.
9. Verfahren gemäß einem der Ansprüche 1 bis 8, wobei die Funktionsbeeinträchtigung und/oder die eine oder die mehreren spezifischen Funktionsbeeinträchtigungen der Vorrichtung ausgewählt sind aus der folgenden Liste:
Sichtfeld der Bilderfassungseinheit ist eingeschränkt,
Bilderfassungseinheit und/oder deren optische Elemente sind verschmutzt,
Bilderfassungseinheit ist defekt,
Bilderfassungseinheit erzeugt keine Aufnahmen von zumindest einem Teil eines Feldes,
Beleuchtungsquelle(n) defekt und/oder verschmutzt, es treten unerwünschte Reflexe auf.
10. Verfahren gemäß einem der Ansprüche 2 bis 9, wobei die Funktionsbeeinträchtigung und/oder die eine oder die mehreren spezifischen Funktionsbeeinträchtigungen der Vorrichtung ausgewählt sind aus der folgenden Liste:
Bilderfassungseinheit erzeugt keine Aufnahmen von zumindest einem Teil der Sprühvorrichtung,
Position und/oder Lage von Bestandteilen der Sprühvorrichtung sind verändert,
Pflanzenteile haben sich in der Sprühvorrichtung verfangen,
Der Spritzkegel der Sprühdüsen der Sprühvorrichtung entspricht nicht den Vorgaben bzw. die Sprühdüsen sind defekt.
11. Verfahren gemäß einem der Ansprüche 1 bis 10, wobei das Modell des maschinellen Lernens konfiguriert und trainiert ist, für die empfangene Bildaufnahme eine komprimierte Repräsentation zu erzeugen, wobei das Verfahren ferner umfasst: o Quantifizieren einer Ähnlichkeit und/oder eines Unterschieds zwischen der komprimierten Repräsentation und einer Referenz-Repräsentation durch Berechnen eines Ähnlichkeitsmaßes und/oder eines Distanzmaßes, wobei das Ausgeben der Mitteilung umfasst: Ausgeben der Mitteilung, dass die Vorrichtung mit einer Bilderfassungs- und einer Bilderkennungseinheit von Pflanzen eine Funktionsbeeinträchtigung aufweist, wenn das Ähnlichkeitsmaß unterhalb eines vordefinierten Schwellenwerts liegt und/oder das Distanzmaß oberhalb eines vordefmierten Schwellenwerts liegt.
12. Verfahren gemäß einem der Ansprüche 2 bis 11, wobei das Verfahren ferner umfasst: ausschließlich für den Fall, dass die empfangene Bildaufnahme eine Sprühvorrichtung ohne Funktionsbeeinträchtigung zeigt: Detektieren und/oder Identifizieren von Pflanzen auf dem Feld auf Basis der empfangenen Bildaufnahme mit der Bilderkennungseinheit für Pflanzen, Sprühen eines Pflanzenschutzmittels auf die detektierten und/oder identifizierten Pflanzen mit der Sprühvorrichtung.
13. Verfahren gemäß einem der Ansprüche 1 bis 12, wobei die Mitteilung ferner eine oder mehrere der folgenden Informationen umfasst:
Standort der Bilderfassungseinheit, mit welcher die empfangene Bildaufnahme der Vorrichtung mit einer Funktionsbeeinträchtigung getätigt wurde,
Informationen darüber, welche Funktionsbeeinträchtigung vorliegt,
Informationen darüber, wie schwerwiegend die Funktionsbeeinträchtigung ist,
Informationen darüber, welche Maßnahmen ergriffen werden können, um eine vollständige Funktionalität der Vorrichtung wiederherzustellen,
Informationen darüber, wann die Maßnahmen ergriffen werden sollten, um eine weitere Funktionsbeeinträchtigung zu verhindern, die empfangene Bildaufnahme.
14. Computersystem umfassend: eine Eingabeeinheit, eine Steuer- und Recheneinheit und eine Ausgabeeinheit, wobei die Steuer- und Recheneinheit konfiguriert ist, die Eingabeeinheit zu veranlassen, eine Bildaufnahme zu empfangen, wobei die empfangene Bildaufnahme zumindest einen Teil eines Feldes und optional auch zumindest einen Teil einer Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen zeigt und durch eine Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen aufgenommen wurde, die empfangene Bildaufnahme einem Modell des maschinellen Lernens zuzuführen, wobei das Modell des maschinellen Lernens konfiguriert ist und auf Basis von Trainingsdaten trainiert wurde, Bildaufnahmen von zumindest einem Teil eines Feldes und optional zumindest einem Teil einer Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen mit einer Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen von Bildaufnahmen von zumindest einem Teil eines Feldes und optional zumindest einem Teil einer Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen ohne Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen zu unterscheiden, von dem Modell des maschinellen Lernens eine Information zu empfangen, wobei die Information angibt, ob die empfangene Bildaufnahme eine Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen mit einer Funktionsbeeinträchtigung repräsentiert, die Ausgabeeinheit zu veranlassen, eine Mitteilung auszugeben, wobei die Mitteilung angibt, dass die empfangene Bildaufnahme auf eine Funktionsbeeinträchtigung der Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen hinweist, wenn die von dem Modell des maschinellen Lernens ausgegebene Information angibt, dass die empfangene Bildaufnahme eine Vorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen mit einer Funktionsbeeinträchtigung repräsentiert.
15. Nicht-flüchtiges computerlesbares Speichermedium, auf dem Softwarebefehle gespeichert sind, die, wenn sie von einem Prozessor eines Computersystems ausgeführt werden, das Computersystem veranlassen, das Verfahren gemäß einem der Ansprüche 1 bis 13 auszuführen.
16. Eine Sprühvorrichtung mit einer Bilderfassungs- und Bilderkennungseinheit für Pflanzen umfassend:
• eine Steuereinheit,
• eine Analyseneinheit,
• eine Ausgabeeinheit
• mindestens eine Bilderfassungseinheit, wobei die Steuereinheit konfiguriert ist, die mindestens eine Bilderfassungseinheit zu veranlassen, eine oder mehrere Bildaufnahmen von zumindest einem Teil eines Feldes und optional von zumindest einem Teil der Sprühvorrichtung zu erzeugen, wobei die Analyseneinheit konfiguriert ist, die eine oder die mehreren erzeugten Bildaufnahmen von zumindest einem Teil des Feldes und optional von zumindest einem Teil der Sprühvorrichtung mit einer Funktionsbeeinträchtigung der Sprühvorrichtung von Bildaufnahmen von zumindest einem Teil eines Feldes und optional von zumindest einem Teil der Sprühvorrichtung ohne Funktionsbeeinträchtigung der Sprühvorrichtung zu unterscheiden, wobei die Analyseneinheit konfiguriert ist, eine Information von dem Modell des maschinellen Lernens zu empfangen, wobei die Information angibt, ob die eine oder die mehreren Bildaufnahmen die Sprühvorrichtung mit einer Funktionsbeeinträchtigung repräsentieren, wobei die Ausgabeeinheit konfiguriert ist, die Information auszugeben.
PCT/EP2024/066886 2023-06-22 2024-06-18 Erkennen von funktionsbeeinträchtigungen bei einer vorrichtung Pending WO2024260949A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP23181029 2023-06-22
EP23181029.2 2023-06-22

Publications (1)

Publication Number Publication Date
WO2024260949A1 true WO2024260949A1 (de) 2024-12-26

Family

ID=86942864

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2024/066886 Pending WO2024260949A1 (de) 2023-06-22 2024-06-18 Erkennen von funktionsbeeinträchtigungen bei einer vorrichtung

Country Status (1)

Country Link
WO (1) WO2024260949A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019007894A1 (en) 2017-07-06 2019-01-10 Bayer Aktiengesellschaft APPARATUS FOR CONTROLLING WEEDS
WO2019166497A1 (en) 2018-03-02 2019-09-06 Basf Agro Trademarks Gmbh Apparatus for spray management
EP3264892B1 (de) * 2015-03-06 2020-10-07 Blue River Technology Inc. Modulares system für präzise landwirtschaft
EP3741214A1 (de) * 2019-05-20 2020-11-25 BASF Agro Trademarks GmbH Verfahren zur plantagenbehandlung basierend auf bilderkennung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3264892B1 (de) * 2015-03-06 2020-10-07 Blue River Technology Inc. Modulares system für präzise landwirtschaft
WO2019007894A1 (en) 2017-07-06 2019-01-10 Bayer Aktiengesellschaft APPARATUS FOR CONTROLLING WEEDS
WO2019166497A1 (en) 2018-03-02 2019-09-06 Basf Agro Trademarks Gmbh Apparatus for spray management
EP3741214A1 (de) * 2019-05-20 2020-11-25 BASF Agro Trademarks GmbH Verfahren zur plantagenbehandlung basierend auf bilderkennung

Non-Patent Citations (16)

* Cited by examiner, † Cited by third party
Title
A. DOSOVITSKIY ET AL.: "An image is worth 16 x 16 Words: Transformersfor image recognition at scale", ARXIV:2010.11929V2
A. KHAN ET AL.: "Transformers in Vision: A Survey", ARXIV:2101.01169V5
F. CHOLLET, XCEPTION: DEEP LEARNING WITH DEPTHWISE SEPARABLE CONVOLUTIONS, 2017, pages 1800 - 1807
G. WANG ET AL.: "Study on Image Classification Algorithm Based on Improved DenseNet", JOURNAL OF PHYSICS: CONFERENCE SERIES, vol. 1952, 2021, pages 022011
J. BANKAR ET AL.: "Convolutional Neural Network based Inception v3 Model for Animal Classification", INTERNATIONAL JOURNAL OF ADVANCED RESEARCH IN COMPUTER AND COMMUNICATION ENGINEERING, vol. 7, 2018
J. DIPPELS. VOGLERS. HÖHNE: "Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling", ARXIV:2104.04323V2
J. LIANG: "Image classification based on RESNET", JOURNAL OF PHYSICS: CONFERENCE SERIES, vol. 1634, 2020, pages 012110
JU LIU ET AL.: "Plant Disease and Pests Detection based on Deep Learning: α Review", PLANT METHODS, vol. 17, 2021, pages 22
K. HE ET AL.: "Deep Residual Learning for Image Recognition", ARXIV:1512.03385V1
K. SANGHVI ET AL., A SURVEY ON IMAGE CLASSIFICATION TECHNIQUES, 2020, Retrieved from the Internet <URL:http://dx.doi.org/10.2139/ssrn.3754116>
K.K. THYAGHARAJAN ET AL.: "A Review of Visual Descriptors and Classification Techniques used in Leaf Species Identification", ARCHIVES OF COMPUTATIONAL METHODS IN ENGINEERING, vol. 26, 2019, pages 933 - 60, XP036893038, DOI: 10.1007/s11831-018-9266-3
M. AAMIR ET AL.: "An Optimized Architecture of Image Classification Using Convolutional Neural Network", INTERNATIONAL JOURNAL OF IMAGE, GRAPHICS AND SIGNAL PROCESSING, vol. 11, 2019, pages 30 - 39
M. TRIPATHI: "Analysis of Convolutional Neural Network based Image Classification Techniques", JOURNAL OF INNOVATIVE IMAGE PROCESSING, vol. 3, 2021, pages 100 - 117
O. RONNEBERGER ET AL.: "International Conference on Medical image computing and computer-assisted intervention", 2015, SPRINGER, article "U-net: Convolutional networks for biomedical image segmentation", pages: 234 - 241
S.V.S. PRASAD ET AL.: "Techniques in Image Classification - A Survey", GLOBAL JOURNAL OF RESEARCHES IN ENGINEERING (F, vol. XV, 2015, pages 17 - 32
T. MINGXING TAN ET AL.: "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks", ARXIV:1905.11946V5

Similar Documents

Publication Publication Date Title
EP3644724B1 (de) Verfahren zum ausbringen eines spritzmittels auf ein feld
EP3782467B1 (de) Verfahren zum identifizieren von beikräutern innerhalb einer definierten pflanzenreihe einer landwirtschaftlichen fläche
EP4064818B1 (de) Verfahren zum bearbeiten von pflanzen auf einem feld
EP3488378B1 (de) System zur automatischen erkennung von pflanzen
EP4064815A1 (de) Verfahren zum bearbeiten von pflanzen auf einem feld
DE102021213280A1 (de) Verfahren zum Identifizieren von Beikräutern in einer Pflanzenreihe einer landwirtschaftlichen Fläche
DE102023122228A1 (de) Verfahren, auswertesystem, auswerteeinrichtung und system oder vorrichtung zum auswerten von spektraldaten
DE102018120756A1 (de) Mobile Analyse- und Bearbeitungsvorrichtung, Verfahren und Trägersystem
EP3840559B1 (de) Mobile analyse- und bearbeitungsvorrichtung
WO2023208619A1 (de) Vorhersage von ablagerungsstrukturen von pflanzenschutzmitteln und/oder nährstoffen auf pflanzenteilen
WO2023174827A1 (de) Durchführen und dokumentieren einer applikation von pflanzenschutzmittel
WO2021105019A1 (de) Verfahren zum generieren einer vielzahl von annotierten bildern
DE102021214202A1 (de) Verfahren zum Identifizieren von Beikräutern in einer Pflanzenreihe einer landwirtschaftlichen Fläche
WO2024260949A1 (de) Erkennen von funktionsbeeinträchtigungen bei einer vorrichtung
EP3841444B1 (de) Trägersystem mit einem träger und einer mobilen vorrichtung zur bearbeitung des bodens und/oder zur manipulation der flora und fauna und verfahren hierzu
DE102020215877A1 (de) Verfahren zum Klassifizieren von Pflanzen für landwirtschaftliche Zwecke
EP4661663A1 (de) Erkennen von funktionsbeeinträchtigungen bei kameraüberwachten insektenfallen
DE102023211134A1 (de) Verfahren zum Ansteuern einer Spritzvorrichtung einer Feldspritze
EP4672961A1 (de) Vorhersage eines wartungsbedarfs für eine insektenfalle
DE102024113553A1 (de) Kontrolle der lichtintensität innerhalb einer region von interesse
DE102022212161A1 (de) Verfahren zum Ermitteln einer Breitenkennzahl von Pflanzen einer Pflanzenreihe einer landwirtschaftlichen Fläche
DE102022212162A1 (de) Verfahren zum Ermitteln einer Pflanzenkennzahl von Pflanzen einer Pflanzenreihe einer landwirtschaftlichen Fläche
DE102022212169A1 (de) Verfahren zum Klassifizieren von Pflanzen in und/oder zwischen Pflanzenreihen einer landwirtschaftlichen Fläche
WO2025103715A1 (de) Optimierte segmentierung und/oder klassifizierung von pflanzenobjekten
EP4480292A1 (de) Maschinengestütztes system für die unterscheidung von nutzpflanzen und nicht-nutzpflanzen und für die durchführung von aktionen an ebendiesen sowie verfahren für die unterscheidung und aktionsdurchführung und computergestützte veränderungseinheit

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24733619

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112025028098

Country of ref document: BR