[go: up one dir, main page]

WO2017221756A1 - センシングシステム、センシング方法、及び、センシング装置 - Google Patents

センシングシステム、センシング方法、及び、センシング装置 Download PDF

Info

Publication number
WO2017221756A1
WO2017221756A1 PCT/JP2017/021607 JP2017021607W WO2017221756A1 WO 2017221756 A1 WO2017221756 A1 WO 2017221756A1 JP 2017021607 W JP2017021607 W JP 2017021607W WO 2017221756 A1 WO2017221756 A1 WO 2017221756A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensing
inspection object
sensing device
index
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/021607
Other languages
English (en)
French (fr)
Inventor
高嶋 昌利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201780037527.3A priority Critical patent/CN109313125B/zh
Priority to EP17815225.2A priority patent/EP3477279A4/en
Priority to US16/301,624 priority patent/US11181470B2/en
Priority to JP2018523889A priority patent/JP6933211B2/ja
Publication of WO2017221756A1 publication Critical patent/WO2017221756A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274Calibration, base line adjustment, drift correction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793Remote sensing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Definitions

  • the present technology relates to a sensing system, a sensing method, and a sensing device, and more particularly, to a sensing system, a sensing method, and a sensing device that can perform measurement with higher accuracy.
  • Patent Document 1 an inspection apparatus for inspecting the state and activity of a plant growing in a certain place is known (see, for example, Patent Document 1).
  • a reference reflection region may be used to correct a change in a measurement light source at the time of measurement, but depending on the reflectance spectral characteristic of the inspection object, The difference from the reflectance of the reflection region becomes large, and there is a possibility that highly accurate measurement cannot be performed.
  • the present technology has been made in view of such circumstances, and enables measurement with higher accuracy when measuring an inspection index of an inspection object using a reference reflection region. is there.
  • a sensing system has characteristics according to an inspection object, and corresponds to a plurality of wavelength bands to be sensed with respect to the inspection object, and a plurality of reference reflection regions having different reflectances; It is a sensing system provided with the sensor which senses the area
  • a sensing method is a sensing method of a sensing system including a sensor, wherein the sensor has characteristics according to an inspection object, and a plurality of wavelength bands to be sensed for the inspection object.
  • a sensing method including a step of sensing a plurality of reference reflection regions having different reflectivities and regions including the inspection object.
  • a sensing device has characteristics according to an inspection object, and corresponds to a plurality of wavelength bands to be sensed with respect to the inspection object, and a plurality of reference reflection regions having different reflectances;
  • the sensing device includes a sensor that senses a region including the inspection object.
  • the sensing device may be an independent device, or may be an internal block constituting one device.
  • the reflectance has characteristics according to the inspection object and corresponds to a plurality of wavelength bands to be sensed with respect to the inspection object.
  • a plurality of reference reflection regions having different values and a region including the inspection object are sensed.
  • more accurate measurement can be performed.
  • FIG. 1 It is a figure which shows the structural example of a sensing apparatus. It is a figure which shows the structural example of an parameter
  • FIG. 1 is a diagram illustrating an example of measurement by a mobile measurement device that performs mobile observation.
  • a mobile measuring device 50 is, for example, an unmanned aircraft (UAV: Unmanned ⁇ Aerial Vehicle), which flies by rotating a propeller-like rotor wing 2 and from above, an inspection object 1 such as a plant in a field. Sensing the area including
  • the movement measuring device 50 includes a sensing device 101-1 and a sensing device 101-2.
  • a reference reflector 20 having a predetermined shape (for example, a rectangular shape) is attached in front of the sensing device 101-1 and the sensing device 101-2.
  • the inspection object 1 such as a plant in the field and the reference reflector 20 are the same as the object (subject) sensed by the sensing apparatus 101-1 and the sensing apparatus 101-2. It exists within the angle of view.
  • the reference reflecting plate 20 a gray reflecting plate having a constant reflectance can be used.
  • the inspection object 1 when the plant or the like in the field shown in FIG. 1 is used as the inspection object 1, in order to correct the state of the light source such as sunlight, the reference reflector 20 having a known reflectance is inspected. It is necessary to sense the object 1 at the same time. Then, the inspection index of the inspection object 1 can be obtained based on the measurement value obtained by sensing with the sensing device 101-1 and the sensing device 101-2.
  • NDVI normalized vegetation index
  • NDVI is an index indicating the distribution and activity of vegetation.
  • the normalized vegetation index (NDVI) is an example of a vegetation index.
  • the normalized vegetation index (NDVI) is also described as the NDVI value.
  • the sensing device 101-1 senses a component in the near infrared region (NIR: NearIRInfrared), and the sensing device 101-2 makes it visible. It is necessary to sense the red (R) component of the region.
  • NIR near infrared region
  • IR represents the reflectance in the near infrared region (NIR)
  • R represents the reflectance in red (R) in the visible region.
  • the reflectance spectral characteristic of the inspection object 1 when the reflectance spectral characteristic of the inspection object 1 is measured, the reflectance spectral characteristic is very small in the visible region, for example, like a plant. In the case of a very large change in the near-infrared region, the difference in reflectance from the reference reflector 20 becomes large. Therefore, an optimal exposure time is set for each wavelength band (measurement band) to be measured. It becomes difficult. The reason will be described below.
  • FIG. 2 is a diagram illustrating a sensing result of a component in the near infrared region (NIR) by the sensing device 101-1.
  • FIG. 2 A of FIG. 2 shows a sensing image I IR obtained as a result of sensing of the NIR component.
  • FIG. 2B shows a histogram in which the horizontal axis represents the output level of each pixel of the sensing image I IR in FIG. 2A and the vertical axis represents the number of pixels.
  • the sensing image I IR in FIG. 2A includes a field plant as the inspection object 1 shown in FIG. 1 and a reference reflector 20 attached in front of the sensing device 101-1.
  • the sensing image I IR of FIG. 2A if the region including the plant in the field is the target region T1, and the region including the reference reflector 20 is the target region T2, those target regions T1, T2
  • the histogram of is as shown in B of FIG.
  • the sensing device 101-1 when the sensing device 101-1 performs sensing, the exposure is adjusted to a field plant having a wide area, so that the target region T1 (field plant) falls within the dynamic range.
  • the target region T2 reference reflecting plate 20
  • blackout under-exposed
  • FIG. 3 is a diagram illustrating a sensing result of the red (R) component in the visible region by the sensing device 101-2.
  • a in FIG. 3 shows a sensing image I R obtained as a result of sensing the R component.
  • 3B shows a histogram in which the vertical axis represents the output level of each pixel of the sensing image I R in FIG. 3A and the vertical axis represents the number of pixels.
  • the plant in the field as the inspection object 1 and the reference reflector attached in front of the sensing device 101-2. 20 is included. Also in the sensing image I R A in FIG. 3, a region containing the field of plant targeted region T1, a region including the reference reflector 20, if the target region T2, their target regions T1, T2 histogram for Is as shown in FIG.
  • the sensing device 101-2 when the sensing device 101-2 performs sensing, the exposure is adjusted to a plant in a field with a large area, so the target region T1 (a plant in the field) falls within the dynamic range.
  • the target region T2 (reference reflecting plate 20) is overexposed (so-called overexposure) in the higher output level.
  • a plurality of reference reflectors 20 having a reflectance corresponding to the inspection object 1 are prepared, and the inspection object is measured for each measurement band. 1 and the reference reflector 20 having the reflectance corresponding to the inspection object 1 are simultaneously sensed so that the difference between the reflectance of the inspection object 1 and the reflectance of the reference reflector 20 does not widen.
  • the configuration of the present technology will be described with reference to FIGS. 4 to 6.
  • FIG. 4 is a diagram illustrating an example of measurement by the movement measuring device to which the present technology is applied.
  • the movement measuring device 50 includes a sensing device 101-1 and a sensing device 101-2, and a reference having a predetermined shape is placed in front of the sensing device 101-1 and the sensing device 101-2.
  • a reflecting plate 20-1 and a reference reflecting plate 20-2 are attached.
  • the inspection object 1 such as a plant in the field
  • the reference reflector 20-1 and the reference reflector 20-2 are detected as objects (subjects) sensed by the sensing device 101-1 and the sensing device 101-2. , They exist within the same angle of view.
  • the reference reflector 20-1 and the reference reflector 20-2 have a reflectance corresponding to the inspection object 1 for each wavelength band (measurement band) to be measured of the inspection object 1.
  • the inspection object 1 is a plant in the field
  • the reference reflector 20-1 has a reflectance that matches the reflectance in the near-infrared region (NIR) in the measurement band of the plant.
  • the reference reflector 20-2 has a reflectance that matches the reflectance in red (R) in the visible region of the plant measurement band.
  • FIG. 5 is a diagram illustrating a sensing result of a component in the near infrared region (NIR) by the sensing device 101-1 when the present technology is applied.
  • FIG. 5 shows a sensing image I IR obtained as a result of sensing the NIR component.
  • FIG. 5B shows a histogram in which the horizontal axis represents the output level of each pixel of the sensing image I IR of FIG. 5A and the vertical axis represents the number of pixels.
  • the region including the plant in the field is set as the target region T1
  • the region including the reference reflector 20-1 among the plurality of reference reflectors 20 is set as the target region T3.
  • the histograms of the target regions T1 and T3 are as shown in B of FIG.
  • the sensing device 101-1 when the sensing device 101-1 performs sensing, the exposure is adjusted to a plant in a field with a large area, but the reference reflector 20-1 is used for the measurement band of the inspection object 1.
  • the reference reflector 20-1 since it has a reflectance that matches the reflectance in the near infrared region (NIR), the target region T3 (the plant in the field) and the target region T3 (the reference reflector 20-1) are also dynamic. It is within the range.
  • the reference reflector 20-2 does not have a reflectance that matches the reflectance in the near infrared region (NIR). For this reason (because it has a reflectivity that matches the reflectivity of red (R) in the visible region), the output level is underexposed (so-called blackout).
  • NIR near infrared region
  • FIG. 6 is a diagram illustrating a sensing result of the red (R) component in the visible region by the sensing device 101-2 to which the present technology is applied.
  • FIG. 6 A of FIG. 6 shows a sensing image I R obtained as a result of the sensing of the R component.
  • 6B shows a histogram in which the vertical axis represents the output level of each pixel of the sensing image I R in FIG. 6A and the vertical axis represents the number of pixels.
  • a plant in the field as the inspection object 1 and a reference reflector attached in front of the sensing device 101-2. 20-1 and the reference reflector 20-2 are included. Also in the sensing image I R A in FIG. 6, a region including the field of plant targeted region T1, a region including the reference reflecting plate 20-2, if target area T4, their target regions T1, T4 The histogram of is as shown in B of FIG.
  • the sensing device 101-2 when the sensing device 101-2 performs sensing, the exposure is adjusted to a plant in a field with a large area.
  • the reference reflector 20-1 has a measurement band of the inspection object 1.
  • the reflectance that matches the reflectance of red (R) in the visible region has a dynamic value, so that the target region T4 (plant in the field) and the target region T4 (reference reflector 20-2) are also dynamic. It is within the range.
  • the reference reflector 20-1 does not have a reflectance that matches the reflectance in red (R) in the visible region. For this reason (because it has a reflectance that matches the reflectance in the near-infrared region (NIR)), overexposure occurs at higher output levels (so-called overexposure).
  • a plurality of reflectors 20 are prepared, and an area including the inspection object 1 and a reference reflection plate 20 having a reflectance corresponding to the inspection object 1 are simultaneously sensed for each measurement band. Thereby, it is suppressed that the difference of the reflectance of the test object 1 and the reflectance of the reference
  • the movement measuring device 50 performs autonomous flight using position information such as GPS (Global Positioning System) by previously storing the flight route as coordinate data in addition to the radio control. It may be.
  • position information such as GPS (Global Positioning System)
  • the movement measurement device 50 is described as a rotary wing machine having the rotary blades 51, but the movement measurement device 50 may be a fixed wing machine.
  • FIG. 7 is a diagram illustrating a configuration of an embodiment of an index measurement system to which the present technology is applied.
  • the index measurement system 10 is a system (sensing system) for sensing an area including the inspection object 1 such as a plant in the field and calculating an inspection index such as an NDVI value based on the sensing result.
  • the index calculation system 10 includes a sensing device 101-1, a sensing device 101-2, and an index calculation device 103.
  • the sensing device 101-1, the sensing device 101-2, and the index calculation device 103 are connected to each other via the hub 104.
  • the sensing device 101-1 senses a region including the inspection object 1 and outputs data obtained by the sensing.
  • sensing means measuring a region including the inspection object 1.
  • sensing includes imaging an area including the inspection object 1.
  • the sensing device 101-1 senses a region including the inspection object 1, and outputs the measurement result to the index calculation device 103 via the hub 104 as index measurement data.
  • the index measurement data is data for measuring an inspection index such as an NDVI value.
  • the sensing device 101-2 senses a region including the inspection object 1 and outputs the measurement result to the index calculation device 103 via the hub 104 as index measurement data, as in the sensing device 101-1.
  • the sensing device 101-1 and the sensing device 101-2 can be configured as a movement measuring device 50.
  • a plurality of reference reflectors 20 such as a reference reflector 20-1 and a reference reflector 20-2 are prepared in front of the sensing device 101-1 and the sensing device 101-2 (within the angle of view).
  • sensing device 101-1 and the sensing device 101-2 will be described later with reference to FIG.
  • the sensing device 101-1 and the sensing device 101-2 will be simply referred to as the sensing device 101 when there is no need to distinguish them.
  • the index calculation device 103 is a device having a calculation function by a circuit such as a CPU (Central Processing Unit) or FPGA (Field Programmable Gate Array).
  • the index calculation device 103 is configured as a personal computer or a dedicated terminal device.
  • the index calculation device 103 receives the index measurement data from the sensing device 101-1 and the sensing device 101-2 via the hub 104.
  • the index calculation device 103 calculates the inspection index of the inspection object 1 based on the index measurement data.
  • the NDVI value can be calculated by calculating the above-described equation (1) based on the NIR signal obtained from the index measurement data and the R signal.
  • the index calculation device 103 can remotely control the sensing device 101-1 and the sensing device 101-2 via the hub 104. For example, the index calculation device 103 controls exposure at the time of measurement by the sensing device 101-1 and the sensing device 101-2.
  • the index measurement system 10 is configured as described above.
  • FIG. 8 is a diagram illustrating a configuration example of the sensing device 101 of FIG.
  • the sensing device 101 includes a measuring unit 121 having a lens 141, an exposure unit 142, a filter 143, and a sensor 144, and a processing unit 122 having a signal processing unit 145 and an I / F unit 146.
  • the sensing device 101 In the sensing device 101, light (reflected light) from an object (subject) such as the inspection object 1 or the reference reflector 20 enters the sensor 144 through the lens 141 and the filter 143.
  • the exposure unit 142 adjusts the aperture amount of the optical system such as the lens 141 and the iris (aperture) so that the sensor 144 performs sensing in a state where the signal charge is not saturated and is within the dynamic range.
  • exposure control is performed.
  • this exposure control can be performed by remote control from the index calculation device 103.
  • the filter 143 is an optical filter corresponding to the inspection index to be measured.
  • the filter 143 transmits light in a predetermined wavelength band out of light incident through the lens 141 to the sensor 144.
  • the sensor 144 is an image sensor composed of a sensing element in which a plurality of pixels are two-dimensionally arranged in a repeating pattern on the sensor surface.
  • the sensor 144 detects the light that has passed through the filter 143 with a sensing element, and outputs a measurement signal (measurement data) corresponding to the amount of light to the signal processing unit 145.
  • a filter 143 that is a combination of an R filter and an NIR cut filter is provided.
  • the sensing element of the sensor 144 for example, as shown in an array pattern 144A in FIG. 8, all the pixels are two-dimensionally arranged as R pixels corresponding to the red (R) component.
  • a combination of the R filter and the IR cut filter is provided as the filter 143.
  • the arrangement pattern of the plurality of pixels that are two-dimensionally arranged on the sensing element of the sensor 144 is not limited to the arrangement of the pixels shown in the arrangement pattern 144A, and other arrangement patterns may be adopted if an R signal is obtained. It may be.
  • a plurality of pixels can be two-dimensionally arranged by the Bayer arrangement.
  • green (G) G pixels are arranged in a checkered pattern
  • red (R) R pixels and blue (B) B pixels are alternately arranged in each column in the remaining portion. It is an array pattern.
  • R filters and IR filters but also filters in the visible region such as green (G) and blue (B) can be used to capture not only inspection indices but also images for presentation to the user. It becomes possible to present at the same time.
  • an NIR filter is provided as the filter 143.
  • all the pixels are two-dimensionally arranged as IR pixels corresponding to the near-infrared region (NIR) as shown in an arrangement pattern 144B in FIG.
  • a NIR filter is provided as the filter 143.
  • the sensing element of the sensor 144 corresponds to an RGB filter that transmits visible light wavelengths of red (R), green (G), and blue (B), for example, as shown in an array pattern 144C in FIG.
  • RGB red
  • G green
  • B blue
  • IR pixels corresponding to the near-infrared region (NIR) can be arranged.
  • n is an integer greater than or equal to 1
  • the number of pixels per set is not limited to 8 pixels, and other forms such as a configuration in which 4 pixels each including one R, G, B, and IR pixels are set as one set are possible. Can be adopted.
  • the R signal and the NIR signal can be obtained by one sensor 144, and therefore FIG. 4 and FIG. As shown in FIG. 2, it is not necessary to provide the two sensing devices 101-1 and 101-2. That is, in this case, for example, the gain is controlled independently for each pixel such as an R pixel or an IR pixel, or different images are output simultaneously in a plurality of streams, thereby allowing one sensing device 101 ( The sensor 144) can play the role of two sensing devices 101-1, 101-2.
  • the signal processing unit 145 performs predetermined signal processing such as data rearrangement on the measurement data output from the sensor 144 and outputs the result to the I / F unit 146.
  • the inspection index such as the NDVI value is described as being calculated by the index calculation device 103 in the subsequent stage, but the signal processing unit 145 is configured by a circuit such as a CPU or FPGA.
  • an inspection index such as an NDVI value may be calculated based on the measurement data.
  • the I / F unit 146 is configured by an external output interface circuit or the like, and outputs measurement data supplied from the signal processing unit 145 to the index calculation device 103 via the hub 104 as index measurement data.
  • the sensing device 101 is configured as described above.
  • FIG. 9 is a diagram illustrating a configuration example of the index calculation device 103 in FIG.
  • the index calculation device 103 includes an I / F unit 161, a processing unit 162, a storage unit 163, and a display unit 164.
  • the I / F unit 161 is configured by an external input interface circuit or the like, and supplies the index measurement data input from the sensing device 101-1 and the sensing device 101-2 to the processing unit 162.
  • the processing unit 162 includes, for example, a circuit such as a CPU or FPGA.
  • the processing unit 162 includes a calculation unit 171 and a control unit 172.
  • the calculation unit 171 calculates the inspection index of the inspection object 1 by performing predetermined signal processing based on the index measurement data supplied from the I / F unit 161. The detailed contents of this signal processing will be described later.
  • the NDVI value is calculated by calculating the above-described equation (1) based on the NIR signal obtained from the index measurement data and the R signal. be able to.
  • the control unit 172 controls the operation of each unit of the index calculation device 103. Further, the control unit 172 remotely controls the sensing device 101-1 and the sensing device 101-2 via the hub 104. For example, the control unit 172 controls exposure at the time of measurement by the sensing device 101-1 and the sensing device 101-2.
  • the storage unit 163 includes, for example, a semiconductor memory or a hard disk.
  • the storage unit 163 stores data related to the examination index calculated by the calculation unit 171 (for example, numerical data and image data) according to the control from the control unit 172.
  • the display unit 164 includes a display such as an LCD (Liquid Crystal Display) or an OELD (Organic Electroluminescence Display).
  • the display unit 164 displays data related to the examination index calculated by the calculation unit 171 (for example, numerical data and image data) according to the control from the control unit 172.
  • the display unit 164 can display various data stored in the storage unit 163 in accordance with control from the control unit 172.
  • the storage unit 163 and the display unit 164 have been described as being provided inside the index calculation device 103, but may be provided outside the index calculation device 103 as a storage device or a display device. Good.
  • the control unit 172 can store various data such as numerical data and image data obtained by signal processing in an external storage device or display the data on an external display device.
  • the index calculation device 103 is configured as described above.
  • the index calculation device 103 such as a personal computer calculates the inspection index (for example, NDVI value) of the inspection object 1 in the local environment via the hub 104.
  • the inspection index of the inspection object 1 may be calculated in a cloud environment via a network.
  • FIG. 10 shows a configuration example of the index calculation system 11 corresponding to the cloud environment as another configuration example of the index calculation system.
  • the sensing device 101-1 and the sensing device 101-2 receive the index measurement data obtained as a result of sensing in the same manner as the sensing device 101-1 and the sensing device 101-2 of FIG. And output to the client device 105 via the hub 104.
  • the sensing device 101-1 and the sensing device 101-2 can be mounted on the movement measuring device 50 as shown in FIG.
  • the client device 105 is composed of a personal computer or the like, and outputs index measurement data input from the sensing device 101-1 and the sensing device 101-2 to the router 106 via the hub 104. That is, the client device 105 corresponds to the index calculation device 103 in FIG. 7, but does not perform signal processing for calculating the inspection index of the inspection object 1.
  • the router 106 is a mobile router, for example, and can be connected to a network 108 such as the Internet via a base station 107.
  • the router 106 transmits the index measurement data input from the client device 105 to the server 109 via the network 108.
  • the server 109 receives the index measurement data transmitted from the client device 105 via the network 108.
  • the server 109 has at least the same function as the processing unit 162 among the functions of the index calculation device 103 illustrated in FIG. 9.
  • the calculation unit 171 of the processing unit 162 calculates the inspection index (for example, NDVI value) of the inspection target 1 based on the index measurement data received from the client device 105.
  • Data for example, numerical data and image data
  • the inspection index of the inspection object 1 calculated by the server 109 can be stored in the storage 110.
  • the server 109 when the server 109 has the display unit 164 or when the server 109 and the display unit 164 can communicate with each other, data related to the inspection index of the inspection object 1 can be displayed on the display unit 164. . Further, the server 109 may read out data stored in the storage 110 and display the data on the display unit 164.
  • the index calculation system 11 is configured as described above.
  • a configuration using a single reference reflector 20 will also be described for comparison with the configuration of the present technology in which a plurality of reference reflectors 20 are prepared. That is, the configuration using the single reference reflector 20 corresponds to the configuration at the time of measurement in FIG. 1 described above, and the configuration using the plurality of reference reflectors is the configuration at the time of measurement in FIG. Technology configuration).
  • the sensing device 101-1 includes a lens 141-1, an exposure unit 142-1, a filter 143-1 (NIR filter 143-1), a sensor 144-1, a signal processing unit 145-1, and The description will be made assuming that the I / F unit 146-1 is configured.
  • the sensing device 101-2 includes a lens 141-2, an exposure unit 142-2, a filter 143-2 (an R filter 143-2 and an NIR cut filter), a sensor 144-2, a signal processing unit 145-2, and an I In the following description, it is assumed that the / F unit 146-2 is configured.
  • FIG. 11 is a diagram illustrating an example of characteristics of a filter and a sensor.
  • FIG. 11A shows the characteristics of the filter 143-1 and the sensor 144-1 in the sensing device 101-1. That is, A in FIG. 11 shows the characteristics of the NIR filter 143-1 and the sensor 144-1 when the horizontal axis is the wavelength (nm) and the vertical axis is the gain.
  • the NIR filter 143-1 has a characteristic of transmitting light in the near infrared region (NIR) such as a range of 800 to 940 nm. Therefore, in FIG. 11A, when the sensor 144-1 has a spectral sensitivity characteristic as indicated by the line L1, the signal in the band corresponding to the shaded area A1 is integrated as the NIR signal, Is output.
  • NIR near infrared region
  • FIG. 11B shows the characteristics of the filter 143-2 and the sensor 144-2 in the sensing device 101-2. That is, B in FIG. 11 shows the characteristics of the R filter 143-2 and the sensor 144-2 when the horizontal axis is the wavelength (nm) and the vertical axis is the gain.
  • the R filter 143-2 has a characteristic of transmitting red (R) light in the visible region such as a range of 580 to 680 nm. Therefore, in FIG. 11B, when the sensor 144-2 has a spectral sensitivity characteristic as indicated by the line L2, the signal in the band corresponding to the shaded area A2 is integrated as the R signal, Is output.
  • R red
  • FIG. 12 is a diagram illustrating an example of characteristics of the reference reflector 20 and the inspection object 1 when a single reference reflector configuration is employed.
  • FIG. 12A shows an example of the characteristics of the reference reflector 20 (FIG. 1) when the horizontal axis is the wavelength (nm) and the vertical axis is the reflectance.
  • the reference reflecting plate 20 a generally used gray reflecting plate can be used.
  • the reflectance of the reference reflector 20 is constant at about 0.18, and the spectral reflectance characteristics are flat.
  • FIG. 12B shows an example of the characteristics of the inspection object 1 (FIG. 1) when the horizontal axis is the wavelength (nm) and the vertical axis is the reflectance.
  • the reflectance of the inspection object 1 has a value close to 0 until near 700 nm, but rises near 700 nm and is about 0.8 (80% in the range exceeding 700 nm). ) Is close to the value. That is, for example, when a plant such as a plant in the field is the inspection object 1, the reflectance is small in the visible region, while the reflectance is large in the near infrared region.
  • FIG. 13 is a diagram for explaining the flow of signal processing during measurement of the sensing device 101-1 and the sensing device 101-2 when the configuration of a single reference reflector is employed.
  • the upper series in the figure is a signal processed by the sensing device 101-1 to which the NIR filter 143-1 is attached.
  • the lower series in the figure shows the flow of signals processed by the sensing device 101-2 to which the R filter 143-2 is attached.
  • the sunlight is reflected by the inspection object 1 such as a plant in the field, and the reflected light is incident on the sensing device 101-1 and the sensing device 101-2.
  • the spectral characteristic of the reflected light of the inspection object 1 is represented by a spectral characteristic S3. That is, since the inspection object 1 has the reflection characteristic of the shape shown in FIG. 12B, the spectral characteristic of the reflected light of the inspection object 1 is as a spectral characteristic S3.
  • the reflected light of the reference reflector 20 and the inspection object 1 enters the lens 141-1, passes through the NIR filter 143-1, and forms an image on the sensor surface of the sensor 144-1. Will be tied. However, when a plant such as a plant in the field becomes the inspection object 1, the reflectance in the near-infrared region increases, and thus the sensing device 101- that transmits the NIR component light through the NIR filter 143-1. In 1, the exposure unit 142-1 sets a short exposure time according to the amount of light of the NIR component.
  • the characteristics of the NIR filter 143-1 are represented by a spectral characteristic S4 and a spectral characteristic S6.
  • the characteristics of the NIR filter 143-1 correspond to the transmission characteristics of the NIR filter shown in FIG.
  • the characteristic (spectral characteristic S2) of the reference reflector 20 is superimposed on the characteristic of the NIR filter 143-1 in the spectral characteristic S4.
  • the characteristic (spectral characteristic S3) of the inspection object 1 is superimposed on the characteristic of the NIR filter 143-1.
  • the sensor 144-1 receives light on its sensor surface as shown in the spectral characteristic S5 in which the characteristic of the reflected light (spectral characteristic S2) of the reference reflector 20 is superimposed on the characteristic of the NIR filter 143-1.
  • the reflected light from the reference reflector 20 is output as the level of the NIR component of the region including the reference reflector 20 (target region T2 in FIG. 2).
  • the spectral characteristic S7 in which the characteristic of the reflected light of the inspection object 1 (spectral characteristic S3) is superimposed on the characteristic of the NIR filter 143-1, the sensor 144-1 receives light on its sensor surface.
  • the reflected light from the inspection target 1 is output as the level of the NIR component of the region including the inspection target 1 (target region T1 in FIG. 2).
  • NIR signals NIR data obtained by sensing the region including the reference reflector 20 and the inspection object 1 by the sensing device 101-1.
  • the signal processing unit 145-1 performs a process of rearranging the data from the sensor 144-1 and outputs the data obtained as a result via the I / F unit 146-1.
  • the sensing image I IR obtained by sensing with the sensing device 101-1 in FIG. 13 has an exposure time set according to the amount of NIR component of the reflected light of the inspection object 1, and thus has spectral characteristics. As shown in S6 and S7, light in the NIR component band is appropriately captured. Here, the R component light has a low level and is underexposed.
  • the light of the NIR component of the reflected light of the reference reflector 20 is underexposed because its level is too small as shown in the spectral characteristics S4 and S5.
  • the sensing device 101-2 the reflected light of the reference reflector 20 and the inspection object 1 is incident on the lens 141-2, passes through the R filter 143-2, and the sensor surface of the sensor 144-2. I will tie an image to.
  • the exposure unit 142-2 sets a longer exposure time according to the light amount of the R component.
  • the characteristics of the R filter 143-2 are represented by a spectral characteristic S 8 and a spectral characteristic S 10.
  • the characteristic of the R filter 143-2 corresponds to the transmission characteristic of the R filter shown in B of FIG.
  • the characteristic of the reference reflector 20 (spectral characteristic S2) is superimposed on the characteristic of the R filter 143-2.
  • the characteristic of the inspection object 1 spectral characteristic S3 is superimposed on the characteristic of the R filter 143-2 in the spectral characteristic S10.
  • the sensor 144-2 receives light on its sensor surface.
  • the reflected light from the reference reflecting plate 20 is output as the level of the R component of the region including the reference reflecting plate 20 (target region T2 in FIG. 3).
  • the sensor 144-2 is received by the sensor surface.
  • the reflected light from the inspection target 1 is output as the level of the R component of the region including the inspection target 1 (target region T1 in FIG. 2).
  • a signal corresponding to the level of these R components becomes R data (R signal) obtained by sensing a region including the reference reflector 20 and the inspection object 1 by the sensing device 101-2.
  • the signal processing unit 145-2 performs a process of rearranging the data from the sensor 144-2, and outputs the data obtained as a result via the I / F unit 146-2.
  • the sensing image I R obtained by sensing with the sensing device 101-2 in FIG. 13 has an exposure time set in accordance with the amount of R component of the reflected light of the inspection object 1, and thus has spectral characteristics. As shown in S10 and S11, light in the R component band is appropriately captured. Here, the light of the NIR component has a large level and is overexposed.
  • the R component light of the reflected light from the reference reflector 20 is overexposed because its level is too large as shown in the spectral characteristics S8 and S9.
  • the reflectance of the inspection object 1 and the reference reflector are measured for each measurement band. Since the difference from the reflectance of 20 is large, it is difficult to set an optimal exposure time, and as a result, the identification of a light source such as sunlight has failed or the measurement accuracy has been significantly reduced. It was.
  • the inspection object 1 is a plant in the field, and the characteristics thereof are the same as those shown in FIG. 12B.
  • FIG. 14 is a diagram illustrating an example of characteristics of the reference reflecting plate 20-1 and the reference reflecting plate 20-2 when a configuration of a plurality of reference reflecting plates is employed.
  • FIG. 14A shows an example of the characteristics of the reference reflector 20-1 (FIG. 4) when the horizontal axis is the wavelength (nm) and the vertical axis is the reflectance.
  • the reflectance of the reference reflector 20-1 is made to match the reflectance of the near-infrared region (NIR) of the inspection object 1.
  • NIR near-infrared region
  • the reflectance has the characteristics shown in B of FIG. 12 described above.
  • the reflection in the near infrared region (NIR) such as the range of 800 to 940 nm.
  • the rate is about 0.8 (80%). Therefore, the reflectance of the reference reflector 20-1 can be set to 80% according to the reflectance of the near-infrared region (NIR) of the inspection object 1.
  • FIG. 14B shows an example of the characteristics of the reference reflector 20-2 (FIG. 4) when the horizontal axis is the wavelength (nm) and the vertical axis is the reflectance.
  • the reflectance of the reference reflector 20-2 is made to match the reflectance of red (R) in the visible region of the inspection object 1.
  • the reflectance of the reference reflector 20-2 is 5%.
  • the reflectance has the characteristics shown in FIG. 12B described above.
  • the reflection of red (R) in the visible region such as the range of 580 to 680 nm.
  • the rate is about 0.05 (5%). Therefore, the reflectance of the reference reflector 20-2 can be set to 5% according to the red (R) reflectance of the visible region of the inspection object 1.
  • the reflectance of the band other than the band is treated as “don't care”. Is done.
  • a band other than the near infrared region (NIR) when measuring the reference reflector 20-1 and a band other than red (R) in the visible region when measuring the reference reflector 20-2 are such. It corresponds to a large bandwidth
  • FIG. 15 is a diagram for explaining the flow of signal processing at the time of measurement by the sensing device 101-1 and the sensing device 101-2 when the configuration of a plurality of reference reflectors is employed.
  • FIG. 15 as in FIG. 13, the upper series in the figure shows the flow of signals processed by the sensing device 101-1 to which the NIR filter 143-1 is attached. , The flow of signals processed by the sensing device 101-2 with the R filter 143-2 attached.
  • sunlight (ambient light) is reflected by the reference reflector 20-1 and the reference reflector 20-2, and the reflected light is incident on the sensing device 101-1 and the sensing device 101-2.
  • the spectral characteristic of the sunlight is represented by a spectral characteristic S31.
  • the spectral characteristic of the reflected light of the reference reflecting plate 20-1 and the reference reflecting plate 20-2 is represented by a spectral characteristic S32.
  • the spectral characteristics of the reflected light of the reference reflecting plate 20-1 are as shown in the spectral characteristic S32-1. Further, since the reference reflecting plate 20-2 has the spectral characteristic shown in FIG. 14B, the spectral characteristic of the reflected light of the reference reflecting plate 20-2 is as a spectral characteristic S32-2.
  • the reference reflector 20-1 and the reference reflector 20-2 having a characteristic (spectral characteristic S32-1) having a large reflectance corresponding to the NIR filter 143-1 is obtained. Used for sensing by the sensing device 101-1.
  • the reference reflector 20-2 having a characteristic with low reflectance (spectral characteristic S32-2) corresponding to the R filter is used for sensing by the sensing device 101-2.
  • the sunlight is reflected by the inspection object 1 such as a plant in the field, and the reflected light is incident on the sensing device 101-1 and the sensing device 101-2.
  • the spectral characteristic of the reflected light of the inspection object 1 is represented by a spectral characteristic S33.
  • the spectral characteristic S31 of sunlight is the same as the spectral characteristic S1 of FIG.
  • the spectral characteristic S33 of the inspection object 1 such as a plant in the field is the same as the spectral characteristic S3 of FIG. 13 and has the reflection characteristic of the shape shown in B of FIG.
  • a plurality of reference reflectors 20-1 and 20-2 are prepared, and the spectral characteristics S32-1 and S32-2 of the reflected light are different from the spectral characteristics S2 of FIG. ing.
  • the reflected light of the reference reflector 20-1 and the inspection object 1 is incident on the lens 141-1, passes through the NIR filter 143-1, and enters the sensor surface of the sensor 144-1. I will connect the statue.
  • the sensing device 101- that transmits the NIR component light through the NIR filter 143-1.
  • the exposure unit 142-1 sets a short exposure time according to the amount of light of the NIR component.
  • the characteristics of the NIR filter 143-1 are represented by a spectral characteristic S34 and a spectral characteristic S36.
  • the characteristics of the NIR filter 143-1 correspond to the transmission characteristics of the NIR filter shown in FIG.
  • the characteristic of the reference reflector 20-1 (spectral characteristic S32-1) is superimposed on the characteristic of the NIR filter 143-1.
  • the characteristic of the inspection object 1 (spectral characteristic S33) is superimposed on the characteristic of the NIR filter 143-1 in the spectral characteristic S36.
  • the spectral characteristic S35 in which the characteristic of the reflected light (spectral characteristic S32-1) of the reference reflector 20-1 is superimposed on the characteristic of the NIR filter 143-1, the sensor 144-1 has its sensor surface.
  • the reflected light from the reference reflecting plate 20-1 received at is output as the level of the NIR component of the region including the reference reflecting plate 20-1 (target region T3 in FIG. 5).
  • the sensor 144-1 receives light on the sensor surface.
  • the reflected light from the inspection target 1 is output as the level of the NIR component of the region including the inspection target 1 (target region T1 in FIG. 5).
  • a signal corresponding to the level of these NIR components is NIR data (NIR signal) obtained by sensing the region including the reference reflector 20-1 and the inspection object 1 by the sensing device 101-1.
  • the signal processing unit 145-1 performs a process of rearranging the data from the sensor 144-1 and outputs the data obtained as a result via the I / F unit 146-1.
  • the sensing image I IR obtained by sensing with the sensing device 101-1 in FIG. 15 has an exposure time set according to the amount of NIR component of the reflected light of the inspection object 1, and thus has spectral characteristics. As shown in S36 and S37, light in the NIR component band is appropriately captured. Here, the R component light has a low level and is underexposed.
  • the light of the NIR component of the reflected light of the reference reflector 20-1 appropriately captures light in the wavelength band of the NIR component as shown in the spectral characteristics S34 and S35.
  • the reference reflector 20-1 is prepared in advance so that the reflectance thereof matches the reflectance in the near-infrared region (NIR) of the inspection object 1.
  • the sensing device 101-1 having the NIR filter 143-1 uses the reference reflector 20-1 as light source information, so that not only the reflected light of the inspection object 1 but also the reflection of the reference reflector 20-1. As for light, it is possible to appropriately capture light in the wavelength band of the NIR component.
  • the sensing device 101-2 the reflected light of the reference reflector 20-2 and the inspection object 1 is incident on the lens 141-2, passes through the R filter 143-2, and passes through the sensor 144-2. An image is formed on the sensor surface.
  • the exposure unit 142-2 sets a longer exposure time according to the light amount of the R component.
  • the characteristics of the R filter 143-2 are represented by a spectral characteristic S 38 and a spectral characteristic S 40.
  • the characteristic of the R filter 143-2 corresponds to the transmission characteristic of the R filter shown in B of FIG.
  • the characteristic of the reference reflector 20-2 (spectral characteristic S32-2) is superimposed on the characteristic of the R filter 143-2.
  • the characteristic of the inspection object 1 is superimposed on the characteristic of the R filter 143-2 in the spectral characteristic S40.
  • the senor 144-2 has its sensor surface.
  • the reflected light from the reference reflecting plate 20-2 received at is output as the level of the R component of the region including the reference reflecting plate 20-2 (target region T4 in FIG. 6).
  • the sensor 144-2 receives light on its sensor surface.
  • the reflected light from the inspection target 1 is output as the level of the R component of the region including the inspection target 1 (target region T1 in FIG. 6).
  • a signal corresponding to the level of these R components becomes R data (R signal) obtained by sensing the region including the reference reflector 20-2 and the inspection object 1 by the sensing device 101-2.
  • the signal processing unit 145-2 performs a process of rearranging the data from the sensor 144-2, and outputs the data obtained as a result via the I / F unit 146-2.
  • the sensing image I R obtained by sensing with the sensing device 101-2 in FIG. 15 has an exposure time set according to the amount of the R component of the reflected light of the inspection object 1, and thus has spectral characteristics. As shown in S40 and S41, light in the R component band is appropriately captured. Here, the light of the NIR component has a large level and is overexposed.
  • the R component light of the reflected light of the reference reflector 20-2 appropriately captures light in the R component wavelength band, as shown in the spectral characteristics S38 and S39.
  • the reference reflector 20-2 is prepared in advance so that the reflectance thereof matches the reflectance of red (R) in the visible region of the inspection object 1.
  • the sensing device 101-2 having the R filter 143-2 uses not only the reflected light of the inspection target 1 but also the reflection of the reference reflecting plate 20-2 by using the reference reflecting plate 20-2 as light source information. As for light, it is possible to appropriately capture light in the wavelength band of the R component.
  • the sensing apparatus 101-1 uses the inspection target as light in the NIR component wavelength band. 1 and the NIR component of the reflected light from the reference reflector 20-1 are both within the dynamic range. In the sensing device 101-2, the R component of the reflected light from the inspection object 1 and the reference reflector 20-2 is within the dynamic range as light in the R component wavelength band.
  • the sensing device 101-1 and the sensing device 101-2 when the configuration of a plurality of reference reflectors is adopted, in the sensing device 101-1 and the sensing device 101-2, the reflectance of the inspection object 1 and the reference reflector 20-1 or The difference from the reflectance of the reference reflector 20-2 is reduced, and as a result, it is possible to accurately identify the light source and the reflectance at the measurement wavelength of the inspection object 1.
  • the index measurement data obtained by sensing with the sensing device 101-1 and the sensing device 101-2 is output to the index computing device 103 via the hub 103.
  • the index calculation device 103 calculates an inspection index (NDVI value) of the inspection object 1 based on the index measurement data. Then, with reference to the flowchart of FIG. 16, the overall flow of the test index measurement process executed by the index calculation system 10 of FIG. 7 will be described.
  • step S101 the sensing device 101-1 and the sensing device 101-2 perform exposure control according to remote control from the control unit 172 of the index calculation device 103.
  • the exposure time is determined in accordance with the measurement wavelength of the inspection object 1.
  • the exposure time is determined in accordance with the measurement wavelength of the inspection object 1.
  • the sensing device 101-1 having the NIR filter 143-1 has a light intensity of the NIR component. Accordingly, the exposure time is controlled to be shortened.
  • the sensing device 101-2 having the R filter 143-2 is controlled so that the exposure time is lengthened according to the light amount of the R component.
  • step S102 the sensing device 101-1 and the sensing device 101-2 perform sensing according to the exposure control in the process of step S101.
  • the sensing device 101-1 senses light in the NIR component wavelength band from the inspection object 1 and the reference reflector 20-1, and the sensing device 101-2 performs inspection. Light in the R component wavelength band from the object 1 and the reference reflector 20-2 is sensed.
  • step S103 the processing unit 162 of the index calculation device 103 acquires the index measurement data obtained in the process of step S102 via the hub 104.
  • step S104 the calculation unit 171 of the index calculation device 103 adjusts the gain between the sensing device 101-1 and the sensing device 101-2 with respect to the index measurement data acquired in the process of step S103.
  • the gain is adjusted according to the difference in exposure time between the sensing device 101-1 and the sensing device 101-2.
  • the sensing device 101 when the exposure time corresponding to the light amount of the NIR component in the sensing device 101-1 is 10 ms, and the exposure time corresponding to the light amount of the R component in the sensing device 101-2 is 40 ms, the sensing device 101 The level of the R signal obtained from -2 may be reduced to 1/4.
  • step S105 the calculation unit 171 of the index calculation device 103 identifies a processing area from the sensing image corresponding to the index measurement data on which gain adjustment has been performed in the process of step S104.
  • the processing area an area (for example, the target area in FIG. 5 or 6) including the inspection object 1 included in the sensing image (for example, the sensing image I IR in FIG. 5 or the sensing image I R in FIG. 6).
  • step S106 the calculation unit 171 of the index calculation device 103 calculates a correction gain based on the processing results of steps S104 and S105.
  • the level of a region of the reference reflector 20-1 included in the sensing image I IR obtained by the sensing device 101-1 region to correspond to a target region T3 in Fig. 5 by averaging, the NIR signal Generate.
  • the level of the region of the reference reflector 20-2 (the region corresponding to the target region T4 in FIG. 6) included in the sensing image I R obtained by the sensing device 101-2 is averaged to generate an R signal.
  • the level of the R signal is 1 ⁇ 4 in the case of the above example in consideration of the exposure time.
  • the level of the R signal is multiplied by the reference plate reflection coefficient (C).
  • C represents the reference plate reflection coefficient.
  • Reflectivity @ reference plate 1 represents the reflectivity of the reference reflector 20-1
  • reflectivity @ reference plate 2 represents the reflectivity of the reference reflector 20-2.
  • the spectral characteristic of the incident light can be grasped by obtaining the ratio (Red / NIR) between the R signal obtained in this way and the NIR signal.
  • the reciprocal of this ratio is the correction gain (G). That is, the correction gain (G) is obtained by the following equation (3). That is, the reflectance spectral characteristic of the inspection object 1 can be measured by examining the intensity of the reflected light of the inspection object 1 when a light source having a flat reflectance is input.
  • Equation (3) represents a correction gain.
  • Red @ reference plate 2 represents an R signal obtained by sensing the reference reflector 20-2 by the sensing device 101-2
  • NIR @ reference plate 1 represents the reference signal from the sensing device 101-1. The NIR signal obtained by sensing the reflector 20-1 is shown.
  • reflectance @ reference plate 2 represents the reflectivity of the reference reflector 20-2
  • reflectivity @ reference plate 1 represents the reflectivity of the reference reflector 20-1.
  • step S107 the calculation unit 171 of the index calculation device 103 corrects the data of the region including the inspection target 1 specified in the process of step S105, using the correction gain calculated in the process of step S106.
  • the NIR component of each pixel in the region of the inspection object 1 included in the sensing image I IR obtained by the sensing device 101-1, and the sensing device 101. extracting the R component of each pixel of the inspection target 1 in the region contained in the obtained sensing image I R (region corresponding to the target region T1 in FIG. 6) -2.
  • the level of the R signal is 1/4 in the above-described case in consideration of the exposure time.
  • the data of the region including the inspection object 1 is corrected by multiplying the ratio (Red / NIR) of the R signal and NIR signal of each pixel extracted in this way by the correction gain (G). Can do.
  • the corrected value (A) is obtained by the following equation (4).
  • step S108 the calculation unit 171 of the index calculation device 103 calculates a vegetation index as an inspection index of the inspection object 1 using the corrected value (A) obtained in the process of step S107.
  • the NDVI value can be calculated as the vegetation index.
  • the NDVI value can be obtained by the above equation (1).
  • the corrected value (A) obtained by the process of step S107 it can be represented by the following equation (5). .
  • step S109 the calculation unit 171 of the index calculation device 103 stores the vegetation index (NDVI value) data calculated in the process of step S108 in the storage unit 163.
  • step S110 it is determined whether or not to end the process. If it is determined in step S110 that the process is not terminated, the process returns to step S101, and the subsequent processes are repeated. On the other hand, if it is determined in step S110 that the process is to be terminated, the measurement process of the inspection index in FIG. 16 is terminated.
  • the processing of steps S101 to S102 is executed by the sensing device 101-1 and the sensing device 101-2, and the processing of steps S103 to S110 is performed by the index calculation device.
  • the processing of steps S103 to S110 may be executed by a device other than the index calculation device 103, such as the sensing device 101, for example.
  • the server 109 performs steps S103 to S110. Can be executed.
  • the reference reflecting plate having a plate shape is used as the plurality of reference reflecting plates 20.
  • the reference reflecting plate is not limited to the plate shape but has characteristics according to the inspection object 1.
  • a predetermined region may be used.
  • the reference reflection region the region of the surface of one plate is divided into two, and the reflectance of one region matches the reflectance of the near infrared region (NIR) of the inspection object 1. It has a reflectivity, and the other region can have a reflectivity that matches the reflectivity of red (R) in the visible region of the inspection object 1.
  • the reference reflector 20 can be fixed to the front of the sensing device 101 by a predetermined member, but the angle of attachment of the reference reflector 20 to the sensing device 101 (sensor 144). You may make it provide the mechanism which can be made variable. Thereby, for example, the angle of the reference reflector 20 with respect to the sensing device 101 (sensor 144) can be adjusted according to the reflection state of the reference reflector 20.
  • a plurality of sensors 144 (sensors 144-1 of sensing device 101-1, sensors 141-2 of sensing device 101-2) are compared to a plurality of reference reflectors 20 (reference reflectors 20-1, 20-2). Although it has been described that the sensors 144-2) are provided, it is not necessary to provide the sensors 144 according to the number of the reference reflectors 20.
  • a single sensor 144 is provided for a plurality of reference reflectors 20, and the inspection object 1 and the reference reflector 20 are shifted in time for each measurement band of the inspection object 1 by the single sensor 144. And sensing multiple times.
  • the sensor 144 has an array pattern including at least an R pixel and an IR pixel. And NIR signal can be obtained simultaneously.
  • FIG. 17 illustrates a fixed point measuring device 60 that performs fixed point observation and a satellite measuring device 70 that performs measurement from an artificial satellite as other examples of the measuring device.
  • the fixed point measuring apparatus 60 shown in FIG. 17A is fixed to a position where the inspection object 1 (for example, a plant in the field) can be sensed (imaged) by the fixed leg 61, and the index measurement data measured there. Is output to the index calculation device 103 via the hub 104.
  • the index calculation device 103 can calculate the index (NDVI value) of the inspection object 1 measured at the fixed point by the fixed point measurement device 60 by processing the index measurement data output from the fixed point measurement device 60.
  • index measurement data for example, a measurement value corresponding to the satellite image
  • the index calculation device 103 can obtain the inspection index (NDVI value) of the inspection object 1 measured from the artificial satellite 71 by processing the index measurement data transmitted from the satellite measurement device 70.
  • the index measurement data from the fixed point measurement device 60 or the satellite measurement device 70 is provided to the server 109.
  • the server 109 processes the index measurement data and calculates the inspection index (NDVI value) of the inspection object 1.
  • the reference reflector 20 is connected to the multi-sensing system. It is not necessary to provide the same number as the plurality of sensing devices 101.
  • a configuration in which the reference reflector 20 is provided only for an arbitrary sensing device 101 can be employed. In this case, index measurement data obtained by an arbitrary sensing device 101 is sent to another sensing device 101 as metadata.
  • NDVI value normalized vegetation index
  • RVI ratio vegetation index
  • DVI difference vegetation index
  • the specific vegetation index (RVI value) is calculated by calculating the following equation (6).
  • the difference vegetation index (DVI value) is calculated by calculating the following equation (7).
  • IR represents the reflectance in the near infrared region
  • R represents the reflectance in the visible region red.
  • IR represents the reflectance in the near infrared region
  • R represents the reflectance in the visible region red.
  • G and B may output other wavelength band components such as G and B other than R and IR as RGBIR output.
  • FIG. 18 shows a configuration in which a reference transmission plate 80 having a transmittance corresponding to the inspection object 1 is used instead of the reference reflection plate 20.
  • the fixed point measuring device 60 is fixed by a fixed leg 61 at a position where the inspection object 1 (for example, a plant in the field) can be sensed.
  • a reference transmission plate 80 is installed in front of the fixed point measuring device 60 by a predetermined member so that, for example, as shown in FIG. 18B, the plant and the sky are reflected in the same angle of view. When the sky is reflected, the reference transmission plate 80 is installed.
  • the area where the reference transmission plate 80 is installed is intended to confirm the state of sunlight (environmental light), and therefore light reflected by the plant (reflected light) as indicated by the path L1 in FIG. Must not be incident, and light as indicated by the path L2 in FIG. 18A needs to be incident.
  • index of the test target object 1 can be calculated using the parameter
  • the reference transmission plate 80 reflected light from a plant or the like may enter and cause disturbance.
  • the reference transmission plate 80 having a region corresponding to red (R)
  • Reference transmission plates 80 each having a region corresponding to the near infrared region (NIR) are provided.
  • the area of the surface of one plate is divided into two, and one area is an area corresponding to red (R), and the other area is a near-infrared area (NIR). It may be a predetermined area (reference transmission area) such as a corresponding area.
  • 18 illustrates the case where fixed point observation is performed by the fixed point measurement device 60.
  • a reference transmission plate 80 is provided in the movement measurement device 50 (FIG. 4 and the like) that performs movement observation, so that plants in the field can be seen from above.
  • An area including the inspection object 1 such as the above may be sensed (aerial photography).
  • 18 illustrates the configuration in which the reference transmission plate 80 is installed outside the fixed point measuring device 60, that is, outside the camera module, an optical system (optical element) such as a lens in the camera module. May be configured to function as a reference transmission plate.
  • FIG. 19 is a diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 or the recording unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program. A series of processing is performed.
  • the program executed by the computer 1000 can be provided by being recorded in a removable storage medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by attaching the removable storage medium 1011 to the drive 1010.
  • the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008.
  • the program can be installed in the ROM 1002 or the recording unit 1008 in advance.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be processed in a distributed manner by a plurality of computers.
  • this technique can take the following structures.
  • the sensor includes a plurality of sensors corresponding to the plurality of wavelength bands.
  • the calculation unit calculates the measurement spectrum of the inspection object based on the measurement spectrum information of the reference reflection region obtained for each wavelength band to be sensed of the inspection object and the reflectance of the reference reflection region.
  • the inspection object is a plant
  • the sensing system according to (7), wherein the inspection index is a normalized difference vegetation index (NDVI).
  • the sensing system according to any one of (1) to (8) comprising a sensing device having the sensor.
  • the sensing system according to (2) further including an arithmetic device having the calculation unit.
  • the sensing system according to any one of (1) to (10) wherein the dynamic range of the sensor is set to a dynamic range corresponding to a wavelength band to be sensed with respect to the inspection object.
  • the sensor includes a plurality of sensors corresponding to the plurality of wavelength bands, and a dynamic range of each of the plurality of sensors is set to a dynamic range corresponding to a wavelength band to be sensed.
  • the dynamic range of the plurality of sensors is set to a different range from each other. (12).
  • the sensor includes a plurality of reference reflection regions having different properties and corresponding to a plurality of wavelength bands to be sensed with respect to the inspection object, and the inspection object having characteristics according to the inspection object.
  • a sensing method including sensing a region.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、より精度の高い測定を行うことができるようにするセンシングシステム、センシング方法、及び、センシング装置に関する。 センシングシステムは、基準反射領域として、検査対象物に対するセンシングの対象となる波長帯ごとに、当該検査対象物に対応した反射率を有する基準反射領域が複数用意され、検査対象物を含む領域と基準反射領域とをセンシングする際に、検査対象物のセンシングの対象となる波長帯ごとに、当該検査対象物に対応した反射率を有する基準反射領域をセンシングする。本技術は、例えば、正規化植生指数(NDVI)等の植生指数を測定するためのシステムに適用することができる。

Description

センシングシステム、センシング方法、及び、センシング装置
 本技術は、センシングシステム、センシング方法、及び、センシング装置に関し、特に、より精度の高い測定を行うことができるようにしたセンシングシステム、センシング方法、及び、センシング装置に関する。
 従来から、ある場所に生育している植物の状態や活性度などの検査を行う検査装置が知られている(例えば、特許文献1参照)。
特開2003-9664公報
 ところで、検査対象物の検査指標の測定を行うに際し、その測定時の測定光源の変化を補正するために、基準反射領域を用いる場合があるが、検査対象物の反射率分光特性によっては、基準反射領域の反射率との差が大きくなって、精度の高い測定を行うことができない可能性がある。
 本技術はこのような状況に鑑みてなされたものであり、基準反射領域を用いて、検査対象物の検査指標の測定を行うに際し、より精度の高い測定を行うことができるようにするものである。
 本技術の一側面のセンシングシステムは、検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えたセンシングシステムである。
 本技術の一側面のセンシング方法は、センサを備えたセンシングシステムのセンシング方法において、前記センサが、検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするステップを含むセンシング方法である。
 本技術の一側面のセンシング装置は、検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えたセンシング装置である。
 なお、本技術の一側面のセンシング装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
 本技術の一側面のセンシングシステム、センシング方法、及び、センシング装置においては、検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、がセンシングされる。
 本技術の一側面によれば、より精度の高い測定を行うことができる。
 なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
移動測定装置による測定の例を示す図である。 近赤外領域(NIR)の成分のセンシング結果を示す図である。 可視領域の赤(R)の成分のセンシング結果を示す図である。 本技術を適用した移動測定装置による測定の例を示す図である。 本技術を適用した場合の近赤外領域(NIR)の成分のセンシング結果を示す図である。 本技術を適用した場合の可視領域の赤(R)の成分のセンシング結果を示す図である。 本技術を適用した指標測定システムの一実施の形態の構成を示す図である。 センシング装置の構成例を示す図である。 指標演算装置の構成例を示す図である。 指標演算システムの他の構成を示す図である。 フィルタとセンサの特性の例を示す図である。 単一の基準反射板の構成を採用した場合の基準反射板と検査対象物の特性の例を示す図である。 単一の基準反射板の構成を採用した場合のセンシング装置の測定時の信号処理の流れを示す図である。 複数の基準反射板の構成を採用した場合の基準反射板の特性の例を示す図である。 複数の基準反射板の構成を採用した場合のセンシング装置の測定時の信号処理の流れを示す図である。 検査指標の測定処理の流れを説明するフローチャートである。 測定装置の他の構成例を示す図である。 基準透過板を用いた場合の構成の例を示す図である。 コンピュータの構成例を示す図である。
 以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.本技術の概要
2.システムの構成
3.センシング装置の測定例
4.検査指標の測定処理
5.変形例
6.コンピュータの構成
<1.本技術の概要>
(移動測定装置による測定)
 図1は、移動観測を行う移動測定装置による測定の例を示す図である。
 図1において、移動測定装置50は、例えば無人航空機(UAV:Unmanned Aerial Vehicle)であって、プロペラ状の回転翼2が回転することで飛行し、上空から、圃場の植物等の検査対象物1を含む領域をセンシング(空撮)する。
 移動測定装置50は、センシング装置101-1とセンシング装置101-2を有している。センシング装置101-1とセンシング装置101-2の前方には、所定の形状(例えば、矩形の形状)からなる基準反射板20が取り付けられている。
 これにより、移動測定装置50においては、センシング装置101-1とセンシング装置101-2によりセンシングされる対象物(被写体)として、圃場の植物等の検査対象物1と基準反射板20とが、同一の画角内に存在することになる。例えば、基準反射板20としては、反射率が一定となるグレー反射板を用いることができる。
 すなわち、例えば、図1に示した圃場の植物等を検査対象物1とする場合には、太陽光等の光源の状態を補正するために、既知の反射率を有する基準反射板20を、検査対象物1と同時にセンシングする必要がある。そして、センシング装置101-1とセンシング装置101-2によるセンシングで得られる測定値に基づいて、検査対象物1の検査指標を求めることができる。
 検査対象物1の検査指標としては、例えば、正規化植生指数(NDVI:Normalized Difference Vegetation Index)を求めることができる。正規化植生指数(NDVI)は、植生の分布状況や活性度を示す指標である。なお、正規化植生指数(NDVI)は、植生指数の一例である。以下、正規化植生指数(NDVI)を、NDVI値とも記述する。
 NDVI値は、下記の式(1)で算出されることから、例えば、センシング装置101-1により、近赤外領域(NIR:Near Infrared)の成分をセンシングし、センシング装置101-2により、可視領域の赤(R)の成分をセンシングする必要がある。
 NDVI = (IR - R) / (IR + R) = (1- R/IR) / (1 + R/IR)  ・・・(1)
 ただし、式(1)において、IRは、近赤外領域(NIR)の反射率を表し、Rは、可視領域の赤(R)の反射率を表している。
 ここで、センシング装置101-1とセンシング装置101-2においては、検査対象物1の反射率分光特性の測定時に、例えば植物のように、その反射率分光特性が、可視領域で非常に小さく、近赤外領域で非常に大きく変化する場合には、基準反射板20との反射率の差が大きくなるため、測定対象の波長帯(測定帯域)ごとに、最適な露光時間を設定するのが難しくなる。以下、その理由について説明する。
(NIR成分のセンシング結果)
 図2は、センシング装置101-1による、近赤外領域(NIR)の成分のセンシング結果を示す図である。
 図2において、図2のAは、NIR成分のセンシングの結果得られるセンシング画像IIRを示す。また、図2のBは、横軸を、図2のAのセンシング画像IIRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
 図2のAのセンシング画像IIRには、図1に示した検査対象物1としての圃場の植物と、センシング装置101-1の前方に取り付けられた基準反射板20が含まれる。ここで、図2のAのセンシング画像IIRにおいて、圃場の植物を含む領域を、対象領域T1とし、基準反射板20を含む領域を、対象領域T2とすれば、それらの対象領域T1,T2のヒストグラムは、図2のBに示すようになる。
 図2のBにおいては、センシング装置101-1が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているため、対象領域T1(圃場の植物)は、ダイナミックレンジ内に収まっている一方で、対象領域T2(基準反射板20)は、出力レベルが低い方に、アンダー露出となっている(いわゆる黒つぶれ)。
(R成分のセンシング結果)
 図3は、センシング装置101-2による、可視領域の赤(R)の成分のセンシング結果を示す図である。
 図3において、図3のAは、R成分のセンシングの結果得られるセンシング画像IRを示す。また、図3のBは、縦軸を、図3のAのセンシング画像IRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
 図3のAのセンシング画像IRには、図2のAのセンシング画像IIRと同様に、検査対象物1としての圃場の植物と、センシング装置101-2の前方に取り付けられた基準反射板20が含まれる。図3のAのセンシング画像IRにおいても、圃場の植物を含む領域を、対象領域T1とし、基準反射板20を含む領域を、対象領域T2とすれば、それらの対象領域T1,T2のヒストグラムは、図3のBに示すようになる。
 図3のBにおいては、センシング装置101-2が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているため、対象領域T1(圃場の植物)は、ダイナミックレンジ内に収まっている一方で、対象領域T2(基準反射板20)は、出力レベルが高い方に、オーバー露出となっている(いわゆる白とび)。
 以上、図2及び図3を参照して説明したように、検査対象物1の反射率と、基準反射板20の反射率との差が大きいと、測定帯域ごとに、最適な露光時間を設定するのが難しくなり、結果として、太陽光等の光源の特定に失敗したり、著しく測定精度が低下したりすることに繋がるため、このような問題を解決することが望まれていた。
 本技術では、検査対象物1の測定しようとする波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有する基準反射板20を複数用意し、測定帯域ごとに、検査対象物1と、当該検査対象物1に対応した反射率を有する基準反射板20とを同時にセンシングすることで、検査対象物1の反射率と、基準反射板20の反射率との差が広がらないようにする。次に、図4乃至図6を参照して、本技術の構成を説明する。
(本技術の移動測定装置による測定)
 図4は、本技術を適用した移動測定装置による測定の例を示す図である。
 図4において、移動測定装置50は、センシング装置101-1とセンシング装置101-2を有しているが、センシング装置101-1とセンシング装置101-2の前方には、所定の形状からなる基準反射板20-1と基準反射板20-2が取り付けられている。
 これにより、センシング装置101-1とセンシング装置101-2によりセンシングされる対象物(被写体)として、圃場の植物等の検査対象物1と、基準反射板20-1及び基準反射板20-2が、同一の画角内に存在することになる。
 ここで、基準反射板20-1及び基準反射板20-2は、検査対象物1の測定しようとする波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有している。例えば、検査対象物1が圃場の植物である場合、基準反射板20-1は、植物の測定帯域のうち、近赤外領域(NIR)における反射率に合致する反射率を有している。また、例えば、基準反射板20-2は、植物の測定帯域のうち、可視領域の赤(R)における反射率に合致する反射率を有している。
(本技術のNIR成分のセンシング結果)
 図5は、本技術を適用した場合のセンシング装置101-1による、近赤外領域(NIR)の成分のセンシング結果を示す図である。
 図5において、図5のAは、NIR成分のセンシングの結果得られるセンシング画像IIRを示す。また、図5のBは、横軸を、図5のAのセンシング画像IIRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
 図5のAのセンシング画像IIRには、図4に示した検査対象物1としての圃場の植物と、センシング装置101-1の前方に取り付けられた基準反射板20-1及び基準反射板20-2が含まれる。ここで、図5のAのセンシング画像IIRにおいて、圃場の植物を含む領域を、対象領域T1とし、複数の基準反射板20のうち、基準反射板20-1を含む領域を、対象領域T3とすれば、それらの対象領域T1,T3のヒストグラムは、図5のBに示すようになる。
 図5のBにおいては、センシング装置101-1が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているが、基準反射板20-1が、検査対象物1の測定帯域のうち、近赤外領域(NIR)における反射率に合致する反射率を有しているため、対象領域T1(圃場の植物)とともに、対象領域T3(基準反射板20-1)についても、ダイナミックレンジ内に収まっている。
 なお、図5のAのセンシング画像IIRにおいて、複数の基準反射板20のうち、基準反射板20-2は、近赤外領域(NIR)における反射率に合致する反射率を有していないため(可視領域の赤(R)の反射率に合致する反射率を有しているため)、出力レベルが低い方に、アンダー露出となっている(いわゆる黒つぶれ)。
(本技術のR成分のセンシング結果)
 図6は、本技術を適用したセンシング装置101-2による、可視領域の赤(R)の成分のセンシング結果を示す図である。
 図6において、図6のAは、R成分のセンシングの結果得られるセンシング画像IRを示す。また、図6のBは、縦軸を、図6のAのセンシング画像IRの各ピクセルの出力レベルとし、縦軸を、ピクセル数としたときのヒストグラムを示す。
 図6のAのセンシング画像IRには、図5のAのセンシング画像IIRと同様に、検査対象物1としての圃場の植物と、センシング装置101-2の前方に取り付けられた基準反射板20-1及び基準反射板20-2が含まれる。図6のAのセンシング画像IRにおいても、圃場の植物を含む領域を、対象領域T1とし、基準反射板20-2を含む領域を、対象領域T4とすれば、それらの対象領域T1,T4のヒストグラムは、図6のBに示すようになる。
 図6のBにおいては、センシング装置101-2が、センシングを行う際に、露光を、面積が広い圃場の植物に合わせているが、基準反射板20-1が、検査対象物1の測定帯域のうち、可視領域の赤(R)における反射率に合致する反射率を有しているため、対象領域T1(圃場の植物)とともに、対象領域T4(基準反射板20-2)についても、ダイナミックレンジ内に収まっている。
 なお、図6のAのセンシング画像IRにおいて、複数の基準反射板20のうち、基準反射板20-1は、可視領域の赤(R)における反射率に合致する反射率を有していないため(近赤外領域(NIR)の反射率に合致する反射率を有しているため)、出力レベルが高い方に、オーバー露出となっている(いわゆる白とび)。
 以上、図4乃至図6を参照して説明したように、本技術では、検査対象物1の測定しようとする波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有する基準反射板20を複数用意し、測定帯域ごとに、検査対象物1を含む領域と、当該検査対象物1に対応した反射率を有する基準反射板20とを同時にセンシングする。これにより、検査対象物1の反射率と、基準反射板20の反射率との差が広がるのが抑制され、測定帯域ごとに、最適な露光時間が設定され、結果として、太陽光等の光源の特定を確実に行い、より精度の高い測定を行うことができる。
 なお、図4において、移動測定装置50は、無線操縦のほか、例えば、飛行ルートを座標データとしてあらかじめ記憶しておくことで、GPS(Global Positioning System)などの位置情報を用いて自律飛行するようにしてもよい。また、図4では、移動測定装置50が、回転翼51を有する回転翼機であるとして説明したが、移動測定装置50は、固定翼機であってもよい。
<2.システムの構成>
(指標測定システムの構成)
 図7は、本技術を適用した指標測定システムの一実施の形態の構成を示す図である。
 指標測定システム10は、圃場の植物等の検査対象物1を含む領域のセンシングを行い、そのセンシングの結果に基づいて、NDVI値等の検査指標を算出するためのシステム(センシングシステム)である。
 図7において、指標演算システム10は、センシング装置101-1、センシング装置101-2、及び指標演算装置103から構成される。センシング装置101-1、センシング装置101-2、及び指標演算装置103は、ハブ104を介して相互に接続されている。
 センシング装置101-1は、検査対象物1を含む領域をセンシングして、そのセンシングで得られるデータを出力する。ここで、センシングとは、検査対象物1を含む領域を測定することを意味する。また、センシングには、検査対象物1を含む領域を撮像することが含まれる。
 センシング装置101-1は、検査対象物1を含む領域をセンシングし、その測定結果を、指標測定データとして、ハブ104を介して指標演算装置103に出力する。ここで、指標測定データは、NDVI値などの検査指標を測定するためのデータである。
 センシング装置101-2は、センシング装置101-1と同様に、検査対象物1を含む領域をセンシングし、その測定結果を、指標測定データとして、ハブ104を介して指標演算装置103に出力する。
 図4に示したように、センシング装置101-1とセンシング装置101-2は、移動測定装置50として構成することができる。また、センシング装置101-1とセンシング装置101-2の前方(画角内)には、基準反射板20-1や基準反射板20-2などの複数の基準反射板20が用意される。
 なお、センシング装置101-1とセンシング装置101-2の詳細な構成は、図8を参照して後述する。また、以下、センシング装置101-1とセンシング装置101-2を、特に区別する必要がない場合、単に、センシング装置101と称して説明する。
 指標演算装置103は、CPU(Central Processing Unit)やFPGA(Field Programmable Gate Array)等の回路による演算機能を有する装置である。例えば、指標演算装置103は、パーソナルコンピュータや専用の端末装置などとして構成される。指標演算装置103には、センシング装置101-1とセンシング装置101-2からの指標測定データが、ハブ104を介して入力される。
 指標演算装置103は、指標測定データに基づいて、検査対象物1の検査指標を算出する。ここでは、例えば、指標測定データから得られるNIR信号と、R信号に基づいて、上述した式(1)を演算することで、NDVI値を算出することができる。
 また、指標演算装置103は、ハブ104を介して、センシング装置101-1とセンシング装置101-2を遠隔で制御することができる。例えば、指標演算装置103は、センシング装置101-1とセンシング装置101-2での測定時の露光を制御する。
 なお、指標演算装置103の詳細な構成は、図9を参照して後述する。
 指標測定システム10は、以上のように構成される。
(センシング装置の構成)
 図8は、図7のセンシング装置101の構成例を示す図である。
 図8において、センシング装置101は、レンズ141、露光部142、フィルタ143、及びセンサ144を有する測定部121と、信号処理部145及びI/F部146を有する処理部122とから構成される。
 センシング装置101において、検査対象物1や基準反射板20等の対象物(被写体)からの光(反射光)は、レンズ141とフィルタ143を介してセンサ144に入射される。
 露光部142は、センサ144において、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズ141等の光学系やアイリス(絞り)による開口量などを調整することで、露光制御を行う。ただし、この露光制御は、指標演算装置103からの遠隔制御で行うことができる。
 フィルタ143は、測定対象の検査指標に応じた光学フィルタである。フィルタ143は、レンズ141を介して入射された光のうち、所定の波長帯域の光を、センサ144に透過させる。
 センサ144は、そのセンサ面に、複数の画素が繰り返しパターンで2次元配列されたセンシング素子から構成されるイメージセンサである。センサ144は、フィルタ143を通過した光を、センシング素子により検出することで、光の光量に応じた測定信号(測定データ)を、信号処理部145に出力する。
 ここで、例えば、検査指標としてNDVI値を算出する場合には、R信号が必要になるので、フィルタ143として、RフィルタとNIRカットフィルタを組み合わせたものが設けられる。この場合、センサ144のセンシング素子では、例えば、図8の配列パターン144Aに示すように、すべての画素が、赤(R)の成分に対応したR画素として、2次元に配列される。
 すなわち、上述したセンシング装置101-2(図4)では、フィルタ143として、RフィルタとIRカットフィルタを組み合わせたものが設けられることになる。
 ただし、センサ144のセンシング素子に2次元配列される複数の画素の配列パターンとしては、配列パターン144Aに示した画素の配列に限らず、R信号がとれれば、他の配列パターンが採用されるようにしてもよい。ここでは、例えば、ベイヤー配列により、複数の画素を2次元配列することができる。ベイヤー配列とは、緑(G)のG画素が市松状に配され、残った部分に、赤(R)のR画素と、青(B)のB画素とが一列ごとに交互に配される配列パターンである。特に、RフィルタとIRフィルタだけでなく、緑(G)や青(B)などの可視領域のフィルタを備えることで、検査指標だけでなく、ユーザに提示するための画像を撮像でき、それらを同時に提示することが可能になる。
 また、例えば、検査指標として、NDVI値を算出する場合には、NIR信号が必要になるので、フィルタ143として、NIRフィルタが設けられる。この場合、センサ144のセンシング素子では、例えば、図8の配列パターン144Bに示すように、すべての画素が、近赤外領域(NIR)に対応したIR画素として、2次元状に配列される。
 すなわち、上述したセンシング装置101-1(図4)では、フィルタ143として、NIRフィルタが設けられることになる。
 さらに、図8の配列パターン144Aでは、NIRカットフィルタを設けた構成を説明したが、NIRカットフィルタを設けない構成としてもよい。この場合、センサ144のセンシング素子では、例えば、図8の配列パターン144Cに示すように、赤(R)、緑(G)、及び青(B)の可視光の波長を透過するRGBフィルタに対応したR,G,B画素のほかに、近赤外領域(NIR)に対応したIR画素が配されるようにすることができる。
 図8の配列パターン144Cでは、例えば、横方向に4個の画素が配され、縦方向に2個の画素が配された4×2画素(2個のR画素(R1,R2)、2個のG画素(G1,G2)、2個のB画素(B1,B2)、2個のIR画素(IR1,IR2))が、1セットとされる。そして、このような8画素を1セットとして、n(nは1以上の整数)セットを構成する複数の画素が、センシング素子のセンサ面に繰り返し配置されることになる。なお、1セット当たりの画素数は、8画素に限定されることなく、例えば、R,G,B,IR画素を1つずつ含んだ4画素を、1セットとした構成などの他の形態を採用することができる。
 ここで、検査指標として、NDVI値を算出する場合、R画素とIR画素を有するセンサ144を用いることができれば、1つのセンサ144で、R信号とNIR信号が得られるので、図4や図7に示したように、2つのセンシング装置101-1,101-2を設ける必要はない。すなわち、この場合には、例えば、R画素やIR画素などの画素ごとに独立してゲインを制御したり、複数のストリームで同時に異なる画を出力したりすることで、1つのセンシング装置101(のセンサ144)で、2つのセンシング装置101-1,101-2の役割を果たすことが可能となる。
 なお、図8の配列パターン144Cでは、R画素、G画素、B画素、及びIR画素の4種類の画素が配列される場合を例示したが、検査指標として、NDVI値を算出する場合には、少なくとも、R画素とIR画素が配列パターンに含まれていればよい。
 信号処理部145は、センサ144から出力される測定データに対し、データを並び替える処理などの所定の信号処理を行い、I/F部146に出力する。
 なお、本実施の形態では、NDVI値などの検査指標は、後段の指標演算装置103により算出されるとして説明するが、信号処理部145が、CPUやFPGA等の回路などにより構成されるようにすることで、測定データに基づいて、NDVI値などの検査指標を算出するようにしてもよい。
 I/F部146は、外部出力インターフェース回路などにより構成され、信号処理部145から供給される測定データを、指標測定データとして、ハブ104を介して指標演算装置103に出力する。
 センシング装置101は、以上のように構成される。
 なお、本実施の形態の説明では、指標演算システム10において、センシング装置101が複数設けられる場合に、符号として、「-1」や「-2」を追加して記述することで、区別するものとする。また、センシング装置101内のフィルタ143やセンサ144などについても同様に区別するものとする。
(指標演算装置の構成)
 図9は、図7の指標演算装置103の構成例を示す図である。
 図9において、指標演算装置103は、I/F部161、処理部162、記憶部163、及び表示部164から構成される。
 I/F部161は、外部入力インターフェース回路などにより構成され、センシング装置101-1とセンシング装置101-2から入力される指標測定データを、処理部162に供給する。
 処理部162は、例えば、CPUやFPGA等の回路などにより構成される。処理部162は、算出部171及び制御部172を含む。
 算出部171は、I/F部161から供給される指標測定データに基づいて、所定の信号処理を行うことで、検査対象物1の検査指標を算出する。この信号処理の詳細な内容は後述するが、ここでは、例えば、指標測定データから得られるNIR信号と、R信号に基づいて、上述した式(1)を演算することで、NDVI値を算出することができる。
 制御部172は、指標演算装置103の各部の動作を制御する。また、制御部172は、ハブ104を介して、センシング装置101-1とセンシング装置101-2を遠隔で制御する。例えば、制御部172は、センシング装置101-1とセンシング装置101-2での測定時の露光を制御する。
 記憶部163は、例えば、半導体メモリやハードディスクなどから構成される。記憶部163は、制御部172からの制御に従い、算出部171により算出された検査指標に関するデータ(例えば、数値データや画像データ等)を記憶する。
 表示部164は、例えば、LCD(Liquid Crystal Display)やOELD(Organic Electroluminescence Display)などのディスプレイにより構成される。表示部164は、制御部172からの制御に従い、算出部171により算出された検査指標に関するデータ(例えば、数値データや画像データ等)を表示する。また、表示部164は、制御部172からの制御に従い、記憶部163に記憶された各種のデータを表示することができる。
 なお、図9においては、記憶部163及び表示部164は、指標演算装置103の内部に設けられるとして説明したが、記憶装置又は表示装置として、指標演算装置103の外部に設けられるようにしてもよい。この場合、制御部172は、信号処理で得られた数値データや画像データ等の各種のデータを、外部の記憶装置に記憶させたり、あるいは外部の表示装置に表示させたりすることができる。
 指標演算装置103は、以上のように構成される。
(指標演算システムの他の構成)
 ところで、図7に示した指標演算システム10では、パーソナルコンピュータ等の指標演算装置103が、ハブ104を介したローカル環境で、検査対象物1の検査指標(例えばNDVI値)を算出していたが、ネットワークを介したクラウド環境で、検査対象物1の検査指標が算出されるようにしてもよい。
 図10には、指標演算システムの他の構成例として、クラウド環境に対応した指標演算システム11の構成例を示している。
 図10の実効指標演算システム11において、センシング装置101-1とセンシング装置101-2は、図7のセンシング装置101-1とセンシング装置101-2と同様に、センシングの結果得られる指標測定データを、ハブ104を介してクライアント装置105に出力する。ただし、センシング装置101-1とセンシング装置101-2は、図4に示したように、移動測定装置50に搭載されるようにすることができる。
 クライアント装置105は、パーソナルコンピュータ等から構成され、ハブ104を介して、センシング装置101-1とセンシング装置101-2からから入力される指標測定データを、ルータ106に出力する。すなわち、クライアント装置105は、図7の指標演算装置103に対応しているが、検査対象物1の検査指標を算出するための信号処理は行わない。
 ルータ106は、例えばモバイル用のルータであり、基地局107を介して、インターネット等のネットワーク108に接続することができる。ルータ106は、クライアント装置105から入力される指標測定データを、ネットワーク108を介して、サーバ109に送信する。
 サーバ109は、ネットワーク108を介して、クライアント装置105から送信されてくる指標測定データを受信する。ここで、サーバ109は、図9に示した指標演算装置103が有する機能のうち、少なくとも、処理部162と同様の機能を有している。
 すなわち、サーバ109において、処理部162の算出部171は、クライアント装置105から受信した指標測定データに基づいて、検査対象物1の検査指標(例えば、NDVI値)を算出する。サーバ109で算出された検査対象物1の検査指標に関するデータ(例えば、数値データや画像データ)は、ストレージ110に記憶することができる。
 また、サーバ109が表示部164を有しているか、あるいはサーバ109と表示部164とが通信可能な場合には、検査対象物1の検査指標に関するデータを、表示部164に表示させることができる。また、サーバ109は、ストレージ110に記憶されたデータを読み出し、表示部164に表示させてもよい。
 指標演算システム11は、以上のように構成される。
<3.センシング装置の測定例>
 次に、図11乃至図15を参照して、センシング装置101-1とセンシング装置101-2による測定の例を説明する。
 以下の説明では、複数の基準反射板20を用意する本技術の構成との比較のため、単一の基準反射板20を用いた構成についても説明する。すなわち、単一の基準反射板20を用いた構成は、上述した図1の測定時の構成に対応し、複数の基準反射板を用いた構成が、上述した図4の測定時の構成(本技術の構成)に対応している。
 なお、以下の説明では、センシング装置101-1は、レンズ141-1、露光部142-1、フィルタ143-1(NIRフィルタ143-1)、センサ144-1、信号処理部145-1、及びI/F部146-1から構成されるものとして説明する。また、センシング装置101-2は、レンズ141-2、露光部142-2、フィルタ143-2(Rフィルタ143-2とNIRカットフィルタ)、センサ144-2、信号処理部145-2、及びI/F部146-2から構成されるものとして説明する。
(フィルタとセンサの特性)
 図11は、フィルタとセンサの特性の例を示す図である。
 図11のAには、センシング装置101-1におけるフィルタ143-1とセンサ144-1の特性を示している。すなわち、図11のAは、横軸を波長(nm)とし、縦軸をゲインとしたときのNIRフィルタ143-1とセンサ144-1の特性を示している。
 図11のAに示すように、NIRフィルタ143-1は、例えば、800~940nmの範囲などの近赤外領域(NIR)の光を透過する特性を有している。したがって、図11のAにおいて、センサ144-1が、線L1で示すような分光感度特性を有している場合、斜線の部分の領域A1に応じた帯域の信号が、NIR信号として積分され、出力される。
 図11のBは、センシング装置101-2におけるフィルタ143-2とセンサ144-2の特性を示している。すなわち、図11のBは、横軸を波長(nm)とし、縦軸をゲインとしたときのRフィルタ143-2とセンサ144-2の特性を示している。
 図11のBに示すように、Rフィルタ143-2は、例えば、580~680nmの範囲などの可視領域の赤(R)の光を透過する特性を有している。したがって、図11のBにおいて、センサ144-2が、線L2で示すような分光感度特性を有している場合、斜線の部分の領域A2に応じた帯域の信号が、R信号として積分され、出力される。
(1)単一の基準反射板の構成
 ここでは、まず、本技術の構成との比較のため、上述した図1の測定時の構成に対応する、単一の基準反射板20を用いた構成について説明する。
(基準反射板と検査対象物の特性)
 図12は、単一の基準反射板の構成を採用した場合における、基準反射板20と検査対象物1の特性の例を示す図である。
 図12のAには、横軸を波長(nm)とし、縦軸を反射率としたときの基準反射板20(図1)の特性の例を示している。例えば、基準反射板20としては、一般的に利用されるグレー反射板を用いることができる。図12のAに示すように、基準反射板20の反射率は、約0.18で一定であり、分光反射率の特性がフラットになっている。
 図12のBには、横軸を波長(nm)とし、縦軸を反射率としたときの検査対象物1(図1)の特性の例を示している。図12のBに示すように、検査対象物1の反射率は、700nm付近までは0に近い値となっているが、700nmの近傍で上昇し、700nmを超える範囲では、約0.8(80%)に近い値となっている。すなわち、例えば、圃場の植物等の植物が、検査対象物1となる場合には、可視領域では反射率が小さくなる一方で、近赤外領域では、反射率は大きくなる。
(センシング装置の測定時の信号処理の流れ)
 図13は、単一の基準反射板の構成を採用した場合における、センシング装置101-1とセンシング装置101-2の測定時の信号処理の流れを説明する図である。
 なお、図13においては、基準反射板20又は検査対象物1からの反射光に対し、図中の上側の系列が、NIRフィルタ143-1が取り付けられたセンシング装置101-1で処理される信号の流れを示し、図中の下側の系列が、Rフィルタ143-2が取り付けられたセンシング装置101-2で処理される信号の流れを示している。
 図13においては、太陽光(環境光)が基準反射板20に反射し、その反射光が、センシング装置101-1とセンシング装置101-2に入射される。この太陽光の分光特性を、分光特性S1で表している。また、基準反射板20の反射光の分光特性を、分光特性S2で表している。すなわち、基準反射板20は、図12のAに示したフラットな分光特性を有しているので、基準反射板20の反射光の分光特性は、分光特性S2のようになる。
 また、太陽光は、圃場の植物等の検査対象物1に反射し、その反射光が、センシング装置101-1とセンシング装置101-2に入射される。検査対象物1の反射光の分光特性を、分光特性S3で表している。すなわち、検査対象物1は、図12のBに示した形状の反射特性を有しているので、検査対象物1の反射光の分光特性は、分光特性S3のようになる。
 センシング装置101-1においては、基準反射板20と検査対象物1の反射光が、レンズ141-1に入射され、NIRフィルタ143-1を通過して、センサ144-1のセンサ面に像を結ぶことになる。ただし、圃場の植物等の植物が、検査対象物1となる場合には、近赤外領域での反射率が大きくなるので、NIRフィルタ143-1によりNIR成分の光を透過させるセンシング装置101-1では、露光部142-1によって、NIR成分の光量に応じて露光時間が短く設定される。
 センシング装置101-1において、NIRフィルタ143-1の特性を、分光特性S4と分光特性S6で表している。この分光特性S4,S6において、NIRフィルタ143-1の特性は、図11のAに示したNIRフィルタの透過特性に対応している。なお、分光特性S4には、NIRフィルタ143-1の特性に対し、基準反射板20の特性(分光特性S2)が重ねられている。また、分光特性S6には、NIRフィルタ143-1の特性に対し、検査対象物1の特性(分光特性S3)が重ねられている。
 そして、NIRフィルタ143-1の特性に対し、基準反射板20の反射光の特性(分光特性S2)を重ねた分光特性S5に示すように、センサ144-1は、そのセンサ面で受光された基準反射板20からの反射光を、基準反射板20を含む領域(図2の対象領域T2)のNIR成分のレベルとして出力する。
 また、NIRフィルタ143-1の特性に対し、検査対象物1の反射光の特性(分光特性S3)を重ねた分光特性S7に示すように、センサ144-1は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図2の対象領域T1)のNIR成分のレベルとして出力する。
 すなわち、これらのNIR成分のレベルに応じた信号が、センシング装置101-1により基準反射板20と検査対象物1を含む領域をセンシングして得られたNIRデータ(NIR信号)となる。信号処理部145-1は、センサ144-1からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146-1を介して出力する。
 このようにして、図13のセンシング装置101-1によるセンシングで得られるセンシング画像IIRは、検査対象物1の反射光のNIR成分の光量に応じて露光時間が設定されているため、分光特性S6,S7に示すように、NIR成分の帯域の光を適度にとらえている。なお、ここでは、R成分の光は、レベルが小さく、アンダー露出となっている。
 また、このとき、基準反射板20の反射光のNIR成分の光は、分光特性S4,S5に示すように、そのレベルが小さすぎるため、アンダー露出となっている。
 一方で、センシング装置101-2においては、基準反射板20と検査対象物1の反射光が、レンズ141-2に入射され、Rフィルタ143-2を通過して、センサ144-2のセンサ面に像を結ぶことになる。ただし、圃場の植物が、検査対象物1となる場合には、可視領域での反射率が小さくなるので、Rフィルタ143-2によりR成分の光を透過させるセンシング装置101-2では、露光部142-2によって、R成分の光量に応じて露光時間が長く設定される。
 センシング装置101-2において、Rフィルタ143-2の特性を、分光特性S8と分光特性S10で表している。この分光特性S8,S10において、Rフィルタ143-2の特性は、図11のBに示したRフィルタの透過特性に対応している。なお、分光特性S8には、Rフィルタ143-2の特性に対し、基準反射板20の特性(分光特性S2)が重ねられている。また、分光特性S10には、Rフィルタ143-2の特性に対し、検査対象物1の特性(分光特性S3)が重ねられている。
 そして、Rフィルタ143-2の特性に対し、基準反射板20の反射光の特性(分光特性S2)を重ねた分光特性S9に示すように、センサ144-2は、そのセンサ面で受光された基準反射板20からの反射光を、基準反射板20を含む領域(図3の対象領域T2)のR成分のレベルとして出力する。
 また、Rフィルタ143-2の特性に対し、検査対象物1の反射光の特性(分光特性S3)を重ねた分光特性S11に示すように、センサ144-2は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図2の対象領域T1)のR成分のレベルとして出力する。
 すなわち、これらのR成分のレベルに応じた信号が、センシング装置101-2により基準反射板20と検査対象物1を含む領域をセンシングして得られたRデータ(R信号)となる。信号処理部145-2は、センサ144-2からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146-2を介して出力する。
 このようにして、図13のセンシング装置101-2によるセンシングで得られるセンシング画像IRは、検査対象物1の反射光のR成分の光量に応じて露光時間が設定されているため、分光特性S10,S11に示すように、R成分の帯域の光を適度にとらえている。なお、ここでは、NIR成分の光は、レベルが大きく、オーバー露出となっている。
 また、このとき、基準反射板20の反射光のR成分の光は、分光特性S8,S9に示すように、そのレベルが大きすぎるため、オーバー露出となっている。
 以上のように、上述した図1の測定時の構成に対応する、単一の基準反射板の構成を採用した場合には、測定帯域ごとに、検査対象物1の反射率と、基準反射板20の反射率との差が大きいため、最適な露光時間を設定するのが難しくなり、結果として、太陽光等の光源の特定に失敗したり、著しく測定精度が低下したりすることに繋がっていた。
(2)複数の基準反射板の構成
 次に、上述した図4の測定時の構成に対応する、複数の基準反射板20を用いた構成、すなわち、本技術の構成について説明する。
 なお、複数の基準反射板の構成を採用した場合でも、検査対象物1は、圃場の植物となるので、その特性は、図12のBに示した特性と同じである。
(複数の基準反射板の特性)
 図14は、複数の基準反射板の構成を採用した場合における、基準反射板20-1と基準反射板20-2の特性の例を示す図である。
 図14のAには、横軸を波長(nm)とし、縦軸を反射率としたときの基準反射板20-1(図4)の特性の例を示している。図14のAに示すように、基準反射板20-1の反射率は、検査対象物1の近赤外領域(NIR)の反射率に合致するようにする。例えば、図14のAにおいては、「Ref1」で示すように、基準反射板20-1の反射率を、80%としている。
 すなわち、検査対象物1が、圃場の植物である場合、その反射率は、上述した図12のBに示した特性となり、例えば、800~940nmの範囲などの近赤外領域(NIR)の反射率は、約0.8(80%)となる。したがって、この検査対象物1の近赤外領域(NIR)の反射率に応じて、基準反射板20-1の反射率を、80%とすることができる。
 図14のBには、横軸を波長(nm)とし、縦軸を反射率としたときの基準反射板20-2(図4)の特性の例を示している。図14のBに示すように、基準反射板20-2の反射率は、検査対象物1の可視領域の赤(R)の反射率に合致するようにする。例えば、図14のBにおいては、「Ref2」で示すように、基準反射板20-2の反射率を、5%としている。
 すなわち、検査対象物1が、圃場の植物である場合、その反射率は、上述した図12のBに示した特性となり、例えば、580~680nmの範囲などの可視領域の赤(R)の反射率は、約0.05(5%)となる。したがって、この検査対象物1の可視領域の赤(R)の反射率に応じて、基準反射板20-2の反射率を、5%とすることができる。
 なお、センシング装置101-1とセンシング装置101-2において、通過帯域が、ある帯域だけに固定される場合には、その帯域以外の帯域の反射率は、いわゆる「don't care」の扱いとされる。例えば、基準反射板20-1を測定する場合の近赤外領域(NIR)以外の帯域や、基準反射板20-2を測定する場合の可視領域の赤(R)以外の帯域が、そのような帯域に相当する。
(センシング装置の測定時の信号処理の流れ)
 図15は、複数の基準反射板の構成を採用した場合における、センシング装置101-1とセンシング装置101-2の測定時の信号処理の流れを説明する図である。
 なお、図15においては、図13と同様に、図中の上側の系列が、NIRフィルタ143-1が取り付けられたセンシング装置101-1で処理される信号の流れを示し、図中の下側の系列が、Rフィルタが143-2取り付けられたセンシング装置101-2で処理される信号の流れを示している。
 図15においては、太陽光(環境光)が、基準反射板20-1と基準反射板20-2に反射し、その反射光が、センシング装置101-1とセンシング装置101-2に入射される。この太陽光の分光特性を、分光特性S31で表している。また、基準反射板20-1と基準反射板20-2の反射光の分光特性を、分光特性S32で表している。
 すなわち、基準反射板20-1は、図14のAに示した分光特性を有しているので、基準反射板20-1の反射光の分光特性は、分光特性S32-1のようになる。また、基準反射板20-2は、図14のBに示した分光特性を有しているので、基準反射板20-2の反射光の分光特性は、分光特性S32-2のようになる。
 ここでは、基準反射板20-1と基準反射板20-2のうち、NIRフィルタ143-1に対応して反射率が大きい特性(分光特性S32-1)を有する基準反射板20-1が、センシング装置101-1によるセンシングで用いられる。また、Rフィルタに対応して反射率が小さい特性(分光特性S32-2)を有する基準反射板20-2が、センシング装置101-2によるセンシングで用いられる。
 また、太陽光は、圃場の植物等の検査対象物1に反射し、その反射光が、センシング装置101-1とセンシング装置101-2に入射される。検査対象物1の反射光の分光特性を、分光特性S33で表している。
 すなわち、図15の分光特性を、図13の分光特性と比べれば、太陽光の分光特性S31は、図13の分光特性S1と同じである。また、圃場の植物等の検査対象物1の分光特性S33は、図13の分光特性S3と同じであって、図12のBに示した形状の反射特性を有している。一方で、図15では、複数の基準反射板20-1,20-2が用意されており、それらの反射光の分光特性S32-1,S32-2は、図13の分光特性S2とは異なっている。
 センシング装置101-1においては、基準反射板20-1と検査対象物1の反射光が、レンズ141-1に入射され、NIRフィルタ143-1を通過して、センサ144-1のセンサ面に像を結ぶことになる。ただし、圃場の植物等の植物が、検査対象物1となる場合には、近赤外領域での反射率が大きくなるので、NIRフィルタ143-1によりNIR成分の光を透過させるセンシング装置101-1では、露光部142-1によって、NIR成分の光量に応じて露光時間が短く設定される。
 センシング装置101-1において、NIRフィルタ143-1の特性を、分光特性S34と分光特性S36で表している。この分光特性S34,S36において、NIRフィルタ143-1の特性は、図11のAに示したNIRフィルタの透過特性に対応している。なお、分光特性S34には、NIRフィルタ143-1の特性に対し、基準反射板20-1の特性(分光特性S32-1)が重ねられている。また、分光特性S36には、NIRフィルタ143-1の特性に対し、検査対象物1の特性(分光特性S33)が重ねられている。
 そして、NIRフィルタ143-1の特性に対し、基準反射板20-1の反射光の特性(分光特性S32-1)を重ねた分光特性S35に示すように、センサ144-1は、そのセンサ面で受光された基準反射板20-1からの反射光を、基準反射板20-1を含む領域(図5の対象領域T3)のNIR成分のレベルとして出力する。
 また、NIRフィルタ143-1の特性に対し、検査対象物1の反射光の特性(分光特性S33)を重ねた分光特性S37に示すように、センサ144-1は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図5の対象領域T1)のNIR成分のレベルとして出力する。
 すなわち、これらのNIR成分のレベルに応じた信号が、センシング装置101-1により基準反射板20-1と検査対象物1を含む領域をセンシングして得られたNIRデータ(NIR信号)となる。信号処理部145-1は、センサ144-1からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146-1を介して出力する。
 このようにして、図15のセンシング装置101-1によるセンシングで得られるセンシング画像IIRは、検査対象物1の反射光のNIR成分の光量に応じて露光時間が設定されているため、分光特性S36,S37に示すように、NIR成分の帯域の光を適度にとらえている。なお、ここでは、R成分の光は、レベルが小さく、アンダー露出となっている。
 また、このとき、基準反射板20-1の反射光のNIR成分の光は、分光特性S34,S35に示すように、NIR成分の波長帯域の光を適度にとらえている。ここで、基準反射板20-1は、その反射率が、検査対象物1の近赤外領域(NIR)での反射率に合致するように、あらかじめ用意しておいたものである。そして、NIRフィルタ143-1を有するセンシング装置101-1が、基準反射板20-1を光源情報と利用することで、検査対象物1の反射光だけでなく、基準反射板20-1の反射光についても、NIR成分の波長帯域の光を適度にとらえることができる。
 一方で、センシング装置101-2においては、基準反射板20-2と検査対象物1の反射光が、レンズ141-2に入射され、Rフィルタ143-2を通過して、センサ144-2のセンサ面に像を結ぶことになる。ただし、圃場の植物が、検査対象物1となる場合には、可視領域での反射率が小さくなるので、Rフィルタ143-2によりR成分の光を透過させるセンシング装置101-2では、露光部142-2によって、R成分の光量に応じて露光時間が長く設定される。
 センシング装置101-2において、Rフィルタ143-2の特性を、分光特性S38と分光特性S40で表している。この分光特性S38,S40において、Rフィルタ143-2の特性は、図11のBに示したRフィルタの透過特性に対応している。なお、分光特性S38には、Rフィルタ143-2の特性に対し、基準反射板20-2の特性(分光特性S32-2)が重ねられている。また、分光特性S40には、Rフィルタ143-2の特性に対し、検査対象物1の特性(分光特性S33)が重ねられている。
 そして、Rフィルタ143-2の特性に対し、基準反射板20-2の反射光の特性(分光特性S32-2)を重ねた分光特性S39に示すように、センサ144-2は、そのセンサ面で受光された基準反射板20-2からの反射光を、基準反射板20-2を含む領域(図6の対象領域T4)のR成分のレベルとして出力する。
 また、Rフィルタ143-2の特性に対し、検査対象物1の反射光の特性(分光特性S33)を重ねた分光特性S41に示すように、センサ144-2は、そのセンサ面で受光された検査対象物1からの反射光を、検査対象物1を含む領域(図6の対象領域T1)のR成分のレベルとして出力する。
 すなわち、これらのR成分のレベルに応じた信号が、センシング装置101-2により基準反射板20-2と検査対象物1を含む領域をセンシングして得られたRデータ(R信号)となる。信号処理部145-2は、センサ144-2からのデータを並び替える処理などを行い、その結果得られるデータを、I/F部146-2を介して出力する。
 このようにして、図15のセンシング装置101-2によるセンシングで得られるセンシング画像IRは、検査対象物1の反射光のR成分の光量に応じて露光時間が設定されているため、分光特性S40,S41に示すように、R成分の帯域の光を適度にとらえている。なお、ここでは、NIR成分の光は、レベルが大きく、オーバー露出となっている。
 また、このとき、基準反射板20-2の反射光のR成分の光は、分光特性S38,S39に示すように、R成分の波長帯域の光を適度にとらえている。ここで、基準反射板20-2は、その反射率が、検査対象物1の可視領域の赤(R)での反射率に合致するように、あらかじめ用意しておいたものである。そして、Rフィルタ143-2を有するセンシング装置101-2が、基準反射板20-2を光源情報と利用することで、検査対象物1の反射光だけでなく、基準反射板20-2の反射光についても、R成分の波長帯域の光を適度にとらえることができる。
 以上のように、上述した図4の測定時の構成に対応する、複数の基準反射板の構成を採用した場合において、センシング装置101-1では、NIR成分の波長帯域の光として、検査対象物1と基準反射板20-1からの反射光のNIR成分がともに、ダイナミックレンジ内に収まっている。また、センシング装置101-2では、R成分の波長帯域の光として、検査対象物1と基準反射板20-2からの反射光のR成分がともに、ダイナミックレンジ内に収まっている。
 このように、複数の基準反射板の構成を採用した場合、センシング装置101-1とセンシング装置101-2において、測定帯域ごとに、検査対象物1の反射率と、基準反射板20-1又は基準反射板20-2の反射率との差が小さくなり、結果として、光源の特定と、検査対象物1の測定波長の反射率を、精度良くとらえることが可能となる。
<4.検査指標の測定処理>
 上述した複数の基準反射板の構成で、センシング装置101-1とセンシング装置101-2によるセンシングで得られた指標測定データは、ハブ103を介して、指標演算装置103に出力される。そして、指標演算装置103は、指標測定データに基づいて、検査対象物1の検査指標(NDVI値)を算出する。そこで、次に、図16のフローチャートを参照して、図7の指標演算システム10により実行される、検査指標の測定処理の全体の流れについて説明する。
 ステップS101において、センシング装置101-1とセンシング装置101-2は、指標演算装置103の制御部172からの遠隔制御に従い、露光制御を行う。ここでは、検査対象物1の測定波長に合わせて、露光時間が決定される。ここでは、検査対象物1の測定波長に合わせて、露光時間が決定される。
 例えば、圃場の植物等の植物が、検査対象物1となる場合、近赤外領域での反射率が大きくなるので、NIRフィルタ143-1を有するセンシング装置101-1では、NIR成分の光量に応じて露光時間が短くなるように制御される。また、植物は、可視領域での反射率が小さくなるので、Rフィルタ143-2を有するセンシング装置101-2では、R成分の光量に応じて露光時間が長くなるように制御される。
 ステップS102において、センシング装置101-1とセンシング装置101-2は、ステップS101の処理での露光制御に従い、センシングを行う。ここでは、図15に示したように、センシング装置101-1によって、検査対象物1と基準反射板20-1からのNIR成分の波長帯域の光がセンシングされ、センシング装置101-2によって、検査対象物1と基準反射板20-2からのR成分の波長帯域の光がセンシングされる。
 ステップS103において、指標演算装置103の処理部162は、ハブ104を介して、ステップS102の処理で得られた指標測定データを取得する。
 ステップS104において、指標演算装置103の算出部171は、ステップS103の処理で取得された指標測定データに対し、センシング装置101-1とセンシング装置101-2との間のゲインを調整する。ここでは、センシング装置101-1とセンシング装置101-2との露光時間の差に応じたゲインの調整が行われる。
 例えば、センシング装置101-1でのNIR成分の光量に応じた露光時間が10msである場合に、センシング装置101-2でのR成分の光量に応じた露光時間が40msとなるときには、センシング装置101-2から得られるR信号のレベルを1/4にすればよい。
 ステップS105において、指標演算装置103の算出部171は、ステップS104の処理でゲイン調整が施された指標測定データに対応したセンシング画像から、処理エリアを特定する。ここでは、処理エリアとして、センシング画像(例えば、図5のセンシング画像IIR又は図6のセンシング画像IR)に含まれる、検査対象物1を含む領域(例えば、図5又は図6の対象領域T1に相当する領域)と、基準反射板20-1を含む領域(例えば、図5の対象領域T3に相当する領域)と、基準反射板20-2(例えば、図6の対象領域T4に相当する領域)を含む領域が特定される。
 ステップS106において、指標演算装置103の算出部171は、ステップS104及びステップS105の処理結果に基づいて、補正ゲインを算出する。
 ここでは、センシング装置101-1で得られたセンシング画像IIRに含まれる基準反射板20-1の領域(図5の対象領域T3に相当にする領域)のレベルを平均化して、NIR信号を生成する。また、センシング装置101-2で得られたセンシング画像IRに含まれる基準反射板20-2の領域(図6の対象領域T4に相当する領域)のレベルを平均化して、R信号を生成する。ただし、このR信号のレベルは、露光時間を考慮して、上述の例の場合には、1/4になっている。
 また、基準反射板20-1と基準反射板20-2の反射率を考慮して、R信号のレベルに対し、基準板反射係数(C)を乗ずる。ただし、この基準板反射係数(C)は、下記の式(2)により求められる。例えば、基準反射板20-1の反射率が、80%で、基準反射板20-2の反射率が、5%である場合には、R信号のレベルに対し、16(= 0.8 / 0.05)を乗ずることになる。
 C = 反射率@基準板1 / 反射率@基準板2    ・・・(2)
 ただし、式(2)において、「C」は、基準板反射係数を表している。また、「反射率@基準板1」は、基準反射板20-1の反射率を表し、「反射率@基準板2」は、基準反射板20-2の反射率を表している。
 このようにして得られるR信号と、NIR信号との比(Red/NIR)を求めることで、入射される光の分光特性を把握することができる。そして、この比の逆数が、補正ゲイン(G)となる。すなわち、この補正ゲイン(G)は、下記の式(3)により求められる。つまり、反射率がフラットとなる光源が入力されたときの検査対象物1の反射光の強度を調べることで、検査対象物1の反射率分光特性を測定することが可能となる。
 G = 1 / (Red@基準板2 / NIR@基準板1) × (反射率@基準板2 / 反射率@基準板1)    ・・・(3)
 ただし、式(3)において、「G」は、補正ゲインを表している。また、「Red@基準板2」は、センシング装置101-2が基準反射板20-2をセンシングして得られるR信号を表し、「NIR@基準板1」は、センシング装置101-1が基準反射板20-1をセンシングして得られるNIR信号を表している。さらに、「反射率@基準板2」は、基準反射板20-2の反射率を表し、「反射率@基準板1」は、基準反射板20-1の反射率を表している。
 ステップS107において、指標演算装置103の算出部171は、ステップS106の処理で算出された補正ゲインを用いて、ステップS105の処理で特定された検査対象物1を含む領域のデータを補正する。
 ここでは、例えば、センシング装置101-1で得られたセンシング画像IIRに含まれる検査対象物1の領域(図5の対象領域T1に相当する領域)の各画素のNIR成分と、センシング装置101-2で得られたセンシング画像IRに含まれる検査対象物1の領域(図6の対象領域T1に相当する領域)の各画素のR成分を抽出する。ただし、このR信号のレベルは、露光時間を考慮して、上述の場合には、1/4になっている。
 そして、このようにして抽出された各画素のR信号とNIR信号との比(Red/NIR)に、補正ゲイン(G)を乗じることで、検査対象物1を含む領域のデータを補正することができる。補正後の値(A)は、下記の式(4)により求められる。
 A = G × (Red@対象物 / NIR@対象物)    ・・・(4)
 ただし、式(4)において、「A」は、補正後の値を表し、「G」は、補正ゲインを表している。また、「Red@対象物」は、センシング装置101-2が検査対象物1を含む領域をセンシングして得られるR信号を表し、「NIR@対象物」は、センシング装置101-1が検査対象物1を含む領域をセンシングして得られるNIR信号を表している。
 ステップS108において、指標演算装置103の算出部171は、ステップS107の処理で得られる補正後の値(A)を用いて、検査対象物1の検査指標として、植生指数を算出する。
 ここでは、植生指数として、NDVI値を算出することができる。NDVI値は、上述の式(1)で求めることができるが、ステップS107の処理で得られる補正後の値(A)を用いる場合には、下記の式(5)のように表すことができる。
 NDVI = (1 - A) / (1 + A)    ・・・(5)
 ステップS109において、指標演算装置103の算出部171は、ステップS108の処理で算出された植生指数(NDVI値)のデータを、記憶部163に保存する。
 ステップS110においては、処理を終了するかどうかが判定される。ステップS110において、処理を終了しないと判定された場合、処理は、ステップS101に戻り、それ以降の処理が繰り返される。一方で、ステップS110において、処理を終了すると判定された場合、図16の検査指標の測定処理は終了される。
 以上、検査指標の測定処理の流れを説明した。
 なお、図16の説明では、検査指標の測定処理のうち、ステップS101乃至S102の処理が、センシング装置101-1とセンシング装置101-2により実行され、ステップS103乃至S110の処理が、指標演算装置103により実行されるとして説明したが、ステップS103乃至S110の処理は、例えば、センシング装置101など、指標演算装置103以外の他の装置が実行するようにしてもよい。また、ローカル環境としての指標演算システム10(図7)の構成ではなく、クラウド環境としての指標演算システム11(図10)の構成を採用した場合には、例えば、サーバ109が、ステップS103乃至S110の処理を実行することができる。
<5.変形例>
(基準反射板の他の例)
 上述した説明では、複数の基準反射板20として、板状の形状からなる基準反射板を用いるとして説明したが、基準反射板は、板状の形状に限らず、検査対象物1に応じた特性を有する所定の領域(基準反射領域)であればよい。例えば、基準反射領域としては、1枚の板の面の領域を2分割して、一方の領域の反射率が、検査対象物1の近赤外領域(NIR)の反射率に合致するような反射率を有し、他方の領域が、検査対象物1の可視領域の赤(R)の反射率に合致するような反射率を有するようにすることができる。
 また、上述した説明では、1つの波長帯(測定帯域)に対し、1つの基準反射板20のみが設けられる構成を説明したが、1つの波長帯(測定帯域)に対し、複数の基準反射板20(基準反射領域)が設けられるようにしてもよい。このようにして設けられる複数の基準反射板20(基準反射領域)は、例えば、反射率や、センシング装置101(センサ144)に対する角度や位置が、互いに異なっていてもよい。
 また、図4に示したように、基準反射板20は、センシング装置101の前方に、所定の部材により固定することができるが、センシング装置101(センサ144)に対する、基準反射板20の取り付け角を可変にすることが可能な機構を設けるようにしてもよい。これにより、例えば、基準反射板20の反射具合に応じて、センシング装置101(センサ144)に対する基準反射板20の角度を調整することが可能となる。
(センシング装置が1つの場合)
 また、上述した説明では、複数の基準反射板20(基準反射板20-1,20-2)に対し、複数のセンサ144(センシング装置101-1のセンサ144-1,センシング装置101-2のセンサ144-2)が設けられるとして説明したが、基準反射板20の数に応じたセンサ144を設ける必要はない。
 例えば、複数の基準反射板20に対し、1つのセンサ144を設けて、この1つのセンサ144によって、検査対象物1の測定帯域ごとに、検査対象物1と基準反射板20を、時間をずらして、複数回センシングすればよい。また、時分割で行うほか、例えば、上述した図8で説明したように、センサ144が、R画素とIR画素を少なくとも含む配列パターンを有するようにすることで、1回のセンシングで、R信号とNIR信号を同時に得ることができる。
(測定装置の他の例)
 上述した説明では、移動観測を行う移動測定装置50(図4等)について説明したが、測定装置としては、移動測定装置50に限らず、例えば、定点観測を行う定点測定装置など、他の測定装置を用いるようにしてもよい。図17には、測定装置の他の例として、定点観測を行う定点測定装置60と、人工衛星からの測定を行う衛星測定装置70を例示している。
 図17のAに示した定点測定装置60は、固定脚61によって、検査対象物1(例えば圃場の植物)をセンシング(撮像)することが可能な位置に固定され、そこで測定された指標測定データを、ハブ104を介して指標演算装置103に出力する。指標演算装置103は、定点測定装置60から出力される指標測定データを処理することで、定点測定装置60により定点測定された検査対象物1の指標(NDVI値)を求めることができる。
 図17のBに示した衛星測定装置70は、人工衛星71に搭載される。この人工衛星71において、衛星測定装置70による測定(人工衛星71からの撮像)で得られる指標測定データ(例えば衛星画像に応じた測定値)は、所定の通信経路を介して指標演算装置103に送信される。指標演算装置103は、衛星測定装置70から送信されてくる指標測定データを処理することで、人工衛星71から測定された検査対象物1の検査指標(NDVI値)を求めることができる。
 なお、図7に示したローカル環境ではなく、図10に示したクラウド環境で処理を行う場合には、定点測定装置60又は衛星測定装置70からの指標測定データが、サーバ109に提供されるようにすることで、サーバ109が、指標測定データを処理して、検査対象物1の検査指標(NDVI値)を算出することになる。
 また、互いに通信接続された複数のセンシング装置101(カメラ)が同期して、センシング可能(撮像可能)なマルチセンシングシステム(マルチカメラシステム)の構成において、基準反射板20を、当該マルチセンシングシステムにおける複数のセンシング装置101と同じ数だけ設ける必要はなく、例えば、任意のセンシング装置101に対してのみ、基準反射板20が設けられるような構成を採用することができる。この場合、任意のセンシング装置101で得られた指標測定データが、メタデータとして、他のセンシング装置101に送られることになる。
(他の植生指標)
 また、上述した説明では、植物を検査対象物1としたときの検査指標として、正規化植生指数(NDVI値)を一例に説明したが、正規化植生指数(NDVI値)以外の他の植生指数が測定されるようにしてもよい。例えば、他の植生指数としては、比植生指数(RVI:Ratio Vegetation Index)や差植生指数(DVI:Difference Vegetation Index)などを用いることができる。
 ここで、比植生指数(RVI値)は、下記の式(6)を演算することで算出される。
 RVI = IR / R    ・・・(6)
 また、差植生指数(DVI値)は、下記の式(7)を演算することで算出される。
 DVI = IR - R    ・・・(7)
 ただし、式(6)と、式(7)において、IRは、近赤外領域の反射率を表し、Rは、可視領域赤の反射率を表している。なお、ここでは、IRとRをパラメータとする植生指数のみを例示しているが、赤以外の他の可視領域の光の反射率などをパラメータとして用いて他の植生指数を測定することは、勿論可能である。このようなスペクトル比率は、RとIRとの組み合わせには限られるものではない。センサ144からは、RGBIRの出力として、RとIR以外のGやB等、他の波長帯域の成分が出力されてもよい。
(基準反射板以外を用いた構成)
 上述した説明では、波長帯(測定帯域)ごとに、検査対象物1に対応した反射率を有する基準反射板20を複数用意し、測定帯域ごとに、検査対象物1と基準反射板20をセンシングする場合を説明したが、基準反射板20以外を用いた構成を採用するようにしてもよい。例えば、図18には、基準反射板20の代わりに、検査対象物1に対応した透過率を有する基準透過板80を用いた場合の構成を示している。
 図18のAにおいて、定点測定装置60は、固定脚61によって、検査対象物1(例えば圃場の植物)をセンシングすることが可能な位置に固定されている。また、定点測定装置60の前方には、所定の部材により基準透過板80が設置されており、例えば、図18のBに示すように、植物と空とが同じ画角内に映るようにしたとき、空が映る部分に、基準透過板80が設置される。
 すなわち、基準透過板80が設置される領域は、太陽光(環境光)の状態を確かめるのが目的となるため、図18のAの経路L1で示すような植物に反射した光(反射光)が入射してはならず、図18のAの経路L2で示すような光が入射する必要がある。そして、このようにして得られる指標測定データを用いて、検査対象物1の検査指標を算出することができる。ただし、基準透過板80を用いる場合には、植物等の反射光が入射してしまい、外乱となる可能性がある。一方で、基準反射板20を用いた場合には、このようなノイズの影響を受けることはない。
 なお、図18においては、説明の簡略化のため、1つの基準透過板80が設けられた場合を例示したが、実際には、赤(R)に対応した領域を有する基準透過板80と、近赤外領域(NIR)に対応した領域を有する基準透過板80が、それぞれ設けられる。ただし、基準透過板80は、例えば、1枚の板の面の領域を2分割して、一方の領域を赤(R)に対応した領域とし、他方の領域を近赤外領域(NIR)に対応した領域とするなど、所定の領域(基準透過領域)であればよい。
 また、図18においては、定点測定装置60により定点観測を行う場合を例示したが、移動観測を行う移動測定装置50(図4等)に、基準透過板80を設け、上空から、圃場の植物等の検査対象物1を含む領域をセンシング(空撮)するようにしてもよい。さらに、図18においては、定点測定装置60の外側、すなわち、カメラモジュールの外側に、基準透過板80を設置した構成を例示したが、当該カメラモジュールの内のレンズ等の光学系(光学要素)の一部が、基準透過板としての役割をなすように構成されるようにしてもよい。このような構成を採用することで、定点測定装置60の外側に部材を設ける必要がなくなるという効果がある。
<6.コンピュータの構成>
 上述した一連の処理(図16の検査指標の測定処理のステップS104乃至S108の処理)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示す図である。
 コンピュータ1000において、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及び、ドライブ1010が接続されている。
 入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記憶媒体1011を駆動する。
 以上のように構成されるコンピュータ1000では、CPU1001が、ROM1002や記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
 コンピュータ1000では、プログラムは、リムーバブル記憶媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
 ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
 なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した複数の実施の形態の全て又は一部を組み合わせた形態を採用することができる。
 なお、本技術は、以下のような構成をとることができる。
(1)
 検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えた
 センシングシステム。
(2)
 前記センサによるセンシングで得られる測定結果に基づいて、前記検査対象物の検査指標を算出する算出部をさらに備える
 (1)に記載のセンシングシステム。
(3)
 前記センサは、前記複数の波長帯に対応した複数のセンサからなる
 (1)又は(2)に記載のセンシングシステム。
(4)
 前記センサは、前記検査対象物を含む領域と前記基準反射領域とを同時にセンシングする
 (1)乃至(3)のいずれかに記載のセンシングシステム。
(5)
 前記検査対象物のセンシングの対象となる波長帯ごとに、前記センサの露光時間を制御する制御部をさらに備える
 (1)乃至(4)のいずれかに記載のセンシングシステム。
(6)
 前記算出部は、前記検査対象物のセンシングの対象となる波長帯ごとに得られる、前記検査対象物の測定スペクトル情報に基づいて、前記検査指標を算出する
 (2)に記載のセンシングシステム。
(7)
 前記算出部は、前記検査対象物のセンシングの対象となる波長帯ごとに得られる前記基準反射領域の測定スペクトル情報、及び、前記基準反射領域の反射率に基づいて、前記検査対象物の測定スペクトル情報を補正する
 (6)に記載のセンシングシステム。
(8)
 前記検査対象物は、植物であり、
 前記検査指標は、正規化植生指数(NDVI:Normalized Difference Vegetation Index)である
 (7)に記載のセンシングシステム。
(9)
 前記センサを有するセンシング装置を備える
 (1)乃至(8)のいずれかに記載のセンシングシステム。
(10)
 前記算出部を有する演算装置を備える
 (2)に記載のセンシングシステム。
(11)
 前記センサのダイナミックレンジは、前記検査対象物に対するセンシングの対象となる波長帯に対応したダイナミックレンジに設定されている
 (1)乃至(10)のいずれかに記載のセンシングシステム。
(12)
 前記センサは、前記複数の波長帯に対応した複数のセンサからなり、前記複数のセンサのダイナミックレンジはそれぞれ、センシングの対象となる波長帯に対応したダイナミックレンジに設定されている
 (11)に記載のセンシングシステム。
(13)
 前記複数のセンサのダイナミックレンジは、互いに異なる範囲に設定されている
 (12)に記載のセンシングシステム。
(14)
 センサを備えたセンシングシステムのセンシング方法において、
 前記センサが、検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングする
 ステップを含むセンシング方法。
(15)
 検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えた
 センシング装置。
(16)
 コンピュータを、
 検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサによるセンシングで得られる測定結果に基づいて、前記検査対象物の検査指標を算出する算出部
 として機能させるためのプログラム。
 10,11 指標演算システム, 20,20-1,20-1 基準反射板, 101,101-1,101-2 センシング装置, 103 指標演算装置, 105 クライアント装置, 108 ネットワーク, 109 サーバ, 110 ストレージ, 121 測定部, 122 処理部, 141,141-1,141-2 レンズ, 142,142-1,142-2 露光部, 143 フィルタ, 143-1 NIRフィルタ, 143-2 Rフィルタ, 144,144-1,144-2 センサ, 145,141-5,145-2 信号処理部, 146 I/F部, 161 I/F部, 162 処理部, 163 記憶部, 164 表示部, 171 算出部, 172 制御部, 1000 コンピュータ, 1001 CPU

Claims (15)

  1.  検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えた
     センシングシステム。
  2.  前記センサによるセンシングで得られる測定結果に基づいて、前記検査対象物の検査指標を算出する算出部をさらに備える
     請求項1に記載のセンシングシステム。
  3.  前記センサは、前記複数の波長帯に対応した複数のセンサからなる
     請求項1に記載のセンシングシステム。
  4.  前記センサは、前記検査対象物を含む領域と前記基準反射領域とを同時にセンシングする
     請求項1に記載のセンシングシステム。
  5.  前記検査対象物のセンシングの対象となる波長帯ごとに、前記センサの露光時間を制御する制御部をさらに備える
     請求項1に記載のセンシングシステム。
  6.  前記算出部は、前記検査対象物のセンシングの対象となる波長帯ごとに得られる、前記検査対象物の測定スペクトル情報に基づいて、前記検査指標を算出する
     請求項2に記載のセンシングシステム。
  7.  前記算出部は、前記検査対象物のセンシングの対象となる波長帯ごとに得られる前記基準反射領域の測定スペクトル情報、及び、前記基準反射領域の反射率に基づいて、前記検査対象物の測定スペクトル情報を補正する
     請求項6に記載のセンシングシステム。
  8.  前記検査対象物は、植物であり、
     前記検査指標は、正規化植生指数(NDVI:Normalized Difference Vegetation Index)である
     請求項7に記載のセンシングシステム。
  9.  前記センサを有するセンシング装置を備える
     請求項1に記載のセンシングシステム。
  10.  前記算出部を有する演算装置を備える
     請求項2に記載のセンシングシステム。
  11.  前記センサのダイナミックレンジは、前記検査対象物に対するセンシングの対象となる波長帯に対応したダイナミックレンジに設定されている
     請求項1に記載のセンシングシステム。
  12.  前記センサは、前記複数の波長帯に対応した複数のセンサからなり、前記複数のセンサのダイナミックレンジはそれぞれ、センシングの対象となる波長帯に対応したダイナミックレンジに設定されている
     請求項11に記載のセンシングシステム。
  13.  前記複数のセンサのダイナミックレンジは、互いに異なる範囲に設定されている
     請求項12に記載のセンシングシステム。
  14.  センサを備えたセンシングシステムのセンシング方法において、
     前記センサが、検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングする
     ステップを含むセンシング方法。
  15.  検査対象物に応じた特性を有し、前記検査対象物に対するセンシングの対象となる複数の波長帯に対応した、反射率の異なる複数の基準反射領域と、前記検査対象物を含む領域と、をセンシングするセンサを備えた
     センシング装置。
PCT/JP2017/021607 2016-06-22 2017-06-12 センシングシステム、センシング方法、及び、センシング装置 Ceased WO2017221756A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780037527.3A CN109313125B (zh) 2016-06-22 2017-06-12 感测系统、感测方法以及感测装置
EP17815225.2A EP3477279A4 (en) 2016-06-22 2017-06-12 MEASURING SYSTEM, MEASURING PROCESS AND MEASURING DEVICE
US16/301,624 US11181470B2 (en) 2016-06-22 2017-06-12 Sensing system, sensing method, and sensing device
JP2018523889A JP6933211B2 (ja) 2016-06-22 2017-06-12 センシングシステム、センシング方法、及び、センシング装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016123596 2016-06-22
JP2016-123596 2016-06-22

Publications (1)

Publication Number Publication Date
WO2017221756A1 true WO2017221756A1 (ja) 2017-12-28

Family

ID=60784695

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021607 Ceased WO2017221756A1 (ja) 2016-06-22 2017-06-12 センシングシステム、センシング方法、及び、センシング装置

Country Status (5)

Country Link
US (1) US11181470B2 (ja)
EP (1) EP3477279A4 (ja)
JP (1) JP6933211B2 (ja)
CN (1) CN109313125B (ja)
WO (1) WO2017221756A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019178958A (ja) * 2018-03-30 2019-10-17 株式会社フジタ 無人飛行機及び相対反射率の算出方法
WO2020022259A1 (ja) * 2018-07-23 2020-01-30 株式会社ナイルワークス 圃場撮影用カメラ
JP2024521970A (ja) * 2021-06-15 2024-06-04 杭州海康威視数字技術股▲フン▼有限公司 分光反射率測定方法およびシステム
JP2024092154A (ja) * 2022-12-26 2024-07-08 栗田工業株式会社 推定装置、プログラム及び推定方法
JP7801808B1 (ja) * 2024-11-28 2026-01-19 国立研究開発法人農業・食品産業技術総合研究機構 分光データセット生成方法、分光データセット生成装置、分光データセット生成プログラム及び記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690106B1 (ja) * 2019-03-26 2020-04-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、撮像システム、及び移動体
US11068701B2 (en) * 2019-06-13 2021-07-20 XMotors.ai Inc. Apparatus and method for vehicle driver recognition and applications of same
GB201917600D0 (en) 2019-12-02 2020-01-15 Univ Of Essex Enterprises Limited Improved reflectance measurement
CN114155450A (zh) * 2021-12-09 2022-03-08 中科计算技术西部研究院 基于高光谱的树木种类识别方法、系统及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141644A (ja) * 1999-11-09 2001-05-25 Hitachi Ltd 反射率測定装置
JP2007208708A (ja) * 2006-02-02 2007-08-16 Toppan Printing Co Ltd 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム
JP2009281931A (ja) * 2008-05-23 2009-12-03 Ihi Corp 植生検出装置および方法
JP2010044623A (ja) * 2008-08-13 2010-02-25 Ihi Corp 植生検出装置および方法
JP2013231645A (ja) * 2012-04-27 2013-11-14 Ito En Ltd 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
WO2016009688A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー システム、機械、制御方法、プログラム
WO2016009752A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー 情報処理装置、制御信号の生産方法、情報処理システム、プログラム
WO2016208415A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
WO2017010261A1 (ja) * 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム
WO2017010258A1 (ja) * 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム
WO2017094559A1 (ja) * 2015-12-04 2017-06-08 コニカミノルタ株式会社 反射特性測定システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020444B2 (ja) 2001-06-29 2012-09-05 独立行政法人農業・食品産業技術総合研究機構 作物生育量測定装置、作物生育量測定方法、作物生育量測定プログラム及びその作物生育量測定プログラムを記録したコンピュータ読取可能な記録媒体
JP2005062095A (ja) * 2003-08-19 2005-03-10 Minolta Co Ltd 反射光測定装置及び反射光測定方法
CN101971006B (zh) * 2008-03-21 2013-06-05 株式会社伊藤园 茶叶采摘适当性评价方法以及采摘适当性评价装置、采摘适当性评价系统
CN101382488B (zh) * 2008-10-14 2010-09-29 江苏吟春碧芽茶叶研究所有限公司 利用可见-近红外漫反射光谱技术检测茶鲜叶氮含量的方法
MX2011013334A (es) * 2009-06-11 2012-04-11 Pa Llc Indices de vegetacion para medir densidad de microcultivo y crecimiento en multicapas.
CN201766649U (zh) * 2010-08-17 2011-03-16 原相科技股份有限公司 感测装置及其影像感测系统
US20150206255A1 (en) * 2011-05-13 2015-07-23 HydroBio, Inc Method and system to prescribe variable seeding density across a cultivated field using remotely sensed data
US8902413B2 (en) * 2012-02-21 2014-12-02 Trimble Navigation Limited Cell phone NDVI sensor
JPWO2013161664A1 (ja) * 2012-04-24 2015-12-24 富士フイルム株式会社 呈色解析装置
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
US20150130936A1 (en) * 2013-11-08 2015-05-14 Dow Agrosciences Llc Crop monitoring system
CN103674855B (zh) * 2013-12-13 2017-05-17 南京农业大学 一种用于作物生长信息监测的光路系统
CN103970996A (zh) * 2014-05-04 2014-08-06 江苏优图空间信息科技有限公司 一种建立通用型植被指数模型的方法
CN105352895B (zh) * 2015-11-02 2018-04-06 北京理工大学 高光谱遥感数据植被信息提取方法
CN105445214B (zh) * 2015-11-27 2018-02-13 安徽科技学院 一种农业工程遥感监测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001141644A (ja) * 1999-11-09 2001-05-25 Hitachi Ltd 反射率測定装置
JP2007208708A (ja) * 2006-02-02 2007-08-16 Toppan Printing Co Ltd 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム
JP2009281931A (ja) * 2008-05-23 2009-12-03 Ihi Corp 植生検出装置および方法
JP2010044623A (ja) * 2008-08-13 2010-02-25 Ihi Corp 植生検出装置および方法
JP2013231645A (ja) * 2012-04-27 2013-11-14 Ito En Ltd 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
WO2016009688A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー システム、機械、制御方法、プログラム
WO2016009752A1 (ja) * 2014-07-16 2016-01-21 株式会社リコー 情報処理装置、制御信号の生産方法、情報処理システム、プログラム
WO2016208415A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
WO2017010261A1 (ja) * 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム
WO2017010258A1 (ja) * 2015-07-10 2017-01-19 ソニー株式会社 検査装置、検査方法、及び、プログラム
WO2017094559A1 (ja) * 2015-12-04 2017-06-08 コニカミノルタ株式会社 反射特性測定システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3477279A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019178958A (ja) * 2018-03-30 2019-10-17 株式会社フジタ 無人飛行機及び相対反射率の算出方法
WO2020022259A1 (ja) * 2018-07-23 2020-01-30 株式会社ナイルワークス 圃場撮影用カメラ
JPWO2020022259A1 (ja) * 2018-07-23 2021-01-07 株式会社ナイルワークス 圃場撮影用カメラ
JP2024521970A (ja) * 2021-06-15 2024-06-04 杭州海康威視数字技術股▲フン▼有限公司 分光反射率測定方法およびシステム
JP7785812B2 (ja) 2021-06-15 2025-12-15 杭州海康威視数字技術股▲フン▼有限公司 分光反射率測定方法およびシステム
JP2024092154A (ja) * 2022-12-26 2024-07-08 栗田工業株式会社 推定装置、プログラム及び推定方法
JP7801808B1 (ja) * 2024-11-28 2026-01-19 国立研究開発法人農業・食品産業技術総合研究機構 分光データセット生成方法、分光データセット生成装置、分光データセット生成プログラム及び記録媒体

Also Published As

Publication number Publication date
CN109313125B (zh) 2022-05-27
US20190285541A1 (en) 2019-09-19
JPWO2017221756A1 (ja) 2019-04-18
CN109313125A (zh) 2019-02-05
US11181470B2 (en) 2021-11-23
EP3477279A1 (en) 2019-05-01
JP6933211B2 (ja) 2021-09-08
EP3477279A4 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
JP6933211B2 (ja) センシングシステム、センシング方法、及び、センシング装置
JP6863279B2 (ja) 検査装置、検査方法、及び、プログラム
JP6750621B2 (ja) 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
CN110166704B (zh) 多光谱相机的校准方法及装置
JP6872137B2 (ja) 信号処理装置および信号処理方法、並びにプログラム
JP2020503516A (ja) 観察対象物が静止している場合のハイパースペクトルイメージング
JP6863280B2 (ja) 検査装置、検査方法、及び、プログラム
JP6507927B2 (ja) 植物生育指標測定装置、該方法および該プログラム
JP2020506373A (ja) 仮現運動における物体の動的ハイパースペクトルイメージング
Aasen et al. Introduction and preliminary results of a calibration for full-frame hyperspectral cameras to monitor agricultural crops with UAVs
JPWO2019017095A1 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム
JP6796789B2 (ja) 映像撮影装置
US10684166B2 (en) Information processing device, information processing method, and program
CN112513874A (zh) 作物生长状况评估方法和装置
Nocerino et al. Geometric calibration and radiometric correction of the maia multispectral camera
CN107529726B (zh) 检查装置、检查方法和记录介质
JP2008136411A (ja) リモートセンシングにおける補正方法
US20220319048A1 (en) Enhanced measurement of photosynthetically active radiation (par) and image conversion therefor
CN117368124A (zh) 一种高光谱相机的辐射定标方法、系统、装置及介质
JP4904377B2 (ja) ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
Yang et al. Practical methods for aerial image acquisition and reflectance conversion using consumer-grade cameras on manned and unmanned aircraft
US11985299B2 (en) Calibration device, calibration method, calibration program, spectroscopic camera, and information processing device
KR20180082172A (ko) 조명 특성을 고려하는 피부 분석 방법 및 시스템
Tommaselli et al. Refining the geometric calibration of a hiperspectral frame camera with preliminary bands coregistration
RU2820777C1 (ru) Способ безэталонной коррекции нелинейного отклика видеоспектрометра

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018523889

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815225

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017815225

Country of ref document: EP

Effective date: 20190122