WO2016203689A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2016203689A1 WO2016203689A1 PCT/JP2016/002080 JP2016002080W WO2016203689A1 WO 2016203689 A1 WO2016203689 A1 WO 2016203689A1 JP 2016002080 W JP2016002080 W JP 2016002080W WO 2016203689 A1 WO2016203689 A1 WO 2016203689A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- plant
- light
- image sensor
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Definitions
- the present disclosure relates to an imaging apparatus that images a plant.
- an image sensor having a plurality of observation wavelength regions is used to capture a spectrum image of the crop, and a normalized vegetation index (NDVI: Normalized Difference Vegetation Index) based on the spectrum image. ), And it is known to estimate protein content and the like (see Patent Document 1).
- NDVI Normalized Difference Vegetation Index
- An object of the present invention is to provide an image pickup apparatus that prevents the main body from being broken and erroneously recognizing the growth status of a plant that is an image pickup target.
- the present disclosure is an imaging apparatus that captures an image of a plant and calculates a growth index of the plant based on the image, and splits the light incident from the plant through the incident surface, and the light dispersed from the plurality of output surfaces.
- An emitting prism disposed so as to face the first emitting surface, an infrared cut filter used for capturing a visible light image of the plant, and arranged to face the second emitting surface, and the growth of the plant
- a first image sensor that receives a light emitted from the first emission surface via an optical filter used for imaging an image used for calculating an index and an infrared cut filter, and images a visible light image.
- a second image sensor that receives light emitted from the second emission surface via the optical filter and captures an image used for calculating a growth index of the plant, and a visible light image and the calculated Represents plant growth index And an output unit for outputting an image, an image pickup device.
- the present disclosure is an imaging device that captures an image of a plant and calculates a growth index of the plant based on the image, and captures a reflected light incident from the plant through an incident surface to capture a visible light image of the plant
- the light used for the light is emitted from the first emission surface, and the light used for calculating the growth index of the plant is emitted from the second emission surface, and the light emitted from the first emission surface is received.
- a first image sensor that picks up a visible light image
- a second image sensor that receives light emitted from the second light exit surface, and picks up an image used to calculate a growth index of the plant
- visible light An image pickup apparatus comprising: an image and an output unit that outputs an image used for calculation of a plant growth index.
- a visible light image and an image used for calculating a growth index of a plant can be simultaneously captured, and a user has a failure of the apparatus main body or a growing situation of a plant that is an imaging target
- the visible light image and the image used for calculating the growth index of the plant can be acquired simultaneously, so that the growth index can be reflected in the real-time visible light image.
- the block diagram which shows an example of the internal structure of the surveillance camera of this embodiment The figure which shows an example of a schematic structure of an imaging part Graph showing examples of spectral characteristics of various filters Flow chart showing an example of imaging procedure Flow chart showing an example of automatic exposure control procedure Flow chart showing an example of color temperature correction control procedure
- the figure which shows an example of IR image and R image which are displayed side by side on the screen of a monitor A block diagram showing an example of an internal configuration of a surveillance camera system of a modified example
- FIG. 1 is a block diagram showing an example of the internal configuration of the surveillance camera 10 of the present embodiment.
- the monitoring camera 10 images a plant that is a subject and outputs the captured image.
- the monitoring camera 10 includes a lens 11, an optical module 13, an imaging unit 15, a delay unit 17, a CPU 25, an image processing unit 28, and a transmission unit 29.
- the lens 11 collects the reflected light from the plant to be monitored, and forms the optical image on the color image sensor 22c, the IR image sensor 22i, and the R image sensor 22r through the prism 21.
- the optical module 13 has a diaphragm (also referred to as iris) 13z as an example of a diaphragm unit that adjusts the amount of light from the plant incident through the lens 11, and the degree of opening of the diaphragm 13z according to a diaphragm control signal from the CPU 25. (Opening as an example of the amount of restriction) is adjusted.
- the imaging unit 15 takes an image by spectroscopically reflecting reflected light from a plant incident through the lens 11 and the optical module 13 into visible light, IR light, and red light.
- the imaging unit 15 includes a prism 21, an infrared cut filter 23c that transmits visible light, an IR filter 23i that transmits infrared light or near infrared light (IR), an R filter 23r that transmits light having a red wavelength, and a reduction filter.
- An ND filter 24 having a role as an optical filter, a color image sensor 22c, an IR image sensor 22i, and an R image sensor 22r are included.
- FIG. 2 is a diagram illustrating an example of a schematic configuration of the imaging unit 15.
- the directions of the light that is, the reflected light of the plant
- the prism 21 splits the light incident through the incident surface 21w in three directions, and emits the light dispersed in the three directions from the output surfaces 21z, 21y, and 21x.
- An IR (infrared light or near infrared light) filter 23i and an IR image sensor 22i are arranged on the side facing the emission surface 21z.
- the IR filter 23i is a filter that transmits infrared light or near-infrared light (see symbol d in FIG. 3).
- the IR image sensor 22i receives the IR light that has passed through the IR filter 23i and captures an IR image.
- the ND filter 24, the infrared cut filter 23c, and the color image sensor 22c are disposed on the side facing the emission surface 21y.
- the ND filter 24 reduces the amount of incident light.
- the infrared cut filter 23c is a visible light filter (color filter) that cuts (shields) infrared light or near-infrared light (see symbol f in FIG. 3).
- the color image sensor 22c receives visible light that has passed through the infrared cut filter 23c, and captures a visible light image.
- the amount of light emitted from the exit surface 21y toward the color image sensor 22c that receives visible light is less than the amount of light emitted from the other exit surfaces 21z and 21x. In this case, since it is not necessary to reduce the light, the ND filter 24 may be omitted.
- the R filter 23r is a filter that transmits red light (that is, light having a red wavelength) (see symbol c in FIG. 3).
- the R image sensor 22r receives light in the vicinity of 660 nm that has passed through the R filter 23r, and captures an R image.
- the monitoring camera 10 captures an IR image and an R image in order to calculate an NDVI (Normalized Difference Vegetation Index) that is an index for observing the growth state of the plant.
- NDVI Normalized Difference Vegetation Index
- PRI Photochemical Reflectance Index
- a filter and an image sensor that collects and images light with a wavelength of 530 nm are arranged, and an image sensor that collects and images light with a wavelength of 570 nm and light with a wavelength of 570 nm is disposed on the side facing the emission surface 21 x of the prism 21. Is placed.
- the prism 21 can emit near-infrared wavelength light in the direction of the exit surface 21z and red light in the direction of the exit surface 21x by refraction inside the prism 21, the monitoring camera 10 shown in FIG. Therefore, the IR filter 23i and the R filter 23r are unnecessary.
- FIG. 3 is a graph showing an example of spectral characteristics of various filters.
- the vertical axis of the graph represents transmittance (%), and the horizontal axis represents wavelength (nm).
- the 530 nm filter has a sharp peak waveform (symbol a) at a light wavelength of 530 nm.
- the 570 nm filter has a sharp peak waveform (symbol b) at a wavelength of 570 nm.
- the R filter 23r has a peak waveform (symbol c) having a high transmittance centering on a wavelength of 660 nm.
- the IR (infrared light or near-infrared light) filter 23i has a large transmittance waveform (symbol d) at a wavelength exceeding 750 nm.
- the green (G) filter has a slightly large transmittance waveform (symbol “e”) at a wavelength of 530 nm to 630 nm with 550 nm as the center.
- the infrared cut filter 23c having a role as a visible light filter is a filter that cuts (shields) infrared light or near infrared light when a visible light image (color image) is captured, and has a wavelength of 400 nm to 680 nm.
- the blue (B) filter has a slightly large transmittance waveform (symbol g) at a wavelength of 400 nm to 500 nm with approximately 450 nm as the center.
- the CPU 25 is configured by using, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), and comprehensively controls each part of the monitoring camera 10.
- the CPU 25 outputs an aperture control signal to the optical module 13 to adjust the total amount of light incident on the prism 21. By limiting the total amount of light incident on the prism 21, the ND filter 24 can be omitted before the color image sensor 22c.
- the CPU 25 outputs an imaging signal to each of the color image sensor 22c, the IR image sensor 22i, and the R image sensor 22r to perform an imaging operation. At this time, the CPU 25 individually sets the charge accumulation time of the color image sensor 22c, the IR image sensor 22i, and the R image sensor 22r by controlling the opening / closing time of the shutter (electronic shutter), and sets the exposure amount. Adjustable.
- the CPU 25 outputs a gain control signal to the image generation unit 28y in the image processing unit 28, and increases the magnitude of the visible light, the IR signal, and the R signal, for example, by increasing the amplification degree (gain) of the IR signal and the R signal. Align the thickness (brightness) to improve the balance.
- CPU25 outputs a signal with respect to the arithmetic process part 28z, and performs calculations, such as NDVI.
- the CPU 25 may be a digital signal processor (DSP: Digital Signal Processor) dedicated to image processing.
- DSP Digital Signal Processor
- the image processing unit 28 calculates a plant growth index and generates an image, and includes a calculation processing unit 28z and an image generation unit 28y.
- the arithmetic processing unit 28z is based on the IR image captured by the IR image sensor 22i and the R image captured by the R image sensor 22r, and is an NDVI (Normalized Difference Vegetation Index) that is an index for observing the growth state described later. ), And PRI (Photochemical Reflectance Index), which is an index (photosynthesis index) indicating the degree of photosynthesis activity of plants, is calculated for each pixel.
- the arithmetic processing unit 28z includes amplifiers that amplify imaging signals (IR signal and R signal) from the IR image sensor 22i and the R image sensor 22r, respectively.
- the image generation unit 28y generates an NDVI image (or PRI image) using the NDVI (or PRI) calculated for each pixel by the calculation processing unit 28z, and the NDVI image (or PRI image) and a color image sensor.
- the visible light image captured in 22c is output.
- the image generation unit 28y has an amplifier that amplifies the pixel value (luminance) of the calculated NVDI image (or PRI image), and improves the balance with the luminance of the visible light image by amplifying the luminance of the NDVI image. .
- the luminance of these images may be made uniform by amplifying (attenuating) the luminance of the visible light image. .
- a delay device 17 is provided between the color image sensor 22c and the image generation unit 28y or the transmission unit 29.
- the image processor 28 calculates NDVI based on the IR image captured by the IR image sensor 22i and the R image captured by the R image sensor 22r and generates the image
- the delay unit 17 The time (delay time) that is delayed with respect to the color image (visible light image) captured by the image sensor 22c is corrected, and the NDVI image and the color image are synchronized.
- the image processing unit 28 may output the IR image captured by the IR image sensor 22 i and the R image captured by the R image sensor 22 r to the transmission unit 29 as they are.
- the transmission unit 29 as an example of the output unit transmits the color image and NDVI image (or PRI image) image data input from the image processing unit 28 to the monitor 30.
- the transmission unit 29 transmits the IR image and R image input from the image processing unit 28 to the monitor 30 as they are.
- the monitor 30 as an example of a display device is a separate device from the monitoring camera 10, and contrasts by arranging color images and NDVI images (or PRI images) on the screen based on the image data transmitted from the transmission unit 29. indicate.
- the monitor 30 may display the color image and the NDVI image (or PRI image) in a comparative manner by switching without arranging them. In this case, the switching may be automatically performed by a user operation or a preset time interval.
- the monitor 30 can also individually display the color image and the NDVI image output from the image processing unit 28.
- the normalized vegetation index (NDVI) is an index used for observing the state of plant growth, and is calculated for each pixel value according to Equation (1).
- L IR represents the luminance of the infrared light or near infrared light
- L R represents the luminance of the red light.
- the NDVI value calculated by Equation (1) is in the range of value 0 to value 1. The closer to 0, the closer to blue, the closer to blue, and the closer to value 1, the closer to green.
- the CPU 25 requires an IR (infrared or near-infrared light) image of a plant and R (red) necessary for NDVI calculation. )
- the opening of the aperture 13z is set to a fixed value so that the amount of light incident on the image sensor 22 is as constant as possible.
- a photosynthesis index that is an index indicating the photosynthesis activity level of a plant may be used, and analysis can be performed in the same procedure as NDVI.
- the photosynthesis index (PRI) is an index representing the photosynthesis activity level of a plant, and is calculated for each pixel value according to the mathematical formula (2).
- L 530 represents the luminance of light having a wavelength of 530 nm
- L 570 represents the luminance of light having a wavelength of 570 nm.
- the PRI value calculated by Equation (2) is in the range of value 0 to value 1. The closer to value 0, the smaller the degree of photosynthesis activity, the smaller the value, and the closer to value 1, the greater the photosynthesis activity level. Expressed in large colors.
- FIG. 4 is a flowchart showing an example of an imaging operation procedure.
- the CPU 25 performs initial setting (S1). In this initial setting, exposure conditions and color temperature correction are automatically set.
- FIG. 5 is a flowchart showing an example of the automatic exposure control procedure.
- the color image sensor 22c images a plant as a subject in accordance with an instruction from the CPU 25 as an example of an exposure control unit (S11).
- the image processing unit 28 detects an RGB value and a luminance value for each pixel unit (predetermined number of pixel groups) in the image captured by the color image sensor 22c (S12).
- the RGB value is a numerical value that specifies the color represented by the luminance of each of the R, G, and B pixels included in the pixel unit.
- the luminance value is the luminance of the entire pixel unit.
- the image processing unit 28 detects, as a green component pixel unit, a pixel unit having a G value ratio higher than a predetermined value among a plurality of pixel units constituting the captured image, and reads a luminance value of the pixel unit (S13). ).
- the image processing unit 28 reads an ideal G value (for example, a green luminance value detected in the daytime in fine weather) stored in the internal memory (S14).
- the ideal G value may be any green luminance value that can be easily observed by the user, and is not limited to this, and can be arbitrarily set.
- the image processing unit 28 controls the exposure conditions so that the luminance value of the pixel unit detected as the green component read in step S13 is equal to the ideal G value (S15).
- the exposure condition can be controlled by adjusting the aperture of the diaphragm 13z, adjusting the shutter opening / closing time, or adjusting the gain of the imaging signal.
- each exposure amount changes, and the color image sensor 22c, the IR image sensor 22i, R
- the sizes of the imaging signals can be made uniform.
- the image captured by the color image sensor 22c, the IR image sensor 22i, and the R image sensor 22r without being affected by the illuminance due to sunlight can be obtained in fine weather.
- the green brightness is almost proportional to the illuminance of sunlight compared to the brightness of red, infrared light, or near infrared light, so the green component was used here. It is also possible to use components, infrared light components, or near infrared light components.
- FIG. 6 is a flowchart showing an example of the color temperature correction control procedure.
- the color image sensor 22c images a plant as a subject in accordance with an instruction from the CPU 25 (S21).
- the image processing unit 28 detects an RGB value and a luminance value for each pixel unit (predetermined number of pixel groups) in the image captured by the image sensor 22 (S22).
- the image processing unit 28 detects, as a green component pixel unit, a pixel unit having a G value ratio higher than a predetermined value among the plurality of pixel units constituting the captured image (S23). Further, the image processing unit 28 reads the R value and the B value in the pixel unit detected as the green component (S24).
- the image processing unit 28 controls the pixel unit detected as the green component so that the R value and the B value become a predetermined ratio (S25).
- S25 a predetermined ratio
- the pixel unit detected as a green component is controlled so that the R value and the B value become a predetermined ratio
- the R value and the B value captured in the daytime in fine weather are set to the R value in the evening.
- Gain control is performed so as to lower the B value in the morning. As a result, the leaf color will not be bluish in the morning and will not be reddish in the evening.
- the gain control may be performed so as to increase the G value and the B value instead of decreasing the R value, or the gain control may be performed so as to increase the G value and the R value instead of decreasing the B value. Also good.
- the CPU 25 When the initial setting of the imaging operation is performed in step S1, the CPU 25 outputs imaging control signals to the color image sensor 22c, the IR image sensor 22i, and the R image sensor 22r, respectively.
- the color image sensor 22c, the IR image sensor 22i, and the R image sensor 22r respectively capture and acquire a color image, an IR image, and an R image in accordance with the imaging control signal (S2).
- the arithmetic processing unit 28z in the image processing unit 28 reads the IR image and the R image captured by the IR image sensor 22i and the R image sensor 22r, respectively, and calculates NDVI according to the above-described equation (1) (S3). ).
- the image generation unit 28y in the image processing unit 28 generates an NDVI image based on the NVDI calculated by the calculation processing unit 28z, and the color image obtained from the color image sensor 22c via the delay unit 17. Are output to the transmission unit 29.
- the transmission unit 29 converts the NDVI image and the color image into image data suitable for the display format of the monitor 30 and outputs the image data to the monitor 30 (S4).
- the monitor 30 displays the NDVI image and the color image side by side on the screen.
- the CPU 25 determines whether or not the imaging is finished (S5).
- the end of imaging is determined by the user performing a predetermined operation on the monitoring camera 10, the timer reaching a predetermined time, or the like. If not, the CPU 25 returns to step S2. On the other hand, when it is the end of imaging, the CPU 25 ends this operation.
- FIG. 7 is a diagram showing a color image GZ1 and an NDVI image GZ4 displayed side by side on the screen of the monitor 30.
- the color image GZ1 and the NDVI image GZ4 are displayed side by side in a contrasting manner.
- a color image GZ1 is displayed in which reflected light from the plant is captured through the infrared cut filter 23c.
- an NDVI image GZ4 in which the NDVI value for each pixel calculated by the image processing unit 28 is expressed in a color ranging from blue to green is displayed.
- the NDVI image GZ4 is expressed in stepped colors (for example, three levels of blue, light blue, and green) with respect to NDVI values in the range of value 0 to value 1. Thereby, the user can know the growth condition of a plant roughly.
- the NDVI value is not limited to three levels, and may be expressed in an arbitrary color by dividing it into an arbitrary number of levels. For example, the NDVI value may be expressed in five levels such as blue, light blue, green, yellow, and red. .
- the monitor 30 displays the color image GZ1 and the NDVI image GZ4 side by side on the screen for comparison, but the color image GZ1 and the NDVI image GZ4 may be displayed alternately for comparison.
- the monitor 30 may superimpose the color image GZ1 and the NDVI image GZ4 and display them as a composite image, or may display the color images GZ1 and NDVI images GZ4 individually.
- the monitor 30 operates as a real-time color monitor.
- an operation button for requesting the monitoring camera 10 to transmit the image data of the IR image GZ2 and the R image GZ3 captured in the middle is provided on the screen of the monitor 30, and the user desires
- the IR image GZ2 and the R image GZ3 may be displayed on the screen of the monitor 30 by pressing this operation button.
- FIG. 8 is a diagram illustrating an example of the IR image GZ2 and the R image GZ3 displayed side by side on the screen of the monitor 30.
- the user can view the IR image GZ2 and the R image GZ3 only when necessary, which improves convenience.
- a color image, an NDVI image, an IR image, and an R image may be arbitrarily combined and displayed. For example, these four images may be displayed on one screen, or any one or three images may be displayed on one screen.
- the prism 21 separates the light incident from the plant through the incident surface 21w, and emits the separated light from the plurality of emission surfaces 21z, 21y, and 21x.
- the infrared cut filter 23c disposed so as to face the emission surface 21y is used for capturing a visible light image of a plant.
- the IR filter 23i and the R filter 23r arranged so as to face the emission surfaces 21z and 21x, respectively, are used for capturing an image used for calculation of NDVI, which is an index for observing the growth state of plants.
- the color image sensor 22c receives light emitted from the emission surface 21y via the infrared cut filter 23c, and captures a visible light image of the plant.
- the IR image sensor 22i and the R image sensor 22r receive light emitted from the emission surfaces 21z and 21x via the IR filter 23i and the R filter 23r, respectively, and an IR image and R used for NDVI calculation. Take an image.
- the transmission unit 29 transmits the visible light image and the NDVI image to the monitor 30.
- a visible light image (color image) and a plant growth index (NDVI etc.) The image used for the calculation can be taken simultaneously. Thereby, the growth index of a plant can be estimated accurately.
- the NDVI image obtained based on the IR image and the R image can be synchronized with the color image and displayed on the screen of the monitor 30 as a video (moving image). It is.
- NDVI Normalized Difference Vegetation Index
- PRI Photochemical Reflection Index
- the NDVI image GZ4 is generated after the IR image GZ2 and the R image GZ3 are imaged and the NDVI is calculated, so that the interval between the image capturing time of the color image GZ1 and the generation time of the NDVI image GZ4.
- the provision of the delay unit 17 can reduce the time difference between these images, and in particular, it is delayed by the time required for NDVI calculation and NDVI image generation.
- the color image GZ1 and the NDVI image GZ4 can be displayed in synchronization.
- the CPU 25 as an example of the exposure control unit includes a visible light image (color image) captured by the color image sensor 22c and an R image and IR captured by the R image sensor 22r to calculate an NDVI image.
- a visible light image color image
- the luminance of these images can be roughly aligned. Therefore, the brightness balance between the color image and the NDVI image displayed on the monitor screen is improved, and these images can be displayed so as to be easily compared.
- the color image GZ1 imaged in a state where the exposure conditions are controlled is output to the monitor 30, a color image can be output without being affected by changes in the illuminance of sunlight. Therefore, even when it is cloudy, it is possible to obtain a color image that is captured in fine weather.
- the ND filter 24 is disposed between the infrared cut filter 23c and the color image sensor 22c disposed on the side facing the emission surface 21y of the prism 21, it is incident on the color image sensor 22c.
- the amount of visible light to be suppressed can be suppressed, and the balance of the amount of light with IR light and R light can be made uniform.
- the transmission unit 29 outputs the color image GZ1 and the image (NDVI image, PRI image) representing the calculated plant growth index to the monitor 30 in contrast, so that the leaf is a leaf having a high activity level. Regardless, it is possible to prevent the user from misrecognizing and cutting (leaf cutting) when the leaf has withered.
- FIG. 9 is a block diagram illustrating an example of an internal configuration of the monitoring camera system 5 according to the modification.
- the surveillance camera system 5 includes a surveillance camera 10A and a PC 50.
- the image processing unit 28A in the monitoring camera 10A performs image processing on the images picked up by the color image sensor 22c, the IR image sensor 22i, and the R image sensor 22r to obtain a visible light image, an IR image, and an R image.
- Image data such as a 530 nm image and a 570 nm image is transmitted to the PC 50 via the transmission unit 29.
- the image processing unit 28A since the image processing unit 28A does not perform NDVI or PRI calculation, the image data of the NDVI image or PRI image is not transmitted.
- the PC 50 is a general-purpose computer device, and includes a CPU 51, a memory 54, a communication unit 52, an operation unit 53, and a monitor 55.
- the PC 50 receives the image data transmitted from the monitoring camera 10A via the communication unit 52, the PC 50 performs NDVI or PRI calculation and NDVI image generation as shown in the above-described embodiment, and also performs monitoring. Exposure control and color temperature correction control are performed on the camera 10A.
- the configuration of the monitoring camera 10A can be simplified, and the remote control of the monitoring camera 10A by the PC 50 becomes possible.
- the present disclosure can capture a visible light image and an image used for calculating a plant growth index at the same time, even if the configuration is inexpensive, and the user can malfunction the device main body or cause an error in the growth status of the plant to be imaged. It is useful as an imaging device that prevents recognition.
Landscapes
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Botany (AREA)
- Forests & Forestry (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐ。監視カメラ(10)では、プリズム(21)は、入射面を通して植物から入射した光を分光し、複数の出射面から分光された光を出射する。カラー用イメージセンサ(22c)は、赤外カットフィルタ(23c)を介して、出射面から出射される光を受光し、植物の可視光画像を撮像する。IR用イメージセンサ(22i),R用イメージセンサ(22r)は、IRフィルタ(23i),Rフィルタ(23r)をそれぞれ介して、出射面から出射される光をそれぞれ受光し、植物の生育状況を観察する指標であるNDVIの演算に使用されるIR画像及びR画像を撮像する。送信部(29)は、可視光画像及びNDVI画像をモニタ(30)に送信する。
Description
本開示は、植物を撮像する撮像装置に関する。
従来、作物の生育状況を分析する技術として、複数の観測波長域を有するイメージセンサを用いて、作物のスペクトル画像を撮像し、このスペクトル画像に基づいて正規化植生指数(NDVI:Normalized Difference Vegetation Index)、蛋白含有率等を推定することが知られている(特許文献1参照)。
特許文献1を含む従来の撮像装置では、複数の観測波長域を有するイメージセンサに、透過型回折格子が使用されていたので、イメージセンサは非常に高価であった。このため、透過型回折格子の代わりに、複数の光学フィルタを切り替えて使用するフィルタ切替機構を有し、複数の観測波長域で作物を撮像する撮像装置が提案されている。
しかしながら、光学フィルタを切り替えて画像を撮像する場合には、それぞれの光学フィルタを透過させたことで得られる複数の画像を同時に得ることはできない。このため、フィルタの切り替えに長い時間がかかってしまうと、照度の変化や風等の外乱要因の影響により撮像条件が変化する可能性がある。このため、フィルタの切り替えの途中で撮像条件が変化した場合には、NDVI等の植物の生育指標を精度良く推定することができなかった。
また、NDVIを演算するために、光学フィルタとして切り替えられた赤色(R)バンドパスフィルタや赤外光(IR)バンドパスフィルタを透過させた画像を順に撮像し、これらの画像をモニタの画面に表示した場合、これらの画像は特定の波長を有する光だけを撮像した画像であるので、ユーザに画像が反転したような印象を与え、ユーザは撮像装置が故障していると誤認識する可能性があった。また、RフィルタやIRフィルタを通過させた撮像画像は専門知識を有する者でないと植物の正確な育成状況を把握することは困難であり、そのような専門知識を有さない者は、本来植物の育成状況として正常である葉や茎、幹等の部位が枯死している等と勘違いをしてしまう可能性もあった。
本開示は、上述した従来の状況に鑑みてなされたものであり、安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐ撮像装置を提供することを目的とする。
本開示は、植物の画像を撮像し、画像に基づいて植物の生育指標を演算する撮像装置であって、入射面を通して植物から入射した光を分光し、複数の出射面から分光された光を出射するプリズムと、第1の出射面と対向するように配置され、植物の可視光画像の撮像に用いられる赤外カットフィルタと、第2の出射面と対向するように配置され、植物の生育指標の演算に使用される画像の撮像に用いられる光学フィルタと、赤外カットフィルタを介して、第1の出射面から出射される光を受光し、可視光画像を撮像する第1のイメージセンサと、光学フィルタを介して、第2の出射面から出射される光を受光し、植物の生育指標の演算に使用される画像を撮像する第2のイメージセンサと、可視光画像及び演算された植物の生育指標を表す画像を出力する出力部と、を備える、撮像装置である。
また、本開示は、植物の画像を撮像し、画像に基づいて植物の生育指標を演算する撮像装置であって、入射面を通して植物から入射した反射光を分光して植物の可視光画像の撮像に用いられる光を第1の出射面から出射すると共に、植物の生育指標の演算に使用される光を第2の出射面から出射するプリズムと、第1の出射面からの出射光を受光し、可視光画像を撮像する第1のイメージセンサと、第2の出射面からの出射光を受光し、植物の生育指標の演算に使用される画像を撮像する第2のイメージセンサと、可視光画像と植物の生育指標の演算に使用される画像を出力する出力部と、を備える、撮像装置である。
本開示によれば、安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐことにより、植物の生育指標を精度良く推定することができる。また、プリズムによる分光を用いることで、可視光画像と植物の生育指標の演算に使用される画像を同時に取得することができるので、リアルタイムの可視光画像に生育指標を反映することができる。
(本開示の一形態を得るに至った経緯)
植物のスペクトル画像を撮像するために、複数の観測波長域を有するイメージセンサに、透過型回折格子を使用した場合、イメージセンサは非常に高価なものになっていた。そこで、本実施形態では、透過型回折格子を使用することなく、可視光画像と、NDVI等の植物の生育指標の演算に使用される画像とを同時に撮像できるようにすることで、イメージセンサの低価格化を図る。
植物のスペクトル画像を撮像するために、複数の観測波長域を有するイメージセンサに、透過型回折格子を使用した場合、イメージセンサは非常に高価なものになっていた。そこで、本実施形態では、透過型回折格子を使用することなく、可視光画像と、NDVI等の植物の生育指標の演算に使用される画像とを同時に撮像できるようにすることで、イメージセンサの低価格化を図る。
以下、適宜図面を参照しながら、本開示に係る撮像装置を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。本実施形態の撮像装置は、例えば植物の生育状況を監視する監視カメラに適用されるとして説明するが、撮像対象は植物に限らず、その他の被写体を撮像してもよい。
図1は、本実施形態の監視カメラ10の内部構成の一例を示すブロック図である。監視カメラ10は、被写体である植物を撮像してその撮像画像を出力する。監視カメラ10は、レンズ11、光学モジュール13、撮像部15、遅延器17、CPU25、画像処理部28及び送信部29を有する。
レンズ11は、監視対象である植物からの反射光を集光し、プリズム21を通してカラー用イメージセンサ22c,IR用イメージセンサ22i,R用イメージセンサ22rにその光学像を結像させる。光学モジュール13は、レンズ11を通して入射する植物からの光の量を調節する絞り部の一例としての絞り(アイリス、とも呼ばれる)13zを有し、CPU25からの絞り制御信号に従い、絞り13zの開き具合(絞り量の一例としての開度)を調節する。
撮像部15は、レンズ11及び光学モジュール13を通して入射する植物からの反射光を可視光、IR光及び赤色光に分光して撮像する。撮像部15は、プリズム21、可視光を通過させる赤外カットフィルタ23c、赤外光又は近赤外光(IR)を通過させるIRフィルタ23i、赤色の波長の光を通過させるRフィルタ23r、減光フィルタとしての役割を有するNDフィルタ24、カラー用イメージセンサ22c、IR用イメージセンサ22i、及びR用イメージセンサ22rを含む。
図2は、撮像部15の概略的な構成の一例を示す図である。図2では、プリズム21によって分光され、カラー用イメージセンサ22c,IR用イメージセンサ22i,R用イメージセンサ22rで受光される光(つまり、植物の反射光)の方向がそれぞれ矢印k,l,mで示される。プリズム21は、入射面21wを通して入射した光を3方向に分光し、3方向に分光された光を各出射面21z、21y,21xから出射する。出射面21zと対向する側には、IR(赤外光又は近赤外光)フィルタ23i及びIR用イメージセンサ22iが配置される。IRフィルタ23iは、赤外光又は近赤外光を透過させるフィルタである(図3の符号d参照)。IR用イメージセンサ22iは、IRフィルタ23iを通過したIR光を受光し、IR画像を撮像する。
また、出射面21yと対向する側には、NDフィルタ24、赤外カットフィルタ23c及びカラー用イメージセンサ22cが配置される。NDフィルタ24は、入射する光の量を減らす。赤外カットフィルタ23cは、赤外光又は近赤外光をカット(遮蔽)する可視光フィルタ(カラーフィルタ)である(図3の符号f参照)。カラー用イメージセンサ22cは、赤外カットフィルタ23cを通過した可視光を受光し、可視光画像を撮像する。なお、プリズムの形状によっては、可視光を受光するカラー用イメージセンサ22c側に出射面21yから出射される光の光量が、他の出射面21z,21xから出射される光の光量と比べて少なくすることも可能であり、この場合、減光する必要が無くなるので、NDフィルタ24を省いた構成にしてもよい。
また、出射面21xと対向する側には、Rフィルタ23r及びR用イメージセンサ22rが配置される。Rフィルタ23rは、赤色光(つまり、赤色の波長を有する光)を透過させるフィルタである(図3の符号c参照)。R用イメージセンサ22rは、Rフィルタ23rを通過した660nm近傍の光を受光し、R画像を撮像する。
なお、本実施形態では、監視カメラ10は、植物の生育状況を観察する指標であるNDVI(Normalized Difference Vegetation Index)を演算するために、IR画像とR画像を撮像する。この他、植物の光合成の活性度合いを表す指標であるPRI(Photochemical Reflectance Index)を演算するために、530nm画像と570nm画像を撮像する場合、プリズム21の出射面21zと対向する側には、530nmフィルタ及び530nmの波長の光が集光されて撮像するイメージセンサが配置され、プリズム21の出射面21xと対向する側には、570nmフィルタ及び570nmの波長の光が集光されて撮像するイメージセンサが配置される。
なお、プリズム21がプリズム21内部の屈折によって、出射面21z方向に近赤外波長の光を出射し、出射面21x方向に赤色波長の光を出射可能な場合は、図1に示す監視カメラ10の構成から、IRフィルタ23iおよびRフィルタ23rは不要になる。
図3は、各種フィルタの分光特性の一例を示すグラフである。グラフの縦軸は透過率(%)を示し、横軸は波長(nm)を示す。530nmフィルタは、光の波長530nmにおいて透過率の鋭いピークの波形(符号a)を有する。570nmフィルタは、波長570nmにおいて透過率の鋭いピークの波形(符号b)を有する。Rフィルタ23rは、波長660nmを中心とする透過率の高いピークの波形(符号c)を有する。IR(赤外光又は近赤外光)フィルタ23iは、750nmを超える波長において、大きな透過率の波形(符号d)を有する。緑色(G)フィルタは、550nmを略中心とする530nm~630nmの波長において、やや大きな透過率の波形(符号e)を有する。可視光フィルタとしての役割を有する赤外カットフィルタ23cは、可視光画像(カラー画像)を撮像する際に赤外光又は近赤外光をカット(遮蔽)するフィルタであり、400nm~680nmの波長において、大きな透過率の波形(符号f)を有する。また、青色(B)フィルタは、450nmを略中心とする400nm~500nmの波長において、やや大きな透過率の波形(符号g)を有する。
CPU25は、例えばCPU(Central Processing Unit)又はMPU(Micro Procesing Unit)を用いて構成され、監視カメラ10の各部を統括的に制御する。CPU25は、光学モジュール13に絞り制御信号を出力してプリズム21に入射する全体の光の量を調節する。プリズム21に入射する全体の光の量を制限することで、カラー用イメージセンサ22cの前にNDフィルタ24を省くことも可能である。CPU25は、カラー用イメージセンサ22c、IR用イメージセンサ22i及びR用イメージセンサ22rにそれぞれ撮像信号を出力し、撮像動作を行わせる。この時、CPU25は、シャッタ(電子シャッタ)の開閉時間を制御することで、カラー用イメージセンサ22c、IR用イメージセンサ22i及びR用イメージセンサ22rの電荷蓄積時間を個々に設定し、露光量を調節可能である。
CPU25は、画像処理部28内の画像生成部28yに対しゲイン制御信号を出力し、例えばIR信号及びR信号の増幅度(ゲイン)を大きくすることで、可視光、IR信号及びR信号の大きさ(輝度)を揃えてそのバランスを良くする。CPU25は、演算処理部28zに対し信号を出力し、NDVI等の演算を実行させる。CPU25には、画像処理専用のデジタルシグナルプロセッサ(DSP:Digital Signal Processor)が用いられてもよい。
画像処理部28は、植物の生育指標を演算して画像を生成するものであり、演算処理部28z及び画像生成部28yを備える。演算処理部28zは、IR用イメージセンサ22iで撮像されたIR画像、及びR用イメージセンサ22rで撮像されたR画像を基に、後述する生育状況を観察する指標であるNDVI(Normalized Difference Vegetation Index)、及び植物の光合成の活性度合いを表す指標(光合成指標)であるPRI(Photochemical Reflectance Index)を画素毎に算出する。演算処理部28zは、IR用イメージセンサ22i及びR用イメージセンサ22rからの撮像信号(IR信号及びR信号)をそれぞれ増幅するアンプを有する。
画像生成部28yは、演算処理部28zで画素毎に演算されたNDVI(又はPRI)を用いてNDVI画像(又はPRI画像)を生成し、このNDVI画像(又はPRI画像)と、カラー用イメージセンサ22cで撮像された可視光画像とを出力する。画像生成部28yは、演算されたNVDI画像(又はPRI画像)の画素値(輝度)を増幅するアンプを有し、NDVI画像の輝度を増幅することで可視光画像の輝度とのバランスを良くする。なお、演算されたNVDI画像(又はPRI画像)の画素値(輝度)を増幅する代わりに、可視光画像の輝度を増幅(減衰)することで、これらの画像の輝度を揃えるようにしてもよい。
カラー用イメージセンサ22cと画像生成部28y又は送信部29との間には、遅延器17が設けられている。遅延器17は、画像処理部28がIR用イメージセンサ22iで撮像されたIR画像及びR用イメージセンサ22rで撮像されたR画像を基に、NDVIを演算しその画像を生成する際、カラー用イメージセンサ22cで撮像されるカラー画像(可視光画像)に対して遅れる時間(遅延時間)を補正し、NDVI画像とカラー画像とを同期させる。また、画像処理部28は、IR用イメージセンサ22iで撮像されたIR画像、及びR用イメージセンサ22rで撮像されたR画像をそのまま送信部29に出力してもよい。
出力部の一例としての送信部29は、画像処理部28から入力したカラー画像及びNDVI画像(又はPRI画像)の画像データをモニタ30に送信する。また、送信部29は、画像処理部28から入力した、IR画像及びR画像をそのままモニタ30に送信する。
表示装置の一例としてのモニタ30は、監視カメラ10と別体の装置であり、送信部29から送信された画像データに基づき、カラー画像及びNDVI画像(又はPRI画像)を画面に並べて対比的に表示する。なお、モニタ30は、カラー画像及びNDVI画像(又はPRI画像)を並べることなく、切り替えることで対比的に表示してもよい。この場合、切り替えはユーザ操作或いは予め設定された時間間隔で自動的に行われてもよい。また、モニタ30は、画像処理部28から出力されるカラー画像とNDVI画像とを個別に表示することも可能である。
上記構造を有する監視カメラ10における撮像動作を示す。
始めに、正規化植生指数(NDVI)は、植物の育成状況を観察するために用いられる指標であり、数式(1)に従い、画素値毎に算出される。
ここで、LIRは赤外光又は近赤外光の輝度を表し、LRは赤色光の輝度を表す。数式(1)で算出される、NDVI値は、値0~値1の範囲であり、値0に近い程、青に近い色で表現され、値1に近い程、緑に近い色で表現される。
また、葉の緑色部分は、太陽光の照度によって影響を受け易い色であるので、CPU25は、NDVIの演算に必要な、植物のIR(赤外光又は近赤外光)画像及びR(赤色)画像を撮像する際、絞り13zの開度を固定値に設定し、イメージセンサ22に入射する光の量をできるだけ一定になるようにする。
また、植物の光合成の活性度合いを表す指標である光合成指標(PRI)を用いてもよく、NDVIと同様の手順で分析することが可能である。
光合成指標(PRI)は、植物の光合成の活性度合いを表す指標であり、数式(2)に従い、画素値毎に算出される。
ここで、L530は530nmの波長を有する光の輝度を表し、L570は570nmの波長を有する光の輝度を表す。数式(2)で算出されるPRI値は、値0~値1の範囲であり、値0に近い程、光合成の活性度合いが小さい色で表現され、値1に近い程、光合成の活性度合いが大きい色で表現される。
図4は、撮像動作手順の一例を示すフローチャートである。始めに、CPU25は、初期設定を行う(S1)。この初期設定では、露光条件及び色温度補正が自動で設定される。図5は、自動露光制御手順の一例を示すフローチャートである。まず、カラー用イメージセンサ22cは、露光制御部の一例としてのCPU25からの指示に従い、被写体である植物を撮像する(S11)。画像処理部28は、カラー用イメージセンサ22cで撮像された画像に対し、画素ユニット(所定数の画素群)毎にRGB値及び輝度値を検出する(S12)。RGB値は、画素ユニットに含まれるR、G、Bの各画素の輝度により表される色を特定する数値である。輝度値は、画素ユニット全体の輝度である。
画像処理部28は、撮像画像を構成する複数の画素ユニットのうち、G値の割合が所定値以上に高い画素ユニットを緑色成分の画素ユニットとして検出し、この画素ユニットの輝度値を読み込む(S13)。
画像処理部28は、内部メモリに記憶された理想的なG値(例えば晴天時の昼間に検出された緑色の輝度値)を読み込む(S14)。なお、理想的なG値としては、ユーザが観察し易い緑色の輝度値であればよく、これに限られず、任意に設定可能である。画像処理部28は、ステップS13で読み込まれた緑色成分として検出された画素ユニットの輝度値が理想的なG値と等しくなるように、露光条件を制御する(S15)。露光条件を制御する方法は、前述したように、絞り13zの開度を調節すること、シャッタ開閉時間を調節すること、撮像信号のゲインを調節することのいずれでも可能である。
例えば、カラー用イメージセンサ22c,IR用イメージセンサ22i,R用イメージセンサ22rのシャッタ開閉時間を個々に調節することで、各露光量が変わり、カラー用イメージセンサ22c,IR用イメージセンサ22i,R用イメージセンサ22rからそれぞれ出力される撮像信号(カラー信号,IR信号,R信号)の大きさを揃えることが可能である。
また、絞り13zの開度を調節することで、太陽光による照度の影響を受けることなく、カラー用イメージセンサ22c,IR用イメージセンサ22i,R用イメージセンサ22rで撮像された画像は、晴天時の昼間に撮像されたような輝度を有する画像の撮像が可能となる。なお、露光条件を制御する際、緑色の輝度は、赤色や赤外光或いは近赤外光の輝度と比べ、太陽光の照度にほぼ比例するので、ここでは緑色成分が用いられたが、赤色成分や赤外光成分或いは近赤外光成分を用いることも可能である。
図6は、色温度補正制御手順の一例を示すフローチャートである。まず、カラー用イメージセンサ22cは、CPU25からの指示に従い、被写体である植物を撮像する(S21)。画像処理部28は、イメージセンサ22で撮像された画像に対し、画素ユニット(所定数の画素群)毎にRGB値及び輝度値を検出する(S22)。画像処理部28は、撮像画像を構成する複数の画素ユニットのうち、G値の割合が所定値以上に高い画素ユニットを緑色成分の画素ユニットとして検出する(S23)。更に、画像処理部28は、緑色成分として検出された画素ユニットにおけるR値及びB値を読み込む(S24)。
色温度制御部の一例としての画像処理部28は、緑色成分として検出された画素ユニットに対し、R値とB値が所定の割合になるように制御する(S25)。緑色成分として検出された画素ユニットに対し、R値とB値が所定の割合になるように制御する場合、例えば、晴天時の昼間に撮像したR値及びB値に対し、夕方ではR値を下げるように、また、朝ではB値を下げるように、ゲイン制御を行う。これにより、朝では、葉の色が青みがかることはなくなり、夕方では、赤みがかることはなくなる。なお、R値を下げる代わりに、G値及びB値を上げるように、ゲイン制御を行ってもよいし、B値を下げる代わりに、G値及びR値を上げるように、ゲイン制御を行ってもよい。
この色温度補正制御の結果、太陽光の色温度の影響を受けることなく、イメージセンサ22で撮像された画像の色温度として、晴天時の昼間に撮像されたような色温度を有する画像、例えば緑色成分の色が真の緑色になるように、色バランスが補正された画像の撮像が可能となる。
ステップS1で、撮像動作の初期設定が行われると、CPU25は、カラー用イメージセンサ22c、IR用イメージセンサ22i及びR用イメージセンサ22rにそれぞれ撮像制御信号を出力する。カラー用イメージセンサ22c、IR用イメージセンサ22i及びR用イメージセンサ22rは、この撮像制御信号に従い、それぞれカラー画像、IR画像及びR画像を撮像して取得する(S2)。
画像処理部28内の演算処理部28zは、IR用イメージセンサ22i及びR用イメージセンサ22rでそれぞれ撮像されたIR画像及びR画像を読み込み、前述した数式(1)に従い、NDVIを演算する(S3)。
画像処理部28内の画像生成部28yは、演算処理部28zで演算されたNVDIに基づくNDVI画像を生成し、このNDVI画像と、カラー用イメージセンサ22cから遅延器17を介して得られるカラー画像とを送信部29に出力する。送信部29は、NDVI画像及びカラー画像をモニタ30の表示形式に適した画像データに変換してモニタ30に出力する(S4)。モニタ30は、NDVI画像とカラー画像とを並べて画面に表示する。
この後、CPU25は、撮像終了であるか否かを判別する(S5)。撮像終了は、ユーザが監視カメラ10に対し所定の操作を行ったことや、タイマが所定時間に達したこと等により判断される。撮像終了でない場合、CPU25は、ステップS2の処理に戻る。一方、撮像終了である場合、CPU25は本動作を終了する。
図7は、モニタ30の画面に並べて表示されるカラー画像GZ1及びNDVI画像GZ4を示す図である。モニタ30の画面には、カラー画像GZ1とNDVI画像GZ4とが並んで対比的に表示される。モニタ30の画面の左側には、植物から反射光が赤外カットフィルタ23cを透過して撮像されたカラー画像GZ1が表示される。一方、モニタ30の画面右側には、画像処理部28によって演算された画素毎のNDVI値を青色から緑色の範囲の色で表現したNDVI画像GZ4が表示される。
ここでは、NDVI画像GZ4は、値0~値1の範囲にあるNDVI値に対し、段階的な色(例えば、青色、水色、緑色の3段階)で表現される。これにより、ユーザはおおまかに植物の生育状況を知ることができる。なお、NDVI値は、3段階に限らず、任意の段階数に分けて任意の色で表現してもよく、例えば青色、水色、緑色、黄色、赤色といった5段階で表現することも可能である。
なお、ここでは、モニタ30は、カラー画像GZ1とNDVI画像GZ4とを画面に並べて対比的に表示したが、カラー画像GZ1とNDVI画像GZ4とを交互に表示して対比できるようにしてもよい。また、モニタ30は、カラー画像GZ1とNDVI画像GZ4とを重ね合わせ、合成画像として表示してもよいし、カラー画像GZ1,NDVI画像GZ4を個々に単独で表示してもよい。カラー画像GZ1を単独で表示する場合、モニタ30はリアルタイムカラーモニタとして動作する。
また、NDVI画像GZ4を生成するために、途中で撮像されたIR画像GZ2及びR画像GZ3の画像データの送信を監視カメラ10に要求する操作ボタンをモニタ30の画面に設け、ユーザが希望した場合、この操作ボタンを押下することで、カラー画像GZ1とNDVI画像GZ4の他、IR画像GZ2やR画像GZ3をモニタ30の画面に表示できるようにしてもよい。図8は、モニタ30の画面に並べて表示されるIR画像GZ2及びR画像GZ3の一例を示す図である。これにより、ユーザは必要な時にだけIR画像GZ2やR画像GZ3を見ることも可能となり、利便性が向上する。また、カラー画像、NDVI画像、IR画像及びR画像を任意に組み合わせて表示してもよい。例えば、これら4つの画像を一画面に表示させてもよいし、任意の1つ或いは3つの画像を一画面に表示させてもよい。
以上により、本実施形態の監視カメラ10では、プリズム21は、入射面21wを通して植物から入射した光を分光し、複数の出射面21z,21y,21xから分光された光を出射する。出射面21yと対向するように配置された赤外カットフィルタ23cは、植物の可視光画像の撮像に用いられる。出射面21z,21xとそれぞれ対向するように配置されたIRフィルタ23i及びRフィルタ23rは、植物の生育状況を観察する指標であるNDVIの演算に使用される画像の撮像に用いられる。カラー用イメージセンサ22cは、赤外カットフィルタ23cを介して、出射面21yから出射される光を受光し、植物の可視光画像を撮像する。IR用イメージセンサ22i,R用イメージセンサ22rは、IRフィルタ23i,Rフィルタ23rを介して、出射面21z,21xから出射される光をそれぞれ受光し、NDVIの演算に使用されるIR画像及びR画像を撮像する。送信部29は、可視光画像及びNDVI画像をモニタ30に送信する。このように、高価な透過型回折格子を使用しなくても、プリズム及び光学フィルタを用いることで、安価な構成であっても、可視光画像(カラー画像)と植物の生育指標(NDVI等)の演算に使用される画像とを同時に撮像できる。これにより、植物の生育指標を精度良く推定することができる。
また、カラー画像、IR画像及びR画像が同時に撮像されるので、IR画像及びR画像を基に得られるNDVI画像と、カラー画像とを同期させ、映像(動画)としてモニタ30の画面に表示可能である。
また、植物の生育指標に関する第1波長を通過させる第1の光学フィルタとしてIRフィルタ23i、植物の生育指標に関する第2波長を通過させる第2の光学フィルタとしてRフィルタ23rを用いることで、植物の生育状況を観察する指標であるNDVI(Normalized Difference Vegetation Index)を容易に演算することができる。また、530nmフィルタ及び570nmフィルタを用いることで、植物の光合成の活性度合いを表す指標(光合成指標)であるPRI(Photochemical Reflectance Index)を容易に演算することができる。
また、カラー画像GZ1に対し、NDVI画像GZ4は、IR画像GZ2及びR画像GZ3を撮像しNDVIを演算した後に生成されるので、カラー画像GZ1の撮像時刻とNDVI画像GZ4の生成時刻との間には、僅かな時間差(数十秒程度)があるが、遅延器17を設けることで、これらの画像の時間差を減らすことができ、特に、NDVIの演算及びNDVI画像の生成に要する時間だけ遅延させることで、カラー画像GZ1とNDVI画像GZ4とを同期させて表示することも可能である。
また、露光制御部の一例としてのCPU25は、カラー用イメージセンサ22cで撮像される可視光画像(カラー画像)と、NDVI画像を演算するためにR用イメージセンサ22rで撮像されるR画像及びIR用イメージセンサ22iで撮像されるIR画像との露光条件を制御することで、これらの画像の輝度を大まかに揃えることができる。従って、モニタの画面に表示されるカラー画像とNDVI画像の輝度のバランスが良くなり、これらの画像を対比し易いように表示できる。また、露光条件が制御された状態で撮像されたカラー画像GZ1をモニタ30に出力するので、太陽光の照度の変化による影響を受けることなく、カラー画像を出力できる。従って、曇天であっても、晴天で撮像したようなカラー画像を得ることができる。
また、プリズム21の出射面21yと対向する側に配置された、赤外カットフィルタ23cとカラー用イメージセンサ22cとの間には、NDフィルタ24が配置されるので、カラー用イメージセンサ22cに入射する可視光の光量を抑えることができ、IR光,R光との光量のバランスを揃えることができる。
また、送信部29は、カラー画像GZ1と、演算された植物の生育指標を表す画像(NDVI画像,PRI画像)とを対比的にモニタ30に出力するので、活性度合いが高い葉であるにもかかわらず、枯れてしまっている葉であると、ユーザが誤認識して刈り取る(葉刈りする)ことも避けることができる。
(変形例)
図9は、変形例における監視カメラシステム5の内部構成の一例を示すブロック図である。監視カメラシステム5は、監視カメラ10A及びPC50を有する。監視カメラ10A内の画像処理部28Aは、カラー用イメージセンサ22c,IR用イメージセンサ22i,R用イメージセンサ22rで撮像された画像に対して画像処理を行い、可視光画像、IR画像、R画像、530nm画像、570nm画像等の画像データを、送信部29を介してPC50に送信する。一方、画像処理部28Aが、NDVIやPRIの演算を行わないので、NDVI画像やPRI画像の画像データは送信されない。
図9は、変形例における監視カメラシステム5の内部構成の一例を示すブロック図である。監視カメラシステム5は、監視カメラ10A及びPC50を有する。監視カメラ10A内の画像処理部28Aは、カラー用イメージセンサ22c,IR用イメージセンサ22i,R用イメージセンサ22rで撮像された画像に対して画像処理を行い、可視光画像、IR画像、R画像、530nm画像、570nm画像等の画像データを、送信部29を介してPC50に送信する。一方、画像処理部28Aが、NDVIやPRIの演算を行わないので、NDVI画像やPRI画像の画像データは送信されない。
PC50は、汎用のコンピュータ装置であり、CPU51、メモリ54、通信部52、操作部53及びモニタ55を有する。PC50は、監視カメラ10Aから送信される画像データを、通信部52を介して受信すると、上記した本実施形態で示したような、NDVIやPRIの演算やNDVI画像の生成を行い、また、監視カメラ10Aに対し、露光制御や色温度補正制御を行う。
これにより、監視カメラ10Aの構成を簡単化することができ、また、PC50による監視カメラ10Aの遠隔制御が可能となる。
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
本開示は、安価な構成であっても、可視光画像と植物の生育指標の演算に使用される画像とを同時に撮像でき、ユーザが装置本体の故障や撮像対象である植物の育成状況の誤認識をすることを防ぐ撮像装置として有用である。
5 監視カメラシステム
10,10A 監視カメラ
11 レンズ
13 光学モジュール
13z 絞り
21 プリズム
21w 入射面
21z,21y,21x 出射面
22c カラー用イメージセンサ
22i IR用イメージセンサ
22r R用イメージセンサ
23c 赤外カットフィルタ
23i IRフィルタ
23r Rフィルタ
24 NDフィルタ
25 CPU
28,28A 画像処理部
28y 画像生成部
28z 演算処理部
29 送信部
30,55 モニタ
50 PC
51 CPU
52 通信部
53 操作部
54 メモリ
GZ1 カラー画像(可視光画像)
GZ2 IR画像
GZ3 R画像
GZ4 NDVI画像
10,10A 監視カメラ
11 レンズ
13 光学モジュール
13z 絞り
21 プリズム
21w 入射面
21z,21y,21x 出射面
22c カラー用イメージセンサ
22i IR用イメージセンサ
22r R用イメージセンサ
23c 赤外カットフィルタ
23i IRフィルタ
23r Rフィルタ
24 NDフィルタ
25 CPU
28,28A 画像処理部
28y 画像生成部
28z 演算処理部
29 送信部
30,55 モニタ
50 PC
51 CPU
52 通信部
53 操作部
54 メモリ
GZ1 カラー画像(可視光画像)
GZ2 IR画像
GZ3 R画像
GZ4 NDVI画像
Claims (7)
- 植物の画像を撮像し、前記画像に基づいて前記植物の生育指標を演算する撮像装置であって、
入射面を通して前記植物から入射した反射光を分光し、分光された前記反射光を、少なくとも第1の出射面及び第2の出射面から出射するプリズムと、
前記第1の出射面と対向して配置され、前記植物の可視光画像の撮像に用いられる赤外カットフィルタと、
前記第2の出射面と対向するように配置され、前記植物の生育指標の演算に使用される画像の撮像に用いられる光学フィルタと、
前記赤外カットフィルタを介して、前記第1の出射面からの出射光を受光し、可視光画像を撮像する第1のイメージセンサと、
前記光学フィルタを介して、前記第2の出射面からの出射光を受光し、前記植物の生育指標の演算に使用される画像を撮像する第2のイメージセンサと、
前記可視光画像と前記植物の生育指標の演算に使用される画像を出力する出力部と、を備える、
撮像装置。 - 請求項1に記載の撮像装置であって、
前記光学フィルタは、前記植物の生育指標に関する第1波長を通過させる第1の光学フィルタと、前記植物の生育指標に関する第2波長を通過させる第2の光学フィルタと、を有する、
撮像装置。 - 請求項1又は2に記載の撮像装置であって、
前記第1のイメージセンサと前記出力部との間に配置され、前記第1のイメージセンサで撮像された前記可視光画像の前記出力部への入力を遅延させる遅延器、を更に備える、
撮像装置。 - 請求項1から3のうちいずれか一項に記載の撮像装置であって、
前記第1のイメージセンサで撮像された前記可視光画像、及び前記第2のイメージセンサで撮像された前記植物の生育指標の演算に使用される画像の各露光条件を制御する露光制御部、を更に備える、
撮像装置。 - 請求項1から4のうちいずれか一項に記載の撮像装置であって、
前記第1の出射面と前記第1のイメージセンサとの間に減光フィルタが配置された、
撮像装置。 - 請求項1から5のうちいずれか一項に記載の撮像装置であって、
前記出力部は、表示装置に対し、前記可視光画像と、前記植物の生育指標の演算に使用される画像とを対比的に表示させる、
撮像装置。 - 植物の画像を撮像し、前記画像に基づいて前記植物の生育指標を演算する撮像装置であって、
入射面を通して前記植物から入射した反射光を分光して前記植物の可視光画像の撮像に用いられる光を第1の出射面から出射すると共に、前記植物の生育指標の演算に使用される光を第2の出射面から出射するプリズムと、
前記第1の出射面からの出射光を受光し、可視光画像を撮像する第1のイメージセンサと、
前記第2の出射面からの出射光を受光し、前記植物の生育指標の演算に使用される画像を撮像する第2のイメージセンサと、
前記可視光画像と前記植物の生育指標の演算に使用される画像を出力する出力部と、を備える、
撮像装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015-124253 | 2015-06-19 | ||
| JP2015124253A JP2017009396A (ja) | 2015-06-19 | 2015-06-19 | 撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016203689A1 true WO2016203689A1 (ja) | 2016-12-22 |
Family
ID=57545791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/002080 Ceased WO2016203689A1 (ja) | 2015-06-19 | 2016-04-19 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2017009396A (ja) |
| WO (1) | WO2016203689A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019003400A1 (ja) * | 2017-06-29 | 2019-01-03 | 日本電気株式会社 | 係数算出装置、係数算出方法、及び、係数算出プログラムが記録された記録媒体 |
| US20210304368A1 (en) * | 2018-08-10 | 2021-09-30 | Sony Corporation | Information processing device, information processing method, and program |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6765494B1 (ja) | 2019-10-31 | 2020-10-07 | パナソニックi−PROセンシングソリューションズ株式会社 | 3板式カメラ |
| KR20250134867A (ko) | 2024-03-05 | 2025-09-12 | 한국기술교육대학교 산학협력단 | 초분광 카메라 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007143490A (ja) * | 2005-11-29 | 2007-06-14 | Yamaguchi Univ | 気球空撮マルチバンドセンシングにより植生を診断する方法 |
| JP2008518229A (ja) * | 2004-10-25 | 2008-05-29 | アールピー ベンチャーズ テクノロジー オフィス アーベー | マルチスペクトル及びハイパースペクトル撮像を行うシステム |
| JP2009058443A (ja) * | 2007-08-31 | 2009-03-19 | National Institute For Environmental Studies | 土壌中の根圏要素の自動分類方法 |
| US20090309960A1 (en) * | 2008-06-13 | 2009-12-17 | Bosoon Park | Portable multispectral imaging systems |
| JP2010043979A (ja) * | 2008-08-13 | 2010-02-25 | Yuichi Kamata | 分光画像計測装置 |
| WO2012063241A1 (en) * | 2010-11-11 | 2012-05-18 | Avi Buzaglo Yoresh | System and method for detection of minefields |
| JP2013538334A (ja) * | 2010-07-08 | 2013-10-10 | エフ・イ−・アイ・カンパニー | 視覚画像化および赤外画像化を行なう荷電粒子ビーム処理システム |
| JP2014132266A (ja) * | 2013-01-07 | 2014-07-17 | Ricoh Co Ltd | 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム |
| JP2014183788A (ja) * | 2013-03-25 | 2014-10-02 | Sony Corp | 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム |
-
2015
- 2015-06-19 JP JP2015124253A patent/JP2017009396A/ja active Pending
-
2016
- 2016-04-19 WO PCT/JP2016/002080 patent/WO2016203689A1/ja not_active Ceased
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008518229A (ja) * | 2004-10-25 | 2008-05-29 | アールピー ベンチャーズ テクノロジー オフィス アーベー | マルチスペクトル及びハイパースペクトル撮像を行うシステム |
| JP2007143490A (ja) * | 2005-11-29 | 2007-06-14 | Yamaguchi Univ | 気球空撮マルチバンドセンシングにより植生を診断する方法 |
| JP2009058443A (ja) * | 2007-08-31 | 2009-03-19 | National Institute For Environmental Studies | 土壌中の根圏要素の自動分類方法 |
| US20090309960A1 (en) * | 2008-06-13 | 2009-12-17 | Bosoon Park | Portable multispectral imaging systems |
| JP2010043979A (ja) * | 2008-08-13 | 2010-02-25 | Yuichi Kamata | 分光画像計測装置 |
| JP2013538334A (ja) * | 2010-07-08 | 2013-10-10 | エフ・イ−・アイ・カンパニー | 視覚画像化および赤外画像化を行なう荷電粒子ビーム処理システム |
| WO2012063241A1 (en) * | 2010-11-11 | 2012-05-18 | Avi Buzaglo Yoresh | System and method for detection of minefields |
| JP2014132266A (ja) * | 2013-01-07 | 2014-07-17 | Ricoh Co Ltd | 露光条件及びフィルタ位置を使用したマルチモード光照射野撮像システム |
| JP2014183788A (ja) * | 2013-03-25 | 2014-10-02 | Sony Corp | 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019003400A1 (ja) * | 2017-06-29 | 2019-01-03 | 日本電気株式会社 | 係数算出装置、係数算出方法、及び、係数算出プログラムが記録された記録媒体 |
| JPWO2019003400A1 (ja) * | 2017-06-29 | 2020-03-26 | 日本電気株式会社 | 係数算出装置、係数算出方法、及び、係数算出プログラム |
| US20210304368A1 (en) * | 2018-08-10 | 2021-09-30 | Sony Corporation | Information processing device, information processing method, and program |
| US12056851B2 (en) * | 2018-08-10 | 2024-08-06 | Sony Group Corporation | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017009396A (ja) | 2017-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6872137B2 (ja) | 信号処理装置および信号処理方法、並びにプログラム | |
| JP6055681B2 (ja) | 撮像装置 | |
| JP5545016B2 (ja) | 撮像装置 | |
| US20100245826A1 (en) | One chip image sensor for measuring vitality of subject | |
| JP5259381B2 (ja) | 撮像装置および撮像方法 | |
| WO2016203689A1 (ja) | 撮像装置 | |
| JP6484504B2 (ja) | 撮像装置 | |
| WO2012073507A1 (ja) | 葉面積指数計測システム、装置、方法およびプログラム | |
| JP5564812B2 (ja) | 植物体の生育変化の連続測定方法 | |
| JP2017011459A (ja) | 撮像装置及び画像処理方法 | |
| WO2016080130A1 (ja) | 観察装置 | |
| JP5375168B2 (ja) | 調整装置及び調整方法、並びに撮像装置 | |
| US11398060B2 (en) | Information processing device, information processing method, and program | |
| JP2015210124A (ja) | 農業用監視カメラ | |
| US12411390B2 (en) | Imaging apparatus and lens apparatus including lens sections with different angles of view | |
| CN116888455A (zh) | 信息处理装置、成像系统、信息处理方法及程序 | |
| JP5991603B1 (ja) | 撮像装置 | |
| JP5906755B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| US12372404B2 (en) | Illuminant correction in an imaging system | |
| JP5033741B2 (ja) | 色特性変換係数の決定方法およびプリズムセット、ならびに撮像装置 | |
| JP2020193859A (ja) | 画像処理装置、撮像システム、画像処理方法、および、プログラム | |
| JP2017009395A (ja) | 撮像装置及び表示制御方法 | |
| JPH04357441A (ja) | 温室内作物の評価装置 | |
| JP7254440B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
| WO2016203690A1 (ja) | 撮像装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16811170 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16811170 Country of ref document: EP Kind code of ref document: A1 |