[go: up one dir, main page]

WO2015059897A1 - 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ - Google Patents

映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ Download PDF

Info

Publication number
WO2015059897A1
WO2015059897A1 PCT/JP2014/005201 JP2014005201W WO2015059897A1 WO 2015059897 A1 WO2015059897 A1 WO 2015059897A1 JP 2014005201 W JP2014005201 W JP 2014005201W WO 2015059897 A1 WO2015059897 A1 WO 2015059897A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared
light
color
video
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/005201
Other languages
English (en)
French (fr)
Inventor
塚田　正人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US15/030,196 priority Critical patent/US10171757B2/en
Priority to JP2015543704A priority patent/JP6582987B2/ja
Publication of WO2015059897A1 publication Critical patent/WO2015059897A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to video imaging technology, and particularly to video imaging technology related to video processing in the visible light region and near infrared region.
  • the image sensor In an imaging device such as a digital camera or a video camera, the image sensor usually incorporates a three-color optical filter of red (R), green (G), and blue (B). The light incident on the camera is decomposed by the three-color optical filter and converted into a video signal by an image sensor to generate RGB video data.
  • RGB red
  • G green
  • B blue
  • the image sensor used in the imaging device is a silicon sensor, it has sensor sensitivity to light from the visible light region to the near infrared region.
  • the image sensor used in the imaging device since digital cameras and video cameras require highly accurate color reproducibility, near-infrared light that adversely affects color reproduction is removed by a near-infrared cut filter.
  • the R, G and B three-color optical filters ensure the transmittance in the wavelength band in the visible light region that each filter is responsible for, but the light transmission characteristics in the near infrared region outside the visible light region This is because there is a case that is not considered.
  • FIG. 1 is an example showing the spectral transmittance of an RGB three-color optical filter.
  • each color filter is expected to transmit light having a wavelength of about 400 nm to 500 nm, a G filter of about 500 nm to 600 nm, and an R filter of about 600 nm to 700 nm.
  • each filter has a characteristic of transmitting light of 700 nm or more which is outside the visible light region, that is, near infrared light.
  • the spectral sensitivity characteristic of an image sensor using a photodiode generally employed in a color image input device such as a digital camera or a video camera has sensitivity even in a wavelength region of 700 nm or more. If the three-color optical filter having the spectral characteristics shown in FIG. 1 is simply applied to the image sensor as it is, a problem arises from the viewpoint of color reproducibility.
  • the color matching function of the XYZ color system relating to human color perception is expressed as shown in FIG.
  • human color perception since sensitivity is zero for light of 700 nm or more, light having power in a wavelength region of 700 nm or more does not affect the perceptual color that is a psychophysical quantity.
  • an infrared having a spectral transmittance that eliminates the influence of near-infrared light of 700 nm or more as shown in FIG. Use an infrared (IR) cut filter.
  • an IR cut filter is incorporated in the optical system of the color image input apparatus to block near-infrared light from entering the three-color optical filter and the image sensor. By doing so, light having power only in the visible wavelength region is input to the three-color optical filter, and light dispersed by the three-color optical filter is input to the image sensor, and an RGB signal is generated. .
  • Non-Patent Document 1 uses two cameras for capturing RGB images and IR images. A method has been proposed.
  • Non-Patent Document 2 shows spectral sensitivity characteristics of R, G, B, and IR optical filters.
  • the spectral sensitivity characteristics of the R, G, and B color filters have spectral sensitivities in the shape of the IR filter in near infrared light. In order to achieve high color reproducibility during daytime shooting, it is necessary to remove the influence of near-infrared light contained in R, G, and B.
  • Non-Patent Document 2 by using the IR signal obtained through the IR filter, the influence of near-infrared light contained in R, G, B is removed, and the R, G, B signal Is generated. For night shooting, use all R, G, B, and IR signals.
  • Patent Document 1 uses R, G, and B three-color optical filters that transmit near-infrared light, and a special photosensor that detects near-infrared light (NIR).
  • An imaging device that generates NIR signals is proposed. For example, light transmitted through the R filter becomes R + NIR and enters the photosensor.
  • This photosensor includes a visible light sensor unit that detects R at a shallow position and a non-visible light sensor unit that detects NIR at a deep position in the incident direction of light. The same applies to G and B.
  • Non-Patent Document 3 shows an example of a demosaicing processing method, which will be described later in order to explain the present embodiment.
  • Non-Patent Document 4 shows a method using Gradient Interpolation described later.
  • Non-Patent Document 5 shows an example of a demosaicing processing technique.
  • Patent Document 2 discloses an imaging device that outputs a visible color image even in an environment where a visible light signal is weak.
  • Patent Document 3 discloses a color filter for a solid-state imaging device and a color imaging device using the same.
  • Non-Patent Document 1 can generate a high-resolution RGB image and NIR image by using two cameras, but there is a problem that it is difficult to make the image input device compact and the cost is high. Although the same method can be incorporated in one apparatus, it is difficult to solve the above problem because two optical paths of RGB and NIR and two image sensors are required.
  • Non-Patent Document 2 and Patent Document 1 are special image sensors for generating a near-infrared image. In other words, this image sensor is compatible with semiconductor manufacturing. There is a problem that it is difficult to obtain and at present is more expensive than a normal image sensor.
  • the present invention solves the problem, and provides a video imaging technique capable of easily processing video in the visible light region and the near infrared region while utilizing the configuration of a general video imaging device. Objective.
  • One embodiment of the present invention for solving the above problems includes a color filter that splits incident light into a plurality of colors, a photosensor that converts light of a plurality of colors dispersed by the color filter into data as video signals, and the color Provided in front of the light traveling direction of the filter or between the color filter and the photosensor, and includes an infrared cut portion that cuts near infrared light and an infrared transmission portion that transmits the near infrared light.
  • a code-type infrared cut filter Based on a code-type infrared cut filter, a plurality of video signals relating to light transmitted through the infrared cut portion of a pixel and adjacent pixels, and a plurality of video signals relating to light passing through the infrared transmission portion And a video processing unit that acquires color information and near-infrared information.
  • One embodiment of the present invention that solves the above problems is a code-type infrared cut filter having an infrared cut section that cuts near infrared light and an infrared transmission section that transmits the near infrared light.
  • One embodiment of the present invention that solves the above problems includes an infrared cut portion that cuts near infrared light, and an infrared transmission portion that transmits the near infrared light, and a 2 ⁇ 2 pixel of a plurality of colors
  • an array type color filter having an array as a minimum unit
  • a location where a plurality of N sets of the minimum unit array are adjacent to each other is defined as a basic unit.
  • the pixel type corresponding to the infrared transmitting part in the unit array and the pixel position corresponding to the infrared transmitting part in another minimum unit array are one or more signed infrared cut filters.
  • the present invention it is possible to perform image processing in the visible light region and the near infrared region only by adding a simple configuration while using the configuration of a general imaging device.
  • spectral transmittance of the RGB three-color optical filter This is a color matching function of the XYZ color system related to human color perception. It is a spectral intensity distribution of color light shown as a reference. It is an example of the spectral transmittance of an IR cut filter.
  • 2 is a schematic configuration of an optical system of a color image input device.
  • 3 is a schematic configuration of an imaging device using a four-color optical filter.
  • 1 is a schematic configuration diagram of a video imaging device in a first embodiment. This is a photosensor in which a Bayer array type color filter is incorporated. 2 is an outline of a code-type IR cut filter according to the first embodiment.
  • FIG. 4 is an example of RGB video data output by the photosensor according to the first embodiment.
  • This is an example of a general demosaicing process. It is an example of characteristic demosaicing processing. It is an example of characteristic demosaicing processing.
  • FIG. 6 is a schematic configuration diagram of a video imaging device in a second embodiment. 6 is an outline of a code-type IR cut filter according to a second embodiment. 6 is an example of RGB video data output by a photosensor according to a second embodiment. 14 is an outline of a code type IR cut filter according to a third embodiment. 10 is an example of RGB video data output by a photosensor according to a third embodiment.
  • FIG. 10 is a schematic configuration diagram of a video imaging apparatus in a fourth embodiment.
  • FIG. 14 is an example of RGB video data output by a photosensor according to a fourth embodiment.
  • FIG. 10 is a schematic configuration diagram of a video imaging apparatus in a fifth embodiment. 16 is an outline of a code type specific color cut filter according to a sixth embodiment. 16 is an example of spectral transmittance of a code-type specific color cut filter according to a sixth embodiment. 14 is an example of RGB video data output by a photosensor according to a sixth embodiment.
  • FIG. 10 is a schematic configuration diagram of a video imaging apparatus in a seventh embodiment. 16 is an outline of a code IR cut filter according to a seventh embodiment. 14 is an example of RGB video data output by a photosensor according to a seventh embodiment.
  • FIG. 17 is a conceptual diagram of NIR video data acquisition in the seventh embodiment.
  • NIR video data in the seventh embodiment It is an enlarged version of NIR video data in the seventh embodiment. It is a basic unit extracted from NIR video data in the seventh embodiment.
  • FIG. 20 is an example of RGB video data when a positional deviation of one pixel occurs in each of an X (horizontal) direction, a Y (vertical) direction, and an oblique direction in the seventh embodiment. It is an example of RGB video data explaining the subject concerning a positional shift.
  • FIG. 16 is a pattern modification example of the code IR cut filter according to the seventh embodiment.
  • FIG. This is output video data corresponding to patterns 2 to 3 in the seventh embodiment.
  • It is a schematic block diagram of the video imaging device in 8th Embodiment. It is a figure which shows an example of the hardware constitutions which implement
  • FIG. 7 is a schematic configuration diagram of the video imaging apparatus 100 according to the first embodiment of the present invention.
  • the video imaging apparatus 100 includes a code-type IR cut filter 1, an optical filter 2, a photo sensor 3, and a video processing unit 4.
  • the camera lens may be a normal camera lens.
  • an optical filter and a photosensor that are generally used in color image input devices (or video imaging devices) at present may be used. That is, the spectral characteristics of the optical filter 2 are the same as those in FIG.
  • reference numerals 100B, 100C, 1B, 4B, and 4C indicate the configurations described in the following third or sixth embodiment, and are not used in the present embodiment.
  • FIG. 8 is an outline of the optical filter 2 and the photosensor 3.
  • the three-color arrangement of R, G, and B in the optical filter shown in FIG. 8 is called a Bayer arrangement type.
  • One color of R, G, or B is assigned to one pixel of the photosensor so as to correspond to R, G, and B in the optical filter.
  • FIG. 9 is an outline of the code type IR cut filter 1.
  • the code-type IR cut filter 1 is a filter provided with two patterns, a portion that cuts near infrared light (NIR) (infrared cut portion 11) and a portion that transmits light (infrared transmission portion 12). That is, the code type means binary values of transmission and cut.
  • NIR near infrared light
  • infrared transmission portion 12 that is, the code type means binary values of transmission and cut.
  • the sign-type IR cut filter 1 is generally provided on the front side of the optical filter 2 in the light traveling direction, but may be provided between the optical filter 2 and the photosensor 3.
  • the infrared transmission part 12 of the code type IR cut filter 1 is arranged corresponding to the G filter of the optical filter 2.
  • the light transmitted through the code-type IR cut filter 1 and the optical filter 2 is converted into R, G, and B color signals by the photosensor 3.
  • the video processing unit 4 generates video data composed of four color signals of R, G, B, and NIR based on the video data composed of three color signals of R, G, and B. Details will be described later.
  • the light incident on the video imaging device 100 through the camera lens is split into light from which near-infrared light is cut and light containing near-infrared light by the code-type IR cut filter 1.
  • the two types of split light are incident on a photosensor 3 in which a Bayer array type color filter (optical filter) 2 is incorporated.
  • FIG. 10 shows color signal components in each pixel of RGB video data output from the photosensor 3.
  • the G filters in the Bayer array of the optical filter 2 each include a pair of G filters. Further, the infrared transmission section 12 of the code-type IR cut filter 1 is arranged corresponding to one of the G filters that form a set included in the optical filter 2.
  • the R signal, the G signal, and the B signal are generated by the light that passes through the infrared cut unit 11 and the optical filter 2.
  • a G signal including a near-infrared light component is generated by the light transmitted through the infrared transmission unit 12 and the optical filter 2.
  • the G signal including the near-infrared light component is expressed as “G + NIR”.
  • the photosensor 3 outputs RGB three-channel video data, but the G signal includes a G signal in which near-infrared light is cut and a G + NIR signal including near-infrared light.
  • the video processing unit 4 applies demosaicing processing based on the R, G, B three-channel video data output from the photosensor 3 to generate R, G, B, NIR four-channel video data. Generate.
  • the video processing unit 4 generates missing color signals for all the pixels in the video data by demosaicing processing, and generates 4-channel video data of R, G, B, and NIR.
  • each pixel included in the image is assumed to have a coordinate value in the XY coordinates.
  • the video processing unit 4 acquires the video data (R, G, B color information) of the pixel having the coordinate value (1, 1) in the image shown in FIG. Since the pixel having the coordinate value (1, 1) corresponds to R, the video processing unit 4 directly acquires the R value.
  • the video processing unit 4 calculates, for example, by interpolating from the color information of the peripheral pixels as follows.
  • the video processing unit 4 acquires video data (R, G, B color information) of the pixel having the coordinate value (1, 2). Since the pixel having the coordinate value (1, 2) corresponds to G, the video processing unit 4 directly acquires the G value.
  • G (1,2) G (1,2)
  • the video processing unit 4 similarly calculates the R value and B value that do not exist in the pixel having the coordinate value (1, 2) by interpolating from the color information of the peripheral pixels.
  • the video processing unit 4 repeats the above processing and acquires video data (R, G, B color information) for all pixels.
  • the demosaicing process is not limited to the above method, and various methods shown in Non-Patent Document 3 may be used.
  • the video processing unit 4 applies the above-described general demosaicing processing to one piece of video data (see FIG. 10) in which four color signals of R, G, B, and G + NIR are mixed, and applies to all pixels.
  • Video data composed of four-channel color signals to which R, G, B, and NIR are assigned is generated.
  • R and B the demosaicing process described above may be applied.
  • G + NIR shown in the figure is expressed as “GNIR” for convenience.
  • the pixel with the coordinate value (1,3) will be described.
  • the video processing unit 4 similarly calculates G values and NIR values that do not exist in the pixel having the coordinate value (1, 3) by interpolating from the color information of the peripheral pixels.
  • G value and NIR value at the coordinate value (1,1) and the coordinate value (1,2) can be calculated as follows (see FIG. 13).
  • the video processing unit 4 repeats the above processing to acquire video data (R, G, B, NIR) for all pixels. Note that the present invention is not limited to the above method, and various demosaicing methods shown in Non-Patent Document 2 can be applied.
  • the video processing unit 4 performs image processing in the visible light region mainly using R, G, and B information, and performs image processing in the near infrared region mainly using NIR information.
  • a video imaging apparatus 100 is configured by adding a code-type IR cut filter 1 to an optical filter 2 and a photosensor 3, which is a configuration of a general imaging apparatus (see FIG. 5).
  • the code type IR cut filter 1 is obtained by adding a simple improvement to a general cut filter and has a simple configuration. That is, video processing in the visible light region and the near infrared region can be performed only by adding a simple configuration to the configuration similar to the related art.
  • FIG. 14 is a schematic configuration diagram of a video imaging apparatus 100A according to another embodiment.
  • the video imaging apparatus 100A includes a code type IR cut filter 1A, an optical filter 2, a photosensor 3, a video processing unit 4A, and a code information memory 5.
  • the optical filter 2 and the photosensor 3 use an optical filter and a photosensor that are used in a general imaging apparatus.
  • FIG. 15 is an outline of the code type IR cut filter 1A.
  • the infrared transmission unit 12 of the code-type IR cut filter 1 is arranged corresponding to one of the G filters that are included in the optical filter 2.
  • the infrared transmission unit 12 of the code-type IR cut filter 1A is not limited to one of R, G, and B, but can be any color filter in a set of multiple color arrays. Correspondingly arranged. The color filter is selected at random.
  • the code information memory 5 stores pixel position information corresponding to the infrared transmission section 12 of the code IR cut filter 1A or corresponding color filter information (R, G, B).
  • the light incident on the image pickup device 100A is split into light from which near-infrared light is cut and light containing near-infrared light by the code-type IR cut filter 1A.
  • the two types of dispersed light are incident on a photosensor 3 in which a Bayer array type color filter 2 is incorporated.
  • FIG. 16 shows color signal components in each pixel of RGB video data output from the photosensor 3. There are pixels in which NIR is added to R, G, and B signals, and R, G, and B signals in which NIR is cut.
  • the video processing unit 4A generates video data composed of four color signals of R, G, B, and NIR based on the video data composed of three color signals of R, G, and B. Based on the information from the code information memory 5, the video processing unit 4A determines the position of the pixel obtained by adding NIR to the R, G, and B signals.
  • the video processing unit 4A acquires the video data (R, G, B, NIR information) of the pixel having the coordinate value (1, 1). Since the pixel having the coordinate value (1, 1) corresponds to R, the video processing unit 4A directly acquires the R value.
  • the video processing unit 4A calculates G, B, and NIR that are missing in the pixel having the coordinate value (1, 1) as follows.
  • the following calculation of the NIR value is an example in the case where only one pixel having a color signal including NIR is adjacent to the surrounding area.
  • the video processing unit 4A acquires video data (R, G, B, NIR information) of the pixel having the coordinate value (1, 2). Since the pixel having the coordinate value (1, 2) corresponds to G, the video processing unit 4A directly acquires the G value.
  • the video processing unit 4A calculates the R value and B value that do not exist in the pixel having the coordinate value (1, 2) by interpolating from the color information of the surrounding pixels.
  • the video processing unit 4A calculates as follows.
  • the following calculation of the NIR value is an example in the case where two pixels having a color signal including NIR are adjacent to each other.
  • NIR (1,2) RNIR (1,3) -R (1,1)
  • NIR (1,2) GNIR (2,1) -G (1,2)
  • NIR (1,2) (RNIR (1,3) -R (1,1) + GNIR (2,1) -G (1,2)) / 2
  • One of these may be selected.
  • the video processing unit 4A repeats the above processing to acquire video data (R, G, B, NIR) for all pixels.
  • the video imaging apparatus 100A of the present embodiment also uses the optical filter 2 and the photosensor 3 that have the same configuration as the related art, and the same effects as those of the first embodiment can be obtained.
  • the video imaging device 100B includes a code-type IR cut filter 1B, an optical filter 2, a photosensor 3, and a video processing unit 4B. That is, it is the same as the schematic configuration (FIG. 7) of the first embodiment.
  • FIG. 17 is an outline of the code type IR cut filter 1B.
  • the infrared transmission unit 12 of the code-type IR cut filter 1A is arranged corresponding to an arbitrary color filter in a set of multiple color arrays (R, G, B).
  • the infrared transmission unit 12 of the code-type IR cut filter 1B is arranged corresponding to a set of a plurality of color arrangements.
  • the infrared cut part 11 is arrange
  • code information is assigned in units of pixels, whereas in the third embodiment, code information is assigned in units of array units (2 ⁇ 2 pixels).
  • the light incident on the image pickup device 100B is split into light from which near-infrared light has been cut and light containing near-infrared light by the code-type IR cut filter 1B.
  • the two types of dispersed light are incident on a photosensor 3 in which a Bayer array type color filter 2 is incorporated.
  • FIG. 18 shows color signal components in each pixel of the RGB video data output from the photosensor 3. There are pixels in which NIR is added to R, G, and B signals, and R, G, and B signals in which NIR is cut. NIR is added to the pixels of the coordinate values (3, 3), (3,4), (4, 3), (4, 4).
  • the video processing unit 4B generates video data composed of four color signals of R, G, B, and NIR based on the video data composed of three color signals of R, G, and B.
  • the video processing unit 4B acquires video data (R, G, B, NIR information) of the pixel having the coordinate value (1, 1). Since the pixel having the coordinate value (1, 1) corresponds to R, the video processing unit 4B directly acquires the R value. For the G value and B value that do not exist in the pixel having the coordinate value (1, 1), the video processing unit 4B calculates by interpolating from the color information of the surrounding pixels.
  • the video processing unit 4B calculates the NIR value missing from the pixel having the coordinate value (1, 1) as follows.
  • NIR (1,1) RNIR (3,3) -R (1,1)
  • the video processing unit 4B acquires the video data (R, G, B, NIR information) of the pixel having the coordinate value (1, 2). Since the pixel having the coordinate value (1, 2) corresponds to G, the video processing unit 4B directly acquires the G value.
  • the video processing unit 4B calculates the R value and B value that do not exist in the pixel having the coordinate value (1, 2) by interpolating from the color information of the peripheral pixels.
  • the video processing unit 4B calculates the NIR value missing from the pixel having the coordinate value (1, 2) as follows.
  • NIR (1,2) (GNIR (4,3) + GNIR (3,4)) / 2-G (1,2)
  • the video processing unit 4B repeats the above processing to acquire video data (R, G, B, NIR) for all pixels.
  • the video imaging apparatus 100B of the present embodiment also uses the optical filter 2 and the photosensor 3 having the same configuration as that of the related technology, and the same effects as those of the first embodiment can be obtained.
  • the code-type IR cut filter 1B has a simpler configuration. As a result, the above effect is improved.
  • the present invention is applied to a video imaging apparatus that performs spectroscopy using a Bayer array type optical filter, but the present invention is not limited to this.
  • the present invention can be applied to a three-plate type video imaging apparatus.
  • FIG. 19 is a schematic configuration diagram of a video imaging apparatus 101 according to another embodiment of the present invention.
  • a video imaging apparatus 101 includes a code-type IR cut filter 1, a prism (color separation unit) 21, photosensors 31 to 33, and a video processing unit 41.
  • the camera lens may be a normal camera lens.
  • a prism and a photosensor that are currently generally used in a three-plate image pickup apparatus may be used.
  • the code-type IR cut filter 1 is the same as that used in the first to third embodiments.
  • the sign type IR cut filter 1 is provided on the front side in the light traveling direction with respect to at least one of the photosensors 31 to 33. As an example, what is provided corresponding to the photosensor 31 corresponding to R is illustrated. In order to cut near-infrared light that may leak from the prism 21 in consideration of color reproducibility with respect to the remaining two photosensors not provided with the code-type infrared cut filter, normal infrared light is used. A cut filter may be installed. Here, it is assumed that the near-infrared light is not included in the G and B lights dispersed by the prism 21.
  • the light incident on the image pickup device 101 through the camera lens is decomposed by the prism 21 into R, G, and B light having different wavelength bands.
  • Light corresponding to R enters the photosensor 31
  • light corresponding to G enters the photosensor 32
  • light corresponding to B enters the photosensor 33.
  • the light corresponding to R is split by the code-type IR cut filter 1 into light from which near-infrared light has been cut and light containing near-infrared light.
  • FIG. 20 shows the color signal component in each pixel of the R video data output from the photosensor 31. There are R signal with near-infrared light cut and R + NIR signal with near-infrared light.
  • the video processing unit 41 acquires video data (R, NIR) for all pixels based on the R video data output from the photosensor 31.
  • the video processing unit 41 acquires video data (G) for all the pixels based on the video data output from the photosensor 32, and all the pixels based on the video data output from the photosensor 33. Get video data (B) for.
  • the video processing unit 41 acquires video data (R, G, B, NIR) for all pixels.
  • the video imaging apparatus 101 of the present embodiment is obtained by adding a code-type IR cut filter 1 to the prism 21 and the photosensors 31 to 33, which is a configuration of a general three-plate imaging apparatus.
  • the code type IR cut filter 1 is obtained by adding a simple improvement to a general cut filter and has a simple configuration. That is, only by adding a simple configuration to the configuration similar to the related art, video processing in the visible light region and the near-infrared region can be performed, and production cost reduction and failure reduction can be expected.
  • the present invention is applied to a video imaging apparatus that performs spectroscopy using a Bayer array type optical filter, but the present invention is not limited to this.
  • the present invention can be applied to a video imaging apparatus having a stacked sensor.
  • FIG. 21 is a schematic configuration diagram of the video imaging apparatus 102 according to the embodiment of the present invention.
  • the video imaging apparatus 102 includes a code type IR cut filter 1, a stacked sensor in which the sensors 34 to 36 are stacked, and a video processing unit 42.
  • the camera lens may be a normal camera lens.
  • a stacked sensor generally used in a stacked sensor type image pickup apparatus may be used.
  • the stacked sensor is stacked in the order of the sensors 34, 35, and 36 with respect to the light traveling direction.
  • the sensor 34 has sensitivity in the B wavelength band
  • the sensor 35 has sensitivity in the G wavelength band
  • the sensor 36 has sensitivity in the R wavelength band.
  • the code-type IR cut filter 1 is the same as that used in the first to third embodiments.
  • the sign type IR cut filter 1 is provided on the front side in the light traveling direction with respect to the laminated sensor.
  • the light incident on the image pickup apparatus 101 through the camera lens includes R, G, B, and NIR light having different wavelength bands.
  • Light corresponding to B is converted into a signal by the sensor 34
  • light corresponding to G is converted into a signal by the sensor 35
  • light corresponding to R and NIR is converted into a signal by the sensor 36.
  • the light corresponding to R is split by the code-type IR cut filter 1 into light from which near-infrared light has been cut and light containing near-infrared light.
  • the sensor 36 outputs an R signal from which near-infrared light has been cut and an R + NIR signal that includes near-infrared light.
  • the output result is the same as in FIG.
  • the video processing unit 42 acquires video data (R, NIR) for all pixels based on the R video data output from the sensor 36.
  • the video processing unit 42 acquires video data (G) for all the pixels based on the video data output from the sensor 35, and the video for all the pixels based on the video data output from the sensor 36. Get data (B).
  • the video processing unit 42 acquires video data (R, G, B, NIR) for all pixels.
  • the video imaging apparatus 102 of the present embodiment is obtained by adding a code type IR cut filter 1 to the multilayer sensors 34 to 36, which is a configuration of a general multilayer sensor type video imaging apparatus.
  • the code type IR cut filter 1 is obtained by adding a simple improvement to a general cut filter and has a simple configuration. That is, only by adding a simple configuration to the configuration similar to the related art, video processing in the visible light region and the near-infrared region can be performed, and production cost reduction and failure reduction can be expected.
  • FIG. 22 is a diagram showing an outline of the code-type specific color cut filter 6. As shown in FIG. 22, for example, the code-type specific color cut filter 6 cuts the visible light region including the wavelength band related to the specific color and transmits the near-infrared light on the longer wavelength side than the visible light region. A color cut unit 61 and a specific color transmission unit 62 that transmits light in the wavelength band are included.
  • the video imaging apparatus 100C includes a code-type specific color cut filter 6, an optical filter 2, a photo sensor 3, and a video processing unit 4C. That is, it is the same as the schematic configuration (FIG. 7) of the first embodiment except for the code-type cut filter.
  • the code-type specific color cut filter 6 is generally provided in front of the optical filter 2 in the light traveling direction, but may be provided between the optical filter 2 and the photosensor 3.
  • the specific color cut part 61 of the code type specific color cut filter 6 is arranged corresponding to the G filter of the optical filter 2.
  • the specific color cut unit 61 transmits near-infrared light and cuts a visible light region including the wavelength band related to the specific color G.
  • the specific color transmission unit 62 transmits near-infrared light and transmits light in the wavelength band related to the specific color G.
  • FIG. 23 is an example showing the spectral transmittance of the specific color cut section 61 and the spectral transmittance of the specific color transmission section 62.
  • the specific color cut unit 61 may cut the entire visible light region as shown in the drawing as long as the wavelength band related to the specific color G can be cut.
  • the specific color transmission unit 62 may transmit the entire visible light region as illustrated as long as it can transmit the wavelength band related to the specific color G.
  • the light incident on the image pickup device 100C is split into light having the specific color G cut by the code-type specific color cut filter 6 and light containing the specific color G.
  • the two types of split light enter the photosensor 3 in which the optical filter 2 is incorporated.
  • FIG. 24 shows color signal components in each pixel of the RGB video data output from the photosensor 3.
  • the G filters in the Bayer array of the optical filter 2 each include a pair of G filters. Further, the specific color cut unit 61 of the code-type specific color cut filter 6 is arranged corresponding to one of the G filters that form a set included in the optical filter 2.
  • the G component is cut by the light passing through the specific color cut part 61 of the code type specific color cut filter 6 and one G filter of the optical filter 2, and an NIR signal is generated.
  • the spectral characteristics of the optical filter 2 are the same as those in FIG. That is, a component of near infrared light is included.
  • the R + NIR signal, the G + NIR signal, and the B + NIR are transmitted by the light transmitted through the specific color transmitting unit 62 of the code-type specific color cut filter 6 and the other G filters, R filters, and B filters of the optical filter 2 A signal is generated.
  • the photo sensor 3 outputs RGB 3 channel video data, but the G signal includes a G + NIR signal including near infrared light and a NIR signal including only near infrared light.
  • the R signal is an R + NIR signal including near infrared light
  • the B signal is a B + NIR signal including near infrared light.
  • the video processing unit 4 uses video data (R, G, B, R, G, B, G + NIR) from video data (see FIG. 10) consisting of four color signals R, G, B, G + NIR.
  • the video processing unit 4C acquires video data for all pixels from video data (see FIG. 24) composed of four color signals of R + NIR, G + NIR, B + NIR, and NIR. Get (R, G, B, NIR).
  • the video imaging apparatus 100C of the present embodiment also uses the optical filter 2 and the photosensor 3 that have the same configuration as the related technology, and the same effects as those of the first embodiment can be obtained.
  • FIG. 25 is a schematic configuration diagram of a video imaging apparatus 100D according to another embodiment.
  • the video imaging device 100D includes a code-type IR cut filter 1D, an optical filter 2, a photosensor 3, a video processing unit 4D, a code information memory 5, a positional deviation information acquisition unit 7, and a code information correction unit 8.
  • the optical filter 2 and the photosensor 3 use an optical filter and a photosensor that are used in a general imaging apparatus.
  • FIG. 26 is an outline of the code type IR cut filter 1D.
  • the infrared transmission unit 12 of the code-type IR cut filter 1 is arranged corresponding to one of the G filters that are included in the optical filter 2 for each set of Bayer arrays.
  • a 2 ⁇ 2 array (4 ⁇ 4 pixels) of a Bayer array is used as a basic unit (described later).
  • the infrared transmission section 12 of the code-type IR cut filter 1D has four pixels, one in each row of the basic unit, one in each column of the basic unit, and arranged so as not to overlap. .
  • the infrared transmission unit 12 corresponds to one R and one B and two Gs in the optical filter 2.
  • the pattern of this code-type IR cut filter is assumed to be pattern 1.
  • the code information memory 5 stores information related to the infrared transmission unit 12 in the basic unit.
  • the positional deviation information acquisition unit 7 acquires positional deviation information between the code type IR cut filter 1D and the optical filter 2.
  • the code information correction unit 8 corrects information related to the infrared transmission unit 12 of the code information memory 5 based on the positional deviation information. Details will be described later.
  • the light incident on the image pickup device 100D is split into light with near-infrared light and light including near-infrared light by the code-type IR cut filter 1D.
  • the two types of split light enter the photosensor 3 in which the optical filter 2 is incorporated.
  • FIG. 27 shows color signal components in each pixel of RGB video data output from the photosensor 3. There are pixels in which NIR is added to R, G, and B signals, and R, G, and B signals in which NIR is cut.
  • the video processing unit 4D generates video data composed of four color signals of R, G, B, and NIR based on the video data composed of three color signals of R, G, and B. Based on the information from the code information memory 5, the position of the pixel obtained by adding NIR to the R, G, and B signals is determined.
  • the pixel value of coordinate value (1,1), coordinate value (1,5), coordinate value (5,1), coordinate value (5,5) is near red to light in the wavelength region of R (red)
  • the output value is the sum of the light in the outer region (NIR).
  • the pixel value of (6, 7) and coordinate value (7, 8) is an added value of G (green) and NIR.
  • the pixel values of the coordinate value (4, 2), the coordinate value (4, 6), the coordinate value (8, 2), and the coordinate value (8, 6) are added values of B (blue) and NIR.
  • the spectral transmittance of the optical filter 2 has similar transmission characteristics in the near-infrared region of 700 nm or more, and R, G, B if the same amount of near-infrared light is incident. It is assumed that the signal quantity of NIR in is the same.
  • the video processing unit 4D applies a demosaicing process to the RGB three-channel video data including the NIR output from the photosensor 3 in which the RGB three-color optical filter 2 is incorporated, and R, G, B, NIR 4 channel video data is generated.
  • the video processing unit 4D calculates pure color information (R, G, B) not including NIR for pixels including NIR components in the video data. Now, a 4 ⁇ 4 pixel pattern (basic unit) is repeated.
  • the video processing unit 4D R (5,5) (R (5,3) + R (5,7)) / 2 And decide.
  • the minimum values are GD2, GD3, and GD4.
  • the video processing unit 4D similarly applies the pure G and B information not including the NIR from the eight pixels having the pure G and B information existing in the vicinity thereof. Calculate with the method.
  • GD2 (G (1,2) + G (1,2) + G (4,5) + G (5,6)) / 4- (G (3,4) + IR (3,4))
  • GD4 (G (5,2) + G (4,3) + G (2,5) + G (1,6)) / 4- (G (3,4) + IR (3,4)) Then, the video processing unit 4D selects the minimum value based on the size determination of GD1 to GD4.
  • the pixel is the center. 8 pixels cannot be acquired from the surrounding area. In such a case, as an exception process, calculation may be performed from the values of pixels of the same color that do not include adjacent NIRs.
  • R (1,1) (R (1,3) + R (3,1) + R (3,3)) / 3
  • R (1,1) (R (1,3) + R (3,1)) / 2
  • the video processing unit 4D G (2,3) ((G (1,2) + G (1,4) + G (3,2)) / 3 What is necessary is just to calculate by interpolation calculation like this.
  • a weighting factor may be introduced to suppress the contribution in the interpolation calculation.
  • RGB image data not including NIR information is obtained from RGB video data including NIR information (FIG. 27).
  • RGB image data including NIR information is referred to as “RGB + NIR image data”
  • pure RGB image data not including NIR information is referred to as “RGB image data”.
  • the video processing unit 4D generates NIR video data including only NIR information from the RGB + NIR video data and the RGB video data.
  • NIR video data (RGB + NIR video data)-RGB video data.
  • FIG. 28 is a conceptual diagram of NIR video data acquisition.
  • the video processing unit 4D applies a demosaicing process to the RGB video data and the NIR video data so that the missing color information (R, G, B) is applied to all the pixels of the video data. , NIR).
  • Non-Patent Document 3 various demosaicing processes (pixel interpolation methods) shown in Non-Patent Document 4, Non-Patent Document 4, and Non-Patent Document 5 can be applied to Bayer-type RGB image data. As described above, all the RGB color information is determined for all the pixels in the RGB video data.
  • demosaicing process for NIR video data is performed as follows.
  • FIG. 29 is an enlarged version of the NIR video data shown in FIG.
  • a pattern of 4 pixels ⁇ 4 pixels from the coordinate value (1, 1) to the coordinate value (4, 4) is one unit and is repeated.
  • a method of calculating the NIR of a pixel in which NIR is missing for one unit (unit surrounded by a thick frame) from the coordinate value (5, 5) to the coordinate value (8, 8) will be described.
  • the unit surrounded by the thick frame is called a basic unit.
  • FIG. 30 is a diagram showing a basic unit extracted from NIR video data.
  • the video processing unit 4D finds a pixel in which three or more pixels having NIR information exist in eight pixels adjacent to the pixel in which the NIR in the basic unit is missing.
  • the video processing unit 4D calculates the NIR at the pixel using pixel interpolation.
  • a circle (o) is added to a pixel in which three or more pixels having NIR information exist in adjacent eight pixels.
  • the video processing unit 4D has adjacent NIR information.
  • NIR is calculated from the pixel to be processed using an interpolation method.
  • the video processing unit 4D calculates the NIR of the pixel with the coordinate value (7, 7) from the three NIRs with the coordinate values (6, 7), (7, 8), (8, 6) as follows. It can be calculated by pixel interpolation.
  • NIR (7,7) (NIR (6,7) + NIR (7,8) + NIR (8,6)) / 3 The same applies to the remaining three pixels (5, 6), (6, 8), and (8, 5). It should be noted that other than this pixel interpolation method can be applied.
  • NIR information is obtained from the four pixels acquired in FIG. 29 and the four pixels marked with ⁇ in FIG. 30 in the basic unit (4 ⁇ 4). Further, the remaining 8 pixels not provided with NIR information, that is, coordinate values (5, 7), (5, 8), (6, 5), (6, 6), (7, 5), NIR information in (7, 6), (8, 7), (8, 8) is calculated.
  • NIR information can be calculated for the remaining eight pixels by pixel interpolation using pixels having NIR information. As described above, NIR information can be calculated for all the pixels in the basic unit.
  • the R, G, B information is mainly used to perform image processing in the visible light region
  • the NIR information is mainly used to perform near infrared region image processing.
  • the code-type IR cut filter 1 is arranged in a general imaging device. However, there is a possibility that a positional deviation occurs between the code-type IR cut filter 1 and the optical filter 2 at the time of arrangement.
  • FIG. 31 shows a pattern of color signal components of RGB video data output from the photosensor 3 when a positional shift of one pixel occurs in each of the X (horizontal) direction, the Y (vertical) direction, and the diagonal direction. It is. It should be noted that the positional deviation between the two pixels does not need to be taken into account since the two pixels coincide with each other due to the nature of the Bayer array type.
  • photographing is performed by the image pickup device 100D by the test irradiation.
  • a shooting scene is not particularly defined, but a scene where all pixels are irradiated with near-infrared light may be selected.
  • RGB image data including NIR information shown in FIG. 31 is obtained.
  • the code information memory 5 stores pattern information related to the infrared transmission part 12 in the basic unit.
  • the near-infrared pixel pattern obtained by the test irradiation and the pattern of the code-type IR cut filter 1D do they match each other, or is any positional deviation in the horizontal, vertical, or diagonal directions occurring? Can be detected.
  • the positional deviation information acquisition unit 7 acquires a positional deviation pattern in any one of the horizontal direction, the vertical direction, and the diagonal direction, and the code information correction unit 8 uses the code information memory based on the positional deviation pattern (vertical, horizontal, and diagonal). 5 is corrected.
  • the video processing unit 4D performs video shooting based on the corrected code type infrared cut filter pattern information.
  • the video imaging apparatus has a simple configuration in which the code-type IR cut filter 1 is simply arranged in a general imaging apparatus. There is a possibility that a positional deviation occurs between the code-type IR cut filter 1 and the optical filter 2.
  • the positional deviation is corrected by correcting the information in the code information memory 5 instead of rearranging the code-type IR cut filter 1D.
  • the effect relating to the simplicity of the present invention is enhanced, and the manufacturing cost can be further suppressed.
  • a problem relating to misalignment may occur. That is, if the relationship between the code-type IR cut filter 1 and the optical filter 2 is shifted by one pixel, it may not function.
  • FIG. 32 is an example of RGB video data for explaining a problem relating to positional deviation.
  • the output data is as shown in FIG. 32 from FIG. 10 (first embodiment). That is, the photosensor 3 outputs R + NIR, G, and B signals. In other words, the R signal with NIR cut is not output. As a result, the NIR value cannot be calculated.
  • the photosensor 3 outputs R, G, B + NIR signals.
  • the B signal with NIR cut is not output.
  • the NIR value cannot be calculated.
  • the code-type IR cut filter and the video imaging apparatus according to the seventh embodiment can also solve the above-described problem of positional deviation.
  • the pattern of the code-type IR cut filter 1D is pattern 1 (FIG. 26).
  • pattern 1 in a basic unit of 4 ⁇ 4 pixels, (1) There are four pixels related to the infrared transmission unit 12, and one pixel exists in each row and each column without overlapping.
  • the number of pixels related to the infrared transmission unit 12 corresponds to one each of R and B and G2.
  • FIG. 33 is a pattern modification example (pattern 2 and pattern 3) of the code-type IR cut filter 1D.
  • FIG. 34 shows output video data corresponding to pattern 2 and pattern 3.
  • Pattern 2 and pattern 3 satisfy the above two characteristics. Thereby, similarly to the pattern 1, the positional deviation can be easily corrected. Further, data processing related to photographing is the same as that of pattern 1.
  • the positional deviation can be corrected even if a pattern other than the patterns 1 to 3 of the code type IR cut filter 1D is used.
  • 4 ⁇ 4 pixels (2 arrays ⁇ 2 arrays) may be used as the basic unit.
  • the basic unit is not limited to 4 ⁇ 4 pixels (2 arrays ⁇ 2 arrays).
  • it may be 4 ⁇ 2 pixels (2 arrays ⁇ 1 array).
  • the basic unit When the basic unit is configured from locations corresponding to N (N is an integer) sets of adjacent Bayer arrays, it is preferable that the basic unit has N or more infrared transmission portions 12.
  • the infrared transmission part position in one Bayer array corresponding part and the infrared transmission part position in another Bayer array corresponding part differ by one or more.
  • the infrared transmission part positions are all the same, it is excluded.
  • a video imaging apparatus 200 includes a code-type infrared cut filter 201, a color filter 202, a photo sensor 203, and a video processing unit 204.
  • the color filter 202 separates incident light into a plurality of colors.
  • the photo sensor 203 converts the light of a plurality of colors dispersed by the color filter into data as a video signal.
  • the code-type infrared cut filter 201 is provided on the front side of the color filter in the light traveling direction or between the color filter and the photosensor, and transmits an infrared cut portion that cuts near infrared light and the near infrared light. And an infrared transmission part.
  • the video processing unit 204 based on the plurality of video signals related to the light transmitted through the infrared cut portions of the pixels and adjacent pixels and the video signal related to the light transmitted through the infrared transmissive portions, Get infrared information.
  • the image processing in the visible light region and the near-infrared region can be performed only by adding a simple configuration while using the configuration of a general imaging device. Can be obtained.
  • the video processing unit, the code information memory, the positional deviation information acquisition unit, and the code information correction unit of the video imaging apparatus shown in each drawing are realized by the hardware resources illustrated in FIG. 36 includes a CPU (Central Processing Unit) 20, a RAM (Random Access Memory) 21, and a ROM (Read Only Memory) 22.
  • the CPU 20 controls the overall operation of the video imaging apparatus by reading various software programs (computer programs) stored in the ROM 22 into the RAM 21 and executing them. That is, in each of the above embodiments, the CPU 20 executes a software program that executes each function (each unit) included in the video imaging apparatus while appropriately referring to the ROM 22.
  • RGB as the color system of video data
  • CMY complementary color system
  • a Bayer array is an array in which a minimum unit array is regularly arranged with a 2 ⁇ 2 pixel array composed of three RGB colors as a minimum unit, but complementary color CMY may be used. Furthermore, it may be interpreted broadly as an arrangement of other plural colors.
  • a general video imaging apparatus has a basic configuration including a near-infrared cut filter, an optical filter, and a photosensor (see FIG. 5). Near infrared light is removed by the near infrared cut filter. On the other hand, photosensors are inherently sensitive to the near-infrared region, but have not made full use of their capabilities.
  • the present inventor paid attention to the sensitivity in the near-infrared region of a photosensor that has not been effectively used until now. Furthermore, we considered performing image processing in the visible light region and the near infrared region while utilizing the configuration of a general image capturing device.
  • the present invention can be applied to a video photographing device such as a digital camera or a video camera.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　一般的な映像撮像装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能な映像撮影装置が開示される。係る映像撮像装置は、入射された光を複数色に分光するカラーフィルタと、カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、画素および隣接画素の赤外カット部を透過する光に係る複数の映像信号および赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、を備える。

Description

映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
　本発明は、映像撮影技術に関し、特に可視光領域および近赤外領域の映像処理に係る映像撮影技術に関する。
　デジタルカメラやビデオカメラなどの撮像装置において、通常、そのイメージセンサには赤（R）、緑（G）、青（B）の3色光学フィルタが組み込まれている。カメラに入射した光は、この3色光学フィルタにより分解され、イメージセンサによって映像信号に変換されてRGBの映像データが生成される。
　撮像装置に使用されているイメージセンサが、シリコン系センサの場合、可視光領域から近赤外領域の光に対するセンサ感度を有している。一方、デジタルカメラやビデオカメラでは高精度な色再現性が求められるため、色再現に悪影響を及ぼす近赤外光は、近赤外カットフィルタにより除去される。これは、R、G、Bの3色光学フィルタは、それぞれのフィルタが担当する可視光領域における波長帯で透過率を担保するが、可視光領域外である近赤外領域の光の透過特性については考慮されていない場合があるためである。
　図１は、RGB3色光学フィルタの分光透過率を示した例である。可視光領域は波長400nmから700nmとした場合、各色フィルタについて、Bフィルタは約400nm乃至500nm、Gフィルタは約500nm乃至600nm、Rフィルタは約600nm乃至700nmの波長の光を透過する特性が期待される。しかし、図１に示されるように、各フィルタは可視光領域外である700nm以上の光、すなわち、近赤外光を透過させる特性を有していることが確認できる。
　ところで、デジタルカメラやビデオカメラなどのカラー画像入力装置で一般に採用されているフォトダイオードによるイメージセンサの分光感度特性は、700nm以上の波長領域においても感度を有している。図１の分光特性を有する3色光学フィルタを、イメージセンサにそのまま適用するだけでは、色再現性の観点から問題が生じる。
　人間の色知覚に関するXYZ表色系の等色関数は、図２のように表わされる。人間の色知覚において、700nm以上の光については感度がゼロであるため、700nm以上の波長領域にパワーを有する光は、心理物理量である知覚色に影響を与えない。
　今、図３に示すように600nm以上の波長領域にパワーを有する光を観測する場合を考える。人間の場合、この光は赤として知覚される。一方、図１に示す特性を有する3色光学フィルタを用いてイメージセンサで観測すると、センサの出力信号は、Rだけでなく、GおよびBにも値を持つ。この結果、人間が知覚する赤と異なる色が観測されてしまう。このように、色再現に問題が生じる原因は、GおよびBの光学フィルタの700nm以上の波長領域において、分光透過率がゼロでないためである。
　カラー画像入力装置において、人間の色知覚向けに高精度な色再現性を実現するためには、図４に示すような700nm以上の近赤外光の影響を除去する分光透過率を有する赤外光（IR：infrared）カットフィルタを使用する。具体的には、図５に示したように、カラー画像入力装置の光学系に、IRカットフィルタを組み込み、3色光学フィルタおよびイメージセンサへの近赤外光の侵入を遮断する。このようにすることにより、可視光の波長領域のみにパワーを持つ光が3色光学フィルタに入力し、3色光学フィルタによって分光された光がイメージセンサに入力し、RGBの信号が生成される。
　一方、夜間屋外や暗所で映像を撮影する場合には、ノイズが抑えられた高感度撮影が求められる。この場合、光量不足に起因するセンサノイズを抑制するために、より多くの光をイメージセンサに受光させることが望ましい。暗所での高感度撮影を実現するために、近赤外領域の光を利用した撮影方法が提案されている。もっとも簡易な手法としては、高感度撮影時において、光学系にセットされたIRカットフィルタを機械的に除去する方式である。しかし、この方式は、部品点数が増加し製品コストアップとなるだけでなく、IRカットフィルタを除去する機械的動作を要するため、長期利用において故障の危険性が高いという大きなリスクがある。
　機械的動作を必要とせずに、RGB画像とIR（NIR：Near Infra-Red）画像を撮像する方法として、非特許文献１では、RGB画像とIR画像のそれぞれを撮影する2台のカメラを用いる方法が提案されている。
　非特許文献２では、図６に示したように、RGBの3色光学フィルタに加え、近赤外（NIR）光を透過するIRフィルタを加えた４色の光学フィルタが組み込まれたイメージセンサが提案されている。非特許文献２の第２図には、R、G、B、IRの各光学フィルタの分光感度特性が示されている。R、G、Bの各色フィルタの分光感度特性は、近赤外光において、IRフィルタと同等の形状の分光感度を有している。昼間撮影において、高い色再現性を実現するためには、R、G、Bに含まれる近赤外光の影響を除去する必要がある。非特許文献２のイメージセンサでは、IRフィルタを透過して得られたIR信号を利用することで、R、G、Bに含まれる近赤外光の影響を除去し、R、G、B信号を生成する。夜間撮影の場合には、R、G、B、IRすべての信号を利用する。
　特許文献１は、近赤外光を透過するR、G、Bの3色光学フィルタを用いるとともに、近赤外光（NIR）を感知する特殊なフォトセンサを用いることで、R、G、B、NIRの信号を生成する撮像デバイスを提案している。例えば、Rフィルタを透過した光は、R+NIRとなっており、フォトセンサに入射する。このフォトセンサは、光の入射方向において、浅い位置にRを検出する可視光センサ部と、深い位置にNIRを検出する非可視光センサ部から構成される。GおよびBも同様である。
　なお、非特許文献３は、本実施形態の説明の為に後述する、デモザイキング処理の手法の一例を示すものである。非特許文献４は、後述する、Gradient Based Interpolationを用いた手法を示すものである。非特許文献５は、デモザイキング処理の手法の一例を示すものである。特許文献２は、可視光信号が微弱な環境においても可視カラー画像を出力する撮像装置を開示する。特許文献３は、固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置を開示する。
特開２０１１－２４３８６２号公報 特開２０１１－０１５０８７号公報 特開２００５－００６０６６号公報
松井壮介，島野美保子，岡部孝弘，佐藤洋一著，"カラー画像と近赤外画像の併用による低照度シーンの画質改善"，第12回画像の認識・理解シンポジウム(MIRU2009)論文集，pp.1089-1096，2009年 香山，田中，廣瀬著，"監視カメラ用昼夜兼用イメージセンサ"，PanasonicTechnical Journal Vol.54，No.4，2009年1月 O. Losson, L. Macaire, Y. Yang,"Comparison of Color Demosaicking Methods",Advances in Imaging and Electron Physics, Vol.162, p.p. 173-265, 2010年 R.Ramanath, W. Snyder, G. Bilbro, W. Sander, "Demosaicking methods for Bayer color array", J. Electronic Imaging, Vol.11, No.3, p.p. 306-315, 2002年 S. Ferradans, M. Bertalmio, V. Caselles,"Geometry-Based Demosaicking", IEEE Tras. on Image Processing, Vol.18, No.3,p.p. 665-670, 2009年
　非特許文献１の方法は、２台のカメラを用いることにより、高解像度なRGB画像とNIR画像が生成できるが、画像入力装置としてコンパクト化が難しく、またコストも高くなるという課題がある。なお、同方式を１台の装置内に組み込むことも可能であるが、RGBおよびNIRの2つの光学パスと、２つのイメージセンサが必要となるため、上記課題を解消することは難しい。
　非特許文献２および特許文献１のイメージセンサは、近赤外の画像を生成するための特殊なイメージセンサであると言える。即ち、本イメージセンサは、半導体製造で対応することになる。入手が難しく、現時点では通常のイメージセンサよりも高コストであるという課題がある。
　一般的な撮像装置の構成を利用しつつ、可視光領域および近赤外領域の映像処理が可能な映像撮影技術の開発が期待されている。
　本発明は、課題を解決するものであり、一般的な映像撮像装置の構成を利用しつつ、簡易に、可視光領域および近赤外領域の映像処理が可能な映像撮影技術を提供することを目的とする。
　上記課題を解決する本発明の一態様は、入射された光を複数色に分光するカラーフィルタと、前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、画素および隣接画素の前記赤外カット部を透過する光に係る複数の映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理部と、を備える映像撮影装置である。
　上記課題を解決する本発明の一態様は、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタである。
　上記課題を解決する本発明の一態様は、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有し、複数色の２×２画素配列を最小単位とする配列型のカラーフィルタに対応し、前記最小単位配列が複数Ｎ組隣接する箇所を基本ユニットとし、前記基本ユニットにおいて、前記赤外透過部は、Ｎ以上あり、一の最小単位配列における前記赤外透過部に対応する画素位置と、別の最小単位配列における前記赤外透過部に対応する画素位置と、が互いに、１以上異なる符号型赤外カットフィルタである。
　本発明によれば、一般的な撮像装置の構成を利用しつつ、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となる。
RGB3色光学フィルタの分光透過率を示した例である。 人間の色知覚に関するXYZ表色系の等色関数である。 参考として示す色光の分光強度分布である。 IRカットフィルタの分光透過率の一例である。 カラー画像入力装置の光学系の概略構成である。 4色光学フィルタを利用した撮像デバイスの概略構成である。 第1実施形態における映像撮像装置の概略構成図である。 ベイヤ配列型カラーフィルタが組み込まれたフォトセンサである。 第1実施形態における符号型IRカットフィルタの概略である。 第1実施形態におけるフォトセンサが出力するRGB映像データの例である。 一般的なデモザイキング処理の例である。 特徴的なデモザイキング処理の例である。 特徴的なデモザイキング処理の例である。 第2実施形態における映像撮像装置の概略構成図である。 第2実施形態における符号型IRカットフィルタの概略である。 第2実施形態におけるフォトセンサが出力するRGB映像データの例である。 第3実施形態における符号型IRカットフィルタの概略である。 第3実施形態におけるフォトセンサが出力するRGB映像データの例である。 第4実施形態における映像撮像装置の概略構成図である。 第4実施形態におけるフォトセンサが出力するRGB映像データの例である。 第5実施形態における映像撮像装置の概略構成図である。 第6実施形態における符号型特定色カットフィルタの概略である。 第6実施形態における符号型特定色カットフィルタの分光透過率の一例である。 第6実施形態におけるフォトセンサが出力するRGB映像データの例である。 第7実施形態における映像撮像装置の概略構成図である。 第7実施形態における符号型IRカットフィルタの概略である。 第7実施形態におけるフォトセンサが出力するRGB映像データの例である。 第7実施形態におけるNIR映像データ取得の概念図である。 第7実施形態におけるNIR映像データの拡大版である。 第7実施形態におけるNIR映像データから抽出した基本ユニットである。 第7実施形態におけるX（横）方向、Y（縦）方向、斜め方向へ、それぞれ１画素の位置ズレが発生した場合のRGB映像データの例である。 位置ズレにかかる課題を説明するRGB映像データの例である。 第7実施形態における符号型IRカットフィルタのパターン変形例である。 第7実施形態におけるパターン２乃至３に対応する出力映像データである。 第８実施形態における映像撮像装置の概略構成図である。 上記各実施形態における映像撮像装置を実現するハードウエア構成の一例を示す図である。
　以下、本発明の実施形態（１乃至７）について図面を参照して説明する。
（第１実施形態）
　[構成]
　図７は、本発明の第１実施形態における映像撮像装置１００の概略構成図である。
　本発明の第１実施形態における映像撮像装置１００は、符号型IRカットフィルタ１、光学フィルタ２、フォトセンサ３、映像処理部４を備える。カメラレンズは、通常のカメラレンズで良い。光学フィルタ２およびフォトセンサ３は、現在、カラー画像入力装置（もしくは映像撮像装置）で一般的に使用されている光学フィルタおよびフォトセンサを使用すればよい。すなわち、光学フィルタ２の分光特性は図１と同様である。なお、図７において、符号１００Ｂ、１００Ｃ、１Ｂ、４Ｂ、４Ｃは、以下の第３または第６の実施形態において説明する構成を示す符号であって、本実施形態では使用しない。
　図８は、光学フィルタ２とフォトセンサ３の概略である。図８に示された光学フィルタにおけるR、G、Bからなる3色の配列は、ベイヤ配列型と呼ばれるものである。光学フィルタにおけるR、G、Bに対応するように、フォトセンサの1画素にR、G、Bいずれかの1色が割り当てられている。
　図９は符号型IRカットフィルタ１の概略である。符号型IRカットフィルタ１は、近赤外光（NIR）をカットする部分（赤外カット部１１）と透過させる部分（赤外透過部１２）との２つのパターンが施されたフィルタである。すなわち、符号型とは、透過とカットの２値を意味する。
　符号型IRカットフィルタ１は、光学フィルタ２の光進行方向前側に設けられるのが一般的であるが、光学フィルタ２とフォトセンサ３の間に設けられていても良い。
　符号型IRカットフィルタ１の赤外透過部１２は、光学フィルタ２のＧフィルタに対応して配置されている。
　符号型IRカットフィルタ１および光学フィルタ２を透過した光は、フォトセンサ３にてR、G、Bの３色信号に変換される。
　映像処理部４は、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。詳細については後述する。
　[動作]
　次に、映像撮像装置１００の動作について説明する。カメラレンズを通じて、映像撮像装置１００に入射する光は、符号型IRカットフィルタ１により、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、ベイヤ配列型カラーフィルタ（光学フィルタ）２が組み込まれたフォトセンサ３に入射する。
　図１０は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。
　本実施形態においては、光学フィルタ２のベイヤ配列のうちＧフィルタはそれぞれ組となるＧフィルタを含む。また、符号型IRカットフィルタ１の赤外透過部１２は、光学フィルタ２に含まれる組となるＧフィルタの一方に対応して配置されている。
　したがって、赤外カット部１１および光学フィルタ２を透過する光により、R信号、G信号、B信号が生成される。一方、赤外透過部１２および光学フィルタ２を透過する光により、近赤外光の成分が含まれたG信号が生成される。ここで、近赤外光の成分が含まれたG信号を「G+NIR」と表記することにする。
　すなわち、フォトセンサ３はRGBの3チャネルの映像データを出力するが、G信号には、近赤外光がカットされたG信号と、近赤外光を含んだG+NIR信号がある。
　映像処理部４は、フォトセンサ３で出力されるR、G、Bの3チャネルの映像データにもとづいて、デモザイキング処理を適用して、R、G、B、NIRの4チャネルの映像データを生成する。映像処理部４は、デモザイキング処理によって、映像データ中の全ての画素について欠損する色信号を生成し、R、G、BおよびNIRの4チャネルの映像データを生成する。
　まず、図１１を参照して、一般的なデモザイキング処理の一例を説明する。図１１に示すように、画像に含まれる各画素は、X-Y座標における座標値を持つとする。
　まず、映像処理部４は、図１１に示す画像における座標値(1，1)の画素の映像データ（R、G、B色情報）を取得する。座標値(1，1)の画素は、Rに対応するので、映像処理部４は、直接、R値を取得する。
R(1,1)=R(1,1)
　座標値(1，1)の画素に存在しないG値、B値については、映像処理部４は、例えば、以下のように周辺画素の色情報から補間して算出する。
G(1,1)=(G(2,1)+ G(1,2))/2
B(1,1)=B(2,2)
　ついで、映像処理部４は、座標値(1，2)の画素の映像データ（R、G、B色情報）を取得する。座標値(1，2)の画素は、Gに対応するので、映像処理部４は、直接、G値を取得する。
G(1,2)=G(1,2)
　映像処理部４は、座標値(1，2)の画素に存在しないR値、B値についても、同様に周辺画素の色情報から補間して算出する。
R(1,2)=R(1,1)
B(1,2)=B(2,2)
　映像処理部４は、上記処理を繰り返し、全ての画素について映像データ（R、G、B色情報）を取得する。なお、デモザイキング処理については、上記手法に限らず、非特許文献３で示されている様々な手法を用いてもよい。
　次に、映像処理部４は、上述の一般的なデモザイキング処理をR、G、B、G＋NIRの4つの色信号が混在する1枚の映像データ（図１０参照）に適用し、全画素にR、G、B、NIRが割り当てられた4チャネルの色信号から構成される映像データを生成する。R、Bについては、上述のデモザイキング処理を適用すれば良い。
　図１０に示した映像データの一部を切り出した図１２を利用してGおよびNIRに対するデモザイキング処理について説明する。ここで、図中に示されているG+NIRは便宜上、「GNIR」と表記する。
　座標値(1,3)の画素について説明する。映像処理部４は、座標値(1，3)の画素に存在しないG値、NIR値についても、同様に周辺画素の色情報から補間して算出する。
NIR(1,3)=(GNIR(1,2)+GINR(1,4))/2-G(2,3)
G(1,3）=G(2,3)
　参考までに座標値（1,1）、座標値(1,2)におけるG値、NIR値は以下のように計算できる（図１３参照）。
　G(1,1)=G(2,1)
　NIR(1,1)=GNIR(1,2)-G(2,1)
　G(1,2)=(G(2,1)+G(2,3))/2
　NIR(1,2)=GNIR(1,2)-(G(2,1)+G(2,3))/2
　映像処理部４は、上記処理を繰り返し、全ての画素について映像データ（R、G、B、NIR）を取得する。なお、上記手法に限らず、非特許文献2で示されている様々なデモザイキング手法が応用可能である。
　さらに、映像処理部４は、主にR、G、B情報を利用して、可視光領域の映像処理をおこない、主にNIR情報を利用して、近赤外領域の映像処理をおこなう。
　[効果]
　本実施形態の映像撮像装置１００は、一般的な撮像装置（図５参照）の構成である、光学フィルタ２とフォトセンサ３に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となる。
　その結果、低コストで、撮像装置１００を大量生産できる。さらに、付加構成が簡素であるため、撮像装置１００は、故障が少ない。
　（第２実施形態）
　図１４は、別の実施形態における映像撮像装置１００Ａの概略構成図である。
　映像撮像装置１００Ａは、符号型IRカットフィルタ１Ａ、光学フィルタ２、フォトセンサ３、映像処理部４Ａ、符号情報メモリ５を備える。光学フィルタ２およびフォトセンサ３は、第１実施形態同様、一般的な撮像装置で使用されている光学フィルタおよびフォトセンサを使用する。
　図１５は符号型IRカットフィルタ１Ａの概略である。第1実施形態において、符号型IRカットフィルタ１の赤外透過部１２は、光学フィルタ２に含まれる組となるGフィルタの一方に対応して配置されている。一方、第２実施形態では、符号型IRカットフィルタ１Ａの赤外透過部１２は、R、G、Bの一つに制約されることなく、一組の複数色配列のうち任意の色フィルタに対応して配置される。色フィルタはランダムに選択される。
　符号情報メモリ５は、符号型IRカットフィルタ１Ａの赤外透過部１２に対応する画素位置情報、または、対応する色フィルタ情報（R、G、B）を記憶する。
　映像撮像装置１００Ａに入射する光は、符号型IRカットフィルタ１Ａにより、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、ベイヤ配列型カラーフィルタ２が組み込まれたフォトセンサ３に入射する。
　図１６は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。R、G、Bの信号にNIRが加算された画素と、NIRがカットされたR、G、Bの信号とがある。
　映像処理部４Ａは、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。映像処理部４Ａは、符号情報メモリ５からの情報に基づき、R、G、Bの信号にNIRが加算された画素の位置を判断する。
　まず、映像処理部４Ａは、座標値(1，1)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，1)の画素は、Rに対応するので、映像処理部４Ａは、直接、R値を取得する。
　映像処理部４Ａは、座標値(1,1)の画素に欠損するG、B、NIRを、以下のようにして算出する。なお、以下のNIR値の算出は、周辺にNIRを含む色信号を持つ画素が1画素のみ隣接する場合の例である。
　　G(1,1)=G(1,2)
　　B(1,1)=B(2,2)
　　NIR(1,1)=GNIR(2,1)-G(1,2)
　ついで、映像処理部４Ａは、座標値(1，2)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，2)の画素は、Gに対応するので、映像処理部４Ａは、直接、G値を取得する。
　座標値(1，2)の画素に存在しないR値、B値について、映像処理部４Ａは、周辺画素の色情報から補間して算出する。
　NIRについては、映像処理部４Ａは、以下のように算出する。なお、以下のNIR値の算出は、周辺にNIRを含む色信号を持つ画素が２画素隣接する場合の例である。
　　NIR(1，2)＝RNIR(1，3)-R(1,1)
　あるいは、
　　NIR(1，2)＝GNIR(2，1)-G(1，2)
　あるいは、
　　NIR(1，2)＝(RNIR(1，3)-R(1,1)+GNIR(2，1)-G(1，2))/2
　のいずれかを選択すればよい。
　映像処理部４Ａは、上記処理を繰り返し、全ての画素について映像データ（R、G、B、NIR）を取得する。
　本実施形態の映像撮像装置１００Ａも、関連技術と同様の構成である、光学フィルタ２とフォトセンサ３を利用するものであり、第１実施形態と同様の効果が得られる。
　（第３実施形態）
　映像撮像装置１００Ｂは、符号型IRカットフィルタ１Ｂ、光学フィルタ２、フォトセンサ３、映像処理部４Ｂを備える。すなわち、第1実施形態の概略構成（図７）と同様である。
　図１７は符号型IRカットフィルタ１Ｂの概略である。第２実施形態では、符号型IRカットフィルタ１Ａの赤外透過部１２は、一組の複数色配列（R、G、B）のうち任意の色フィルタに対応して配置される。一方、第３実施形態では、符号型IRカットフィルタ１Ｂの赤外透過部１２は、一組の複数色配列に対応して配置される。赤外透過部１２の周りには、赤外カット部１１が一組の複数色配列に対応して配置される。
　言い換えると、第１および第２実施形態においては、画素単位で符号情報を付すのに対し、第３実施形態では、配列単位（２×２画素）単位で符号情報を付す。
　映像撮像装置１００Ｂに入射する光は、符号型IRカットフィルタ１Ｂにより、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、ベイヤ配列型カラーフィルタ２が組み込まれたフォトセンサ３に入射する。
　図１８は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。R、G、Bの信号にNIRが加算された画素と、NIRがカットされたR、G、Bの信号とがある。座標値(3,3),(3,4),(4,3),(4,4)の画素には、NIRが加算されている。
　映像処理部４Ｂは、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。
　まず、映像処理部４Ｂは、座標値(1，1)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，1)の画素は、Rに対応するので、映像処理部４Ｂは、直接、R値を取得する。座標値(1，1)の画素に存在しないG値、B値については、映像処理部４Ｂは、周辺画素の色情報から補間して算出する。
　映像処理部４Ｂは、座標値(1,1)の画素に欠損するNIR値を、以下のようにして算出する。
NIR(1，1)＝RNIR(3，3)-R(1,1)
　ついで、映像処理部４Ｂは、座標値(1，2)の画素の映像データ（R、G、B、NIR情報）を取得する。座標値(1，2)の画素は、Gに対応するので、映像処理部４Ｂは、直接、G値を取得する。座標値(1，2)の画素に存在しないR値、B値について、映像処理部４Ｂは、周辺画素の色情報から補間して算出する。
　映像処理部４Ｂは、座標値(1,2)の画素に欠損するNIR値を、以下のようにして算出する。
NIR(1,2)＝(GNIR(4,3)+GNIR(3,4))/2-G(1,2)
　映像処理部４Ｂは、上記処理を繰り返し、全ての画素について映像データ（R、G、B、NIR）を取得する。
　本実施形態の映像撮像装置１００Ｂも、関連技術と同様の構成である、光学フィルタ２とフォトセンサ３を利用するものであり、第１実施形態と同様の効果が得られる。
　さらに、符号型IRカットフィルタ１Ｂは、より簡素な構成になっている。その結果、上記効果が向上する。
　（第４実施形態）
　第１乃至３実施形態は、本発明を、ベイヤ配列型の光学フィルタにより分光する映像撮像装置に適用したものであるが、本発明はこれに限定されない。例えば、３板式映像撮像装置にも適用できる。
　図１９は、本発明の別の実施の形態における映像撮像装置１０１の概略構成図である。
　本発明の別の実施の形態である映像撮像装置１０１は、符号型IRカットフィルタ１、プリズム（色分解部）２１と、フォトセンサ３１乃至３３と、映像処理部４１とを備える。カメラレンズは通常のカメラレンズで良い。プリズム２１およびフォトセンサ３１乃至３３は、現在、３板式映像撮像装置で一般的に使用されているプリズムおよびフォトセンサを使用すればよい。
　符号型IRカットフィルタ１は、第１乃至第３実施形態で用いたものを適用する。
　符号型IRカットフィルタ１は、フォトセンサ３１乃至３３のうち少なくとも１つに対し、光進行方向前側に設けられる。一例として、Ｒ対応のフォトセンサ３１に対応して設けられるものを図示する。なお、符号型赤外カットフィルタが設置されていない残り２つのフォトセンサに対して、色再現性を考慮しプリズム２１から漏れる可能性のある近赤外光をカットするために、通常の赤外カットフィルタを設置してもよい。ここでは、プリズム２１で分光されるG、Bの光には近赤外光は含まれていないとして説明する。
　カメラレンズを通じて、映像撮像装置１０１に入射する光は、プリズム２１により、波長帯域が異なるR、G、Bの光に分解される。Rに対応する光はフォトセンサ３１に入射し、Gに対応する光はフォトセンサ３２に入射し、Bに対応する光はフォトセンサ３３に入射する。
　このとき、Rに対応する光は、符号型IRカットフィルタ１により、近赤外光がカットされた光と、近赤外光を含む光に分光される。
　図２０は、フォトセンサ３１が出力するR映像データの各画素における色信号成分を表わしたものである。近赤外光がカットされたR信号と、近赤外光を含んだR+NIR信号がある。
　映像処理部４１は、フォトセンサ３１で出力されるRの映像データにもとづいて、全ての画素について映像データ（R、NIR）を取得する。
　また、映像処理部４１は、フォトセンサ３２で出力される映像データにもとづいて、全ての画素について映像データ（G）を取得し、フォトセンサ３３で出力される映像データにもとづいて、全ての画素について映像データ（B）を取得する。
　これにより、映像処理部４１は、全ての画素について映像データ（R、G、B、NIR）を取得する。
　本実施形態の映像撮像装置１０１は、一般的な３板式撮像装置の構成である、プリズム２１およびフォトセンサ３１乃至３３に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となり、生産コスト低減や故障軽減が期待できる。
　（第５実施形態）
　第１乃至３実施形態は、本発明を、ベイヤ配列型の光学フィルタにより分光する映像撮像装置に適用したものであるが、本発明はこれに限定されない。例えば、積層型センサを有する映像撮像装置にも適用できる。
　図２１は、本発明の実施の形態における映像撮像装置１０２の概略構成図である。
　本発明の別の実施の形態である映像撮像装置１０２は、符号型IRカットフィルタ１、センサ３４乃至３６が積層された積層型センサと、映像処理部４２とを備える。カメラレンズは通常のカメラレンズで良い。積層型センサ３４乃至３６は、現在、積層型センサ式映像撮像装置で一般的に使用されている積層型センサを使用すればよい。
　積層型センサは、光進行方向に対しセンサ３４，３５，３６の順で積層される。センサ３４はBの波長帯域に感度を有し、センサ３５はGの波長帯域に感度を有し、センサ３６はRの波長帯域に感度を有する。
　符号型IRカットフィルタ１は、第１乃至第３実施形態で用いたものを適用する。
　符号型IRカットフィルタ１は、積層センサに対し、光進行方向前側に設けられる。
　カメラレンズを通じて、映像撮像装置１０１に入射する光は、波長帯域が異なるR、G、BおよびNIRの光を含む。Bに対応する光はセンサ３４により信号に変換され、Gに対応する光はセンサ３５により信号に変換され、RおよびNIRに対応する光はセンサ３６により信号に変換される。
　このとき、Rに対応する光は、符号型IRカットフィルタ１により、近赤外光がカットされた光と、近赤外光を含む光に分光される。
　すなわち、センサ３６は、近赤外光がカットされたR信号と、近赤外光を含んだR+NIR信号を出力する。出力結果は、図２０と同様になる。
　映像処理部４２は、センサ３６で出力されるRの映像データにもとづいて、全ての画素について映像データ（R、NIR）を取得する。
　また、映像処理部４２は、センサ３５で出力される映像データにもとづいて、全ての画素について映像データ（G）を取得し、センサ３６で出力される映像データにもとづいて、全ての画素について映像データ（B）を取得する。
　これにより、映像処理部４２は、全ての画素について映像データ（R、G、B、NIR）を取得する。
　本実施形態の映像撮像装置１０２は、一般的な積層センサ式映像撮像装置の構成である、積層センサ３４乃至３６に、符号型IRカットフィルタ１を付加したものである。符号型IRカットフィルタ１は、一般的なカットフィルタに簡単な改良を加えたものであり、簡素な構成である。すなわち、関連技術と同様の構成に、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となり、生産コスト低減や故障軽減が期待できる。
　（第６実施形態）
　第１乃至５実施形態では、本発明の符号型IRカットフィルタ１は、赤外カット部１１と赤外透過部１２を有しているが、本発明はこれに限定されない。例えば、符号型特定色カットフィルタ６を用いられてもよい。図２２は、符号型特定色カットフィルタ６の概略を示す図である。図２２に示すように、例えば、符号型特定色カットフィルタ６は、特定の色に係る波長帯域を含む可視光領域をカットし可視光領域よりも長波長側の近赤外光を透過する特定色カット部６１と、該波長帯域の光を透過する特定色透過部６２とを有する。
　映像撮像装置１００Ｃは、符号型特定色カットフィルタ６、光学フィルタ２、フォトセンサ３、映像処理部４Ｃを備える。すなわち、符号型カットフィルタ以外、第1実施形態の概略構成（図７）と同様である。
　符号型特定色カットフィルタ６は、光学フィルタ２の光進行方向前側に設けられるのが一般的であるが、光学フィルタ２とフォトセンサ３の間に設けられていても良い。
　符号型特定色カットフィルタ６の特定色カット部６１は、光学フィルタ２のＧフィルタに対応して配置されている。特定色カット部６１は、近赤外光を透過するとともに、特定色Ｇに係る波長帯域を含む可視光領域をカットする。特定色透過部６２は、近赤外光を透過するとともに、特定色Ｇに係る波長帯域の光を透過する。
　図２３は、特定色カット部６１の分光透過率と、特定色透過部６２の分光透過率を示した例である。特定色カット部６１は、特定色Ｇに係る波長帯域をカットできれば、図示の様に可視光領域を全てカットしても良い。また、特定色透過部６２は、特定色Ｇに係る波長帯域を透過できれば、図示の様に可視光領域を全て透過しても良い。
　映像撮像装置１００Ｃに入射する光は、符号型特定色カットフィルタ６により、特定色Ｇがカットされた光と、特定色Ｇを含む光に分光される。分光された２種類の光は、光学フィルタ２が組み込まれたフォトセンサ３に入射する。
　図２４は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。
　本実施形態においては、光学フィルタ２のベイヤ配列のうちＧフィルタはそれぞれ組となるＧフィルタを含む。また、符号型特定色カットフィルタ６の特定色カット部６１は、光学フィルタ２に含まれる組となるＧフィルタの一方に対応して配置されている。
　したがって、符号型特定色カットフィルタ６の特定色カット部６１および光学フィルタ２の一のＧフィルタを透過する光により、G成分がカットされ、NIR信号が生成される。
　一方、光学フィルタ２の分光特性は図１と同様である。すなわち、近赤外光の成分が含まれる。その結果、符号型特定色カットフィルタ６の特定色透過部６２および光学フィルタ２の他のＧフィルタおよびＲフィルタ、Ｂフィルタを透過する光により、R+NIR信号、G+NIR信号、B+NIR信号が生成される。
　フォトセンサ３はRGBの３チャネルの映像データを出力するが、G信号には、近赤外光を含んだG+NIR信号と、近赤外光のみのNIR信号がある。また、R信号は、近赤外光を含んだR+NIR信号であり、B信号は、近赤外光を含んだB+NIR信号である。
　すなわち、第１実施形態では、映像処理部４は、R、G、B、G＋NIRの4つの色信号からなる映像データ（図１０参照）から、全ての画素について映像データ（R、G、B、NIR）を取得するのに対し、第６実施形態では、映像処理部４Ｃは、R＋NIR、G＋NIR、B＋NIR、NIRの4つの色信号からなる映像データ（図２４参照）から、全ての画素について映像データ（R、G、B、NIR）を取得する。
　本実施形態の映像撮像装置１００Ｃも、関連技術と同様の構成である、光学フィルタ２とフォトセンサ３を利用するものであり、第１実施形態と同様の効果が得られる。
　（第７実施形態）
　[構成]
　図２５は、別の実施形態における映像撮像装置１００Ｄの概略構成図である。
　映像撮像装置１００Ｄは、符号型IRカットフィルタ１Ｄ、光学フィルタ２、フォトセンサ３、映像処理部４Ｄ、符号情報メモリ５と、位置ズレ情報取得部７と、符号情報修正部８と、を備える。光学フィルタ２およびフォトセンサ３は、第１実施形態同様、一般的な撮像装置で使用されている光学フィルタおよびフォトセンサを使用する。
　図２６は符号型IRカットフィルタ１Ｄの概略である。第1実施形態において、符号型IRカットフィルタ１の赤外透過部１２は、一組のベイヤ配列毎に、光学フィルタ２に含まれる組となるＧフィルタの一方に対応して配置されている。一方、第７実施形態では、ベイヤ配列の２×２配列（４×４画素）を基本ユニット（後述）とする。符号型IRカットフィルタ１Ｄの赤外透過部１２は、４画素であり、基本ユニットの各行に１つ存在し、基本ユニットの各列に１つ存在し、かつ、重複がないように配置される。また、赤外透過部１２は、光学フィルタ２における１個ずつのRとB、2個のGに対応する。この符号型IRカットフィルタのパターンをパターン１とする。
　符号情報メモリ５は、基本ユニットにおいて、赤外透過部１２に係る情報を記憶する。位置ズレ情報取得部７は、符号型IRカットフィルタ１Ｄと光学フィルタ２との位置ズレ情報を取得する。符号情報修正部８は、位置ズレ情報に基づいて、符号情報メモリ５の赤外透過部１２に係る情報を修正する。詳細については後述する。
　[撮影動作]
　次に、映像撮像装置１００Ｄの撮影動作について説明する。映像撮像装置１００Ｄに入射する光は、符号型IRカットフィルタ１Ｄにより、近赤外光がカットされた光と、近赤外光を含む光に分光される。分光された２種類の光は、光学フィルタ２が組み込まれたフォトセンサ３に入射する。
　図２７は、フォトセンサ３が出力するRGB映像データの各画素における色信号成分を表わしたものである。R、G、Bの信号にNIRが加算された画素と、NIRがカットされたR、G、Bの信号とがある。
　映像処理部４Ｄは、R、G、Bの３色信号からなる映像データに基づいて、R、G、B、NIRの4色信号からなる映像データを生成する。符号情報メモリ５からの情報に基づき、R、G、Bの信号にNIRが加算された画素の位置を判断する。
　例えば、座標値(1,1)、座標値(1,5)、座標値(5,1)、座標値(5,5)の画素値は、R（赤）の波長領域の光に近赤外領域（NIR）の光が加算された出力値となっている。座標値(2,3)、座標値(3,4)、座標値(6,3)、座標値(7,4)、座標値(2,7)、座標値(3,8)、座標値(6,7)、座標値(7,8)の画素値は、G（緑）とNIRの加算値となっている。座標値(4,2)、座標値(4,6)、座標値(8,2)、座標値(8,6)の画素値は、B（青）とNIRの加算値となっている。
　光学フィルタ２の分光透過率は、700nm以上の近赤外領域において、同程度の透過特性を有しているものとし、同一光量の近赤外光が入射するのであれば、R、G、BにおけるNIRの信号量は同一であるとみなす。
　映像処理部４Ｄは、RGB3色の光学フィルタ２が組み込まれたフォトセンサ３で出力されるNIRを含んだRGBの3チャネルの映像データについてデモザイキング処理を適用して、R、G、B、NIRの4チャネルの映像データを生成する。
　4チャネルの映像データの生成方法について説明する。まず、映像処理部４Ｄは、映像データにおいて、NIR成分を含む画素に対して、NIRを含まない純粋な色情報（R、G、B）を計算する。今、４×４画素のパターン（基本ユニット）の繰り返しになっている。
　ここで、座標値（5，5）に着目する。R(5,5)+NIR(5,5)に対する、NIRを含まない純粋なRの情報は、その周辺に存在する純粋なRの情報を有する画素から算出する。非特許文献3に記載のGradient Based Interpolationを用いた手法について説明するが、様々な画素補間法が適用できる。座標値（5,5）のR+NIR(5,5)に対する、NIRを含まない純粋なRの情報は、座標値（5,5）の周辺に存在する純粋なRの情報を有する画素（R(3,3), R(3,5), R(3,7), R(5,3),R(5,7), R(7,3), R(7,5), R(7,7)）から算出される。以下に、その計算手順を示す。
　GD1=(R(5,3)+R(5,7))/2 -(R(5,5)+NIR(5,5))
　GD2=(R(3,3)+R(7,7))/2 -(R(5,5)+NIR(5,5))
　GD3=(R(3,5)+R(7,5))/2 -(R(5,5)+NIR(5,5))
　GD4=(R(7,3)+R(3,7))/2 -(R(5,5)+NIR(5,5))
　GDとは、Gradient（画素値の傾き）を考慮した評価値（絶対値表示）である。縦方向、横方向、右斜め方向、左斜め方向の４方向について画素値の傾斜を評価する。GDが最小値であることは、画素値の連続性があることを示唆する。
　例えば、GD1が最小であった場合、映像処理部４Ｄは、
　R(5,5)=(R(5,3)+R(5,7))/2
　と決定する。最小値がGD2、GD3、GD4の場合もそれぞれ同様である。
　NIRを含むGやBの画素についても、映像処理部４Ｄは、その周辺に存在する純粋なGやBの情報を有する８つの画素から、NIRを含まない純粋なGやBの情報を同様の手法で計算する。
　なお、NIRを含むGの画素については、配列パターンがRおよびBと異なるため、斜め方向の画素値の傾きの評価を示すGD2およびGD4を変則的に計算してもよい。今、座標値（3，4）におけるR(3,4)+NIR(3,4)に対するGD2とGD4の計算方法の一例について説明する。
　GD2=(G(1,2)+G(1,2)+G(4,5)+G(5,6))/4-(G(3,4)+IR(3,4))
　GD4=(G(5,2)+G(4,3)+G(2,5)+G(1,6))/4-(G(3,4)+IR(3,4))
　そして、映像処理部４Ｄは、GD1乃至GD４の大小判定により、最小値を選択する。
　しかし、センサの外側周辺における、例えば、座標値（１，１）、座標値（２，３）、座標値（４，２）などに位置するNIRを含んだ画素については、その画素を中心とする周辺から８個の画素を取得できない。このような場合については、例外処理として、近接するNIRを含まない同色の画素の値から計算すればよい。
　例えば、座標値（１，１）の場合、
　R(1,1)=(R(1,3)+R(3,1)+R(3,3))/3
　あるいは、
　R(1,1)=(R(1,3)+R(3,1))/2
　とする。
　座標値（２，３）の場合、映像処理部４Ｄは、
　G(2,3)=((G(1,2)+G(1,4)＋G(3,2))/3
　のように補間計算によって計算すればよい。
　対角成分については重みづけ係数を導入し、補間計算における寄与を抑えたりしてもよい。
　以上の処理により、NIR情報を含んだRGB映像データ（図２７）から、NIR情報を含まない純粋なRGB映像データが得られる。ここで、NIR情報を含んだRGB映像データを「RGB+NIR映像データ」とよび、NIR情報を含まない純粋なRGB映像データを「RGB映像データ」呼ぶ。
　更に、映像処理部４Ｄは、RGB+NIR映像データとRGB映像データから、NIR情報のみを含むNIR映像データを生成する。具体的には、
　NIR映像データ＝　（RGB＋NIR映像データ）　－　RGB映像データ
　により求める。図２８は、NIR映像データ取得の概念図である。
　次に、映像処理部４Ｄは、RGB映像データおよびNIR映像データに対して、デモザイキング処理を適用して、映像データの全ての画素に対して、欠損している色情報（R、G、B、NIR）を算出する。
　まず、ベイヤ型配列のRGB映像データについては、非特許文献3、非特許文献4、非特許文献5で示されている様々なデモザイキング処理（画素補間法）が適用可能である。以上により、RGB映像データにおける全ての画素についてRGB全ての色情報が決定される。
　一方、NIR映像データに対するデモザイキング処理については、以下の様に行う。
　図２９は、図２８で示したNIR映像データの拡大版である。NIR映像データは、座標値（１，１）から座標値（４，４）までの４画素×４画素のパターンが1ユニットとなり、繰り返されている。今、座標値（５，５）から座標値（８，８）までの1ユニット（太枠で囲まれたユニット）について、NIRが欠損する画素のNIRを算出する方法について説明する。ここで、この太枠で囲まれたユニットを基本ユニットと呼ぶことにする。
　図３０は、NIR映像データから抽出した基本ユニットを示す図である。映像処理部４Ｄは、まず、基本ユニットにおけるNIRが欠損する画素に関して、その画素に隣接する８個の画素にNIR情報を有する画素が3個以上存在する画素を見つける。映像処理部４Ｄは、当該画素におけるNIRを、画素補間を用いて算出する。
　図３０において、基本ユニットにおいて、隣接する８個の画素にNIR情報を有する画素が3個以上存在する画素に、丸印（○印）を付加する。○印で示された座標値（５，６）、（６，８）、（７，７）、（８，５）の4個の画素については、映像処理部４Ｄは、NIR情報を有する隣接する画素から補間法を用いてNIRを算出する。例えば、映像処理部４Ｄは、座標値（７，７）の画素におけるNIRを、座標値(６，７)、（７，８）、（８，６）の３個のNIRから以下のような画素補間法によって計算できる。
NIR(7,7)=(NIR(6,7)+NIR(7,8)+NIR(8,6))/3
　残りの３個の画素（５，６）、（６，８）、（８，５）についても同様である。なお、この画素補間法以外も適用可能である。
　これにより、基本ユニット（４×４）のうち、図２９にて取得した４つの画素および図３０における○印が付された４つの画素にて、NIR情報が得られたことになる。更に、NIR情報が与えられていない残りの８個の画素、すなわち、座標値（５，７）、（５，８）、（６，５）、（６，６）、（７，５）、（７，６）、（８，７）、（８，８）におけるNIR情報を算出する。
　図３０において○印が付されたことにより、残り８画素においても、隣接する８個の画素のうちNIR情報が与えられている画素が３個以上存在する。したがって、NIR情報を有する画素を用いた画素補間法によって、残りの８画素についてもNIR情報を算出することができる。以上により、基本ユニット内のすべての画素についてNIR情報を算出することができる。
　以上、RGBおよびNIRを算出する上記の処理を図２７の映像データに適用することにより、全画素にR、G、B、NIRが与えられた映像データを生成することができる。
　さらに、主にR、G、B情報を利用して、可視光領域の映像処理をおこない、主にNIR情報を利用して、近赤外領域の映像処理をおこなう。
　[位置ズレ修正動作]
　本発明における一実施形態は、一般的な撮像装置に符号型IRカットフィルタ１を配置するものである。しかしながら、配置の際、符号型IRカットフィルタ１と光学フィルタ２との間に、位置ズレが発生するおそれがある。
　図３１は、X（横）方向、Y（縦）方向、斜め方向へ、それぞれ１画素の位置ズレが発生した場合、フォトセンサ３が出力するRGB映像データの色信号成分のパターンを示したものである。なお、２画素の位置ズレはベイヤ配列型の性質から結果的に一致するため考慮する必要がない。
　以下、製作した映像撮像装置１００Ｄの位置ズレ情報を検出し、位置ズレ情報に基づいて修正する方法について説明する。
　試験照射により、実際に映像撮像装置１００Ｄによる撮影を行う。撮影シーンは特に規定しないが、近赤外光がすべての画素に照射するシーンを選択すればよい。
　まず、映像撮像装置１００Ｄによる撮影を行う（後述のIRカットフィルタOFF）と、図３１に示すNIR情報を含んだRGB映像データが得られる。
　同じシーンを図４に示す近赤外光領域の光のみを遮断するIRカットフィルタをレンズに被せるように設置し、撮影を行う（IRカットフィルタON）と、NIR情報を含まない純粋なRGB映像データが得られる。
　つまり、試験照射において、IRカットフィルタ「あり」と「なし」の２つの状態を撮影する。
　RGB+NIR映像データからRGB映像データを引いた際に、ある閾値を超える差分値を有する画素は、NIRを含んでいることを意味する。これにより、NIR映像データを取得できる（概略は図２８とほぼ同じ）。
　ところで、符号情報メモリ５には、基本ユニットにおける、赤外透過部１２に係るパターン情報が記憶されている。試験照射により得られた近赤外線画素パターンと符号型ＩＲカットフィルタ１Ｄのパターンを比較すると、両者が一致するか、または、横方向、縦方向、斜め方向のいずれかの位置ズレが発生しているかを検出できる。
　位置ズレ情報取得部７は、横方向、縦方向、斜め方向いずれかの位置ズレパターンを取得し、符号情報修正部８は、位置ズレパターン（縦、横、斜）に基づいて、符号情報メモリ５の赤外透過部１２に係る情報を修正する。
　映像処理部４Ｄは、修正済みの符号型赤外カットフィルタのパターン情報に基づいて、映像撮影を行う。
　[効果]
　本発明の第１ないし第６実施形態にかかる映像撮像装置は、一般的な撮像装置に符号型IRカットフィルタ１を配置するだけの簡素な構成であることを特徴とするが、配置の際、符号型IRカットフィルタ１と光学フィルタ２との間に、位置ズレが発生するおそれがある。
　位置ズレを修正するため、例えば、符号型IRカットフィルタ１を再配置する場合、作業手間となる。
　これに対し、本実施形態においては、符号型IRカットフィルタ１Ｄを再配置するのではなく、符号情報メモリ５の情報を修正することで、位置ズレを修正する。その結果、本発明の簡便性に係る効果が増強され、製作コストをさらに抑えることができる。
　[第７実施形態に特有の解決課題]
　たとえば、本発明の基本的な実施形態である第１実施形態において、位置ズレに係る課題が発生することがある。すなわち、符号型IRカットフィルタ１と光学フィルタ２との関係が１画素ズレると、機能しなくなることがある。
　図３２は、位置ズレにかかる課題を説明するRGB映像データの例である。たとえば、符号型IRカットフィルタ１と光学フィルタ２との関係が横方向に１画素ズレた場合、出力データは、図１０（第１実施形態）から図３２の様になる。すなわち、フォトセンサ３は、R+NIR、G、Bの信号を出力する。言い換えると、NIRがカットされたR信号を出力しない。その結果、NIR値の算出ができない。
　同様に、縦方向に１画素ズレた場合、フォトセンサ３は、R、G、B+NIRの信号を出力する。言い換えると、NIRがカットされたB信号を出力しない。その結果、NIR値の算出ができない。
　第７実施形態にかかる符号型IRカットフィルタおよび映像撮像装置は、上記のような位置ズレにかかる課題をも解決することができる。
　[符号型IRカットフィルタ　パターン変形例]
　上記符号型IRカットフィルタ１Ｄのパターンをパターン１（図２６）とした。パターン１の特徴として、４×４画素の基本ユニットにおいて、
（１）赤外透過部１２に係る画素は4個あり、それらは各行、各列において、重複することなく1個ずつ存在する。
（２）赤外透過部１２に係る画素は、RとBそれぞれ1個、G2個に対応する。
ことが挙げられる。
　図３３は、符号型IRカットフィルタ１Ｄのパターン変形例（パターン２およびパターン３）である。図３４は、パターン２およびパターン３に対応する出力映像データである。
　パターン２およびパターン３は、上記２つの特徴を満たす。これにより、パターン１と同様に、容易に位置ズレを修正できる。また、撮影に係るデータ処理も、パターン１と同様である。
　さらに、符号型IRカットフィルタ１Ｄのパターン１乃至３以外を用いても、位置ズレを修正できる。たとえば、符号型IRカットフィルタ１Ｂ（図１７）において、４×４画素（２配列×２配列）を基本ユニットとしてもよい。また、基本ユニットは、４×４画素（２配列×２配列）に限定されるものではない。例えば、４×２画素（２配列×１配列）でもよい。
　基本ユニットが隣接するＮ（Ｎは整数）組のベイヤ配列に対応する箇所から構成される場合、基本ユニットにおいて赤外透過部１２がＮ個以上あることが好ましい。
　このとき、一のベイヤ配列対応箇所における赤外透過部位置と、別のベイヤ配列対応箇所における赤外透過部位置と、が１以上異なる。言い換えると、Ｎ組のベイヤ配列対応箇所において、赤外透過部位置が全て同じである場合は、除外される。
　図９を例に説明すると、基本ユニットが４組（２×２）のベイヤ配列に対応する箇所から構成される場合、赤外透過部１２は４つある。しかし、各ベイヤ配列対応箇所の同じ位置Ｇに赤外透過部１２があり、上記条件を満たさない。
　（第８の実施形態）
　上記実施形態を包含する第８の実施形態について、図３５を参照して説明する。第８の実施形態に係る映像撮影装置２００は、符号型赤外カットフィルタ２０１、カラーフィルタ２０２、フォトセンサ２０３、映像処理部２０４を備える。
　カラーフィルタ２０２は、入射された光を複数色に分光する。フォトセンサ２０３は、カラーフィルタが分光した複数色の光を映像信号としてデータに変換する。符号型赤外カットフィルタ２０１は、カラーフィルタの光進行方向前側またはカラーフィルタとフォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する。映像処理部２０４は、画素および隣接画素の赤外カット部を透過する光に係る複数の映像信号および赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する。
　上記構成を採用することにより、本第８の実施形態によれば、一般的な撮像装置の構成を利用しつつ、簡素な構成を付加するのみで、可視光領域および近赤外領域の映像処理が可能となるという効果が得られる。
　なお、各図に示した映像撮像装置の映像処理部、符号情報メモリ、位置ズレ情報取得部、符号情報修正部は、図３６に例示するハードウエア資源において実現される。すなわち、図３６に示す構成は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２を備える。ＣＰＵ２０は、ＲＯＭ２２に記憶された各種ソフトウエア・プログラム（コンピュータ・プログラム）を、ＲＡＭ２１に読み出して実行することにより、映像撮像装置の全体的な動作を司る。すなわち、上記各実施形態において、ＣＰＵ２０は、ＲＯＭ２２を適宜参照しながら、映像撮像装置が備える各機能（各部）を実行するソフトウエア・プログラムを実行する。
　（その他）
　以上、好ましい実施形態をあげて本発明を説明したが、本発明は必ずしも上記実施形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
　例えば、上記実施形態では、映像データの表色系としてRGBの例について説明したが、補色系のCMYを用いた場合にも、同様の計算手法で応用可能である。
　また一般に、ベイヤ配列とは、RGB3色からなる２×２画素配列を最小単位とし、最小単位配列が規則正しく並んだ配列を指すが、補色系のCMYを用いても良い。更に、他の複数色の配列として、広義に解釈しても良い。
　（補足）
　一般的な映像撮影装置は、近赤外カットフィルタと光学フィルタとフォトセンサとを基本構成とする（図５参照）。近赤外カットフィルタにより、近赤外光は除去される。一方、フォトセンサは、本来、近赤外領域にまで感度があるのに対し、その能力を生かし切れていなかった。
　本発明者は、今まで有効に活用されていなかったフォトセンサの近赤外領域の感度に着目した。さらに、一般的な映像撮影装置の構成を利用しつつ、可視光領域および近赤外領域の映像処理をおこなうことを考えた。
　本発明者は、上記に付いて検討し、本発明を完成するに至った。
　この出願は、２０１３年１０月２３日に出願された日本出願特願２０１３－２２０５０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、デジタルカメラやビデオカメラなどの映像撮影装置に適用できる。
　１，１Ａ乃至Ｄ　符号型IRカットフィルタ
　２　光学フィルタ
　３　フォトセンサ
　４　映像処理部
　５　符号情報メモリ
　６　符号型特定色カットフィルタ
　７　位置ズレ情報取得部
　８　符号情報修正部
　１１　赤外カット部
　１２　赤外透過部
　２１　プリズム
　３１乃至３６　センサ
　４１，４２　映像処理部
　６１　特定色カット部
　６２　特定色透過部
　１００，１００Ａ～Ｄ　映像撮影装置
　１０１　映像撮影装置（３板式）
　１０２　映像撮影装置（積層センサ式）

Claims (19)

  1. 　入射された光を複数色に分光するカラーフィルタと、
    　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
    　前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、
    　画素および隣接画素の前記赤外カット部を透過する光に係る複数の映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、
    　を備えた映像撮影装置。
  2. 　前記符号型赤外カットフィルタは、前記カラーフィルタの光進行方向前側に設けられる
    　請求項１記載の映像撮影装置。
  3. 　前記映像処理手段は、
    　　前記赤外透過部を透過する光に係る映像信号と、
    　　前記赤外カット部を透過し、前記赤外透過部を透過する光の色に対応する光に係る映像信号と、
    　に基づいて画素の近赤外情報を取得する
    　請求項１または２記載の映像撮影装置。
  4. 　前記カラーフィルタは、複数色の２×２画素配列を最小単位とする配列型であり、
    　前記符号型赤外カットフィルタの赤外透過部は、前記カラーフィルタの特定色フィルタに対応して配置され、
    　前記映像処理手段は、
    　　前記赤外透過部を透過する光に係る特定色信号と、
    　　前記赤外カット部を透過する光に係る特定色信号と、
    　に基づいて画素の近赤外情報を取得する
    　請求項１ないし３のいずれか１項記載の映像撮影装置。
  5. 　前記カラーフィルタは、複数色の２×２画素配列を最小単位とする配列型であり、
    　前記符号型赤外カットフィルタの赤外透過部は、一組の最小単位配列のうち任意の色フィルタに対応して配置され、
    　一組の最小単位配列毎に、前記赤外透過部に係る情報を記憶する符号情報記憶手段をさらに備え、
    　前記映像処理手段は、
    　　前記赤外透過部に対応する色フィルタの情報と、
    　　前記赤外透過部を透過する光に係る映像信号と、
    　　前記赤外カット部を透過し、前記赤外透過部を透過する光の色に対応する光に係る映像信号と
    　に基づいて画素の近赤外情報を取得する
    　請求項１ないし３のいずれか１項記載の映像撮影装置。
  6. 　前記カラーフィルタは、複数色の２×２画素配列を最小単位とする配列型であり、
    　前記符号型赤外カットフィルタの赤外透過部は、一組の最小単位配列に対応して配置され、
    　前記映像処理手段は、
    　　前記赤外透過部を透過する光に係る各色信号と、
    　　前記赤外カット部を透過する光に係る各色信号と、
    　に基づいて画素の近赤外情報を取得する
    　請求項１乃至３のいずれか１項記載の映像撮影装置。
  7. 　波長帯域が異なる複数の光に分解する色分解手段と、
    　前記分解された複数の光に対応してそれぞれ設けられ、前記複数色を映像信号としてデータに変換するフォトセンサと、
    　近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、
    　映像処理手段と、
    　を備え、
    　前記符号型赤外カットフィルタは、前記分解された複数の光のうち少なくとも１つに対応して設けられ、
    　前記映像処理手段は、前記赤外カット部を透過する光に係る映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の色情報および近赤外情報を取得する
    　映像撮影装置。
  8. 　複数のセンサが積層され、波長帯域が異なる複数の光を各センサにより映像信号としてデータに変換する積層型センサと、
    　前記積層型センサの光進行方向前側に設けられ、近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有する符号型赤外カットフィルタと、
    　前記赤外カット部を透過する光に係る映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の色情報および近赤外情報を取得する映像処理手段と、
    　を備えた映像撮影装置。
  9. 　入射された光を複数色に分光するカラーフィルタと、
    　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
    　前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、近赤外光をカットする赤外カット部と該近赤外光を透過する赤外透過部とを有する符号型赤外カットフィルタと、
    　を備えた映像撮影装置は、
    　　前記赤外透過部を透過する光に係る映像信号と、
    　　前記赤外カット部を透過し、前記赤外透過部を透過する光の色に対応する光に係る映像信号と、
    　　に基づいて画素の近赤外情報を取得する
    　映像撮影方法。
  10. 　近赤外光をカットする赤外カット部と、
    　該近赤外光を透過する赤外透過部と、
    　を有する符号型赤外カットフィルタ。
  11. 　特定の色に係る波長帯域を含む可視光領域をカットし、近赤外光を透過する特定色カット部と、
    　該波長帯域の光を透過する特定色透過部と、
    　を有する符号型特定色カットフィルタ。
  12. 　入射された光を複数色に分光するカラーフィルタと、
    　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
    　前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられ、特定の色に係る波長帯域を含む可視光領域をカットし近赤外光を透過する特定色カット部と、該波長帯域の光を透過する特定色透過部と、を有する符号型特定色カットフィルタと、
    　画素および隣接画素の前記特定色透過部を透過する光に係る複数の映像信号および前記特定色カット部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、
    　を備えた映像撮影装置。
  13. 　近赤外光をカットする赤外カット部と、該近赤外光を透過する赤外透過部と、を有し、
    　複数色の２×２画素配列を最小単位とする配列型のカラーフィルタに対応し、
    　前記最小単位配列が複数Ｎ組隣接する箇所を基本ユニットとし、
    　前記基本ユニットにおいて、
    　　前記赤外透過部は、Ｎ以上あり、
    　　一の最小単位配列における前記赤外透過部に対応する画素位置と、別の最小単位配列における前記赤外透過部に対応する画素位置と、が互いに、１以上異なる
    　符号型赤外カットフィルタ。
  14. 　前記基本ユニットは、４行４列から構成され、
    　前記赤外透過部は、
    　　前記基本ユニットの各行に１つ存在し、かつ、
    　　前記基本ユニットの各列に１つ存在する
    　る請求項１３記載の符号型赤外カットフィルタ。
  15. 　前記赤外透過部は、前記基本ユニットにおいて、
    　　各行各列において、重複することなく、
    　　１つのＲと、１つのＢと、２つのＧに対応している
    　請求項１３記載の符号型赤外カットフィルタ。
  16. 　請求項１３乃至１５のいずれか１項記載の符号型赤外カットフィルタと、
    　入射された光を複数色に分光するカラーフィルタと、
    　前記カラーフィルタが分光した複数色の光を映像信号としてデータに変換するフォトセンサと、
    前記カラーフィルタの光進行方向前側または前記カラーフィルタと前記フォトセンサとの間に設けられた請求項１３乃至１５のいずれか１項記載の符号型赤外カットフィルタと、
    　画素および隣接画素の前記赤外カット部を透過する光に係る複数の映像信号および前記赤外透過部を透過する光に係る映像信号に基づいて、画素の複数の色情報および近赤外情報を取得する映像処理手段と、
    　を備えた映像撮影装置。
  17. 　前記基本ユニット毎に、前記赤外透過部に係る情報を記憶する符号情報記憶手段と、
    　前記符号型赤外カットフィルタと前記カラーフィルタとの位置ズレ情報を取得する位置ズレ情報取得手段と、
    　前記位置ズレ情報に基づいて、前記符号情報記憶手段の前記赤外透過部に係る情報を修正する符号情報修正手段
    　を更に備えた請求項１６記載の映像撮影装置。
  18. 　請求項１７記載の映像撮影装置は、
    　試験照射により、近赤外情報の画素パターンを取得し、
    　前記近赤外画素パターンと前記符号型赤外カットフィルタのパターンとを比較して、位置ズレを検出し、
    　前記位置ズレ情報に基づいて、前記符号情報記憶手段の前記赤外透過部に係る情報を修正し、
    　情報修正後、映像撮影を行う
    　映像撮影方法。
  19. 　前記試験照射により、近赤外情報の画素パターンを取得する際に、
    　赤外カットフィルタを配置しない試験照射パターンと、赤外カットフィルタを配置する試験照射パターンとを比較して、近赤外情報の画素パターンを取得する
    　請求項１８記載の映像撮影方法。
PCT/JP2014/005201 2013-10-23 2014-10-14 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ Ceased WO2015059897A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/030,196 US10171757B2 (en) 2013-10-23 2014-10-14 Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter
JP2015543704A JP6582987B2 (ja) 2013-10-23 2014-10-14 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-220507 2013-10-23
JP2013220507 2013-10-23

Publications (1)

Publication Number Publication Date
WO2015059897A1 true WO2015059897A1 (ja) 2015-04-30

Family

ID=52992517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005201 Ceased WO2015059897A1 (ja) 2013-10-23 2014-10-14 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ

Country Status (3)

Country Link
US (1) US10171757B2 (ja)
JP (1) JP6582987B2 (ja)
WO (1) WO2015059897A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016203760A1 (ja) * 2015-06-17 2016-12-22 日本電気株式会社 映像撮影装置および映像撮影方法
WO2017018150A1 (ja) * 2015-07-29 2017-02-02 富士フイルム株式会社 光センサデバイス、光センサユニット及び光センサシステム
WO2017222021A1 (ja) * 2016-06-24 2017-12-28 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
WO2018116972A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 画像処理方法、画像処理装置および記録媒体
WO2018135315A1 (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
WO2018207817A1 (ja) * 2017-05-11 2018-11-15 株式会社ナノルクス 固体撮像装置、撮像システム及び物体識別システム
JP2020072299A (ja) * 2018-10-29 2020-05-07 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN112305653A (zh) * 2019-07-30 2021-02-02 三星电子株式会社 光学滤波器和包括光学滤波器的光谱仪
US11917888B2 (en) 2020-05-04 2024-02-27 Intel Corporation In-display sensors and viewing angle adjustment microassemblies
US11972635B2 (en) 2017-01-06 2024-04-30 Intel Corporation Integrated image sensor and display pixel
CN120125608A (zh) * 2025-02-18 2025-06-10 华中农业大学 一种基于红外光锚定与图像分割的植物叶片病斑测量系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
US10488262B2 (en) * 2015-04-20 2019-11-26 Sharp Kabushiki Kaisha Integrated circuit and measuring device
JP6794989B2 (ja) * 2015-09-18 2020-12-02 日本電気株式会社 映像処理装置、撮影装置、映像処理方法及びプログラム
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法
CN109951624B (zh) * 2019-04-12 2024-04-19 武汉鸿瑞达信息技术有限公司 一种基于滤镜光轮的成像拍摄系统和方法
WO2021119617A1 (en) 2019-12-14 2021-06-17 Glass Imaging Inc. Imaging system with rotatable reflector
EP3972242A1 (en) * 2020-09-17 2022-03-23 AMS Sensors Belgium BVBA Sensor arrangement and method of producing a sensor arrangement
WO2023073619A1 (en) * 2021-10-28 2023-05-04 Tripurari Singh Method of and system for capturing color images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010272666A (ja) * 2009-05-21 2010-12-02 Panasonic Corp 固体撮像素子
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2013162339A (ja) * 2012-02-06 2013-08-19 Hitachi Consumer Electronics Co Ltd 撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02149244A (ja) 1988-12-01 1990-06-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH11289491A (ja) * 1998-04-03 1999-10-19 Matsushita Electric Ind Co Ltd Ｃｃｄカメラ
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP5055643B2 (ja) * 2008-07-28 2012-10-24 株式会社リコー 撮像素子および画像撮像装置
JP2011015087A (ja) 2009-06-30 2011-01-20 Panasonic Corp 撮像装置および撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010272666A (ja) * 2009-05-21 2010-12-02 Panasonic Corp 固体撮像素子
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
JP2013162339A (ja) * 2012-02-06 2013-08-19 Hitachi Consumer Electronics Co Ltd 撮像装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016203760A1 (ja) * 2015-06-17 2018-04-05 日本電気株式会社 映像撮影装置および映像撮影方法
WO2016203760A1 (ja) * 2015-06-17 2016-12-22 日本電気株式会社 映像撮影装置および映像撮影方法
WO2017018150A1 (ja) * 2015-07-29 2017-02-02 富士フイルム株式会社 光センサデバイス、光センサユニット及び光センサシステム
JPWO2017018150A1 (ja) * 2015-07-29 2018-02-22 富士フイルム株式会社 光センサデバイス、光センサユニット及び光センサシステム
WO2017222021A1 (ja) * 2016-06-24 2017-12-28 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体
US10863115B2 (en) 2016-06-24 2020-12-08 Nec Corporation Generation of visible and near-infrared images based on estimated incident light spectral characteristics and image capturing device spectral sensitivity characteristics
US10931895B2 (en) 2016-12-22 2021-02-23 Nec Corporation Image processing method, image processing device, and storage medium
WO2018116972A1 (ja) * 2016-12-22 2018-06-28 日本電気株式会社 画像処理方法、画像処理装置および記録媒体
US11972635B2 (en) 2017-01-06 2024-04-30 Intel Corporation Integrated image sensor and display pixel
WO2018135315A1 (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
US10958847B2 (en) 2017-01-20 2021-03-23 Sony Semiconductor Solutions Corporation Imaging device, image processing method, and image processing system
JPWO2018207817A1 (ja) * 2017-05-11 2019-06-27 株式会社ナノルクス 固体撮像装置、撮像システム及び物体識別システム
US10863116B2 (en) 2017-05-11 2020-12-08 Nanolux Co. Ltd. Solid-state image capture device, image capture system, and object identification system
WO2018207817A1 (ja) * 2017-05-11 2018-11-15 株式会社ナノルクス 固体撮像装置、撮像システム及び物体識別システム
JP2020072299A (ja) * 2018-10-29 2020-05-07 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN112305653A (zh) * 2019-07-30 2021-02-02 三星电子株式会社 光学滤波器和包括光学滤波器的光谱仪
US11917888B2 (en) 2020-05-04 2024-02-27 Intel Corporation In-display sensors and viewing angle adjustment microassemblies
CN120125608A (zh) * 2025-02-18 2025-06-10 华中农业大学 一种基于红外光锚定与图像分割的植物叶片病斑测量系统及方法

Also Published As

Publication number Publication date
US10171757B2 (en) 2019-01-01
JPWO2015059897A1 (ja) 2017-03-09
JP6582987B2 (ja) 2019-10-02
US20160255286A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
JP6582987B2 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
US10257484B2 (en) Imaging processing device and imaging processing method
US10182216B2 (en) Extended color processing on pelican array cameras
US9894302B2 (en) Imaging apparatus, image processing method, and program
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
TWI444050B (zh) 從彩色馬賽克成像器達到全色反應的方法及裝置
CN205726019U (zh) 成像系统、成像设备和图像传感器
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
JP2004228662A (ja) 撮像装置
WO2012057622A1 (en) System and method for imaging using multi aperture camera
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
KR20170074602A (ko) 영상 출력 장치 및 영상 출력 방법
CN209345244U (zh) 成像系统和相机模块
WO2021041928A1 (en) Systems and methods for creating a full-color image in low light
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
JPWO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
TW202205847A (zh) 攝像元件及電子機器
US11696043B2 (en) White balance compensation using a spectral sensor system
US10593717B2 (en) Image processing apparatus, image processing method, and imaging apparatus
JP2008501256A (ja) デジタル撮像装置を用いたオブジェクトからの異なる形式の光の再生
US7864235B2 (en) Imaging device and imaging method including generation of primary color signals
JP2010276469A (ja) 画像処理装置及び測距装置の画像処理方法
JP2012010141A (ja) 画像処理装置
JP4303922B2 (ja) 固体撮像素子および撮像装置
JP6640555B2 (ja) カメラシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14855391

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15030196

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2015543704

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14855391

Country of ref document: EP

Kind code of ref document: A1