WO2024162113A1 - 光検出装置、光学素子、および電子機器 - Google Patents
光検出装置、光学素子、および電子機器 Download PDFInfo
- Publication number
- WO2024162113A1 WO2024162113A1 PCT/JP2024/001948 JP2024001948W WO2024162113A1 WO 2024162113 A1 WO2024162113 A1 WO 2024162113A1 JP 2024001948 W JP2024001948 W JP 2024001948W WO 2024162113 A1 WO2024162113 A1 WO 2024162113A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- photoelectric conversion
- pixel
- structures
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
- G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
- G02B1/11—Anti-reflection coatings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/10—Integrated devices
- H10F39/12—Image sensors
Definitions
- This disclosure relates to photodetection devices, optical elements, and electronic devices.
- Patent Document 1 A metasurface element including silicon pillars embedded in SiO2 has been proposed.
- a light detection device including a first light guide member including a plurality of first structures and a plurality of second structures, and a first photoelectric conversion element configured to perform photoelectric conversion on light incident through the first light guide member.
- the first structures and the second structures are made of different materials.
- An optical detection device includes a lens through which light is incident, a first photoelectric conversion element that performs photoelectric conversion on the light incident through the lens, a light-guiding member including a plurality of structures, and a second photoelectric conversion element that performs photoelectric conversion on the light incident through the light-guiding member.
- An optical element includes a plurality of first structures, a plurality of second structures provided around the plurality of first structures, and a filling member provided between adjacent first structures and between adjacent second structures, the first structures and the second structures being made of different materials.
- an electronic device includes an optical system and a light detection device that receives light transmitted through the optical system.
- the light detection device includes a first light guide member including a plurality of first structures and a plurality of second structures, and a first photoelectric conversion element that performs photoelectric conversion on light incident through the first light guide member.
- the first structure and the second structure are made of different materials.
- FIG. 1 is a block diagram illustrating an example of a schematic configuration of an imaging device which is an example of a light detection device according to a first embodiment of the present disclosure.
- FIG. 2 is a diagram illustrating an example of a pixel unit of the imaging device according to the first embodiment of the present disclosure.
- FIG. 3 is a diagram illustrating an example of the configuration of a pixel of the imaging device according to the first embodiment of the present disclosure.
- FIG. 4 is a diagram illustrating an example of a planar configuration of the imaging device according to the first embodiment of the present disclosure.
- FIG. 5 is a diagram illustrating an example of a cross-sectional configuration of the imaging device according to the first embodiment of the present disclosure.
- FIG. 1 is a block diagram illustrating an example of a schematic configuration of an imaging device which is an example of a light detection device according to a first embodiment of the present disclosure.
- FIG. 2 is a diagram illustrating an example of a pixel unit of the imaging device according to the first embodiment of the present disclosure
- FIG. 6A is a diagram for explaining an example of pixel configurations at positions of different image heights in the imaging device according to the first embodiment of the present disclosure.
- FIG. 6B is a diagram for explaining an example of a pixel configuration at positions of different image heights in the imaging device according to the first embodiment of the present disclosure.
- FIG. 6C is a diagram for explaining an example of a pixel configuration at positions of different image heights in the imaging device according to the first embodiment of the present disclosure.
- FIG. 7A is a diagram for explaining another example configuration of pixels at positions of different image heights in the imaging device according to the first embodiment of the present disclosure.
- FIG. 7B is a diagram for explaining another example configuration of pixels at positions of different image heights in the imaging device according to the first embodiment of the present disclosure.
- FIG. 7C is a diagram for explaining another example configuration of pixels at positions of different image heights in the imaging device according to the first embodiment of the present disclosure.
- FIG. 8 is a diagram illustrating an example of a cross-sectional configuration of an imaging device according to the first modification of the present disclosure.
- FIG. 9 is a diagram illustrating another example of the cross-sectional configuration of the imaging device according to the first modification of the present disclosure.
- FIG. 10 is a diagram illustrating another example of the cross-sectional configuration of the imaging device according to the first modification of the present disclosure.
- FIG. 11 is a diagram for explaining an example of a planar configuration of an imaging device according to the first modification of the present disclosure.
- FIG. 12A is a diagram illustrating an example of a cross-sectional configuration of an imaging device according to Modification 2 of the present disclosure.
- FIG. 12B is a diagram illustrating another example of the cross-sectional configuration of the imaging device according to the second modification of the present disclosure.
- FIG. 12C is a diagram illustrating another example of the cross-sectional configuration of the imaging device according to the second modification of the present disclosure.
- FIG. 13 is a diagram illustrating an example of a cross-sectional configuration of an imaging device according to the second embodiment of the present disclosure.
- FIG. 14 is a diagram illustrating another example of the cross-sectional configuration of the imaging device according to the second embodiment of the present disclosure.
- FIG. 15 is a diagram illustrating an example of a cross-sectional configuration of an imaging device according to the third embodiment of the present disclosure.
- FIG. 16 is a diagram illustrating another example of the cross-sectional configuration of the imaging device according to the third embodiment of the present disclosure.
- FIG. 17 is a diagram illustrating an example of a cross-sectional configuration of an imaging device according to a fourth embodiment of the present disclosure.
- FIG. 18 is a diagram illustrating another example of the cross-sectional configuration of the imaging device according to the fourth embodiment of the present disclosure.
- FIG. 19 is a block diagram illustrating an example of the configuration of an electronic device having an imaging device.
- FIG. 20 is a block diagram showing an example of a schematic configuration of a vehicle control system.
- FIG. 21 is an explanatory diagram showing an example of the installation positions of the outside-of-vehicle information detection unit and the imaging unit.
- FIG. 22 is a diagram showing an example of a schematic configuration of an endoscopic surgery system.
- FIG. 23 is a block diagram showing an example of the functional configuration of the camera head and the CCU.
- Fig. 1 is a block diagram showing an example of a schematic configuration of an imaging device which is an example of a light detection device according to a first embodiment of the present disclosure.
- Fig. 2 is a diagram showing an example of a pixel unit of the imaging device according to the first embodiment.
- the light detection device is a device capable of detecting incident light.
- the imaging device 1 which is a light detection device has a plurality of pixels P having a photoelectric conversion unit (photoelectric conversion element) and is configured to perform photoelectric conversion of the incident light to generate a signal.
- the imaging device 1 can be applied to an image sensor, a distance measurement sensor, and the like.
- the imaging device 1 (light detection device) can generate a signal by receiving light that has passed through an optical system (not shown) including an optical lens.
- the photoelectric conversion unit of each pixel P of the imaging device 1 is, for example, a photodiode (PD) and is configured to be able to photoelectrically convert light.
- the imaging device 1 has an area (pixel unit 100) in which multiple pixels P are arranged two-dimensionally in a matrix as an imaging area.
- the pixel unit 100 is a pixel array in which multiple pixels P are arranged, and can also be considered a light receiving area.
- the imaging device 1 captures incident light (image light) from a subject through an optical system that includes an optical lens.
- the imaging device 1 captures an image of the subject formed by the optical lens.
- the imaging device 1 can perform photoelectric conversion on the received light to generate a pixel signal.
- the imaging device 1 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the imaging device 1 which is a light detection device, is a device that can receive incident light and generate a signal, and can also be called a light receiving device.
- the imaging device 1 can be used in electronic devices such as digital still cameras, video cameras, and mobile phones.
- the imaging device 1 has, for example, a pixel driving unit 111, a signal processing unit 112, a control unit 113, a processing unit 114, etc. in a peripheral region of a pixel unit 100 (pixel array).
- the imaging device 1 is provided with a plurality of control lines L1 and a plurality of signal lines L2.
- the control line L1 is a signal line capable of transmitting a signal that controls the pixel P, and is connected to the pixel drive unit 111 and the pixel P of the pixel unit 100.
- a plurality of control lines L1 are wired for each pixel row made up of a plurality of pixels P arranged in the horizontal direction (row direction).
- the control line L1 is configured to transmit a control signal for reading out a signal from the pixel P.
- the multiple control lines L1 for each pixel row of the imaging device 1 include, for example, wiring that transmits signals that control transfer transistors, wiring that transmits signals that control selection transistors, wiring that transmits signals that control reset transistors, etc.
- the control lines L1 can also be considered drive lines (pixel drive lines) that transmit signals that drive the pixels P.
- the signal line L2 is a signal line capable of transmitting a signal from the pixel P, and is connected to the pixel P of the pixel unit 100 and the signal processing unit 112.
- the signal line L2 is wired for each pixel column made up of a plurality of pixels P aligned in the vertical direction (column direction).
- the signal line L2 is a vertical signal line, and is configured to transmit a signal output from the pixel P.
- the pixel driving unit 111 is configured to be able to drive each pixel P of the pixel unit 100.
- the pixel driving unit 111 is a driving circuit and is configured by multiple circuits including, for example, a buffer, a shift register, an address decoder, etc.
- the pixel driving unit 111 generates a signal for driving the pixel P and outputs it to each pixel P of the pixel unit 100 via a control line L1.
- the pixel driving unit 111 is controlled by the control unit 113, and controls the pixels P of the pixel unit 100.
- the pixel driving unit 111 generates signals for controlling the pixel P, such as a signal for controlling the transfer transistor of the pixel P, a signal for controlling the selection transistor, and a signal for controlling the reset transistor, and supplies these to each pixel P via a control line L1.
- the pixel driving unit 111 can control the reading of pixel signals from each pixel P.
- the pixel driving unit 111 can also be referred to as a pixel control unit configured to be able to control each pixel P.
- the pixel driving unit 111 and the control unit 113 can also be referred to collectively as a pixel control unit.
- the signal processing unit 112 is configured to be able to perform signal processing of the input pixel signal.
- the signal processing unit 112 is a signal processing circuit, and has, for example, a load circuit unit, an AD (Analog Digital) conversion unit, a horizontal selection switch, etc.
- the signal processing unit 112 may also have an amplification circuit unit configured to amplify the signal read out from the pixel P via the signal line L2.
- the signal output from each pixel P selected and scanned by the pixel driving unit 111 is input to the signal processing unit 112 via the signal line L2.
- the signal processing unit 112 can perform signal processing such as AD conversion of the pixel P signal and CDS (Correlated Double Sampling).
- the signal of each pixel P transmitted through each of the signal lines L2 is subjected to signal processing by the signal processing unit 112 and output to the processing unit 114.
- the processing unit 114 is configured to be able to perform signal processing on the input signal.
- the processing unit 114 is a signal processing circuit, and is configured, for example, by a circuit that performs various types of signal processing on pixel signals.
- the processing unit 114 may include a processor and a memory.
- the processing unit 114 performs signal processing on pixel signals input from the signal processing unit 112, and outputs the processed pixel signals.
- the processing unit 114 can perform various types of signal processing, for example, noise reduction processing, tone correction processing, etc.
- the control unit 113 is configured to be able to control each unit of the imaging device 1.
- the control unit 113 receives an externally provided clock, data instructing the operation mode, and the like, and can also output data such as internal information of the imaging device 1.
- the control unit 113 is a control circuit, and has, for example, a timing generator configured to be able to generate various timing signals.
- the control unit 113 controls the driving of the pixel driving unit 111 and the signal processing unit 112 based on various timing signals (pulse signals, clock signals, etc.) generated by the timing generator. Note that the control unit 113 and the processing unit 114 may be configured as an integrated unit.
- the pixel driving unit 111, the signal processing unit 112, the control unit 113, the processing unit 114, etc. may be provided on one semiconductor substrate, or may be provided separately on multiple semiconductor substrates.
- the imaging device 1 may have a structure (a stacked structure) formed by stacking multiple substrates.
- FIG. 3 is a diagram showing an example of the configuration of a pixel of the imaging device according to the first embodiment.
- the pixel P has a photoelectric conversion unit 12 (photoelectric conversion element) and a readout circuit 20.
- the photoelectric conversion unit 12 is configured to receive light and generate a signal.
- the readout circuit 20 is configured to be capable of outputting a signal based on the charge generated by photoelectric conversion.
- the photoelectric conversion unit 12 is a light receiving unit (light receiving element) and is configured to be able to generate electric charge by photoelectric conversion.
- the photoelectric conversion unit 12 is a photodiode (PD) that converts incident light into electric charge.
- the photoelectric conversion unit 12 performs photoelectric conversion to generate electric charge according to the amount of received light.
- the read circuit 20 has a transfer transistor 13, an FD (floating diffusion) 14, an amplification transistor 15, a selection transistor 16, and a reset transistor 17.
- the transfer transistor 13, the amplification transistor 15, the selection transistor 16, and the reset transistor 17 are each a MOS transistor (MOSFET) having a gate, a source, and a drain terminal.
- MOSFET MOS transistor
- the transfer transistor 13, the amplification transistor 15, the selection transistor 16, and the reset transistor 17 are each composed of an NMOS transistor.
- the transistor of pixel P may be composed of a PMOS transistor.
- the transfer transistor 13 is configured to be capable of transferring the charge photoelectrically converted by the photoelectric conversion unit 12 to the FD 14. As shown in FIG. 3, the transfer transistor 13 is controlled by a signal TRG to electrically connect or disconnect the photoelectric conversion unit 12 and the FD 14. The transfer transistor 13 can transfer the charge photoelectrically converted and accumulated by the photoelectric conversion unit 12 to the FD 14.
- FD14 is an accumulation unit and is configured to be able to accumulate the transferred charge. FD14 can accumulate the charge photoelectrically converted by the photoelectric conversion unit 12. FD14 can also be said to be a retention unit capable of retaining the transferred charge. FD14 accumulates the transferred charge and converts it into a voltage according to the capacity of FD14.
- the amplifier transistor 15 is configured to generate and output a signal based on the charge accumulated in the FD 14. As shown in FIG. 3, the gate of the amplifier transistor 15 is electrically connected to the FD 14, and the voltage converted by the FD 14 is input to the gate of the amplifier transistor 15.
- the drain of the amplifying transistor 15 is connected to a power supply line to which a power supply voltage VDD is supplied, and the source of the amplifying transistor 15 is connected to a signal line L2 via a selection transistor 16.
- the amplifying transistor 15 can generate a signal based on the charge stored in the FD 14, i.e., a signal based on the voltage of the FD 14, and output it to the signal line L2.
- the selection transistor 16 is configured to be able to control the output of a pixel signal.
- the selection transistor 16 is controlled by a signal SEL, and is configured to be able to output a signal from the amplification transistor 15 to a signal line L2.
- the selection transistor 16 can control the output timing of the pixel signal.
- the selection transistor 16 may be provided between the power supply line to which the power supply voltage VDD is applied and the amplification transistor 15.
- the selection transistor 16 may be omitted as necessary.
- the reset transistor 17 is configured to be able to reset the voltage of the FD 14.
- the reset transistor 17 is electrically connected to a power line to which a power supply voltage VDD is applied, and is configured to reset the charge of the pixel P.
- the reset transistor 17 is controlled by a signal RST to reset the charge stored in the FD 14 and reset the voltage of the FD 14.
- the reset transistor 17 can also discharge the charge stored in the photoelectric conversion unit 12 via the transfer transistor 13.
- the pixel driving unit 111 (see FIG. 1) supplies control signals to the gates of the transfer transistor 13, selection transistor 16, reset transistor 17, etc. of each pixel P via the control line L1 described above, turning the transistors on (conducting state) or off (non-conducting state).
- the multiple control lines L1 of the imaging device 1 include, for example, a wiring that transmits a signal TRG that controls the transfer transistor 13, a wiring that transmits a signal SEL that controls the selection transistor 16, and a wiring that transmits a signal RST that controls the reset transistor 17.
- the readout circuit 20 may be configured to change the conversion efficiency (gain) when converting charge into voltage.
- the readout circuit 20 may have a switching transistor used to set the conversion efficiency.
- the switching transistor is provided between the FD 14 and the reset transistor 17.
- the switching transistor when the switching transistor is turned on, the capacitance added to the FD 14 of the pixel P increases, and the conversion efficiency is switched.
- the switching transistor can change the capacitance connected to the gate of the amplification transistor 15, thereby changing the conversion efficiency.
- the transfer transistor 13, selection transistor 16, reset transistor 17, switching transistor, etc. are controlled to be turned on and off by the pixel driving unit 111.
- the pixel driving unit 111 controls the readout circuit 20 of each pixel P to output a pixel signal from each pixel P to the signal line L2.
- the pixel driving unit 111 can control the reading out of the pixel signal of each pixel P to the signal line L2.
- FIG. 4 is a diagram showing an example of a planar configuration of an imaging device according to the first embodiment.
- Fig. 4 shows an example of an arrangement of pixels P of a pixel unit 100 in the imaging device 1.
- the pixel P of the imaging device 1 has a light guiding unit 40 (light guiding member) configured using a plurality of structures.
- the light-guiding section 40 has a plurality of structures and is configured to guide light from the measurement target to the photoelectric conversion section.
- the light-guiding section 40 has a plurality of types of structures (first structures 31 and second structures 32 in FIG. 4) and a filling member 35 provided around the structures.
- the light-guiding section 40 is configured to include a plurality of first structures 31 and a plurality of second structures 32.
- the second structures 32 are provided around the first structures 31.
- the first structure 31 and the second structure 32 are made of different materials.
- the second structure 32 is disposed around the first structure 31 and has a refractive index different from that of the first structure 31.
- the first structure 31 and the second structure 32 have, for example, a columnar (pillar) shape.
- a light guide section 40 is provided for each pixel P or for each set of pixels P.
- the direction of incidence of light from the subject is the Z-axis direction
- the left-right direction on the paper that is perpendicular to the Z-axis direction is the X-axis direction
- the up-down direction on the paper that is perpendicular to the Z-axis and X-axis directions is the Y-axis direction.
- directions may be indicated based on the direction of the arrow in Figure 4.
- FIG. 5 is a diagram showing an example of a cross-sectional configuration of an imaging device according to the first embodiment.
- the imaging device 1 has a configuration in which a light guide section 40, an insulating layer 50, a semiconductor layer 10, and a multilayer wiring layer 90 are stacked in the Z-axis direction.
- the semiconductor layer 10 has a first surface 11S1 and a second surface 11S2 that face each other.
- the second surface 11S2 is the surface opposite to the first surface 11S1.
- the semiconductor layer 10 is formed of a semiconductor substrate, for example a Si (silicon) substrate.
- the first surface 11S1 of the semiconductor layer 10 is a light receiving surface (light incident surface).
- the second surface 11S2 of the semiconductor layer 10 is an element formation surface on which elements such as transistors are formed.
- a gate electrode, a gate oxide film, etc. may be provided on the second surface 11S2 of the semiconductor layer 10.
- a light guide section 40, an insulating layer 50, etc. are provided on the first surface 11S1 side of the semiconductor layer 10.
- a multilayer wiring layer 90 is provided on the second surface 11S2 side of the semiconductor layer 10.
- the light guide section 40 is provided on the side where light from the optical system is incident, and the multilayer wiring layer 90 is provided on the side opposite to the side where the light is incident.
- the imaging device 1 is a so-called back-illuminated type imaging device.
- a plurality of photoelectric conversion units 12 are provided along the first surface 11S1 and the second surface 11S2 of the semiconductor layer 10.
- the plurality of photoelectric conversion units 12 are embedded in the semiconductor layer 10.
- the semiconductor layer 10 may be an SOI (Silicon On Insulator) substrate, a SiGe (Silicon Germanium) substrate, a SiC (Silicon Carbide) substrate, or the like, and may be made of a III-V group compound semiconductor material, or the like.
- the multilayer wiring layer 90 includes, for example, a conductor film and an insulating film, and has multiple wirings and vias (VIAs), etc.
- the multilayer wiring layer 90 includes, for example, two or more layers of wirings.
- the multilayer wiring layer 90 has a configuration in which multiple wirings are stacked with insulating films between them.
- the insulating film of the multilayer wiring layer 90 can also be called an interlayer insulating film (interlayer insulating layer).
- the wiring of the multi-layer wiring layer 90 is formed using, for example, a metal material such as aluminum (Al), copper (Cu), or tungsten (W).
- the wiring of the multi-layer wiring layer 90 may be formed using polysilicon (Poly-Si) or other conductive materials.
- the interlayer insulating film is formed using, for example, silicon oxide (SiO), silicon nitride (SiN), silicon oxynitride (SiON), or the like.
- the semiconductor layer 10 and the multi-layer wiring layer 90 are provided with, for example, the above-mentioned readout circuit 20 (see FIG. 3).
- the above-mentioned pixel driving unit 111, signal processing unit 112, control unit 113, processing unit 114, etc. can be provided on a substrate separate from the semiconductor layer 10, or on the semiconductor layer 10 and the multi-layer wiring layer 90.
- the insulating layer 50 is provided between the layer in which the light-guiding section 40 is provided and the semiconductor layer 10.
- the insulating layer 50 is laminated on the semiconductor layer 10 and is located on the first surface 11S1 of the semiconductor layer 10.
- the insulating layer 50 is formed using an insulating film such as an oxide film, a nitride film, or an oxynitride film.
- the insulating layer 50 may be made of silicon oxide (SiO), silicon nitride (SiN), silicon oxynitride (SiON), etc., or may be made of other insulating materials.
- the insulating layer 50 can also be called a planarization layer (planarization film).
- the light-shielding portion 55 (light-shielding film) is made of a material that blocks light, and is provided at the boundary between adjacent pixels P.
- the light-shielding portion 55 (light-shielding material) is formed, for example, in or on the insulating layer 50 on the first surface 11S1 side of the semiconductor layer 10. In the example shown in FIG. 5, the light-shielding portion 55 is located above the separation portion 60.
- the light shielding portion 55 is made of, for example, a metal material that blocks light (aluminum (Al), tungsten (W), copper (Cu), etc.).
- the light shielding portion 55 may be made of a material that absorbs light.
- the light shielding portion 55 is provided around the photoelectric conversion portion 12 and prevents light from leaking to the surrounding pixels.
- the imaging device 1 is also provided with a separation section 60, as in the example shown in FIG. 5.
- the separation section 60 is provided between adjacent photoelectric conversion sections 12, and separates the photoelectric conversion sections 12.
- the separation section 60 has a trench (groove section) provided at the boundary between adjacent pixels P (or photoelectric conversion sections 12).
- the separation section 60 is provided, for example, in the semiconductor layer 10 so as to surround the photoelectric conversion sections 12.
- the isolation portion 60 may be provided so as to penetrate the semiconductor layer 10, for example, as shown in the example of FIG. 5.
- an insulating film for example, a silicon oxide film, is provided in the trench of the isolation portion 60.
- the trench of the isolation portion 60 may be filled with polysilicon, a metal material, or the like.
- the separation section 60 may be formed using other dielectric materials having a low refractive index. For example, a gap (cavity) may be provided within the trench of the separation section 60. Providing the separation section 60 prevents light from leaking to the surrounding pixels P. By preventing unnecessary light from leaking to the surroundings, it is possible to prevent, for example, color mixing.
- the imaging device 1 may have a fixed charge film and an anti-reflection film.
- the fixed charge film and the anti-reflection film are provided, for example, between the semiconductor layer 10 and the insulating layer 50.
- the fixed charge film is, for example, made of a metal compound (metal oxide, metal nitride, etc.).
- the fixed charge film is, for example, a film having a negative fixed charge, and suppresses the generation of dark current at the interface of the semiconductor layer 10.
- the anti-reflection film is, for example, made of an insulating material such as silicon nitride (SiN) or silicon oxide (SiO).
- the anti-reflection film is provided, for example, on the first surface 11S1 side of the semiconductor layer 10, and reduces (suppresses) reflection.
- the insulating layer 50 or the light guide section 40 may be configured to include at least one of a fixed charge film and an anti-reflection film.
- the light guide section 40 (light guide member) has a first structure 31 and a second structure 32, and is configured to guide incident light towards the photoelectric conversion section 12. Light from a subject to be measured is incident on the light guide section 40 of each pixel P of the imaging device 1.
- the first structure 31 and the second structure 32 are each a fine (tiny) structure with a size equal to or smaller than a predetermined wavelength of the incident light.
- the first structure 31 and the second structure 32 each have a size, for example, equal to or smaller than the wavelength range of infrared light.
- the first structure 31 and the second structure 32 each may have a size equal to or smaller than the wavelength range of near-infrared light.
- the first structure 31 and the second structure 32 each may have a size equal to or smaller than the wavelength range of visible light.
- the light-guiding section 40 has a first structure 31, a second structure 32, and a filling member 35 provided around the first structure 31 and the second structure 32.
- the first structure 31 and the second structure 32 are, for example, columnar (pillar-shaped) structures.
- the second structure 32 is, for example, provided in the area around the multiple first structures 31.
- the shape of the structures of the light-guiding section 40 can be changed as appropriate.
- the first structure 31 and the second structure 32 each have a cylindrical shape.
- the first structure 31 and the second structure 32 can each have a rectangular prism shape.
- the shape of each of the first structure 31 and the second structure 32 may be a quadrangular shape in a plan view.
- the shape of the first structure 31 and the shape of the second structure 32 each may be a polygon, an ellipse, a cross, or another shape.
- the filling member 35 is provided so as to fill the spaces between adjacent first structures 31. As in the example shown in FIG. 5, the filling member 35 is provided so as to fill the spaces between adjacent second structures 32 and between the first structures 31 and the second structures 32. The filling member 35 is embedded between the first structures 31, between the second structures 32, and between the first structures 31 and the second structures 32.
- the filling member 35 may be formed so as to cover the first structure 31 and the second structure 32. It can be said that the first structure 31 and the second structure 32 are each provided within the filling member 35 and are disposed by replacing a part of the filling member 35.
- the light-guiding unit 40 uses the first structure 31 and the second structure 32, which are nanostructures (also referred to as microstructures, metaatoms, nanoatoms, nanoposts, etc.), to propagate light to the photoelectric conversion unit 12.
- the light-guiding unit 40 is an optical element (optical member) that guides (propagates) light.
- the light guide unit 40 may be configured, for example, as a deflection element (deflection unit) that deflects light.
- the light guide unit 40 is configured, for example, to impart a phase delay to the incident light and deflect the light.
- the light guide unit 40 may be provided, for example, for each pixel P or for each set of multiple pixels P.
- the first structures 31 and the second structures 32 are, for example, pillars (columnar members) as shown in FIG. 5. As shown typically in FIG. 5, a plurality of first structures 31 and second structures 32 are arranged side by side in the left-right direction (X-axis direction) of the page, sandwiching a portion of the filling member 35 therebetween.
- a plurality of first structures 31 and a plurality of second structures 32 may be arranged at intervals equal to or less than a predetermined wavelength of incident light, for example, equal to or less than the wavelength of infrared light (or visible light).
- a plurality of first structures 31 and a plurality of second structures 32 may be provided at intervals equal to or less than the wavelength range of near-infrared light in the X-axis direction and the Y-axis direction.
- the first structure 31 has a refractive index different from that of the adjacent medium.
- the first structure 31 has a refractive index different from that of the filling member 35 arranged around the first structure 31.
- the second structure 32 has a refractive index different from that of the adjacent medium.
- the second structure 32 has a refractive index different from that of the filling member 35 arranged around the second structure 32.
- the first structure 31 and the second structure 32 are made of different materials.
- the second structure 32 has a refractive index different from that of the first structure 31.
- the first structure 31 of the light-guiding section 40 may have a refractive index higher than that of the filling member 35, for example.
- the first structure 31 may also have a refractive index higher than that of the second structure 32.
- the first structure 31 may be made of a material having a refractive index higher than that of the filling member 35 and that of the second structure 32.
- the second structure 32 of the light-guiding section 40 may have a refractive index lower than that of the filling member 35.
- the second structure 32 may also have a refractive index lower than that of the first structure 31.
- the second structure 32 may be made of a material having a refractive index lower than that of the filling member 35 and that of the first structure 31.
- the first structure 31 and the second structure 32 of the light-guiding section 40 may be made of an inorganic material or an organic material.
- the first structure 31 and the second structure 32 are made of different materials.
- the first structure 31 may be made of amorphous silicon (a-Si).
- the first structure 31 may be made of polysilicon (Poly-Si), germanium (Ge), etc.
- the first structure 31 may be composed of a simple substance, an oxide, a nitride, an oxynitride, or a composite of these elements, such as titanium, hafnium, zirconium, tantalum, aluminum, niobium, or indium.
- the first structure 31 may be composed of a metal compound (metal oxide, metal nitride, etc.) such as titanium oxide (TiO).
- the first structure 31 may also be composed of an organic material.
- the second structure 32 may be formed using magnesium fluoride (MgF), as an example.
- MgF magnesium fluoride
- the second structure 32 may also be formed using silicon oxide, silicon nitride, silicon nitride oxide, silicon carbide, silicon oxide carbide, or other silicon compounds.
- the second structure 32 may also be formed from an organic material such as siloxane.
- the second structure 32 may be formed using a siloxane-based resin, a styrene-based resin, an acrylic-based resin, or the like.
- the filling member 35 is formed, for example, using an inorganic material such as an oxide, a nitride, or an oxynitride.
- the filling member 35 is composed of, for example, silicon oxide, silicon nitride, silicon nitride oxide, silicon carbide, silicon oxide carbide, etc.
- the filling member 35 may also be composed of an organic material.
- the filling member 35 may be made of a siloxane resin, a styrene resin, an acrylic resin, or the like.
- the filling member 35 may be made of any of these resins that contain fluorine.
- the filling member 35 may be made of any of these resins that are filled with beads that have a higher refractive index than the resin.
- the materials of the first structure 31, the second structure 32, and the filling member 35 can be selected according to the refractive index difference with the surrounding medium and the wavelength range of the incident light to be measured.
- the first structure 31 may be made of amorphous silicon, germanium, or the like.
- the first structure 31 may be made of titanium oxide.
- the light guide 40 can affect the wavefront by causing a phase delay in the incident light due to the difference in refractive index between the first structure 31, the second structure 32, and the medium surrounding them.
- the light guide 40 can adjust the propagation direction of the light by imparting a phase delay to the incident light using, for example, the first structure 31, the second structure 32, and the filling member 35.
- the material (optical constants of each material), size, shape, pitch (arrangement interval), etc. of the multiple first structures 31 and second structures 32 are determined so that light of any wavelength range contained in the incident light travels in the desired direction.
- the refractive index, size (width, height, etc.), shape, and pitch of each of the first structures 31 and second structures 32 of the light-guiding section 40, and the refractive index of the filling member 35, etc. can be set.
- the light guide unit 40 is an optical element that uses metamaterial (metasurface) technology, and can also be considered a light guide element capable of guiding light.
- the light guide unit 40 can be configured, for example, as an optical element (deflector) that changes the direction of travel of light in a specific wavelength range.
- the direction of light propagation through the light-guiding unit 40 can be adjusted by the materials of the first structure 31, the second structure 32, and the filling member 35, etc., and the shapes, heights, and arrangement positions of the first structure 31 and the second structure 32.
- the materials, sizes, etc. of the first structure 31 and the second structure 32, etc. are determined so that light in the wavelength band to be detected (e.g., infrared light) is focused on the photoelectric conversion unit 12.
- the imaging device 1 can generate a pixel signal obtained by photoelectric conversion by the photoelectric conversion unit 12.
- the light guide section 40 can appropriately guide light, making it possible to prevent a decrease in sensitivity to incident light.
- the light-guiding section 40 is constructed using the first structure 31 and the second structure 32.
- the first structure 31 and the second structure 32 are made of different materials.
- the phase difference of the light can be finely adjusted according to the respective refractive indices of the first structure 31, the second structure 32, and the filling member 35, making it possible to appropriately guide the incident light. This makes it possible to efficiently focus light on the photoelectric conversion unit 12, thereby improving the sensitivity to the incident light.
- the imaging device 1 by arranging a plurality of types of structures (e.g., first structure 31, second structure 32) using two or more types of materials, it is possible to improve the controllability of light. It is possible to improve the optical performance of the imaging device 1 while avoiding an increase in the number of steps in the manufacturing process. It is possible to suppress an increase in the manufacturing cost of the imaging device 1.
- a plurality of types of structures e.g., first structure 31, second structure 32
- FIGS. 6A to 6C are diagrams for explaining examples of pixel configurations at different image height positions in an imaging device according to a first embodiment.
- FIG. 6A shows a schematic diagram of an example of a planar configuration of pixels in a region near the center of the pixel section 100 (pixel array) of the imaging device 1, i.e., a region where the distance from the center of the pixel section 100 (i.e., image height) is approximately zero.
- FIG. 6B shows an example of a planar configuration of pixels in a region where the image height is higher than in the case of FIG. 6A.
- FIG. 6C shows an example of a planar configuration of pixels in a region where the image height is higher than in the case of FIG. 6B.
- the light guide section 40 in each pixel P may be configured to differ depending on the distance from the center of the pixel section 100, i.e., the image height.
- the light guide section 40 of the pixel P has one of the first structure 31 and the second structure 32, for example the first structure 31.
- the light guide section 40 of the pixel P has the first structure 31 and the second structure 32.
- each pixel P of the imaging device 1 may be configured so that the density of low refractive index (or high refractive index) pillars changes continuously toward the center of the image height.
- the number of first structures 31 and second structures 32 arranged in each pixel P may be configured to differ depending on the image height.
- the light guide section 40 of each pixel P is configured differently depending on the image height, making it possible to perform appropriate pupil correction. It is possible to suppress a decrease in the amount of light incident on the photoelectric conversion section 12 and prevent a decrease in sensitivity to incident light. Even when light is incident at an angle, it is possible to properly propagate the incident light to the photoelectric conversion section 12.
- FIGS. 7A to 7C are diagrams for explaining other example pixel configurations at different image height positions of an imaging device.
- FIG. 7B shows an example pixel configuration in a region where the image height is higher than in FIG. 7A
- FIG. 7C shows an example pixel configuration in a region where the image height is higher than in FIG. 7B.
- the imaging device 1 may have a light guide section 40 in which structures with different refractive indices are provided according to the image height.
- the first structures 31a to 31c shown in Figures 7A to 7C may each be made of a different material.
- the second structures 32a to 32c may each be made of a different material.
- the light guide section 40 of the pixel P has a first structure 31a and a second structure 32a.
- the light guide section 40 of the pixel P has, for example, a first structure 31b having a refractive index higher than that of the first structure 31a.
- the light guide section 40 of the pixel P may also have a second structure 32b having a refractive index higher than that of the second structure 32a.
- the light guide section 40 of the pixel P has, for example, a first structure 31c having a higher refractive index than the first structure 31b.
- the light guide section 40 of the pixel P may also have a second structure 32c having a higher refractive index than the second structure 32b.
- the imaging device 1 may be provided with structures (first structures 31a to 31c and second structures 32a to 32c in Figures 7A to 7C) that have different refractive indices depending on the image height. This makes it possible to guide the incident light to the photoelectric conversion unit 12 even in the case of obliquely incident light. It becomes possible to prevent the optical characteristics of the imaging device 1 from deteriorating in response to obliquely incident light.
- the light detection device includes a first light guiding member (light guiding section 40) including a plurality of first structures (first structures 31) and a plurality of second structures (second structures 32), and a first photoelectric conversion element (photoelectric conversion section 12) that photoelectrically converts light incident through the first light guiding member.
- the first structures and the second structures are made of different materials.
- a light guide section 40 having a first structure 31 and a second structure 32 is provided.
- the first structure 31 and the second structure 32 are made of different materials. This allows the incident light to be appropriately guided to the photoelectric conversion section 12. It is possible to realize a light detection device with good optical characteristics.
- the optical element according to this embodiment includes a plurality of first structures (first structures 31), a plurality of second structures (second structures 32) provided around the plurality of first structures, and a filling member (filling member 35) provided between adjacent plurality of first structures and between adjacent plurality of second structures.
- first structures 31 first structures 31
- second structures 32 second structures 32
- filling member 35 filling member
- the optical element (light guide section 40) has a first structure 31, a second structure 32, and a filling member 35.
- the first structure 31 and the second structure 32 are made of different materials. This makes it possible to appropriately focus the incident light. It is possible to realize an optical element with good optical properties.
- FIG. 8 is a diagram showing an example of a cross-sectional configuration of an imaging device according to the first modification of the present disclosure.
- the second structure 32 of the light guiding section 40 may be configured using air (gap).
- the second structure 32 has a space (cavity). Due to the refractive index difference between the second structure 32, which is a low refractive index member, and the medium surrounding it, a phase delay is imparted to the incident light, making it possible to appropriately guide the light.
- FIGS. 9 and 10 are diagrams showing another example of the cross-sectional configuration of an imaging device according to Modification 1.
- a second structure 32 formed using air may be provided at the boundary between adjacent pixels P.
- At least a portion of the second structure 32 having a void is provided at the boundary between adjacent pixels P.
- the second structure 32 may be provided around the first structure 31 and at the boundary between adjacent pixels P.
- the second structure 32 may be made of air (void) and formed along the boundary between pixels P in a plan view.
- the imaging device 1 may not have a light shielding portion 55.
- the second structure 32 located above (directly above) the separation portion 60 may be made of air.
- the second structure 32 having a gap is provided at the boundary between adjacent pixels P, making it possible to prevent light from leaking to the surrounding pixels P. This makes it possible to prevent unnecessary light from leaking, and to prevent noise from being mixed into the pixel signal.
- This modified example also makes it possible to obtain the same effects as the above-mentioned embodiment.
- FIGS. 12A to 12C are diagrams showing an example of a cross-sectional configuration of an imaging device according to Modification 2 of the present disclosure.
- an anti-reflection film may be provided on the structure of the light guiding section 40.
- the light guiding section 40 of each pixel P has an anti-reflection film 45 and an anti-reflection film 46.
- the anti-reflection film 45 is provided on the first structure 31 and has a refractive index different from that of the first structure 31.
- the anti-reflection film 45 has, for example, a refractive index lower than that of the first structure 31.
- the anti-reflection film 45 is provided on the first structure 31 and reduces (suppresses) reflection.
- the anti-reflection film 46 is provided on the second structure 32 and has a refractive index different from the refractive index of the second structure 32.
- the anti-reflection film 46 has, for example, a refractive index lower than the refractive index of the second structure 32.
- the anti-reflection film 46 is provided on the second structure 32 and reduces reflection.
- the anti-reflection films 45 and 46 are each made of an insulating material such as silicon oxide (SiO) or silicon nitride (SiN).
- the anti-reflection films 45 and 46 may also be made of other materials.
- the light guide section 40 may be configured to have only one of the anti-reflection film 45 and the anti-reflection film 46.
- the anti-reflection film 46 does not need to be disposed on the second structure 32.
- FIG. 13 is a diagram showing an example of a cross-sectional configuration of an imaging device according to the second embodiment.
- the multiple pixels P of the pixel section 100 of the imaging device 1 include multiple pixels P1 and pixels P2.
- pixel P1 has filters 25 and 26.
- Filter 25 is, for example, an RGB color filter.
- Filter 26 is a filter that blocks infrared light (IR-Cut filter).
- Pixel P1 is a pixel having a photoelectric conversion section 12 that receives visible light and performs photoelectric conversion.
- the multiple pixels P1 provided in the pixel section 100 of the imaging device 1 include, for example, multiple pixels (R pixels) provided with filters 25 that transmit red (R) light, multiple pixels (G pixels) provided with filters 25 that transmit green (G) light, and multiple pixels (B pixels) provided with filters 25 that transmit blue (B) light.
- the filter 25 provided in pixel P1 of the pixel section 100 is not limited to a primary color (RGB) color filter, but may be a complementary color filter such as Cy (cyan), Mg (magenta), or Ye (yellow).
- a filter corresponding to W (white), that is, a filter that transmits light of all wavelengths of incident light, may also be provided.
- Pixel P2 is, for example, a pixel (IR pixel) having a filter 27 that transmits infrared light.
- filter 27 is configured by laminating a B (blue) color filter and an R (red) color filter.
- Pixel P2 is a pixel having a photoelectric conversion unit 12 that receives infrared light and performs photoelectric conversion.
- a lens 21 is provided for pixel P1, and a light guide unit 40 is provided for pixel P2.
- the lens 21 is an optical component also known as an on-chip lens.
- the lens 21 (lens unit) is provided above the filter 25 for each pixel P1 or for each set of multiple pixels P1. Light from a subject enters the lens 21 via an optical system such as an imaging lens.
- the height of the lens 21 in the Z-axis direction i.e., the thickness of the lens 21 in the Z-axis direction, is set so that light in the visible wavelength range that enters the lens 21 is focused on the photoelectric conversion unit 12 of pixel P1.
- the photoelectric conversion unit 12 of pixel P1 photoelectrically converts the light that enters through the lens 21.
- the refractive index, size, pitch, etc. of the first structure 31 of the light guide section 40 of pixel P2 are set so that the incident light in the wavelength range of infrared light is focused onto the photoelectric conversion section 12 of pixel P2.
- the light guide section 40 may be configured using multiple types of structures (e.g., first structure 31, second structure 32).
- pixel P1 of the imaging device 1 it is possible to appropriately guide visible light by the lens 21.
- pixel P2 of the imaging device 1 it is possible to appropriately guide infrared light by the light guide section 40. It is possible to generate an infrared image (IR image) and a visible image using pixel signals obtained from each of the multiple pixels P1 and P2 of the imaging device 1. It is possible to appropriately set focus points in pixel P1, which is an RGB pixel, and pixel P2, which is an IR pixel, and it is possible to improve the image quality.
- IR image infrared image
- a light guide unit 40 may be arranged for pixel P1, and a lens 21 may be arranged for pixel P2.
- the refractive index, size, etc. of the first structure 31 of the light guide unit 40 of pixel P1 may be set so that incident visible light is focused on the photoelectric conversion unit 12 of pixel P1.
- the height (thickness) of the lens 21 in the Z-axis direction may be set so that infrared light incident on the lens 21 is focused on the photoelectric conversion unit 12 of pixel P2.
- pixel P1 of the imaging device visible light can be appropriately guided by the light guide section 40.
- pixel P2 of the imaging device infrared light can be appropriately guided by the lens 21.
- the focus points can be appropriately adjusted in pixels P1 and P2, making it possible to improve the image quality.
- the photodetection device of this embodiment includes a lens (lens 21) through which light is incident, a first photoelectric conversion element (e.g., photoelectric conversion unit 12 of pixel P1) that performs photoelectric conversion on the light incident through the lens, a light-guiding member (light-guiding unit 40) including a plurality of structures, and a second photoelectric conversion element (e.g., photoelectric conversion unit 12 of pixel P2) that performs photoelectric conversion on the light incident through the light-guiding member.
- a lens through which light is incident
- a first photoelectric conversion element e.g., photoelectric conversion unit 12 of pixel P1
- a light-guiding member including a plurality of structures
- a second photoelectric conversion element e.g., photoelectric conversion unit 12 of pixel P2
- pixel P1 having a photoelectric conversion unit 12 that photoelectrically converts light incident through lens 21, and pixel P2 having a photoelectric conversion unit 12 that photoelectrically converts light incident through light guide unit 40 are provided.
- the lens 21 can appropriately guide the incident light
- the light guide unit 40 can appropriately guide the incident light. It is possible to realize a photodetection device with good optical characteristics.
- FIG. 15 is a diagram showing an example of a cross-sectional configuration of an imaging device according to the third embodiment.
- a pixel P of the imaging device 1 has a lens 21, a filter 25, a photoelectric conversion unit 22, a filter 27, a light guide unit 40, and a photoelectric conversion unit 12.
- the filter 25 is, for example, an RGB color filter.
- the filter 27 is configured to transmit infrared light.
- the photoelectric conversion unit 22 (photoelectric conversion element) is configured to receive light and generate a signal.
- the photoelectric conversion unit 22 is a light receiving unit (light receiving element) and is configured to be able to generate an electric charge by photoelectric conversion.
- the photoelectric conversion unit 22 is, for example, a photodiode (PD) and converts incident light into an electric charge.
- the photoelectric conversion unit 22 is made of, for example, an inorganic material such as silicon.
- the photoelectric conversion unit 22 is provided in the semiconductor layer 80.
- a plurality of photoelectric conversion units 22 are formed in the semiconductor layer 80.
- the photoelectric conversion unit 22 may be made of an organic material.
- a photoelectric conversion film made of an organic material may be provided as the photoelectric conversion unit 22.
- the height of the lens 21 in the Z-axis direction i.e., the thickness of the lens 21 in the Z-axis direction, is adjusted so that light in the visible wavelength range that enters the lens 21 is focused on the photoelectric conversion unit 22.
- the photoelectric conversion unit 22 can photoelectrically convert the visible light that enters through the lens 21 and the filter 25, and generate a pixel signal.
- the refractive index, size, pitch, etc. of the first structure 31 of the light-guiding section 40 are set so that the incident light in the wavelength range of infrared light is focused to the photoelectric conversion section 12.
- the photoelectric conversion section 12 can photoelectrically convert the incident infrared light via the lens 21, filter 25, photoelectric conversion section 22, filter 27, and light-guiding section 40 to generate a pixel signal.
- the light-guiding section 40 may be configured using multiple types of structures (e.g., first structure 31, second structure 32).
- the lens 21 guides visible light to the photoelectric conversion unit 22, and the light guide unit 40 focuses infrared light to the photoelectric conversion unit 12.
- An infrared image e.g., an NIR image
- a visible image can be generated using the pixel signals of each pixel P of the imaging device 1.
- the focus point can be appropriately adjusted for each of the visible light and infrared light, making it possible to improve the image quality.
- the imaging device 1 may have a light guide section 41, as shown in the example of FIG. 16, instead of or in addition to the filter 27 that transmits infrared light.
- the light guide section 41 is configured to transmit, for example, light in a specific wavelength range (for example, light in the wavelength range of infrared light).
- light-guiding section 41 is configured using, for example, a first structure 31 and a second structure 32 each having a columnar shape.
- Each structure (first structure 31, second structure 32, etc.) of light-guiding section 40 and light-guiding section 41 may be formed, for example, with different materials, sizes, shapes, etc.
- the light detection device includes a lens (lens 21) into which light is incident, a first photoelectric conversion element (e.g., photoelectric conversion section 22) that photoelectrically converts the light incident through the lens, a light guiding member (e.g., light guiding section 40) including a plurality of structures, and a second photoelectric conversion element (e.g., photoelectric conversion section 12) that photoelectrically converts the light incident through the light guiding member. From the light incident side, the lens, the first photoelectric conversion element, the light guiding member, and the second photoelectric conversion element are provided.
- pixel P has, for example, a photoelectric conversion unit 22 that performs photoelectric conversion on light incident via lens 21, and a photoelectric conversion unit 12 that performs photoelectric conversion on light incident via light guide unit 40.
- pixel P for example, visible light can be appropriately collected to photoelectric conversion unit 22 by lens 21, and infrared light can be appropriately collected to photoelectric conversion unit 12 by light guide unit 40. It is possible to realize a photodetection device with good optical characteristics.
- FIG. 17 is a diagram showing an example of a cross-sectional configuration of an imaging device according to the fourth embodiment.
- the multiple pixels P of the pixel unit 100 of the imaging device 1 include multiple pixels P3 and P4.
- the photoelectric conversion unit 12a of pixel P3 and the photoelectric conversion unit 12b of pixel P4 have different sizes.
- the photoelectric conversion unit 12a of pixel P3 and the photoelectric conversion unit 12b of pixel P4 have different sensitivities to incident light.
- the light receiving area of the photoelectric conversion unit 12a of pixel P3 is larger than the light receiving area of the photoelectric conversion unit 12b of pixel P4, and the amount of light received by the photoelectric conversion unit 12a is greater than the amount of light received by the photoelectric conversion unit 12b.
- Pixel P3 has a higher sensitivity than pixel P4.
- a lens 21 may be arranged for pixel P3, which is a large pixel, and a light guide unit 40 may be arranged for pixel P4, which is a small pixel. Also, as shown in FIG. 18, a light guide unit 40 may be arranged for pixel P3, and a lens 21 may be arranged for pixel P4.
- the lens 21 and the light guide section 40 make it possible to appropriately focus the incident light on the large pixel P3 and the small pixel P4.
- the imaging device 1 can generate pixel signals using multiple pixels P3 with high sensitivity and multiple pixels P4 with low sensitivity. This makes it possible to expand the dynamic range.
- the photodetector includes a lens (lens 21) through which light is incident, a first photoelectric conversion element (e.g., photoelectric conversion section 12a) that photoelectrically converts the light incident through the lens, a light guiding member (light guiding section 40) including a plurality of structures, and a second photoelectric conversion element (e.g., photoelectric conversion section 12b) that photoelectrically converts the light incident through the light guiding member.
- the first photoelectric conversion element and the second photoelectric conversion element have different sizes.
- the photodetection device (imaging device 1) is provided with a pixel (e.g., pixel P3) that photoelectrically converts the light incident through lens 21, and a pixel (e.g., pixel P4) that photoelectrically converts the light incident through light guide section 40.
- Photoelectric conversion section 12a and photoelectric conversion section 12b have different sizes. This makes it possible to appropriately guide light in pixel P3 and pixel P4. It is possible to realize a photodetection device with good optical characteristics.
- the imaging device 1 and the like can be applied to any type of electronic device equipped with an imaging function, for example, a camera system such as a digital still camera or a video camera, or a mobile phone with an imaging function.
- Fig. 19 shows a schematic configuration of an electronic device 1000.
- the electronic device 1000 includes, for example, a lens group 1001, an imaging device 1, a DSP (Digital Signal Processor) circuit 1002, a frame memory 1003, a display unit 1004, a recording unit 1005, an operation unit 1006, and a power supply unit 1007, which are interconnected via a bus line 1008.
- a lens group 1001 an imaging device 1
- a DSP (Digital Signal Processor) circuit 1002 a frame memory 1003, a display unit 1004, a recording unit 1005, an operation unit 1006, and a power supply unit 1007, which are interconnected via a bus line 1008.
- DSP Digital Signal Processor
- the lens group 1001 captures incident light (image light) from a subject and forms an image on the imaging surface of the imaging device 1.
- the imaging device 1 converts the amount of incident light formed on the imaging surface by the lens group 1001 into an electrical signal on a pixel-by-pixel basis and supplies the signal as a pixel signal to the DSP circuit 1002.
- the DSP circuit 1002 is a signal processing circuit that processes the signal supplied from the imaging device 1.
- the DSP circuit 1002 outputs image data obtained by processing the signal from the imaging device 1.
- the frame memory 1003 temporarily holds the image data processed by the DSP circuit 1002 on a frame-by-frame basis.
- the display unit 1004 is, for example, a panel-type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and records image data of moving images or still images captured by the imaging device 1 on a recording medium such as a semiconductor memory or a hard disk.
- a panel-type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel
- a recording medium such as a semiconductor memory or a hard disk.
- the operation unit 1006 outputs operation signals for various functions of the electronic device 1000 in accordance with operations by the user.
- the power supply unit 1007 appropriately supplies various types of power to the DSP circuit 1002, frame memory 1003, display unit 1004, recording unit 1005, and operation unit 1006 to these devices.
- the technology according to the present disclosure (the present technology) can be applied to various products.
- the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility device, an airplane, a drone, a ship, or a robot.
- FIG. 20 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology disclosed herein can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
- Also shown as functional components of the integrated control unit 12050 are a microcomputer 12051, an audio/video output unit 12052, and an in-vehicle network I/F (interface) 12053.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 functions as a control device for a drive force generating device for generating the drive force of the vehicle, such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle of the vehicle, and a braking device for generating a braking force for the vehicle.
- the body system control unit 12020 controls the operation of various devices installed in the vehicle body according to various programs.
- the body system control unit 12020 functions as a control device for a keyless entry system, a smart key system, a power window device, or various lamps such as headlamps, tail lamps, brake lamps, turn signals, and fog lamps.
- radio waves or signals from various switches transmitted from a portable device that replaces a key can be input to the body system control unit 12020.
- the body system control unit 12020 accepts the input of these radio waves or signals and controls the vehicle's door lock device, power window device, lamps, etc.
- the outside-vehicle information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
- the image capturing unit 12031 is connected to the outside-vehicle information detection unit 12030.
- the outside-vehicle information detection unit 12030 causes the image capturing unit 12031 to capture images outside the vehicle and receives the captured images.
- the outside-vehicle information detection unit 12030 may perform object detection processing or distance detection processing for people, cars, obstacles, signs, or characters on the road surface based on the received images.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of light received.
- the imaging unit 12031 can output the electrical signal as an image, or as distance measurement information.
- the light received by the imaging unit 12031 may be visible light, or may be invisible light such as infrared light.
- the in-vehicle information detection unit 12040 detects information inside the vehicle.
- a driver state detection unit 12041 that detects the state of the driver is connected.
- the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 may calculate the driver's degree of fatigue or concentration based on the detection information input from the driver state detection unit 12041, or may determine whether the driver is dozing off.
- the microcomputer 12051 can calculate the control target values of the driving force generating device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, and output a control command to the drive system control unit 12010.
- the microcomputer 12051 can perform cooperative control aimed at realizing the functions of an ADAS (Advanced Driver Assistance System), including avoiding or mitigating vehicle collisions, following based on the distance between vehicles, maintaining vehicle speed, vehicle collision warning, or vehicle lane departure warning.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 can also control the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the outside vehicle information detection unit 12030 or the inside vehicle information detection unit 12040, thereby performing cooperative control aimed at automatic driving, which allows the vehicle to travel autonomously without relying on the driver's operation.
- the microcomputer 12051 can also output control commands to the body system control unit 12020 based on information outside the vehicle acquired by the outside-vehicle information detection unit 12030. For example, the microcomputer 12051 can control the headlamps according to the position of a preceding vehicle or an oncoming vehicle detected by the outside-vehicle information detection unit 12030, and perform cooperative control aimed at preventing glare, such as switching high beams to low beams.
- the audio/image output unit 12052 transmits at least one output signal of audio and image to an output device capable of visually or audibly notifying the occupants of the vehicle or the outside of the vehicle of information.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
- the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
- FIG. 21 shows an example of the installation position of the imaging unit 12031.
- the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle cabin of the vehicle 12100.
- the imaging unit 12101 provided at the front nose and the imaging unit 12105 provided at the top of the windshield inside the vehicle cabin mainly acquire images of the front of the vehicle 12100.
- the imaging units 12102 and 12103 provided at the side mirrors mainly acquire images of the sides of the vehicle 12100.
- the imaging unit 12104 provided at the rear bumper or back door mainly acquires images of the rear of the vehicle 12100.
- the images of the front acquired by the imaging units 12101 and 12105 are mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, etc.
- FIG. 21 shows an example of the imaging ranges of the imaging units 12101 to 12104.
- Imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- imaging range 12114 indicates the imaging range of the imaging unit 12104 provided on the rear bumper or back door.
- an overhead image of the vehicle 12100 viewed from above is obtained by superimposing the image data captured by the imaging units 12101 to 12104.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera consisting of multiple imaging elements, or an imaging element having pixels for detecting phase differences.
- the microcomputer 12051 can obtain the distance to each solid object within the imaging ranges 12111 to 12114 and the change in this distance over time (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104, and can extract as a preceding vehicle, in particular, the closest solid object on the path of the vehicle 12100 that is traveling in approximately the same direction as the vehicle 12100 at a predetermined speed (e.g., 0 km/h or faster). Furthermore, the microcomputer 12051 can set the inter-vehicle distance that should be maintained in advance in front of the preceding vehicle, and perform automatic braking control (including follow-up stop control) and automatic acceleration control (including follow-up start control). In this way, cooperative control can be performed for the purpose of automatic driving, which runs autonomously without relying on the driver's operation.
- automatic braking control including follow-up stop control
- automatic acceleration control including follow-up start control
- the microcomputer 12051 classifies and extracts three-dimensional object data on three-dimensional objects, such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects, based on the distance information obtained from the imaging units 12101 to 12104, and can use the data to automatically avoid obstacles.
- the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
- the microcomputer 12051 determines the collision risk, which indicates the risk of collision with each obstacle, and when the collision risk is equal to or exceeds a set value and there is a possibility of a collision, it can provide driving assistance for collision avoidance by outputting an alarm to the driver via the audio speaker 12061 or the display unit 12062, or by forcibly decelerating or steering the vehicle to avoid a collision via the drive system control unit 12010.
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed, for example, by a procedure of extracting feature points in the captured image of the imaging units 12101 to 12104 as infrared cameras, and a procedure of performing pattern matching processing on a series of feature points that indicate the contour of an object to determine whether or not it is a pedestrian.
- the audio/image output unit 12052 controls the display unit 12062 to superimpose a rectangular contour line for emphasis on the recognized pedestrian.
- the audio/image output unit 12052 may also control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
- the technology of the present disclosure can be applied to, for example, the imaging unit 12031.
- the imaging device 1 etc. can be applied to the imaging unit 12031.
- the technology according to the present disclosure (Application example to endoscopic surgery system)
- the technology according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be applied to an endoscopic surgery system.
- FIG. 22 is a diagram showing an example of the general configuration of an endoscopic surgery system to which the technology disclosed herein (the present technology) can be applied.
- an operator (doctor) 11131 is shown using an endoscopic surgery system 11000 to perform surgery on a patient 11132 on a patient bed 11133.
- the endoscopic surgery system 11000 is composed of an endoscope 11100, other surgical tools 11110 such as an insufflation tube 11111 and an energy treatment tool 11112, a support arm device 11120 that supports the endoscope 11100, and a cart 11200 on which various devices for endoscopic surgery are mounted.
- the endoscope 11100 is composed of a lens barrel 11101, the tip of which is inserted into the body cavity of the patient 11132 at a predetermined length, and a camera head 11102 connected to the base end of the lens barrel 11101.
- the endoscope 11100 is configured as a so-called rigid scope having a rigid lens barrel 11101, but the endoscope 11100 may also be configured as a so-called flexible scope having a flexible lens barrel.
- the tip of the tube 11101 has an opening into which an objective lens is fitted.
- a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the tube by a light guide extending inside the tube 11101, and is irradiated via the objective lens towards an object to be observed inside the body cavity of the patient 11132.
- the endoscope 11100 may be a direct-viewing endoscope, an oblique-viewing endoscope, or a side-viewing endoscope.
- An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the object of observation is focused on the image sensor by the optical system.
- the observation light is photoelectrically converted by the image sensor to generate an electrical signal corresponding to the observation light, i.e., an image signal corresponding to the observed image.
- the image signal is sent to the camera control unit (CCU: Camera Control Unit) 11201 as RAW data.
- CCU Camera Control Unit
- the CCU 11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., and controls the overall operation of the endoscope 11100 and the display device 11202. Furthermore, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal, such as development processing (demosaic processing), in order to display an image based on the image signal.
- a CPU Central Processing Unit
- GPU Graphics Processing Unit
- the display device 11202 under the control of the CCU 11201, displays an image based on the image signal that has been subjected to image processing by the CCU 11201.
- the light source device 11203 is composed of a light source such as an LED (Light Emitting Diode) and supplies irradiation light to the endoscope 11100 when photographing the surgical site, etc.
- a light source such as an LED (Light Emitting Diode) and supplies irradiation light to the endoscope 11100 when photographing the surgical site, etc.
- the input device 11204 is an input interface for the endoscopic surgery system 11000.
- a user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
- the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) of the endoscope 11100.
- the treatment tool control device 11205 controls the operation of the energy treatment tool 11112 for cauterizing tissue, incising, sealing blood vessels, etc.
- the insufflation device 11206 sends gas into the body cavity of the patient 11132 via the insufflation tube 11111 to inflate the body cavity in order to ensure a clear field of view for the endoscope 11100 and to ensure a working space for the surgeon.
- the recorder 11207 is a device capable of recording various types of information related to the surgery.
- the printer 11208 is a device capable of printing various types of information related to the surgery in various formats such as text, images, or graphs.
- the light source device 11203 that supplies illumination light to the endoscope 11100 when photographing the surgical site can be composed of a white light source composed of, for example, an LED, a laser light source, or a combination of these.
- a white light source composed of, for example, an LED, a laser light source, or a combination of these.
- the white light source is composed of a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high precision, so that the white balance of the captured image can be adjusted in the light source device 11203.
- the light source device 11203 may be controlled to change the intensity of the light it outputs at predetermined time intervals.
- the image sensor of the camera head 11102 may be controlled to acquire images in a time-division manner in synchronization with the timing of the change in the light intensity, and the images may be synthesized to generate an image with a high dynamic range that is free of so-called blackout and whiteout.
- the light source device 11203 may be configured to supply light of a predetermined wavelength band corresponding to special light observation.
- special light observation for example, by utilizing the wavelength dependency of light absorption in body tissue, a narrow band of light is irradiated compared to the light irradiated during normal observation (i.e., white light), and a predetermined tissue such as blood vessels on the surface of the mucosa is photographed with high contrast, so-called narrow band imaging is performed.
- fluorescent observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
- excitation light is irradiated to the body tissue and the fluorescence from the body tissue is observed (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and excitation light corresponding to the fluorescent wavelength of the reagent is irradiated to the body tissue to obtain a fluorescent image.
- the light source device 11203 may be configured to supply narrow band light and/or excitation light corresponding to such special light observation.
- FIG. 23 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU 11201 shown in FIG. 22.
- the camera head 11102 has a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
- the CCU 11201 has a communication unit 11411, an image processing unit 11412, and a control unit 11413.
- the camera head 11102 and the CCU 11201 are connected to each other via a transmission cable 11400 so that they can communicate with each other.
- the lens unit 11401 is an optical system provided at the connection with the lens barrel 11101. Observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
- the lens unit 11401 is composed of a combination of multiple lenses including a zoom lens and a focus lens.
- the imaging unit 11402 is composed of an imaging element.
- the imaging element constituting the imaging unit 11402 may be one (so-called single-plate type) or multiple (so-called multi-plate type).
- each imaging element may generate an image signal corresponding to each of RGB, and a color image may be obtained by combining these.
- the imaging unit 11402 may be configured to have a pair of imaging elements for acquiring image signals for the right eye and the left eye corresponding to 3D (dimensional) display. By performing 3D display, the surgeon 11131 can more accurately grasp the depth of the biological tissue in the surgical site.
- 3D dimensional
- the imaging unit 11402 does not necessarily have to be provided in the camera head 11102.
- the imaging unit 11402 may be provided inside the lens barrel 11101, immediately after the objective lens.
- the driving unit 11403 is composed of an actuator, and moves the zoom lens and focus lens of the lens unit 11401 a predetermined distance along the optical axis under the control of the camera head control unit 11405. This allows the magnification and focus of the image captured by the imaging unit 11402 to be adjusted appropriately.
- the communication unit 11404 is configured with a communication device for transmitting and receiving various information to and from the CCU 11201.
- the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
- the communication unit 11404 also receives control signals for controlling the operation of the camera head 11102 from the CCU 11201, and supplies them to the camera head control unit 11405.
- the control signals include information on the imaging conditions, such as information specifying the frame rate of the captured image, information specifying the exposure value during imaging, and/or information specifying the magnification and focus of the captured image.
- the above-mentioned frame rate, exposure value, magnification, focus, and other imaging conditions may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal.
- the endoscope 11100 is equipped with so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function.
- the camera head control unit 11405 controls the operation of the camera head 11102 based on a control signal from the CCU 11201 received via the communication unit 11404.
- the communication unit 11411 is configured with a communication device for transmitting and receiving various information to and from the camera head 11102.
- the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
- the communication unit 11411 also transmits to the camera head 11102 a control signal for controlling the operation of the camera head 11102.
- the image signal and the control signal can be transmitted by electrical communication, optical communication, etc.
- the image processing unit 11412 performs various image processing operations on the image signal, which is the RAW data transmitted from the camera head 11102.
- the control unit 11413 performs various controls related to the imaging of the surgical site, etc. by the endoscope 11100, and the display of the captured images obtained by imaging the surgical site, etc. For example, the control unit 11413 generates a control signal for controlling the driving of the camera head 11102.
- the control unit 11413 also causes the display device 11202 to display the captured image showing the surgical site, etc., based on the image signal that has been image-processed by the image processing unit 11412. At this time, the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 can recognize surgical tools such as forceps, specific body parts, bleeding, mist generated when the energy treatment tool 11112 is used, etc., by detecting the shape and color of the edges of objects included in the captured image. When the control unit 11413 causes the display device 11202 to display the captured image, it may use the recognition result to superimpose various types of surgical support information on the image of the surgical site. By superimposing the surgical support information and presenting it to the surgeon 11131, the burden on the surgeon 11131 can be reduced and the surgeon 11131 can proceed with the surgery reliably.
- various image recognition techniques such as forceps, specific body parts, bleeding, mist generated when the energy treatment tool 11112 is used, etc.
- the transmission cable 11400 that connects the camera head 11102 and the CCU 11201 is an electrical signal cable that supports electrical signal communication, an optical fiber that supports optical communication, or a composite cable of these.
- communication is performed wired using a transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may also be performed wirelessly.
- the technology of the present disclosure can be suitably applied to, for example, the imaging unit 11402 provided in the camera head 11102 of the endoscope 11100.
- the technology of the present disclosure can be suitably applied to the imaging unit 11402, the sensitivity of the imaging unit 11402 can be increased, and a high-definition endoscope 11100 can be provided.
- an imaging device has been described as an example, but the light detection device disclosed herein may be, for example, a device that receives incident light and converts the light into an electric charge.
- the output signal may be a signal of image information or a signal of distance measurement information.
- the light detection device imaging device
- the light detection device may be applied to an image sensor, a distance measurement sensor, etc.
- the optical detection device disclosed herein may also be applied as a distance measurement sensor capable of measuring distance using the Time Of Flight (TOF) method.
- the optical detection device (imaging device) may also be applied as a sensor capable of detecting events, for example, an event-driven sensor (called an Event Vision Sensor (EVS), Event Driven Sensor (EDS), Dynamic Vision Sensor (DVS), etc.).
- EVS Event Vision Sensor
- EDS Event Driven Sensor
- DVS Dynamic Vision Sensor
- the light guide section 40 which is an optical element, may be configured as a spectroscopic element (spectroscopic section) capable of dispersing light by designing the first structure 31, the second structure 32, etc.
- the light guide section 40 is also called a splitter (color splitter).
- the light detection device and optical element (light guide section 40) according to the present disclosure can be applied to various devices.
- the light detection device of one embodiment of the present disclosure includes a first light guide member including a plurality of first structures and a plurality of second structures, and a first photoelectric conversion element that photoelectrically converts the light incident through the first light guide member.
- the first structure and the second structure are made of different materials. Therefore, the incident light can be appropriately guided to the photoelectric conversion element. It is possible to realize a light detection device with good optical characteristics.
- the photodetector of one embodiment of the present disclosure includes a lens onto which light is incident, a first photoelectric conversion element that photoelectrically converts the light incident through the lens, a light guide member including a plurality of structures, and a second photoelectric conversion element that photoelectrically converts the light incident through the light guide member. This makes it possible for the photodetector to appropriately guide the incident light. It is possible to realize a photodetector with good optical characteristics.
- the optical element of one embodiment of the present disclosure comprises a plurality of first structures, a plurality of second structures provided around the plurality of first structures, and a filling member provided between adjacent plurality of first structures and between adjacent plurality of second structures.
- the first structures and the second structures are made of different materials. This makes it possible to appropriately guide the incident light. It is possible to realize an optical element with good optical properties.
- the present disclosure may have the following configurations.
- a first light guide member including a plurality of first structures and a plurality of second structures; a first photoelectric conversion element that performs photoelectric conversion on the light incident via the first light guiding member, The photodetector, wherein the first structure and the second structure are made of different materials.
- a filling member is provided around the first structure, The light detection device according to (1), wherein the refractive index of the first structure is higher than the refractive index of the filling member.
- a first anti-reflection film provided on the first structure; The photodetector according to any one of (1) to (7), wherein the refractive index of the first antireflection film is lower than the refractive index of the first structure.
- a second anti-reflection film provided on the second structure; The photodetector according to any one of (1) to (8), wherein the second antireflection film has a refractive index different from a refractive index of the second structure.
- a first pixel including the lens and the first photoelectric conversion element that photoelectrically converts visible light incident through the lens The light detection device according to (14), further comprising: a second pixel including the light guide member and the second photoelectric conversion element that performs photoelectric conversion on infrared light incident via the light guide member.
- a first pixel including the lens and the first photoelectric conversion element that photoelectrically converts infrared light incident through the lens The light detection device according to (14) or (15), further comprising: a second pixel including the light guiding member and the second photoelectric conversion element that performs photoelectric conversion on visible light incident via the light guiding member.
- An optical system a light detection device that receives light transmitted through the optical system;
- the light detection device includes: a first light guide member including a plurality of first structures and a plurality of second structures; a first photoelectric conversion element that performs photoelectric conversion on the light incident via the first light guiding member;
- the electronic device wherein the first structure and the second structure are made of materials different from each other.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本開示の一実施形態の光検出装置は、複数の第1構造体と複数の第2構造体とを含む第1導光部材と、前記第1導光部材を介して入射する光を光電変換する第1光電変換素子とを備える。前記第1構造体と前記第2構造体とは、互いに異なる材料からなる。
Description
本開示は、光検出装置、光学素子、および電子機器に関する。
SiO2内に包埋されたシリコンピラーを含むメタサーフェス素子が提案されている(特許文献1)。
光を検出する装置では、光学特性を向上させることが望ましい。
良好な光学特性を有する光検出装置を提供することが望まれる。
本開示の一実施形態の光検出装置は、複数の第1構造体と複数の第2構造体とを含む第1導光部材と、第1導光部材を介して入射する光を光電変換する第1光電変換素子とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。
本開示の一実施形態の光検出装置は、光が入射するレンズと、レンズを介して入射する光を光電変換する第1光電変換素子と、複数の構造体を含む導光部材と、導光部材を介して入射する光を光電変換する第2光電変換素子とを備える。
本開示の一実施形態の光学素子は、複数の第1構造体と、複数の第1構造体の周囲に設けられる複数の第2構造体と、隣り合う複数の第1構造体の間と、隣り合う複数の第2構造体の間とに設けられる充填部材とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。
本開示の一実施形態の電子機器は、光学系と、光学系を透過した光を受光する光検出装置とを備える。光検出装置は、複数の第1構造体と複数の第2構造体とを含む第1導光部材と、第1導光部材を介して入射する光を光電変換する第1光電変換素子とを有する。第1構造体と第2構造体とは、互いに異なる材料からなる。
本開示の一実施形態の光検出装置は、光が入射するレンズと、レンズを介して入射する光を光電変換する第1光電変換素子と、複数の構造体を含む導光部材と、導光部材を介して入射する光を光電変換する第2光電変換素子とを備える。
本開示の一実施形態の光学素子は、複数の第1構造体と、複数の第1構造体の周囲に設けられる複数の第2構造体と、隣り合う複数の第1構造体の間と、隣り合う複数の第2構造体の間とに設けられる充填部材とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。
本開示の一実施形態の電子機器は、光学系と、光学系を透過した光を受光する光検出装置とを備える。光検出装置は、複数の第1構造体と複数の第2構造体とを含む第1導光部材と、第1導光部材を介して入射する光を光電変換する第1光電変換素子とを有する。第1構造体と第2構造体とは、互いに異なる材料からなる。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.適用例
6.応用例
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.適用例
6.応用例
<1.第1の実施の形態>
図1は、本開示の第1の実施の形態に係る光検出装置の一例である撮像装置の概略構成の一例を示すブロック図である。図2は、第1の実施の形態に係る撮像装置の画素部の一例を示す図である。光検出装置は、入射する光を検出可能な装置である。光検出装置である撮像装置1は、光電変換部(光電変換素子)を有する複数の画素Pを有し、入射した光を光電変換して信号を生成するように構成される。撮像装置1は、イメージセンサ、測距センサ等に適用され得る。
図1は、本開示の第1の実施の形態に係る光検出装置の一例である撮像装置の概略構成の一例を示すブロック図である。図2は、第1の実施の形態に係る撮像装置の画素部の一例を示す図である。光検出装置は、入射する光を検出可能な装置である。光検出装置である撮像装置1は、光電変換部(光電変換素子)を有する複数の画素Pを有し、入射した光を光電変換して信号を生成するように構成される。撮像装置1は、イメージセンサ、測距センサ等に適用され得る。
撮像装置1(光検出装置)は、光学レンズを含む光学系(不図示)を透過した光を受光して信号を生成し得る。撮像装置1の各画素Pの光電変換部は、例えばフォトダイオード(PD)であり、光を光電変換可能に構成される。撮像装置1は、図2に示す例のように、複数の画素Pが行列状に2次元配置された領域(画素部100)を、撮像エリアとして有する。画素部100は、複数の画素Pが配置される画素アレイであり、受光領域ともいえる。
撮像装置1は、光学レンズを含む光学系を介して、被写体からの入射光(像光)を取り込む。撮像装置1は、光学レンズにより形成される被写体の像を撮像する。撮像装置1は、受光した光を光電変換して画素信号を生成し得る。撮像装置1は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
光検出装置である撮像装置1は、入射した光を受光して信号を生成可能な装置であり、受光装置ともいえる。撮像装置1は、一例として、デジタルスチルカメラ、ビデオカメラ、携帯電話等の電子機器に利用可能である。
[撮像装置の概略構成]
撮像装置1は、図1に示す例のように、画素部100(画素アレイ)の周辺領域に、例えば、画素駆動部111、信号処理部112、制御部113、処理部114等を有する。また、撮像装置1には、複数の制御線L1と、複数の信号線L2が設けられる。
撮像装置1は、図1に示す例のように、画素部100(画素アレイ)の周辺領域に、例えば、画素駆動部111、信号処理部112、制御部113、処理部114等を有する。また、撮像装置1には、複数の制御線L1と、複数の信号線L2が設けられる。
制御線L1は、画素Pを制御する信号を伝えることが可能な信号線であり、画素駆動部111と画素部100の画素Pとに接続される。図1に示す例では、画素部100では、水平方向(行方向)に並ぶ複数の画素Pにより構成される画素行ごとに、複数の制御線L1が配線される。制御線L1は、画素Pからの信号読み出しのための制御信号を伝送するように構成される。
撮像装置1の画素行ごとの複数の制御線L1には、一例として、転送トランジスタを制御する信号を伝送する配線、選択トランジスタを制御する信号を伝送する配線、リセットトランジスタを制御する信号を伝送する配線等が含まれる。制御線L1は、画素Pを駆動する信号を伝送する駆動線(画素駆動線)ともいえる。
信号線L2は、画素Pからの信号を伝えることが可能な信号線であり、画素部100の画素Pと信号処理部112とに接続される。画素部100には、例えば、垂直方向(列方向)に並ぶ複数の画素Pにより構成される画素列ごとに、信号線L2が配線される。信号線L2は、垂直信号線であり、画素Pから出力される信号を伝送するように構成される。
画素駆動部111は、画素部100の各画素Pを駆動可能に構成される。画素駆動部111は、駆動回路であり、例えば、バッファ、シフトレジスタ、アドレスデコーダ等を含む複数の回路によって構成される。画素駆動部111は、画素Pを駆動するための信号を生成し、制御線L1を介して画素部100の各画素Pへ出力する。画素駆動部111は、制御部113により制御され、画素部100の画素Pの制御を行う。
画素駆動部111は、例えば、画素Pの転送トランジスタを制御する信号、選択トランジスタを制御する信号、及びリセットトランジスタを制御する信号等の画素Pを制御するための信号を生成し、制御線L1によって各画素Pに供給する。画素駆動部111は、各画素Pから画素信号を読み出す制御を行い得る。画素駆動部111は、各画素Pを制御可能に構成された画素制御部ともいえる。なお、画素駆動部111と制御部113とを併せて、画素制御部ということもできる。
信号処理部112は、入力される画素の信号の信号処理を実行可能に構成される。信号処理部112は、信号処理回路であり、例えば、負荷回路部、AD(Analog Digital)変換部、水平選択スイッチ等を有する。なお、信号処理部112は、信号線L2を介して画素Pから読み出される信号を増幅するように構成された増幅回路部を有していてもよい。
画素駆動部111によって選択走査された各画素Pから出力される信号は、信号線L2を介して信号処理部112に入力される。信号処理部112は、例えば、画素Pの信号のAD変換、CDS(Correlated Double Sampling:相関二重サンプリング)等の信号処理を行い得る。信号線L2の各々を通して伝送される各画素Pの信号は、信号処理部112により信号処理が施され、処理部114に出力される。
処理部114は、入力される信号に対して信号処理を実行可能に構成される。処理部114は、信号処理回路であり、例えば、画素信号に対して各種の信号処理を施す回路により構成される。処理部114は、プロセッサ及びメモリを含んでいてもよい。処理部114は、信号処理部112から入力される画素の信号に対して信号処理を行い、処理後の画素の信号を出力する。処理部114は、例えば、ノイズ低減処理、階調補正処理等の各種の信号処理を行い得る。
制御部113は、撮像装置1の各部を制御可能に構成される。制御部113は、外部から与えられるクロック、動作モードを指令するデータ等を受け取り、また、撮像装置1の内部情報等のデータを出力し得る。制御部113は、制御回路であり、例えば、各種のタイミング信号を生成可能に構成されたタイミングジェネレータを有する。
制御部113は、タイミングジェネレータで生成された各種のタイミング信号(パルス信号、クロック信号等)に基づき、画素駆動部111及び信号処理部112等の駆動制御を行う。なお、制御部113及び処理部114は、一体的に構成されていてもよい。
画素駆動部111、信号処理部112、制御部113、処理部114等は、1つの半導体基板に設けられていてもよいし、複数の半導体基板に分けて設けられていてもよい。撮像装置1は、複数の基板を積層して構成された構造(積層構造)を有していてもよい。
[画素の構成]
図3は、第1の実施の形態に係る撮像装置の画素の構成例を示す図である。画素Pは、光電変換部12(光電変換素子)と、読み出し回路20とを有する。光電変換部12は、光を受光して信号を生成するように構成される。読み出し回路20は、光電変換された電荷に基づく信号を出力可能に構成される。
図3は、第1の実施の形態に係る撮像装置の画素の構成例を示す図である。画素Pは、光電変換部12(光電変換素子)と、読み出し回路20とを有する。光電変換部12は、光を受光して信号を生成するように構成される。読み出し回路20は、光電変換された電荷に基づく信号を出力可能に構成される。
光電変換部12は、受光部(受光素子)であり、光電変換により電荷を生成可能に構成される。図3に示す例では、光電変換部12は、フォトダイオード(PD)であり、入射する光を電荷に変換する。光電変換部12は、光電変換を行って受光量に応じた電荷を生成する。
読み出し回路20は、一例として、転送トランジスタ13と、FD(フローティングディフュージョン)14と、増幅トランジスタ15と、選択トランジスタ16と、リセットトランジスタ17とを有する。転送トランジスタ13、増幅トランジスタ15、選択トランジスタ16、及びリセットトランジスタ17は、それぞれ、ゲート、ソース、ドレインの端子を有するMOSトランジスタ(MOSFET)である。
図3に示す例では、転送トランジスタ13、増幅トランジスタ15、選択トランジスタ16、及びリセットトランジスタ17は、それぞれNMOSトランジスタにより構成される。なお、画素Pのトランジスタは、PMOSトランジスタにより構成されてもよい。
転送トランジスタ13は、光電変換部12で光電変換された電荷をFD14に転送可能に構成される。図3に示すように、転送トランジスタ13は、信号TRGにより制御され、光電変換部12とFD14とを電気的に接続または切断する。転送トランジスタ13は、光電変換部12で光電変換されて蓄積された電荷をFD14に転送し得る。
FD14は、蓄積部であり、転送された電荷を蓄積可能に構成される。FD14は、光電変換部12で光電変換された電荷を蓄積し得る。FD14は、転送された電荷を保持可能な保持部ともいえる。FD14は、転送された電荷を蓄積し、FD14の容量に応じた電圧に変換する。
増幅トランジスタ15は、FD14に蓄積された電荷に基づく信号を生成して出力するように構成される。図3に示すように、増幅トランジスタ15のゲートは、FD14と電気的に接続され、FD14で変換された電圧が入力される。
増幅トランジスタ15のドレインは、電源電圧VDDが供給される電源線に接続され、増幅トランジスタ15のソースは、選択トランジスタ16を介して信号線L2に接続される。増幅トランジスタ15は、FD14に蓄積された電荷に基づく信号、即ちFD14の電圧に基づく信号を生成し、信号線L2へ出力し得る。
選択トランジスタ16は、画素の信号の出力を制御可能に構成される。選択トランジスタ16は、信号SELにより制御され、増幅トランジスタ15からの信号を信号線L2に出力可能に構成される。
選択トランジスタ16は、画素の信号の出力タイミングを制御し得る。なお、選択トランジスタ16は、電源電圧VDDが与えられる電源線と増幅トランジスタ15との間に設けられてもよい。また、必要に応じて、選択トランジスタ16を省略してもよい。
リセットトランジスタ17は、FD14の電圧をリセット可能に構成される。図3に示す例では、リセットトランジスタ17は、電源電圧VDDが与えられる電源線と電気的に接続され、画素Pの電荷のリセットを行うように構成される。
リセットトランジスタ17は、信号RSTにより制御され、FD14に蓄積された電荷をリセットし、FD14の電圧をリセットし得る。なお、リセットトランジスタ17は、転送トランジスタ13を介して、光電変換部12に蓄積された電荷を排出し得る。
画素駆動部111(図1参照)は、上述した制御線L1を介して、各画素Pの転送トランジスタ13、選択トランジスタ16、リセットトランジスタ17等のゲートに制御信号を供給し、トランジスタをオン状態(導通状態)又はオフ状態(非導通状態)とする。
撮像装置1の複数の制御線L1には、例えば、転送トランジスタ13を制御する信号TRGを伝送する配線、選択トランジスタ16を制御する信号SELを伝送する配線、リセットトランジスタ17を制御する信号RSTを伝送する配線等が含まれる。
なお、読み出し回路20は、電荷を電圧に変換する際の変換効率(ゲイン)を変更可能に構成されてもよい。例えば、読み出し回路20は、変換効率の設定に用いる切り替えトランジスタを有し得る。切り替えトランジスタは、一例として、FD14とリセットトランジスタ17との間に設けられる。
読み出し回路20では、切り替えトランジスタがオン状態となることで、画素PのFD14に付加される容量が大きくなり、変換効率が切り替えられる。切り替えトランジスタは、増幅トランジスタ15のゲートに接続される容量を切り替え、変換効率を変更し得る。
転送トランジスタ13、選択トランジスタ16、リセットトランジスタ17、及び、切り替えトランジスタ等は、画素駆動部111によってオンオフ制御される。画素駆動部111は、各画素Pの読み出し回路20を制御することによって、各画素Pから画素信号を信号線L2に出力させる。画素駆動部111は、各画素Pの画素信号を信号線L2へ読み出す制御を行い得る。
[撮像装置の構成]
図4は、第1の実施の形態に係る撮像装置の平面構成の一例を示す図である。図4は、撮像装置1における画素部100の画素Pの配置例を示している。撮像装置1の画素Pは、複数の構造体を用いて構成される導光部40(導光部材)を有する。
図4は、第1の実施の形態に係る撮像装置の平面構成の一例を示す図である。図4は、撮像装置1における画素部100の画素Pの配置例を示している。撮像装置1の画素Pは、複数の構造体を用いて構成される導光部40(導光部材)を有する。
導光部40は、複数の構造体を有し、計測対象からの光を光電変換部側に導光するように構成される。導光部40は、複数種の構造体(図4では第1構造体31及び第2構造体32)と、構造体の周囲に設けられる充填部材35とを有する。図4に示す例では、導光部40は、複数の第1構造体31と、複数の第2構造体32を含んで構成される。第2構造体32は、第1構造体31の周りに設けられる。
第1構造体31及び第2構造体32は、異なる材料を用いて構成される。第2構造体32は、第1構造体31の周囲に配置され、第1構造体31の屈折率とは異なる屈折率を有する。第1構造体31と第2構造体32は、後述するが、例えば、柱状(ピラー状)の形状を有する。撮像装置1では、例えば、図4に示す例のように、画素P毎または複数の画素P毎に、導光部40が設けられる。
なお、図4に示すように、被写体からの光の入射方向をZ軸方向、Z軸方向に直交する紙面左右方向をX軸方向、Z軸方向及びX軸方向に直交する紙面上下方向をY軸方向とする。以降の図において、図4の矢印の方向を基準として方向を表記する場合もある。
図5は、第1の実施の形態に係る撮像装置の断面構成の一例を示す図である。撮像装置1は、例えば、図5に示すように、導光部40と、絶縁層50と、半導体層10と、多層配線層90とがZ軸方向に積層された構成を有する。
半導体層10は、図5に示すように、対向する第1面11S1及び第2面11S2を有する。第2面11S2は、第1面11S1とは反対側の面である。半導体層10は、半導体基板、例えばSi(シリコン)基板により構成される。半導体層10の第1面11S1は、受光面(光入射面)である。半導体層10の第2面11S2は、トランジスタ等の素子が形成される素子形成面である。半導体層10の第2面11S2には、ゲート電極、ゲート酸化膜等が設けられ得る。
図5に示す例では、半導体層10の第1面11S1側に、導光部40及び絶縁層50等が設けられる。半導体層10の第2面11S2側には、多層配線層90が設けられる。光学系からの光が入射する側に導光部40が設けられ、光が入射する側とは反対側に多層配線層90が設けられる。撮像装置1は、いわゆる裏面照射型の撮像装置である。
半導体層10では、半導体層10の第1面11S1及び第2面11S2に沿って、複数の光電変換部12(光電変換素子)が設けられる。半導体層10には、例えば、複数の光電変換部12が埋め込み形成される。なお、半導体層10は、SOI(Silicon On Insulator)基板、SiGe(シリコンゲルマニウム)基板、SiC(シリコンカーバイド)基板等であってもよく、III-V族の化合物半導体材料等により構成されてもよい。
多層配線層90は、例えば、導体膜および絶縁膜を含み、複数の配線およびビア(VIA)等を有する。多層配線層90は、例えば2層以上の配線を含む。多層配線層90は、複数の配線が絶縁膜を間に積層された構成を有する。多層配線層90の絶縁膜は、層間絶縁膜(層間絶縁層)ともいえる。
多層配線層90の配線は、例えば、アルミニウム(Al)、銅(Cu)、タングステン(W)等の金属材料を用いて形成される。多層配線層90の配線は、ポリシリコン(Poly-Si)、その他の導電材料を用いて構成されてもよい。層間絶縁膜は、例えば、酸化シリコン(SiO)、窒化シリコン(SiN)、酸窒化シリコン(SiON)等を用いて形成される。
半導体層10及び多層配線層90には、例えば、上述した読み出し回路20(図3参照)が設けられる。なお、上述した画素駆動部111、信号処理部112、制御部113、及び処理部114等(図1参照)は、半導体層10とは別の基板、又は、半導体層10及び多層配線層90に設けられ得る。
絶縁層50は、導光部40が設けられる層と、半導体層10との間に設けられる。絶縁層50は、半導体層10に積層して設けられ、半導体層10の第1面11S1上に位置する。絶縁層50は、例えば、酸化膜、窒化膜、酸窒化膜等の絶縁膜を用いて形成される。
絶縁層50は、酸化シリコン(SiO)、窒化シリコン(SiN)及び酸窒化シリコン(SiON)等により構成されてもよいし、他の絶縁材料を用いて構成されてよい。絶縁層50は、平坦化層(平坦化膜)ともいえる。
遮光部55(遮光膜)は、光を遮る部材により構成され、隣り合う複数の画素Pの境界に設けられる。遮光部55(遮光部材)は、例えば、半導体層10の第1面11S1側において、絶縁層50内または絶縁層50上に形成される。図5に示す例では、遮光部55は、分離部60の上方に位置している。
遮光部55は、例えば、光を遮光する金属材料(アルミニウム(Al)、タングステン(W)、銅(Cu)等)により構成される。遮光部55は、光を吸収する材料により構成されてもよい。遮光部55は、光電変換部12の周囲に設けられ、周囲の画素に光が漏れることを抑制する。
また、撮像装置1には、図5に示す例のように、分離部60が設けられる。分離部60は、隣り合う複数の光電変換部12の間に設けられ、光電変換部12間を分離する。分離部60は、隣り合う画素P(又は光電変換部12)の境界に設けられるトレンチ(溝部)を有する。分離部60は、例えば、半導体層10において光電変換部12を囲むように設けられる。
分離部60は、例えば、図5に示す例のように、半導体層10を貫通するように設けられ得る。分離部60のトレンチ内には、一例として、絶縁膜、例えばシリコン酸化膜が設けられる。なお、分離部60のトレンチには、ポリシリコン、金属材料等が埋め込まれていてもよい。
分離部60は、低屈折率を有する他の誘電体材料を用いて形成されてもよい。例えば、分離部60のトレンチ内には、空隙(空洞)が設けられていてもよい。分離部60が設けられることで、周囲の画素Pに光が漏れることが抑制される。不要な光が周囲に漏れることを抑制し、例えば、混色が生じることを抑制することができる。
なお、撮像装置1は、固定電荷膜及び反射防止膜を有していてもよい。固定電荷膜及び反射防止膜は、例えば、半導体層10と絶縁層50との間に設けられる。固定電荷膜は、一例として、金属化合物(金属酸化物、金属窒化物等)により構成される。固定電荷膜は、例えば負の固定電荷を有する膜であり、半導体層10の界面における暗電流の発生を抑制する。
反射防止膜は、一例として、窒化シリコン(SiN)、酸化シリコン(SiO)等の絶縁材料を用いて構成される。反射防止膜は、例えば、半導体層10の第1面11S1側に設けられ、反射を低減(抑制)する。なお、絶縁層50又は導光部40は、固定電荷膜及び反射防止膜の少なくとも一方を含んで構成されてもよい。
導光部40(導光部材)は、第1構造体31及び第2構造体32を有し、入射した光を光電変換部12側へ導光するように構成される。撮像装置1の各画素Pの導光部40には、計測対象である被写体からの光が入射する。第1構造体31及び第2構造体32は、それぞれ、入射する光の所定波長以下の大きさの微細(微小)な構造体である。
第1構造体31及び第2構造体32は、それぞれ、例えば、赤外光の波長域以下の大きさを有する。第1構造体31と第2構造体32は、それぞれ、近赤外光の波長域以下の大きさを有していてもよい。また、第1構造体31及び第2構造体32の各々は、可視光の波長域以下の大きさを有していてもよい。
導光部40は、第1構造体31及び第2構造体32と、第1構造体31及び第2構造体32の周囲に設けられる充填部材35とを有する。第1構造体31、第2構造体32は、例えば、柱状(ピラー状)の構造体である。導光部40では、第2構造体32は、例えば、複数の第1構造体31の周りの領域に設けられる。
なお、導光部40の構造体の形状は、適宜変更可能である。例えば、第1構造体31及び第2構造体32は、それぞれ、円柱状の形状を有する。また、例えば、第1構造体31及び第2構造体32は、それぞれ、四角柱の形状を有し得る。第1構造体31及び第2構造体32の各々の形状は、平面視において、四角形の形状であってもよい。第1構造体31の形状および第2構造体32の形状は、それぞれ、多角形、楕円、十字形、又はその他の形状であってもよい。
充填部材35は、隣り合う複数の第1構造体31の間を充填するように設けられる。また、充填部材35は、図5に示す例のように、隣り合う複数の第2構造体32の間、および第1構造体31と第2構造体32との間を充填するように設けられる。充填部材35は、複数の第1構造体31の間と、複数の第2構造体32の間と、第1構造体31と第2構造体32との間に埋め込まれている。
充填部材35は、第1構造体31及び第2構造体32を覆うように形成されていてもよい。第1構造体31及び第2構造体32は、それぞれ、充填部材35内に設けられ、充填部材35の一部に置換して配置されるともいえる。
導光部40(導光部材)は、ナノ構造体(微細構造体、メタアトム、ナノアトム、ナノポストなどとも言い換えられる。)である第1構造体31及び第2構造体32を利用し、光を光電変換部12へ伝搬させる。導光部40は、光を導光(伝搬)する光学素子(光学部材)である。
導光部40は、例えば、光を偏向する偏向素子(偏向部)として構成され得る。導光部40は、例えば、入射する光に位相遅延を与え、光を偏向するように構成される。導光部40は、例えば、画素Pごと又は複数の画素Pごとに設けられ得る。
第1構造体31及び第2構造体32は、例えば、図5に示すように、ピラー(柱状部材)である。図5に模式的に示すように、複数の第1構造体31及び第2構造体32は、充填部材35の一部を挟んで、紙面左右方向(X軸方向)に互いに並んで配置される。
撮像装置1の各画素Pでは、入射光の所定波長以下、例えば赤外光(又は可視光)の波長以下の間隔で、複数の第1構造体31及び第2構造体32が配置され得る。撮像装置1では、一例として、X軸方向及びY軸方向において、近赤外光の波長域以下の間隔で、複数の第1構造体31と複数の第2構造体32とが設けられ得る。
第1構造体31は、隣の媒質の屈折率とは異なる屈折率を有する。図5に示す例では、第1構造体31は、第1構造体31の周りに配置された充填部材35の屈折率とは異なる屈折率を有する。また、第2構造体32は、隣の媒質の屈折率とは異なる屈折率を有する。図5に示す例では、第2構造体32は、第2構造体32の周りに配置された充填部材35の屈折率とは異なる屈折率を有する。
本実施の形態では、第1構造体31と第2構造体32は、異なる材料を用いて構成される。第2構造体32は、第1構造体31の屈折率とは異なる屈折率を有する。導光部40の第1構造体31は、例えば、充填部材35の屈折率より高い屈折率を有していてもよい。また、第1構造体31は、第2構造体32の屈折率より高い屈折率を有していてもよい。第1構造体31は、充填部材35の屈折率及び第2構造体32の屈折率よりも高い屈折率を有する材料により構成され得る。
導光部40の第2構造体32は、充填部材35の屈折率より低い屈折率を有していてもよい。また、第2構造体32は、第1構造体31の屈折率より低い屈折率を有していてもよい。第2構造体32は、充填部材35の屈折率及び第1構造体31の屈折率よりも低い屈折率を有する材料により構成され得る。
導光部40の第1構造体31及び第2構造体32は、無機材料を用いて構成されてもよいし、有機材料を用いて構成されてもよい。第1構造体31及び第2構造体32は、異なる材料を用いて構成される。第1構造体31は、一例として、アモルファスシリコン(a-Si)を用いて構成され得る。第1構造体31は、ポリシリコン(Poly-Si)、ゲルマニウム(Ge)等を用いて構成されてもよい。
また、第1構造体31は、チタン、ハフニウム、ジルコニウム、タンタル、アルミニウム、ニオブ、インジウム等の単体、酸化物、窒化物、酸窒化物、或いはこれらの複合物で構成されてもよい。例えば、第1構造体31は、酸化チタン(TiO)等の金属化合物(金属酸化物、金属窒化物等)により構成され得る。なお、第1構造体31は、有機材料を用いて構成されてもよい。
第2構造体32は、一例として、フッ化マグネシウム(MgF)を用いて構成され得る。第2構造体32は、酸化シリコン、窒化シリコン、窒化酸化シリコン、炭化シリコン、酸化炭化シリコン、他のシリコン化合物を用いて形成されてもよい。また、第2構造体32は、シロキサンなどの有機物から構成されてもよい。例えば、第2構造体32は、シロキサン系樹脂、スチレン系樹脂、アクリル系樹脂等を用いて構成されてもよい。
充填部材35は、一例として、酸化物、窒化物、酸窒化物等の無機材料を用いて形成される。充填部材35は、例えば、酸化シリコン、窒化シリコン、窒化酸化シリコン、炭化シリコン、酸化炭化シリコン等により構成される。なお、充填部材35は、有機材料を用いて構成されてもよい。
充填部材35は、シロキサン系樹脂、スチレン系樹脂、アクリル系樹脂等を用いて構成されてもよい。これらの樹脂のいずれかにフッ素を含有した材料により、充填部材35が構成されてもよい。これらの樹脂のいずれかに、その樹脂よりも高い屈折率を有するビーズを内填した材料を用いて、充填部材35を形成してもよい。
第1構造体31、第2構造体32、及び充填部材35の材料は、周囲の媒質との屈折率差、計測対象となる入射光の波長域に応じて選択され得る。例えば、赤外光の導光を行う撮像装置1の場合、第1構造体31が、アモルファスシリコン、ゲルマニウム等で構成されていてもよい。また、例えば、可視光の導光を行う撮像装置1の場合、第1構造体31は、酸化チタンを用いて構成されてもよい。
導光部40は、第1構造体31及び第2構造体32とそれらの周囲の媒質との屈折率差によって、入射する光に位相遅延を生じさせ、波面に影響を与えることができる。導光部40は、例えば、第1構造体31と第2構造体32と充填部材35によって入射光に対して位相遅延を与えることで、光の伝搬方向を調整することが可能となる。
入射光に含まれる任意の波長域の光が所望の方向に進むように、複数の第1構造体31及び第2構造体32の材料(各材料の光学定数)、大きさ(サイズ)、形状、ピッチ(配置間隔)等が定められる。図5に示す例では、導光部40の第1構造体31及び第2構造体32の各々の屈折率、大きさ(幅、高さ等)、形状、ピッチと、充填部材35の屈折率等が設定され得る。
導光部40は、メタマテリアル(メタサーフェス)技術を利用した光学素子であり、光を導光可能な導光素子ともいえる。導光部40は、例えば、特定の波長域の光の進行方向を変える光学素子(ディフレクター)として構成され得る。
導光部40による光の伝搬方向は、第1構造体31及び第2構造体32及び充填部材35等の素材、第1構造体31及び第2構造体32の形状、高さ、配置位置等によって調整可能である。例えば、検出対象とする波長帯の光(例えば赤外光)が光電変換部12へ集光されるように、第1構造体31及び第2構造体32等の素材、大きさ等が定められる。
撮像装置1の各画素Pの光電変換部12には、上述したように、導光部40を介して、被写体からの光が入射する。各画素Pの光電変換部12は、導光部40の第1構造体31及び第2構造体32を介して入射する光を受光して光電変換を行い、受光量に応じた電荷を生成し得る。こうして、撮像装置1は、光電変換部12による光電変換によって得られる画素信号を生成し得る。
各画素の画素信号を含む画像データ(画像信号)を用いることで、例えば、赤外画像、可視画像等を生成することが可能となる。本実施の形態に係る撮像装置1では、導光部40によって適切に光を導光することができ、入射光に対する感度が低下することを抑制することが可能となる。
本実施の形態では、上述したように、導光部40は、第1構造体31及び第2構造体32を用いて構成される。第1構造体31及び第2構造体32は、互いに異なる材料からなる。導光部40を互いに異なる素材からなる第1構造体31及び第2構造体32によって構成することで、所望の位相遅延量を実現することができる。
第1構造体31と第2構造体32と充填部材35の各々の屈折率に応じて、光の位相差を細かく調整することができ、入射した光を適切に導光することが可能となる。このため、光電変換部12へ効率よく光を集光することができ、入射光に対する感度を向上させることが可能となる。
このように、本実施の形態に係る撮像装置1では、二種以上の素材を用いて複数種類の構造体(例えば、第1構造体31、第2構造体32)を配置することで、光の制御性を向上させることが可能となる。製造工程における工程数の増大を回避しつつ、撮像装置1の光学性能を向上させることができる。撮像装置1の製造コストの増大を抑制することが可能となる。
図6A~図6Cは、第1の実施の形態に係る撮像装置の異なる像高の位置における画素の構成例を説明するための図である。図6Aは、撮像装置1の画素部100(画素アレイ)の中心付近の領域、即ち画素部100の中心からの距離(即ち、像高)が略ゼロの領域における画素の平面構成の一例を模式的に示している。図6Bは、図6Aの場合よりも、像高が高い領域における画素の平面構成の一例を表している。図6Cは、図6Bの場合よりも、像高が高い領域における画素の平面構成の一例を表している。
撮像装置1の画素部100(画素アレイ)の中央部分には、光学レンズからの光がほぼ垂直に入射する。一方、中央部分よりも外側に位置する周辺部分、即ち画素部100の中央から離れた領域には、光が斜めに入射する。そこで、撮像装置1では、図6A~図6Cに示す例のように、各画素Pにおける導光部40は、画素部100の中心からの距離、即ち、像高に応じて異なるように構成されてもよい。
一例として、画素部100の中心付近の領域では、図6Aに示すように、画素Pの導光部40は、第1構造体31及び第2構造体32のうちの一方の構造体、例えば第1構造体31を有する。像高が高い領域では、図6B及び図6Cに示すように、画素Pの導光部40は、第1構造体31及び第2構造体32を有する。
図6Cに示すように、図6Bの場合よりも像高が高い領域では、図6Bの場合の数よりも多くの第2構造体32を配置するようにしてもよい。撮像装置1の各画素Pは、像高中心に向かって低屈折率(又は高屈折率)のピラー密度が連続的に変化するように構成されてもよい。例えば、各画素Pにおける第1構造体31及び第2構造体32の各々の配置数が、像高に応じて異なるように構成され得る。
このように、撮像装置1では、各画素Pの導光部40が像高に応じて異なるように構成され、瞳補正を適切に行うことができる。光電変換部12に入射する光量が低下することを抑制し、入射光に対する感度が低下することを防ぐことが可能となる。光が斜めに入射する場合でも、入射する光を適切に光電変換部12へ伝搬させることが可能となる。
図7A~図7Cは、撮像装置の異なる像高の位置における画素の別の構成例を説明するための図である。図7Bは、図7Aの場合よりも像高が高い領域における画素の構成例を示し、図7Cは、図7Bの場合よりも像高が高い領域における画素の構成例を示している。
撮像装置1は、像高に応じて異なる屈折率の構造体が設けられた導光部40を有していてもよい。例えば、図7A~図7Cに示す第1構造体31a~第1構造体31cは、それぞれ、異なる材料を用いて構成されてもよい。また、第2構造体32a~第2構造体32cは、それぞれ、異なる材料を用いて構成されてもよい。
画素部100の中心付近の領域では、図7Aに示すように、画素Pの導光部40は、第1構造体31a及び第2構造体32aを有する。図7Aの場合よりも像高が高い領域では、図7Bに示すように、画素Pの導光部40は、例えば、第1構造体31aの屈折率よりも高い屈折率を有する第1構造体31bを有する。また、画素Pの導光部40は、第2構造体32aの屈折率よりも高い屈折率を有する第2構造体32bを有していてもよい。
図7Bの場合よりも像高が高い領域では、図7Cに示すように、画素Pの導光部40は、例えば、第1構造体31bの屈折率よりも高い屈折率を有する第1構造体31cを有する。また、画素Pの導光部40は、第2構造体32bの屈折率よりも高い屈折率を有する第2構造体32cを有していてもよい。
このように、撮像装置1では、像高に応じて異なる屈折率の構造体(図7A~図7Cでは、第1構造体31a~31c、第2構造体32a~32c)が設けられてもよい。これにより、斜入射光の場合も、入射する光を光電変換部12へ導光することが可能となる。斜入射光に対する撮像装置1の光学特性が悪化することを抑制することが可能となる。
[作用・効果]
本実施の形態に係る光検出装置は、複数の第1構造体(第1構造体31)と複数の第2構造体(第2構造体32)とを含む第1導光部材(導光部40)と、第1導光部材を介して入射する光を光電変換する第1光電変換素子(光電変換部12)とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。
本実施の形態に係る光検出装置は、複数の第1構造体(第1構造体31)と複数の第2構造体(第2構造体32)とを含む第1導光部材(導光部40)と、第1導光部材を介して入射する光を光電変換する第1光電変換素子(光電変換部12)とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。
本実施の形態に係る光検出装置(撮像装置1)では、第1構造体31及び第2構造体32を有する導光部40が設けられる。第1構造体31と第2構造体32とは、互いに異なる材料からなる。これにより、入射する光を光電変換部12へ適切に導光することができる。良好な光学特性を有する光検出装置を実現することが可能となる。
本実施の形態に係る光学素子は、複数の第1構造体(第1構造体31)と、複数の第1構造体の周囲に設けられる複数の第2構造体(第2構造体32)と、隣り合う複数の第1構造体の間と、隣り合う複数の第2構造体の間とに設けられる充填部材(充填部材35)とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。
本実施の形態に係る光学素子(導光部40)は、第1構造体31と第2構造体32と充填部材35を有する。第1構造体31と第2構造体32とは、互いに異なる材料からなる。これにより、入射する光を適切に集光することが可能となる。良好な光学特性を有する光学素子を実現することが可能となる。
(1-1.変形例1)
図8は、本開示の変形例1に係る撮像装置の断面構成の一例を示す図である。導光部40の第2構造体32は、空気(空隙)を用いて構成されてもよい。図8に示す例では、第2構造体32は、空間(空洞)を有する。低屈折率部材である第2構造体32とその周囲の媒質との屈折率差によって、入射する光に位相遅延を与え、光を適切に導光することが可能となる。
図8は、本開示の変形例1に係る撮像装置の断面構成の一例を示す図である。導光部40の第2構造体32は、空気(空隙)を用いて構成されてもよい。図8に示す例では、第2構造体32は、空間(空洞)を有する。低屈折率部材である第2構造体32とその周囲の媒質との屈折率差によって、入射する光に位相遅延を与え、光を適切に導光することが可能となる。
図9及び図10は、変形例1に係る撮像装置の断面構成の別の例を示す図である。図9に示す例のように、空気を用いて構成される第2構造体32を、隣り合う複数の画素Pの境界に設けるようにしてもよい。空隙を有する第2構造体32の少なくとも一部が、隣り合う複数の画素Pの境界に設けられる。
図10に示す例のように、第2構造体32を、第1構造体31の周りと、隣り合う複数の画素Pの境界とに設けるようにしてもよい。図11に模式的に示すように、第2構造体32は、空気(空隙)により構成され、平面視において画素Pの境界に沿うように形成されていてもよい。例えば、各画素Pには、柱状の形状を有する第2構造体32と、複数の画素Pの境界に沿って設けられる第2構造体32とが配置される。なお、図9又は図10に示すように、撮像装置1は、遮光部55を有していなくてもよい。言い換えると、分離部60の上方(直上)に位置する第2構造体32が空気により構成されていてもよい。
本変形例では、空隙を有する第2構造体32が隣り合う複数の画素Pの境界に設けられることで、周囲の画素Pに光が漏れることを抑制することが可能となる。不要な光が漏れることを抑制することができ、画素信号にノイズが混入することを抑制することが可能となる。また、本変形例の場合も、上述した実施の形態と同様の効果を得ることができる。
(1-2.変形例2)
図12A~図12Cは、本開示の変形例2に係る撮像装置の断面構成の一例を示す図である。撮像装置1では、導光部40の構造体に対して、反射防止膜を設けるようにしてもよい。図12Aに示す例では、各画素Pの導光部40は、反射防止膜45及び反射防止膜46を有する。
図12A~図12Cは、本開示の変形例2に係る撮像装置の断面構成の一例を示す図である。撮像装置1では、導光部40の構造体に対して、反射防止膜を設けるようにしてもよい。図12Aに示す例では、各画素Pの導光部40は、反射防止膜45及び反射防止膜46を有する。
反射防止膜45は、第1構造体31に対して設けられ、第1構造体31の屈折率とは異なる屈折率を有する。反射防止膜45は、例えば、第1構造体31の屈折率よりも低い屈折率を有する。反射防止膜45は、第1構造体31の上に設けられ、反射を低減(抑制)する。
反射防止膜46は、第2構造体32に対して設けられ、第2構造体32の屈折率とは異なる屈折率を有する。反射防止膜46は、例えば、第2構造体32の屈折率よりも低い屈折率を有する。反射防止膜46は、第2構造体32の上に設けられ、反射を低減する。
反射防止膜45及び反射防止膜46は、それぞれ、例えば、酸化シリコン(SiO)、窒化シリコン(SiN)等の絶縁材料を用いて構成される。反射防止膜45及び反射防止膜46は、他の材料を用いて構成されてもよい。
なお、図12B及び図12Cに示すように、導光部40を、反射防止膜45及び反射防止膜46の一方のみを有する構成としてもよい。例えば、第2構造体32が空隙により構成される場合、第2構造体32上に反射防止膜46を配置しなくてもよい。
<2.第2の実施の形態>
次に、本開示の第2の実施の形態について説明する。以下では、上述した実施の形態と同様の構成部分については同一の符号を付し、適宜説明を省略する。
次に、本開示の第2の実施の形態について説明する。以下では、上述した実施の形態と同様の構成部分については同一の符号を付し、適宜説明を省略する。
図13は、第2の実施の形態に係る撮像装置の断面構成の一例を示す図である。撮像装置1の画素部100の複数の画素Pには、複数の画素P1及び画素P2が含まれる。画素P1は、図13に示すように、フィルタ25及びフィルタ26を有する。フィルタ25は、例えば、RGBのカラーフィルタである。フィルタ26は、赤外光を遮光するフィルタ(IR-Cut filter)である。画素P1は、可視光を受光して光電変換する光電変換部12を有する画素である。
撮像装置1の画素部100に設けられた複数の画素P1には、例えば、赤(R)の光を透過するフィルタ25が設けられた複数の画素(R画素)と、緑(G)の光を透過するフィルタ25が設けられた複数の画素(G画素)と、青(B)の光を透過するフィルタ25が設けられた複数の画素(B画素)が含まれる。
また、画素部100の画素P1に設けられるフィルタ25は、原色系(RGB)のカラーフィルタに限定されず、例えばCy(シアン)、Mg(マゼンタ)、Ye(イエロー)等の補色系のカラーフィルタであってもよい。W(ホワイト)に対応したフィルタ、即ち入射光の全波長域の光を透過させるフィルタを配置するようにしてもよい。
画素P2は、例えば、赤外光を透過するフィルタ27を有する画素(IR画素)である。フィルタ27は、一例として、B(青)のカラーフィルタとR(赤)のカラーフィルタとを積層して構成される。画素P2は、赤外光を受光して光電変換する光電変換部12を有する画素である。
図13に示す例では、画素P1に対してレンズ21が設けられ、画素P2に対して導光部40が設けられる。レンズ21は、オンチップレンズとも呼ばれる光学部材である。レンズ21(レンズ部)は、画素P1毎または複数の画素P1毎に、フィルタ25の上方に設けられる。レンズ21には、撮像レンズ等の光学系を介して被写体からの光が入射する。
図13に示す例では、レンズ21のZ軸方向における高さ、すなわちレンズ21のZ軸方向の厚さは、レンズ21に入射する可視光の波長域の光が画素P1の光電変換部12に集光されるように設定される。画素P1の光電変換部12は、レンズ21を介して入射する光を光電変換する。
また、入射する赤外光の波長域の光が画素P2の光電変換部12へ集光されるように、画素P2の導光部40の第1構造体31の屈折率、大きさ、ピッチ等が設定される。なお、第1の実施の形態の場合と同様に、導光部40は、複数種類の構造体(例えば、第1構造体31、第2構造体32)を用いて構成されてもよい。
こうして、撮像装置1の画素P1では、レンズ21によって可視光を適切に導光することが可能となる。また、撮像装置1の画素P2では、導光部40によって赤外光を適切に導光することが可能となる。撮像装置1の複数の画素P1及び画素P2によって得られる各画素の画素信号を用いて、赤外画像(IR画像)及び可視画像を生成することが可能となる。RGB画素である画素P1とIR画素である画素P2において適切にフォーカスポイントを設定することができ、画像の画質を向上させることが可能となる。
なお、図14に示す例のように、画素P1に対して導光部40を配置し、画素P2に対してレンズ21を配置するようにしてもよい。この場合、入射する可視光が画素P1の光電変換部12へ集光されるように、画素P1の導光部40の第1構造体31の屈折率、大きさ等が設定され得る。また、レンズ21のZ軸方向における高さ(厚さ)は、レンズ21に入射する赤外光が画素P2の光電変換部12に集光されるように設定され得る。
こうして、撮像装置1の画素P1では、導光部40によって可視光を適切に導光することができる。また、撮像装置1の画素P2では、レンズ21によって赤外光を適切に導光することが可能となる。画素P1と画素P2において適切にフォーカスポイントを調整することができ、画像の画質を向上させることが可能となる。
[作用・効果]
本実施の形態に係る光検出装置は、光が入射するレンズ(レンズ21)と、レンズを介して入射する光を光電変換する第1光電変換素子(例えば画素P1の光電変換部12)と、複数の構造体を含む導光部材(導光部40)と、導光部材を介して入射する光を光電変換する第2光電変換素子(例えば画素P2の光電変換部12)とを備える。
本実施の形態に係る光検出装置は、光が入射するレンズ(レンズ21)と、レンズを介して入射する光を光電変換する第1光電変換素子(例えば画素P1の光電変換部12)と、複数の構造体を含む導光部材(導光部40)と、導光部材を介して入射する光を光電変換する第2光電変換素子(例えば画素P2の光電変換部12)とを備える。
本実施の形態に係る光検出装置(撮像装置1)では、例えば、レンズ21を介して入射する光を光電変換する光電変換部12を有する画素P1と、導光部40を介して入射する光を光電変換する光電変換部12を有する画素P2とが設けられる。このため、画素P1では、レンズ21によって入射光を適切に導光し、画素P2では、導光部40によって入射光を適切に導光することが可能となる。良好な光学特性を有する光検出装置を実現することが可能となる。
<3.第3の実施の形態>
次に、本開示の第3の実施の形態について説明する。以下では、上述した実施の形態と同様の構成部分については同一の符号を付し、適宜説明を省略する。
次に、本開示の第3の実施の形態について説明する。以下では、上述した実施の形態と同様の構成部分については同一の符号を付し、適宜説明を省略する。
図15は、第3の実施の形態に係る撮像装置の断面構成の一例を示す図である。撮像装置1の画素Pは、図15に示すように、レンズ21と、フィルタ25と、光電変換部22と、フィルタ27と、導光部40と、光電変換部12とを有する。フィルタ25は、例えば、RGBのカラーフィルタである。フィルタ27は、赤外光を透過するように構成される。
図15に示す例のように、光が入射する側から、レンズ21と、フィルタ25と、光電変換部22と、フィルタ27と、導光部40と、光電変換部12とが設けられている。光電変換部22(光電変換素子)は、光を受光して信号を生成するように構成される。光電変換部22は、受光部(受光素子)であり、光電変換により電荷を生成可能に構成される。
光電変換部22は、例えば、フォトダイオード(PD)であり、入射する光を電荷に変換する。光電変換部22は、例えば、シリコン等の無機材料を用いて構成される。図15に示す例では、光電変換部22は、半導体層80に設けられる。半導体層80には、複数の光電変換部22が形成される。なお、光電変換部22は、有機材料を用いて構成されてもよい。光電変換部22として、有機材料からなる光電変換膜を設けるようにしてもよい。
図15に示す例では、レンズ21のZ軸方向における高さ、即ちレンズ21のZ軸方向の厚さは、レンズ21に入射する可視光の波長域の光が光電変換部22に集光されるように調整される。光電変換部22は、レンズ21とフィルタ25とを介して入射する可視光を光電変換し、画素信号を生成し得る。
また、図15に示す例では、入射する赤外光の波長域の光が光電変換部12へ集光されるように、導光部40の第1構造体31の屈折率、大きさ、ピッチ等が設定される。光電変換部12は、レンズ21とフィルタ25と光電変換部22とフィルタ27と導光部40とを介して入射する赤外光を光電変換し、画素信号を生成し得る。なお、第1の実施の形態の場合と同様に、導光部40は、複数種類の構造体(例えば、第1構造体31、第2構造体32)を用いて構成されてもよい。
本実施の形態では、レンズ21によって可視光を光電変換部22へ導光し、導光部40によって赤外光を光電変換部12へ集光することが可能となる。撮像装置1の各画素Pの画素信号を用いて、赤外画像(例えばNIR画像)及び可視画像を生成することが可能となる。可視光と赤外光の各々に対して適切にフォーカスポイントを調整することができ、画像の画質を向上させることが可能となる。
なお、撮像装置1は、赤外光を透過するフィルタ27の代わりに、又はこれに加えて、図16に示す例のように、導光部41を有していてもよい。導光部41は、例えば、特定の波長域の光(例えば赤外光の波長域の光)を透過するように構成される。
導光部41は、導光部40と同様に、一例として、柱状の形状を有する第1構造体31、第2構造体32等を用いて構成される。導光部40と導光部41の各々の構造体(第1構造体31、第2構造体32等)は、例えば、各々の素材、大きさ、形状等が異なるように形成され得る。
[作用・効果]
本実施の形態に係る光検出装置は、光が入射するレンズ(レンズ21)と、レンズを介して入射する光を光電変換する第1光電変換素子(例えば光電変換部22)と、複数の構造体を含む導光部材(例えば導光部40)と、導光部材を介して入射する光を光電変換する第2光電変換素子(例えば光電変換部12)とを備える。光が入射する側から、レンズと、第1光電変換素子と、導光部材と、第2光電変換素子とが設けられている。
本実施の形態に係る光検出装置は、光が入射するレンズ(レンズ21)と、レンズを介して入射する光を光電変換する第1光電変換素子(例えば光電変換部22)と、複数の構造体を含む導光部材(例えば導光部40)と、導光部材を介して入射する光を光電変換する第2光電変換素子(例えば光電変換部12)とを備える。光が入射する側から、レンズと、第1光電変換素子と、導光部材と、第2光電変換素子とが設けられている。
本実施の形態に係る光検出装置(撮像装置1)では、画素Pは、例えば、レンズ21を介して入射する光を光電変換する光電変換部22と、導光部40を介して入射する光を光電変換する光電変換部12とを有する。画素Pでは、例えば、レンズ21によって可視光を光電変換部22へ適切に集光し、導光部40によって赤外光を光電変換部12へ適切に集光することが可能となる。良好な光学特性を有する光検出装置を実現することが可能となる。
<4.第4の実施の形態>
次に、本開示の第4の実施の形態について説明する。以下では、上述した実施の形態と同様の構成部分については同一の符号を付し、適宜説明を省略する。
次に、本開示の第4の実施の形態について説明する。以下では、上述した実施の形態と同様の構成部分については同一の符号を付し、適宜説明を省略する。
図17は、第4の実施の形態に係る撮像装置の断面構成の一例を示す図である。撮像装置1の画素部100の複数の画素Pには、複数の画素P3及び画素P4が含まれる。画素P3の光電変換部12aと、画素P4の光電変換部12bは、互いに異なる大きさを有する。画素P3の光電変換部12aと画素P4の光電変換部12bは、入射する光に対して、互いに異なる感度を有する。
図17に示す例では、画素P3の光電変換部12aの受光面積が画素P4の光電変換部12bの受光面積よりも大きく、光電変換部12aの受光量は光電変換部12bの受光量よりも多くなる。画素P3は、画素P4の感度よりも高い感度を有する。
図17に示すように、大画素である画素P3に対してレンズ21を配置し、小画素である画素P4に対して導光部40を配置してもよい。また、図18に示すように、画素P3に対して導光部40を配置し、画素P4に対してレンズ21を配置してもよい。
本実施の形態では、レンズ21及び導光部40によって、大画素である画素P3と小画素である画素P4とにおいて、入射する光を適切に集光することが可能となる。撮像装置1は、高い感度を有する複数の画素P3と低い感度を有する複数の画素P4によって、画素信号を生成することができる。このため、ダイナミックレンジを拡大させることが可能となる。
[作用・効果]
本実施の形態に係る光検出装置は、光が入射するレンズ(レンズ21)と、レンズを介して入射する光を光電変換する第1光電変換素子(例えば光電変換部12a)と、複数の構造体を含む導光部材(導光部40)と、導光部材を介して入射する光を光電変換する第2光電変換素子(例えば光電変換部12b)とを備える。第1光電変換素子と第2光電変換素子とは、互いに異なる大きさを有する。
本実施の形態に係る光検出装置は、光が入射するレンズ(レンズ21)と、レンズを介して入射する光を光電変換する第1光電変換素子(例えば光電変換部12a)と、複数の構造体を含む導光部材(導光部40)と、導光部材を介して入射する光を光電変換する第2光電変換素子(例えば光電変換部12b)とを備える。第1光電変換素子と第2光電変換素子とは、互いに異なる大きさを有する。
本実施の形態に係る光検出装置(撮像装置1)では、レンズ21を介して入射する光を光電変換する画素(例えば画素P3)と、導光部40を介して入射する光を光電変換する画素(例えば画素P4)とが設けられる。光電変換部12aと光電変換部12bとは、互いに異なる大きさを有する。このため、画素P3と画素P4において、光を適切に導光することが可能となる。良好な光学特性を有する光検出装置を実現することが可能となる。
<5.適用例>
上記撮像装置1等は、例えば、デジタルスチルカメラやビデオカメラ等のカメラシステムや、撮像機能を有する携帯電話等、撮像機能を備えたあらゆるタイプの電子機器に適用することができる。図19は、電子機器1000の概略構成を表したものである。
上記撮像装置1等は、例えば、デジタルスチルカメラやビデオカメラ等のカメラシステムや、撮像機能を有する携帯電話等、撮像機能を備えたあらゆるタイプの電子機器に適用することができる。図19は、電子機器1000の概略構成を表したものである。
電子機器1000は、例えば、レンズ群1001と、撮像装置1と、DSP(Digital Signal Processor)回路1002と、フレームメモリ1003と、表示部1004と、記録部1005と、操作部1006と、電源部1007とを有し、バスライン1008を介して相互に接続されている。
レンズ群1001は、被写体からの入射光(像光)を取り込んで撮像装置1の撮像面上に結像するものである。撮像装置1は、レンズ群1001によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号としてDSP回路1002に供給する。
DSP回路1002は、撮像装置1から供給される信号を処理する信号処理回路である。DSP回路1002は、撮像装置1からの信号を処理して得られる画像データを出力する。フレームメモリ1003は、DSP回路1002により処理された画像データをフレーム単位で一時的に保持するものである。
表示部1004は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、撮像装置1で撮像された動画または静止画の画像データを、半導体メモリやハードディスク等の記録媒体に記録する。
操作部1006は、ユーザによる操作に従い、電子機器1000が所有する各種の機能についての操作信号を出力する。電源部1007は、DSP回路1002、フレームメモリ1003、表示部1004、記録部1005および操作部1006の動作電源となる各種の電源を、これら供給対象に対して適宜供給するものである。
<6.応用例>
(移動体への応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
(移動体への応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図20は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図20に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図20の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図21は、撮像部12031の設置位置の例を示す図である。
図21では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図21には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部12031に適用され得る。具体的には、例えば、撮像装置1等は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、高精細な撮影画像を得ることができ、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。
(内視鏡手術システムへの応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図22は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図22では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図23は、図22に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡11100のカメラヘッド11102に設けられた撮像部11402に好適に適用され得る。撮像部11402に本開示に係る技術を適用することにより、撮像部11402を高感度化することができ、高精細な内視鏡11100を提供することができる。
以上、実施の形態、変形例および適用例ならびに応用例を挙げて本開示を説明したが、本技術は上記実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上述した変形例は、上記実施の形態の変形例として説明したが、各変形例の構成を適宜組み合わせることができる。例えば本開示は、裏面照射型イメージセンサに限定されるものではなく、表面照射型イメージセンサにも適用可能である。
上記実施の形態等では、撮像装置を例示して説明するようにしたが、本開示の光検出装置は、例えば、入射する光を受光し、光を電荷に変換するものであればよい。出力される信号は、画像情報の信号でもよいし、測距情報の信号でもよい。光検出装置(撮像装置)は、イメージセンサ、測距センサ等に適用され得る。
本開示に係る光検出装置は、TOF(Time Of Flight)方式の距離計測が可能な測距センサとしても適用され得る。光検出装置(撮像装置)は、イベントを検出可能なセンサ、例えば、イベント駆動型のセンサ(EVS(Event Vision Sensor)、EDS(Event Driven Sensor)、DVS(Dynamic Vision Sensor)等と呼ばれる)としても適用され得る。
光学素子である導光部40は、第1構造体31及び第2構造体32等の設計によって、光を分光可能な分光素子(分光部)として構成されてもよい。この場合、導光部40は、スプリッター(カラースプリッター)とも称される。本開示に係る光検出装置及び光学素子(導光部40)は、種々の機器に適用することができる。
本開示の一実施形態の光検出装置は、複数の第1構造体と複数の第2構造体とを含む第1導光部材と、第1導光部材を介して入射する光を光電変換する第1光電変換素子とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。このため、入射する光を光電変換素子へ適切に導光することができる。良好な光学特性を有する光検出装置を実現することが可能となる。
本開示の一実施形態の光検出装置は、光が入射するレンズと、レンズを介して入射する光を光電変換する第1光電変換素子と、複数の構造体を含む導光部材と、導光部材を介して入射する光を光電変換する第2光電変換素子とを備える。このため、光検出装置では、入射光を適切に導光することが可能となる。良好な光学特性を有する光検出装置を実現することが可能となる。
本開示の一実施形態の光学素子は、複数の第1構造体と、複数の第1構造体の周囲に設けられる複数の第2構造体と、隣り合う複数の第1構造体の間と、隣り合う複数の第2構造体の間とに設けられる充填部材とを備える。第1構造体と第2構造体とは、互いに異なる材料からなる。このため、入射する光を適切に導光することが可能となる。良好な光学特性を有する光学素子を実現することが可能となる。
なお、本明細書中に記載された効果はあくまで例示であってその記載に限定されるものではなく、他の効果があってもよい。また、本開示は以下のような構成をとることも可能である。
(1)
複数の第1構造体と複数の第2構造体とを含む第1導光部材と、
前記第1導光部材を介して入射する光を光電変換する第1光電変換素子と
を備え、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
光検出装置。
(2)
前記第1構造体の周囲に設けられる充填部材を有し、
前記第1構造体の屈折率は、前記充填部材の屈折率よりも高い
前記(1)に記載の光検出装置。
(3)
前記第2構造体の屈折率は、前記第1構造体の屈折率よりも低い
前記(1)または(2)に記載の光検出装置。
(4)
前記第2構造体の周囲に設けられる充填部材を有し、
前記第2構造体の屈折率は、前記充填部材の屈折率よりも低い
前記(1)から(3)のいずれか1つに記載の光検出装置。
(5)
前記第2構造体は、空隙を用いて構成される
前記(1)から(4)のいずれか1つに記載の光検出装置。
(6)
前記第1光電変換素子を有する第1画素を含む複数の画素を備え、
前記第2構造体の少なくとも一部は、隣り合う複数の前記画素の境界に設けられる
前記(1)から(5)のいずれか1つに記載の光検出装置。
(7)
前記第1光電変換素子を有する第1画素を含む複数の画素を備え、
前記第2構造体は、前記第1構造体の周りと、隣り合う複数の前記画素の境界とに設けられる
前記(1)から(6)のいずれか1つに記載の光検出装置。
(8)
前記第1構造体の上に設けられる第1の反射防止膜を有し、
前記第1の反射防止膜の屈折率は、前記第1構造体の屈折率よりも低い
前記(1)から(7)のいずれか1つに記載の光検出装置。
(9)
前記第2構造体の上に設けられる第2の反射防止膜を有し、
前記第2の反射防止膜は、前記第2構造体の屈折率とは異なる屈折率を有する
前記(1)から(8)のいずれか1つに記載の光検出装置。
(10)
前記第1構造体および前記第2構造体は、それぞれ、赤外光の波長域以下の大きさ、または可視光の波長域以下の大きさを有する
前記(1)から(9)のいずれか1つに記載の光検出装置。
(11)
前記第1光電変換素子を有する第1画素と第2光電変換素子を有する第2画素とを含む複数の画素が設けられた画素アレイを有し、
前記第2画素は、前記第1画素よりも前記画素アレイの中心に近い位置にあり、
前記第2画素は、複数の第3構造体を含む第2導光部材を有し、
前記第2光電変換素子は、前記第2導光部材を介して入射する光を光電変換する
前記(1)から(10)のいずれか1つに記載の光検出装置。
(12)
前記第1構造体と前記第3構造体とは、互いに異なる材料からなる
前記(11)に記載の光検出装置。
(13)
前記第1構造体の屈折率は、前記第3構造体の屈折率よりも高い
前記(11)または(12)に記載の光検出装置。
(14)
光が入射するレンズと、
前記レンズを介して入射する光を光電変換する第1光電変換素子と、
複数の構造体を含む導光部材と、
前記導光部材を介して入射する光を光電変換する第2光電変換素子と
を備える光検出装置。
(15)
前記レンズと、前記レンズを介して入射する可視光を光電変換する前記第1光電変換素子とを含む第1画素と、
前記導光部材と、前記導光部材を介して入射する赤外光を光電変換する前記第2光電変換素子とを含む第2画素と
を有する
前記(14)に記載の光検出装置。
(16)
前記レンズと、前記レンズを介して入射する赤外光を光電変換する前記第1光電変換素子とを含む第1画素と、
前記導光部材と、前記導光部材を介して入射する可視光を光電変換する前記第2光電変換素子とを含む第2画素と
を有する
前記(14)または(15)に記載の光検出装置。
(17)
前記第1光電変換素子と前記第2光電変換素子とは、互いに異なる大きさを有する
前記(14)から(16)のいずれか1つに記載の光検出装置。
(18)
光が入射する側から、前記レンズと、前記第1光電変換素子と、前記導光部材と、前記第2光電変換素子とが設けられている
前記(14)から(17)のいずれか1つに記載の光検出装置。
(19)
複数の第1構造体と、
前記複数の第1構造体の周囲に設けられる複数の第2構造体と、
隣り合う複数の前記第1構造体の間と、隣り合う複数の前記第2構造体の間とに設けられる充填部材と
を備え、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
光学素子。
(20)
光学系と、
前記光学系を透過した光を受光する光検出装置と
を備え、
前記光検出装置は、
複数の第1構造体と複数の第2構造体とを含む第1導光部材と、
前記第1導光部材を介して入射する光を光電変換する第1光電変換素子と
を有し、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
電子機器。
(1)
複数の第1構造体と複数の第2構造体とを含む第1導光部材と、
前記第1導光部材を介して入射する光を光電変換する第1光電変換素子と
を備え、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
光検出装置。
(2)
前記第1構造体の周囲に設けられる充填部材を有し、
前記第1構造体の屈折率は、前記充填部材の屈折率よりも高い
前記(1)に記載の光検出装置。
(3)
前記第2構造体の屈折率は、前記第1構造体の屈折率よりも低い
前記(1)または(2)に記載の光検出装置。
(4)
前記第2構造体の周囲に設けられる充填部材を有し、
前記第2構造体の屈折率は、前記充填部材の屈折率よりも低い
前記(1)から(3)のいずれか1つに記載の光検出装置。
(5)
前記第2構造体は、空隙を用いて構成される
前記(1)から(4)のいずれか1つに記載の光検出装置。
(6)
前記第1光電変換素子を有する第1画素を含む複数の画素を備え、
前記第2構造体の少なくとも一部は、隣り合う複数の前記画素の境界に設けられる
前記(1)から(5)のいずれか1つに記載の光検出装置。
(7)
前記第1光電変換素子を有する第1画素を含む複数の画素を備え、
前記第2構造体は、前記第1構造体の周りと、隣り合う複数の前記画素の境界とに設けられる
前記(1)から(6)のいずれか1つに記載の光検出装置。
(8)
前記第1構造体の上に設けられる第1の反射防止膜を有し、
前記第1の反射防止膜の屈折率は、前記第1構造体の屈折率よりも低い
前記(1)から(7)のいずれか1つに記載の光検出装置。
(9)
前記第2構造体の上に設けられる第2の反射防止膜を有し、
前記第2の反射防止膜は、前記第2構造体の屈折率とは異なる屈折率を有する
前記(1)から(8)のいずれか1つに記載の光検出装置。
(10)
前記第1構造体および前記第2構造体は、それぞれ、赤外光の波長域以下の大きさ、または可視光の波長域以下の大きさを有する
前記(1)から(9)のいずれか1つに記載の光検出装置。
(11)
前記第1光電変換素子を有する第1画素と第2光電変換素子を有する第2画素とを含む複数の画素が設けられた画素アレイを有し、
前記第2画素は、前記第1画素よりも前記画素アレイの中心に近い位置にあり、
前記第2画素は、複数の第3構造体を含む第2導光部材を有し、
前記第2光電変換素子は、前記第2導光部材を介して入射する光を光電変換する
前記(1)から(10)のいずれか1つに記載の光検出装置。
(12)
前記第1構造体と前記第3構造体とは、互いに異なる材料からなる
前記(11)に記載の光検出装置。
(13)
前記第1構造体の屈折率は、前記第3構造体の屈折率よりも高い
前記(11)または(12)に記載の光検出装置。
(14)
光が入射するレンズと、
前記レンズを介して入射する光を光電変換する第1光電変換素子と、
複数の構造体を含む導光部材と、
前記導光部材を介して入射する光を光電変換する第2光電変換素子と
を備える光検出装置。
(15)
前記レンズと、前記レンズを介して入射する可視光を光電変換する前記第1光電変換素子とを含む第1画素と、
前記導光部材と、前記導光部材を介して入射する赤外光を光電変換する前記第2光電変換素子とを含む第2画素と
を有する
前記(14)に記載の光検出装置。
(16)
前記レンズと、前記レンズを介して入射する赤外光を光電変換する前記第1光電変換素子とを含む第1画素と、
前記導光部材と、前記導光部材を介して入射する可視光を光電変換する前記第2光電変換素子とを含む第2画素と
を有する
前記(14)または(15)に記載の光検出装置。
(17)
前記第1光電変換素子と前記第2光電変換素子とは、互いに異なる大きさを有する
前記(14)から(16)のいずれか1つに記載の光検出装置。
(18)
光が入射する側から、前記レンズと、前記第1光電変換素子と、前記導光部材と、前記第2光電変換素子とが設けられている
前記(14)から(17)のいずれか1つに記載の光検出装置。
(19)
複数の第1構造体と、
前記複数の第1構造体の周囲に設けられる複数の第2構造体と、
隣り合う複数の前記第1構造体の間と、隣り合う複数の前記第2構造体の間とに設けられる充填部材と
を備え、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
光学素子。
(20)
光学系と、
前記光学系を透過した光を受光する光検出装置と
を備え、
前記光検出装置は、
複数の第1構造体と複数の第2構造体とを含む第1導光部材と、
前記第1導光部材を介して入射する光を光電変換する第1光電変換素子と
を有し、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
電子機器。
本出願は、日本国特許庁において2023年2月3日に出願された日本特許出願番号2023-015393号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
Claims (20)
- 複数の第1構造体と複数の第2構造体とを含む第1導光部材と、
前記第1導光部材を介して入射する光を光電変換する第1光電変換素子と
を備え、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
光検出装置。 - 前記第1構造体の周囲に設けられる充填部材を有し、
前記第1構造体の屈折率は、前記充填部材の屈折率よりも高い
請求項1に記載の光検出装置。 - 前記第2構造体の屈折率は、前記第1構造体の屈折率よりも低い
請求項1に記載の光検出装置。 - 前記第2構造体の周囲に設けられる充填部材を有し、
前記第2構造体の屈折率は、前記充填部材の屈折率よりも低い
請求項1に記載の光検出装置。 - 前記第2構造体は、空隙を用いて構成される
請求項1に記載の光検出装置。 - 前記第1光電変換素子を有する第1画素を含む複数の画素を備え、
前記第2構造体の少なくとも一部は、隣り合う複数の前記画素の境界に設けられる
請求項5に記載の光検出装置。 - 前記第1光電変換素子を有する第1画素を含む複数の画素を備え、
前記第2構造体は、前記第1構造体の周りと、隣り合う複数の前記画素の境界とに設けられる
請求項5に記載の光検出装置。 - 前記第1構造体の上に設けられる第1の反射防止膜を有し、
前記第1の反射防止膜の屈折率は、前記第1構造体の屈折率よりも低い
請求項1に記載の光検出装置。 - 前記第2構造体の上に設けられる第2の反射防止膜を有し、
前記第2の反射防止膜は、前記第2構造体の屈折率とは異なる屈折率を有する
請求項1に記載の光検出装置。 - 前記第1構造体および前記第2構造体は、それぞれ、赤外光の波長域以下の大きさ、または可視光の波長域以下の大きさを有する
請求項1に記載の光検出装置。 - 前記第1光電変換素子を有する第1画素と第2光電変換素子を有する第2画素とを含む複数の画素が設けられた画素アレイを有し、
前記第2画素は、前記第1画素よりも前記画素アレイの中心に近い位置にあり、
前記第2画素は、複数の第3構造体を含む第2導光部材を有し、
前記第2光電変換素子は、前記第2導光部材を介して入射する光を光電変換する
請求項1に記載の光検出装置。 - 前記第1構造体と前記第3構造体とは、互いに異なる材料からなる
請求項11に記載の光検出装置。 - 前記第1構造体の屈折率は、前記第3構造体の屈折率よりも高い
請求項11に記載の光検出装置。 - 光が入射するレンズと、
前記レンズを介して入射する光を光電変換する第1光電変換素子と、
複数の構造体を含む導光部材と、
前記導光部材を介して入射する光を光電変換する第2光電変換素子と
を備える光検出装置。 - 前記レンズと、前記レンズを介して入射する可視光を光電変換する前記第1光電変換素子とを含む第1画素と、
前記導光部材と、前記導光部材を介して入射する赤外光を光電変換する前記第2光電変換素子とを含む第2画素と
を有する
請求項14に記載の光検出装置。 - 前記レンズと、前記レンズを介して入射する赤外光を光電変換する前記第1光電変換素子とを含む第1画素と、
前記導光部材と、前記導光部材を介して入射する可視光を光電変換する前記第2光電変換素子とを含む第2画素と
を有する
請求項14に記載の光検出装置。 - 前記第1光電変換素子と前記第2光電変換素子とは、互いに異なる大きさを有する
請求項14に記載の光検出装置。 - 光が入射する側から、前記レンズと、前記第1光電変換素子と、前記導光部材と、前記第2光電変換素子とが設けられている
請求項14に記載の光検出装置。 - 複数の第1構造体と、
前記複数の第1構造体の周囲に設けられる複数の第2構造体と、
隣り合う複数の前記第1構造体の間と、隣り合う複数の前記第2構造体の間とに設けられる充填部材と
を備え、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
光学素子。 - 光学系と、
前記光学系を透過した光を受光する光検出装置と
を備え、
前記光検出装置は、
複数の第1構造体と複数の第2構造体とを含む第1導光部材と、
前記第1導光部材を介して入射する光を光電変換する第1光電変換素子と
を有し、
前記第1構造体と前記第2構造体とは、互いに異なる材料からなる
電子機器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023015393 | 2023-02-03 | ||
| JP2023-015393 | 2023-02-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024162113A1 true WO2024162113A1 (ja) | 2024-08-08 |
Family
ID=92146517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/001948 Ceased WO2024162113A1 (ja) | 2023-02-03 | 2024-01-24 | 光検出装置、光学素子、および電子機器 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2024162113A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020537193A (ja) * | 2017-08-31 | 2020-12-17 | メタレンズ,インコーポレイテッド | 透過型メタサーフェスレンズ統合 |
| WO2022010644A1 (en) * | 2020-07-09 | 2022-01-13 | Applied Materials, Inc. | Air-gap encapsulation of nanostructured optical devices |
| WO2022079765A1 (ja) * | 2020-10-12 | 2022-04-21 | 日本電信電話株式会社 | 光学素子、撮像素子及び撮像装置 |
| WO2022131268A1 (ja) * | 2020-12-16 | 2022-06-23 | ソニーセミコンダクタソリューションズ株式会社 | 光電変換素子、光検出装置、光検出システム、電子機器および移動体 |
| WO2022190492A1 (ja) * | 2021-03-11 | 2022-09-15 | 浜松ホトニクス株式会社 | 光検出器 |
-
2024
- 2024-01-24 WO PCT/JP2024/001948 patent/WO2024162113A1/ja not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020537193A (ja) * | 2017-08-31 | 2020-12-17 | メタレンズ,インコーポレイテッド | 透過型メタサーフェスレンズ統合 |
| WO2022010644A1 (en) * | 2020-07-09 | 2022-01-13 | Applied Materials, Inc. | Air-gap encapsulation of nanostructured optical devices |
| WO2022079765A1 (ja) * | 2020-10-12 | 2022-04-21 | 日本電信電話株式会社 | 光学素子、撮像素子及び撮像装置 |
| WO2022131268A1 (ja) * | 2020-12-16 | 2022-06-23 | ソニーセミコンダクタソリューションズ株式会社 | 光電変換素子、光検出装置、光検出システム、電子機器および移動体 |
| WO2022190492A1 (ja) * | 2021-03-11 | 2022-09-15 | 浜松ホトニクス株式会社 | 光検出器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20240037960A (ko) | 촬상 장치 | |
| WO2024111280A1 (ja) | 光検出装置および電子機器 | |
| KR20250105636A (ko) | 광검출기, 전자 장치 및 광학 소자 | |
| WO2024162113A1 (ja) | 光検出装置、光学素子、および電子機器 | |
| WO2024162114A1 (ja) | 光検出装置、光学素子、および電子機器 | |
| JP2024094104A (ja) | 光学素子、光検出装置、および電子機器 | |
| WO2025053221A1 (en) | Photodetector, optical element, and electronic apparatus | |
| JP2025030261A (ja) | 光検出装置および電子機器 | |
| WO2025018080A1 (ja) | 光検出装置、光学素子、および電子機器 | |
| WO2025053220A1 (en) | Photodetector, optical element, and electronic apparatus | |
| WO2026004401A1 (ja) | 光検出装置および電子機器 | |
| WO2024252897A1 (ja) | 光検出装置および電子機器 | |
| WO2025253793A1 (ja) | 光検出装置および電子機器 | |
| WO2025204244A1 (ja) | 光検出装置、光検出装置の製造方法、および電子機器 | |
| WO2024225123A1 (ja) | 撮像装置および電子機器 | |
| JP2024060822A (ja) | 光検出装置、電子機器、および光学素子 | |
| WO2024237002A1 (ja) | 光検出装置および電子機器 | |
| WO2025062880A1 (ja) | 光検出装置および電子機器 | |
| WO2024202672A1 (ja) | 光検出装置および電子機器 | |
| WO2025192164A1 (ja) | 光検出装置および電子機器 | |
| WO2024075253A1 (ja) | 光検出装置および電子機器 | |
| WO2025164103A1 (ja) | 光検出装置、光学素子、および電子機器 | |
| JP2024094103A (ja) | 光検出装置および電子機器 | |
| WO2024202748A1 (ja) | 光検出装置および電子機器 | |
| CN121488605A (zh) | 光检测装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24750063 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |