WO2023234069A1 - 撮像装置および電子機器 - Google Patents
撮像装置および電子機器 Download PDFInfo
- Publication number
- WO2023234069A1 WO2023234069A1 PCT/JP2023/018728 JP2023018728W WO2023234069A1 WO 2023234069 A1 WO2023234069 A1 WO 2023234069A1 JP 2023018728 W JP2023018728 W JP 2023018728W WO 2023234069 A1 WO2023234069 A1 WO 2023234069A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- imaging device
- unit
- section
- semiconductor substrate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/10—Integrated devices
- H10F39/12—Image sensors
Definitions
- the present disclosure relates to, for example, an imaging device capable of acquiring imaging information and parallax information, and an electronic device equipped with the same.
- Patent Document 1 in a pixel array section in which a plurality of pixels including a pixel in which a plurality of photoelectric conversion elements are formed for one on-chip lens are arranged in a two-dimensional manner, an interval between pixels formed between the pixels is disclosed.
- a solid-state imaging device that improves the accuracy of phase difference detection while suppressing the deterioration of captured images by making at least one part of the separation part and the inter-pixel light-shielding part protrude toward the center of the pixel. is disclosed.
- An imaging device is arranged at equal distances in a first direction and a second direction orthogonal to the first direction from the optical center of a pixel array section in which a plurality of unit pixels are arranged in a matrix.
- the first direction is the phase difference acquisition direction
- the pupil correction amount A in the first pixel and the pupil correction amount B in the second pixel are A> It has the relationship B.
- An electronic device as an embodiment of the present disclosure includes the imaging device of the embodiment of the present disclosure.
- the first direction and the second direction are orthogonal to each other from the optical center of a pixel array section in which a plurality of unit pixels are arranged in a matrix.
- the pupil correction amount A in the first pixel and the pupil correction amount B in the second pixel are The relationship A>B was established. This reduces color mixture in the second direction, which is not the phase difference acquisition direction.
- FIG. 3 is a schematic diagram illustrating a pupil correction amount in a pixel array section of an imaging device according to an embodiment of the present disclosure.
- 2 is a block diagram showing the overall configuration of the imaging device shown in FIG. 1.
- FIG. FIG. 2 is an equivalent circuit diagram of the unit pixel shown in FIG. 1.
- FIG. 1 is a schematic cross-sectional view showing an example of the configuration of an imaging device according to an embodiment of the present disclosure.
- 5 is a schematic plan view showing an example of the configuration of the imaging device shown in FIG. 4.
- FIG. 2 is a schematic cross-sectional view showing an example of the configuration of a unit pixel PA shown in FIG. 1.
- FIG. 2 is a schematic cross-sectional view showing an example of the configuration of a unit pixel PB shown in FIG. 1.
- FIG. 2 is a schematic plan view showing a light condensing position in a unit pixel P1 shown in FIG. 1.
- FIG. FIG. 2 is a schematic plan view showing a light condensing position in a unit pixel P2 shown in FIG. 1.
- FIG. FIG. 2 is a schematic plan view showing a light condensing position in a unit pixel P3 shown in FIG. 1.
- FIG. FIG. 2 is a schematic plan view showing a light condensing position in a unit pixel P4 shown in FIG. 1.
- FIG. FIG. 7 is a characteristic diagram showing the relationship between the principal ray incident angle and the output at the right pixel and the left pixel when performing pupil correction.
- FIG. 7 is a schematic plan view showing an example of the configuration of a unit pixel of an imaging device according to Modification 1 of the present disclosure.
- FIG. 7 is a schematic cross-sectional view showing an example of the configuration of an imaging device according to Modification 2 of the present disclosure.
- FIG. 7 is a schematic cross-sectional view showing another example of the configuration of an imaging device according to Modification 2 of the present disclosure.
- FIG. 7 is a schematic cross-sectional view showing another example of the configuration of an imaging device according to Modification 2 of the present disclosure.
- FIG. 7 is a schematic diagram illustrating the amount of pupil correction in the pixel array section of the imaging device according to Modification Example 3 of the present disclosure.
- 14 is a schematic plan view showing an example of the configuration of the imaging device shown in FIG. 13.
- FIG. 7 is a schematic plan view showing an example of the configuration of a unit pixel of an imaging device according to Modification 4 of the present disclosure.
- FIG. 2 is a block diagram showing a configuration example of an electronic device including the imaging device shown in FIG. 1 and the like.
- FIG. 1 is a block diagram showing an example of a schematic configuration of a vehicle control system.
- FIG. 2 is an explanatory diagram showing an example of installation positions of an outside-vehicle information detection section and an imaging section.
- FIG. 1 is a diagram showing an example of a schematic configuration of an endoscopic surgery system.
- FIG. 2 is a block diagram showing an example of the functional configuration of a camera head and a CCU.
- FIG. 1 illustrates the amount of pupil correction in a pixel array section 100A of an imaging device (imaging device 1) according to an embodiment of the present disclosure.
- FIG. 2 shows an example of the overall configuration of the imaging device 1 shown in FIG. 1.
- the imaging device 1 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor used in electronic devices such as digital still cameras and video cameras, and has a plurality of pixels arranged two-dimensionally in a matrix as an imaging area. (pixel array section 100A).
- the imaging device 1 is, for example, a so-called back-illuminated imaging device, such as a CMOS image sensor.
- the imaging device 1 includes a pixel array section 100A in which a plurality of pixels (unit pixels P) capable of simultaneously acquiring imaging information and parallax information are arranged in a matrix.
- a pixel P A and a pixel are arranged at equal distances from the optical center O of the pixel array section 100A in the X-axis direction and the Y-axis direction, which are perpendicular to each other .
- P B when the X-axis direction is the phase difference acquisition direction, the pupil correction amount A at the pixel PA and the pupil correction amount B at the pixel PB have a relationship of A>B.
- the imaging device 1 takes in incident light (image light) from a subject through an optical lens system (not shown), and converts the amount of the incident light imaged onto the imaging surface into an electrical signal in pixel units P. and outputs it as a pixel signal.
- the imaging device 1 has a pixel array section 100A as an imaging area on a semiconductor substrate 11, and includes, for example, a vertical drive circuit 111, a column signal processing circuit 112, and a horizontal drive circuit 113 in the peripheral area of this pixel array section 100A. , an output circuit 114, a control circuit 115, and an input/output terminal 116.
- a plurality of unit pixels P are two-dimensionally arranged in a matrix.
- Each of the plurality of unit pixels P serves as an imaging pixel and an image plane phase difference pixel.
- the imaging pixel photoelectrically converts a subject image formed by an imaging lens in a photodiode PD to generate a signal for image generation.
- the image plane phase difference pixel divides the pupil region of the imaging lens, photoelectrically converts a subject image from the divided pupil region, and generates a signal for phase difference detection.
- a pixel drive line Lread (specifically, a row selection line and a reset control line) is wired for each pixel row, and a vertical signal line Lsig is wired for each pixel column.
- the pixel drive line Lread transmits a drive signal for reading signals from pixels.
- One end of the pixel drive line Lread is connected to an output end corresponding to each row of the vertical drive circuit 111.
- the vertical drive circuit 111 is composed of a shift register, an address decoder, etc., and is a pixel drive section that drives each unit pixel P of the pixel array section 100A, for example, row by row. Signals output from each unit pixel P in the pixel row selectively scanned by the vertical drive circuit 111 are supplied to the column signal processing circuit 112 through each vertical signal line Lsig.
- the column signal processing circuit 112 includes an amplifier, a horizontal selection switch, and the like provided for each vertical signal line Lsig.
- the horizontal drive circuit 113 is composed of a shift register, an address decoder, etc., and sequentially drives each horizontal selection switch of the column signal processing circuit 112 while scanning them. By this selective scanning by the horizontal drive circuit 113, the signals of each pixel transmitted through each of the vertical signal lines Lsig are sequentially outputted to the horizontal signal line 121, and transmitted to the outside of the semiconductor substrate 11 through the horizontal signal line 121. .
- the output circuit 114 performs signal processing on the signals sequentially supplied from each of the column signal processing circuits 112 via the horizontal signal line 121 and outputs the processed signals.
- the output circuit 114 may perform only buffering, or may perform black level adjustment, column variation correction, various digital signal processing, and the like.
- the circuit portion consisting of the vertical drive circuit 111, column signal processing circuit 112, horizontal drive circuit 113, horizontal signal line 121, and output circuit 114 may be formed directly on the semiconductor substrate 11, or may be formed on an external control IC. It may be arranged. Moreover, those circuit parts may be formed on another board connected by a cable or the like.
- the control circuit 115 receives a clock applied from outside the semiconductor substrate 11, data instructing an operation mode, etc., and outputs data such as internal information of the imaging device 1.
- the control circuit 115 further includes a timing generator that generates various timing signals, and controls the vertical drive circuit 111, column signal processing circuit 112, horizontal drive circuit 113, etc. based on the various timing signals generated by the timing generator. Performs drive control of peripheral circuits.
- the input/output terminal 116 is for exchanging signals with the outside.
- FIG. 3 shows an example of a readout circuit for the unit pixel P of the imaging device 1 shown in FIG. 2.
- the unit pixel P includes two photoelectric conversion sections 12A and 12B, transfer transistors TR1 and TR2, a floating diffusion FD, a reset transistor RST, an amplification transistor AMP, and a selection transistor SEL. It has
- the photoelectric conversion units 12A and 12B are each photodiodes (PD).
- the photoelectric conversion unit 12A has an anode connected to a ground voltage line and a cathode connected to the source of the transfer transistor TR1.
- the photoelectric conversion section 12B has an anode connected to the ground voltage line and a cathode connected to the source of the transfer transistor TR2.
- the transfer transistor TR1 is connected between the photoelectric conversion section 12A and the floating diffusion FD.
- Transfer transistor TR2 is connected between photoelectric conversion section 12B and floating diffusion FD.
- a drive signal TRsig is applied to the gate electrodes of the transfer transistors TR1 and TR2, respectively.
- the drive signal TRsig becomes active, the transfer gates of the transfer transistors TR1 and TR2 become conductive, and the signal charges accumulated in the photoelectric conversion sections 12A and 12B float through the transfer transistors TR1 and TR2. Transferred to diffusion FD.
- the floating diffusion FD is connected between the transfer transistors TR1, TR2 and the amplification transistor AMP.
- the floating diffusion FD converts the signal charges transferred by the transfer transistors TR1 and TR2 into a voltage signal, and outputs the signal charge to the amplification transistor AMP.
- the reset transistor RST is connected between the floating diffusion FD and the power supply section.
- a drive signal RSTsig is applied to the gate electrode of the reset transistor RST.
- this drive signal RSTsig becomes active, the reset gate of the reset transistor RST becomes conductive, and the potential of the floating diffusion FD is reset to the level of the power supply section.
- the amplification transistor AMP has its gate electrode connected to the floating diffusion FD and its drain electrode connected to the power supply section, and serves as an input section of a so-called source follower circuit, which is a readout circuit for the voltage signal held by the floating diffusion FD. That is, the amplification transistor AMP has its source electrode connected to the vertical signal line Lsig via the selection transistor SEL, thereby forming a source follower circuit with a constant current source connected to one end of the vertical signal line Lsig.
- the selection transistor SEL is connected between the source electrode of the amplification transistor AMP and the vertical signal line Lsig.
- a drive signal SELsig is applied to the gate electrode of the selection transistor SEL.
- the selection transistor SEL becomes conductive, and the unit pixel P becomes selected.
- the read signal (pixel signal) output from the amplification transistor AMP is output to the vertical signal line Lsig via the selection transistor SEL.
- the signal charges generated in the photoelectric conversion section 12A and the signal charges generated in the photoelectric conversion section 12B are respectively read out.
- the signal charges read from each of the photoelectric conversion section 12A and the photoelectric conversion section 12B are added together in the floating diffusion FD, and outputted to an imaging block of an external signal processing unit, for example, so that the photoelectric conversion unit 12A and the photoelectric conversion unit A pixel signal based on the total charge of the portion 12B can be obtained.
- FIG. 4 schematically shows an example of a cross-sectional configuration of the imaging device 1.
- FIG. 5 schematically shows an example of the planar configuration of the imaging device 1
- FIG. 4 shows a cross section corresponding to the line II shown in FIG.
- the imaging device 1 is, for example, a back-illuminated imaging device.
- the plurality of unit pixels P two-dimensionally arranged in a matrix in the pixel array section 100A are, for example, a light receiving section 10, a light collecting section 20 provided on the light incident side S1 of the light receiving section 10, and a light receiving section 10. It has a structure in which a multilayer wiring layer 30 provided on the opposite side to the light incident side S1 is stacked.
- the light receiving section 10 includes a semiconductor substrate 11 having a first surface 11S1 and a second surface 11S2 facing each other, and a plurality of photoelectric conversion sections 12 embedded in the semiconductor substrate 11.
- the semiconductor substrate 11 is made of, for example, a silicon substrate.
- the photoelectric conversion unit 12 is, for example, a PIN (Positive Intrinsic Negative) type photodiode (PD), and has a pn junction in a predetermined region of the semiconductor substrate 11.
- a plurality of photoelectric conversion sections 12 for example, two (photoelectric conversion sections 12A, 12B) are embedded in the unit pixel P.
- the light receiving section 10 further includes an inter-pixel separation section 13 and an intra-pixel separation section 14.
- the inter-pixel separation section 13 is provided between adjacent unit pixels P.
- the inter-pixel separation section 13 is provided around the unit pixel P in the in-plane direction (XY plane direction) of the semiconductor substrate 11, and in the pixel array section 100A, for example, as shown in FIG. It is arranged in a grid pattern.
- the inter-pixel separation section 13 is for electrically and optically separating adjacent unit pixels P.
- the inter-pixel separation section 13 extends, for example, from the first surface 11S1 side of the semiconductor substrate 11 toward the second surface 11S2 side. It has an FTI (Full Trench Isolation) structure that penetrates between the first surface 11S1 and the second surface 11S2.
- the inter-pixel isolation section 13 can be formed using, for example, an oxide film such as a silicon oxide (SiO x ) film.
- a conductive light-shielding film may be embedded in an oxide film, or an air gap may be formed in the inter-pixel isolation section 13.
- the light shielding film include a single layer film or a laminated film of tungsten (W), silver (Ag), copper (Cu), aluminum (Al), or an alloy of Al and copper (Cu).
- the intra-pixel separation section 14 is provided between adjacent photoelectric conversion sections 12 (for example, the photoelectric conversion section 12A and the photoelectric conversion section 12B) within the unit pixel P.
- the intra-pixel separation section 14 is for electrically separating adjacent photoelectric conversion sections 12.
- the intra-pixel separation unit 14 divides the unit pixel P in the in-plane direction (XY plane direction) of the semiconductor substrate 11 so as to divide the unit pixel P in the phase difference acquisition direction (X-axis direction), for example, as shown in FIG.
- the inter-pixel separation section 13 surrounding the pixel P extends, for example, from each of a pair of opposing sides in the Y-axis direction toward the center of the unit pixel P, and has a gap therebetween.
- the intra-pixel separation section 14 extends, for example, from the second surface 11S2 of the semiconductor substrate 11 toward the first surface 11S1. Similarly, it has an FTI structure penetrating between the first surface 11S1 and the second surface 11S2 of the semiconductor substrate 11.
- the intra-pixel isolation section 14 can be formed using an oxide film such as a silicon oxide (SiO x ) film, for example.
- a conductive light-shielding film may be embedded in an oxide film, or an air gap may be formed.
- the light shielding film include a single layer film or a laminated film of tungsten (W), silver (Ag), copper (Cu), aluminum (Al), or an alloy of Al and copper (Cu).
- a fixed charge layer 15 is further provided on the first surface 11S1 of the semiconductor substrate 11, which also serves to prevent reflection on the first surface 11S1 of the semiconductor substrate 11.
- the fixed charge layer 15 may be a film having a positive fixed charge or a film having a negative fixed charge.
- Examples of the constituent material of the fixed charge layer 15 include a semiconductor material or a conductive material having a band gap wider than that of the semiconductor substrate 11.
- the light collecting section 20 is provided on the light incident side S1 of the light receiving section 10, and selectively transmits, for example, red light (R), green light (G), or blue light (B) for each unit pixel P, for example. It has a color filter 21, a light shielding part 22 provided between unit pixels P of the color filter 21, and a lens layer 23, which are stacked in this order from the light receiving part 10 side.
- color filter 21 for example, two color filters 21G that selectively transmit green light (G) are arranged diagonally with respect to four unit pixels P arranged in 2 rows x 2 columns, and red light Color filters 21R and 21B that selectively transmit blue light (R) and blue light (B) are arranged one by one on orthogonal diagonals (see, for example, the lower part of FIG. 5).
- unit pixel P provided with each color filter 21R, 21G, 21B corresponding colored light is detected in each photoelectric conversion section 12, for example. That is, in the pixel array section 100A, unit pixels P that detect red light (R), green light (G), and blue light (B) are arranged in a Bayer pattern.
- the light shielding part 22 is for preventing light obliquely incident on the color filter 21 from leaking into adjacent unit pixels P, and is provided between the unit pixels P of the color filter 21 as described above. .
- the light shielding sections 22 are provided in a grid pattern in the pixel array section 100A.
- the material constituting the light shielding portion 22 include a conductive material having a light shielding property. Specifically, examples thereof include tungsten (W), silver (Ag), copper (Cu), aluminum (Al), and an alloy of Al and copper (Cu).
- the lens layer 23 is provided so as to cover the entire surface of the pixel array section 100A, and has, for example, a plurality of on-chip lenses 23L provided in a gapless manner on its surface.
- the on-chip lens 23L is for condensing light incident from above onto the photoelectric conversion unit 12, and is provided for each unit pixel P, for example, as shown in FIGS. 4 and 5. That is, the on-chip lens 23L is provided across the plurality of photoelectric conversion sections 12 within the unit pixel P.
- the lens layer 23 is made of, for example, an inorganic material such as silicon oxide (SiO x ) or silicon nitride (SiN x ).
- the lens layer 23 may be formed using an organic material with a high refractive index such as an episulfide resin, a thietane compound, or a resin thereof.
- the shape of the on-chip lens 23L is not particularly limited, and various lens shapes such as a hemispherical shape and a semicylindrical shape can be adopted.
- a flat lower layer may be provided between the color filter 21 and the light shielding part 22 and the lens layer 23 to flatten the surface of the light incident side S1 constituted by the color filter 21 and the light shielding part 22.
- the planarization layer can be formed using, for example, silicon oxide (SiO x ), silicon nitride (SiN x ), silicon oxynitride (SiO x N y ), or the like.
- the multilayer wiring layer 30 is provided on the side opposite to the light incident side S1 of the light receiving section 10, specifically, on the second surface 11S2 side of the semiconductor substrate 11.
- the multilayer wiring layer 30 has, for example, a structure in which a plurality of wiring layers 31, 32, and 33 are laminated with an interlayer insulating layer 34 interposed therebetween.
- a vertical drive circuit 111, a column signal processing circuit 112, a horizontal drive circuit 113, an output circuit 114, a control circuit 115, an input/output terminal 116, etc. are formed. There is.
- the wiring layers 31, 32, and 33 are formed using, for example, aluminum (Al), copper (Cu), or tungsten (W).
- the wiring layers 31, 32, and 33 may be formed using polysilicon (Poly-Si).
- the interlayer insulating layer 34 is, for example, a single layer film made of one of silicon oxide (SiO x ), TEOS, silicon nitride (SiN x ), silicon oxynitride (SiO x N y ), or one of these. It is formed from a laminated film composed of two or more types.
- a plurality of unit pixels P capable of simultaneously acquiring imaging information and parallax information are arranged in a matrix in the pixel array section 100A. It is configured as a phase difference acquisition direction.
- pupil correction is performed because the angle of incidence of the principal ray of the incident light from the optical lens is a predetermined angle depending on the design of the lens.
- the plurality of unit pixels P arranged in a matrix in the pixel array section 100A are located at a distance from the optical center O of the pixel array section 100A (incident light angle contour line C1 shown in FIG. 1). (Concentric circles)) are the same, the pupil correction amount differs depending on the orientation (pupil correction amount contour line C2 (non-concentric circle) shown in FIG. 1). This will be explained in detail below.
- FIG. 6A shows an example of the cross-sectional configuration of the unit pixel P A shown in FIG. It is something.
- FIG. 6B is a cross section of a unit pixel P B arranged at a distance d2 in the Y-axis direction perpendicular to the phase difference acquisition direction (X-axis direction) from the optical center O of the pixel array section 100A shown in FIG. 1.
- This shows an example of the configuration.
- 7A to 7D each represent the condensing positions F in the unit pixels P1, P2, P3, and P4 shown in FIG. 1, respectively.
- Pupil correction can be performed, for example, using a member constituting the light condensing section 20 provided on the light incident side S1 with respect to the light receiving section 10. That is, as shown in FIGS. 6A and 6B, the centers of the color filter 21 and the on-chip lens 23L are shifted from the center of the unit pixel P toward the optical center O of the pixel array section 100A.
- the amount of deviation (pupil correction amount) between the center position of the color filter 21 or on-chip lens 23L and the center position of the unit pixel P differs depending on the direction from the optical center O of the pixel array section 100A.
- the pupil correction amount of a unit pixel P A placed at a distance d1 in the phase difference acquisition direction (X-axis direction) from the optical center O of the pixel array section 100A is the pupil correction amount A
- the optical center O of the pixel array section 100A is If the pupil correction amount of a unit pixel P B placed at a distance d2 from the center O in the Y-axis direction perpendicular to the phase difference acquisition direction (X-axis direction) is the pupil correction amount B, then A>B. It is configured to be.
- the pupil correction amount A in the phase difference acquisition direction (X-axis direction) and the pupil correction amount B in the Y-axis direction orthogonal to the phase difference acquisition direction (X-axis direction) are determined by the distance from the optical center O of the pixel array section 100A. If they are equal, the distance increases toward the outer periphery of the pixel array section 100A.
- the angle of incidence of the principal ray of the incident light from the optical lens is 0°, so pupil correction is not necessary, and the center of the unit pixel P and the color filter 21 and on-chip lens
- the centers of 23l are in a coincident configuration as shown in FIG.
- a pixel P A and a pixel P B are arranged equidistantly from the optical center O of the pixel array section 100A in the X-axis direction and the Y-axis direction, which are perpendicular to each other.
- the pupil correction amount A at the pixel PA and the pupil correction amount B at the pixel PB are set to have a relationship of A>B. This will be explained below.
- each pixel has multiple photodiodes, and by sharing one on-chip lens with these multiple photodiodes, it is possible to simultaneously acquire imaging information and parallax information. There is.
- two pixels that share an on-chip lens perform pupil correction to match the X-point where their respective outputs are equal. It will be done.
- pupil correction tailored to this X-point is performed in both the H direction and the V direction.
- excessive correction is applied to pixels in a direction (eg, V direction) that is not in the phase difference acquisition direction (eg, H direction), and there is a concern that color mixture may increase.
- An increase in color mixture causes, for example, deterioration of characteristics in the V direction and HV direction and enlargement of GrGb level difference within the chip surface.
- the pupil correction amount of the unit pixel P A arranged at a distance d1 in the phase difference acquisition direction (X-axis direction) from the optical center O of the pixel array section 100A is defined as the pupil correction amount.
- the pupil correction amount of a unit pixel P B placed at a distance d2 in the Y-axis direction perpendicular to the phase difference acquisition direction (X-axis direction) from the optical center O of the pixel array section 100A is defined as the pupil correction amount B.
- the imaging device 1 of this embodiment compared to a general imaging device that performs equivalent pupil correction in the H direction (X-axis direction) and the V direction (Y-axis direction), as described above, It is possible to improve characteristics such as the sensitivity difference between the same colors and the GrGb level difference caused by color mixture.
- the imaging device 1 of this embodiment is robust against manufacturing variations, it is possible to improve manufacturing yield.
- FIG. 9 schematically represents an example of a planar configuration of a unit pixel P that constitutes an imaging device according to Modification 1 of the present disclosure.
- the intra-pixel separation section 14 is attached to each of a pair of sides of the inter-pixel separation section 13 surrounding the unit pixel P in the in-plane direction (XY plane direction) of the semiconductor substrate 11, for example, facing each other in the Y-axis direction.
- the intra-pixel separation unit 14 is configured to completely divide the unit pixel P in the phase difference acquisition direction (X-axis direction) in the in-plane direction (XY plane direction) of the semiconductor substrate 11.
- the shape may be continuous between a pair of sides facing each other in the Y-axis direction.
- the intra-pixel isolation section 14 was formed using an insulating film, but the present invention is not limited to this.
- the intra-pixel isolation section 14 can also be formed by, for example, an impurity diffusion layer in which p-type impurities are diffused.
- the intra-pixel isolation section 14 may be formed using a non-doped polysilicon (Poly-Si) film or an amorphous silicon film.
- the intra-pixel separation unit 14 completely divides the unit pixel P in the phase difference acquisition direction (X-axis direction) by dividing the unit pixel P into two parts that are continuous between a pair of sides facing each other in the Y-axis direction. I did it like that. Further, the intra-pixel isolation section 14 is formed of a material other than an oxide film such as an impurity diffusion layer. Even in such a configuration, the same effects as in the above embodiment can be obtained.
- FIG. 10 schematically represents an example of a cross-sectional configuration of an imaging device (imaging device 1A) according to Modification 2 of the present disclosure.
- FIG. 11 schematically shows another example of the cross-sectional configuration of an imaging device 1A according to Modification 2 of the present disclosure.
- FIG. 12 schematically represents another example of the cross-sectional configuration of an imaging device 1A according to Modification 2 of the present disclosure.
- the imaging device 1A is, for example, a CMOS image sensor used in electronic equipment such as a digital still camera or a video camera, and is, for example, a so-called back-illuminated imaging device, as in the above embodiment.
- inter-pixel isolation section 13 and the intra-pixel isolation section 14 both have an FTI structure penetrating between the first surface 11S1 and the second surface 11S2 of the semiconductor substrate 11, but the present invention is not limited to this. It is not something that will be done.
- the inter-pixel isolation section 13 and the intra-pixel isolation section 14 extend from the first surface 11S1 or the second surface 11S2 of the semiconductor substrate 11 toward the other opposing surface, and the bottoms thereof are STI formed in the semiconductor substrate 11. (Shallow Trench Isolation) structure may also be used.
- the inter-pixel isolation section 13 and the intra-pixel isolation section 14 have an STI structure, for example, as shown in FIG. It may also be an RDTI (Rear Deep Trench Isolation) structure extending from the side toward the second surface 11S2.
- the inter-pixel isolation section 13 and the intra-pixel isolation section 14 have a FDTI (Front Deep Trench Isolation) structure extending from the second surface 11S2 side of the semiconductor substrate 11 toward the first surface 11S1.
- the FTI structure and the STI structure may be combined.
- the inter-pixel isolation section 13 may have an FTI structure
- the intra-pixel isolation section 14 may have an FDTI structure extending, for example, from the second surface 11S2 side toward the first surface 11S1.
- the inter-pixel separation unit 13 and the intra-pixel separation unit 14 have an STI structure including an FDTI structure and an RDTI structure, and a case where the FTI structure and the STI structure are combined is shown. Even in such a configuration, the same effects as in the above embodiment can be obtained.
- FIG. 13 explains the amount of pupil correction in the pixel array section 100A of the imaging device (imaging device 2) according to Modification 3 of the present disclosure.
- FIG. 14 schematically shows an example of the planar configuration of the imaging device 2 shown in FIG. 13.
- the imaging device 2 is, for example, a CMOS image sensor used in electronic equipment such as a digital still camera or a video camera, and is, for example, a so-called back-illuminated imaging device, as in the above embodiment.
- the Y-axis direction may be the phase difference acquisition direction, and in that case, as shown in FIG.
- the pupil correction amount of the arranged unit pixel P A is defined as the pupil correction amount A, which is arranged at a distance d2 from the optical center O of the pixel array section 100A in the X-axis direction orthogonal to the phase difference acquisition direction (Y-axis direction).
- the pupil correction amount of the unit pixel PB is the pupil correction amount B
- the configuration is such that A>B.
- the intra-pixel separation unit 44 sets the unit pixel P in the phase difference acquisition direction in the in-plane direction (XY plane direction) of the semiconductor substrate 11, as shown in FIG. 14, for example.
- the pixel separation section 13 surrounding the unit pixel P extends from each of a pair of sides facing each other in the X-axis direction toward the center of the unit pixel P, and there is a gap between them. have.
- the intra-pixel separation unit 44 divides the unit pixel P between the pair of sides facing each other in the X-axis direction so as to completely divide the unit pixel P in the phase difference acquisition direction (Y-axis direction). They may be provided continuously.
- the intra-pixel isolation section 44 is made of, for example, an impurity diffusion layer in which p-type impurities are diffused, a non-doped polysilicon (Poly-Si) film, or an amorphous film. It can be formed using a silicon film.
- the structure is not limited to the FTI structure, but may be an STI structure such as an FDTI structure or an RDTI structure.
- the phase difference acquisition direction is set to the Y-axis direction. Even in such a configuration, the same effects as in the above embodiment can be obtained.
- FIG. 15 schematically represents an example of a planar configuration of a unit pixel P that constitutes an imaging device according to Modification 3 of the present disclosure.
- the on-chip lens 23L is arranged for each unit pixel P, for example, so as to straddle the two photoelectric conversion sections 12A and 12B arranged in the phase difference acquisition direction.
- the present invention is not limited to this.
- an elliptical on-chip lens 23L is arranged for every two unit pixels P arranged in parallel in the phase difference acquisition direction, and parallax information is acquired from the two unit pixels P. You can also do this.
- the imaging device 1 and the like can be applied to any type of electronic device having an imaging function, such as a camera system such as a digital still camera or a video camera, or a mobile phone having an imaging function.
- FIG. 16 shows a schematic configuration of electronic device 1000.
- the electronic device 1000 includes, for example, a lens group 1001, an imaging device 1, a DSP (Digital Signal Processor) circuit 1002, a frame memory 1003, a display section 1004, a recording section 1005, an operation section 1006, and a power supply section 1007. and are interconnected via a bus line 1008.
- a lens group 1001 an imaging device 1
- a DSP (Digital Signal Processor) circuit 1002 a frame memory 1003, a display section 1004, a recording section 1005, an operation section 1006, and a power supply section 1007. and are interconnected via a bus line 1008.
- DSP Digital Signal Processor
- the lens group 1001 takes in incident light (image light) from a subject and forms an image on the imaging surface of the imaging device 1.
- the imaging device 1 converts the amount of incident light focused on the imaging surface by the lens group 1001 into an electrical signal for each pixel, and supplies the electrical signal to the DSP circuit 1002 as a pixel signal.
- the DSP circuit 1002 is a signal processing circuit that processes signals supplied from the imaging device 1.
- the DSP circuit 1002 processes signals from the imaging device 1 and outputs image data obtained.
- the frame memory 1003 temporarily stores image data processed by the DSP circuit 1002 in units of frames.
- the display unit 1004 is composed of a panel type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays image data of moving images or still images captured by the imaging device 1 on a recording medium such as a semiconductor memory or a hard disk. to be recorded.
- a panel type display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel
- a recording medium such as a semiconductor memory or a hard disk. to be recorded.
- the operation unit 1006 outputs operation signals regarding various functions owned by the electronic device 1000 in accordance with user operations.
- the power supply unit 1007 appropriately supplies various kinds of power to serve as operating power for the DSP circuit 1002, frame memory 1003, display unit 1004, recording unit 1005, and operation unit 1006 to these supply targets.
- the technology according to the present disclosure (this technology) can be applied to various products.
- the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. It's okay.
- FIG. 17 is a block diagram illustrating a schematic configuration example of a vehicle control system, which is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
- the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
- the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
- the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
- the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
- the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
- radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
- the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
- the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
- an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
- the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
- the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
- the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
- the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
- the in-vehicle information detection unit 12040 detects in-vehicle information.
- a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
- the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
- the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
- the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or impact mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
- the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
- the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
- an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
- FIG. 18 is a diagram showing an example of the installation position of the imaging section 12031.
- the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle 12100.
- An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
- Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
- An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
- the images of the front acquired by the imaging units 12101 and 12105 are mainly used for detecting preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
- FIG. 18 shows an example of the imaging range of the imaging units 12101 to 12104.
- An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
- the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
- the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. In particular, by determining the three-dimensional object that is closest to the vehicle 12100 on its path and that is traveling at a predetermined speed (for example, 0 km/h or more) in approximately the same direction as the vehicle 12100, it is possible to extract the three-dimensional object as the preceding vehicle. can.
- a predetermined speed for example, 0 km/h or more
- the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for the purpose of autonomous driving, etc., in which the vehicle travels autonomously without depending on the driver's operation.
- the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver via the vehicle control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
- the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceed
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
- the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
- pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
- the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
- the display unit 12062 is controlled to display the .
- the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
- the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above.
- the imaging device 100 can be applied to the imaging unit 12031.
- the technology according to the present disclosure (this technology) can be applied to various products.
- the technology according to the present disclosure may be applied to an endoscopic surgery system.
- FIG. 19 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology according to the present disclosure (present technology) can be applied.
- FIG. 19 shows an operator (doctor) 11131 performing surgery on a patient 11132 on a patient bed 11153 using the endoscopic surgery system 11000.
- the endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as a pneumoperitoneum tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 that supports the endoscope 11100. , and a cart 11200 loaded with various devices for endoscopic surgery.
- the endoscope 11100 is composed of a lens barrel 11101 whose distal end is inserted into a body cavity of a patient 11132 over a predetermined length, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
- an endoscope 11100 configured as a so-called rigid scope having a rigid tube 11101 is shown, but the endoscope 11100 may also be configured as a so-called flexible scope having a flexible tube. good.
- An opening into which an objective lens is fitted is provided at the tip of the lens barrel 11101.
- a light source device 11203 is connected to the endoscope 11100, and the light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101, and the light is guided to the tip of the lens barrel. Irradiation is directed toward an observation target within the body cavity of the patient 11132 through the lens.
- the endoscope 11100 may be a direct-viewing mirror, a diagonal-viewing mirror, or a side-viewing mirror.
- An optical system and an image sensor are provided inside the camera head 11102, and reflected light (observation light) from an observation target is focused on the image sensor by the optical system.
- the observation light is photoelectrically converted by the image sensor, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
- the image signal is transmitted as RAW data to a camera control unit (CCU) 11201.
- CCU camera control unit
- the CCU 11201 is configured with a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and centrally controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal, such as development processing (demosaic processing), for displaying an image based on the image signal.
- a CPU Central Processing Unit
- GPU Graphics Processing Unit
- the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under control from the CCU 11201.
- the light source device 11203 is composed of a light source such as an LED (Light Emitting Diode), and supplies irradiation light to the endoscope 11100 when photographing the surgical site or the like.
- a light source such as an LED (Light Emitting Diode)
- LED Light Emitting Diode
- the input device 11204 is an input interface for the endoscopic surgery system 11000.
- the user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
- the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
- a treatment tool control device 11205 controls driving of an energy treatment tool 11112 for cauterizing tissue, incising, sealing blood vessels, or the like.
- the pneumoperitoneum device 11206 injects gas into the body cavity of the patient 11132 via the pneumoperitoneum tube 11111 in order to inflate the body cavity of the patient 11132 for the purpose of ensuring a field of view with the endoscope 11100 and a working space for the operator. send in.
- the recorder 11207 is a device that can record various information regarding surgery.
- the printer 11208 is a device that can print various types of information regarding surgery in various formats such as text, images, or graphs.
- the light source device 11203 that supplies irradiation light to the endoscope 11100 when photographing the surgical site can be configured, for example, from a white light source configured by an LED, a laser light source, or a combination thereof.
- a white light source configured by a combination of RGB laser light sources
- the output intensity and output timing of each color (each wavelength) can be controlled with high precision, so the white balance of the captured image is adjusted in the light source device 11203. It can be carried out.
- the laser light from each RGB laser light source is irradiated onto the observation target in a time-sharing manner, and the drive of the image sensor of the camera head 11102 is controlled in synchronization with the irradiation timing, thereby supporting each of RGB. It is also possible to capture images in a time-division manner. According to this method, a color image can be obtained without providing a color filter in the image sensor.
- the driving of the light source device 11203 may be controlled so that the intensity of the light it outputs is changed at predetermined time intervals.
- the drive of the image sensor of the camera head 11102 in synchronization with the timing of changes in the light intensity to acquire images in a time-division manner and compositing the images, a high dynamic It is possible to generate an image of a range.
- the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band compatible with special light observation.
- Special light observation uses, for example, the wavelength dependence of light absorption in body tissues to illuminate the mucosal surface layer by irradiating a narrower band of light than the light used for normal observation (i.e., white light). So-called narrow band imaging is performed in which predetermined tissues such as blood vessels are photographed with high contrast.
- fluorescence observation may be performed in which an image is obtained using fluorescence generated by irradiating excitation light.
- Fluorescence observation involves irradiating body tissues with excitation light and observing the fluorescence from the body tissues (autofluorescence observation), or locally injecting reagents such as indocyanine green (ICG) into the body tissues and It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
- the light source device 11203 may be configured to be able to supply narrowband light and/or excitation light compatible with such special light observation.
- FIG. 20 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU 11201 shown in FIG. 19.
- the camera head 11102 includes a lens unit 11401, an imaging section 11402, a driving section 11403, a communication section 11404, and a camera head control section 11405.
- the CCU 11201 includes a communication section 11411, an image processing section 11412, and a control section 11413. Camera head 11102 and CCU 11201 are communicably connected to each other by transmission cable 11400.
- the lens unit 11401 is an optical system provided at the connection part with the lens barrel 11101. Observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
- the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
- the imaging unit 11402 is composed of an image sensor.
- the imaging unit 11402 may include one image sensor (so-called single-plate type) or a plurality of image sensors (so-called multi-plate type).
- image signals corresponding to RGB are generated by each imaging element, and a color image may be obtained by combining them.
- the imaging unit 11402 may be configured to include a pair of imaging elements for respectively acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display. By performing 3D display, the operator 11131 can more accurately grasp the depth of the living tissue at the surgical site.
- a plurality of lens units 11401 may be provided corresponding to each imaging element.
- the imaging unit 11402 does not necessarily have to be provided in the camera head 11102.
- the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
- the drive unit 11403 is constituted by an actuator, and moves the zoom lens and focus lens of the lens unit 11401 by a predetermined distance along the optical axis under control from the camera head control unit 11405. Thereby, the magnification and focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
- the communication unit 11404 is configured by a communication device for transmitting and receiving various information to and from the CCU 11201.
- the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 to the CCU 11201 via the transmission cable 11400 as RAW data.
- the communication unit 11404 receives a control signal for controlling the drive of the camera head 11102 from the CCU 11201 and supplies it to the camera head control unit 11405.
- the control signal may include, for example, information specifying the frame rate of the captured image, information specifying the exposure value at the time of capturing, and/or information specifying the magnification and focus of the captured image. Contains information about conditions.
- the above imaging conditions such as the frame rate, exposure value, magnification, focus, etc. may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. good.
- the endoscope 11100 is equipped with so-called AE (Auto Exposure) function, AF (Auto Focus) function, and AWB (Auto White Balance) function.
- the camera head control unit 11405 controls the drive of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
- the communication unit 11411 is configured by a communication device for transmitting and receiving various information to and from the camera head 11102.
- the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
- the communication unit 11411 transmits a control signal for controlling the drive of the camera head 11102 to the camera head 11102.
- the image signal and control signal can be transmitted by electrical communication, optical communication, or the like.
- the image processing unit 11412 performs various image processing on the image signal, which is RAW data, transmitted from the camera head 11102.
- the control unit 11413 performs various controls related to the imaging of the surgical site etc. by the endoscope 11100 and the display of the captured image obtained by imaging the surgical site etc. For example, the control unit 11413 generates a control signal for controlling the drive of the camera head 11102.
- control unit 11413 causes the display device 11202 to display a captured image showing the surgical site, etc., based on the image signal subjected to image processing by the image processing unit 11412.
- the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects the shape and color of the edge of an object included in the captured image to detect surgical tools such as forceps, specific body parts, bleeding, mist when using the energy treatment tool 11112, etc. can be recognized.
- the control unit 11413 may use the recognition result to superimpose and display various types of surgical support information on the image of the surgical site. By displaying the surgical support information in a superimposed manner and presenting it to the surgeon 11131, it becomes possible to reduce the burden on the surgeon 11131 and allow the surgeon 11131 to proceed with the surgery reliably.
- the transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electrical signal cable compatible with electrical signal communication, an optical fiber compatible with optical communication, or a composite cable thereof.
- communication is performed by wire using the transmission cable 11400, but communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
- the technology according to the present disclosure can be suitably applied to the imaging unit 11402 provided in the camera head 11102 of the endoscope 11100 among the configurations described above.
- the imaging unit 11402 can be made smaller or have higher definition, so it is possible to provide a smaller or higher definition endoscope 11100.
- pupil correction is performed using the color filter 21 and the on-chip lens 23L.
- 21 and the on-chip lens 23L this can also be done by shifting.
- the present technology has been described using a back-illuminated imaging device (for example, the imaging device 1) as an example, but the present technology can also be applied to a front-illuminated imaging device.
- the present technology not only the color filter 21 and the on-chip lens 23L, but also the pixel transistor provided on the light irradiation surface (for example, the first surface 11S1) of the semiconductor substrate 11, and the space between the first surface 11S1 and the color filter 21 are included.
- the wiring layer provided in the pixel array section 100A is shifted from the center of the unit pixel P toward the optical center O of the pixel array section 100A to perform pupil correction. You may also do so.
- the present disclosure can also have the following configuration.
- a plurality of unit pixels are arranged at equal distances in a first direction and a second direction perpendicular to each other from the optical center of a pixel array section in which a plurality of unit pixels are arranged in a matrix.
- the pupil correction amount A in the first pixel and the pupil correction amount B in the second pixel have a relationship of A>B. .
- the plurality of unit pixels are provided on a semiconductor substrate having a first surface serving as a light incident surface and a second surface opposite to the first surface,
- the semiconductor substrate includes an inter-pixel isolation section that is provided between each of the plurality of adjacent unit pixels and electrically and optically isolates the plurality of adjacent unit pixels;
- the imaging device according to (1) further comprising an intra-pixel separation section that is provided respectively and separates each of the plurality of unit pixels in the phase difference acquisition direction.
- the inter-pixel isolation section and the intra-pixel isolation section may include a Full Trench Isolation structure penetrating the first surface and the second surface of the semiconductor substrate, or a Full Trench Isolation structure penetrating the first surface or the second surface of the semiconductor substrate.
- the imaging device according to (2) wherein the imaging device has any one of a Deep Trench Isolation structure that extends from one surface toward another surface and has a bottom surface within the semiconductor substrate.
- the pixel isolation section is formed of an oxide film.
- the intra-pixel separation section extends from each of a pair of sides of the inter-pixel separation section facing in the second direction toward the center of the unit pixel in a plan view, and has a gap therebetween. 2) The imaging device according to any one of (4).
- the imaging device according to any one of (2) to (6), wherein the intra-pixel isolation section is formed of an oxide film, a polysilicon film, or an impurity diffusion layer.
- (8) further comprising a plurality of on-chip lenses arranged for each one or more of the unit pixels on the first surface side of the semiconductor substrate, The imaging device according to any one of (2) to (7), wherein pupil correction is performed by shifting the plurality of on-chip lenses toward the optical center.
- (9) further comprising a plurality of color filters arranged for each one or more of the unit pixels on the first surface side of the semiconductor substrate and a light shielding part provided between adjacent color filters; The imaging device according to any one of (2) to (8), wherein pupil correction is performed by shifting the plurality of color filters toward the optical center.
- (10) further comprising a plurality of pixel transistors and a wiring layer arranged for each one or more of the unit pixels on the first surface side of the semiconductor substrate,
- (12) A first pixel and a second pixel arranged at equal distances in a first direction and a second direction perpendicular to the first direction from the optical center of a pixel array section in which a plurality of unit pixels are arranged in a matrix. Equipped with When the first direction is the phase difference acquisition direction, the pupil correction amount A in the first pixel and the pupil correction amount B in the second pixel have a relationship of A>B. device.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本開示の一実施形態の撮像装置は、複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、第1の方向を位相差取得方向とした場合、第1画素における瞳補正量Aと、第2画素における瞳補正量Bとは、A>Bの関係を有する。
Description
本開示は、例えば、撮像情報および視差情報を取得可能な撮像装置およびこれを備えた電子機器に関する。
例えば、特許文献1では、1つのオンチップレンズに対して複数の光電変換素子を形成した画素を含む複数の画素を2次元状に配列した画素アレイ部において、画素の間に形成される画素間分離部および画素間遮光部の少なくとも一方の一部を画素の中心に向けて突起状にせり出させることにより、撮像画像の劣化を抑制しつつ、位相差検出の精度を向上させた固体撮像装置が開示されている。
ところで、視差情報を取得可能な撮像装置では、例えば、混色が原因で乗じる同色間感度差やGrGb段差といった項目での特性の改善が求められている。
特性を改善することが可能な撮像装置および電子機器を提供することが望ましい。
本開示の一実施形態としての撮像装置は、複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、第1の方向を位相差取得方向とした場合、第1画素における瞳補正量Aと、第2画素における瞳補正量Bとは、A>Bの関係を有するものである。
本開示の一実施形態としての電子機器は、上記本開示の一実施形態の撮像装置を備えたものである。
本開示の一実施形態としての撮像装置および一実施形態としての電子機器では、複数の単位画素が行列状に配置された画素アレイ部の光学中心から互いに直交する第1の方向および第2の方向にそれぞれ等距離に配置された第1画素および第2画素において、第1の方向を位相差取得方向とした場合、第1画素における瞳補正量Aと、第2画素における瞳補正量BとがA>Bの関係を有するようにした。これにより、位相差取得方向ではない第2の方向における混色を低減する。
以下、本開示における一実施形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。また、本開示は、各図に示す各構成要素の配置や寸法、寸法比等についても、それらに限定されるものではない。なお、説明する順序は、下記の通りである。
1.実施の形態(光学中心からの方位に応じて瞳補正量が異なる撮像装置の例)
2.変形例
2-1.変形例1(画素内分離部の形状の他の例)
2-2.変形例2(画素間分離部および画素内分離部の形状の他の例)
2-3.変形例3(Y軸方向を位相差取得方向とする撮像装置の例)
2-4.変形例4(単位画素およびオンチップレンズのレイアウトの他の例)
3.適用例
4.応用例
1.実施の形態(光学中心からの方位に応じて瞳補正量が異なる撮像装置の例)
2.変形例
2-1.変形例1(画素内分離部の形状の他の例)
2-2.変形例2(画素間分離部および画素内分離部の形状の他の例)
2-3.変形例3(Y軸方向を位相差取得方向とする撮像装置の例)
2-4.変形例4(単位画素およびオンチップレンズのレイアウトの他の例)
3.適用例
4.応用例
<1.実施の形態>
図1は、本開示の一実施の形態に係る撮像装置(撮像装置1)の画素アレイ部100Aにおける瞳補正量を説明するものである。図2は、図1に示した撮像装置1の全体構成の一例を表したものである。撮像装置1は、例えば、デジタルスチルカメラ、ビデオカメラ等の電子機器に用いられるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等であり、撮像エリアとして、複数の画素が行列状に2次元配置された画素部(画素アレイ部100A)を有している。撮像装置1は、このCMOSイメージセンサ等において、例えば所謂裏面照射型の撮像装置である。
図1は、本開示の一実施の形態に係る撮像装置(撮像装置1)の画素アレイ部100Aにおける瞳補正量を説明するものである。図2は、図1に示した撮像装置1の全体構成の一例を表したものである。撮像装置1は、例えば、デジタルスチルカメラ、ビデオカメラ等の電子機器に用いられるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等であり、撮像エリアとして、複数の画素が行列状に2次元配置された画素部(画素アレイ部100A)を有している。撮像装置1は、このCMOSイメージセンサ等において、例えば所謂裏面照射型の撮像装置である。
撮像装置1は、撮像情報と視差情報とを同時に取得可能な複数の画素(単位画素P)が行列状に配置された画素アレイ部100Aを有するものである。本実施の形態の撮像装置1では、図1に示したように、画素アレイ部100Aの光学中心Oから互いに直交するX軸方向およびY軸方向にそれぞれ等距離に配置された画素PAおよび画素PBにおいて、X軸方向を位相差取得方向とした場合、画素PAにおける瞳補正量Aと、画素PBにおける瞳補正量BとはA>Bの関係を有している。
[撮像装置の概略構成]
撮像装置1は、光学レンズ系(図示せず)を介して被写体からの入射光(像光)を取り込んで、撮像面上に結像された入射光の光量を画素単位Pで電気信号に変換して画素信号として出力するものである。撮像装置1は、半導体基板11上に、撮像エリアとしての画素アレイ部100Aを有すると共に、この画素アレイ部100Aの周辺領域に、例えば、垂直駆動回路111、カラム信号処理回路112、水平駆動回路113、出力回路114、制御回路115および入出力端子116を有している。
撮像装置1は、光学レンズ系(図示せず)を介して被写体からの入射光(像光)を取り込んで、撮像面上に結像された入射光の光量を画素単位Pで電気信号に変換して画素信号として出力するものである。撮像装置1は、半導体基板11上に、撮像エリアとしての画素アレイ部100Aを有すると共に、この画素アレイ部100Aの周辺領域に、例えば、垂直駆動回路111、カラム信号処理回路112、水平駆動回路113、出力回路114、制御回路115および入出力端子116を有している。
画素アレイ部100Aには、例えば、複数の単位画素Pが行列状に2次元配置されている。複数の単位画素Pは、それぞれ、撮像画素と像面位相差画素とを兼ねている。撮像画素は、撮像レンズによって結像された被写体像をフォトダイオードPDにおいて光電変換して画像生成用の信号を生成するものである。像面位相差画素は、撮像レンズの瞳領域を分割し、分割された瞳領域からの被写体像を光電変換して位相差検出用の信号を生成するものである。
単位画素Pには、例えば、画素行毎に画素駆動線Lread(具体的には行選択線およびリセット制御線)が配線され、画素列毎に垂直信号線Lsigが配線されている。画素駆動線Lreadは、画素からの信号読み出しのための駆動信号を伝送するものである。画素駆動線Lreadの一端は、垂直駆動回路111の各行に対応した出力端に接続されている。
垂直駆動回路111は、シフトレジスタやアドレスデコーダ等によって構成され、画素アレイ部100Aの各単位画素Pを、例えば、行単位で駆動する画素駆動部である。垂直駆動回路111によって選択走査された画素行の各単位画素Pから出力される信号は、垂直信号線Lsigの各々を通してカラム信号処理回路112に供給される。カラム信号処理回路112は、垂直信号線Lsig毎に設けられたアンプや水平選択スイッチ等によって構成されている。
水平駆動回路113は、シフトレジスタやアドレスデコーダ等によって構成され、カラム信号処理回路112の各水平選択スイッチを走査しつつ順番に駆動するものである。この水平駆動回路113による選択走査により、垂直信号線Lsigの各々を通して伝送される各画素の信号が順番に水平信号線121に出力され、当該水平信号線121を通して半導体基板11の外部へ伝送される。
出力回路114は、カラム信号処理回路112の各々から水平信号線121を介して順次供給される信号に対して信号処理を行って出力するものである。出力回路114は、例えば、バッファリングのみを行う場合もあるし、黒レベル調整、列ばらつき補正および各種デジタル信号処理等が行われる場合もある。
垂直駆動回路111、カラム信号処理回路112、水平駆動回路113、水平信号線121および出力回路114からなる回路部分は、半導体基板11上に直に形成されていてもよいし、あるいは外部制御ICに配設されたものであってもよい。また、それらの回路部分は、ケーブル等により接続された他の基板に形成されていてもよい。
制御回路115は、半導体基板11の外部から与えられるクロックや、動作モードを指令するデータ等を受け取り、また、撮像装置1の内部情報等のデータを出力するものである。制御回路115はさらに、各種のタイミング信号を生成するタイミングジェネレータを有し、当該タイミングジェネレータで生成された各種のタイミング信号を基に垂直駆動回路111、カラム信号処理回路112および水平駆動回路113等の周辺回路の駆動制御を行う。
入出力端子116は、外部との信号のやり取りを行うものである。
[単位画素の回路構成]
図3は、図2に示した撮像装置1の単位画素Pの読み出し回路の一例を表したものである。単位画素Pは、例えば、図3に示したように、2つの光電変換部12A,12Bと、転送トランジスタTR1,TR2と、フローティングディフュージョンFDと、リセットトランジスタRSTと、増幅トランジスタAMPと、選択トランジスタSELとを有している。
図3は、図2に示した撮像装置1の単位画素Pの読み出し回路の一例を表したものである。単位画素Pは、例えば、図3に示したように、2つの光電変換部12A,12Bと、転送トランジスタTR1,TR2と、フローティングディフュージョンFDと、リセットトランジスタRSTと、増幅トランジスタAMPと、選択トランジスタSELとを有している。
光電変換部12A,12Bは、それぞれ、フォトダイオード(PD)である。光電変換部12Aは、アノードが接地電圧線に接続され、カソードが転送トランジスタTR1のソースに接続されている。光電変換部12Bは、光電変換部12Aと同様に、アノードが接地電圧線に接続され、カソードが転送トランジスタTR2のソースに接続されている。
転送トランジスタTR1は、光電変換部12AとフローティングディフュージョンFDとの間に接続されている。転送トランジスタTR2は、光電変換部12BとフローティングディフュージョンFDとの間に接続されている。転送トランジスタTR1,TR2のゲート電極には、それぞれ、駆動信号TRsigが印加される。この駆動信号TRsigがアクティブ状態になると、転送トランジスタTR1,TR2のそれぞれの転送ゲートが導通状態となり、光電変換部12A,12B各々に蓄積されている信号電荷が、転送トランジスタTR1,TR2を介してフローティングディフュージョンFDに転送される。
フローティングディフュージョンFDは、転送トランジスタTR1,TR2と増幅トランジスタAMPとの間に接続されている。フローティングディフュージョンFDは、転送トランジスタTR1,TR2により転送される信号電荷を電圧信号に電荷電圧変換して、増幅トランジスタAMPに出力する。
リセットトランジスタRSTは、フローティングディフュージョンFDと電源部との間に接続されている。リセットトランジスタRSTのゲート電極には、駆動信号RSTsigが印加される。この駆動信号RSTsigがアクティブ状態になると、リセットトランジスタRSTのリセットゲートが導通状態となり、フローティングディフュージョンFDの電位が電源部のレベルにリセットされる。
増幅トランジスタAMPは、そのゲート電極がフローティングディフュージョンFDに、ドレイン電極が電源部にそれぞれ接続されており、フローティングディフュージョンFDが保持している電圧信号の読み出し回路、所謂ソースフォロア回路の入力部となる。即ち、増幅トランジスタAMPは、そのソース電極が選択トランジスタSELを介して垂直信号線Lsigに接続されることで、垂直信号線Lsigの一端に接続される定電流源とソースフォロア回路を構成する。
選択トランジスタSELは、増幅トランジスタAMPのソース電極と、垂直信号線Lsigとの間に接続される。選択トランジスタSELのゲート電極には、駆動信号SELsigが印加される。この駆動信号SELsigがアクティブ状態になると、選択トランジスタSELが導通状態となり、単位画素Pが選択状態となる。これにより、増幅トランジスタAMPから出力される読み出し信号(画素信号)が、選択トランジスタSELを介して、垂直信号線Lsigに出力される。
単位画素Pでは、例えば、光電変換部12Aにおいて生成された信号電荷および光電変換部12Bにおいて生成された信号電荷がそれぞれ読み出される。この光電変換部12Aおよび光電変換部12Bそれぞれから読み出された信号電荷を、例えば外部の信号処理部の位相差演算ブロックに出力することで、位相差オートフォーカス用の信号が取得できる。また、この光電変換部12Aおよび光電変換部12Bそれぞれから読み出された信号電荷をフローティングディフュージョンFDにおいて足し合わせ、例えば外部の信号処理部の撮像ブロックに出力することで、光電変換部12Aおよび光電変換部12Bの総電荷に基づく画素信号を取得できる。
[単位画素の構成]
図4は、撮像装置1の断面構成の一例を模式的に表したものである。図5は、撮像装置1の平面構成の一例を模式的に表したものであり、図4は、図5に示したI-I線に対応する断面を表している。撮像装置1は、上記のように、例えば裏面照射型の撮像装置である。画素アレイ部100Aに行列状に2次元配置された複数の単位画素Pは、それぞれ、例えば、受光部10と、受光部10の光入射側S1に設けられた集光部20と、受光部10の光入射側S1とは反対側に設けられた多層配線層30とが積層された構成を有している。
図4は、撮像装置1の断面構成の一例を模式的に表したものである。図5は、撮像装置1の平面構成の一例を模式的に表したものであり、図4は、図5に示したI-I線に対応する断面を表している。撮像装置1は、上記のように、例えば裏面照射型の撮像装置である。画素アレイ部100Aに行列状に2次元配置された複数の単位画素Pは、それぞれ、例えば、受光部10と、受光部10の光入射側S1に設けられた集光部20と、受光部10の光入射側S1とは反対側に設けられた多層配線層30とが積層された構成を有している。
受光部10は、対向する第1面11S1および第2面11S2を有する半導体基板11と、半導体基板11に埋め込み形成された複数の光電変換部12とを有している。半導体基板11は、例えば、シリコン基板で構成されている。光電変換部12は、例えばPIN(Positive Intrinsic Negative)型のフォトダイオード(PD)であり、半導体基板11の所定領域にpn接合を有している。光電変換部12は、上記のように、単位画素Pに複数(例えば、2つ(光電変換部12A,12B))埋め込み形成されている。
受光部10は、さらに、画素間分離部13と、画素内分離部14とを有している。
画素間分離部13は、隣り合う単位画素Pの間に設けられている。換言すると、画素間分離部13は、半導体基板11の面内方向(XY平面方向)において、単位画素Pの周囲に設けられており、画素アレイ部100Aにおいて、例えば図5に示したように、格子状に設けられている。画素間分離部13は、隣り合う単位画素Pを電気的且つ光学的に分離するためのものである。画素間分離部13は、半導体基板11の厚み方向(Z軸方向)では、例えば、半導体基板11の第1面11S1側から第2面11S2側に向かって延伸し、例えば、半導体基板11の第1面11S1と第2面11S2との間を貫通するFTI(Full Trench Isolation)構造を有している。
画素間分離部13は、例えば、シリコン酸化(SiOx)膜等の酸化膜を用いて形成することができる。画素間分離部13には、例えば導電性を有する遮光膜を酸化膜内に埋め込んだり、エアギャップを形成するようにしてもよい。遮光膜としては、例えば、タングステン(W)、銀(Ag)、銅(Cu)、アルミニウム(Al)またはAlと銅(Cu)との合金等の単層膜または積層膜が挙げられる。
画素内分離部14は、単位画素P内において隣り合う光電変換部12(例えば、光電変換部12Aと光電変換部12B)との間に設けられている。画素内分離部14は、隣り合う光電変換部12を電気的に分離するためのものである。画素内分離部14は、半導体基板11の面内方向(XY平面方向)において、例えば図5に示したように、単位画素Pを位相差取得方向(X軸方向)に分割するように、単位画素Pを囲む画素間分離部13の、例えばY軸方向に対向する一対の辺のそれぞれから単位画素Pの中央に向かって延伸し、その間に隙間を有している。また、画素内分離部14は、半導体基板11の厚み方向(Z軸方向)では、例えば、半導体基板11の第2面11S2から第1面11S1に向かって延伸し、例えば、画素間分離部13と同様に、半導体基板11の第1面11S1と第2面11S2との間を貫通するFTI構造を有している。
画素内分離部14は、画素間分離部13と同様に、例えば、シリコン酸化(SiOx)膜等の酸化膜を用いて形成することができる。画素内分離部14には、例えば導電性を有する遮光膜を酸化膜内に埋め込んだり、エアギャップを形成するようにしてもよい。遮光膜としては、例えば、タングステン(W)、銀(Ag)、銅(Cu)、アルミニウム(Al)またはAlと銅(Cu)との合金等の単層膜または積層膜が挙げられる。
半導体基板11の第1面11S1には、さらに半導体基板11の第1面11S1での反射防止を兼ねた固定電荷層15が設けられている。固定電荷層15は、正の固定電荷を有する膜でもよし、負の固定電荷を有する膜でもよい。固定電荷層15の構成材料としては、半導体基板11のバンドギャップよりも広いバンドギャップを有する半導体材料または導電材料が挙げられる。具体的には、例えば、酸化ハフニウム(HfOx)、酸化アルミニウム(AlOx)、酸化ジルコニウム(ZrOx)、酸化タンタル(TaOx)、酸化チタン(TiOx)、酸化ランタン(LaOx)、酸化プラセオジム(PrOx)、酸化セリウム(CeOx)、酸化ネオジム(NdOx)、酸化プロメチウム(PmOx)、酸化サマリウム(SmOx)、酸化ユウロピウム(EuOx)、酸化ガドリニウム(GdOx)、酸化テルビウム(TbOx)、酸化ジスプロシウム(DyOx)、酸化ホルミウム(HoOx)、酸化ツリウム(TmOx)、酸化イッテルビウム(YbOx)、酸化ルテチウム(LuOx)、酸化イットリウム(YOx)、窒化ハフニウム(HfNx)、窒化アルミニウム(AlNx)、酸窒化ハフニウム(HfOxNy)および酸窒化アルミニウム(AlOxNy)等が挙げられる。固定電荷層15は、単層膜としてもよいし、異なる材料からなる積層膜としてもよい。
集光部20は、受光部10の光入射側S1に設けられ、例えば、単位画素P毎に、例えば赤色光(R)、緑色光(G)または青色光(B)を選択的に透過させるカラーフィルタ21と、カラーフィルタ21の単位画素Pの間に設けられた遮光部22と、レンズ層23とを有し、受光部10側からこの順に積層されている。
カラーフィルタ21は、例えば、2行×2列で配置された4つの単位画素Pに対して、緑色光(G)を選択的に透過させるカラーフィルタ21Gが対角線上に2つ配置され、赤色光(R)および青色光(B)を選択的に透過させるカラーフィルタ21R,21Bが、直交する対角線上に1つずつ配置されている(例えば、図5の下段参照)。各カラーフィルタ21R,21G,21Bが設けられた単位画素Pでは、例えば、それぞれの光電変換部12において対応する色光が検出されるようになっている。即ち、画素アレイ部100Aでは、それぞれ、赤色光(R)、緑色光(G)および青色光(B)を検出する単位画素Pが、ベイヤー状に配列されている。
遮光部22は、カラーフィルタ21に斜め入射した光の隣接する単位画素Pへの漏れ込みを防ぐためのものであり、上記のように、カラーフィルタ21の単位画素Pの間に設けられている。換言すると、遮光部22は、画素アレイ部100Aにおいて、格子状に設けられている。遮光部22を構成する材料としては、例えば、遮光性を有する導電材料が挙げられる。具体的には、例えば、タングステン(W)、銀(Ag)、銅(Cu)、アルミニウム(Al)またはAlと銅(Cu)との合金等が挙げられる。
レンズ層23は、画素アレイ部100Aの全面を覆うように設けられており、その表面には、例えばギャップレスに設けられた複数のオンチップレンズ23Lを有している。オンチップレンズ23Lは、その上方から入射した光を光電変換部12へ集光するためのものであり、例えば、図4および図5に示したように、単位画素P毎に設けられている。即ち、オンチップレンズ23Lは、単位画素P内の複数の光電変換部12に跨って設けられている。レンズ層23は、例えば、酸化シリコン(SiOx)や窒化シリコン(SiNx)等の無機材料により形成されている。この他、レンズ層23は、エピスルフィド系樹脂、チエタン化合物やその樹脂等の高屈折率の有機材料を用いて形成してもよい。オンチップレンズ23Lの形状は、特に限定されるものではなく、半球形状や半円筒状等の各種レンズ形状を採用することができる。
カラーフィルタ21および遮光部22とレンズ層23との間には、例えば、カラーフィルタ21および遮光部22によって構成される光入射側S1の表面を平坦化するための平坦下層を設けるようにしてもよい(図示せず)。平坦化層は、例えば、酸化シリコン(SiOx)、窒化シリコン(SiNx)および酸窒化シリコン(SiOxNy)等を用いて形成することができる。
多層配線層30は、受光部10の光入射側S1とは反対側、具体的には、半導体基板11の第2面11S2側に設けられている。多層配線層30は、例えば、複数の配線層31,32,33が、層間絶縁層34を間に積層された構成を有している。多層配線層30には、例えば、上述した読み出し回路の他に、垂直駆動回路111、カラム信号処理回路112、水平駆動回路113、出力回路114、制御回路115および入出力端子116等が形成されている。
配線層31,32,33は、例えば、アルミニウム(Al)、銅(Cu)またはタングステン(W)等を用いて形成されている。この他、配線層31,32,33は、ポリシリコン(Poly-Si)を用いて形成するようにしてもよい。
層間絶縁層34は、例えば、酸化シリコン(SiOx)、TEOS、窒化シリコン(SiNx)および酸窒化シリコン(SiOxNy)等のうちの1種よりなる単層膜、あるいはこれらのうちの2種以上よりなる積層膜により形成されている。
[撮像装置における瞳補正の概要]
撮像装置1は、上記のように、画素アレイ部100Aにおいて撮像情報と視差情報とを同時に取得可能な複数の単位画素Pが行列状に配置されており、例えば行方向(X軸方向)を位相差取得方向として構成されている。画素アレイ部100Aの周辺部(外周部)では、光学レンズからの入射光の主光線の入射角がレンズの設計に応じて所定の角度となるため、瞳補正が行われる。本実施の形態の撮像装置1では、画素アレイ部100Aに行列状に配置された複数の単位画素Pは、画素アレイ部100Aの光学中心Oからの距離(図1に示した入射光角度等高線C1(同心円))が同一であっても、方位(図1に示した瞳補正量等高線C2(非同心円))によって瞳補正量が異なっている。以下、これについて詳細に説明する。
撮像装置1は、上記のように、画素アレイ部100Aにおいて撮像情報と視差情報とを同時に取得可能な複数の単位画素Pが行列状に配置されており、例えば行方向(X軸方向)を位相差取得方向として構成されている。画素アレイ部100Aの周辺部(外周部)では、光学レンズからの入射光の主光線の入射角がレンズの設計に応じて所定の角度となるため、瞳補正が行われる。本実施の形態の撮像装置1では、画素アレイ部100Aに行列状に配置された複数の単位画素Pは、画素アレイ部100Aの光学中心Oからの距離(図1に示した入射光角度等高線C1(同心円))が同一であっても、方位(図1に示した瞳補正量等高線C2(非同心円))によって瞳補正量が異なっている。以下、これについて詳細に説明する。
図6Aは、図1に示した、画素アレイ部100Aの光学中心Oから位相差取得方向(X軸方向)に距離d1離れた位置に配置された単位画素PAの断面構成の一例を表したものである。図6Bは、図1に示した、画素アレイ部100Aの光学中心Oから位相差取得方向(X軸方向)に直交するY軸方向に距離d2離れた位置に配置された単位画素PBの断面構成の一例を表したものである。ここで、距離d1と距離d2とは等しいものとする。図7A~図7Dは、それぞれ、図1に示した単位画素P1,P2,P3,P4における集光位置Fを表したものである。
瞳補正は、例えば、受光部10に対して光入射側S1に設けられた集光部20を構成する部材を用いて行うことができる。即ち、図6Aおよび図6Bに示したように、カラーフィルタ21やオンチップレンズ23Lの中心が、単位画素Pの中心よりも画素アレイ部100Aの光学中心Oに向かってずらして配置される。このカラーフィルタ21やオンチップレンズ23Lの中心位置と単位画素Pの中心位置とのずれ量(瞳補正量)は、画素アレイ部100Aの光学中心Oからの方位によって異なっている。例えば、画素アレイ部100Aの光学中心Oから位相差取得方向(X軸方向)に距離d1離れた位置に配置された単位画素PAの瞳補正量を瞳補正量A、画素アレイ部100Aの光学中心Oから位相差取得方向(X軸方向)に直交するY軸方向に距離d2離れた位置に配置された単位画素PBの瞳補正量を瞳補正量Bとした場合に、A>Bとなるように構成されている。
これにより、図7A~図7Dに示したように、画素アレイ部100Aの光学中心Oから同じ距離であっても、位相差取得方向(X軸方向)とX軸方向と直交するY軸方向とで集光位置Fが異なるようになり、例えば、位相差取得を行わないY軸方向に過剰な補正が掛かることによる混色が低減される。
なお、位相差取得方向(X軸方向)における瞳補正量Aおよび位相差取得方向(X軸方向)に直交するY軸方向における瞳補正量Bは、画素アレイ部100Aの光学中心Oからの距離が等しければ、画素アレイ部100Aの外周へ行くほど大きくなる。また、画素アレイ部100Aの中心部では、光学レンズからの入射光の主光線の入射角は0°となるため、瞳補正は不要であり、単位画素Pの中心とカラーフィルタ21やオンチップレンズ23lの中心は、図4に示したように一致した構成となる。
[作用・効果]
本実施の形態の撮像装置1では、画素アレイ部100Aの光学中心Oから互いに直交するX軸方向およびY軸方向にそれぞれ等距離に配置された画素PAおよび画素PBにおいて、X軸方向を位相差取得方向とした場合、画素PAにおける瞳補正量Aと、画素PBにおける瞳補正量BとはA>Bの関係を有するようにした。以下、これについて説明する。
本実施の形態の撮像装置1では、画素アレイ部100Aの光学中心Oから互いに直交するX軸方向およびY軸方向にそれぞれ等距離に配置された画素PAおよび画素PBにおいて、X軸方向を位相差取得方向とした場合、画素PAにおける瞳補正量Aと、画素PBにおける瞳補正量BとはA>Bの関係を有するようにした。以下、これについて説明する。
近年、位相差検出方式による焦点検出機能を有するイメージセンサが普及している。このようなイメージセンサでは、各画素が複数のフォトダイオードを有しており、この複数のフォトダイオードで1つのオンチップレンズを共有することにより、撮像情報と視差情報とを同時に取得可能となっている。
このようなイメージセンサでは、図8に示したように、オンチップレンズを共有する、例えば2つの画素(右画素および左画素)において、それぞれの出力が等しくなるX-ポイントに合わせた瞳補正が行われる。一般的なイメージセンサでは、このX-ポイントに合わせた瞳補正がH方向およびV方向の両方に対して行われる。しかしながら、位相差取得方向(例えば、H方向)ではない方向(例えば、V方向)の画素では、過剰な補正が掛かり、混色の増加が懸念される。混色の増加は、例えば、V方向やHV方向の特性の悪化やチップ面内でのGrGb段差を拡大させる。
これに対して本実施の形態では、画素アレイ部100Aの光学中心Oから位相差取得方向(X軸方向)に距離d1離れた位置に配置された単位画素PAの瞳補正量を瞳補正量A、画素アレイ部100Aの光学中心Oから位相差取得方向(X軸方向)に直交するY軸方向に距離d2離れた位置に配置された単位画素PBの瞳補正量を瞳補正量Bとした場合に、A>Bとなるようにした。これにより、位相差取得方向ではないY軸方向における混色が低減されるようになる。
以上により、本実施の形態の撮像装置1では、上記のように、H方向(X軸方向)およびV方向(Y軸方向)に同等の瞳補正を行う一般的な撮像装置と比較して、混色に起因する同色間感度差やGrGb段差といった特性を改善することが可能となる。
また、本実施の形態の撮像装置1では、製造ばらつきに対してロバストになるため、製造歩留まりを向上させることが可能となる。
次に、本開示の変形例1~4について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜その説明を省略する。
<2.変形例>
(2-1.変形例1)
図9は、本開示の変形例1に係る撮像装置を構成する単位画素Pの平面構成の一例を模式的に表したものである。
(2-1.変形例1)
図9は、本開示の変形例1に係る撮像装置を構成する単位画素Pの平面構成の一例を模式的に表したものである。
上記実施の形態では、画素内分離部14が半導体基板11の面内方向(XY平面方向)において、単位画素Pを囲む画素間分離部13の、例えばY軸方向に対向する一対の辺のそれぞれから単位画素Pの中央に向かって延伸し、その間に隙間を有している例を示したが、これに限定されるものではない。画素内分離部14は、例えば図9に示したように、半導体基板11の面内方向(XY平面方向)において、単位画素Pを位相差取得方向(X軸方向)に完全に分割するように、Y軸方向に対向する一対の辺の間に連続する形状としてもよい。
また、上記実施の形態では、絶縁膜を用いて画素内分離部14を形成する例を示したが、これに限定されるものではない。画素内分離部14は、例えば、p型の不純物を拡散させた不純物拡散層によっても形成することができる。この他、画素内分離部14は、ノンドープのポリシリコン(Poly-Si)膜やアモルファスシリコン膜を用いて形成してもよい。
このように、本変形例では、画素内分離部14が単位画素Pを位相差取得方向(X軸方向)に完全に分割するように、Y軸方向に対向する一対の辺の間に連続するようにした。また、画素内分離部14を不純物拡散層等の酸化膜以外で形成するようにした。このような構成においても、上記実施の形態と同様の効果を得ることができる。
(2-2.変形例2)
図10は、本開示の変形例2に係る撮像装置(撮像装置1A)の断面構成の一例を模式的に表したものである。図11は、本開示の変形例2に係る撮像装置1Aの断面構成の他の例を模式的に表したものである。図12は、本開示の変形例2に係る撮像装置1Aの断面構成の他の例を模式的に表したものである。撮像装置1Aは、例えば、デジタルスチルカメラ、ビデオカメラ等の電子機器に用いられるCMOSイメージセンサ等であり、上記実施の形態と同様に、例えば所謂裏面照射型の撮像装置である。
図10は、本開示の変形例2に係る撮像装置(撮像装置1A)の断面構成の一例を模式的に表したものである。図11は、本開示の変形例2に係る撮像装置1Aの断面構成の他の例を模式的に表したものである。図12は、本開示の変形例2に係る撮像装置1Aの断面構成の他の例を模式的に表したものである。撮像装置1Aは、例えば、デジタルスチルカメラ、ビデオカメラ等の電子機器に用いられるCMOSイメージセンサ等であり、上記実施の形態と同様に、例えば所謂裏面照射型の撮像装置である。
上記実施の形態では、画素間分離部13および画素内分離部14が共に半導体基板11の第1面11S1と第2面11S2との間を貫通するFTI構造を有する例を示したがこれに限定されるものではない。画素間分離部13および画素内分離部14は、半導体基板11の第1面11S1または第2面11S2から対向する他の面に向かって延伸し、その底部が半導体基板11内に形成されるSTI(Shallow Trench Isolation)構造としてもよい。
画素間分離部13および画素内分離部14をSTI構造とする場合には、例えば図10に示したように、画素間分離部13および画素内分離部14は、半導体基板11の第1面11S1側から第2面11S2に向かって延伸するRDTI(Rear Deep Trench Isolation)構造としてもよい。あるいは、図11に示したように、画素間分離部13および画素内分離部14は、半導体基板11の第2面11S2側から第1面11S1に向かって延伸するFDTI(Front Deep Trench Isolation)構造としてもよい。この他、FTI構造とSTI構造とを組み合わせるようにしてもよい。例えば、図12に示したように、画素間分離部13をFTI構造とし、画素内分離部14を、例えば第2面11S2側から第1面11S1に向かって延伸するFDTI構造としてもよい。
このように、本変形例では、画素間分離部13および画素内分離部14が、FDTI構造およびRDTI構造を含むSTI構造を有する場合、FTI構造とSTI構造とを組み合わせた場合を示した。このような構成においても、上記実施の形態と同様の効果を得ることができる。
(2-3.変形例3)
図13は、本開示の変形例3に係る撮像装置(撮像装置2)の画素アレイ部100Aにおける瞳補正量を説明するものである。図14は、図13に示した撮像装置2の平面構成の一例を模式的に表したものである。撮像装置2は、例えば、デジタルスチルカメラ、ビデオカメラ等の電子機器に用いられるCMOSイメージセンサ等であり、上記実施の形態と同様に、例えば所謂裏面照射型の撮像装置である。
図13は、本開示の変形例3に係る撮像装置(撮像装置2)の画素アレイ部100Aにおける瞳補正量を説明するものである。図14は、図13に示した撮像装置2の平面構成の一例を模式的に表したものである。撮像装置2は、例えば、デジタルスチルカメラ、ビデオカメラ等の電子機器に用いられるCMOSイメージセンサ等であり、上記実施の形態と同様に、例えば所謂裏面照射型の撮像装置である。
上記実施の形態では、X軸方向を位相差取得方向とした場合を例に示したが、これに限定されるものではない。Y軸方向を位相差取得方向としてもよく、その場合には、図13に示したように、画素アレイ部100Aの光学中心Oから位相差取得方向(Y軸方向)に距離d1離れた位置に配置された単位画素PAの瞳補正量を瞳補正量A、画素アレイ部100Aの光学中心Oから位相差取得方向(Y軸方向)に直交するX軸方向に距離d2離れた位置に配置された単位画素PBの瞳補正量を瞳補正量Bとした場合に、A>Bとなるように構成される。
Y軸方向を位相差取得方向とする場合、画素内分離部44は、半導体基板11の面内方向(XY平面方向)において、例えば図14に示したように、単位画素Pを位相差取得方向(Y軸方向)に分割するように、単位画素Pを囲む画素間分離部13の、例えばX軸方向に対向する一対の辺のそれぞれから単位画素Pの中央に向かって延伸し、その間に隙間を有している。
なお、画素内分離部44は、上記変形例1と同様に、単位画素Pを位相差取得方向(Y軸方向)に完全に分割するように、X軸方向に対向する一対の辺の間に連続するように設けるようにしてもよい。また、画素内分離部44は、シリコン酸化(SiOx)膜等の酸化膜の他に、例えば、p型の不純物を拡散させた不純物拡散層やノンドープのポリシリコン(Poly-Si)膜、アモルファスシリコン膜を用いて形成することができる。更に、上記変形例2と同様に、FTI構造に限らず、FDTI構造やRDTI構造といったSTI構造としてもよい。
このように、本変形例では、位相差取得方向をY軸方向とした。このような構成においても、上記実施の形態と同様の効果を得ることができる。
(2-4.変形例4)
図15は、本開示の変形例3に係る撮像装置を構成する単位画素Pの平面構成の一例を模式的に表したものである。
図15は、本開示の変形例3に係る撮像装置を構成する単位画素Pの平面構成の一例を模式的に表したものである。
上記実施の形態では、単位画素Pそれぞれにおいて、例えば、位相差取得方向に並ぶ2つの光電変換部12A,12Bに跨るように、単位画素P毎にオンチップレンズ23Lが配置され、単位画素P毎に視差情報を取得する例を示したが、これに限定されるものではない。例えば、図15に示したように、位相差取得方向に並列配置された2つの単位画素P毎に楕円状のオンチップレンズ23Lを配置し、その2つの単位画素Pから視差情報を取得するようにしてもよい。
<3.適用例>
上記撮像装置1等は、例えば、デジタルスチルカメラやビデオカメラ等のカメラシステムや、撮像機能を有する携帯電話等、撮像機能を備えたあらゆるタイプの電子機器に適用することができる。図16は、電子機器1000の概略構成を表したものである。
上記撮像装置1等は、例えば、デジタルスチルカメラやビデオカメラ等のカメラシステムや、撮像機能を有する携帯電話等、撮像機能を備えたあらゆるタイプの電子機器に適用することができる。図16は、電子機器1000の概略構成を表したものである。
電子機器1000は、例えば、レンズ群1001と、撮像装置1と、DSP(Digital Signal Processor)回路1002と、フレームメモリ1003と、表示部1004と、記録部1005と、操作部1006と、電源部1007とを有し、バスライン1008を介して相互に接続されている。
レンズ群1001は、被写体からの入射光(像光)を取り込んで撮像装置1の撮像面上に結像するものである。撮像装置1は、レンズ群1001によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号としてDSP回路1002に供給する。
DSP回路1002は、撮像装置1から供給される信号を処理する信号処理回路である。DSP回路1002は、撮像装置1からの信号を処理して得られる画像データを出力する。フレームメモリ1003は、DSP回路1002により処理された画像データをフレーム単位で一時的に保持するものである。
表示部1004は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、撮像装置1で撮像された動画または静止画の画像データを、半導体メモリやハードディスク等の記録媒体に記録する。
操作部1006は、ユーザによる操作に従い、電子機器1000が所有する各種の機能についての操作信号を出力する。電源部1007は、DSP回路1002、フレームメモリ1003、表示部1004、記録部1005および操作部1006の動作電源となる各種の電源を、これら供給対象に対して適宜供給するものである。
<4.応用例>
(移動体への応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
(移動体への応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図17は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図17に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図57の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図18は、撮像部12031の設置位置の例を示す図である。
図18では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図18には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る移動体制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、撮像装置100は、撮像部12031に適用することができる。撮像部12031に本開示に係る技術を適用することにより、ノイズの少ない高精細な撮影画像を得ることができるので、移動体制御システムにおいて撮影画像を利用した高精度な制御を行うことができる。
(内視鏡手術システムへの応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図19は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図19では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11153上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図20は、図19に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、内視鏡11100のカメラヘッド11102に設けられた撮像部11402に好適に適用され得る。撮像部11402に本開示に係る技術を適用することにより、撮像部11402を小型化もしくは高精細化することができるので、小型もしくは高精細な内視鏡11100を提供することができる。
以上、実施の形態、変形例1~4および適用例ならびに応用例を挙げて本開示を説明したが、本技術は上記実施の形態等に限定されるものではなく、種々の変形が可能である。
例えば、上記実施の形態では、カラーフィルタ21やオンチップレンズ23Lによって瞳補正を行う例を示したが、瞳補正は、例えば、単位画素P毎に画素内分離部14の形成位置を、カラーフィルタ21やオンチップレンズ23Lと同様にずらすことでも行うことができる。
また、上記実施の形態等では、裏面照射型の撮像装置(例えば、撮像装置1)を例に本技術を説明したが、本技術は、表面照射型の撮像装置にも適用することができる。その場合には、カラーフィルタ21やオンチップレンズ23Lだけでなく、半導体基板11の光照射面(例えば、第1面11S1)に設けられる画素トランジスタや、第1面11S1とカラーフィルタ21との間に設けられる配線層を、上記実施の形態におけるカラーフィルタ21やオンチップレンズ23Lと同様に、単位画素Pの中心よりも画素アレイ部100Aの光学中心Oに向かってずらして配置して瞳補正を行うようにしてもよい。
なお、本明細書中に記載された効果はあくまで例示であってその記載に限定されるものではなく、他の効果があってもよい。
なお、本開示は以下のような構成をとることも可能である。以下の構成の本技術によれば、複数の単位画素が行列状に配置された画素アレイ部の光学中心から互いに直交する第1の方向および第2の方向にそれぞれ等距離に配置された第1画素および第2画素において、第1の方向を位相差取得方向とした場合、第1画素における瞳補正量Aと、第2画素における瞳補正量BとがA>Bの関係を有するようにした。これにより、位相差取得方向ではない第2の方向における混色を低減する。よって、第1の方向および第2の方向に等しい瞳補正を行った場合と比較して、特性を改善することが可能となる。
(1)
複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および前記第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、
前記第1の方向を位相差取得方向とした場合、前記第1画素における瞳補正量Aと、前記第2画素における瞳補正量Bとは、A>Bの関係を有する
撮像装置。
(2)
前記複数の単位画素は、光入射面となる第1の面および前記第1の面とは反対側の第2の面を有する半導体基板に設けられ、
前記半導体基板は、隣り合う前記複数の単位画素の間にそれぞれ設けられ、隣り合う前記複数の単位画素の間を電気的且つ光学的に分離する画素間分離部と、前記複数の単位画素内にそれぞれ設けられ、前記複数の単位画素それぞれを前記位相差取得方向に分離する画素内分離部とをさらに有する、前記(1)に記載の撮像装置。
(3)
前記画素間分離部および前記画素内分離部は、前記半導体基板の前記第1の面と前記第2の面とを貫通するFull Trench Isolation構造、前記半導体基板の前記第1の面または前記第2の面から他の面に向かって延伸し、前記半導体基板内に底面を有するDeep Trench Isolation構造のいずれかの構造を有する、前記(2)に記載の撮像装置。
(4)
前記画素間分離部は酸化膜によって形成されている、前記(2)または(3)に記載の撮像装置。
(5)
前記画素内分離部は、平面視において前記複数の単位画素を前記第2の方向に延伸している、前記(2)乃至(4)のうちのいずれか1つに記載の撮像装置。
(6)
前記画素内分離部は、平面視において、前記画素間分離部の前記第2の方向に対向する一対の辺のそれぞれから前記単位画素の中央に向かって延伸し、その間に隙間を有する、前記(2)乃至(4)のうちのいずれか1つに記載の撮像装置。
(7)
前記画素内分離部は、酸化膜、ポリシリコン膜または不純物拡散層によって形成されている、前記(2)乃至(6)のうちのいずれか1つに記載の撮像装置。
(8)
前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数のオンチップレンズをさらに有し、
前記複数のオンチップレンズを前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(7)のうちのいずれか1つに記載の撮像装置。
(9)
前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数のカラーフィルタおよび隣り合うカラーフィルタの間に設けられた遮光部をさらに有し、
前記複数のカラーフィルタを前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(8)のうちのいずれか1つに記載の撮像装置。
(10)
前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数の画素トランジスタおよび配線層をさらに有し、
前記複数の画素トランジスタおよび配線層の少なくとも一方を前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(9)のうちのいずれか1つに記載の撮像装置。
(11)
前記複数の単位画素それぞれに設けられた前記画素内分離部を前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(10)のうちのいずれか1つに記載の撮像装置
(12)
複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および前記第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、
前記第1の方向を位相差取得方向とした場合、前記第1画素における瞳補正量Aと、前記第2画素における瞳補正量Bとは、A>Bの関係を有する
撮像装置を備えた電子機器。
(1)
複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および前記第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、
前記第1の方向を位相差取得方向とした場合、前記第1画素における瞳補正量Aと、前記第2画素における瞳補正量Bとは、A>Bの関係を有する
撮像装置。
(2)
前記複数の単位画素は、光入射面となる第1の面および前記第1の面とは反対側の第2の面を有する半導体基板に設けられ、
前記半導体基板は、隣り合う前記複数の単位画素の間にそれぞれ設けられ、隣り合う前記複数の単位画素の間を電気的且つ光学的に分離する画素間分離部と、前記複数の単位画素内にそれぞれ設けられ、前記複数の単位画素それぞれを前記位相差取得方向に分離する画素内分離部とをさらに有する、前記(1)に記載の撮像装置。
(3)
前記画素間分離部および前記画素内分離部は、前記半導体基板の前記第1の面と前記第2の面とを貫通するFull Trench Isolation構造、前記半導体基板の前記第1の面または前記第2の面から他の面に向かって延伸し、前記半導体基板内に底面を有するDeep Trench Isolation構造のいずれかの構造を有する、前記(2)に記載の撮像装置。
(4)
前記画素間分離部は酸化膜によって形成されている、前記(2)または(3)に記載の撮像装置。
(5)
前記画素内分離部は、平面視において前記複数の単位画素を前記第2の方向に延伸している、前記(2)乃至(4)のうちのいずれか1つに記載の撮像装置。
(6)
前記画素内分離部は、平面視において、前記画素間分離部の前記第2の方向に対向する一対の辺のそれぞれから前記単位画素の中央に向かって延伸し、その間に隙間を有する、前記(2)乃至(4)のうちのいずれか1つに記載の撮像装置。
(7)
前記画素内分離部は、酸化膜、ポリシリコン膜または不純物拡散層によって形成されている、前記(2)乃至(6)のうちのいずれか1つに記載の撮像装置。
(8)
前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数のオンチップレンズをさらに有し、
前記複数のオンチップレンズを前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(7)のうちのいずれか1つに記載の撮像装置。
(9)
前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数のカラーフィルタおよび隣り合うカラーフィルタの間に設けられた遮光部をさらに有し、
前記複数のカラーフィルタを前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(8)のうちのいずれか1つに記載の撮像装置。
(10)
前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数の画素トランジスタおよび配線層をさらに有し、
前記複数の画素トランジスタおよび配線層の少なくとも一方を前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(9)のうちのいずれか1つに記載の撮像装置。
(11)
前記複数の単位画素それぞれに設けられた前記画素内分離部を前記光学中心に向かってずらすことにより瞳補正を行う、前記(2)乃至(10)のうちのいずれか1つに記載の撮像装置
(12)
複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および前記第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、
前記第1の方向を位相差取得方向とした場合、前記第1画素における瞳補正量Aと、前記第2画素における瞳補正量Bとは、A>Bの関係を有する
撮像装置を備えた電子機器。
本出願は、日本国特許庁において2022年5月30日に出願された日本特許出願番号2022-087671号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
Claims (11)
- 複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および前記第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、
前記第1の方向を位相差取得方向とした場合、前記第1画素における瞳補正量Aと、前記第2画素における瞳補正量Bとは、A>Bの関係を有する
撮像装置。 - 前記複数の単位画素は、光入射面となる第1の面および前記第1の面とは反対側の第2の面を有する半導体基板に設けられ、
前記半導体基板は、隣り合う前記複数の単位画素の間にそれぞれ設けられ、隣り合う前記複数の単位画素の間を電気的且つ光学的に分離する画素間分離部と、前記複数の単位画素内にそれぞれ設けられ、前記複数の単位画素それぞれを前記位相差取得方向に分離する画素内分離部とをさらに有する、請求項1に記載の撮像装置。 - 前記画素間分離部および前記画素内分離部は、前記半導体基板の前記第1の面と前記第2の面とを貫通するFull Trench Isolation構造、前記半導体基板の前記第1の面または前記第2の面から他の面に向かって延伸し、前記半導体基板内に底面を有するDeep Trench Isolation構造のいずれかの構造を有する、請求項2に記載の撮像装置。
- 前記画素間分離部は酸化膜によって形成されている、請求項2に記載の撮像装置。
- 前記画素内分離部は、平面視において前記複数の単位画素を前記第2の方向に延伸している、請求項2に記載の撮像装置。
- 前記画素内分離部は、平面視において、前記画素間分離部の前記第2の方向に対向する一対の辺のそれぞれから前記単位画素の中央に向かって延伸し、その間に隙間を有する、請求項2に記載の撮像装置。
- 前記画素内分離部は、酸化膜、ポリシリコン膜または不純物拡散層によって形成されている、請求項2に記載の撮像装置。
- 前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数のオンチップレンズをさらに有し、
前記複数のオンチップレンズを前記光学中心に向かってずらすことにより瞳補正を行う、請求項2に記載の撮像装置。 - 前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数のカラーフィルタおよび隣り合うカラーフィルタの間に設けられた遮光部をさらに有し、
前記複数のカラーフィルタを前記光学中心に向かってずらすことにより瞳補正を行う、請求項2に記載の撮像装置。 - 前記半導体基板の前記第1の面側に1または複数の前記単位画素毎に配置された複数の画素トランジスタおよび配線層をさらに有し、
前記複数の画素トランジスタおよび配線層の少なくとも一方を前記光学中心に向かってずらすことにより瞳補正を行う、請求項2に記載の撮像装置。 - 複数の単位画素が行列状に配置された画素アレイ部の光学中心から第1の方向および前記第1の方向と直交する第2の方向にそれぞれ等距離に配置された第1画素および第2画素を備え、
前記第1の方向を位相差取得方向とした場合、前記第1画素における瞳補正量Aと、前記第2画素における瞳補正量Bとは、A>Bの関係を有する
撮像装置を備えた電子機器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022087671 | 2022-05-30 | ||
| JP2022-087671 | 2022-05-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023234069A1 true WO2023234069A1 (ja) | 2023-12-07 |
Family
ID=89026524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2023/018728 Ceased WO2023234069A1 (ja) | 2022-05-30 | 2023-05-19 | 撮像装置および電子機器 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023234069A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025192016A1 (ja) * | 2024-03-11 | 2025-09-18 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003273342A (ja) * | 2002-03-13 | 2003-09-26 | Sony Corp | 固体撮像素子及びその製造方法 |
| JP2007317870A (ja) * | 2006-05-25 | 2007-12-06 | Sony Corp | 固体撮像装置とその製造方法、及びカメラモジュール |
| WO2016114154A1 (ja) * | 2015-01-13 | 2016-07-21 | ソニー株式会社 | 固体撮像素子およびその製造方法、並びに電子機器 |
| US20180091790A1 (en) * | 2016-09-23 | 2018-03-29 | Samsung Electronics Co., Ltd. | Method and electronic device for detecting wavelength spectrum of incident light |
| WO2018221443A1 (ja) * | 2017-05-29 | 2018-12-06 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、及び電子機器 |
| WO2021193254A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
| WO2021193915A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
-
2023
- 2023-05-19 WO PCT/JP2023/018728 patent/WO2023234069A1/ja not_active Ceased
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003273342A (ja) * | 2002-03-13 | 2003-09-26 | Sony Corp | 固体撮像素子及びその製造方法 |
| JP2007317870A (ja) * | 2006-05-25 | 2007-12-06 | Sony Corp | 固体撮像装置とその製造方法、及びカメラモジュール |
| WO2016114154A1 (ja) * | 2015-01-13 | 2016-07-21 | ソニー株式会社 | 固体撮像素子およびその製造方法、並びに電子機器 |
| US20180091790A1 (en) * | 2016-09-23 | 2018-03-29 | Samsung Electronics Co., Ltd. | Method and electronic device for detecting wavelength spectrum of incident light |
| WO2018221443A1 (ja) * | 2017-05-29 | 2018-12-06 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、及び電子機器 |
| WO2021193254A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
| WO2021193915A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025192016A1 (ja) * | 2024-03-11 | 2025-09-18 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および撮像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7753091B2 (ja) | 固体撮像装置および電子機器 | |
| JP7642528B2 (ja) | 撮像素子および半導体素子 | |
| JP7270616B2 (ja) | 固体撮像素子および固体撮像装置 | |
| JP7676319B2 (ja) | 撮像装置および電子機器 | |
| JP7284171B2 (ja) | 固体撮像装置 | |
| JPWO2018043654A1 (ja) | 固体撮像装置およびその製造方法、並びに電子機器 | |
| US12501731B2 (en) | Imaging device with lens and separation section arrangements | |
| US20240395838A1 (en) | Imaging device | |
| US20240321917A1 (en) | Imaging device | |
| TW202040807A (zh) | 攝像裝置及攝像系統 | |
| JP7631226B2 (ja) | 固体撮像装置および電子機器 | |
| US20240204014A1 (en) | Imaging device | |
| US20250089385A1 (en) | Imaging device | |
| US12439721B2 (en) | Solid-state imaging device | |
| JP2023152523A (ja) | 光検出装置 | |
| JP7635141B2 (ja) | 半導体装置、固体撮像装置及び電子機器 | |
| WO2024014326A1 (ja) | 光検出装置 | |
| WO2023068172A1 (ja) | 撮像装置 | |
| WO2019239754A1 (ja) | 固体撮像素子および固体撮像素子の製造方法ならびに電子機器 | |
| WO2023234069A1 (ja) | 撮像装置および電子機器 | |
| WO2024085005A1 (en) | Photodetector | |
| US20250185397A1 (en) | Imaging device | |
| JP7437957B2 (ja) | 受光素子、固体撮像装置及び電子機器 | |
| WO2023079835A1 (ja) | 光電変換装置 | |
| US20240387593A1 (en) | Solid-state imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23815828 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 23815828 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |