[go: up one dir, main page]

WO2018150768A1 - 測光装置、測光方法、プログラムおよび撮像装置 - Google Patents

測光装置、測光方法、プログラムおよび撮像装置 Download PDF

Info

Publication number
WO2018150768A1
WO2018150768A1 PCT/JP2018/000463 JP2018000463W WO2018150768A1 WO 2018150768 A1 WO2018150768 A1 WO 2018150768A1 JP 2018000463 W JP2018000463 W JP 2018000463W WO 2018150768 A1 WO2018150768 A1 WO 2018150768A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
area
photometric
unit
photometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/000463
Other languages
English (en)
French (fr)
Inventor
哲真 芳野
小田　勝也
翔平 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018568041A priority Critical patent/JP7147562B2/ja
Priority to US16/482,599 priority patent/US10908478B2/en
Priority to EP18753713.9A priority patent/EP3585048B1/en
Publication of WO2018150768A1 publication Critical patent/WO2018150768A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/003—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both shutter and diaphragm
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • This technique relates to a photometric device, a photometric method, a program, and an imaging device, and enables a photometric value of a desired subject area to be obtained with high accuracy.
  • an imaging device weights a photometric value obtained by a photometric sensor at a position corresponding to a focus detection area based on a defocus amount calculated in each of a plurality of focus detection areas, and obtains a weighted photometric value. Exposure control is performed based on this.
  • the weighting coefficients of the first photometry area arranged at a position corresponding to the focus detection area and the second photometry area within a predetermined range are set according to the defocus amount of the corresponding focus detection area. To decide.
  • the weighting coefficient of the third photometric area other than the first and second photometric areas is determined to be equal to or smaller than the weighting coefficient of the first and second photometric areas, and the weighting calculation is performed using the weighting coefficient and the photometric value. It is described that exposure control is performed using a photometric value obtained by the measurement.
  • Patent Document 1 when weighting is performed according to the defocus amount of the focus detection area, there is a possibility that optimal exposure control cannot be performed depending on the focus position. For example, when a desired subject is imaged in a backlit state or the like, if the contrast method is used for focus detection and the boundary between the desired subject and the background is in focus, the photometric values of the desired subject and the background are changed. The weight is increased, and optimal exposure control according to a desired subject cannot be performed.
  • an object of the present technology is to provide a photometric device, a photometric method, a program, and an imaging device that can accurately acquire a photometric value of a desired subject area.
  • the first aspect of this technology is A subject area determination unit that determines a desired subject area based on distance measurement information for each distance measurement area; A subject metering region setting unit for performing image signal processing of the subject region and setting a subject metering region; A photometric device comprising: a photometric value calculating unit that calculates a photometric value of the desired subject area using a photometric value of the subject photometric area set by the subject photometric area setting unit.
  • the subject region determination unit determines a desired subject region, for example, a subject region indicating one or more desired subjects, based on distance measurement information for each distance measurement region or a subject recognition result of a captured image including a desired subject. To do.
  • the subject area determination unit determines one or more in-focus areas determined based on the distance measurement information as a desired subject area.
  • the subject metering region setting unit includes a desired subject region by image signal processing, and sets a metering region corresponding to the subject region after inclusion as the subject metering region.
  • a desired subject area is included by performing a closing process on the subject area, performing a reduction process after performing an expansion process.
  • a replacement process is performed in which a peripheral region is a subject region and the number of regions is equal to or greater than a threshold value, and photometry corresponding to the subject region after the replacement process is performed. Let the area be the subject photometry area.
  • a replacement process is performed in which a non-subject area equal to or less than a predetermined number of areas that is not a subject area located between subject areas in a predetermined direction is set as a subject area, and a photometric area corresponding to the subject area after the replacement process is set as a subject The photometric area.
  • the photometric value calculation unit calculates the photometric value of the desired subject area using the photometric value of the subject photometric area set by the subject photometric area setting unit.
  • the metering value calculation unit weights the metering value of the subject metering area according to the position in the subject metering area, and the weighting of the metering value of the metering area in which all the surrounding metering areas are the metering areas of the subject metering area. May be weighted higher than other photometric areas.
  • the photometric value calculation unit weights to increase the weight of the photometric value in a predetermined area range based on the photometric area corresponding to the designated distance measuring area when the distance measuring area to be focused is designated Based on the subject recognition result of the captured image including the desired subject, weighting for increasing the weight of the feature portion of the desired subject with respect to the photometric value of the subject metering region, for example, identifying the face region and determining the facial feature portion You may perform the weighting etc. which make a weight high.
  • the photometric value calculation unit calculates a photometric value of a desired subject area using the weighted photometric value.
  • the second aspect of this technology is Discriminating a desired subject area based on distance measurement information by a subject area discriminating unit; Performing the image signal processing of the determined desired subject area, and setting the subject photometry area in the subject photometry area setting unit;
  • the photometric method includes calculating the photometric value of the desired subject area by the photometric value calculating unit using the photometric value of the subject photometric area set by the subject photometric area setting unit.
  • the third aspect of this technology is A program for causing a computer to calculate a photometric value, A procedure for determining a desired subject area based on distance measurement information; A procedure of performing image signal processing of the desired subject area and setting a subject photometric area; A program for causing the computer to execute a procedure for calculating a photometric value of the desired subject area using the set photometric value of the subject photometric area.
  • the program of the present technology is, for example, a storage medium or a communication medium provided in a computer-readable format to a general-purpose computer that can execute various program codes, such as an optical disk, a magnetic disk, or a semiconductor memory. It is a program that can be provided by a medium or a communication medium such as a network. By providing such a program in a computer-readable format, processing corresponding to the program is realized on the computer.
  • the fourth aspect of this technology is A photometric unit that generates photometric information indicating a photometric result for each photometric area; A distance measurement unit that generates distance measurement information indicating a distance measurement result for each distance measurement area; A subject area determination unit that determines a desired subject area based on distance measurement information for each distance measurement area generated by the distance measurement unit; A subject photometry area setting unit that performs image signal processing of the desired subject area and sets a subject photometry area; A photometric value calculating unit that calculates a photometric value of the desired subject area using a photometric value of the subject photometric area set by the subject photometric area setting unit; A full-screen photometric value calculating unit for calculating a photometric value of the full screen from photometric information indicating a photometric result for each photometric area; An imaging apparatus comprising: an exposure control unit that performs exposure control based on a photometric value of the desired subject area calculated by the photometric value calculating unit and a photometric value of the full screen calculated by the full-screen photometric value calculating unit.
  • a desired subject area is determined by the subject area determination unit based on the distance measurement information, the image signal processing of the determined desired subject area is performed, and the subject photometry area is set by the subject metering area setting unit.
  • the photometric value of the desired subject area is calculated by the photometric value calculating unit using the photometric value of the subject photometric area set by the subject photometric area setting unit. Accordingly, the photometric value of the desired subject area can be obtained with high accuracy, and the optimum exposure control according to the desired subject can be performed using the photometric value calculated by the photometric value calculating unit. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 illustrates the configuration of the photometric device of the present technology.
  • the photometric device 10 includes a subject area determining unit 11, a subject photometric area setting unit 12, and a photometric value calculating unit 13.
  • the subject area determination unit 11 determines a desired subject area based on distance measurement information for each distance measurement area.
  • the subject area discriminating unit 11 selects a distance measurement area whose distance measurement value is within a predetermined range with respect to a desired distance based on distance measurement information for each distance measurement area obtained by performing distance measurement with a distance measurement sensor.
  • the desired subject area is determined, and the determination result is output to the subject photometric area setting unit 12.
  • the subject photometry area setting unit 12 performs image signal processing using the determination result of the subject area, includes the desired subject area, and sets the subject photometry area according to the included subject area.
  • the subject photometry area setting unit 12 divides the entire distance measurement area into a set of distance measurement areas determined as a desired subject area and a set of other distance measurement areas by image signal processing, for example, clustering processing.
  • the subject photometry area setting unit 12 performs clustering processing on a plurality of photometry areas (for example, a plurality of areas in which photometric values are detected from a through image) from which brightness measurement information indicating luminance is obtained on the entire screen as a desired subject area.
  • the subject photometry area setting unit 12 sets a set of photometry areas corresponding to a set of distance measurement areas determined as a desired subject area or a set of photometry areas corresponding to a distance measurement area determined as a desired subject area.
  • a subject photometry area that is a photometry area corresponding to a desired subject is set. That is, the subject photometry area setting unit 12 includes a desired subject area by image signal processing, and sets the photometry area corresponding to the included subject area as the subject photometry area.
  • the subject photometry area setting unit 12 outputs the setting result of the subject photometry area to the photometry value calculation unit 13.
  • the photometric value calculation unit 13 receives photometric information (photometric values) of all photometric areas, and uses the photometric information (photometric values) of the subject photometric area set by the subject photometric area setting unit 12 to obtain a desired subject area. For example, a subject photometric value of a subject in focus.
  • FIG. 2 illustrates the photometry area and the distance measurement area.
  • the photometry area is obtained by dividing the entire screen into a plurality of areas, and the divided areas are individually set as photometry areas.
  • a plurality of distance measurement areas are provided by dispersing the distance measurement areas indicated by hatching. For the sake of simplicity, it is assumed that the distance measurement area has the same size as the photometry area and the position of one of the photometry areas is the same.
  • the subject area determination unit 11 determines, as a desired subject area, a distance measurement area whose distance measurement value is within a predetermined range with respect to a desired distance based on distance measurement information for each distance measurement area generated by the distance measurement sensor. To do.
  • the subject photometry area setting unit 12 performs clustering processing using the determination result of the subject area, and sets the subject photometry area.
  • description will be made using an area determination image in which each photometric area is a pixel.
  • black pixels indicate pixels corresponding to areas determined as subject areas (hereinafter referred to as “subject area corresponding pixels”).
  • FIG. 4 is a diagram for explaining the clustering process.
  • the subject photometry area setting unit 12 performs a closing process on the subject area as the clustering process. Specifically, the expansion process and the contraction process are repeated the same number of times, and after the expansion process is performed, the reduction process is performed to divide into a set of pixels indicating the subject area and a set of other pixels.
  • FIG. 4A shows an area determination image before the clustering process.
  • FIG. 4B shows an image obtained by performing the expansion process on the area determination image
  • FIG. 4C shows an image obtained by performing the contraction process on the area determination image after the expansion process. Show.
  • the subject photometry area setting unit 12 performs the closing process in this manner to generate an area in which the subject area corresponding pixels are continuous, and sets the photometry area corresponding to the area in which the subject area corresponding pixels are continuous as the subject photometry area. . That is, the subject photometry area setting unit 12 sets the photometry area corresponding to the subject area corresponding pixel as the subject photometry area in the area determination image shown in FIG.
  • the subject photometry area setting unit 12 may set the subject photometry area by image signal processing different from the closing processing. For example, in a non-subject region that is not a subject region, a replacement process is performed in which a peripheral region is a subject region and the number of regions is equal to or greater than a threshold value, and a photometric region corresponding to the subject region after the replacement process is set as a subject photometric region . In the area determination image, a pixel that is not a subject area corresponding pixel is set as a subject area non-corresponding pixel.
  • FIG. 5 is a diagram for explaining a replacement process from a subject area non-corresponding pixel to a subject area corresponding pixel.
  • the subject photometry region setting unit 12 sets the number of subject region corresponding pixels positioned around the subject region non-corresponding pixels to “N”, and when “N” is equal to or greater than the threshold value Tha, Replace with pixel corresponding to subject area. That is, the subject photometry area setting unit 12 replaces the subject area non-corresponding pixels with the subject area corresponding pixels according to the extent of the subject area corresponding pixels arranged around the subject area non-corresponding pixels. Make the pixels continuous.
  • FIG. 5A shows an area determination image before the clustering process.
  • the subject photometry area setting unit 12 sets the subject area corresponding pixels in the photometry area corresponding to the area where the subject area corresponding pixels are continuous, that is, in the area determination images shown in FIGS. 5B and 5D.
  • the corresponding photometry area is set as the subject photometry area.
  • the subject photometry area setting unit 12 performs a replacement process in which a non-subject area equal to or less than a predetermined number of areas that are not subject areas located between the subject areas in a predetermined direction is set as the subject area, and photometry corresponding to the subject area after the replacement process is performed.
  • the area may be a subject photometry area.
  • FIG. 6 is a diagram for explaining another replacement process from a subject area non-corresponding pixel to a subject area corresponding pixel.
  • the subject metering region setting unit 12 replaces the subject region non-corresponding pixel with the subject region corresponding pixel, for example, when the subject region non-corresponding pixel located between the subject region corresponding pixels in each of the horizontal direction and the vertical direction is equal to or less than the threshold Thb.
  • the subject photometry area setting unit 12 considers that the subject area non-corresponding pixel is included in the subject area when the subject area non-corresponding pixel located in the subject area corresponding pixel is equal to or less than the predetermined number, and regards the subject area non-corresponding pixel as the subject area corresponding pixel. Replace with. FIG.
  • FIG. 6A shows an area determination image before the clustering process.
  • FIG. 6C shows a case where the subject area non-corresponding pixel sandwiched between the subject area corresponding pixels is switched to the subject area corresponding pixel in the area determination image shown in FIG. 6B.
  • all the non-subject pixel corresponding to the subject region sandwiched between the subject region corresponding pixels are switched to the subject region corresponding pixel.
  • the subject photometry area setting unit 12 sets the photometry area corresponding to the area corresponding to the subject area in the photometry area corresponding to the area where the subject area corresponding pixels are continuous, that is, the area determination image shown in FIG. Set.
  • the area determination image is used for easy understanding of the operation.
  • the subject photometry area setting unit 12 is based on the positional relationship of the object area without using the area determination image. Similar processing may be performed to set the subject photometry area. Further, as described above, clustering processing may be performed on an image basis using each photometric area as a pixel.
  • an opening process may be performed in addition to the closing process. In the opening process, after the reduction process is performed, the expansion process is performed. For example, if the accuracy of the distance measurement information is reduced at the boundary between the subject area and the non-subject area, or if many errors occur, the reduction process is performed. Thereafter, the subject photometry area can be set by reducing the influence of an error in the boundary portion by performing the expansion process.
  • the photometric value calculating unit 13 calculates the subject photometric value of the desired subject using the photometric value for each photometric area within the subject photometric area set by the subject photometric area setting unit 12.
  • the subject photometry area setting unit 12 sets, for example, the average value of the photometry values calculated for each photometry area in the subject photometry area as the subject photometry value of the desired subject. Further, the subject photometry area setting unit 12 weights the photometry values in the photometry area, for example, according to the position in the subject photometry area, and sets the average value or the added value of the weighted photometry values as subject photometry for the desired subject. It may be a value.
  • FIG. 7 illustrates the weights for the entire photometry area.
  • the photometric value calculation unit 13 sets a weight for the photometric value in the photometric area according to the position in the subject photometric area, and the subject photometric area in which all the surrounding areas are the subject photometric area becomes a photometric area that is not the subject photometric area.
  • the weight is set higher than that of the subject metering area that is in contact. For example, the photometric value calculation unit 13 sets “0” as the weight for the photometry area that is not the subject photometry area and “WA (> 0)” for the subject photometry area that is in contact with the photometry area that is not the subject photometry area.
  • the photometric value calculation unit 13 sets “WB (> WA)” as the weight for the subject photometry area in which all the surrounding areas are the subject photometry area. For example, the photometric value calculation unit 13 multiplies the photometric value by the weight for each photometric area and divides the addition result of the multiplication result by the total value of the weights to obtain the subject photometric value of the desired subject.
  • the weighting for the photometry area is not limited to the case where it is performed according to the position in the subject photometry area, but may be performed according to the focus position designation operation.
  • the photometry area corresponding to the focus detection area hereinafter referred to as “designated focus detection area”. You may perform the weighting which makes the weight of the photometric value of a predetermined area range high.
  • FIG. 8 exemplifies weights when a ranging area is designated.
  • the photometric value calculation unit 13 gives a higher weight to the photometric values in a predetermined area range based on the photometric area corresponding to the designated distance measuring area than the photometric values of other photometric areas. For example, the photometric value calculation unit 13 sets “0” as the weight for the photometric area that is not the subject photometric area. Further, the weight for the subject photometry area is “WA (> 0)”. Further, for example, the photometric value calculation unit 13 sets “WB (> WA)” as the weight WB of the photometric area where the side or corner is in contact with the photometric area corresponding to the designated distance measuring area. In this way, if the weighting is performed with reference to the photometry area corresponding to the designated distance measurement area, the photometry value for the subject to be focused can be calculated with high accuracy by designating the distance measurement area.
  • the weighting for the photometry area is not limited to the case of performing the position / focus position designation operation in the subject photometry area, but the weight of the characteristic portion of the desired subject based on the subject recognition result of the captured image including the desired subject. It is also possible to perform weighting to increase the value. For example, if a weighting that increases the weighting of the photometric value is performed on the distance measurement area corresponding to the position of the human face area detected by subject recognition of the captured image, the photometric value for the human face is accurately calculated. become able to.
  • the distance measuring device only needs to be able to set the subject photometry area by clustering processing using distance measurement information, and is not limited to the case where the number of distance measurement areas is smaller than the photometry area as shown in FIG. For example, even if the number of the photometry area and the distance measurement area are equal, the number of the distance measurement areas may be larger than that of the photometry area. Further, the size is not limited to the case where the photometry area and the distance measurement area are equal, and the sizes may be different.
  • FIG. 9 is a flowchart showing the operation of the photometric device.
  • the photometry device acquires distance measurement information and photometry information.
  • the photometric device 10 acquires distance measurement information from the distance measurement sensor and photometry information from the photometry sensor, and proceeds to step ST2.
  • step ST2 the photometry device determines the subject area based on the distance measurement information.
  • the photometry device 10 determines a distance measurement area whose distance measurement value is within a predetermined range with respect to a desired distance as a desired subject area, and proceeds to step ST3.
  • step ST3 the photometry device sets a subject photometry area.
  • the photometric device 10 performs a clustering process using the determination result of the subject area, sets a subject photometric area that is a photometric area corresponding to the desired subject, and proceeds to step ST4.
  • step ST4 the photometry device calculates a subject photometry value.
  • the photometric device 10 calculates the subject photometric value of the desired subject using the photometric value of the subject photometric area.
  • FIG. 10 is a flowchart showing another operation of the photometric device, and shows a case in which the photometric value in the photometric area is weighted.
  • step ST11 the photometry device acquires distance measurement information and photometry information.
  • the photometric device 10 acquires distance measurement information from the distance measurement sensor and photometry information from the photometry sensor, and proceeds to step ST12.
  • step ST12 the photometric device determines the subject area based on the distance measurement information.
  • the photometric device 10 determines a distance measurement area whose distance measurement value is within a predetermined range with respect to a desired distance as a desired subject area, and proceeds to step ST13.
  • step ST13 the photometry device sets a subject photometry area.
  • the photometry device 10 performs a clustering process using the discrimination result of the subject area, sets a subject photometry area that is a photometry area corresponding to a desired subject, and proceeds to step ST14.
  • step ST14 the photometric device performs weighting processing.
  • the photometric device 10 weights the photometric area on the basis of the position and focus position in the subject photometric area, the position of the desired feature of the subject, etc., and proceeds to step ST15.
  • step ST15 the photometric device calculates a subject photometric value.
  • the photometric device 10 calculates the subject photometric value of the desired subject using the photometric value of the subject photometric area and the set weight.
  • the subject photometry area corresponding to the desired subject is set by the clustering processing of the subject area determined based on the distance measurement information, and the photometry value of the subject photometry area is used.
  • a subject photometric value of a desired subject is calculated. Therefore, the photometric value of the desired subject area can be calculated even when the desired subject is a subject with low contrast or when it is difficult to obtain distance measurement information. For this reason, the photometric value in the boundary area between the subject and the background is not calculated as the photometric value of the desired subject area, and the exposure can be correctly adjusted to the desired subject area.
  • FIG. 11 illustrates the configuration of the imaging apparatus.
  • the imaging device 20 includes an imaging optical system 21, an imaging unit 22, a photometric unit 23, a distance measuring unit 24, a control unit 30, a camera signal processing unit 41, a display unit 42, a recording unit 43, and a user interface (I / F) unit 44. have.
  • the imaging optical system 21 is configured using a focus lens, a zoom lens, or the like.
  • the imaging optical system 21 drives a focus lens, a zoom lens, and the like based on a control signal from the control unit 30 to form a subject optical image with a desired size on the imaging surface of the imaging unit 22.
  • the imaging optical system 21 inputs a light beam that has passed through a focus lens, a zoom lens, and the like to the photometry unit 23.
  • the imaging optical system 21 may be provided with an iris (aperture) mechanism or the like, and drive the iris mechanism or the like based on a control signal from the control unit 30.
  • the imaging unit 22 is configured using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • the imaging unit 22 performs photoelectric conversion, generates an image signal corresponding to the subject optical image, and outputs the image signal to the camera signal processing unit 41.
  • the imaging unit 22 outputs the generated image signal to the photometry unit 23. Further, the imaging unit 22 sets an exposure time based on a control signal from the control unit 30.
  • the photometry unit 23 detects the luminance of the subject.
  • the photometric unit 23 divides the entire screen into a plurality of photometric areas, detects the luminance for each photometric area, and generates photometric information.
  • a plurality of photometric areas are set within the imaging range of the imaging unit 22, and the photometric unit 23 detects the luminance of the subject independently in each photometric area, and the detection result Photometric information (photometric value) is generated.
  • the photometry unit 23 when the photometry unit 23 performs photometry using the image signal generated by the imaging unit 22, the photometry unit 23 sets a plurality of photometry areas within the imaging range by the imaging unit 22, and the image signal of each photometry area The luminance of the subject is detected for each distance measurement area based on the above, and photometric information indicating the detection result is generated. The photometry unit 23 outputs the generated photometry information to the control unit 30.
  • the distance measuring unit 24 detects the distance to the subject.
  • the distance measurement unit 24 provides a plurality of distance measurement areas in the entire screen, detects the distance to the subject in the distance measurement area, and generates distance measurement information indicating the distance detection result.
  • the imaging unit 22 uses an image plane phase difference AF (autofocus) type imaging device in which an imaging pixel and a focus detection pixel are provided, the phase difference generated between the focus detection pixels.
  • the distance information is generated based on the distance detected.
  • the distance measuring unit 24 may detect distance information by detecting the distance to the subject using a stereo camera, a TOF (Time Of Flight) camera, or the like.
  • the distance measurement unit 24 outputs the generated distance measurement information to the control unit 30.
  • the control unit 30 includes a subject area determination unit 31, a subject photometry area setting unit 32, a photometry value calculation unit 33, a full screen photometry value calculation unit 34, and an exposure control unit 35.
  • the subject area determination unit 31 determines a desired subject area based on distance measurement information for each distance measurement area generated by the distance measurement unit 24.
  • the subject area discriminating unit 31 discriminates a distance measurement area in a focused state whose distance measurement value is within a predetermined range with respect to a desired distance as a desired subject area based on distance measurement information for each distance measurement area. The result is output to the subject photometry area setting unit 32.
  • the subject photometry area setting unit 32 performs clustering processing using the determination result of the subject area, and sets the subject photometry area.
  • the subject photometry area setting unit 32 divides, for example, all photometry areas from which photometry information is obtained by clustering processing into a set of photometry areas corresponding to a distance measurement area determined as a desired subject area and a set of other photometry areas. To do.
  • the subject photometry area setting unit 32 sets a set of photometry areas corresponding to a desired subject as the subject photometry area, and outputs the set result of the subject photometry area to the photometry value calculation unit 33.
  • the photometric value calculating unit 33 calculates the subject photometric value of the desired subject using the photometric value of the subject photometric area. To do. Further, the photometric value calculation unit 33 is based on the photometry information generated by the photometry unit 23 and the setting result of the subject photometry area in the subject photometry area setting unit 32, and the position of the subject photometry area in the subject photometry area. The subject photometric value may be calculated using the weighted photometric value after weighting.
  • the photometry value calculation unit 33 increases the weight of the photometry value in the predetermined area range based on the photometry area corresponding to the designated distance measurement area. Weighting may be performed, and the subject photometric value may be calculated using the weighted photometric value.
  • the photometric value calculation unit 33 outputs the calculated subject photometric value to the exposure control unit 35 and the camera signal processing unit 41.
  • the full-screen photometric value calculation unit 34 uses the photometric value of each photometric area based on the photometric information generated by the photometric unit 23 to measure the photometric value (hereinafter referred to as “full-screen photometric value”) of the entire imaging range by the imaging unit 22. ) Is calculated and output to the exposure controller 35.
  • the exposure control unit 35 Based on the subject photometric value calculated by the photometric value calculating unit 33 and the full screen photometric value calculated by the full screen photometric value calculating unit 34, the exposure control unit 35 generates a control signal so as to generate a captured image with optimal exposure. Is output to the imaging optical system 21, the imaging unit 22, the camera signal processing unit 41, and the like. Further, the exposure control unit 35 generates a control signal according to the photometry mode or the like based on the operation signal from the user interface unit 44.
  • the camera signal processing unit 41 performs noise removal processing, gain adjustment processing, analog / digital conversion processing, defective pixel correction, and the like on the image signal generated by the imaging unit 22. Further, when a color mosaic filter is used in the imaging unit 22, demosaic processing is performed, and an image signal in which one pixel indicates each color component, for example, an image signal of three primary colors, is generated from an image signal in which one pixel indicates one color component. To do.
  • the camera signal processing unit 41 performs aberration correction, color correction, color space conversion for converting an image signal into an image signal in a predetermined color space, for example, a three primary color signal into a luminance signal and a color difference signal.
  • the camera signal processing unit 41 performs resolution conversion for converting the image signal into a display resolution corresponding to the display unit 42 or a resolution recorded in the recording unit 43, and the image signal after the camera signal processing is displayed on the display unit. 42 and the recording unit 43. Further, the camera signal processing unit 41 may perform an encoding process of the image signal recorded in the recording unit 43 and a decoding process of the encoded signal recorded in the recording unit 43. Further, the camera signal processing unit 41 may perform camera signal processing using the subject photometric value. For example, the camera signal processing unit 41 performs processing such as increasing the amount of information so that an image showing a desired subject becomes an image showing better gradation.
  • the display unit 42 is configured using a liquid crystal display element, an organic EL display element, or the like.
  • the display unit 42 displays the captured image acquired by the imaging unit 22 and the captured image recorded in the recording unit 43.
  • the control unit 30 generates a display signal for displaying various setting screens such as functions and operations of the imaging apparatus 20 and various information, and outputs the display signals to the display unit 42.
  • the recording unit 43 is provided with a recording medium that is fixed or detachable.
  • the recording unit 43 records the image signal and encoded data output from the camera signal processing unit 41 on a recording medium.
  • the user I / F unit 44 includes operation switches, operation buttons, an operation dial, a touch panel, and the like, and generates an operation signal corresponding to a user operation and outputs the operation signal to the control unit 30.
  • FIG. 12 is a flowchart illustrating the operation of the imaging apparatus.
  • step ST21 it is determined whether the imaging apparatus is in autofocus. If the autofocus operation is selected by the user, the process proceeds to step ST22, and if the manual focus operation is selected, the process proceeds to step ST23.
  • step ST22 the imaging apparatus performs autofocus control. Based on the distance measurement information generated by the distance measurement unit 24, the control unit 30 of the imaging device 20 focuses the image pickup optical system 21 so that the subject in the predetermined distance measurement region or the distance measurement region selected by the user is in focus. The lens is driven and controlled, and the process proceeds to step ST23.
  • step ST23 the imaging apparatus generates photometry information and distance measurement information.
  • the photometry unit 23 of the imaging apparatus 20 generates photometry information and outputs it to the control unit 30, and the distance measurement unit 24 generates distance measurement information and outputs it to the control unit 30, and the process proceeds to step ST ⁇ b> 24.
  • step ST24 the imaging apparatus performs photometric processing on the entire screen.
  • the full-screen photometric value calculation unit 34 of the control unit 30 calculates a full-screen photometric value that is a photometric value for the entire imaging range using the photometric value for each photometric area.
  • step ST25 the imaging apparatus performs photometric processing of a desired subject.
  • a subject area determination unit 31 of the control unit 30 determines a distance measurement area indicating a desired distance as a subject area based on distance measurement information.
  • the subject photometry area setting unit 32 performs clustering processing using the determination result of the subject area, and sets a subject photometry area that is a photometry area corresponding to a desired subject.
  • the photometric value calculation unit 33 calculates the subject photometric value of the desired subject using the photometric value in the subject photometric area or the weighted photometric value.
  • step ST26 the imaging apparatus determines an exposure target value.
  • the exposure control unit 35 of the control unit 30 determines an exposure target value based on the full-screen photometric value calculated in step ST24 and the subject photometric value calculated in step ST25, and proceeds to step ST27. Note that the operation of the imaging apparatus may be performed in the reverse order of step ST24 and step ST25.
  • the exposure control unit 35 can adjust the desired exposure result depending on how much priority is given to the full-screen photometric value or the subject photometric value.
  • the exposure control unit 35 can perform automatic exposure that is less likely to be attracted by changes in the background by performing exposure control that prioritizes subject photometric values.
  • the exposure control unit 35 determines the imaging state based on the full-screen photometry value and the subject photometry value. For example, when the full-screen photometry value is larger than the subject photometry value and is in the backlight state, the desired subject becomes dark. In other words, the exposure target value may be determined based on the full-screen photometric value and the subject photometric value. Further, the exposure control unit 35 determines a target value for exposure according to the photometry mode selected by the user.
  • an exposure target value is determined based on the full-screen photometric value.
  • an exposure target value is determined based on the subject photometry value.
  • the exposure control unit 35 may determine a target exposure value based on the full-screen photometric value or the subject photometric value in accordance with the imaging mode selected by the user or the automatically determined imaging scene. For example, in an imaging mode or an imaging scene in which illumination light is emitted during imaging, a large amount of illumination light strikes a desired subject. For this reason, the exposure control unit 35 may reduce the priority of the subject photometric value so as to obtain a captured image with appropriate brightness for both the desired subject and the background.
  • step ST27 the control device performs an exposure driving process.
  • the exposure control unit 35 of the control unit 30 generates a control signal so that the exposure becomes the target value determined in step ST25, the exposure mechanism of the imaging optical system 21, the exposure time of the imaging unit 22, and the camera signal processing unit 41.
  • the ISO sensitivity is adjusted.
  • a subject photometry area that is a photometry area corresponding to a desired subject is set by clustering the subject area determined based on the distance measurement information generated by the distance measurement unit.
  • the subject photometric value of the desired subject is calculated based on the photometric value of the subject photometric region in the photometric value for each photometric region generated by the photometric unit. Therefore, exposure control according to the photometric mode, the imaging mode, the imaging scene, and the like can be accurately performed based on the subject photometric value and the full-screen photometric value of the desired subject.
  • the subject region is correctly extracted, and the desired subject can capture an image with appropriate brightness.
  • Automatic exposure control can be performed to obtain.
  • FIG. 13 illustrates another configuration of the imaging apparatus.
  • the imaging device 20a includes an imaging optical system 21, an imaging unit 22, a photometry unit 23, a distance measurement unit 24, a control unit 30a, a camera signal processing unit 41, a display unit 42, a recording unit 43, and a user interface (I / F) unit 44. have. Furthermore, the imaging device 20 a includes a subject recognition unit 25.
  • the imaging optical system 21, the imaging unit 22, the photometry unit 23, the distance measurement unit 24, the camera signal processing unit 41, the display unit 42, the recording unit 43, and the user interface (I / F) unit 44 are illustrated in FIG. The configuration is the same as that of the device 20.
  • the imaging optical system 21 drives a focus lens, a zoom lens, and the like based on a control signal from the control unit 30 to form a subject optical image of a desired size on the imaging surface of the imaging unit 22.
  • the imaging optical system 21 inputs a light beam that has passed through a focus lens, a zoom lens, and the like to the photometry unit 23.
  • the imaging optical system 21 is driven with an iris mechanism or the like based on a control signal from the control unit 30.
  • the imaging unit 22 generates an image signal corresponding to the subject optical image and outputs it to the camera signal processing unit 41. When performing photometry based on the image signal, the imaging unit 22 outputs the generated image signal to the photometry unit 23. Further, the imaging unit 22 may set the exposure time based on a control signal from the control unit 30.
  • the photometric unit 23 detects the luminance for each photometric region, generates photometric information, and outputs it to the control unit 30a.
  • the distance measurement unit 24 detects the distance to the subject in the distance measurement region for each distance measurement region, generates distance measurement information, and outputs the distance measurement information to the control unit 30.
  • the subject recognition unit 25 performs subject recognition using the image signal generated by the imaging unit 22 or the image signal generated by performing camera signal processing in the camera signal processing unit 41, and performs a feature portion of a desired subject, for example, the face of a human body Detect parts etc. Further, the subject recognition unit 25 may perform region division for each recognized subject by performing subject recognition.
  • the subject recognition unit 25 outputs to the control unit 30a a subject recognition result indicating a detection result of a characteristic portion of a desired subject or a region division result.
  • the control unit 30a includes a subject area determination unit 31, a subject photometry area setting unit 32a, a photometry value calculation unit 33a, a full-screen photometry value calculation unit 34, and an exposure control unit 35.
  • the subject area determination unit 31 determines a desired subject area based on the distance measurement information for each distance measurement area generated by the distance measurement unit 24, and outputs the determination result to the subject photometry area setting unit 32a.
  • the subject area determination unit 31 may determine the subject area based on the distance measurement information and the subject recognition result.
  • the subject photometry area setting unit 32a performs clustering processing using the determination result of the subject area and sets the subject photometry area.
  • the subject photometry area setting unit 32a may set the subject photometry area using the subject recognition result of the subject recognition unit 25. For example, in the divided area indicated by the subject recognition result, the photometric area corresponding to the divided area including the subject area after the clustering process is set as the subject photometric area.
  • the subject photometry area setting unit 32a outputs the result of setting the subject photometry area to the photometry value calculation unit 33a.
  • the photometric value calculating unit 33a calculates the subject photometric value based on the photometric information generated by the photometric unit 23 and the setting result of the subject photometric area in the subject photometric area setting unit 32a.
  • the photometric value calculation unit 33a may perform weighting on the photometric value in the subject photometric area according to the position in the subject photometric area or the designation of the distance measuring area to be in focus.
  • the photometric value calculation unit 33a may perform weighting to increase the weight of the characteristic portion of the desired subject based on the subject recognition result of the subject recognition unit 25.
  • the photometric value calculation unit 33a performs at least any weighting, and calculates the subject photometric value using the weighted photometric value.
  • the photometric value calculation unit 33 a outputs the calculated subject photometric value to the exposure control unit 35 and the camera signal processing unit 41.
  • the full-screen photometric value calculating unit 34 calculates the full-screen photometric value using the photometric value of each photometric area based on the photometric information generated by the photometric unit 23 and outputs it to the exposure control unit 35.
  • the exposure control unit 35 controls the control signal so as to generate a captured image with an optimal exposure based on the subject photometric value calculated by the photometric value calculating unit 33a and the full-screen photometric value calculated by the full-screen photometric value calculating unit 34. Is output to the imaging optical system 21, the imaging unit 22, the camera signal processing unit 41, and the like. Further, the exposure control unit 35 generates a control signal according to the photometry mode or the like based on the operation signal from the user interface unit 44.
  • the camera signal processing unit 41 performs various processes on the image signal generated by the imaging unit 22 as described above, and outputs the image signal after the camera signal processing to the display unit 42 and the recording unit 43.
  • the display unit 42 displays the captured image acquired by the imaging unit 22 and the captured image recorded in the recording unit 43. Further, various setting screens and various information such as functions and operations of the imaging device 20 are displayed.
  • the recording unit 43 records the image signal and the like output from the camera signal processing unit 41 on a recording medium.
  • the user I / F unit 44 generates an operation signal corresponding to the user operation and outputs it to the control unit 30a.
  • FIG. 14 is a flowchart showing another operation of the imaging apparatus.
  • the imaging apparatus generates photometry information and distance measurement information.
  • the photometry unit 23 of the imaging device 20 generates photometry information and outputs it to the control unit 30, and the distance measurement unit 24 generates distance measurement information and outputs it to the control unit 30a.
  • step ST32 the imaging apparatus performs subject recognition.
  • the subject recognition unit 25 of the imaging device 20 performs subject recognition, and outputs a subject recognition result indicating a result of area division for each subject and a result of detecting a characteristic portion of a desired subject to the control unit 30a.
  • step ST33 the imaging apparatus performs photometric processing on the entire screen.
  • the full-screen photometric value calculation unit 34 of the control unit 30a calculates a full-screen photometric value that is a photometric value for the entire imaging range using the photometric value for each photometric area.
  • step ST34 the imaging apparatus determines whether a desired subject has been detected.
  • the control unit 30a proceeds to step ST35 if a desired subject is detected based on the subject recognition result of the subject recognition unit 25, and proceeds to step ST36 if not detected.
  • step ST35 the imaging apparatus performs photometric processing using the subject recognition result.
  • a subject area determination unit 31 of the control unit 30 determines a distance measurement area indicating a desired distance as a subject area based on distance measurement information. Further, the subject photometry area setting unit 32a performs clustering processing using the determination result of the subject area, and sets a subject photometry area that is a photometry area corresponding to a desired subject. Further, the subject photometry area setting unit 32a may set the subject photometry area using the area division result indicated by the subject recognition result.
  • the photometric value calculation unit 33a for example, weights the photometric value of the subject photometric area according to the designation of the distance measurement area to be in a focused state or the position in the subject photometric area, or at least one of the weights based on the subject recognition result. You may do that. Further, the photometric value calculating unit 33a calculates the subject photometric value of the desired subject using the weighted photometric value, and proceeds to step ST37.
  • step ST36 the imaging apparatus performs photometry processing without using the subject recognition result.
  • a subject area determination unit 31 of the control unit 30 determines a distance measurement area indicating a desired distance as a subject area based on distance measurement information. Further, the subject photometry area setting unit 32a performs clustering processing using the determination result of the subject area, and sets a subject photometry area that is a photometry area corresponding to a desired subject. Further, the photometric value calculating unit 33 calculates the subject photometric value of the desired subject using the photometric value of the subject photometric area, and proceeds to step ST37.
  • step ST37 the imaging apparatus determines an exposure target value.
  • the exposure control unit 35 of the control unit 30 determines an exposure target value based on the full-screen photometric value calculated in step ST33 and the subject photometric value calculated in step ST35 or step ST36, and proceeds to step ST38.
  • step ST38 the control device performs an exposure driving process.
  • the exposure control unit 35 of the control unit 30 generates a control signal so that the exposure becomes the target value determined in step ST37, the exposure mechanism of the imaging optical system 21, the exposure time of the imaging unit 22, and the camera signal processing unit 41.
  • the ISO sensitivity is set.
  • the photometric value is calculated using the subject recognition result, the subject photometric value of the desired subject can be more reliably compared to the case where the subject recognition result is not used. It is possible to calculate with high accuracy.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). You may implement
  • FIG. 15 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 16 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 16 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • another wireless communication protocol such as a wireless LAN (also referred to as Wi-Fi (registered trademark)), Bluetooth (registered trademark), or the like may be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High) via a connection terminal (and a cable if necessary). -definition Link) etc.
  • the in-vehicle device 7760 includes, for example, at least one of a mobile device or a wearable device possessed by the passenger, or an information device carried into or attached to the vehicle. Further, the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination, and the in-vehicle device I / F 7660 transmits a control signal to and from these in-vehicle devices 7760. Or, exchange data signals.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing each function of the information processing apparatus 100 according to the present embodiment described with reference to FIG. 15 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the present technology can be applied to the imaging unit 7410 shown in FIG. 15 and the imaging units 7910, 7912, 7914, 7916, 7918 shown in FIG.
  • the photometric value of the subject outside the vehicle can be obtained with high accuracy and optimal exposure control according to the subject can be performed. Therefore, for example, it is easy to visually recognize a subject outside the vehicle, and driver fatigue can be reduced. In addition, it is possible to acquire information necessary for automatic driving or the like with high accuracy.
  • FIG. 17 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology (present technology) according to the present disclosure can be applied.
  • FIG. 17 shows a state in which an operator (doctor) 11131 is performing an operation on a patient 11132 on a patient bed 11133 using an endoscopic operation system 11000.
  • an endoscopic surgery system 11000 includes an endoscope 11100, other surgical instruments 11110 such as an insufflation tube 11111 and an energy treatment instrument 11112, and a support arm device 11120 that supports the endoscope 11100. And a cart 11200 on which various devices for endoscopic surgery are mounted.
  • the endoscope 11100 includes a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • a lens barrel 11101 in which a region having a predetermined length from the distal end is inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
  • an endoscope 11100 configured as a so-called rigid mirror having a rigid lens barrel 11101 is illustrated, but the endoscope 11100 may be configured as a so-called flexible mirror having a flexible lens barrel. Good.
  • An opening into which the objective lens is fitted is provided at the tip of the lens barrel 11101.
  • a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the tip of the lens barrel by a light guide extending inside the lens barrel 11101. Irradiation is performed toward the observation target in the body cavity of the patient 11132 through the lens.
  • the endoscope 11100 may be a direct endoscope, a perspective mirror, or a side endoscope.
  • An optical system and an image sensor are provided inside the camera head 11102, and reflected light (observation light) from the observation target is condensed on the image sensor by the optical system. Observation light is photoelectrically converted by the imaging element, and an electrical signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
  • the image signal is transmitted to a camera control unit (CCU: “Camera Control Unit”) 11201 as RAW data.
  • the CCU 11201 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the endoscope 11100 and the display device 11202. Further, the CCU 11201 receives an image signal from the camera head 11102 and performs various kinds of image processing for displaying an image based on the image signal, such as development processing (demosaic processing), for example.
  • image processing for example, development processing (demosaic processing
  • the display device 11202 displays an image based on an image signal subjected to image processing by the CCU 11201 under the control of the CCU 11201.
  • the light source device 11203 includes a light source such as an LED (light emitting diode), and supplies irradiation light to the endoscope 11100 when photographing a surgical site or the like.
  • a light source such as an LED (light emitting diode)
  • the input device 11204 is an input interface for the endoscopic surgery system 11000.
  • a user can input various information and instructions to the endoscopic surgery system 11000 via the input device 11204.
  • the user inputs an instruction to change the imaging conditions (type of irradiation light, magnification, focal length, etc.) by the endoscope 11100.
  • the treatment instrument control device 11205 controls the drive of the energy treatment instrument 11112 for tissue ablation, incision, blood vessel sealing, or the like.
  • the pneumoperitoneum device 11206 passes gas into the body cavity via the pneumoperitoneum tube 11111.
  • the recorder 11207 is an apparatus capable of recording various types of information related to surgery.
  • the printer 11208 is a device that can print various types of information related to surgery in various formats such as text, images, or graphs.
  • the light source device 11203 that supplies the irradiation light when the surgical site is imaged to the endoscope 11100 can be configured by, for example, a white light source configured by an LED, a laser light source, or a combination thereof.
  • a white light source is configured by a combination of RGB laser light sources, the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy. Therefore, the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
  • the driving of the light source device 11203 may be controlled so as to change the intensity of the output light every predetermined time. Synchronously with the timing of changing the intensity of the light, the drive of the image sensor of the camera head 11102 is controlled to acquire an image in a time-sharing manner, and the image is synthesized, so that high dynamic without so-called blackout and overexposure A range image can be generated.
  • the light source device 11203 may be configured to be able to supply light of a predetermined wavelength band corresponding to special light observation.
  • special light observation for example, by utilizing the wavelength dependence of light absorption in body tissue, the surface of the mucous membrane is irradiated by irradiating light in a narrow band compared to irradiation light (ie, white light) during normal observation.
  • a so-called narrow-band light observation (Narrow Band Imaging) is performed in which a predetermined tissue such as a blood vessel is imaged with high contrast.
  • fluorescence observation may be performed in which an image is obtained by fluorescence generated by irradiating excitation light.
  • the body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally administered to the body tissue and applied to the body tissue. It is possible to obtain a fluorescence image by irradiating excitation light corresponding to the fluorescence wavelength of the reagent.
  • the light source device 11203 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
  • FIG. 18 is a block diagram showing an example of the functional configuration of the camera head 11102 and CCU 11201 shown in FIG.
  • the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a drive unit 11403, a communication unit 11404, and a camera head control unit 11405.
  • the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
  • the camera head 11102 and the CCU 11201 are connected to each other by a transmission cable 11400 so that they can communicate with each other.
  • the lens unit 11401 is an optical system provided at a connection portion with the lens barrel 11101. Observation light taken from the tip of the lens barrel 11101 is guided to the camera head 11102 and enters the lens unit 11401.
  • the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
  • the imaging device constituting the imaging unit 11402 may be one (so-called single plate type) or plural (so-called multi-plate type).
  • image signals corresponding to RGB may be generated by each imaging element, and a color image may be obtained by combining them.
  • the imaging unit 11402 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to 3D (dimensional) display. By performing the 3D display, the operator 11131 can more accurately grasp the depth of the living tissue in the surgical site.
  • a plurality of lens units 11401 can be provided corresponding to each imaging element.
  • the imaging unit 11402 is not necessarily provided in the camera head 11102.
  • the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
  • the driving unit 11403 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405. Thereby, the magnification and the focus of the image captured by the imaging unit 11402 can be adjusted as appropriate.
  • the communication unit 11404 is configured by a communication device for transmitting and receiving various types of information to and from the CCU 11201.
  • the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
  • the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
  • the control signal includes, for example, information for designating the frame rate of the captured image, information for designating the exposure value at the time of imaging, and / or information for designating the magnification and focus of the captured image. Contains information about the condition.
  • the imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good.
  • a so-called AE (Auto-Exposure) function, AF (Auto-Focus) function, and AWB (Auto-White Balance) function are mounted on the endoscope 11100.
  • the camera head control unit 11405 controls driving of the camera head 11102 based on a control signal from the CCU 11201 received via the communication unit 11404.
  • the communication unit 11411 is configured by a communication device for transmitting and receiving various types of information to and from the camera head 11102.
  • the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
  • the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
  • the image signal and the control signal can be transmitted by electrical communication, optical communication, or the like.
  • the image processing unit 11412 performs various types of image processing on the image signal that is RAW data transmitted from the camera head 11102.
  • the control unit 11413 performs various types of control related to imaging of the surgical site by the endoscope 11100 and display of a captured image obtained by imaging of the surgical site. For example, the control unit 11413 generates a control signal for controlling driving of the camera head 11102.
  • control unit 11413 causes the display device 11202 to display a picked-up image showing the surgical part or the like based on the image signal subjected to the image processing by the image processing unit 11412.
  • the control unit 11413 may recognize various objects in the captured image using various image recognition techniques.
  • the control unit 11413 detects surgical tools such as forceps, specific biological parts, bleeding, mist when using the energy treatment tool 11112, and the like by detecting the shape and color of the edge of the object included in the captured image. Can be recognized.
  • the control unit 11413 may display various types of surgery support information superimposed on the image of the surgical unit using the recognition result. Surgery support information is displayed in a superimposed manner and presented to the operator 11131, thereby reducing the burden on the operator 11131 and allowing the operator 11131 to proceed with surgery reliably.
  • the transmission cable 11400 for connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
  • communication is performed by wire using the transmission cable 11400.
  • communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
  • the present technology can be applied to the endoscope 11100 illustrated in FIG. 17 and the imaging unit 11402 illustrated in FIG.
  • the present technology if the present technology is applied to the endoscope 11100 and the imaging unit 11402, the photometric value of the surgical site or the like can be obtained with high accuracy, and optimal exposure control according to the surgical site or the like can be performed.
  • the operator can easily confirm the surgical site and the like.
  • an endoscopic surgery system has been described as an example, the technology according to the present disclosure may be applied to, for example, a microscope surgery system and the like.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the photometric device of the present technology can also have the following configuration.
  • a subject area determination unit that determines a desired subject area based on distance measurement information for each distance measurement area;
  • a subject metering region setting unit for performing image signal processing of the subject region and setting a subject metering region;
  • a photometric device comprising: a photometric value calculating unit that calculates a photometric value of the desired subject area using a photometric value of the subject photometric area set by the subject photometric area setting unit.
  • the subject metering area setting unit includes the desired subject area in the image signal processing, and sets the metering area corresponding to the subject area after inclusion as the subject metering area. apparatus.
  • the photometry device wherein the subject photometry area setting unit includes the desired subject area by performing a closing process as the image signal process and performing a reduction process after performing an expansion process.
  • the subject photometry area setting unit performs, as the image signal processing, a replacement process in which a non-subject area that is not the subject area is a subject area in which the number of areas whose peripheral area is the subject area is equal to or greater than a threshold value.
  • the photometric device according to (2) wherein a photometric area corresponding to the subject area after the replacement processing is set as the subject photometric area.
  • the subject photometry area setting unit performs, as the image signal processing, a replacement process in which a non-subject area equal to or less than a predetermined number of non-subject areas located between the subject areas in a predetermined direction is set as a subject area.
  • the photometric device according to (2) wherein a photometric area corresponding to a later subject area is set as the subject photometric area.
  • the subject photometry area setting unit sets the subject photometry area based on a subject recognition result of a captured image including the desired subject and a discrimination result of the subject area. The photometric device described.
  • the metering value calculation unit weights the metering value of the subject metering region according to the position in the subject metering region, and uses the weighted metering value to calculate the metering value of the desired subject region.
  • the photometric device according to any one of (1) to (6) to be calculated.
  • the subject metering region setting unit sets a metering region corresponding to a subject region including the desired subject region as the subject metering region,
  • the light measurement value calculation unit increases the weight of the light measurement value in the predetermined area range based on the light measurement area corresponding to the specified distance measurement area.
  • the photometric device according to any one of (1) to (8), wherein weighting is performed and a photometric value of the desired subject region is calculated using the photometric value after weighting.
  • the photometric value calculation unit performs weighting for increasing the weight of the characteristic portion of the desired subject with respect to the photometric value in the subject photometric area based on the subject recognition result of the captured image including the desired subject.
  • the photometric device 1.
  • the subject region is determined by the subject region determination unit based on the distance measurement information, and subject photometric region is obtained by image signal processing of the determined desired subject region. Is set in the subject metering area setting section. Further, the photometric value of the desired subject area is calculated by the photometric value calculating unit using the photometric value of the subject photometric area set by the subject photometric area setting unit. For this reason, it becomes possible to obtain a photometric value with high accuracy for a desired subject area, and it becomes possible to perform optimal exposure control for the desired subject area using the photometric value calculated by the photometric value calculation unit. Therefore, the present invention can be applied to a device provided with an imaging function, for example, a digital camera, a video camera, a mobile terminal device such as a smartphone, a surveillance camera, an in-vehicle camera, and the like.
  • an imaging function for example, a digital camera, a video camera, a mobile terminal device such as a smartphone, a surveillance camera, an in-vehicle camera, and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

被写体領域判別部１１は、測距情報に基づき所望の被写体領域を判別する。被写体測光領域設定部１２は、被写体領域判別部１１で判別した所望の被写体領域の画像信号処理を行い、処理後の被写体領域に対応する測光領域を被写体測光領域として設定する。測光値算出部１３は、被写体測光領域設定部１２で設定された被写体測光領域の測光値を用いて所望の被写体領域の測光値を算出する。このため、所望の被写体領域についての測光値を精度よく取得できるようになり、測光値算出部で算出され測光値を用いて所望の被写体領域に対して最適な露出制御を行えるようになる。

Description

測光装置、測光方法、プログラムおよび撮像装置
　この技術は、測光装置、測光方法、プログラムおよび撮像装置に関し、所望の被写体領域の測光値を精度よく取得できるようにする。
　従来、撮像装置では、複数の焦点検出領域のそれぞれで算出されたデフォーカス量に基づき、焦点検出領域に対応する位置の測光センサで得られた測光値に対する重み付けを行い、重み付け後の測光値に基づいて露出制御が行われている。例えば、特許文献１では、焦点検出エリアに対応する位置に配置された第１の測光エリアおよび所定範囲内にある第２の測光エリアの重み付け係数を、対応する焦点検出エリアのデフォーカス量に応じて決定する。また、第１および第２の測光エリア以外の第３の測光エリアの重み付け係数を、第１および第２の測光エリアの重み付け係数以下の値に決定し、重み付け係数と測光値とで重み付け演算を行って得られた測光値を用いて、露出制御を行うことが記載されている。
特開２０１１－０５３３７８号公報
　ところで、特許文献１のように、焦点検出エリアのデフォーカス量に応じて重み付けを行う場合、合焦位置によっては最適な露出制御を行うことができないおそれがある。例えば、逆光などの状態で所望の被写体を撮像した場合、焦点検出としてコントラスト法が用いられて所望の被写体と背景との境界に焦点が合った状態となると、所望の被写体と背景の測光値の重みが高くされて、所望の被写体に応じた最適な露出制御を行うことができない。
　そこで、この技術では所望の被写体領域の測光値を精度よく取得できる測光装置と測光方法とプログラムおよび撮像装置を提供することを目的とする。
　この技術の第１の側面は、
　測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
　前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
　前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と
を備える測光装置にある。
　この技術において、被写体領域判別部は、測距領域毎の測距情報または所望の被写体を含む撮像画の被写体認識結果に基づき所望の被写体領域例えば所望の１または複数の被写体を示す被写体領域を判別する。例えば、被写体領域判別部は、測距情報に基づき判別した合焦状態の１または複数の領域を所望の被写体領域と判別する。
　被写体測光領域設定部は、画像信号処理によって所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を被写体測光領域に設定する。例えば被写体領域のクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで所望の被写体領域を包括する。または、画像信号処理では、被写体領域でない非被写体領域において、周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする。または、画像信号処理では、所定方向における被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を被写体測光領域とする。
　測光値算出部は、被写体測光領域設定部で設定された被写体測光領域の測光値を用いて所望の被写体領域の測光値を算出する。また、測光値算出部は、被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けや、周辺の測光領域が全て被写体測光領域の測光領域である測光領域の測光値の重みを他の測光領域よりも高くする重み付けを行ってもよい。また、測光値算出部は、合焦状態とする測距領域が指定されている場合に指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付け、所望の被写体を含む撮像画の被写体認識結果に基づき、被写体測光領域の測光値に対して、所望の被写体の特徴部分の重みを高くする重み付け、例えば顔領域を判別して顔の特徴部分の重みを高くする重み付け等を行ってもよい。測光値算出部は、重み付け後の測光値を用いて所望の被写体領域の測光値を算出する。
　この技術の第２の側面は、
　測距情報に基づき所望の被写体領域を被写体領域判別部で判別することと、
　判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定することと、
　前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出すること
を含む測光方法にある。
　この技術の第３の側面は、
　測光値の算出をコンピュータで実行させるプログラムであって、
　測距情報に基づき所望の被写体領域を判別する手順と、
　前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する手順と、
　設定された前記被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する手順と
を前記コンピュータで実行させるプログラム。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術の第４の側面は、
　測光領域毎に測光結果を示す測光情報を生成する測光部と、
　測距領域毎に測距結果を示す測距情報を生成する測距部と、
　前記測距部で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
　前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
　前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と、
　前記測光領域毎に測光結果を示す測光情報から全画面の測光値を算出する全画面測光値算出部と、
　前記測光値算出部で算出された前記所望の被写体領域の測光値と前記全画面測光値算出部で算出された全画面の測光値に基づいて露出制御を行う露出制御部と
を備える撮像装置。
　この技術によれば、測距情報に基づき所望の被写体領域が被写体領域判別部で判別されて、判別した所望の被写体領域の画像信号処理を行い、被写体測光領域が被写体測光領域設定部で設定される。また、被写体測光領域設定部で設定された被写体測光領域の測光値を用いて所望の被写体領域の測光値が測光値算出部で算出される。したがって、所望の被写体領域の測光値を精度よく取得できるようになり、測光値算出部で算出され測光値を用いて所望の被写体に応じた最適な露出制御を行えるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
測光装置の構成を例示した図である。 測光領域と測距領域を例示した図である。 領域判定画像を示す図である。 クラスタリング処理を説明するための図である。 被写体領域非対応画素から被写体領域対応画素への置換処理を説明するための図である。 被写体領域非対応画素から被写体領域対応画素への他の置換処理を説明するための図である。 全測光領域に対する重みを例示した図である。 測距領域が指定された場合の重みを例示した図である。 測光装置の動作を示すフローチャートである。 測光装置の他の動作を示すフローチャートである。 撮像装置の構成を例示した図である。 撮像装置の動作を示すフローチャートである。 撮像装置の他の構成を例示した図である。 撮像装置の他の動作を示すフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．測光装置の構成
　２．測光装置の動作
　３．撮像装置の構成
　４．撮像装置の動作
　５．撮像装置の他の構成と動作
　６．応用例
　　６－１．移動体制御システムへの応用例
　　６－２．内視鏡手術システムへの応用例
　＜１．測光装置の構成＞
　図１は、本技術の測光装置の構成を例示している。測光装置１０は、被写体領域判別部１１と被写体測光領域設定部１２および測光値算出部１３を有している。
　被写体領域判別部１１は、測距領域毎の測距情報に基づき所望の被写体領域を判別する。被写体領域判別部１１は、測距センサで測距を行うことにより得られた測距領域毎の測距情報に基づき、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別して、判別結果を被写体測光領域設定部１２へ出力する。
　被写体測光領域設定部１２は、被写体領域の判別結果を用いて画像信号処理を行い、所望の被写体領域を包括して、包括後の被写体領域に応じて被写体測光領域を設定する。被写体測光領域設定部１２は、画像信号処理例えばクラスタリング処理によって、全測距領域を所望の被写体領域と判別された測距領域の集合とその他の測距領域の集合に分割する。また、被写体測光領域設定部１２は、全画面において輝度を示す測光情報が得られる複数の測光領域（例えばスルー画から測光値を検出する複数の領域）を、クラスタリング処理によって、所望の被写体領域と判別された測距領域に対応する測光領域の集合とその他の測光領域の集合に分割してもよい。被写体測光領域設定部１２は、所望の被写体領域と判別された測距領域の集合に対応する測光領域の集合、または所望の被写体領域と判別された測距領域に対応する測光領域の集合を、所望の被写体に対応する測光領域である被写体測光領域に設定する。すなわち、被写体測光領域設定部１２は、画像信号処理で所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とする。被写体測光領域設定部１２は、被写体測光領域の設定結果を測光値算出部１３へ出力する。
　測光値算出部１３は、全測光領域の測光情報（測光値）が入力されており、被写体測光領域設定部１２で設定された被写体測光領域の測光情報（測光値）を用いて所望の被写体領域の測光値、例えば合焦状態である被写体の被写体測光値を算出する。
　＜２．測光装置の動作＞
　図２は測光領域と測距領域を例示している。測光領域は、図２の（ａ）に示すように、全画面を複数領域に分割して、分割後の領域が個々に測光領域とされている。測距領域は、図２の（ｂ）に示すように、斜線のハッチングで示す測距領域が分散して複数設けられている。なお、説明を簡単とするため、測距領域は測光領域と等しいサイズで、何れかの測光領域と位置が一致しているとする。
　被写体領域判別部１１は、測距センサで生成された測距領域毎の測距情報に基づき、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別する。
　被写体測光領域設定部１２は、被写体領域の判別結果を用いてクラスタリング処理を行い、被写体測光領域を設定する。なお、クラスタリング処理の動作の理解を容易とするため、例えば図３に示すように各測光領域を画素とした領域判定画像を用いて説明を行う。また、図３において、黒色画素は、被写体領域と判別されている領域に対応する画素（以下「被写体領域対応画素」という）であることを示している。
　図４はクラスタリング処理を説明するための図である。被写体測光領域設定部１２は、クラスタリング処理として被写体領域のクロージング処理を行う。具体的には膨張処理と収縮処理を同じ回数繰り返して、膨張処理を行った後に縮小処理を行うことで、被写体領域を示す画素の集合とその他の画素の集合に分割する。図４の（ａ）はクラスタリング処理前の領域判定画像を示している。図４の（ｂ）は領域判定画像に対して膨張処理が行われた画像を示しており、図４の（ｃ）は膨張処理後の領域判定画像に対して収縮処理が行われた画像を示している。被写体測光領域設定部１２は、このようにクロージング処理を行うことで被写体領域対応画素が連続した領域を生成して、被写体領域対応画素が連続した領域に対応する測光領域を被写体測光領域として設定する。すなわち、被写体測光領域設定部１２は、図４の（ｃ）に示す領域判定画像において、被写体領域対応画素に対応する測光領域を被写体測光領域として設定する。
　また、被写体測光領域設定部１２は、クロージング処理と異なる画像信号処理によって、被写体測光領域を設定してもよい。例えば被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を被写体測光領域とする。なお、領域判定画像において、被写体領域対応画素でない画素を被写体領域非対応画素とする。
　図５は、被写体領域非対応画素から被写体領域対応画素への置換処理を説明するための図である。被写体測光領域設定部１２は、被写体領域非対応画素の周囲に位置している被写体領域対応画素の数を「Ｎ」として、「Ｎ」が閾値Ｔｈａ以上である場合に、被写体領域非対応画素を被写体領域対応画素に置換する。すなわち、被写体測光領域設定部１２は、被写体領域非対応画素の周囲に被写体領域対応画素がどの程度配置されているかに応じて、被写体領域非対応画素を被写体領域対応画素に置換して被写体領域対応画素を連続させる。
　図５の（ａ）はクラスタリング処理前の領域判定画像を示している。図５の（ｂ）は「Ｔｈａ＝２」としたクラスタリング処理後の領域判定画像を示している。このようなクラスタリング処理を行うことで被写体領域対応画素が連続した領域を生成できる。また、図５の（ｃ）は「Ｔｈａ＝３」としたクラスタリング処理後の領域判定画像を示している。この場合、４辺に被写体領域対応画素が隣接している被写体領域非対応画素が残っていることから、「Ｔｈａ＝３」としたクラスタリング処理を繰り返す。このように、クラスタリング処理を繰り返すことで、図５の（ｄ）に示すように、４辺に被写体領域対応画素が隣接している被写体領域非対応画素のない領域判定画像を生成できる。被写体測光領域設定部１２は、被写体領域対応画素が連続している領域に対応する測光領域、すなわち図５の（ｂ）や図５の（ｄ）に示す領域判定画像において、被写体領域対応画素に対応する測光領域を被写体測光領域として設定する。
　さらに、被写体測光領域設定部１２は、所定方向における被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を被写体測光領域としてもよい。
　図６は、被写体領域非対応画素から被写体領域対応画素への他の置換処理を説明するための図である。被写体測光領域設定部１２は、例えば水平方向および垂直方向のそれぞれについて被写体領域対応画素間に位置する被写体領域非対応画素が閾値Ｔｈｂ以下であるとき、被写体領域非対応画素を被写体領域対応画素に置換する。すなわち、被写体測光領域設定部１２は、被写体領域対応画素に位置する被写体領域非対応画素が所定数以下である場合は被写体領域に含まれると見なして、この被写体領域非対応画素を被写体領域対応画素に置換する。図６の（ａ）はクラスタリング処理前の領域判定画像を示している。図６の（ｂ）は、「Ｔｈｂ＝１」として、被写体領域対応画素で挟まれた被写体領域非対応画素を被写体領域対応画素へ切り替えた場合を示している。また、図６の（ｃ）は、図６の（ｂ）に示す領域判定画像に対して、被写体領域対応画素で挟まれた被写体領域非対応画素を被写体領域対応画素へ切り替えた場合を示しており、被写体領域対応画素で挟まれた被写体領域非対応画素が全て被写体領域対応画素へ切り替えられている。このようなクラスタリング処理を行うことで被写体領域対応画素が連続した領域を生成できる。被写体測光領域設定部１２は、被写体領域対応画素が連続した領域に対応する測光領域、すなわち図６の（ｃ）に示す領域判定画像において、被写体領域対応画素に対応する測光領域を被写体測光領域として設定する。
　なお、上述のクラスタリング処理の説明では、動作の理解を容易とするために領域判定画像を用いて説明したが、被写体測光領域設定部１２は領域判定画像を用いることなく被写体領域の位置関係に基づき同様な処理を行い、被写体測光領域を設定してもよい。また、上述のように各測光領域を画素として画像ベースでクラスタリング処理を行うようにしてもよい。また、所望の被写体領域を包括して被写体測光領域の設定を行う際に、クロージング処理に限らずオープニング処理を行っても良い。オープニング処理では縮小処理を行った後に膨張処理を行うことから、例えば被写体領域と非被写体領域の境界部分で測距情報の精度が低下している場合や誤りが多く発生する場合、縮小処理を行った後に膨張処理を行うことで、境界部分の誤り等の影響を少なくして被写体測光領域を設定できる。
　測光値算出部１３は、被写体測光領域設定部１２で設定された被写体測光領域内の測光領域毎の測光値を用いて所望の被写体の被写体測光値を算出する。被写体測光領域設定部１２は、例えば被写体測光領域内の測光領域毎に算出されている測光値の平均値を所望の被写体の被写体測光値とする。また、被写体測光領域設定部１２は、例えば被写体測光領域内における位置に応じて測光領域の測光値に対して重み付けを行い、重み付け後の測光値の平均値または加算値を所望の被写体の被写体測光値としてもよい。
　図７は、全測光領域に対する重みを例示している。測光値算出部１３は、被写体測光領域内における位置に応じて測光領域の測光値に対する重みの設定を行い、周辺の領域が全て被写体測光領域である被写体測光領域は、被写体測光領域でない測光領域に接している被写体測光領域よりも重みを高くする。測光値算出部１３は、例えば、被写体測光領域でない測光領域に対する重みを「０」として、被写体測光領域でない測光領域に接している被写体測光領域に対する重みを「ＷＡ（＞０）」とする。また、測光値算出部１３は、周辺の領域が全て被写体測光領域である被写体測光領域に対する重みを「ＷＢ（＞ＷＡ）」とする。測光値算出部１３は、例えば測光領域毎に測光値と重みを乗算して乗算結果の加算値を重みの合計値で除算することで、所望の被写体の被写体測光値とする。
　また、測光領域に対する重み付けは、被写体測光領域内における位置に応じて行う場合に限らず、フォーカス位置の指定操作に応じて行うようにしてもよい。例えば、測距領域が指定されて、指定された測距領域の被写体にフォーカスを合わせる場合、合焦状態とする測距領域（以下「指定測距領域」）に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行ってもよい。
　図８は、測距領域が指定された場合の重みを例示している。測光値算出部１３は、被写体測光領域であって、指定測距領域に対応する測光領域を基準とした所定領域範囲の測光値を、他の測光領域の測光値よりも重みを高くする。測光値算出部１３は、例えば、被写体測光領域でない測光領域に対する重みを「０」とする。また、被写体測光領域に対する重みを「ＷＡ（＞０）」とする。さらに、測光値算出部１３は、例えば指定測距領域に対応する測光領域と辺または角が接する測光領域の重みＷＢを「ＷＢ（＞ＷＡ）」とする。このように、指定測距領域に対応する測光領域を基準として重み付けを行えば、測距領域が指定されたことによりフォーカスが合わせられる被写体についての測光値を精度よく算出できるようになる。
　さらに、測光領域に対する重み付けは、被写体測光領域内における位置やフォーカス位置の指定操作に応じて行う場合に限らず、所望の被写体を含む撮像画の被写体認識結果に基づき所望の被写体の特徴部分の重みを高くする重み付けを行うようにしてもよい。例えば、撮像画の被写体認識によって検出された人物の顔領域の位置に対応する測距領域について、測光値の重みを高くする重み付けを行うようにすれば、人物の顔に対する測光値を精度よく算出できるようになる。
　なお、測距装置は、測距情報を利用したクラスタリング処理によって被写体測光領域を設定できればよく、図２に示すように測光領域よりも測距領域の数が少ない場合に限られない。例えば測光領域と測距領域の数が等しくても、測光領域よりも測距領域の数が多い場合であってもよい。また、測光領域と測距領域のサイズが等しい場合に限らず、サイズが異なっていてもよい。
　図９は、測光装置の動作を示すフローチャートである。ステップＳＴ１で測光装置は測距情報と測光情報を取得する。測光装置１０は、測距センサから測距情報および測光センサから測光情報を取得してステップＳＴ２に進む。
　ステップＳＴ２で測光装置は測距情報に基づき被写体領域を判別する。測光装置１０は、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別してステップＳＴ３に進む。
　ステップＳＴ３で測光装置は被写体測光領域を設定する。測光装置１０は、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定してステップＳＴ４に進む。
　ステップＳＴ４で測光装置は被写体測光値を算出する。測光装置１０は、被写体測光領域の測光値を用いて所望の被写体の被写体測光値を算出する。
　図１０は、測光装置の他の動作を示すフローチャートであり、測光領域の測光値に対して重み付けを行う場合を示している。
　ステップＳＴ１１で測光装置は測距情報と測光情報を取得する。測光装置１０は、測距センサから測距情報および測光センサから測光情報を取得してステップＳＴ１２に進む。
　ステップＳＴ１２で測光装置は測距情報に基づき被写体領域を判別する。測光装置１０は、測距値が所望の距離に対して所定範囲内である測距領域を所望の被写体領域と判別してステップＳＴ１３に進む。
　ステップＳＴ１３で測光装置は被写体測光領域を設定する。測光装置１０は、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定してステップＳＴ１４に進む。
　ステップＳＴ１４で測光装置は重み付け処理を行う。測光装置１０は、被写体測光領域内における位置やフォーカス位置、所望の被写体の特徴部分の位置等を基準として、測光領域に重み付けを行いステップＳＴ１５に進む。
　ステップＳＴ１５で測光装置は被写体測光値を算出する。測光装置１０は、被写体測光領域の測光値と設定された重みを用いて所望の被写体の被写体測光値を算出する。
　このように、本技術の測光装置では、測距情報に基づき判別した被写体領域のクラスタリング処理によって、所望の被写体に対応する測光領域である被写体測光領域が設定されて、被写体測光領域の測光値から所望の被写体の被写体測光値が算出される。したがって、所望の被写体がコントラストの少ない被写体である場合や測距情報が得にくい被写体である場合でも、所望の被写体領域の測光値を算出できるようになる。このため、所望の被写体領域の測光値として被写体と背景の境界領域での測光値が算出されてしまうことがなく、所望の被写体領域に対して露出を正しく合わせることができるようになる。
　＜３．撮像装置の構成＞
　次に、本技術の測光装置を用いた撮像装置について説明する。図１１は、撮像装置の構成を例示している。撮像装置２０は、撮像光学系２１、撮像部２２、測光部２３、測距部２４、制御部３０、カメラ信号処理部４１、表示部４２、記録部４３、ユーザインタフェース（Ｉ／Ｆ）部４４を有している。
　撮像光学系２１は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系２１は、制御部３０からの制御信号に基づきフォーカスレンズやズームレンズ等を駆動して、所望のサイズで被写体光学像を撮像部２２の撮像面に結像させる。また、撮像光学系２１は、フォーカスレンズやズームレンズ等を通った光束を測光部２３に入力する。さらに、撮像光学系２１には、アイリス（絞り）機構等が設けられて、制御部３０からの制御信号に基づきアイリス機構等を駆動する構成であってもよい。
　撮像部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部２２は、光電変換を行い被写体光学像に応じた画像信号を生成してカメラ信号処理部４１へ出力する。また、画像信号に基づいて測光を行う構成である場合、撮像部２２は、生成した画像信号を測光部２３へ出力する。さらに、撮像部２２は、制御部３０からの制御信号に基づき露光時間を設定する。
　測光部２３は被写体の輝度を検出する。測光部２３は、全画面を複数の測光領域に区分して、測光領域毎の輝度を検出して測光情報を生成する。例えば測光部２３で用いられる測光素子は、撮像部２２による撮像範囲内に複数の測光領域が設定されており、測光部２３は各測光領域で独立して被写体の輝度を検出して、検出結果を示す測光情報（測光値）を生成する。また、測光部２３は撮像部２２で生成された画像信号を用いて測光を行う場合、測光部２３は撮像部２２による撮像範囲内に複数の測光領域を設定して、各測光領域の画像信号に基づき測距領域毎に被写体の輝度を検出して、検出結果を示す測光情報を生成する。測光部２３は生成した測光情報を制御部３０へ出力する。
　測距部２４は被写体までの距離を検出する。測距部２４は、全画面内に複数の測距領域を設けて、測距領域の被写体までの距離を検出して、距離検出結果を示す測距情報を生成する。例えば、撮像部２２において、撮像用画素と焦点検出用画素が設けられている像面位相差ＡＦ（オートフォーカス）方式の撮像素子が用いられている場合、焦点検出用画素間で生じた位相差に基づき距離を検出して測距情報を生成する。なお、測距部２４は、ステレオカメラやＴＯＦ（Time Of Flight）カメラ等を用いて被写体までの距離を検出して測距情報をしてもよい。測距部２４は生成した測距情報を制御部３０へ出力する。
　制御部３０は、被写体領域判別部３１、被写体測光領域設定部３２、測光値算出部３３、全画面測光値算出部３４、露出制御部３５を有している。
　被写体領域判別部３１は、測距部２４で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する。被写体領域判別部３１は、測距領域毎の測距情報に基づき測距値が所望の距離に対して所定範囲内である合焦状態の測距領域を所望の被写体領域と判別して、判別結果を被写体測光領域設定部３２へ出力する。
　被写体測光領域設定部３２は、被写体領域の判別結果を用いてクラスタリング処理を行い、被写体測光領域を設定する。被写体測光領域設定部３２は、クラスタリング処理によって、例えば測光情報が得られる全測光領域を、所望の被写体領域と判別された測距領域に対応する測光領域の集合とその他の測光領域の集合に分割する。また、被写体測光領域設定部３２は、所望の被写体に対応する測光領域の集合を被写体測光領域に設定して、被写体測光領域の設定結果を測光値算出部３３へ出力する。
　測光値算出部３３は、測光部２３で生成された測光情報と被写体測光領域設定部３２における被写体測光領域の設定に基づき、被写体測光領域の測光値を用いて所望の被写体の被写体測光値を算出する。また、測光値算出部３３は、測光部２３で生成された測光情報と被写体測光領域設定部３２における被写体測光領域の設定結果に基づき、被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けを行い、重み付け後の測光値を用いて被写体測光値を算出してもよい。さらに、測光値算出部３３は、合焦状態とする測距領域が指定されている場合、指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行い、重み付け後の測光値を用いて被写体測光値を算出してもよい。測光値算出部３３は、算出した被写体測光値を露出制御部３５とカメラ信号処理部４１へ出力する。
　全画面測光値算出部３４は、測光部２３で生成された測光情報に基づき、各測光領域の測光値を用いて撮像部２２による撮像範囲全体についての測光値（以下「全画面測光値」という）を算出して露出制御部３５へ出力する。
　露出制御部３５は、測光値算出部３３で算出された被写体測光値と全画面測光値算出部３４で算出された全画面測光値に基づき、最適な露出の撮像画を生成できるように制御信号を生成して、撮像光学系２１や撮像部２２，カメラ信号処理部４１等へ出力する。また、露出制御部３５は、ユーザインタフェース部４４からの操作信号に基づき、制御信号を測光モード等に応じて生成する。
　カメラ信号処理部４１は、撮像部２２で生成された画像信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正等を行う。また、撮像部２２でカラーモザイクフィルタが用いられている場合にデモザイク処理を行い、１画素が１つの色成分を示す画像信号から１画素が各色成分を示す画像信号、例えば三原色の画像信号を生成する。また、カメラ信号処理部４１は、収差補正や色補正、画像信号を所定の色空間の画像信号例えば三原色信号を輝度信号と色差信号に変換する色空間変換等を行う。さらに、カメラ信号処理部４１は、画像信号を表示部４２に対応する表示解像度や記録部４３に記録する解像度の画像信号に変換する解像度変換等を行い、カメラ信号処理後の画像信号を表示部４２や記録部４３へ出力する。また、カメラ信号処理部４１は、記録部４３に記録する画像信号の符号化処理や記録部４３に記録されている符号化信号の復号化処理を行うようにしてもよい。また、カメラ信号処理部４１は、被写体測光値を用いてカメラ信号処理を行うようにしてもよい。例えば、カメラ信号処理部４１は、所望の被写体を示す画像が、より良く階調を示した画像となるように情報量を増やす等の処理を行う。
　表示部４２は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部４２は、撮像部２２で取得した撮像画や記録部４３に記録されている撮像画を表示する。また、図示せずも、撮像装置２０の機能や動作などの各種設定画面や各種情報等を表示する表示信号を制御部３０で生成して表示部４２へ出力する。
　記録部４３には記録媒体が固定してまたは着脱可能に設けられている。記録部４３は、カメラ信号処理部４１から出力された画像信号や符号化データを記録媒体に記録する。
　ユーザＩ／Ｆ部４４は、操作スイッチや操作ボタン、操作ダイヤル、タッチパネル等で構成されており、ユーザ操作に応じた操作信号を生成して制御部３０へ出力する。
　＜４．撮像装置の動作＞
　次に、撮像装置の動作を説明する。図１２は、撮像装置の動作を示すフローチャートである。ステップＳＴ２１で撮像装置はオートフォーカスであるか判別して、オートフォーカス動作がユーザによって選択されている場合はステップＳＴ２２に進み、マニュアルフォーカス動作が選択されている場合はステップＳＴ２３に進む。
　ステップＳＴ２２で撮像装置はオートフォーカス制御を行う。撮像装置２０の制御部３０は、測距部２４で生成された測距情報に基づき、所定の測距領域またはユーザが選択した測距領域の被写体にフォーカスがあるように撮像光学系２１のフォーカスレンズを駆動制御してステップＳＴ２３に進む。
　ステップＳＴ２３で撮像装置は、測光情報と測距情報を生成する。撮像装置２０の測光部２３は測光情報を生成して制御部３０へ出力して、測距部２４は測距情報を生成して制御部３０へ出力してステップＳＴ２４に進む。
　ステップＳＴ２４で撮像装置は画面全体の測光処理を行う。制御部３０の全画面測光値算出部３４は、測光領域毎の測光値を用いて撮像範囲全体についての測光値である全画面測光値を算出する。
　ステップＳＴ２５で撮像装置は所望の被写体の測光処理を行う。制御部３０の被写体領域判別部３１は、測距情報に基づき所望の距離を示す測距領域を被写体領域と判別する。また、被写体測光領域設定部３２は、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定する。さらに、測光値算出部３３は、被写体測光領域の測光値または重み付け後の測光値を用いて所望の被写体の被写体測光値を算出する。
　ステップＳＴ２６で撮像装置は露出の目標値を決定する。制御部３０の露出制御部３５は、ステップＳＴ２４で算出した全画面測光値とステップＳＴ２５で算出した被写体測光値に基づき露出の目標値を決定してステップＳＴ２７に進む。なお、撮像装置の動作は、ステップＳＴ２４とステップＳＴ２５の順序が逆であってもよい。
　露出制御部３５は、全画面測光値と被写体測光値の何れをどの程度優先するかによって、得たい露出結果を調整できるようにする。露出制御部３５は、被写体測光値を優先した露出制御を行えば、背景の変化に引かれにくいような自動露出を行うことができる。また、露出制御部３５は、全画面測光値と被写体測光値に基づき撮像状態を判別して、例えば全画面測光値が被写体測光値よりも大きく逆光状態であるときは、所望の被写体が暗くなりすぎないように、全画面測光値と被写体測光値に基づき露出の目標値を決定してもよい。また、露出制御部３５は、ユーザが選択した測光モードに応じて露出の目標値を決定する。例えば、各測光領域の測光値に基づき露出制御を行う測光モードである場合、全画面測光値に基づき露出の目標値を決定する。また、所望の被写体を重視して露出制御を行う測光モードである場合、被写体測光値に基づき露出の目標値を決定する。さらに、露出制御部３５は、ユーザが選択した撮像モードや自動で判別した撮像シーンに応じて、全画面測光値や被写体測光値に基づき露出の目標値を決定してもよい。例えば、撮像時に照明光を発光させる撮像モードや撮像シーンである場合、所望の被写体には照明光が多く当たる。このため、露出制御部３５は、被写体測光値の優先度を下げることで、所望の被写体と背景の両方ともそれぞれ適正な明るさである撮像画を得られるようにしてもよい。
　ステップＳＴ２７で制御装置は露出駆動処理を行う。制御部３０の露出制御部３５は、露出がステップＳＴ２５で決定した目標値となるように制御信号を生成して、撮像光学系２１の絞り機構や撮像部２２の露光時間、カメラ信号処理部４１に対するＩＳＯ感度の調整等を行う。
　このように、本技術の撮像装置では、測距部で生成された測距情報に基づき判別した被写体領域のクラスタリング処理によって、所望の被写体に対応する測光領域である被写体測光領域が設定される。また、撮像装置では、測光部で生成された測光領域毎の測光値における被写体測光領域の測光値に基づき所望の被写体の被写体測光値が算出される。したがって、所望の被写体の被写体測光値や全画面測光値に基づき、測光モードや撮像モード，撮像シーン等に応じた露出制御を精度よく行うことができるようになる。例えば、所望の被写体が逆光などで暗くなってしまい、所望の被写体の外周部分でしか合焦しないような状況でも、被写体領域を正しく抽出して、所望の被写体が適切な明るさの撮像画を得られるように自動露出制御を行える。
　＜５．撮像装置の他の構成と動作＞
　次に、撮像装置の他の構成と動作について説明する。図１３は、撮像装置の他の構成を例示している。撮像装置２０ａは、撮像光学系２１、撮像部２２、測光部２３、測距部２４、制御部３０ａ、カメラ信号処理部４１、表示部４２、記録部４３、ユーザインタフェース（Ｉ／Ｆ）部４４を有している。さらに、撮像装置２０ａは、被写体認識部２５を有している。なお、撮像光学系２１、撮像部２２、測光部２３、測距部２４、カメラ信号処理部４１、表示部４２、記録部４３、ユーザインタフェース（Ｉ／Ｆ）部４４は、図１１に示す撮像装置２０と同様に構成されている。
　撮像光学系２１は、制御部３０からの制御信号に基づきフォーカスレンズやズームレンズ等を駆動して、所望のサイズの被写体光学像を撮像部２２の撮像面に結像させる。また、撮像光学系２１は、フォーカスレンズやズームレンズ等を通った光束を測光部２３に入力する。さらに、撮像光学系２１には、制御部３０からの制御信号に基づきアイリス機構等を駆動する。
　撮像部２２は、被写体光学像に応じた画像信号を生成してカメラ信号処理部４１へ出力する。また、画像信号に基づいて測光を行う場合、撮像部２２は生成した画像信号を測光部２３へ出力する。さらに、撮像部２２は、制御部３０からの制御信号に基づき露光時間を設定してもよい。
　測光部２３は、測光領域毎の輝度を検出して測光情報を生成して制御部３０ａへ出力する。測距部２４は測距領域の被写体までの距離を測距領域毎に検出して測距情報を生成して制御部３０へ出力する。
　被写体認識部２５は、撮像部２２で生成された画像信号またはカメラ信号処理部４１でカメラ信号処理を行い生成された画像信号を用いて被写体認識を行い、所望の被写体の特徴部分例えば人体の顔部分等を検出する。また、被写体認識部２５は、被写体認識を行い認識した被写体毎に領域分割を行ってもよい。被写体認識部２５は、所望の被写体の特徴部分の検出結果や領域分割結果を示す被写体認識結果を制御部３０ａへ出力する。
　制御部３０ａは、被写体領域判別部３１、被写体測光領域設定部３２ａ、測光値算出部３３ａ、全画面測光値算出部３４、露出制御部３５を有している。
　被写体領域判別部３１は、測距部２４で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別して、判別結果を被写体測光領域設定部３２ａへ出力する。なお、被写体領域判別部３１は、測距情報と被写体認識結果に基づき被写体領域を判別してもよい。
　被写体測光領域設定部３２ａは、被写体領域の判別結果を用いてクラスタリング処理を行い、被写体測光領域の設定を行う。また、被写体測光領域設定部３２ａは、被写体認識部２５の被写体認識結果を用いて被写体測光領域を設定してもよい。例えば、被写体認識結果で示された分割領域において、クラスタリング処理後の被写体領域を含む分割領域に対応する測光領域を被写体測光領域に設定する。被写体測光領域設定部３２ａは、被写体測光領域の設定結果を測光値算出部３３ａへ出力する。
　測光値算出部３３ａは、測光部２３で生成された測光情報と被写体測光領域設定部３２ａにおける被写体測光領域の設定結果に基づき被写体測光値を算出する。また、測光値算出部３３ａは、被写体測光領域の測光値に対して被写体測光領域内における位置や合焦状態とする測距領域の指定に応じた重み付けを行ってもよい。また、測光値算出部３３ａは、被写体認識部２５の被写体認識結果に基づき所望の被写体の特徴部分の重みを高くする重み付けを行ってもよい。測光値算出部３３ａは、少なくとも何れかの重み付けを行い、重み付け後の測光値を用いて被写体測光値を算出する。測光値算出部３３ａは、算出した被写体測光値を露出制御部３５とカメラ信号処理部４１へ出力する。
　全画面測光値算出部３４は、測光部２３で生成された測光情報に基づき、各測光領域の測光値を用いて全画面測光値を算出して露出制御部３５へ出力する。
　露出制御部３５は、測光値算出部３３ａで算出された被写体測光値と全画面測光値算出部３４で算出された全画面測光値に基づき、最適な露出の撮像画を生成できるように制御信号を生成して、撮像光学系２１や撮像部２２，カメラ信号処理部４１等へ出力する。また、露出制御部３５は、ユーザインタフェース部４４からの操作信号に基づき、制御信号を測光モード等に応じて生成する。
　カメラ信号処理部４１は、撮像部２２で生成された画像信号に対して上述のように種々の処理を行い、カメラ信号処理後の画像信号を表示部４２や記録部４３へ出力する。表示部４２は、撮像部２２で取得した撮像画や記録部４３に記録されている撮像画を表示する。また、撮像装置２０の機能や動作などの各種設定画面や各種情報等を表示する。記録部４３は、カメラ信号処理部４１から出力された画像信号等を記録媒体に記録する。ユーザＩ／Ｆ部４４は、ユーザ操作に応じた操作信号を生成して制御部３０ａへ出力する。
　図１４は、撮像装置の他の動作を示すフローチャートである。ステップＳＴ３１で撮像装置は、測光情報と測距情報を生成する。撮像装置２０の測光部２３は測光情報を生成して制御部３０へ出力して、測距部２４は測距情報を生成して制御部３０ａへ出力する。
　ステップＳＴ３２で撮像装置は被写体認識を行う。撮像装置２０の被写体認識部２５は被写体認識を行い、被写体毎の領域分割結果や所望の被写体の特徴部分検出結果を示す被写体認識結果を制御部３０ａへ出力する。
　ステップＳＴ３３で撮像装置は画面全体の測光処理を行う。制御部３０ａの全画面測光値算出部３４は、測光領域毎の測光値を用いて撮像範囲全体についての測光値である全画面測光値を算出する。
　ステップＳＴ３４で撮像装置は所望の被写体が検出されたか判別する。制御部３０ａは、被写体認識部２５の被写体認識結果によって所望の被写体が検出されている場合はステップＳＴ３５に進み、検出されていない場合はステップＳＴ３６に進む。
　ステップＳＴ３５で撮像装置は被写体認識結果を用いた測光処理を行う。制御部３０の被写体領域判別部３１は、測距情報に基づき所望の距離を示す測距領域を被写体領域と判別する。また、被写体測光領域設定部３２ａは、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定する。また、被写体測光領域設定部３２ａは、被写体認識結果で示された領域分割結果を用いて被写体測光領域の設定を行ってもよい。測光値算出部３３ａは、被写体測光領域の測光値に対して、例えば被写体測光領域内における位置や合焦状態とする測距領域の指定に応じた重み付け、被写体認識結果に基づいた重み付けの少なくとも何れかを行ってもよい。さらに、測光値算出部３３ａは、重み付け後の測光値を用いて所望の被写体の被写体測光値を算出してステップＳＴ３７に進む。
　ステップＳＴ３６で撮像装置は被写体認識結果を用いることなく測光処理を行う。制御部３０の被写体領域判別部３１は、測距情報に基づき所望の距離を示す測距領域を被写体領域と判別する。また、被写体測光領域設定部３２ａは、被写体領域の判別結果を用いてクラスタリング処理を行い、所望の被写体に対応する測光領域である被写体測光領域を設定する。さらに、測光値算出部３３は、被写体測光領域の測光値を用いて所望の被写体の被写体測光値を算出してステップＳＴ３７に進む。
　ステップＳＴ３７で撮像装置は露出の目標値を決定する。制御部３０の露出制御部３５は、ステップＳＴ３３で算出した全画面測光値とステップＳＴ３５またはステップＳＴ３６で算出した被写体測光値に基づき露出の目標値を決定してステップＳＴ３８へ進む。
　ステップＳＴ３８で制御装置は露出駆動処理を行う。制御部３０の露出制御部３５は、露出がステップＳＴ３７で決定した目標値となるように制御信号を生成して、撮像光学系２１の絞り機構や撮像部２２の露光時間、カメラ信号処理部４１に対するＩＳＯ感度の設定等を行う。
　なお、撮像装置の他の動作は、図１４に示す動作に限られず、図１２に示すオートフォーカスに関するステップＳＴ２１の処理やステップＳＴ２２の処理が含まれていてもよい。また、画面全体の測光処理は、ステップＳＴ３２の前に行ってもよく、ステップＳＴ３５やステップＳＴ３６の後に行ってもよい。
　このように、本技術の撮像装置では、被写体認識結果を用いて測光値の算出が行われることから、被写体認識結果を用いていない場合に比べて、所望の被写体の被写体測光値をより確実に精度よく算出することが可能となる。
　＜６．応用例＞
　＜６－１．移動体制御システムへの応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１５を用いて説明した本実施形態に係る情報処理装置１００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、本技術は、図１５に示す撮像部７４１０や図１６に示す撮像部７９１０，７９１２，７９１４，７９１６，７９１８に適用することができる。このように、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８に本技術を適用すれば、車外の被写体の測光値を精度よく取得して、被写体に応じた最適な露出制御を行うことができるので、例えば車外の被写体の視認が容易となりドライバの疲労等を軽減できる。また、自動運転等に必要な情報を高精度で取得することが可能となる。
　＜６－２．内視鏡手術システムへの応用例＞
　本開示に係る技術は、例えば内視鏡手術システムに適用されてもよい。
　図１７は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
　図１７では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
　内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
　鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
　カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
　ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
　表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
　光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
　入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
　処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
　なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
　また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
　また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
　図１８は、図１７に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
　カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
　レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
　撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
　また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
　駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
　通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
　また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
　カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
　通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
　また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
　画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
　制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
　また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
　カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
　ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
　以上説明した内視鏡手術システム１１０００において、本技術は、図１７に示す内視鏡１１１００や図１８に示す撮像部１１４０２に適用することができる。このように、内視鏡１１１００や撮像部１１４０２に本技術を適用すれば、術部等の測光値を精度よく取得して、術部等に応じた最適な露出制御を行うことができるので、例えば術者による術部等の確認を容易に行えるようになる。なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の測光装置は以下のような構成も取ることができる。
　（１）　測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
　前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
　前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と
を備える測光装置。
　（２）　前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とする（１）に記載の測光装置。
　（３）　前記被写体測光領域設定部は、前記画像信号処理としてクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで前記所望の被写体領域を包括する（２）に記載の測光装置。
　（４）　前記被写体測光領域設定部は、前記画像信号処理として、前記被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする（２）に記載の測光装置。
　（５）　前記被写体測光領域設定部は、前記画像信号処理として、所定方向における前記被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする（２）に記載の測光装置。
　（６）　前記被写体測光領域設定部は、前記所望の被写体を含む撮像画の被写体認識結果と前記被写体領域の判別結果に基づき前記被写体測光領域を設定する（１）乃至（５）の何れかに記載の測光装置。
　（７）　前記測光値算出部は、前記被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する（１）乃至（６）の何れかに記載の測光装置。
　（８）　前記被写体測光領域設定部は、前記所望の被写体領域を包括した被写体領域に対応する測光領域を前記被写体測光領域として、
　前記測光値算出部は、前記重み付けとして、周辺の測光領域が全て前記被写体測光領域の測光領域である測光領域の測光値の重みを他の測光領域よりも高くする（７）に記載の測光装置。
　（９）　前記測光値算出部は、合焦状態とする測距領域が指定されている場合、指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する（１）乃至（８）のいずれかに記載の測光装置。
　（１０）　前記測光値算出部は、前記所望の被写体を含む撮像画の被写体認識結果に基づき、前記被写体測光領域の測光値に対して、前記所望の被写体の特徴部分の重みを高くする重み付けを行い重み付け後の測光値を用いて前記所望の被写体の測光値を算出する（１）乃至（９）のいずれかに記載の測光装置。
請求項１記載の測光装置。
　（１１）　前記被写体領域判別部は、前記測距情報に基づき合焦状態の領域を前記被写体領域と判別する（１）乃至（１０）のいずれかに記載の測光装置。
　（１２）　前記被写体領域判別部は、前記所望の被写体領域として顔領域を判別する（１）乃至（１１）のいずれかに記載の測光装置。
　この技術の測光装置、測光方法、プログラムおよび撮像装置では、測距情報に基づき所望の被写体領域が被写体領域判別部で判別されて、判別された所望の被写体領域の画像信号処理によって、被写体測光領域が被写体測光領域設定部で設定される。また、被写体測光領域設定部で設定された被写体測光領域の測光値を用いて所望の被写体領域の測光値が測光値算出部で算出される。このため、所望の被写体領域について測光値を精度よく取得できるようになり、測光値算出部で算出され測光値を用いて所望の被写体領域に最適な露出制御を行えるようになる。したがって、撮像機能が設けられた機器、例えばデジタルカメラやビデオカメラ、スマートフォン等の携帯端末装置、監視カメラ、車載カメラ等に適用できる。
　１０・・・測光装置
　１１，３１・・・被写体領域判別部
　１２，３２，３２ａ・・・被写体測光領域設定部
　１３，３３，３３ａ・・・測光値算出部
　２０，２０ａ・・・撮像装置
　２１・・・撮像光学系
　２２・・・撮像部
　２３・・・測光部
　２４・・・測距部
　２５・・・被写体認識部
　３０，３０ａ・・・制御部
　３４・・・全画面測光値算出部
　３５・・・露出制御部
　４１・・・カメラ信号処理部
　４２・・・表示部
　４３・・・記録部
　４４・・・ユーザインタフェース（Ｉ／Ｆ）部

Claims (15)

  1. 　測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
    　前記被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
    　前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と
    を備える測光装置。
  2. 　前記被写体測光領域設定部は、前記画像信号処理で前記所望の被写体領域を包括して、包括後の被写体領域に対応する測光領域を前記被写体測光領域とする
    請求項１に記載の測光装置。
  3. 　前記被写体測光領域設定部は、前記画像信号処理としてクロージング処理を行い、膨張処理を行った後に縮小処理を行うことで前記所望の被写体領域を包括する
    請求項２に記載の測光装置。
  4. 　前記被写体測光領域設定部は、前記画像信号処理として、前記被写体領域でない非被写体領域において周辺領域が被写体領域である領域数が閾値以上である領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    請求項２に記載の測光装置。
  5. 　前記被写体測光領域設定部は、前記画像信号処理として、所定方向における前記被写体領域間に位置する被写体領域でない所定領域数以下の非被写体領域を被写体領域とする置換処理を行い、置換処理後の被写体領域に対応する測光領域を前記被写体測光領域とする
    請求項２に記載の測光装置。
  6. 　前記被写体測光領域設定部は、前記所望の被写体を含む撮像画の被写体認識結果と前記被写体領域の判別結果に基づき前記被写体測光領域を設定する
    請求項１に記載の測光装置。
  7. 　前記測光値算出部は、前記被写体測光領域の測光値に対して被写体測光領域内における位置に応じた重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する
    請求項１に記載の測光装置。
  8. 　前記被写体測光領域設定部は、前記所望の被写体領域を包括した被写体領域に対応する測光領域を前記被写体測光領域として、
    　前記測光値算出部は、前記重み付けとして、周辺の測光領域が全て前記被写体測光領域の測光領域である測光領域の測光値の重みを他の測光領域よりも高くする
    請求項７に記載の測光装置。
  9. 　前記測光値算出部は、合焦状態とする測距領域が指定されている場合、指定された測距領域に対応する測光領域を基準とした所定領域範囲の測光値の重みを高くする重み付けを行い、重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する
    請求項１に記載の測光装置。
  10. 　前記測光値算出部は、前記所望の被写体領域を含む撮像画の被写体認識結果に基づき、前記被写体測光領域の測光値に対して、前記所望の被写体領域の特徴部分の重みを高くする重み付けを行い重み付け後の測光値を用いて前記所望の被写体領域の測光値を算出する
    請求項１に記載の測光装置。
  11. 　前記被写体領域判別部は、前記測距情報に基づき合焦状態の領域を前記被写体領域と判別する
    請求項１に記載の測光装置。
  12. 　前記被写体領域判別部は、前記所望の被写体領域として顔領域を判別する
    請求項１に記載の測光装置。
  13. 　測距情報に基づき所望の被写体領域を被写体領域判別部で判別することと、
    　判別した前記所望の被写体領域の画像信号処理を行い、被写体測光領域を被写体測光領域設定部で設定することと、
    　前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を測光値算出部で算出すること
    を含む測光方法。
  14. 　測光値の算出をコンピュータで実行させるプログラムであって、
    　測距情報に基づき所望の被写体領域を判別する手順と、
    　前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する手順と、
    　設定された前記被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する手順と
    を前記コンピュータで実行させるプログラム。
  15. 　測光領域毎に測光結果を示す測光情報を生成する測光部と、
    　測距領域毎に測距結果を示す測距情報を生成する測距部と、
    　前記測距部で生成された測距領域毎の測距情報に基づき所望の被写体領域を判別する被写体領域判別部と、
    　前記所望の被写体領域の画像信号処理を行い、被写体測光領域を設定する被写体測光領域設定部と、
    　前記被写体測光領域設定部で設定された被写体測光領域の測光値を用いて前記所望の被写体領域の測光値を算出する測光値算出部と、
    　前記測光領域毎に測光結果を示す測光情報から全画面の測光値を算出する全画面測光値算出部と、
    　前記測光値算出部で算出された前記所望の被写体領域の測光値と前記全画面測光値算出部で算出された全画面の測光値に基づいて露出制御を行う露出制御部と
    を備える撮像装置。
PCT/JP2018/000463 2017-02-20 2018-01-11 測光装置、測光方法、プログラムおよび撮像装置 Ceased WO2018150768A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018568041A JP7147562B2 (ja) 2017-02-20 2018-01-11 測光装置、測光方法、プログラムおよび撮像装置
US16/482,599 US10908478B2 (en) 2017-02-20 2018-01-11 Photometric device, photometric method, program, and capturing device
EP18753713.9A EP3585048B1 (en) 2017-02-20 2018-01-11 Photometry device, photometry method, program, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017029078 2017-02-20
JP2017-029078 2017-02-20

Publications (1)

Publication Number Publication Date
WO2018150768A1 true WO2018150768A1 (ja) 2018-08-23

Family

ID=63169753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/000463 Ceased WO2018150768A1 (ja) 2017-02-20 2018-01-11 測光装置、測光方法、プログラムおよび撮像装置

Country Status (4)

Country Link
US (1) US10908478B2 (ja)
EP (1) EP3585048B1 (ja)
JP (1) JP7147562B2 (ja)
WO (1) WO2018150768A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107276A (zh) * 2018-10-25 2020-05-05 佳能株式会社 信息处理设备及其控制方法、存储介质以及摄像系统
JP2021057709A (ja) * 2019-09-27 2021-04-08 キヤノン株式会社 撮像装置および露出制御方法
JP2021117333A (ja) * 2020-01-24 2021-08-10 キヤノン株式会社 制御装置および制御方法
JP2023097667A (ja) * 2021-12-28 2023-07-10 協栄精工株式会社 ビデオ撮影装置およびビデオ映像記録方法
WO2024176953A1 (ja) * 2023-02-22 2024-08-29 ヌヴォトンテクノロジージャパン株式会社 画像処理装置、画像処理方法およびプログラム
US12452540B1 (en) * 2022-09-13 2025-10-21 Ambarella International Lp Object-based auto exposure using neural network models

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726052B2 (en) 2018-07-03 2020-07-28 Sap Se Path generation and selection tool for database objects
US10901987B2 (en) * 2018-12-14 2021-01-26 Sap Se Dynamic automatic generation of database views
US11144549B2 (en) 2018-12-14 2021-10-12 Sap Se Dynamic generation of join statements for database operations
WO2020240323A1 (en) * 2019-05-31 2020-12-03 Ricoh Company, Ltd. Imaging system, imaging method, and carrier means
JP2021033163A (ja) * 2019-08-28 2021-03-01 キヤノン株式会社 撮像装置及びその制御方法
CN111311557A (zh) * 2020-01-23 2020-06-19 腾讯科技（深圳）有限公司 内窥镜图像处理方法、装置、电子设备及存储介质
JP7324160B2 (ja) * 2020-02-19 2023-08-09 キヤノン株式会社 撮影制御装置、撮像装置、撮影制御方法、及びプログラム
JP7649164B2 (ja) * 2021-02-25 2025-03-19 キヤノン株式会社 撮像装置、制御方法、プログラム
JP2024077118A (ja) * 2022-11-28 2024-06-07 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196858A (ja) * 1992-01-22 1993-08-06 Fuji Photo Film Co Ltd カメラ
JPH0829674A (ja) * 1994-07-20 1996-02-02 Nikon Corp エリア自動選択カメラ
JPH1123951A (ja) * 1997-06-27 1999-01-29 Canon Inc カメラ
JP2000075349A (ja) * 1998-09-01 2000-03-14 Minolta Co Ltd カメラ
JP2011053378A (ja) 2009-08-31 2011-03-17 Canon Inc 撮像装置及び露出制御方法
JP2012257126A (ja) * 2011-06-09 2012-12-27 Canon Inc 撮像装置及びその制御方法
JP2016103683A (ja) * 2014-11-27 2016-06-02 キヤノン株式会社 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488428A (en) 1994-10-06 1996-01-30 Matsushita Electric Industrial Co., Ltd. Video special effect generating apparatus
JPH08138053A (ja) * 1994-11-08 1996-05-31 Canon Inc 被写体情報処理装置及び遠隔装置
JP5683882B2 (ja) * 2009-10-15 2015-03-11 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5158054B2 (ja) 2009-10-28 2013-03-06 株式会社ニコン 録音装置、撮像装置、および、プログラム
JP5750253B2 (ja) * 2010-09-28 2015-07-15 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
JP2014197141A (ja) * 2013-03-29 2014-10-16 キヤノン株式会社 撮像装置
JP6512810B2 (ja) * 2014-12-11 2019-05-15 キヤノン株式会社 撮像装置および制御方法とプログラム
CN108141532B (zh) * 2015-09-30 2020-09-08 株式会社尼康 摄像装置
JP2020036091A (ja) * 2018-08-27 2020-03-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196858A (ja) * 1992-01-22 1993-08-06 Fuji Photo Film Co Ltd カメラ
JPH0829674A (ja) * 1994-07-20 1996-02-02 Nikon Corp エリア自動選択カメラ
JPH1123951A (ja) * 1997-06-27 1999-01-29 Canon Inc カメラ
JP2000075349A (ja) * 1998-09-01 2000-03-14 Minolta Co Ltd カメラ
JP2011053378A (ja) 2009-08-31 2011-03-17 Canon Inc 撮像装置及び露出制御方法
JP2012257126A (ja) * 2011-06-09 2012-12-27 Canon Inc 撮像装置及びその制御方法
JP2016103683A (ja) * 2014-11-27 2016-06-02 キヤノン株式会社 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3585048A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107276A (zh) * 2018-10-25 2020-05-05 佳能株式会社 信息处理设备及其控制方法、存储介质以及摄像系统
EP3654236A3 (en) * 2018-10-25 2020-08-26 Canon Kabushiki Kaisha Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system
US11089228B2 (en) 2018-10-25 2021-08-10 Canon Kabushiki Kaisha Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system
CN111107276B (zh) * 2018-10-25 2022-04-19 佳能株式会社 信息处理设备及其控制方法、存储介质以及摄像系统
JP2021057709A (ja) * 2019-09-27 2021-04-08 キヤノン株式会社 撮像装置および露出制御方法
JP7361557B2 (ja) 2019-09-27 2023-10-16 キヤノン株式会社 撮像装置および露出制御方法
JP2021117333A (ja) * 2020-01-24 2021-08-10 キヤノン株式会社 制御装置および制御方法
JP7414551B2 (ja) 2020-01-24 2024-01-16 キヤノン株式会社 制御装置および制御方法
JP2023097667A (ja) * 2021-12-28 2023-07-10 協栄精工株式会社 ビデオ撮影装置およびビデオ映像記録方法
US12452540B1 (en) * 2022-09-13 2025-10-21 Ambarella International Lp Object-based auto exposure using neural network models
WO2024176953A1 (ja) * 2023-02-22 2024-08-29 ヌヴォトンテクノロジージャパン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
EP3585048A1 (en) 2019-12-25
EP3585048A4 (en) 2020-03-04
EP3585048B1 (en) 2023-07-19
US20200012171A1 (en) 2020-01-09
JP7147562B2 (ja) 2022-10-05
US10908478B2 (en) 2021-02-02
JPWO2018150768A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
JP7147562B2 (ja) 測光装置、測光方法、プログラムおよび撮像装置
US10958847B2 (en) Imaging device, image processing method, and image processing system
US11119633B2 (en) Information processing device and method
US10873712B2 (en) Signal processing device, imaging device, and signal processing method
WO2019163368A1 (ja) 測距システム、及び、受光モジュール
WO2020202965A1 (ja) 撮像レンズおよび撮像装置
WO2018016344A1 (ja) 固体撮像装置および電子機器
WO2017122396A1 (ja) 制御装置、制御方法及びプログラム
US11482159B2 (en) Display control device, display control method, and display control program
US11156751B2 (en) Imaging optical system, camera module, and electronic device
JP7306269B2 (ja) 制御装置と制御方法およびプログラム
WO2018037680A1 (ja) 撮像装置、撮像システム、及び、信号処理方法
WO2020202648A1 (ja) 撮像装置、撮像信号処理装置、撮像信号処理方法
JP7077557B2 (ja) 表示制御装置および表示制御方法
WO2021117497A1 (ja) 撮像レンズおよび撮像装置
JP7081609B2 (ja) レンズ装置及び撮像装置
US11470295B2 (en) Signal processing device, signal processing method, and imaging device
WO2020174876A1 (ja) レンズ鏡筒及び撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18753713

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018568041

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018753713

Country of ref document: EP