[go: up one dir, main page]

WO2020116046A1 - センサ装置、電子機器、センサシステム及び制御方法 - Google Patents

センサ装置、電子機器、センサシステム及び制御方法 Download PDF

Info

Publication number
WO2020116046A1
WO2020116046A1 PCT/JP2019/041441 JP2019041441W WO2020116046A1 WO 2020116046 A1 WO2020116046 A1 WO 2020116046A1 JP 2019041441 W JP2019041441 W JP 2019041441W WO 2020116046 A1 WO2020116046 A1 WO 2020116046A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
data
fpga
circuit
sensor information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/041441
Other languages
English (en)
French (fr)
Inventor
瀬田　渉二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to KR1020207021409A priority Critical patent/KR102743121B1/ko
Priority to JP2020536817A priority patent/JP7451407B2/ja
Priority to DE112019000317.8T priority patent/DE112019000317T5/de
Priority to US16/964,683 priority patent/US11457143B2/en
Priority to CN201980010155.4A priority patent/CN111656144B/zh
Publication of WO2020116046A1 publication Critical patent/WO2020116046A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors

Definitions

  • the present disclosure relates to a sensor device, an electronic device, a sensor system, and a control method.
  • IoT Internet of Things
  • things such as sensors and devices are connected to the cloud, fog, servers, etc. through the Internet to exchange information, so that “things” are mutually controlled.
  • the development of the system to do is becoming active.
  • a system for providing various services to users by utilizing big data collected by IoT has been actively developed.
  • the present disclosure proposes a sensor device, an electronic device, a sensor system, and a control method that enable accurate information to be acquired even when the sensor deteriorates.
  • a sensor device is a sensor that acquires sensor information, and an FPGA (Field-Programmable Gate) that executes a predetermined process on the sensor information acquired by the sensor.
  • FPGA Field-Programmable Gate
  • Array and a memory that stores data for causing the FPGA to execute the predetermined processing.
  • FIG. 6 is a diagram for explaining the operation of the image sensor according to the first embodiment.
  • 3 is a flowchart showing a schematic operation example of the communication device according to the first embodiment.
  • FIG. 3 is a flowchart showing a schematic operation example of a server according to the first embodiment. It is a figure which shows the example of the change item which concerns on 1st Embodiment. It is a block diagram which shows the conventional device structure. It is a figure for demonstrating the flow at the time of processing data in the device structure illustrated in FIG.
  • FIG. 11 is a diagram showing the number of clock cycles required to process 1000 pieces of data with the device configuration illustrated in FIG. 10. It is a block diagram which shows the device structure of the image sensor which concerns on 1st Embodiment. It is a figure for demonstrating the flow when the image sensor which concerns on 1st Embodiment processes data.
  • devices equipped with sensors such as camera modules include, for example, wearable terminals such as smartphones and mobile phones, fixed imaging devices such as fixed-point cameras and surveillance cameras, drones, automobiles, home robots, factory automation ( Although there are various devices such as FA) robots, monitoring robots, mobile devices such as autonomous robots, medical equipment, etc., these devices cause deterioration of the camera over time due to increase in specification frequency and number of years of use. For example, as a problem that emerges when the camera deteriorates over time, the following items can be exemplified.
  • processing at each stage is executed sequentially. In that case, however, because of the structure in which memory is shared at each stage, for example, when an interrupt process is entered. The processing time becomes very long.
  • the first embodiment will be described in detail with reference to the drawings.
  • the sensor whose deterioration is to be corrected is the image sensor and the device equipped with the image sensor is the communication device is illustrated.
  • the sensor is not limited to the image sensor, and various sensors such as a temperature sensor, a humidity sensor, and a radiation measuring device can be applied.
  • FIG. 1 is a schematic diagram showing a schematic configuration example of the sensor system 1 according to the present embodiment.
  • the sensor system 1 has a configuration in which one or more communication devices 2 having a communication function and a server 3 are connected via a network 4.
  • the communication device 2 has, in addition to the imaging function, a communication function for communicating with the server 3 via the network 4, as described above.
  • the communication device 2 includes wearable terminals such as smartphones and mobile phones, fixed imaging devices such as fixed-point cameras and surveillance cameras, drones, automobiles, home robots, factory automation (FA) robots, surveillance robots, and autonomous robots. It is possible to apply various devices having a sensing function and a communication function, such as a mobile device such as, a medical device, and the like.
  • the server 3 may be various servers connected to the network, such as a cloud server and a fog server. Further, various networks such as the Internet, a LAN (Local Area Network), a mobile communication network, and a public line network can be applied to the network 4.
  • a cloud server and a fog server.
  • various networks such as the Internet, a LAN (Local Area Network), a mobile communication network, and a public line network can be applied to the network 4.
  • FIG. 2 is a block diagram showing a schematic configuration example of a communication device as an electronic device according to the present embodiment.
  • the communication device 2 includes, for example, an image sensor 10 as a solid-state imaging device and a transmission/reception unit 18.
  • the image sensor 10 includes, for example, a light receiving unit 11, a high-speed signal processing circuit 12, a flexible logic circuit 13, a main processor 14, a memory 15, a driver 16, and a non-volatile memory 17.
  • the light receiving unit 11 is provided, for example, on a photosensor array (also referred to as a pixel array) in which photoelectric conversion elements such as photodiodes are arranged in a two-dimensional matrix in the row direction and the column direction, and the light receiving surface of the photosensor array.
  • An optical system such as a lens and an actuator for driving the optical system are provided.
  • the high-speed signal processing circuit 12 converts an analog pixel signal read from each photoelectric conversion element of the light receiving unit 11 into an analog circuit such as an ADC and a pixel signal converted into a digital value by the ADC. It includes a logic circuit that executes digital processing such as CDS (Correlated Double Sampling) processing based on the above.
  • CDS Correlated Double Sampling
  • the memory 15 stores the digital image data output from the high speed signal processing circuit 12.
  • the memory 15 also stores image data that has been subjected to predetermined processing by the flexible logic circuit 13 and the main processor 14, which will be described later. Further, the memory 15 also stores various data for realizing a predetermined circuit configuration in an FPGA (Field-Programmable Gate Array) included in the flexible logic circuit 13.
  • FPGA Field-Programmable Gate Array
  • the flexible logic circuit 13 includes the FPGA and cooperates with the main processor 14 to be described later to perform black level processing, defect correction, shading correction, and distortion correction on the image data stored in the memory 15. , Linear matrix processing, gamma correction, luminance/color separation, edge enhancement processing, color difference matrix processing, resizing/zooming, and the like.
  • the flexible logic circuit 13 executes various processes such as control system correction, automatic exposure (AE), automatic focus (AF), automatic white balance adjustment (AWB), and synchronous process output interface (IF) process. To do.
  • the main processor 14 controls each unit in the communication device 2. Further, the main processor 14 operates in cooperation with the flexible logic circuit 13 to execute the above-mentioned various processes as pipeline processes.
  • the driver 16 includes, for example, a vertical drive circuit, a horizontal transfer circuit, a timing control circuit, and the like, and drives a pixel circuit described later in the high-speed signal processing circuit 12 to cause the high-speed signal processing circuit 12 to output a pixel signal from the light receiving unit 11. To read.
  • the driver 16 also controls actuators that drive optical systems such as lenses and shutters in the light receiving unit 11.
  • the non-volatile memory 17 is configured by, for example, an EEPROM (Electrically Erasable Programmable Read-Only Memory) and the like, and parameters such as parameters when the driver 16 controls various circuits in the high-speed signal processing circuit 12 and actuators in the light receiving unit 11 are set.
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • the transmission/reception unit 18 is a communication unit for communicating with the server 3 via the network 4, and for example, a DAC 181 that converts the transmission data into a DA (Digital to Analog) and a transmission that transmits the DA converted data to the network 4.
  • a DAC 181 that converts the transmission data into a DA (Digital to Analog) and a transmission that transmits the DA converted data to the network 4.
  • An antenna 182, a receiving antenna 184 for receiving data from the network 4, and an ADC 183 for AD (Analog to Digital) converting the data received by the receiving antenna 184 are provided.
  • the transmission/reception unit 18 is not limited to wireless and may be wired.
  • FIG. 3 is a schematic diagram showing a chip configuration of the image sensor according to the present embodiment. Note that the driver 16 and the non-volatile memory 17 are omitted in FIG. 3 for simplification.
  • the light receiving unit 11 the high-speed signal processing circuit 12, the flexible logic circuit 13, the main processor 14, and the memory 15 are each configured by one chip.
  • the light receiving section 11 has a structure in which a photo sensor array 111 is built in a light receiving chip 110 made of a semiconductor substrate.
  • the high-speed signal processing circuit 12 has a configuration in which a pixel circuit 121, an ADC 122, a CDS circuit 123, and a gain adjusting circuit 124 are built in an analog logic chip 120 made of a semiconductor substrate.
  • the gain adjustment circuit 124 may be, for example, a circuit that adjusts the gain of the digital pixel signal after the CDS process for each of RGB.
  • the flexible logic circuit 13 has a configuration in which an FPGA 131 is built in a flexible logic chip 130 made of a semiconductor substrate.
  • the main processor 14 has a structure in which an MPU (Micro Processing Unit) 141 is built in a processor chip 140 made of a semiconductor substrate. Note that the number of MPU 141 formed in the processor chip 140 is not limited to one and may be plural.
  • the memory 15 has a structure in which a memory area 151 such as SRAM (Static RAM) or DRAM (Dynamic RAM) is built in a memory chip 150 made of a semiconductor substrate. A part of the memory area 151 is used as a memory area (hereinafter referred to as a programmable memory area) 152 for storing the circuit data for setting the circuit configuration in the FPGA 131 and the setting data.
  • a memory area 151 such as SRAM (Static RAM) or DRAM (Dynamic RAM)
  • a memory area hereinafter referred to as a programmable memory area
  • the image sensor 10 has a stack structure in which the light receiving chip 110, the analog logic chip 120, the memory chip 150, the flexible logic chip 130, and the processor chip 140 are sequentially stacked.
  • the driver 16 and the non-volatile memory 17 may be built in independent or common chips, or in any of the chips 110, 120, 130, 140 and 150. It may be built into that chip.
  • the transmission/reception unit 18 may be built in an independent chip, or may be built in any of the above chips.
  • FIG. 4 illustrates the case where the FPGA 131 and the logic circuit 132 are built in separate regions
  • FIG. 5 illustrates the case where the FPGA 131 is built in a part of the logic circuit 132. ing.
  • the stack structure can be variously modified as in the above-described embodiments.
  • the communication device 2 is a device that does not require high-speed image processing, such as wearable terminals such as smartphones and mobile phones, fixed imaging devices such as fixed-point cameras and surveillance cameras
  • the main processor 14 and the flexible logic circuit are used.
  • the chip 13 and the memory 15 as one chip, the manufacturing cost can be suppressed.
  • the communication device 2 when a moving device such as a drone, an automobile, a domestic robot, a factory automation (FA) robot, a surveillance robot, or an autonomous robot is used as the communication device 2, it is exemplified in this embodiment and the embodiments described later.
  • the processing speed can be increased and the real-time property can be improved.
  • the operation performed by the image sensor 10 is roughly divided into five stages of a photoelectric conversion step S100, a signal processing step S200, a base step S300, a control system step S400, and a painting step S500. You can
  • the photoelectric conversion element in the light receiving unit 11 executes photoelectric conversion 101 for converting incident light into electric charges according to the amount of incident light.
  • the high-speed signal processing circuit 12 may be, for example, a signal processing circuit that employs a method capable of simultaneously reading pixel signals from a plurality of pixels, such as a method of reading pixel signals in units of rows.
  • the read analog pixel signal is converted into a digital pixel signal by the ADC in the high-speed signal processing circuit 12 (201). Then, the CDS circuit in the high-speed signal processing circuit 12 executes the CDS processing on the AD-converted pixel signal (201). As a result, image data from which noise has been removed is generated. The generated image data is temporarily stored in the memory 15.
  • the black level process 301, the defect correction 302, the shading correction 303, and the distortion correction 304 are sequentially executed on the image data stored in the memory 15.
  • the black level process 301 may be, for example, a process of removing noise generated by a dark current generated in the light receiving unit 11 and correcting the black level of image data.
  • the defect correction 302 may be, for example, a process of interpolating a pixel value of a pixel missing due to a defective element or the like based on a pixel value of an adjacent pixel or the like.
  • the shading correction 303 may be a process for correcting unevenness in brightness due to the influence of the direction of the light source or lens aberration.
  • the distortion correction 304 may be a process for correcting image distortion caused by a lens or the like in a high image height region.
  • control system step S400 a control system correction 401 for correcting various parameters used when the driver 16 drives the actuator and the pixel circuit of the light receiving unit 11 is executed.
  • the control system step S400 is not limited to after the signal processing step S200, and may be executed at any timing.
  • the automatic exposure may be a process of automatically adjusting the charge storage time for the photoelectric conversion element of the light receiving unit 11.
  • the automatic focusing (AF) may be a process of automatically focusing the optical system of the light receiving unit 11.
  • the automatic white balance adjustment is a process of automatically adjusting the white level by adjusting the gain of each R/G/B value read by the pixel circuit of the high-speed signal processing circuit 12. Good.
  • the synchronous process 502 may be a process for synchronizing the results processed asynchronously.
  • the linear matrix process 503 is a process of adjusting the input spectral characteristic of the light receiving unit 11 to an ideal value by matrix-converting the R/G/B values read by the pixel circuit of the high-speed signal processing circuit 12. You may.
  • the gamma correction 504 may be a process of correcting the brightness level of image data with the gamma characteristic of a display device (for example, CRT (Cathode Ray Tube)).
  • a display device for example, CRT (Cathode Ray Tube)
  • the luminance/color separation 505 which is also called YC conversion, may be a process of converting the color space of R/G/B image data to generate Y/BY/RY image data.
  • the edge enhancement process 506 may be a process for compensating the deterioration of the spatial frequency characteristic of the image data or enhancing the contour to improve the blurring of the contour caused by the deterioration of the spatial frequency characteristic. ..
  • the color difference matrix process 507 may be a process of performing a matrix conversion on BY/RY in the image data after YC conversion to adjust the hue and saturation without changing the brightness.
  • the resize/zoom 508 may be a process of changing the size of image data according to the display size of the display device or zooming a specific area.
  • the output IF processing 509 that outputs the image data after the above processing (hereinafter referred to as processed image data) to an external ISP (Image Signal Processor), AP (Application Processor), etc. is executed via an interface (not shown).
  • the output IF processing 509 may be processing including YUV, encoding, camera ring, etc. in the case of NTSC, for example.
  • the processed image data may be once stored again in the memory 15 and then output to the outside, or may be directly output from the flexible logic circuit 13 or the main processor 14 via an interface.
  • the photoelectric conversion 101 is executed, for example, in the photosensor array 111 of the light receiving unit 11. Further, the A/D and CDS 201 are executed by, for example, the ADC 122 and the CDS circuit 123 of the high speed signal processing circuit 12.
  • the color difference matrix processing 507, the resize/zoom 508, and the output IF processing 509 read the circuit data for realizing the respective circuit configurations from the programmable memory area 152 into the FPGA 131 in the flexible logic circuit 13 and, for each circuit configuration, It is executed by registering the setting data in the corresponding register. Therefore, by changing the setting data and the circuit data, the output with respect to the input of each process can be adjusted.
  • the FPGA 131 controls the defect correction 302, the shading correction 303, the distortion correction 304, and the control.
  • System correction 401, AE, AF and AWB 501, synchronization processing 502, linear matrix processing 503, and edge enhancement processing 506 are executed, and the logic circuit 132 causes the black level processing 301, gamma correction 504, luminance color separation 505, and color difference matrix processing 507. , Resize/zoom 508 and output IF processing 509 may be performed.
  • main processor 14 operates in cooperation with the flexible logic circuit 13 so as to pipeline each process executed by the flexible logic circuit 13.
  • the optical sensor array 111 of the image sensor 10 for example, deteriorates over time due to an increase in the specification frequency and the number of years of use. Such deterioration of the image sensor 10 can be corrected by, for example, changing the circuit configuration of the FPGA 131 or its parameters.
  • the deterioration state of the image sensor 10 is constantly, periodically or at any timing detected, and the circuit configuration of the FPGA 131 and/or its parameters are changed according to the detected deterioration state.
  • the image sensor 10 can be customized according to the deterioration state, so that accurate information (for example, image data) can be acquired even when the image sensor 10 deteriorates due to use, aging, or the like. Become.
  • the deterioration correction of the image sensor 10 is executed, for example, by transmitting the image data acquired by the image sensor 10 to the server 3 via the network 4.
  • the server 3 analyzes the image data received from the communication device 2 via the network 4 to identify the deterioration location and the deterioration cause in the image sensor 10. Then, the server 3 generates setting data and/or circuit data to be set in the FPGA 131 of the flexible logic circuit 13 of the image sensor 10 for the purpose of correcting the identified deterioration location and cause of deterioration, and the generated setting data and/or Alternatively, the circuit data is transmitted (feedback) to the communication device 2 via the network 4.
  • the communication device 2 that receives the setting data and/or the circuit data from the server 3 stores this in the memory 15 of the image sensor 10.
  • the image sensor 10 sets the setting data and/or the circuit data stored in the memory 15 in the FPGA 131 to correct the deterioration location and the deterioration cause.
  • the setting data and/or the circuit data for correcting the deterioration point and the cause of the deterioration can be generated using, for example, a learned model obtained by machine learning the past data.
  • the image data is transmitted from the communication device 2 to the server 3. Secondly, the image data is analyzed on the server 3 side (machine learning). Thirdly, the server 3 generates setting data and/or circuit data based on the analysis result. Fourthly, the generated setting data and/or circuit data is fed back from the server 3 to the communication device 2 (binary data transfer). Fifthly, the setting data and/or circuit data received by the communication device 2 are written in a predetermined address in the programmable memory area 152 of the memory 15. Sixth, by loading the setting data and/or the circuit data in the programmable memory area 152, a new circuit is configured in the FPGA 131 or the parameters of the circuit configuration realized in the FPGA 131 are changed.
  • the FPGA 131 can be constantly updated.
  • the FPGA 131 As the layer configuration of the FPGA 131, only the FPGA 131 is configured (see FIG. 3), the FPGA 131 and the logic circuit 132 are configured (see FIG. 4), and the FPGA 131 and the logic circuit 132 are mixedly mounted. It is possible to appropriately change it depending on the application such as the one (the circuit is changed by the FPGA 131 with respect to the base logic circuit 132, see FIG. 5).
  • the state of deterioration of the image sensor 10 can be determined, for example, by analyzing the image data acquired by the image sensor 10.
  • the image data analysis for example, the image data acquired by the image sensor 10 is stored on the server 3 side, and the stored image data is compared with the newly acquired image data when the image data is analyzed. By doing so, it is possible to determine whether or not the image sensor 10 is deteriorated.
  • the image data to be stored on the server 3 side may be the image data acquired before the shipment of the communication device 2 or the initial setting when the communication device 2 is in the user's hands. It is advisable to use image data at a stage in which the image sensor 10 is less deteriorated over time, such as image data.
  • the image data transmitted from the communication device 2 to the server 3 for deterioration determination may be image data acquired at any timing, or image data acquired when a predetermined condition is satisfied. May be Note that the predetermined condition is that the image data is the same as the image data stored in the server 3, and that the same illuminance condition is used when the image data stored in the server 3 is captured.
  • the image data may be captured image data.
  • the image sensor 10 when the image sensor 10 includes a mechanical shutter, the image data acquired with the mechanical shutter closed is stored on the server 3 side, and when the deterioration is determined, the mechanical shutter is also closed. It may be configured to acquire the image data and transmit the image data to the server 3. In that case, it is possible to confirm the deterioration state of the image sensor 10 from the black level, noise, defective pixels, and the like.
  • FIG. 7 is a flowchart showing a schematic operation example of the communication device according to this embodiment.
  • FIG. 8 is a flowchart showing a schematic operation example of the server according to the present embodiment.
  • the communication device 2 first requests the server 3 to analyze the image data acquired by the image sensor 10 constantly or periodically first. (Step S101), it waits to receive the analysis permission response from the server 3 (NO in step S102). When the analysis permission response is received from the server 3 (YES in step S102), the communication device 2 sets 1 to the value N that manages the number of times the analysis is repeated (step S103). Subsequently, the communication device 2 drives the image sensor 10 to acquire image data (step S104). The image data acquired at this time may be processed image data that has been subjected to the processing of each stage illustrated in FIG.
  • the communication device 2 DA-converts the processed image data into analog data and then encrypts it (step S105).
  • the encryption may be executed by the main processor 14 or an application processor (encryption unit) (not shown), for example.
  • the communication device 2 transmits the encrypted image data to the server 3 via the network 4 (step S106) and waits for a response from the server 3 (NO in step S107).
  • the server 3 analyzes the image data received from the communication device 2 as will be described later with reference to FIG. 8, and if image deterioration is recognized, the server 3 corrects the image deterioration.
  • the setting data to be set in the FPGA 131 is generated.
  • the communication device 2 When the analysis result without image deterioration is received from the server 3 (YES in step S107), the communication device 2 ends this operation. On the other hand, when the analysis result indicating that the image is deteriorated is received (NO in step S107), the communication device 2 receives the encrypted setting data from the server 3 via the network 4 (step S108), and receives the setting data. The encryption of the encrypted setting data is released (step S109). Note that the decryption (decryption) of the encryption may be executed by, for example, the main processor 14 or an application processor (decryption unit) not shown.
  • the communication device 2 updates the setting data of the FPGA 131 stored in the programmable memory area 152 of the memory area 151 with the decrypted setting data (step S110), and updates the updated setting data to the FPGA 131. It is set (step S111).
  • the received setting data includes the setting data for the actuator that drives the optical system of the light receiving unit 11 and each unit of the high-speed signal processing circuit 12
  • the communication device 2 uses the setting data as the nonvolatile memory 17 Update certain parameters in. As a result, the drive of each unit by the driver 16 is adjusted.
  • the communication device 2 increments the number of repetitions N by 1 (step S112), and determines whether the value N after the increment is larger than a preset upper limit value of the number of repetitions (3 in this example). Yes (step S113).
  • the communication device 2 returns to step S104 and executes the subsequent operation again.
  • the communication device 2 proceeds to step S114.
  • step S114 the communication device 2 resets the repeat count N to 1. Subsequently, the communication device 2 encrypts the image data acquired from the image sensor 10 after DA conversion and transmits the encrypted image data to the server 3 (step S106), and then the response from the server 3 as in steps S104 to 107 described above. To wait (steps S115 to S118).
  • the server 3 analyzes the image data received from the communication device 2 as will be described later with reference to FIG. 8, and if image deterioration is recognized, the server 3 corrects the image deterioration. To generate circuit data to be incorporated in the FPGA 131.
  • the communication device 2 ends this operation.
  • the communication device 2 receives the encrypted circuit data from the server 3 via the network 4 (step S119), and receives the circuit data.
  • the encryption of the encrypted circuit data is released (step S120).
  • the communication device 2 updates the circuit data of the FPGA 131 stored in the programmable memory area 152 of the memory area 151 with the decrypted circuit data (step S121), and updates the updated circuit data to the FPGA 131.
  • the circuit configuration of the FPGA 131 is changed (step S122).
  • the communication device 2 increments the number of repetitions N by 1 (step S123) and determines whether or not the value N after the increment is larger than a preset upper limit value of the number of repetitions (3 in this example). (Step S124). When the number of repetitions N is equal to or less than the upper limit value (NO in step S124), the communication device 2 returns to step S115 and executes the subsequent operation again. On the other hand, when the number of repetitions N is larger than the upper limit value (YES in step S124), the communication device 2 ends this operation.
  • the server 3 waits until an analysis request is received from the communication device 2 (NO in step S131), and receives the analysis request. (YES in step S131), first, the communication device 2 that has transmitted the analysis request is specified (step S132).
  • the server 3 reads out the circuit data and the setting data stored in the programmable memory area 152 of the specified communication device 2 from a predetermined storage device. (Step S133), an analysis permission response is transmitted to the communication device 2 that transmitted the analysis request (step S134).
  • the storage device of the server 3 stores the circuit data and the setting data stored in the programmable memory area 152 of the registered communication device 2 for each communication device 2. That is, the circuit data and the setting data of each communication device 2 are shared by the communication device 2 and the server 3.
  • the server 3 sets the number of repetitions N to 1 (step S135), and then waits until the encrypted image data is received from the communication device 2 (NO in step S136). Upon receiving the encrypted image data (YES in step S136), the server 3 decrypts the encrypted image data (step S137), and analyzes the decrypted image data (step S138). Then, based on the result, it is determined whether or not the image is deteriorated (step S139).
  • step S139 If there is no image deterioration (NO in step S139), the server 3 notifies the communication device 2 that there is no image deterioration (step S157), and the process proceeds to step S158.
  • step S157 if there is image deterioration (YES in step S139), the location causing the image degradation in the image sensor 10 is identified based on the analysis result in step S138, and new setting data for the identified location is generated. (Step S140).
  • the server 3 stores the generated setting data in a predetermined storage device in association with the communication device 2 (step S141), encrypts the generated setting data (step S142), and stores the encrypted setting data. It transmits to the communication device 2 via the network 4 (step S143).
  • a learned model obtained by machine learning on past data may be used to generate new setting data.
  • the server 3 increments the number of repetitions N by 1 (step S144), and determines whether the value N after the increment is larger than a preset upper limit value of the number of repetitions (3 in this example). (Step S145). When the number of repetitions N is equal to or less than the upper limit value (NO in step S145), the server 3 returns to step S136 and executes the subsequent operation again. On the other hand, when the number of repetitions N is larger than the upper limit value (YES in step S145), the communication device 2 proceeds to step S146.
  • step S146 the server 3 resets the repeat count N to 1. Subsequently, the server 3 waits until it receives the encrypted image data from the communication device 2 (NO in step S147). When the encrypted image data is received (YES in step S147), the server 3 decrypts the encrypted image data (step S148), and analyzes the decrypted image data (step S149). Then, based on the result, it is determined whether or not there is image deterioration (step S150).
  • step S150 If there is no image deterioration (NO in step S150), the server 3 notifies the communication device 2 that there is no image deterioration (step S157), and proceeds to step S158.
  • step S157 the location causing the image degradation in the image sensor 10 is identified based on the analysis result in step S149, and new circuit data of the identified location is generated.
  • Step S151 the server 3 stores the generated circuit data in a predetermined storage device in association with the communication device 2 (step S152), encrypts the generated circuit data (step S153), and stores the encrypted circuit data. It is transmitted to the communication device 2 via the network 4 (step S154).
  • a learned model obtained by machine learning on past data may be used to generate new circuit data.
  • the server 3 increments the number of repetitions N by 1 (step S155), and determines whether the value N after the increment is larger than a preset upper limit value of the number of repetitions (3 in this example). (Step S156). When the number of repetitions N is equal to or less than the upper limit value (NO in step S156), the server 3 returns to step S147 and executes the subsequent operation again. On the other hand, when the number of repetitions N is larger than the upper limit value (YES in step S156), the communication device 2 proceeds to step S158.
  • step S158 the server 3 determines whether or not to end this operation, and if it ends (YES in step S158), this operation ends. On the other hand, when the process is not completed (NO in step S158), the server 3 returns to step S131 and executes the subsequent operations.
  • the circuit configuration and/or parameters of the FPGA 131 in the flexible logic circuit 13 of the communication device 2 are customized, and the deterioration of the image sensor 10 is corrected. As a result, the communication device 2 can acquire image data in a good state.
  • the frequency of uploading image data from the communication device 2 to the server 3 may be changed as appropriate. Further, for example, in a drone, a car, a robot, etc. where real-time property is important, it is preferable that the data amount of the image data transmitted from the communication device 2 to the server 3 is small. In such a case, in order to reduce the data amount of the image data, the image data to be transmitted may be compressed at VGA level or QVGA level, or may be compressed by binning or the like.
  • the causes of deterioration include the photoelectric conversion elements in the optical sensor array 111 of the image sensor 10 and the optical system modules such as lenses and actuators.
  • the optical system modules such as lenses and actuators.
  • a cause of deterioration is recognized in the black level processing 301, AE, AF, AWB 501, synchronization processing 502, linear matrix processing 503, gamma correction 504, luminance color separation 505, edge enhancement processing 506, color difference matrix processing 507, etc. Is considered to be the cause of deterioration of the photoelectric conversion element (sensor).
  • the optical system module has a cause of deterioration.
  • the defect correction 302 has a cause of deterioration, it is considered that at least one of the photoelectric conversion element and the module has a cause of deterioration.
  • the optical black (OB) value which is one of the setting data
  • a defect correction value is added to the setting data, a correction circuit of a cluster or more in the circuit data is changed, or a stain correction circuit in the circuit data is corrected. To change.
  • the shading correction value which is one of the setting data is changed, or the shading algorithm in the circuit data is changed (for example, the shading curve function Change).
  • a distortion correction circuit pincushion type or barrel type
  • control system correction 401 when the cause of deterioration is recognized in the control system correction 401, for example, AF, OIS (camera shake correction) and/or calibration data which are setting data are changed, or servo adjustment is performed on the circuit data. , A driver control adjustment forward circuit for the purpose of hall gain adjustment and/or optical axis adjustment is added.
  • the interpolation correction value which is one of the setting data is changed, or the interpolation algorithm in the circuit data is changed.
  • the spectral correction value which is one of the setting data, is changed, or the equation function algorithm in the circuit data is changed.
  • the gamma correction value (contrast), which is one of the setting data, is changed.
  • the contour (aperture) correction/noise correction value which is one of the setting data, is changed, or the contour (aperture) in the circuit data is changed. Change the correction/noise correction algorithm.
  • the color matrix value which is one of the setting data, is changed.
  • the zoom value which is one of the setting data, is changed.
  • the output lane according to the mode which is one of the setting data is changed.
  • the memory may be added.
  • FIG. 10 is a block diagram showing a conventional device configuration.
  • FIG. 11 is a diagram for explaining the flow when processing data with the device configuration illustrated in FIG. 10.
  • FIG. 12 is a diagram showing the number of clock cycles required to process 1000 pieces of data with the device configuration illustrated in FIG.
  • FIG. 13 is a block diagram showing the device configuration of the image sensor according to the present embodiment.
  • FIG. 14 is a diagram for explaining the flow when the image sensor according to the present embodiment processes data.
  • FIG. 15 is a diagram showing the number of clock cycles required when processing 1000 pieces of data in the image sensor according to the present embodiment.
  • the logic circuit 913, the main processor 914, and the memory 915 are connected via the bus 919
  • the logic circuit 913, the main processor 914, and the memory 15 are included in one layer. It is mixed. Therefore, a complicated program can be flexibly executed by sequential processing.
  • the main processor 914 sucks target data one by one from the memory 915 via the bus 919 and sequentially inputs the data to the logic circuit 913 to execute the process.
  • a sequential process flow is performed such that the process for each data D is sequentially performed.
  • the number of instructions that can be executed per clock is 1, so that as shown in FIG. At least 1000 clock cycles are required.
  • the image sensor 10 has a stack structure in which the chips 110, 120, 130, 140 and 150 that execute each process are stacked. Therefore, in the image sensor 10, as shown in FIG. 13, the flexible logic circuit 13 can directly absorb the data from the memory 15 and process the data.
  • the image sensor 10 can perform pipeline processing for processing a plurality of data D in parallel.
  • machine learning of the first processing S1 makes it possible to reduce the number of data D to be processed in the second and subsequent processing S2. It is also possible to realize various processes.
  • the parameters and the circuit configuration of the FPGA 131 are changed so as to correct the image deterioration based on the image data acquired by the image sensor 10. Is possible. This makes it possible to acquire accurate image data even when the image sensor 10 deteriorates.
  • the image sensor 10 has a stack structure in which the light receiving chip 110, the analog/logic chip 120, the memory chip 150, the flexible logic chip 130, and the processor chip 140 are stacked.
  • the light receiving unit 11, the high-speed signal processing circuit 12, the memory 15, the flexible logic circuit 13, and the main processor 14 can be connected without a bus, so that a complicated program can be flexibly operated or the main processor can be operated. It becomes possible to suck up data during standby of 14 to generate a register and an arithmetic circuit on the FPGA 131 side, or to perform each processing in parallel by a pipeline. As a result, it is possible to improve real-time performance and flexibly handle complex programs.
  • FIG. 16 is a block diagram showing a schematic configuration example of the communication device according to the present embodiment.
  • the image sensor 20 includes, for example, a light receiving unit+high-speed signal processing circuit 21, a flexible logic circuit 13, a main processor 14, a memory 15, a driver 16, and a non-volatile memory.
  • the memory 17 is included.
  • the flexible logic circuit 13, the main processor 14, the memory 15, the driver 16 and the non-volatile memory 17, and the transmitting/receiving unit 18 may be the same as those described with reference to FIG. 2 in the first embodiment.
  • FIG. 17 is a schematic diagram showing the chip configuration of the image sensor according to the present embodiment. Note that in FIG. 17, as in FIG. 3, the driver 16 and the non-volatile memory 17 are omitted for simplification.
  • the optical sensor array 111 that constitutes the light receiving unit 11 the pixel circuit 121 that constitutes the high-speed signal processing circuit 12, the ADC 122, the CDS circuit 123, and the gain adjustment circuit 124 are The structure is built in one light receiving chip 110.
  • the parameters and circuit configuration of the FPGA 131 are set so as to correct image deterioration based on the image data acquired by the image sensor 20 as in the first embodiment. It is possible to change. This makes it possible to obtain accurate image data even when the image sensor 20 deteriorates.
  • FIG. 18 is a block diagram showing a schematic configuration example of the communication device according to the present embodiment.
  • the memory 15 is the lowermost layer main processor. 14 is provided in the lower layer.
  • the high-speed signal processing circuit 12 in the image sensor 10 is replaced with the signal processing circuit 32.
  • the signal processing circuit 32 may be a signal processing circuit capable of high-speed reading, such as the high-speed signal processing circuit 12, or may be a signal processing circuit that executes reading at a lower speed than the high-speed signal processing circuit 12. Good.
  • other configurations may be the same as the configurations described with reference to FIG. 2 in the first embodiment.
  • FIG. 19 is a schematic diagram showing the chip configuration of the image sensor according to the present embodiment. Note that in FIG. 19, as in FIG. 3, the driver 16 and the non-volatile memory 17 are omitted for simplification.
  • the FPGA 131 of the flexible logic chip 130 and the programmable memory area in the memory area 151 of the memory chip 150 are provided in the processor chip 140 interposed between the flexible logic chip 130 and the memory chip 150.
  • a through wiring 142 for directly connecting to 152 is provided.
  • the FPGA 131 and the programmable memory area 152 are directly connected via the through wiring 142.
  • the through wiring 142 may be, for example, a TSV (Through Silicon Via) penetrating the processor chip 140.
  • FIG. 20 is a block diagram showing a schematic configuration example of the communication device according to the present embodiment.
  • the image sensor 40 includes, for example, a light receiving unit+signal processing circuit 41, a flexible logic circuit 13, a main processor 14, a memory 15, a driver 16, and a non-volatile memory. And 17 are included.
  • the flexible logic circuit 13, the main processor 14, the memory 15, the driver 16 and the non-volatile memory 17, and the transmitting/receiving unit 18 may be the same as those described with reference to FIG. 2 in the first embodiment.
  • FIG. 21 is a schematic diagram showing the chip configuration of the image sensor according to the present embodiment. Note that in FIG. 21, the driver 16 and the non-volatile memory 17 are omitted for simplification, as in FIG. 3.
  • the optical sensor array 111 that configures the light receiving unit 11 the pixel circuit 121, the ADC 122, the CDS circuit 123, and the gain adjustment circuit 124 that configure the signal processing circuit 32 are integrated into one. It has a structure built in the light receiving chip 110.
  • FIG. 22 is a block diagram showing a schematic configuration example of the communication device according to the present embodiment.
  • the image sensor 50 according to the present embodiment includes, for example, the light receiving unit 11, the signal processing circuit+flexible logic circuit 53, the main processor 14, the memory 15, the driver 16, and the non-volatile memory. And 17 are included.
  • the light receiving unit 11, the main processor 14, the memory 15, the driver 16 and the non-volatile memory 17, and the transmitting/receiving unit 18 may be the same as those described with reference to FIG. 2 in the first embodiment.
  • FIG. 23 is a schematic diagram showing the chip configuration of the image sensor according to the present embodiment. 23, the driver 16 and the non-volatile memory 17 are omitted for simplification, as in FIG.
  • the FPGA 131 and the logic circuit 132 that forms the flexible logic circuit 13
  • it has a structure built in one flexible logic chip 130.
  • the cause of the deterioration is specified by analyzing the image data acquired by the image sensor 10, 20, 30, 40 or 50 on the server 3 side, The case where the server 3 generates the update data of the setting data and/or the circuit data of the FPGA 131 based on the identified cause of deterioration has been illustrated.
  • the sixth embodiment a case will be described as an example in which the communication device performs from analysis of image data to generation of update data.
  • FIG. 24 is a block diagram showing a schematic configuration example of the communication device according to the present embodiment.
  • the image sensor 10 in the communication device according to this embodiment has, for example, the same configuration as the image sensor 10 described with reference to FIG. 2 in the first embodiment.
  • the main processor 14 analyzes the processed image data stored in the memory 15 to identify the cause of deterioration, and sets the FPGA 131 based on the identified cause of deterioration. Update data of data and/or circuit data is generated.
  • the generated update data of the setting data and/or the circuit data is stored in the predetermined programmable memory area 152 of the memory 15 and set in the FPGA 131, as in the above-described embodiment.
  • the main processor 14 like the server 3 in the above-described embodiment, generates a learned model by machine learning the past data, and uses the generated learned model to set the setting data and/or the circuit data. May be configured to generate update data for
  • FIG. 24 illustrates the case where the first embodiment is used as a base
  • the configuration of the image sensor serving as the base is not limited to that of the first embodiment.
  • the image sensor 20 according to the second embodiment can be used as a base
  • the image sensor 30 according to the third embodiment can be used as a base.
  • the image sensor 40 according to the fourth embodiment can be used as a base as shown in FIG. 27, and the image sensor 40 according to the fifth embodiment can be used as shown in FIG. It is also possible to use the image sensor 50 as a base.
  • the image sensors 10, 20, 30, 40 are similar to the above-described embodiments.
  • FIG. 29 is a block diagram showing a schematic configuration example of the communication device according to the present embodiment.
  • the image sensor 60 in the communication device according to the present embodiment executes machine learning for the same configuration as the image sensor 10 described with reference to FIG. 24 in the sixth embodiment, for example.
  • It has a configuration in which a DNN (Deep Neural Network) circuit 61 is added.
  • the DNN circuit 61 may be arranged in a layer between the flexible logic circuit 13 and the main processor 14, for example.
  • FIG. 30 is a diagram for explaining an example of the DNN analysis process (machine learning process) according to the present embodiment.
  • the DNN analysis step S600 for example, the photoelectric conversion step S100, the signal processing step S200, the base step S300, the control system step S400, and the example illustrated in FIG. 6 in the first embodiment, Of the five steps of the picture making step S500, the results of the signal processing step S200, the base step S300, the control system step S400, and the picture making step S500 are given to the input layer.
  • the DNN analysis step S600 is optimum for reducing the deterioration of image data by obtaining the weight of each edge connecting between the nodes (also called neurons) of each layer from the input layer to the output layer via the hidden layer.
  • a trained model that causes the setting data and/or the circuit data to appear in the output layer is created.
  • the DNN circuit 61 and the main processor 14 generate the optimum setting data and/or circuit data update data for reducing the deterioration of the image data by using the learned model created as described above.
  • the created update data is stored in the programmable memory area 152 of the memory 15.
  • FIG. 31 is a flowchart showing a schematic example of the operation according to the present embodiment.
  • the main processor 14 sets 1 to a value N that manages the number of times the analysis is repeated (step S201). Subsequently, by controlling the high speed signal processing circuit 12, the image data is read from the light receiving unit 11 (step S202).
  • the main processor 14 and the flexible logic circuit 13 perform the processing of each stage illustrated in FIG. 6 on the acquired image data, and input the result of each stage to the DNN circuit 61, thereby obtaining the image data. Is analyzed (step S203). Then, the main processor 14 determines whether there is image deterioration based on the analysis result (step S204).
  • step S204 If there is no image deterioration (NO in step S204), the main processor 14 ends this operation. On the other hand, if there is image deterioration (YES in step S204), the main processor 14 and the DNN circuit 61 analyze the location causing the image deterioration in the image sensor 60 based on the analysis result in step S203 (step S205). , And generates new setting data and/or circuit data based on the analysis result (step S206).
  • the main processor 14 updates the FPGA 131 setting data and/or circuit data stored in the programmable memory area 152 of the memory area 151 with the generated setting data and/or circuit data (step S207), and updates them.
  • the circuit configuration of the FPGA 131 is changed by setting the setting data in the FPGA 131 and incorporating the updated circuit data in the FPGA 131 (step S208).
  • a predetermined parameter in the nonvolatile memory 17 is updated with this setting data. As a result, the drive of each unit by the driver 16 is adjusted.
  • the main processor 14 increments the number of repetitions N by 1 (step S209), and determines whether or not the value N after the increment is larger than a preset upper limit value of the number of repetitions (3 in this example). Yes (step S210).
  • the main processor 14 returns to step S202 and executes the subsequent operation again.
  • the main processor 14 ends this operation.
  • the present invention is not limited to this, and the image described with reference to FIGS. 25 to 28 is used. It is also possible to base on other embodiments, such as sensors 20, 30, 40 or 50.
  • the first to fifth embodiments exemplify a case where the server 3 side executes the processing from the image data analysis to the generation of update data
  • the sixth embodiment exemplify a case where the server 3 side executes the processing from the image data analysis to the generation of update data
  • the sixth embodiment the case where the communication device side executes the process from the analysis of the image data to the generation of the update data has been exemplified, but the configuration for executing the process from the analysis of the image data to the generation of the update data is performed by either the server 3 or the communication device. It is not limited to one side.
  • the communication device is a moving device such as a drone, a car, or an autonomous robot
  • the process of analyzing the image data to the generation of the update data is performed in the communication device while the device is moving, and the image data is displayed on the server 3 side while the device is stopped. It is also possible to perform switching from time to time, for example, to analyze and generate updated data.
  • the switching from execution of image data analysis to generation of update data on the server 3 side or the communication device 2 side is executed by, for example, the main processor 14 or an application processor (switching unit) not shown. You may.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is applicable to any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor). It may be realized as a device mounted on the body.
  • FIG. 33 is a block diagram showing a schematic configuration example of a vehicle control system 7000 that is an example of a mobile body control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 that connects these multiple control units complies with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetic operations, and a drive circuit that drives various controlled devices. Equipped with.
  • Each control unit is equipped with a network I/F for communicating with other control units via the communication network 7010, and is also capable of wired or wireless communication with devices or sensors inside or outside the vehicle. A communication I/F for performing communication is provided. In FIG.
  • the integrated control unit 7600 a microcomputer 7610, a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, an audio image output unit 7670, An in-vehicle network I/F 7680 and a storage unit 7690 are illustrated.
  • the other control units also include a microcomputer, a communication I/F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a drive force generation device for generating a drive force of a vehicle such as an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to wheels, and a steering angle of the vehicle. It functions as a steering mechanism for adjusting and a control device such as a braking device for generating a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the shaft rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, or an accelerator pedal operation amount, a brake pedal operation amount, or a steering wheel steering operation. At least one of the sensors for detecting the angle, the engine speed, the rotation speed of the wheels, etc. is included.
  • the drive system control unit 7100 controls the internal combustion engine, the drive motor, the electric power steering device, the brake device, and the like by performing arithmetic processing using the signal input from the vehicle state detection unit 7110.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a winker, or a fog lamp.
  • the body system control unit 7200 may receive radio waves or signals of various switches transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls the vehicle door lock device, power window device, lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310 that is the power supply source of the drive motor according to various programs. For example, the battery control unit 7300 receives information such as the battery temperature, the battery output voltage, and the remaining capacity of the battery from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals to control the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the exterior information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image capturing unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside-vehicle information detection unit 7420 detects, for example, an environment sensor for detecting current weather or weather, or another vehicle around the vehicle equipped with the vehicle control system 7000, an obstacle, a pedestrian, or the like. At least one of the ambient information detection sensors of.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection And Ranging, Laser Imaging Detection And Ranging) device.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 34 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided at at least one of the front nose of the vehicle 7900, the side mirrors, the rear bumper, the back door, and the upper part of the windshield inside the vehicle.
  • the image capturing unit 7910 provided on the front nose and the image capturing unit 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 34 shows an example of the shooting ranges of the respective image pickup units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors
  • the imaging range d is The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by overlaying the image data captured by the image capturing units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, sides, corners of the vehicle 7900 and on the upper portion of the windshield inside the vehicle may be ultrasonic sensors or radar devices, for example.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and windshield of the vehicle 7900 may be, for example, LIDAR devices.
  • These vehicle exterior information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle exterior information detection unit 7400 causes the image capturing unit 7410 to capture an image of the vehicle exterior and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives the detection information from the vehicle exterior information detection unit 7420 connected thereto.
  • the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device
  • the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives information on the received reflected waves.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as people, vehicles, obstacles, signs, or characters on the road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to the object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing that recognizes a person, a car, an obstacle, a sign, characters on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or position adjustment on the received image data, combines the image data captured by different image capturing units 7410, and generates an overhead image or a panoramic image. Good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different image capturing units 7410.
  • the in-vehicle information detection unit 7500 detects in-vehicle information.
  • a driver state detection unit 7510 that detects the state of the driver is connected.
  • the driver state detection unit 7510 may include a camera that captures an image of the driver, a biometric sensor that detects biometric information of the driver, a microphone that collects voice in the vehicle, and the like.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and detects biometric information of an occupant sitting on a seat or a driver who holds the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, or determine whether the driver is asleep. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls overall operations in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by, for example, a device such as a touch panel, a button, a microphone, a switch or a lever that can be input and operated by a passenger. Data obtained by voice-recognizing voice input by a microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Furthermore, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. A passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the general-purpose communication I/F 7620 is a general-purpose communication I/F that mediates communication with various devices existing in the external environment 7750.
  • the general-purpose communication I/F 7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution), or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • a wireless LAN also referred to as Wi-Fi (registered trademark)
  • Bluetooth registered trademark
  • the general-purpose communication I/F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point, for example. You may.
  • the general-purpose communication I/F 7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a driver, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal). May be connected with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I/F 7630 is a communication I/F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I/F 7630 uses, for example, a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or a cellular communication protocol, which is a combination of a lower layer IEEE 802.11p and an upper layer IEEE 1609. May be implemented.
  • the dedicated communication I/F 7630 is typically a vehicle-to-vehicle communication, a vehicle-to-infrastructure communication, a vehicle-to-home communication, and a vehicle-to-pedestrian communication. ) Perform V2X communications, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite) and performs positioning to determine the latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging a signal with the wireless access point, or may acquire the position information from a terminal having a positioning function, such as a mobile phone, PHS, or smartphone.
  • the beacon receiving unit 7650 receives, for example, a radio wave or an electromagnetic wave transmitted from a wireless station or the like installed on the road, and acquires information such as the current position, traffic jam, traffic closure, and required time.
  • the function of beacon reception unit 7650 may be included in dedicated communication I/F 7630 described above.
  • the in-vehicle device I/F 7660 is a communication interface that mediates a connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I/F 7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I/F 7660 can be connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High) via a connection terminal (and a cable if necessary) not shown.
  • -Definition Link etc. may establish a wired connection, etc.
  • the in-vehicle device 7760 includes, for example, at least one of a mobile device or a wearable device that the passenger has, or an information device that is carried in or attached to the vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination. Or exchange data signals.
  • the in-vehicle network I/F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I/F 7680 sends and receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 passes through at least one of a general-purpose communication I/F 7620, a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired by the above. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the acquired information on the inside and outside of the vehicle, and outputs a control command to the drive system control unit 7100. Good.
  • the microcomputer 7610 realizes the functions of ADAS (Advanced Driver Assistance System) that includes collision avoidance or impact mitigation of the vehicle, follow-up traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, vehicle lane departure warning, etc. You may perform the coordinated control aiming at.
  • the microcomputer 7610 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the acquired information about the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform cooperative control for the purpose of driving etc.
  • ADAS Advanced Driver Assistance System
  • a general-purpose communication I/F 7620 a dedicated communication I/F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I/F 7660, and an in-vehicle network I/F 7680.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road, based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the voice image output unit 7670 transmits an output signal of at least one of a voice and an image to an output device capable of visually or audibly notifying information to a passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • the display unit 7720 may include at least one of an onboard display and a head-up display, for example.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be a device other than these devices, such as headphones, a wearable device such as a glasses-type display worn by a passenger, a projector, or a lamp.
  • the display device When the output device is a display device, the display device displays results obtained by various processes performed by the microcomputer 7610 or information received from another control unit in various formats such as text, images, tables, and graphs. Display visually.
  • the output device is a voice output device, the voice output device converts an audio signal composed of reproduced voice data, acoustic data, or the like into an analog signal, and outputs it audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of one of the control units may be given to another control unit. That is, if the information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • a computer program for realizing each function of the sensor system 1 according to the present embodiment described with reference to FIG. 1 can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.
  • the communication device 2 can be applied to the integrated control unit 7600 of the application example shown in FIG.
  • the main processor 14, the memory 15, and the transmission/reception unit 18 of the communication device 2 correspond to the microcomputer 7610, the storage unit 7690, and the vehicle-mounted network I/F 7680 of the integrated control unit 7600.
  • the constituent elements of the communication device 2 described with reference to FIG. 2 are realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 7600 shown in FIG. May be done.
  • the sensor system 1 described with reference to FIG. 1 may be realized by a plurality of control units of the vehicle control system 7000 shown in FIG.
  • a sensor that acquires sensor information
  • An FPGA Field-Programmable Gate Array
  • a memory for storing data for causing the FPGA to execute the predetermined processing
  • a sensor device including.
  • a transmission unit that transmits the sensor information on which the predetermined processing has been executed to a predetermined network, A receiving unit for receiving update data for updating the FPGA generated according to the analysis result of the sensor information transmitted to the predetermined network; Further equipped with, The sensor device according to (1) or (2), wherein the data in the memory is updated with the update data.
  • the transmission unit wirelessly transmits the sensor information to a predetermined network
  • the sensor device according to (3) wherein the receiver wirelessly receives the update data from the predetermined network.
  • An encryption unit for encrypting the sensor information A decryption unit for decrypting the update data
  • the sensor device according to (4) further including: (6)
  • the processor further comprising: a processor that analyzes the sensor information, generates update data for updating the FPGA according to a result of the analysis, and updates the data in the memory with the generated update data.
  • Or the sensor device according to (2) Or the sensor device according to (2).
  • a DNN Deep Neural Network
  • the sensor device comprises a DNN (Deep Neural Network) circuit for analyzing the sensor information by machine learning, The sensor device according to (6), wherein the processor analyzes the sensor information based on a result of the machine learning by the DNN circuit.
  • a transmission unit that transmits the sensor information on which the predetermined processing has been executed to a predetermined network, A receiving unit for receiving update data for updating the FPGA generated according to the analysis result of the sensor information transmitted to the predetermined network; A processor that analyzes the sensor information and generates update data for updating the FPGA according to a result of the analysis; A switching unit that switches between transmitting the sensor information to the predetermined network via the transmitting unit or inputting to the processor, Further equipped with, The sensor device according to (1) or (2), wherein the data in the memory is updated with the update data received by the receiving unit or the update data generated by the processor.
  • the sensor information is image data, The sensor device according to any one of (1) to (8) above, wherein the sensor includes a light receiving unit including a plurality of photoelectric conversion elements, and a signal processing circuit that reads image data from the light receiving unit.
  • the predetermined processing includes black level processing, defect correction, shading correction, distortion correction, automatic exposure, automatic focus, automatic white balance adjustment, synchronization processing, linear matrix processing, gamma correction, and luminance color.
  • the sensor device according to (9) above including at least one of separation, edge enhancement processing, color difference matrix processing, and resizing/zooming.
  • the data includes circuit data for incorporating a circuit configuration for executing the predetermined process in the FPGA, and setting data including parameters to be set in the circuit configuration.
  • the sensor device according to (1) or (2) further including a processor that executes the predetermined process in cooperation with the FPGA.
  • the first chip is located on the top layer of the stack structure, The sensor device according to (15), wherein the fourth chip is located in the lowermost layer of the stack structure.
  • the sensor information is image data,
  • the sensor includes a light receiving unit including a plurality of photoelectric conversion elements, and a signal processing circuit that reads image data from the light receiving unit, The sensor device according to any one of (13) to (16), wherein the first chip includes a fifth chip including the light receiving unit and a sixth chip including the signal processing circuit.
  • a sensor system in which an electronic device and a server are connected via a predetermined network The electronic device is A sensor that acquires sensor information, An FPGA that executes a predetermined process on the sensor information acquired by the sensor; A memory for storing data for causing the FPGA to execute the predetermined processing;
  • the sensor system wherein the data in the memory is updated with the update data received by
  • a control method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Studio Devices (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Image Processing (AREA)
  • Selective Calling Equipment (AREA)

Abstract

センサが劣化した場合でも正確な情報を取得する。実施形態に係るセンサ装置は、センサ情報を取得するセンサ（１１）と、前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡ（Field-Programmable　Gate　Array）（１２）と、前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリ（１５）とを備える。

Description

センサ装置、電子機器、センサシステム及び制御方法
　本開示は、センサ装置、電子機器、センサシステム及び制御方法に関する。
　近年、ＩｏＴ（Internet　of　Things）の社会への浸透に伴い、センサやデバイスといった「モノ」がインターネットを通じてクラウドやフォグやサーバなどに接続して情報交換することで、「モノ」同士で相互に制御するシステムの開発が盛んになってきている。また、ＩｏＴにより収集したビッグデータを活用して様々なサービスをユーザに提供するシステムの開発が盛んに行なわれている。
特開２０００－２３５６４４号公報 特開２０１８－２６６８２号公報
　しかしながら、ＩｏＴに限らず、カメラなどのセンサを用いて情報を取得する場合、センサ自体が使用や経年等で劣化することで、正確な情報を収集することができないという課題が存在する。
　そこで本開示では、センサが劣化した場合でも正確な情報を取得することを可能にするセンサ装置、電子機器、センサシステム及び制御方法を提案する。
　上記の課題を解決するために、本開示に係る一形態のセンサ装置は、センサ情報を取得するセンサと、前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡ（Field-Programmable　Gate　Array）と、前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリとを備える。
第１の実施形態に係るセンサシステム１の概略構成例を示す模式図である。 第１の実施形態に係る電子機器としての通信デバイスの概略構成例を示すブロック図である。 第１の実施形態に係るイメージセンサのチップ構成を示す模式図である。 第１の実施形態に係るフレキシブルロジックチップの他の構成例を示す図である。 第１の実施形態に係るフレキシブルロジックチップのさらに他の構成例を示す図である。 第１の実施形態に係るイメージセンサの動作を説明するための図である。 第１の実施形態に係る通信デバイスの概略動作例を示すフローチャートである。 第１の実施形態に係るサーバの概略動作例を示すフローチャートである。 第１の実施形態に係る変更項目の例を示す図である。 従来型のデバイス構成を示すブロック図である。 図１０に例示したデバイス構成でデータを処理する際の流れを説明するための図である。 図１０に例示したデバイス構成で１０００個のデータを処理する際に要するクロックサイクル数を示す図である。 第１の実施形態に係るイメージセンサのデバイス構成を示すブロック図である。 第１の実施形態に係るイメージセンサがデータを処理する際の流れを説明するための図である。 第１の実施形態に係るイメージセンサで１０００個のデータを処理する際に要するクロックサイクル数を示す図である。 第２の実施形態に係る通信デバイスの概略構成例を示すブロック図である。 第２の実施形態に係るイメージセンサのチップ構成を示す模式図である。 第３の実施形態に係る通信デバイスの概略構成例を示すブロック図である。 第３の実施形態に係るイメージセンサのチップ構成を示す模式図である。 第４の実施形態に係る通信デバイスの概略構成例を示すブロック図である。 第４の実施形態に係るイメージセンサのチップ構成を示す模式図である。 第５の実施形態に係る通信デバイスの概略構成例を示すブロック図である。 第５の実施形態に係るイメージセンサのチップ構成を示す模式図である。 第６の実施形態に係る通信デバイスの概略構成例を示すブロック図である。 第６の実施形態に係る通信デバイスの他の概略構成例を示すブロック図である。 第６の実施形態に係る通信デバイスのさらに他の概略構成例を示すブロック図である。 第６の実施形態に係る通信デバイスのさらに他の概略構成例を示すブロック図である。 第６の実施形態に係る通信デバイスのさらに他の概略構成例を示すブロック図である。 第７の実施形態に係る通信デバイスの概略構成例を示すブロック図である。 第７の実施形態に係るＤＮＮ解析処理（機械学習処理）の一例を説明するための図である。 第７の実施形態に係る動作の概略例を示すフローチャートである。 第８の実施形態に係る通信デバイスの概略構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．はじめに
　　２．第１の実施形態
　　　２．１　システム構成
　　　２．２　デバイス構成
　　　２．３　スタック構造
　　　２．４　イメージセンサの動作
　　　２．５　各処理とチップとの関係
　　　２．６　イメージセンサの劣化補正
　　　２．７　劣化補正の手順
　　　２．８　画像データの解析（機械学習）
　　　２．９　動作フロー
　　　　２．９．１　通信デバイス側の動作
　　　　２．９．２　サーバ側の動作
　　　２．１０　設定データ／回路データの変更
　　　２．１１　高速処理の手法
　　　２．１２　作用・効果
　　３．第２の実施形態
　　　３．１　デバイス構成
　　　３．２　チップ構成
　　　３．３　作用・効果
　　４．第３の実施形態
　　　４．１　デバイス構成
　　　４．２　チップ構成
　　　４．３　作用・効果
　　５．第４の実施形態
　　　５．１　デバイス構成
　　　５．２　チップ構成
　　　５．３　作用・効果
　　６．第５の実施形態
　　　６．１　デバイス構成
　　　６．２　チップ構成
　　　６．３　作用・効果
　　７．第６の実施形態
　　　７．１　デバイス構成
　　　７．２　デバイス構成の変形例
　　　７．３　作用・効果
　　８．第７の実施形態
　　　８．１　デバイス構成
　　　８．２　ＤＮＮ解析処理
　　　８．３　動作フロー
　　　８．４　作用・効果
　　９．第８の実施形態
　　１０．応用例
　１．はじめに
　現在、カメラモジュールなどのセンサを搭載するデバイスとしては、例えば、スマートフォンや携帯電話機などのウェアラブル端末、定点カメラや監視カメラなどの固定された撮像デバイス、ドローン、自動車、家庭内ロボット、ファクトリーオートメーション（ＦＡ）ロボット、監視ロボット、自律ロボットなどの移動するデバイス、医療機器等、種々のデバイスが存在するが、これらのデバイスでは、仕様頻度や使用年数が増えることにより、カメラの経年劣化が発生する。例えば、カメラが経年劣化した場合に浮上する問題としては、以下のような項目を例示することができる。
　第１に、カメラの劣化に伴う画質や制御等の調整は、パーソナルコンピュータなどを用いて設定値の変更する必要があり、メーカ等へ修理に出すなどの手間が生じる。
　第２に、デバイスに組み込まれたソフトウエアをアップデートすることで画質や制御等を変更することは可能であるが、画質や制御等の変化はデバイスごとに個体差があるため、ソフトウエアのアップデートでは個別の調整が困難である。
　第３に、自動車やドローンや各種ロボットなど、リアルタイムに画像データを解析してその結果に基づき自律的に移動するデバイスについては、画質劣化や制御調整の不具合が生じた場合にリアルタイムで設定値を補正する必要が生じる。
　第４に、医療の分野では、例えば、カプセル内視鏡などのカメラが劣化していた場合に再検査が必要となり、体力や費用等の面で患者への負担が大きくなる。
　第５に、デバイス自身で画質や制御等の調整を行なう場合、デバイス内に調整用のシステムを組み込むか、あるいは、外部のシステムとデバイスとを接続する必要が生じ、全体としてシステム構成が大型化し、それにより、コストや設置面積や重量等が増加してしまう。
　第６に、リアルタイムな画像解析が必要なデバイスでは、シーケンシャルに各段階の処理が実行されるが、その場合、各段階でメモリがシェアされる構造のため、例えば、割り込み処理が入った場合に処理時間が非常に長くなってしまう。
　そこで、以下の実施形態では、カメラなどのセンサが使用や経年等で劣化した場合でも正確な情報を取得することを可能にするセンサ装置、電子機器、センサシステム及び制御方法について、例を挙げて説明する。
　２．第１の実施形態
　まず、第１の実施形態について、図面を参照して詳細に説明する。なお、本実施形態では、劣化を補正する対象のセンサをイメージセンサとし、それを搭載するデバイスを通信デバイスとした場合を例示する。ただし、センサは、イメージセンサに限られず、温度センサや湿度センサや放射線計測器などの種々のセンサを適用することが可能である。
　２．１　システム構成
　図１は、本実施形態に係るセンサシステム１の概略構成例を示す模式図である。図１に示すように、センサシステム１は、通信機能を備えた１台以上の通信デバイス２と、サーバ３とが、ネットワーク４を介して接続された構成を備える。
　通信デバイス２は、撮像機能の他に、上述したように、ネットワーク４を介してサーバ３と通信するための通信機能を備えている。なお、通信デバイス２としては、スマートフォンや携帯電話機などのウェアラブル端末、定点カメラや監視カメラなどの固定された撮像デバイス、ドローン、自動車、家庭内ロボット、ファクトリーオートメーション（ＦＡ）ロボット、監視ロボット、自律ロボットなどの移動するデバイス、医療機器等、センシング機能と通信機能とを備える種々のデバイスを適用することが可能である。
　サーバ３は、例えば、クラウドサーバやフォグサーバなど、ネットワークに接続された種々のサーバであってよい。また、ネットワーク４には、例えば、インターネットやＬＡＮ（Local　Area　Network）や移動体通信網や公衆回線網など、種々のネットワークを適用することが可能である。
　２．２　デバイス構成
　図２は、本実施形態に係る電子機器としての通信デバイスの概略構成例を示すブロック図である。図２に示すように、通信デバイス２は、例えば、固体撮像装置としてのイメージセンサ１０と、送受信部１８とを備える。イメージセンサ１０は、例えば、受光部１１と、高速信号処理回路１２と、フレキシブルロジック回路１３と、メインプロセッサ１４と、メモリ１５と、ドライバ１６と、不揮発性メモリ１７とを含んで構成される。
　受光部１１は、例えば、フォトダイオードなどの光電変換素子が行方向及び列方向に２次元マトリクス状に配列された光センサアレイ（画素アレイともいう）と、光センサアレイの受光面に設けられたレンズ等の光学系及びそれを駆動するアクチュエータとを備える。
　高速信号処理回路１２は、受光部１１の各光電変換素子から読み出されたアナログの画素信号をデジタルの画素信号に変換するＡＤＣなどのアナログ回路と、ＡＤＣでデジタル値に変換された画素信号に基づいてＣＤＳ（Correlated　Double　Sampling）処理などのデジタル処理を実行するロジック回路とを含む。
　メモリ１５は、高速信号処理回路１２から出力されたデジタルの画像データを格納する。また、メモリ１５は、後述するフレキシブルロジック回路１３やメインプロセッサ１４で所定の処理が施された画像データを格納する。さらに、メモリ１５は、フレキシブルロジック回路１３に含まれるＦＰＧＡ（Field-Programmable　Gate　Array）に所定の回路構成を実現するための各種データも格納する。以下、ＦＰＧＡの論理コンポーネントを接続して回路構成を実現するためのデータを回路データと称し、回路データにより実現された回路構成に対して与えるパラメータを設定データと称する。
　フレキシブルロジック回路１３は、上述したように、ＦＰＧＡを含み、後述するメインプロセッサ１４と連携することで、メモリ１５に格納された画像データに対して、黒レベル処理、欠陥補正、シェーディング補正、歪み補正、リニアマトリックス処理、ガンマ補正、輝度色彩分離、エッジ強調処理、色差マトリックス処理、リサイズ・ズームなどの処理を実行する。また、フレキシブルロジック回路１３は、その他にも、制御系補正、自動露光（ＡＥ）、自動フォーカス（ＡＦ）、自動ホワイトバランス調整（ＡＷＢ）、同期処理出力インタフェース（ＩＦ）処理など、各種処理を実行する。
　メインプロセッサ１４は、通信デバイス２内の各部を制御する。また、メインプロセッサ１４は、フレキシブルロジック回路１３と連携して動作することで、上記列挙した各種処理をパイプライン処理として実行する。
　ドライバ１６は、例えば、垂直駆動回路や水平転送回路やタイミング制御回路等を含み、高速信号処理回路１２における後述する画素回路を駆動することで、高速信号処理回路１２に受光部１１からの画素信号の読出しを実行させる。また、ドライバ１６は、受光部１１におけるレンズやシャッタなどの光学系を駆動するアクチュエータの制御も実行する。
　不揮発性メモリ１７は、例えば、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　Read-Only　Memory）などで構成され、ドライバ１６が高速信号処理回路１２内の各種回路や受光部１１内のアクチュエータを制御する際のパラメータ等を記憶する。
　送受信部１８は、ネットワーク４を介してサーバ３と通信するための通信部であり、例えば、送信データをＤＡ（Digital　to　Analog）変換するＤＡＣ１８１と、ＤＡ変換されたデータをネットワーク４へ送信する送信アンテナ１８２と、ネットワーク４からデータを受信する受信アンテナ１８４と、受信アンテナ１８４で受信されたデータをＡＤ（Analog　to　Digital）変換するＡＤＣ１８３とを備える。ただし、送受信部１８は、無線に限定されず、有線であってもよい。
　２．３　スタック構造
　図３は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図３では、簡略化のため、ドライバ１６と不揮発性メモリ１７とが省略されている。
　図３に示すように、イメージセンサ１０における、例えば、受光部１１、高速信号処理回路１２、フレキシブルロジック回路１３、メインプロセッサ１４及びメモリ１５は、それぞれ１つのチップで構成されている。
　受光部１１は、半導体基板よりなる受光チップ１１０に光センサアレイ１１１が作り込まれた構成を備える。高速信号処理回路１２は、半導体基板よりなるアナログ・ロジックチップ１２０に、画素回路１２１とＡＤＣ１２２とＣＤＳ回路１２３とゲイン調整回路１２４とが作り込まれた構成を備える。なお、ゲイン調整回路１２４は、例えば、ＣＤＳ処理後のデジタルの画素信号のゲインをＲＧＢそれぞれで調整する回路であってよい。
　フレキシブルロジック回路１３は、半導体基板よりなるフレキシブルロジックチップ１３０にＦＰＧＡ１３１が作り込まれた構成を備える。メインプロセッサ１４は、半導体基板よりなるプロセッサチップ１４０にＭＰＵ（Micro　Processing　Unit）１４１が作り込まれた構成を備える。なお、プロセッサチップ１４０に形成されるＭＰＵ１４１は、１つに限られず、複数であってもよい。
　メモリ１５は、半導体基板よりなるメモリチップ１５０にＳＲＡＭ（Static　RAM）やＤＲＡＭ（Dynamic　RAM）などのメモリ領域１５１が作り込まれた構成を備える。メモリ領域１５１における一部の領域は、ＦＰＧＡ１３１に回路構成を設定するための回路データやその設定データを格納するためのメモリ領域（以下、プログラマブルメモリ領域という）１５２として使用される。
　各チップ１１０、１２０、１３０、１４０及び１５０は、図３に示す順序で上から積層される。したがって、イメージセンサ１０は、受光チップ１１０と、アナログ・ロジックチップ１２０と、メモリチップ１５０と、フレキシブルロジックチップ１３０と、プロセッサチップ１４０とが順に積層されたスタック構造を備える。
　なお、イメージセンサ１０を構成する他の構成、例えば、ドライバ１６及び不揮発性メモリ１７は、それぞれ独立又は共通のチップに作り込まれてもよいし、チップ１１０、１２０、１３０、１４０及び１５０における何れかのチップに作り込まれてもよい。同様に、送受信部１８は、独立のチップに作り込まれてもよいし、上記チップの何れかに作り込まれてもよい。
　また、フレキシブルロジックチップ１３０には、ＦＰＧＡ１３１だけでなく、図４又は図５に例示するように、ロジック回路１３２が作り込まれていてもよい。なお、図４は、ＦＰＧＡ１３１とロジック回路１３２とが分離した領域にそれぞれ作り込まれている場合を例示し、図５は、ロジック回路１３２の一部にＦＰＧＡ１３１が作り込まれている場合を例示している。
　さらに、本実施形態では、それぞれ個別のチップ１１０、１２０、１３０、１４０及び１５０に作り込まれた受光部１１、高速信号処理回路１２、フレキシブルロジック回路１３、メインプロセッサ１４及びメモリ１５を積層したスタック構造を例示しているが、上述する実施形態にあるように、スタック構造は、種々変形することが可能である。例えば、スマートフォンや携帯電話機などのウェアラブル端末、定点カメラや監視カメラなどの固定された撮像デバイスなど、高速な画像処理が要求されないデバイスを通信デバイス２とした場合には、メインプロセッサ１４とフレキシブルロジック回路１３とメモリ１５とを１つのチップとすることで、製造コストを抑えることが可能となる。また、ドローン、自動車、家庭内ロボット、ファクトリーオートメーション（ＦＡ）ロボット、監視ロボット、自律ロボットなどの移動するデバイスを通信デバイス２とした場合には、本実施形態や後述する実施形態で例示するようなスタック構造とすることで、処理スピードを高めてリアルタイム性を向上することが可能となる。
　２．４　イメージセンサの動作
　つづいて、図２に示す通信デバイス２におけるイメージセンサ１０の動作について、図６を用いて説明する。
　図６に示すように、イメージセンサ１０が実行する動作は、大まかに、光電変換ステップＳ１００、信号処理ステップＳ２００、ベースステップＳ３００、制御系ステップＳ４００、及び、絵作りステップＳ５００の５段階に分けることができる。
　光電変換ステップＳ１００では、受光部１１における光電変換素子が、入射した光を入射光量に応じた電荷に変換する光電変換１０１を実行する。
　信号処理ステップＳ２００では、光電変換素子に蓄積された電荷が、高速信号処理回路１２における画素回路によりアナログの画像信号として読み出される。なお、高速信号処理回路１２は、例えば、行単位で画素信号を読み出す方式など、複数の画素から同時に画素信号を読み出すことが可能な方式が採用された信号処理回路であってよい。
　読み出されたアナログの画素信号は、高速信号処理回路１２におけるＡＤＣにてデジタルの画素信号に変換される（２０１）。そして、ＡＤ変換された画素信号に対し、高速信号処理回路１２におけるＣＤＳ回路がＣＤＳ処理を実行する（２０１）。これにより、ノイズが除去された画像データが生成される。生成された画像データは、一時、メモリ１５に格納される。
　ベースステップＳ３００では、メモリ１５に格納されている画像データに対し、黒レベル処理３０１と、欠陥補正３０２と、シェーディング補正３０３と、歪み補正３０４とが順次実行される。
　なお、黒レベル処理３０１とは、例えば、受光部１１において発生した暗電流などによって生じるノイズを除去して画像データの黒レベルを補正する処理であってよい。
　欠陥補正３０２とは、例えば、素子不良等により欠落した画素の画素値を隣接画素の画素値等に基づいて補間する処理であってよい。
　シェーディング補正３０３とは、光源の向きやレンズ収差の影響による明るさのムラを補正する処理であってよい。
　歪み補正３０４とは、像高の高い領域におけるレンズ等に起因した画像の歪みを補正する処理であってよい。
　制御系ステップＳ４００では、ドライバ１６が受光部１１のアクチュエータや画素回路を駆動する際に使用する各種パラメータを補正する制御系補正４０１が実行される。なお、制御系ステップＳ４００は、信号処理ステップＳ２００の後に限られず、任意のタイミングで実行されてよい。
　絵作りステップＳ５００では、自動露光（ＡＥ）、自動フォーカス（ＡＦ）及び自動ホワイトバランス調整（ＡＷＢ）（５０１）と、同期処理５０２と、リニアマトリックス処理５０３と、ガンマ補正５０４と、輝度色彩分離５０５と、エッジ強調処理５０６と、色差マトリックス処理５０７と、リサイズ・ズーム５０８とが順次実行される。
　なお、自動露光（ＡＥ）とは、受光部１１の光電変換素子に対する電荷蓄積時間を自動的に調整する処理であってよい。また、自動フォーカス（ＡＦ）は、受光部１１の光学系の焦点を自動的に合せる処理であってよい。さらに、自動ホワイトバランス調整（ＡＷＢ）は、高速信号処理回路１２の画素回路によって読み出されたＲ／Ｇ／Ｂ値それぞれのゲインを調整することで白レベルを自動的に調整する処理であってよい。
　同期処理５０２とは、非同期に処理された結果を同期させる処理であってよい。
　リニアマトリックス処理５０３とは、高速信号処理回路１２の画素回路によって読み出されたＲ／Ｇ／Ｂ値をマトリックス変換することで受光部１１の入力分光特性を理想的な値に調整する処理であってよい。
　ガンマ補正５０４とは、画像データの輝度レベルを表示デバイス（例えば、ＣＲＴ（Cathode　Ray　Tube））のガンマ特性にて補正する処理であってよい。
　輝度色彩分離５０５とは、ＹＣ変換とも称され、Ｒ／Ｇ／Ｂの画像データの色空間を変換して、Ｙ／Ｂ－Ｙ／Ｒ－Ｙの画像データを生成する処理であってよい。
　エッジ強調処理５０６とは、画像データの空間周波数特性の劣化を補償したり、輪郭を強調したりすることで、空間周波数特性の劣化に起因した輪郭のボケを改善するための処理であってよい。
　色差マトリックス処理５０７とは、ＹＣ変換後の画像データにおけるＢ－Ｙ／Ｒ－Ｙに対してマトリックス変換を行なうことで、輝度を変化させることなく色相や飽和度を調整する処理であってよい。
　リサイズ・ズーム５０８とは、表示デバイスの表示サイズに合せて画像データの大きさを変更したり、特定の領域をズームしたりする処理であってよい。
　その後、上記処理後の画像データ（以下、処理済み画像データという）を不図示のインタフェースを介して外部のＩＳＰ（Image　Signal　Processor）やＡＰ（Application　Processor）等へ出力する出力ＩＦ処理５０９が実行される。なお、出力ＩＦ処理５０９は、例えば、ＮＴＳＣの場合には、ＹＵＶやエンコードやカメラリングなどを含む処理であってよい。また、処理済み画像データは、例えば、一旦、メモリ１５に再度格納された後に外部へ出力されてもよいし、フレキシブルロジック回路１３又はメインプロセッサ１４からインタフェースを介して直接出力されてもよい。
　２．５　各処理とチップとの関係
　以上の流れにおいて、光電変換１０１は、例えば、受光部１１の光センサアレイ１１１において実行される。また、Ａ／Ｄ及びＣＤＳ２０１は、例えば、高速信号処理回路１２のＡＤＣ１２２及びＣＤＳ回路１２３において実行される。
　黒レベル処理３０１、欠陥補正３０２、シェーディング補正３０３、歪み補正３０４、制御系補正４０１、ＡＥ，ＡＦ及びＡＷＢ５０１、同期処理５０２、リニアマトリックス処理５０３、ガンマ補正５０４、輝度色彩分離５０５、エッジ強調処理５０６、色差マトリックス処理５０７、リサイズ・ズーム５０８及び出力ＩＦ処理５０９は、例えば、フレキシブルロジック回路１３におけるＦＰＧＡ１３１にプログラマブルメモリ領域１５２からそれぞれの回路構成を実現するための回路データを読み込むとともに、各回路構成に対する設定データを対応するレジスタに登録することで実行される。したがって、設定データや回路データを変更することで、各処理の入力に対する出力を調整することができる。
　なお、図４又は図５に例示したように、フレキシブルロジック回路１３の一部をＦＰＧＡ１３１とし、残りをロジック回路１３２とした場合では、ＦＰＧＡ１３１が、欠陥補正３０２、シェーディング補正３０３、歪み補正３０４、制御系補正４０１、ＡＥ，ＡＦ及びＡＷＢ５０１、同期処理５０２、リニアマトリックス処理５０３及びエッジ強調処理５０６を実行し、ロジック回路１３２が、黒レベル処理３０１、ガンマ補正５０４、輝度色彩分離５０５、色差マトリックス処理５０７、リサイズ・ズーム５０８及び出力ＩＦ処理５０９を実行するように構成することも可能である。
　また、メインプロセッサ１４は、フレキシブルロジック回路１３が実行する各処理をパイプライン処理するように、フレキシブルロジック回路１３と連携して動作する。
　２．６　イメージセンサの劣化補正
　上述した構成において、イメージセンサ１０の例えば光センサアレイ１１１は、仕様頻度や使用年数が増えることにより経年劣化する。このようなイメージセンサ１０の劣化は、例えば、ＦＰＧＡ１３１の回路構成やそのパラメータを変更することで補正することができる。
　そこで本実施形態では、イメージセンサ１０の劣化の状態を常時、定期的又は任意のタイミングで検出し、検出された劣化の状態に応じて、ＦＰＧＡ１３１の回路構成及び／又はそのパラメータを変更する。これにより、イメージセンサ１０を劣化状態に応じてカスタマイズすることが可能となるため、イメージセンサ１０が使用や経年等で劣化した場合でも正確な情報（例えば、画像データ）を取得することが可能となる。
　イメージセンサ１０の劣化補正は、例えば、イメージセンサ１０で取得された画像データを、ネットワーク４を介してサーバ３へ送信することで実行される。
　サーバ３は、例えば、ネットワーク４を介して通信デバイス２から受信した画像データを解析することで、イメージセンサ１０における劣化箇所や劣化原因を特定する。そして、サーバ３は、特定された劣化箇所や劣化原因の補正を目的として、イメージセンサ１０のフレキシブルロジック回路１３のＦＰＧＡ１３１に設定する設定データ及び／又は回路データを生成し、生成した設定データ及び／又は回路データを、ネットワーク４を介して通信デバイス２へ送信（フィードバック）する。
　サーバ３から設定データ及び／又は回路データを受信した通信デバイス２は、これをイメージセンサ１０におけるメモリ１５に格納する。イメージセンサ１０は、メモリ１５に格納された設定データ及び／又は回路データをＦＰＧＡ１３１に設定することで、劣化箇所や劣化原因を補正する。
　なお、劣化箇所や劣化原因を補正するための設定データ及び／又は回路データは、例えば、過去のデータを機械学習することで得られた学習済みモデルを利用して生成することができる。
　２．７　劣化補正の手順
　サーバ３側で画像データを解析して通信デバイス２におけるフレキシブルロジック回路１３の設定及び／又は回路構成を変更する手順としては、以下のような手法を例示することができる。
　まず第１に、通信デバイス２からサーバ３へ画像データを送信する。
　第２に、サーバ３側で画像データを解析する（機械学習）。
　第３に、サーバ３において解析結果に基づいて設定データ及び／又は回路データを生成する。
　第４に、生成された設定データ及び／又は回路データをサーバ３から通信デバイス２へフィードバックする（バイナリデータ転送）。
　第５に、通信デバイス２において受信した設定データ及び／回路データをメモリ１５のプログラマブルメモリ領域１５２における所定の番地に書き込む。
　第６に、プログラマブルメモリ領域１５２内の設定データ及び／又は回路データをロードすることで、ＦＰＧＡ１３１に新規回路を構成したり、ＦＰＧＡ１３１に実現された回路構成のパラメータを変更したりする。
　以上のような動作を、例えば、フレームごとに実行することで、ＦＰＧＡ１３１の更新を常時行うことができる。
　なお、ＦＰＧＡ１３１のレイヤ構成としては、ＦＰＧＡ１３１のみ構成されているもの（図３参照）、ＦＰＧＡ１３１とロジック回路１３２とで構成されているもの（図４参照）、ＦＰＧＡ１３１とロジック回路１３２とが混載しているもの（ベースのロジック回路１３２に対してＦＰＧＡ１３１で回路変更を行っていくもの。図５参照）など、用途によって適宜変更することが可能である。
　また、サーバ３側における機械学習の結果に基づき、ＦＰＧＡ１３１に新規回路を追加することや、スピード向上のためにＦＰＧＡ１３１の回路構成を変更すること（例えば、一部機能の削減）などを実現することも可能である。例えば、高速信号処理回路１２から出力される画像データを１０ビットの画像データから１４ビットの画像データに変更したり、８ビットの画像データに変更したりすることも、ＦＰＧＡ１３１の回路構成を変更することで可能となる。
　２．８　画像データの解析（機械学習）
　イメージセンサ１０の劣化の状態は、例えば、イメージセンサ１０で取得された画像データを解析することで、判断することができる。画像データの解析では、例えば、イメージセンサ１０で取得した画像データをサーバ３側で保管しておき、画像データの解析時に、保管しておいた画像データと新たに取得された画像データとを比較することで、イメージセンサ１０が劣化しているか否かを判断することが可能である。
　その際、サーバ３側に保管しておく画像データとしては、通信デバイス２の出荷前に取得しておいた画像データや、通信デバイス２がユーザの手に渡った際の初期設定時に取得しておいた画像データなど、イメージセンサ１０の経年劣化が小さい段階での画像データを利用するとよい。
　また、劣化判断のために通信デバイス２からサーバ３へ送信する画像データは、任意のタイミングで取得された画像データであってもよいし、所定の条件が満たされた際に取得された画像データであってもよい。なお、所定の条件としては、サーバ３において保管されている画像データと同じ領域を撮像した画像データであることや、サーバ３において保管されている画像データを撮像した際と同じ照度条件の下で撮像された画像データであることなどとすることができる。
　若しくは、例えば、イメージセンサ１０が機械シャッタを備えている場合には、機械シャッタを閉じた状態で取得した画像データをサーバ３側に保管しておき、劣化判断時には、同じく機械シャッタを閉じた状態で画像データを取得し、その画像データをサーバ３へ送信するように構成されてもよい。その場合、黒レベルやノイズや欠陥画素等からイメージセンサ１０の劣化状態を確認することが可能となる。
　また、画像データの解析においては、例えば、機械学習により画像データの劣化の状態とその原因とを学習して学習済みモデルを構築しておくことで、後の解析時における原因究明の正確性と迅速性とを上場することが可能となる。なお、機械学習の手法としては、ＲＮＮ（Recurrent　Neural　Network）やＣＮＮ（Convolution　Neural　Network）など、種々の手法を利用することが可能である。
　２．９　動作フロー
　つづいて、イメージセンサ１０の劣化を検出して補正する際の動作を、フローチャートを用いて詳細に説明する。図７は、本実施形態に係る通信デバイスの概略動作例を示すフローチャートである。図８は、本実施形態に係るサーバの概略動作例を示すフローチャートである。
　２．９．１　通信デバイス側の動作
　図７に示すように、通信デバイス２は、まず、常時又は定期的に、サーバ３に対して、イメージセンサ１０で取得された画像データの解析を要求し（ステップＳ１０１）、サーバ３から解析の許可応答を受信するのを待機する（ステップＳ１０２のＮＯ）。サーバ３から解析の許可応答を受信すると（ステップＳ１０２のＹＥＳ）、通信デバイス２は、解析の繰返し回数を管理する値Ｎに１をセットする（ステップＳ１０３）。つづいて、通信デバイス２は、イメージセンサ１０を駆動して画像データを取得する（ステップＳ１０４）。この際に取得される画像データは、図６に例示した各段階の処理が施された処理済み画像データであってよい。
　次に、通信デバイス２は、処理済み画像データをアナログデータにＤＡ変換後に暗号化する（ステップＳ１０５）。なお、暗号化は、例えば、メインプロセッサ１４又は不図示のアプリケーションプロセッサ（暗号化部）において実行されてよい。つづいて、通信デバイス２は、暗号化済みの画像データをネットワーク４を介してサーバ３へ送信し（ステップＳ１０６）、サーバ３からの応答を待機する（ステップＳ１０７のＮＯ）。これに対し、サーバ３は、後述において図８を用いて説明するように、通信デバイス２から受信した画像データを解析し、画像劣化があると認められる場合には、当該画像劣化を解消するためにＦＰＧＡ１３１に設定する設定データを生成する。
　サーバ３から画像劣化無しの解析結果を受信した場合（ステップＳ１０７のＹＥＳ）、通信デバイス２は、本動作を終了する。一方、画像劣化がある旨の解析結果を受信した場合（ステップＳ１０７のＮＯ）、通信デバイス２は、サーバ３からネットワーク４を介して暗号化済みの設定データを受信し（ステップＳ１０８）、受信した暗号化済み設定データの暗号化を解除する（ステップＳ１０９）。なお、暗号化の解除（復号）は、例えば、メインプロセッサ１４又は不図示のアプリケーションプロセッサ（復号部）において実行されてよい。つづいて、通信デバイス２は、暗号化が解除された設定データで、メモリ領域１５１のプログラマブルメモリ領域１５２に格納されているＦＰＧＡ１３１の設定データを更新し（ステップＳ１１０）、更新した設定データをＦＰＧＡ１３１に設定する（ステップＳ１１１）。なお、受信した設定データに受光部１１の光学系を駆動するアクチュエータや高速信号処理回路１２の各部に対する設定データが含まれていた場合には、通信デバイス２は、この設定データで不揮発性メモリ１７内の所定のパラメータを更新する。これにより、ドライバ１６による各部の駆動が調整される。
　次に、通信デバイス２は、繰返し回数Ｎを１インクリメントし（ステップＳ１１２）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１１３）。繰返し回数Ｎが上限値以下である場合（ステップＳ１１３のＮＯ）、通信デバイス２は、ステップＳ１０４へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１１３のＹＥＳ）、通信デバイス２は、ステップＳ１１４へ進む。
　ステップＳ１１４では、通信デバイス２は、繰返し回数Ｎを１にリセットする。つづいて、通信デバイス２は、上述のステップＳ１０４～１０７と同様に、イメージセンサ１０から取得した画像データをＤＡ変換後に暗号化してサーバ３へ送信し（ステップＳ１０６）、その後、サーバ３からの応答を待機する（ステップＳ１１５～Ｓ１１８）。これに対し、サーバ３は、後述において図８を用いて説明するように、通信デバイス２から受信した画像データを解析し、画像劣化があると認められる場合には、当該画像劣化を解消するためにＦＰＧＡ１３１に組み込む回路データを生成する。
　サーバ３から画像劣化無しの解析結果を受信した場合（ステップＳ１１８のＹＥＳ）、通信デバイス２は、本動作を終了する。一方、画像劣化がある旨の解析結果を受信した場合（ステップＳ１１８のＮＯ）、通信デバイス２は、サーバ３からネットワーク４を介して暗号化済みの回路データを受信し（ステップＳ１１９）、受信した暗号化済み回路データの暗号化を解除する（ステップＳ１２０）。つづいて、通信デバイス２は、暗号化が解除された回路データで、メモリ領域１５１のプログラマブルメモリ領域１５２に格納されているＦＰＧＡ１３１の回路データを更新し（ステップＳ１２１）、更新した回路データをＦＰＧＡ１３１に組み込むことで、ＦＰＧＡ１３１の回路構成を変更する（ステップＳ１２２）。
　次に、通信デバイス２は、繰返し回数Ｎを１インクリメントし（ステップＳ１２３）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１２４）。繰返し回数Ｎが上限値以下である場合（ステップＳ１２４のＮＯ）、通信デバイス２は、ステップＳ１１５へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１２４のＹＥＳ）、通信デバイス２は、本動作を終了する。
　２．９．２　サーバ側の動作
　図８に示すように、サーバ３は、本動作を起動後、通信デバイス２から解析要求を受信するまで待機し（ステップＳ１３１のＮＯ）、解析要求を受信すると（ステップＳ１３１のＹＥＳ）、まず、解析要求を送信した通信デバイス２を特定する（ステップＳ１３２）。
　次に、サーバ３は、解析要求を送信した通信デバイス２の特定に成功すると、特定した通信デバイス２のプログラマブルメモリ領域１５２に格納されている回路データ及び設定データを、所定の記憶装置から読み出すとともに（ステップＳ１３３）、解析要求を送信した通信デバイス２に対して、解析の許可応答を送信する（ステップＳ１３４）。なお、サーバ３の記憶装置には、登録済みの通信デバイス２のプログラマブルメモリ領域１５２に格納されている回路データ及び設定データが、通信デバイス２ごとに格納されている。すなわち、各通信デバイス２の回路データ及び設定データは、通信デバイス２とサーバ３とで共有されている。
　次に、サーバ３は、繰返し回数Ｎに１をセットし（ステップＳ１３５）、その後、通信デバイス２から暗号化済み画像データを受信するまで待機する（ステップＳ１３６のＮＯ）。暗号化済み画像データを受信すると（ステップＳ１３６のＹＥＳ）、サーバ３は、暗号化済み画像データの暗号化を解除し（ステップＳ１３７）、暗号化が解除された画像データを解析し（ステップＳ１３８）、その結果に基づいて、画像劣化があるか否かを判定する（ステップＳ１３９）。
　画像劣化がない場合（ステップＳ１３９のＮＯ）、サーバ３は、画像劣化がないことを通信デバイス２へ通知し（ステップＳ１５７）、ステップＳ１５８へ進む。一方、画像劣化がある場合（ステップＳ１３９のＹＥＳ）、ステップＳ１３８の解析結果に基づいて、イメージセンサ１０における画像劣化の原因となる箇所を特定し、特定された箇所の新たな設定データを生成する（ステップＳ１４０）。そして、サーバ３は、生成した設定データを通信デバイス２に対応付けて所定の記憶装置に保存する（ステップＳ１４１）とともに、生成した設定データを暗号化し（ステップＳ１４２）、暗号化済みの設定データをネットワーク４を介して通信デバイス２へ送信する（ステップＳ１４３）。なお、新たな設定データを生成には、上述したように、過去のデータに対する機械学習により得られた学習済みモデルが用いられてよい。
　次に、サーバ３は、繰返し回数Ｎを１インクリメントし（ステップＳ１４４）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１４５）。繰返し回数Ｎが上限値以下である場合（ステップＳ１４５のＮＯ）、サーバ３は、ステップＳ１３６へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１４５のＹＥＳ）、通信デバイス２は、ステップＳ１４６へ進む。
　ステップＳ１４６では、サーバ３は、繰返し回数Ｎを１にリセットする。つづいて、サーバ３は、通信デバイス２から暗号化済み画像データを受信するまで待機する（ステップＳ１４７のＮＯ）。暗号化済み画像データを受信すると（ステップＳ１４７のＹＥＳ）、サーバ３は、暗号化済み画像データの暗号化を解除し（ステップＳ１４８）、暗号化が解除された画像データを解析し（ステップＳ１４９）、その結果に基づいて、画像劣化があるか否かを判定する（ステップＳ１５０）。
　画像劣化がない場合（ステップＳ１５０のＮＯ）、サーバ３は、画像劣化がないことを通信デバイス２へ通知し（ステップＳ１５７）、ステップＳ１５８へ進む。一方、画像劣化がある場合（ステップＳ１５０のＹＥＳ）、ステップＳ１４９の解析結果に基づいて、イメージセンサ１０における画像劣化の原因となる箇所を特定し、特定された箇所の新たな回路データを生成する（ステップＳ１５１）。そして、サーバ３は、生成した回路データを通信デバイス２に対応付けて所定の記憶装置に保存する（ステップＳ１５２）とともに、生成した回路データを暗号化し（ステップＳ１５３）、暗号化済みの回路データをネットワーク４を介して通信デバイス２へ送信する（ステップＳ１５４）。なお、新たな回路データを生成には、上述したように、過去のデータに対する機械学習により得られた学習済みモデルが用いられてよい。
　次に、サーバ３は、繰返し回数Ｎを１インクリメントし（ステップＳ１５５）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ１５６）。繰返し回数Ｎが上限値以下である場合（ステップＳ１５６のＮＯ）、サーバ３は、ステップＳ１４７へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ１５６のＹＥＳ）、通信デバイス２は、ステップＳ１５８へ進む。
　ステップＳ１５８では、サーバ３は、本動作を終了するか否かを判定し、終了する場合（ステップＳ１５８のＹＥＳ）、本動作を終了する。一方、終了しない場合（ステップＳ１５８のＮＯ）、サーバ３は、ステップＳ１３１へリターンし、以降の動作を実行する。
　以上のような動作を実行することで、通信デバイス２のフレキシブルロジック回路１３におけるＦＰＧＡ１３１の回路構成及び／又はパラメータがカスタマイズされて、イメージセンサ１０の劣化が補正される。それにより、通信デバイス２において、良好な状態の画像データを取得することが可能となる。
　なお、通信デバイス２からサーバ３へ画像データをアップロードする頻度は、適宜変更されてよい。また、例えば、リアルタイム性が重要となるドローンや自動車やロボットなどでは、通信デバイス２からサーバ３へ送信する画像データのデータ量は小さい方が好ましい。そのような場合には、画像データのデータ量を低減するために、送信対象の画像データをＶＧＡレベルやＱＶＧＡレベルで圧縮したり、ビニングなどでデータを圧縮したりしてもよい。
　２．１０　設定データ／回路データの変更
　また、画像データの解析から特定されたイメージセンサ１０の劣化状態に応じて変更される項目（設定データ及び回路データ）の例を、図９の表に示す。
　図９に示すように、劣化の原因には、イメージセンサ１０の光センサアレイ１１１における光電変換素子によるものと、レンズやアクチュエータなどの光学系のモジュールによるものとが存在する。例えば、黒レベル処理３０１、ＡＥ，ＡＦ，ＡＷＢ５０１、同期処理５０２、リニアマトリックス処理５０３、ガンマ補正５０４、輝度色彩分離５０５、エッジ強調処理５０６、色差マトリックス処理５０７等に劣化の原因が認められる場合には、光電変換素子（センサ）に劣化の原因があると考えられる。また、シェーディング補正３０３、歪み補正３０４、制御系補正４０１、リサイズ・ズーム５０８等に劣化の原因が認められる場合には、光学系のモジュールに劣化の原因があると考えられる。なお、欠陥補正３０２に劣化の原因が認められる場合には、光電変換素子及びモジュールの少なくとも一方に劣化の原因があると考えられる。
　そこで、本実施形態では、図９の表に示すように、黒レベル処理３０１に劣化の原因が認められる場合には、例えば、設定データの１つであるオプティカルブラック（ＯＢ）値を変更する。
　また、欠陥補正３０２に劣化の原因が認められる場合には、例えば、設定データに欠陥補正値を追加するか、回路データにおけるクラスタ以上の補正回路を変更するか、又は、回路データにおけるシミ改善回路を変更する。
　さらに、シェーディング補正３０３に劣化の原因が認められる場合には、例えば、設定データの１つであるシェーディング補正値を変更するか、又は、回路データにおけるシェーディングアルゴリズムを変更する（例えば、シェーディングカーブ関数の変更）。
　さらにまた、歪み補正３０４に劣化の原因が認められる場合には、例えば、回路データに歪み補正回路（糸巻き型又は樽型）を追加する。
　さらにまた、制御系補正４０１に劣化の原因が認められる場合には、例えば、設定データであるＡＦ、ＯＩＳ（手ブレ補正）及び／又はキャリブレーションデータを変更するか、又は、回路データにサーボ調整、ホールゲイン調整及び／又は光軸調整を目的としたドライバ制御調整フォワード回路を追加する。
　さらにまた、ＡＥ，ＡＦ，ＡＷＢ５０１に劣化の原因が認められる場合には、例えば、回路データにおけるＡＥ，ＡＷＢを実行する回路のアルゴリズムを変更する。
　さらにまた、同期処理５０２に劣化の原因が認められる場合には、例えば、設定データの１つである補間補正値を変更するか、又は、回路データにおける補間アルゴリズムを変更する。
　さらにまた、リニアマトリックス処理５０３に劣化の原因が認められる場合には、例えば、設定データの１つである分光補正値を変更するか、又は、回路データにける等式関数アルゴリズムを変更する。
　さらにまた、ガンマ補正５０４に劣化の原因が認められる場合には、例えば、設定データの１つであるガンマ補正値（コントラスト）を変更する。
　さらにまた、エッジ強調処理５０６に劣化の原因が認められる場合には、例えば、設定データの１つである輪郭（アパーチャ）補正・ノイズ補正値を変更するか、又は、回路データにおける輪郭（アパーチャ）補正・ノイズ補正アルゴリズムを変更する。
　さらにまた、色差マトリックス処理５０７に劣化の原因が認められる場合には、例えば、設定データの１つであるカラーマトリックス値を変更する。
　さらにまた、リサイズ・ズーム５０８に劣化の原因が認められる場合には、例えば、設定データの１つであるズーム値を変更する。
　さらにまた、出力ＩＦ処理５０９に劣化の原因が認められる場合には、例えば、設定データの１つであるモードによる出力レーンを変更する。
　以上のような設定データの変更及び／又は回路データの変更を実行することで、例えば、像高８０パーセント以上の領域で画像劣化を抑制することが可能となる。なお、メモリを追加したい場合には、メモリを追加することが可能なように構成されてもよい。
　２．１１　高速処理の手法
　次に、本実施形態に係る通信デバイス２が実行する高速処理の手法について、従来と比較しつつ説明する。
　図１０は、従来型のデバイス構成を示すブロック図である。図１１は、図１０に例示したデバイス構成でデータを処理する際の流れを説明するための図である。図１２は、図１０に例示したデバイス構成で１０００個のデータを処理する際に要するクロックサイクル数を示す図である。一方、図１３は、本実施形態に係るイメージセンサのデバイス構成を示すブロック図である。図１４は、本実施形態に係るイメージセンサがデータを処理する際の流れを説明するための図である。図１５は、本実施形態に係るイメージセンサで１０００個のデータを処理する際に要するクロックサイクル数を示す図である。
　図１０に示すように、ロジック回路９１３、メインプロセッサ９１４及びメモリ９１５がバス９１９を介して接続されている従来型のデバイス構成では、１つのレイヤにロジック回路９１３とメインプロセッサ９１４とメモリ１５とが混載している。そのため、シーケンシャルな処理により、複雑のプログラムをフレキシブルに実行することができる。
　ただし、各処理を実行する回路（演算器ともいう）間でメモリ１５をシェアする仕組みであるため、プロセッサコアの増加に伴い性能が落ちたり、並列処理に時間がかかったりなどのデメリットが発生する。例えば、図６に例示した各処理を実行する際には、メインプロセッサ９１４がバス９１９を介してメモリ９１５から対象の１つずつデータを吸い上げ、これをロジック回路９１３に順次入力して処理を実行する必要がある。したがって、従来型のデバイス構造では、図１１に例示するように、各データＤに対する処理が順次行なわれるような、シーケンシャルな処理の流れとなる。
　そのため、例えば、同じレベルの１０００個の命令を処理する場合には、１クロックあたりに実行できる命令数が１であることから、図１２に示すように、全ての命令を処理するためには、少なくとも１０００クロックサイクルが必要となってしまう。
　これに対し、本実施形態に係るイメージセンサ１０は、各処理を実行するチップ１１０、１２０、１３０、１４０及び１５０が積層されたスタック構造を備える。そのため、イメージセンサ１０では、図１３に示すように、フレキシブルロジック回路１３がメモリ１５から直接データを吸い上げて処理することが可能となる。
　このようなスタック構造であることの利点を生かすことで、複雑なプログラムをフレキシブルに実行することが可能になることや、メインプロセッサ１４で待機中のデータを吸い上げ、フレキシブルロジック回路１３でレジスタと演算回路を生成して並列処理に処理することなどのメリットが得られる。例えば、図１４に示すように、イメージセンサ１０では、複数のデータＤを並列に処理するパイプライン処理が可能となる。
　このように、並列処理を可能とすることで、リアルタイム性能を向上することが可能となる。また、次処理が別処理の場合でも、ＦＰＧＡ１３１の回路構成を変更して複雑なプログラムもフレキシブルに実行することが可能となる。
　例えば、１クロックあたりに実行できる命令数を２とした場合には、すなわち、パイプライン処理の並列度を２とした場合には、図１５に示すように、同じレベルの１０００個の命令を処理するのに要するクロックサイクル数を、例えば、図１２に例示した従来型のデバイス構造と比較して、半分の５００クロックサイクルとすることが可能となる。すなわち、パイプライン処理の並列度をさらに上げることで、同じレベルの命令を処理するのに要するクロックサイクル数をその倍数分の１程度に低減することが可能である。
　また、図１４に示すように、１回目の処理Ｓ１を機械学習しておくことで、２回目以降の処理Ｓ２において、処理すべきデータＤの数を低減することが可能となるため、より高速な処理を実現することも可能となる。
　なお、ＦＰＧＡ１３１への新規回路の追加、処理スピード向上のための回路構成の変更（並列処理の改善、一部機能の削減等）などは、サーバ３側における画像データの解析による機械学習によって行われてよい。
　２．１２　作用・効果
　以上で説明したように、本実施形態によれば、イメージセンサ１０で取得された画像データに基づき、画像劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ１０が劣化した場合でも正確な画像データを取得することが可能になる。
　また、本実施形態に係るイメージセンサ１０は、受光チップ１１０、アナログ・ロジックチップ１２０、メモリチップ１５０、フレキシブルロジックチップ１３０及びプロセッサチップ１４０が積層されたスタック構造を備える。それにより、受光部１１、高速信号処理回路１２、メモリ１５、フレキシブルロジック回路１３及びメインプロセッサ１４をバスを介さずに接続することが可能となるため、複雑のプログラムをフレキシブルに動かせたり、メインプロセッサ１４の待機中にデータを吸い上げてＦＰＧＡ１３１側でレジスタと演算回路を生成したり、各処理をパイプラインにて並列処理したりすることが可能となる。それにより、リアルタイム性能の向上や、複雑なプログラムに対するフレキシブルな対応が可能になる。
　３．第２の実施形態
　次に、第２の実施形態について、図面を参照して詳細に説明する。上述した第１の実施形態では、受光部１１と高速信号処理回路１２とが異なるチップ（受光チップ１１０及びアナログ・ロジックチップ１２０。図３参照）に作り込まれていた場合を例示した。これに対し、第２の実施形態では、受光部１１と高速信号処理回路１２とが同一のチップに作り込まれている場合について、例を挙げて説明する。なお、以下の説明において、第１の実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
　３．１　デバイス構成
　図１６は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図１６に示すように、本実施形態に係るイメージセンサ２０は、例えば、受光部＋高速信号処理回路２１と、フレキシブルロジック回路１３と、メインプロセッサ１４と、メモリ１５と、ドライバ１６と、不揮発性メモリ１７とを含んで構成される。フレキシブルロジック回路１３、メインプロセッサ１４、メモリ１５、ドライバ１６及び不揮発性メモリ１７、並びに、送受信部１８は、第１の実施形態において図２を用いて説明したそれらと同様であってよい。
　３．２　チップ構成
　図１７は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図１７では、図３と同様に、簡略化のため、ドライバ１６と不揮発性メモリ１７とが省略されている。
　図１７に示すように、イメージセンサ２０では、受光部１１を構成する光センサアレイ１１１と、高速信号処理回路１２を構成する画素回路１２１、ＡＤＣ１２２、ＣＤＳ回路１２３及びゲイン調整回路１２４とが、１つの受光チップ１１０に作り込まれた構成を備える。
　３．３　作用・効果
　以上のような構成によっても、第１の実施形態と同様に、イメージセンサ２０で取得された画像データに基づき、画像劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ２０が劣化した場合でも正確な画像データを取得することが可能になる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　４．第３の実施形態
　また、上述した第１の実施形態では、高速信号処理回路１２の直下にメモリ１５を配置した場合を例示したが、メモリ１５の位置は、高速信号処理回路１２の直下に限定されない。そこで第３の実施形態では、メモリ１５をスタック構造における最下層に配置した場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
　４．１　デバイス構成
　図１８は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図１８に示すように、本実施形態に係るイメージセンサ３０では、例えば、第１の実施形態において図２を用いて説明したイメージセンサ１０と同様の構成において、メモリ１５が最下層であるメインプロセッサ１４の下層に配置された構成を備える。また、イメージセンサ３０は、イメージセンサ１０における高速信号処理回路１２が信号処理回路３２に置き換えられている。信号処理回路３２は、高速信号処理回路１２のような高速な読出しが可能な信号処理回路であってもよいし、高速信号処理回路１２よりも低速な読出しを実行する信号処理回路であってもよい。また、その他の構成は、第１の実施形態において図２を用いて説明した構成と同様であってよい。
　４．２　チップ構成
　図１９は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図１９では、図３と同様に、簡略化のため、ドライバ１６と不揮発性メモリ１７とが省略されている。
　図１９に示すように、イメージセンサ３０では、フレキシブルロジックチップ１３０とメモリチップ１５０との間に介在するプロセッサチップ１４０に、フレキシブルロジックチップ１３０のＦＰＧＡ１３１と、メモリチップ１５０のメモリ領域１５１におけるプログラマブルメモリ領域１５２とを直接的に接続するための貫通配線１４２が設けられている。ＦＰＧＡ１３１とプログラマブルメモリ領域１５２とは、この貫通配線１４２を介して直接接続されている。
　なお、貫通配線１４２は、例えば、プロセッサチップ１４０を貫通するＴＳＶ（Through　Silicon　Via）などであってよい。
　４．３　作用・効果
　以上のような構成によっても、上述した実施形態と同様に、イメージセンサ３０で取得された画像データに基づき、画像劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ３０が劣化した場合でも正確な画像データを取得することが可能になる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　５．第４の実施形態
　また、上述した第３の実施形態では、受光部１１と信号処理回路３２とが異なるチップ（受光チップ１１０及びアナログ・ロジックチップ１２０。図１９参照）に作り込まれていた場合を例示した。これに対し、第４の実施形態では、受光部１１と信号処理回路３２とが同一のチップに作り込まれている場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
　５．１　デバイス構成
　図２０は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図２０に示すように、本実施形態に係るイメージセンサ４０は、例えば、受光部＋信号処理回路４１と、フレキシブルロジック回路１３と、メインプロセッサ１４と、メモリ１５と、ドライバ１６と、不揮発性メモリ１７とを含んで構成される。フレキシブルロジック回路１３、メインプロセッサ１４、メモリ１５、ドライバ１６及び不揮発性メモリ１７、並びに、送受信部１８は、第１の実施形態において図２を用いて説明したそれらと同様であってよい。
　５．２　チップ構成
　図２１は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図２１では、図３と同様に、簡略化のため、ドライバ１６と不揮発性メモリ１７とが省略されている。
　図２１に示すように、イメージセンサ４０では、受光部１１を構成する光センサアレイ１１１と、信号処理回路３２を構成する画素回路１２１、ＡＤＣ１２２、ＣＤＳ回路１２３及びゲイン調整回路１２４とが、１つの受光チップ１１０に作り込まれた構成を備える。
　５．３　作用・効果
　以上のような構成によっても、上述した実施形態と同様に、イメージセンサ４０で取得された画像データに基づき、画像劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ４０が劣化した場合でも正確な画像データを取得することが可能になる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　６．第５の実施形態
　また、上述した第４の実施形態では、受光部１１と信号処理回路３２とが同一の受光チップ１１０（図２１参照）に作り込まれていた場合を例示した。これに対し、第５の実施形態では、信号処理回路３２とフレキシブルロジック回路１３とが同一のチップに作り込まれている場合について、例を挙げて説明する。なお、以下の説明において、上述した実施形態と同様の構成、動作及び効果については、それを引用することで、その重複する説明を省略する。
　６．１　デバイス構成
　図２２は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図２２に示すように、本実施形態に係るイメージセンサ５０は、例えば、受光部１１と、信号処理回路＋フレキシブルロジック回路５３と、メインプロセッサ１４と、メモリ１５と、ドライバ１６と、不揮発性メモリ１７とを含んで構成される。受光部１１、メインプロセッサ１４、メモリ１５、ドライバ１６及び不揮発性メモリ１７、並びに、送受信部１８は、第１の実施形態において図２を用いて説明したそれらと同様であってよい。
　６．２　チップ構成
　図２３は、本実施形態に係るイメージセンサのチップ構成を示す模式図である。なお、図２３では、図３と同様に、簡略化のため、ドライバ１６と不揮発性メモリ１７とが省略されている。
　図２３に示すように、イメージセンサ５０では、信号処理回路３２を構成する画素回路１２１、ＡＤＣ１２２、ＣＤＳ回路１２３及びゲイン調整回路１２４と、フレキシブルロジック回路１３を構成するＦＰＧＡ１３１（及びロジック回路１３２）とが、１つのフレキシブルロジックチップ１３０に作り込まれた構成を備える。
　６．３　作用・効果
　以上のような構成によっても、上述した実施形態と同様に、イメージセンサ５０で取得された画像データに基づき、画像劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ５０が劣化した場合でも正確な画像データを取得することが可能になる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　７．第６の実施形態
　上述した第１～第５の実施形態では、イメージセンサ１０、２０、３０、４０又は５０で取得した画像データをサーバ３側で解析することでその劣化の原因を特定し、特定された劣化原因に基づいて、サーバ３がＦＰＧＡ１３１の設定データ及び／又は回路データの更新データを生成する場合について例示した。これに対し、第６の実施形態では、通信デバイス側で画像データの解析から更新データの生成までを実行する場合について、例を挙げて説明する。
　７．１　デバイス構成
　図２４は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図２４に示すように、本実施形態に係る通信デバイスにおけるイメージセンサ１０は、例えば、第１の実施形態において図２を用いて説明したイメージセンサ１０と同様の構成を備える。ただし、本実施形態では、例えば、メインプロセッサ１４が、メモリ１５内に格納されている処理済み画像データを解析してその劣化の原因を特定し、特定された劣化原因に基づいて、ＦＰＧＡ１３１の設定データ及び／又は回路データの更新データを生成する。生成された設定データ及び／又は回路データの更新データは、上述した実施形態と同様に、メモリ１５における所定のプログラマブルメモリ領域１５２内に格納され、ＦＰＧＡ１３１に設定される。
　なお、メインプロセッサ１４は、上述した実施形態におけるサーバ３と同様に、過去のデータを機械学習することで学習済みモデルを生成し、生成した学習済みモデルを利用して設定データ及び／又は回路データの更新データを生成するように構成されてもよい。
　７．２　デバイス構成の変形例
　なお、図２４では、第１の実施形態をベースとした場合を例示したが、ベースとなるイメージセンサの構成は、第１の実施形態に限られない。例えば、図２５に示すように、第２の実施形態に係るイメージセンサ２０をベースとすることも可能であるし、図２６に示すように、第３の実施形態に係るイメージセンサ３０をベースとすることも可能であるし、図２７に示すように、第４の実施形態に係るイメージセンサ４０をベースとすることも可能であるし、図２８に示すように、第５の実施形態に係るイメージセンサ５０をベースとすることも可能である。
　７．３　作用・効果
　以上のように、画像データの解析から更新データの生成までを通信デバイス側で行なう構成とした場合でも、上述した実施形態と同様に、イメージセンサ１０、２０、３０、４０又は５０で取得された画像データに基づき、画像劣化を補正するように、ＦＰＧＡ１３１のパラメータや回路構成を変更することが可能となる。それにより、イメージセンサ１０、２０、３０、４０又は５０が劣化した場合でも正確な画像データを取得することが可能になる。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　８．第７の実施形態
　上述した第６の実施形態では、メインプロセッサ１４が機械学習を実行して学習済みモデルを作成し、それを用いて設定データ及び／又は回路データの更新データを生成する場合について例示したが、通信デバイス側で画像データの解析から更新データの生成までを実行する場合、通信デバイス内に機械学習を実行する専用のチップが設けられてもよい。
　８．１　デバイス構成
　図２９は、本実施形態に係る通信デバイスの概略構成例を示すブロック図である。図２９に示すように、本実施形態に係る通信デバイスにおけるイメージセンサ６０は、例えば、第６の実施形態において図２４を用いて説明したイメージセンサ１０と同様の構成に対し、機械学習を実行するＤＮＮ（Deep　Neural　Network）回路６１が追加された構成を備える。ＤＮＮ回路６１は、例えば、フレキシブルロジック回路１３とメインプロセッサ１４との間の層に配置されてもよい。
　８．２　ＤＮＮ解析処理
　図３０は、本実施形態に係るＤＮＮ解析処理（機械学習処理）の一例を説明するための図である。図３０に示すように、ＤＮＮ解析ステップＳ６００では、例えば、第１の実施形態において図６を用いて例示した、光電変換ステップＳ１００、信号処理ステップＳ２００、ベースステップＳ３００、制御系ステップＳ４００、及び、絵作りステップＳ５００の５つのステップのうち、信号処理ステップＳ２００、ベースステップＳ３００、制御系ステップＳ４００、及び、絵作りステップＳ５００それぞれの処理の結果が入力層に与えられる。ＤＮＮ解析ステップＳ６００は、入力層から隠れ層を介して出力層までの各層のノード（ニューロンともいう）間を結ぶ各エッジの重みを求めることで、画像データの劣化を低減するのに最適となる設定データ及び／又は回路データを出力層に出現させる学習済みモデルが作成される。
　ＤＮＮ回路６１及びメインプロセッサ１４は、以上のようにして作成された学習済みモデルを用いることで、画像データの劣化を低減するのに最適となる設定データ及び／又は回路データの更新データを生成し、作成した更新データを、メモリ１５のプログラマブルメモリ領域１５２に格納する。
　８．３　動作フロー
　つづいて、イメージセンサ６０の劣化を検出して補正する際の動作を、フローチャートを用いて詳細に説明する。図３１は、本実施形態に係る動作の概略例を示すフローチャートである。
　図３１に示すように、本動作では、まず、メインプロセッサ１４が、解析の繰返し回数を管理する値Ｎに１をセットする（ステップＳ２０１）。つづいて、高速信号処理回路１２を制御することで、受光部１１から画像データが読み出される（ステップＳ２０２）。
　次に、メインプロセッサ１４及びフレキシブルロジック回路１３が、取得した画像データに対して、図６に例示した各段階の処理を施し、それぞれの段階の結果をＤＮＮ回路６１に入力することで、画像データを解析する（ステップＳ２０３）。そして、メインプロセッサ１４は、解析結果に基づいて、画像劣化があるか否かを判定する（ステップＳ２０４）。
　画像劣化がない場合（ステップＳ２０４のＮＯ）、メインプロセッサ１４は、本動作を終了する。一方、画像劣化がある場合（ステップＳ２０４のＹＥＳ）、メインプロセッサ１４及びＤＮＮ回路６１は、ステップＳ２０３の解析結果に基づいて、イメージセンサ６０における画像劣化の原因となる箇所を解析し（ステップＳ２０５）、その解析結果に基づいて、新たな設定データ及び／又は回路データを生成する（ステップＳ２０６）。
　次に、メインプロセッサ１４は、生成した設定データ及び／又は回路データで、メモリ領域１５１のプログラマブルメモリ領域１５２に格納されているＦＰＧＡ１３１設定データ及び／又は回路データを更新し（ステップＳ２０７）、更新した設定データをＦＰＧＡ１３１に設定するとともに、更新した回路データをＦＰＧＡ１３１に組み込むことで、ＦＰＧＡ１３１の回路構成を変更する（ステップＳ２０８）。なお、受光部１１の光学系を駆動するアクチュエータや高速信号処理回路１２の各部に対する設定データを更新する場合には、この設定データで不揮発性メモリ１７内の所定のパラメータが更新される。これにより、ドライバ１６による各部の駆動が調整される。
　次に、メインプロセッサ１４は、繰返し回数Ｎを１インクリメントし（ステップＳ２０９）、インクリメント後の値Ｎが予め設定しておいた繰返し回数の上限値（本例では３）より大きいか否かを判定する（ステップＳ２１０）。繰返し回数Ｎが上限値以下である場合（ステップＳ２１０のＮＯ）、メインプロセッサ１４は、ステップＳ２０２へリターンし、再度、以降の動作を実行する。一方、繰返し回数Ｎが上限値よりも大きい場合（ステップＳ２１０のＹＥＳ）、メインプロセッサ１４は、本動作を終了する。
　８．４　作用・効果
　以上のように、ＤＮＮ回路６１を通信デバイス側に組み込むことで、通信デバイス側で機械学習に基づいて、画像データの解析から更新データの生成までを行なうことが可能となる。それにより、イメージセンサ１０、２０、３０、４０又は５０が劣化した場合でも正確な画像データを取得することが可能になる。
　なお、本実施形態では、第６の実施形態において図２４を用いて説明したイメージセンサ１０をベースとした場合を説明したが、これに限定されず、図２５～図２８を用いて説明したイメージセンサ２０、３０、４０又は５０など、他の実施形態をベースとすることも可能である。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　９．第８の実施形態
　また、上述した実施形態のうち、第１～第５の実施形態では、サーバ３側で画像データの解析から更新データの生成までを実行する場合を例示し、第６の実施形態では、通信デバイス側で画像データの解析から更新データの生成までを実行する場合を例示したが、画像データの解析から更新データの生成までを実行する構成は、サーバ３と通信デバイスとの何れか一方に限定されない。
　例えば、図３２に例示するように、画像データの解析から更新データの生成までを実行する構成を、サーバ３と通信デバイスとから選択できる構成とすることも可能である。
　例えば、通信デバイスがドローンや自動車や自律ロボットなどの移動するデバイスである場合、移動中は通信デバイス内で画像データの解析から更新データの生成までを実施し、停止中はサーバ３側で画像データの解析から更新データの生成までを実施する等、適宜切り替えて実行するように構成することも可能である。
　又は、画像データの解析から更新データの生成までの処理のうち、一部をサーバ３側で実行し、残りを通信デバイス側で実行するように構成することも可能である。
　画像データの解析から更新データの生成までの実行をサーバ３側で実行するか通信デバイス２側で実行するかの切替えは、例えば、メインプロセッサ１４又は不図示のアプリケーションプロセッサ（切替部）で実行されてよい。
　なお、本実施形態では、第１の実施形態において図２を用いて説明したイメージセンサ及び第６の実施形態において図２４を用いて説明したイメージセンサ１０をベースとした場合を説明したが、これに限定されず、他の実施形態をベースとすることも可能である。
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　１０．応用例
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　And　Ranging、Laser　Imaging　Detection　And　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図３３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１を用いて説明した本実施形態に係るセンサシステム１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図２を用いて説明した本実施形態に係る通信デバイス２は、図３３に示した応用例の統合制御ユニット７６００に適用することができる。例えば、通信デバイス２のメインプロセッサ１４、メモリ１５、送受信部１８は、統合制御ユニット７６００のマイクロコンピュータ７６１０、記憶部７６９０、車載ネットワークＩ／Ｆ７６８０に相当する。
　また、図２を用いて説明した通信デバイス２の少なくとも一部の構成要素は、図３３に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。さらに、図１を用いて説明したセンサシステム１は、図３３に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　センサ情報を取得するセンサと、
　前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡ（Field-Programmable　Gate　Array）と、
　前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
　を備えるセンサ装置。
（２）
　前記メモリ内の前記データは、前記センサ情報の解析結果に応じて更新される前記（１）に記載のセンサ装置。
（３）
　前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
　前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
　をさらに備え、
　前記メモリ内の前記データは、前記更新データで更新される
　前記（１）又は（２）に記載のセンサ装置。
（４）
　前記送信部は、無線により前記センサ情報を所定のネットワークへ送信し、
　前記受信部は、無線により前記所定のネットワークから前記更新データを受信する
　前記（３）に記載のセンサ装置。
（５）
　前記センサ情報を暗号化する暗号化部と、
　前記更新データの暗号化を解除する復号部と、
　をさらに備える前記（４）に記載のセンサ装置。
（６）
　前記センサ情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成し、当該生成された更新データで前記メモリ内の前記データを更新するプロセッサをさらに備える前記（１）又は（２）に記載のセンサ装置。
（７）
　前記センサ情報を機械学習により解析するＤＮＮ（Deep　Neural　Network）回路をさらに備え、
　前記プロセッサは、前記ＤＮＮ回路による前記機械学習の結果に基づいて前記センサ情報を解析する前記（６）に記載のセンサ装置。
（８）
　前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
　前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
　前記センサ情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成するプロセッサと、
　前記センサ情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と、
　をさらに備え、
　前記メモリ内の前記データは、前記受信部で受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
　前記（１）又は（２）に記載のセンサ装置。
（９）
　前記センサ情報は、画像データであり、
　前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含む
　前記（１）～（８）の何れか１項に記載のセンサ装置。
（１０）
　前記所定の処理は、黒レベル処理と、欠陥補正と、シェーディング補正と、歪み補正と、自動露光、自動フォーカス、自動ホワイトバランス調整と、同期処理と、リニアマトリックス処理と、ガンマ補正と、輝度色彩分離と、エッジ強調処理と、色差マトリックス処理と、リサイズ・ズームとのうち少なくとも１つを含む前記（９）に記載のセンサ装置。
（１１）
　前記データは、前記ＦＰＧＡに前記所定の処理を実行する回路構成を組み込むための回路データと、前記回路構成に設定するパラメータを含む設定データとを含む前記（１）～（１０）の何れか１項に記載のセンサ装置。
（１２）
　前記ＦＰＧＡと連携して前記所定の処理を実行するプロセッサをさらに備える前記（１）又は（２）に記載のセンサ装置。
（１３）
　前記センサを備える第１チップと、
　前記ＦＰＧＡを備える第２チップと、
　前記メモリを備える第３チップと、
　をさらに備え、
　前記第１～第３チップが積層されたスタック構造を備える
　前記（１）～（１２）の何れか１項に記載のセンサ装置。
（１４）
　前記第３チップは前記第１チップと前記第２チップとの間に位置する前記（１３）に記載のセンサ装置。
（１５）
　前記ＦＰＧＡと連携して前記所定の処理を実行するプロセッサを備える第４チップをさらに備え、
　前記スタック構造は、前記第１～第４チップが積層された構造を備える前記（１３）又は（１４）に記載のセンサ装置。
（１６）
　前記第１チップは、前記スタック構造の最上層に位置し、
　前記第４チップは、前記スタック構造の最下層に位置する
　前記（１５）に記載のセンサ装置。
（１７）
　前記センサ情報は、画像データであり、
　前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含み、
　前記第１チップは、前記受光部を備える第５チップと、前記信号処理回路を備える第６チップとを含む
　前記（１３）～（１６）の何れか１項に記載のセンサ装置。
（１８）
　センサ情報を取得するセンサと、
　前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡと、
　前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
　を備える電子機器。
（１９）
　電子機器とサーバとが所定のネットワークを介して接続されたセンサシステムであって、
　前記電子機器は、
　　センサ情報を取得するセンサと、
　　前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡと、
　　前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
　　前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
　　前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
　を備え、
　前記サーバは、前記所定のネットワークを介して前記電子機器から受信した前記センサ情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための前記更新データを生成し、当該生成された更新データを前記所定のネットワークへ送信し、
　前記メモリ内の前記データは、前記受信部が前記所定のネットワークを介して受信した前記更新データで更新される
　センサシステム。
（２０）
　センサで取得されたセンサ情報を解析するステップと、
　前記センサ情報の解析結果に応じて、前記センサ情報に所定の処理を実行するＦＰＧＡの回路構成及び前記回路構成の設定値のうちの少なくとも１つを変更するステップと、
　を備える制御方法。
　１　センサシステム
　２　通信デバイス
　３　サーバ
　１０、２０、３０、４０、５０、６０　イメージセンサ
　１１　受光部
　１２　高速信号処理回路
　１３　フレキシブルロジック回路
　１４　メインプロセッサ
　１５　メモリ
　１６　ドライバ
　１７　不揮発性メモリ
　１８　送受信部
　２１　受光部＋高速信号処理回路
　３２　信号処理回路
　４１　受光部＋信号処理回路
　５３　信号処理回路＋フレキシブルロジック回路
　６１　ＤＮＮ回路
　１１０　受光チップ
　１１１　光センサアレイ
　１２０　アナログ・ロジックチップ
　１２１　画素回路
　１２２　ＡＤＣ
　１２３　ＣＤＳ回路
　１２４　ゲイン調整回路
　１３０　フレキシブルロジックチップ
　１３１　ＦＰＧＡ
　１３２　ロジック回路
　１４０　プロセッサチップ
　１４１　ＭＰＵ
　１５０　メモリチップ
　１５１　メモリ領域
　１５２　プログラマブルメモリ領域
　１８１　ＤＡＣ
　１８２　送信アンテナ
　１８３　ＡＤＣ
　１８４　受信アンテナ
　１０１　光電変換
　２０１　Ａ／Ｄ，ＣＤＳ
　３０１　黒レベル処理
　３０２　欠陥補正
　３０３　シェーディング補正
　３０４　歪み補正
　４０１　制御系補正
　５０１　ＡＥ，ＡＦ，ＡＷＢ
　５０２　同期処理
　５０３　リニアマトリックス処理
　５０４　ガンマ補正
　５０５　輝度色彩分離
　５０６　エッジ強調処理
　５０７　色差マトリックス処理
　５０８　リサイズ・ズーム
　５０９　出力ＩＦ処理

Claims (20)

  1. 　センサ情報を取得するセンサと、
    　前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡ（Field-Programmable　Gate　Array）と、
    　前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
    　を備えるセンサ装置。
  2. 　前記メモリ内の前記データは、前記センサ情報の解析結果に応じて更新される請求項１に記載のセンサ装置。
  3. 　前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
    　前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
    　をさらに備え、
    　前記メモリ内の前記データは、前記更新データで更新される
    　請求項１に記載のセンサ装置。
  4. 　前記送信部は、無線により前記センサ情報を所定のネットワークへ送信し、
    　前記受信部は、無線により前記所定のネットワークから前記更新データを受信する
    　請求項３に記載のセンサ装置。
  5. 　前記センサ情報を暗号化する暗号化部と、
    　前記更新データの暗号化を解除する復号部と、
    　をさらに備える請求項４に記載のセンサ装置。
  6. 　前記センサ情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成し、当該生成された更新データで前記メモリ内の前記データを更新するプロセッサをさらに備える請求項１に記載のセンサ装置。
  7. 　前記センサ情報を機械学習により解析するＤＮＮ（Deep　Neural　Network）回路をさらに備え、
    　前記プロセッサは、前記ＤＮＮ回路による前記機械学習の結果に基づいて前記センサ情報を解析する請求項６に記載のセンサ装置。
  8. 　前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
    　前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
    　前記センサ情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための更新データを生成するプロセッサと、
    　前記センサ情報を、前記送信部を介して前記所定のネットワークへ送信するか、前記プロセッサに入力するかを切り替える切替部と、
    　をさらに備え、
    　前記メモリ内の前記データは、前記受信部で受信された前記更新データ、又は、前記プロセッサで生成された前記更新データで更新される
    　請求項１に記載のセンサ装置。
  9. 　前記センサ情報は、画像データであり、
    　前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含む
    　請求項１に記載のセンサ装置。
  10. 　前記所定の処理は、黒レベル処理と、欠陥補正と、シェーディング補正と、歪み補正と、自動露光、自動フォーカス、自動ホワイトバランス調整と、同期処理と、リニアマトリックス処理と、ガンマ補正と、輝度色彩分離と、エッジ強調処理と、色差マトリックス処理と、リサイズ・ズームとのうち少なくとも１つを含む請求項９に記載のセンサ装置。
  11. 　前記データは、前記ＦＰＧＡに前記所定の処理を実行する回路構成を組み込むための回路データと、前記回路構成に設定するパラメータを含む設定データとを含む請求項１に記載のセンサ装置。
  12. 　前記ＦＰＧＡと連携して前記所定の処理を実行するプロセッサをさらに備える請求項１に記載のセンサ装置。
  13. 　前記センサを備える第１チップと、
    　前記ＦＰＧＡを備える第２チップと、
    　前記メモリを備える第３チップと、
    　をさらに備え、
    　前記第１～第３チップが積層されたスタック構造を備える
    　請求項１に記載のセンサ装置。
  14. 　前記第３チップは前記第１チップと前記第２チップとの間に位置する請求項１３に記載のセンサ装置。
  15. 　前記ＦＰＧＡと連携して前記所定の処理を実行するプロセッサを備える第４チップをさらに備え、
    　前記スタック構造は、前記第１～第４チップが積層された構造を備える請求項１３に記載のセンサ装置。
  16. 　前記第１チップは、前記スタック構造の最上層に位置し、
    　前記第４チップは、前記スタック構造の最下層に位置する
    　請求項１５に記載のセンサ装置。
  17. 　前記センサ情報は、画像データであり、
    　前記センサは、複数の光電変換素子を備える受光部と、前記受光部から画像データを読み出す信号処理回路とを含み、
    　前記第１チップは、前記受光部を備える第５チップと、前記信号処理回路を備える第６チップとを含む
    　請求項１３に記載のセンサ装置。
  18. 　センサ情報を取得するセンサと、
    　前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡと、
    　前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
    　を備える電子機器。
  19. 　電子機器とサーバとが所定のネットワークを介して接続されたセンサシステムであって、
    　前記電子機器は、
    　　センサ情報を取得するセンサと、
    　　前記センサで取得された前記センサ情報に所定の処理を実行するＦＰＧＡと、
    　　前記ＦＰＧＡに前記所定の処理を実行させるためのデータを記憶するメモリと、
    　　前記所定の処理が実行された前記センサ情報を所定のネットワークへ送信する送信部と、
    　　前記所定のネットワークへ送信された前記センサ情報の解析結果に応じて生成された前記ＦＰＧＡを更新するための更新データを受信する受信部と、
    　を備え、
    　前記サーバは、前記所定のネットワークを介して前記電子機器から受信した前記センサ情報を解析し、当該解析の結果に応じて前記ＦＰＧＡを更新するための前記更新データを生成し、当該生成された更新データを前記所定のネットワークへ送信し、
    　前記メモリ内の前記データは、前記受信部が前記所定のネットワークを介して受信した前記更新データで更新される
    　センサシステム。
  20. 　センサで取得されたセンサ情報を解析するステップと、
    　前記センサ情報の解析結果に応じて、前記センサ情報に所定の処理を実行するＦＰＧＡの回路構成及び前記回路構成の設定値のうちの少なくとも１つを変更するステップと、
    　を備える制御方法。
PCT/JP2019/041441 2018-12-07 2019-10-23 センサ装置、電子機器、センサシステム及び制御方法 Ceased WO2020116046A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020207021409A KR102743121B1 (ko) 2018-12-07 2019-10-23 센서 장치, 전자기기, 센서 시스템 및 제어 방법
JP2020536817A JP7451407B2 (ja) 2018-12-07 2019-10-23 センサ装置、電子機器、センサシステム及び制御方法
DE112019000317.8T DE112019000317T5 (de) 2018-12-07 2019-10-23 Sensorvorrichtung, elektronische vorrichtung, sensorsystem undsteuerungsverfahren
US16/964,683 US11457143B2 (en) 2018-12-07 2019-10-23 Sensor device, electronic device, sensor system and control method
CN201980010155.4A CN111656144B (zh) 2018-12-07 2019-10-23 传感器设备、电子设备、传感器系统和控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-230398 2018-12-07
JP2018230398 2018-12-07

Publications (1)

Publication Number Publication Date
WO2020116046A1 true WO2020116046A1 (ja) 2020-06-11

Family

ID=70975322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041441 Ceased WO2020116046A1 (ja) 2018-12-07 2019-10-23 センサ装置、電子機器、センサシステム及び制御方法

Country Status (7)

Country Link
US (1) US11457143B2 (ja)
JP (1) JP7451407B2 (ja)
KR (1) KR102743121B1 (ja)
CN (1) CN111656144B (ja)
DE (1) DE112019000317T5 (ja)
TW (1) TWI811479B (ja)
WO (1) WO2020116046A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022025849A (ja) * 2020-07-30 2022-02-10 トヨタテクニカルディベロップメント株式会社 映像変換システム、映像変換方法及び映像変換プログラム
JP2022053481A (ja) * 2020-09-24 2022-04-05 キヤノン株式会社 信号処理装置、光電変換装置、光電変換システム、信号処理装置の制御方法およびプログラム
JP2023531294A (ja) * 2020-06-29 2023-07-21 アーバー・カンパニー・エルエルエルピイ プロセッサ非依存５Ｇモデムを有する３Ｄダイ・スタッキングの再構成可能プロセッサ・モジュールを使用するモバイルＩｏＴエッジ・デバイス
US11797067B2 (en) 2019-04-23 2023-10-24 Arbor Company, Lllp Systems and methods for reconfiguring dual-function cell arrays

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320821B2 (en) * 2018-12-11 2022-05-03 Airbus Helicopters Drone for industrial activities
JP2020136903A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
CN116132805B (zh) * 2019-04-26 2025-04-25 富士胶片株式会社 成像元件、摄像装置、成像元件的工作方法及存储介质
JP2021122106A (ja) * 2020-01-31 2021-08-26 キヤノン株式会社 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム
US11582414B2 (en) * 2020-09-24 2023-02-14 Canon Kabushiki Kaisha Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium
JP7691222B2 (ja) * 2020-10-09 2025-06-11 キヤノン株式会社 撮像装置、レンズ装置、カメラ本体、制御方法およびプログラム
KR20220061351A (ko) * 2020-11-06 2022-05-13 삼성전자주식회사 이미지 센서 및 이미지 센싱 장치
JP2022133135A (ja) * 2021-03-01 2022-09-13 キヤノン株式会社 撮像装置、撮像装置の制御方法、情報処理装置
US20240095512A1 (en) * 2022-09-15 2024-03-21 Tetramem Inc. Integrated sensing and machine learning processing devices
CN118034785B (zh) * 2024-04-11 2024-06-11 清华大学 指令压缩方法、装置、加速器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005035396A (ja) * 2003-07-15 2005-02-10 Stanley Electric Co Ltd 車載用情報処理装置
US20160356632A1 (en) * 2015-06-02 2016-12-08 Empire Technology Development Llc Sensor degradation compensation
JP2017191566A (ja) * 2016-04-15 2017-10-19 オムロン株式会社 画像処理装置、画像処理方法、情報処理プログラム、および記録媒体
WO2019116985A1 (ja) * 2017-12-13 2019-06-20 日立オートモティブシステムズ株式会社 演算システム、サーバ、車載装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682821B2 (ja) * 1988-04-13 1994-10-19 工業技術院長 固体撮像装置
JP3033575B1 (ja) 1999-02-17 2000-04-17 日本電気株式会社 画像処理装置
JP2006019932A (ja) * 2004-06-30 2006-01-19 Canon Inc 処理装置及び撮像装置
JP5747327B2 (ja) * 2011-08-26 2015-07-15 学校法人 名城大学 情報セキュリティシステム，ホスト，デバイス，その制御方法
US9496247B2 (en) * 2013-08-26 2016-11-15 Optiz, Inc. Integrated camera module and method of making same
JP2015061164A (ja) * 2013-09-18 2015-03-30 株式会社リコー 電子機器、データ通信システム、および情報処理方法
KR101545951B1 (ko) * 2013-12-02 2015-08-21 (주)실리콘화일 이미지 처리 패키지 및 이를 구비하는 카메라 모듈
CN105427449A (zh) * 2015-10-30 2016-03-23 新达通科技股份有限公司 一种纸币图像光补偿校正方法及验钞识别装置、atm机
JP2017129951A (ja) * 2016-01-19 2017-07-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
KR102403468B1 (ko) * 2016-05-06 2022-05-31 스몰텍 에이비 어셈블리 플랫폼
JP2018026682A (ja) 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法
JP2018055648A (ja) * 2016-09-30 2018-04-05 株式会社日立製作所 アクセラレーションシステム及びアクセラレーション方法
JP6661522B2 (ja) * 2016-12-12 2020-03-11 株式会社日立製作所 衛星画像処理システム及び方法
EP3619727A4 (en) * 2017-05-02 2021-02-17 L. Pierre De Rochemont HIGH SPEED SEMICONDUCTOR CHIP STACK
US20180370502A1 (en) * 2017-06-27 2018-12-27 Dura Operating, Llc Method and system for autonomous emergency self-learning braking for a vehicle
TWM555538U (zh) * 2017-10-12 2018-02-11 天鉞電子股份有限公司 照明監視設備

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005035396A (ja) * 2003-07-15 2005-02-10 Stanley Electric Co Ltd 車載用情報処理装置
US20160356632A1 (en) * 2015-06-02 2016-12-08 Empire Technology Development Llc Sensor degradation compensation
JP2017191566A (ja) * 2016-04-15 2017-10-19 オムロン株式会社 画像処理装置、画像処理方法、情報処理プログラム、および記録媒体
WO2019116985A1 (ja) * 2017-12-13 2019-06-20 日立オートモティブシステムズ株式会社 演算システム、サーバ、車載装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797067B2 (en) 2019-04-23 2023-10-24 Arbor Company, Lllp Systems and methods for reconfiguring dual-function cell arrays
US12287687B2 (en) 2019-04-23 2025-04-29 Arbor Company, Lllp Systems and methods for integrating batteries to maintain volatile memories and protect the volatile memories from excessive temperatures
JP2023531294A (ja) * 2020-06-29 2023-07-21 アーバー・カンパニー・エルエルエルピイ プロセッサ非依存５Ｇモデムを有する３Ｄダイ・スタッキングの再構成可能プロセッサ・モジュールを使用するモバイルＩｏＴエッジ・デバイス
JP7402357B2 (ja) 2020-06-29 2023-12-20 アーバー・カンパニー・エルエルエルピイ プロセッサ非依存５Ｇモデムを有する３Ｄダイ・スタッキングの再構成可能プロセッサ・モジュールを使用するモバイルＩｏＴエッジ・デバイス
US11895191B2 (en) 2020-06-29 2024-02-06 Arbor Company, Lllp Mobile IoT edge device using 3D-die stacking re-configurable processor module with 5G processor-independent modem
US12470628B2 (en) 2020-06-29 2025-11-11 Arbor Company, Lllp Mobile IoT edge device using 3D-die stacking re-configurable processor module with 5G processor-independent modem
JP2022025849A (ja) * 2020-07-30 2022-02-10 トヨタテクニカルディベロップメント株式会社 映像変換システム、映像変換方法及び映像変換プログラム
JP7355717B2 (ja) 2020-07-30 2023-10-03 トヨタテクニカルディベロップメント株式会社 映像変換システム、映像変換方法及び映像変換プログラム
JP2022053481A (ja) * 2020-09-24 2022-04-05 キヤノン株式会社 信号処理装置、光電変換装置、光電変換システム、信号処理装置の制御方法およびプログラム
JP7784244B2 (ja) 2020-09-24 2025-12-11 キヤノン株式会社 信号処理装置、光電変換装置、光電変換システム、信号処理装置の制御方法およびプログラム

Also Published As

Publication number Publication date
JPWO2020116046A1 (ja) 2021-10-14
TW202038088A (zh) 2020-10-16
KR20210098839A (ko) 2021-08-11
US20200351440A1 (en) 2020-11-05
DE112019000317T5 (de) 2020-10-08
US11457143B2 (en) 2022-09-27
KR102743121B1 (ko) 2024-12-16
CN111656144A (zh) 2020-09-11
CN111656144B (zh) 2024-08-16
TWI811479B (zh) 2023-08-11
JP7451407B2 (ja) 2024-03-18

Similar Documents

Publication Publication Date Title
JP7451407B2 (ja) センサ装置、電子機器、センサシステム及び制御方法
US20210306581A1 (en) Solid-state imaging device, electronic apparatus, lens control method, and vehicle
US10885389B2 (en) Image processing device, image processing method, learning device, and learning method
US10704957B2 (en) Imaging device and imaging method
JPWO2017141746A1 (ja) 撮像装置、撮像制御方法、およびプログラム
JP6977722B2 (ja) 撮像装置、および画像処理システム
CN109644241B (zh) 图像处理设备和图像处理方法
JP2018207453A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
US20230204769A1 (en) Ranging device, electronic device, sensor system, and control method
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US20250317662A1 (en) Sensor device
WO2024150690A1 (ja) 固体撮像装置
WO2024154616A1 (ja) 光検出装置及び電子機器
WO2021229983A1 (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020536817

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893643

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19893643

Country of ref document: EP

Kind code of ref document: A1