[go: up one dir, main page]

TW202038088A - 感測器裝置、電子機器、感測器系統及控制方法 - Google Patents

感測器裝置、電子機器、感測器系統及控制方法 Download PDF

Info

Publication number
TW202038088A
TW202038088A TW108140571A TW108140571A TW202038088A TW 202038088 A TW202038088 A TW 202038088A TW 108140571 A TW108140571 A TW 108140571A TW 108140571 A TW108140571 A TW 108140571A TW 202038088 A TW202038088 A TW 202038088A
Authority
TW
Taiwan
Prior art keywords
sensor
data
circuit
fpga
processing
Prior art date
Application number
TW108140571A
Other languages
English (en)
Other versions
TWI811479B (zh
Inventor
瀬田渉二
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202038088A publication Critical patent/TW202038088A/zh
Application granted granted Critical
Publication of TWI811479B publication Critical patent/TWI811479B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Studio Devices (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Image Processing (AREA)

Abstract

本發明即使於感測器劣化之情形下亦可取得正確之資訊。實施形態之感測器裝置具備：感測器(11)，其取得感測器資訊；FPGA(Field-Programmable Gate Array，場可程式化閘陣列)(12)，其對以上述感測器取得之上述感測器資訊執行特定處理；及記憶體(15)，其記憶用以使上述FPGA執行上述特定處理之資料。

Description

感測器裝置、電子機器、感測器系統及控制方法
本揭示係關於一種感測器裝置、電子機器、感測器系統及控制方法。
近年來，隨著IoT(Internet of Things：物聯網)向社會之浸透，將感測器或器件等「物件」通過網際網路連接於雲端或霧端或伺服器等進行資訊交換，藉此，於「物件」彼此相互控制的系統開發如火如荼。又，活用藉由IoT收集之大數據向使用者提供各種服務之系統之開發亦如火如荼地進行。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2000-235644號公報 [專利文獻2]日本專利特開2018-26682號公報
[發明所欲解決之問題]
然而，不限於IoT，於使用相機等感測器取得資訊之情形時，感測器自身因使用或經年等劣化，藉此，存在無法收集正確資訊之問題。
因此，本揭示中，提案一種於感測器劣化之情形時，亦可取得正確資訊的感測器裝置、電子機器、感測器系統及控制方法。 [解決問題之技術手段]
為解決上述問題，本揭示之一形態之感測器裝置具備：感測器，其取得感測器資訊；FPGA(Field-Programmable Gate Array：場可程式化閘陣列)，其對以上述感測器取得之上述感測器資訊執行特定處理；及記憶體，其記憶用以使上述FPGA執行上述特定處理之資料。
於以下，基於圖式對本揭示之一實施形態詳細地進行說明。另，以下之實施形態中，藉由對同一部位標註同一符號而省略重複之說明。
又，按照以下所示之項目順序說明本揭示。 1.開端 2.第1實施形態 2.1 系統構成 2.2 器件構成 2.3 堆疊構造 2.4 影像感測器之動作 2.5 各處理與晶片之關係 2.6 影像感測器之劣化修正 2.7 劣化修正之順序 2.8 圖像資料之解析(機械學習) 2.9 動作流程 2.9.1 通信器件側之動作 2.9.2 伺服器側之動作 2.10 設定資料/電路資料之變更 2.11 高速處理之方法 2.12 作用、效果 3. 第2實施形態 3.1 器件構成 3.2 晶片構成 3.3 作用、效果 4.第3實施形態 4.1 器件構成 4.2 晶片構成 4.3 作用、效果 5. 第4實施形態 5.1 器件構成 5.2 晶片構成 5.3 作用、效果 6. 第5實施形態 6.1 器件構成 6.2 晶片構成 6.3 作用、效果 7. 第6實施形態 7.1 器件構成 7.2 器件構成之變化例 7.3 作用、效果 8. 第7實施形態 8.1 器件構成 8.2 DNN解析處理 8.3 動作流程 8.4 作用、效果 9. 第8實施形態 10. 應用例
1.開端 當前，作為相機模組等之搭載感測器之器件，存在例如智慧型手機或行動電話等之穿戴式終端、定點相機或監視相機等之固定之攝像器件、無人機、汽車、家庭內機器人、工廠自動化(FA)機器人、監視機器人、自動機器人等之移動之器件、醫療機器等各種器件，但該等器件中，因規格頻率或使用年數增加，相機產生經年劣化。例如，作為相機經年劣化之情形時浮現之問題，可例示如下之項目。
第1，隨著相機劣化之畫質或控制等之調整必須使用個人電腦等變更設定值，產生向廠家等提交修理等手續。
第2，可藉由更新組入至器件之軟體來變更畫質或控制等，但由於畫質或控制等之變化於每台器件上具有個體差，故於軟體更新中難以進行個別之調整。
第3，對於汽車或無人機或各種機器人等即時地解析圖像資料，並基於該結果自動移動之器件，畫質劣化或發生控制調整不良之情形時，必須即時地修正設定值。
第4，醫療領域中，例如，於膠囊內視鏡等之相機劣化之情形時，需要再檢查，致使在體力或費用等方面對患者之負擔增大。
第5，以器件自身進行畫質或控制等之調整之情形時，必須將調整用之系統組入至器件內，或連接外部之系統與器件，作為整體系統構成大型化，因此，致使成本或設置面積或重量等增加。
第6，需要即時之圖像解析之器件中，按順序執行各階段之處理，但於該情形時，因各階段中共用記憶體之構造，故於例如插入分配處理之情形時，致使處理時間相當長。
因此，於以下之實施形態中，對即便於相機等之感測器因使用或經年等劣化之情形時，亦可取得正確之資訊的感測器裝置、電子機器、感測器系統及控制方法，舉例進行說明。
2.第1實施形態 首先，對第1實施形態，參照圖式詳細地進行說明。另，本實施形態中，例示將修正劣化之對象之感測器設為影像感測器，將搭載其之器件設為通信器件之情形。然而，感測器不限定於影像感測器，亦可適用溫度感測器或濕度感測器或放射線計測器等各種感測器。
2.1 系統構成 圖1係顯示本實施形態之感測器系統1之概略構成例之模式圖。如圖1所示，感測器系統1具備將具備通信功能之1台以上之通信器件2與伺服器3經由網路4連接的構成。
通信器件2除攝像功能外，如上所述，具備用以經由網路4與伺服器3通信之通信功能。另，作為通信器件2，可適用智慧型手機或行動電話等穿戴式終端、定點相機或監視相機等之固定之攝像器件、無人機、汽車、家庭內機器人、工廠自動化(FA)機器人、監視機器人、自動機器人等移動之器件、醫療機器等具備感測功能與通信功能之各種器件。
伺服器3可為例如雲端伺服器或霧端伺服器等連接於網路之各種伺服器。又，對網路4可適用例如網際網路或LAN(Local Area Network：局域網路)或移動體通信網或公眾線路網等各種網路。
2.2 器件構成 圖2係顯示作為本實施形態之電子機器之通信器件之概略構成例的方塊圖。如圖2所示，通信器件2具備例如作為固體攝像裝置之影像感測器10與收發部18。影像感測器10構成為包含例如受光部11、高速信號處理電路12、可撓性邏輯電路13、主處理器14、記憶體15、驅動器16及非揮發性記憶體17。
受光部11具備例如沿列方向及行方向二維矩陣狀排列光電二極體等光電轉換元件的光感測器陣列(亦稱為像素陣列)、與設置於光感測器陣列之受光面之透鏡等光學系統及驅動其之致動器。
高速信號處理電路12包含：ADC等類比電路，其將自受光部11之各光電轉換元件讀出之類比之像素信號轉換成數位之像素信號；及邏輯電路，其基於以ADC轉換成數位值之像素信號執行CDS(correlated double sampling：相關雙重取樣)處理等之數位處理。
記憶體15儲存自高速信號處理電路12輸出之數位之圖像資料。又，記憶體15儲存於後述之可撓性邏輯電路13或主處理器14中實施特定處理後之圖像資料。再者，記憶體15亦儲存用以於可撓性邏輯電路13所含之FPGA(Field-Programmable Gate Array：場可程式化閘陣列)實現特定之電路構成之各種資料。以下，將用以連接FPGA之邏輯組件實現電路構成之資料稱為電路資料，將對藉由電路資料實現之電路構成賦予之參數稱為設定資料。
可撓性邏輯電路13如上所述包含FPGA，且藉由與後述之主處理器14協作，對儲存於記憶體15之圖像資料，執行黑色位準處理、缺陷修正、陰影修正、失真修正、線性矩陣距離、伽馬修正、亮度色彩分離、邊緣強調處理、色差矩陣處理、調整尺寸/縮放等處理。又，可撓性邏輯電路13除此以外亦執行控制系統修正、自動曝光(AE)、自動聚焦(AF)、自動白平衡調整(AWB)、同步處理輸出介面(IF)處理等各種處理。
主處理器14控制通信器件2內之各部。又，主處理器14與可撓性邏輯電路13協作動作，藉此，將上述列舉之各種處理設為管線處理而執行。
驅動器16包含例如垂直驅動電路或水平傳送電路或時序控制電路等，且藉由驅動高速信號處理電路12中後述之像素電路，使高速信號處理電路12執行自受光部11讀出像素信號。又，驅動器16亦執行驅動受光部11中之透鏡或快門等光學系統之致動器之控制。
非揮發性記憶體17以例如EEPROM(Electrically Erasable Programmable Read-Only Memory：電子可抹除可程式化唯讀記憶體))等構成，且記憶驅動器16控制高速信號處理電路12內之各種電路或受光部11內之致動器時之參數等。
收發部18為用以經由網路4與伺服器3通信之通信部，具備例如DAC181，其對發送資料進行DA(Digital to Analog：數位轉類比)轉換；發送天線182，其向網路4發送經DA轉換之資料；接收天線184，其自網路4接收資料；及ADC183，其對以接收天線184接收到之資料進行AD (Analog to Digital：類比轉數位)轉換。然而，收發部18不限定於無線，亦可為有線。
2.3 堆疊構造 圖3係顯示本實施形態之影像感測器之晶片構成之模式圖。另，圖3中，為簡化而省略驅動器16與非揮發性記憶體17。
如圖3所示，影像感測器10中之例如受光部11、高速信號處理電路12、可撓性邏輯電路13、主處理器14及記憶體15分別以1個晶片構成。
受光部11具備於包含半導體基板之受光晶片110製作入光感測器陣列111之構成。高速信號處理電路12具備於包含半導體基板之類比/邏輯晶片120，製作入像素電路121、ADC122、CDS電路123及增益調整電路124之構成。另，增益調整電路124可為例如以RGB各者調整CDS處理後之數位之像素信號之增益的電路。
可撓性邏輯電路13具備於包含半導體基板之可撓性邏輯晶片130製作入FPGA131之構成。主處理器14具備於包含半導體基板之處理器晶片140製作入MPU(Micro Processing Unit：微處理單元)141之構成。另，形成於處理器晶片140之MPU141不限定於1個，亦可為複數個。
記憶體15具備於包含半導體基板之記憶體晶片150製作入SRAM(Static RAM：靜態RAM)或DRAM(Dynamic RAM：動態RAM)等記憶體區域151之構成。記憶體區域151中之一部分區域作為用以於FPGA131設定電路構成之電路資料或用以儲存該設定資料之記憶體區域(以下稱為可程式化記憶體區域)152使用。
各晶片110、120、130、140及150以圖3所示之順序自上而下地積層。因此，影像感測器10具備將受光晶片110、類比/邏輯晶片120、記憶體晶片150、可撓性邏輯晶片130及處理器晶片140依序積層而成的堆疊構造。
另，構成影像感測器10之其他構成，例如驅動器16及非揮發性記憶體17可分別獨立或製作入共用之晶片，亦可製作入晶片110、120、130、140及150中之任一晶片。同樣地，收發部18可製作入獨立之晶片，亦可製作入上述晶片之任一者。
又，於可撓性邏輯晶片130，不僅製作入FPGA131，亦可如圖4或圖5所例示，製作入邏輯電路132。另，圖4係例示將FPGA131與邏輯電路132分別製作入分離之區域之情形，圖5係例示於邏輯電路132之一部分製作入FPGA131之情形。
再者，本實施形態中，例示將各個製作入個別晶片110、120、130、140及150之受光部11、高速信號處理電路12、可撓性邏輯電路13、主處理器14及記憶體15積層的堆疊構造，但如上述之實施形態般，堆疊構造可進行各種變化。例如，將智慧型手機或行動電話等穿戴式終端、定點相機或監視相機等之固定之攝像器件等不要求高速之圖像處理之器件設為通信器件2之情形時，可藉由將主處理器14、可撓性邏輯電路13及記憶體15設為一個晶片，而抑制製造成本。又，將無人機、汽車、家庭內機器人、工廠自動化(FA)機器人、監視機器人、自動機器人等移動之器件設為通信器件2之情形時，可藉由設為如本實施形態或後述之實施形態中例示之堆疊構造，而提高處理速度並提高即時性。
2.4 影像感測器之動作 接著，使用圖6對圖2所示之通信器件2中之影像感測器10之動作進行說明。
如圖6所示，影像感測器10執行之動作大致可分為光電轉換步驟S100、信號處理步驟S200、基礎步驟S300、控制系統步驟S400及繪製步驟S500之5個階段。
光電轉換步驟S100中，受光部11中之光電轉換元件執行將入射之光轉換成對應於入射光量之電荷的光電轉換101。
信號處理步驟S200中，蓄積於光電轉換元件之電荷藉由高速信號處理電路12中之像素電路作為類比之圖像信號被讀出。另，高速信號處理電路12可為例如採用以列單位讀出像素信號之方式等能自複數個像素同時讀出像素信號的方式之信號處理電路。
讀出之類比之像素信號被高速信號處理電路12中之ADC轉換成數位之像素信號(201)。接著，對經AD轉換之像素信號，由高速信號處理電路12中之CDS電路執行CDS處理(201)。藉此，產生經去除雜訊之圖像資料。產生之圖像資料暫時儲存於記憶體15。
基礎步驟S300中，對儲存於記憶體15之圖像資料，依序執行黑色位準處理301、缺陷修正302、陰影修正303及失真修正304。
另，黑色位準處理301可為例如去除因受光部11中產生之暗電流等而產生之雜訊，修正圖像資料之黑色位準的處理。
缺陷修正302可為例如基於相鄰像素之像素值等內插因元件不良等缺失之像素之像素值的處理。
陰影修正303可為修正因光源之方向或透鏡像差之影響所致之亮度不均的處理。
失真修正304可為修正像高較高區域中之因透鏡等引起之圖像失真的處理。
控制系統步驟S400中，執行修正驅動器16驅動受光部11之致動器或像素電路時使用之各種參數的控制系統修正401。另，控制系統步驟S400不限於在信號處理步驟S200之後執行，亦可於任意之時序執行。
繪製步驟S500中，依序執行自動曝光(AE)、自動聚焦(AF)及自動白平衡調整(AWB)(501)、同步處理502、線性矩陣處理503、伽馬修正504、亮度色彩分離505、邊緣強調處理506、色差矩陣處理507及調整尺寸/縮放508。
另，自動曝光(AE)可為自動調整對受光部11之光電轉換元件蓄積電荷之時間之處理。又，自動聚焦(AF)可為使受光部11之光學系統之焦點自動對準之處理。再者，自動白平衡調整(AWB)可為藉由調整由高速信號處理電路12之像素電路讀出之R/G/B值各者之增益而自動調整白色位準的處理。
同步處理502可為使非同步處理之結果同步之處理。
線性矩陣處理503可為將由高速信號處理電路12之像素電路讀出之R/G/B值進行矩陣轉換，藉此，將受光部11之輸入分光特性調整為理想值的處理。
伽馬修正504可為以顯示器件(例如CRT(Cathode Ray Tube：陰極射線管)之伽馬特性修正圖像資料之亮度位準的處理。
亮度色彩分離505亦稱為YC轉換，可為轉換R/G/B之圖像資料之顏色空間，產生Y/B-Y/R-Y之圖像資料之處理。
邊緣強調處理506可為用以藉由補償圖像資料之空間頻率特性之劣化、或強調輪廓來改善因空間頻率特性劣化所致之輪廓模糊的處理。
色差矩陣處理507可為藉由對YC轉換後之圖像資料中之B-Y/R-Y進行矩陣轉換，不使亮度變化地調整色相或飽和度的處理。
調整尺寸/縮放508可為配合顯示器件之顯示尺寸變更圖像資料之大小或縮放特定區域之處理。
隨後，執行將上述處理後之圖像資料(以下稱為處理過之圖像資料)經由未圖示之介面向外部之ISP(Image Signal Processor：圖像信號處理器)或AP(Application Processor：應用處理器)等輸出的輸出IF處理509。另，例如於NTSC之情形時，輸出IF處理509可為包含YUV或編碼或相機環等之處理。又，處理過之圖像資料例如可暫時再次地儲存於記憶體15後向外部輸出，亦可自可撓性邏輯電路13或主處理器14經由介面直接輸出。
2.5 各處理與晶片之關係 以上之流程中，例如於受光部11之光感測器陣列111中執行光電轉換101。又，例如於高速信號處理電路12之ADC122及CDS電路123中執行A/D及CDS201。
黑色位準處理301、缺陷修正302、陰影修正303、失真修正304、控制系統修正401、AE、AF及AWB501、同步處理502、線性矩陣處理503、伽馬修正504、亮度色彩分離505、邊緣強調處理506、色差矩陣處理507、調整尺寸/縮放508及輸出IF處理509藉由例如自可程式化記憶體區域152將用以實現各個電路構成之電路資料讀入至可撓性邏輯電路13中之FPGA131，且將針對各電路構成之設定資料登錄至對應之暫存器而執行。因此，可藉由變更設定資料或電路資料而調整針對各處理之輸入之輸出。
另，如圖4或圖5所例示，將可撓性邏輯電路13之一部分設為FPGA131，將剩餘部分設為邏輯電路132之情形時，可構成為由FPGA131執行缺陷修正302、陰影修正303、失真修正304、控制系統修正401、AE、AF及AWB501、同步處理502、線性矩陣處理503及邊緣強調處理506，由邏輯電路132執行黑色位準處理301、伽馬修正504、亮度色彩分離505、色差矩陣處理507、調整尺寸/縮放508及輸出IF處理509。
又，主處理器14與可撓性邏輯電路13協作動作以對可撓性邏輯電路13執行之各處理進行管線處理。
2.6 影像感測器之劣化修正 上述之構成中，影像感測器10之例如光感測器陣列111因規格頻率或使用年數增加而經年劣化。此種影像感測器10之劣化可藉由變更例如FPGA131之電路構成或其參數而予以修正。
因此，本實施形態中，始終、定期或於任意之時序檢測影像感測器10之劣化狀態，對應於檢測出之劣化狀態，變更FPGA131之電路構成及/或其參數。藉此，由於可對應於劣化狀態將影像感測器10客製化，故即便於影像感測器10因使用或經年等劣化之情形，亦可取得正確之資訊(例如圖像資料)。
影像感測器10之劣化修正藉由例如將以影像感測器10取得之圖像資料經由網路4向伺服器3發送而執行。
伺服器3藉由解析例如經由網路4自通信器件2接收到之圖像資料，而特定影像感測器10中之劣化部位或劣化原因。接著，伺服器3以修正特定出之劣化部位或劣化原因為目的，產生要設定於影像感測器10之可撓性邏輯電路13之FPGA131之設定資料及/或電路資料，並將產生之設定資料及/或電路資料經由網路4向通信器件2發送(反饋)。
自伺服器3接收到設定資料及/或電路資料之通信器件2將其儲存於影像感測器10中之記憶體15。影像感測器10藉由將儲存於記憶體15之設定資料及/或電路資料設定於FPGA131，而修正劣化部位或劣化原因。
另，用以修正劣化部位或劣化原因之設定資料及/或電路資料可使用藉由機械學習過去之資料所得之學習過之模型而產生。
2.7 劣化修正之順序 作為於伺服器3側解析圖像資料並變更通信器件2中之可撓性邏輯電路13之設定及/或電路構成之順序，可例示如下之方法。
首先，第1，自通信器件2向伺服器3發送圖像資料。 第2，於伺服器3側解析圖像資料(機械學習)。 第3，於伺服器3中基於解析結果產生設定資料及/或電路資料。 第4，將產生之設定資料及/或電路資料自伺服器3向通信器件2反饋(二進制傳送)。 第5，將通信器件2中接收到之設定資料及/或電路資料寫入至記憶體15之可程式化記憶體區域152中之特定位址。 第6，藉由下載可程式化記憶體區域152內之設定資料及/或電路資料，於FPGA131構成新電路，或變更FPGA131中實現之電路構成之參數。
可藉由於例如每個訊框執行如上之動作，而始終進行FPGA131之更新。
另，作為FPGA131之層構成，有僅以FPGA131構成者(參照圖3)，有以FPGA131與邏輯電路132構成者(參照圖4)，有混載FPGA131與邏輯電路132者(以FPGA131對基礎之邏輯電路132進行電路變更者，參照圖5)等，可根據用途適當變更。
又，亦可實現基於伺服器3側中之機械學習之結果，對FPGA131追加新電路，或為提高速度而變更FPGA131之電路構成(例如，削減一部分功能)等。例如，亦可藉由變更FPGA131之電路構成而將自高速信號處理電路12輸出之圖像資料自10位元之圖像資料變更為14位元之圖像資料，或變更為8位元之圖像資料。
2.8 圖像資料之解析(機械學習) 影像感測器10之劣化狀態可藉由例如解析以影像感測器10取得之圖像資料而判斷。圖像資料之解析中，例如，於伺服器3側預先保管以影像感測器10取得之圖像資料，於圖像資料解析時，比較保管之圖像資料與新取得之圖像資料，藉此，可判斷影像感測器10是否劣化。
此時，作為預先保管於伺服器3側之圖像資料，可使用於通信器件2出貨前取得之圖像資料、或於將通信器件2遞交給使用者之手時之初期設定時取得之圖像資料等之影像感測器10之經年劣化較小之階段的圖像資料。
又，為判斷劣化而自通信器件2向伺服器3發送之圖像資料可為於任意之時序取得之圖像資料，亦可為滿足特定條件時取得之圖像資料。另，作為特定條件，可為拍攝與伺服器3中保管之圖像資料相同區域之圖像資料、或以與拍攝伺服器3中保管之圖像資料時相同之照度條件下拍攝之圖像資料等。
或者，例如，於影像感測器10具備機械快門之情形時，可構成為將機械快門關閉之狀態下取得之圖像資料保管於伺服器3側，於劣化判斷時，同樣於將機械快門關閉之狀態下取得圖像資料，並向伺服器3發送該圖像資料。於該情形時，可自黑色位準或雜訊或缺陷像素等確認影像感測器10之劣化狀態。
又，圖像資料之解析中，例如，藉由機械學習來學習圖像資料劣化之狀態與其原因並構建學習過之模型，藉此，可提高以後解析時之原因探究之正確性與迅速性。另，作為機械學習之方法，可使用RNN (Recurrent Neural Network：遞迴神經網路)或CNN(Convolution Neural Network：卷積神經網路)等各種方法。
2.9 動作流程 接著，使用流程圖詳細地說明檢測影像感測器10之劣化並修正時之動作。圖7係顯示本實施形態之通信器件之概略動作例之流程圖。圖8係顯示本實施形態之伺服器之概略動作例之流程圖。
2.9.1 通信器件側之動作 如圖7所示，通信器件2首先始終或定期地對伺服器3請求解析以影像感測器10取得之圖像資料(步驟S101)，並等待自伺服器3接收允許解析之回應(步驟S102為否(NO))。自伺服器3接收到允許解析之回應時(步驟S102為是(YES))，通信器件2將管理重複解析之次數之值N設為1(步驟S103)。接著，通信器件2驅動影像感測器10取得圖像資料(步驟S104)。此時取得之圖像資料可為實施過圖6所示之各階段之處理之處理過之圖像資料。
接著，通信器件2將處理過之圖像資料DA轉換成類比資料後加密(步驟S105)。另，加密可於例如主處理器14或未圖示之應用處理器(加密部)中執行。接著，通信器件2將加密過之圖像資料經由網路4向伺服器3發送(步驟S106)，並等待來自伺服器3之回應(步驟S107為否)。對此，伺服器3如後述使用圖8所說明，解析自通信器件2接收到之圖像資料，且於認為有圖像劣化之情形時，為消除該圖像劣化，產生設定於FPGA131之設定資料。
自伺服器3接收到無圖像劣化之解析結果之情形時(步驟S107為是)，通信器件2結束本動作。另一方面，接收到有圖像劣化之主旨之解析結果之情形時(步驟S107為否)，通信器件2自伺服器3經由網路4接收加密過之設定資料(步驟S108)，並解除接收到之加密過之設定資料之加密(步驟S109)。另，解除(解碼)加密可於例如主處理器14或未圖示之應用處理器(解碼部)中執行。接著，通信器件2以經解除加密之設定資料，更新儲存於記憶體區域151之可程式化記憶體區域152之FPGA131之設定資料(步驟S110)，並將更新之設定資料設定於FPGA131(步驟S111)。另，於接收到之設定資料中包含針對驅動受光部11之光學系統之致動器或高速信號處理電路12各部之設定資料之情形時，通信器件2以該設定資料更新非揮發性記憶體17內之特定參數。藉此，調整驅動器16之各部之驅動。
接著，通信器件2將重複次數N增加1(步驟S112)，判定增加後之值N是否大於預先設定之重複次數之上限值(本例中為3)(步驟S113)。於重複次數N為上限值以下之情形時(步驟S113為否)，通信器件2返回至步驟S104，再次執行以後之動作。另一方面，重複次數N大於上限值之情形時(步驟S113為是)，通信器件2進行至步驟S114。
步驟S114中，通信器件2將重複次數N重設為1。接著，通信器件2與上述之步驟S104～107同樣地，將自影像感測器10取得之圖像資料進行DA轉換後加密並向伺服器3發送(步驟S106)，隨後，等待來自伺服器3之回應(步驟S115～S118)。對此，伺服器3如後述使用圖8所說明，解析自通信器件2接收到之圖像資料，且於認定有圖像劣化之情形時，為消除該圖像劣化，產生組入至FPGA131之電路資料。
自伺服器3接收到無圖像劣化之解析結果之情形時(步驟S118為是)，通信器件2結束本動作。另一方面，接收到有圖像劣化之主旨之解析結果之情形時(步驟S118為否)，通信器件2自伺服器3經由網路4接收經加密之電路資料(步驟S119)，並解除接收到之經加密之電路資料之加密(步驟S120)。接著，通信器件2以經解除加密之電路資料，更新儲存於記憶體區域151之可程式化記憶體區域152之FPGA131之電路資料(步驟S121)，且將更新後之電路資料組入至FPGA131，藉此，變更FPGA131之電路構成(步驟S122)。
接著，通信器件2將重複次數N增加1(步驟S123)，判定增加後之值N是否大於預先設定之重複次數之上限值(本例中為3)(步驟S124)。於重複次數N為上限值以下之情形時(步驟S124為否)，通信器件2返回至步驟S115，再次執行以後之動作。另一方面，重複次數N大於上限值之情形時(步驟S124為是)，通信器件2結束本動作。
2.9.2 伺服器側之動作 如圖8所示，伺服器3於本動作啟動後，等待直至自通信器件2接收到解析請求為止(步驟S131為否)，接收到解析請求時(步驟S131為是)，首先特定出傳送解析請求之通信器件2(步驟S132)。
接著，伺服器3當成功特定出發送解析請求之通信器件2時，自特定之記憶裝置讀出儲存於特定出之通信器件2之可程式化記憶體區域152之電路資料及設定資料(步驟S133)，且對發送出解析請求之通信器件2發送允許解析之回應(步驟S134)。另，於伺服器3之記憶裝置中，對每個通信器件2儲存經登錄之通信器件2之可程式化記憶體區域152中儲存的電路資料及設定資料。即，各通信器件2之電路資料及設定資料由通信器件2與伺服器3共用。
接著，伺服器3將重複次數N設為1(步驟S135)，隨後，等待直至自通信器件2接收加密過之圖像資料為止(步驟S136為否)。接收到加密過之圖像資料時(步驟S136為是)，伺服器3解除加密過之圖像資料之加密(步驟S137)，解析經解除加密之圖像資料(步驟S138)，並基於該結果，判定是否有圖像劣化(步驟S139)。
無圖像劣化之情形時(步驟S139為否)，伺服器3向通信器件2通知無圖像劣化(步驟S157)，並進行至步驟S158。另一方面，有圖像劣化之情形時(步驟S139為是)，基於步驟S138之解析結果，特定出成為影像感測器10中之圖像劣化原因的部位，並產生特定出之部位之新的設定資料(步驟S140)。接著，伺服器3將產生之設定資料保存於與通信器件2建立對應之特定之記憶裝置(步驟S141)，且將產生之設定資料加密(步驟S142)，並將加密過之設定資料經由網路4向通信器件2發送(步驟S143)。另，如上所述，產生新的設定資料時，可使用藉由對過去資料之機械學習獲得之學習過之模型。
接著，伺服器3將重複次數N增加1(步驟S144)，並判定增加後之值N是否大於預先設定之重複次數之上限值(本例中為3)(步驟S145)。於重複次數N為上限值以下之情形時(步驟S145為否)，伺服器3返回至步驟S136，並再次執行後續之動作。另一方面，重複次數N大於上限值之情形時(步驟S145為是)，通信器件2進行至步驟S146。
步驟S146中，伺服器3將重複次數N重設為1。接著，伺服器3等待直至自通信器件2接收加密過之圖像資料為止(步驟S147為否)。接收到加密過之圖像資料時(步驟S147為是)，伺服器3解除加密過之圖像資料之加密(步驟S148)，解析經解除加密之圖像資料(步驟S149)，並基於該結果，判定是否有圖像劣化(步驟S150)。
無圖像劣化之情形時(步驟S150為否)，伺服器3向通信器件2通知無圖像劣化(步驟S157)，並進行至步驟S158。另一方面，有圖像劣化之情形時(步驟S150為是)，基於步驟S149之解析結果，特定出成為影像感測器10中之圖像劣化原因的部位，並產生特定出之部位之新的電路資料(步驟S151)。接著，伺服器3將產生之電路資料保存於與通信器件2建立對應之特定之記憶裝置(步驟S152)，且將產生之電路資料加密(步驟S153)，並將加密過之電路資料經由網路4向通信器件2發送(步驟S154)。另，如上所述，產生新的電路資料時，可使用藉由對過去資料之機械學習獲得之學習過之模型。
接著，伺服器3將重複次數N增加1(步驟S155)，並判定增加後之值N是否大於預先設定之重複次數之上限值(本例中為3)(步驟S156)。於重複次數N為上限值以下之情形時(步驟S156為否)，伺服器3返回至步驟S147，並再次執行後續之動作。另一方面，重複次數N大於上限值之情形時(步驟S156為是)，通信器件2進行至步驟S158。
步驟S158中，伺服器3判定是否結束本動作，於結束之情形時(步驟S158為是)，結束本動作。另一方面，於未結束之情形時(步驟S158為否)，伺服器3返回至步驟S131，並執行後續之動作。
藉由執行如上之動作，將通信器件2之可撓性邏輯電路13中之FPGA131之電路構成及/或參數客製化，修正影像感測器10之劣化。藉此，通信器件2中可取得良好狀態之圖像資料。
另，自通信器件2向伺服器3上傳圖像資料之頻率可適當變更。又，例如，於即時性較為重要之無人機或汽車或機器人等，較佳為自通信器件2向伺服器3發送之圖像資料之資料量較小。此種情形時，為減少圖像資料之資料量，可將發送對象之圖像資料以VGA級或QVGA級壓縮，或以像素組合等壓縮資料。
2.10 設定資料/電路資料之變更 又，於圖9之表中顯示對應於自圖像資料之解析特定出之影像感測器10之劣化狀態變更之項目(設定資料及電路資料)的例。
如圖9所示，劣化之原因存在因影像感測器10之光感測器陣列111中之光電轉換元件所致者、與因透鏡或致動器等光學系統之模組所致者。例如，於黑色位準處理301、AE、AF、AWB501、同步處理502、線性矩陣處理503、伽馬修正504、亮度色彩分離505、邊緣強調處理506、色差矩陣處理507等中見到劣化原因之情形時，認為於光電轉換元件(感測器)中存在劣化原因。又，於陰影修正303、失真修正304、控制系統修正401、調整尺寸/縮放508等中見到劣化原因之情形時，認為於光學系統之模組中存在劣化原因。另，於缺陷修正302中見到劣化原因之情形時，認為於光電轉換元件及模組之至少一者存在劣化原因。
因此，本實施形態中，如圖9之表所示，於黑色位準處理301中見到劣化原因之情形時，例如，變更設定資料之一即光學黑(OB)值。
又，於缺陷修正302中見到劣化原因之情形時，例如，對設定資料追加缺陷修正值、或變更電路資料中之簇以上之修正電路、或變更電路資料中之斑點改善電路。
再者，於陰影修正303中見到劣化原因之情形時，例如，變更設定資料之一即陰影修正值，或變更電路資料中之陰影運算法(例如，變更陰影曲線函數)
此外，於失真修正304中見到劣化原因之情形時，例如，對電路資料追加修正電路(枕型或桶型)。
此外，於控制系統修正401中見到劣化原因之情形時，例如，變更設定資料之AF、OIS(手抖修正)及/或校準資料、或對電路資料追加以伺服調整、霍爾增益調整及/或光軸調整為目的之驅動器控制調整正向電路。
此外， 於AE、AF、AWB501中見到劣化原因之情形時，例如，變更電路資料中之執行AE、AWB之電路之運算法。
此外，於同步處理502中見到劣化原因之情形時，例如，變更設定資料之一即內插修正值，或變更電路資料中之內插運算法。
此外，於線性矩陣處理503中見到劣化原因之情形時，例如，變更設定資料之一即分光修正值，或變更電路資料中之等式函數運算法。
此外，於伽馬修正504中見到劣化原因之情形時，例如，變更設定資料之一即伽馬修正值(對比度)。
此外，於邊緣強調處理506中見到劣化原因之情形時，例如，變更設定資料之一即輪廓(光圈)修正/雜訊修正值、或變更電路資料中之輪廓(光圈)修正/雜訊修正運算法。
此外，於色差矩陣處理507中見到劣化原因之情形時，例如，變更設定資料之一即彩色矩陣值。
此外，於調整尺寸/縮放508中見到劣化原因之情形時，例如，變更設定資料之一的縮放值。
此外，於輸出IF處理509中見到劣化原因之情形時，例如，變更設定資料之一即模式之輸出通道。
藉由執行如上之設定資料之變更及/或電路資料之變更，可抑制例如像高80%以上之區域中之圖像劣化。另，於欲追加記憶體之情形時，可構成為能追加記憶體。
2.11 高速處理之方法 接著，一面與先前比較一面說明本實施形態之通信器件2執行之高速處理之方法。
圖10係顯示先前型之器件構成之方塊圖。圖11係用以說明以圖10所例示之器件構成處理資料時之流程的圖。圖12係顯示以圖10所例示之器件構成處理1000個資料時所需之時脈週期數的圖。另一方面，圖13係顯示本實施形態之影像感測器之器件構成之方塊圖。圖14係用以說明本實施形態之影像感測器處理資料時之流程的圖。圖15係顯示本實施形態之影像感測器10處理1000個資料時所需之時脈週期數的圖。
如圖10所示，經由匯流排919連接邏輯電路913、主處理器914及記憶體915之先前型之器件構成中，於一層混載有邏輯電路913、主處理器914及記憶體15。因此，藉由按順序之處理，可靈活地執行複雜之程式。
然而，由於為執行各處理之電路(亦稱為運算器)間共用記憶體15之結構，故有隨著處理器核心之增加而發生性能降低或並列處理耗費時間等缺點。例如，執行圖6所例示之各處理時，主處理器914必須經由匯流排919自記憶體915逐一擷取對象之資料，並將其等依序輸入至邏輯電路913而執行處理。因此，先前型之器件構造中，如圖11所示，成為如依序進行對各資料D之處理的按順序處理流程。
因此，例如，於處理相同級別之1000個命令之情形時，每1時脈可執行之命令數為1，因此，如圖12所示，為處理所有命令，至少需要1000個時脈週期。
相對於此，本實施形態之主處理器10具備將執行各處理之晶片110、120、130、140及150積層而成的堆疊構造。因此，影像感測器10中，如圖13所示，可撓性邏輯電路13能夠自記憶體15直接擷取資料並處理。
藉由此種堆疊構造帶來之優勢，可獲得能靈活地執行複雜之程式、或於主處理器14擷取等待中之資料，於可撓性邏輯電路13產生暫存器與運算電路且處理為並列處理等優點。例如，如圖14所示，影像感測器10中，可進行並列處理複數個資料D之管線處理。
如此，藉由設為可並列處理，能提高即時性能。又，於下一個處理為其他處理之情形時，亦可變更FPGA131之電路構成而靈活地執行複雜之程式。
例如，將每1時脈可執行之命令數設為2之情形時，即，將管線處理之並列度設為2之情形時，如圖15所示，處理相同級別之1000個命令所需之時脈週期數與例如圖12所示之先前型之器件構造相比，可設為一半之500時脈週期。即，藉由進一步提高管線處理之並列度，可將處理相同級別之命令所需之時脈週期數減少為其倍數量之一左右。
又，如圖14所示，藉由機械學習第1次之處理S1，於第2次以後之處理S2中，可減少應處理之資料D之數量，因此，亦可實現更高速之處理。
另，對FPGA131追加新電路、變更用以提高處理速度之電路構成(改善並列處理、削減一部分功能等)等可藉由利用伺服器3側中之圖像資料解析之機械學習進行。
2.12 作用、效果 如以上所說明，根據本實施形態，可基於以影像感測器10取得之圖像資料，變更FPGA131之參數或電路構成以修正圖像劣化。藉此，於影像感測器10劣化之情形時，亦可取得正確之圖像資料。
又，本實施形態之影像感測器10具備將受光晶片110、類比/邏輯晶片120、記憶體晶片150、可撓性邏輯晶片130及處理器晶片140積層的堆疊構造。藉此，由於可不經由匯流排地連接受光部11、高速信號處理電路12、記憶體15、可撓性邏輯電路13及主處理器14，故可靈活地使複雜之程式動作、或於主處理器14等待時擷取資料並於FPGA131側產生暫存器與運算電路、或將各處理管線化而並列處理。藉此，可提高即時性能或靈活地對應複雜之程式。
3.第2實施形態 接著，對第2實施形態，參照圖式詳細地進行說明。上述之第1實施形態中，例示將受光部11與高速信號處理電路12組入至不同之晶片(受光晶片110及類比/邏輯晶片120，參照圖3)之情形。相對於此，第2實施形態中，舉例說明將受光部11與高速信號處理電路12製作入同一晶片之情形。另，於以下之說明中，關於與第1實施形態同樣之構成、動作及效果，藉由引用其而省略其重複之說明。
3.1 器件構成 圖16係顯示本實施形態之通信器件之概略構成例之方塊圖。如圖16所示，本實施形態之影像感測器20構成為包含例如受光部+高速信號處理電路21、可撓性邏輯電路13、主處理器14、記憶體15、驅動器16及非揮發性記憶體17。可撓性邏輯電路13、主處理器14、記憶體15、驅動器16及非揮發性記憶體17以及收發部18可與第1實施形態中使用圖2說明之其等同樣。
3.2 晶片構成 圖17係顯示本實施形態之影像感測器之晶片構成之模式圖。另，圖17中，與圖3同樣，為簡化而省略驅動器16與非揮發性記憶體17。
如圖17所示，影像感測器20中，具備將構成受光部11之光感測器陣列111、構成高速信號處理電路12之像素電路121、ADC122、CDS電路123及增益調整電路124製作入一片受光晶片110的構成。
3.3 作用、效果 根據如上之構成，亦可與第1實施形態同樣，基於以影像感測器20取得之圖像資料，變更FPGA131之參數或電路構成以修正圖像劣化。藉此，於影像感測器20劣化之情形時，亦可取得正確之圖像資料。
由於其他之構成、動作及效果與上述之實施形態同樣，故此處省略詳細之說明。
4. 第3實施形態 又，上述之第1實施形態中，例示將記憶體15配置於高速信號處理電路12之正下方之情形，但記憶體15之位置不限定於高速信號處理電路12之正下方。因此，第3實施形態中，舉例說明將記憶體15配置於堆疊構造之最下層之情形。另，於以下之說明中，關於與上述之實施形態同樣之構成、動作及效果，藉由引用此而省略其之說明。
4.1 器件構成 圖18係顯示本實施形態之通信器件之概略構成例之方塊圖。如圖18所示，本實施形態之影像感測器30，具備例如於與第1實施形態中使用圖2說明之影像感測器10同樣之構成中，將記憶體15配置於最下層即主處理器14之下層的構成。又，影像感測器30將影像感測器10中之高速信號處理電路12置換成信號處理電路32。信號處理電路32可為如高速信號處理電路12之可高速讀出之信號處理電路，亦可為執行較高速信號處理電路12更低速之讀出的信號處理電路。又，其他之構成可與第1實施形態中使用圖2說明之構成同樣。
4.2 晶片構成 圖19係顯示本實施形態之影像感測器之晶片構成之模式圖。另，圖19中，與圖3同樣，為簡化而省略驅動器16與非揮發性記憶體17。
如圖19所示，影像感測器30中，在介隔於可撓性邏輯晶片130與記憶體晶片150間之處理器晶片140，設置有用以直接連接可撓性邏輯晶片130之FPGA131、與記憶體晶片150之記憶體區域151中之可程式化記憶體區域152的貫通配線142。FPGA131與可程式化記憶體區域152經由該貫通配線142直接連接。
另，貫通配線142可為例如貫通處理器晶片140之TSV(Through Silicon Via：矽穿孔)等。
4.3 作用、效果 根據如上之構成，亦可與上述之實施形態同樣，基於以影像感測器30取得之圖像資料，變更FPGA131之參數或電路構成以修正圖像劣化。藉此，於影像感測器30劣化之情形時，亦可取得正確之圖像資料。
由於其他之構成、動作及效果與上述之實施形態同樣，故此處省略詳細之說明。
5. 第4實施形態 又，上述之第3實施形態中，例示將受光部11與信號處理電路32製作入不同之晶片(受光晶片110及類比/邏輯晶片120，參照圖19)之情形。相對於此，第4實施形態中，舉例說明將受光部11與信號處理電路32製作入同一晶片之情形。另，於以下之說明中，關於與上述之實施形態同樣之構成、動作及效果，藉由引用其而省略其之重複說明。
5.1 器件構成 圖20係顯示本實施形態之通信器件之概略構成例之方塊圖。如圖20所示，本實施形態之影像感測器40構成為包含例如受光部+信號處理電路41、可撓性邏輯電路13、主處理器14、記憶體15、驅動器16及非揮發性記憶體17。可撓性邏輯電路13、主處理器14、記憶體15、驅動器16及非揮發性記憶體17以及收發部18可與第1實施形態中使用圖2說明之其等同樣。
5.2 晶片構成 圖21係顯示本實施形態之影像感測器之晶片構成之模式圖。另，圖21中，與圖3同樣，為簡化而省略驅動器16與非揮發性記憶體17。
如圖21所示，影像感測器40中，具備將構成受光部11之光感測器陣列111、構成信號處理電路32之像素電路121、ADC122、CDS電路123及增益調整電路124製作入一片受光晶片110的構成。
5.3 作用、效果 根據如上之構成，可與上述之實施形態同樣，基於以影像感測器40取得之圖像資料，變更FPGA131之參數或電路構成以修正圖像劣化。藉此，於影像感測器40劣化之情形時，亦可取得正確之圖像資料。
由於其他之構成、動作及效果與上述之實施形態同樣，故此處省略詳細之說明。
6. 第5實施形態 又，上述之第4實施形態中，例示將受光部11與信號處理電路32製作入同一受光晶片110(參照圖21)之情形。相對於此，第5實施形態中，舉例說明將信號處理電路32與可撓性邏輯電路13製作入同一晶片之情形。另，於以下之說明中，關於與上述之實施形態同樣之構成、動作及效果，藉由引用其而省略其之重複說明。
6.1 器件構成 圖22係顯示本實施形態之通信器件之概略構成例之方塊圖。如圖22所示，本實施形態之影像感測器50構成為包含例如受光部11、信號處理電路+可撓性邏輯電路53、主處理器14、記憶體15、驅動器16及非揮發性記憶體17。受光部11、主處理器14、記憶體15、驅動器16及非揮發性記憶體17以及收發部18可與第1實施形態中使用圖2說明之其等同樣。
6.2 晶片構成 圖23係顯示本實施形態之影像感測器之晶片構成之模式圖。另，圖23中，與圖3同樣，為簡化而省略驅動器16與非揮發性記憶體17。
如圖23所示，影像感測器50中，具備將構成信號處理電路32之像素電路121、ADC122、CDS電路123及增益調整電路124、與構成可撓性邏輯電路13之FPGA131(及邏輯電路132)製作入一片可撓性邏輯晶片130的構成。
6.3 作用、效果 根據如上之構成，可與上述之實施形態同樣，基於以影像感測器50取得之圖像資料，變更FPGA131之參數或電路構成以修正圖像劣化。藉此，於影像感測器50劣化之情形時，亦可取得正確之圖像資料。
由於其他之構成、動作及效果與上述之實施形態同樣，故此處省略詳細之說明。
7.第6實施形態 上述之第1～第5實施形態中，已例示藉由於伺服器3側解析以影像感測器10、20、30、40或50取得之圖像資料而特定出其劣化原因，並基於特定出之劣化原因，由伺服器3產生FPGA131之設定資料及/或電路資料之更新資料的情形。相對於此，第6實施形態中，舉例說明於通信器件側執行解析圖像資料至產生更新資料之情形。
7.1 器件構成 圖24係顯示本實施形態之通信器件之概略構成例之方塊圖。如圖24所示，本實施形態之通信器件中之影像感測器10具備例如與第1實施形態中使用圖2說明之影像感測器10同樣之構成。然而，本實施形態中，例如，主處理器14解析儲存於記憶體15內之處理過之圖像資料並特定出其劣化原因，基於特定出之劣化原因產生FPGA131之設定資料及/或電路資料的更新資料。產生之設定資料及/或電路資料之更新資料與上述之實施形態同樣，儲存於記憶體15中之特定可程式化記憶體區域152內，並設定於FPGA131。
另，主處理器14與上述之實施形態中之伺服器3同樣，構成為藉由機械學習過去之資料產生學習過之模型，並使用產生之學習過之模型產生設定資料及/或電路資料的更新資料。
7.2 器件構成之變化例 另，圖24中，已例示以第1實施形態為基礎之情形，但成為基礎之影像感測器之構成不限定於第1實施形態。例如，如圖25所示，可將第2實施形態之影像感測器20設為基礎，如圖26所示，亦可將第3實施形態之影像感測器30設為基礎，如圖27所示，又可將第4實施形態之影像感測器40設為基礎，如圖28所示，還可將第5實施形態之影像感測器50設為基礎。
7.3 作用、效果 如以上般，即便設為於通信器件側進行圖像資料之解析至更新資料之產生之構成之情形時，亦可與上述之實施形態同樣，基於以影像感測器10、20、30、40或50取得之圖像資料，變更FPGA131之參數或電路構成以修正圖像劣化。藉此，即便於影像感測器10、20、30、40或50劣化之情形時，亦可取得正確之圖像資料。
由於其他之構成、動作及效果與上述之實施形態同樣，故此處省略詳細之說明。
8. 第7實施形態 上述之第6實施形態中，已例示主處理器14執行機械學習作成學習過之模型，並用此產生設定資料及/或電路資料之更新資料之情形，但於在通信器件側執行解析圖像資料至產生更新資料之情形時，亦可於通信器件內設置執行機械學習之專用之晶片。
8.1 器件構成 圖29係顯示本實施形態之通信器件之概略構成例之方塊圖。如圖29所示，本實施形態之通信器件中之影像感測器60具備例如對與第6實施形態中使用圖24說明之影像感測器10同樣之構成追加執行機械學習之DNN (Deep Neural Network：深度神經網路)電路61的構成。DNN電路61可配置於例如可撓性邏輯電路13與主處理器14間之層。
8.2 DNN解析處理 圖30係用以說明本實施形態之DNN解析處理(機械學習處理)之一例的圖。如圖30所示，DNN解析步驟S600中，將例如第1實施形態中使用圖6例示之光電轉換步驟S100、信號處理步驟S200、基礎步驟S300、控制系統步驟S400及繪製步驟S500之5個步驟中之信號處理步驟S200、基礎步驟S300、控制系統步驟S400及繪製步驟S500各者之處理結果賦予至輸入層。DNN解析步驟S600藉由求出連結自輸入層經過隱蔽層到達輸出層之各層之節點(亦稱為神經元)間之各邊緣之權重，作成使輸出層出現最適於減少圖像資料劣化之設定資料及/或電路資料的學習過之模型。
DNN電路61及主處理器14使用如上作成之學習過之模型，藉此產生最適於減少圖像資料劣化之設定資料及/或電路資料之更新資料，並將作成之更新資料儲存於記憶體15之可程式化記憶體區域152。
8.3 動作流程 接著，使用流程圖詳細地說明檢測影像感測器60之劣化並修正時之動作。圖31係顯示本實施形態之動作之概略例。
如圖31所示，本動作中，首先，主處理器14將管理解析之重複次數之值N設為1(步驟S201)。接著，藉由控制高速信號處理電路12而自受光部11讀出圖像資料(步驟S202)。
接著，主處理器14及可撓性邏輯電路13對取得之圖像資料，實施圖6所例示之各階段之處理，並將各個階段之結果輸入至DNN電路61，藉此解析圖像資料(步驟S203)。接著，主處理器14基於解析結果判定是否有圖像劣化(步驟S204)。
於無圖像劣化之情形時(步驟S204為否)，主處理器14結束本動作。另一方面，有圖像劣化之情形時(步驟S204為是)，主處理器14及DNN電路61基於步驟S203之解析結果，解析成為影像感測器60中之圖像劣化原因之部位(步驟S205)，並基於該解析結果產生新的設定資料及/或電路資料(步驟S206)。
接著，主處理器14以產生之設定資料及/或電路資料更新儲存於記憶體區域151之可程式化記憶體區域152之FPGA131設定資料及/或電路資料(步驟S207)，將更新之設定資料設定於FPGA131，且將更新之電路資料組入至FPGA131，藉此，變更FPGA131之電路構成(步驟S208)。另，對驅動受光部11之光學系統之致動器或高速信號處理電路12之各部更新設定資料之情形時，以該設定資料更新非揮發性記憶體17內之特定參數。藉此，調整驅動器16對各部之驅動。
接著，主處理器14將重複次數N增加1(步驟S209)，並判定增加後之值N是否大於預先設定之重複次數之上限值(本例中為3)(步驟S210)。於重複次數N為上限值以下之情形時(步驟S210為否)，主處理器14返回至步驟S202，並再次執行後續之動作。另一方面，於重複次數N大於上限值之情形時(步驟S210為是)，主處理器14結束本動作。
8.4 作用、效果 如以上般，藉由將DNN電路61組入至通信器件側，可於通信器件側基於機械學習進行解析圖像資料至產生更新資料。藉此，即便於影像感測器10、20、30、40或50劣化之情形時，亦可取得正確之圖像資料。
另，本實施形態中，已說明以第6實施形態中使用圖24說明之影像感測器10為基礎之情形，但不限定於此，亦可以使用圖25～圖28說明之影像感測器20、30、40或50等其他之實施形態為基礎。
由於其他之構成、動作及效果與上述之實施形態同樣，故此處省略詳細之說明。
9. 第8實施形態 又，上述之實施形態中之第1～第5實施形態中，例示於伺服器3側執行解析圖像資料至產生更新資料之情形，第6實施形態中，例示於通信器件側執行解析圖像資料至產生更新資料之情形，但執行解析圖像資料至產生更新資料之構成不限定於伺服器3與通信器件之任一者。
例如，如圖32所例示，可設為自伺服器3與通信器件選擇執行解析圖像資料至產生更新資料之構成的構成。
例如，於通信器件為無人機或汽車或自動機器人等移動之器件之情形時，可構成為適當切換執行於移動時，於通信器件內實施解析圖像資料至產生更新資料，停止時，於伺服器3側實施解析圖像資料至產生更新資料等。
或，亦可構成為於伺服器3側執行解析圖像資料至產生更新資料之處理中之一部分，於通信器件側執行剩餘之部分。
於伺服器3側執行還是於通信器件2側執行解析圖像資料至產生更新資料之執行的切換可以例如主處理器14或未圖示之應用處理器(切換部)執行。
另，本實施形態中，已說明將與第1實施形態中使用圖2說明之影像感測器及第6實施形態中使用圖24說明之影像感測器10為基礎之情形，但不限定於此，亦可以其他之實施形態為基礎。
由於其他之構成、動作及效果與上述之實施形態同樣，故此處省略詳細之說明。
10. 應用例 本揭示之技術可應用於各種製品。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、腳踏車、個人移動載具、飛機、無人機、船舶、機器人、建設機械、農業機械(拖拉機)等任一種類之移動體之裝置而實現。
圖33係顯示可適用本揭示之技術之移動體控制系統之一例即車輛控制系統7000之概略構成例的方塊圖。車輛控制系統7000具備經由通信網路7010連接之複數個電子控制單元。圖33所示之例中，車輛控制系統7000具備：驅動系統控制單元7100、車體系統控制單元7200、電池控制單元7300、車外資訊檢測單元7400、車內資訊檢測單元7500及整合控制單元7600。連接該等複數個控制單元之通信網路7010可為依據例如CAN (Controller Area Network：控制器區域網路)、LIN(Local Interconnect Network：局域互聯網路)、LAN(Local Area Network)或FlexRay(註冊商標)等任意規格之車載通信網路。
各控制單元具備：微電腦，其根據各種程式進行運算處理；記憶部，其記憶由微電腦執行之程式或各種運算所用之參數等；及驅動電路，其驅動各種控制對象之裝置。各控制單元具備用以經由通信網路7010與其他控制單元間進行通信之網路I/F，且具備用以於車內外之裝置或感測器等之間，藉由有線通信或無線通信進行通信之通信I/F。圖33中，作為整合控制單元7600之功能構成，圖示微電腦7610、通用通信I/F 7620、專用通信I/F 7630、測位部7640、信標接收部7650、車內機器I/F 7660、聲音圖像輸出部7670、車載網路I/F 7680及記憶部7690。其他之控制單元亦同樣具備微電腦、通信I/F及記憶部等。
驅動系統控制單元7100根據各種程式控制與車輛之驅動系統關連之裝置之動作。例如，驅動系統控制單元7100作為內燃機或驅動用馬達等用以產生車輛之驅動力的驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之制動裝置等之控制裝置發揮功能。驅動系統控制單元7100可具有作為ABS(Antilock Brake System：防鎖死刹車系統)或ESC(Electronic Stability Control：電子穩定控制)等控制裝置之功能。
於驅動系統控制單元7100連接車輛狀態檢測部7110。車輛狀態檢測部7110中包含例如檢測車體之軸旋轉運動之角速度之陀螺儀感測器、檢測車輛之加速度之加速度感測器、或用以檢測加速踏板之操作量、刹車踏板之操作量、方向盤之操舵角、發動機轉速或車輪之旋轉速度等之感測器中之至少一者。驅動系統控制單元7100使用自車輛狀態檢測部7110輸入之信號進行運算處理，控制內燃機、驅動用馬達、電動輔助轉向裝置或刹車裝置等。
車體系統控制單元7200根據各種程式控制車體所裝備之各種裝置之動作。例如，車體系統控制單元7200作為無鑰匙門禁系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈之控制裝置發揮功能。於該情形時，可對車體系統控制單元7200輸入自代替鑰匙之可攜帶式機器發送之電波或各種開關之信號。車體系統控制單元7200受理該等電波或信號之輸入，控制車輛之門鎖裝置、電動窗裝置、燈具等。
電池控制單元7300根據各種程式，控制驅動用馬達之電力供給源即二次電池7310。例如，自具備二次電池7310之電池裝置對電池控制單元7300輸入電池溫度、電池輸出電壓或電池之剩餘電量等資訊。電池控制單元7300使用該等信號進行運算處理，進行二次電池7310之溫度調節控制或電池裝置所裝備之冷卻裝置等之控制。
車外資訊檢測單元7400檢測搭載有車輛控制系統7000之車輛的外部資訊。例如，於車外資訊檢測單元7400連接有攝像部7410及車外資訊檢測部7420中之至少一者。攝像部7410中包含ToF(Time Of Flight：飛時測距)相機、攝影機、單眼相機、紅外線相機及其他相機中之至少一者。車外資訊檢測部7420包含例如用以檢測當前之天候或氣象之環境感測器、或用以檢測搭載有車輛控制系統7000之車輛周圍之其他車輛、障礙物或行人等之周圍資訊檢測感測器中之至少一者。
環境感測器可為例如檢測雨天之雨滴感測器、檢測霧之霧感測器、檢測日照程度之日照感測器、及檢測降雪之雪感測器中之至少一者。周圍資訊檢測感測器可為超音波感測器、雷達裝置及LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging：光檢測及測距、雷射成像檢測及測距)裝置中之至少一者。該等攝像部7410及車外資訊檢測部7420可作為各自獨立之感測器或裝置而配備，亦可作為整合複數個感測器及裝置的裝置而配備。
此處，圖34係顯示攝像部7410及車外資訊檢測部7420之設置位置之例。攝像部7910、7912、7914、7916、7918設置於例如車輛7900之前保險桿、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部中之至少一個位置。前保險桿所具備之攝像部7910及車廂內之擋風玻璃之上部所具備之攝像部7918主要取得車輛7900前方之圖像。側視鏡所具備之攝像部7912、7914主要取得車輛7900側方之圖像。後保險桿或後門所具備之攝像部7916主要取得車輛7900後方之圖像。車廂內之擋風玻璃之上部所具備之攝像部7918主要用於檢測前方車輛或行人、障礙物、號誌機、交通標識或車道線等。
另，於圖34顯示各個攝像部7910、7912、7914、7916之攝像範圍之一例。攝像範圍a表示設置於前保險桿之攝像部7910之攝像範圍，攝像範圍b、c分別表示設置於側視鏡之攝像部7912、7914之攝像範圍，攝像範圍d表示設置於後保險桿或後門之攝像部7916之攝像範圍。例如，藉由使以攝像部7910、7912、7914、7916拍攝之圖像資料重疊，而獲得自上方觀察車輛7900之俯瞰圖像。
設置於車輛7900之前側、後側、側方、角落及車廂內之擋風玻璃之上部之車外資訊檢測部7920、7922、7924、7926、7928、7930可為例如超音波感測器或雷達裝置。設置於車輛7900之前保險桿、後保險桿、後門及車廂內之擋風玻璃之上部之車外資訊檢測部7920、7926、7930可為例如LIDAR裝置。該等車外資訊檢測部7920～7930主要用於檢測前方車輛、行人或障礙物等。
返回圖33繼續說明。車外資訊檢測單元7400使攝像部7410拍攝車外之圖像，且接收拍攝到之圖像資料。又，車外資訊檢測單元7400自連接之車外資訊檢測部7420接收檢測資訊。於車外資訊檢測部7420為超音波感測器、雷達裝置或LIDAR裝置之情形時，車外資訊檢測單元7400發送超音波或電磁波等，且接收所接收到之反射波資訊。車外資訊檢測單元7400基於接收到之資訊進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。車外資訊檢測單元7400可基於接收到之資訊，進行辨識降雨、霧或路面狀況等之環境辨識處理。車外資訊檢測單元7400可基於接收到之資訊計算與車外物體之距離。
又，車外資訊檢測單元7400可基於接收到之圖像資料，進行辨識人、車、障礙物、標識或路面上之文字等之圖像辨識處理或距離檢測處理。車外資訊檢測單元7400可對接收到之圖像資料進行失真修正或對位等處理，且將藉由不同之攝像部7410拍攝到之圖像資料合成，產生俯瞰圖像或全景圖像。車外資訊檢測單元7400可使用藉由不同攝像部7410拍攝到之圖像資料進行視點轉換處理。
車內資訊檢測單元7500檢測車內之資訊。於車內資訊檢測單元7500連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部7510。駕駛者狀態檢測部7510可包含拍攝駕駛者之相機、檢測駕駛者之身體資訊之身體感測器或收集車廂內之聲音之麥克風等。身體感測器設置於例如座位面或方向盤等，且檢測就坐於座位之搭乘者或握持方向盤之駕駛者之身體資訊。車內資訊檢測單元7500可基於自駕駛者狀態檢測部7510輸入之檢測資訊，計算駕駛者之疲勞程度或注意力集中程度，可判別駕駛者是否正在打瞌睡。車內資訊檢測單元7500可對收集到之聲音信號進行雜訊消除處理等之處理。
整合控制單元7600根據各種程式控制車輛控制系統7000內之動作全體。於整合控制單元7600連接有輸入部7800。輸入部7800藉由例如觸控面板、按鈕、麥克風、開關或搖桿等可由搭乘者輸入操作之裝置實現。可對整合控制單元7600輸入藉由對以麥克風輸入之聲音進行聲音辨識而獲得之資料。輸入部7800可為例如使用紅外線或其他電波之遠程控制裝置，亦可為對應於車輛控制系統7000之操作之行動電話或PDA(Personal Digital Assistant：個人數位助理)等外部連接機器。輸入部7800可為例如相機，於該情形時，搭乘者可藉由手勢輸入資訊。或，可輸入藉由檢測搭乘者穿戴之可穿戴裝置之動作而獲得之資料。再者，輸入部7800可包含例如基於使用上述輸入部7800由搭乘者等輸入之資訊產生輸入信號，並輸出至整合控制單元7600的輸入控制電路等。搭乘者等藉由操作該輸入部7800，對車輛控制系統7000輸入各種資料或指示處理動作。
記憶部7690可包含記憶藉由微電腦執行之各種程式之ROM(Read Only Memory：唯讀記憶體)、及記憶各種參數、運算結果或感測器值等之RAM(Random Access Memory：隨機存取記憶體)。又，記憶部7690可藉由HDD(Hard Disc Drive：硬碟驅動器)等磁性記憶器件、半導體記憶器件、光記憶器件或光磁記憶器件等實現。
通用通信I/F 7620為中介外部環境7750存在之各種機器間之通信之通用通信I/F。通用通信I/F 7620可安裝GSM(註冊商標)(Global System of Mobile communications：全球行動通信系統)、WiMAX(註冊商標)、LTE(註冊商標)(Long Term Evolution：長期演進)或LTE-A(LTE-Advanced：長期演進-進階)等蜂胞通信協議、或無線LAN(亦稱為Wi-Fi(註冊商標))、Bluetooth(藍牙)(註冊商標)等其他之無線通信協議。通用通信I/F 7620可經由例如基地台或存取點對外部網路(例如網際網路、雲端網路或事業者固有之網路)上存在之機器(例如應用伺服器或控制伺服器)連接。又，通用通信I/F 7620可使用例如P2P(Peer To Peer：點對點)技術，與車輛附近存在之終端(例如駕駛者、行人或店鋪之終端、或MTC(Machine Type Communication：機器類型通信)終端)連接。
專用通信I/F 7630為以支持在車輛中之使用為目的策定之通信協議之通信I/F。專用通信I/F 7630可安裝例如下階層之IEEE802.11p與上階層之IEEE1609之組合即WAVE(Wireless Access in Vehicle Environment：車輛環境中之無線存取)、DSRC(Dedicated Short Range Communications：專用短距離通信)、或蜂胞通信協議等標準協議。專用通信I/F 7630一般執行包含車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車輛與家間(Vehicle to Home)之通信及行人與車輛間(Vehicle to Pedestrian)之通信中之至少一者以上之概念之V2X通信。
測位部7640接收例如來自GNSS(Global Navigation Satellite System：全球導航衛星系統)衛星之GNSS信號(例如，來自GPS(Global Positioning System：全球定位系統)衛星之GPS信號)執行測位，產生包含車輛之緯度、經度及高度之位置資訊。另，測位部7640可藉由與無線存取點交換信號來特定當前位置，亦可自具有測位功能之行動電話、PHS或智慧型手機等終端取得位置資訊。
信標接收部7650接收例如自設置於道路上之無線台等發送之電波或電磁波，取得當前位置、擁塞、禁止通行或所需時間等資訊。另，信標接收部7650之功能亦可包含於上述之專用通信I/F 7630。
車內機器I/F 7660為中介微電腦7610與車內存在之各種車內機器7760間之連接的通信介面。車內機器I/F 7660可使用無線LAN、Bluetooth(註冊商標)、NFC(Near Field Communication：近場通信)或WUSB(Wireless USB：無線USB)等無線通信協議確立無線連接。又，車內機器I/F 7660可經由未圖示之連接端子(及若有必要則為纜線)確立USB(Universal Serial Bus：通用串列匯流排)、HDMI(註冊商標)(High-Definition Multimedia Interface：高畫質多媒體介面)或MHL(Mobile High-definition Link：行動高畫質鏈接)等之有線連接。車內機器7760可包含例如搭乘者具有之移動機器或可穿戴機器、或者，搬入至或安裝於車輛內之資訊機器中之至少一者。又，車內機器7760可包含進行到達任意目的地之路徑搜尋之導航裝置。車內機器I/F 7660與該等車內機器7760間交換控制信號或資料信號。
車載網路I/F 7680為中介微電腦7610與通信網路7010間之通信之介面。車載網路I/F 7680依據由通信網路7010支持之特定之協議收發信號等。
整合控制單元7600之微電腦7610基於經由通用通信I/F 7620、專用通信I/F 7630、測位部7640、信標接收部7650、車內機器I/F 7660及車載網路I/F 7680中之至少一者取得之資訊，根據各種程式，控制車輛控制系統7000。例如，微電腦7610可基於取得之車內外資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，對驅動系統控制單元7100輸出控制指令。例如，微電腦7610可進行以實現包含避免車輛碰撞或緩和衝撞、基於車輛距離之追隨行駛、車速維持行駛、車輛之碰撞警告或車輛之車道偏離警告等之ADAS(Advanced Driver Assistance System：先進駕駛輔助系統)之功能為目的之協調控制。又，微電腦7610可藉由基於取得之車輛周圍之資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不拘於駕駛者之操作而自動行駛之自動駕駛為目的之協調控制。
微電腦7610可基於經由通用通信I/F 7620、專用通信I/F 7630、測位部7640、信標接收部7650、車內機器I/F 7660及車載網路I/F 7680中之至少一者取得之資訊，產生車輛與周邊構造物或人物等物體間之三維距離資訊，作成包含車輛之當前位置之周邊資訊之局域地圖資訊。又，微電腦7610可基於取得之資訊，預測車輛碰撞、行人等靠近或進入禁止通行之道路等危險，並產生警告用信號。警告用信號可為例如用以產生警告音或使警告燈點亮之信號。
聲音圖像輸出部7670將聲音及圖像中之至少一者之輸出信號發送至可對車輛之搭乘者或車外視覺性或聽覺性通知資訊之輸出裝置。於圖33之例中，作為輸出裝置，例示有聲頻揚聲器7710、顯示部7720及儀錶板7730。顯示部7720亦可包含例如車載顯示器及抬頭顯示器之至少一者。顯示部7720可具有AR(Augmented Reality：擴增實境)顯示功能。輸出裝置可為該等裝置以外之頭戴式耳機、搭乘者佩戴之眼鏡型顯示器等可穿戴器件、投影儀或燈等其他之裝置。於輸出裝置為顯示裝置之情形時，顯示裝置以文字、影像、表格、圖表等各種形式視覺性顯示藉由微電腦7610進行之各種處理獲得之結果或自其他之控制單元接收到之資訊。又，於輸出裝置為聲音輸出裝置之情形時，聲音輸出裝置將包含播放之聲音資料或音響資料等之聲頻信號轉換成類比信號並聽覺性輸出。
另，圖33所示之例中，可將經由通信網路7010連接之至少兩個控制單元作為一個控制單元一體化。或，各個控制單元可由複數個控制單元構成。再者，車輛控制系統7000可具備未圖示之其他之控制單元。又，上述之說明中，可使其他之控制單元具備由任一個控制單元負責之功能之一部分或全部。即，只要經由通信網路7010收發資訊，則可以任一個控制單元進行特定之運算處理。同樣，可將連接於任一個控制單元之感測器或裝置連接於其他之控制單元，且使複數個控制單元經由通信網路7010相互收發檢測資訊。
另，可將用以實現使用圖1說明之本實施形態之感測器系統1之各功能之電腦程式安裝於任一個控制單元等。又，可提供儲存有此種電腦程式之電腦可讀取之記錄媒體。記錄媒體為例如磁碟、光碟、磁光碟、快閃記憶體等。又，上述之電腦程式可不使用記錄媒體而經由例如網路發送。
以上說明之車輛控制系統7000中，使用圖2說明之本實施形態之通信器件2可適用於圖33所示之應用例之整合控制單元7600。例如，通信器件2之主處理器14、記憶體15、收發部18相當於整合控制單元7600之微電腦7610、記憶部7690、車輛網路I/F 7680。
又，使用圖2說明之通信器件2之至少一部分構成要素可在用於圖33所示之整合控制單元7600之模組(例如，以一個裸晶構成之積體電路模組)中實現。再者，使用圖1說明之感測器系統1可藉由圖33所示之車輛控制系統7000之複數個控制單元實現。
以上，已對本揭示之實施形態進行說明，但本揭示之技術範圍並非就此限定於上述實施形態者，於不脫離本揭示之主旨之範圍內可有各種變更。又，亦可適當組合跨及不同之實施形態或變化例之構成要素。
又，本說明書所記載之各實施形態中之效果僅為例示而非限定者，亦可為其他之效果。
另，本技術亦可採取如下之構成。 (1)一種感測器裝置，其具備： 感測器，其取得感測器資訊； FPGA(Field-Programmable Gate Array)，其對以上述感測器取得之上述感測器資訊執行特定處理；及 記憶體，其記憶用以使上述FPGA執行上述特定處理之資料。 (2)如上述(1)記載之感測器裝置，其中對應於上述感測器資訊之解析結果，更新上述記憶體內之上述資料。 (3)如上述(1)或(2)記載之感測器裝置，其進而具備： 發送部，其向特定網路發送經執行上述特定處理之上述感測器資訊；及 接收部，其接收對應於向上述特定網路發送之上述感測器資訊之解析結果產生之用以更新上述FPGA的更新資料；且 以上述更新資料更新上述記憶體內之上述資料。 (4)如上述(3)記載之感測器裝置，其中上述發送部藉由無線向特定網路發送上述感測器資訊， 上述接收部藉由無線自上述特定網路接收上述更新資料。 (5)如上述(4)記載之感測器裝置，其進而具備： 加密部，其將上述感測器資訊加密；及 解碼部，其解除上述更新資料之加密。 (6)如上述(1)或(2)記載之感測器裝置，其進而具備：處理器，其解析上述感測器資訊，對應於上述解析結果產生用以更新上述FPGA之更新資料，並以該產生之更新資料更新上述記憶體內之上述資料。 (7)如上述 (6)記載之感測器裝置，其進而具備： DNN(Deep Neural Network)電路，其藉由機械學習而解析上述感測器資訊；且 上述處理器基於上述DNN電路之上述機械學習之結果而解析上述感測器資訊。 (8)如上述(1)或(2)記載之感測器裝置，其進而具備： 發送部，其向上述特定網路發送經執行上述特定處理之上述感測器資訊； 接收部，其接收對應於向上述特定網路發送之上述感測器資訊之解析結果產生之用以更新上述FPGA的更新資料； 處理器，其解析上述感測器資訊，且對應於上述解析結果而產生用以更新上述FPGA之更新資料；及 切換部，其切換將上述感測器資訊經由上述發送部向上述特定網路發送、或將其輸入至上述處理器；且 以由上述接收部接收到之上述更新資料或由上述處理器產生之上述更新資料，更新上述記憶體內之上述資料。 (9)如上述(1)～(8)中任一項記載之感測器裝置，其中 上述感測器資訊為圖像資料，且 上述感測器包含具備複數個光電轉換元件之受光部、及自上述受光部讀出圖像資料之信號處理電路。 (10)如上述(9)記載之感測器裝置，其中上述特定處理包含黑色位準處理、缺陷修正、陰影修正、失真修正、自動曝光、自動聚焦、自動白平衡調整、同步處理、線性矩陣處理、伽馬修正、亮度色彩分離、邊緣強調處理、色差矩陣處理及調整尺寸/縮放中之至少一者。 (11)如上述(1)～(10)中任一項記載之感測器裝置，其中上述資料包含：電路資料，其用以將執行上述特定處理之電路構成組入至上述FPGA；及設定資料，其包含設定於上述電路構成之參數。 (12)如上述(1)或(2)記載之感測器裝置，其進而具備與上述FPGA協作而執行上述特定處理的處理器。 (13)如上述(1)～(12)中任一項記載之感測器裝置，其進而具備： 第1晶片，其具備上述感測器； 第2晶片，其具備上述FPGA；及 第3晶片，其具備上述記憶體；且 具備將上述第1～第3晶片積層之堆疊構造。 (14)如上述(13)記載之感測器裝置，其中上述第3晶片位於上述第1晶片與上述第2晶片之間。 (15)如上述(13)或(14)記載之感測器裝置，其進而具備： 第4晶片，其具備與上述FPGA協作而執行上述特定處理之處理器；且 上述堆疊構造具備將上述第1～第4晶片積層之構造。 (16)如上述(15)記載之感測器裝置，其中 上述第1晶片位於上述堆疊構造之最上層；且 上述第4晶片位於上述堆疊構造之最下層。 (17)如上述(13)～(16)中任一項記載之感測器裝置，其中 上述感測器資訊為圖像資料， 上述感測器包含具備複數個光電轉換元件之受光部、及自上述受光部讀出圖像資料之信號處理電路，且 上述第1晶片包含具備上述受光部之第5晶片及具備上述信號處理電路之第6晶片。 (18)一種電子機器，其具備：感測器，其取得感測器資訊； FPGA，其對以上述感測器取得之上述感測器資訊執行特定處理；及 記憶體，其記憶用以使上述FPGA執行上述特定處理之資料。 (19)一種感測器系統，其係經由特定網路連接電子機器與伺服器者，且上述電子機器具備： 感測器，其取得感測器資訊； FPGA，其對以上述感測器取得之上述感測器資訊執行特定處理； 記憶體，其記憶用以使上述FPGA執行上述特定處理之資料； 發送部，其向特定網路發送經執行上述特定處理之上述感測器資訊；及 接收部，其接收對應於向上述特定網路發送之上述感測器資訊之解析結果產生之用以更新上述FPGA的更新資料；且 上述伺服器解析經由上述特定網路自上述電子機器接收到之上述感測器資料，對應於該解析結果而產生用以更新上述FPGA之上述更新資料，且向上述特定網路發送該產生之更新資料， 以上述接收部經由上述特定網路接收到之上述更新資料，更新上述記憶體內之上述資料。 (20)一種控制方法，其具備：解析以感測器取得之感測器資訊之步驟；及 對應於上述感測器資訊之解析結果，變更對上述感測器資訊執行特定處理之FPGA之電路構成及上述電路構成之設定值中之至少一者的步驟。
1:感測器系統 2:通信器件 3:伺服器 4:網路 10:影像感測器 11:受光部 12:高速信號處理電路 13:可撓性邏輯電路 14:主處理器 15:記憶體 16:驅動器 17:非揮發性記憶體 18:收發部 20:影像感測器 21:受光部+高速信號處理電路 30:影像感測器 32:信號處理電路 40:影像感測器 41:受光部+信號處理電路 50:影像感測器 53:信號處理電路+可撓性邏輯電路 60:影像感測器 61:DNN電路 101:光電轉換 110:受光晶片 111:光感測器陣列 120:類比/邏輯晶片 121:像素電路 122:ADC 123:CDS電路 124:增益調整電路 130:可撓性邏輯晶片 131:FPGA 132:邏輯電路 140:主處理器晶片 141:MPU 150:記憶體晶片 151:記憶體區域 152:可程式化記憶體區域 181:DAC 182:發送天線 183:ADC 184:接收天線 201:A/D、CDS 301:黑色位準處理 302:缺陷修正 303:陰影修正 304:失真修正 401:控制系統修正 501:AE、AF、AWB 502:同步處理 503:線性矩陣處理 504:伽馬修正 505:亮度色彩分離 506:邊緣強調處理 507:色差矩陣處理 508:調整尺寸/縮放 509:輸出I/F處理 913:邏輯電路 914:主處理器 915:記憶體 919:匯流排 7000:車輛控制系統 7010:通信網路 7100:驅動系統控制單元 7110:車輛狀態檢測部 7200:車體系統控制單元 7300:電池控制單元 7310:二次電池 7400:車外資訊檢測單元 7410:攝像部 7420:車外資訊檢測部 7500:車內資訊檢測單元 7510:駕駛者狀態檢測部 7600:整合控制單元 7610:微電腦 7620:通用通信I/F 7630:專用通信I/F 7640:測位部 7650:信標接收部 7660:車內機器I/F 7670:聲音圖像輸出部 7680:車載網路I/F 7690:記憶部 7710:聲頻揚聲器 7720:顯示部 7730:儀錶板 7750:外部環境 7760:車內機器 7800:輸入部 7900:車輛 7910:攝像部 7912:攝像部 7914:攝像部 7916:攝像部 7918:攝像部 7920:車外資訊檢測部 7922:車外資訊檢測部 7924:車外資訊檢測部 7926:車外資訊檢測部 7928:車外資訊檢測部 7930:車外資訊檢測部 a～d:攝像範圍 D:資料 S1:處理 S2:處理 S100 步驟 S101～S124:步驟 S131～S158:步驟 S200 步驟 S201～S210:步驟 S300:步驟 S400:步驟 S500:步驟 S600:步驟
圖1係顯示第1實施形態之感測器系統1之概略構成例之模式圖。 圖2係顯示作為第1實施形態之電子機器之通信器件之概略構成例的方塊圖。 圖3係顯示第1實施形態之影像感測器之晶片構成之模式圖。 圖4係顯示第1實施形態之可撓性邏輯晶片之另一構成例之圖。 圖5係顯示第1實施形態之可撓性邏輯晶片之進而另一構成例之圖。 圖6係用以說明第1實施形態之影像感測器之動作之圖。 圖7係顯示第1實施形態之通信器件之概略動作例之流程圖。 圖8係顯示第1實施形態之伺服器之概略動作例之流程圖。 圖9係顯示第1實施形態之變更項目之例之圖。 圖10係顯示先前型之器件構成之方塊圖。 圖11係用以說明以圖10所例示之器件構成處理資料時之流程之圖。 圖12係顯示以圖10所例示之器件構成處理1000個資料時所需之時脈週期數的圖。 圖13係顯示第1實施形態之影像感測器之器件構成之方塊圖。 圖14係用以說明第1實施形態之影像感測器處理資料時之流程之圖。 圖15係顯示以第1實施形態之影像感測器處理1000個資料時所需之時脈週期數的圖。 圖16係顯示第2實施形態之通信器件之概略構成例之方塊圖。 圖17係顯示第2實施形態之影像感測器之晶片構成之模式圖。 圖18係顯示第3實施形態之通信器件之概略構成例之方塊圖。 圖19係顯示第3實施形態之影像感測器之晶片構成之模式圖。 圖20係顯示第4實施形態之通信器件之概略構成例之方塊圖。 圖21係顯示第4實施形態之影像感測器之晶片構成之模式圖。 圖22係顯示第5實施形態之通信器件之概略構成例之方塊圖。 圖23係顯示第5實施形態之影像感測器之晶片構成之模式圖。 圖24係顯示第6實施形態之通信器件之概略構成例之方塊圖。 圖25係顯示第6實施形態之通信器件之另一概略構成例之方塊圖。 圖26係顯示第6實施形態之通信器件之進而另一概略構成例之方塊圖。 圖27係顯示第6實施形態之通信器件之進而另一概略構成例之方塊圖。 圖28係顯示第6實施形態之通信器件之進而另一概略構成例之方塊圖。 圖29係顯示第7實施形態之通信器件之概略構成例之方塊圖。 圖30係用以說明第7實施形態之DNN解析處理(機械學習處理)之一例之圖。 圖31係顯示第7實施形態之動作之概略例之流程圖。 圖32係顯示第8實施形態之通信器件之概略構成例之方塊圖。 圖33係顯示車輛控制系統之概略構成之一例之方塊圖。 圖34係顯示車外資訊檢測部及攝像部之設置位置之一例之說明圖。
10:影像感測器
11:受光部
12:高速信號處理電路
13:可撓性邏輯電路
14:主處理器
15:記憶體
16:驅動器
17:非揮發性記憶體
18:收發部
181:DAC
182:發送天線
183:ADC
184:接收天線

Claims (20)

  1. 一種感測器裝置，其具備： 感測器，其取得感測器資訊； FPGA(Field-Programmable Gate Array，場可程式化閘陣列)，其對以上述感測器取得之上述感測器資訊執行特定處理；及 記憶體，其記憶用以使上述FPGA執行上述特定處理之資料。
  2. 如請求項1之感測器裝置，其中對應於上述感測器資訊之解析結果，更新上述記憶體內之上述資料。
  3. 如請求項1之感測器裝置，其進而具備： 發送部，其向特定網路發送經執行上述特定處理之上述感測器資訊；及 接收部，其接收對應於向上述特定網路發送之上述感測器資訊之解析結果產生之用以更新上述FPGA的更新資料；且 以上述更新資料更新上述記憶體內之上述資料。
  4. 如請求項3之感測器裝置，其中 上述發送部藉由無線向特定網路發送上述感測器資訊， 上述接收部藉由無線自上述特定網路接收上述更新資料。
  5. 如請求項4之感測器裝置，其進而具備： 加密部，其將上述感測器資訊加密；及 解碼部，其解除上述更新資料之加密。
  6. 如請求項1之感測器裝置，其進而具備：處理器，其解析上述感測器資訊，對應於上述解析結果產生用以更新上述FPGA之更新資料，並以該產生之更新資料更新上述記憶體內之上述資料。
  7. 如請求項6之感測器裝置，其進而具備： DNN(Deep Neural Network，深度神經網路)電路，其藉由機械學習而解析上述感測器資訊；且 上述處理器基於上述DNN電路之上述機械學習之結果而解析上述感測器資訊。
  8. 如請求項1之感測器裝置，其進而具備： 發送部，其向上述特定網路發送經執行上述特定處理之上述感測器資訊； 接收部，其接收對應於向上述特定網路發送之上述感測器資訊之解析結果產生之用以更新上述FPGA的更新資料； 處理器，其解析上述感測器資訊，且對應於上述解析結果而產生用以更新上述FPGA之更新資料；及 切換部，其切換將上述感測器資訊經由上述發送部向上述特定網路發送、或將其輸入至上述處理器；且 以由上述接收部接收到之上述更新資料或由上述處理器產生之上述更新資料，更新上述記憶體內之上述資料。
  9. 如請求項1之感測器裝置，其中 上述感測器資訊為圖像資料，且 上述感測器包含具備複數個光電轉換元件之受光部、及自上述受光部讀出圖像資料之信號處理電路。
  10. 如請求項9之感測器裝置，其中上述特定處理包含黑色位準處理、缺陷修正、陰影修正、失真修正、自動曝光、自動聚焦、自動白平衡調整、同步處理、線性矩陣處理、伽馬修正、亮度色彩分離、邊緣強調處理、色差矩陣處理及調整尺寸/縮放中之至少一者。
  11. 如請求項1之感測器裝置，其中上述資料包含：電路資料，其用以將執行上述特定處理之電路構成組入至上述FPGA；及設定資料，其包含設定於上述電路構成之參數。
  12. 如請求項1之感測器裝置，其進而具備與上述FPGA協作而執行上述特定處理的處理器。
  13. 如請求項1之感測器裝置，其進而具備： 第1晶片，其具備上述感測器； 第2晶片，其具備上述FPGA；及 第3晶片，其具備上述記憶體；且 具備將上述第1～第3晶片積層之堆疊構造。
  14. 如請求項13之感測器裝置，其中上述第3晶片位於上述第1晶片與上述第2晶片之間。
  15. 如請求項13之感測器裝置，其進而具備： 第4晶片，其具備與上述FPGA協作而執行上述特定處理之處理器；且 上述堆疊構造具備將上述第1～第4晶片積層之構造。
  16. 如請求項15之感測器裝置，其中 上述第1晶片位於上述堆疊構造之最上層；且 上述第4晶片位於上述堆疊構造之最下層。
  17. 如請求項13之感測器裝置，其中 上述感測器資訊為圖像資料， 上述感測器包含具備複數個光電轉換元件之受光部、及自上述受光部讀出圖像資料之信號處理電路，且 上述第1晶片包含具備上述受光部之第5晶片及具備上述信號處理電路之第6晶片。
  18. 一種電子機器，其具備： 感測器，其取得感測器資訊； FPGA，其對以上述感測器取得之上述感測器資訊執行特定處理；及 記憶體，其記憶用以使上述FPGA執行上述特定處理之資料。
  19. 一種感測器系統，其係經由特定網路連接電子機器與伺服器者，且 上述電子機器具備： 感測器，其取得感測器資訊； FPGA，其對以上述感測器取得之上述感測器資訊執行特定處理； 記憶體，其記憶用以使上述FPGA執行上述特定處理之資料； 發送部，其向特定網路發送經執行上述特定處理之上述感測器資訊；及 接收部，其接收對應於向上述特定網路發送之上述感測器資訊之解析結果產生之用以更新上述FPGA的更新資料；且 上述伺服器解析經由上述特定網路自上述電子機器接收到之上述感測器資料，對應於該解析結果而產生用以更新上述FPGA之上述更新資料，且向上述特定網路發送該產生之更新資料， 以上述接收部經由上述特定網路接收到之上述更新資料，更新上述記憶體內之上述資料。
  20. 一種控制方法，其具備： 解析以感測器取得之感測器資訊之步驟；及 對應於上述感測器資訊之解析結果，變更對上述感測器資訊執行特定處理之FPGA之電路構成及上述電路構成之設定值中之至少一者的步驟。
TW108140571A 2018-12-07 2019-11-08 感測器裝置、電子機器、感測器系統及控制方法 TWI811479B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018230398 2018-12-07
JP2018-230398 2018-12-07

Publications (2)

Publication Number Publication Date
TW202038088A true TW202038088A (zh) 2020-10-16
TWI811479B TWI811479B (zh) 2023-08-11

Family

ID=70975322

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108140571A TWI811479B (zh) 2018-12-07 2019-11-08 感測器裝置、電子機器、感測器系統及控制方法

Country Status (7)

Country Link
US (1) US11457143B2 (zh)
JP (1) JP7451407B2 (zh)
KR (1) KR102743121B1 (zh)
CN (1) CN111656144B (zh)
DE (1) DE112019000317T5 (zh)
TW (1) TWI811479B (zh)
WO (1) WO2020116046A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI876536B (zh) * 2022-09-15 2025-03-11 美商特憶智能科技公司 集成感測和機器學習處理設備

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320821B2 (en) * 2018-12-11 2022-05-03 Airbus Helicopters Drone for industrial activities
JP2020136903A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
US10782759B1 (en) 2019-04-23 2020-09-22 Arbor Company, Lllp Systems and methods for integrating batteries with stacked integrated circuit die elements
JP7023412B2 (ja) * 2019-04-26 2022-02-21 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2021122106A (ja) * 2020-01-31 2021-08-26 キヤノン株式会社 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム
US11463524B2 (en) * 2020-06-29 2022-10-04 Arbor Company, Lllp Mobile IoT edge device using 3D-die stacking re-configurable processor module with 5G processor-independent modem
JP7355717B2 (ja) * 2020-07-30 2023-10-03 トヨタテクニカルディベロップメント株式会社 映像変換システム、映像変換方法及び映像変換プログラム
US11582414B2 (en) * 2020-09-24 2023-02-14 Canon Kabushiki Kaisha Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium
JP7784244B2 (ja) * 2020-09-24 2025-12-11 キヤノン株式会社 信号処理装置、光電変換装置、光電変換システム、信号処理装置の制御方法およびプログラム
JP7691222B2 (ja) * 2020-10-09 2025-06-11 キヤノン株式会社 撮像装置、レンズ装置、カメラ本体、制御方法およびプログラム
KR20220061351A (ko) * 2020-11-06 2022-05-13 삼성전자주식회사 이미지 센서 및 이미지 센싱 장치
JP2022133135A (ja) * 2021-03-01 2022-09-13 キヤノン株式会社 撮像装置、撮像装置の制御方法、情報処理装置
CN118034785B (zh) * 2024-04-11 2024-06-11 清华大学 指令压缩方法、装置、加速器及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0682821B2 (ja) * 1988-04-13 1994-10-19 工業技術院長 固体撮像装置
JP3033575B1 (ja) 1999-02-17 2000-04-17 日本電気株式会社 画像処理装置
JP2005035396A (ja) * 2003-07-15 2005-02-10 Stanley Electric Co Ltd 車載用情報処理装置
JP2006019932A (ja) * 2004-06-30 2006-01-19 Canon Inc 処理装置及び撮像装置
JP5747327B2 (ja) * 2011-08-26 2015-07-15 学校法人 名城大学 情報セキュリティシステム，ホスト，デバイス，その制御方法
US9496247B2 (en) * 2013-08-26 2016-11-15 Optiz, Inc. Integrated camera module and method of making same
JP2015061164A (ja) * 2013-09-18 2015-03-30 株式会社リコー 電子機器、データ通信システム、および情報処理方法
KR101545951B1 (ko) * 2013-12-02 2015-08-21 (주)실리콘화일 이미지 처리 패키지 및 이를 구비하는 카메라 모듈
US20160356632A1 (en) * 2015-06-02 2016-12-08 Empire Technology Development Llc Sensor degradation compensation
CN105427449A (zh) * 2015-10-30 2016-03-23 新达通科技股份有限公司 一种纸币图像光补偿校正方法及验钞识别装置、atm机
JP2017129951A (ja) * 2016-01-19 2017-07-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム
JP6816380B2 (ja) * 2016-04-15 2021-01-20 オムロン株式会社 画像処理装置、画像処理方法、情報処理プログラム、および記録媒体
US10840203B2 (en) * 2016-05-06 2020-11-17 Smoltek Ab Assembly platform
JP2018026682A (ja) 2016-08-09 2018-02-15 株式会社Ｊｖｃケンウッド 撮像装置、設定装置、画像解析装置、画像解析システム、及び設定方法
JP2018055648A (ja) * 2016-09-30 2018-04-05 株式会社日立製作所 アクセラレーションシステム及びアクセラレーション方法
JP6661522B2 (ja) * 2016-12-12 2020-03-11 株式会社日立製作所 衛星画像処理システム及び方法
US10504843B2 (en) * 2017-05-02 2019-12-10 L. Pierre de Rochemont High speed semiconductor chip stack
US20180370502A1 (en) * 2017-06-27 2018-12-27 Dura Operating, Llc Method and system for autonomous emergency self-learning braking for a vehicle
TWM555538U (zh) * 2017-10-12 2018-02-11 天鉞電子股份有限公司 照明監視設備
JP6789919B2 (ja) * 2017-12-13 2020-11-25 日立オートモティブシステムズ株式会社 演算システム、サーバ、車載装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI876536B (zh) * 2022-09-15 2025-03-11 美商特憶智能科技公司 集成感測和機器學習處理設備

Also Published As

Publication number Publication date
JP7451407B2 (ja) 2024-03-18
TWI811479B (zh) 2023-08-11
US20200351440A1 (en) 2020-11-05
KR20210098839A (ko) 2021-08-11
US11457143B2 (en) 2022-09-27
JPWO2020116046A1 (ja) 2021-10-14
KR102743121B1 (ko) 2024-12-16
WO2020116046A1 (ja) 2020-06-11
CN111656144B (zh) 2024-08-16
DE112019000317T5 (de) 2020-10-08
CN111656144A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
TWI811479B (zh) 感測器裝置、電子機器、感測器系統及控制方法
US10704957B2 (en) Imaging device and imaging method
US11202046B2 (en) Image processor, imaging device, and image processing system
WO2017208536A1 (ja) 画像処理装置と画像処理方法および学習装置と学習方法
CN109644241B (zh) 图像处理设备和图像处理方法
JP2018207453A (ja) 制御装置、撮像装置、制御方法、プログラム及び撮像システム
JPWO2018016151A1 (ja) 画像処理装置と画像処理方法
WO2018016150A1 (ja) 画像処理装置と画像処理方法
US20230204769A1 (en) Ranging device, electronic device, sensor system, and control method
WO2022004502A1 (ja) 撮像装置及び撮像方法
WO2024057995A1 (ja) 光検出素子及び電子機器
CN119497998A (zh) 相机系统及其控制方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US20240323561A1 (en) Image processing device, image processing method, and image processing system
US20250317662A1 (en) Sensor device
WO2024150690A1 (ja) 固体撮像装置
TW202446089A (zh) 光檢測裝置及電子機器
WO2019111651A1 (ja) 撮像システム、画像処理装置、及び、画像処理方法