[go: up one dir, main page]

TWI448153B - 用於視差偵測及光度計功能具有整合子陣列之多陣列感測器 - Google Patents

用於視差偵測及光度計功能具有整合子陣列之多陣列感測器 Download PDF

Info

Publication number
TWI448153B
TWI448153B TW097131959A TW97131959A TWI448153B TW I448153 B TWI448153 B TW I448153B TW 097131959 A TW097131959 A TW 097131959A TW 97131959 A TW97131959 A TW 97131959A TW I448153 B TWI448153 B TW I448153B
Authority
TW
Taiwan
Prior art keywords
array
sensor
sub
information
color information
Prior art date
Application number
TW097131959A
Other languages
English (en)
Other versions
TW200922306A (en
Inventor
Scott Smith
Original Assignee
Aptina Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptina Imaging Corp filed Critical Aptina Imaging Corp
Publication of TW200922306A publication Critical patent/TW200922306A/zh
Application granted granted Critical
Publication of TWI448153B publication Critical patent/TWI448153B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Description

用於視差偵測及光度計功能具有整合子陣列之多陣列感測器
本發明係關於CMOS影像器，且更明確地說係關於具有視差校正之多陣列成像之方法及系統。
影像擷取裝置(諸如，數位相機、附接至個人電腦之桌上型相機及內建於行動電話中之相機)通常具有一單透鏡，經由該透鏡接收來自一待拍攝之物件的光。通常自單透鏡將光導引至電荷耦合裝置(CCD)感測器陣列上或者互補金屬氧化物半導體(CMOS)感測器陣列上。因為此等相機中之大多數為彩色相機，所以在透鏡與感測器陣列之間介入一像素化彩色濾光片。彩色濾光片通常含有紅色濾光片元件、綠色濾光片元件及藍色濾光片元件之陣列。不管透射通過元件之色彩為何，皆使彩色濾光片中之每一元件與位於感測器陣列中的感測器元件對準。此對準使得能夠在感測器陣列中擷取彩色像素資訊。接著處理彩色像素資訊以產生物件之彩色影像。
單透鏡相機遭受若干缺陷，諸如，有限的影像解析度、不良的色彩成像及不合適的亮度成像。通常，影像解析度限制為使用含有有限數目之感測器元件之單一感測器陣列的結果。可藉由增加感測器元件之數目而改良影像解析度，且此解決方案已用於若干相機中，其中已增加含於感測器陣列中之感測器元件之密度。雖然需要做更多工作以更進一步改良感測器元件密度，但亦需要找到改良成像解 析度之替代解決方案。
在以下詳細描述中，參看形成該描述之一部分且說明本發明之特定實施例的所附諸圖。充分詳細地描述此等實施例以使一般熟習此項技術者能夠製造並使用本發明。亦瞭解，可在不背離本發明之範疇的情況下對所揭示的特定實施例作出結構、邏輯或程序改變。
各種實施例通常描述具有視差校正之成像系統及方法。成像系統通常合併個別地經組態以接收來自待成像之物件之可見光且將此光導引至相應之多個成像陣列上的多個透鏡。接著自產生於成像陣列中之一或多者中之信號導出色度及/或亮度資訊。
應瞭解，單獨考慮時，成像陣列並不區分光之一入射色彩與另一入射色彩。成像陣列中之像素之輸出信號表示所接收之光的強度，而非色彩資訊之任何指示。當需要色度資訊時，光學濾光片(亦即，彩色濾光片)介入於透鏡與像素陣列之間。然而，出於此揭示內容之目的，當結合成像陣列之像素使用彩色濾光片以將光之特定波長(對應於特定色彩)聚集至像素陣列上時，將藉由色彩提及成像陣列(亦即，"紅色陣列"、"綠色陣列"等)。將理解，色彩(諸如，綠色、藍色及紅色)出於解釋之目的而在以下例示性實施例中被提及且並不意欲將本發明限於此等特殊色彩。
圖1A為通常指定為100之三陣列成像感測器之俯視圖。 成像感測器100包括通常指定為102之三個成像陣列。成像陣列102包括配置於基板104上之紅色陣列102a、綠色陣列102b及藍色陣列102c。成像陣列102包括通常指定為106之支援電路，其用以選擇成像陣列102之適當的列線及行線用於像素讀出。
圖1B為包括成像感測器100之通常指定為120之成像裝置之側視圖。成像裝置120包括通常指定為108之三個成像透鏡。成像透鏡108a、108b及108c接收來自物件110之可見光的全光譜且將該光導引至個別紅色陣列102a、綠色陣列102b及藍色陣列102c上以產生色度資訊，亦即，色彩資訊。每一成像陣列102包括一通常指定為112之個別單色彩色濾光片及一通常指定為114之像素陣列。彩色濾光片112經說明為紅色濾光片112a、綠色濾光片112b及藍色濾光片112c。應理解，彩色濾光片112可為任何合適的色彩。
使彩色濾光片112之濾光片元件中之每一者光學對準至像素陣列114中之相應像素，藉此自每一像素元件提供一像素的色度資訊。自每一成像陣列102所獲得之像素化色度資訊經組合以產生物件110之影像。影像之解析度與三個成像陣列102a、102b及102c中所含之像素數目成比例，且因此高於通常自使用單一成像陣列之單透鏡系統所獲得的解析度。
圖2為說明視差條件之成像裝置120之側視圖。一般而言，因為多個成像透鏡聚焦於相同場景上，在該場景中，距成像裝置120之物距比無窮遠小得多(亦即，在近場中)， 所以包括多個成像透鏡108之成像裝置(諸如，成像裝置120)可能易發生影像視差。可發生於鄰近成像陣列102之間的視差量通常視物距O 及成像裝置幾何尺寸而定。
通常，可自等式(1)確定視差： 其中N表示x方向上之像素數目，dx表示影像平面處之像素寬度，O 表示物件平面距離，θ表示透鏡水平視野，且Sx 表示成像陣列102之間的水平間隔。在圖2中，D表示成像陣列102之間的距離，且dx'表示物件110之物件平面處的像素間隔。使用等式(1)可確定如由等式(2)展示之一像素之視差(P＝1)發生處之物距： 因此，因為成像感測器之幾何尺寸為已知的，可確定易受視差影響之最小物距。
可基於適當的像素移位，藉由偵測物距O及暫存影像資訊來執行視差校正，以匹配經由每一透鏡108及成像裝置120擷取之影像。在物件色彩並非為黑色、灰色或白色的情況下，與其鄰近平面相比，可能自一彩色平面丟失資訊。因為成像感測器100包括三個成像陣列102，所以成像感測器100可能在其提供關於物距O之足夠資訊以充分產生無視差影像的能力方面受到限制，因為深度資訊通常自不 同之彩色平面來確定。
圖3A為根據本發明之一實施例之通常指定為300之多陣列成像感測器的俯視圖。多陣列成像感測器300包括通常指定為302之主陣列，及提供於基板306上之子陣列304。多陣列成像感測器300包括通常指定為308且就圖5進一步描述之支援電路，其用於選擇主陣列302及子陣列304之適當的列線及行線用於像素讀出。
圖3B為包括多陣列成像感測器300之通常指定為320之成像裝置的側視圖。成像裝置包括通常指定為310及312之成像透鏡。成像透鏡310a、310b、310c及312接收來自物件110之可見光的全光譜，且將光導引至個別主陣列302a、302b、302c及子陣列304上。
主陣列302包括通常指定為314之彩色濾光片及通常指定為316之像素陣列，以提供色度資訊。除主陣列302用作多陣列感測器300之部分以外，主陣列302與成像陣列102(圖1A及圖1B)相同。子陣列304包括像素陣列318，但並不包括彩色濾光片。因此，子陣列304將可見光的全光譜接收至像素陣列318上，以提供全可見光譜之亮度資訊。
圖4A為根據本發明之另一實施例之多陣列成像感測器400之俯視圖。圖4B為包括多陣列成像感測器400之通常指定為420之成像裝置之側視圖。除子陣列402包括透鏡312與像素陣列318之間的彩色濾光片404以外，多陣列成像感測器400與多陣列成像感測器300(圖3A及圖3B)相同且成像裝置420與成像裝置320相同。因此，子陣列402提供色度 資訊而非亮度資訊。
在圖4B中，說明綠色濾光片404。通常，對於可見光光譜中之光，與藍光子光譜及紅光子光譜相比，綠光子光譜中含有大部分影像資訊。然而，應理解，任何合適之彩色濾光片可用於子陣列402以提供對應於主陣列302中之至少一者中之色度資訊的色度資訊。
對於一般視差校正，物距O 依據x位置及y位置遍及場景而變化且可能難以校正。可考慮物件在場景平面中相距非常近的情況。在此情況下，線性移位通常存在於鄰近的所擷取影像之間。線性移位視差誤差可發生於(例如)讀取名片卡、紙/讀取材料、電腦螢幕、條形碼及照片/工藝圖中。物件至成像裝置之接近性通常視陣列之間的距離D(圖2)而定。舉例而言，若距離D為約2微米，則在距成像裝置之20公分處約10個像素之移位可發生。在距成像裝置約1米處，一像素或小於一像素之移位可發生。
包括子陣列304、402(圖3A及圖4A)可允許線性移位視差之偵測及校正。因為視差移位通常發生於x方向上，所以可為主陣列讀出通道中之至少一者及子陣列304(402)提供讀出延遲記憶體緩衝器，其在下文中關於圖5加以描述。可使用任何合適的匹配技術(諸如，相關)比較來自場景之類似的光譜含量。舉例而言，若綠色濾光片404由子陣列402(圖4B)用以提供色度資訊，則可在逐列基礎上比較來自綠色陣列302b及子陣列402之色度資訊以確定綠色陣列302b與子陣列402之間的線性移位的量。一旦確定了線性 移位，紅色陣列302a的資料及藍色陣列302c的資料便可相應地經移位以補償線性移位視差，如在下文中關於圖5、圖6B、圖7及圖8進一步所描述。
作為另一實例，若亮度資訊由子陣列304偵測(圖3A)，則可執行子陣列304之亮度資訊與來自主陣列302中之每一者的色度資訊之間的相關，其在下文中關於圖5、圖6A、圖7及圖8進一步加以描述。因為子陣列304包括紅色子光譜、綠色子光譜及藍色子光譜之亮度資訊，所以相對的相關可存在於亮度資訊與主陣列302中之每一者的色度資訊之間。主陣列302與子陣列304中的相關可用以將紅色陣列302a、綠色陣列302b及藍色陣列302c移位以補償線性移位視差。
對於在x位置及y位置中之視差校正的一般情況，預期子陣列亦可關於x軸以及關於y軸而相對於主陣列加以定位。可關於x方向及y方向使用類似的匹配技術來確定一般的視差校正。
多陣列成像感測器300及400(圖3A及圖4A)包括與主成像陣列302成直線置放之子陣列304、402以便偵測場景內容之視差移位。如圖3A及圖4A中所展示，子陣列304、402與主成像陣列302相比可包括較少像素且因此可具有較低解析度。舉例而言，可提供較小子陣列304、402以便改良積體電路之晶粒面積效率。即使當子陣列304(402)之解析度小於主陣列302之解析度的一半(關於像素之水平數目及垂直數目)時，由子陣列304(402)所提供之亮度(色度)資訊 仍可提供達約＋/－一個像素之精度的視差校正。雖然子陣列304(402)展示為鄰近藍色陣列302c，但應理解，子陣列304(302)可定位於主陣列302a、302b及302c中之任兩者之間。
圖5為通常描繪為500且包括多陣列成像感測器300或400(圖3A或圖4A)之成像系統之方塊圖。成像系統500可為CMOS成像系統或CCD成像系統。成像感測器300(400)之每一成像陣列(主陣列302及子陣列304或402)包括以預定數目之行及列配置之複數個像素。陣列中之每一列之像素藉由相應之列選擇線同時接通且每一行之像素藉由相應之行選擇線選擇以用於輸出。為每一成像陣列提供複數個列線及行線。
回應於列位址解碼器(未圖示)由列驅動器506a、506b及506c選擇性地啟動每一主陣列之列線且回應於個別行位址解碼器(未圖示)由行讀出電路508a、508b及508c選擇性地啟動行選擇線。因此，為每一主陣列302之每一像素提供一列位址及一行位址。類似地，藉由列驅動器510及行讀出電路512為子陣列304(402)之每一像素提供一列位址及一行位址。成像裝置500係藉由控制用於選擇適當的列線及行線用於像素讀出之位址解碼器的控制電路(未圖示)及將驅動電壓施加至選定列線及行線的驅動電晶體的列驅動器506、510及行讀出電路508、512來操作。影像處理器518亦控制主陣列302之行讀出電路508以用於視差校正。
個別放大器514針對每一成像陣列之每一像素產生一信 號，該信號由類比數位轉換器516(ADC)數位化。ADC 516將經數位化之紅色、綠色藍色主陣列像素資料及子陣列像素信號提供至影像處理器518，影像處理器518藉由組合紅色、綠色及藍色主陣列數位像素資料而形成並輸出數位影像。
獨立的讀出控制502及504用以控制個別主陣列302及子陣列304(402)之時脈速率。如上文所描述，子陣列304(402)與主陣列302相比具有減少的解析度。為了偵測視差，主陣列302及子陣列304(402)之讀出速度在逐列基礎上設定為相等。藉由將讀出速度設定為相等，可確定子陣列304(402)之亮度/色度資訊與相應主陣列302的色度資訊之間的相關。若子陣列304(402)之讀出速度比主陣列302之讀出速度快，則可緩衝子陣列資料。因此，由讀出控制(502)所設定之主陣列時脈速率(F1)可不同於由讀出控制(504)所設定之子陣列時脈速率(F2)，其在下文中關於圖9進一步加以描述。亦可將同步控制信號提供至讀出時脈電路502及504以使自主陣列302及子陣列304(402)之像素讀出同步。
成像系統500亦包括用於儲存N×M個像素之經數位化之主陣列資料的兩列(N×2)的主陣列記憶體520及用於儲存n×m個像素之經數位化之子陣列資料的一列(n×1)的子陣列記憶體522，N、M、n及m為整數值。主陣列記憶體520包括兩個列緩衝器(line buffer)以使得可平均(亦即，組合(bin))經數位化之主陣列列資料以匹配經數位化之子陣列 資料之解析度用於視差偵測。將來自主陣列記憶體520之主陣列資料及來自子陣列記憶體522之子陣列資料提供至視差偵測器524。
雖然展示一主陣列記憶體520以儲存來自綠色陣列302B之色彩資訊(當自子陣列402接收綠色子光譜之色度資訊時)，但應理解，可包括其他主陣列記憶體520以儲存來自主陣列302a、302b及302c中之每一者之色彩資訊且將其提供至視差偵測器524，以便使來自每一主陣列302之色彩資訊與來自子陣列304之亮度資訊相關。
視差偵測器524接收來自至少一主陣列302之色彩資訊(例如，來自綠色陣列302b之綠色數位像素資料)及來自個別子陣列304或402之亮度資訊或色度資訊。視差偵測器524執行一相關以確定至少一主陣列302與子陣列304(402)之間的最大線性像素移位。一旦確定像素移位，視差偵測器便確定用於一隨後圖框之紅色及藍色陣列行移位值，且將行移位值提供至影像處理器518。視差偵測器524亦可確定綠色陣列行移位值。影像處理器518將紅色及藍色行移位值提供至相應之行讀出電路508a及508c以將用於下一圖框之紅色及藍色通道移位且對準影像輸出，以校正線性移位視差。影像處理器518可視情況將綠色行移位值提供至行讀出電路508b。
圖6A為說明使用多陣列成像感測器300(圖3A)之根據本發明之一實施例之用於校正視差之方法的流程圖。圖6A中所說明之步驟僅表示本發明之一實施例。應理解可以不同 於所展示之次序的次序執行某些步驟。
在步驟600中，自子陣列304(例如，自子陣列記憶體522(圖5))接收亮度資訊。在步驟602中，自主陣列302a、302b及302c中之每一者(例如，自相應之主陣列記憶體520(圖5))接收色彩資訊。
在步驟604中，(例如)藉由視差偵測器524(圖5)使來自每一主陣列302a、302b、302c之色彩資訊與來自子陣列304之亮度資訊相關。在步驟606中，基於步驟604中所確定之相關，將主陣列302中之色彩資訊移位。舉例而言，行移位值可適當地應用至個別紅色陣列302a之行讀出電路508a及藍色陣列302c之行讀出電路508c。
圖6B為說明使用多陣列成像感測器400(圖4A)之根據本發明之另一實施例之用於校正視差之方法的流程圖。圖6B中所說明之步驟僅表示本發明之一實施例，且應理解，可以不同於所展示之次序的次序執行某些步驟。
在步驟608中，自子陣列402(例如，自子陣列記憶體522(圖5))接收色彩資訊。在步驟610中，自一相應之主陣列(該綠色陣列302b)(例如，自主陣列記憶體520(圖5))接收色彩資訊。
在步驟612中，(例如)藉由視差偵測器524(圖5)使來自主陣列302b之色彩資訊與來自子陣列402之色彩資訊相關。在步驟614中，基於步驟612中所執行之相關將主陣列302中之色彩資訊移位。舉例而言，行移位值可適當地應用至個別紅色陣列302a之行讀出電路508a及藍色陣列302c之行 讀出電路508c。
圖7為說明用於確定多陣列感測器402之成像陣列302之色彩資訊移位之方法(亦即，步驟608－612(圖6B))的流程圖。圖7中所說明之步驟僅表示本發明之一實施例。應理解，可消除某些步驟或以不同於所展示之次序的次序執行某些步驟。
在步驟700中，將綠色陣列像素資料(來自綠色陣列302b)之對應於子陣列402之列i的N×2區塊儲存於(例如)主陣列記憶體520(圖5)中。在步驟702中，(例如)藉由視差偵測器524(圖5)對N×2像素資料區塊執行組合。步驟702中所執行之組合操作(例如)平均主陣列記憶體520中之2×2像素以提供信號f (i)，其中列i＝1、2、...N/2。在步驟704中，針對儲存於主陣列記憶體520中之組合資料(對應於列i)確定平均值。
在步驟706中，針對列i將子陣列像素資料(來自子陣列402)之n×1區塊作為信號g (i)儲存於(例如)子陣列記憶體522(圖5)中。在步驟708中，針對儲存於子陣列記憶體522中之n×i像素資料區塊(對應於列i)確定平均值。
在步驟710中，針對列i確定經組合之綠色資料f (i)(步驟702)與子陣列資料g (i)(步驟706)之間的相關。在該相關中，自經組合之綠色資料f (i)減去平均值(步驟704)且自子陣列像素資料g (i)城去平均值(步驟708)。相關通常在等式3中展示為：
在等式(3)中，可將Pmax 設定為N/2或設定為可校正之最大視差。舉例而言，若將可校正之最大視差設定為20個像素，則與N/2之上限相比可執行f (i)及g (i)之20次積分。因此，藉由將求和上限限制為Pmax ，對於每一列可執行較少數目之積分，從而允許更可行的硬體電路用於計算。
在步驟712中，針對列i確定對應於最大相關之像素位置。舉例而言，可基於自綠色陣列302b至子陣列402(圖5)之距離藉由視差偵測器524自最大相關確定像素位置。在步驟714中，針對列i(例如)藉由視差偵測器524(圖5)基於步驟712中所確定之像素位置確定紅色及藍色行移位值。因為自綠色陣列302b至紅色陣列302a及藍色陣列302c之距離係已知的，所以可基於已知的距離及像素位置確定紅色陣列302a及藍色陣列302c之相應的行移位。
在步驟716中，判定列i是否為子陣列402之最後列。若判定列i為最後列，則步驟716進行至步驟718。在步驟718中，自針對該等列中之每一者所確定之紅色移位值及藍色移位值中確定平均紅色行移位值及平均藍色行移位值。在步驟720中，(例如)藉由將平均紅色行移位值及平均藍色行移位值提供至影像處理器518(圖5)來為下一圖框選擇平均紅色行移位值及平均藍色行移位值。
若判定列i並非等於最後列，則步驟716進行至步驟722以增加列i且重複步驟700－716。
如圖7所示，針對每一子陣列之列取得紅色行移位值及 藍色行移位值且將該等值在整個訊框上平均化以獲得應用於隨後圖框上之最終行移位值。雖然圖7說明讀取了所有列，但應理解，用以偵測線性移位視差之列數不限於讀取所有列。可執行對每第m列之子取樣以允許有足夠時間執行Pmax 求和(eq.3)。舉例而言，每第16列可用以偵測視差，藉此提供16列讀出時間來確定相關。此可降低電路複雜性及視差校正所需之計算速度。
雖然圖7說明儲存綠色陣列像素資料之N×2區塊且對子陣列402執行校正，但應理解，當接收來自子陣列304之亮度資訊時可執行如步驟700－722 n之類似步驟。舉例而言，可針對紅色陣列302a、綠色陣列302b及藍色陣列302c(圖5)中之每一者重複步驟702－704。步驟710可使用等式(3)執行對於列i的步驟706及708中所確定之子陣列資料與經組合紅色資料及經組合綠色資料及經組合藍色資料中之每一者之間的相關。步驟712可基於相應之最大相關確定紅色、藍色及綠色陣列中之每一者的相對像素位置且步驟714可自相對像素位置產生列i之紅色及藍色行移位值。可如上所述重複步驟716－722。
圖8為應用至多陣列成像感測器304或402(圖3A或圖4A)之紅色陣列302a及藍色陣列302c之行移位值(亦即，色彩資訊移位)之實例。在圖8中，在較高行數n＋r讀出紅色陣列302a以校正視差。自預設行位址讀出綠色陣列302b。在較低行數n＋b開始讀出藍色陣列302c以校正視差。
在圖8中，與來自綠色陣列302b之綠色影像相比，來自 紅色陣列302a之紅色影像向右移位一像素且來自藍色陣列302c之藍色影像向左移位一像素。在此實例中，視差偵測提供值r＝＋1以在行n＋1處開始紅色陣列讀出視窗且提供值b＝－1以在行n－1處開始藍色陣列讀出視窗。與用於紅色陣列及藍色陣列之經移位的行開始位址所組合之紅色、綠色及藍色像素資料形成視差校正影像。
如上所論述，子陣列304(402)(圖5)與主陣列302相比具有減少的解析度，且因此可具有不同的讀出圖框速率。在一實例中，子陣列304(402)之解析度為主陣列302之水平方向及垂直方向上之解析度的一半。在此實例中，若相同之像素時脈信號並不用於主陣列302及子陣列304(402)讀出，則子陣列圖框速率增加為四倍。
在另一實施例中，子陣列304(402)可用作光度計。作為光度計，子陣列304(402)可用以藉由擷取若干圖框及在設定完全的主陣列曝光之前調適而確定用於主陣列302之適當的曝光位準設置。高速曝光輔助可改良用於成像系統500之自動曝光穩定時間，因此改良整體的經調適之擷取速度。
因此，可將子陣列304(402)之讀出像素種子設定為在視差校正之間的某些圖框中不同於主陣列302以允許光度計操作。圖9為圖框時序信號對用於控制主陣列302及子陣列304(402)(圖5)之讀出速度的時脈速率的時序圖。藉由使子陣列304(402)在獨立的讀出速度控制下，子陣列304(402)可在其操作期間以不同速度加以讀取以達成光度計功能性 及視差校正兩者。
如圖9中所展示，在視差偵測/校正期間，以時脈速率F1讀取主陣列302且以時脈速率F2＝F1/4讀取子陣列304(402)。因此，在視差校正期間，以與主陣列302相同之速度讀取子陣列304(402)。
在額外之圖框空白時間期間，子陣列304(402)用作光度計且以時脈速率F1(亦即，以與主陣列302不同之速度)自子陣列304(402)讀取像素。在光度計操作期間，子陣列304(402)可使用亮度級及/或曝光資訊以便設定用於下一成像圖框之曝光設置。
子陣列304(402)亦可藉由將經數位化之子陣列資料與經數位化之主陣列資料(圖5)組合而用於弱光情形中。此可視子陣列304(402)之尺寸而在折衷解析度的情況下改良多陣列成像感測器300(400)之敏感性。
儘管參照特定實施例在本文中說明並描述了本發明，但本發明並不意欲限於所展示之細節。實情為，可在申請專利範圍之等效物之範疇及範圍內且在不背離本發明的情況下在細節上作出各種修改。
100‧‧‧三陣列成像感測器
102a‧‧‧紅色陣列
102b‧‧‧綠色陣列
102c‧‧‧藍色陣列
104‧‧‧基板
106‧‧‧支援電路
108a‧‧‧成像透鏡
108b‧‧‧成像透鏡
108c‧‧‧成像透鏡
110‧‧‧物件
112a‧‧‧紅色濾光片
112b‧‧‧綠色濾光片
112c‧‧‧藍色濾光片
120‧‧‧成像裝置
300‧‧‧多陣列成像感測器
302a‧‧‧主陣列/紅色陣列
302b‧‧‧主陣列/綠色陣列
302c‧‧‧主陣列/藍色陣列
304‧‧‧子陣列
306‧‧‧基板
308‧‧‧支援電路
310a‧‧‧成像透鏡
310b‧‧‧成像透鏡
310c‧‧‧成像透鏡
312‧‧‧成像透鏡
318‧‧‧像素陣列
320‧‧‧成像裝置
400‧‧‧多陣列成像感測器
402‧‧‧子陣列
404‧‧‧彩色濾光片/綠色濾光片
420‧‧‧成像裝置
500‧‧‧成像系統
502‧‧‧讀出控制
504‧‧‧讀出控制
506a‧‧‧列驅動器
506b‧‧‧列驅動器
506c‧‧‧列驅動器
508a‧‧‧行讀出電路
508b‧‧‧行讀出電路
508c‧‧‧行讀出電路
510‧‧‧列驅動器
512‧‧‧行讀出電路
514‧‧‧放大器
516‧‧‧類比數位轉換器
518‧‧‧影像處理器
520‧‧‧主陣列記憶體
522‧‧‧子陣列記憶體
524‧‧‧視差偵測器
D‧‧‧成像陣列之間的距離
dx‧‧‧影像平面處之像素寬度
dx'‧‧‧物件110之物件平面處之像素間距
Sx ‧‧‧成像陣列102之間的水平間距
O‧‧‧物件距離
θ‧‧‧透鏡水平視野
圖1A為三陣列成像感測器之俯視圖。
圖1B為包括圖1A中所展示之三陣列成像感測器之成像裝置之側視圖。
圖2為圖1B中所展示之成像裝置之說明視差條件之側視圖。
圖3A為根據本發明之一實施例之多陣列成像感測器之俯視圖。
圖3B為包括圖3A中所展示之多陣列成像感測器之成像裝置之側視圖。
圖4A為根據本發明之另一實施例之多陣列成像感測器之俯視圖。
圖4B為包括圖4A中所展示之多陣列成像感測器之成像裝置之側視圖。
圖5為根據本發明之一實施例之包括圖3A或圖4A中所展示之多陣列成像感測器之成像系統之方塊圖。
圖6A為說明根據本發明之一實施例的用於校正視差之方法的流程圖。
圖6B為說明根據本發明之另一實施例的用於校正視差之方法的流程圖。
圖7為說明用於確定圖4A中所展示之多陣列感測器中之成像陣列之色彩資訊移位的方法的流程圖。
圖8為基於視差校正之應用至圖3A或圖4A中所展示之多陣列成像感測器之成像陣列之色彩資訊移位的實例。
圖9為圖框時序信號對用於控制圖3A或圖4A中所展示之成像陣列之讀出速度的時脈速率的時序圖。
300‧‧‧多陣列成像感測器
302a‧‧‧主陣列/紅色陣列
302b‧‧‧主陣列/綠色陣列
302c‧‧‧主陣列/藍色陣列
304‧‧‧子陣列
306‧‧‧基板
308‧‧‧支援電路

Claims (18)

  1. 一種在一成像系統中校正視差的方法，其包含以下步驟：接收來自配置於一基板上之多陣列感測器的色彩資訊；接收來自與該等多陣列感測器一起配置於該基板上之一子陣列感測器的亮度資訊；使接收自該等多陣列感測器中之至少一者之色彩資訊與接收自該子陣列感測器之該亮度資訊相關；基於該相關，將該等多陣列感測器中之該色彩資訊移位以校正該視差；基於該所接收之色彩資訊或該所接收之亮度資訊中之至少一者，偵測一弱光條件；及當偵測到該弱光條件時，將該亮度資訊與來自該等多陣列感測器之該色彩資訊組合。
  2. 一種在一成像系統中校正視差的方法，其包含以下步驟：接收來自配置於一基板上之多陣列感測器的色彩資訊；接收來自與該等多陣列感測器一起配置於該基板上之一子陣列感測器的亮度資訊；使接收自該等多陣列感測器中之至少一者之色彩資訊與接收自該子陣列感測器之該亮度資訊相關；及基於該相關，將該等多陣列感測器中之該色彩資訊移 位以校正該視差，其中接收來自該子陣列感測器之亮度資訊包括藉由一彩色濾光片過濾該亮度資訊；及使該色彩資訊相關包括使接收自該等多陣列感測器中之該至少一者之該色彩資訊與接收自該子陣列感測器之該經過濾的亮度資訊相關。
  3. 一種在一成像系統中校正視差的方法，其包含以下步驟：接收來自配置於一基板上之多陣列感測器的色彩資訊；接收來自與該等多陣列感測器一起配置於該基板上之一子陣列感測器的亮度資訊；使接收自該等多陣列感測器中之至少一者之色彩資訊與接收自該子陣列感測器之該亮度資訊相關；及基於該相關，將該等多陣列感測器中之該色彩資訊移位以校正該視差，其中使該色彩資訊相關包括：自該子陣列感測器接收該亮度資訊之一列；自對應於該亮度資訊之該列之該至少一多陣列感測器，接收該色彩資訊之兩列或兩列以上；組合該色彩資訊之該兩列或兩列以上；使該經組合之色彩資訊與該亮度資訊之該列相關，以確定一最大相關值；自該最大相關值確定該至少一多陣列感測器中之一像 素移位；及自該亮度資訊之許多列的像素移位值，確定該等多陣列感測器之平均行移位值；且其中基於該等平均行移位值而移位該色彩資訊。
  4. 一種成像系統，其包含：配置於一基板上之多陣列感測器，其經組態以經由每一陣列感測器產生色彩資訊；與該等多陣列感測器一起配置於該基板上之一子陣列感測器，其經組態以產生亮度資訊；及一處理器，其經組態以(a)接收來自該等多陣列感測器中之至少一陣列感測器之色彩資訊，及來自該子陣列感測器之該亮度資訊，且(b)使該所接收之色彩資訊與該亮度資訊相關，以偵測該一個陣列感測器與該子陣列感測器之間的視差，其中該處理器經組態以基於該所偵測之視差，將該等多陣列感測器中的該色彩資訊移位，且其中每一陣列感測器包括一不同的單色彩色濾光片以產生該相應之色彩資訊。
  5. 一種成像系統，其包含：配置於一基板上之多陣列感測器，其經組態以經由每一陣列感測器產生色彩資訊；與該等多陣列感測器一起配置於該基板上之一子陣列感測器，其經組態以產生亮度資訊；及一處理器，其經組態以(a)接收來自該等多陣列感測器 中之至少一陣列感測器之色彩資訊，及來自該子陣列感測器之該亮度資訊，且(b)使該所接收之色彩資訊與該亮度資訊相關，以偵測該一個陣列感測器與該子陣列感測器之間的視差，其中該處理器經組態以基於該所偵測之視差，將該等多陣列感測器中的該色彩資訊移位，且其中：該子陣列感測器包括一彩色濾光片以過濾該亮度資訊；且該處理器使該所接收之色彩資訊與該經過濾之亮度資訊相關，以偵測該至少一陣列感測器與該子陣列感測器之間的該視差。
  6. 一種成像系統，其包含：配置於一基板上之多陣列感測器，其經組態以經由每一陣列感測器產生色彩資訊；與該等多陣列感測器一起配置於該基板上之一子陣列感測器，其經組態以產生亮度資訊；及一處理器，其經組態以(a)接收來自該等多陣列感測器中之至少一陣列感測器之色彩資訊，及來自該子陣列感測器之該亮度資訊，且(b)使該所接收之色彩資訊與該亮度資訊相關，以偵測該一個陣列感測器與該子陣列感測器之間的視差，其中該處理器經組態以基於該所偵測之視差，將該等多陣列感測器中的該色彩資訊移位，且其中該子陣列感 測器之一解析度小於該等多陣列感測器之一解析度。
  7. 一種成像系統，其包含：配置於一基板上之多陣列感測器，其經組態以經由每一陣列感測器產生色彩資訊；與該等多陣列感測器一起配置於該基板上之一子陣列感測器，其經組態以產生亮度資訊；一處理器，其經組態以(a)接收來自該等多陣列感測器中之至少一陣列感測器之色彩資訊，及來自該子陣列感測器之該亮度資訊，且(b)使該所接收之色彩資訊與該亮度資訊相關，以偵測該一個陣列感測器與該子陣列感測器之間的視差，其中該處理器經組態以基於該所偵測之視差，將該等多陣列感測器中的該色彩資訊移位；及第一及第二時脈讀出控制電路，其經組態以獨立地控制該等多陣列感測器及該子陣列感測器之時脈速率。
  8. 一種成像系統，其包含：配置於一基板上之多陣列感測器，其經組態以經由每一陣列感測器產生色彩資訊；與該等多陣列感測器一起配置於該基板上之一子陣列感測器，其經組態以產生亮度資訊；一處理器，其經組態以(a)接收來自該等多陣列感測器中之至少一陣列感測器之色彩資訊，及來自該子陣列感測器之該亮度資訊，且(b)使該所接收之色彩資訊與該亮度資訊相關，以偵測該一個陣列感測器與該子陣列感測器之間的視差，其中該處理器經組態以基於該所偵測之 視差，將該等多陣列感測器中的該色彩資訊移位；第一及第二行讀出電路，其經組態以讀出該等多陣列感測器之對應於該等多陣列感測器之一選定列及個別行之個別多陣列像素信號；第二行讀出電路，其經組態以讀出該子陣列感測器之對應於該子陣列感測器之該選定列及一個別行之一子陣列像素信號；放大器，其經組態以輸出經放大之自該第一及該第二行讀出電路接收之多陣列像素信號及一子陣列像素信號；一類比數位(ADC)轉換器，其經組態以將該等經放大之多陣列像素信號及該經放大之子陣列像素信號轉換成個別經數位化之多陣列像素信號及一經數位化之子陣列像素信號；及一影像處理器，其經組態以將來自該等多陣列感測器之該等經數位化之像素信號組合成一數位影像。
  9. 如請求項8之成像系統，其中該處理器將用於該等多陣列感測器中之至少一者的個別行移位值提供至該影像處理器，且該影像處理器基於該等行移位值將一控制信號提供至該第一行讀出電路，以將該等多陣列感測器中之該至少一者的該等個別行移位。
  10. 一種成像系統，其包含：一基板上之一第一感測器陣列，其經組態以自可見光之一全光譜產生一第一色度資訊； 該基板上之一第二感測器陣列，其經組態以自可見光之一全光譜產生一第二色度資訊，其中該第二感測器陣列在該基板上自第一感測器陣列移位；一與該第一感測器陣列光學串聯而配置之第一透鏡，其經組態以將可見光之該全光譜接收至該第一感測器陣列上；一與該第二感測器陣列光學串聯而配置之第二透鏡，其經組態以將可見光之該全光譜接收至該第二感測器陣列上；該基板上之一第三感測器陣列，其經組態以自可見光之該全光譜產生亮度資訊，其中該第三感測器陣列在該基板上自該第一感測器陣列及該第二感測器陣列兩者移位；及一處理器，其經組態以使來自該第一感測器陣列及該第二感測器陣列中之至少一者的該色度資訊與來自該第三感測器陣列的該亮度資訊相關，以用於偵測該至少一感測器陣列與該第三感測器陣列之間的視差，其中該處理器經組態以基於該所偵測之視差，將該第一感測器陣列與該第二感測器陣列之間的該色度資訊移位。
  11. 如請求項10之成像系統，進一步包含一與該第三感測器陣列光學串聯而配置之第三透鏡，其經組態以將可見光之該全光譜接收至該第三感測器陣列上。
  12. 如請求項11之成像系統，進一步包含一彩色濾光片，其 以光學串聯配置於該第三透鏡與該第三感測器陣列之間，其中該第三感測器陣列產生經過濾之亮度資訊，且該處理器使來自該第一感測器陣列及該第二感測器陣列中之至少一者的該色度資訊與來自該第三感測器陣列之該經過濾的亮度資訊相關。
  13. 一種在一成像系統中校正視差的方法，其包含以下步驟：在一第一時間間隔中：將一子陣列感測器之一讀出速度設定為比多陣列感測器之一讀出速度快，且將一數量之光接收至該子陣列感測器上；及在一第二時間間隔中：將該子陣列感測器之一讀出速度設定為大體上等於該等多陣列感測器之該讀出速度，接收來自該等多陣列感測器之色彩資訊及來自該子陣列感測器之亮度資訊，及基於接收自該等多陣列感測器之一色彩資訊及接收自該子陣列感測器之該亮度資訊來校正接收自該等多陣列感測器之色彩資訊中的該視差。
  14. 如請求項13之方法，其中在該第一時間間隔中，將該數量之光接收至該子陣列感測器上包括：基於所接收之光的該數量，確定一用於該等多陣列感測器之曝光時間，及 針對該第二時間間隔，設定用於該等多陣列感測器之該曝光時間。
  15. 如請求項14之方法，其中在該第二時間間隔中，校正該視差包括：使接收自該等多陣列感測器中之至少一者之該色彩資訊與接收自該子陣列之該亮度資訊相關；及基於該相關，將該等多陣列感測器中之該色彩資訊移位。
  16. 如請求項15之方法，進一步包括組合來自該等多陣列感測器之該經移位之色彩資訊以產生一影像。
  17. 如請求項15之方法，進一步包括：基於該所接收之色彩資訊或該所接收之亮度資訊中之至少一者偵測一弱光條件；當偵測到該弱光條件時，將來自該子陣列感測器之該亮度資訊與來自該等多陣列感測器之該經移位的色彩資訊組合。
  18. 如請求項15之方法，其中接收來自該等子陣列感測器之亮度資訊包括藉由一彩色濾光片過濾該亮度資訊，且使該色彩資訊相關包括使接收自該等多陣列感測器中之該至少一者之該色彩資訊與接收自該子陣列感測器之該經過濾的亮度資訊相關。
TW097131959A 2007-08-21 2008-08-21 用於視差偵測及光度計功能具有整合子陣列之多陣列感測器 TWI448153B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/842,345 US7782364B2 (en) 2007-08-21 2007-08-21 Multi-array sensor with integrated sub-array for parallax detection and photometer functionality

Publications (2)

Publication Number Publication Date
TW200922306A TW200922306A (en) 2009-05-16
TWI448153B true TWI448153B (zh) 2014-08-01

Family

ID=40010609

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097131959A TWI448153B (zh) 2007-08-21 2008-08-21 用於視差偵測及光度計功能具有整合子陣列之多陣列感測器

Country Status (3)

Country Link
US (1) US7782364B2 (zh)
TW (1) TWI448153B (zh)
WO (1) WO2009026064A2 (zh)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
GB2456492B (en) * 2007-07-05 2012-09-26 Hewlett Packard Development Co Image processing method, image capture device, and computer readable medium
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP4336447B1 (en) 2008-05-20 2025-05-07 Adeia Imaging LLC Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8567961B2 (en) 2009-05-04 2013-10-29 Kenneth J. Huebner Light array projection and sensing system
US8100540B2 (en) 2009-05-04 2012-01-24 Huebner Kenneth J Light array projection and sensing system
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
EP2569935B1 (en) 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8355039B2 (en) * 2010-07-06 2013-01-15 DigitalOptics Corporation Europe Limited Scene background blurring including range measurement
JP4917193B2 (ja) * 2010-07-08 2012-04-18 パナソニック株式会社 撮像装置
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
CN103329541A (zh) * 2010-10-22 2013-09-25 新不伦瑞克大学 摄像机成像系统和方法
US9930316B2 (en) 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN103053163A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 图像生成装置、图像生成系统、方法及程序
US8717467B2 (en) * 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
TWI424746B (zh) * 2011-02-14 2014-01-21 財團法人工業技術研究院 影像感測器及其感測方法
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US20130120621A1 (en) * 2011-11-10 2013-05-16 Research In Motion Limited Apparatus and associated method for forming color camera image
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
JP2014096741A (ja) * 2012-11-12 2014-05-22 Sony Corp 信号処理回路、撮像装置及びプログラム
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
FI2973476T3 (fi) 2013-03-15 2025-05-22 Adeia Imaging Llc Järjestelmiä ja menetelmiä stereokuvaukseen kameraryhmillä
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9746376B2 (en) * 2013-11-12 2017-08-29 EO Vista, LLC Apparatus and methods for hyperspectral imaging with parallax measurement
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
KR102144588B1 (ko) 2014-05-09 2020-08-13 삼성전자주식회사 센서 모듈 및 이를 구비한 장치
WO2015182447A1 (ja) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 撮像装置および測色方法
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN109167940A (zh) * 2018-08-23 2019-01-08 Oppo广东移动通信有限公司 一种感光芯片、摄像头模组及电子设备
CN108833760A (zh) * 2018-08-23 2018-11-16 Oppo广东移动通信有限公司 一种图像传感器、摄像头模组及电子设备
DE102019109147A1 (de) * 2019-04-08 2020-10-08 Carl Zeiss Jena Gmbh Bildaufnahmesystem und verfahren zum aufnehmen von bildern
BR112022004811A2 (pt) 2019-09-17 2022-06-21 Boston Polarimetrics Inc Sistemas e métodos para modelagem de superfície usando indicações de polarização
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
WO2021070426A1 (ja) * 2019-10-09 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 撮像回路および撮像装置
DE112020005932T5 (de) 2019-11-30 2023-01-05 Boston Polarimetrics, Inc. Systeme und verfahren zur segmentierung von transparenten objekten mittels polarisationsmerkmalen
EP4081933A4 (en) 2020-01-29 2024-03-20 Intrinsic Innovation LLC Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12175741B2 (en) 2021-06-22 2024-12-24 Intrinsic Innovation Llc Systems and methods for a vision guided end effector
US12340538B2 (en) 2021-06-25 2025-06-24 Intrinsic Innovation Llc Systems and methods for generating and using visual datasets for training computer vision models
US12172310B2 (en) 2021-06-29 2024-12-24 Intrinsic Innovation Llc Systems and methods for picking objects using 3-D geometry and segmentation
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12293535B2 (en) 2021-08-03 2025-05-06 Intrinsic Innovation Llc Systems and methods for training pose estimators in computer vision
WO2023222278A1 (en) * 2022-05-20 2023-11-23 ams Sensors Germany GmbH Multispectral optical sensor, camera system and parallax compensation method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961157B2 (en) * 2001-05-29 2005-11-01 Xerox Corporation Imaging apparatus having multiple linear photosensor arrays with different spatial resolutions
TW200717160A (en) * 2005-09-12 2007-05-01 Casio Computer Co Ltd Projecting apparatus and method and recording medium recording the projecting method
US20070182819A1 (en) * 2000-06-14 2007-08-09 E-Watch Inc. Digital Security Multimedia Sensor

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4736247A (en) 1987-05-04 1988-04-05 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Range and range rate system
SE461619B (sv) * 1988-07-06 1990-03-05 Hasselblad Ab Victor Anordning vid kameror utgoerande en sammansaettning av en fotokemisk och en elektronisk kamera
GB9125954D0 (en) 1991-12-06 1992-02-05 Vlsi Vision Ltd Electronic camera
JP3639358B2 (ja) 1995-09-22 2005-04-20 オリンパス株式会社 電子制御カメラ
JPH09269528A (ja) 1996-01-31 1997-10-14 Canon Inc パララックス補正機能付きカメラ
WO1999030269A1 (en) 1997-12-08 1999-06-17 Roustaei Alexander R Single chip symbology reader with smart sensor
JP2001036806A (ja) 1999-07-16 2001-02-09 Asahi Optical Co Ltd 電子カメラの露光制御装置
JP3768060B2 (ja) 2000-03-10 2006-04-19 三洋電機株式会社 ディジタルカメラ
US6577821B2 (en) 2001-07-17 2003-06-10 Eastman Kodak Company Camera having oversized imager and method
US6647207B2 (en) 2002-01-23 2003-11-11 Concord Camera Corp. Parallax correction for close focus
US6853806B2 (en) 2002-09-13 2005-02-08 Olympus Optical Co., Ltd. Camera with an exposure control function
EP1637836A1 (en) 2003-05-29 2006-03-22 Olympus Corporation Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
US7924327B2 (en) 2003-10-22 2011-04-12 Panasonic Corporation Imaging apparatus and method for producing the same, portable equipment, and imaging sensor and method for producing the same
JP4903705B2 (ja) 2005-07-26 2012-03-28 パナソニック株式会社 複眼方式の撮像装置及びその製造方法
JP4436427B2 (ja) * 2006-05-16 2010-03-24 パナソニック株式会社 撮像装置及び半導体回路素子
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070182819A1 (en) * 2000-06-14 2007-08-09 E-Watch Inc. Digital Security Multimedia Sensor
US6961157B2 (en) * 2001-05-29 2005-11-01 Xerox Corporation Imaging apparatus having multiple linear photosensor arrays with different spatial resolutions
TW200717160A (en) * 2005-09-12 2007-05-01 Casio Computer Co Ltd Projecting apparatus and method and recording medium recording the projecting method

Also Published As

Publication number Publication date
WO2009026064A3 (en) 2009-04-23
WO2009026064A2 (en) 2009-02-26
US7782364B2 (en) 2010-08-24
TW200922306A (en) 2009-05-16
US20090051793A1 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
TWI448153B (zh) 用於視差偵測及光度計功能具有整合子陣列之多陣列感測器
US7738017B2 (en) Method and apparatus for automatic linear shift parallax correction for multi-array image systems
US7667169B2 (en) Image sensor with simultaneous auto-focus and image preview
US7474352B2 (en) Focus detection based on an opening pupil ratio
US20040090550A1 (en) Image sensing means for digital camera and digital camera adopting the same
CN110944126B (zh) 成像系统和对图像传感器进行黑阶校正的方法
JP2003022440A5 (zh)
JP6929027B2 (ja) 撮像素子及び撮像装置
CN100493151C (zh) 固态摄像元件及数字相机
US9661241B2 (en) Solid-state imaging device and electronic apparatus
US8780241B2 (en) Digitally graded neutral density filter
US8270713B2 (en) Method and apparatus providing hardware-efficient demosaicing of image data
JP4034614B2 (ja) 固体撮像装置
CN100525383C (zh) 图像数据噪声降低设备及其控制方法
JP2019140696A (ja) 固体撮像装置
US8086034B2 (en) System and method for reducing color artifacts in digital images
US8400534B2 (en) Noise reduction methods and systems for imaging devices
JP6955543B2 (ja) 撮像素子及び撮像装置
JP4977541B2 (ja) ディジタル・カメラおよびその動作制御方法
JP2017038311A (ja) 固体撮像装置
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法
JP4848349B2 (ja) 撮像装置及び固体撮像素子の駆動方法
US20070194358A1 (en) Solid-state imaging device
US6667470B2 (en) Solid-state electronic image sensing device and method of controlling operation of same
JP2019186817A (ja) 固体撮像素子、撮像装置および固体撮像素子の制御方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees