TWI896681B - 用於減少影像資訊損失的畫素陣列以及包含其的影像感測器 - Google Patents
用於減少影像資訊損失的畫素陣列以及包含其的影像感測器Info
- Publication number
- TWI896681B TWI896681B TW110121425A TW110121425A TWI896681B TW I896681 B TWI896681 B TW I896681B TW 110121425 A TW110121425 A TW 110121425A TW 110121425 A TW110121425 A TW 110121425A TW I896681 B TWI896681 B TW I896681B
- Authority
- TW
- Taiwan
- Prior art keywords
- color
- pixel
- cfa
- block
- pixels
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/805—Coatings
- H10F39/8053—Colour filters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
提供一種畫素陣列以及包含其的影像感測器。畫素陣列包括:多個彩色濾光器陣列(CFA)胞元,具有某一大小,且各自在彩色濾光器陣列胞元的寬度方向及長度方向上包括多個彩色濾光器陣列區塊,其中彩色濾光器陣列區塊中的每一者包括子區塊及外區,子區塊位於彩色濾光器陣列區塊中的每一者的中心區處並包括m×n個彩色畫素,且外區不同於子區塊並包括彩色畫素,其中子區塊的m×n個彩色畫素包括感測第一顏色至第三顏色的彩色畫素,且外區包括感測第一顏色的相對高數目的第一畫素及感測自第二顏色及第三顏色選擇的至少一者的相對低數目的第二畫素。
Description
[相關申請案的交叉參考]
本申請案基於2020年6月15日在韓國智慧財產權提出申請的第10-2020-0072618號及於2021年3月31日在韓國智慧財產權提出申請的第10-2021-0042232號韓國專利申請案並主張所述韓國專利申請案的優先權,所述韓國專利申請案的揭露內容全部併入本案供參考。
本發明概念是有關於影像感測器,且更具體而言,是有關於用於減少影像資訊損失的畫素陣列及包含所述畫素陣列的影像感測器。
影像感測器擷取物體的二維(two-dimensional,2D)或三維(three-dimensional,3D)影像。影像感測器使用光電轉換元件產生物體的影像,所述光電轉換元件對自物體反射的光的強度作出反應。隨著互補金屬氧化物半導體(complementary metal-oxide semiconductor,CMOS)技術近來的發展,使用CMOS的CMOS影像感測器(CMOS image sensor,CIS)得到了廣泛的使用。
影像感測器可包括畫素陣列。當影像感測器具有較高的畫素計數時,畫素陣列可包括較多的彩色畫素。為了將自影像感測器輸出的原始影像轉換成某一型樣(pattern)(例如RGB影像),可實行基於內插(interpolation)及/或外插(extrapolation)的馬賽克重排(remosaic)過程。當與在此過程中可能參考的相鄰彩色畫素的距離增加時,可能發生影像資訊的損失。
本發明概念提供一種用於在處理由影像感測器擷取的影像期間防止或減少影像損失增加的畫素陣列。
根據本發明概念的態樣,提供一種影像感測器的畫素陣列。所述畫素陣列包括:多個彩色濾光器陣列(color filter array,CFA)胞元,具有某一大小,所述多個CFA胞元中的每一者在所述CFA胞元的寬度方向及所述CFA胞元的長度方向上包括多個CFA區塊,其中所述多個CFA區塊中的每一者包括子區塊及除所述子區塊之外的外區,所述子區塊位於所述多個CFA區塊中的每一者的中心區處並包括m×n個彩色畫素,且所述外區包括其他彩色畫素,其中所述子區塊的所述m×n個彩色畫素包括感測第一顏色、第二顏色及第三顏色的彩色畫素,且所述外區包括感測所述第一顏色的一定數目個第一畫素以及感測自所述第二顏色及所述第三顏色選擇的至少一者的一定數目個第二畫素,所述第一畫素的所述數目大於所述第二畫素的所述數目。
根據本發明概念的態樣,提供一種影像感測器的畫素陣列。所述畫素陣列包括:多個彩色濾光器陣列(CFA)胞元,具有某一大小,所述多個CFA胞元中的每一者在所述CFA胞元的寬度方向及所述CFA胞元的長度方向上包括2×2個CFA區塊,所述2×2個CFA區塊中的每一者包括4×4個彩色畫素。所述2×2個CFA區塊中的每一者包括子區塊及外區,所述子區塊位於所述2×2個CFA區塊中的每一者的中心區處並包括2×2個彩色畫素,且所述外區位於所述2×2個CFA區塊中的每一者的外側處並包括十二個彩色畫素。所述2×2個CFA區塊包括紅CFA區塊、綠CFA區塊及藍CFA區塊;且所述子區塊包括一個紅畫素、一個藍畫素及二個綠畫素,其中所述紅CFA區塊的所述外區中的所述十二個彩色畫素包括一個藍畫素及十一個紅畫素。
根據本發明概念的態樣,存在一種影像感測器。所述影像感測器包括:畫素陣列,包括多個彩色濾光器陣列(CFA)胞元,所述多個CFA胞元各自在所述CFA胞元的寬度方向及所述CFA胞元的長度方向上包括多個CFA區塊,所述多個CFA區塊中的每一者包括子區塊及除所述子區塊之外的外區,所述子區塊位於所述多個CFA區塊中的每一者的中心區處並包括n×n個彩色畫素,且所述外區包括其他彩色畫素,其中「n」是至少為2的整數。所述畫素陣列更包括讀取電路,所述讀取電路被配置成自所述畫素陣列的彩色畫素讀取畫素值。所述子區塊的所述n×n個彩色畫素包括感測第一顏色、第二顏色及第三顏色的彩色畫素,且所述外區包括感測所述第一顏色、所述第二顏色及所述第三顏色之一的一定數目個第一畫素以及感測所述第一顏色、所述第二顏色及所述第三顏色中的另一者的一定數目個第二畫素,所述第一畫素的所述數目大於所述第二畫素的所述數目。
在下文中,將參照附圖詳細闡述示例性實施例。
圖1是根據一些示例性實施例的包括畫素陣列的影像感測器的方塊圖。
參照圖1,影像感測器100可包括畫素陣列110、列驅動器120、讀取電路130及控制器140。影像感測器100可包括互補金屬氧化物半導體(CMOS)影像感測器(CIS)。
控制器140可控制列驅動器120及讀取電路130。畫素陣列110可包括多個畫素(例如,彩色畫素)。畫素中的每一者可包括至少一個感光性元件(未示出)。感光性元件可感測每一畫素中的光,並根據所感測光的強度產生電訊號。感光性元件可包括光電二極體、光電閘、光電電晶體等。根據示例性實施例,畫素陣列110可包括呈各種型樣的彩色畫素。彩色畫素中的每一者可產生與至少一種顏色相關的電訊號作為畫素訊號。雖然在圖1中未示出,但可對畫素陣列110的畫素訊號實行例如馬賽克重排等處理,且畫素陣列110的顏色型樣可藉由此種處理轉換成例如拜爾(Bayer)型樣等某一型樣。
畫素陣列110可向讀取電路130輸出與由感光性元件吸收的光對應的電訊號。列驅動器120可輸出對畫素陣列110的彩色畫素中的每一者進行控制的訊號。例如,列驅動器120可輸出對每一彩色畫素的感光性元件進行重設或者控制感光性元件輸出與其中累積的光電荷對應的電訊號的訊號。
讀取電路130可自畫素陣列110接收電訊號,並輸出畫素值(或畫素資料)。例如,讀取電路130可包括類比至數位轉換器(analog-to-digital converter,ADC),且輸出與自畫素陣列110接收的類比訊號對應的數位訊號作為畫素資料。
雖然在圖1中未示出,但可將影像感測器100的畫素資料提供至影像處理單元(未示出),且可由影像處理單元基於數位訊號處理來實行例如馬賽克重排等處理操作。根據示例性實施例,可定義成,由影像感測器100的元件(例如,處理器)或者由影像感測器100之外的單獨處理單元來實行例如馬賽克重排等處理操作。
在下文中,將根據示例性實施例示出畫素陣列110的彩色畫素的一些示例性實施例。
圖2及圖3是根據示例性實施例的畫素陣列的一些示例性實施例的圖。
參照圖1至圖3,影像感測器100可包括畫素陣列110,且可在畫素陣列110中提供彩色濾光器陣列(CFA),以允許每一畫素感測某一顏色。在以下對示例性實施例的說明中,用語「彩色濾光器」、「彩色畫素」、「濾光器陣列」及「畫素陣列」可被不同地定義。例如,CFA可被定義為在包括感光性元件的畫素陣列上提供的單獨元件,或者被定義為包含於畫素陣列中。換言之,彩色畫素可被定義為包括對應的彩色濾光器。在以下對示例性實施例的說明中,CFA胞元、CFA區塊及子區塊中的每一者可被定義為包括彩色畫素。
畫素陣列110可包括以某一單位定義的多個CFA胞元111。例如,畫素陣列110可在長度方向及寬度方向上包括多個CFA胞元111。CFA胞元111中的每一者可包括具有某一大小的彩色畫素。
CFA胞元111中的每一者可被定義為包括多個CFA區塊,且可指由相同CFA區塊而成的最小結構。圖2示出其中CFA胞元111包括M×N個CFA區塊使得CFA胞元111在寬度方向上包括M個CFA區塊且在長度方向上包括N個CFA區塊(M及N是正整數)的一些示例性實施例。在例如CIS等高清晰度影像感測器中,彩色畫素的數目可增加,且因此,CFA胞元111的大小及CFA區塊的大小可增加。
此時,在其中每一CFA區塊包括相同種類的彩色畫素(或感測相同顏色的畫素)的一些示例性實施例中,當自影像感測器輸出的原始影像被轉換成RGB影像時,彩色畫素(例如,中心彩色畫素)與相鄰彩色畫素(在例如內插或外插等影像處理期間可能參考)之間的距離增加,進而導致影像資訊的損失。具體而言,CFA區塊的大小愈大,與欲參考的相鄰彩色畫素的距離就愈大,且因此,影像損失率亦可增加。
在示例性實施例中,CFA胞元111的彩色畫素(或彩色濾光器)及畫素陣列110的CFA區塊可具有可降低影像處理期間的影像損失率的型樣。在一些示例性實施例中,CFA胞元111包括四個(或2×2)個CFA區塊且每一CFA區塊感測至少二種顏色或者一個CFA區塊感測應用於畫素陣列110的所有顏色,並且一些示例性實施例可藉由減小內插距離來減少影像資訊的損失。
根據一些示例性實施例,如圖3所示,CFA區塊可包括多個彩色畫素。例如,沿寬度方向排列有「c」個彩色畫素,且沿長度方向排列有「d」個彩色畫素,使得CFA區塊包括c×d個彩色畫素(c及d是正整數)。在其中畫素陣列110包括紅色畫素、藍色畫素及綠色畫素(分別稱為紅畫素、藍畫素及綠畫素)的一些示例性實施例中,CFA區塊可在示例性實施例中包括所有的紅畫素、藍畫素及綠畫素。
在一些示例性實施例中,在內部(例如,中心區或另一位置)中包括某一數目個畫素的單元可被稱為子區塊。子區塊可包括a×b個彩色畫素(a及b是正整數)。例如,如圖3所示,紅畫素R、藍畫素B及綠畫素G全部一起排列於子區塊中。
另外,在CFA區塊中除所述子區塊外的剩餘區(例如,CFA區塊的邊界或外區)中可排列有多個彩色畫素。例如,感測特定顏色的多數畫素及感測其他顏色的少數畫素(例如,一個或二個畫素)可一起排列於外區中。換言之,CFA區塊的外區可包括感測特定顏色的多個第一畫素P1及感測另一種顏色的至少一個第二畫素P2。
根據一些示例性實施例,根據其中所包括的彩色畫素的種類,CFA區塊可被稱為紅CFA區塊、藍CFA區塊或綠CFA區塊。例如,當CFA區塊中紅畫素的數目最高時,CFA區塊可被稱為紅CFA區塊。當CFA區塊的外區中的第一畫素P1是紅畫素時,CFA區塊可被稱為紅CFA區塊。
在一些示例性實施例中,在紅CFA區塊的外區中可主要排列有第一畫素P1(或紅畫素),且在紅CFA區塊的外區中可更排列有至少一個第二畫素P2(例如,藍畫素)。例如,在紅CFA區塊的外區中可多半排列有紅畫素,且在紅CFA區塊的外區的至少一個隅角中可排列有藍畫素。相似地,在藍CFA區塊的外區中可多半排列有藍畫素,且在藍CFA區塊的外區的至少一個隅角中可排列有紅畫素。根據一些示例性實施例,在綠CFA區塊的外區中可僅排列有綠畫素,或者在綠CFA區塊的外區中亦可排列有感測除綠色之外的另一種顏色的至少一個畫素。
在上述一些示例性實施例中應用於畫素陣列110的紅畫素、藍畫素及綠畫素僅為實例,且實施例並非僅限於此。舉例而言,例如青色濾光器及RGBW濾光器等的各種濾光器中所涉及的彩色畫素可應用於一些示例性實施例,且一些示例性實施例並非僅限於感測特定顏色的型樣。
以下將闡述根據示例性實施例的影像感測器的畫素陣列的具體的一些示例性實施例。雖然在以下示例性實施例中,在CFA區塊的外區的一個隅角中排列有第二畫素P2,但一些示例性實施例並非僅限於此。換言之,在CFA區塊的外區中可排列有至少二個第二畫素P2,如上所述。實施例可進行各種修改。例如,第二畫素P2可排列於外區的除隅角之外的另一位置中。
圖4示出根據一些示例性實施例的畫素陣列及經馬賽克重排的顏色型樣。在下文中,闡述了包括8×8個畫素的CFA胞元,但在一些示例性實施例中可不同地設定CFA胞元的大小。
根據一些示例性實施例,CFA胞元包括四個CFA區塊,且因此,每一CFA區塊可包括4×4個彩色畫素。例如,當上述畫素陣列包括紅畫素、綠畫素及藍畫素時,每一CFA區塊可包括所有的紅畫素、綠畫素及藍畫素。圖4的(e)中所示的CFA胞元可包括圖4的(a)中所示的紅CFA區塊、圖4的(b)中所示的綠CFA區塊及圖4的(c)中所示的藍CFA區塊。大小為8×8的CFA胞元可藉由馬賽克重排過程轉換成圖4的(f)中所示的拜爾型樣。上述CFA胞元及由轉換產生的拜爾型樣可被稱為型樣CFA對(pattern CFA pair)或CFA型樣對(CFA pattern pair)。
紅CFA區塊、綠CFA區塊及藍CFA區塊中的每一者可包括具有某一大小的子區塊,如圖4的(d)中所示。例如,子區塊可包括2×2個彩色畫素。根據一些示例性實施例,子區塊包括所有的紅畫素、綠畫素及藍畫素,且因此,紅色、綠色及藍色可由子區塊一起全部感測。子區塊中的畫素排列可變化。例如,在圖4的(d)中所示的子區塊的左上方、右上方、左下方及右下方依序排列有綠畫素、藍畫素、紅畫素及綠畫素(或GBRG)。
可基於四個CFA區塊的排列來實施各種類型的CFA胞元。例如,圖4的(e)中所示的CFA胞元示出其中綠CFA區塊、紅CFA區塊、藍CFA區塊及綠CFA區塊依序位於CFA胞元的左上方、右上方、左下方及右下方的實例。為了便於闡述,藉由使用GRBG CFA區塊的前二個字母及子區塊的GBRG畫素的前二個字母,可將圖4的(e)中所示的8×8個CFA胞元稱為GR-GB型樣胞元。
使用圖4的(e)及(f)中所示的一對型樣,可需要對紅色、綠色及藍色進行內插,以將8×8個CFA胞元馬賽克重排成拜爾型樣。當對綠色實行內插時,可選擇相對較多的鄰近的綠畫素,乃因綠色較紅色或藍色包含更多的影像邊緣資訊。例如,可在四個方向(例如,斜線方向、反斜線方向、水平方向及豎直方向)中的每一者上選擇內插所必需的相鄰綠畫素,且可計算自被計算內插的畫素(例如,中心畫素)至相鄰綠畫素的距離的平均值作為中心畫素的內插距離。對比之下,當對藍色或紅色實行內插時,可選擇至少一個相鄰畫素,而不考慮相對於被計算內插的畫素的方向。
根據一些示例性實施例,至少一個CFA區塊在其外區中可具有感測至少二種顏色的畫素。例如,如圖4的(a)中所示,紅CFA區塊的外區可主要包括多個紅畫素及一個第二畫素P2(例如,左下隅角中的藍畫素)。如圖4的(c)中所示,藍CFA區塊的外區可主要包括多個藍畫素及一個第二畫素P2(例如,右上隅角中的紅畫素)。儘管在圖4中示出綠CFA區塊的外區中的所有畫素均是綠畫素,但在綠CFA區塊的外區中可排列有至少一個第二畫素P2。
參照圖4的(e)及(f),每一CFA區塊的子區塊中的彩色畫素的排列可與拜爾型樣中對應位置中的彩色畫素的排列相同。因此,一個CFA胞元的四個子區塊的彩色畫素中的每一者的內插距離可被計算為0,且因此,可達成內插距離的減小。
關於CFA胞元的四個CFA區塊,可定義第一區DR,第一區DR包括所述四個CFA區塊中的每一者的彩色畫素。第一區DR可包括藍CFA區塊的第二畫素P2、紅CFA區塊的第二畫素P2以及相應的二個綠CFA區塊的二個綠畫素。第一區DR中的彩色畫素的排列可與拜爾型樣中對應位置處的彩色畫素的排列相同。因此,在CFA胞元中內插距離為0的彩色畫素的數目可增加,且因此,CFA胞元的內插距離可進一步減小。
換言之,根據一些示例性實施例,根據CFA胞元的畫素排列,存在內插距離為0的彩色畫素,且可保全內插距離為0的諸多彩色畫素,例如上述子區塊的彩色畫素及第一區DR的彩色畫素。因此,在CFA胞元中內插距離為0的彩色畫素的數目可增加,且因此可減少或防止影像資訊的損失。
圖5示出根據一些示例性實施例的CFA胞元的一些示例性實施例。在如圖5所示的一些示例性實施例中,CFA胞元包括2×2個CFA區塊,且圖5的(a)至(d)中分別所示的紅CFA區塊、綠CFA區塊、藍CFA區塊及子區塊與圖4中所示的那些相同。圖5所示的CFA胞元可藉由馬賽克重排過程轉換成圖5的(h)中所示的拜爾型樣。
圖5的(e)中所示的CFA胞元可包括在其左上方的綠CFA區塊、在其右上方的藍CFA區塊、在其左下方的紅CFA區塊以及在其右下方的另一綠CFA區塊。綠CFA區塊、紅CFA區塊及藍CFA區塊中的每一者可包括子區塊。子區塊可在其左上方、右上方、左下方及右下方依序包括綠畫素、藍畫素、紅畫素及綠畫素。
根據CFA區塊的排列,可不同地實施CFA胞元。例如,圖5的(f)中所示的CFA胞元可包括在其左上方的紅CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊以及在其右下方的藍CFA區塊。圖5的(g)中所示的CFA胞元可包括在其左上方的藍CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊以及在其右下方的紅CFA區塊。
根據上述一些示例性實施例,CFA區塊中的每一者的子區塊的彩色畫素的內插距離可為0。第一區DR可被定義為由分別位於相應的四個CFA區塊的外區中的彩色畫素形成。第一區DR可包括藍CFA區塊的外區中的第二畫素(例如,紅畫素)、紅CFA區塊的外區中的第二畫素(例如,藍畫素)及二個綠CFA區塊中的每一者的外區中的綠畫素。第一區DR的彩色畫素的內插距離可具有值0。
根據圖5中的CFA胞元的一些示例性實施例,CFA胞元的相應四個隅角中的四個彩色畫素可在一些示例性實施例中如圖5的(e)中形成第一區DR,CFA胞元的左側及右側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖5的(f)中形成第一區DR,且CFA胞元的頂側及底側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖5的(g)中形成第一區DR。
圖6示出圖4中的CFA胞元中所包括的彩色畫素中的每一者的內插距離的實例。
根據一些示例性實施例,當使用上述方法來計算欲被馬賽克重排的彩色畫素中的每一者的內插距離時,可獲得圖6所示的值。例如,在綠色內插的一些示例性實施例中,可在四個方向(例如,斜線方向、反斜線方向、水平方向及豎直方向)中的每一者上選擇彼此最鄰近的二個相鄰綠畫素。在紅色或藍色內插的一些示例性實施例中,可選擇彼此最鄰近的二個相鄰的紅畫素或藍畫素,而不管方向如何。
如圖6所示,每一CFA胞元的子區塊的彩色畫素及第一區DR的彩色畫素中的每一者的內插距離可被計算為0。在其他彩色畫素的一些示例性實施例中,藉由使用圖4的(e)及(f)所示的一對型樣,可減小與在內插時欲參考的相鄰彩色畫素的距離。因此,在CFA胞元中計算的內插距離的總平均值可最小化,且因此,影像資訊的損失亦可最小化。
在下文中,將闡述可根據示例性實施例實施的各種彩色濾光器陣列的實例。實施例並非僅限於以下闡述的彩色濾光器陣列的具體實例,且彩色濾光器陣列的畫素的具體排列可被部分地修改,只要達成一些示例性實施例的效果即可。
圖7至圖9示出根據一些示例性實施例的畫素陣列的一些示例性實施例。圖7至圖9示出CFA區塊的子區塊的彩色畫素的排列的各種實例以及外區中的彩色畫素的排列的各種實例。
可分別如圖7的(a)至(c)中所示來實施紅CFA區塊、綠CFA區塊及藍CFA區塊,且每一CFA區塊可包括圖7的(d)中所示的子區塊。另外,圖7中所示的每一CFA胞元可藉由馬賽克重排過程轉換成圖7的(i)中所示的拜爾型樣。
在圖7所示的一些示例性實施例中,每一CFA區塊的子區塊可在其左上方、右上方、左下方及右下方依序包括綠畫素、紅畫素、藍畫素及綠畫素。如圖7的(a)中所示,在紅CFA區塊的外區中可主要排列有紅畫素,且在紅CFA區塊的外區中可更排列有一個藍畫素作為第二畫素。在紅CFA區塊的外區的右上隅角中可排列有藍畫素。如圖7的(b)中所示,在綠CFA區塊的外區中可排列有綠畫素。例如,在綠CFA區塊的外區中可不排列有感測除綠色之外的顏色的畫素。如圖7的(c)中所示,在藍CFA區塊的外區中可主要排列有藍畫素,且在藍CFA區塊的外區中可更排列有一個紅畫素作為第二畫素。在藍CFA區塊的外區的左下隅角中可排列有紅畫素。
根據如上所述的CFA區塊的一些示例性實施例,紅CFA區塊及藍CFA區塊中的每一者的彩色畫素可具有某一型樣。例如,自紅CFA區塊及藍CFA區塊中的每一者的右上隅角至其左下隅角可依序排列有藍畫素、紅畫素、藍畫素及紅畫素。
可基於CFA區塊的排列來實施各種類型的CFA胞元。例如,參照圖7的(e),CFA胞元可包括在其左上方的綠CFA區塊、在其右上方的紅CFA區塊、在其左下方的藍CFA區塊以及在其右下方的另一綠CFA區塊。參照圖7的(f),CFA胞元可包括在其左上方的綠CFA區塊、在其右上方的藍CFA區塊、在其左下方的紅CFA區塊以及在其右下方的另一綠CFA區塊。參照圖7的(g),CFA胞元可包括在其左上方的紅CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊及在其右下方的藍CFA區塊。參照圖7的(h),CFA胞元可包括在其左上方的藍CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊及在其右下方的紅CFA區塊。
與上述示例性實施例中的一些示例性實施例相似,每一CFA區塊的子區塊中的彩色畫素的內插距離可具有值0,且可更保全包括內插距離為0的彩色畫素的第一區DR。根據圖7中的CFA胞元的一些示例性實施例,CFA胞元的相應四個隅角中的四個彩色畫素可在一些示例性實施例中如圖7的(e)中形成第一區DR,CFA胞元的中心處的四個彩色畫素可在一些示例性實施例中如圖7的(f)中形成第一區DR,CFA胞元的頂側及底側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖7的(g)中形成第一區DR,且CFA胞元的左側及右側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖7的(h)中形成第一區DR。
圖8示出CFA胞元的其他一些示例性實施例。可分別如圖8的(a)至(c)中所示來實施紅CFA區塊、綠CFA區塊及藍CFA區塊,且每一CFA區塊可包括圖8的(d)中所示的子區塊。另外,圖8中所示的每一CFA胞元可藉由馬賽克重排過程轉換成圖8的(i)中所示的拜爾型樣。
在圖8所示的一些示例性實施例中,每一CFA區塊的子區塊可在其左上方、右上方、左下方及右下方依序包括藍畫素、綠畫素、綠畫素及紅畫素。如圖8的(a)中所示,在紅CFA區塊的外區中可主要排列有紅畫素,且在紅CFA區塊的外區中可更排列有一個藍畫素作為第二畫素。在紅CFA區塊的外區的右下隅角中可排列有藍畫素。如圖8的(b)中所示,在綠CFA區塊的外區中可排列有綠畫素。在綠CFA區塊的外區中可不排列有感測除綠色之外的顏色的畫素。如圖8的(c)中所示,在藍CFA區塊的外區中可主要排列有藍畫素,且在藍CFA區塊的外區中可更排列有一個紅畫素作為第二畫素。在藍CFA區塊的外區的左上隅角中可排列有紅畫素。
與上述示例性實施例相似,可實施各種類型的CFA胞元。例如,參照圖8的(e),CFA胞元可包括在其左上方的綠CFA區塊、在其右上方的紅CFA區塊、在其左下方的藍CFA區塊以及在其右下方的另一綠CFA區塊。參照圖8的(f),CFA胞元可包括在其左上方的綠CFA區塊、在其右上方的藍CFA區塊、在其左下方的紅CFA區塊以及在其右下方的另一綠CFA區塊。參照圖8的(g),CFA胞元可包括在其左上方的紅CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊以及在其右下方的藍CFA區塊。參照圖8的(h),CFA胞元可包括在其左上方的藍CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊以及在其右下方的紅CFA區塊。
根據圖8中的CFA胞元的一些示例性實施例,CFA胞元的左側及右側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖8的(e)中形成第一區DR,CFA胞元的頂側及底側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖8的(f)中形成第一區DR,CFA胞元的中心處的四個彩色畫素可在一些示例性實施例中如圖8的(g)中形成第一區DR,且CFA胞元的相應四個隅角中的四個彩色畫素可在一些示例性實施例中如圖8的(h)中形成第一區DR。
圖9示出CFA胞元的其他一些示例性實施例。可分別如圖9的(a)至(c)中所示來實施紅CFA區塊、綠CFA區塊及藍CFA區塊,且每一CFA區塊可包括圖9的(d)中所示的子區塊。另外,圖9中所示的每一CFA胞元可藉由馬賽克重排過程轉換成圖9的(i)中所示的拜爾型樣。
在圖9所示的一些示例性實施例中,每一CFA區塊的子區塊可在其左上方、右上方、左下方及右下方依序包括紅畫素、綠畫素、綠畫素及藍畫素。如圖9的(a)中所示,在紅CFA區塊的外區中可主要排列有紅畫素,且在紅CFA區塊的外區中可更排列有一個藍畫素作為第二畫素。在紅CFA區塊的外區的左上隅角中可排列有藍畫素。如圖9的(b)中所示,在綠CFA區塊的外區中可排列有綠畫素。在綠CFA區塊的外區中可不排列有感測除綠色之外的顏色的畫素。如圖9的(c)中所示,在藍CFA區塊的外區中可主要排列有藍畫素,且在藍CFA區塊的外區中可更排列有一個紅畫素作為第二畫素。在藍CFA區塊的外區的右下隅角中可排列有紅畫素。
與上述示例性實施例中的一些示例性實施例相似,可實施各種類型的CFA胞元。例如,參照圖9的(e),CFA胞元可包括在其左上方的綠CFA區塊、在其右上方的紅CFA區塊、在其左下方的藍CFA區塊以及在其右下方的另一綠CFA區塊。參照圖8的(f),CFA胞元可包括在其左上方的綠CFA區塊、在其右上方的藍CFA區塊、在其左下方的紅CFA區塊以及在其右下方的另一綠CFA區塊。參照圖9的(g),CFA胞元可包括在其左上方的紅CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊以及在其右下方的藍CFA區塊。參照圖9的(h),CFA胞元可包括在其左上方的藍CFA區塊、在其右上方的綠CFA區塊、在其左下方的另一綠CFA區塊以及在其右下方的紅CFA區塊。
根據圖9中的CFA胞元的一些示例性實施例,CFA胞元的頂側及底側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖9的(e)中形成第一區DR,CFA胞元的左側及右側中的每一者的中間的二個彩色畫素可在一些示例性實施例中如圖9的(f)中形成第一區DR,CFA胞元的相應四個隅角中的四個彩色畫素可在一些示例性實施例中如圖9的(g)中形成第一區DR,且CFA胞元的中心處的四個彩色畫素可在一些示例性實施例中如圖9的(h)中形成第一區DR。
根據上述一些示例性實施例,畫素陣列的顏色型樣可不同地形成,且多種顏色(例如,紅(R)色、綠(G)色及藍(B)色)可全部由具有某一大小的CFA區塊一起感測。因此,可減小與在內插及/或外插時使用的相鄰彩色畫素的距離,且亦可減少影像損失。當根據上述一些示例性實施例排列CFA區塊的外區中的彩色畫素時,在CFA胞元中內插距離為0的彩色畫素的數目可增加,且相應地,CFA胞元的整體內插距離可減小。因此,可減少顏色轉換期間的影像損失。雖然在以上實施例中已闡述了CFA區塊的外區包括一個不同顏色的畫素,但可對CFA區塊的外區進行各種修改以達成一些示例性實施例的效果。雖然在以上實施例中已闡述了在綠CFA區塊的外區中未排列有感測與綠色不同的顏色的第二畫素,但根據一些示例性實施例,在綠CFA區塊的外區中亦可排列有感測不同顏色的第二畫素。
圖10是根據一些示例性實施例的包括影像感測器的影像處理單元的實例的方塊圖。
參照圖10,影像處理單元(或影像處理裝置200)可包括畫素陣列210及影像處理器220,畫素陣列210包括CFA胞元211,影像處理器220使用來自畫素陣列210的畫素值來實行影像處理。根據一些示例性實施例,上述影像感測器可被定義為包括畫素陣列210、及影像處理器220的配置中的至少一些配置。例如,影像感測器可被定義為包括用於畫素組合過程的配置及/或用於馬賽克重排過程的配置。
畫素陣列210可包括具有根據上述一些示例性實施例的各種型樣的CFA胞元211,且排列於畫素陣列210中的彩色畫素的畫素值可被提供至影像處理器220。影像處理器220可包括處理畫素值以產生影像資料的各種邏輯單元。例如,影像處理器220可包括畫素組合處理器221及馬賽克重排處理器222。在畫素組合處理器221的控制下,可在選擇高清晰度模式時使用具有相對高解析度的畫素值或者在選擇低清晰度模式時使用具有相對低解析度的畫素值來實行影像處理。馬賽克重排處理器222可與馬賽克重排過程相關地對畫素實行內插。根據上述一些示例性實施例,可使用CFA胞元的畫素值來產生與拜爾型樣對應的畫素值。
根據一些示例性實施例,畫素陣列210可包括在以上實施例中闡述的CFA胞元(或CFA區塊),且可基於已在一些示例性實施例中闡述的彩色畫素排列來實行畫素組合過程。作為實行畫素組合過程的結果,可減小由影像處理器220處理的影像資料的大小,且亦可減小每圖框的資料大小,使得可在視訊模式中保持高圖框率。
根據一些示例性實施例,可基於各種方法來實行畫素組合過程。例如,可基於其中影像處理器220對畫素陣列210的彩色畫素的畫素值實行數位相加的方法來實行畫素組合過程。作為另一選擇或另外,可基於其中以類比方式將畫素陣列210的至少二個彩色畫素的電訊號相加的方法來實行畫素組合過程。
根據一些示例性實施例,可不同地選擇在畫素組合過程中被進行訊號相加的彩色畫素。例如,根據區塊內方法,可選擇一個CFA區塊中感測相同顏色的彩色畫素,且可以類比或數位方式將所述彩色畫素的訊號相加。例如,可選擇一個CFA區塊中感測相同顏色的所有或一些彩色畫素。
根據區塊間方法,可選擇至少二個CFA區塊中感測相同顏色的彩色畫素,且可以類比或數位方式將彩色畫素的訊號相加。例如,可將一個CFA區塊中以及鄰近的CFA區塊的至少一列或至少一行中感測相同顏色的彩色畫素的訊號相加。
以下將闡述根據一些示例性實施例藉由將類比訊號相加來實行畫素組合過程的實例。圖11A至圖11C是根據一些示例性實施例的畫素陣列的一些示例性實施例的圖。
圖11A示出其中畫素陣列包括多個彩色畫素且「n」個彩色畫素CP1至CPn彼此共享一個浮動擴散區FD(n是正整數)的實例。例如,在一個CFA區塊中感測相同顏色的至少一些彩色畫素可彼此共享浮動擴散區FD。根據一些示例性實施例,在CFA區塊中感測相同顏色的所有或一些彩色畫素可彼此共享浮動擴散區FD。
每一彩色畫素可包括光電二極體PD及傳輸閘TG。例如,當相應「n」個彩色畫素CP1至CPn的傳輸閘TG全部接通時,「n」個彩色畫素CP1至CPn的光電荷可同時被提供至浮動擴散區FD。當相應「n」個彩色畫素CP1至CPn的傳輸閘TG被單獨控制時,「n」個彩色畫素CP1至CPn的光電荷可以不同的時序被提供至浮動擴散區FD。例如,當不執行畫素組合模式時,「n」個彩色畫素CP1至CPn的光電荷以不同的時序被提供至浮動擴散區FD。當執行畫素組合模式時,「n」個彩色畫素CP1至CPn的光電荷被同時提供至浮動擴散區FD,使得「n」個彩色畫素CP1至CPn的訊號可在浮動擴散區FD中相加。
圖11B及圖11C示出根據一些示例性實施例的在畫素組合模式中的示例性操作。圖11B及圖11C示出CFA胞元的多個彩色畫素。在圖11B及圖11C中示出對圖4中的CFA胞元實行畫素組合過程的實例。另外,在圖11B及圖11C所示實例中,對畫素組合過程應用區塊內方法,且因此,CFA區塊中感測相同顏色的畫素的訊號被相加。圖11B示出對CFA胞元的上部二個CFA區塊實行畫素組合過程的實例,而圖11C示出對CFA胞元的下部二個CFA區塊實行畫素組合過程的實例。
參照圖11B及圖11C,可基於共享浮動擴散區FD的方法將CFA區塊中的每一者劃分成多個群組。例如,CFA胞元左上方的綠CFA區塊可被劃分成分別位於綠CFA區塊的左上方、右上方、左下方及右下方且各自包括2×2個彩色畫素的群組G00、G01、G10及G11。群組G00至G11中的每一者中的四個彩色畫素可彼此共享一個浮動擴散區FD。當實行畫素組合過程時,每一群組中感測相同顏色的彩色畫素的光電荷可被提供至浮動擴散區FD。例如,在綠CFA區塊的一些示例性實施例中,群組G00中的四個綠畫素的光電荷可被提供至浮動擴散區FD,群組G01中的三個綠畫素的光電荷可被提供至浮動擴散區FD,群組G10中的三個綠畫素的光電荷可被提供至浮動擴散區FD,且群組G11中的四個綠畫素的光電荷可被提供至浮動擴散區FD。相似地,紅CFA區塊中每一群組的三個畫素的光電荷可被提供至浮動擴散區FD。
可將自群組G00至G11中的每一者提供的訊號(例如,和訊號)提供至讀取電路RC,且可自讀取電路RC輸出與所述和訊號對應的畫素值。可藉由類比或數位計算過程將群組G00至G11的畫素值相加,且可藉由相加來計算與綠CFA區塊對應的綠畫素值。
當不實行畫素組合過程時,綠CFA區塊的4×4個彩色畫素中的每一者單獨地連接至浮動擴散區FD並將光電荷轉移至浮動擴散區FD。
圖11C示出在CFA胞元的左下方的藍CFA區塊及在CFA胞元的右下方的綠CFA區塊。當實行畫素組合過程時,藍CFA區塊中的每一群組中的三個藍畫素的光電荷可被提供至浮動擴散區FD並相加。例如,在CFA胞元的左下方的藍CFA區塊可被劃分成分別位於藍CFA區塊的左上方、右上方、左下方及右下方且各自包括2×2個彩色畫素的群組B00、B01、B10及B11。群組B00至B11中的每一者中的四個彩色畫素可彼此共享一個浮動擴散區FD。當實行畫素組合過程時,每一群組中感測相同顏色的彩色畫素的光電荷可被提供至浮動擴散區FD。例如,在藍CFA區塊的一些示例性實施例中,群組G00中的四個藍畫素的光電荷可被提供至浮動擴散區FD,群組G01中的三個藍畫素的光電荷可被提供至浮動擴散區FD,群組G10中的三個藍畫素的光電荷可被提供至浮動擴散區FD,且群組G11中的四個藍畫素的光電荷可被提供至浮動擴散區FD。
在綠CFA區塊的一些示例性實施例中,一些群組中的每一者包括四個綠畫素,且四個綠畫素的光電荷可被提供至浮動擴散區FD並相加。其他群組中的每一組包括三個綠畫素,且三個綠畫素的光電荷可被提供至浮動擴散區FD並相加。
圖12示出根據一些示例性實施例的使用區塊間方法的畫素組合過程及使用區塊內方法的畫素組合過程的實例。圖12示出紅CFA區塊、綠CFA區塊及藍CFA區塊中的每一者的畫素組合過程的實例。
在紅CFA區塊中,子區塊中的三個彩色畫素及外區中的一個彩色畫素感測除紅色之外的顏色。當基於區塊內方法實行畫素組合過程時,可將紅CFA區塊的十二個紅畫素相加。相似地,可將綠CFA區塊的十四個綠畫素相加,且可將藍CFA區塊的十二個藍畫素相加。
在區塊間方法的一些示例性實施例中,當計算與CFA區塊對應的畫素值時,可進一步使用至少一個鄰近的CFA區塊的彩色畫素。例如,在圖12所示的實例中,可進一步使用鄰近的CFA區塊的一列中的彩色畫素或鄰近的CFA區塊的二列中的彩色畫素。
例如,對於紅CFA區塊,可將與紅CFA區塊的十二個紅畫素對應的訊號及與紅CFA區塊鄰近的CFA區塊的一列中的紅畫素的訊號相加。作為另一選擇或另外,可將與紅CFA區塊的十二個紅畫素對應的訊號及與紅CFA區塊鄰近的CFA區塊的二列中的紅畫素的訊號相加。相似地,對於藍CFA區塊,可將與藍CFA區塊的十二個藍畫素對應的訊號及與紅CFA區塊鄰近的CFA區塊的一列或二列中的藍畫素的訊號相加。
根據一些示例性實施例,當基於區塊間方法對綠CFA區塊實行畫素組合過程時,綠CFA區塊包括相對較多的綠畫素,且因此,圖12示出其中在畫素組合過程中使用與綠CFA區塊鄰近的CFA區塊的一列中的綠畫素的訊號的實例。然而,示例性實施例並非僅限於此。在訊號相加中可進一步使用與綠CFA區塊鄰近的CFA區塊的至少二列中的綠畫素。
圖13至圖15示出根據一些示例性實施例的CFA區塊的一些示例性實施例。圖13示出紅CFA區塊,圖14示出藍CFA區塊,且圖15示出綠CFA區塊。圖13至圖15示出藉由在每一CFA區塊的外區中排列彩色畫素來進一步減小內插距離的實例。雖然圖13至圖15示出圖4所示的CFA區塊,但示例性實施例亦可應用於上述的其他各種CFA區塊。
參照圖13,紅CFA區塊可包括包含2×2個彩色畫素的子區塊,如上所述。儘管在紅CFA區塊的外區中主要排列有紅畫素,但在外區的隅角(例如,左下隅角)中可排列有藍畫素。因此,在紅CFA區塊的某一方向上(例如,自右上方至左下方)可依序排列有紅畫素、藍畫素、紅畫素及藍畫素。
另外,在紅CFA區塊的外區的另一隅角中可排列有感測除紅色之外的至少一種顏色的畫素。在圖13的(a)中示出右下隅角中排列有綠畫素。在圖13的(b)中示出在右下隅角及左上隅角中分別排列有二個綠畫素。圖13的(a)及(b)中所示的外區中的綠畫素感測與拜爾型樣中對應位置中的綠畫素相同的顏色(即,綠色),且因此,紅CFA區塊的畫素的內插距離可進一步減小。
參照圖14,儘管在藍CFA區塊的外區中主要排列有藍畫素,但在外區的隅角(例如,右上隅角)中可排列有紅畫素。因此,在藍CFA區塊的某一方向上(例如,自右上方至左下方)可依序排列有紅畫素、藍畫素、紅畫素及藍畫素。另外,與圖13所示的示例性實施例中的一些示例性實施例相似,在藍CFA區塊的外區的另一隅角中可排列有感測除藍色之外的至少一種顏色的畫素。在圖14的(a)中示出在右下隅角中排列有綠畫素。在圖14的(b)中示出在右下隅角及左上隅角中分別排列有二個綠畫素。根據圖14的(a)及(b)所示的實施例,藍CFA區塊的畫素的內插距離可進一步減小。
參照圖15,在綠CFA區塊的外區中可排列有感測除綠色之外的至少一種顏色的畫素(例如,紅畫素及/或藍畫素)。在圖15的(a)中示出在綠CFA區塊的外區的一個隅角(例如,左下隅角)中排列有藍畫素。在圖15的(b)中示出在綠CFA區塊的外區的左下隅角中排列有藍畫素,而在綠CFA區塊的外區的右上隅角中排列有紅畫素。圖15的(a)及(b)中所示的外區中的彩色畫素(例如,藍畫素及/或紅畫素)感測與拜爾型樣中對應位置中的彩色畫素相同的顏色,且因此,綠CFA區塊的畫素的內插距離可進一步減小。
圖16示出根據一些示例性實施例的彩色畫素的一些示例性實施例。
根據上述一些示例性實施例,彩色畫素可包括感測光(或顏色)的對應彩色濾光器及感光性元件(例如,光電二極體)。
根據一些示例性實施例,彩色畫素可包括多個子畫素。圖16示出其中彩色畫素包括2×2個子畫素的實例,但彩色畫素可包括更多子畫素。為每一子畫素提供感光性元件,且因此,可為彩色畫素提供多個感光性元件。雖然圖16中未示出,但影像感測器可包括多個微透鏡(現在未示出),且可為每一畫素或每一子畫素提供微透鏡。
當計算與彩色畫素對應的畫素訊號時,可使用由多個子畫素產生的訊號中的至少一些訊號。例如,假設圖16左上方的彩色畫素是紅畫素,且多個子畫素感測紅色,則可藉由使用由子畫素產生的訊號中的至少一些訊號的過程來產生紅畫素的畫素訊號。
可不同地達成各實施例。例如,彩色畫素可提供藉由感測至少二種顏色而產生的訊號。例如,可為彩色畫素的多個子畫素排列感測不同顏色的彩色濾光器,且彩色畫素可被不同地實施,只要可根據上述一些示例性實施例減小內插距離即可。
圖17是根據一些示例性實施例的包括使用影像感測器的多照相機模組的電子裝置的方塊圖。圖18是圖17中照相機模組的詳細方塊圖。
參照圖17,電子裝置1000可包括照相機模組群組1100、應用處理器1200、電力管理積體電路(power management integrated circuit,PMIC)1300及外部記憶體1400。
照相機模組群組1100可包括多個照相機模組1100a、1100b及1100c。雖然在圖17中示出三個照相機模組1100a、1100b及1100c,但示例性實施例並非僅限於此。在一些示例性實施例中,照相機模組群組1100可被修改成僅包括二個照相機模組。在一些示例性實施例中,照相機模組群組1100可被修改成包括「n」個照相機模組,其中「n」是至少為4的自然數。
以下將參照圖18闡述照相機模組1100b的詳細配置。以下的說明亦可應用於其他照相機模組1100a及1100c。
參照圖18,照相機模組1100b可包括稜鏡1105、光路折疊元件(optical path folding element,OPFE)1110、致動器1130、影像感測裝置1140及儲存器1150。
稜鏡1105可包括光反射材料的反射表面1107,且可改變自外部入射的光L的路徑。
在一些示例性實施例中,稜鏡1105可將沿第一方向X入射的光L的路徑改變成與第一方向X垂直的第二方向Y。稜鏡1105可使光反射材料的反射表面1107圍繞中心軸1106沿方向A旋轉,或者使中心軸1106沿方向B旋轉,使得沿第一方向X入射的光L的路徑改變成與第一方向X垂直的第二方向Y。此時,OPFE 1110可在與第一方向X及第二方向Y垂直的第三方向Z上移動。
在一些示例性實施例中,稜鏡1105的A方向最大旋轉角在正(+)A方向上可小於或等於15度,且在負(-)A方向上可大於15度,但實施例並非僅限於此。
在一些示例性實施例中,稜鏡1105可在正或負B方向上移動約20度或者在自約10度至約20度或自約15度至約20度的範圍內的角度。此時,稜鏡1105在正B方向上移動的角度可與稜鏡1105在負B方向上移動的角度相同或相似,相差約1度以內。
在一些示例性實施例中,稜鏡1105可使光反射材料的反射表面1107在與中心軸1106的延伸方向平行的第三方向Z上移動。
OPFE 1110可包括例如「m」個光學透鏡,其中「m」是自然數。所述「m」個透鏡可在第二方向Y上移動,並改變照相機模組1100b的光學變焦比(optical zoom ratio)。例如,當照相機模組1100b的缺設光學變焦比是Z時,藉由移動OPFE 1110中所包括的「m」個光學透鏡,照相機模組1100b的光學變焦比可改變成3Z、5Z或更大。
致動器1130可將OPFE 1110或光學透鏡移動至某一位置。例如,致動器1130可調整光學透鏡的位置,使得影像感測器1142位於光學透鏡的焦距處,用於準確感測。
影像感測裝置1140可包括影像感測器1142、控制邏輯1144及記憶體1146。影像感測器1142可使用透過光學透鏡提供的光L來感測物體的影像。根據上述一些示例性實施例,影像感測器1142可包括畫素陣列,且畫素陣列的多個彩色畫素的顏色型樣可遵循上述一些示例性實施例中CFA胞元、CFA區塊及子區塊的型樣。
控制邏輯1144通常可控制照相機模組1100b的操作。例如,控制邏輯1144可根據藉由控制訊號線CSLb提供的控制訊號來控制照相機模組1100b的操作。
記憶體1146可儲存照相機模組1100b的操作所必需的資訊,例如校準資料1147。校準資料1147可包括照相機模組1100b使用自外部提供的光L產生影像資料所必需的資訊。例如,校準資料1147可包括關於上述旋轉程度的資訊、關於焦距的資訊、關於光學軸線的資訊等。當照相機模組1100b被實施為焦距隨光學透鏡的位置而變化的多態照相機時,校準資料1147可包括針對光學透鏡每一位置(或狀態)的焦距值及關於自動聚焦的資訊。
儲存器1150可儲存由影像感測器1142感測的影像資料。儲存器1150可設置於影像感測裝置1140之外,且可與影像感測裝置1140的感測器晶片形成堆疊。在一些實施例中,儲存器1150可包括電可抹除可程式化唯讀記憶體(electrically erasable programmable read-only memory,EEPROM),但實施例並非僅限於此。
在一些示例性實施例中,照相機模組1100a、1100b及1100c中的每一者可包括致動器1130。因此,照相機模組1100a、1100b及1100c可包括校準資料1147,根據照相機模組1100a、1100b及1100c中的每一者中所包括的致動器1130的操作,校準資料1147在照相機模組1100a、1100b及1100c之間相同或不同。
在一些示例性實施例中,照相機模組1100a、1100b及1100c之一(例如,照相機模組1100b)可為包括稜鏡1105及OPFE 1110的折疊透鏡類型,而其他照相機模組(例如,照相機模組1100a及1100c)可為不包括稜鏡1105及OPFE 1110的豎直類型。然而,示例性實施例並非僅限於此。
在一些示例性實施例中,照相機模組1100a、1100b及1100c之一(例如,照相機模組1100c)可包括使用紅外線(infrared ray,IR)提取深度資訊的豎直深度照相機。在此種情形中,應用處理器1200可藉由將自深度照相機提供的影像資料與自另一照相機模組(例如,照相機模組1100a或1100b)提供的影像資料合併來產生三維(3D)深度影像。
在一些示例性實施例中,照相機模組1100a、1100b及1100c中的至少二個照相機模組(例如,1100a及1100b)可具有不同的視域。在此種情形中,照相機模組1100a、1100b及1100c中的所述二個照相機模組(例如,1100a及1100b)可分別具有不同的光學透鏡,但實施例並非僅限於此。
在一些示例性實施例中,照相機模組1100a、1100b及1100c可具有彼此不同的視域。在此種情形中,照相機模組1100a、1100b及1100c可分別具有不同的光學透鏡,但實施例並非僅限於此。
在一些示例性實施例中,照相機模組1100a、1100b及1100c可彼此實體上分離。換言之,影像感測器1142的感測區域並非由照相機模組1100a、1100b及1100c劃分及使用,而是在照相機模組1100a、1100b及1100c中的每一者中可獨立地包括影像感測器1142。
返回參照圖17,應用處理器1200可包括影像處理單元1210、記憶體控制器1220及內部記憶體1230。應用處理器1200可與照相機模組1100a、1100b及1100c分開實施。例如,應用處理器1200與照相機模組1100a、1100b及1100c可在不同的半導體晶片中實施。
影像處理單元1210可包括多個子處理器1212a、1212b及1212c、影像產生器1214以及照相機模組控制器1216。
影像處理單元1210可包括與照相機模組1100a、1100b及1100c一樣多的子處理器1212a、1212b及1212c。
自每一照相機模組1100a、1100b或1100c產生的影像資料可藉由單獨的影像訊號線ISLa、ISLb及ISLc中的對應一者提供至子處理器1212a、1212b及1212c中的對應一者。例如,自照相機模組1100a產生的影像資料可藉由影像訊號線ISLa提供至子處理器1212a,自照相機模組1100b產生的影像資料可藉由影像訊號線ISLb提供至子處理器1212b,且自照相機模組1100c產生的影像資料可藉由影像訊號線ISLc提供至子處理器1212c。此種影像資料傳輸可例如使用基於行動產業處理器介面(mobile industry processor interface,MIPI)的照相機串列介面(camera serial interface,CSI)來實行,但實施例並非僅限於此。
在一些示例性實施例中,可為多個照相機模組提供單個子處理器。例如,與圖13不同,子處理器1212a及1212c可不分離,而是可整合成單個子處理器,且自照相機模組1100a或照相機模組1100c提供的影像資料可由選擇元件(例如,多工器)選擇,然後被提供至整合式子處理器。
提供至子處理器1212a、1212b及1212c中的每一者的影像資料可被提供至影像產生器1214。影像產生器1214可根據影像產生資訊或模式訊號使用自子處理器1212a、1212b及1212c中的每一者提供的影像資料來產生輸出影像。
詳細而言,影像產生器1214可根據影像產生資訊或模式訊號藉由合併分別自具有不同視域的照相機模組1100a、1100b及1100c產生的相應各條影像資料的至少部分來產生輸出影像。作為另一選擇或另外,影像產生器1214可根據影像產生資訊或模式訊號藉由選擇分別自具有不同視域的照相機模組1100a、1100b及1100c產生的多條影像資料中的一條來產生輸出影像。
在一些示例性實施例中,影像產生資訊可包括變焦訊號或變焦因子。在一些示例性實施例中,模式訊號可基於由使用者選擇的模式。
當影像產生資訊包括變焦訊號或變焦因子且照相機模組1100a、1100b及1100c具有不同的視域時,影像產生器1214可根據不同種類的變焦訊號實行不同的操作。例如,當變焦訊號是第一訊號時,影像產生器1214可將自照相機模組1100a輸出的影像資料與自照相機模組1100c輸出的影像資料合併,然後使用經合併影像訊號及自照相機模組1100b輸出的未在合併中使用的影像資料產生輸出影像。當變焦訊號是與第一訊號不同的第二訊號時,影像產生器1214可不實行此種影像資料合併,而是選擇分別自照相機模組1100a至1100c輸出的多條影像資料中的一條來產生輸出影像。然而,示例性實施例並非僅限於此,且可在必要時改變處理影像資料的方法。
在一些示例性實施例中,影像產生器1214可自子處理器1212a、1212b及1212c中的至少一者接收具有不同曝光時間的多條影像資料,且對所述多條影像資料實行高動態範圍(high dynamic range,HDR)處理,藉此產生具有增加的動態範圍的經合併影像資料。
照相機模組控制器1216可向照相機模組1100a、1100b及1100c中的每一者提供控制訊號。由照相機模組控制器1216產生的控制訊號可藉由彼此分離的控制訊號線CSLa、CSLb及CSLc中的對應一者被提供至照相機模組1100a、1100b及1100c中的對應一者。
照相機模組1100a、1100b及1100c之一(例如,照相機模組1100b)可根據模式訊號或包括變焦訊號的影像產生訊號被指定為主照相機(master camera),而其他照相機模組(例如,1100a及1100c)可被指定為從照相機(slave camera)。此種指定資訊可被包含於控制訊號中,且藉由彼此分離的控制訊號線CSLa、CSLb及CSLc中的對應一者被提供至照相機模組1100a、1100b及1100c中的每一者。
可根據變焦因子或操作模式訊號來改變作為主裝置或從裝置進行操作的照相機模組。例如,當照相機模組1100a的視域大於照相機模組1100b的視域且變焦因子指示低變焦比時,照相機模組1100b可作為主裝置進行操作,且照相機模組1100a可作為從裝置進行操作。對比之下,當變焦因子指示高變焦比時,照相機模組1100a可作為主裝置進行操作,且照相機模組1100b可作為從裝置進行操作。
在一些示例性實施例中,自照相機模組控制器1216提供至照相機模組1100a、1100b及1100c中的每一者的控制訊號可包括同步賦能訊號(sync enable signal)。例如,當照相機模組1100b是主照相機且照相機模組1100a及1100c是從照相機時,照相機模組控制器1216可將同步賦能訊號傳送至照相機模組1100b。被提供有同步賦能訊號的照相機模組1100b可基於同步賦能訊號產生同步訊號,且可藉由同步訊號線SSL將同步訊號提供至照相機模組1100a及1100c。照相機模組1100a、1100b及1100c可與同步訊號同步,且可將影像資料傳送至應用處理器1200。
在一些示例性實施例中,自照相機模組控制器1216提供至照相機模組1100a、1100b及1100c中的每一者的控制訊號可包含根據模式訊號而定的模式資訊。照相機模組1100a、1100b及1100c可基於模式資訊與感測速度相關地以第一操作模式或第二操作模式進行操作。
在第一操作模式中,照相機模組1100a、1100b及1100c可以第一速度(例如,以第一圖框率)產生影像訊號,以高於第一速度的第二速度(例如,以高於第一圖框率的第二圖框率)編碼所述影像訊號,並將經編碼影像訊號傳送至應用處理器1200。此時,第二速度可為第一速度的最多30倍。
應用處理器1200可將所接收的影像訊號(例如,經編碼影像訊號)儲存於其中的內部記憶體1230或應用處理器1200之外的外部記憶體1400中。此後,應用處理器1200可自內部記憶體1230或外部記憶體1400讀取經編碼影像訊號,解碼所述經編碼影像訊號,並顯示基於經解碼影像訊號而產生的影像資料。例如,影像處理單元1210的子處理器1212a、1212b及1212c中的對應一者可實行解碼,且亦可對經解碼影像訊號實行影像處理。
在第二操作模式中,照相機模組1100a、1100b及1100c可以低於第一速度的第三速度(例如,以低於第一圖框率的第三圖框率)產生影像訊號,並將影像訊號傳送至應用處理器1200。提供至應用處理器1200的影像訊號可能未被編碼。應用處理器1200可對影像訊號實行影像處理,或者將影像訊號儲存於內部記憶體1230或外部記憶體1400中。
PMIC 1300可將電力(例如,供電電壓)提供至照相機模組1100a、1100b及1100c中的每一者。例如,在應用處理器1200的控制下,PMIC 1300可藉由電力訊號線PSLa向照相機模組1100a提供第一電力,藉由電力訊號線PSLb向照相機模組1100b提供第二電力,且藉由電力訊號線PSLc向照相機模組1100c提供第三電力。
PMIC 1300可產生與照相機模組1100a、1100b及1100c中的每一者對應的電力,並因應於來自應用處理器1200的電力控制訊號PCON而調整電力的位準。電力控制訊號PCON可包括用於照相機模組1100a、1100b及1100c的每一操作模式的電力調整訊號。例如,操作模式可包括低電力模式。此時,電力控制訊號PCON可包含關於欲以低電力模式進行操作的照相機模組及欲設定的電力位準的資訊。可分別向照相機模組1100a、1100b及1100c提供相同或不同位準的電力。可動態地改變電力的位準。
應理解,根據本文中所闡述的示例性實施例中任一者的裝置、控制器、產生器、解碼器、單元、模組、電路、處理器等中任一者的一些或全部(包括圖1所示的控制器140及讀取電路130、圖10所示的影像處理器220、畫素組合處理器221及馬賽克重排處理器222、圖17所示的應用處理器1200及其子元件、圖18所示的影像感測裝置1140及其子元件、其任何組合等的元件中任一者的一些或全部)可包含於處理電路系統的一或多個實例中,可包括處理電路系統的一或多個實例及/或可由處理電路系統的一或多個實例實施,所述處理電路系統例如為包括邏輯電路的硬體、例如執行軟體的處理器等硬體/軟體組合或者其組合。在一些示例性實施例中,處理電路系統的所述一或多個實例可包括但不限於中央處理單元(central processing unit,CPU)、應用處理器(application processor,AP)、算術邏輯單元(arithmetic logic unit,ALU)、圖形處理單元(graphic processing unit,GPU)、數位訊號處理器、微型電腦、現場可程式化閘陣列(field programmable gate array,FPGA)、系統晶片(System-on-Chip,SoC)、可程式化邏輯單元、微處理器或特殊應用積體電路(application-specific integrated circuit,ASIC)等。在一些示例性實施例中,本文中所闡述的記憶體、記憶體單元等中的任一者可包括儲存指令程式的非暫態電腦可讀取儲存裝置,例如固態驅動機(solid state drive,SSD),且處理電路系統的所述一或多個實例可被配置成執行指令程式,以實施根據本文中所闡述的示例性實施例中任一者的裝置、控制器、解碼器、單元、模組等中任一者中的一些或全部的功能,包括操作本文中所闡述的裝置、控制器、解碼器、單元、模組等中任一者的任何方法。
雖然圖1所示的控制器140及讀取電路130、圖10所示的影像處理器220、畫素組合處理器221及馬賽克重排處理器222、圖17所示的應用處理器1200及其子元件、圖18所示的影像感測裝置1140及其子元件的元件中的每一者被示為不同的,但示例性實施例並非僅限於此,且上述之一的一些功能可由相關附圖的其他特徵來實行。本文中的示例性實施例中所闡述的以上元件內的附加元件亦可為此情形。
儘管已參照本發明概念的實施例具體示出並闡述了本發明概念,但應理解,在不背離以下申請專利範圍的精神及範圍的條件下,可在形式及細節上作出各種改變。
100、1142:影像感測器
110、210:畫素陣列
111、211:彩色濾光器陣列(CFA)胞元
120:列驅動器
130:讀取電路
140:控制器
200:影像處理裝置
220:影像處理器
221:畫素組合處理器
222:馬賽克重排處理器
1000:電子裝置
1100:照相機模組群組
1100a、1100b、1100c:照相機模組
1105:稜鏡
1106:中心軸
1107:反射表面
1110:光路折疊元件(OPFE)
1130:致動器
1140:影像感測裝置
1144:控制邏輯
1146:記憶體
1147:校準資料
1150:儲存器
1200:應用處理器
1210:影像處理單元
1212a、1212b、1212c:子處理器
1214:影像產生器
1216:照相機模組控制器
1220:記憶體控制器
1230:內部記憶體
1300:電力管理積體電路(PMIC)
1400:外部記憶體
A、B:方向
B00、B01、B10、B11、G00、G01、G10、G11:群組
CSLa、CSLb、CSLc:控制訊號線
CP1、CPn:彩色畫素
DR:第一區
FD:浮動擴散區
ISLa、ISLb、ISLc:影像訊號線
L:光
P1:第一畫素
P2:第二畫素
PCON:電力控制訊號
PD:光電二極體
PSLa、PSLb、PSLc:電力訊號線
RC:讀取電路
SSL:同步訊號線
TG:傳輸閘
X:第一方向
Y:第二方向
Z:第三方向
結合附圖閱讀以下詳細說明,將更清楚地理解本發明概念的實施例,附圖中:
圖1是根據一些示例性實施例的包括畫素陣列的影像感測器的方塊圖。
圖2及圖3是根據示例性實施例的畫素陣列的一些示例性實施例的圖。
圖4示出根據一些示例性實施例的畫素陣列及經馬賽克重排的顏色型樣。
圖5示出根據一些示例性實施例的彩色濾光器陣列(CFA)胞元的一些示例性實施例。
圖6示出圖4中的CFA胞元中所包括的彩色畫素中的每一者的內插距離的實例。
圖7至圖9示出根據一些示例性實施例的畫素陣列的一些示例性實施例。
圖10是根據一些示例性實施例的影像處理單元的方塊圖。
圖11A至圖11C是根據一些示例性實施例的畫素陣列的一些示例性實施例的圖。
圖12示出根據一些示例性實施例的使用區塊間(inter-block)方法的畫素組合過程(binning process)及使用區塊內(intra-block)方法的畫素組合過程的實例。
圖13至圖15示出根據一些示例性實施例的CFA區塊的一些示例性實施例。
圖16示出根據一些示例性實施例的彩色畫素的一些示例性實施例。
圖17及圖18是根據一些示例性實施例的包括使用影像感測器的多照相機模組的電子裝置的方塊圖。
P1:第一畫素
P2:第二畫素
Claims (20)
- 一種影像感測器的畫素陣列,所述畫素陣列包括:多個彩色濾光器陣列(CFA)胞元,所述多個彩色濾光器陣列胞元中的每一者在所述彩色濾光器陣列胞元的寬度方向及所述彩色濾光器陣列胞元的長度方向上包括多個彩色濾光器陣列區塊,其中所述多個彩色濾光器陣列區塊中的每一者包括子區塊及除所述子區塊之外的外區,所述子區塊位於所述多個彩色濾光器陣列區塊中的每一者的中心區處並包括m×n個彩色畫素,且所述外區包括其他彩色畫素,其中「m」及「n」是至少為2的整數,其中所述子區塊的所述m×n個彩色畫素包括感測第一顏色、第二顏色及第三顏色的彩色畫素,且所述外區包括感測所述第一顏色的一定數目的第一畫素以及感測自所述第二顏色及所述第三顏色選擇的至少一者的一定數目的第二畫素,所述第一畫素的所述數目大於所述第二畫素的所述數目,且在所述子區塊的邊界上的每一彩色畫素在水平方向或豎直方向上與所述外區的至少一個第一畫素相鄰,且其中所述彩色濾光器陣列胞元內的至少2個彩色濾光器陣列區塊的所述第一顏色不同。
- 如請求項1所述的畫素陣列,其中所述第一顏色、所述第二顏色及所述第三顏色包括紅色、綠色及藍色;且所述多個彩色濾光器陣列胞元中的每一者在所述彩色濾光器 陣列胞元的所述寬度方向及所述長度方向上包括2×2個彩色濾光器陣列區塊,其中所述2×2個彩色濾光器陣列區塊包括二個綠色濾光器陣列區塊、一個紅色濾光器陣列區塊及一個藍色濾光器陣列區塊,且所述2×2個彩色濾光器陣列區塊中的每一者包括4×4個彩色畫素,且所述2×2個彩色濾光器陣列區塊中的每一者的所述子區塊包括2×2個彩色畫素。
- 如請求項2所述的畫素陣列,其中所述紅色濾光器陣列區塊的所述外區包括所述紅色濾光器陣列區塊的至少一個隅角中的藍畫素作為所述第二畫素且包括多個紅畫素作為所述第一畫素。
- 如請求項3所述的畫素陣列,其中自所述紅色濾光器陣列區塊的所述一個隅角沿對角線方向依序排列有紅畫素、藍畫素、紅畫素及藍畫素。
- 如請求項2所述的畫素陣列,其中所述藍色濾光器陣列區塊的所述外區包括所述藍色濾光器陣列區塊的至少一個隅角中的紅畫素作為所述第二畫素且包括多個藍畫素作為所述第一畫素。
- 如請求項2所述的畫素陣列,其中所述二個綠色濾光器陣列區塊中的每一者的所述外區僅包括綠畫素。
- 如請求項2所述的畫素陣列,其中包括相應的所述2×2個彩色濾光器陣列區塊的所述外區中的一個彩色畫素的四個 彩色畫素在所述多個彩色濾光器陣列胞元中的每一者中形成第一區,其中所述第一區包括所述紅色濾光器陣列區塊的所述第二畫素、所述藍色濾光器陣列區塊的所述第二畫素以及所述二個綠色濾光器陣列區塊中的每一者的所述外區的綠畫素;且當所述多個彩色濾光器陣列胞元中的每一者藉由馬賽克重排過程轉換成拜爾型樣時,所述第一區的所述四個彩色畫素中的每一者的內插距離具有值0。
- 如請求項1所述的畫素陣列,其中對所述畫素陣列的彩色畫素實行畫素組合過程,且在所述畫素組合過程期間,將所述多個彩色濾光器陣列區塊的一者中感測相同顏色的彩色畫素的訊號選擇性地相加。
- 如請求項1所述的畫素陣列,其中對所述畫素陣列的彩色畫素實行畫素組合過程,且在所述畫素組合過程期間,將所述多個彩色濾光器陣列區塊的一者中及鄰近的彩色濾光器陣列區塊的至少一排中感測相同顏色的彩色畫素的訊號相加。
- 一種影像感測器的畫素陣列,所述畫素陣列包括:多個彩色濾光器陣列(CFA)胞元,所述多個彩色濾光器陣列胞元中的每一者在所述彩色濾光器陣列胞元的寬度方向及所述彩色濾光器陣列胞元的長度方向上包括2×2個彩色濾光器陣列區 塊,所述2×2個彩色濾光器陣列區塊中的每一者包括4×4個彩色畫素,其中所述2×2個彩色濾光器陣列區塊中的每一者包括子區塊及外區,所述子區塊位於所述2×2個彩色濾光器陣列區塊中的每一者的中心區處並包括2×2個彩色畫素,且所述外區位於所述2×2個彩色濾光器陣列區塊中的每一者的外側處並包括十二個彩色畫素;所述2×2個彩色濾光器陣列區塊包括紅色濾光器陣列區塊、綠色濾光器陣列區塊及藍色濾光器陣列區塊;且所述子區塊包括一個紅畫素、一個藍畫素及二個綠畫素,其中所述紅色濾光器陣列區塊的所述外區中的所述十二個彩色畫素包括一個藍畫素及十一個紅畫素。
- 如請求項10所述的畫素陣列,其中所述紅色濾光器陣列區塊的所述外區中的所述一個藍畫素位於所述紅色濾光器陣列區塊的一個隅角中。
- 如請求項11所述的畫素陣列,其中自所述紅色濾光器陣列區塊的其中排列有所述一個藍畫素的所述一個隅角沿對角線方向依序排列有藍畫素、紅畫素、藍畫素及紅畫素。
- 如請求項10所述的畫素陣列,其中所述藍色濾光器陣列區塊的所述外區中的所述十二個彩色畫素包括一個紅畫素及十一個藍畫素。
- 如請求項13所述的畫素陣列,其中所述多個彩 色濾光器陣列胞元中的每一者包括一個紅色濾光器陣列區塊、二個綠色濾光器陣列區塊及一個藍色濾光器陣列區塊,其中所述紅色濾光器陣列區塊的所述外區中的所述一個藍畫素、所述藍色濾光器陣列區塊的所述外區中的所述一個紅畫素及所述二個綠色濾光器陣列區塊的相應的所述外區中的二個綠畫素形成第一區,其中當所述多個彩色濾光器陣列胞元中的每一者藉由馬賽克重排過程轉換成拜爾型樣時,所述第一區中的彩色畫素中的每一者的內插距離具有值0。
- 如請求項10所述的畫素陣列,其中所述綠色濾光器陣列區塊的所述外區中的所述十二個彩色畫素包括至多二個彩色畫素及其餘的綠畫素,所述至多二個彩色畫素感測自紅色及藍色選擇的至少一者。
- 一種影像感測器,包括:畫素陣列,包括多個彩色濾光器陣列(CFA)胞元,所述多個彩色濾光器陣列胞元各自在所述彩色濾光器陣列胞元的寬度方向及所述彩色濾光器陣列胞元的長度方向上包括多個彩色濾光器陣列區塊,所述多個彩色濾光器陣列區塊中的每一者包括子區塊及除所述子區塊之外的外區,所述子區塊位於所述多個彩色濾光器陣列區塊中的每一者的中心區處並包括n×n個彩色畫素,且所述外區包括其他彩色畫素,其中「n」是至少為2的整數;以及讀取電路,被配置成自所述畫素陣列的彩色畫素讀取畫素值, 其中所述子區塊的所述n×n個彩色畫素包括感測第一顏色、第二顏色及第三顏色的彩色畫素,且所述外區包括感測所述第一顏色、所述第二顏色及所述第三顏色之一的一定數目的第一畫素以及感測所述第一顏色、所述第二顏色及所述第三顏色中的另一者的一定數目的第二畫素,所述第一畫素的所述數目大於所述第二畫素的所述數目,且在所述子區塊的邊界上的每一彩色畫素在水平方向或豎直方向上與所述外區的至少一個第一畫素相鄰,且其中所述彩色濾光器陣列胞元內的至少2個彩色濾光器陣列區塊的所述第一顏色不同。
- 如請求項16所述的影像感測器,其中所述第一顏色、所述第二顏色及所述第三顏色包括紅色、綠色及藍色;所述多個彩色濾光器陣列胞元中的每一者在所述寬度方向及所述長度方向上包括2×2個彩色濾光器陣列區塊,其中所述2×2個彩色濾光器陣列區塊包括二個綠色濾光器陣列區塊、一個紅色濾光器陣列區塊及一個藍色濾光器陣列區塊;且所述2×2個彩色濾光器陣列區塊中的每一者包括4×4個彩色畫素,且所述2×2個彩色濾光器陣列區塊中的每一者的所述子區塊包括2×2個彩色畫素。
- 如請求項17所述的影像感測器,其中所述紅色濾光器陣列區塊的所述外區包括所述紅色濾光器陣列區塊的隅角中的一個藍畫素且包括十一個紅畫素;且所述藍色濾光器陣列區塊的所述外區包括所述藍色濾光器陣 列區塊的隅角中的一個紅畫素且包括十一個藍畫素。
- 如請求項16所述的影像感測器,更包括畫素組合處理器,所述畫素組合處理器被配置成基於來自所述畫素陣列的畫素值來實行畫素組合過程,其中在所述畫素組合過程期間,將所述多個彩色濾光器陣列區塊的一者中感測相同顏色的彩色畫素的訊號選擇性地相加。
- 如請求項16所述的影像感測器,更包括畫素組合處理器,所述畫素組合處理器被配置成基於來自所述畫素陣列的畫素值來實行畫素組合過程,其中在所述畫素組合過程期間,將所述多個彩色濾光器陣列區塊的一者中及鄰近的彩色濾光器陣列區塊的至少一排中感測相同顏色的彩色畫素的訊號相加。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200072618 | 2020-06-15 | ||
| KR10-2020-0072618 | 2020-06-15 | ||
| KR1020210042232A KR102906323B1 (ko) | 2020-06-15 | 2021-03-31 | 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서 |
| KR10-2021-0042232 | 2021-03-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202205845A TW202205845A (zh) | 2022-02-01 |
| TWI896681B true TWI896681B (zh) | 2025-09-11 |
Family
ID=78718974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110121425A TWI896681B (zh) | 2020-06-15 | 2021-06-11 | 用於減少影像資訊損失的畫素陣列以及包含其的影像感測器 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11394935B2 (zh) |
| JP (1) | JP7703369B2 (zh) |
| CN (1) | CN113810637B (zh) |
| DE (1) | DE102021114098A1 (zh) |
| TW (1) | TWI896681B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230034877A (ko) * | 2021-09-03 | 2023-03-10 | 삼성전자주식회사 | 이미징 장치 및 이미지 처리 방법 |
| KR102722918B1 (ko) | 2021-10-01 | 2024-10-28 | 삼성전자주식회사 | 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서 |
| US12356084B2 (en) * | 2022-05-24 | 2025-07-08 | Samsung Electronics Co., Ltd. | Color filter array for de-mosaicing and binning |
| US12527102B2 (en) | 2022-08-08 | 2026-01-13 | Samsung Electronics Co., Ltd. | Image sensor |
| JP2024024906A (ja) * | 2022-08-10 | 2024-02-26 | コニカミノルタ株式会社 | 画像読取装置、画像読取方法、画像読取プログラム |
| WO2025115711A1 (ja) * | 2023-11-29 | 2025-06-05 | パナソニックIpマネジメント株式会社 | 画像処理方法及び画像処理システム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150189198A1 (en) * | 2014-01-02 | 2015-07-02 | Byung-Chul Park | Method of binning pixels in an image sensor and an image sensor for performing the same |
| US20180146148A1 (en) * | 2015-09-24 | 2018-05-24 | Sony Semiconductor Solutions Corporation | Solid-state image sensor and electronic device |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6714243B1 (en) * | 1999-03-22 | 2004-03-30 | Biomorphic Vlsi, Inc. | Color filter pattern |
| KR100769548B1 (ko) * | 2005-12-30 | 2007-10-23 | 엠텍비젼 주식회사 | 컬러 필터 어레이 및 영상 보간 방법 |
| US7633538B2 (en) * | 2006-09-11 | 2009-12-15 | Aptina Imaging Corporation | Color filter device and method for eliminating or reducing non-uniform color error caused by asymmetric color cross-talk in image sensor devices |
| US7769230B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Producing low resolution images |
| KR20110040402A (ko) | 2009-10-14 | 2011-04-20 | 삼성전자주식회사 | 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법 |
| JP2011097541A (ja) * | 2009-11-02 | 2011-05-12 | Sony Corp | 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム |
| KR101613973B1 (ko) * | 2009-12-24 | 2016-04-21 | 삼성전자주식회사 | 컬러 필터 어레이 |
| JP5378627B2 (ja) * | 2011-03-11 | 2013-12-25 | 富士フイルム株式会社 | 撮像装置およびその動作制御方法ならびに撮像システム |
| EP2800373A4 (en) * | 2011-12-27 | 2015-08-05 | Fujifilm Corp | COLOR PICTURE ELEMENT |
| JP5702893B2 (ja) | 2012-07-06 | 2015-04-15 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
| WO2014007280A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
| US9363425B2 (en) * | 2012-12-06 | 2016-06-07 | Semiconductor Components Industries, Llc | Color filter arrangements for fused array imaging systems |
| WO2014087808A1 (ja) | 2012-12-07 | 2014-06-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法及びプログラム、並びに記録媒体 |
| WO2014136570A1 (ja) * | 2013-03-05 | 2014-09-12 | 富士フイルム株式会社 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
| TWI528812B (zh) * | 2013-06-03 | 2016-04-01 | 恆景科技股份有限公司 | 降低雜訊的系統及方法 |
| JP2015201724A (ja) | 2014-04-07 | 2015-11-12 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US9985063B2 (en) | 2014-04-22 | 2018-05-29 | Optiz, Inc. | Imaging device with photo detectors and color filters arranged by color transmission characteristics and absorption coefficients |
| US9369681B1 (en) | 2014-11-25 | 2016-06-14 | Omnivision Technologies, Inc. | RGBC color filter array patterns to minimize color aliasing |
| KR102219784B1 (ko) * | 2014-12-15 | 2021-02-24 | 에스케이하이닉스 주식회사 | 컬러 필터 어레이 및 이를 구비한 이미지 센서 |
| US9467665B1 (en) * | 2015-06-29 | 2016-10-11 | Omnivision Technologies, Inc. | Color filter array patterns for reduction of color aliasing |
| US10516859B2 (en) * | 2015-09-24 | 2019-12-24 | Sony Semiconductor Solutions Corporation | Solid-state image sensor and electronic device |
| US11463677B2 (en) | 2017-07-13 | 2022-10-04 | Samsung Electronics Co., Ltd. | Image signal processor, image processing system and method of binning pixels in an image sensor |
| KR102594038B1 (ko) * | 2018-01-15 | 2023-10-26 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| JP2019161577A (ja) | 2018-03-16 | 2019-09-19 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画素補正処理回路、及び、画素補正処理方法 |
| GB2572571B (en) | 2018-04-03 | 2021-09-01 | Apical Ltd | Image processing |
| KR102235378B1 (ko) | 2018-12-12 | 2021-04-05 | 주식회사 삼기 | 강도와 내마모성이 우수한 알루미늄 합금 주물 |
| KR20210042232A (ko) | 2019-10-09 | 2021-04-19 | 박창식 | 스쿼트운동기구 |
-
2021
- 2021-05-17 US US17/322,048 patent/US11394935B2/en active Active
- 2021-06-01 DE DE102021114098.6A patent/DE102021114098A1/de active Pending
- 2021-06-07 CN CN202110634338.2A patent/CN113810637B/zh active Active
- 2021-06-11 TW TW110121425A patent/TWI896681B/zh active
- 2021-06-14 JP JP2021099057A patent/JP7703369B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150189198A1 (en) * | 2014-01-02 | 2015-07-02 | Byung-Chul Park | Method of binning pixels in an image sensor and an image sensor for performing the same |
| US20180146148A1 (en) * | 2015-09-24 | 2018-05-24 | Sony Semiconductor Solutions Corporation | Solid-state image sensor and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113810637A (zh) | 2021-12-17 |
| JP7703369B2 (ja) | 2025-07-07 |
| DE102021114098A1 (de) | 2021-12-16 |
| TW202205845A (zh) | 2022-02-01 |
| US11394935B2 (en) | 2022-07-19 |
| JP2021197740A (ja) | 2021-12-27 |
| CN113810637B (zh) | 2025-04-11 |
| US20210392303A1 (en) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI896681B (zh) | 用於減少影像資訊損失的畫素陣列以及包含其的影像感測器 | |
| JP7624372B2 (ja) | 均等に配置された位相検出ピクセルを含むピクセルアレイ及びそれを含むイメージセンサ | |
| US20230084661A1 (en) | Pixel array reducing loss of image information and image sensor including same | |
| US11825216B2 (en) | Image sensor | |
| CN114257801A (zh) | 电子设备及其图像合并方法 | |
| US11700460B2 (en) | Image sensing apparatus and image binning method thereof | |
| JP2022008235A (ja) | イメージセンサ、ビニング方法、及びイメージ処理システム | |
| KR102833380B1 (ko) | 이미지 비닝 방법 및 그 이미지 센싱 장치 | |
| KR102906323B1 (ko) | 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서 | |
| KR102722918B1 (ko) | 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서 | |
| KR102890135B1 (ko) | 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈 | |
| TW202315102A (zh) | 畫素陣列以及包括其的影像感測器 | |
| KR102701854B1 (ko) | 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서 | |
| US20230388662A1 (en) | Color filter array for de-mosaicing and binning | |
| WO2013100094A1 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| CN116095525A (zh) | 图像传感器、应用处理器和图像感测装置 | |
| KR20230067491A (ko) | 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치 | |
| JP2023002471A (ja) | イメージセンサー | |
| KR20230135389A (ko) | 이미지 센싱 장치 및 그 이미지 신호 프로세싱 방법 | |
| CN114639691A (zh) | 图像传感器 |