TWI552111B - 硬體與軟體分劃的影像處理管線 - Google Patents
硬體與軟體分劃的影像處理管線 Download PDFInfo
- Publication number
- TWI552111B TWI552111B TW100121798A TW100121798A TWI552111B TW I552111 B TWI552111 B TW I552111B TW 100121798 A TW100121798 A TW 100121798A TW 100121798 A TW100121798 A TW 100121798A TW I552111 B TWI552111 B TW I552111B
- Authority
- TW
- Taiwan
- Prior art keywords
- green
- values
- image data
- column
- intermediate image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
Description
本發明係有關影像處理,更特別係有關硬體與軟體分劃的影像處理管線。
數位相機包括有重新取樣並對原始影像資料作空間性濾波(例如,內插)的影像處理管線。例如,像是解馬賽克、下取樣、光學失真校正及色差校正部件等等的相機管線部件可全都在單一個影像上施用內插技術。傳統的影像處理管線可連續地全在硬體中實施這些功能。由於係接續地實施數個低通型的濾波器,所以這樣的連續處理程序可能會降低影像品質。完全在硬體中執行內插行為也可能會有效率上的缺點。在像是預覽和影像紀錄等等的高資料率操作模式中,這些擔憂各皆可能會特別具有相關性。
依據本發明之一實施例,係特地提出一種系統,其包含:一個處理器;一個影像感測器,用以產生一個原始影像;一個硬體模組,用以就水平方向對該原始影像作空間性濾波來獲得中間影像資料;以及一個電腦可讀儲存媒體,其包括有一組經儲存指令,該組經儲存指令在由該處理器執行時會致使該系統以垂直方向對該中間影像資料作空間性濾波。
依據本發明之另一實施例,係特地提出一種設備,其包含:一個硬體模組,用以就水平方向對一個原始影像作空間性濾波來獲得中間影像資料;以及一個電腦可讀儲存媒體,其包括有一組經儲存指令,該組經儲存指令在由一個處理器執行時會致使該設備以垂直方向對該中間影像資料作空間性濾波。
依據本發明之又一實施例,係特地提出一種方法,其包含下列步驟:利用一個硬體模組來以水平方向對一個原始影像作空間性濾波以獲得中間影像資料;以及利用軟體來以垂直方向對該中間影像資料作空間性濾波。
藉由閱讀下文中之詳細說明及隨附申請專利範圍,及藉由參考下列圖式,熟於此技者會可明顯看出本發明之數個實施例的多種益處,於下列圖示中:第1圖為依據一個實施例的一個影像處理管線之範例的方塊圖;第2圖為依據一個實施例的一個水平內插硬體模組之範例的方塊圖;第3圖為依據一個實施例的一個執行垂直內插之方法的範例之流程圖;第4圖為依據一個實施例的一個以一種逐行基礎判定綠色值之處理程序的範例之流程圖;第5圖為依據一個實施例的一個平台之範例的方塊圖;第6A~6C圖為依據一個實施例的影像資料之範例的例示圖。
數個實施例可供用於一種方法,於此方法中,係利用一個硬體模組來以水平方向對一個原始影像作空間性濾波,以獲得中間影像資料。此方法可亦涉及對於軟體之利用,來以垂直方向對此中間影像資料作空間性濾波。
數個實施例可亦包括一種設備,其具有一個硬體模組,用以就水平方向對一個原始影像作空間性濾波,來獲得中間影像資料。此外,此設備可亦包括含有一組經儲存指令的一個電腦可讀儲存媒體,其中此組經儲存指令在由一個處理器執行時,會致使此設備以垂直方向對此中間影像資料作空間性濾波。
其他的數個實施例可包括一種系統,其具有一個處理器、用以產生一個原始影像的一個影像感測器、以及用以就水平方向對原始影像作空間性濾波來獲得中間影像資料的一個硬體模組。此系統可亦包括含有一組經儲存指令的一個電腦可讀儲存媒體,其中此組經儲存指令在由此處理器執行時,會致使此系統以垂直方向對此中間影像資料作空間性濾波。
現在請轉看第1圖,其示出一個影像處理管線10。於所例示的範例中,管線10包括有一個內插區16,其可一般性地被用來對來自於其他硬體處理模組22(例如,壞像素校正)的原始影像24作空間性濾波,以使此空間性濾波行為可依需供用於對原始影像24的解馬賽克、下取樣、光學失真校正及色差校正。內插區16可係一部份在管線10的一個硬體(HW)部份12中實施且一部份在管線10的一個軟體(SW)部份14中實施。特別是,所例示的內插區16包括有一個水平內插硬體模組18和一個垂直內插軟體模組20,其中水平內插硬體模組18係以一種逐列基礎來處理原始影像24,且垂直內插軟體模組20係以一種逐行基礎來處理中間影像資料26(26a~26b)。在一個範例中,原始影像24可包括有當中各列皆包含有全解析度的紅色-綠色(R/G)資料或者是藍色-綠色(B/G)資料的拜耳圖樣影像(Bayer pattern images)。
大體而言,所例示之硬體模組18以水平方向對原始影像24作空間性濾波,以獲得經幾何校正和垂直下取樣的中間影像資料26a,其可如同硬體模組18處理列那樣地(例如,以一種逐列基礎)被儲存到一個緩衝器/記憶體28中。如下文中將更詳細說明地,中間影像資料26a之一列中的各個像素可包括有紅色和綠色(R+G)值或藍色和綠色(B+G)值,其中,這些值可係以任何適當的標度(例如,0~256、0~4096等等)來表示。當硬體模組18已處理足以使垂直內插軟體模組20開始處理行的足夠數量的列(例如,所論之一列前面五列+後面五列=十一列)時,中間影像資料26b可從記憶體28中以一種逐行基礎被擷取。中間影像資料26b之一列中的各個像素可能會包括有R+G值或B+G值。
所例示的軟體模組20可被實施為在由一個處理器執行時會致使軟體模組20以垂直方向對中間影像資料26b作空間性濾波,以獲得經幾何校正和垂直下取樣的最終影像資料30的一組指令,其中最終影像資料30可被其他軟體模組32作更進一步的處理。在一個範例中,最終影像資料30之各個像素可包括有紅色、綠色和藍色(R+G+B,RGB)值。
第2圖示出一個水平內插硬體模組34的一個範例。可便利地替代已有所論述之硬體模組18(第1圖)的硬體模組34可利用電路技術,像是特定用途積體電路(ASIC)、互補式金氧半導體(CMOS)或電晶體電晶體邏輯系統(TTL)技術或當中之任何組合,而被實施為固定功能的硬體中之內嵌式邏輯系統。
於所例示之範例中,硬體模組34處理具有交替的R/G或B/G線的一個列像素串流38,並利用一個低通(LP)R/B濾波器36來以一種逐列基礎判定原始影像中之像素的R/B平均值40(例如,R/B_AV)。因此,基於針對LP R/B濾波器36所建立的濾波係數而定,從LP R/B濾波器36所輸出的各個列之像素可係具有一個紅色值或者是一個藍色值。這些係數可係基於從一個像素計數器輸入52所獲得的一個像素位置,而經由來自於一個輸出像素請求器54的一個係數線50來設定。例如,由輸出像素請求器54所建立的係數可係取決於對比於輸入原始資料格的實際取樣點。所例示之輸出像素請求器54可亦為於下文中更詳細論述的一個綠色模組42選擇濾波係數。此外,輸出像素請求器54還可基於獲得自一個控制信號58的一個下取樣率(例如,1.875)而產生一個有效輸出旗標56。
硬體模組34可亦包括有一個綠色模組42,以就一種逐列基礎來判定原始影像中之像素的綠色值44(例如,G_OUT)。可利用一個乘法模組48(例如,具有相乘值「K」的乘法模組)和一個加法模組46,來基於綠色值44而校正R/B平均值40,其中LP R/B濾波器36可亦包括有一個高通(HP)綠色(G)濾波部件,以獲取各列中之綠色像素的衍生(derivative)。HP G濾波部件可係與乘法模組48之值(即,「K」)相關聯。因此,經校正的R/B值47可從加法模組46被輸出,其中,一個列中的各個像素可具有一個綠色值44和一個經校正的R/B值47(即,R+G或者是B+G)。
於所例示之範例中,綠色模組42包括有一個LP G濾波器60,以就一種逐列基礎而針對原始影像中之像素判定一個綠色平均值62(例如,G_AV)。因此,各個綠色平均值62可係代表一列中之某個數量的像素之平均綠色值。LP G濾波器60可亦具有一個HP R/B濾波部件,以獲取各列中之R/B像素之衍生。此外,可利用一個綠色最近旁鄰濾波器64來就一種逐列基礎,針對原始影像中之像素而計算一個綠色最近旁鄰值66(例如,G_NN)。因而,各個綠色最近旁鄰值66可係指出此列中之最近像素(例如,於所論之像素的其中一側之像素)的綠色值。綠色模組42之此等濾波器和LP R/B濾波器36可包括旨在支援大範圍之取樣比例的多相濾波器。
所例示之綠色模組42亦包括有一個差計算器68,以就一種逐列基礎,針對原始影像中之像素而基於一種差計算法來計算綠色平均值62與綠色最近旁鄰值66的相對權重。可將此等相對權重表達在單一個參數信號70(例如,alpha)中,其中可係利用混合模組72來基於綠色平均值62、綠色最近旁鄰值66和在信號70中所反應出的相對權重來計算綠色值44。例如,混合模組72可利用下面的表達式來計算各個綠色值,
blend_out=alpha*G_NN+(1-alpha)*G_AV (1)
因此,當所計算出來的以列為基礎之像素差(alpha)增加時,一個邊沿/邊緣較有可能係出現在此影像之此列中,並且綠色值44可朝向綠色最近旁鄰值66被作更重的加權,以較佳地捕捉到此邊沿/邊緣。或者是,當所計算出來的以列為基礎之像素差減少時,此影像之此列有可能在紋理上是平滑的,且此等綠色值可朝向綠色平均值62被作更重的加權。簡單來說,在某個方向中之變異性越大,在那個方向中的內插就越窄。
現在請轉看第3圖,其示出以垂直方向對中間影像資料作空間性濾波的一種方法74。所例示之方法74大體上為利用與已論述之於硬體模組34(第2圖)中所使用的途徑類似的一種途徑的實施於影像之行上的一個軟體實作。方法74可被實施為儲存在一個機器可讀或電腦可讀儲存媒體,像是隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可編程ROM(PROM)、快閃記憶體等等,中的一組可執行指令。例如,用來實行示於方法74中之操作的電腦程式碼可係以一或多個程式語言的任何組合寫成,包括像是C++等的物件導向程式語言或是傳統的程序式程式語言,像是「C」程式語言或類似程式語言等。
處理程序方塊76供用於以一種逐行基礎而對在中間影像資料中之像素的R/B平均值作判定,而處理程序方塊78供用於以一種逐行基礎而對在中間影像資料中之像素的綠色值作判定。此外,此等R/B平均值可於方塊80基於綠色值而被校正。
第4圖在方法82中示出用以判定中間影像資料中之像素的綠色值的一種途徑。因此,方法82可便利地替代已有所論述的處理程序方塊78(第3圖)。特別是,所例示之方塊84供用於以一種逐行基礎而對在中間影像資料中之像素的一個綠色平均值作計算,而方塊86供用於以一種逐行基礎而對在中間影像資料中之像素的一個綠色最近旁鄰值作計算。可於方塊88以一種逐行基礎,基於對在中間影像資料中之像素的一種差計算,來計算綠色平均值與綠色最近旁鄰值的相對權重。所例示之方塊90供用於基於此等綠色平均值、綠色最近旁鄰值和相對權重而計算綠色值。
現在請轉看第5圖,具有一個運算系統94的一個平台92,其中運算系統94具有一個處理器、系統記憶體、一個網路控制器、可被實施為多個NAND記憶體裝置或其他NVM(非依電性記憶體)的BIOS(基本輸入/輸出系統)記憶體、一個HDD(硬碟驅動器)以及用以容許使用者與平台92互動及感知來自平台92之資訊的數個UI(使用者介面)裝置,像是顯示器、鍵盤、滑鼠等等。平台92可為一個行動平台,像是膝上型電腦、行動網際網路裝置(MID)、個人數位助理(PDA)、無線智慧型電話、媒體播放器、成像裝置等等,或其中之任何組合,的一部分。平台92可亦為一個固定平台,像是個人電腦(PC)、伺服器、工作站等等,的一部份。因此,運算系統94之處理器可包括有一或多個處理器核心和組配來與系統記憶體通訊的一個積體記憶體控制器(IMC,未示於圖中)。系統記憶體可包括有被組配成一個記憶體模組,像是雙直列記憶體模組(DIMM)、小型雙直列記憶體模組(SODIMM)等等,的動態隨機存取記憶體(DRAM)。處理器之核心可執行一種作業系統(OS),像是微軟視窗、Linux或Mac(Macintosh)OS等,及多種其他軟體應用程式,其中各個核心管線108可配合指令提取單元、指令解碼器、第一級(L1)快取記憶體、執行單元等,以此類推,而全功能運作。
所例示之網路控制器可針對各式各樣的用途而提供平台外通訊功能,像是行動電話(例如,W-CDNA(UNTS)、CDMA2000(IS-856/IS-2000)等等)、WiFi(例如,1999版IEEE 802.11、LAN/MAN無線LANS)、藍牙(例如,IEEE 802.15.1-2005、無線個人區域網路)、WiMax(例如,IEEE 802.16-2004、LAN/MAN寬頻無線LANS)、全球定位系統(GPS)、展開頻譜(例如,900 MHz)及其他無線電頻率(RF)電話用途等。
所例示之平台92亦包括有一個數位相機影像感測器112和一個水平內插硬體模組114,其中,影像感測器112可係以高位元率產生原始影像(例如,從影像預覽及/或視訊拍攝操作),並且此硬體模組可係以水平方向對原始影像作空間性濾波,以獲得中間影像資料。因此,已有所論述的硬體模組18(第1圖)及/或硬體模組34(第2圖)可便利地替代硬體模組114。此外,運算系統94的一或多個處理器核心可執行一組指令,來以垂直方向對中間影像資料作空間性濾波。因此,已有所論述的垂直內插軟體模組20(第1圖)可便利地係由運算系統94之處理器核心執行。用來對中間影像資料作空間性濾波的指令可係儲存在處理器核心之內部快取記憶體、系統記憶體、HDD、BIOS記憶體或其他合適的電腦可讀儲存媒體中。
第6A~6C圖演示依據於本文中所說明之技術來處理原始影像118的優點。所例示之原始影像118具有徑向桶形失真和部份顏色資訊,當中在各個像素上,得自R/G/B的僅一個顏色值為已知。在以水平方向作空間性濾波之後,一個中間影像120被半解碼賽克、下取樣(例如,在水平方向中以一個1.875的因數)並作部份失真校正。在以垂直方向對中間影像120作空間性濾波之後,亦示出一個完全被解碼賽克、下取樣與失真校正的最終影像122。
上文中所說明的技術可因而提供一種有效的影像處理實作,其在資料被以高率拍攝時產生高品質的結果。此外,將最小化的專用硬體和軟體處理程序組合可使得行動電腦及/或較小的手持裝置能夠處於性能與功率消耗的要求範圍內。
本發明之實施例可應用於配合所有類型的半導體積體電路(「IC」)晶片之使用。這些IC晶片的範例包括但不限於處理器、控制器、晶片組部件、可編程邏輯陣列(PLA)、記憶體晶片、網路晶片及諸如此類者。此外,在一些圖式中,信號導體線路係以線條表示。有一些可能會粗一點,以指出較多成份信號路徑,並/或在一或更多端具有箭頭,以指出主要資訊流向。然而,這不應被解讀為一種限制行為。相反地,這樣的增入細節可配合一或多個示範實施例使用,以有助於更容易地瞭解一個電路。所表示出來的任何信號線路,無論是否具有額外資訊,皆可實際上包含可於多方向行進的一或多個信號,並可就任何合適的信號架構類型來實施,例如,以差動對實施的數位或類比線路、光纖線路及/或單端線路。
本文中可能已給出示範尺寸/模型/數值/範圍,雖然本發明之數個實施例並不受限於此等尺寸/模型/數值/範圍。由於製造技術(例如,光微影術)隨著時間愈趨成熟,可預期較小尺寸的裝置可被製造。此外,對IC晶片及其他部件的習知電源/接地連接係可以或可以不被示於圖式中,以利例示與論述簡明性,並以使本發明之數個實施例的某些面向不被混淆。更進一步地,可係以方塊圖的形式來示出數個配置,以避免混淆本發明之數個實施例,並且,如此係有鑑於這樣的事實,即,針對此等方塊圖配置之實作的細節係高度取決於要在當中實施此實施例的平台,亦即,此等細節應完全係落於熟於此技者的眼界內。當闡明特定細節(例如,電路)以說明本發明之數個示範實施例時,對於熟於此技者而言,應可明顯看出,本發明之數個實施例可係在無此等特定細節,或變更此等特定細節的情況下實踐。此說明因此應被看作是例示性的,而非限制性的。
一些實施例可係,例如,利用儲存有一個指令或一組指令的一個機器或有形的電腦可讀媒體或物品來實施,其中此指令或此組指令在由一個機器執行時,可致使此機器執行依據此等實施例的一種方法及/或操作。這樣的一個機器可包括,例如,任何合適的處理平台、運算平台、運算裝置、處理裝置、運算系統、處理系統、電腦、處理器或其他諸如此類者,並可利用硬體及/或軟體之任何合適的組合來實施。此電腦可讀媒體或物品可包括,例如,任何合適類型的記憶體單元、記憶體裝置、記憶體物品、記憶體媒體、儲存裝置、儲存物品、儲存媒體及/或儲存單元,例如,記憶體、可移除式或不可移除式媒體、可抹除式或不可抹除式媒體、可寫式或可複寫式媒體、數位或類比媒體、硬碟、軟碟、光碟唯讀記憶體(CD-ROM)、光碟可燒錄(CD-R)、光碟可複寫(CD-RW)、光碟、磁性媒體、磁光媒體、可移除式記憶卡或碟片、各式各樣的數位多功能光碟(DVD)、磁帶、卡帶或其他諸如此類者。指令可包括利用任何合適類型的高階的、低階的、物件導向的、視覺的、經組譯的及/或經解譯的程式語言所實施的任何合適類型的程式碼,像是原始碼、經編譯碼、經解譯碼、可執行碼、靜態碼、動態碼、經加密碼及其他諸如此類者。
除非做出其他特定陳述,否則應可識出,此等詞語,像是「處理」、「運算」、「計算」、「判定」或其他諸如此類者,係指一個電腦或運算系統,或操縱及/或轉換以運算系統之暫存器及/或記憶體內之物理量(例如,電子)表示之資料成以運算系統之記憶體、暫存器或以其他此種資訊儲存、傳輸或顯示裝置內之物理量類似地表示的其他資料的類似的電子運算裝置,之動作及/或處理。此等實施例並不受限於本文中。
「耦接」此詞於本文中可係用於指涉在所論部件之間的任何類型的關係,直接或間接,並可適用於電氣的、機械的、流體的、光學的、電磁的、電機的或其他連接。此外,除非已指出其他情況,否則「第一」、「第二」等詞語於本文中僅係用來有助於論述,而不帶任何特定時間性或時間順序性意義。
從前文中之說明中,熟於此技者會可識出,本發明之數個實施例的廣義技術可係以多種形式來實施。因此,雖然已以相關於前文中之特定範例的方式來說明本發明之此等實施例,本發明之此等實施例的真實範圍亦不應被這樣限制,因為對於熟鍊的專業人員而言,經參讀圖式、說明書與後附申請專利範圍後,其他修改體會是很明顯可見的。
10...管線
12...硬體部份
14...軟體部份
16...內插區
18、34、114...硬體模組
20...軟體模組
22...其他硬體處理模組
24、118...原始影像
26(26a~26b)...中間影像資料
28...記憶體
30...最終影像資料
32...其他軟體模組
36...低通R/B濾波器
38...列像素串流
40...R/B平均值
42...綠色模組
44...綠色值
46...加法模組
47...R/B值
48...乘法模組
50...係數線
52...像素計數器輸入
54...輸出像素請求器
56...有效輸出旗標
58...控制信號
60‧‧‧低通綠色濾波器(LPG濾波器)
62‧‧‧綠色平均值
64‧‧‧綠色最近旁鄰濾波器
66‧‧‧綠色最近旁鄰值
68‧‧‧差計算器
70‧‧‧信號
72‧‧‧混合模組
74、82‧‧‧方法
76~80、84~90‧‧‧方塊
92‧‧‧平台
94‧‧‧運算系統
108‧‧‧核心
112‧‧‧影像感測器
120‧‧‧中間影像
122‧‧‧最終影像
第1圖為依據一個實施例的一個影像處理管線之範例的方塊圖;
第2圖為依據一個實施例的一個水平內插硬體模組之範例的方塊圖;
第3圖為依據一個實施例的一個執行垂直內插之方法的範例之流程圖;
第4圖為依據一個實施例的一個以一種逐行基礎判定綠色值之處理程序的範例之流程圖;
第5圖為依據一個實施例的一個平台之範例的方塊圖;
第6A~6C圖為依據一個實施例的影像資料之範例的例示圖。
10...管線
12...硬體部份
14...軟體部份
16...內插區
18...硬體模組
20...軟體模組
22...其他硬體處理模組
24...原始影像
26(26a~26b)...中間影像資料
28...記憶體
30...最終影像資料
32...其他軟體模組
Claims (15)
- 一種系統,其包含:一個處理器;一個影像感測器,用以產生一個原始影像;一個硬體模組,用以就水平方向對該原始影像作空間性濾波來獲得中間影像資料,在該中間影像資料之一列中的每個像素包括紅色加綠色的值或是藍色加綠色的值;一個電腦可讀儲存媒體,其包括有一組經儲存指令,該組經儲存指令在由該處理器執行時會致使該系統以垂直方向對該中間影像資料作空間性濾波,在該中間影像資料之一行中的每個像素包括紅色加綠色的值或是藍色加綠色的值;以及一輸出像素請求器,其用以基於像素位置而為一第一濾波器和一綠色模組選擇數個係數,及用以基於一個下取樣率而產生一個有效輸出旗標,其中該硬體模組包括:該第一濾波器,用以就一種逐列基礎判定該原始影像中之像素的數個紅色-藍色平均值;該綠色模組,用以就一種逐列基礎判定該原始影像中之像素的數個綠色值;以及一個加法模組,用以基於該等綠色值而校正該等紅色-藍色平均值。
- 如申請專利範圍第1項之系統,其中該綠色模組包括: 一第二濾波器,用以就一種逐列基礎計算該原始影像中之像素的一個綠色平均值;一第三濾波器,用以就一種逐列基礎計算該原始影像中之像素的一個綠色最近旁鄰值;一個差計算器,用以就一種逐列基礎,針對該原始影像中之像素而基於一種差計算來計算該等綠色平均值和該等綠色最近旁鄰值的相對權重;一個混合模組,用以基於該等綠色平均值、該等綠色最近旁鄰值、和該等相對權重來計算該等綠色值。
- 如申請專利範圍第1項之系統,其中該等指令在被執行時會致使該系統執行下列步驟:基於一種逐行基礎而判定該中間影像資料中之像素的數個紅色-藍色平均值,基於一種逐行基礎而判定該中間影像資料中之像素的數個綠色值,以及基於所判定之該等綠色值而校正該等紅色-藍色平均值。
- 一種設備,其包含:一個硬體模組,用以就水平方向對一個原始影像作空間性濾波來獲得中間影像資料,在該中間影像資料之一列中的每個像素包括紅色加綠色的值或是藍色加綠色的值;以及一個電腦可讀儲存媒體,其包括有一組經儲存指令,該組經儲存指令在由一個處理器執行時會致使該設 備以垂直方向對該中間影像資料作空間性濾波,在該中間影像資料之一行中的每個像素包括紅色加綠色的值或是藍色加綠色的值;以及一輸出像素請求器,其用以基於像素位置而為一第一濾波器和一綠色模組選擇數個係數,其中該硬體模組包括:該第一濾波器,用以就一種逐列基礎判定該原始影像中之像素的數個紅色-藍色平均值;該綠色模組,用以就一種逐列基礎判定該原始影像中之像素的數個綠色值;以及一個加法模組,用以基於該等綠色值而校正該等紅色-藍色平均值。
- 如申請專利範圍第4項之設備,其中該綠色模組包括:一第二濾波器,用以就一種逐列基礎計算該原始影像中之像素的一個綠色平均值;一第三濾波器,用以就一種逐列基礎計算該原始影像中之像素的一個綠色最近旁鄰值;一個差計算器,用以就一種逐列基礎,針對該原始影像中之像素而基於一種差計算來計算該等綠色平均值和該等綠色最近旁鄰值的數個相對權重;一個混合模組,用以基於該等綠色平均值、該等綠色最近旁鄰值、和該等相對權重來計算該等綠色值。
- 如申請專利範圍第5項之設備,其更進一步地包括:一個乘法模組,其設置於該混合模組與該加法模組 之間,用以調整該等綠色值。
- 如申請專利範圍第5項之設備,其中該第二濾波器包括一個高通紅色-藍色濾波器。
- 如申請專利範圍第4項之設備,其中該輸出像素請求器係用以基於一個下取樣率而產生一個有效輸出旗標。
- 如申請專利範圍第4項之設備,其中該第一濾波器包括一個高通綠色濾波器。
- 如申請專利範圍第4項之設備,其中該等指令在被執行時會致使該設備執行下列步驟:基於一種逐行基礎而判定該中間影像資料中之像素的數個紅色-藍色平均值,基於一種逐行基礎而判定該中間影像資料中之像素的數個綠色值,以及基於該等綠色值而校正該等紅色-藍色平均值。
- 如申請專利範圍第10項之設備,其中該等指令在被執行時會致使該設備執行下列步驟:以一種逐行基礎計算該中間影像資料中之像素的一個綠色平均值;以一種逐行基礎計算該中間影像資料中之像素的一個綠色最近旁鄰值;以一種逐行基礎,針對該中間影像資料中之像素而基於一種差計算來計算該等綠色平均值和該等綠色最近旁鄰值的數個相對權重;基於該等綠色平均值、該等綠色最近旁鄰值、和該 等相對權重來計算該等綠色值。
- 如申請專利範圍第4項之設備,其中該原始影像係要包括由一個影像預覽操作和一個視訊紀錄操作中之至少一者所致的一個拜耳圖樣影像(Bayer pattern image)。
- 一種方法,其包含下列步驟:利用一個硬體模組來以水平方向對一個原始影像作空間性濾波來獲得中間影像資料,在該中間影像資料之一列中的每個像素包括紅色加綠色的值或是藍色加綠色的值;以及利用軟體來以垂直方向對該中間影像資料作空間性濾波,在該中間影像資料之一行中的每個像素包括紅色加綠色的值或是藍色加綠色的值,其中利用軟體來對該中間影像資料作空間性濾波之步驟包括就一種逐行基礎判定該中間影像資料中的數個紅色-藍色平均值,就一種逐行基礎判定針對該中間影像資料中的像素之數個綠色值,基於該等綠色值而校正該等紅色-藍色平均值,就一種逐行基礎計算針對該中間影像資料中的像素之一個綠色平均值,就一種逐行基礎計算針對該中間影像資料中的像素的一個綠色最近旁鄰值,就一種逐列基礎,針對該中間影像資料中之像素而基於一種差計算來計算該等綠色平均值和該等綠色最近旁鄰值的相對權重,以及基於該等綠色平均值、該等綠色最近旁鄰值、和該等相對權重來計算該等綠色值。
- 如申請專利範圍第13項之方法,其中利用該硬體模組來 對該原始影像作空間性濾波之步驟包括下列步驟:對該原始影像施用一第一濾波器,來以一種逐列基礎判定該原始影像中之像素的數個紅色-藍色平均值;對該原始影像施用一個綠色模組,來以一種逐列基礎判定該原始影像中之像素的數個綠色值;以及利用一個加法模組,來基於該等綠色值而校正該等紅色-藍色平均值。
- 如申請專利範圍第13項之方法,其中該原始影像包括由一個影像預覽操作和一個視訊紀錄操作中之至少一者所致的一個拜耳圖樣影像(Bayer pattern image)。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/825,010 US8587705B2 (en) | 2010-06-28 | 2010-06-28 | Hardware and software partitioned image processing pipeline |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201214331A TW201214331A (en) | 2012-04-01 |
| TWI552111B true TWI552111B (zh) | 2016-10-01 |
Family
ID=45352205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100121798A TWI552111B (zh) | 2010-06-28 | 2011-06-22 | 硬體與軟體分劃的影像處理管線 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8587705B2 (zh) |
| EP (1) | EP2586009A4 (zh) |
| CN (1) | CN102918561B (zh) |
| TW (1) | TWI552111B (zh) |
| WO (1) | WO2012009077A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8587705B2 (en) | 2010-06-28 | 2013-11-19 | Intel Corporation | Hardware and software partitioned image processing pipeline |
| US8976161B2 (en) | 2012-03-01 | 2015-03-10 | Apple Inc. | Systems and methods for image processing |
| US20130321675A1 (en) | 2012-05-31 | 2013-12-05 | Apple Inc. | Raw scaler with chromatic aberration correction |
| US9239712B2 (en) * | 2013-03-29 | 2016-01-19 | Intel Corporation | Software pipelining at runtime |
| KR102218832B1 (ko) | 2014-12-16 | 2021-02-24 | 삼성전자주식회사 | 컬러 프린지를 제거하기 위한 이미지 처리 장치 |
| KR102255218B1 (ko) * | 2014-12-18 | 2021-05-24 | 삼성전자주식회사 | 컬러 프린지를 제거하기 위한 이미지 처리 장치 |
| US11350063B2 (en) | 2020-04-14 | 2022-05-31 | Apple Inc. | Circuit for correcting lateral chromatic abberation |
| US11763421B2 (en) * | 2021-01-07 | 2023-09-19 | Apple Inc. | Circuit for combined down sampling and correction of image data |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070242081A1 (en) * | 2006-04-18 | 2007-10-18 | Samsung Electronics Co., Ltd. | Method and apparatus for interpolating color value |
| US20090136127A1 (en) * | 2007-11-27 | 2009-05-28 | Samsung Electro-Mechanics Co., Ltd. | Apparatus and method of removing color noise of digital image |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5790205A (en) * | 1996-08-23 | 1998-08-04 | Texas Instruments Incorporated | Method of increase sharpness in digital displays |
| US5838010A (en) * | 1997-07-14 | 1998-11-17 | General Electric Company | Spatial resolution improvement for gamma camera |
| US6628330B1 (en) | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
| US6791609B2 (en) * | 1999-12-20 | 2004-09-14 | Texas Instruments Incorporated | Digital still camera system and method |
| JP3947969B2 (ja) * | 2002-05-15 | 2007-07-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム |
| FR2861207B1 (fr) * | 2003-10-15 | 2006-02-17 | St Microelectronics Sa | Adaptateur d'images a traitement d'image par tuiles, et procede utilisant un tel adaptateur |
| JP4392294B2 (ja) * | 2004-06-15 | 2009-12-24 | 株式会社日立製作所 | 通信統計収集装置 |
| KR100967742B1 (ko) * | 2004-09-07 | 2010-07-06 | 크로스텍 캐피탈, 엘엘씨 | 이미지센서의 색 보간 방법 |
| US7324707B2 (en) * | 2004-10-12 | 2008-01-29 | Altek Corporation | Interpolation method for generating pixel color |
| US7676096B2 (en) * | 2005-07-08 | 2010-03-09 | Qformx | Modular, low cost, memory efficient, input resolution independent, frame-synchronous, video compression system using multi stage wavelet analysis and temporal signature analysis with a highly optimized hardware implementation |
| JP4834446B2 (ja) | 2006-04-11 | 2011-12-14 | 株式会社東芝 | 画像処理装置 |
| US8233675B2 (en) * | 2006-06-20 | 2012-07-31 | L-1 Secure Credentialing, Inc. | Image, video or audio filtering before biometric recognition |
| US7609307B2 (en) * | 2006-09-13 | 2009-10-27 | National Chiao Tung University | Heterogeneity-projection hard-decision interpolation method for color reproduction |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US8086034B2 (en) * | 2008-02-05 | 2011-12-27 | Aptina Imaging Corporation | System and method for reducing color artifacts in digital images |
| US8436909B2 (en) | 2008-10-21 | 2013-05-07 | Stmicroelectronics S.R.L. | Compound camera sensor and related method of processing digital images |
| EP2377307B1 (en) * | 2008-12-18 | 2015-11-11 | Omnivision Technologies, Inc. | Image sensor apparatus and method for line buffer efficient lens distortion correction |
| KR101649882B1 (ko) * | 2009-02-10 | 2016-08-22 | 래티스세미컨덕터코퍼레이션 | 블록 노이즈 검출 및 필터링 |
| US20110148888A1 (en) * | 2009-12-23 | 2011-06-23 | Jacobs Robert A | Method and apparatus for controlling multiple display panels from a single graphics output |
| US8587705B2 (en) | 2010-06-28 | 2013-11-19 | Intel Corporation | Hardware and software partitioned image processing pipeline |
| GB2487242A (en) * | 2011-01-17 | 2012-07-18 | Sony Corp | Interpolation Using Shear Transform |
-
2010
- 2010-06-28 US US12/825,010 patent/US8587705B2/en not_active Expired - Fee Related
-
2011
- 2011-06-13 WO PCT/US2011/040124 patent/WO2012009077A1/en not_active Ceased
- 2011-06-13 CN CN201180026497.9A patent/CN102918561B/zh not_active Expired - Fee Related
- 2011-06-13 EP EP11807223.0A patent/EP2586009A4/en not_active Withdrawn
- 2011-06-22 TW TW100121798A patent/TWI552111B/zh not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070242081A1 (en) * | 2006-04-18 | 2007-10-18 | Samsung Electronics Co., Ltd. | Method and apparatus for interpolating color value |
| US20090136127A1 (en) * | 2007-11-27 | 2009-05-28 | Samsung Electro-Mechanics Co., Ltd. | Apparatus and method of removing color noise of digital image |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2586009A1 (en) | 2013-05-01 |
| CN102918561B (zh) | 2015-11-25 |
| US20110317047A1 (en) | 2011-12-29 |
| CN102918561A (zh) | 2013-02-06 |
| EP2586009A4 (en) | 2016-01-06 |
| WO2012009077A1 (en) | 2012-01-19 |
| US8587705B2 (en) | 2013-11-19 |
| TW201214331A (en) | 2012-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI552111B (zh) | 硬體與軟體分劃的影像處理管線 | |
| US8340407B2 (en) | System and method for image demosaicing | |
| JP6431551B2 (ja) | 色収差に対する歪みメッシュ | |
| TWI513298B (zh) | 雙影像感測器影像處理系統及方法 | |
| JP5867629B2 (ja) | 画像処理のためのシステム及び方法 | |
| US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
| CN103765876A (zh) | 图像处理设备以及图像处理方法和程序 | |
| US10841488B2 (en) | Combined monochrome and chromatic camera sensor | |
| WO2009130820A1 (ja) | 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体 | |
| US12412241B2 (en) | Demosaicing circuit for demosaicing quad bayer raw image data | |
| KR20190029433A (ko) | 전자 디스플레이 경계 이득 시스템 및 방법 | |
| JP5169994B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| CN102611856B (zh) | 图像转换器、图像转换方法和电子装置 | |
| CN118613821A (zh) | 针对原始图像数据的多模式去马赛克 | |
| TWI492187B (zh) | 超解析度影像處理方法及其裝置 | |
| TWI524782B (zh) | 影像處理裝置與影像處理方法 | |
| Hore et al. | An edge-sensing generic demosaicing algorithm with application to image resampling | |
| Lien et al. | Efficient VLSI architecture for edge-oriented demosaicking | |
| JP2010079883A (ja) | 情報処理装置、画像処理方法およびプログラム | |
| JP2008067230A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| TW202424889A (zh) | 去馬賽克方法及去馬賽克裝置 | |
| CN118297862A (zh) | 拜尔图像的彩色复原方法、装置、设备及存储介质 | |
| CN103974043A (zh) | 影像处理装置与影像处理方法 | |
| US12309503B2 (en) | Intermediate color format for image processing | |
| JP2014192586A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |