[go: up one dir, main page]

TWI558211B - 影像處理方法與裝置 - Google Patents

影像處理方法與裝置 Download PDF

Info

Publication number
TWI558211B
TWI558211B TW104138201A TW104138201A TWI558211B TW I558211 B TWI558211 B TW I558211B TW 104138201 A TW104138201 A TW 104138201A TW 104138201 A TW104138201 A TW 104138201A TW I558211 B TWI558211 B TW I558211B
Authority
TW
Taiwan
Prior art keywords
pixel
value
target pixel
image processing
data
Prior art date
Application number
TW104138201A
Other languages
English (en)
Other versions
TW201720133A (zh
Inventor
林俊宏
Original Assignee
晶相光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晶相光電股份有限公司 filed Critical 晶相光電股份有限公司
Priority to TW104138201A priority Critical patent/TWI558211B/zh
Priority to CN201610387585.6A priority patent/CN106791503B/zh
Priority to US15/258,307 priority patent/US10319077B2/en
Application granted granted Critical
Publication of TWI558211B publication Critical patent/TWI558211B/zh
Publication of TW201720133A publication Critical patent/TW201720133A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

影像處理方法與裝置
本發明為一種影像處理方法,特別是一種消除影像雜訊的方法。
當影像感測器感測影像時,影像感測器內部電路所造成的雜訊,或是影像感測器內部的缺陷像素,對於影像感測器輸出的影像品質有很大的影響。因此,如何處理影像感測器輸出的感測資料,以消除雜訊與缺陷像素帶來的不利影響就成了一個重要的課題。
在一實施例中,本發明提供一種影像處理方法,包括下列步驟:接收一上部影像資料;對一目標像素以及該上部影像資料中的複數個第一參考像素進行運算以求得一第一比例值;根據該第一比例值與一擴散係數函式值函式求得一第一擴散係數;根據該目標像素、該等第一參考像素以及該第一擴散係數以求得該目標像素的一第一像素值;接收一下部影像資料;對該目標像素以及該下部影像資料中的複數個第二參考像素進行運算以求得一第二比例值,其中此時的該目標像素的像素值為第一像素值;根據該第二比例值與該擴散係數函式值函式求得一第二擴散係數;以及根據該目標像素、該等第二參 考像素以及該第二擴散係數以求得該目標像素的一第二像素值。
在另一實施例中,本發明提供一種影像處理方法,包括下列步驟:讀取一目標像素所在的一第n行像素資料,一第(n-1)行像素資料以及一第(n-2)行像素資料;根據該目標像素與複數個第一參考像素計算該目標像素的一第一校正後資料值以及判斷該目標像素是否可能為一缺陷像素;當目標像素可能為缺陷像素時,讀取該目標像素所在的該第n行像素資料,一第(n+1)行像素資料以及一第(n+2)行像素資料;根據該第n行像素資料,該第(n+1)行像素資料以及該第(n+2)行像素資料判斷該目標像素是否可能為缺陷像素;以及當該目標像素確定為缺陷像素時,對該目標像素進行一缺陷像素補償程序。
在另一實施例中,本發明提供一種影像處理裝置,包括一上部影像處理裝置以及一下部影像處理裝置。上部影像處理裝置,接收一上部影像資料以針對一目標像素進行影像處理以產生該目標像素的一第一像素值,其中位於該上部影像資料中的該目標像素的像素值為一初始像素值。下部影像處理裝置,接收一下部影像資料以針對該目標像素進行影像處理以產生該目標像素的一第二像素值。若該上部影像處理裝置判斷該目標像素不是一可能的缺陷像素時,位於該下部影像資料的該目標像素的像素值為該第一像素值。
若該上部影像處理裝置判斷該目標像素為可能的缺陷像素時,該下部影像處理裝置先接收該下部影像資料並根據該下部影像資料確認該目標像素是否為缺陷像素,其中該下 部影像資料中的該目標像素的像素值為該初始像素值。
21‧‧‧第一行暫存器
22‧‧‧第二行暫存器
23‧‧‧目前的影像資料
51‧‧‧影像感測器
52‧‧‧降噪電路
53‧‧‧缺陷像素偵測/補償電路
801‧‧‧上部影像像素均值計算單元
802‧‧‧上部影像像素差異值計算單元
803‧‧‧DMR計算單元
804‧‧‧缺陷像素偵測單元
805‧‧‧擴散係數對照單元
806‧‧‧擴散運算單元
807‧‧‧多工器
808‧‧‧下部影像像素均值計算單元
809‧‧‧下部影像像素差異值計算單元
810‧‧‧DMR計算單元
811‧‧‧缺陷像素偵測單元
812‧‧‧擴散係數對照單元
813‧‧‧擴散運算單元
814‧‧‧缺陷像素補償單元
815‧‧‧多工器
901‧‧‧上部影像像素均值計算單元
902‧‧‧上部影像像素差異值計算單元
903‧‧‧DMR計算單元
904‧‧‧缺陷像素偵測單元
905‧‧‧擴散係數對照單元
906‧‧‧擴散運算單元
907‧‧‧多工器
908‧‧‧下部影像像素均值計算單元
909‧‧‧下部影像像素差異值計算單元
910‧‧‧DMR計算單元
911‧‧‧缺陷像素偵測單元
912‧‧‧擴散係數對照單元
913‧‧‧擴散運算單元
914‧‧‧缺陷像素偵測單元
915‧‧‧多工器
916‧‧‧上部影像串擾消除單元
917‧‧‧下部影像串擾消除單元
9161‧‧‧像素差異值計算單元
9162‧‧‧DMR計算單元
9163‧‧‧擴散係數對照單元
9171‧‧‧像素差異值計算單元
9172‧‧‧DMR計算單元
9173‧‧‧擴散係數對照單元
第1圖為針對一像素進行影像處理的像素資料示意圖。
第2A與第2B圖為透過一影像處理電路進行本發明之影像處理方法的示意圖。
第3圖為擴散係數函式值函式的一實施例的示意圖。
第4圖為針對一綠色像素進行影像處理的像素資料示意圖。
第5圖為根據本發明之一影像感測模組的一實施例的示意圖。
第6圖為根據本發明之一實施例的影像處理方法的流程圖。
第7圖為根據本發明之一實施例的影像處理方法的流程圖。
第8圖為根據本發明之一影像處理裝置的一實施例的示意圖。
第9A與9B圖為根據本發明之一影像處理裝置的另一實施例的示意圖。
第1圖為針對一像素進行影像處理的像素資料示意圖。在第1圖中,像素R4是要進行影像處理,如雜訊消除,因此需要像素R4前後的4條像素行來進行處理。因此,需要至少4個行暫存器Line buffer 1~4來儲存像素行的資料。而圖上的 current line表示目前被影像處理電路所讀取到的像素行,而不需額外的行暫存器來儲存。
因為影像感測器的解析度越來越高,使得每一行的像素資料越來越大,因此所須要的行暫存器的記憶體空間也就越來越大。因此本案揭露一種影像感測器以及一種影像處理方法,只需要2個行暫存器即可提供影像處理電路進行缺陷像素偵測與補償,以及影像降噪處理。
為更清楚說明本發明的動作,請參考第2A與第2B圖。第2A與第2B圖為透過一影像處理電路進行本發明之影像處理方法的示意圖。第2A與第2B圖中的影像資料以第1圖中所述的影像資料為例,並以像素R4說明。第2A圖為第一時間點時,第一行暫存器21、第二行暫存器22以及影像處理電路目前所讀取到的影像資料23,也就是第1圖中的上半部的影像資料。影像處理方法的步驟如下:
步驟一:
根據目標像素R4的相臨同顏色之像素得到相臨像素的平均值。像素平均值I計算公式如下:
其中ω k 指的是一取樣視窗內的像素,取樣視窗的大小可根據影像處理程序或是使用者自訂,ω指的是取樣視窗內的像素之個數,如第1圖中的影像資料即為一視窗所決定。
步驟二:
接著,利用目標像素R4的像素值與相臨的像素的像素值,計算多個像素差異值δ: δi=P-I i (式二)
其中P為目標像素R4的像素值,I i 為取樣視窗內具有相同顏色的參考像素的像素值,如像素R0。在第2A圖中,與目標像素R4相同顏色的參考像素有R0、R1、R2、R3以及R5,其中R5在本實施例的計算中不列入計算,而是在進行下半部影像處理時才做為參考像素。在另一實施例中,參考像素R3以及R5可以同時在上半部影像處理與下半部影像處理中作為參考像素。
在另一實施例中,多個像素差異值δ的計算方法如下:δi=(P-I i )2
上述兩種不同像素差異值計算方法都可以應用在本發明中。
步驟三:
接著,根據求得的像素平均值與像素差異值計算多個比例值DMR(delta-mean ratio):
要注意的是,步驟三中,是會針對相同顏色的相臨像素分別計算,並求得個別的比例值。
步驟四:
接著,根據求得的比例值,參考一擴散係數函式值函式,以求得參考像素對應目標像素的一係數Ki。擴散係數函式值函式的一例子如第3圖所式。K值介於0與1之間。在第3圖軸,X軸是式三求得的比例值的絕對值,Y軸是擴散係數值。 若是式三求得的比例值的絕對值越大,表示取樣視窗內的影像複雜度高,因此擴散係數值低。若是式三求得的比例值的絕對值越小,表示取樣視窗內的影像複雜度低,因此擴散係數值高。此外,在本實施例中,每一個參考像素對目標像素R4的擴散係數並不相同。從另一個角度來看,擴散係數可以視為是參考像素與目標像素R4的一關聯性。若關聯性越大,則參考像素對於目標像素R4的一校正或補償的權重值就越高。若關聯性越小,則參考像素對於目標像素R4的一校正或補償的權重值就越小。
步驟五:
透過式一至式三,校正或補償後目標像素R4的像素值P'如下:
在將影像資料23中的所有像素都處理後,將新產生的影像資料23儲存在第一行暫存器21,並將第1圖的行暫存器Line buffer 4中的影像資料儲存在第二行暫存器22,且影像處理電路讀取目前的影像資料行,如第1圖的current line的影像資料。接著,影像處理電路根據參考像素R5、R6、R7以及R8對目標像素R4執行前述的步驟一至五,以完成對目標像素R4的影像處理。
上述的影像處理方法對於紅色像素、綠色像素或藍色像素都適用,但對於綠色像素(包括Gb與Gr),則需額外考慮所帶來的影像串擾的問題。請參考第4圖。第4圖為針對一綠色像素進行影像處理的像素資料示意圖。如前所述,影像處 理的方法分為上半部影像處理與下半部影像處理。影像處理電路先根據參考像素G0、G1、G2、G3、Gi以及Gj對目標像素G4執行前述的步驟一至五,以完成對目標像素G4的上半部影像處理。接著,處理電路先根據參考像素G5、G6、G7、G8、Gm以及Gn對目標像素G4執行前述的步驟一至五,以完成對目標像素G4的下半部影像處理。
在另一實施例中,影像處理電路根據參考像素Gi以及Gj對目標像素G4進行上部影像的串擾消除程序。接著,影像處理電路根據參考像素Gm以及Gn對目標像素G4進行下部影像的串擾消除程序。
一般的影像處理方法包括了像素缺陷偵測與補償、影像降噪處理以及影像串擾消除,而習知的技術則必需分開透過不同的電路處理,或是在不同的時間。這不僅造成前述的行暫存器的數量增加,而且彼此的資料無法共用而效率不佳。然而,本案前述方法可改善習知的缺點。
請參考第5圖。第5圖為根據本發明之一影像感測模組的一實施例的示意圖。影像感測模組包括一影像感測器51、一降噪電路52以及一缺陷像素偵測/補償電路53。在本實施例中,影像感測模組更包括一評估電路,設置於降噪電路52或缺陷像素偵測/補償電路53內,用以接收影像感測器51處理之原始資料,並執行前述步驟一至三。評估電路先針對一目標像素以及一取樣視窗內的上半部影像的複數個參考像素計算一第一像素差異值,並計算一第一比例值。接著,評估電路判斷該第一比例值的絕對值是否大於一缺陷臨界值(defect threshold)。 若無,則評估電路將第一像素差異值與第一比例值提供給降噪電路52以進行步驟三至五的降噪程序。
若該第一比例值的絕對值大於缺陷臨界值,則表示該目標像素可能為一缺陷像素。評估電路會通知降噪電路52暫時不對該目標像素進行步驟三至五的降噪程序。評估電路此時更判斷該比例值的正負。若該第一比例值為正,則該目標像素可能為缺陷像素之亮點。若該第一比例值為負,則該目標像素可能為缺陷像素之暗點。
接著,評估電路針對一目標像素以及取樣視窗內的下半部影像的複數個參考像素計算一第二像素差異值,並計算一第二比例值。評估電路接著判斷該第二比例值的絕對值是否大於缺陷臨界值。若無,則表示該像素並非缺陷像素,且降噪電路52會根據第一比例值與第二比例值進行步驟三至五的降噪程序。
若該第二比例值的絕對值大於缺陷臨界值,則評估電路判斷第二比例值的正負。若第二比例值與第一比例值同為正或同為負,則該目標像素確定為缺陷像素,評估電路將計算得到的參數值傳送給缺陷像素偵測/補償電路53以進行缺陷像素補償程序。若第二比例值與第一比例值並沒有同為正或同為負,則該目標像素不是缺陷像素,且降噪電路52會根據第一比例值與第二比例值進行步驟三至五的降噪程序。
雖然缺陷像素偵測/補償電路53的命名隱含缺陷像素偵測,然實質上缺陷像素偵測係由評估電路所進行。當評估電路位於降噪電路52內時,則缺陷像素偵測/補償電路53僅針 對降噪電路52偵測到的缺陷像素進行缺陷像素補償程序。若評估電路位於缺陷像素偵測/補償電路53內,則當評估電路判斷該目標像素不是缺陷像素時,評估電路將所求得的複數個參考數值提供給降噪電路52以進行降噪程序。
更進一步來說,當評估電路位於降噪電路52內且評估電路判斷該目標像素可能為缺陷像素時,此時降噪電路52可能已經完成步驟三至五的降噪程序。因此降噪電路52並不會如前述步驟五的動作,將處理完的影像資料儲存到第一行暫存器中,而是讓評估電路先進行下半部影像的處理,以確認目標像素是否為缺陷像素。若目標像素不是缺陷像素,則降噪電路52會完成目標像素的降噪處理。如果確認目標像素為缺陷像素,則降噪電路52會放棄原本處理的結果,且由缺陷像素偵測/補償電路53對該目標像素進行缺陷補償。
在另一實施例中,若該目標像素在上半部影像處理的程序中,並沒有被判斷為可能的缺陷像素,則下半部的影像處理的過程中,就不需要對目標像素是否可能為缺陷像素的部分進行運算。
第6圖為根據本發明之一實施例的影像處理方法的流程圖。本實施例之影像處理方法係由一影像感測器模組內的一影像處理電路所執行。該影像處理電路接收一影像感測器感測到的一初始影像資料並處理以輸出一影像資料給其他的裝置。在一實施例中,影像處理電路可由第5圖中的降噪電路52、缺陷像素偵測/補償電路53以及評估電路所實現。
在步驟S601中,影像處理電路接收對應一目標像 素的上半部影像資料。
在步驟S602中,影像處理電路根據上半部影像資料中對應該目標相素的複數個參考像素以及該目標像素計算一平均像素值,如前述式一。接著影像處理電路利用目標像素的像素值與該等參考像素的像素值,計算一像素差異值,如前述式二。接著,影像處理電路根據求得的像素平均值與像素差異值計算一比例值DMR(delta-mean ratio),如前述式三。
在步驟S603中,影像處理電路根據求得的比例值與一擴散係數函式值函式求得一擴散係數。
在步驟S604中,影像處理電路根據求得的擴散係數與該等參考像素的像素值,對該目標像素進行擴散運算,以求得該目標像素修正後的像素值。
在步驟S605中,影像處理電路對該目標像素進行一缺陷像素偵測。在一實施例中,影像處理電路可根據步驟S602中計算到的像素差異值,判斷該目標像素是否為缺陷像素。
在步驟S606中,若該目標像素為缺陷像素為缺陷像素,則執行步驟S608。若該目標像素不是缺陷像素為缺陷像素,則執行步驟S607。
在步驟S607中,影像處理電路將目標像素修正後的像素值存回一行暫存器。在一實施例中,影像處理電路會等到目標像素所在的像素行的所有像素都校正完後再將校正後的資料存回行暫存器。
在步驟S608中,影像處理電路儲存關於該目標像 素的缺陷資訊。該缺陷資訊可能為暗點或亮點。
在步驟S609中,影像處理電路判斷該目標像素是否為該像素行的最後一個像素。如果是,則結束上半部影像處理。如果不是,則對該目標像素的下一個像素進行前述之動作。
在步驟S611中,影像處理電路接收對應一目標像素的下半部影像資料。
在步驟S612中,影像處理電路根據下半部影像資料中對應該目標相素的複數個參考像素以及該目標像素計算一平均像素值,如前述式一。接著影像處理電路利用目標像素的像素值與該等參考像素的像素值,計算一像素差異值,如前述式二。接著,影像處理電路根據求得的像素平均值與像素差異值計算一比例值DMR(delta-mean ratio),如前述式三。
在步驟S613中,影像處理電路根據求得的比例值與一擴散係數函式值函式求得一擴散係數。
在步驟S614中,影像處理電路根據求得的擴散係數與該等參考像素的像素值,對該目標像素進行擴散運算,以求得該目標像素修正後的像素值。
在步驟S615中,影像處理電路對該目標像素進行一缺陷像素偵測。在一實施例中,影像處理電路可根據步驟S602中計算到的像素差異值,判斷該目標像素是否為缺陷像素。
在步驟S616中,影像處理電路根據步驟S608中儲存的缺陷資訊,以及下半部影像的缺陷像素判斷結果,判斷目 標像素是否為缺陷像素。若該目標像素為缺陷像素,則執行步驟S618。若該目標像素不是缺陷像素,則執行步驟S617。
在步驟S617中,影像處理電路將目標像素修正後的像素值存回一行暫存器。在一實施例中,影像處理電路會等到目標像素所在的像素行的所有像素都校正完後再將校正後的資料存回行暫存器。
在步驟S618中,影像處理電路對該目標像素進行一缺陷像素校正程序。
在步驟S619中,影像處理電路判斷該目標像素是否為該像素行的最後一個像素。如果是,則結束該目標像素的影像處理。如果不是,則對該目標像素的下一個像素進行前述之動作。
第7圖為根據本發明之一實施例的影像處理方法的流程圖。本實施例之影像處理方法係由一影像感測器模組內的一影像處理電路所執行。該影像處理電路接收一影像感測器感測到的一初始影像資料並處理以輸出一影像資料給其他的裝置。在一實施例中,影像處理電路可由第5圖中的降噪電路52、缺陷像素偵測/補償電路53以及評估電路所實現。
在步驟S701中,影像處理電路讀取目標像素所在的第n行像素資料,第(n-1)行像素資料以及第(n-2)行像素資料,其中第(n-2)行像素資料儲存在一第一行暫存器,第(n-1)行像素資料儲存在一第二行暫存器。
在步驟S702中,影像處理電路根據上半部影樣資料中對應該目標相素的複數個參考像素以及該目標像素計算 一平均像素值,如前述式一。接著影像處理電路利用目標像素的像素值與該等參考像素的像素值,計算一像素差異值,如前述式二。
在步驟S703中,影像處理電路根據求得的像素平均值與像素差異值計算一比例值DMR(delta-mean ratio),如前述式三。接著影像處理電路根據求得的比例值與一擴散係數函式值函式求得一擴散係數。
在步驟S704中,影像處理電路根據比例值DMR或該像素差異值判斷該目標像素是否為缺陷像素。若影像處理電路判斷該目標像素為缺陷像素,執行步驟S707。若影像處理電路判斷該目標像素不是缺陷像素,執行步驟S705。
在步驟S707中,影像處理電路讀取目標像素所在的第n行像素資料,第(n+1)行像素資料以及第(n+2)行像素資料要注意的是,如果該目標像素不是缺陷像素,則此時第n行像素資料是自步驟S706所述的第一行暫存器中取得。如果該目標像素是缺陷像素,則此時第n行像素資料為步驟701中所讀取到的資料。
在步驟S708中,影像處理電路根據下半部影樣資料中對應該目標相素的複數個參考像素以及該目標像素計算一平均像素值,如前述式一。接著影像處理電路利用目標像素的像素值與該等參考像素的像素值,計算一像素差異值,如前述式二。接著,影像處理電路根據求得的像素平均值與像素差異值計算一比例值DMR(delta-mean ratio),如前述式三。
在步驟S709中,影像處理電路根據該像素差異值 判斷該目標像素是否為缺陷像素。若影像處理電路判斷該目標像素為缺陷像素,且在步驟S709中判斷的缺陷像素類型與在步驟S704中判斷的缺陷像素類型相同時,則該目標像素的確是缺陷像素。影像處理電路接著執行步驟S710,以對該目標像素進行一缺陷像素補償程序。
如果步驟S709中,影像處理電路判斷該目標像素不是缺陷像素,則流程回到步驟S705中。在步驟S705中,影像處理電路根據求得的擴散係數與該等參考像素的像素值,對該目標像素進行擴散運算,以求得該目標像素修正後的像素值。接著,在步驟S706中,影像處理電路將根據上半部影像資料處理完的第n行像素資料存回第一行暫存器,接著執行步驟S707。
要注意的是,如果在步驟S704,影像處理電路判斷該目標像素為缺陷像素,而在步驟S709中影像處理電路判斷該目標像素不是缺陷像素,則在一實施例中,在步驟S706被執行完畢後可以直接執行步驟S711以及後續的步驟。
在步驟S711中,影像處理電路根據步驟S708中求得的比例值DMR以及與一擴散係數函式值函式求得一擴散係數。
在步驟S712中,影像處理電路根據求得的擴散係數與該等參考像素的像素值,對該目標像素進行擴散運算,以求得該目標像素修正後的像素值。
在步驟S713中,影像處理電路將根據下半部影像處理完的第n行像素資料存回第一行暫存器。
第8圖為根據本發明之一影像處理裝置的一實施例的示意圖。本實施例中的影像處理裝置可能為一影像處理模組內的電路,或是外接影像處理模組的電路。在本實施例中,單元的用字係為一通常技術用語,其可能由一電路所實現或是一控制器執行一軟體所實現。在另一實施例中,複數個單元可能由單一電路所實現。
影像處理裝置包括上部影像像素均值計算單元801、上部影像像素差異值計算單元802、DMR計算單元803、缺陷像素偵測單元804、擴散係數對照單元805、擴散運算單元806、多工器807、下部影像像素均值計算單元808、下部影像像素差異值計算單元809、DMR計算單元810、缺陷像素偵測單元811、擴散係數對照單元812、擴散運算單元813、缺陷像素偵測單元814以及多工器815。
從另一個角度來看,上部影像像素差異值計算單元802、DMR計算單元803、缺陷像素偵測單元804、擴散係數對照單元805以及擴散運算單元806可視為一上部影像處理裝置。而下部影像像素均值計算單元808、下部影像像素差異值計算單元809、DMR計算單元810、缺陷像素偵測單元811、擴散係數對照單元812、擴散運算單元813以及缺陷像素偵測單元814可視為一下部影像處理裝置。
關於上部影像處理裝置的動作以及處理的影像資料可參考第2A圖的影像資料,以及第6圖的步驟S601至S607。關於下部影像處理裝置的動作以及處理的影像資料可參考第2B圖的影像資料,以及第6圖的步驟S611至S617。
要注意的是,如果上部影像處理裝置並未偵測到該目標像素可能為一缺陷像素時,下部影像處理裝置處理的部分影像資料,如第2B圖的影像資料中的第一行暫存器21儲存的影像資料,是與上部影像處理裝置接收到的影像資料相同,如第2A圖的影像資料23。如果上部影像處理裝置並未偵測到該目標像素可能為一缺陷像素時,下部影像處理裝置處理的部分影像資料,如第2B圖的影像資料中的第一行暫存器21儲存的影像資料,是上部影像處理裝置的處理結果。
上部影像像素均值計算單元801接收對應一目標像素之一上部影像資料,並根據該目標像素以及據上半部影樣資料中對應該目標相素的複數個參考像素計算一第一平均像素值,如前述式一。上部影像像素差異值計算單元802根據目標像素的像素值與該等參考像素的像素值,計算一第一像素差異值,如前述式二。DMR計算單元803根據求得的像素平均值與像素差異值計算一第一比例值DMR(delta-mean ratio),如前述式三。
擴散係數對照單元805具有一擴散係數函式值函式,接收該第一比例值DMR以求得一擴散係數。擴散運算單元806根據求得的擴散係數與該等參考像素的像素值,對該目標像素進行擴散運算,以求得該目標像素修正後的像素值。
缺陷像素偵測單元804則根據第一像素差異值或第一比例值DMR判斷該目標像素是否為一缺陷像素,並將判斷結果傳送給多工器807。多工器807則根據判斷結果決定將擴散運算單元806的處理結果或是將目標像素傳送給擴散運算單元 813及缺陷像素補償單元814。
下部影像像素均值計算單元808接收對應一目標像素之一下部影像資料,並根據該目標像素以及據上半部影樣資料中對應該目標相素的複數個參考像素計算一第二平均像素值,如前述式一。下部影像像素差異值計算單元809根據目標像素的像素值與該等參考像素的像素值,計算一第二像素差異值,如前述式二。DMR計算單元810根據求得的像素平均值與像素差異值計算一第二比例值DMR(delta-mean ratio),如前述式三。
擴散係數對照單元812具有一擴散係數函式值函式,接收該第二比例值DMR以求得一擴散係數。在本實施例中,擴散係數對照單元805與擴散係數對照單元812具有相同的擴散係數函式值函式。在另一實施例中,擴散係數對照單元805與擴散係數對照單元812可合併為一擴散係數對照單元。
擴散運算單元813根據擴散係數對照單元812求得的擴散係數與該等參考像素的像素值,對該目標像素進行擴散運算,以求得該目標像素修正後的像素值。
缺陷像素偵測單元811則根據第二像素差異值或第二比例值DMR判斷該目標像素是否為一缺陷像素。缺陷像素偵測單元811更判斷其判斷結果是否與缺陷像素偵測單元804。如果缺陷像素偵測單元811與缺陷像素偵測單元804對該目標像素的缺陷像素類型判斷相同,則缺陷像素補償單元814對該目標像素進行缺陷像素補償程序。此外,缺陷像素偵測單元811輸出一選擇信號給多工器815,並使多工器815選擇輸出擴散運 算單元813的運算結果或是缺陷像素補償單元814的補償結果。
第9A與9B圖為根據本發明之一影像處理裝置的另一實施例的示意圖。與第8圖的影像處理裝置差異在於上部影像串擾消除單元916以及下部影像串擾消除單元917。在另一實施例中,上部影像串擾消除單元916以及下部影像串擾消除單元917可以合併為一影像串擾消除單元。
上部影像串擾消除單元916以及下部影像串擾消除單元917主要是要消除綠色像素Gb與Gr所產生的串擾結果。請一同參考第4圖的影像資料示意圖。像素差異值計算單元9161計算目標像素G4與參考像素Gi與Gj的一第三像素差異值。DMR計算單元根據上部影像像素均值計算單元901求得的第一平均像素值與像素差異值計算單元9161求得的第三像素差異值計算一第三比例值DMR。擴散係數對照單元9163具有一擴散係數函式值函式,接收該第三比例值DMR以求得一擴散係數,並將該擴散系數提供給擴散運算單元906,對該目標像素進行擴散運算,以求得該目標像素修正後的像素值。
像素差異值計算單元9171計算目標像素G4與參考像素Gm與Gn的一第四像素差異值。DMR計算單元根據下部影像像素均值計算單元908求得的第二平均像素值與像素差異值計算單元9171求得的第四像素差異值計算一第四比例值DMR。擴散係數對照單元9173具有一擴散係數函式值函式,接收該第四比例值DMR以求得一擴散係數,並將該擴散系數提供給擴散運算單元913,對該目標像素進行擴散運算,以求得該目標像 素修正後的像素值。
在本實施例中,擴散運算單元906根據擴散係數對照單元905與9163輸出的擴散係數,以及對應的參考像素,對該目標像素進行擴散運算,以求得該目標像素的像素值。擴散運算單元913根據擴散係數對照單元912與9173輸出的擴散係數,以及對應的參考像素,對該目標像素進行擴散運算,以求得該目標像素的像素值。至於本實施例的其他元件動作請參考第8圖之說明,在此不贅述。
惟以上所述者,僅為本發明之較佳實施例而已,當不能以此限定本發明實施之範圍,即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外,摘要部分和標題僅是用來輔助專利文件搜尋之用,並非用來限制本發明之權利範圍。
S601-S619‧‧‧步驟

Claims (15)

  1. 一種影像處理方法,包括:接收一上部影像資料;對一目標像素以及該上部影像資料中的複數個第一參考像素進行運算以求得該目標像素之複數個第一比例值;根據該等第一比例值與一擴散係數函式值函式求得複數個第一擴散係數;根據該目標像素、該等第一參考像素以及該等第一擴散係數以求得該目標像素的一第一像素值;接收一下部影像資料;對該目標像素以及該下部影像資料中的複數個第二參考像素進行運算以求得該目標像素之複數個第二比例值,其中此時的該目標像素的像素值為第一像素值;根據該等第二比例值與該擴散係數函式值函式求得複數個第二擴散係數;以及根據該目標像素、該等第二參考像素以及該等第二擴散係數以求得該目標像素的一第二像素值。
  2. 如申請專利範圍第1項所述的影像處理方法,其中該等第一比例值係根據下列步驟所產生:根據該目標像素與該等第一參考像素產生一第一像素平均值;根據該目標像素與該等第一參考像素產生複數個第一像素差異值;以及根據該第一像素平均值與該等第一像素差異值產生該等第 一比例值。
  3. 如申請專利範圍第1項所述的影像處理方法,其中該等第二比例值係根據下列步驟所產生:根據該目標像素與該等第二參考像素產生一第二像素平均值;根據該目標像素與該等第二參考像素產生複數個第二像素差異值;以及根據該第二像素平均值與該等第二像素差異值產生該等第二比例值。
  4. 如申請專利範圍第1項所述的影像處理方法,更包括:根據該等第一比例值或/且該等第二比例值判斷該目標像素是否為一缺陷像素。
  5. 如申請專利範圍第4項所述的影像處理方法,其中當該目標像素為缺陷像素時,對該目標像素進行一缺陷像素補償程序。
  6. 如申請專利範圍第1項所述的影像處理方法,其中當該目標像素為綠色像素時,對該目標像素進行一影像串擾消除程序。
  7. 一種影像處理方法,包括:讀取一目標像素所在的一第n行像素資料,一第(n-1)行像素資料以及一第(n-2)行像素資料;根據該目標像素與複數個第一參考像素計算該目標像素的一第一校正後資料值以及判斷該目標像素是否可能為一缺陷像素; 當目標像素可能為缺陷像素時,讀取該目標像素所在的該第n行像素資料,一第(n+1)行像素資料以及一第(n+2)行像素資料;根據該第n行像素資料,該第(n+1)行像素資料以及該第(n+2)行像素資料判斷該目標像素是否可能為缺陷像素;根據位於該第n行像素資料,該第(n-1)行像素資料以及該第(n-2)行像素資料的該等第一參考像素所產生的一第一像素平均值以及根據該目標像素與該等第一參考像素所產生的複數個第一像素差異值產生複數個第一比例值;根據位於該第n行像素資料,該第(n+1)行像素資料以及該第(n+2)行像素資料的複數個第二參考像素所產生的一第二像素平均值以及根據該目標像素與該等第二參考像素所產生的複數個第二像素差異值產生複數個第二比例值;判斷該等第一比例值之絕對值及該等第二比例值之絕對值是否同時大於一缺陷臨界值;判斷該等第一比例值的正負;判斷該等第二比例值的正負;當該等第一比例值之該等絕對值及該等第二比例值之該等絕對值同時大於該缺陷臨界值且該等第一比例值及該等第二比例值同為正或同為負時,確定該目標像素為缺陷像素;以及當該目標像素確定為缺陷像素時,對該目標像素進行一缺陷像素補償程序。
  8. 如申請專利範圍第7項所述的影像處理方法,其中當該目標 像素確定不是缺陷像素時,根據該目標像素、該第n行像素資料,該第(n+1)行像素資料以及該第(n+2)行像素資料計算該目標像素的一第二校正後資料值,其中此時第n行像素資料中的該目標像素的像素值為該第一校正後資料值。
  9. 如申請專利範圍第7項所述的影像處理方法,其中更包括:根據位於該第n行像素資料,該第(n-1)行像素資料以及該第(n-2)行像素資料的該等第一參考像素產生該第一像素平均值;根據該目標像素與該等第一參考像素產生該等第一像素差異值;根據該第一像素平均值與該等第一像素差異值產生該等第一比例值;根據該等第一比例值與一擴散係數函式值函式求得複數個第一擴散係數;以及根據該目標像素、該等第一參考像素以及該等第一擴散係數以求得該第一校正後資料值。
  10. 如申請專利範圍第7項所述的影像處理方法,其中更包括:根據位於該第n行像素資料,該第(n+1)行像素資料以及該第(n+2)行像素資料的該等第二參考像素產生該第二像素平均值,其中此時第n行像素資料中的該目標像素的像素值為該第一校正後資料值;根據該目標像素與該等第二參考像素產生該等第二像素差異值;根據該第二像素平均值與該等第二像素差異值產生該等第 二比例值;根據該等第二比例值與一擴散係數函式值函式求得複數個第二擴散係數;以及根據該目標像素、該等第二參考像素以及該等第二擴散係數以求得該第二校正後資料值。
  11. 一種影像處理裝置,包括:一上部影像處理裝置,接收一上部影像資料以針對一目標像素進行影像處理以產生該目標像素的一第一像素值,其中位於該上部影像資料中的該目標像素的像素值為一初始像素值;以及一下部影像處理裝置,接收一下部影像資料以針對該目標像素進行影像處理以產生該目標像素的一第二像素值,其中若該上部影像處理裝置判斷該目標像素不是一可能的缺陷像素時,位於該下部影像資料的該目標像素的像素值為該第一像素值;若該上部影像處理裝置判斷該目標像素為可能的缺陷像素時,該下部影像處理裝置先接收該下部影像資料並根據該下部影像資料確認該目標像素是否為缺陷像素,其中該下部影像資料中的該目標像素的像素值為該初始像素值。
  12. 如申請專利範圍第11項所述的影像處理裝置,其中該上部影像處理裝置更包括一串擾消除單元,且當該目標像素為綠色素時,該串擾消除單元根據該上部影像資料中的複數個綠色參考像素進行一串擾消除程序。
  13. 如申請專利範圍第11項所述的影像處理裝置,其中該下部影像處理裝置更包括一串擾消除單元,且當該目標像素為綠色素時,該串擾消除單元根據該下部影像資料中的複數個綠色參考像素進行一串擾消除程序。
  14. 如申請專利範圍第11項所述的影像處理裝置,其中該上部影像處理裝置執行下列步驟以得到該第一像素值:對該目標像素以及該上部影像資料中的複數個第一參考像素進行運算以求得該目標像素之複數個第一比例值;根據該等第一比例值與一擴散係數函式值函式求得複數個第一擴散係數;根據該目標像素、該等第一參考像素以及該等第一擴散係數以求得該目標像素的該第一像素值。
  15. 如申請專利範圍第11項所述的影像處理裝置,其中該下部影像處理裝置執行下列步驟以得到該第二像素值:對該目標像素以及該下部影像資料中的複數個第二參考像素進行運算以求得該目標像素之複數個第二比例值,其中此時的該目標像素的像素值為第一像素值;根據該等第二比例值與一擴散係數函式值函式求得複數個第二擴散係數;以及根據該目標像素、該等第二參考像素以及該等第二擴散係數以求得該目標像素的該第二像素值。
TW104138201A 2015-11-19 2015-11-19 影像處理方法與裝置 TWI558211B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104138201A TWI558211B (zh) 2015-11-19 2015-11-19 影像處理方法與裝置
CN201610387585.6A CN106791503B (zh) 2015-11-19 2016-06-02 图像处理方法
US15/258,307 US10319077B2 (en) 2015-11-19 2016-09-07 Image processing method for defect pixel detection, crosstalk cancellation, and noise reduction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104138201A TWI558211B (zh) 2015-11-19 2015-11-19 影像處理方法與裝置

Publications (2)

Publication Number Publication Date
TWI558211B true TWI558211B (zh) 2016-11-11
TW201720133A TW201720133A (zh) 2017-06-01

Family

ID=57851610

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104138201A TWI558211B (zh) 2015-11-19 2015-11-19 影像處理方法與裝置

Country Status (3)

Country Link
US (1) US10319077B2 (zh)
CN (1) CN106791503B (zh)
TW (1) TWI558211B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055309A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055308A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
TWI558211B (zh) * 2015-11-19 2016-11-11 晶相光電股份有限公司 影像處理方法與裝置
US11448503B2 (en) * 2019-06-12 2022-09-20 Microsoft Technology Licensing, Llc Correction for pixel-to-pixel signal diffusion
TWI753410B (zh) 2020-04-24 2022-01-21 晶相光電股份有限公司 影像感測系統以及缺陷感光元件偵測以及修正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030107769A1 (en) * 2001-12-06 2003-06-12 Samsung Electronics Co., Ltd. Error diffusion processing method
TW200721801A (en) * 2005-11-30 2007-06-01 Sony Taiwan Ltd Low cost dynamic defect correction method and device
WO2011083606A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 表示装置、及び表示装置の駆動方法
WO2013142176A2 (en) * 2012-03-20 2013-09-26 Paul Reed Smith Guitars Limited Partnership Scoring and adjusting pixels based on neighborhood relationships for revealing data in images
TW201524186A (zh) * 2013-12-03 2015-06-16 Himax Imaging Ltd 圖像處理方法以及圖像處理裝置
TW201536053A (zh) * 2014-03-12 2015-09-16 Realtek Semiconductor Corp 像素值校正裝置與方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3943981B2 (ja) * 2002-04-10 2007-07-11 キヤノン株式会社 画像処理装置及び方法
KR100547159B1 (ko) * 2003-12-02 2006-01-26 삼성전자주식회사 Cmykrgbw 큐빅 공간에서의 면적비를 이용한오차확산 방법 및 장치
TWI324011B (en) * 2006-09-12 2010-04-21 Nuvoton Technology Corp Method for compensating pixel of image
US8259198B2 (en) * 2009-10-20 2012-09-04 Apple Inc. System and method for detecting and correcting defective pixels in an image sensor
US8606042B2 (en) * 2010-02-26 2013-12-10 Adobe Systems Incorporated Blending of exposure-bracketed images using weight distribution functions
JP5641822B2 (ja) * 2010-08-25 2014-12-17 キヤノン株式会社 画像処理装置およびその方法
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
JP2013165476A (ja) * 2011-11-11 2013-08-22 Mitsubishi Electric Corp 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体
JP5529928B2 (ja) * 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
JP2014022801A (ja) * 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
JP2014045398A (ja) * 2012-08-28 2014-03-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6099536B2 (ja) * 2013-09-27 2017-03-22 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6270400B2 (ja) * 2013-10-09 2018-01-31 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9600700B1 (en) * 2015-08-31 2017-03-21 Pixart Imaging Inc. Portable electronic device and operation method thereof
TWI558211B (zh) * 2015-11-19 2016-11-11 晶相光電股份有限公司 影像處理方法與裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030107769A1 (en) * 2001-12-06 2003-06-12 Samsung Electronics Co., Ltd. Error diffusion processing method
TW200721801A (en) * 2005-11-30 2007-06-01 Sony Taiwan Ltd Low cost dynamic defect correction method and device
WO2011083606A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 表示装置、及び表示装置の駆動方法
WO2013142176A2 (en) * 2012-03-20 2013-09-26 Paul Reed Smith Guitars Limited Partnership Scoring and adjusting pixels based on neighborhood relationships for revealing data in images
TW201524186A (zh) * 2013-12-03 2015-06-16 Himax Imaging Ltd 圖像處理方法以及圖像處理裝置
TW201536053A (zh) * 2014-03-12 2015-09-16 Realtek Semiconductor Corp 像素值校正裝置與方法

Also Published As

Publication number Publication date
CN106791503B (zh) 2020-01-03
CN106791503A (zh) 2017-05-31
US20170148141A1 (en) 2017-05-25
TW201720133A (zh) 2017-06-01
US10319077B2 (en) 2019-06-11

Similar Documents

Publication Publication Date Title
TWI558211B (zh) 影像處理方法與裝置
EP2261853B1 (en) Image processing apparatus, medium, and method
JP4554316B2 (ja) ステレオ画像処理装置
US8989346B2 (en) Bone mineral density analysis method, bone mineral density analysis apparatus, and recording medium
CN107615050A (zh) 检测装置及检测方法
JP6757690B2 (ja) 検査支援装置、検査支援方法及びプログラム
CN103297718A (zh) 缺陷像素校正设备及其控制方法和执行该方法的程序
JP5561112B2 (ja) 画像処理装置、撮像装置およびプログラム
US20160198066A1 (en) Image calibration method and device
TWI857303B (zh) 檢查支援裝置、檢查支援系統、檢查支援方法及記錄媒體
JP2021122106A (ja) 撮像装置、学習装置、撮像装置の制御方法、学習方法、学習済みモデルおよびプログラム
US7961976B2 (en) Image data restoration apparatus, imaging apparatus, image data restoration method and computer readable medium storing image data restoration program
CN117372299A (zh) 一种场景自适应红外图像非均匀校正方法及装置
CN111684376B (zh) 序列数据分析装置、序列数据分析方法以及计算机能读取的记录介质
CN113556489A (zh) 影像感测系统以及缺陷感光元件侦测以及修正方法
WO2007074605A1 (ja) 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
WO2008068889A1 (ja) 画像の色を補正する画像処理装置、および画像処理プログラム
CN117291992A (zh) 前分式服务平台智能制造工业物联网及控制方法
CN112052727B (zh) 一种基于大数据的人像识别分析系统及方法
CN105432073B (zh) 摄像装置
JP6701025B2 (ja) データ処理装置、データ処理方法、プログラム
JP7163824B2 (ja) サーバ装置、評価方法及び評価プログラム
KR101793091B1 (ko) 불량화소의 검출방법 및 검출장치
CN101241015B (zh) 温度漂移的补正方法及其系统
KR102198748B1 (ko) 후천적 불량 픽셀의 검출을 위한 열상 카메라의 소프트 불량 픽셀 검출 방법