[go: up one dir, main page]

TWI753410B - 影像感測系統以及缺陷感光元件偵測以及修正方法 - Google Patents

影像感測系統以及缺陷感光元件偵測以及修正方法 Download PDF

Info

Publication number
TWI753410B
TWI753410B TW109113746A TW109113746A TWI753410B TW I753410 B TWI753410 B TW I753410B TW 109113746 A TW109113746 A TW 109113746A TW 109113746 A TW109113746 A TW 109113746A TW I753410 B TWI753410 B TW I753410B
Authority
TW
Taiwan
Prior art keywords
pixel
defective
frame
candidate
defective pixel
Prior art date
Application number
TW109113746A
Other languages
English (en)
Other versions
TW202141967A (zh
Inventor
林俊宏
Original Assignee
晶相光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晶相光電股份有限公司 filed Critical 晶相光電股份有限公司
Priority to TW109113746A priority Critical patent/TWI753410B/zh
Priority to CN202010518273.0A priority patent/CN113556489B/zh
Priority to US17/132,351 priority patent/US11503236B2/en
Publication of TW202141967A publication Critical patent/TW202141967A/zh
Application granted granted Critical
Publication of TWI753410B publication Critical patent/TWI753410B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

高效進行缺陷感光元件偵測以及修正的影像感測系統。運算單元自影像感測器感測的一第一幀得出一缺陷像素候選，並根據該第一幀對該缺陷像素候選進行下半部比對，再根據影像感測器感測的一第二幀，對該缺陷像素候選進行上半部比對，以結合該第一幀與該第二幀判斷該缺陷像素候選是否確實有缺陷。該運算單元將該第一幀中，該缺陷像素候選所在行的複數個像素數據緩存於一缺陷緩存器，供該缺陷像素候選的下半部比對使用。該運算單元將該第二幀中，該缺陷像素候選一上方行的複數個像素數據緩存於該缺陷緩存器，供該缺陷像素候選的上半部比對使用。

Description

影像感測系統以及缺陷感光元件偵測以及修正方法
本案係有關於影像感測器之缺陷感光元件的偵測以及修正。
影像感測器(例如，CMOS影像感測器)可能有感光元件在出廠時就帶有缺陷(defect)，對光的反應程度與周圍感光元件有明顯差異。甚至，某些感光元件可能只固定輸出亮階、或暗階。以上缺陷也有可能是在出廠後，外在環境所致。例如，某些感光元件可能是因為老化而產生缺陷。感光元件缺陷會對影像整體畫質造成影響。
藉由複數個像素之間的比對，感光元件之缺陷可被偵測出，再基於周邊像素的感光結果進行修正。傳統技術通常是特別規劃行緩存器(line buffer)逐行暫存像素數據，以提供缺陷像素偵測與修正所需的大量周邊像素數據。甚至，某些技術會用到複數條行緩存器，成本相當可觀。
本案提出一種低成本的缺陷感光元件偵測與修正技術，其中不使用大尺寸的行緩存器(line buffer)。緩存器需求以及耗電量都明顯下降。
根據本案一種實施方式所實現的一影像系統包括一運算單元以及耦接該運算單元的一缺陷緩存器。該運算單元自一影像感測器感測的一第一幀得出一缺陷像素候選，並根據該第一幀對該缺陷像素候選進行下半部比對，再根據該影像感測器感測的一第二幀，對該缺陷像素候選進行上半部比對，以結合該第一幀與該第二幀判斷該缺陷像素候選是否確實有缺陷。該運算單元將該第一幀中，該缺陷像素候選所在行的複數個像素數據緩存於該缺陷緩存器，供該缺陷像素候選的下半部比對使用。該運算單元將該第二幀中，該缺陷像素候選一上方行的複數個像素數據緩存於該缺陷緩存器，供該缺陷像素候選的上半部比對使用。
一種實施方式中，該運算單元更為該缺陷像素候選在該缺陷緩存器緩存：一缺陷標誌，標示該缺陷像素候選為亮點或暗點；一缺陷位置，記錄該缺陷像素候選的位置；以及複數個像素數據，記錄該第一幀中，該缺陷像素候選所在行的該等像素數據，或由該第二幀中，該缺陷像素候選該上方行的該等像素數據覆蓋。
一種實施方式中，處理該第一幀時，該運算單元根據一目標像素所在行的複數個相鄰像素，判斷該目標像素是否為上述缺陷像素候選，若是，該運算單元將該目標像素以及該等相鄰像素之像素數據存入該缺陷緩存器，供該缺陷像素候選的下半部比對使用。
一種實施方式中，處理該第一幀時，該運算單元檢查該缺陷緩存器，判斷一目標像素是否位於該缺陷像素候選的下方，若是，該運算單元自該缺陷緩存器，取得該第一幀中、該缺陷像素候選所在行的該等像素數據，結合該目標像素所在行的複數個像素數據，進行該缺陷像素候選的下半部比對。
一種實施方式中，處理該第二幀時，該運算單元檢查該缺陷緩存器，判斷一目標像素是否位於該缺陷像素候選的上方，若是，該運算單元將該目標像素所在行的複數個像素存入該缺陷緩存器，覆蓋該第一幀中、該缺陷像素候選所在行的該等像素數據，供該缺陷像素候選的上半部比對使用。
一種實施方式中，處理該第二幀時，該運算單元檢查該缺陷緩存器，判斷一目標像素是否為該缺陷像素候選，若是，該運算單元自該缺陷緩存器，取得該第二幀中、該缺陷像素候選該上方行的該等像素數據，結合該目標像素所在行的複數個像素數據，進行該缺陷像素候選的上半部比對。
一種實施方式中，經該缺陷像素候選的上半部比對判定該缺陷像素候選有缺陷時，該運算單元自該缺陷緩存器，取得該第二幀中、該缺陷像素候選該上方行的該等像素數據，結合該目標像素所在行的複數個相鄰像素的像素數據，根據該缺陷像素候選的一缺陷標誌進行缺陷像素修正。
一種實施方式中，該第一幀之前，該缺陷緩存器已針對一缺陷像素進行緩存。處理該第一幀時，該運算單元檢查該缺陷緩存器，在處理到該缺陷像素的一上方像素時，將該上方像素所在行的複數個像素數據存入該缺陷緩存器。該運算單元處理到該第一幀的該缺陷像素時，自該缺陷緩存器取得該上方像素所在行的該等像素數據，結合該缺陷像素所在行的複數個像素數據，根據該缺陷像素的一缺陷標誌進行缺陷像素修正。
一種實施方式中，影像感測系統更包括：一缺陷像素偵測與修正電路，包括該運算單元以及該缺陷緩存器；以及耦接該缺陷像素偵測與修正電路的一影像處理器，設定該影像感測器的曝光時間後，再設定該影像感測器的曝光增益。該缺陷像素偵測與修正電路以該運算單元處理的該第一幀以及第二幀，係在該影像感測器設定下，是以相同曝光時間以及相同曝光增益自該影像感測器取得。
一種實施方式中，影像感測系統更包括該影像感測器，耦接該缺陷像素偵測與修正電路後再耦接該影像處理器。
前述影像感測系統更可用於實現缺陷感光元件偵測以及修正方法。
下文特舉實施例，並配合所附圖示，詳細說明本發明內容。
以下敘述列舉本發明的多種實施例。以下敘述介紹本發明的基本概念，且並非意圖限制本發明內容。實際發明範圍應依照申請專利範圍界定之。
第1圖為根據本案一種實施方式實現的一影像感測系統100，例如，照相機、或攝影機。影像感測系統100包括一影像感測器102(如CMOS image sensor)、一缺陷像素偵測與修正電路104、以及一影像處理器106。缺陷像素偵測與修正電路104耦接在影像感測器102、以及影像處理器106之間，包括一運算單元108以及一缺陷緩存器110。運算單元110可包括邏輯運算硬件、以及載有硬件操作程式碼的記憶體。運算單元110自影像感測器102傳來的像素數據偵測出缺陷感光元件並修正之，提供無缺陷的像素數據給影像處理器106。缺陷緩存器110即用來應付運算單元108進行運算的數據暫存需求。特別是，缺陷緩存器110無須儲存正常像素之像素數據，尺寸遠小於逐行緩存像素數據的行緩存器(line buffers)。以下詳述運算單元108以及缺陷緩存器110之設計。
運算單元108包括結合前後兩幀(frames)偵測缺陷感光元件的功能方塊112、114以及116，更包括用於修正缺陷像素的功能方塊118。根據第一幀，功能方塊112判斷出缺陷像素候選，而功能方塊114對缺陷像素候選進行下半部比對(視為初步覆核)。根據第二幀，功能方塊116對缺陷像素候選進行上半部比對(視為再次覆核)。由於正常像素並不需要留存做覆核，缺陷緩存器110尺寸可以遠小於傳統技術使用的行緩存器。另外，缺陷緩存器110的內容也相當足夠該功能方塊118進行缺陷像素修正，更顯出行緩存器無必要。以下詳細討論各功能方塊的技術。
第2圖對應功能方塊112，當下處理行係第一幀像素G6所在。功能方塊112以像素G6為目標像素，判斷其是否為缺陷像素候選。若目標像素G6與同行相鄰像素(例如，像素G5以及G7)皆有明顯的差異(例如，以一數據差閥值進行判斷，又或者，在考量更多相鄰像素的例子中，以外差方式進行判斷)，則令目標像素G6為缺陷像素候選。目標像素G6之像素數據若遠大於同行相鄰像素，則為亮點候選。目標像素G6之像素數據若遠低於同行相鄰像素，則為暗點候選。運算單元108可為該缺陷像素候選G6在該缺陷緩存器110緩存資料，包括：缺陷標誌202(如，亮/暗點標誌)、缺陷位置204(如，缺陷像素候選G6位置)、以及像素數據206(如，第一幀之像素數據G5、G6以及G7)。
第3圖對應功能方塊114，當下處理行係第一幀像素G11(此時的目標像素)所在。運算單元112根據缺陷緩存器110所載的缺陷像素候選位置(G6位置)得知需更參考同一幀中、缺陷像素候選G6下方的像素數據G10、G11以及G12，以操作功能方塊114實現缺陷像素候選G6的下半部比對。若同缺陷緩存器110所載的像素數據G5以及G7，像素數據G10、G11以及G12一樣對比出像素G6為亮/暗點，則運算單元108不變動缺陷緩存器110內容。倘若像素數據G10、G11以及G12推翻像素G6先前的亮/暗點判斷，運算單元108可清空缺陷緩存器110中關於缺陷像素候選G6的內容。
第4圖對應功能方塊116的前置工作，當下處理行係第二幀像素G1(此時的目標像素)所在。運算單元112根據缺陷緩存器110所載的缺陷像素候選位置(G6位置)得知需留存第二幀中、缺陷像素候選G6上方的像素數據G0、G1以及G2，供功能方塊116對該缺陷像素候選G6進行上半部比對。運算單元108可將第二幀的像素數據G0、G1以及G2存入該缺陷緩存器110，覆蓋過第一幀的像素數據G5、G6以及G7。
第5圖對應功能方塊116的比對功能，當下處理行係第二幀像素G6(此時的目標像素)所在。運算單元112根據缺陷緩存器110所載的缺陷像素候選位置(G6位置)得知需更參考第二幀中、缺陷像素候選G6上方的像素數據G0、G1以及G2，以操作功能方塊116對缺陷像素候選G6進行上半部比對。運算單元112係自缺陷緩存器110取得第二幀像素數據G0、G1以及G2，與當下處理行的像素數據G5、G7一同對目標像素G6進行比對。若比對結果再次覆核缺陷像素候選G6為亮/暗點，則運算單元108不變動缺陷緩存器110內容。倘若第二幀像素數據G0、G1、G2、G5、G6以及G7實現的上半部比對顯示目標像素G6沒有缺陷，推翻先前的評估，運算單元108可清空缺陷緩存器110中關於缺陷像素候選G6的內容。
於第二幀確定為缺陷的像素G6即可由功能方塊118進行補償。例如，現有的像素數據包括缺陷緩存器110所儲存的第二幀像素數據G0、G1以及G2以及當下處理行的像素數據G5、G7，將之相加取平均即可作為第二幀修正後的像素數據G6傳輸至影像處理器106。或者，功能方塊118可在像素G6為亮點時，以第二幀像素數據G0、G1、G2、G5以及G7中的最大像素數據作為像素數據G6，並在像素G6為暗點時，以第二幀像素數據G0、G1、G2、G5以及G7中的最低像素數據作為像素數據G6。
整理之，第一幀偵測到的缺陷像素候選會在第一幀作下半部比對，進行初步覆核後，再基於第二幀作上半部比對，進行再次覆核。再次覆核確定為缺陷的像素數據即可修正。
至於在早前偵測中已確認為缺陷的感光像素，第6A圖以及第6B圖舉例說明其修正方法。此例在第一幀之前，該缺陷緩存器110已針對一缺陷像素G16進行緩存。
參閱第6A圖，處理該第一幀時，該運算單元108檢查該缺陷緩存器110，在處理到該缺陷像素G16的一上方像素G11時，將該上方像素G11所在行的複數個像素數據G10、G11以及G12存入該缺陷緩存器110，對應缺陷位置為像素G16的欄位。
參閱第6B圖，該運算單元108稍後處理到該第一幀的該缺陷像素G16時，係自該缺陷緩存器110取得該上方像素G11所在行的該等像素數據G10、G11以及G12，結合該缺陷像素G16所在行的複數個像素數據G15以及G17，根據該缺陷像素G16的缺陷標誌(可取自缺陷緩存器110，為針對缺陷像素G16所緩存的資料)進行缺陷像素G16修正。
一種實施方式中，缺陷像素偵測與修正電路104有能力處理M個缺陷像素，則缺陷緩存器110尺寸可為((N+1)×P + Q + 1)×M位元。N為與缺陷像素同行，相鄰作參考的像素數目。P為每個像素數據的位元數。Q為缺陷位置的位元數。1則規劃來標示亮/暗點。相較於行緩存器，尺寸((N+1)×P + Q + 1)×M有限，相當節省空間。
以下以流程圖討論本案技術。
第7圖為流程圖，對應功能方塊112，根據第一幀判斷出缺陷像素候選。圖示流程以第一幀中一行為例。步驟S702基於同行相鄰像素評估一目標像素；如第2圖，根據第一幀像素數據G5以及G7評估像素數據G6。若判斷該目標像素為缺陷像素候選，流程進行步驟S704，以缺陷緩存器110儲存缺陷標誌(亮/暗點)、缺陷位置(G6位置)，且更儲存缺陷像素候選(G6)以及同行相鄰像素(G5、G7)之像素數據供稍後初步覆核使用。接著，步驟S706判斷判斷是否達此行最末像素。若是，則該行的像素數據評估結束。若該行未完成評估，則流程進行步驟S708以該行另一像素為目標像素(如，G7)，回到步驟S702評估新的目標像素(G7)是否也是缺陷像素候選。此外，若步驟S702認為目標像素正常，則流程跳過步驟S704，不填寫該缺陷緩存器110即進行步驟S706之判斷。
第8圖為流程圖，對應功能方塊114，在第一幀對缺陷像素候選進行下半部比對。圖示流程以第一幀中一行為例。步驟S802判斷一目標像素是否為某一缺陷像素候選的下方像素；如第3圖，根據缺陷緩存器110(載有缺陷像素候選G6)，得知此時的目標像素G11位於缺陷像素候選G6下方。若是，流程進行步驟S804，為該缺陷像素候選(G6)進行下半部比對，初步覆核該缺陷像素候選(G6)。除了當前處理行的像素數據(G10、G11、G12)，初步覆核還需要缺陷像素候選(G6)該行的像素數據，即可自缺陷緩存器110取得。若比對結果推翻缺陷像素候選，流程進行步驟S806，將該缺陷像素候選(G6)的相關資料自該缺陷候選記憶體110清除。步驟S808判斷是否達此行最末像素。若是，第8圖流程結束。反之，流程進行步驟S810以該行另一像素為目標像素(如，G12)，回到步驟S802檢查新一個目標像素(G12)是否為某一缺陷像素候選的下方像素。此外，步驟S802或步驟S804所作的判斷如果不成立，所述程序不改動缺陷緩存器110內容，直接進行步驟S808。
第9圖為流程圖，對應功能方塊116的前置工作，以第二幀像素數據更新缺陷緩存器110內容。圖示流程以第二幀中一行為例。步驟S902判斷目標像素是否為某一缺陷像素候選的上方像素；如第4圖，根據缺陷緩存器110(載有缺陷像素候選G6)，得知此時的目標像素G1位於缺陷像素候選G6上方。若是，流程進行步驟S904，以此上方像素(G1)以及其相鄰像素的像素數據(G0、G1、G2)更新該缺陷緩存器110，覆蓋對應該缺陷像素候選(G6)儲存在該缺陷緩存器110的像素數據(第一幀之G5、G6以及G7)。步驟S906判斷是否達此行最末像素。若是，流程結束。反之，流程進行步驟S908取該行另一像素為目標像素(如，G2)，回到步驟S902檢查新一個目標像素(G2)是否為某一缺陷像素候選的上方像素。此外，步驟S902所作的判斷如果不成立，所述程序不改動缺陷緩存器110內容，直接進行步驟S906。
第10圖為流程圖，對應功能方塊116的比對功能，在第二幀對缺陷像素候選進行下半部比對。圖示流程以第二幀的一行為例。步驟S1002判斷目標像素是否為缺陷緩存器110所載的缺陷像素候選；如第5圖，根據缺陷緩存器110(載有缺陷像素候選G6)，得知此時的目標像素G6就是缺陷像素候選。若是，流程進行步驟S1004，為該缺陷像素候選(G6)進行上半部比對，再次覆核該缺陷像素候選。除了缺陷像素候選(G6)所在、當前處理行的像素數據(G5、G6、G7)，缺陷像素候選(G6)的上半部比對還需要其上方行的像素數據(G0、G1以及G2)，即可自缺陷緩存器110取得。若比對結果還是認定缺陷像素候選(G6)有缺陷，流程進行步驟S1006，進行缺陷像素修正。例如，以取自缺陷緩存器110之像素數據G0、G1以及G2、與當下處理行的像素數據G5以及G7更新缺陷像素G6的像素數據。步驟S1008判斷是否達此行最末像素。若是，則流程結束。反之，流程進行步驟S1010取該行另一像素為目標像素(如，G7)，回到步驟S1002檢查新一個目標像素(G7)是否為某一缺陷像素候選。此外，步驟S1002或步驟S1004所作的判斷如果不成立，所述程序不進行缺陷像素修正，直接進行步驟S1008。
一種實施方式中，第9圖以及第10圖的流程，也會實現已在早前幀確定的缺陷像素之修正(對應第6A圖以及第6B圖)。
由於一缺陷像素需要兩幀才能確定，一種實施方式特別令兩幀的曝光時間與曝光補償增益相同。
第11圖為時序圖。影像處理器106是在第(n-1)幀設定曝光時間，再據以於第n幀設定曝光補償增益，又在第(n+1)幀設定曝光時間，再據以於第(n+2)幀設定曝光補償增益。由於曝光補償增益可立即反應在缺陷像素偵測與修正電路104所接收的像素數據上，故第(n+2)幀重設曝光補償增益之前，第n幀以及第(n+1)幀的曝光設定(包括曝光時間以及曝光補償增益)相同。由於缺陷像素需要兩幀才能判定，兩幀的曝光設定必須相同。因此，圖示第n幀可為前述第一幀，用於找出缺陷像素候選、並進行該缺陷像素候選的下半部比對，而第(n+1)幀可為前述第二幀，進行該缺陷像素候選的上半部比對。
一種實施方式中，第n幀是根據第(n-1)幀時已判定的缺陷像素進行修正。第(n+1)幀則更對當下才判定的缺陷像素進行修正。
前述缺陷像素偵測與修正技術可以多種硬件架構實施。基於以上技術發展出的缺陷像素偵測與修正方法都屬於本案範圍。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像感測系統 102:影像感測器 104:缺陷像素偵測與修正電路 106:影像處理器 108:運算單元 110:缺陷緩存器; 112、114、116、118:功能方塊 202:缺陷標誌 (如，亮/暗點標誌) 204:缺陷位置(如，G6位置) 206:像素數據(如，第一幀之像素數據G5、G6以及G7、或第二幀之像素數據G0、G1以及G2) S702~S708、S802…S810、S902…S908、S1002…S1010:步驟
第1圖為根據本案一種實施方式實現的一影像感測系統100； 第2圖對應功能方塊112，當下處理行係第一幀像素G6所在； 第3圖對應功能方塊114，當下處理行係第一幀像素G11(此時的目標像素)所在； 第4圖對應功能方塊116的前置工作，當下處理行係第二幀像素G1(此時的目標像素)所在； 第5圖對應功能方塊116，當下處理行係第二幀像素G6(此時的目標像素)所在； 第6A圖以及第6B圖對早前偵測中已確認為缺陷的感光像素舉例說明修正方法； 第7圖為流程圖，對應功能方塊112，根據第一幀判斷出缺陷像素候選； 第8圖為流程圖，對應功能方塊114，在第一幀對缺陷像素候選進行下半部比對； 第9圖為流程圖，對應功能方塊116的前置工作，以第二幀像素數據更新缺陷緩存器110內容； 第10圖為流程圖，對應功能方塊116的比對功能，在第二幀對缺陷像素候選進行下半部比對；且 第11圖為時序圖。
100:影像感測系統
102:影像感測器
104:缺陷像素偵測與修正電路
106:影像處理器
108:運算單元
110:缺陷緩存器
112、114、116、118:功能方塊

Claims (19)

  1. 一種影像感測系統，包括： 一運算單元，自一影像感測器感測的一第一幀得出一缺陷像素候選，並根據該第一幀對該缺陷像素候選進行下半部比對，再根據該影像感測器感測的一第二幀，對該缺陷像素候選進行上半部比對，以結合該第一幀與該第二幀判斷該缺陷像素候選是否確實有缺陷；以及 一缺陷緩存器，耦接該運算單元， 其中： 該運算單元將該第一幀中，該缺陷像素候選所在行的複數個像素數據緩存於該缺陷緩存器，供該缺陷像素候選的下半部比對使用；且 該運算單元將該第二幀中，該缺陷像素候選一上方行的複數個像素數據緩存於該缺陷緩存器，供該缺陷像素候選的上半部比對使用。
  2. 如請求項1之影像感測系統，其中該運算單元更為該缺陷像素候選在該缺陷緩存器緩存： 一缺陷標誌，標示該缺陷像素候選為亮點或暗點； 一缺陷位置，記錄該缺陷像素候選的位置；以及 複數個像素數據，記錄該第一幀中，該缺陷像素候選所在行的該等像素數據，或由該第二幀中，該缺陷像素候選該上方行的該等像素數據覆蓋。
  3. 如請求項1之影像感測系統，其中： 處理該第一幀時，該運算單元根據一目標像素所在行的複數個相鄰像素，判斷該目標像素是否為上述缺陷像素候選，若是，該運算單元將該目標像素以及該等相鄰像素之像素數據存入該缺陷緩存器，供該缺陷像素候選的下半部比對使用。
  4. 如請求項1之影像感測系統，其中： 處理該第一幀時，該運算單元檢查該缺陷緩存器，判斷一目標像素是否位於該缺陷像素候選的下方，若是，該運算單元自該缺陷緩存器，取得該第一幀中、該缺陷像素候選所在行的該等像素數據，結合該目標像素所在行的複數個像素數據，進行該缺陷像素候選的下半部比對。
  5. 如請求項1之影像感測系統，其中： 處理該第二幀時，該運算單元檢查該缺陷緩存器，判斷一目標像素是否位於該缺陷像素候選的上方，若是，該運算單元將該目標像素所在行的複數個像素存入該缺陷緩存器，覆蓋該第一幀中、該缺陷像素候選所在行的該等像素數據，供該缺陷像素候選的上半部比對使用。
  6. 如請求項1之影像感測系統，其中： 處理該第二幀時，該運算單元檢查該缺陷緩存器，判斷一目標像素是否為該缺陷像素候選，若是，該運算單元自該缺陷緩存器，取得該第二幀中、該缺陷像素候選該上方行的該等像素數據，結合該目標像素所在行的複數個像素數據，進行該缺陷像素候選的上半部比對。
  7. 如請求項6之影像感測系統，其中： 經該缺陷像素候選的上半部比對判定該缺陷像素候選有缺陷時，該運算單元自該缺陷緩存器，取得該第二幀中、該缺陷像素候選該上方行的該等像素數據，結合該目標像素所在行的複數個相鄰像素的像素數據，根據該缺陷像素候選的一缺陷標誌進行缺陷像素修正。
  8. 如請求項1之影像感測系統，其中： 該第一幀之前，該缺陷緩存器已針對一缺陷像素進行緩存； 處理該第一幀時，該運算單元檢查該缺陷緩存器，在處理到該缺陷像素的一上方像素時，將該上方像素所在行的複數個像素數據存入該缺陷緩存器；且 該運算單元處理到該第一幀的該缺陷像素時，自該缺陷緩存器取得該上方像素所在行的該等像素數據，結合該缺陷像素所在行的複數個像素數據，根據該缺陷像素的一缺陷標誌進行缺陷像素修正。
  9. 如請求項1之影像感測系統，更包括： 一缺陷像素偵測與修正電路，包括該運算單元以及該缺陷緩存器；以及 耦接該缺陷像素偵測與修正電路的一影像處理器，設定該影像感測器的曝光時間後，再設定該影像感測器的曝光增益， 其中，該缺陷像素偵測與修正電路以該運算單元處理的該第一幀以及第二幀，係在該影像感測器設定下，是以相同曝光時間以及相同曝光增益自該影像感測器取得。
  10. 如請求項9之影像感測系統，更包括： 該影像感測器，耦接該缺陷像素偵測與修正電路後再耦接該影像處理器。
  11. 一種缺陷感光元件偵測以及修正方法，包括： 自一影像感測器感測的一第一幀得出一缺陷像素候選； 根據該第一幀對該缺陷像素候選進行下半部比對；且 根據該影像感測器感測的一第二幀，對該缺陷像素候選進行上半部比對， 其中： 上述上半部比對以及下半部比對是結合該第一幀與該第二幀判斷該缺陷像素候選是否確實有缺陷； 該第一幀中，該缺陷像素候選所在行的複數個像素數據緩存於一缺陷緩存器，供該缺陷像素候選的下半部比對使用；且 該第二幀中，該缺陷像素候選一上方行的複數個像素數據緩存於該缺陷緩存器，供該缺陷像素候選的上半部比對使用。
  12. 如請求項11之方法，更為該缺陷像素候選在該缺陷緩存器緩存： 一缺陷標誌，標示該缺陷像素候選為亮點或暗點； 一缺陷位置，記錄該缺陷像素候選的位置；以及 複數個像素數據，記錄該第一幀中，該缺陷像素候選所在行的該等像素數據，或由該第二幀中，該缺陷像素候選該上方行的該等像素數據覆蓋。
  13. 如請求項11之方法，更包括： 在處理該第一幀時，根據一目標像素所在行的複數個相鄰像素，判斷該目標像素是否為上述缺陷像素候選，若是，將該目標像素以及該等相鄰像素之像素數據存入該缺陷緩存器，供該缺陷像素候選的下半部比對使用。
  14. 如請求項11之方法，更包括： 在處理該第一幀時，檢查該缺陷緩存器，判斷一目標像素是否位於該缺陷像素候選的下方，若是，自該缺陷緩存器，取得該第一幀中、該缺陷像素候選所在行的該等像素數據，結合該目標像素所在行的複數個像素數據，進行該缺陷像素候選的下半部比對。
  15. 如請求項11之方法，更包括： 在處理該第二幀時，檢查該缺陷緩存器，判斷一目標像素是否位於該缺陷像素候選的上方，若是，將該目標像素所在行的複數個像素存入該缺陷緩存器，覆蓋該第一幀中、該缺陷像素候選所在行的該等像素數據，供該缺陷像素候選的上半部比對使用。
  16. 如請求項11之方法，更包括： 在處理該第二幀時，檢查該缺陷緩存器，判斷一目標像素是否為該缺陷像素候選，若是，自該缺陷緩存器，取得該第二幀中、該缺陷像素候選該上方行的該等像素數據，結合該目標像素所在行的複數個像素數據，進行該缺陷像素候選的上半部比對。
  17. 如請求項16之方法，更包括： 經該缺陷像素候選的上半部比對判定該缺陷像素候選有缺陷時，自該缺陷緩存器，取得該第二幀中、該缺陷像素候選該上方行的該等像素數據，結合該目標像素所在行的複數個相鄰像素的像素數據，根據該缺陷像素候選的一缺陷標誌進行缺陷像素修正。
  18. 如請求項11之方法，更包括： 在處理該第一幀時，檢查已針對一缺陷像素進行緩存的該缺陷緩存器，在處理到該缺陷像素的一上方像素時，將該上方像素所在行的複數個像素數據存入該缺陷緩存器；且 在處理到該第一幀的該缺陷像素時，自該缺陷緩存器取得該上方像素所在行的該等像素數據，結合該缺陷像素所在行的複數個像素數據，根據該缺陷像素的一缺陷標誌進行缺陷像素修正。
  19. 如請求項11之方法，更包括： 令該第一幀以及第二幀係以相同曝光時間以及相同曝光增益自該影像感測器取得。
TW109113746A 2020-04-24 2020-04-24 影像感測系統以及缺陷感光元件偵測以及修正方法 TWI753410B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109113746A TWI753410B (zh) 2020-04-24 2020-04-24 影像感測系統以及缺陷感光元件偵測以及修正方法
CN202010518273.0A CN113556489B (zh) 2020-04-24 2020-06-09 影像感测系统以及缺陷感光元件侦测以及修正方法
US17/132,351 US11503236B2 (en) 2020-04-24 2020-12-23 Image-sensing system and detection and correction method for defective pixel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109113746A TWI753410B (zh) 2020-04-24 2020-04-24 影像感測系統以及缺陷感光元件偵測以及修正方法

Publications (2)

Publication Number Publication Date
TW202141967A TW202141967A (zh) 2021-11-01
TWI753410B true TWI753410B (zh) 2022-01-21

Family

ID=78101586

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109113746A TWI753410B (zh) 2020-04-24 2020-04-24 影像感測系統以及缺陷感光元件偵測以及修正方法

Country Status (3)

Country Link
US (1) US11503236B2 (zh)
CN (1) CN113556489B (zh)
TW (1) TWI753410B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823417B2 (en) * 2020-07-16 2023-11-21 Samsung Electronics Co., Ltd. Camera module, image processing system and image compression method
US11810502B2 (en) * 2021-09-28 2023-11-07 Lg Display Co., Ltd. Electroluminescent display apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201616861A (zh) * 2014-10-31 2016-05-01 晶相光電股份有限公司 影像感測裝置與缺陷像素檢測與補償方法
TW201720133A (zh) * 2015-11-19 2017-06-01 晶相光電股份有限公司 影像處理方法與裝置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3773773B2 (ja) * 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
JP4548128B2 (ja) * 2005-01-26 2010-09-22 ソニー株式会社 欠陥検出装置および欠陥検出方法、ならびに撮像装置
JP2007053634A (ja) * 2005-08-18 2007-03-01 Sony Corp 撮像装置、欠陥画素補正装置および方法
JP4305777B2 (ja) * 2006-11-20 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US20080273102A1 (en) * 2007-05-01 2008-11-06 Hoya Corporation Detection device for defective pixel in photographic device
US20110013053A1 (en) * 2008-09-29 2011-01-20 Rui Chen Defective pixel detection and correction
JP5393245B2 (ja) * 2009-05-12 2014-01-22 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、ｘ線画像撮影装置およびｘ線画像撮影装置の制御方法
JP2010187408A (ja) * 2010-05-17 2010-08-26 Sony Corp 欠陥検出装置および欠陥検出方法、ならびに撮像装置
JP5656561B2 (ja) * 2010-10-28 2015-01-21 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
JP2012191595A (ja) * 2011-02-25 2012-10-04 Panasonic Corp 撮像装置
CN103404123B (zh) * 2011-02-28 2017-10-20 富士胶片株式会社 成像装置和缺陷像素校正方法
KR101836432B1 (ko) * 2011-12-16 2018-03-12 삼성전자주식회사 촬상장치, 이미지 보정 방법 및 컴퓨터 판독가능 기록매체
JP2013168793A (ja) * 2012-02-15 2013-08-29 Toshiba Corp 画像処理装置
JP2014022801A (ja) * 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
US8902336B2 (en) * 2013-01-30 2014-12-02 Altasens, Inc. Dynamic, local edge preserving defect pixel correction for image sensors with spatially arranged exposures
CN103196918A (zh) * 2013-03-22 2013-07-10 上海理工大学 一种汽车空调控制面板的按键装配检测方法
KR20150135696A (ko) * 2014-05-23 2015-12-03 삼성전자주식회사 결함 픽셀 관리 회로 및 그것을 포함하는 이미지 센서 모듈, 및 결함 픽셀 관리 방법
CN105469421A (zh) * 2014-09-04 2016-04-06 南京理工大学 一种基于周视系统实现地面运动目标监测的方法
US10440299B2 (en) * 2015-09-04 2019-10-08 Apple Inc. Correcting pixel defects based on defect history in an image processing pipeline
JP2017055309A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055308A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017188784A (ja) * 2016-04-06 2017-10-12 東芝電子管デバイス株式会社 欠陥画素検出装置、放射線検出器、および欠陥画素検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201616861A (zh) * 2014-10-31 2016-05-01 晶相光電股份有限公司 影像感測裝置與缺陷像素檢測與補償方法
TW201720133A (zh) * 2015-11-19 2017-06-01 晶相光電股份有限公司 影像處理方法與裝置

Also Published As

Publication number Publication date
CN113556489A (zh) 2021-10-26
US20210337143A1 (en) 2021-10-28
CN113556489B (zh) 2024-01-09
TW202141967A (zh) 2021-11-01
US11503236B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
JP5266957B2 (ja) 欠陥画素検出装置、撮像装置、および欠陥画素検出方法
US6625318B1 (en) Robust sequential approach in detecting defective pixels within an image sensor
JP2003092707A (ja) 不良ピクセルを検出し補正するセンサ装置
TWI753410B (zh) 影像感測系統以及缺陷感光元件偵測以及修正方法
US20100141810A1 (en) Bad Pixel Detection and Correction
EP2373048B1 (en) Method for detecting and correcting bad pixels in image sensor
JP2001197372A (ja) 画像信号処理装置及び画素欠陥の検出方法
JP2005136834A (ja) 撮像装置、白傷補正方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US20090310849A1 (en) Defective pixel processing device and defective pixel processing method
JP3227815B2 (ja) 固体撮像装置
US20050030412A1 (en) Image correction processing method and image capture system using the same
JP2010021858A (ja) 画素欠陥補正装置
CN105704405B (zh) 影像感测装置与缺陷像素检测与补偿方法
US20040212705A1 (en) Method and apparatus for defect compensation in an image sensor
JP2006166194A (ja) 画素欠陥検出回路及び画素欠陥検出方法
JP2000059689A (ja) 固体撮像素子の欠陥画素検出・補正装置
JP2005223796A (ja) 画素欠陥補正装置
JP2010093471A (ja) 撮像装置、撮像装置用半導体集積回路、および欠陥画素判定方法
US20050253939A1 (en) Image processing method
JP4785564B2 (ja) 欠陥補正装置及び欠陥補正方法
KR100860307B1 (ko) 불량화소 보정장치 및 그 방법
JP2002281388A (ja) 撮像装置
JP2005123873A (ja) 固体撮像装置
KR100653677B1 (ko) 불량 화소를 보정하는 방법 및 장치
JP2004336400A (ja) 画像処理装置、この画像処理装置を用いた電子カメラ、画像処理方法、及び画像処理プログラム