[go: up one dir, main page]

TWI397321B - 影像處理裝置，影像裝置，影像處理方法及電腦程式 - Google Patents

影像處理裝置，影像裝置，影像處理方法及電腦程式 Download PDF

Info

Publication number
TWI397321B
TWI397321B TW097105249A TW97105249A TWI397321B TW I397321 B TWI397321 B TW I397321B TW 097105249 A TW097105249 A TW 097105249A TW 97105249 A TW97105249 A TW 97105249A TW I397321 B TWI397321 B TW I397321B
Authority
TW
Taiwan
Prior art keywords
image
pixel
pixel value
exposure
brightness
Prior art date
Application number
TW097105249A
Other languages
English (en)
Other versions
TW200847794A (en
Inventor
Masanori Kasai
Yusuke Oike
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200847794A publication Critical patent/TW200847794A/zh
Application granted granted Critical
Publication of TWI397321B publication Critical patent/TWI397321B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

影像處理裝置，影像裝置，影像處理方法及電腦程式
本發明係關於一影像處理裝置、一影像裝置、與一影像處理方法及一電腦程式。明確地說，本發明係關於其中基於兩種類型之影像(即一長時間曝光影像與一短時間曝光影像)產生一高品質輸出影像的一影像處理裝置、一影像裝置、一影像處理方法及一電腦程式。
本發明包括在2007年3月9日向日本專利局申請的日本專利申請案JP 2007－059972的相關標的，該案之全文以引用的方式併入本文中。
用於視訊相機、數位靜態相機及類似者的固態影像元件(例如一電荷耦合器件(CCD)影像感測器與一互補金氧半導體(CMOS)影像感測器)累積對應於入射於其上的光之數量的電荷並輸出對應於該累積電荷之一電信號，換言之，執行光電轉換。然而，對可累積於光電轉換元件中的電荷之數量存在一限制。當接收多於一特定位準的光之數量時，累積電荷之數量達到一飽和位準，使得比一特定值亮的對象區域係設定為飽和亮度之位準。即，一"白化"問題發生。
為避免此一白化現象，電荷係累積於一光電轉換元件中的週期係依據環境光或類似者之一變化加以控制以將曝光時間調整至最佳控制敏感度。例如，當拍攝一較亮對象時，一快門係高速釋放來減小曝光時間以減小電荷係累積 於該光電轉換元件中的週期，使得在累積電荷之數量已達到該飽和位準之前輸出一電信號。此允許具有依據對象的灰階之精確再生的影像之輸出。
然而，在包括亮與暗區域之一對象的拍攝中，高速快門釋放並不確保該等暗區域中的足夠曝光時間，從而導致信號對雜訊(S/N)比之劣化與低影像品質。在包括亮與暗區域兩者的此一對象之一拍攝影像中，該等亮與暗區域之亮度位準係藉由增加具有一較小光之數量入射至該影像感測器上的像素中之曝光時間來精確重製以實現高S/N比同時避免具有較大入射光之數量之像素的飽和。
用於實現此類精確再生的方法係在(例如)IEEE國際固態電路會議(ISSCC)2005，第354頁，2005年2月中加以說明。明確地說，如圖1所示，一放大型影像感測器包括配置成一矩陣的像素100，各像素具有一光二極體101、一傳送電晶體102、一重設電晶體103、一放大電晶體104及一選擇電晶體105。為關閉該傳送電晶體102，將要施加至該傳送電晶體102之一控制電極的電壓設定為一位準Vtrg，其允許超過一特定值的多餘電子流向一浮動擴散(FD)節點106，而非用於完全關閉該傳送電晶體102之一標準位準。
當累積於該光二極體101中的電子之數目超過該位準Vtrg時，多餘電子向該FD節點106的洩漏開始發生於一次臨限區域中。該洩漏在該次臨限區域內操作，並且保持於該光二極體101中的電子之數目係一對數響應。
如圖2所示，在一週期TO中之一重設操作之後，當該電 壓Vtrg仍係施加至該傳送電晶體102之控制電極時電子之累積係執行。在其中累積電子之數目較小的週期T1中，所有電子係儲存於該光二極體101中。當累積電子之數目超過該位準Vtrg時，該等電子開始洩漏至該FD節點106，如藉由一週期T2所示。
由於該次臨限區域中之洩漏所致，即使在該累積繼續時(在一週期T3中)電子係相對於該入射光強度以一對數特徵進行累積。在一週期T4中，溢流至該FD節點106之電子係重設，並且儲存於該光二極體101中的所有電子係藉由一完全傳送讀取。圖3顯示該入射光強度與輸出電子之數目之間的關係。相對於超過藉由該電壓Vtrg界定的一線性區域之一上限Qlinear的入射光強度，輸出電子之數目係藉由一對數響應來決定。
雖然上述相關技術中報告一124 dB之動態範圍的實現，但其中可實現一高S/N比的線性區域之飽和位準係小於或等於一標準飽和位準Qs的一半。此外，雖然藉由一對數響應實現一顯著較寬的動態範圍，但一對數響應電路易受該傳送電晶體102之臨限變更或類似者影響。因此，與針對該線性區域之一0.8 mV的固定圖案雜訊相比較，針對該對數區域之5mV大的固定圖案雜訊保持於該寬動態範圍中，即使該等臨限變更係取消。
因此，需要提供經調適用以產生一包括亮與暗區域兩者的對象之拍攝影像的一影像處理裝置、一影像裝置、一影 像處理方法及一電腦程式，其中產生兩種類型之影像(即，一長時間曝光影像與一短時間曝光影像)並且在該等產生的影像上執行影像處理以獲得在一高亮度區域中具有更少白化並在一低亮度區域中具有一高S/N比的高品質輸出影像。
還需要提供經調適用以在兩種類型之輸入影像(即，一長時間曝光影像與一短時間曝光影像)上執行影像處理的一影像處理裝置、一影像裝置、一影像處理方法及一電腦程式，其中亮度位準或類似者由於一對象之移動或類似者所致而變化的像素係偵測並經受限制處理來防止該像素之灰階誤差或偽色以產生一高品質影像。
依據本發明之一些具體實施例，一影像處理裝置包括以下元件。一影像輸入單元係經組態用以接收一長時間曝光影像與一短時間曝光影像。一影像分析單元係經組態用以基於該長時間曝光影像與該短時間曝光影像中的像素值之分析偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝週期期間發生。一像素值校正單元係經組態用以校正藉由該影像分析單元偵測的亮度變化像素之一像素值。該像素值校正單元包括以下元件。一組合影像產生器係經組態用以選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值以產生一組合影像。一中間影像產生器係經組態用以產生一中間影像，該中間影像係該組合影像之一模糊影像。一輸出影像產生器係經組態用以使用該組合影像中的一對應像素之 一像素值與該中間影像中的該對應像素之一像素值來決定藉由該影像分析單元偵測的亮度變化像素之一像素值，該對應像素係位於對應於該亮度變化像素之一位置。
在本發明之一具體實施例中，在該影像處理裝置中，該輸出影像產生器係經組態用以使用以下等式決定一輸出影像中的對應像素之一像素值：[Rv]＝a×[Dv]＋b×[Mv] 其中[Rv]表示該輸出影像中的對應像素之像素值，[Dv]表示該組合影像中的對應像素之像素值，[Mv]表示該中間影像中的對應像素之像素值，而a與b表示係數，其中a＋b＝1。
在本發明之一具體實施例中，在該影像處理裝置中，該影像分析單元係經組態用以偵測一像素位置，在該像素位置處自該短時間曝光影像獲得一有效輸出值並且在該像素位置處自該長時間曝光影像獲得一有效輸出值，並係經組態用以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一高亮度位準改變至一低亮度位準。
在本發明之一具體實施例中，在該影像處理裝置中，該影像分析單元係經組態用以偵測一像素位置，在該像素位置處該長時間曝光影像中之一像素值係飽和的並且在該像素位置處無有效輸出值係自該短時間曝光影像獲得，並係經組態用以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一低亮度位準改變至一高亮度位 準。
在本發明之一具體實施例中，在該影像處理裝置中，該影像分析單元係經組態用以使用一平滑濾波器在基於該偵測的亮度變化像素的一偵測結果影像上執行影像轉換，並係經組態用以基於由於該影像轉換獲得之一影像排除錯誤偵測的一亮度變化像素。
在本發明之一具體實施例中，在該影像處理裝置中，該影像分析單元係經組態用以使用一濾波器在基於該偵測的亮度變化像素的一偵測結果影像上執行影像轉換，並係經組態用以放大一亮度變化像素區域。
在本發明之一具體實施例中，在該影像處理裝置中，該輸出影像產生器係經組態用以藉由以下等式使用係數來決定一輸出影像中的對應像素之一像素值：[Rv]＝a×[Dv]＋b×[Mv] 其中[Rv]表示該輸出影像中的對應像素之像素值，[Dv]表示該組合影像中的對應像素之像素值，[Mv]表示該中間影像中的對應像素之像素值，而a與b表示係數，其中a＋b＝1。該輸出影像產生器係經組態用以藉由使用用以決定基於該組合影像偵測的一亮度變化像素區域之像素值的第一係數集與用以決定使用該濾波器放大的亮度變化像素區域之像素值的第二係數集作為係數來決定該輸出影像中的對應像素之像素值，該第一係數集與該第二係數集具有彼此不同的值。
在本發明之一具體實施例中，在該影像處理裝置中，該中間影像產生器係經組態用以將一平滑濾波器應用於該組合影像以產生一模糊影像。
在本發明之一具體實施例中，在該影像處理裝置中，該中間影像產生器係經組態用以減小與放大該組合影像以產生一模糊影像。
在本發明之一具體實施例中，在該影像處理裝置中，該像素值校正單元進一步包括一影像校正單元，其經組態用以減小藉由該組合影像產生器產生的組合影像之一彩色飽和度以產生一飽和度減小影像。該中間影像產生器係經組態用以接收藉由該影像校正單元產生的飽和度減小影像並用以產生一模糊影像。
在本發明之一具體實施例中，在該影像處理裝置中，該像素值校正單元進一步包括一影像校正單元，其經組態用以執行將一低通濾波器應用於藉由該輸出影像產生器產生之一影像的影像校正程序。
在本發明之一具體實施例中，在該影像處理裝置中，其中產生該長時間曝光影像之一曝光週期包括其中產生該短時間曝光影像之一曝光週期，並且該短時間曝光影像與該長時間曝光影像係藉由一單一影像元件自一相同像素產生的影像。
依據本發明之一些具體實施例，一影像裝置包括以下元件。一影像器件係經組態用以產生一長時間曝光影像與一短時間曝光影像。一影像分析單元係經組態用以基於該長 時間曝光影像與該短時間曝光影像中的像素值之分析偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝週期期間發生。一像素值校正單元係經組態用以校正藉由該影像分析單元偵測的亮度變化像素之一像素值。該像素值校正單元包括以下元件。一組合影像產生器係經組態用以選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值以產生一組合影像。一中間影像產生器係經組態用以產生一中間影像，該中間影像係該組合影像之一模糊影像。一輸出影像產生器係經組態用以使用該組合影像中的一對應像素之一像素值與該中間影像中的該對應像素之一像素值來決定藉由該影像分析單元偵測的亮度變化像素之一像素值，該對應像素係位於對應於該亮度變化像素之一位置。
在本發明之一具體實施例中，在該影像裝置中，其中產生該長時間曝光影像之一曝光週期包括其中產生該短時間曝光影像之一曝光週期，並且該影像器件係經組態用以使用一單一影像元件自一相同像素產生該短時間曝光影像與該長時間曝光影像。
依據本發明之一些具體實施例，一影像處理裝置中用於執行影像處理之一影像處理方法包括以下步驟：藉由一影像輸入單元，接收一長時間曝光影像與一短時間曝光影像；藉由一影像分析單元，基於該長時間曝光影像與該短時間曝光影像中的像素值之分析偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝 週期期間發生；以及藉由一像素值校正單元，校正該偵測的亮度變化像素之一像素值。校正之步驟包括以下步驟：藉由選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值來產生一組合影像；產生一中間影像，該中間影像係該組合影像之一模糊影像；以及使用該組合影像中的一對應像素之一像素值與該中間影像中的對應像素之一像素值來決定藉由該影像分析單元偵測的亮度變化像素之一像素值，該對應像素係位於對應於該亮度變化像素之一位置。
在本發明之一具體實施例中，在該影像處理方法中，決定之步驟包括以下步驟：使用以下等式決定一輸出影像中的對應像素之一像素值：[Rv]＝a×[Dv]＋b×[Mv] 其中[Rv]表示該輸出影像中的對應像素之像素值，[Dv]表示該組合影像中的對應像素之像素值，[Mv]表示該中間影像中的對應像素之像素值，而a與b表示係數，其中a＋b＝1。
在本發明之一具體實施例中，在該影像處理方法中，偵測之步驟包括以下步驟：偵測一像素位置，在該像素位置處自該短時間曝光影像獲得一有效輸出值並且在該像素位置處自該長時間曝光影像獲得一有效輸出值，以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一高亮度位準改變至一低亮度位準。
在本發明之一具體實施例中，在該影像處理方法中，偵測之步驟包括以下步驟：偵測一像素位置，在該像素位置處該長時間曝光影像中之一像素值係飽和的並且在該像素位置處無有效輸出值係自該短時間曝光影像獲得，以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一低亮度位準改變至一高亮度位準。
在本發明之一具體實施例中，在該影像處理方法中，偵測之步驟包括以下步驟：使用一平滑濾波器執行基於該偵測的亮度變化像素的一偵測結果影像上之影像轉換，以基於由於該影像轉換獲得之一影像排除錯誤偵測的一亮度變化像素。
在本發明之一具體實施例中，在該影像處理方法中，偵測之步驟包括以下步驟：使用一濾波器執行基於該偵測的亮度變化像素的一偵測結果影像上之影像轉換以放大一亮度變化像素區域。
在本發明之一具體實施例中，在該影像處理方法中，決定之步驟包括以下步驟：藉由以下等式使用係數決定一輸出影像中的對應像素之一像素值：[Rv]＝a×[Dv]＋b×[Mv] 其中[Rv]表示該輸出影像中的對應像素之像素值，[Dv]表示該組合影像中的對應像素之像素值，[Mv]表示該中間影像中的對應像素之像素值，而a與b表示係數，其中a＋b＝1。該輸出影像中的對應像素之像素值係使用用以決 定基於該組合影像偵測的一亮度變化像素區域之像素值的第一係數集與用以決定使用該濾波器放大的亮度變化像素區域之像素值的第二係數集作為係數來決定，該第一係數集與該第二係數集具有彼此不同的值。
在本發明之一具體實施例中，在該影像處理方法中，產生一中間影像之步驟包括以下步驟：將一平滑濾波器應用於該組合影像以產生一模糊影像。
在本發明之一具體實施例中，在該影像處理方法中，產生一中間影像之步驟包括以下步驟：減小與放大該組合影像以產生一模糊影像。
在本發明之一具體實施例中，在該影像處理方法中，校正之步驟進一步包括以下步驟：減小該產生的組合影像之一彩色飽和度以產生一飽和度減小影像，而產生一中間影像之步驟包括以下步驟：接收該產生的飽和度減小影像並產生一模糊影像。
在本發明之一具體實施例中，在該影像處理方法中，校正之步驟進一步包括以下步驟：執行將一低通濾波器應用於在決定之步驟中產生之一影像的影像校正程序。
在本發明之一具體實施例中，在該影像處理方法中，其中產生該長時間曝光影像之一曝光週期包括其中產生該短時間曝光影像之一曝光週期，並且該短時間曝光影像與該長時間曝光影像係藉由一單一影像元件自一相同像素產生的影像。
依據本發明之一些具體實施例，一用於引起一影像處理 裝置執行影像處理的電腦程式包括以下步驟：引起一影像輸入單元接收一長時間曝光影像與一短時間曝光影像；引起一影像分析單元基於該長時間曝光影像與該短時間曝光影像中的像素值之分析偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝週期期間發生；以及引起一像素值校正單元校正在引起一影像分析單元偵測一亮度變化像素之步驟中偵測的亮度變化像素之一像素值。引起一像素值校正單元校正一像素值之步驟包括以下步驟：藉由選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值來產生一組合影像；產生該組合影像之一模糊影像；以及藉由決定使用該組合影像中的一對應像素之一像素值與該中間影像中的對應像素之一像素值決定的藉由該影像分析單元偵測的亮度變化像素之一像素值來產生一輸出影像，該對應像素係位於對應於該亮度變化像素之一位置。
該電腦程式係可以一電腦可讀取格式用於(例如)一能夠透過一儲存媒體或通信媒體執行各種類型之程式碼的通用電腦系統的電腦程式。該儲存媒體之範例包括一光碟(CD)、一軟碟(FD)及一磁光(MO)碟片，該通信媒體之範例包括一網路。藉由以一電腦可讀取格式提供該程式，依據該程式的處理係實施於一電腦系統上。
由以下本發明之範例性具體實施例的詳細說明並結合附圖將明白本發明之進一步特徵與優點。本文使用的術語系統表示一邏輯裝置集而與該等裝置是否係封裝於一單一外 罩中無關。
因此，依據本發明之一具體實施例，一長時間曝光影像與一短時間曝光影像係輸入，並且一寬動態範圍影像係藉由選擇性地組合該等長時間與短時間曝光影像中的有效像素值來產生。在此程序中，其中決定在對應於一長時間曝光時間之一拍攝週期期間一亮度變化已發生的一亮度變化像素係偵測，並且該偵測的亮度變化像素之像素值係取代以執行一影像校正程序。明確地說，一模糊影像係基於該寬動態範圍影像來產生，並且一輸出影像之一像素值係使用與該亮度變化像素之像素位置相關聯的該產生的模糊影像與該寬動態範圍影像之各影像中之一像素值來決定。此可防止由於一對象之移動或類似者所致該亮度變化像素之灰階誤差或偽色的發生，從而導致一高品質看起來自然的輸出影像。
下文中將參考圖式說明依據本發明之具體實施例的一影像處理裝置、一影像裝置、一影像處理方法及一電腦程式。
第一具體實施例
圖4係顯示作為依據本發明之一第一具體實施例的一影像處理裝置之一範例的一影像裝置之一範例結構的方塊圖。透過一光學透鏡201進入的光係入射至一影像器件202上。該影像器件202係由(例如)一CMOS影像感測器組成，並將入射光光電轉換成影像資料。該影像資料係輸入至一 影像處理器203。該影像器件202產生兩種類型之影像，即一長時間曝光影像211與一短時間曝光影像212，並將兩種類型之影像資料輸入至該影像處理器203。該影像處理器203產生基於該等長時間曝光影像211與短時間曝光影像212之一輸出影像。該等長時間曝光影像211與短時間曝光影像212在曝光時間上不同。
首先，將參考圖5說明用於產生兩種類型之影像(即，長時間曝光影像211與短時間曝光影像212)之一程序，其係藉由該影像器件202來執行。在2006年10月16日申請並讓渡給本發明之受讓人的日本專利申請案第2006－280959號中揭示一用於藉由該影像器件202產生具有不同曝光時間之影像的程序。
在考慮該影像器件202的像素之各像素之一飽和位準時，該影像器件202產生一輸出影像。如上所述，由該影像器件202輸出之一電信號對應於入射至該影像器件202的光之數量。在一特定曝光時間(長時間曝光)，由對應於更亮對象的像素之光電轉換元件輸出的電信號可達到該飽和位準。因此，該些像素係白化像素，其中對應於該飽和位準的電信號係輸出，使得灰度差異不可感知。
為避免此一白化現象以獲得其中反映該對象之亮度位準之一輸出，該影像器件202產生具有長時間曝光之影像資料與具有短時間曝光之影像資料。該影像處理器203組合兩種類型之影像資料並執行其他處理以獲得一輸出影像。例如，其像素值預期在長時間曝光期間達到該飽和位準之 一像素係經受輸出基於藉由短時間曝光獲得之資料所計算之一像素值的處理。
該處理之基本操作係亦在2006年10月16日申請並讓渡給本發明之受讓人的日本專利申請案第2006－280959號中加以揭示。在本發明之一具體實施例中，該影像處理器203之操作係進一步改良。明確地說，在兩種類型之輸入資料(即，一長時間曝光影像與一短時間曝光影像)上執行之影像處理中，其亮度位準或類似者由於一對象之移動或類似者所致而變化的一像素係偵測並經受限制處理來防止該像素之灰階誤差或偽色的發生以產生一高品質影像。
將參考圖5說明用於藉由該影像器件202產生具有不同曝光時間之影像資料(長時間曝光影像211與短時間曝光影像212)之一程序。例如，在一移動影像之拍攝中，該影像器件202在一視訊速率(30至60 fps)內輸出具有不同曝光時間的兩種類型之影像資料。同樣，在一靜態影像之拍攝中，該影像器件202產生並輸出具有不同曝光時間的兩種類型之影像資料。本發明之具體實施例係適用於一靜態影像或一移動影像。
圖5係顯示藉由該影像器件202產生的具有不同曝光時間的兩種類型之影像(長時間曝光影像211與短時間曝光影像212)之特性的圖式。在圖5中，橫座標軸表示時間(t)而縱座標軸表示對應於一固態影像元件的像素之一的一光電轉換元件之一光接收光二極體(PD)中的累積電荷數量(e)。
例如，在藉由該光接收光二極體(PD)接收的光之數量係 較大的區域(即，一較亮對象區域)中，如圖5中顯示之一高亮度區域線251所示，累積電荷之數量迅速隨時間增加。另一方面，在藉由該光接收光二極體(PD)接收的光之數量係較小的區域(即，一較暗對象區域)中，如圖5中顯示之一低亮度區域線252所示，累積電荷之數量緩慢地隨時間增加。
一從時間t0至時間t3的週期對應於一用於獲得該長時間曝光影像211的曝光時間TL。對於該長時間曝光時間TL之一週期，如藉由該低亮度區域線252所示，累積電荷之數量於時間t3並不達到該飽和位準(不飽和點Py)。根據使用基於一累積電荷之數量(Sa)獲得之一電信號決定的像素之灰度，實現精確的灰階表示。
明顯如藉由該高亮度區域線251所示，累積電荷之數量在時間t3之前已達到該飽和位準(飽和點Px)。在藉由該高亮度區域線251指示之此一高亮度區域中，對應於該飽和位準之電信號係由該長時間曝光影像211輸出，並因此該等對應像素係白化像素。
在藉由該高亮度區域線251指示之高亮度區域中，於時間t3之前之一時間，例如於時間t1(電荷清除開始點P1)，該光接收光二極體(PD)中的電荷係清除。該電荷清除操作並非針對累積於該光接收光二極體(PD)中的所有電荷而係累積高達藉由該光二極體(PD)控制之一中間電壓保持位準的電荷來執行。在該電荷清除程序之後，針對一曝光週期TS(時間t1至時間t2)執行短時間曝光。明確地說，如圖5所 示，執行針對從一短時間曝光開始點P2至一短時間曝光結束點P3之一週期的短時間曝光。使用該短時間曝光，獲得一累積電荷之數量(Sb)，並且該像素之灰度係使用基於該累積電荷之數量(Sb)獲得之一電信號加以決定。
可根據基於藉由該低亮度區域線252指示的低亮度區域中之長時間曝光獲得之累積電荷之數量(Sa)的電信號與基於藉由該高亮度區域線251指示的高亮度區域中之短時間曝光獲得之累積電荷之數量(Sb)的電信號來決定一像素值。在此情況下，當該等高與低亮度區域係曝光相同時間之週期時估計的累積電荷之數量或對應於該估計的累積電荷之數量的一電信號之一輸出值係決定，並且基於該決定結果一像素值位準係決定。
如圖5所示，在藉由該高亮度區域線251指示之高亮度區域中，於時間t3之前之一時間(例如於時間t1(電荷清除開始點P1))，累積於該光接收光二極體(PD)中的電荷係清除並且短時間曝光係執行以獲得基於針對該短時間曝光週期(時間t1至時間t2)累積之電荷之數量(Sb)之一電信號。然後，該曝光操作係連續執行至時間t3，並且電荷係累積至(例如)該飽和位準。一基於累積至該飽和位準之電荷的電信號係由一長時間曝光影像獲得。然而，不將該電信號施加至該對應像素以決定一像素值。因此，該影像器件202針對各像素選擇基於作為長時間曝光或短時間曝光之結果的累積電荷之數量之一電信號作為用於決定一有效像素值之一信號，並決定像素值。
將該長時間曝光影像或該短時間曝光影像之何像素值施加至針對各像素之一輸出影像的決定係於(例如)圖5所示之時間tj加以執行。若於圖5所示之時間tj針對一像素累積一多於或等於一電荷參考之數量(例如圖5所示之一電荷之數量(ev))的電荷之數量，則於時間t1(電荷清除開始點P1)清除累積於該像素之光接收光二極體(PD)中的電荷並且執行短時間曝光以決定來自該短時間曝光影像之一輸出像素值。若於時間tj針對一像素並未累積一多於或等於該電荷之數量(ev)的電荷之數量，則執行長時間曝光而不清除電荷，並且由該長時間曝光影像決定一輸出像素值。
因此，例如對應於少於圖5所示之一臨限亮度位準253的拍攝對象之一較暗部分的一像素之一像素值係使用該長時間曝光影像211來決定。另一方面，對應於多於或等於該臨限亮度位準253的拍攝對象之一較亮部分的一像素之一像素值係使用該短時間曝光影像212來決定。此確保包括亮與暗區域兩者的一對象之一拍攝影像的產生，其中產生一高品質高動態範圍影像，該高品質高動態範圍影像不具有一白化現象之發生且在一低亮度部分中不具有S/N比之減小。
以上操作，即使用長時間曝光影像211決定對應於該拍攝對象之一較暗部分的一像素之一像素值與使用短時間曝光影像212決定對應於該拍攝對象之一較亮部分的一像素之一像素值，在該對象之發光度在一拍攝週期內不變化的情況下沒有問題。然而，例如在該對象之發光度由於在拍 攝週期期間該對象之移動或類似者所致而變化的情況中，問題發生。
在圖5所示之範例中，假定該等像素之發光度在該拍攝週期內不變化，並且該高亮度區域線251之斜率與該低亮度區域線252之斜率兩者都不隨時間變化。因此，在圖5中，假定該發光度在該拍攝週期內係恆定的。因此，一直展現線性增加線，惟累積電荷之數量係藉由電荷清除操作減小的時間除外。
例如，在對象在拍攝週期中移動的情況下，與該等像素相關聯的對象之發光度並非恆定的而係改變的。圖6顯示當對象之發光度改變時累積於該影像器件202之光接收光二極體(PD)中的電荷之數量(e)之時間轉變的範例。在圖6中，橫座標軸表示時間(t)而縱座標軸表示累積於對應於一固態影像元件的像素之一者的一光電轉換元件之一光接收光二極體(PD)中的電荷之數量(e)。
一亮度變化區域線261指示累積於對應於一在該拍攝操作中間(於圖6之一點Pq)處於一低亮度區域並突然變亮之像素的一光接收光二極體(PD)中的電荷之數量(e)之轉變。例如，一較亮物件突然移入該聚焦區域中，或一較暗物件移開而一較亮背景物件出現。如藉由該亮度變化區域線261所示，在該長時間曝光週期結束的時間(時間t3)之前，累積電荷之數量(e)已達到該飽和位準(圖6所示之一點Pr)。
基於該亮度變化區域線261表示其中於時間tj未累積多於 或等於該電荷之數量(ev)之一電荷之數量之一像素的決定，該影像器件202執行長時間曝光而不清除電荷。因此，藉由該亮度變化區域線261表示的像素之像素值變成一白化像素，其位準係等於該飽和位準。
因此，在該對象之亮度位準在一拍攝週期中變化的情況下，即使使用一長時間曝光影像與一短時間曝光影像，像素值位準之不精確表示仍可能發生。當(例如)使用適合於彩色影像之一固態影像元件(包括諸如紅色、綠色及藍色濾色器之濾色器)時，此一問題變得更為嚴重。
一典型單一晶片彩色固態影像元件包括接合於其一表面之一濾色器陣列，該濾色器陣列係經組態用以僅允許各像素之一特定波長分量通過，並係經組態以使得一所需彩色分量係使用一像素集恢復。該濾色器陣列可包括圖7A所示之一彩色圖案，其表示紅色(R)、綠色(G)及藍色(B)，或圖7B所示之一彩色圖案，其表示白色(Y)(其用作一光度信號)與紅色(R)、綠色(G)及藍色(B)之一組合。在一單一晶片彩色固態影像元件中，因為各像素僅具有關於一單一彩色分量之資訊，故使用關於相鄰像素之彩色資訊來執行內插以恢復各像素中之一所需彩色分量。此程序係稱為一解馬賽克程序。
當使用適合於彩色影像之此一固態影像元件(包括諸如紅色、綠色及藍色濾色器之濾色器)時，由於該固態影像元件之光譜敏感度、環境光及該對象之反射率所致在紅色、綠色及藍色像素之中敏感度資訊係通常不同。因而， 如上所述之灰階誤差可於該等紅色、綠色及藍色像素之不同位置處發生。例如，若關於該等紅色、綠色及藍色像素的一或兩段資訊不正確，則即使在該對象實際上係消色差的情況下仍可能產生紅色、綠色及藍色之偽色或其互補色。此外，偽色可能根據位置而變化。
如上所述，使用一長時間曝光影像決定對應於該拍攝對象之一較暗部分的一像素之一像素值與使用一短時間曝光影像決定對應於該拍攝對象之一較亮部分的一像素之一像素值在該對象之發光度、色彩或類似者在一拍攝週期內不變化的情況下沒有問題。然而，例如在發光度、色彩或類似者由於在拍攝週期期間該對象之移動或類似者所致而變化的情況中，問題發生。在該對象移動之一區域中，諸如發生偽色或灰階誤差的問題會發生。
依據本發明之第一具體實施例的影像處理器203執行用於解決該等問題之一程序。明確地說，基於藉由該影像器件202產生的具有不同曝光時間的兩種類型之影像來產生一高品質輸出影像。
圖8顯示該影像處理器203之一範例結構。該影像處理器203包括：一影像輸入單元301，其經組態用以接收輸入影像，即該長時間曝光影像211與該短時間曝光影像212；一影像分析單元302，其經組態用以基於該等輸入影像偵測一移動對象區域或類似者中之一像素位置，在該像素位置處決定一像素值變化；以及一像素值校正單元303，其經組態用以藉由使用一新像素值取代藉由該影像分析單元 302偵測之像素位置處的一像素之一像素值來執行像素值校正。
將參考圖9說明該影像處理器203之操作之一特定範例。在圖9中，類似於圖5與6，橫座標軸表示時間(t)而縱座標軸表示累積於對應於如該影像器件202之一固態影像元件的像素之一的一光電轉換元件之一光接收光二極體(PD)中的電荷之數量(e)。
累積於該光接收光二極體(PD)中的電荷之數量(e)具有一255的最大值，其係一影像之一輸出值(範圍從0至255之數位資料)。在亮度不隨時間變化的情況中，藉由一虛線指示之一臨限線323係一低亮度信號與一高亮度信號之間的邊界。圖9顯示兩個亮度變化像素線，即一亮度變化像素線A 321與一亮度變化像素線B 322。該亮度變化像素線A 321由於(例如)對象之移動所致於一點P1從一高亮度位準改變至一低亮度位準，而該亮度變化像素線B 322於一點P2從一低亮度位準改變至一高亮度位準。
如上所述，該影像器件202於(例如)時間tj決定各像素是否儲存比藉由該臨限線323界定的累積電荷之數量(ev)大的電荷之數量，並決定是否執行長時間曝光或短時間曝光。若一像素儲存比藉由該臨限線323界定的累積電荷之數量(ev)大的電荷之數量，則決定該像素處於一高亮度區域，並且對應於該像素之一光接收光二極體(PD)係經受類似於上面參考圖5說明的電荷清除處理以將累積電荷之數量減小至該中間電壓保持位準。然後，執行針對一從時間t1至 時間t2之週期的短時間曝光並且在該短時間曝光影像212中設定該像素之像素值，其中基於作為該短時間曝光之結果獲得的累積電荷之數量之一像素值係設定。另一方面，若於時間tj一像素儲存少於或等於藉由該臨限線323界定的累積電荷之數量(ev)的累積電荷之數量，則決定該像素處於一低亮度區域，並且對應於該像素之一光接收光二極體(PD)係經受針對一從時間t0至時間t3之週期的長時間曝光而不清除電荷。在該長時間曝光影像211中設定該像素之像素值，其中基於作為該長時間曝光之結果獲得的累積電荷之數量之一像素值係設定。
圖8所示的影像處理器203之影像輸入單元301接收如此產生的長時間曝光影像211與短時間曝光影像212，並將其輸出至該影像分析單元302。該影像分析單元302基於兩種類型之影像偵測一移動對象區域或類似者中之一像素位置，在該像素位置處決定一像素值變化。一像素值可在以下兩個情況下變化：(a)對象之亮度位準從一高亮度位準改變至一低亮度位準；以及(b)對象之亮度位準從一低亮度位準改變至一高亮度位準。
該影像分析單元302使用不同技術在以上兩個情況(a)與(b)之各情況中偵測於其亮度變化之一像素位置。
首先，將說明一用於偵測(a)於其該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置的程序，其係藉由該影像分析單元302來執行。在圖9中，該亮度變化像素線A 321係指示其亮度位準由於(例如)對象之移動所 致而於點P1從一高亮度位準改變至一低亮度位準之一像素的線。
若在該短時間曝光影像212中獲得關於一亮度位準如藉由該亮度變化像素線A 321所示從一高亮度位準改變至一低亮度位準之一像素位置的有效像素資訊，則決定該像素位置係經受針對一從時間t1至時間t2之短週期(TS)之短時間曝光的像素位置。
因此，在該長時間曝光影像211中，對應於該像素位置之一像素之像素值通常處於該飽和位準，並且無有效信號係獲得。如圖9所示，在電荷在針對一從時間t1至時間t2之短週期(TS)的短時間曝光程序之後係測量(輸出)之後，電荷之累積在時間t2之後係重新開始。若該像素仍處於一高亮度位準，則累積於對應於該像素之一光接收光二極體(PD)中的電荷之數量於一點P3達到飽和位準，並且該長時間曝光影像211中的像素之像素位準係等於該飽和位準(255之一像素值)，從而導致一白化像素。
若與該像素相關聯的對象之一亮度位準在一拍攝週期或一長時間曝光週期(從時間t0至時間t3)內變化，即若該對象之一亮度位準於圖9所示之點P1減小，則該亮度變化像素線A 321之斜率在該點P1之後變緩。換言之，在累積於該光接收光二極體(PD)中的電荷的速度係降低。
若該對象之一亮度位準不變，則通常累積於該光接收光二極體(PD)中的電荷之數量於該點P3達到飽和位準，並且該長時間曝光影像211中的像素之像素位準係等於該飽和 位準(255之一像素值)，從而導致一白化像素。然而，如圖9所示，若於該點P1該對象之一亮度位準減小並且電荷係累積於該光接收光二極體(PD)中的速度係降低，則該長時間曝光影像211中的像素之像素位準變得少於或等於該飽和位準(255之一像素值)，並且獲得一有效輸出像素值(少於255的像素值)。
依據上述現象之分析來執行用於偵測(a)於其該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置的程序，其係藉由該影像分析單元302來執行。明確地說，決定有效輸出值是否係從該短時間曝光影像212與該長時間曝光影像211獲得(下文稱為"決定條件1")。
決定滿足該決定條件1之一像素係於(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準的像素位置。
該短時間曝光影像212與該長時間曝光影像211中的有效輸出值係藉由與一預定臨限值之比較來決定。
例如，該短時間曝光影像212之一有效輸出值係藉由比較由一基於藉由短時間曝光累積之電荷之數量之電信號偵測的一像素值(0至225)與一臨限值"10"來決定。若該偵測的像素值係大於該臨限值"10"(偵測的像素值>10)，則決定該偵測的像素值係一有效輸出值。
該長時間曝光影像211之一有效輸出值係藉由比較由一基於藉由長時間曝光累積之電荷之數量之電信號偵測的一像素值(0至225)與一臨限值"230"來決定。若該偵測的像素值係小於該臨限值"230"(偵測的像素值<230)，則決定該偵 測的像素值係一有效像素值。
以上決定公式中的臨限值(例如10與230)僅係範例。用於決定該短時間曝光影像212之一有效輸出值的臨限值可較佳的係允許一輸出值是否高於該影像元件之雜訊的決定係確保的值。用於決定該長時間曝光影像211之一有效輸出值的臨限值可較佳的係當考慮該影像元件之一彎曲特性時確保精確灰階表示的值。上述使用該等臨限值的決定程序可以不或可以組合用於觀察實際影像之各影像來主觀估計該等影像以決定是否獲得一有效像素值。
接下來，將說明一用於偵測(b)於其該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置的程序，其係藉由該影像分析單元302來執行。在圖9中，該亮度變化像素線B 322係指示其亮度位準由於(例如)對象之移動所致而於點P2從一低亮度位準改變至一高亮度位準之一像素的線。
此像素在藉由針對一從時間t0至時間t3之週期的長時間曝光產生的長時間曝光影像211中變成一飽和白化像素(255之一像素值)，並且無有效輸出係獲得。
對於在長時間曝光影像211中變成一飽和白化像素(255之一像素值)的像素而言，可由在亮度不變之一像素區域中的短時間曝光影像212來決定一有效像素值。然而，該亮度變化像素線B 322於點P2從一低亮度位準改變至一高亮度位準，並且不執行用於獲得該短時間曝光影像212之一有效像素值的操作，或上面參考圖5說明的電荷清除與 短時間曝光操作。因此，無有效像素值係由該短時間曝光影像212獲得。
依據上述現象之分析來執行用於偵測(b)於其該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置的程序，其係藉由該影像分析單元302來執行。明確地說，決定是否該長時間曝光影像211之一像素值係飽和的並且無有效輸出值係從該短時間曝光影像212獲得(下文稱為"決定條件2")。
決定滿足該決定條件2之一像素係於(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準的像素位置。
關於該長時間曝光影像211之一像素值是否係飽和的決定或關於是否無有效輸出值係從該短時間曝光影像212獲得的決定係藉由與一預定臨限值之比較來執行。
例如，關於該長時間曝光影像211之一像素值是否係飽和的決定係藉由比較由基於藉由長時間曝光累積的電荷之數量之一電信號偵測之一像素值(0至225)與一臨限值"240"來執行。若該偵測的像素值係多於或等於該臨限值"240"(偵測的像素值240)，則決定該偵測的像素值係一飽和像素值。
關於是否無有效輸出值係由該短時間曝光影像212獲得的決定係藉由比較由一基於藉由短時間曝光累積之電荷之數量之電信號偵測的一像素值(0至225)與一臨限值"5"來執行。若該偵測的像素值係少於或等於該臨限值"5"(偵測的像素值5)，則決定無有效輸出值係獲得。
以上決定公式中的臨限值(例如240與5)僅係範例。用於決定該長時間曝光影像211之一像素值是否係飽和的臨限值可較佳的係當考慮該影像元件之一彎曲特性時確保其中不精確灰階表示已發生之一區域的值。用於決定是否無輸出值係由該短時間曝光影像212獲得的臨限值可較佳的係允許是否確保該影像元件之一雜訊位準之決定的數值。上述使用該等臨限值的決定程序可以不或可以組合用於觀察實際影像之各影像來主觀估計該等影像以決定是否獲得一有效像素值。
將參考圖10A與10B說明一亮度變化像素之偵測程序之一特定範例。圖10A顯示在一長時間曝光週期(從時間t0至時間t3)內的對象之移動。在一亮背景中，一暗矩形對象351橫向移至一對象位置352。
圖10B顯示由於上述藉由該影像分析單元302執行之偵測程序而獲得的像素位置，即(a)對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置的偵測程序與(b)一對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置的偵測程序。
在圖10B中，每一格柵單元表示一像素。因為圖10A所示之對象351具有一低亮度位準，故對應於在該對象351的移動之方向上位於前面之一區域362的一區域內的影像像素之亮度位準從一高亮度位準改變至一低亮度位準。該像素區域362係藉由上面(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置的偵測程序，即藉 由決定是否滿足決定條件1(即，有效輸出值是否係從該短時間曝光影像212與該長時間曝光影像211獲得)來偵測。圖10B所示之一像素位置372滿足決定條件1。
此外，因為圖10A所示之對象351具有一低亮度位準，故對應於在該對象351的移動之方向上位於後面之一區域361的一區域內的影像像素之亮度位準從一低亮度位準改變至一高亮度位準。該像素區域361係藉由上面(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置的偵測程序，即藉由決定是否滿足決定條件2(即，是否該長時間曝光影像211之一像素值係飽和的並且無有效輸出值係從該短時間曝光影像212獲得)來偵測。圖10B所示之一像素位置371滿足‘決定條件2。
因此，圖8所示的影像處理器203之影像分析單元302基於該長時間曝光影像211之一像素值與該短時間曝光影像212之一像素值來偵測(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置與(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置。
若使用適合於上面參考圖7A或7B說明的彩色影像之一單一晶片固態影像元件，則可在不經受像素值之內插的輸入馬賽克資料(原始資料)上或在經受像素值之內插的輸入解馬賽克資料上執行該影像分析單元302之像素位置偵測程序。用於分析的長時間曝光影像211與短時間曝光影像212之集係一馬賽克資料集或一解馬賽克資料集。
接下來，將說明藉由圖8所示的影像處理器203之像素值校正單元303執行之一像素值校正程序。該像素值校正單元303校正位於藉由該影像分析單元302偵測的像素位置之各像素位置處(即(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置與(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置)的一像素之一像素值。
在上述讓渡給本發明之受讓人的日本專利申請案第2006－280959號中揭示的技術中，獲得兩種類型之輸入影像(即，長時間曝光影像211與短時間曝光影像212)，並且當使用該短時間曝光影像212決定多於或等於該臨限亮度位準253的對應於該拍攝對象之一亮部分的一像素之一像素值時使用該長時間曝光影像211來決定少於圖5所示之臨限亮度位準253的對應於該拍攝對象之一暗部分的一像素之一像素值。因而，替代性處理係執行，即該長時間曝光影像211的像素值與該短時間曝光影像212的像素值之一係選擇以產生一組合影像。藉由該替代性處理獲得的組合影像在下文中係稱為一"寬動態範圍影像"。
然而，如參考圖9所述，如此產生的寬動態範圍影像係其中位於(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置與(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置處的像素之像素值係不正確且其中灰階誤差或偽色發生的影像。在依據本發明之第一具體實施例的影像處理中，該影像處理器 203之像素值校正單元303校正該等像素來防止該等像素的灰階誤差或偽色之發生以產生一高品質影像。
該像素值校正單元303藉由取代位於藉由該影像分析單元302偵測的像素位置之各像素位置(即，(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置與(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置)處的一像素之一像素值來執行一像素值校正程序。考量以下點來執行該像素值校正程序。
因為顯示於藉由該影像分析單元302偵測的一亮度變化已發生的像素位置處的對象影像可能在移動，故該影像之一高頻分量係不重要並且若影像係模糊則係自然的。基於此假定，該像素值校正單元303由使用該長時間曝光影像211之像素值與該短時間曝光影像212之像素值之一選擇性產生的寬動態範圍影像來產生模糊影像資料，並且使用該模糊影像資料來設定於其一亮度變化已發生的一像素位置之一像素值。
該影像模糊操作係使用(例如)一典型低通濾波器(LPF)來執行。圖11A與11B顯示可用低通濾波器(LPF)的兩個範例。圖11A顯示具有5×5個像素之一大小之一簡單平滑濾波器，例如經組態用以加入處於中心的一目標像素381之一像素值與相鄰5×5個像素的像素值(其係藉由一因數1/25來同等加權)並用以設定一像素值的濾波器。圖11B顯示具有5×5個像素之一大小之一加權濾波器，例如經組態用以加入處於中心的一目標像素382之一像素值與相鄰5×5個像素 的像素值(其係依據該等位置藉由一因數1/45至5/45來加權)並用以設定一像素值的濾波器。
出於模糊一影像之目的，藉由考慮其中一亮度變化已發生之一影像像素(下文稱為"亮度變化像素")的二維加寬來調整所使用濾波器的大小(分接頭數目)。例如，在以圖10B所示之方式偵測亮度變化像素之一區域的情況下，四個像素係提供於該等亮度變化像素之區域之一較長側上，並且該濾波器可具有相同大小或更大，例如大約五個分接頭。多於或等於五個分接頭的分接頭之數目(例如七個分接頭或九個分接頭)不會對最終結果具有較大影響。偵測的像素之以上大小僅係一範例。
在使用適合於彩色影像之一單一晶片固態影像元件的情況下，可在馬賽克資料(原始資料)或經受資料內插的資料上執行上述取代程序。
將參考圖12說明該像素值校正單元303之詳細結構與操作。藉由圖4所示之影像器件202產生的具有不同曝光時間的兩種類型之影像資料(即，長時間曝光影像211與短時間曝光影像212)係輸出至其中一亮度變化像素係偵測的影像分析單元302與該像素值校正單元303之一影像組合器391。
如上所述，該影像分析單元302基於該長時間曝光影像211之一像素值與該短時間曝光影像212之一像素值來偵測(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置與(b)該對象之一亮度位準從一低亮度位準 改變至一高亮度位準之一像素位置。關於該等偵測的像素位置的資訊(下文稱為"亮度變化像素位置資訊"或"亮度變化像素位置")係輸入至該像素值校正單元303之一輸出影像產生器393。
該像素值校正單元303之影像組合器391產生基於該長時間曝光影像211與該短時間曝光影像212之一組合影像。明確地說，依據亦在上述讓渡給本發明之受讓人的日本專利申請案第2006－280959號中揭示的技術，該影像組合器391執行替代性處理以產生一寬動態範圍影像390。例如，少於圖5所示之臨限亮度位準253的對應於一暗對象部分之一像素之一像素值係使用該長時間曝光影像211來決定，而多於或等於該臨限亮度位準253的對應於一亮對象部分之一像素之一像素值係使用該短時間曝光影像212來決定。
如上所述，藉由該組合程序產生的寬動態範圍影像390之像素之各像素的像素值之位準係藉由計算當將高與低亮度區域曝露相同週期時估計的所累積電荷之數量或對應於累積電荷之估計數量的一電信號之一輸出值來決定。例如，令該長時間曝光時間為"1"並令該短時間曝光時間為"0.1"。在此情況下，對於針對其該短時間曝光影像212之像素值係選擇為一有效像素值之一像素而言，該短時間曝光影像212之像素值係以一因數十增加，並且結果係設定為該寬動態範圍影像390之一像素值。與該對應像素位置相關聯的長時間曝光影像211之像素值係丟棄。
另一方面，對於針對其該長時間曝光影像211之像素值 係選擇為一有效像素值之一像素而言，該長時間曝光影像211之像素值係直接設定為該寬動態範圍影像390之一像素值。與該對應像素位置相關聯的短時間曝光影像212之像素值係丟棄。
因此，產生基於該長時間曝光影像211與該短時間曝光影像212作為一組合影像的寬動態範圍影像390。該產生的寬動態範圍影像390係輸入至一中間影像產生器392與該輸出影像產生器393。
該中間影像產生器392採用參考圖11A或11B說明的低通濾波器(LPF)，並由該寬動態範圍影像390產生模糊中間影像資料。該中間影像產生器392使用(例如圖11A所示之平滑濾波器、圖11B所示之加權濾波器或類似者)來由該寬動態範圍影像390產生模糊中間影像資料。出於模糊一影像的目的，該濾波器的大小(分接頭之數目)可與藉由該影像分析單元302偵測的一亮度變化像素區域之二維面積大約一樣大。該產生的中間影像係輸入至該輸出影像產生器393。
該輸出影像產生器393接收來自該影像組合器391的寬動態範圍影像390、來自該中間影像產生器392的作為一模糊影像之中間影像資料及來自該影像分析單元302的亮度變化像素位置資訊。
該輸出影像產生器393基於上面接收的資料來產生一輸出影像395。對於位於由該影像分析單元302輸入之亮度變化像素位置以外之一像素而言，該寬動態範圍影像390之 一像素值係設定為該輸出影像395之一像素值。於由該影像分析單元302輸入之亮度變化像素位置處的像素之像素值係基於由該影像組合器391輸入的寬動態範圍影像390之對應像素位置之像素值與由該中間影像產生器392輸入的作為一模糊影像之中間影像資料來決定。
例如，若藉由[Dv]表示與一亮度變化像素位置相關聯的寬動態範圍影像390之一像素值並藉由[Mv]表示與該亮度變化像素位置相關聯的作為一模糊影像的中間影像之一像素值，則藉由以下等式使用係數a與b來決定與該對應像素位置相關聯的輸出影像395之一像素值〔Rv]：[Rv]＝a×[Dv]＋b×[Mv] 其中a＋b＝1。
因此，以一預定a：b比來組合該寬動態範圍影像390之像素值[Dv]與作為一模糊影像的中間影像之像素值[Mv]以決定該輸出影像395之像素值[Rv]。參數a與b係用於設定該比，而參數a與b之值係依據所使用影像元件之特性與一所得影像之主觀評估來調整。例如，參數a與b分別係設定為0.2與0.8。
該輸出影像395之像素值係使用該寬動態範圍影像390與由該寬動態範圍影像390產生的作為一模糊影像之中間影像來計算。可使用一使用(例如)紅色、綠色及藍色單一晶片影像元件獲得的影像來產生該些影像，或藉由RGB資料之轉換獲得的影像資料YCbCr(其係由一光度信號Y與色差 信號Cb與Cr組成)可以係處理以針對該等信號Y、Cb及Cr之各信號來計算一輸出信號值。
此外，可分別針對該光度信號Y與該等色差信號Cb與Cr來計算用於藉由以一預定比加總與組合該寬動態範圍影像390之像素值[Dv]與由該寬動態範圍影像390產生的作為一模糊影像的中間影像之對應像素的像素值[Mv]來計算該輸出影像395之像素值[Rv]的參數a與b，如藉由[Rv]＝a×[Dv]＋b×[Mv]所給出。該等參數a與b可針對紅色、綠色及藍色之各色彩變化，或可針對信號Y、Cb及Cr之各信號變化。
作為一模糊影像的中間影像資料係藉由該中間影像產生器392使用(例如)參考圖11A或11B說明的低通濾波器而作為藉由加入相鄰像素資訊所模糊之一影像來產生。在該模糊影像中，在藉由該影像分析單元302偵測的亮度變化像素位置區域中該原始灰度仍保持，而可包含於該寬動態範圍影像390中的不正確亮度或偽色係與相鄰像素值組合並因而係減小。因此，一亮度變化像素位置處的一像素之一像素值係與作為一模糊影像之中間影像資料與該寬動態範圍影像390組合，從而產生不大大偏離該對象之原始像素值的一致輸出影像。
因此，依據本發明之第一具體實施例，在用於產生基於一輸入長時間曝光影像與一輸入短時間曝光影像之一寬動態範圍影像的程序中，藉由一對象之移動或類似者引起的一亮度變化像素之一像素值係使用該寬動態範圍影像與由 該寬動態範圍影像產生之一模糊影像來決定。此確保具有由於一移動對象或類似者所致的灰階誤差或偽色之減小發生的一高品質輸出影像的產生。
第二具體實施例
將相對於其中防止一亮度變化像素之錯誤偵測的一範例結構來說明本發明之一第二具體實施例之一影像裝置。該第二具體實施例在該影像處理器203中之影像分析單元302的結構上不同於該第一具體實施例。其餘結構係類似於該第一具體實施例的其餘結構。該第二具體實施例的影像裝置之總體結構係類似於參考圖4說明的第一具體實施例之總體結構。依據該第二具體實施例的影像處理器203基本上具有參考圖8說明的結構，並且依據該第二具體實施例的影像處理器203中之像素值校正單元303亦具有類似於參考圖12說明之結構的一結構。
該第二具體實施例在該影像處理器203中之影像分析單元302的操作上不同於該第一具體實施例。在該第二具體實施例中，在偵測一亮度變化像素的程序中防止錯誤偵測。將參考圖13說明一亮度變化像素之錯誤偵測。
圖13顯示藉由該影像分析單元302偵測的亮度變化像素，如相對於依據該第一具體實施例的用於偵測一亮度變化像素之程序之一範例說明的圖10B所示之偵測結果。圖13顯示偵測的亮度變化像素401至404。
如上所述，該影像分析單元302於(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置與(b) 該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置處偵測亮度變化像素。
在用於偵測(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置處的程序中，決定是否滿足決定條件1，即有效輸出值是否係從該短時間曝光影像212與由該長時間曝光影像211獲得。
在用於偵測(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置處的程序中，決定是否滿足決定條件2，即是否該長時間曝光影像211之一像素值係飽和的並且無有效輸出值係從該短時間曝光影像212獲得。
作為基於以上決定程序的一亮度變化像素之偵測的結果，例如圖13所示之亮度變化像素401至404係偵測。在由於(例如)對象之移動所示該對象之亮度位準在一拍攝週期(長時間曝光週期)內變化的情況下，一特定像素區塊(類似於該等亮度變化像素401)係偵測。另一方面，由於藉由像素之間的製造變更、元件驅動條件之變更(例如，中間電位)及類似者引起的錯誤偵測所致，單一亮度變化像素(類似於圖13所示之亮度變化像素402至404)係偵測。
在該第二具體實施例中，該影像處理器203之影像分析單元302分別識別藉由該對象之亮度位準之一變化引起的一正確偵測的亮度變化像素(例如，圖13所示之亮度變化像素401)與藉由像素之間的製造變更、元件驅動條件之變更及類似者引起的一錯誤偵測的亮度變化像素(例如，圖 13所示之亮度變化像素402至404)，並僅擷取該正確偵測的亮度變化像素。
圖14顯示可操作以執行此識別的影像分析單元302之一範例結構。如圖14所示，依據該第二具體實施例的影像分析單元302包括一亮度變化像素偵測器421、一影像轉換器422及一亮度變化像素選擇器423。如在該第一具體實施例中，該亮度變化像素偵測器421接收該長時間曝光影像211與該短時間曝光影像212，並依據上述決定條件1與2來於(a)該對象之一亮度位準從一高亮度位準改變至一低亮度位準之一像素位置與(b)該對象之一亮度位準從一低亮度位準改變至一高亮度位準之一像素位置處偵測亮度變化像素。
作為該等偵測程序的結果，產生圖13所示之一偵測結果影像。該偵測結果影像係設定為其中藉由該亮度變化像素偵測器421偵測之亮度變化像素係設定為1而其餘像素係設定為0的影像。例如，在範圍從0至255的像素值位準之一表示中，該等亮度變化像素係設定為0而其餘像素係設定為255。
該影像轉換器422接收該偵測結果影像，並使用一濾波器執行濾波。將參考圖15明確說明該濾波程序。如圖15所示，其中一亮度變化像素係設定為1而其餘像素係設定為0之一偵測結果影像431乘以一個三分接頭平滑濾波器432。因而，產生一濾波結果433，其中一3×3個像素的面積具有一像素值"0.11"。
圖15顯示在其中一單一獨立亮度變化像素係偵測之一區 域上執行的濾波程序之一範例。作為在其中一單一獨立亮度變化像素係偵測之一區域上執行的濾波程序之結果，獲得圖15所示的濾波結果433，其中該3×3個像素的面積具有一像素值"0.11"。
在該對象之亮度位準由於該對象之移動或類似者所致而變化的情況下，一般而言一特定像素區塊係偵測為一亮度變化像素區域。若將圖15所示之平滑濾波器432應用於此一區域，則不獲得其中該3×3個像素的面積具有一像素值"0.11"的圖15所示之濾波結果433而獲得具有一大於0.11的像素值之一結果。
將藉由該影像轉換器422獲得的濾波結果輸入至該亮度變化像素選擇器423。該亮度變化像素選擇器423基於包含於該濾波結果中的像素之像素值來分別識別一正確偵測的亮度變化像素(即，基於對象之亮度位準之一變化而偵測之一亮度變化像素)與藉由器件誤差或類似者引起之一錯誤偵測的亮度變化像素。明確地說，若在包含於該濾波結果中的像素之像素值中偵測一少於或等於"0.11"的像素值，則決定對應於該偵測的像素值之像素係一錯誤偵測的亮度變化像素。
因此，該錯誤偵測的亮度變化像素係排除，並且僅正確偵測的亮度變化像素(即，關於基於對象之亮度位準之一變化偵測的亮度變化像素的像素位置資訊)係擷取並輸出至該像素值校正單元303。此可排除藉由像素之間的製造變更、元件驅動條件之變更(例如，中間電位)及類似者引 起之一錯誤偵測的像素，並可將僅關於得自該對象之一正確偵測的亮度變化像素之位置資訊輸出至該像素值校正單元303。
在圖15中，藉由用於排除一獨立亮度變化像素之技術的範例該亮度變化像素選擇器423將包含於一濾波結果中的像素值"0.11"用作一臨限值以決定具有少於或等於"0.11"之一像素值的像素係錯誤偵測的區域。例如，為排除一大約兩個並列配置的亮度變化像素之集，該亮度變化像素選擇器423可改變一要使用的臨限值。明確地說，可將一稍大於"0.11"的臨限值用於排除一大約兩個並列配置的亮度變化像素區域之集。
接下來，將說明用於防止一正確偵測的亮度變化像素(即，其中該對象之亮度位準由於該對象之移動或類似者所致而在一拍攝週期(長時間曝光週期)內變化的一像素區域內之一亮度變化像素)之偵測之遺漏的一程序。此程序亦藉由圖14所示之影像分析單元302來執行。然而，在此情況下，該影像轉換器422採用不同於上述用於排除一錯誤偵測的亮度變化像素之濾波器的一濾波器。
例如，該亮度變化像素偵測器421輸出圖13所示之偵測結果。若假定包括於圖13所示之偵測結果中的亮度變化像素401係正確偵測的像素，則偵測遺漏通常發生於該等正確偵測的亮度變化像素401的周圍。此外，作為以上述方式的一錯誤偵測的像素之排除的結果，可能使該等正確偵測的亮度變化像素401之範圍變窄。換言之，使用圖15所 示之濾波器432的濾波程序可能引起一濾波結果的產生，其中該等正確偵測的亮度變化像素401之範圍係變窄以引起該亮度變化像素選擇器423決定僅一小於該等正確偵測的亮度變化像素401之實際範圍的範圍係一正確偵測的亮度變化像素範圍。
為防止此類偵測遺漏，該等正確偵測的亮度變化像素401之範圍係延伸。在此情況下，使用圖16所示之一濾波器442。類似於上面參考圖15說明的濾波器432，其中一亮度變化像素係設定為1而其餘像素係設定為0之一偵測結果影像441乘以該三分接頭濾波器442。因而，產生一濾波結果443，其中一3×3個像素的面積具有一像素值"1"。
在圖16所示之範例中，應用一個三接頭濾波器以將處於中心的像素之像素值範圍向外延伸一像素。藉其延伸該範圍的像素之數目係依據於偵測之時間設定的條件來決定。要延伸的範圍之大小對應於分接頭數目。
將藉由該影像轉換器422獲得的濾波結果輸入至該亮度變化像素選擇器423。該亮度變化像素選擇器423基於包含於該濾波結果中的像素之像素值來偵測一正確偵測的亮度變化像素，即基於對象之亮度位準之一變化偵測的一亮度變化像素。明確地說，若在該濾波結果中包括具有一像素值"1"之一像素，則決定該像素係一正確偵測的亮度變化像素。
該亮度變化像素選擇器423可基於未受濾波的輸入原始偵測結果資訊來進一步偵測一亮度變化像素位置，以及基 於該影像轉換器422之濾波結果來偵測一正確偵測的亮度變化像素位置。該亮度變化像素選擇器423可分別儲存兩種類型之偵測的資訊，即(1)基於該原始偵測結果的亮度變化像素位置資訊與(2)基於該濾波結果的亮度變化像素位置資訊，並可將其輸出至該像素值校正單元303。該像素值校正單元303可根據其中該像素值範圍係使用一濾波器延伸的亮度變化像素與依據兩種類型之資訊的初始偵測的亮度變化像素來改變上述參數之值，其係用於產生一輸出影像。明確地說，如上所述，若藉由[Dv]表示該寬動態範圍影像390之一像素值並藉由[Mv]表示作為一模糊影像的中間影像之一像素值，則藉由以下等式使用係數a與b來決定該輸出影像395的對應像素位置之一像素值[Rv]：[Rv]＝a×[Dv]＋b×[Mv] 例如，可分別將該等參數a與b設定為0.2與0.8以決定未受濾波的初始偵測的亮度變化區域內的一像素之一像素值，並可分別將該等參數a與b設定為0.4與0.6以決定新使用一濾波器偵測的亮度變化區域內的一像素之一像素值。此確保一更平滑與自然的輸出影像。
此外，在使用參考圖15說明的濾波器432執行濾波以藉由該亮度變化像素選擇器423排除一錯誤偵測的像素之後，可進一步使用參考圖16說明的濾波器442來執行濾波以藉由該亮度變化像素選擇器423正確選擇一亮度變化像素。或者，可執行以上濾波程序之一。
第三具體實施例
將相對於藉由依據圖12所示之第一具體實施例的像素值校正單元303中之中間影像產生器(模糊程序)392執行的模糊影像產生程序之修改之一範例來說明依據本發明之一第三具體實施例的一影像處理裝置。
在該第一具體實施例中，如參考圖12所說明，圖12所示的像素值校正單元303中的中間影像產生器(模糊程序)392接收該寬動態範圍影像390並使用(藉由範例)圖11A或11B所示之低通濾波器產生一模糊影像。
然而，在對象大幅移動的情況下，該濾波器之分接頭之數目增加，而以硬體實施可能較為困難。在該第三具體實施例中，一模糊影像係藉由放大與減小一影像來產生。一影像係減小以減小資訊之數量，並且具有減小資訊的所得影像係放大以從而實現類似於該模糊程序之該些優點的優點。該減小與放大程序係基於(例如)一雙線性(雙線性內插)程序。
將參考圖17說明依據該第三具體實施例的一像素值校正單元303'的結構與操作。依據該第三具體實施例的像素值校正單元303'係經組態使得參考圖12說明的依據該第一具體實施例的像素值校正單元303中的中間影像產生器392之結構係修改。
該中間影像產生器392包括：一影像減小單元501，其經組態用以接收與減小該寬動態範圍影像390以產生一減小影像；一記憶體502，其經組態用以儲存藉由該影像減小 單元501產生之減小影像；以及一影像放大單元503，其經組態用以擷取與放大來自該記憶體502的減小影像。
該影像減小單元501接收該寬動態範圍影像390並執行一雙線性(雙線性內插)操作以產生一減小影像，其垂直與水平尺寸減小(例如)1/16(面積減小1/256)。該減小影像係儲存於該記憶體502中。該影像放大單元503擷取儲存於該記憶體502中的減小影像並使用一雙線性(雙線性內插)程序來放大該擷取影像。該放大影像對應於藉由模糊該寬動態範圍影像390獲得之資料。
因為模糊影像資料僅係用於對應於一亮度變化像素之位置的一影像部分(於其一模糊影像之一像素值係由該輸出影像產生器393所使用)，故該影像放大單元503可放大儲存於該記憶體502中的減小影像之一限制影像區域(包括該亮度變化像素之位置)以產生一部分影像。在此情況下，該影像放大單元503接收來自該影像分析單元302之亮度變化像素位置資訊，並基於該接收的亮度變化像素位置資訊來決定要經受該放大程序之一部分區域。該影像放大單元503放大該部分區域以產生一放大影像(模糊影像)，並將該放大影像輸出至該輸出影像產生器393。
第四具體實施例
在前述具體實施例中，該中間影像產生器(模糊程序)392使用圖11A或11B所示之低通濾波器或如上所述藉由執行一影像減小與放大程序來由該寬動態範圍影像390產生一模糊影像。
根據拍攝環境(例如光源、對象之色彩及對象之速度)，可能在一移動對象區域中產生一高彩色飽和度偽色，並且即使在一模糊影像中該偽色可能仍較為明顯。依據本發明之一第四具體實施例的一影像裝置可操作以避免此一問題。
圖18顯示依據該第四具體實施例的一像素值校正單元303"之一範例結構。依據該第四具體實施例的像素值校正單元303"係經組態使得在參考圖12說明的依據第一具體實施例的像素值校正單元303中的中間影像產生器392之前進一步提供一影像校正單元(彩色飽和度減小程序)521。
該影像校正單元(彩色飽和度減小程序)521接收該寬動態範圍影像390，並執行一彩色飽和度減小程序以產生一減小飽和度影像，其彩色飽和度減小。該減小飽和度影像係輸入至該中間影像產生器392。該中間影像產生器392模糊該減小飽和度影像以產生一模糊影像。
該影像校正單元(彩色飽和度減小程序)521減小該寬動態範圍影像390的彩色飽和度。該寬動態範圍影像390係分成光度與色差信號(例如Y、Cb及Cr)，並僅在一亮度變化像素區域中減小該等色差信號。該影像校正單元(彩色飽和度減小程序)521接收來自該影像分析單元302的亮度變化像素位置資訊，並僅在依據該接收資訊的一亮度變化像素區域中減小該等色差信號。
圖19顯示該等色差信號係減小的速率之一範例。在圖19中，橫座標軸表示一輸入影像或該寬動態範圍影像390之 色差信號Cb與Cr的絕對值，而縱座標軸表示作為藉由該影像校正單元(彩色飽和度減小程序)521之彩色飽和度減小程序的結果所獲得之一影像之色差信號Cb與Cr的絕對值。如圖19所示，在其中該寬動態範圍影像390之色差信號Cb與Cr之絕對值的範圍從0至Va的一區段區域中該彩色飽和度係減小。其中要執行以上程序的彩色飽和度範圍根據影像元件或拍攝條件而不同，並係針對每一影像系統而最佳化。
該中間影像產生器392模糊該減小飽和度影像以產生一模糊影像。藉由在產生一模糊影像之前執行該彩色飽和度減小程序，可防止在一移動對象區域中產生的甚至一高彩色飽和度偽色在該模糊影像中較為明顯，並可減小一最終輸出影像上此一偽色的效應。
第五具體實施例
依據本發明之一第五具體實施例的一影像裝置係經組態使得在一輸出影像之處理的最終階段中啟動一低通濾波器。圖20顯示依據該第五具體實施例的一像素值校正單元303'''之一範例結構。依據該第五具體實施例的像素值校正單元303'''係經組態使得在參考圖12說明的依據第一具體實施例的像素值校正單元303中的輸出影像產生器393之後進一步提供一影像校正單元(低通濾波器)541。
如先前第一具體實施例所述，該輸出影像產生器393接收來自該影像組合器391的寬動態範圍影像390、來自該中間影像產生器392的作為一模糊影像之中間影像資料及來 自該影像分析單元302的亮度變化像素位置資訊。
對於位於由該影像分析單元302輸入之亮度變化像素位置以外之一像素而言，該寬動態範圍影像390之一像素值係設定為該輸出影像395之一像素值。於由該影像分析單元302輸入之亮度變化像素位置處的像素之像素值係基於由該影像組合器391輸入的寬動態範圍影像390之對應像素位置之像素值與由該中間影像產生器392輸入的作為一模糊影像之中間影像資料來決定。明確地說，若藉由[Dv]表示與一亮度變化像素位置相關聯的寬動態範圍影像390之一像素值並藉由[Mv]表示與該亮度變化像素位置相關聯的作為一模糊影像的中間影像之一像素值，則藉由以下等式使用係數a與b來決定該輸出影像395之對應像素位置之一像素值[Rv]：[Rv]＝a×[Dv]＋b×[Mv] 因此，該輸出影像395的像素值係決定。
在藉由該輸出影像產生器393產生的影像中，可能在其中像素值係取代之一像素區域或於該像素區域與其中無像素值係取代之一區域之間的邊界處引起不自然灰階。該影像校正單元(低通濾波器)541將一低通濾波器應用於藉由該輸出影像產生器393產生的影像以產生一最終輸出影像。
用於該影像校正單元(低通濾波器)541之濾波器的形狀或組態可類似於上面參考圖11A或11B說明之濾波器的形狀或組態。換言之，可使用圖11A所示之平滑濾波器、圖 11B所示之加權濾波器或類似者。該濾波器的大小(分接頭之數目)可較佳的係足以包括其中像素值係取代之一像素區域或一更大區域。較佳的係，該影像校正單元(低通濾波器)541接收來自該影像分析單元302的亮度變化像素位置資訊，並決定在執行該處理之前所使用的濾波器之大小(分接頭之數目)。
已參考本發明之特定具體實施例詳細說明本發明。然而，熟習此項技術者應明白可進行各種修改或替代而不脫離本發明之範疇。即，本發明之範例性具體實施例已被揭示，並且不視為限制本發明。本發明之範疇應藉由隨附申請專利範圍來決定。
可藉由硬體或軟體或其一組合來實施本文說明的程序系列。當藉由軟體實施該程序系列時，可將具有一處理序列之一程式安裝於併入專用硬體並執行的一電腦之一內部記憶體中，或可將其安裝於能夠執行各種類型之處理並執行的一通用電腦上。
可在一記錄媒體(例如一硬碟或一唯讀記憶體(ROM))上預先記錄該程式。或者，可將該程式暫時或永久地儲存(或記錄)於一可移動記錄媒體(例如軟碟、光碟唯讀記憶體(CD－ROM)、磁光(MO)碟片、數位多功能碟片(DVD)、磁碟或半導體記憶體)中。可將此類可移動記錄媒體提供為封裝的軟體。
該程式係由此類可移除記錄媒體安裝於一電腦上，或係由一下載網站無線傳送至該電腦或經由一網路(例如一區 域網路(LAN)或網際網路)經由導線傳送至該電腦，使得該電腦可接收以上述方式傳送的程式並可將程式安裝於一內部記錄媒體(例如一硬碟)中。
可依據執行該等程序的裝置之效能來並列或個別以及以本文說明的順序來執行本文說明的程序。本文使用的術語系統表示一邏輯裝置集而與該等裝置是否係封裝於一單一外罩中無關。
熟習此項技術者應明白，可根據設計要求及其他因素進行各種修改、組合、子組合及替代，只要其在隨附申請專利範圍或其等效物之範疇內。
100‧‧‧像素
101‧‧‧光二極體
102‧‧‧傳送電晶體
103‧‧‧重設電晶體
104‧‧‧放大電晶體
105‧‧‧選擇電晶體
106‧‧‧浮動擴散(FD)節點
201‧‧‧光學透鏡
202‧‧‧影像器件
203‧‧‧影像處理器
211‧‧‧長時間曝光影像
212‧‧‧短時間曝光影像
251‧‧‧高亮度區域線
252‧‧‧低亮度區域線
253‧‧‧臨限亮度位準
261‧‧‧亮度變化區域線
301‧‧‧影像輸入單元
302‧‧‧影像分析單元
303‧‧‧像素值校正單元
303'‧‧‧像素值校正單元
303"‧‧‧像素值校正單元
303'''‧‧‧像素值校正單元
321‧‧‧亮度變化像素線A
322‧‧‧亮度變化像素線B
323‧‧‧臨限線
351‧‧‧暗矩形對象
352‧‧‧對象位置
361‧‧‧像素區域
362‧‧‧像素區域
371‧‧‧像素位置
372‧‧‧像素位置
381‧‧‧目標像素
382‧‧‧目標像素
390‧‧‧寬動態範圍影像
391‧‧‧影像組合器
392‧‧‧中間影像產生器(模糊程序)
393‧‧‧輸出影像產生器
395‧‧‧輸出影像
401‧‧‧亮度變化像素
402‧‧‧亮度變化像素
403‧‧‧亮度變化像素
404‧‧‧亮度變化像素
421‧‧‧亮度變化像素偵測器
422‧‧‧影像轉換器
423‧‧‧亮度變化像素選擇器
431‧‧‧偵測結果影像
432‧‧‧平滑濾波器
433‧‧‧濾波結果
441‧‧‧偵測結果影像
442‧‧‧濾波器
443‧‧‧濾波結果
501‧‧‧影像減小單元
502‧‧‧記憶體
503‧‧‧影像放大單元
521‧‧‧影像校正單元(彩色飽和度減小程序)
541‧‧‧影像校正單元(低通濾波器)
圖1係顯示一影像器件之一範例電路結構的圖式；圖2係顯示該影像器件之輸出操作之一範例的圖式；圖3係顯示該影像器件上之入射光強度與輸出電子之數目之間的關係的圖式；圖4係顯示依據本發明之一第一具體實施例的一影像處理裝置之範例結構的圖式；圖5係顯示一用於產生兩種類型之影像(即，一長時間曝光影像與一短時間曝光影像)的程序的圖式；圖6係顯示在一用於產生兩種類型之影像(即，一長時間曝光影像與一短時間曝光影像)的程序中一對象之亮度位準的變化之效應的圖式；圖7A與7B係顯示一拜耳圖案之範例的圖式，其係用於一典型濾色器中之一彩色圖案； 圖8係顯示該影像處理裝置中一影像處理器之一範例結構的圖式；圖9係顯示該影像處理器之操作之一特定範例的圖式；圖10A與10B係顯示一用於偵測亮度變化像素之程序之一特定範例的圖式；圖11A與11B係顯示用於影像模糊的一低通濾波器(LPF)之範例的圖式；圖12係顯示該影像處理裝置中一像素值校正單元之詳細結構與操作的圖式；圖13係顯示亮度變化像素之錯誤偵測的圖式；圖14係顯示依據本發明之一第二具體實施例的一影像分析單元之結構與操作的圖式；圖15係顯示藉由依據該第二具體實施例的影像分析單元執行之一濾波程序的圖式；圖16係顯示藉由依據該第二具體實施例的影像分析單元執行之一濾波程序的圖式；圖17係顯示依據本發明之一第三具體實施例的一像素值校正單元之結構與操作的圖式；圖18係顯示依據本發明之一第四具體實施例的一像素值校正單元之結構與操作的圖式；圖19係顯示藉由依據該第四具體實施例的像素值校正單元執行之一彩色飽和度減小程序的圖式；以及圖20係顯示依據本發明之一第五具體實施例的一像素值校正單元之結構與操作的圖式。
211‧‧‧長時間曝光影像
212‧‧‧短時間曝光影像
302‧‧‧影像分析單元
303‧‧‧像素值校正單元
390‧‧‧寬動態範圍影像
391‧‧‧影像組合器
392‧‧‧中間影像產生器(模糊程序)
393‧‧‧輸出影像產生器
395‧‧‧輸出影像

Claims (27)

  1. 一種影像處理裝置，其包含：一影像輸入單元，其經組態用以接收一長時間曝光影像與一短時間曝光影像；一影像分析單元，其經組態用以基於該長時間曝光影像與該短時間曝光影像中的像素值之分析來偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝週期期間發生；以及一像素值校正單元，其經組態用以校正藉由該影像分析單元偵測的該亮度變化像素之一像素值，其中該像素值校正單元包括一組合影像產生器，其經組態用以選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值以產生一組合影像，一中間影像產生器，其經組態用以產生一中間影像，該中間影像係該組合影像之一模糊影像，以及一輸出影像產生器，其經組態用以使用該組合影像中的一對應像素之一像素值與該中間影像中的一對應像素之一像素值來決定藉由該影像分析單元偵測的該亮度變化像素之一像素值，該對應像素係位於對應於該亮度變化像素之一位置。
  2. 如請求項1之影像處理裝置，其中該輸出影像產生器係經組態用以使用以下等式來決定一輸出影像中之該對應像素之一像素值： [Rv]=a×[Dv]+b×[Mv]其中[Rv]表示該輸出影像中的該對應像素之該像素值，[Dv]表示該組合影像中的該對應像素之該像素值，[Mv]表示該中間影像中的該對應像素之該像素值，而a與b表示係數，其中a+b=1。
  3. 如請求項1之影像處理裝置，其中該影像分析單元係經組態用以偵測一像素位置，在該像素位置處自該短時間曝光影像獲得一有效輸出值並且在該像素位置處自該長時間曝光影像獲得一有效輸出值，並係經組態用以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一高亮度位準改變至一低亮度位準。
  4. 如請求項1之影像處理裝置，其中該影像分析單元係經組態用以偵測一像素位置，在該像素位置處該長時間曝光影像中之一像素值係飽和的並且在該像素位置處無有效輸出值係自該短時間曝光影像獲得，並係經組態用以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一低亮度位準改變至一高亮度位準。
  5. 如請求項1之影像處理裝置，其中該影像分析單元係經組態用以使用一平滑濾波器執行基於該偵測的亮度變化像素的一偵測結果影像上之影像轉換，並係經組態用以基於由於該影像轉換獲得之一影像來排除錯誤偵測的一亮度變化像素。
  6. 如請求項1之影像處理裝置，其中該影像分析單元係經組態用以使用一濾波器執行基於該偵測的亮度變化像素 的一偵測結果影像上之影像轉換，並係經組態用以放大一亮度變化像素區域。
  7. 如請求項6之影像處理裝置，其中該輸出影像產生器係經組態用以藉由該以下等式使用係數來決定一輸出影像中之該對應像素之一像素值：[Rv]=a×[Dv]+b×[Mv]其中[Rv]表示該輸出影像中的該對應像素之該像素值，[Dv]表示該組合影像中的該對應像素之該像素值，[Mv]表示該中間影像中的該對應像素之該像素值，而a與b表示該等係數，其中a+b=1，以及其中該輸出影像產生器係經組態用以藉由使用用以決定基於該組合影像偵測的一亮度變化像素區域之像素值的一第一係數集與用以決定使用該濾波器放大的該亮度變化像素區域之像素值的一第二係數集作為該等係數來決定該輸出影像中的該對應像素之該像素值，該第一係數集與該第二係數集具有彼此不同的值。
  8. 如請求項1之影像處理裝置，其中該中間影像產生器係經組態用以將一平滑濾波器應用於該組合影像以產生一模糊影像。
  9. 如請求項1之影像處理裝置，其中該中間影像產生器係經組態用以減小與放大該組合影像以產生一模糊影像。
  10. 如請求項1之影像處理裝置，其中該像素值校正單元進一步包括一影像校正單元，其經組態用以減小藉由該組 合影像產生器產生的該組合影像之一彩色飽和度以產生一飽和度減小影像，以及其中該中間影像產生器係經組態用以接收藉由該影像校正單元產生的該飽和度減小影像並用以產生一模糊影像。
  11. 如請求項1之影像處理裝置，其中該像素值校正單元進一步包括一影像校正單元，其經組態用以執行將一低通濾波器應用於藉由該輸出影像產生器產生之一影像的一影像校正程序。
  12. 如請求項1至11中任一項之影像處理裝置，其中產生該長時間曝光影像之一曝光週期包括其中產生該短時間曝光影像之一曝光週期，以及其中該短時間曝光影像與該長時間曝光影像係藉由一單一影像元件自一相同像素產生的影像。
  13. 一種影像裝置，其包含：一影像器件，其經組態用以產生一長時間曝光影像與一短時間曝光影像；一影像分析單元，其經組態用以基於該長時間曝光影像與該短時間曝光影像中的像素值之分析來偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝週期期間發生；以及一像素值校正單元，其經組態用以校正藉由該影像分析單元偵測的該亮度變化像素之一像素值，其中該像素值校正單元包括 一組合影像產生器，其經組態用以選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值以產生一組合影像，一中間影像產生器，其經組態用以產生一中間影像，該中間影像係該組合影像之一模糊影像，以及一輸出影像產生器，其經組態用以使用該組合影像中的一對應像素之一像素值與該中間影像中的該對應像素之一像素值來決定藉由該影像分析單元偵測的該亮度變化像素之一像素值，該對應像素係位於對應於該亮度變化像素之一位置。
  14. 如請求項13之影像裝置，其中產生該長時間曝光影像之一曝光週期包括其中產生該短時間曝光影像之一曝光週期，以及其中該影像器件係經組態用以使用一單一影像元件來自一相同像素產生該短時間曝光影像與該長時間曝光影像。
  15. 一種用於在一影像處理裝置中執行影像處理的影像處理方法，該影像處理方法包含以下步驟：藉由一影像輸入單元，接收一長時間曝光影像與一短時間曝光影像；藉由一影像分析單元，基於該長時間曝光影像與該短時間曝光影像中的像素值之分析來偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝週期期間發生；以及 藉由一像素值校正單元，校正該偵測的亮度變化像素之一像素值，其中校正之步驟包括以下步驟藉由選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值來產生一組合影像，產生一中間影像，該中間影像係該組合影像之一模糊影像，以及使用該組合影像中的一對應像素之一像素值與該中間影像中的該對應像素之一像素值來決定藉由該影像分析單元偵測的該亮度變化像素之一像素值，該對應像素係位於對應於該亮度變化像素之一位置。
  16. 如請求項15之影像處理方法，其中決定之步驟包括以下步驟：使用該以下等式來決定一輸出影像中的該對應像素之一像素值：[Rv]=a×[Dv]+b×[Mv]其中[Rv]表示該輸出影像中的該對應像素之該像素值，[Dv]表示該組合影像中的該對應像素之該像素值，[Mv]表示該中間影像中的該對應像素之該像素值，而a與b表示係數，其中a+b=1。
  17. 如請求項15之影像處理方法，其中偵測之步驟包括以下步驟：偵測一像素位置，在該像素位置處自該短時間曝光影 像獲得一有效輸出值並且在該像素位置處自該長時間曝光影像獲得一有效輸出值，以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一高亮度位準改變至一低亮度位準。
  18. 如請求項15之影像處理方法，其中該偵測步驟包括以下步驟：偵測一像素位置，在該像素位置處該長時間曝光影像中之一像素值係飽和的並且在該像素位置處無有效輸出值係自該短時間曝光影像獲得，以決定位於該偵測的像素位置之一像素係一亮度變化像素，其亮度位準從一低亮度位準改變至一高亮度位準。
  19. 如請求項15之影像處理方法，其中該偵測步驟包括以下步驟：使用一平滑濾波器來在基於該偵測的亮度變化像素之一偵測結果影像上執行影像轉換以基於由於該影像轉換獲得之一影像來排除錯誤偵測的一亮度變化像素。
  20. 如請求項15之影像處理方法，其中該偵測步驟包括以下步驟：使用一濾波器來在基於該偵測的亮度變化像素之一偵測結果影像上執行影像轉換以放大一亮度變化像素區域。
  21. 如請求項20之影像處理方法，其中該決定步驟包括以下步驟：藉由該以下等式使用係數來決定一輸出影像中的該對 應像素之一像素值：[Rv]=a×[Dv]+b×[Mv]其中[Rv]表示該輸出影像中的該對應像素之該像素值，[Dv]表示該組合影像中的該對應像素之該像素值，[Mv]表示該中間影像中的該對應像素之該像素值，而a與b表示該等係數，其中a+b=1，其中該輸出影像中的該對應像素之該像素值係使用用以決定基於該組合影像偵測的一亮度變化像素區域之像素值的一第一係數集與用以決定使用該濾波器放大的該亮度變化像素區域之像素值的一第二係數集作為該等係數來決定，該第一係數集與該第二係數集具有彼此不同的值。
  22. 如請求項15之影像處理方法，其中產生一中間影像之步驟包括以下步驟：將一平滑濾波器應用於該組合影像以產生一模糊影像。
  23. 如請求項15之影像處理方法，其中該產生一中間影像之步驟包括以下步驟：減小與放大該組合影像以產生一模糊影像。
  24. 如請求項15之影像處理方法，其中該校正步驟進一步包括以下步驟：減小該產生的組合影像之一彩色飽和度以產生一飽和度減小影像，以及 其中該產生一中間影像之步驟在接收該產生的飽和度減小影像之後隨即產生一模糊影像。
  25. 如請求項15之影像處理方法，其中該校正步驟進一步包括以下步驟：執行將一低通濾波器應用於在該決定步驟中產生之一影像的一影像校正程序。
  26. 如請求項15至25中任一項之影像處理方法，其中產生該長時間曝光影像之一曝光週期包括其中產生該短時間曝光影像之一曝光週期，以及其中該短時間曝光影像與該長時間曝光影像係藉由一單一影像元件自一相同像素產生的影像。
  27. 一種電腦程式，其用於引起一影像處理裝置執行影像處理，該電腦程式包含以下步驟：引起一影像輸入單元接收一長時間曝光影像與一短時間曝光影像；引起一影像分析單元基於該長時間曝光影像與該短時間曝光影像中的像素值之分析來偵測一亮度變化像素，其中決定一亮度變化已在對應於一長時間曝光時間之一拍攝週期期間發生；以及引起一像素值校正單元校正在引起一影像分析單元偵測一亮度變化像素之步驟中偵測的該亮度變化像素之一像素值，其中引起一像素值校正單元校正一像素值之步驟包括以下步驟： 藉由選擇性地組合該長時間曝光影像中之像素值與該短時間曝光影像中之像素值來產生一組合影像，產生該組合影像之一模糊影像，以及藉由使用該組合影像中的一對應像素之一像素值與一中間影像中的該對應像素之一像素值決定藉由該影像分析單元偵測的該亮度變化像素之一像素值來產生一輸出影像，該對應像素係位於對應於該亮度變化像素之一位置。
TW097105249A 2007-03-09 2008-02-14 影像處理裝置，影像裝置，影像處理方法及電腦程式 TWI397321B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007059972A JP4905187B2 (ja) 2007-03-09 2007-03-09 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
TW200847794A TW200847794A (en) 2008-12-01
TWI397321B true TWI397321B (zh) 2013-05-21

Family

ID=39741700

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097105249A TWI397321B (zh) 2007-03-09 2008-02-14 影像處理裝置，影像裝置，影像處理方法及電腦程式

Country Status (5)

Country Link
US (1) US8150201B2 (zh)
JP (1) JP4905187B2 (zh)
KR (1) KR101464361B1 (zh)
CN (1) CN101262564B (zh)
TW (1) TWI397321B (zh)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US8446503B1 (en) * 2007-05-22 2013-05-21 Rockwell Collins, Inc. Imaging system
JP2008292725A (ja) * 2007-05-24 2008-12-04 Sanyo Electric Co Ltd 照明装置および投写型映像表示装置
JP5349790B2 (ja) * 2007-11-16 2013-11-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5072751B2 (ja) * 2008-07-14 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8405750B2 (en) * 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
US8350940B2 (en) * 2009-06-08 2013-01-08 Aptina Imaging Corporation Image sensors and color filter arrays for charge summing and interlaced readout modes
JP5589446B2 (ja) * 2009-09-18 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5458865B2 (ja) 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5428792B2 (ja) * 2009-11-17 2014-02-26 ソニー株式会社 固体撮像素子およびその駆動方法、カメラシステム、プログラム
US8737755B2 (en) * 2009-12-22 2014-05-27 Apple Inc. Method for creating high dynamic range image
US20110149111A1 (en) * 2009-12-22 2011-06-23 Prentice Wayne E Creating an image using still and preview
US8324550B2 (en) 2010-06-22 2012-12-04 Aptina Imaging Corporation High dynamic range imaging systems
JP2012019392A (ja) * 2010-07-08 2012-01-26 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2012027390A (ja) * 2010-07-27 2012-02-09 Olympus Corp 撮像装置
JP5617445B2 (ja) 2010-08-31 2014-11-05 ソニー株式会社 撮像装置、および信号処理方法、並びにプログラム
JP5569298B2 (ja) * 2010-09-28 2014-08-13 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5767485B2 (ja) * 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
US10046716B2 (en) 2011-02-10 2018-08-14 Denso Corporation In-vehicle camera and vehicle control system
US8873882B2 (en) * 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
JP5333522B2 (ja) * 2011-06-06 2013-11-06 カシオ計算機株式会社 動画生成装置、動画生成方法、および、プログラム
JP6176028B2 (ja) * 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
US9690997B2 (en) 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
US9172889B2 (en) 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
JP5409829B2 (ja) * 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
US9007488B2 (en) 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
AU2012374649A1 (en) 2012-03-27 2014-09-11 Sony Corporation Image processing device, image-capturing element, image processing method, and program
IN2015MN00020A (zh) * 2012-07-26 2015-10-16 Olive Medical Corp
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
JP6152635B2 (ja) 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9131172B2 (en) * 2012-11-30 2015-09-08 Hanwha Techwin Co., Ltd. Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
KR101767094B1 (ko) * 2012-12-03 2017-08-31 한화테크윈 주식회사 영상 처리 장치 및 방법
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
CN103973997B (zh) * 2013-02-05 2017-09-26 浙江大华技术股份有限公司 一种图像处理方法及装置
US9019401B2 (en) * 2013-02-26 2015-04-28 GM Global Technology Operations LLC System and method for creating an image with a wide dynamic range
WO2014156484A1 (ja) * 2013-03-27 2014-10-02 リコーイメージング株式会社 撮影装置及び撮影制御システム
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器
CN104427254B (zh) * 2013-09-10 2019-01-15 联想(北京)有限公司 感光控制方法及感光控制装置
US8830367B1 (en) * 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
KR102159256B1 (ko) 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
EP3078191B1 (en) 2013-12-04 2020-04-29 Rambus Inc. High dynamic-range image sensor
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US9843750B2 (en) * 2014-03-25 2017-12-12 Samsung Electronics Co., Ltd. Methods of calibrating linear-logarithmic image sensors
CA2847707C (en) 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
CA2860014C (en) * 2014-08-19 2021-11-23 Intelliview Technologies Inc. Video based indoor leak detection
JP6299544B2 (ja) * 2014-09-24 2018-03-28 株式会社Ｊｖｃケンウッド 固体撮像装置
GB201509384D0 (en) * 2015-06-01 2015-07-15 Apical Ltd Reducing bandwidth for HDR storage
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
US9843738B2 (en) * 2015-10-01 2017-12-12 Semiconductor Components Industries, Llc High dynamic range imaging pixels with improved readout
JP6800871B2 (ja) * 2015-10-16 2020-12-16 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
WO2017065057A1 (ja) * 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
JP6825625B2 (ja) * 2016-06-28 2021-02-03 ソニー株式会社 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
US9774811B1 (en) * 2016-09-27 2017-09-26 Omnivision Technologies, Inc. Ramp signal generator for double ramp analog to digital converter
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
US9892487B1 (en) * 2016-11-28 2018-02-13 Sony Corporation Method and apparatus for combining pixel values in array including linear pixels and logarithmic pixels
JP7118893B2 (ja) * 2016-12-02 2022-08-16 ソニーセミコンダクタソリューションズ株式会社 撮像素子および撮像方法、並びに電子機器
CN106961550B (zh) * 2017-03-07 2020-02-14 浙江大华技术股份有限公司 一种摄像状态的切换方法及装置
CN107770438B (zh) * 2017-09-27 2019-11-29 维沃移动通信有限公司 一种拍照方法及移动终端
JP6833751B2 (ja) 2018-03-20 2021-02-24 株式会社東芝 撮像制御装置、撮像装置、及び撮像制御方法
CN110047040B (zh) * 2019-04-03 2023-03-28 浙江工业大学 一种基于图像的数字竹编画自动生成方法
CN112243090B (zh) * 2019-07-16 2024-10-18 三星电子株式会社 图像传感器和图像处理系统
WO2021196209A1 (zh) * 2020-04-03 2021-10-07 深圳市大疆创新科技有限公司 图像处理方法及设备、摄像装置、可移动设备、计算机可读存储介质
CN111479072B (zh) * 2020-04-14 2021-12-17 深圳市道通智能航空技术股份有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机
JP7231598B2 (ja) * 2020-11-05 2023-03-01 マクセル株式会社 撮像装置
CN116941247A (zh) 2021-03-09 2023-10-24 索尼半导体解决方案公司 成像装置和电子设备
CN112884766B (zh) * 2021-03-25 2023-07-14 深圳大学 基于卷积神经网络的mri图像处理方法、装置及相关设备
US11924563B2 (en) * 2021-12-22 2024-03-05 Qualcomm Incorporated High dynamic range (HDR) photography with in-sensor zoom
US12096129B2 (en) * 2022-02-24 2024-09-17 Qualcomm Incorporated Multi-frame auto exposure control (AEC)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117520A1 (en) * 1998-04-23 2003-06-26 Fossum Eric R. Wide dynamic range fusion using memory look-up
US20040080652A1 (en) * 2002-07-25 2004-04-29 Shinichi Nonaka Electric camera
US20040136603A1 (en) * 2002-07-18 2004-07-15 Vitsnudel Iiia Enhanced wide dynamic range in imaging
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972256A (en) * 1988-02-05 1990-11-20 Dainippon Screen Mfg. Co., Ltd. Method of enhancing image sharpness for image reproduction using sharp/unsharp signal processing
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP3410392B2 (ja) * 1993-01-19 2003-05-26 松下電器産業株式会社 画像表示方法及びその装置
JPH10509824A (ja) * 1994-11-23 1998-09-22 イメイション・コーポレイション 画像データの適応的補間のためのシステム及び方法
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
US6825884B1 (en) * 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
JP3458741B2 (ja) * 1998-12-21 2003-10-20 ソニー株式会社 撮像方法及び撮像装置、画像処理方法及び画像処理装置
JP2001238128A (ja) * 2000-02-22 2001-08-31 Olympus Optical Co Ltd 画像処理装置
JP4399693B2 (ja) * 2000-09-21 2010-01-20 ソニー株式会社 撮像装置
US20060020281A1 (en) * 2000-10-13 2006-01-26 Smith Robert C Valve assembly including diameter reduction structure for trocar
JP3866957B2 (ja) * 2001-10-23 2007-01-10 オリンパス株式会社 画像合成装置
JP2003158669A (ja) * 2001-11-21 2003-05-30 Olympus Optical Co Ltd 撮像装置
JP2004048445A (ja) * 2002-07-12 2004-02-12 Fuji Photo Film Co Ltd 画像合成方法及び装置
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP4392492B2 (ja) * 2003-06-02 2010-01-06 国立大学法人静岡大学 広ダイナミックレンジイメージセンサ
US7391933B2 (en) * 2003-10-30 2008-06-24 Samsung Electronics Co., Ltd. Method and apparatus for image interpolation based on adaptive polyphase filters
EP1641249A1 (en) * 2004-09-27 2006-03-29 STMicroelectronics Limited Improvements in or relating to image sensors
US20060221218A1 (en) * 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
EP1929769A1 (en) * 2005-09-19 2008-06-11 Robert Bosch Gmbh Image pickup apparatus
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP4973115B2 (ja) * 2006-10-16 2012-07-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
JP5589446B2 (ja) * 2009-09-18 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117520A1 (en) * 1998-04-23 2003-06-26 Fossum Eric R. Wide dynamic range fusion using memory look-up
US20040136603A1 (en) * 2002-07-18 2004-07-15 Vitsnudel Iiia Enhanced wide dynamic range in imaging
US20040080652A1 (en) * 2002-07-25 2004-04-29 Shinichi Nonaka Electric camera
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography

Also Published As

Publication number Publication date
JP2008227697A (ja) 2008-09-25
JP4905187B2 (ja) 2012-03-28
CN101262564B (zh) 2010-10-13
US20080219585A1 (en) 2008-09-11
KR20080082902A (ko) 2008-09-12
KR101464361B1 (ko) 2014-11-24
TW200847794A (en) 2008-12-01
CN101262564A (zh) 2008-09-10
US8150201B2 (en) 2012-04-03

Similar Documents

Publication Publication Date Title
TWI397321B (zh) 影像處理裝置，影像裝置，影像處理方法及電腦程式
JP5189092B2 (ja) 拡張されたダイナミック・レンジのデジタル画像の生成
JP5589446B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
TWI432019B (zh) An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program
US8798395B2 (en) Image processing apparatus, image processing method, and program
JP4773179B2 (ja) 撮像装置
JP5152114B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
US8179445B2 (en) Providing improved high resolution image
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP5523802B2 (ja) 画像処理装置
US20180115752A1 (en) Imaging device, imaging method, program, and image processing device
US8150209B2 (en) Method of forming a combined image based on a plurality of image frames
JP2007174277A (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP5047055B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP4529563B2 (ja) 偽信号抑制処理方法および偽信号抑制処理回路並びに撮像装置
JP2010178226A (ja) 撮像装置、色収差抑制方法、色収差抑制回路及びプログラム
JP4725052B2 (ja) 撮像装置
JP2002112108A (ja) 画像処理装置
US20240048822A1 (en) Image capture apparatus and control method for same
JP4814749B2 (ja) 固体撮像装置
JP2010239493A (ja) 撮像装置および映像信号の補正処理方法
JP2020048135A (ja) 撮像装置及びその制御方法
JP2004228825A (ja) 固体電子撮像素子のノイズ低減装置および方法
JP2003256773A (ja) 文書画像処理装置、撮像装置及び文書画像処理プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees