[go: up one dir, main page]

TWI649722B - 用於高動態範圍成像的曝光選擇器及其相關的方法 - Google Patents

用於高動態範圍成像的曝光選擇器及其相關的方法 Download PDF

Info

Publication number
TWI649722B
TWI649722B TW106146031A TW106146031A TWI649722B TW I649722 B TWI649722 B TW I649722B TW 106146031 A TW106146031 A TW 106146031A TW 106146031 A TW106146031 A TW 106146031A TW I649722 B TWI649722 B TW I649722B
Authority
TW
Taiwan
Prior art keywords
exposure
value
image
map
sharpness
Prior art date
Application number
TW106146031A
Other languages
English (en)
Other versions
TW201830331A (zh
Inventor
沙爾維斯 史汪米
吳東暉
Original Assignee
美商豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商豪威科技股份有限公司 filed Critical 美商豪威科技股份有限公司
Publication of TW201830331A publication Critical patent/TW201830331A/zh
Application granted granted Critical
Publication of TWI649722B publication Critical patent/TWI649722B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

用於生成HDR影像的方法，包括(i)從具有多個曝光值的各自的一者的場景的多個單曝光影像生成單曝光影像的銳度值的銳度圖，和(ii)從多個單曝光影像生成單曝光影像的合成曝光值的曝光值圖。上述方法還包括(iii)從銳度圖和曝光值圖決定最優曝光值，和(iv)透過合併使用最優曝光值所捕捉的場景的參考影像和多個單曝光影像中的至少兩者來生成HDR影像。用於從多個單曝光影像生成HDR影像的曝光選擇器包括記憶體和微處理器。記憶體儲存非暫態電腦可讀指令並適於儲存多個單曝光影像。微處理器適於執行前述方法。

Description

用於高動態範圍成像的曝光選擇器及其相關的方法
本發明涉及成像技術領域，特別地涉及一種用於高動態範圍成像的曝光選擇器及其相關的方法。
許多消費電子產品包括至少一個照相機。這些包括平板電腦、行動電話和智慧手錶。在這樣的產品中，以及在數位照相機本身中，高動態範圍(HDR)功能使得場景的影像能具有增加的亮度的動態範圍。一些HDR影像由多個影像的組合合成。
如在此所使用，“多曝光影像”包括以這樣的方式拍攝的影像：捕捉影像的影像感測器的不同像素係根據不同的曝光值被曝光。“單曝光影像”包括以這樣的方式拍攝的影像：影像感測器的所有像素、或與所捕捉的給定影像對應的至少那些像素係根據相同的曝光值被曝光。一些HDR影像由具有低解析度的多曝光影像和較高解析度單曝光影像的組合合成。這樣的HDR影像的品質部分地取決於單曝光影像的曝光時間。在此的實施例決定單曝光影像的最優曝光時間。
在第一實施例中，用於生成HDR影像的方法包括(i)從場景的多個單曝光影像生成銳度值的銳度圖，每個單曝光影像具有多個曝光值的各自的一者，和(ii)從多個單曝光影像生成單曝光影像的合成曝光值的曝光值圖。上述方法還包括(iii)從銳度圖和曝光值圖決定最優曝光值，和(iv)透過合併使用最優曝光值所捕捉的場景的參考影像和多個單曝光影像中的至少兩者來生 成HDR影像。
在第二實施例中，曝光選擇器包括記憶體和微處理器。記憶體儲存非暫態電腦可讀指令並適於儲存具有多個曝光時間的各自的一者的場景的多個單曝光影像。微處理器適於：(i)從場景的多個單曝光影像生成單曝光影像的銳度值的銳度圖，(ii)從多個單曝光影像生成單曝光影像的合成曝光值的曝光值圖，(iii)從銳度圖和曝光值圖決定最優曝光值，和(iv)透過合併使用最優曝光值所捕捉的場景的參考影像和多個單曝光影像中的至少兩者來生成HDR影像。
110‧‧‧記憶體
120‧‧‧場景
121‧‧‧人
122‧‧‧窗戶
123‧‧‧場景
130‧‧‧照相機
132‧‧‧影像感測器
134‧‧‧像素
134A‧‧‧像素陣列
136‧‧‧濾色鏡陣列(CFA)
138‧‧‧電路
140‧‧‧微處理器
200‧‧‧曝光選擇器
201‧‧‧參考影像
202‧‧‧多曝光影像
210‧‧‧記憶體
211‧‧‧單曝光影像
220‧‧‧軟體
221‧‧‧亮度值生成器
222‧‧‧遮罩生成器
224‧‧‧影像濾波器
225‧‧‧影像選擇器
226‧‧‧銳度圖生成器
227‧‧‧曝光圖生成器
228‧‧‧曝光選擇器
229‧‧‧影像融合器
231A、231B‧‧‧亮度值集
232‧‧‧差異遮罩
234‧‧‧濾波影像
236‧‧‧銳度圖
237‧‧‧曝光圖
238‧‧‧最優曝光值
239‧‧‧HDR影像
240‧‧‧微處理器
301、302、303、304‧‧‧濾色鏡單元
311‧‧‧貝爾單元
336‧‧‧濾色鏡陣列(CFA)
401‧‧‧單曝光影像
402‧‧‧多曝光影像
403‧‧‧差異遮罩
530‧‧‧HDR影像
532‧‧‧區域
540‧‧‧HDR影像
542‧‧‧區域
610‧‧‧單曝光影像集
611、612、613、614‧‧‧單曝光影像
621、622、623、624‧‧‧濾波影像
630‧‧‧合成濾波影像
631、632‧‧‧區域
640‧‧‧分割的影像
641、641(4)、641(25)、641(32)‧‧‧區域
650‧‧‧銳度圖
651(4)、651(25)、651(32)‧‧‧區域
690‧‧‧坐標軸
700‧‧‧方法
710、720、730‧‧‧步驟
810‧‧‧曝光指數影像
811、812、813、814‧‧‧區域
840‧‧‧分割的指數影像
841(4)、841(25)、841(32)‧‧‧區域
850‧‧‧曝光圖
851(4)、851(25)、851(32)‧‧‧區域
860‧‧‧降低的曝光圖
861(4)、861(25)、861(32)‧‧‧區域
1000‧‧‧加權曝光圖
1001(1)、1001(4)、1001(25)、1001(32)‧‧‧區域
1100‧‧‧方法
1110、1120、1130、1140、1142‧‧‧步驟
1200‧‧‧方法
1202、1210、1220、1230、1240、1250‧‧‧步驟
圖1描繪照相機對具有高動態範圍的亮度的場景成像。
圖2顯示出可以在圖1的照相機中實施的曝光選擇器的一實施例。
圖3描繪濾色鏡陣列(color filter array，CFA)，濾色鏡陣列(CFA)是圖1的照相機的CFA的一實例。
圖4A-4C分別描繪示例性單曝光影像和示例性多曝光影像，以及從其形成的示例性差異遮罩(difference mask)。
圖5A顯示出從圖4B的多曝光影像和具有第二曝光時間的示例性單曝光影像形成的示例性合併影像。
圖5B顯示出從圖4B的多曝光影像和具有第二曝光時間的單曝光影像形成的示例性合併影像。
圖6顯示出示例性銳度圖及其前導影像。
圖7是顯示出一實施例中用於生成從多個單曝光影像形成的多曝光影像的銳度圖的示例性方法的流程圖。
圖8顯示出一實施例中的曝光圖、降低的曝光圖及其前導影像。
圖9顯示出基於圖6的銳度圖的示例性權重圖。
圖10顯示出為由圖9的權重圖加權的圖8的曝光圖的總和的示例性加權曝光圖。
圖11是顯示出一實施例中用於生成圖8的曝光圖的方法的流程圖。
圖12是顯示出一實施例中用於生成圖5B的HDR影像的方法的流程圖。
圖1描繪照相機130對具有高動態範圍的亮度的場景120成像。場景120包括窗戶122前面的人121，透過窗戶122，陽光充足的場景123是可見的。照相機130包括成像透鏡(未顯示出)、影像感測器132、記憶體110和通信上耦接至影像感測器的微處理器140。影像感測器132包括像素陣列134A並可以包括其上的濾色鏡陣列(CFA)136。像素陣列134A包括多個像素134，為說明的清楚未顯示於圖1中。CFA 136的每個濾色鏡與像素陣列134A的各自的像素134對齊。成像透鏡將場景120成像到影像感測器132上。影像感測器132還包括電路138，電路138包括至少一個類比數位轉換器。
室內照明(未顯示出)對面對照相機的人121的正面照明，而陽光照明陽光充足的場景123。在場景120中，人121和陽光充足的場景123具有各自的不同的亮度。由於陽光比室內照明亮得多，陽光充足的場景123的亮度遠超過人121的亮度，使得場景120具有高動態範圍的亮度。標準數位成像使 得能使用對人121或陽光充足的場景123的任一個(而非全部)的亮度最優之單個曝光時間拍攝場景120。當曝光時間是對人121的亮度最優時，人121被適當地曝光而陽光充足的場景123被過度曝光。當曝光時間是對陽光充足的場景123的亮度最優時，陽光充足的場景123被適當地曝光而人121曝光不足。
圖2顯示出合併參考影像201和多個單曝光影像211以生成HDR影像239的示例性曝光選擇器200。可以在照相機130內實施曝光選擇器200。影像201和211可以是相同場景(例如場景120)的影像。參考影像201可以是單曝光影像。單曝光影像211包括影像211(1)、211(2)……211(N)，其中N是正整數。單曝光影像211可以形成多曝光影像202，多曝光影像202是單曝光影像211的合成。
單曝光影像211可以由照相機130同時地或順序地捕捉。例如當照相機130同時地捕捉單曝光影像211時，參考影像201可以具有比每個單曝光影像211更高的解析度。例如當照相機130順序地捕捉單曝光影像211時，參考影像201可以是單曝光影像211的一者。
曝光選擇器200包括微處理器240和儲存包括電腦可讀指令的軟體220的記憶體210。微處理器240可以是數位訊號處理器，例如影像處理器。記憶體210可以是暫態性的和/或非暫態性的並可以包括揮發性記憶體(例如靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)或其任意組合)和非揮發性記憶體(例如快閃記憶體(FLASH)、唯讀記憶體(ROM)、磁性媒體、光性媒體或其任意組合)的一者或全部。
記憶體210和微處理器240可以分別用作圖1的照相機130的記憶體110和微處理器140。微處理器240適用於執行指令以執行在此描述的曝光選擇器200的功能。記憶體210儲存參考影像201和單曝光影像211的一者或全部。記憶體210可以以影像檔格式(例如JPEG和TIFF)或原始影像格式(例如TIFF/EP和數位負片(DNG))儲存影像201和211。
軟體220包括用於產生各自的資料輸出的以下軟體模組的一者或多者。影像濾波器224配置成用於從單曝光影像211生成濾波影像234。銳度圖生成器226配置成用於從濾波影像234生成銳度圖236。曝光圖生成器227配置成用於從單曝光影像211生成至少一個曝光圖237。曝光選擇器228配置成用於從銳度圖236和至少一個曝光圖237生成最優曝光值238。
例如，當同時地捕捉單曝光影像211(1-N)時，照相機130可以使用最優曝光值238生成具有該最優曝光值的參考影像201。替代性地，曝光選擇器200可以包括影像選擇器225，影像選擇器225基於最優曝光值238選擇單曝光影像211(1-N)的其中一者以用作參考影像201。
亮度值生成器221配置成用於從影像201和211生成第一亮度值集231A和第二亮度值集231B。遮罩生成器222配置成用於從亮度值集231A、231B生成差異遮罩232。使用差異遮罩232，影像融合器229合併參考影像201和單曝光影像211以生成HDR影像239。
圖3描述CFA 336，其是照相機130的CFA 136的一實例。CFA 336包括交錯陣列的濾色鏡單元301、302、303和304。每個濾色鏡單元301-304是2乘2陣列的濾色鏡，例如貝爾單元311，使得CFA 336是貝爾陣列。每個貝爾單元311包括一個紅色濾色鏡(“R”)、兩個綠色濾色鏡(“G”)和一個藍色濾色鏡(“B”)。雖然濾色鏡單元301-304是結構上相同的，其在此是可區分的，因為如下所討論的，當捕捉單曝光影像211時，每個濾色鏡單元301-304下方的影像感測器像素具有不同的曝光時間。在此，紅色像素、綠色像素和藍色像素表示分別在紅色濾色鏡、綠色濾色鏡和藍色濾色鏡下方對齊的影像感測器像素。
應理解者為，在不脫離本發明之範圍的情況下，可以使用其他CFA配置和曝光值配置。例如，多曝光影像可以與少於或多於四個曝光時間對應。例如，多曝光影像可以由具有不同曝光時間的9個影像形成，9個影像與以3乘3陣列平鋪的9個濾色鏡單元對應，當捕捉多曝光影像時，每個影像具有不 同的曝光時間。
圖4A和4B分別描繪由包括圖3的CFA 336的照相機130所捕捉的相同場景的示例性單曝光影像401和示例性多曝光影像402。影像401和402分別是參考影像201和多曝光影像402的實例。單曝光影像401由照相機130使用具有相同曝光時間t 401的每個濾色鏡單元301-304下方的像素134捕捉場景而產生。
多曝光影像402由照相機130使用具有各自的曝光時間t 1、t 2、t 3和t 4的每個濾色鏡單元301-304下方的像素捕捉場景而產生，其中t 1<t 2<t 3<t 4且下標1-4是曝光指數k。曝光時間t k 和對應的曝光指數k是對應的曝光值的實例。在此使用的曝光值還可以是從曝光指數和曝光時間中的一者或多者導出的量。
多曝光影像402是具有各自的曝光時間t 1-4的四個單曝光影像(圖6的611、612、613和614)的交錯合成，其使得多曝光影像能具有比單曝光影像401更高的動態範圍。單曝光影像611-614是單曝光影像211的實例，並分別由濾色鏡單元301-304下方的像素134捕捉。相應地，單曝光影像611-614的每一者具有比單曝光影像401更低的解析度。因此，雖然多曝光影像402具有比單曝光影像401更大的動態範圍，其還具有較低解析度。
圖4C描繪差異遮罩403，其是單曝光影像401和多曝光影像402的各自的亮度值之間的絕對差。單曝光影像401和多曝光影像402的亮度值分別是第一亮度值集231A和第二亮度值集231B的實例。差異遮罩403是儲存在圖2的曝光選擇器200的記憶體210中的差異遮罩232的實例。用於生成差異遮罩403的亮度值是基於亮度值Y和用於捕捉影像401和402的紅色、綠色和藍色感測器像素的像素值R、G和B之間的以下關係：Y=0.30R+0.59G+0.11B。在不脫離本發明之範圍的情況下，用於決定亮度值Y的R、G和B的係數可以與顯示出的那些不同。差異遮罩403的白色區域表示影像401和402之間的最小亮度差異，而差異遮罩403的黑色區域表示最大亮度差異。
在以上示例中，亮度值集231A、231B由影像401和402的R、G和B值生成。影像401和402由對來自影像感測器132的“原始”感測器像素值去馬賽克產生。替代性地，亮度值集231A、231B可以從來自影像感測器132的原始感測器像素值直接地生成，即，獨立於去馬賽克程序。例如，當CFA 136是貝爾圖案時，來自影像感測器132的原始感測器像素值包括與紅色、綠色和藍色像素對應的像素值。亮度值集231A、231B可以從這些像素值生成並可以獨立於用於生成影像201和211的去馬賽克。
圖5A描繪HDR影像540，其是單曝光影像401、多曝光影像402和差異遮罩403的加權和。在曝光選擇器200的一實施例中，影像融合器229實施加權和。透過包括影像401和402，HDR影像540具有單曝光影像401的高解析度和多曝光影像402的高動態範圍。等式(1)是HDR影像540的數學表示，其中對於HDR影像540，資料組M △、I 1、I 2和I Σ分別代表差異遮罩403、單曝光影像401、多曝光影像402和HDR影像540。
I Σ=I 1(1-M △)+I 2 M △ 等式(1)
對於影像401和402的優選組合，單曝光影像401的曝光時間t 401至少近似等於多曝光影像402的曝光時間t 1、t 2、t 3和t 4中的一者。相差小於百分之五的兩個量是“近似等於”的量的實例。在HDR影像540的實例中，曝光時間t 401等於多曝光影像402的影像的最長曝光時間-曝光時間t 4。
在HDR影像540的實例中，不管影像401和402的任何特性，可以將曝光時間t 401選擇為等於曝光時間t 1-4的同一者。然而，申請人已經確定對於HDR影像540的優選品質，曝光時間t 401-即曝光時間t 1、t 2、t 3和t 4中的一者的最佳選擇取決於決定多曝光影像402的聚焦區域(在此還稱為“銳利”區域)的適當曝光時間。聚焦區域的適當曝光時間產生具有既不過度曝光又不曝光不足的聚焦區域的合併影像。例如，HDR影像540具有使檢驗圖特徵模糊的過度曝光的區域542。
在多曝光影像402的實例中，候選曝光時間t 1-4的曝光時間t 401的最佳選擇可以是t 401=ι3，此產生示於圖5B的HDR影像530。等式(1)是HDR影像530的數學表示，其中對於HDR影像530，資料組M △、I 1、I 2和I Σ分別代表差異遮罩403、單曝光影像401(具有t 401=t 3)、多曝光影像402和HDR影像530。在HDR影像530中，與區域532對應的區域532是較低曝光的，使得檢驗圖特徵是可分辨的。HDR影像530是HDR影像239的實例。
從候選曝光時間決定產生HDR影像530的最佳曝光時間(例如t 3)包括從場景的多個單曝光影像生成銳度圖和曝光值圖。圖6和7顯示出用於生成銳度圖的方法。圖8-10顯示出用於生成曝光值圖的方法。為簡潔起見，在此可以交換地使用“曝光值圖”和“曝光圖”。
銳度圖是多曝光影像的多個區域的影像銳度的相對度量。圖6顯示出由單曝光影像集610(上列)形成的銳度圖650(右下)，單曝光影像集610(上列)包括各自具有不同曝光時間的相同場景的多個單曝光影像。在此實例中，單曝光影像集610包括被交錯以形成多曝光影像402的單曝光影像611-614。單曝光影像611-614分別由與CFA 336的濾色鏡單元301、302、303和304對應的像素捕捉。在不脫離本發明之範圍的情況下，單曝光影像集610可以包括多於或少於4個影像。
圖6包括各個單曝光影像611-614的綠色通道的濾波影像621-624。濾波影像621-624是濾波影像234的實例，並且在不脫離本發明之範圍的情況下，可以由每個各自的影像611-614的或多於一個通道(紅色、綠色和藍色)的一者形成。在此實例中，使用為Laplacian濾波器的離散近似的核h生成濾波影像621-624。特別地，核h是具有矩陣元素h 2,2=8以及所有其他矩陣元素h i,j =-1,i≠j的3×3矩陣(卷積矩陣)。在不脫離本發明之範圍的情況下，可以使用其他邊緣檢測核生成濾波影像621-624。確切而言，術語“特徵提取的影像”係描述濾波影像621-624。
濾波影像621-624還由亮度值生成器221計算的其各自的影像 611-614的亮度值歸一化。影像611-614的亮度值是基於亮度值Y和用於捕捉影像401和402的紅色、綠色和藍色感測器像素的像素值R、G和B之間的以下關係：Y=0.30R+0.59G+0.11B。在不脫離本發明之範圍的情況下，用於決定亮度值Y的R、G和B的係數可以與示出者不同。
每個濾波影像621-624包括在其中位置(x,y)處的多個各自的像素值p，在此分別被表示為p 621(x,y)、p 622(x,y)、p 623(x,y)和p 624(x,y)。位置(x,y)是距示於圖6的坐標軸690的原點的距離。圖6還包括合成濾波影像630(下列，左)，其在任意座標(x,y)處分別具有等於濾波影像621-624的像素值p 621(x,y)、p 622(x,y)、p 623(x,y)和p 624(x,y)中的最大值的像素值p 630(x,y)。例如，濾波影像621在區域631處具有在影像621-624中被指示為黑色的高像素值，而區域631在其餘的濾波影像622-624中是白色的。相似地，濾波影像622在區域632處具有高像素值。相應地，合成濾波影像630包括區域631和632處的這些高像素值。合成濾波影像630可以由圖2的軟體220的銳度圖生成器226生成。
圖6還包括分割的影像640(下列，中)和銳度圖650(下列，右)。分割的影像640是被劃分為多個區域641(1-N b )的合成濾波影像630。在此實例中，N b =32。為說明的清楚，圖6中不枚舉出所有的區域641。
銳度圖生成器226從濾波影像630生成銳度圖650。銳度圖650是銳度圖236的實例，並具有分別與區域641(1-N b )對應的多個區域651(1-N b )。區域651(i)具有等於其對應的區域641(i)的平均像素值的均勻的像素值p 651(i)，其中i {1,2,...,N b }。例如，區域651(4)、651(25)和651(32)中的像素具有分別等於區域641(4)、641(25)和641(32)的平均像素值的各自的像素值p 651。
圖7是顯示出用於生成由多個單曝光影像形成的多曝光影像的銳度圖的方法700的流程圖。可以在一個或多個方面的曝光選擇器200中實施方法700。例如，方法700由微處理器240執行軟體200的電腦可讀指令實施。 在以下描述中最好一起查看圖6和7。
在步驟710中，方法700將邊緣檢測濾波應用至每個單曝光影像以生成多個濾波影像。在步驟710的實例中，影像濾波器224將核h分別應用至單曝光影像611-614以生成濾波影像621-624。
在步驟720中，方法700生成合成濾波影像，其每個像素座標具有等於遍及多個濾波影像的每一者的各自的像素座標處的像素值的最大值的像素值。在步驟710的實例中，銳度圖生成器226從濾波影像621-624生成合成濾波影像630。在一實施例中，當在多個濾波影像的像素座標處估計像素值的最大值時，銳度圖生成器226忽略飽和像素值。
在步驟730中，方法700為合成濾波影像的多個銳度圖區域的每一者決定等於銳度圖區域內像素值的平均值的各自的銳度值。在步驟730的實例中，銳度圖生成器226透過為分割影像640的多個非重疊區域641的每一者確定等於區域內像素值的平均值的各自的多個銳度值651來生成銳度圖650。
曝光值圖顯示出對於多曝光影像的多個區域的最佳曝光。多個區域可以是用於銳度圖的相同區域。圖8顯示出曝光圖850，其是曝光圖237的實例。曝光圖850由具有各自的曝光指數1-4的分量單曝光影像611-614形成。
圖8包括由曝光圖生成器227從分量單曝光影像611-614生成的曝光指數影像810。每個影像611-614包括在其中位置(x,y)處的多個各自的像素值p 610，在此被表示為p 610(x,y,k)，其中曝光指數k {1,2,3,4}。位置(x,y)是距示於圖8的坐標軸690的原點的距離。例如，在位置(x,y)處，影像611具有像素值p 610(x,y,1)且影像612具有像素值p 610(x,y,2)。根據等式(2)，曝光指數影像810具有等於四個曝光指數k {1,2,...,Ne}中的一者的多個像素值p 810(x,y)，其中在此實例中，N e=4。量p max是與飽和曝光對應的最大像素值。例如，對於8位元(8-bit)量化，p max=255。
例如，如果對於給定的位置(x 1,y 1)，p 610(x 1,y 1,{1,2})<p max且p 610(x 1,y 1,{k 3})=p max，則p 810(x 1,y 1)=2。圖8顯示出具有分別等於曝光指數1-4的曝光值p 810的曝光指數影像810的四個區域811、812、813和814。區域811在圖8中被顯示為白色並包括區域接壤區域813。
在不脫離本發明之範圍的情況下，曝光指數影像810的每個曝光值p 810(x,y)可以分別與單曝光影像611-614的四個曝光時間t 1-4的一者成比例。例如，根據等式(3)，曝光值p 810(x,y)等於曝光時間t k {1,2,...,N e}中的一者。
圖8還包括分割的指數影像840，其是被劃分為與分割的影像640的各自的區域641對應的多個區域841(1-N b)的曝光指數影像810。為說明的清楚，圖8中未枚舉所有的區域841。
曝光圖生成器227從曝光指數影像810生成曝光圖850。曝光圖850具有分別與區域841(1-N b)對應的多個區域851(1-N b)。區域851(i)具有等於其對應的區域841(i)的平均像素值的均勻像素值p 851(i)，其中，i {1,2,...,N b}。例如，區域851(4)、851(25)和851(32)中的像素各自具有分別等於區域841(4)、841(25)和841(32)的平均像素值的各自的像素值p 851。曝光圖850被顯示出具有其上疊加的網格以顯示出相鄰區域851之間的邊界。
曝光圖生成器227還可以從曝光指數影像810生成降低的曝光圖860。降低的曝光圖860具有分別與區域841(1-N b)對應的多個區域861(1-N b)。區域861(i)具有等於其對應的區域841(i)的像素值的最低十分位元數(分位數大小q=10%)的平均值的均勻像素值p 861(i)，其中i {1,2,...,N b}。例如，區域861(4)、861(25)和861(32)中的像素具有分別等於區域841(4)、841 (25)和841(32)的曝光值的最低十分位數的平均值的各自的像素值p 851。在不脫離本發明之範圍的情況下，分位元數大小q可以偏離百分之十。曝光圖860被顯示出具有其上疊加的網格以顯示出相鄰區域861之間的邊界。
圖9顯示出基於圖6的銳度圖650的示例性權重圖900。權重圖900具有分別與圖6的銳度圖650的區域651(1-N b)對應的多個區域901(1-N b)，其中，每個區域651(i)具有均勻的像素值p 651(i)，i {1,2,...,N b}。區域901(i)具有均勻的權重p w (i)=w(p 651(i))，其中w是加權函數。加權函數w是例如高斯函數，w(p 651)=exp(-0.5p 651/σ2)，且在不脫離本發明之範圍的情況下可以具有其他函數形式。
圖10顯示出示例性加權曝光圖1000，其是透過權重圖900加權的曝光圖850和降低的曝光圖860的和。加權曝光圖1000具有分別與銳度圖650的區域651(1-N b)對應的多個區域1001(1-N b)。區域1001(i)具有由等式(4)給出的一致的曝光值p 1000(i)。曝光圖1000被顯示出具有其上疊加的網格以顯示相鄰區域1001之間的邊界。
p 1001(i)=p 850(i)．p w (i)+p 860(i)．(1-p w (i)) 等式(4)在加權曝光圖1000的實例中，權重p w =exp(-0.5p 651/σ2)，其中σ=200。由於p 651(銳度圖650中的高空間頻率振幅的度量)根據局部照片銳度而增加，權重p w 隨照片銳度增加而降低。因此，加權曝光圖1000是被加權成使得與合成濾波影像630的銳利區域對應的其區域具有較低曝光值以避免飽和。
銳度圖650和曝光圖1000的加權和產生最優曝光值238，在此還被表示為E opt。例如，在等式(5)中，E opt是最優曝光指數k opt，即與圖4的多曝光影像402的曝光時間t 1、t 2、t 3和t 4的一者對應的曝光指數k的一者。
在等式(5)中，nint(．)表示最接近整數函數，並在不脫離本發明之範圍的情況下可以由地板函數(floor function)．或天花板函數(ceiling function)．替換。
替代性地，最優曝光值E opt可以是最優曝光時間t opt，即，如等 式(6)所示，曝光時間t 1、t 2、t 3和t 4中的一者。在等式(6)中，總和且N e是多曝光影像402的曝光時間的數量。
例如，當曝光圖850和860的每個曝光值是平均曝光時間而非平均曝光指數時，最優曝光值E opt是曝光時間。
使用銳度圖650的銳度值p 651和曝光圖1000的曝光值p 1001，等式(5)產生k opt=nint(3.4)=3，其意味著在單曝光影像401中使用曝光時間t 3(而不是曝光時間t 4)會產生具有比HDR影像540(圖5A)更高的影像品質的HDR影像530(圖5B)。
圖11是顯示出用於生成由多個單曝光影像形成的多曝光影像的曝光圖的方法1100的流程圖。可以在一個或多個方面的曝光選擇器200中實施方法1100。例如，方法1100由微處理器240執行軟體220的電腦可讀指令而實施。在以下描述中最好一起查看圖8-11。
在步驟1110中，方法1100透過為多個位置的每一者決定產生該位置處的最大非飽和像素值的(多個曝光值中的)曝光值來生成曝光值影像。曝光值的實例包括曝光時間和曝光指數。在步驟1110的實例中，曝光圖生成器227生成曝光指數影像810，曝光指數影像810是曝光值影像的實例。
在步驟1120中，方法1100透過為曝光值影像的多個曝光影像區域的每一者決定等於該曝光影像區域內的曝光值的第一平均值的合成曝光值來生成曝光值圖。在步驟1120的實例中，曝光圖生成器1127為每個區域841決定曝光圖850的各自的均勻的曝光值p 851。在步驟1120的第二實例中，曝光圖生成器1127為每個區域841決定降低的曝光圖860的各自的均勻的曝光值p 861。
方法1100選擇性地包括步驟1130和1140。在步驟1130中，方法1100透過為每個曝光影像區域決定該曝光影像區域內的曝光值的多個第二平均值的各自的一者來生成降低的曝光值圖。對於多個曝光影像區域的每一者， 第一平均值超過第二平均值。在步驟1130的實例中，曝光圖生成器1127為每個區域841決定降低的曝光圖860的各自的均勻曝光值p 861。
在步驟1140中，方法1100計算曝光值圖作為第一曝光值圖和降低的曝光值圖的加權平均。步驟1140選擇性地包括步驟1142。在步驟1142中，方法1100將第一曝光值圖和降低的曝光圖的至少一者乘以權重圖，權重圖對於多個銳度圖區域的每一者具有等於該銳度圖區域中的銳度圖的銳度值的函數的各自的權重。在步驟1140和1142的實例中，曝光圖生成器227從曝光圖850、降低的曝光圖860和權重圖900生成加權曝光圖1000。
圖12是顯示出用於從具有各自的多個曝光時間的場景的多個單曝光影像生成HDR影像的方法的流程圖。可以在一個或多個方面的曝光選擇器200中實施方法1200。例如，方法1200透過微處理器240執行軟體220的電腦可讀指令來實施。步驟1202和1240是選擇性的。
在步驟1202中，方法1200捕捉具有多個曝光值的各自的一者的多個單曝光影像。在步驟1202的實例中，照相機130捕捉圖6的單曝光影像611-614。步驟1202的此實例可以包括(a)使用電路138的一個或多個類比數位轉換器將每個像素電荷轉換為各自的第一數位像素值，和(b)將第一數位像素值儲存在記憶體210中作為影像402的步驟。
在步驟1210中，方法1200從與多個單曝光影像對應的多個特徵提取的影像生成特徵提取的影像的銳度值的銳度圖。在步驟1210的實例中，曝光選擇器200透過實施方法700從影像611-614生成銳度圖650。
在步驟1220中，方法1200從多個單曝光影像生成單曝光影像的合成曝光值的曝光值圖。在步驟1220的實例中，曝光選擇器200透過實施方法1100生成加權曝光圖1000。
在步驟1230中，方法1200從銳度圖和曝光值圖決定最優曝光 值。例如，銳度圖和曝光值圖被加合為加權和。在步驟1230的實例中，曝光選擇器228使用銳度圖650的銳度值p 651和曝光圖1000的曝光值p 1001實施等式(5)，以決定k opt=nint(3.4)=3，如上所述。在步驟1230的第二實例中，曝光選擇器228使用銳度圖650的銳度值p 651和曝光圖1000的曝光值p 1001實施等式(6)，以決定最優曝光時間t opt。
在選擇性的步驟1240中，方法1200根據最優曝光值使用影像感測器捕捉參考影像。在步驟1240的實例中，照相機130使用曝光時間t 3捕捉單曝光影像401。步驟1240的此實例可以包括(a)使用電路138的一個或多個類比數位轉換器將每個像素電荷轉換為各自的第一數位像素值，和(b)將第一數位像素值儲存在記憶體210中作為影像401的步驟。
在步驟1250中，方法1200透過合併使用最優曝光值捕捉的場景的參考影像和多個單曝光影像的至少兩者來生成HDR影像。多個單曝光影像的至少兩者例如是單曝光影像的每一者。例如，參考影像和多個單曝光影像被合併為加權和。在步驟1250的實例中，影像融合器229生成HDR影像530。
特徵的組合
在不脫離本發明之範圍的情況下，如上描述的特徵以及如下所請求者可以以各種方式組合。以下實例說明一些可能的、非限制性的組合：
(A1)一種用於生成HDR影像的方法，包括(i)從場景的多個單曝光影像生成銳度值的銳度圖，每個單曝光影像具有多個曝光值的各自的一者，和(ii)從多個單曝光影像生成單曝光影像的合成曝光值的曝光值圖。上述方法還包括(iii)從銳度圖和曝光值圖決定最優曝光值，和(iv)透過合併使用最優曝光值捕捉的場景的參考影像和多個單曝光影像中的至少兩者生成HDR影像。
(A2)在如(A1)表示的方法中，生成銳度圖的步驟可以包括(i)將邊緣檢測濾波應用至多個單曝光影像的每一者以生成多個濾波影像，(ii) 生成合成濾波影像，其的每個像素座標具有等於遍及多個濾波影像的每一者的各自的像素座標處的像素值的最大值的像素值，和(iii)為合成濾波影像的多個銳度圖區域的每一者，決定等於銳度圖區域內像素值的平均值的各自的銳度值。
(A3)在如(A2)表示的方法中，其中多個單曝光影像的每一者具有多個像素值，多個像素值各自分別與成像場景中的多個位置的一者對應，生成曝光值圖的步驟可以包括(i)透過為多個位置的每一者決定多個曝光值中的哪個曝光值產生位置處的最大非飽和像素值來生成曝光值影像，和(ii)透過為曝光值影像的多個曝光影像區域的每一者決定合成曝光值來生成曝光值圖，合成曝光值等於曝光影像區域內的曝光值的第一平均值。
(A4)在如(A3)表示的方法中，其中多個第一平均值形成第一曝光值圖，生成曝光值圖的步驟還可以包括：(i)透過為多個曝光影像區域的每一者決定曝光影像區域內的曝光值的多個第二平均值的各自的一者來生成降低的曝光值圖，對於多個曝光影像區域的每一者，第一平均值超過第二平均值，和(ii)計算曝光值圖作為第一曝光值圖和降低的曝光值圖的加權平均。
(A5)在如(A4)表示的方法中，對於降低的曝光值圖的每個曝光影像區域，第二平均值可以是區域中曝光值的子集的平均值，子集不包括大於第一平均值的曝光影像區域中的至少一個曝光值。
(A6)在如(A4)和(A5)的一者表示的任一個方法中，其中多個銳度圖區域的每一者與多個曝光影像區域的各自的一者是一致的並與單曝光影像的一者的多個影像區域的相同的各自的一者對應，計算曝光值圖的步驟可以包括透過權重圖對第一曝光值圖和降低的曝光值圖中的至少一者進行加權，權重圖對於多個影像區域的每一者具有等於影像區域中銳度圖的銳度值的函數的各自的權重。
(A7)在如(A6)表示的方法中，其中i {1,2,...}表示多個影像區域，第一曝光值圖具有各自的多個曝光值p 1(i)，且銳度圖的銳度值被表 示為s(i)，權重圖可以具有由權重函數w(s(i))決定的各自的多個權重。
(A8)在如(A7)表示的方法中，權重函數w(s(i))的值不隨銳度值s(i)從其最小值增加至其最大值而增加。
(A9)在如(A1)至(A8)的一者表示的任一個方法中，每個合成曝光值可以是多個單曝光影像的一者的曝光時間和曝光指數中的一者。
(A10)在如(A1)至(A9)的一者表示的任一個方法中，決定的步驟可以包括：將銳度值和合成曝光值加合為加權和以決定最優曝光值。
(A11)在如(A1)至(A10)的一者表示的任一個方法中，生成HDR影像的步驟可以包括生成HDR影像作為場景的參考影像和多個單曝光影像的加權和。
(A12)如(A1)至(A11)的一者表示的任一個方法還可以包括下列至少一者(i)使用影像感測器捕捉多個單曝光影像；以及，在決定的步驟之後，(ii)根據最優曝光值使用影像感測器捕捉參考影像。
(A13)在如(A12)表示的方法中，其中影像感測器包括多個感測器像素，感測器像素各自具有與入射其上的來自場景的光的各自的強度對應的像素電荷，捕捉多個單曝光影像的步驟可以包括：(i)使用類比數位轉換器將每個像素電荷轉換為各自的第一數位像素值，(ii)將第一數位像素值儲存在通信上耦接至微處理器的記憶體中。捕捉參考影像的步驟可以包括(i)使用類比數位轉換器將每個像素電荷轉換為各自的第二數位像素值，和(ii)將第二數位像素值儲存在通信上耦接至微處理器的記憶體中。
(B1)一種曝光選擇器包括記憶體和微處理器。記憶體儲存非暫態電腦可讀指令，並適於儲存具有多個曝光時間的各自的一者的場景的多個單曝光影像。微處理器適於執行上述指令以執行如(A1)至(A11)表示的任一 個方法。
在不脫離本發明之範圍的情況下，可以對上述方法和系統做出改變。因此，應該注意者為，在上述描述中包含的或在圖式中示出的事項，應該被理解為說明性的且不具有限制意義。所附申請專利範圍旨在涵蓋在此描述的所有通用和特定特徵，以及本方法和本系統的範圍的在文義上的所有聲明應被認為落入其間。

Claims (24)

  1. 一種用於生成高動態範圍(HDR)影像的方法，包括：從場景的多個單曝光影像生成銳度值的銳度圖，每個單曝光影像具有多個曝光值的各自的一者；從該多個單曝光影像生成該單曝光影像的合成曝光值的曝光值圖；從該銳度圖和該曝光值圖決定最優曝光值；以及透過合併使用該最優曝光值所捕捉的該場景的參考影像和該多個單曝光影像中的至少兩者來生成高動態範圍影像。
  2. 如請求項1所述之方法，其中生成該銳度圖的步驟包括：將邊緣檢測濾波應用至該多個單曝光影像的每一者以生成多個濾波影像；生成合成濾波影像，該合成濾波影像的每個像素座標具有等於遍及該多個濾波影像的每一者的各自的像素座標處的像素值的最大值的像素值；以及為該合成濾波影像的多個銳度圖區域的每一者，決定等於該銳度圖區域內像素值的平均值的各自的銳度值。
  3. 如請求項2所述之方法，其中該多個單曝光影像的每一者具有多個像素值，該多個像素值各自分別與成像場景中的多個位置的一者對應，生成該曝光值圖的步驟包括：透過為該多個位置的每一者決定該多個曝光值中的哪個曝光值產生位置處的最大非飽和像素值來生成曝光值影像；以及透過為該曝光值影像的多個曝光影像區域的每一者決定該合成曝光值來生成該曝光值圖，該合成曝光值等於該曝光影像區域內的曝光值的第一平均值。
  4. 如請求項3所述之方法，其中多個第一平均值形成第一曝光值圖，生成該曝光值圖的步驟更包括：透過為該多個曝光影像區域的每一者決定該曝光影像區域內的曝光值的多個 第二平均值的各自的一者來生成降低的曝光值圖，對於該多個曝光影像區域的每一者，該第一平均值超過該第二平均值；以及計算該曝光值圖作為該第一曝光值圖和該降低的曝光值圖的加權平均。
  5. 如請求項4所述之方法，其中對於該降低的曝光值圖的每個曝光影像區域，該第二平均值是區域中的曝光值的子集的平均值，該子集不包括大於該第一平均值的該曝光影像區域中的至少一個曝光值。
  6. 如請求項4所述之方法，其中該多個銳度圖區域的每一者與該多個曝光影像區域的各自的一者是一致的並與該單曝光影像的一者的多個影像區域的相同的各自的一者對應，計算該曝光值圖的步驟包括：透過權重圖對該第一曝光值圖和該降低的曝光值圖中的至少一者進行加權，該權重圖對於該多個影像區域的每一者具有等於該影像區域中該銳度圖的該銳度值的函數的各自的權重。
  7. 如請求項6所述之方法，其中i {1,2,...}表示該多個影像區域，該第一曝光值圖具有各自的多個曝光值p 1(i)，且該銳度圖的銳度值被表示為s(i)：該權重圖具有由權重函數w(s(i))決定的各自的多個權重。
  8. 如請求項7所述之方法，其中該權重函數w(s(i))的值不隨銳度值s(i)從其最小值增加至其最大值而增加。
  9. 如請求項1所述之方法，其中每個合成曝光值是該多個單曝光影像的一者的曝光時間和曝光指數中的一者。
  10. 如請求項1所述之方法，其中決定的步驟包括：將該銳度值和該合成曝光值加合為加權和以決定該最優曝光值。
  11. 如請求項1所述之方法，其中生成該HDR影像的步驟包括：生成該HDR影像作為該場景的該參考影像和該多個單曝光影像的加權和。
  12. 如請求項1所述之方法，更包括：在決定的步驟之後，根據該最優曝光值使 用影像感測器捕捉該參考影像。
  13. 如請求項12所述之方法，其中該影像感測器包括多個感測器像素，該多個感測器像素各自具有與入射其上的來自該場景的光的各自的強度對應的像素電荷，捕捉該多個單曝光影像的步驟包括：使用類比數位轉換器將每個像素電荷轉換為各自的第一數位像素值；以及將該第一數位像素值儲存在通信上耦接至微處理器的記憶體中；以及捕捉該參考影像的步驟包括：使用類比數位轉換器將每個像素電荷轉換為各自的第二數位像素值；以及將該第二數位像素值儲存在通信上耦接至微處理器的記憶體中。
  14. 一種用於生成高動態範圍(HDR)影像的曝光選擇器，包括：記憶體，儲存非暫態電腦可讀指令並適於儲存具有多個曝光時間的各自的一者的場景的多個單曝光影像；微處理器，適於執行該指令以：從該場景的該多個單曝光影像生成該單曝光影像的銳度值的銳度圖，從該多個單曝光影像生成該單曝光影像的合成曝光值的曝光值圖，從該銳度圖和該曝光值圖決定最優曝光值，以及透過合併使用該最優曝光值所捕捉的該場景的參考影像和該多個單曝光影像中的至少兩者來生成高動態範圍影像。
  15. 如請求項14所述之曝光選擇器，其中該微處理器還適於執行該指令，以當生成該銳度圖時，將邊緣檢測濾波應用至該多個單曝光影像的每一者以生成多個濾波影像；生成合成濾波影像，該合成濾波影像的每個像素座標具有等於遍及該多個濾波影像的每一者的各自的像素座標處的像素值的最大值的像素值；以及 為該合成濾波影像的多個銳度圖區域的每一者，決定等於該銳度圖區域內像素值的平均值的各自的銳度值。
  16. 如請求項14所述之曝光選擇器，其中該多個單曝光影像的每一者具有多個像素值，該多個像素值各自分別與成像場景中的多個位置的一者對應，該微處理器還適於執行該指令以當生成該曝光值圖時，透過為該多個位置的每一者決定該多個曝光值中的哪個曝光值產生位置處的最大非飽和像素值來生成曝光值影像；以及透過為該曝光值影像的多個曝光影像區域的每一者決定該合成曝光值來生成該曝光值圖，該合成曝光值等於該曝光影像區域內的曝光值的第一平均值。
  17. 如請求項16所述之曝光選擇器，其中多個第一平均值形成第一曝光值圖，該微處理器還適於執行該指令以當生成該曝光值圖時，透過為該多個曝光影像區域的每一者決定該曝光影像區域內曝光值的多個第二平均值的各自的一者來生成降低的曝光值圖，對於該多個曝光影像區域的每一者，該第一平均值超過該第二平均值；以及計算該曝光值圖作為該第一曝光值圖和該降低的曝光值圖的加權平均。
  18. 如請求項17所述之曝光選擇器，其中對於該降低的曝光值圖的每個曝光影像區域，該第二平均值是區域中的曝光值的子集的平均值，該子集不包括大於該第一平均值的該曝光影像區域中的至少一個曝光值。
  19. 如請求項17所述之曝光選擇器，其中該多個銳度圖區域的每一者與該多個曝光影像區域的各自的一者一致並與該單曝光影像的一者的多個影像區域的相同的各自的一者對應，該微處理器還適於執行該指令以當生成該曝光值圖時，透過權重圖對該第一曝光值圖和該降低的曝光值圖中的至少一者進行加權，該權重圖對於該多個影像區域的每一者具有等於該影像區域中該銳度圖的該銳度值的函數的各自的權重。
  20. 如請求項19所述之曝光選擇器，其中i {1,2,...}表示該多個影像區域，該第一曝光值圖具有各自的多個曝光值p 1(i)，且該銳度圖的銳度值被表示為s(i)：該權重圖具有由權重函數w(s(i))決定的各自的多個權重。
  21. 如請求項20所述之曝光選擇器，其中該權重函數w(s(i))的值不隨銳度值s(i)從其最小值增加至其最大值而增加。
  22. 如請求項14所述之曝光選擇器，其中每個合成曝光值是該多個單曝光影像的一者的曝光時間和曝光指數中的一者。
  23. 如請求項14所述之曝光選擇器，其中該微處理器還適於執行該指令，以當合併時，將該銳度值和該合成曝光值加合為加權和以決定該最優曝光值。
  24. 如請求項14所述之曝光選擇器，其中該微處理器還適於執行該指令，以當生成該HDR影像時：生成該HDR影像作為該場景的該參考影像和該多個單曝光影像的加權和。
TW106146031A 2017-02-01 2017-12-27 用於高動態範圍成像的曝光選擇器及其相關的方法 TWI649722B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/421,949 US10425599B2 (en) 2017-02-01 2017-02-01 Exposure selector for high-dynamic range imaging and associated method
US15/421,949 2017-02-01

Publications (2)

Publication Number Publication Date
TW201830331A TW201830331A (zh) 2018-08-16
TWI649722B true TWI649722B (zh) 2019-02-01

Family

ID=62980428

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106146031A TWI649722B (zh) 2017-02-01 2017-12-27 用於高動態範圍成像的曝光選擇器及其相關的方法

Country Status (3)

Country Link
US (1) US10425599B2 (zh)
CN (1) CN108377343B (zh)
TW (1) TWI649722B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206359B2 (en) 2019-06-24 2021-12-21 Altek Semiconductor Corp. Image outputting method and electronic device

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282821B1 (en) 2015-08-27 2019-05-07 Descartes Labs, Inc. Observational data processing and analysis
JP7129264B2 (ja) * 2018-08-03 2022-09-01 キヤノン株式会社 撮像装置
CN111260876B (zh) * 2018-11-30 2022-02-25 北京欣奕华科技有限公司 一种图像处理方法及装置
EP3680851B1 (en) * 2019-01-09 2021-11-03 Agfa Nv Method and system to calculate the point spread function of a digital image detector system based on a mtf modulated quantum-noise measurement
GB2584907A (en) * 2019-06-21 2020-12-23 Zivid As Method for determining one or more groups of exposure settings to use in a 3D image acquisition process
CN111062923B (zh) * 2019-12-16 2024-01-23 中国科学院深圳先进技术研究院 图像处理方法及相关装置
TWI726539B (zh) * 2019-12-16 2021-05-01 英業達股份有限公司 區間選擇器的處理方法
US11663777B2 (en) * 2020-03-15 2023-05-30 Intel Corporation Apparatus and method for motion blur with a dynamic quantization grid
JP7686387B2 (ja) * 2020-11-30 2025-06-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US11265484B1 (en) 2020-12-16 2022-03-01 Waymo Llc Systems and methods for automatic exposure of images
JP7657606B2 (ja) * 2021-02-18 2025-04-07 キヤノン株式会社 撮像制御装置、撮像制御方法およびプログラム
CN113674193B (zh) * 2021-09-03 2025-03-28 上海肇观电子科技有限公司 图像融合方法、电子设备和存储介质
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
CN114302067B (zh) * 2021-12-30 2025-02-11 无锡图创智能科技有限公司 不同反射率表面三维结构光测量的曝光值选择方法
WO2023126736A1 (en) * 2021-12-30 2023-07-06 Mobileye Vision Technologies Ltd. Image position dependent blur control within hdr blending scheme
JP2023130222A (ja) * 2022-03-07 2023-09-20 キヤノン株式会社 画像処理装置、制御方法及びプログラム
CN117710264B (zh) * 2023-07-31 2024-09-10 荣耀终端有限公司 图像的动态范围校准方法和电子设备
CN120451138B (zh) * 2025-07-01 2025-09-12 海南大学三亚南繁研究院 基于图像处理的农业病虫害监测预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087391B2 (en) * 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
CN105122302A (zh) * 2013-04-15 2015-12-02 高通股份有限公司 无重影高动态范围图像的产生
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
CN106169182A (zh) * 2016-05-25 2016-11-30 西安邮电大学 一种合成多幅不同曝光度图像的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
CN102420944B (zh) * 2011-04-25 2013-10-16 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP6278972B2 (ja) * 2012-11-16 2018-02-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 高ダイナミックレンジ画像の処理のための方法、装置及びプロセッサ可読媒体
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
US9077913B2 (en) * 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
KR102145201B1 (ko) * 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치
US9432589B2 (en) * 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
JP6410416B2 (ja) * 2013-08-21 2018-10-24 キヤノン株式会社 撮像装置及び撮像装置の制御方法
PL3005678T3 (pl) * 2014-02-18 2021-06-14 Huawei Technologies Co., Ltd. Sposób uzyskiwania obrazu i układ wielokamerowy
US9342871B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
US9344636B2 (en) * 2014-05-30 2016-05-17 Apple Inc. Scene motion correction in fused image systems
JP6290038B2 (ja) * 2014-08-20 2018-03-07 株式会社東芝 電子機器、方法及びプログラム
US9813635B2 (en) * 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging
US10129485B2 (en) * 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
US9990536B2 (en) * 2016-08-03 2018-06-05 Microsoft Technology Licensing, Llc Combining images aligned to reference frame

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9087391B2 (en) * 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
CN105122302A (zh) * 2013-04-15 2015-12-02 高通股份有限公司 无重影高动态范围图像的产生
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
TWI543615B (zh) * 2014-07-17 2016-07-21 華碩電腦股份有限公司 影像處理方法及其電子裝置
CN106169182A (zh) * 2016-05-25 2016-11-30 西安邮电大学 一种合成多幅不同曝光度图像的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206359B2 (en) 2019-06-24 2021-12-21 Altek Semiconductor Corp. Image outputting method and electronic device

Also Published As

Publication number Publication date
US20180220054A1 (en) 2018-08-02
CN108377343B (zh) 2020-10-30
TW201830331A (zh) 2018-08-16
US10425599B2 (en) 2019-09-24
CN108377343A (zh) 2018-08-07

Similar Documents

Publication Publication Date Title
TWI649722B (zh) 用於高動態範圍成像的曝光選擇器及其相關的方法
CN112532855B (zh) 一种图像处理方法和装置
US10021313B1 (en) Image adjustment techniques for multiple-frame images
CN107809602B (zh) 去除鬼伪影的方法和鬼伪影去除器
JP5016715B2 (ja) 画像のダイナミック・レンジを改善するためのマルチ露光パターン
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US9531960B2 (en) Imaging apparatus for generating HDR image from images captured at different viewpoints and method for controlling imaging apparatus
US7916181B2 (en) Method and device for creating high dynamic range pictures from multiple exposures
CN106358030B (zh) 图像处理装置和图像处理方法
CN110365961A (zh) 图像去马赛克装置及方法
CN104144298A (zh) 一种宽动态图像合成方法
CN105578075A (zh) 高动态范围图像的生成方法、拍照装置和终端
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108353133B (zh) 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
JP5898509B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2010220207A (ja) 画像処理装置及び画像処理プログラム
US10546369B2 (en) Exposure level control for high-dynamic-range imaging, system and method
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP4290965B2 (ja) デジタル画像の品質を改善する方法
TWI754291B (zh) 高動態範圍影像感測器和影像捕獲方法
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP2010239493A (ja) 撮像装置および映像信号の補正処理方法
JP2018056848A (ja) 撮像装置、撮像装置の制御方法
JP2013115490A (ja) 情報処理装置及び情報処理方法