TWI471004B - 成像裝置、成像方法及程式 - Google Patents
成像裝置、成像方法及程式 Download PDFInfo
- Publication number
- TWI471004B TWI471004B TW100126241A TW100126241A TWI471004B TW I471004 B TWI471004 B TW I471004B TW 100126241 A TW100126241 A TW 100126241A TW 100126241 A TW100126241 A TW 100126241A TW I471004 B TWI471004 B TW I471004B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- distance
- subject
- imaging device
- imaging
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
本發明係關於成像裝置、成像方法及程式,且特定言之,本發明係關於允許用減小的計算量產生一聚焦影像之成像裝置、成像方法及程式。
當使用一數位相機或任何其他類似成像裝置捕獲一影像時,一使用者通常執行預定操作以聚焦在一期望主體上。明確言之,使用者將主體定位在一取景器之中心處且接著將快門按鈕按到一半以聚焦在該主體上,以此方式用數位相機對準期望主體。
一般而言,藉由使用對比方法判定使主體影像之對比達到最大值之透鏡位置且移動該透鏡至如此判定的透鏡位置來執行一數位相機中之聚焦操作。上文描述的聚焦操作稱為自動聚焦。或者,可藉由使用基於一光學距離計之一測距儀來聚焦在一主體影像上,以疊加藉由使用沿兩個不同光學路徑傳播的光通量產生之影像。
又或者,存在一種技術,其中一使用者選擇具有一觸控板功能之一電子觀景窗(EVF)中顯示之一即時影像(其稱為一直通影像)中之一預定主體且相機(自動)測量至含有所選主體之一區域之距離且聚焦在該主體上(舉例而言,參見JP-A-8-122847)。
然而,在捕獲如上文描述已自動聚焦在該主體上之一影像之前,至該主體之距離可能突然改變或自動聚焦無法非常精確地執行。在此情況中,所得捕獲影像並非一聚焦影像而是一散焦影像。
為解決該問題,可設想對此一散焦影像執行預定信號處理,使得校正模糊且產生一聚焦影像。明確言之,估計代表一散焦影像中之模糊量之一模糊函數,且基於對該主體之距離(主體距離)特定之一透鏡成像特性,對該散焦影像執行使用所估計模糊函數之一反函數之反計算。因此可在不存在自動聚焦操作之情況下產生一聚焦影像。
然而,因為至該散焦影像中含有之該主體之距離未知,所以有必要基於對每個可能主體距離特定之透鏡成像特性,對該散焦影像執行信號處理。在此情況中,計算量極大。
因此,期望用一減小的計算量產生一聚焦影像。
根據本發明之一實施例之一成像裝置包含:一光學系統,其形成對應於入射穿過一透鏡之主體光之一影像;一成像器件,其產生對應於入射穿過該透鏡之該主體光之一信號且輸出該信號作為一捕獲影像;獲取構件,其用於獲取至該主體之距離;及校正構件,其基於對由該獲取構件獲取的該主體距離特定之該光學系統之一成像特性來校正自該成像器件輸出的該捕獲影像中之模糊。
該成像裝置可進一步包含顯示構件,其用於顯示該捕獲影像;及選擇構件,其基於使用者之操作選擇該顯示構件上顯示之該捕獲影像中之該主體。該校正構件可基於對該主體之距離特定的該光學系統之成像特性來校正該捕獲影像中之模糊,該主體係由該選擇構件基於由該獲取構件獲取的主體距離而選擇的。
該顯示構件可顯示藉由指示該成像器件執行像素值加法或薄化讀取而產生的直通影像,該等直通影像係即時捕獲的影像。該選擇構件可基於使用者之操作選擇該等直通影像之一者中之主體。當該選擇構件選擇該直通影像中之該主體時,該獲取構件可獲取至該主體之距離。該校正構件可基於對該直通影像中之該主體之距離特定的該光學系統之成像特性來校正該捕獲影像中之模糊,該主體係由該選擇構件基於由該獲取構件獲取之該主體距離而選擇的。
該成像裝置可進一步包括用於自該直通影像產生一聚焦直通影像之產生構件,該聚焦直通影像如此產生使得聚焦在由該選擇構件選擇的該直通影像中之該主體上。該顯示構件可顯示由該產生構件產生的該聚焦直通影像。
該成像器件可輸出該信號對應於入射穿過該透鏡之該主體光之部分,該信號之該部分用作為關於至該主體之距離之距離資訊。該獲取構件可基於自該成像器件輸出之該距離資訊獲取至該主體之距離。
該透鏡可係聚焦在無限遠或一遠距離處之一目標上之一單焦距透鏡。
該透鏡可係一變焦透鏡,且該校正構件可基於該光學系統之一成像特性來校正該捕獲影像中之模糊,該成像特性係預先獲得的且不僅對該獲取構件獲取之該主體距離而且對該變焦透鏡之一變焦狀態係特定的。
該校正構件可基於對由該獲取構件獲取之該主體距離特定的該光學系統之一點擴散函數來校正該捕獲影像中之模糊。
該校正構件可基於對由該獲取構件獲取之該主體距離特定的該光學系統之一線擴散函數來校正該捕獲影像中之模糊。
該校正構件可基於對由該獲取構件獲取之該主體距離特定的該光學系統之一光學轉移函數來校正該捕獲影像中之模糊。
根據本發明之一實施例之一成像方法係配合一成像裝置使用,該成像裝置包含:一光學系統,其形成對應於入射穿過一透鏡之主體光之一影像;一成像器件,其產生對應於入射穿過該透鏡之該主體光之一信號且輸出該信號作為一捕獲影像;獲取構件,其用於獲取至該主體之距離;及校正構件,其基於對由該獲取構件獲取的該主體距離特定之該光學系統之一成像特性來校正自該成像器件輸出的該捕獲影像中之模糊。該方法包含:藉由使用該獲取構件獲取至該主體之距離;及基於對在該獲取中獲取之該主體距離特定的該光學系統之成像特性,藉由使用該校正構件來校正自該成像器件輸出的該捕獲影像中之模糊。
根據本發明之一實施例之一程式指示一電腦實行一成像裝置中之一成像過程,該成像裝置包含:一光學系統,其形成對應於入射穿過一透鏡之主體光之一影像;及一成像器件,其產生對應於入射穿過該透鏡之該主體光之一信號且輸出該信號作為一捕獲影像。該程式指示該電腦執行:一獲取控制步驟,其控制至該主體之距離之獲取;及一校正步驟,其基於對該獲取控制步驟中獲取之該主體距離特定的該光學系統之一成像特性來校正自該成像器件輸出的該捕獲影像中之模糊。
在本發明之另一實施例中,獲取至一主體之距離,且基於對獲取的至該主體之距離特定之一光學系統之一成像特性來校正自一成像器件輸出之一捕獲影像中之模糊。
在本發明之實施例之任一者中,可用一減小的計算量產生一聚焦影像。
下文將參考隨附圖式描述本發明之實施例。將依以下次序做出描述。
1.第一實施例(提供一單焦距透鏡且回應於快門操作捕獲一影像之組態)
2.第二實施例(提供一單焦距透鏡且回應於觸摸操作捕獲一影像之組態)
3.第三實施例(提供一變焦透鏡且回應於快門操作捕獲一影像之組態)
圖1展示應用本發明之一成像裝置之一實施例之組態。
舉例而言,圖1中展示之一成像裝置11經組態作為一數位相機且捕獲一主體之一影像、儲存該主體之捕獲影像(靜止影像)且根據一使用者之操作對該使用者顯現該捕獲影像。
舉例而言,該成像裝置11至少根據以下操作模式進行操作:捕獲一主體之一影像且記錄該捕獲影像之一成像模式及使用者可觀看一記錄的捕獲影像之一影像觀看模式。當使用者操作該成像裝置11且選擇該成像模式時,該成像裝置11回應於使用者之快門操作捕獲一主體之一影像且記錄該捕獲影像。當使用者操作該成像裝置11且選擇該影像觀看模式時,該成像裝置11允許使用者自記錄的捕獲影像選擇一期望捕獲影像且顯示該選擇的捕獲影像。
圖1中展示之該成像裝置11包含一光學系統31、一距離測量影像感測器32、一A/D(類比轉數位)轉換器33、一時序產生器34、一影像處理器35、一相機信號處理器36、一記憶體37、一監視器38、一操作單元39、一控制器40及一距離測量輔助光發射器41。
該光學系統31供應一主體之一影像至該距離測量影像感測器32,在此處捕獲該影像。
包含一透鏡31a及一光圈31b之該光學系統31調整自該主體入射穿過該透鏡31a之光量且允許所得光入射在該距離測量影像感測器32上。
該光學系統31不需要調整形成對應於自該主體入射穿過該透鏡31a之光之影像之位置。即,該透鏡31a係一單眼透鏡,其經設計具有一單焦距且聚焦在定位在距該透鏡31a2米、4米或其他距離遠之一遠點(遙遠目標)或甚至在無限遠處之一點上。該光圈31b調整該距離測量影像感測器32上之入射穿過該透鏡31a之光量。
該距離測量影像感測器32係一CCD(電荷耦合器件)感測器、一CMOS(互補金屬氧化物半導體)感測器或任何其他適宜感測器,其捕獲該主體之影像且輸出所得影像信號。
即,該距離測量影像感測器32接收入射穿過該光學系統31之光、在一光電轉換過程中將該光轉換成呈根據所接收光量之電信號形式之一影像信號(類比信號)且供應該影像信號至該A/D轉換器33。
該距離測量影像感測器32進一步為該A/D轉換器33供應該信號對應於自該主體入射穿過該透鏡31a之光之部分作為代表該成像裝置11與該主體之間之距離之距離資訊(類比信號)。
現在將參考圖2描述形成該距離測量影像感測器32之像素配置。
一典型影像感測器利用稱為一拜耳佈局(Bayer layout)之像素配置,其中顏色R(紅)、G(綠)及B(藍)如此指派至像素使得以一棋盤型樣配置G像素且R像素及B像素佈置在該等G像素之間。
圖2中展示之該距離測量感測器32經如此組態使得作為在一典型影像感測器中以一棋盤型樣配置的該等G像素之一半(每一組2×2(=4)相鄰RGBG像素之G像素)用作為用於距離測量之像素(在圖2中塗成黑色)。
該距離測量影像感測器32接收自該距離測量輔助光發射器41(稍後將描述)投射至一主體、反射離開該主體且入射在用於距離測量之該等像素上之光。該距離測量影像感測器32基於藉由使用稱為一TOF(飛行時間)方法自投射該光至接收該光之週期來判定至該主體之距離且輸出代表至該主體之距離之距離資訊。
即,該距離測量影像感測器32不僅可輸出由該等RGB像素產生之一影像信號用於成像,而且可輸出由該等像素產生的距離資訊用於距離測量。
在圖2中展示之該距離測量影像感測器32中,其中四個像素之一用作為一距離測量像素,任意設定該等距離測量像素對整個RGB像素之比(舉例而言,一對16個像素)。此外,由RGB像素及距離測量像素形成之一單(單片)感測器(即,該等像素整合至一個晶片中)之該距離測量影像感測器32或者可由兩個感測器形成:一影像感測器,其利用上文描述的拜耳佈局;及一距離測量感測器,其所有像素均用於距離測量。在此情況中,該距離測量感測器中之一像素僅需要對應於該影像感測器中之一個像素、四個像素或任何其他數目個像素。換言之,該距離測量感測器中之像素數目(像素配置)不必要等於該影像感測器中之像素數目(像素配置)。又或者,該距離測量影像感測器32可係一三片感測器。明確言之,在該等RGB影像感測器之至少一者中,舉例而言,2×2(=4)相鄰像素之一可用作為一距離測量像素。
將再次參考圖1做出該成像裝置11之組態之描述。該A/D轉換器33將自該距離測量影像感測器32供應之該類比信號(影像信號及距離資訊)轉換成一數位信號且供應該數位信號至該影像處理器35。
舉例而言,當該距離測量影像感測器32係一CCD感測器時,該時序產生器34在該控制器40之控制下產生用於驅動該CCD之一時序信號且供應該時序信號至該距離測量影像感測器32及該A/D轉換器33。
該影像處理器35在該控制器40之控制下對來自該A/D轉換器33之該數位信號(影像信號)執行預定影像處理且供應經處理信號至該相機信號處理器36。
該相機信號處理器36對來自該影像處理器35之該影像信號執行各種處理(諸如顏色校正、白平衡調整、灰階轉換、γ校正、YC轉換及壓縮),將該經處理信號記錄在記憶體中,且在該監視器38上顯示該經處理信號。
該操作單元39由層積在該監視器38上之按鈕、旋鈕、操縱桿、一觸控板及其他組件形成且接收使用者之操作輸入。
該控制器40基於代表一使用者之操作輸入之一信號控制該成像裝置11中之該等組件。
該距離測量輔助光發射器41發射光至一主體,該主體反射由該距離測量影像感測器32中之該等距離測量像素接收的光,此已參考圖2予以描述。
接下來將參考圖3描述圖1中展示之該成像裝置11之一例示性功能組態。
圖3中展示之該成像裝置11包含一成像區段51、一輸入區段52、一輸入控制區段53、一成像控制區段54、一距離資訊獲取區段55、一顯示控制區段56、一顯示區段57、一記錄控制區段58、一記錄區段59及一模糊校正區段60。
該成像區段51包含一透鏡51a及一距離測量影像感測器51b。該透鏡51a及該距離測量影像感測器51b與圖1中展示之該透鏡31a及該距離測量影像感測器32相同,因此將不詳細描述該透鏡51a及該距離測量影像感測器51b。進入該透鏡51a之主體光聚焦在該距離測量影像感測器51b上,且該成像區段51不僅將攜載所形成主體影像之一影像信號供應至該成像控制區段54而且將關於至該主體(其已成像)之距離之距離資訊供應至該距離資訊獲取區段55。
當使用者操作對應於圖1中展示之該操作單元39之該輸入區段52時,該輸入區段52接收來自該操作單元39之一輸入,且將代表對應於使用者之操作之輸入之一信號(操作信號)供應至該輸入控制區段53。
該輸入控制區段53將對應於來自該輸入區段52之該操作信號之一指令供應至該成像控制區段54及該距離資訊獲取區段55。
該成像控制區段54基於來自該成像區段51之該影像信號產生攜載待顯示在該顯示區段57上之一顯示影像之一影像信號,且將產生的影像信號供應至該顯示控制區段56。該成像控制區段54進一步獲取來自該成像區段51之該影像信號,且根據來自該輸入控制區段53之該指令將獲取的影像信號供應至該記錄控制區段58。
該距離資訊獲取區段55獲取來自該成像區段51之該距離資訊,且根據來自該輸入控制區段53之該指令將該距離資訊供應至該記錄控制區段58。
該顯示控制區段56基於攜載來自該成像控制區段54之該顯示影像之該影像信號,在該顯示區段57上顯示該顯示影像。或者,該顯示控制區段56在該顯示區段57上顯示由經由該記錄控制區段58自該記錄區段59供應(讀取)之一影像信號攜載之一影像。
對應於圖1中展示之該監視器38之該顯示區段57在該顯示控制區段56之控制下顯示一影像。
該記錄控制區段58以該距離測量影像感測器51b中之像素為基礎(舉例而言,以四個相鄰像素為基礎),使來自該成像控制區段54之該影像信號與來自該距離資訊獲取區段55之該距離資訊相關且將彼此相關的該影像信號與該距離資訊記錄在該記錄區段59中。或者,該記錄控制區段58讀取記錄在該記錄區段59中之一影像信號及距離資訊且將其等供應至該顯示控制區段56及該模糊校正區段60(如需要)。
對應於圖1中展示之該記憶體37之該記錄區段59記錄來自該記錄控制區段58之該影像信號及距離資訊。該記錄控制區段58讀取記錄在該記錄區段59中之該影像信號及距離資訊(如需要)。
該模糊校正區段60校正由來自該記錄控制區段58之該影像信號攜載之該捕獲影像中含有的模糊,且根據來自該輸入控制區段53之一指令將校正的捕獲影像供應至該記錄控制區段58。供應至該記錄控制區段58之該經模糊校正的捕獲影像記錄在該記錄區段59中。
接下來將參考圖4中之流程圖描述由該成像裝置執行之一成像過程。
舉例而言,當使用者打開且操作該成像裝置11以選擇該成像模式時,該成像裝置11以該成像模式進行操作,該成像模式允許使用者捕獲一影像。在步驟S11中,該成像控制區段54控制該成像區段51以在該顯示區段57上顯示直通影像,該等直通影像係即時捕獲的影像。
明確言之,該成像控制區段54指示該距離測量影像感測器51b執行像素值加法或薄化讀取以產生攜載一顯示影像(舉例而言,其具有一VGA(視訊圖形陣列)大小之一影像信號(下文簡稱為一顯示影像))且將該影像信號供應至該顯示控制區段56。該顯示控制區段56在該顯示區段57上顯示來自該影像控制區段54之該顯示影像作為一直通影像。以此方式,使用者可看到即時顯示在該顯示區段57上之直通影像且判定待捕獲之一影像之構成。
在步驟S12中,該輸入控制區段53判斷使用者是否已執行快門操作,即,使用者是否按壓運作為一快門按鈕之該輸入區段52。
當步驟S12中之判斷展示還未執行快門操作時,控制返回步驟S11,且重複實行步驟S11及S12中之過程直到執行快門操作。
另一方面,步驟S12中之判斷展示已執行快門操作,該輸入控制區段53發出對應於代表透過該輸入區段52執行之快門操作之一操作信號之一指令至該成像控制區段54及該距離資訊獲取區段55,且該控制繼續進行至步驟S13。
在步驟S13中,該成像控制區段54根據來自該輸入控制區段53之該指令執行一成像過程。明確言之,在該輸入控制區段53發出該指令至該成像控制區段54之時,該成像控制區段54讀取來自該距離測量影像感測器51b之所有像素值以產生攜載一捕獲影像(舉例而言,其具有一全HD(全高清晰度)大小(下文簡稱為一捕獲影像))之一影像信號且將該捕獲影像供應至該記錄控制區段58。
在步驟S14中,該距離資訊獲取區段55在該輸入控制區段53發出該指令至該距離資訊獲取區段55之時獲取來自該距離測量影像感測器51b之距離資訊且將該距離資訊供應至該記錄控制區段58。
可同時實行步驟S13及S14中之過程。
在步驟S15中,該記錄控制區段58以該距離測量影像感測器51b中之像素為基礎,使來自該成像控制區段54之該捕獲影像與來自該距離資訊獲取區段55之該距離資訊相關,且將彼此相關的該捕獲影像與該距離資訊記錄在該記錄區段59中。
如參考圖2所描述,該距離測量影像感測器51b(距離測量影像感測器)中之四個相鄰像素由作為一整體輸出一影像信號及一距離測量像素之三個RGB像素形成。現在,該四個相鄰像素被視為一區塊。針對每一區塊產生攜載一捕獲影像之一影像信號(下文稱為影像資訊)及距離資訊。換言之,用於一捕獲影像中之每一區塊之影像資訊及距離資訊藉由使用代表該捕獲影像中之該區塊之位置之座標而彼此相關。
在先前區段中,每一區塊之影像資訊及距離資訊彼此分開且藉由使用該區塊之座標而彼此相關。或者,對每一區塊,距離資訊可含在影像資訊中。
此外,在先前區段中,四個相鄰像素形成一單一區塊。一個區塊僅需要含有至少一個距離測量像素,舉例而言,4×4=16個相鄰像素可形成一單一區塊。
在步驟S16中,該輸入控制區段53判斷使用者是否對運作為一模式切換按鈕、一電源開啟/關閉按鈕或其他按鈕(圖中未展示)之該輸入區段52執行按壓操作,以發出用以終止該成像模式之一指令。
當步驟S16中之判斷展示還未發出用以終止該成像模式之指令時,該控制返回步驟S11且重複實行步驟S11至S16中之過程。
另一方面,當步驟S16中之判斷展示已發出用以終止該成像模式之一指令時,終止該成像過程。
藉由實行上文描述的過程,該成像裝置11回應於使用者之快門操作可記錄具有使用者期望之一構成之一捕獲影像。因為該透鏡51a(透鏡31a)係聚焦在一遠距位置處或無限遠處之一主體上之一單焦距透鏡,所以所得捕獲影像含有已聚焦之一遠距主體。該捕獲影像可係含有遠方景色或任何其他遠距主體之一美景影像。
然而,上文描述的過程通常不能產生接近該成像裝置11之一聚焦影像,或接近該成像裝置11之主體在一捕獲影像中係完全模糊的。
接下來將描述校正記錄在該記錄區段59中之一捕獲影像中由使用者選擇之一模糊主體之一模糊校正過程。
圖5係描述由該成像裝置11執行之模糊校正之一流程圖。
舉例而言,當使用者操作該操作單元以選擇該影像觀看模式時,該成像裝置11以該影像觀看模式進行操作,該影像觀看模式允許使用者觀看一記錄的捕獲影像,且顯示區段57顯示對應於記錄在該記錄區段59中之捕獲影像之一縮圖影像列表。該等縮圖影像伴隨代表其等是否已經歷模糊校正之圖示。當使用者操作該操作單元以自該縮圖影像列表選擇還未經歷模糊校正之一縮圖影像時,即開始模糊校正。
在步驟S31中,該記錄控制區段58自該記錄區段59讀取記錄在該記錄區段59中之該等捕獲影像之中對應於由使用者選擇之該縮圖影像之一捕獲影像及與該捕獲影像相關之距離資訊。在以此方式讀取的捕獲影像及距離資訊中,該記錄控制區段58將該捕獲影像供應至該顯示控制區段56且將該捕獲影像與該距離資訊兩者供應至該模糊校正區段60。
在步驟S32中,該顯示控制區段56在該顯示區段57上顯示來自該記錄控制區段58之該捕獲影像。因為來自該記錄控制區段58之該捕獲影像具有如上文描述之全HD大小,所以該顯示控制區段56在解析度上將來自該記錄控制區段58之該捕獲影像轉換成可顯示在該顯示區段57上之一VGA大小的影像且在該顯示區段57上顯示經轉換的影像。
在步驟S33中,該輸入控制區段53基於來自運作為層積在該監視器38上之該觸控板之該輸入區段52之一操作信號,判斷使用者是否已選擇顯示在該顯示區段57上之經解析度轉換的捕獲影像(下文稱為一顯示捕獲影像)中之一預定主體。
該步驟S33中之判斷展示還未選擇該顯示捕獲影像中之主體,則重複實行該步驟S33中之過程直到該輸入控制區段53判斷選擇該顯示捕獲影像中之一預定主體。
另一方面,當步驟S33中之判斷展示已選擇該顯示捕獲影像中之一主體時,該輸入控制區段53將關於該捕獲影像之座標之座標資訊供應至該模糊校正區段60。該座標資訊含在來自運作為該觸控板之該輸入區段52之該操作信號中,且該等座標代表對應於該顯示捕獲影像中由使用者選擇之一主體部分之一區域(區塊)。
在步驟S34中,該模糊校正區段60基於對應於來自該記錄控制區段58之該距離資訊之該透鏡51a之成像特性來校正來自該記錄控制區段58之該捕獲影像中之模糊,該距離資訊對應於由來自該輸入控制區段53之該座標資訊代表之座標,即,該距離資訊與由使用者選擇之該主體部分相關聯。
一般而言,藉由使用一點強度分佈(點擴散函數:PSF)來模型化含在一捕獲影像中且具有一預定主體距離之一主體之模糊分佈,該點強度分佈取決於該透鏡51a之特性及該主體距離。
該模糊校正區段60藉由對該捕獲影像執行解迴旋來執行模糊校正。藉由使用根據與該捕獲影像中之區域相關聯之該距離資訊(主體距離)之一PSF來執行解迴旋,該區域對應於在該顯示區段57上已由使用者觸摸(選擇)之該顯示捕獲影像中之區域(該捕獲影像中之該區域在下文中稱為一選擇區域)。該模糊校正區段60將該經模糊校正的捕獲影像供應至該記錄控制區段58。
舉例而言,在一全HD大小的捕獲影像中,一選擇區域可對應於上文描述之一區塊或可係由若干區塊形成之一區域。當一選擇區域由若干區塊形成時,一PSF所取決之距離資訊可與該等若干區塊之一實質上中心者或與該等若干區塊相關聯之距離資訊之平均值相關聯。
因為預先得知至一捕獲影像中選擇之該主體(使用者想要聚焦之主體)之距離呈如上文描述的距離資訊之形式,所以該模糊校正區段60可在不需要藉由使用對每個可能主體距離特定之一PSF對該捕獲影像執行解迴旋之情況下執行模糊校正。
在步驟S35中,該記錄控制區段58將來自該模糊校正區段60之該經模糊校正的捕獲影像記錄在該記錄區段59中。
在上文描述的過程中,在與關於主體距離之距離資訊相關之一捕獲影像中選擇一預定主體,且基於對應於與一選擇主體部分相關聯之該距離資訊之透鏡成像特性對該捕獲影像執行模糊校正。即,因為預先得知至該捕獲影像中選擇之該主體(使用者想要聚焦之主體)之距離呈距離資訊之形式,所以該成像裝置可在不需要藉由使用對每個可能主體距離特定之一PSF對該捕獲影像執行解迴旋之情況下執行模糊校正。因此,該成像裝置可在不執行自動聚焦或以其他方式聚焦在該主體上之情況下,利用一減小的計算量產生一聚焦影像。
在上文描述中,當對一捕獲影像執行模糊校正時,該模糊校正區段60使用一PSF(點擴散函數)作為對應於距離資訊之該透鏡51a之成像特性。或者,該透鏡51a之成像特性可係藉由對一點擴散函數執行二維傅立葉變換而獲得之一線擴散函數(LSF)或一光學轉移函數(OTF)。該OTF係代表空間頻域中之一影像之降解度之一函數。
又或者,藉由實行參考圖4中之流程圖描述之該成像過程而提供之一捕獲影像可經由一記錄媒體或任何其他適宜媒體(圖中未展示)供應至一影像處理裝置(諸如一個人電腦),且可在該影像處理裝置中執行上文描述的模糊校正。在此情況中,該影像處理裝置不包含如圖1中展示之該成像裝置11中之該成像區段51、該成像控制區段54及該距離資訊獲取區段55。在由如此組態的影像處理裝置執行之模糊校正中,顯示在該顯示區段57上之一顯示捕獲影像可保留一全HD大小的影像,且可藉由(舉例而言)使用者之滑鼠點擊操作而不是該觸控板上之觸摸操作來執行主體選擇。
此外,在上文描述中,在該成像裝置11中將該成像模式切換至該影像觀看模式時,當使用者自一縮圖捕獲影像列表中選擇還未經歷模糊校正之一捕獲影像時執行模糊校正。或者,當該成像模式切換至包含該影像觀看模式之其他模式時,可自動執行模糊校正。
接下來將參考圖6描述在終止該成像模式之後自動執行模糊校正之一成像過程。
圖6中之流程圖中之步驟S71至S76中之過程基本上與圖4中之流程圖中之步驟S11至S16中之此等過程相同,且圖6中之流程圖中之步驟S78至S81中之過程基本上與圖5中之流程圖中之步驟S32至S35中之此等過程相同。因此將不對圖6中上文已描述的步驟做出描述。
即,在步驟S71至S75之過程中,一捕獲影像與距離資訊彼此相關且被記錄,且在步驟S76中,判斷使用者是否對運作為模式切換按鈕(圖中未展示)之該輸入區段52執行按壓操作及是否已發出用以終止該成像模式之一指令。
當步驟S76中之判斷展示已發出用以終止該成像模式之一指令時,控制繼續進行至步驟S77。
在步驟S77中,該記錄控制區段58自該記錄區段59讀取經捕獲且記錄在該記錄區段59中之該等捕獲影像中沿時間軸最早記錄(捕獲)之一捕獲影像及與該捕獲影像相關之距離資訊。在以此方式讀取的捕獲影像及距離資訊中,該記錄控制區段58將該捕獲影像供應至該顯示控制區段56且將該捕獲影像與該距離資訊兩者供應至該模糊校正區段60。
在步驟S78至S81之過程中將一經模糊校正的捕獲影像記錄在該記錄區段59中之後,該記錄控制區段58在步驟S82中判斷是否已對在步驟S71至S75中之過程中捕獲並記錄的所有捕獲影像執行模糊校正。
當步驟S82中之判斷展示還未處理所有捕獲影像時,該控制返回步驟S77,且依捕獲時間之遞減次序對剩餘的捕獲影像重複實行步驟S77及以下步驟中之過程。
另一方面,當步驟S82中之判斷展示已處理所有捕獲影像時,終止該成像過程。
在上文描述的過程中,在與關於主體距離之距離資訊相關之一捕獲影像中選擇一預定主體,且基於對應於與一選擇的主體部分相關聯之距離資訊之透鏡成像特性來校正該捕獲影像中之模糊。即,因為預先得知至該捕獲影像中選擇之該主體(使用者想要聚焦之主體)之距離呈距離資訊之形式,所以該成像裝置可在不需要藉由使用對每個可能主體距離特定之一PSF對該捕獲影像執行解迴旋之情況下執行模糊校正。因此,該成像裝置可在不執行自動聚焦或以其他方式聚焦在該主體上之情況下,利用一減小的計算量產生一聚焦影像。
已參考其中使用者在已獲得之一捕獲影像中選擇其想要聚焦之一主體之組態做出上文描述。或者,使用者可在捕獲一影像之前,在一直通影像中選擇其想要聚焦之一主體。
圖7展示一成像裝置之一例示性功能組態,該成像裝置如此組態使得使用者在捕獲一影像之前在一直通影像中選擇其想要聚焦之一主體。
一成像裝置111包含一成像區段51、一輸入區段52、一輸入控制區段53、一成像控制區段54、一距離資訊獲取區段55、一顯示控制區段56、一顯示區段57、一記錄區段59、一模糊校正區段60、一聚焦影像產生區段151及一記錄控制區段152。
在圖7中展示之該成像裝置111中,具有與圖3中展示之該成像裝置11中提供的該等組件之功能相同的功能之組件具有相同的名稱及參考符號,且將適當不做出此等組件之描述。
即,圖7中展示之該成像裝置111與圖3中展示之該成像裝置11的不同之處在於,該聚焦影像產生區段151係新提供的,且用該記錄控制區段152取代該記錄控制區段58。
該聚焦影像產生區段151基於來自該成像控制區段54之一顯示影像及來自該距離資訊獲取區段55之距離資訊,根據來自該輸入控制區段53之一指令產生一顯示聚焦影像。該顯示聚焦影像如此產生使得聚焦在該顯示影像中由使用者選擇之一主體上。該聚焦影像產生區段151接著將該顯示聚焦影像供應至該顯示控制區段56及該記錄控制區段152。
該記錄控制區段152不僅以該距離測量影像感測器51b中之像素為基礎,使來自該成像控制區段54之該影像信號與來自該距離資訊獲取區段55之該距離資訊相關,而且使該顯示聚焦影像與該影像信號及該距離資訊相關,且將彼此相關的該影像信號、該距離資訊及該顯示聚焦影像記錄在該記錄區段59中。該記錄控制區段152讀取記錄在該記錄區段59中之該影像信號、該距離資訊及該顯示聚焦影像(如需要)且將其等供應至該顯示控制區段56及該模糊校正區段60。
接下來將參考圖8中之流程圖描述由該成像裝置111執行之一成像過程。
舉例而言,當使用者打開且操作該成像裝置111以選擇該成像模式時,該成像裝置111以該成像模式進行操作,該成像模式允許使用者捕獲一影像。在步驟S111中,該成像控制區段54控制該成像區段51以在該顯示區段57上顯示直通影像,該等直通影像係即時捕獲的影像。
明確言之,該成像控制區段54指示該距離測量影像感測器51b執行像素值加法或薄化讀取以產生(舉例而言)具有VGA大小之一顯示影像且將該顯示影像供應至該顯示控制區段56。該顯示控制區段56在該顯示區段57上顯示來自該影像控制區段54之該顯示影像作為一直通影像。
在步驟S112中,該輸入控制區段53基於來自運作為層積在該監視器38上之該觸控板之該輸入區段52之一操作信號,判斷使用者是否已選擇該顯示區段57上顯示之該顯示影像中之一預定主體。
當步驟S112中之判斷展示還未選擇該顯示影像中之主體時,重複實行步驟S111及S112中之過程直到該輸入控制區段53判斷選擇該顯示影像中之一預定主體。
另一方面,當步驟S112中之判斷展示已選擇該顯示影像中之一主體時,該輸入控制區段53發出對應於來自運作為該觸控板之該輸入區段52代表主體選擇操作之該操作信號之一指令至該成像控制區段54及該距離資訊獲取區段55。該輸入控制區段53進一步為該聚焦影像產生區段151供應座標資訊,該座標資訊含在該操作信號中且代表該顯示影像上由使用者選擇之該主體部分之座標。
在步驟S113中,該成像控制區段54根據來自該輸入控制區段53之該指令執行一成像過程。明確言之,該成像控制區段54不僅如上文描述產生該顯示影像而且在該輸入控制區段53發出該指令至該成像控制區段54之時,讀取來自該距離測量影像感測器51b之所有像素值以產生(舉例而言)具有全HD大小之一捕獲影像且將該捕獲影像供應至該記錄控制區段152。
在步驟S114中,該距離資訊獲取區段55在該輸入控制區段53發出該指令至該距離資訊獲取區段55之時,獲取來自該距離測量影像感測器51b之距離資訊,且將該距離資訊供應至該聚焦影像產生區段151及該記錄控制區段152。
在步驟S115中,在該輸入控制區段53將該座標資訊供應至該聚焦影像產生區段151之時,該聚焦影像產生區段151獲取由該影像控制區段54產生之該顯示影像。
在步驟S116中,基於來自該輸入控制區段53之該座標資訊及來自該距離資訊獲取區段55之該距離資訊,該聚焦影像產生區段151使用自該影像控制區段54獲取之該顯示影像產生一顯示聚焦影像,其中聚焦在該顯示影像中由使用者選擇之該主體部分上。
明確言之,該聚焦影像產生區段151藉由對該顯示影像執行解迴旋來執行模糊校正。藉由使用根據與該捕獲影像中之選擇區域相關聯之該距離資訊(主體距離)之一PSF來執行解迴旋,該選擇區域對應於在該顯示區段57上已由使用者觸摸(選擇)之該顯示影像中之區域。該聚焦影像產生區段151將該顯示聚焦影像供應至該顯示控制區段56及該記錄控制區段152,該顯示聚焦影像係經模糊校正的顯示影像。應注意將代表由使用者觸摸之區域(主體部分)之座標資訊添加至該顯示聚焦影像。
在步驟S117中,該顯示控制區段56在該顯示區段57上顯示來自該聚焦影像產生區段151之該顯示聚焦影像。
可同時實行步驟S113及S114中之過程及步驟S115至S117中之過程。
在步驟S118中,該記錄控制區段152以該距離測量影像感測器51b中之像素為基礎,使來自該成像控制區段54之該捕獲影像、來自該距離資訊獲取區段55之該距離資訊與來自該聚焦影像產生區段151之該顯示聚焦影像彼此相關,且將彼此相關的該捕獲影像、該距離資訊及該顯示聚焦影像記錄在該記錄區段59中。
應注意因為已藉由指示該距離測量影像感測器51b(距離測量影像感測器32)執行像素值加法或薄化讀取而產生該顯示聚焦影像,所以該顯示聚焦影像中之一單一像素與藉由讀取來自該距離測量影像感測器51b(距離測量影像感測器32)之所有像素值而產生之該捕獲影像中之一預定數目區塊(預定數目像素)相關。
在步驟S119中,該輸入控制區段53判斷使用者是否對運作為模式切換按鈕(圖中未展示)之該輸入區段52執行按壓操作以發出用以終止該成像模式之一指令。
當步驟S119中之判斷展示還未發出用以終止該成像模式之指令時,該控制返回步驟S111且重複實行步驟S111至S119中之過程。
另一方面,當步驟S119中之判斷展示已發出用以終止該成像模式之一指令時,該控制繼續進行至步驟S120。
在步驟S120中,該記錄控制區段152自該記錄區段59讀取在步驟S111至S118中之過程中捕獲並記錄在該記錄區段59中之該等捕獲影像中沿時間軸最早記錄(捕獲)之一捕獲影像及與該捕獲影像相關之距離資訊及一顯示聚焦影像。該記錄控制區段152將如此讀取的捕獲影像、距離資訊及顯示聚焦影像供應至該模糊校正區段60。
在步驟S121中,該模糊校正區段60基於對應於來自該記錄控制區段152之該距離資訊之該透鏡51a之成像特性來校正來自該記錄控制區段152之該捕獲影像中之模糊,該距離資訊對應於由添加至來自該記錄控制區段152之該顯示聚焦影像之座標資訊代表之座標,即,該距離資訊與由使用者選擇之該主體部分相關聯。
明確言之,該模糊校正區段60藉由對該捕獲影像執行解迴旋來執行模糊校正。藉由使用根據與該捕獲影像中之選擇區域相關聯之該距離資訊(主體距離)之一PSF來執行解迴旋,該選擇區域對應於由添加至該顯示聚焦影像之該座標資訊代表的該顯示聚焦影像中之區域。該模糊校正區段60將該經模糊校正的捕獲影像供應至該記錄控制區段152。
因為預先得知至一顯示影像中選擇之一主體(使用者想要聚焦之主體)之距離呈如上文描述的距離資訊之形式,所以該模糊校正區段60可在不需要藉由使用對每個可能主體距離特定之一PSF對該捕獲影像執行解迴旋之情況下執行模糊校正。
在步驟S122中,該記錄控制區段152將來自該模糊校正區段60之該經模糊校正的捕獲影像記錄在該記錄區段59中。
在步驟S123中,該記錄控制區段152判斷是否已對在步驟S111至S118中之過程中捕獲並記錄的所有捕獲影像執行模糊校正。
當步驟S123中之判斷展示還未處理所有捕獲影像時,該控制返回步驟S120,且依捕獲時間之遞減次序對剩餘的捕獲影像重複實行步驟S210及以下步驟中之過程。
另一方面,當步驟S123中之判斷展示已處理所有捕獲影像時,終止該成像過程。
在上文描述的過程中,當在一顯示影像(直通影像)中選擇一預定主體時,獲取(捕獲)與關於至該主體之距離之距離資訊相關之一捕獲影像,且基於對應於與該捕獲影像中之區域(該區域對應於該顯示影像中選擇之該主體部分)相關聯之距離資訊之透鏡成像特性來校正該捕獲影像中之模糊。即,因為預先得知至該顯示影像中選擇之該主體(使用者想要聚焦之主體)之距離呈距離資訊之形式,所以該成像裝置可在不需要藉由使用對每個可能主體距離特定之一PSF對該捕獲影像執行解迴旋之情況下執行模糊校正。因此,該成像裝置可在不執行自動聚焦或以其他方式聚焦在該主體上之情況下,利用一減小的計算量產生一聚焦影像。
此外,當在一顯示影像中選擇一主體時,對已藉由執行像素值加法或薄化讀取而產生之該顯示影像執行模糊校正,且顯示所得顯示聚焦影像。然而,此過程中之計算量小於對藉由讀取所有像素值而產生之一捕獲影像執行模糊校正之情況中通常需要的計算量。此外,在該成像模式期間(步驟S111至S118),不對一捕獲影像執行模糊校正,而僅將該捕獲影像及距離資訊記錄在該記錄區段59中,藉此即時實行該成像過程且因此使用者可在觀看直通影像同時繼續捕獲影像。應注意當該成像裝置在該成像模式期間不實行高負載過程時,可與該成像模式中之過程同時對一捕獲影像執行模糊校正。
已參考其中使用者選擇一顯示影像中之一主體且產生含有聚焦之該主體之一捕獲影像之組態做出上文描述。或者,該成像控制區段54設置有臉部辨識、個人辨識或任何其他主體辨識功能使得一顯示影像中之一主體可經歷臉部辨識或個人辨識,且可產生含有聚焦之該主體之一捕獲影像。
此外,已參考其中使用一單焦距透鏡作為該成像區段51中之該透鏡51a之組態做出上文描述。將參考其中使用一變焦透鏡作為該成像區段51中之該透鏡之一組態做出以下描述。
圖9展示使用一變焦透鏡作為該成像區段51中之該透鏡之一成像裝置之一例示性功能組態。
一成像裝置211包含一成像區段51、一輸入區段52、一輸入控制區段53、一成像控制區段54、一距離資訊獲取區段55、一顯示控制區段56、一顯示區段57、一記錄控制區段58、一記錄區段59、一變焦資訊獲取區段231、一模糊校正區段232及一模糊校正資料儲存區段233。該成像區段51包含一距離測量影像感測器51b及一變焦透鏡234。
在圖9中展示之該成像裝置211中,具有與圖3中展示之該成像裝置11中提供的該等組件之功能相同的功能之組件具有相同的名稱及參考符號,且將適當不做出此等組件之描述。
即,圖9中展示之該成像裝置211與圖3中展示之該成像裝置11的不同之處在於,該變焦資訊獲取區段231及該模糊校正資料儲存區段233係新提供的,且用該變焦透鏡234及該模糊校正區段232取代該透鏡51a及該模糊校正區段60。
該變焦資訊獲取區段231根據來自該輸入控制區段53之一指令自該成像區段51獲取關於該成像區段51中之該變焦透鏡234之變焦放大之變焦資訊,且將該變焦資訊供應至該模糊校正區段232。
該模糊校正區段232根據來自該輸入控制區段53之一指令自該模糊校正資料儲存區段233讀取模糊校正資料,且該模糊校正資料對應於來自該變焦資訊獲取區段231之該變焦資訊。該模糊校正區段232使用如此讀取的模糊校正資料校正來自該記錄控制區段58之一捕獲影像中含有之模糊,且將經模糊校正的捕獲影像供應至該記錄控制區段58。供應至該記錄控制區段58之該經模糊校正的捕獲影像記錄在該記錄區段59中。
舉例而言,該模糊校正資料儲存區段233由一快閃記憶體形成且儲存預先準備的且對應於變焦資訊之模糊校正資料。該模糊校正區段232讀取(如需要)儲存在該模糊校正資料儲存區段233中之模糊校正資料。
基於來自該輸入控制區段53之一指令驅動該變焦透鏡234,且基於該變焦透鏡234之位置判定變焦放大。即,由該變焦資訊獲取區段231獲取之該變焦資訊對應於該變焦透鏡234之位置。
接下來將參考圖10中之流程圖描述由該成像裝置211執行之一成像過程。
圖10中之流程圖中之步驟S211至S214中之過程基本上與圖6中之流程圖中之步驟S71至S74中之此等過程相同,且將不對圖10中之以上過程做出描述。
當圖10中之步驟S212中之判斷展示已執行快門操作時,該輸入控制區段53發出對應於代表透過該輸入區段52所執行快門操作之一操作信號之一指令至該影像控制區段54、該距離資訊獲取區段55及該變焦資訊獲取區段231。
在步驟S215中,在該輸入控制區段53發出該指令至該變焦資訊獲取區段231之時,該變焦資訊獲取區段231獲取與該成像區段51中之該變焦透鏡234相關聯之變焦資訊,且該變焦資訊獲取區段231將該變焦資訊供應至該記錄控制區段58。
在步驟S216中,該記錄控制區段58不僅以該距離測量影像感測器51b中之像素為基礎,使來自該影像控制區段54之一捕獲影像與來自該距離資訊獲取區段55之距離資訊相關,而且使該變焦資訊與該捕獲影像及該距離資訊相關,且接著將彼此相關的該捕獲影像、該距離資訊及該變焦資訊記錄在該記錄區段59中。
在步驟S217中,該輸入控制區段53判斷使用者是否已對運作為模式切換按鈕(圖中未展示)之該輸入區段52執行按壓操作以發出用以終止該成像模式之一指令。
當步驟S217中之判斷展示還未發出用以終止該成像模式之指令時,該控制返回步驟S211且重複實行步驟S211至S217中之過程。
另一方面,當步驟S217中之判斷展示已發出用以終止該成像模式之一指令時,該控制繼續進行至步驟S218。
在步驟S218中,該記錄控制區段58自該記錄區段59讀取在步驟S211至S216之過程中捕獲並記錄在該記錄區段59中之該等捕獲影像中沿時間軸最早記錄之一捕獲影像及與該捕獲影像相關之距離資訊及變焦資訊。在如此讀取的捕獲影像、距離資訊及變焦資訊之中,該記錄控制區段58將該捕獲影像供應至該顯示控制區段56且將該捕獲影像、該距離資訊及該變焦資訊供應至該模糊校正區段232。
在步驟S219中,該顯示控制區段56在該顯示區段57上顯示來自該記錄控制區段58之該捕獲影像。因為來自該記錄控制區段58之該捕獲影像具有如上文描述之全HD大小,所以該顯示控制區段56在解析度上將來自該記錄控制區段58之該捕獲影像轉換成可顯示在該顯示區段57上之一VGA大小的影像且在該顯示區段57上顯示經轉換的影像。
在步驟S220中,該輸入控制區段53基於來自運作為層積在該監視器38上之該觸控板之該輸入區段52之一操作信號,判斷使用者是否已選擇顯示在該顯示區段57上之經解析度轉換的捕獲影像中之一預定主體。
該步驟S220中之判斷展示還未選擇該顯示捕獲影像中之主體,則重複實行該步驟S220中之過程直到該輸入控制區段53判斷選擇該顯示捕獲影像中之一預定主體。
另一方面,當步驟S220中之判斷展示已選擇該顯示捕獲影像中之一主體時,該輸入控制區段53將關於該捕獲影像之座標之座標資訊供應至該模糊校正區段232。該座標資訊含在來自運作為該觸控板之該輸入區段52之該操作信號中,且該等座標代表對應於該顯示捕獲影像中由使用者選擇之一主體部分之一區域(區塊)。
在步驟S221中,該模糊校正區段232基於不僅對應於來自該記錄控制區段58之該距離資訊而且對應於來自該記錄控制區段58之該變焦資訊之該變焦透鏡234之成像特性來校正來自該記錄控制區段58之該捕獲影像中之模糊,該距離資訊對應於由來自該輸入控制區段53之該座標資訊代表之座標,即,該距離資訊與由使用者選擇之該主體部分相關聯。
明確言之,該模糊校正區段232首先自該模糊校正資料儲存區段233讀取對應於來自該記錄控制區段58之該變焦資訊之模糊校正資料。明確言之,儲存在該模糊校正資料儲存區段233中之該模糊校正資料之一實例係為每一預定透鏡位置預先準備的關於該變焦透鏡234之一PSF之資料(PSF資料)。即,在此過程中讀取對應於該變焦透鏡234之位置之PSF資料,在該變焦透鏡234之位置處實現由該變焦資訊代表之變焦放大。
該PSF資料不必要為連續透鏡位置(變焦放大)準備但可為離散變焦放大準備。若對應於由特定變焦資訊代表之一變焦放大之PSF資料還未以模糊校正資料之形式準備,則可藉由線性內插或以其他方式處理所準備的PSF資料來判定對應PSF資料。
該模糊校正區段232接著藉由對該捕獲影像執行解迴旋而執行模糊校正。藉由使用一PSF來執行該解迴旋,該PSF由自該模糊校正資料儲存區段233讀取之該PSF資料表示且符合與該捕獲影像中之選擇區域相關聯之距離資訊(主體距離),該選擇區域對應於該顯示區段57上由使用者觸摸(選擇)之該顯示捕獲影像中之區域。該模糊校正區段232將經模糊校正的捕獲影像供應至該記錄控制區段58。
在步驟S222中,該記錄控制區段58將來自該模糊校正區段232之該經模糊校正的捕獲影像記錄在該記錄區段59中。
在步驟S223中,該記錄控制區段58判斷是否已對在步驟S211至S216中之過程中捕獲並記錄的所有捕獲影像執行模糊校正。
當步驟S223中之判斷展示還未處理所有捕獲影像時,該控制返回步驟S218,且依捕獲時間之遞減次序對剩餘的捕獲影像重複實行步驟S218及以下步驟中之過程。
另一方面,當步驟S223中之判斷展示已處理所有捕獲影像時,終止該成像過程。
在上文描述的過程中,在與關於主體距離之距離資訊相關之一捕獲影像中選擇一預定主體,且基於不僅對應於與一選擇的主體部分相關聯之距離資訊而且對應於與該變焦透鏡相關聯之變焦資訊之變焦透鏡成像特性來校正該捕獲影像中之模糊。即,因為預先得知至該捕獲影像中選擇之該主體(使用者想要聚焦之主體)之距離呈距離資訊之形式且預先準備對應於與該變焦透鏡相關聯之該變焦資訊(變焦放大)之一PSF,所以該成像裝置可在不需要藉由使用對每個可能主體距離特定之一PSF對用於該等主體距離之每一者之該捕獲影像執行解迴旋之情況下執行模糊校正。因此,包括該變焦透鏡的該成像裝置亦可在不執行自動聚焦或以其他方式聚焦在該主體上之情況下,利用一減小的計算量產生一聚焦影像。
在上文描述中,藉由使用TOF(飛行時間)方法以及該距離測量影像感測器51b(距離測量影像感測器32)在包含一單眼透鏡之一成像裝置中判定至一主體之距離。不一定要使用上文描述的組態,且可用判定至一主體之距離之任何其他適宜組態取代該組態。
舉例而言,在包含具有彼此平行之光軸之右透鏡及左透鏡(雙眼透鏡)之一成像裝置中,一主體放置在該成像裝置之中心線上(兩個光軸之間之中心線上),且可基於透過該兩個透鏡形成之主體影像之位置差異來判定至該主體之距離。
此外,已參考其中該成像裝置係捕獲一靜止影像之一數位相機之組態做出上文描述。舉例而言,該成像裝置或者可係捕獲視訊影像之一數位視訊攝錄影機。在此情況中,對選擇一主體時捕獲之一影像執行模糊校正。
此外,已參考該成像裝置中設置之該光學系統31不需要調整形成對應於入射穿過該透鏡31a之主體光之一影像之位置之情況做出上文描述。或者,該成像裝置可具有以下兩種操作模式:不需要調整聚焦位置之一第一模式及執行稱為自動聚焦之一第二模式,且該操作模式可在該第一模式與該第二模式之間切換。在此情況中,當該成像裝置以該第一模式操作時,實行上文描述的成像過程。
可藉由使用硬體或軟體實行上文描述的一系列過程。當藉由使用軟體實行該系列過程時,將形成該軟體之一程式自一程式記錄媒體安裝至併入專用硬體中之一電腦或(舉例而言)其中安裝有各種程式以提供各種功能之一通用個人電腦中。
圖11係展示用於以一程式之形式執行上文描述的該系列過程之一電腦之硬體之一例示性組態之一方塊圖。
該電腦包含經由一匯流排904彼此連接之一CPU(中央處理單元)901、一ROM(唯讀記憶體)902及一RAM(隨機存取記憶體)903。
一輸入/輸出介面905亦連接至該匯流排904。以下組件連接至該輸入/輸出介面905:一輸入區段906,其由一鍵盤、一滑鼠、一麥克風及其他器件形成;一輸出區段907,其由一顯示器、一揚聲器及其他器件形成;一儲存區段908,其由一硬碟、一非揮發記憶體及其他器件形成;一通信區段909,其由一網路介面及其他器件形成;及一驅動器910,其驅動一抽取式媒體911,諸如一磁碟、一光碟、一磁光碟及一半導體記憶體。
在如此組態的電腦中,該CPU 901將儲存在(舉例而言)該儲存區段908中之一程式經由該輸入/輸出介面905及該匯流排904載入該RAM 903中且執行該程式以實行上文描述的該系列過程。
舉例而言,由該電腦(CPU 901)執行之該程式可記錄在該抽取式媒體911上,舉例而言,該抽取式媒體911係由一磁碟(包含一軟碟)、一光碟(諸如CD-ROM(唯讀光碟記憶體)及DVD(數位多功能光碟))、一磁光碟及一半導體記憶體形成之一封裝媒體。亦可經由一有線或無線傳輸媒體(諸如一區域網路、網際網路及數位衛星廣播)提供該程式。
可藉由將該抽取式媒體911裝載至該驅動器910中,將以上文描述的形式之任一者提供之該程式經由該輸入/輸出介面905安裝在該儲存區段908中。或者可透過該通信區段909經由一有線或無線傳輸媒體接收該程式而將該程式安裝在該儲存區段908中。又或者,該程式可預先安裝在該ROM 902或該儲存區段908中。
由該電腦執行之該程式可係以本文描述的時間順序接連實行過程之一程式或同時實行過程之一程式或以一需要時序(舉例而言,當呼叫該過程時)實行每一過程之一程式。
本發明之實施例並不限於上文描述的此等實施例,而是可作出各種改變,只要此等改變不背離本發明之要旨。
本發明含有與2010年8月26日在日本專利局申請之日本優先專利申請案JP 2010-189302中揭示的主旨相關之主旨,該案之全文內容以引用方式併入本文中。
熟習此項技術者應瞭解取決於設計要求及其他因素可發生各種修改、組合、子組合及更改,只要其等在隨附申請專利範圍及其等效物之範圍內。
11...成像裝置
31...光學系統
31a...透鏡
31b...光圈
32...距離測量影像感測器
33...A/D(類比轉數位)轉換器
34...時序產生器
35...影像處理器
36...相機信號處理器
37...記憶體
38...監視器
39...操作單元
40...控制器
41...距離測量輔助光發射器
51...成像區段
51a...透鏡
51b...距離測量影像感測器
52...輸入區段
53...輸入控制區段
54...成像控制區段
55...距離資訊獲取區段
56...顯示控制區段
57...顯示區段
58...記錄控制區段
59...記錄區段
60...模糊校正區段
111...成像裝置
151...聚焦影像產生區段
152...記錄控制區段
211...成像裝置
231...變焦資訊獲取區段
232...模糊校正區段
233...模糊校正資料儲存區段
234...變焦透鏡
901...CPU(中央處理單元)
902...ROM(唯讀記憶體)
903...RAM(隨機存取記憶體)
904...匯流排
905...輸入/輸出介面
906...輸入區段
907...輸出區段
908...儲存區段
909...通信區段
910...驅動器
911...抽取式媒體
圖1係展示應用本發明之一成像裝置之一實施例之組態之一方塊圖;
圖2描述形成一距離測量影像感測器之像素之配置;
圖3係展示該成像裝置之一例示性功能組態之一方塊圖;
圖4係描述一成像過程之一流程圖;
圖5係描述一模糊校正過程之一流程圖;
圖6係描述該成像過程之另一實例之一流程圖;
圖7係展示該成像裝置之另一例示性功能組態之一方塊圖;
圖8係描述由圖7中展示之該成像裝置執行之一成像過程之一流程圖;
圖9係展示該成像裝置之又另一例示性功能組態之一方塊圖;
圖10係描述由圖9中展示之該成像裝置執行之一成像過程之一流程圖;及
圖11係展示一電腦之硬體之一例示性組態之一方塊圖。
11...成像裝置
31...光學系統
31a...透鏡
31b...光圈
32...距離測量影像感測器
33...A/D(類比轉數位)轉換器
34...時序產生器
35...影像處理器
36...相機信號處理器
37...記憶體
38...監視器
39...操作單元
40...控制器
41...距離測量輔助光發射器
Claims (20)
- 一種成像裝置,其包括:一光學系統,其形成對應於入射穿過一透鏡之主體光之一影像;一成像器件,其產生對應於入射穿過該透鏡之該主體光之一信號且輸出該信號作為一捕獲影像;及一或多個處理器,其可操作以:決定自該光學系統到該捕獲影像中被捕獲之一主體的一距離;及基於對該經決定之距離特定之該光學系統之一成像特性來校正該捕獲影像中之模糊,其中該經決定之距離係與該捕獲影像中對應於該主體之複數個區塊相關聯之距離資訊之一平均值,其中在該複數個區塊中之每一區塊包含至少四個相鄰像素。
- 如請求項1之成像裝置,其進一步包括:一顯示器,其用於顯示該捕獲影像,及其中該一或多個處理器可操作以:基於使用者之操作來選擇顯示在該顯示器上之該捕獲影像中之該主體,及基於對該經選擇之主體特定的該光學系統之該成像特性來校正該捕獲影像中之模糊。
- 如請求項2之成像裝置,其中該顯示器顯示藉由指示該成像器件執行像素值加法或薄化讀取而產生的直通影像,該等直通影像係即時捕獲的影像,及其中該一或多個處理器可操作以: 基於使用者之操作來選擇該等直通影像之一者中之主體,當選擇該直通影像中之該主體時,決定至該主體之該距離,且基於對該直通影像中經選擇之該主體特定的該光學系統之該成像特性來校正該捕獲影像中之模糊。
- 如請求項3之成像裝置,其中該一或多個處理器可操作以自該直通影像產生一聚焦直通影像,該聚焦直通影像如此產生使得聚焦在該直通影像中的該主體上,其中該顯示器顯示該聚焦直通影像。
- 如請求項1之成像裝置,其中該成像器件輸出該信號對應於入射穿過該透鏡之該主體光之部分,該信號之該部分用作為關於至該主體之距離之資訊,且其中該一或多個處理器可操作以基於自該成像器件輸出之該距離資訊決定至該主體之距離。
- 如請求項1之成像裝置,其中該透鏡係聚焦在無限遠或一遠距離處之一目標上之一單焦距透鏡。
- 如請求項1之成像裝置,其中該透鏡係一變焦透鏡,且該一或多個處理器可操作以基於該光學系統之該成像特性來校正該捕獲影像中之該模糊,該成像特性係對該距離而且對該變焦透鏡之一變焦狀態係特定的。
- 如請求項1之成像裝置,其中該一或多個處理器可操作 以基於對該主體距離特定的該光學系統之一點擴散函數來校正該捕獲影像中之該模糊。
- 如請求項1之成像裝置,其中該一或多個處理器可操作以基於對該主體距離特定的該光學系統之一線擴散函數來校正該捕獲影像中之該模糊。
- 如請求項1之成像裝置,其中該一或多個處理器可操作以基於對該主體距離特定的該光學系統之一光學轉移函數來校正該捕獲影像中之該模糊。
- 如請求項1之成像裝置,其中該光學系統包含一光圈以控制該主體穿過該透鏡入射在一距離測量影像感測器上之光。
- 如請求項1之成像裝置,其中該成像器件包含一距離測量影像感測器,其可產生一影像信號及一距離信號。
- 如請求項12之成像裝置,其中該距離測量影像感測器具有拜耳佈局,其中顏色R(紅)、G(綠)及B(藍)如此指派至像素使得以一棋盤型樣配置G像素且R像素及B像素佈置在該等G像素之間。
- 如請求項13之成像裝置,其中該距離測量影像感測器如此組態使得作為在一典型影像感測器中以該棋盤型樣配置的該等G像素之一半用作為用於距離測量之像素。
- 如請求項14之成像裝置,其中該距離測量影像感測器基於自投射光至接收之一時間週期來判定至該主體之該距離。
- 如請求項1之成像裝置,其進一步包含一記錄區段以基 於在該捕獲影像中一區塊之座標記錄彼此相關的該信號與該距離資訊,其中該區塊包含該至少四個相鄰像素。
- 如請求項1之成像裝置,其中該一或多個處理器可操作以基於對應於變焦放大及該距離之一點擴散函數來校正該捕獲影像中之該模糊。
- 如請求項1之成像裝置,其中對該主體之該距離係基於透過一右透鏡及一左透鏡形成之主體影像的位置之差異而決定。
- 一種成像方法,其包含:在包含一光學系統之一成像器件中:決定自該光學系統至一捕獲影像中被捕獲之一主體之一距離;及基於對該經決定之距離特定的該光學系統之一成像特性來校正在該捕獲影像中之模糊,其中該經決定之距離係與該捕獲影像中對應於該主體之複數個區塊相關聯之距離資訊之一平均值,其中在該複數個區塊中之每一區塊包含至少四個相鄰像素。
- 一種非暫時性電腦可讀取儲存媒體,其具有儲存於其上之一電腦程式,該電腦程式具有至少一碼區段以實行一成像過程,該至少一碼區段可藉由一電腦而執行,用於致使該電腦執行以下步驟:決定自一光學系統至一捕獲影像中被捕獲之一主體之一距離;及 基於對該經決定之距離特定的該光學系統之一成像特性來校正該捕獲影像中之模糊,其中該經決定之距離係與該捕獲影像中對應於該主體之複數個區塊相關聯之距離資訊之一平均值,其中在該複數個區塊中之每一區塊包含至少四個相鄰像素。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010189302A JP2012049773A (ja) | 2010-08-26 | 2010-08-26 | 撮像装置および方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201220830A TW201220830A (en) | 2012-05-16 |
| TWI471004B true TWI471004B (zh) | 2015-01-21 |
Family
ID=45696754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW100126241A TWI471004B (zh) | 2010-08-26 | 2011-07-25 | 成像裝置、成像方法及程式 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8854532B2 (zh) |
| JP (1) | JP2012049773A (zh) |
| KR (1) | KR20120020054A (zh) |
| TW (1) | TWI471004B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5889010B2 (ja) * | 2012-01-31 | 2016-03-22 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| TW201336300A (zh) * | 2012-02-23 | 2013-09-01 | Hon Hai Prec Ind Co Ltd | 自動對焦成像模組 |
| DE102012103339A1 (de) * | 2012-04-17 | 2013-10-17 | Philippe Vogt | Verfahren und Vorrichtung zur Bestimmung der Tiefenschärfe für eine bestimmte Distanz mittels einer Mess-Optik |
| KR102040152B1 (ko) | 2013-04-08 | 2019-12-05 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법 |
| US9288459B2 (en) * | 2013-06-17 | 2016-03-15 | Carlos Francisco Luizetto Pinto | Real-time correction/calibration system for the color spectrum contained on an image output (transmitted) from an image capture and output macro-system, according to a previously defined color spectrum reference |
| WO2015015943A1 (ja) * | 2013-08-02 | 2015-02-05 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
| JP6210824B2 (ja) * | 2013-10-02 | 2017-10-11 | オリンパス株式会社 | 焦点調節装置および焦点調節方法 |
| DE112015002098B4 (de) * | 2014-05-02 | 2022-02-03 | Fujifilm Corporation | Abstandsmessvorrichtung |
| FR3035759A1 (fr) * | 2015-04-28 | 2016-11-04 | Commissariat Energie Atomique | Capteur d'images a codage temporel |
| KR102618542B1 (ko) | 2016-09-07 | 2023-12-27 | 삼성전자주식회사 | ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법 |
| WO2018198680A1 (ja) * | 2017-04-27 | 2018-11-01 | 三菱電機株式会社 | 画像読み取り装置 |
| US10715731B1 (en) * | 2018-12-20 | 2020-07-14 | Qualcomm Incorporated | Image stabilization in zoom mode |
| RU2770153C1 (ru) * | 2021-06-15 | 2022-04-14 | Самсунг Электроникс Ко., Лтд. | Способ корректировки ошибки измерения глубины tof-камеры |
| JP2025129928A (ja) * | 2024-02-26 | 2025-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6917386B2 (en) * | 1999-12-08 | 2005-07-12 | Sony Corporation | Auto-focus apparatus, focus adjusting method, image capturing apparatus and image capturing method utilizing an emitting device to focus an image |
| US20090147999A1 (en) * | 2007-12-10 | 2009-06-11 | Fujifilm Corporation | Image processing system, image processing method, and computer readable medium |
| US20100103311A1 (en) * | 2007-06-06 | 2010-04-29 | Sony Corporation | Image processing device, image processing method, and image processing program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06122847A (ja) | 1991-01-24 | 1994-05-06 | Tonen Chem Corp | ソルダ−レジストインク |
| JP4854579B2 (ja) * | 2007-04-20 | 2012-01-18 | 三洋電機株式会社 | ぶれ補正装置及びぶれ補正方法ならびにぶれ補正装置を備えた電子機器や、画像ファイル及び画像ファイル作成装置 |
| JP5317891B2 (ja) * | 2009-08-19 | 2013-10-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| JP5495683B2 (ja) * | 2009-09-10 | 2014-05-21 | キヤノン株式会社 | 撮像装置および測距方法 |
| US8542348B2 (en) * | 2010-11-03 | 2013-09-24 | Rockwell Automation Technologies, Inc. | Color sensor insensitive to distance variations |
-
2010
- 2010-08-26 JP JP2010189302A patent/JP2012049773A/ja not_active Withdrawn
-
2011
- 2011-07-15 US US13/183,636 patent/US8854532B2/en active Active
- 2011-07-25 TW TW100126241A patent/TWI471004B/zh not_active IP Right Cessation
- 2011-08-18 KR KR1020110082185A patent/KR20120020054A/ko not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6917386B2 (en) * | 1999-12-08 | 2005-07-12 | Sony Corporation | Auto-focus apparatus, focus adjusting method, image capturing apparatus and image capturing method utilizing an emitting device to focus an image |
| US20100103311A1 (en) * | 2007-06-06 | 2010-04-29 | Sony Corporation | Image processing device, image processing method, and image processing program |
| US20090147999A1 (en) * | 2007-12-10 | 2009-06-11 | Fujifilm Corporation | Image processing system, image processing method, and computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201220830A (en) | 2012-05-16 |
| US20120050580A1 (en) | 2012-03-01 |
| US8854532B2 (en) | 2014-10-07 |
| KR20120020054A (ko) | 2012-03-07 |
| CN102387301A (zh) | 2012-03-21 |
| JP2012049773A (ja) | 2012-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI471004B (zh) | 成像裝置、成像方法及程式 | |
| CN102714737B (zh) | 图像处理设备和使用图像处理设备的图像捕获装置 | |
| JP6512810B2 (ja) | 撮像装置および制御方法とプログラム | |
| US8854528B2 (en) | Imaging apparatus | |
| US20120105590A1 (en) | Electronic equipment | |
| EP3383023B1 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
| JP2014123809A (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 | |
| JP2020054002A (ja) | 撮像装置、制御方法、およびプログラム | |
| JP2018107526A (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
| US8872963B2 (en) | Imaging apparatus and imaging method | |
| JP2009031682A (ja) | 撮像システム及び画像信号処理プログラム | |
| JP5859061B2 (ja) | 撮像装置、画像処理装置、および、これらの制御方法 | |
| JP6700818B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
| WO2019188934A1 (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP2008077501A (ja) | 画像処理装置及び画像処理制御プログラム | |
| JP2022181027A (ja) | 画像処理装置、画像処理方法、撮像装置、およびプログラム | |
| US10531029B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium for correcting pixel value of pixel-of-interest based on correction amount calculated | |
| JP2017163412A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
| JP2014049895A (ja) | 画像処理方法 | |
| JP7341843B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
| JP7080688B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
| JP6685550B2 (ja) | オートフォーカス装置及びオートフォーカス用プログラム | |
| JP2015152830A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| US11375123B2 (en) | Image processing apparatus, image capturing apparatus, control method for image processing apparatus, and program storage medium with coordinated display of image and display of distribution information of evaluation value | |
| JP2007189298A (ja) | 画像処理装置、画像処理方法および撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |