TWI398720B - 影像擷取方法與裝置 - Google Patents
影像擷取方法與裝置 Download PDFInfo
- Publication number
- TWI398720B TWI398720B TW098115122A TW98115122A TWI398720B TW I398720 B TWI398720 B TW I398720B TW 098115122 A TW098115122 A TW 098115122A TW 98115122 A TW98115122 A TW 98115122A TW I398720 B TWI398720 B TW I398720B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- image sensor
- lens
- floating
- motion
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000033001 locomotion Effects 0.000 claims description 99
- 230000003287 optical effect Effects 0.000 claims description 33
- 239000003381 stabilizer Substances 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012805 post-processing Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000026058 directional locomotion Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 22
- 238000005259 measurement Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本發明係有關於一種擷取影像之方法與裝置,更特別地係有關於一種擷取場景影像之方法與裝置。
可提供三維視覺效果之二維影像產品已成為視覺藝術領域之長期目標。第1圖係人類之深度識別(depth perception)如何建立三維視覺之示意圖。立體視覺要求兩只眼睛經由重疊之視野範圍去觀看一場景。例如,如第1圖所示,首先,每只眼睛從輕微不同之角度去觀看一影像,並將該影像點(image point)聚焦在視網膜之上。然後,在人類大腦中組合該兩個二維視網膜影像,以形成三維視覺。影像點之視差(disparity)D是指由左眼及右眼所觀看之影像點之影像位置之差值,該視差D係由特定之兩眼間距所導致,人類大腦將該視差D解釋為與該影像點相關之深度資訊。即,當該影像點為近時,屏幕平面之視差D為大;然而,當該影像點為遠時,屏幕平面之視差D為小。更特別地是,由人類大腦所解釋之視差與影像點之深度成反比,即,視差1/深度。
為了導出可提供三維視覺之二維影像,習知立體影像擷取裝置配置有複數個透鏡。例如,習知雙透鏡立體相機具有一個左透鏡和一個右透鏡,其中在一場景之已擷取之左影像產物中使用左透鏡,在該同一場景之已擷取之右影像產物中使用右透鏡。除該左透鏡和該右透鏡之外,習知雙透鏡立體相機需要一個同步系統,用以獲得該已擷取之左影像與該已擷取之右影像之同步產物。由於透鏡在相機之尺寸和成本方面佔據相當大之比例,因而很難減少習知雙透鏡立體相機之尺寸和成本。此外,由於雙透鏡立體相機具有兩個透鏡,因此與只具有一個透鏡之普通二維影像擷取系統不相容。
因此,需要設計一個單透鏡影像擷取裝置,用以產生擷取場景之立體內容之影像。
為解決習知立體相機之尺寸和成本難以降低,以及與單透鏡之普通二維影像擷取系統不相容之技術問題,本發明提供一種擷取影像之方法與裝置。
本發明之一目的係提供一種影像擷取裝置,該影像擷取裝置包括影像感測器,用以偵測入射光以產生相應之已擷取之影像;透鏡,用以向影像感測器導入場景之入射光;調節機構,當影像擷取裝置擷取場景時,調節機構用以在與透鏡之光軸方向垂直之方向上,調節影像感測器與透鏡之間的相對位置;以及控制器,用以控制該影像感測器在該影像感測器與該透鏡之間不同的相對位置,產生該場景之複數個已擷取之影像。
本發明之另一目的係提供一種影像擷取方法,該影像擷取方法包括:當擷取場景時,在與透鏡之光軸方向垂直之方向上,調節影像感測器與透鏡之間的相對位置,其中,影像感測器用以偵測入射光,以產生相應之已擷取之影像,且透鏡用以向影像感測器導入場景之入射光;控制該影像感測器在該影像感測器與該透鏡之間不同的相對位置產生該場景之複數個已擷取之影像。
本發明所提供之影像擷取方法與裝置能降低立體相機之尺寸和成本,以及能與單透鏡之普通二維影像擷取系統相容。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定元件。所屬領域中具有通常知識者應可理解,製造商可能會用不同名詞來稱呼同一個元件。本說明書及後續之申請專利範圍並不以名稱的差異來作為區分元件的方式,而是以元件
在功能上的差異來作為區分準則。在通篇說明書及後續的請求項當中所提及的“包含”係為開放式用語,故應解釋成“包含但不限定於”。以外,“耦接”一詞在此係包含任何直接及間接的電氣連接手段。藉由以下之較佳實施例之敘述並配合全文之第2圖至第11圖說明本發明,但以下敘述中之裝置、元件與方法、步驟乃用以解釋本發明,而不應當用來限制本發明。
簡而言之,本發明之概念係當擷取該影像時,使用單個透鏡,經由在與該透鏡之一光軸方向大致垂直之方向上調節影像感測器和該透鏡之間的一相對位置,從而產生一場景之複數個已擷取之影像。例如,為了擷取場景之立體內容,在一水平方向上調節一影像感測器和一透鏡之間的一相對位置,其中該水平方向與該透鏡之光軸方向垂直,用以允許影像感測器產生一已擷取之左影像與一已擷取之右影像。藉由以下之較佳實施例之敘述並配合全文之第2圖至第11圖更清楚地闡釋本發明之特徵。
第2圖係本發明之影像擷取裝置之第一實施例之方塊圖。影像擷取裝置200(例如數位靜止/視訊相機)包括但不限於透鏡202、影像感測器204、調節機構(adjusting mechanism)206、控制器208以及後置處理器210。影像感測器204,例如CCD感測器或CMOS感測器,用以偵測入射光而產生一相應之已擷取之影像。透鏡202用以向影像感測器204導入場景之入射光。當影像擷取裝置200擷取場景時(即當使用者按下快門時),調節機構206調節影像感測器204與透鏡202之間的相對位置。例如,在與透鏡202之一光軸方向大致垂直之方向上,調節機構206調節該相對位置。控制器208,用以控制影像感測器204在影像感測器204與透鏡202之間不同的相對位置,產生場景之複數個已擷取之影像。
在一實施例中,透鏡202由浮動透鏡實施,該浮動透鏡可朝著與光軸方向大致垂直之方向移動,而影像感測器204係固
定的。因此,由於透鏡202係可移動,調節機構206可輕易實現在與透鏡202之一光軸方向大致垂直之方向上,調節影像感測器204與透鏡202之間的相對位置之目的。第3圖係當影像擷取裝置200擷取場景時,調節影像感測器204與透鏡202之間的相對位置之示意圖。在第3圖中,透過移動透鏡202,調節機構206在水平方向D1上調節固定之影像感測器204與可移動之透鏡202之間的相對位置,該水平方向D1與透鏡202之一光軸方向D2大致垂直。影像擷取裝置200擷取時間交錯(time-interleaved)之左影像與右影像,以產生場景之立體內容。特別地是,當透鏡202位於位置P1時導出已擷取之右影像,且當透鏡202位於位置P2時導出已擷取之左影像。
在另一實施例中,影像感測器204由浮動影像感測器實施,該浮動影像感測器可朝著與光軸方向垂直之方向移動。因此,由於影像感測器204係可移動,調節機構206可輕易實現在與透鏡202之一光軸方向大致垂直之方向上,調節影像感測器204與透鏡202之間的相對位置之目的。第4圖係當影像擷取裝置200擷取場景時,調節影像感測器204與透鏡202之間的相對位置之示意圖。在第4圖中,調節機構206在水平方向D1上調節可移動之影像感測器204與固定之透鏡202之間的相對位置,該水平方向D1與透鏡202之一光軸方向D2垂直,用以擷取時間交錯之左影像與右影像,以產生場景之立體內容。特別地是,當影像感測器204位於位置P1’時導出已擷取之右影像,且當影像感測器204位於位置P2’時導出已擷取之左影像。
需注意的是,當影像擷取裝置200擷取場景時,調節機構206可以一種主動方式或一種被動方式調節影像感測器204與透鏡202之間的相對位置。例如,調節機構206包括耦接於特定之可移動光學元件(例如,第3圖的透鏡202或第4圖的影像感測器204)之支持和引導元件,用以允許該特定之可移動光學元件朝著特定之方向(例如水平方向D1)移動,該特定之方
向與透鏡202之光軸方向D2垂直。當使用者之手震(handshake)很明顯時,外部之手震作用力係足夠大,以致無需調節機構206之主動調節就能驅動擷取裝置200朝水平方向D1移動。即,調節機構206無需提供額外之驅動力,例如,透過使用一內置馬達(未顯示)以使得第3圖之透鏡202或第4圖之影像感測器204朝著水平方向D1移動一特定之距離,且調節機構206簡單地提供被動引導,用以對擷取兩個或多個影像進行定時。當使用者之手震不明顯或可忽略時,調節機構206主動提供一驅動力,例如,透過使用一內置馬達(未顯示)以使得第3圖之透鏡202或第4圖之影像感測器204朝著水平方向D1移動。需注意的是,上述之實施例僅用來例舉本發明之實施態樣。當影像擷取裝置200擷取場景時,在與透鏡之一光軸方向垂直之方向上,任何能調節影像感測器與透鏡之間的相對位置之機構都可用以實現第2圖中影像擷取裝置200之調節機構206。依據本發明之精神輕易完成之改變或均等性之安排均屬於本發明所主張之範圍。
如第2圖所示,影像擷取裝置200包括後置處理器210。後置處理器210對已擷取之影像執行後置處理,例如,增強已擷取之影像之立體效果。在一實施例中,控制器208賦能(enable)後置處理器210,根據當影像感測器204與透鏡202之間的相對位置在水平方向D1上之位移小於一預設之閾值時所產生之已擷取之影像,以產生經過後置處理之已擷取之影像。例如,當第3圖之位置P1與P2(或第4圖之位置P1’與P2’)之間的位移小於一預設之閾值時,這意味著已擷取之影像之間的視差太小以致不能滿足需求,因此透過對已擷取之影像執行一視差估計以產生一深度圖(depth map),透過增強該深度圖之對比度(contrast)以產生已增強之深度圖,以及透過根據已增強之深度圖和已擷取之影像產生經過後置處理之已擷取之影像,而賦能後置處理器210以增強該視差。在一實施例中,後置處理器
210可利用習知之深度影像繪圖法(Depth Image Based Rendering,DIBR)技術,根據已增強之深度圖和已擷取之影像產生經過後置處理之已擷取之影像。在一實施例中,當深度圖的對比度過大時,可透過例如平滑(smoothing)方法對該深度圖進行處理,以及根據已處理之深度圖和已擷取之影像產生經過後置處理之已擷取之影像,從而不產生差異度太大的三維影像。在另一實施例中,可透過例如膨脹(dilation)或腐蝕(erosion)等處理方法對該深度圖進行處理以減少深度圖的雜訊,然後產生已處理之深度圖,以及根據已處理之深度圖和已擷取之影像產生經過後置處理之已擷取之影像。依據本發明之精神輕易完成之改變或均等性之安排均屬於本發明所主張之範圍。需注意的是,後置處理器210是一個可選元件,在本發明之其他實施例中可省略。
本發明可使用於多種領域,例如數位靜止/視訊相機之相關應用、使用導出於已擷取之影像之深度訊息之臉偵測應用、立體影像、立體顯示等。需注意的是,透過在水平方向上移動影像擷取裝置200之透鏡202或影像感測器204,影像擷取裝置200不僅限於擷取包含場景之左影像和右影像之兩個影像。當擷取影像時,經由在與該透鏡之一光軸方向大致垂直之方向上調節一影像感測器和一透鏡之間的一相對位置,產生一場景之複數個已擷取之影像之任何影像擷取裝置均順從本發明之精神,皆屬於本發明所主張之範圍。
第5圖係本發明之第一實施例之影像擷取方法之流程圖,可使用如第5圖所示之流程更簡潔地總結第2圖之影像擷取裝置200所使用之方法。需注意的是,只要結果大致相同,並不需要按照第5圖所示特定之次序執行該等步驟。根據本發明一實施例之影像擷取方法包括如下步驟:
步驟S501:開始。
步驟S503:當擷取影像時,在與該透鏡之一光軸方向大致
垂直之方向(例如水平方向)上調節一影像感測器和一透鏡之間的一相對位置。
步驟S505:控制該影像感測器在該影像感測器與該透鏡之間不同的相對位置,產生複數個已擷取之影像。
步驟S507:檢查是否在影像感測器所產生之已擷取之影像中應用後置處理?若應用,則進入步驟S509;若不應用,則進入步驟S511。
步驟S509:對已擷取之影像執行後置處理,以產生經過後置處理之已擷取之影像。
步驟S511:結束。
需注意的是,步驟S507和S509係可選,根據設計需要可省略。此外,任何習知技藝者在閱讀以上段落後,能輕易知曉每一步驟之細節,為簡潔起見,則不再贅述。
為了與只具有一個透鏡之普通二維影像擷取系統相容,本發明也開發出一影像穩定器,以實現擷取一場景之立體內容之目的。第6圖係本發明之影像擷取裝置之第二實施例之方塊圖。影像擷取裝置500(例如數位靜止/視訊相機)包括但不限於浮動透鏡502、影像感測器504、控制器508、可選之後置處理器510以及影像穩定器520。在此實施例中,影像穩定器520包括運動偵測器(motion detection device)522和運動決定器(motion determination device)524。運動偵測器522用以偵測第一方向上(例如相對於光軸方向之垂直方向)之運動以及第二方向上(例如相對於光軸方向之水平方向)之運動,其中第一方向和第二方向係與浮動透鏡502之一光軸方向相垂直,且第一方向與第二方向相垂直。例如,運動偵測器522包括兩個感測器,分別偵測相機之水平運動以及相機之垂直運動。運動決定器524耦接於運動偵測器522與浮動透鏡502之間,當透過移動浮動透鏡502以保持或增加第二方向上之所偵測之運動時,用以補償第一方向上之所偵測之運動,從而調節影像感測器504與浮
動透鏡502之間的相對位置。
如第6圖所示之第二實施例,影像穩定器520用以實現前述之第2圖之調節機構206。當影像擷取裝置500擷取場景時(即當使用者按下快門時),配置影像穩定器520,以在與浮動透鏡502之一光軸方向大致垂直之方向上,調節影像感測器504與浮動透鏡502之間的相對位置。更特別地是,當影像擷取裝置500擷取場景之立體內容時,影像穩定器520在與浮動透鏡502之光軸方向垂直之水平方向上移動浮動透鏡502。以上所述操作與第3圖類似。與用以補償垂直方向和水平方向上所偵測之運動之習知影像穩定器相反,影像穩定器520對水平方向上所偵測之運動不進行補償。此外,可配置影像穩定器520,用以進一步擴大在水平方向上之運動,以增加浮動透鏡502之移動距離。例如,影像穩定器520增強在水平方向上之運動,以使浮動透鏡502具有由防手震(anti-handshake)設計之約束條件所限定之最大移動距離。更特別地是,由於在運動決定器524之控制下保持或增加了水平方向上之運動,從而允許浮動透鏡502在與浮動透鏡502之光軸方向垂直之水平方向上移動。在所述方式之下,可成功地獲得用於繪製場景之立體內容之已擷取之左影像和已擷取之右影像。由於當影像擷取裝置500在擷取場景時,浮動透鏡502改變自身位置,因而能實現調節影像感測器504和浮動透鏡502之間的相對位置之目的。此外,任何習知技藝者在閱讀以上有關於影像擷取裝置200之段落後,能輕易知曉影像擷取裝置500之其他元件之細節,為簡潔起見,則不再贅述。
此外,根據設計之需要,影像擷取之定時係可調。在一實施例中,在運動決定器524決定如何控制浮動透鏡502之移動後,例如,運動決定器524決定從一個擷取位置移動至另一擷取位置之移動距離之後,影像感測器504產生所有已擷取之影像,如已擷取之左影像與已擷取之右影像。影像擷取裝置500
根據運動偵測器522所產生之偵測結果,移動浮動透鏡502以擷取影像。以第3圖所示之方塊圖為例,在運動決定器524之控制下,當浮動透鏡502之移動到達位置P1時擷取已擷取之右影像;在運動決定器524之控制下,當浮動透鏡502從位置P1移動到位置P2時擷取已擷取之左影像。在另一實施例中,在運動決定器524決定如何控制浮動透鏡502之移動之前,影像感測器504產生第一已擷取之影像。然後運動決定器524根據運動偵測器522所產生之偵測結果,移動浮動透鏡502以擷取第二已擷取之影像。以第3圖所示之方塊圖為例,當浮動透鏡502之移動到達位置P1或浮動透鏡502在位置P1保持靜止時,擷取已擷取之右影像;運動決定器524根據運動偵測器522所產生之偵測結果移動浮動透鏡502到位置P2,以擷取已擷取之左影像。
第7圖係本發明之影像擷取裝置之第三實施例之方塊圖。影像擷取裝置600(例如數位靜止/視訊相機)包括但不限於透鏡602、浮動影像感測器604、控制器608、可選之後置處理器610以及影像穩定器620。在此實施例中,影像穩定器620包括運動偵測器622和運動決定器624。影像穩定器620之功能與操作與第6圖之影像穩定器520相似。不同之処在於使用運動決定器624以控制應用於浮動影像感測器604之補償。
如第7圖所示之第三實施例,影像穩定器620用以實現前述之第2圖之調節機構206。當影像擷取裝置600擷取場景時,配置影像穩定器620,以在與透鏡602之一光軸方向大致垂直之方向上,調節浮動影像感測器604與透鏡602之間的相對位置。更特別地是,當影像擷取裝置600擷取場景之立體內容時,在與透鏡602之光軸方向垂直之水平方向上,影像穩定器620移動浮動影像感測器604。以上所述操作與第4圖類似。在所述方式之下,可成功地獲得擷取場景之立體內容之已擷取之左影像和已擷取之右影像。由於當影像擷取裝置600擷取場景時,浮
動影像感測器604改變自身位置,因而能實現調節浮動影像感測器604和透鏡602之間的相對位置之目的。此外,任何習知技藝者在閱讀以上有關於影像擷取裝置200和影像擷取裝置500之段落後,能輕易知曉影像擷取裝置600之其他元件之細節,為簡潔起見,則不再贅述。
對於第7圖之第三實施例,根據設計之需要,影像擷取之定時也係可調。在一實施例中,在運動決定器624根據產生於運動偵測器622之偵測結果而決定控制浮動影像感測器604之移動後,浮動影像感測器604產生所有已擷取之影像,如已擷取之左影像與已擷取之右影像。以第4圖所示之方塊圖為例,在運動決定器624決定如何移動浮動影像感測器604之後,在運動決定器624之控制下,當浮動影像感測器604移動到位置P1’時擷取已擷取之右影像;在運動決定器624之控制下,當浮動影像感測器604從位置P1’移動到位置P2’時擷取已擷取之左影像。在另一實施例中,在運動決定器624根據運動偵測器622所產生之偵測結果,決定浮動影像感測器604之移動之前,浮動影像感測器604產生第一已擷取之影像。然後在運動決定器624根據該偵測結果,決定如何移動浮動影像感測器604之後,浮動影像感測器604產生第二已擷取之影像。以第4圖所示之方塊圖為例,當浮動影像感測器604之移動到達位置P1’或浮動影像感測器604在位置P1’保持靜止時,擷取已擷取之右影像,在運動決定器624決定如何移動浮動影像感測器604到位置P2’之後,擷取已擷取之左影像。
以下揭示一種具有可接受擷取深度範圍(acceptable capture depth range)之相機,根據本發明而開發出一可選影像穩定器系統以擷取時間交錯之左影像和右影像。第8圖係用於普通立體深度估計(depth estimation)之最近深度(nearest depth)之測量示意圖。第9圖係用於普通立體深度估計之最遠深度(furthest depth)之測量示意圖。第10圖係用於固定透鏡之深度估計之最近深度之測量示意圖。第11圖係用於固定透鏡之深度估計之最
遠深度之測量示意圖。假設下述相機模型採用具有10M圖素之3/4英寸CCD(即CCD尺寸為6.6mm×8.8mm)以及5.4mm焦距(廣角)。或者如第8圖和第9圖所示,假設用於普通立體深度估計之兩眼間距為60mm,且如第10圖和第11圖所示,假設用於固定透鏡之深度估計之手震範圍(即浮動透鏡或浮動影像感測器所移動之最大範圍)為3mm。需注意的是,第8圖-第11圖所示之比例僅用來例舉。在第8圖中,CCD感測器之最大感受差異(maximum perceivable difference)等於4.4mm,且最近已測量深度等於68.24mm。在第9圖中,CCD感測器之最小感受差異等於0.0024mm,係兩個相鄰圖素之距離(即8.8mm*1圖素/3651圖素),且最遠已測量深度等於134994mm。至於固定透鏡之深度估計,相機採用具有10M圖素之影像感測器,水平方向上之最小已偵測手震為大約100圖素。在第10圖中,CCD感測器之最大感受差異等於0.241mm(即8.8mm*100圖素/3651圖素),且最近已測量深度等於61.82mm。在第11圖中,CCD感測器之最小感受差異等於0.0024mm,係兩個相鄰圖素之距離,且最遠已測量深度等於6744mm。鑒於上述深度估計分析,當手震範圍(即,浮動透鏡或浮動影像感測器之最大移動範圍)為3mm時,根據本發明而開發出一影像穩定器以實現擷取場景之立體內容之相機可擷取從61.82 mm至6744 mm之深度範圍。換言之,上述相機能擷取室內場景之深度,在大多數情況下擷取的是室內場景。然而,需注意的是,如果浮動透鏡/影像感測器能移動的距離更大,則可增加已擷取深度。
上述之實施例僅用來例舉本發明之實施態樣,以及闡釋本發明之技術特徵,並非用來限制本發明之範疇。任何習知技藝者可依據本發明之精神輕易完成之改變或均等性之安排均屬於本發明所主張之範圍,本發明之權利範圍應以申請專利範圍為準。
200‧‧‧影像擷取裝置
202‧‧‧透鏡
204‧‧‧影像感測器
206‧‧‧調節機構
208‧‧‧控制器
210‧‧‧後置處理器
S501-S511‧‧‧步驟
500‧‧‧影像擷取裝置
502‧‧‧浮動透鏡
504‧‧‧影像感測器
508‧‧‧控制器
510‧‧‧後置處理器
520‧‧‧影像穩定器
522‧‧‧運動偵測器
524‧‧‧運動決定器
600‧‧‧影像擷取裝置
602‧‧‧透鏡
604‧‧‧浮動影像感測器
608‧‧‧控制器
610‧‧‧後置處理器
620‧‧‧影像穩定器
622‧‧‧運動偵測器
624‧‧‧運動決定器
第1圖係人類之深度識別如何建立三維視覺之示意圖;第2圖係本發明之影像擷取裝置之第一實施例之方塊圖;
第3圖係當影像擷取裝置擷取場景時,調節影像感測器與透鏡之間的相對位置之示意圖;第4圖係當影像擷取裝置擷取場景時,調節影像感測器與透鏡之間的相對位置之示意圖;第5圖係本發明之第一實施例之影像擷取方法之流程圖;第6圖係本發明之影像擷取裝置之第二實施例之方塊圖;第7圖係本發明之影像擷取裝置之第三實施例之方塊圖;第8圖係用於普通立體深度估計之最近深度之測量示意圖;第9圖係用於普通立體深度估計之最遠深度之測量示意圖;第10圖係用於固定透鏡之深度估計之最近深度之測量示意圖;第11圖係用於固定透鏡之深度估計之最遠深度之測量示意圖。
200‧‧‧影像擷取裝置
202‧‧‧透鏡
204‧‧‧影像感測器
206‧‧‧調節機構
208‧‧‧控制器
210‧‧‧後置處理器
Claims (24)
- 一種影像擷取裝置,包括:一影像感測器,用以偵測入射光以產生一相應之已擷取之影像;一透鏡,用以向該影像感測器導入一場景之該入射光;一調節機構,當該影像擷取裝置擷取該場景時,該調節機構用以在與該透鏡之一光軸方向垂直之方向上,調節該影像感測器與該透鏡之間的一相對位置;以及一控制器,用以控制該影像感測器在該影像感測器與該透鏡之間不同的相對位置,產生該場景之複數個已擷取之影像。
- 如申請專利範圍第1項所述之影像擷取裝置,其中,該調節機構在與該光軸方向垂直之一水平方向上調節該影像感測器與該透鏡之間的該相對位置,以允許該影像感測器產生擷取該場景之立體內容之該複數個已擷取之影像。
- 如申請專利範圍第1項所述之影像擷取裝置,更包括:一後置處理器,用以對該複數個已擷取之影像執行一視差估計以產生一深度圖,並對該深度圖進行處理以產生一已處理之深度圖,以及根據該已處理之深度圖和該複數個已擷取之影像產生複數個經過後置處理之已擷取之影像。
- 如申請專利範圍第3項所述之影像擷取裝置,其中,當該影像感測器與該透鏡之間的該相對位置之一位移小於一預設之閾值時,該控制器賦能該後置處理器以產生該複數個經過後置處理之已擷取之影像。
- 如申請專利範圍第1項所述之影像擷取裝置,其中,該透 鏡係一浮動透鏡,該影像感測器與該浮動透鏡之間的該相對位置係根據該浮動透鏡之一移動而變化。
- 如申請專利範圍第5項所述之影像擷取裝置,其中,該調節機構包括一影像穩定器,該影像穩定器包括:一運動偵測器,用以偵測一第一方向上之運動以及一第二方向上之運動,其中該第一方向和該第二方向係與該光軸方向相垂直,且該第一方向與該第二方向相垂直;一運動決定器,耦接於該運動偵測器與該浮動透鏡之間,當透過移動該浮動透鏡以保持或增加該第二方向上之所偵測之運動時,該運動決定器用以補償該第一方向上之所偵測之運動,從而調節該影像感測器與該浮動透鏡之間的該相對位置。
- 如申請專利範圍第5項所述之影像擷取裝置,其中,該運動決定器根據該運動偵測器所產生之一偵測結果決定該浮動透鏡之該移動之後,該影像感測器產生該複數個已擷取之影像。
- 如申請專利範圍第5項所述之影像擷取裝置,其中,該運動決定器根據該運動偵測器所產生之一偵測結果決定該浮動透鏡之該移動之前,該影像感測器產生一第一已擷取之影像,然後在該運動決定器根據該偵測結果決定該浮動透鏡之該移動之後,該影像感測器產生一第二已擷取之影像。
- 如申請專利範圍第1項所述之影像擷取裝置,其中,該影像感測器係一浮動影像感測器,該浮動影像感測器與該透鏡之間的該相對位置係根據該浮動影像感測器之一移動而變化。
- 如申請專利範圍第9項所述之影像擷取裝置,其中,該 調節機構包括一影像穩定器,該影像穩定器包括:一運動偵測器,用以偵測一第一方向上之運動以及一第二方向上之運動,其中該第一方向和該第二方向係與該光軸方向相垂直,且該第一方向與該第二方向相垂直;以及一運動決定器,耦接於該運動偵測器與該浮動影像感測器之間,當透過移動該浮動影像感測器以保持或增加該第二方向上之所偵測之運動時,該運動決定器用以補償該第一方向上之所偵測之運動,從而調節該浮動影像感測器與該透鏡之間的該相對位置。
- 如申請專利範圍第10項所述之影像擷取裝置,其中,該運動決定器根據該運動偵測器所產生之一偵測結果決定該浮動影像感測器之該移動之後,該浮動影像感測器產生該複數個已擷取之影像。
- 如申請專利範圍第10項所述之影像擷取裝置,其中該運動決定器根據該運動偵測器所產生之一偵測結果決定該浮動影像感測器之該移動之前,該浮動影像感測器產生一第一已擷取之影像,然後該運動決定器根據該運動偵測器所產生之該偵測結果決定該浮動影像感測器之該移動之後,該浮動影像感測器產生一第二已擷取之影像。
- 一種影像擷取方法,包括:當擷取一場景時,在與一透鏡之一光軸方向垂直之方向上,調節一影像感測器與該透鏡之間的一相對位置,其中,該影像感測器用以偵測入射光,以產生一相應之已擷取之影像,且該透鏡用以向該影像感測器導入一場景之該入射光;以及控制該影像感測器在該影像感測器與該透鏡之間不同的相 對位置產生該場景之複數個已擷取之影像。
- 如申請專利範圍第13項所述之影像擷取方法,其中,調節該影像感測器與該透鏡之間的該相對位置之步驟包括:在與該光軸方向垂直之一水平方向上調節該影像感測器與該透鏡之間的該相對位置,以允許該影像感測器產生擷取該場景之立體內容之該複數個已擷取之影像。
- 如申請專利範圍第14項所述之影像擷取方法,更包括:透過以下步驟對該複數個已擷取之影像進行後置處理以產生複數個經過後置處理之已擷取之影像:對該複數個已擷取之影像執行一視差估計以產生一深度圖;處理該深度圖以產生一已處理之深度圖;以及根據該已處理之深度圖和該複數個已擷取之影像產生該複數個經過後置處理之已擷取之影像。
- 如申請專利範圍第15項所述之影像擷取方法,其中,當該影像感測器與該透鏡之間的該相對位置之一位移小於一預設之閾值時,賦能該後置處理以產生該複數個經過後置處理之已擷取之影像。
- 如申請專利範圍第13項所述之影像擷取方法,其中,該透鏡係一浮動透鏡,該影像感測器與該浮動透鏡之間的該相對位置係根據該浮動透鏡之一移動而變化。
- 如申請專利範圍第17項所述之影像擷取方法,其中,調節該影像感測器與該浮動透鏡之間的該相對位置之步驟包括:偵測一第一方向上之運動以及一第二方向上之運動,其中 該第一方向和該第二方向係與該光軸方向相垂直,且該第一方向與該第二方向相垂直;以及當透過移動該浮動透鏡以保持或增加該第二方向上之所偵測之運動時,決定該浮動透鏡之該移動以補償該第一方向上之所偵測之運動,從而調節該影像感測器與該浮動透鏡之間的該相對位置。
- 如申請專利範圍第18項所述之影像擷取方法,其中,控制該影像感測器以產生該場景之該複數個已擷取之影像之步驟包括:在決定該浮動透鏡之該移動之後,產生該複數個已擷取之影像。
- 如申請專利範圍第18項所述之影像擷取方法,其中,控制該影像感測器以產生該場景之該複數個已擷取之影像之步驟包括:在決定該浮動透鏡之該移動之前,產生一第一已擷取之影像;以及在決定該浮動透鏡之該移動之後,產生一第二已擷取之影像。
- 如申請專利範圍第13項所述之影像擷取方法,其中,該影像感測器係一浮動影像感測器,該浮動影像感測器與該透鏡之間的該相對位置係根據該浮動影像感測器之一移動而變化。
- 如申請專利範圍第21項所述之影像擷取方法,其中,調節該浮動影像感測器與該透鏡之間的該相對位置之步驟包括:偵測一第一方向上之運動以及一第二方向上之運動,其中 該第一方向和該第二方向係與該光軸方向相垂直,且該第一方向與該第二方向相垂直;以及當透過移動該浮動影像感測器以保持或增加該第二方向上之所偵測之運動時,決定該浮動影像感測器之該移動以補償該第一方向上之所偵測之運動,從而調節該浮動影像感測器與該透鏡之間的該相對位置。
- 如申請專利範圍第22項所述之影像擷取方法,其中,控制該浮動影像感測器以產生該場景之該複數個已擷取之影像之步驟包括:在決定該浮動影像感測器之該移動之後,產生該複數個已擷取之影像。
- 如申請專利範圍第22項所述之影像擷取方法,其中,控制該浮動影像感測器以產生該場景之該複數個已擷取之影像之步驟包括:在決定該浮動影像感測器之該移動之前,產生一第一已擷取之影像;以及在決定該浮動影像感測器之該移動之後,產生一第二已擷取之影像。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/400,750 US8279267B2 (en) | 2009-03-09 | 2009-03-09 | Apparatus and method for capturing images of a scene |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201033724A TW201033724A (en) | 2010-09-16 |
| TWI398720B true TWI398720B (zh) | 2013-06-11 |
Family
ID=40638129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW098115122A TWI398720B (zh) | 2009-03-09 | 2009-05-07 | 影像擷取方法與裝置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8279267B2 (zh) |
| EP (1) | EP2229000B1 (zh) |
| CN (1) | CN101833229B (zh) |
| TW (1) | TWI398720B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2334089A1 (en) * | 2009-12-04 | 2011-06-15 | Alcatel Lucent | A method and systems for obtaining an improved stereo image of an object |
| US20130194391A1 (en) * | 2010-10-06 | 2013-08-01 | Battelle Memorial Institute | Stereoscopic camera |
| CN102760234B (zh) | 2011-04-14 | 2014-08-20 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
| TWI463244B (zh) * | 2011-04-14 | 2014-12-01 | Ind Tech Res Inst | 深度影像擷取裝置、系統及其方法 |
| WO2012176020A1 (zh) * | 2011-06-22 | 2012-12-27 | Lo Pui Hing | 可移动镜头的照相装置 |
| WO2013027343A1 (ja) * | 2011-08-23 | 2013-02-28 | パナソニック株式会社 | 3次元撮像装置、レンズ制御装置、およびプログラム |
| KR101862404B1 (ko) * | 2011-12-09 | 2018-05-29 | 엘지이노텍 주식회사 | 스테레오 영상의 노이즈 제거장치 및 방법 |
| US20130208107A1 (en) * | 2012-02-14 | 2013-08-15 | Nokia Corporation | Apparatus and a Method for Producing a Depth-Map |
| TWI503618B (zh) * | 2012-12-27 | 2015-10-11 | Ind Tech Res Inst | 深度影像擷取裝置、其校正方法與量測方法 |
| US20140210707A1 (en) * | 2013-01-25 | 2014-07-31 | Leap Motion, Inc. | Image capture system and method |
| US20140267617A1 (en) * | 2013-03-15 | 2014-09-18 | Scott A. Krig | Adaptive depth sensing |
| TWI508526B (zh) * | 2013-10-01 | 2015-11-11 | Wistron Corp | 產生視角平移影像之方法及其可攜式電子設備 |
| US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
| WO2015083356A1 (ja) * | 2013-12-04 | 2015-06-11 | 旭化成エレクトロニクス株式会社 | カメラモジュールの調整方法及びレンズ位置制御装置並びに線形運動デバイスの制御装置及びその制御方法 |
| TWI553591B (zh) * | 2015-12-28 | 2016-10-11 | 緯創資通股份有限公司 | 深度影像處理方法及深度影像處理系統 |
| US10529084B2 (en) * | 2018-02-06 | 2020-01-07 | Htc Corporation | Image processing method, electronic device, and non-transitory computer readable storage medium |
| US20200143336A1 (en) * | 2018-11-05 | 2020-05-07 | Klean Industries, Inc. | System and method for a circular waste recycling economy utilizing a distributed ledger |
| US12513280B1 (en) * | 2022-09-22 | 2025-12-30 | Apple Inc. | Perceptual measure of end-to-end splay |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3253962B2 (ja) * | 1991-10-04 | 2002-02-04 | サーノフ コーポレイション | センサの動きとシーン構造を決定する方法及びイメージ処理システム |
| US20080013941A1 (en) * | 2006-07-14 | 2008-01-17 | Micron Technology, Inc. | Method and apparatus for increasing depth of field for an imager |
| TWI364000B (en) * | 2007-06-18 | 2012-05-11 | Mediatek Inc | Stereo graphics system and processing method and storage medium |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5063441A (en) * | 1990-10-11 | 1991-11-05 | Stereographics Corporation | Stereoscopic video cameras with image sensors having variable effective position |
| US5448322A (en) | 1993-11-05 | 1995-09-05 | Vision Iii Imaging, Inc. | Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture |
| WO1997003378A1 (en) * | 1995-07-07 | 1997-01-30 | International Telepresence Corporation | System with movable lens for producing three-dimensional images |
| US5883695A (en) * | 1997-09-19 | 1999-03-16 | Paul; Eddie | Method and apparatus for producing stereoscopic images with single sensor |
| GB2388896A (en) * | 2002-05-21 | 2003-11-26 | Sharp Kk | An apparatus for and method of aligning a structure |
| DE10336736B4 (de) | 2003-08-11 | 2005-07-21 | Siemens Ag | Vorrichtung und Methode zur Aufnahme von Bildinformationen zum Erstellen eines dreidimensionalen Bildes |
| CN100534140C (zh) * | 2003-10-22 | 2009-08-26 | 松下电器产业株式会社 | 成像传感器的制造方法 |
| US8094927B2 (en) * | 2004-02-27 | 2012-01-10 | Eastman Kodak Company | Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer |
| JP2005323065A (ja) * | 2004-05-07 | 2005-11-17 | Murata Mach Ltd | デジタルカメラ |
| US20070075218A1 (en) * | 2005-10-04 | 2007-04-05 | Gates John V | Multiple exposure optical imaging apparatus |
| JP4193151B2 (ja) * | 2006-09-05 | 2008-12-10 | ソニー株式会社 | 手振れ補正機構及び撮像装置 |
| JP2008151822A (ja) * | 2006-12-14 | 2008-07-03 | Pentax Corp | 像ブレ補正装置 |
-
2009
- 2009-03-09 US US12/400,750 patent/US8279267B2/en active Active
- 2009-03-11 EP EP09003565.0A patent/EP2229000B1/en active Active
- 2009-05-07 TW TW098115122A patent/TWI398720B/zh active
- 2009-05-13 CN CN2009101407387A patent/CN101833229B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3253962B2 (ja) * | 1991-10-04 | 2002-02-04 | サーノフ コーポレイション | センサの動きとシーン構造を決定する方法及びイメージ処理システム |
| US20080013941A1 (en) * | 2006-07-14 | 2008-01-17 | Micron Technology, Inc. | Method and apparatus for increasing depth of field for an imager |
| TWI364000B (en) * | 2007-06-18 | 2012-05-11 | Mediatek Inc | Stereo graphics system and processing method and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201033724A (en) | 2010-09-16 |
| CN101833229B (zh) | 2012-12-26 |
| EP2229000A3 (en) | 2014-12-10 |
| US8279267B2 (en) | 2012-10-02 |
| EP2229000A2 (en) | 2010-09-15 |
| EP2229000B1 (en) | 2018-08-15 |
| US20100225745A1 (en) | 2010-09-09 |
| CN101833229A (zh) | 2010-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI398720B (zh) | 影像擷取方法與裝置 | |
| US8760502B2 (en) | Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same | |
| US9007442B2 (en) | Stereo image display system, stereo imaging apparatus and stereo display apparatus | |
| CN102428707B (zh) | 立体视用图像对位装置和立体视用图像对位方法 | |
| CN102638696B (zh) | 显示装置和显示方法 | |
| JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
| JP2011077900A (ja) | 画像処理装置、カメラ及び画像処理方法 | |
| CN102893196B (zh) | 三维成像装置和三维成像装置的自动聚焦调节方法 | |
| TWI472864B (zh) | 影像處理裝置及其控制方法 | |
| JP6155471B2 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
| US20130050427A1 (en) | Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image | |
| US9426446B2 (en) | System and method for providing 3-dimensional images | |
| KR101805710B1 (ko) | 축간격 조정부를 갖는 입체영상 촬영장치 및 이를 이용한 입체영상의 깊이감 조절 방법 | |
| US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
| EP2717582B1 (en) | Camera module and apparatus for calibrating position thereof | |
| JP5838775B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| KR102193777B1 (ko) | 3차원 영상 생성장치 및 이를 포함하는 이동단말 | |
| JP6260399B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
| TWI477885B (zh) | 三維成像系統及方法 | |
| JP2015029215A (ja) | 立体画像処理装置 | |
| JP2007096480A (ja) | 対象物追跡装置及び対象物追跡方法 | |
| WO2012039340A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| KR20150016871A (ko) | 촬상 장치, 표시 장치, 촬상 방법 및 촬상 프로그램 | |
| KR20120019480A (ko) | 3-d 오토-컨버전스 카메라 | |
| JP2015046820A (ja) | 撮像装置および撮影システム |