TW201101813A - Image capturing device, image capturing method and image capturing program - Google Patents

Description

201101813 六、發明說明： 【發明所係爲之技術領域】 本發明係有關於攝像裝置、攝像方法及攝像程式。 【先前技術】 作爲修正數位相機之手振的方法，已知一種電子式手 振修正方法，其拍攝連續的複數張影像，並對各個影像所 對應的諸像素進行加法運算。 例如，若採用對以60圖框/秒連拍的數張影像進行加 〇 算處理的多平面加算方式，則可得到比1張影像時之S/N 比高數倍的S/N比之優良影像。 關於這種藉多平面加算方式的電子式手振修正，其在 需要進行振動修正的狀況下（例如發生某程度大的手振之 狀態下）進行攝像時爲有效。 可是，因爲在不需要進行振動修正的狀況下（例如完全 未發生手振或手振極小之狀態下）進行攝像時加算處理仍 會被進行，所以具有引起不必要之畫質降低（例如雜訊混入 Ο 數張中之一張，或沒有進行正常對位因而在偏差之狀態進 行加算處理的結果）的課題。 爲了解決此課題，有一種方式，係僅在檢測到需要進 行振動修正的狀況下才進行加算處理（例如，特開2008 -92005號公報）。 可是，在此方式中，係在攝影前（半按快門按鈕時等） 由數位相機判定是否處於例如攝影環境稍暗等易發生手振 的環境後再來決定是否進行多平面加算處理。 因此，決定時候的狀況與實際拍攝時候（全按快門按鈕 -4- 201101813 時等）的狀況未必一致，因而有無法得到使用者所期待之手 振修正之結果的情況。 【發明內容】 申請專利範圍第1項的發明係一種攝像裝置，其特徵 爲具備攝像手段’係取得在第1曝光時間拍攝被攝體之 在時間上連續的第1影像群與在第2曝光時間拍攝被攝體 之在時間上連續的第2影像群；手振判定手段，係判定在 藉該攝像手段取得第1影像群時是否發生手振；像振動判 〇 定手段’係判定在藉該攝像手段取得第1影像群時是否發 生被攝體的像振動；以及選擇手段，係依該手振判定手段 的判定結果及該像振動判定手段的判定結果，選擇從該第 1影像群取得之影像或從該第2影像群取得之影像的任一 個。 申請專利範圍第9項的發明係一種攝像方法，其特徵 爲具有：取得步驟’係取得在第1曝光時間拍攝被攝體之 在時間上連續的第1影像群與在第2曝光時間拍攝被攝體 Q 之在時間上連續的第2影像群；手振判定步驟，係判定在 取得第1影像群時是否發生手振；像振動判定步驟，係判 定在取得第1影像群時是否發生被攝體的像振動；以及選 擇步驟，係根據該手振判定步驟及該像振動判定步驟之各 自的判定結果，選擇從該第1影像群取得之影像或從該第 2影像群取得之影像的任一個。 申請專利範圍桌項的發明係一種攝像程式，其特徵 爲使攝像裝置所具有的電腦執行如下的步騾：取得步驟， 係取得在第1曝光時間拍攝被攝體之在時間上連續的第i 201101813 影像群與在第2曝光時間拍攝被攝體之在時間上連續的第 2影像群；手振判定步驟’係判定在取得第1影像群時是 否發生手振；像振動判定步驟’係判定在取得第1影像群 時是否發生被攝體的像振動；以及選擇步驟，係依該手振 判定步驟的判定結果及該像振動判定步驟的判定結果，選 擇從該第1影像群取得之影像或從該第2影像群取得之影 像的任一個。 【實施方式】 〇 第1圖係顯示本發明之一實施形態之係爲攝像裝置之 數位相機之電性構成的方塊圖。 此數位相機作爲基本之動作模式具有用於進行攝影的 記錄模式、及用於播放所拍攝之影像的播放模式。 如第1圖所示，本實施形態的數位相機具備：攝影透 鏡1 ;係爲攝像元件的CMOS攝像元件3，其經由快門2接 收藉攝影透鏡1聚光的攝像光受光，同時對成像於受光面 之被攝體的光學影像進行光電變換，並以影像信號的方式 Q 輸出；A/D變換器4，係將CMOS攝像元件3的輸出信號變 換成數位的影像資料；以及DRAM5，係逐次記憶變換後的 影像資料。 此外，在DRAM 5中存有複數張影像資料。 快門2的動作係依CPU核心7a的命令並藉快門控制 部7b來予以控制，而CMOS攝像元件3及A/D變換器4 的動作則係依CPU核心7a的命令並藉受光控制部7c來予 以控制。 DRAM5所儲存之1張份量的影像資料良P RAW資料係 201101813 藉解瑪賽克（demosaic)部7d按各個像素內插顏色資訊而變 換成Y U V資料後’經由液晶顯示控制器6顯示於液晶顯示 畫面8。 此外’亦於DRAM5中暫時記憶變換後的γυν資料。 在記錄模式之攝影時藉解瑪賽克部7d變換成YUV資 料的YUV資料，係藉CPU核心7a依JPEG等既定的壓縮 格式予以壓縮後，以靜止影像檔案或動態影像檔案的方式 記錄於外部記憶媒體1 1。 〇 被記錄於外部記憶媒體11中的影像資料，在播放模式 中，係依需要而由CPU核心7a讀出並解壓縮後，經由液 晶顯示控制器6顯示於液晶顯示畫面8。 此外’外部記憶媒體1 1例如由在相機本體自由拆裝的 記憶卡、或內建於相機本體的快閃記憶體等所構成。 又，在CPU核心7a，除了特徵量計算部7e、SRAM7f、 區塊比對部7g、影像變形合成加算部7h以外，還連接有 快門按鈕9、模式按鈕1 0。 Q 此外，雖然係在CPU核心7a內的記憶體記憶CPU核 心7a之動作所需的各種程式及在執行程式時所使用的各 種資料，但是這些亦可記億於與CPU核心7a不同的記憶 體。 CPU核心7a作用爲本發明的攝像手段、手振判定手 段、像振動判定手段以及選擇手段，係依程式並依快門按 鈕9之按下操作來控制數位相機之各部的動作。 區塊比對部7g作用爲本發明的算出手段’係將 SRAM7f用作作業記憶體，並在藉CMOS攝像元件3拍攝 201101813 之複數張影像之間進行比對，再取得表示被攝體部分的相 對偏差量及偏差方向的移動向量而向CPU核心7a輸出。 影像變形合成加算部7h作用爲本發明的影像處理手 段，係依C P U核心7 a的指示，對位並合成藉c Μ O S攝像 元件3拍攝之複數張影像。 其次，說明在由以上之構造所構成的數位相機中設定 記錄模式時的動作。 第2圖係顯示設定爲記錄模式時CPU核心7a之處理 G 步驟的流程圖。 首先，使用者操作數位相機的模式按鈕10，藉此數位 手振修正模式被設定（步驟A1)" 藉此，數位相機自動執行手振修正。 接著，若使用者按下數位相機的快門按鈕9 一次，則 檢測到該按下的CPU核心7a實施由第1影像群、第2影 像群以及第3影像所構成之9張的連拍攝影（步驟A2)。 具體而言，藉CMOS攝像元件3取得在時間上連續的 Q 9張影像。 9張影像中係爲第3影像之最初的1張影像係於第3 曝光時間以可應付在被攝體振動或暗處之攝影的攝影感光 度例如相當於ISO 1 600的攝影感光度來進行被攝體振動抑 制用攝影而取得。 係爲第1影像群之接著的4張影像係於一般的曝光時 間（第1曝光時間）進行拍攝而取得。 係爲第2影像群之最後4張影像係於快門時間比一般 的曝光時間更短2階段的時間（第2曝光時間）進行拍攝而 201101813 取得。 此外，在攝影時，亦可同時進行挪移CMOS攝像元件 3的光學手振修正。 CPU核心7a係藉CMOS攝像元件3取得在時間上連續 的9張影像各自的RAW資料，並記錄於DRAM 5 (步驟A3)。 又，藉解瑪賽克部7d將各個RAW資料變換成由YUV 資料及僅由亮度成分所構成的亮度影像資料，並將變換後 的影像資料記憶於DRAM 5 (步驟A3)。 〇 在此，YUV資料係合成用的影像資料，亮度影像資料 係尺寸足以滿足在複數張影像（YUV資料）之合成時的對位 作業的縮小影像資料。 接著，將亮度影像資料中之第1張的影像作爲基準影 像，並於該基準影像，將預定之既定尺寸的窗設定於圖框 內的中央部分。 此外，將此窗內分割成以縱1 6像素X橫1 6像素爲單位 的複數個區塊，並在相鄰圖框影像之間進行區塊比對（步驟 〇 A4)。 具體而言，如第3圖所示，將設定於基準影像1〇1的 窗1〇2(基準影像101之中心的（1/2)*(1/2)區域）分割成複 數個（4* 4=16)區塊103。 在區塊比對部7g中，對如此得到的區塊1 〇3進行僅將 被攝體部分作爲追蹤對象的區塊比對。 CPU核心7a使用藉區塊比對所取得之各個區塊的移動 向量之中顯示既定距離以下的偏差量之特定的移動向量來 產生表示相鄰圖框影像之位置關係的投影變換矩陣（步驟 201101813 A5)。 即，僅根據已排除如本來無法得到（顯然錯誤地取得） 的移動向量之正確的移動向量來求出投影變換矩陣。 此外，在本實施形態中藉RANSAC法產生投影變換矩 陣。 RANSAC法係依據對於全部的資料重複驗證根據隨機 選擇之樣本而產生之假設的模型推測演算法。 此時，隨機選擇位置的群組，算出與該選擇之位置的 0 群組對應之投影變換矩陣的候選，並在對全部之位置的座 標進行投影變換時，依該投影變換矩陣評估結果的一致程 度。 重複這種計算與評估，並採用得到最佳之評估値時的 投影變換矩陣。 依此手法，如第4圖所示，將圖框2作爲基準影像， 求出表示與圖框3之位置關係的投影變換矩陣2。 接著，一面依序變更亮度影像資料，一面重複進行上 q 述之步驟A4及A5的處理，並產生時間上連續之第5張以 前的影像的投影變換矩陣（步驟A6)。 具體而言，將圖框3作爲基準影像時，求出表示與圖 框4之位置關係的投影變換矩陣3，將圖框4作爲基準影 像時，求出表示與圖框5之位置關係的投影變換矩陣4， 而將圖框5作爲基準影像時，則求表示與圖框6之位置關 係的投影變換矩陣5。 若可產生圖框5以前的影像（亮度影像資料）的上述的 投影變換矩陣即若可掌握從第2張至第5張的影像間之被 -10- 201101813 攝體的位置關係（在步驟A6爲YES)，則從在步驟A5取得 之投影變換矩陣算出在各個相鄰圖框間的平行移動成分 (步驟A7)。 平行移動成分（移動向量的大小）之算出係如第5圖所 示，可藉（s2 + t2)1/2來求得。 對在步驟A7算出之平行移動成分的大小爲最小的影 像，判定是否發生被攝體的像振動（步驟A8)。 被攝體的像振動係對全部的區塊103取得與相鄰圖框 〇 之同一位置的區塊的差分平方和，而只要有1個區塊的該 値大於既定的臨限値，則判定發生像振動。 在步驟A 8判定被攝體發生像振動時，如第6圖所示， 選擇係爲第1張影像的被攝體振動抑制用影像（圖框1)(步 驟A9)，並將該影像保存於外部記憶媒體U。 另一方面，在步驟A8判定被攝體未發生像振動時，對 平行移動成分之大小最小的影像，判定平行移動成分的大 小是否是既定値（例如2像素）以下，並判定是否發生手振 〇 (步驟 A1 0)。 此外，在本實施形態，雖然說明既定値爲2像素，但 是本發明未限定如此。 可依實驗而將最佳値設定爲既定値。 在步驟A 1 0平行移動成分的大小是2像素以下時，判 定手振爲充分小’如第6圖所示，選擇平行移動成分之大 小爲最小的影像（步驟A 1 1 )，並將該影像保存於外部記憶媒 體1 1。 另一方面，在步驟A10平行移動成分的大小不是2像 -11 - 201101813 素以下時，如第6圖所示，影像變形合成加算部7h藉多平 面加算合成在第2曝光時間拍攝之第6張至第9張的影像 來產生新的影像（步驟A1 2)，並將該新的影像保存於外部記 憶媒體1 1。 影像變形合成加算部7h以貝爾（Bayer)排列資料對第6 張至第9張的影像進行多平面加算合成處理，藉此可進行 提高增感效果的高感光度處理。 具體而言，如第7圖所示，求出各個影像的Bayer排 Q 列資料之中充分反映亮度成分或影像解析度之G(綠）影像 的相關度來對位置合成，又，進行在B a y e r排列資料所欠 缺之縱、橫、斜像素的內插處理來產生全像素的G資料。 R(紅）、B(藍）資料係依據G(綠）資料的對位結果來進行 對位與顏色內插處理，並變換成全尺寸的RGB資料。 在位置對準處理，亦可進一步檢測出旋轉方向，藉仿 射（affine)變換等進行座標旋轉變換來對位，再依旋轉位置 進行內插處理。 Q 或者，亦可抽出中央或前景之主要被攝體的區域影 像，並在移至被攝體或背景之輪廓形狀或特徵量重疊的位 置來對位後再進行加算。 如以上說明所示，在本實施形態，首先，連拍1張在 被攝體振動抑制用的第3曝光時間拍攝之影像、複數張在 一般之1張攝像的曝光時間（第1曝光時間）拍攝之影像以 及複數張在縮短快門時間之多平面加算用的第2曝光時間 拍攝之影像。 接著，對時間上連續的影像在全部的相鄰影像間求出 -12- 201101813 表示相鄰影像間之位置關係的投影變換矩陣，並在以一般 的曝光時間拍攝之第1影像群中選擇手振最小的影像。 然後，在該影像未發生被攝體的像振動且手振充分小 時，因爲選擇該影像，所以可依攝像狀況選擇振動小之最 佳影像來予以輸出。 又，在以一般的曝光時間拍攝之第1影像群中選擇手 振最小的影像，而在該選擇之影像發生被攝體之像振動 時，因爲選擇被攝體振動抑制用的影像，所以可依攝像狀 〇 況選擇振動小之最佳影像來予以輸出。 此外，在上述所選擇之影像發生某程度大的手振時， 因爲產生對係爲多平面加算用所拍攝之第2影像群進行多 平面加算而取得之新的影像，所以可依攝像狀況輸出振動 小之最佳影像。 在本實施形態，因爲判定在所拍攝之影像本身有無影 像的振動，所以不會有因爲時間差距而誤認狀況之情事， 如在半按快門按鈕時判定振動之情況。 Q 又，因爲亦從在一般的曝光時間拍攝之連拍影像中判 定是否有振動程度小之優良影像，所以可選擇振動充分小 之影像來予以輸出。 又，可避免因在不需要多平面加算的狀況下仍進行不 必要的多平面加算使得畫質降低的事態。 又，在連拍影像時藉由使CMOS攝像元件移動並藉迴 轉感測器來進行光學手振修正的情況等，因爲在拍攝影像 時迴轉感測器値的大小未必反映該影像之手振的大小，所 以藉迴轉感測器之手振判定變成不正確。 -13- 201101813 可是，在本實施形態，因爲自這種光學手振修正後的 攝影影像求出位置關係’所以可正確地檢測振動的發生。 【圖式簡單說明】 第1圖係顯示本發明之實施形態之攝像裝置（數位相 機）之電性構成的方塊圖。 第2圖係顯示設定爲記錄模式時CPU核心之處理步驟 的流程圖。 Ο 第3(a)圖係顯示設定基準影像的窗，第3(b)圖係顯示 區分窗內所得到之區塊的圖" 第4圖係用於說明算出各個圖框之投影變換矩陣與移 動向量的圖。 第5圖係用於說明算出表示平行移動成分的移動向量 之大小的圖。 第6圖係用於說明處理選擇輸出之影像的圖。 第7圖係用於說明多平面加算合成的圖。 【元件符號說明】 1 攝影透鏡 2 快門 3 CMOS攝像元件 4 A/D變換器 5 DRAM 6 液晶顯示控制器 7a CPU核心 7b 快門控制部 7c 受光控制部

G -14- 201101813 7d 解 瑪 賽 克 部 7e 特 徵 量 計 算 部 7f SRAM 7g 丨品. 塊 比 對 部 7h 影 像 變 形 合 成加算部 8 液 晶 顯 示 畫 面 9 快 門 按 紐 10 模 式 按 鈕 11 外 部 記 憶 媒 體 -15-

Claims (1)

1. 201101813 七、申請專利範圍·· 1.一種攝像裝置，其特徵爲具備： 攝像手段’係取得在第1曝光時間拍攝被攝體之在 時間上連續的第1影像群與在第2曝光時間拍攝被攝體 之在時間上連續的第2影像群； 手振判定手段，係判定在藉該攝像手段取得第1影 像群時是否發生手振； 像振動判定手段’係判定在藉該攝像手段取得第i 〇 影像群時是否發生被攝體的像振動；以及 選擇手段’係依該手振判定手段的判定結果及該像 振動判定手段的判定結果，選擇從該第i影像群取得之 影像或從該第2影像群取得之影像的任一個。 2_如申請專利範圍第1項之攝像裝置，其中該選擇手段係 在藉該像振動判定手段判定未發生像振動並藉該手振判 定手段判定未發生手振時，選擇從該第2影像群取得之 影像。 〇 3 ·如申請專利範圍第1項之攝像裝置，其中 具備有影像處理手段，其合成該第2影像群的影像 而產生新的影像； 從該第2影像群取得之影像係該新的影像。 4. 如申請專利範圍第1項之攝像裝置，其中該選擇手段係 在藉該像振動判定手段判定未發生像振動並藉該手振判 定手段判定未發生手振時，選擇從該第1影像群取得之 影像。 5. 如申請專利範圍第1項之攝像裝置，其中 -16- 201101813 具備有算出手段，其在該第1影像群中時間上相鄰 的影像間求出投影變換矩陣，再從投影變換矩陣算出移 動向量的大小； 該像振動判定手段係對藉該算出手段算出之各個影 像之移動向量之大小最小的影像，判定是否發生像振動。 6.如申請專利範圍第5項之攝像裝置，其中該手振判定手 段係對該移動向量之大小最小的影像，依據移動向量的 大小是否超過既定之臨限値來判定是否發生手振。 0 7.如申請專利範圍第1項之攝像裝置，其中 該攝像手段係取得以比拍攝第1影像群時的感光度 及拍攝第2影像群時之感光度都高的感光度來拍攝被攝 體的第3影像； 該選擇手段係選擇從該第1影像群取得之影像、從 該第2影像群取得之影像以及該第3影像的任一個；在 藉該像振動判定手段判定爲發生像振動時，選擇該第3 影像。 q 8.如申請專利範圍第1項之攝像裝置，其中該第2曝光時 間係比該第1曝光時間更短的時間。 9.一種攝像方法，其特徵爲具有： 取得步驟，係取得在第1曝光時間拍攝被攝體之在 時間上連續的第1影像群與在第2曝光時間拍攝被攝體 之在時間上連續的第2影像群； 手振判定步驟，係判定在取得第1影像群時是否發 生手振； 像振動判定步驟，係判定在取得第1影像群時是否 -17- 201101813 發生被攝體的像振動；以及 選擇步驟’係依該手振判定步驟及該像振動判定步 驟之各自的判定結果，選擇從該第〗影像群取得之影像 或從該第2影像群取得之影像的任一個。 10.—種攝像程式’其特徵爲使攝像裝置所具有的電腦執行 如下的步驟： 取得步驟，係取得在第1曝光時間拍攝被攝體之在 時間上連續的第1影像群與在第2曝光時間拍攝被攝體 〇 之在時間上連續的第2影像群； 手振判定步驟’係判定在取得第1影像群時是否發 生手振； 像振動判定步驟，係判定在取得第1影像群時是否 發生被攝體的像振動；以及 選擇步驟，係依該手振判定步驟的判定結果及該像 振動判定步驟的判定結果，選擇從該第1影像群取得之 影像或從該第2影像群取得之影像的任一個。 〇 -18 -