TWI408955B

TWI408955B - 修正在攝影時之光源影響的影像修正裝置及其影像修正方法

Info

Publication number: TWI408955B
Application number: TW098132824A
Authority: TW
Inventors: Takashi Yahata
Original assignee: Casio Computer Co Ltd
Priority date: 2008-09-30
Filing date: 2009-09-29
Publication date: 2013-09-11
Also published as: KR101029742B1; TW201108730A; JP4479845B2; EP2169944A1; KR20100036995A; JP2010086270A; US8106962B2; US20100079614A1; EP2169944B1; CN101715065A; CN101715065B

Description

修正在攝影時之光源影響的影像修正裝置及其影像修正方法

本發明係關於對由攝影裝置所拍攝之攝影影像施行修正的影像修正裝置及其影像修正方法。

以往，如特開2008-052428號公報所記載的技術，已知有為在存在例如太陽光或照明光之複數個光源的攝影環境下所拍攝之攝影影像所用的影像修正裝置。該影像修正裝置係將攝影影像分割成複數個區域，對每個區域施行不同的影像修正處理。藉此，該影像修正裝置會減輕在攝影時因複數個光源存在而對攝影影像造成的影響，因而能夠獲得較佳的修正影像。

不過，上述影像修正裝置，因為會對攝影影像按每個區域修正的處理，所以在修正後之攝影影像中的各修正區域交界處有產生影像不協調感的問題。

因此，本發明是鑑於上述實際情況而提出，其目的在於提供一種影像修正裝置以及影像修正方法，其等係藉由對在各種光源狀況下拍攝之攝影影像施行影像修正處理，使得能夠減輕光源狀況對攝影影像所造成之影像上的不協調感。

在一個態樣中，提供影像修正裝置，其特徵為具備：影像取得手段，其取得影像；分離手段，其將藉由前述影像取得手段所取得之影像分離成亮度資料和色差資料；轉換手段，其將藉由前述分離手段所分離的色差資料轉換成在空間頻率中的振幅值之集合；光源狀況取得手段，其取得藉由攝影而取得前述影像時的光源狀況；修正手段，其進行根據藉由前述光源狀況取得手段所取得之光源狀況資訊，從藉由前述轉換手段所轉換之振幅值的集合中，針對既定振幅值減少其值的修正；逆轉換手段，其將在藉由前述修正手段所修正後之空間頻率中的振幅值之集合逆轉換成色差資料；以及修正影像產生手段，其使用前述亮度資料和藉由前述逆轉換手段而逆轉換的色差資料來產生修正後的攝影影像。

另外，在其他態樣中，其提供一種影像修正方法，其特徵為由以下步驟組成：分離步驟，其將已取得之影像分離成亮度資料和色差資料；轉換步驟，其將藉由前述分離步驟所分離的色差資料轉換成在空間頻率中的振幅值之集合；光源狀況取得步驟，其取得藉由攝影而取得前述影像時的光源狀況；修正步驟，其進行根據藉由前述光源狀況取得步驟所取得之光源狀況資訊，從藉由前述轉換步驟所轉換之振幅值的集合中，針對既定振幅值減少其值的修正；逆轉換步驟，其將在藉由前述修正步驟所修正後之空間頻率中的振幅值之集合逆轉換成色差資料；以及修正影像產生步驟，其使用前述亮度資料和藉由前述逆轉換步驟而逆轉換的色差資料來產生修正後的攝影影像。

以下，參照圖式來說明本發明的實施形態。

首先，利用第1圖，說明當作本發明之實施形態來顯示的攝影裝置1之功能構成。該攝影裝置1具備影像修正功能，係修正藉拍攝被拍攝體而得之攝影影像。因此，以下說明之影像修正裝置的功能，並非侷限於攝影裝置1所搭載之實施形態，例如也能夠使個人電腦實現影像修正裝置的功能。

如第1圖所示，攝影裝置1係具備攝影光學系統11、攝影部12、攝影處理部13、記憶卡處理部14、控制部15、按鍵輸入部16、程式記憶體17、資料記憶體18和發光量算出部19、影像壓縮部20、主要顯示處理部21、主要顯示部22、發光控制部23、內建發光驅動部24及內建發光部25。在這種攝影裝置1中，作為影像處理裝置、影像修正裝置而發揮功能的部位有攝影處理部13及控制部15。

攝影光學系統11係主要由馬達、透鏡單元等所組成。該透鏡單元係由使外部光射入之複數個透鏡群所組成。透鏡單元係用以使既定範圍的攝影區域之外部光成像於CMOS攝影元件等之攝影元件的光學系統。透鏡單元係具備未圖示之快門單元、光圈單元。這些快門單元、光圈單元係藉由馬達的驅動來移動對焦位置和光圈位置。該透鏡單元亦具備變焦透鏡，其因應控制部15之控制而自在地實行拉遠、拉近，使攝影範圍變化。

攝影部12係包含CMOS(Complementary Metal-Oxide Semiconductor)攝影元件等之攝影元件。CMOS攝影元件係形成例如RGB之原色系的彩色過濾部。CMOS攝影元件係被未圖示之時序產生器及垂直驅動器所掃描驅動。CMOS攝影元件係輸出1個畫面份量之與按每固定週期而成像之光像對應的光電轉換輸出。

然後，攝影部12係包含依循控制部15之控制而動作的控制器和A/D轉換處理電路等。依循該攝影部12之控制器、後述控制部15的控制，來控制在攝影光學系統11中的透鏡單元之動作。A/D轉換處理電路係包含取樣保持電路、A/D轉換器。A/D轉換處理電路係對從CMOS攝影元件輸出之光電轉換輸出施行所需之處理。具體而言，對來自CMOS攝影元件的光電轉換輸出，在類比值之信號狀態下，適當地對RGB之各個原色彩成分調整增益。爾後，藉由取樣保持電路來進行取樣保持，藉由A/D轉換器而轉換成數位攝影影像資料，並輸出至攝影處理部13。這種攝影部12係作為取得攝影影像的攝影影像取得手段而發揮功能。

攝影處理部13係對從攝影部12供給之攝影影像資料施行既定影像處理。該攝影處理部13係將作為RGB資料而供給之攝影影像資料分離成亮度資料(Y)和色差資料(Cr,Cb)。此時，攝影處理部13係以既定比例來對RGB資料中包含的R資料、G資料、B資料進行加減計算，並產生亮度資料(Y)、色差資料(Cr)、色差資料(Cb)。然後，此亮度資料(Y)、色差資料(Cr)、色差資料(Cb)係藉由攝影處理部13而被輸出於資料記憶體18，並被儲存於該資料記憶體18。此外，攝影處理部13在上述處理之外，也可以依照需求來進行像素插補處理、γ修正處理以及矩陣演算。

記憶卡處理部14係包括攝影裝置1中所具備之記憶卡的記錄播放機構。該記憶卡處理部14係依循控制部15的控制，將藉由該攝影裝置1所拍攝之攝影影像資料、即已施行後述修正的攝影影像資料記錄於記憶卡。另外，記憶卡處理部14係依循控制部15的控制，播放並輸出記憶卡中記錄之攝影影像資料。

控制部15係總括控制該攝影裝置1。控制部15係依循在程式記憶體17中記憶之程式而動作，藉以對該攝影裝置1進行必要的各種控制。

特別是控制部15進行依循在程式記憶體17中所記憶之影像修正程式的處理。藉由依循該影像修正程式來實行處理，控制部15係對在各種光源狀況下拍攝之攝影影像資料施行影像修正處理。所謂光源狀況，就是決定自拍攝攝影影像之時刻、使用者的選擇操作、閃光的有無或者閃光的強度當中至少一個。藉此，控制部15會進行減輕光源狀況對攝影影像資料所造成之影像上的不協調感的修正處理(以下也稱為過濾處理)。此光源狀況所賦予之影像上的不協調感的出現係由於例如太陽光和閃光、室內照明和太陽光、室內照明和閃光等之複數個光源混合。此不協調感在攝影影像上係呈現為具有低空間頻率成分的色彩變化(不均勻)。

具體而言，控制部15依循影像修正程式而實行的處理係包含：光源狀況資訊取得處理，其取得表示藉由攝影光學系統11及攝影部12來拍攝攝影影像資料時之光源狀況的光源狀況資訊；2維傅立葉轉換處理，其藉由攝影處理部13，使用資料記憶體18所儲存之色差資料(Cr,Cb)來產生頻率分析資料；影像修正處理，其修正藉由該2維傅立葉轉換處理所獲得的頻率分析資料；以及對由該影像修正處理所修正之頻率分析資料進行2維傅立葉逆轉換處理並產生修正後之色差資料(Cr,Cb)的處理。在此，影像修正處理係根據光源狀況資訊來修正頻率分析資料，並減輕因光源狀況而發生在攝影影像上的色彩變化(不均勻)。

此頻率分析資料的修正處理係減少該頻率分析資料中所包含之直流成分以及離散成分的空間頻率資訊之一部分。控制部15係在表示藉由2維傅立葉轉換處理所獲得之每個空間頻率的振幅值的空間頻率資訊當中，從頻率分析資料中，減去屬於與根據光源狀況而呈現於攝影影像資料之色彩變化相當的低空間頻率成分的空間頻率資訊。具體而言，即使在複數個光源存在的情況下，也會從頻率分析資料中減去與在影像內呈現之色彩變化相當的低空間頻率成分的空間頻率資訊。

例如，如第2圖所示，當對如同第2A圖的攝影影像進行2維傅立葉轉換處理時，能夠產生由將該攝影影像按每個直流成分以及空間頻率成分(u,v)分離所得的n次(n：任意數)之空間頻率資訊所組成的頻率分析資料。然後，在此頻率分析資料當中，在從低空間頻率成分中合成3次((u,v)=(3,3))的空間頻率資訊的情況，成為如第2B圖所示之低空間頻率成分所組成的攝影影像。然後，在從低空間頻率成分中合成6次((u,v)=(6,6))的空間頻率資訊的情況，成為如第2C圖所示之低空間頻率成分所組成的攝影影像，在從低空間頻率成分中合成了10次((u,v)=(10,10))的空間頻率資訊的情況，成為如第2D圖所示之低空間頻率成分所組成的攝影影像。另外，(u,v)係表示空間頻率成分，u是x方向的空間頻率成分，v是y方向的空間頻率成分。此外，關於這種頻率分析資料的修正處理之細節則容後描述。

按鍵輸入部16係由該攝影裝置1的使用者來操作。此按鍵輸入部16係包含快門鈕16a、選單鈕16b、如十字鍵等之移動鈕16c、決定鈕16d等的按鍵群。此按鍵輸入部16係連接於控制部15，表示各鈕之操作內容的操作命令信號會藉由控制部15來讀入。

影像壓縮部20，係因應控制部15之控制，對資料記憶體18中儲存之攝影影像資料進行依照JPEG(Joint Photograph coding Experts Group)規格的ADCT(Adaptive Discrete Cosine Transform：適應性離散餘弦轉換)處理，並壓縮資料。

主要顯示處理部21係定期地讀出攝影影像資料中所包含之亮度資料(Y)、色差資料(Cr,Cb)，並係以這些資料為基礎來產生視訊信號且輸出於主要顯示部22。

雖未圖示，但主要顯示部22係被設置在攝影裝置1的框體背面側。主要顯示部22係在攝影模式時，作為監示器顯示部(電子觀景器)而發揮作用。在此攝影模式時，主要顯示部22係進行根據主要顯示處理部21之視訊信號的顯示。藉此，攝影裝置1係即時地顯示在該時間點從主要顯示處理部21所取入的影像。

如同這般，在主要顯示部22中，將在該時間點之攝影影像即時顯示為顯示器影像的所謂即時預覽影像之顯示狀態下，攝影裝置1成為可攝影的狀態。然後，在欲進行攝影的時序操作按鍵輸入部16其中之一的快門鈕16a時，將對控制部15產生觸發信號。控制部15係因應此觸發信號，將在該時間點從攝影部12取入之1個畫面份量之RGB資料轉換(分離)成亮度資料(Y)及色差資料(Cb,Cr)，並儲存於資料記憶體18。

發光控制部23係依循控制部15的控制，藉由內建發光驅動部24來進行內建發光部25的發光動作。

內建發光驅動部24係在靜止影像攝影時，使未圖示之閃光燈用的大容量電容器充電以後，因應介由發光控制部23之來自控制部15的控制來對內建發光部25進行閃光驅動。另外，在動態影像的攝影時操作了第1次快門鍵的時候，以影像壓縮部20來對上述靜止影像之攝影影像資料進行資料壓縮，並開始記錄於資料記憶體18。爾後，以既定圖框率，例如30(圖框/秒)而連續實行該處理，而在操作了第2次快門鍵或者經過既定限制時間(例如30秒)的時候，彙整那些一連串的靜止影像資料檔案並重新設定為動態JPEG的資料檔案(AVI檔案)。

另外，發光控制部23具備能檢測出是否於攝影裝置1裝卸了外接發光部26的連接檢測部23a。連接檢測部23a係將表示是否連接了外接發光部26的信號輸出至發光量算出部19。

發光量算出部19係依循發光控制部23的控制來算出發光(閃光)攝影時的發光量。在此，發光量算出部19係在藉由發光控制部23之判斷而自動地使內建發光部25發光時，根據來自發光控制部23的動作信號來算出發光量。另外，發光量算出部19係在從連接檢測部23a供給表示外接發光部26正連接於發光控制部23之狀況的信號的時候，算出來自內建發光部25之發光量和外接發光部26之發光量的合成發光量。此外，藉由預先操作按鍵輸入部16來調整發光量的時候，根據該已設定之發光量來算出內建發光部25的發光量。該已算出之發光量係被控制部15所讀入。

如同這般構成的攝影裝置1係當該攝影裝置1被使用者握持並進行拍攝被拍攝體之操作的時候，藉由進行第3圖至第7圖所示的處理來實行攝影影像資料之修正。

第3圖所示之流程圖顯示適用本發明的攝影裝置1之示意處理。攝影裝置1係首先在步驟S1中，藉由攝影光學系統11以及攝影部12來取得由RGB資料所組成的攝影影像資料。

在接著的步驟S2中，攝影處理部13係將由步驟S1取得的RGB資料所組成之攝影影像資料轉換(分離)成亮度資料(Y)以及色差資料(Cr,Cb)。然後，該亮度資料(Y)以及色差資料(Cr,Cb)係被儲存於資料記憶體18。

在接著的步驟S3～步驟S8中，控制部15係從程式記憶體17中讀出影像修正程式，並實行影像修正處理。首先，在步驟S3中，控制部15係分別對在步驟S2中儲存於資料記憶體18的色差資料(Cr)、色差資料(Cb)施行2維傅立葉順轉換處理。藉此，控制部15係將色差資料轉換成由已離散之空間頻率資訊所組成的頻率分析資料。

控制部15係對色差資料(Cr)藉由施行2維傅立葉順轉換處理，而成為由下述公式所示之以CrF(u,v)表示的頻率分析資料。同樣地，控制部15係對色差資料(Cb)藉由施行2維傅立葉順轉換處理，而成為由下述公式所示之以CbF(u,v)表示的頻率分析資料。

[公式1]

在該上述公式中的N係表示在攝影影像的縱方向、橫方向之像素數。此外，在一般的攝影裝置1中，大多會有縱方向、橫方向之像素數不同的情況，但為了方便起見，以相同的像素數N來說明。另外，在上述公式中的(x,y)係攝影影像的像素座標，(u,v)則表示空間頻率成分，u是x方向的空間頻率成分，v是y方向的空間頻率成分。然後，Crf(x,y)是座標(x,y)中的Cr成分，Cbf(x,y)是座標(x,y)中的Cb成分，CrF(u,v)是空間頻率成分(u,v)中的Cr成分，CbF(u,v)是空間頻率成分(u,v)中的Cb成分。

在接著的步驟S4中，控制部15係取得在步驟S3中施行2維傅立葉轉換處理而產生之頻率分析資料中所包含的直流成分資訊及低頻率資訊。在此，將後述，控制部15會從頻率分析資料中減去與根據攝影裝置1所拍攝之被拍攝體附近的光源狀況而呈現於攝影影像的色彩變化(不均勻)相當的當下的空間頻率資訊。

這就是當在攝影影像內的光源狀況不同時，與該光源狀況對應之色調變化(不均勻)會呈現於影像內。在此影像內的色調變化對使用者而言，會被當作是影像內的雜訊。因此，控制部15係從攝影影像除去該色調變化，並取得直流成分以及低空間頻率成分之空間頻率資訊。特別是攝影裝置1係在除去因複數個光源存在而造成之色彩變化的情況，取得與該色彩變化的低空間頻率成分相當之空間頻率資訊。

在接著的步驟S5中，控制部15係判斷在步驟S4中取得之低空間頻率成分之振幅是否比閾值還要小。在低空間頻率成分之振幅比閾值還要小的時候，就使處理進行至步驟S6，若不是的話則結束處理。

在步驟S6中，控制部15係從原來的攝影影像資料中減去直流成分以及低空間頻率成分。具體而言，在上述公式中，對直流成分((u,v)=(0,0))以及作為既定空間頻率成分(u,v)中之Cr成分的CrF(u,v)進行削減或者振幅減算，且對直流成分((u,v)=(0,0))以及作為既定空間頻率成分(u,v)中之Cb成分的CbF(u,v)進行削減或者振幅減算。

在此，在與根據光源狀況而呈現於攝影影像的色彩變化相當之空間頻率資訊就是在預先設定之頻率分析資料當中屬於低空間頻率之空間頻率資訊的情況，控制部15會從頻率分析資料中除去該預先設定之空間頻率資訊。亦即，預先設定之空間頻率成分全部喪失。更具體而言，如第2B圖所示，在有因光源狀況引起的色調變化的情況，進行從攝影影像資料中去除該第2B圖所示之低空間頻率成分的處理。

另外，控制部15也可以係在判斷為步驟S6中預先設定之空間頻率成分的振幅值比既定閾值還要小的時候，從頻率分析資料中減去該預先設定之空間頻率資訊的振幅。該振幅的減算程度可以是設為例如閾值以下，也可以是減去已預先設定之振幅份量。

閾值係較佳為藉由在拍攝攝影影像時的光源狀況來進行設定。因為這光源狀況會對呈現於攝影影像內之色彩變化造成影響。攝影裝置1的設計者會謀求以何種空間頻率成分、何種程度的振幅來表現攝影影像內之因光源狀況造成的色調變化。然後，與在由步驟S4中取得之低空間頻率成分中的振幅比較的閾值係被設定為預先在設計階段求得之值或在攝影前就設定之值。在光源狀況方面，則列舉拍攝攝影影像的時刻、使用者的選擇操作、閃光的有無或者閃光的強度。因此，閾值會被設定為減輕因這些光源狀況而產生的色彩變化的值。

在接著的步驟S7中，控制部15係使用步驟S6中修正的頻率分析資料來進行2維傅立葉逆轉換處理。換言之，控制部15係進行與在步驟S3中的2維傅立葉順轉換處理相反之處理內容的2維傅立葉逆轉換處理。

控制部15係對Cr成分的頻率分析資料施行2維傅立葉逆轉換，藉以設為由下述公式所示之HCrf(x,y)所表示的座標(x,y)中之色差資料(Cr)。同樣地，控制部15係對Cb成分的頻率分析資料施行2維傅立葉逆轉換，藉以設為由下述公式所示之HCbf(x,y)所表示的座標(x,y)中之色差資料(Cb)。

[公式2]

在上述公式中，HCrf(x,y)係座標(x,y)中的Cr成分，HCbf(x,y)係座標(x,y)中的Cb成分，HCrF(u,v)係步驟S6中所修正之空間頻率成分(u,v)中的Cr成分，HCbF(u,v)係步驟S6中所修正之空間頻率成分(u,v)中的Cb成分。

如同這般，控制部15能夠在攝影影像之各座標(x,y)方面，獲得修正後的色差資料HCrf(x,y)、HCbf(x,y)。該修正後的色差資料HCrf(x,y)、HCbf(x,y)係已除去上述頻率分析資料當中的直流成分以及既定空間頻率成分的值。

在接著的步驟S8中，控制部15係使用步驟S7中取得之修正後的色差資料(Cr,Cb)及步驟S2中轉換而取得之亮度資料(Y)來產生修正後的攝影影像。

如同這般，攝影裝置1係在攝影影像中包含之空間頻率成分當中，進行除去表示因拍攝攝影影像時的光源狀況而呈現於攝影影像內的色彩變化的空間頻率成分之修正處理。藉此，攝影裝置1能夠從修正後的攝影影像中除去因拍攝攝影影像時的光源狀況而呈現於攝影影像內的色彩變化。

接著，作為如同上述構成的攝影裝置1之具體的處理，參照第4圖至第7圖的流程圖、第8圖至第12圖的閾值表來進行說明。

首先，攝影裝置1係因應快門鈕16a被操作為全按下之狀態而開始攝影動作，並開始步驟S11以後的處理。

在步驟S11中，攝影光學系統11以及攝影部12係根據從既定攝影範圍所接受的光來取得攝影影像資料。

在接著的步驟S12中，攝影處理部13係從攝影部12取得由步驟S11中取得之RGB資料所組成的色彩成分資料。

接著的步驟S13係控制部15藉由在程式記憶體17中記憶之影像修正程式而實行的影像修正處理。

在該步驟S13之影像修正處理的步驟S13a中，依循控制部15之控制，攝影處理部13係從步驟S12所取得的色彩成分資料(RGB資料)中分離亮度資料(Y)以及色差資料(Cr,Cb)。然後，亮度資料(Y)以及色差資料(Cr,Cb)會暫時被儲存於資料記憶體18。此外，在本實施例中，表色系方面則採用YCrCb。但並非一定要將RGB資料分離成Y,Cr,Cb，只要是能夠從亮度成分或明度成分中分離YUV、YIQ等之色差成分的表色系，就同樣能應用於本發明。

在接著的步驟S13b中，控制部15係施行2維傅立葉轉換處理(頻率轉換處理)，該處理係將步驟S13a中被儲存於資料記憶體18的色差資料(Cr,Cb)，轉換成由直流成分及離散成分所組成之複數個空間頻率成分。然後，取得具有表示已轉換之複數個空間頻率成分之振幅值的空間頻率資訊之集合的頻率分析資料。

此外，該頻率分析資料不一定要包含全部的空間頻率成分之振幅值亦可。

該頻率分析資料的取得處理係如第5圖所示，首先，在步驟S21中，取得座標(x,y)中的色差資料Crf(x,y)，在步驟S22中，取得座標(x,y)中的色差資料Cbf(x,y)。然後，控制部15在步驟S23中對色差資料Crf(x,y)施行2維傅立葉轉換處理並取得色差資料Crf(x,y)的空間頻率資訊CrF(u,v)，在步驟S24中對色差資料Cbf(x,y)施行2維傅立葉轉換處理來取得色差資料Cbf(x,y)的空間頻率資訊CbF(u,v)。藉由這種頻率分析資料的取得處理，控制部15能夠取得表示何種空間頻率成分會以何種振幅而被包含於色差資料(Cr)中之頻率分析資訊、以及何種空間頻率成分會以何種振幅而被包含於色差資料(Cb)中之頻率分析資訊。

回到第4圖，在接著的步驟S13c中，控制部15(更詳細而言為控制部15a)係例如第6圖所示，取得表示攝影以前就設定之現在光源狀況的光源狀況資訊。該光源狀況資訊也可以是拍攝攝影影像之時刻、使用者的選擇操作、內建發光部25或內建發光部25之閃光的有無或者閃光的強度當中的至少一個。拍攝攝影影像的時刻係藉由控制部15之未圖示的計時器所取得。另外，例如在S52中，在光源狀況判斷條件=4的時候，也會有藉由使用者之選擇操作而設定為處於既定光源狀況的情形。此外，控制部15係判斷是否為閃光攝影模式，並從發光量算出部19中取得內建發光部25之發光的有無、內建發光部25的發光強度。此外，控制部15係對連接檢測部23a判斷是否正連接著外接發光部26，從發光量算出部19中取得內建發光部25之發光的有無、內建發光部25的發光強度。

此外，在此，第6圖的設定雖是攝影以前所進行，但也可以構成為在本步驟S13c中，暫時中斷攝影處理以後再實行。

在上述第6圖所示之事前設定中，控制部15係藉由操作選單鈕16b，對於移動鈕16c及決定鈕16d的操作，而成為選擇光源狀況判斷條件「1」～「5」的狀態。在此狀態中，在步驟S51中藉由操作按鍵輸入部16，來決定光源狀況判斷條件當中的「1」～「5」。此光源狀況判斷條件係在步驟S52中藉由控制部15來辨識。

在決定了光源狀況判斷條件之「1」的時候，控制部15係使處理進行至步驟S53。在此步驟S53中，控制部15係將時刻及閃光資訊作為光源狀況資訊並讀出於資料記憶體18。另外，控制部15係如第8圖所示，預先將儲存了與時間和閃光資訊對應之閾值x的閾值表讀出於資料記憶體18。

在決定了光源狀況判斷條件之「2」的時候，控制部15係使處理進行至步驟S54。在此步驟S54中，控制部15係將時刻作為光源狀況資訊並讀出於資料記憶體18。另外，控制部15係預先將如第9圖所示之儲存了與時刻對應之閾值x的閾值表讀出於資料記憶體18。

在決定了光源狀況判斷條件之「3」的時候，控制部15係使處理進行至步驟S55。在此步驟S55中，控制部15係將閃光資訊作為光源狀況資訊並讀出於資料記憶體18。另外，控制部15係預先將如第10圖所示之儲存了與閃光資訊對應之閾值x的閾值表讀出於資料記憶體18。

在決定了光源狀況判斷條件之「4」的時候，控制部15係使處理進行至步驟S56。在此步驟S56中，控制部15係藉由使用者將時間段及閃光狀態之說明作為光源狀況資訊並讀出於資料記憶體18。另外，控制部15係將如第11圖所示之儲存了與時間段及閃光狀態之說明對應之閾值x的閾值表讀出於資料記憶體18，使處理進行至S561。然後，在S561中，根據按鍵輸入部16之按鍵輸入而預先選擇單一的閾值。

在決定了光源狀況判斷條件之「5」的時候，控制部15係使處理進行至步驟S57。在此步驟S57中，控制部15係將初期設定作為光源狀況資訊並讀出於資料記憶體18。另外，控制部15係預先將如第12圖所示之儲存了用於初期設定之閾值x的閾值表讀出於資料記憶體18。

此外，光源狀況資訊也可以是上述以外的資訊。例如，光源狀況資訊也可以是作為能夠從攝影影像中特別指定或推斷可取得之光的光源種類或數量的任意資訊，並根據此來求得閾值x。另外，也可以是共同使用從該攝影影像取得的光源狀況資訊和上述各光源狀況資訊內之至少任一個來求得閾值x。藉此，能夠進一步減輕光源狀況對攝影影像所造成之影像上的不協調感。

另外，光源狀況判斷條件的選擇也可以是不透過使用者的手動操作，而是構成為本影像修正裝置自動藉由攝影影像之分析結果來進行選擇。藉此，能夠進一步減輕光源狀況對攝影影像所造成之影像上的不協調感。

返回第4圖，在步驟S13d中，控制部15係根據由步驟S13c所取得之光源狀況資訊來決定閾值。這時候，控制部15係因應已在步驟S13c中被記憶於資料記憶體18的光源狀況資訊，參照同樣已在步驟S13c中被記憶於資料記憶體18的閾值表，來取得已在該閾值表中儲存之閾值x。

具體而言，參照第8圖所示的閾值表，因應時刻資訊以及閃光狀態來決定閾值x1～x8的任一個。在此，在未安裝外接發光部26且僅使用內建發光部25的閃光狀態時，相當於光量的閃光指數(GN)通常是固定值的「GN10」。然後，在外接發光部26被安裝於發光控制部23的時候，藉由發光量算出部19來算出由內建發光部25和外接發光部26所發出的GN，算出合成內建發光部25之GN和外接發光部26之GN的合成GN，並由該合成GN和時刻來決定閾值x。在此，在使用內建發光部25外接發光部26兩者的時候，由於外接發光部26的種類，會有合成GN成為「GN20」的情況和成為「GN30」的情況。該外接發光部26的種類係藉由發光量算出部19所辨識來算出合成GN。此外，GN係表示閃光之光強度的標準單位。GN數字愈大的閃光，就能夠作為光量愈大之閃光的概略基準。

另外，參照第9圖所示之閾值表，在獲得作為光源狀況資訊的時間資訊時，因應該時間資訊來決定是閾值x9、x10的任一個。此外，參照第10圖所示之閾值表，在獲得作為光源狀況資訊的閃光資訊時，根據藉由表示該閃光狀態之發光量算出部19所算出的GN，來決定是閾值x11～x14的任一個。此外，參照第11圖所示的閾值表，在獲得時間段及閃光狀態之說明來作為光源狀況資訊時，就決定已經由第6圖之S561中選擇完畢的閾值，也就是閾值x15～x20的任一個。此外，參照第12圖所示之閾值表，在作為光源狀況資訊而獲得初期設定的情況下，則決定被儲存於該閾值表的閾值x21。

在接著的步驟S13e中，控制部15(更詳細而言為控制部15b)係根據由步驟S13d所決定之閾值x來進行減少在頻率分析資料中之一部分頻率分析資訊的過濾處理。該過濾處理係如第7圖所示，首先在步驟S31中，作為空間頻率成分(u,v)的初始值，輸入u=0、v=0。在此，u=0、v=0時的空間頻率成分(u,v)係直流成分。

在接著的步驟S32中，控制部15係參照步驟S31或後述步驟S39、41所設定之現在的空間頻率成分(u,v)，讀出在步驟S13b中演算且被儲存於資料記憶體18之表示空間頻率成分(u,v)之振幅值的空間頻率資訊CrF(u,v)、CbF(u,v)。

在接著的步驟S33中，控制部15係判斷空間頻率資訊CrF(u,v)是否比閾值x還要小。在空間頻率資訊CrF(u,v)未比閾值x還要小的時候，在步驟S35中，不對該空間頻率資訊CrF(u,v)進行過濾處理，就使處理進行至步驟S36。另一方面，在空間頻率資訊CrF(u,v)比閾值x還要小的時候，在步驟S34中，對該空間頻率資訊CrF(u,v)施行過濾處理，使處理進行至步驟S36。其結果，在步驟S33之判斷為否定判斷的時候，修正前的空間頻率資訊CrF(u,v)和修正後的空間頻率資訊HCrF(u,v)成為相同。另一方面，在步驟S33之判斷為肯定判斷的時候，修正後的空間頻率資訊HCrF(u,v)會成為「0」。

此外，在此，修正後的空間頻率資訊HCrF(u,v)雖是「0」，但也可以不設為「0」，施行減低既定程度之處理亦無妨。例如，也可以對修正前的值施行減少為10%的處理亦無妨。

在接著的步驟S36中，控制部15係判斷空間頻率資訊CbF(u,v)是否比閾值x還要小。在空間頻率資訊CbF(u,v)未比閾值x還要小的時候，在步驟S35中，不對該空間頻率資訊CbF(u,v)進行過濾處理，就使處理進行至步驟S36。另一方面，在空間頻率資訊CbF(u,v)比閾值x還要小的時候，在步驟S34中，對該空間頻率資訊CbF(u,v)施行過濾處理，使處理進行至步驟S36。其結果，在步驟S33之判斷為否定判斷的時候，修正前的空間頻率資訊CbF(u,v)和修正後的空間頻率資訊HCbF(u,v)成為相同。另一方面，在步驟S33之判斷為肯定判斷的時候，修正後的空間頻率資訊HCbF(u,v)會成為「0」。

此外，在此，修正後的空間頻率資訊HCbF(u,v)雖是「0」，但也可以不設為「0」，施行減低既定程度之處理亦無妨。例如，也可以對修正前的值施行減少為10%的處理亦無妨。

此外，在步驟S33中與空間頻率資訊CrF(u,V)比較的閾值x也可以是和CrF(u,v)和CbF(u,v)不同的值。另外，閾值x並非1個值，無關乎使用者之設定操作，而同時參照上述複數個閾值表的時候，從符合光源狀況的複數個閾值x中使用成為最小值之閾值xminm或者成為最大值之閾值xmax中的任何一個亦可。

接著，控制部15係在步驟S39中，使現狀之空間頻率成分(u,v)中的u值進行增量，在步驟S40中判斷u值是否成為了既定空間頻率成分範圍的上限值A。同樣地，控制部15係在步驟S41中，使現狀之空間頻率成分(u,v)中的v值增量，在步驟S42中判斷v值是否成為了既定空間頻率成分範圍的上限值B。然後，空間頻率成分(u,v)兩者成為既定空間頻率成分範圍之上限值A、B的時候就結束處理，使處理進行至第4圖的步驟S13f。

在此，既定空間頻率成分範圍的上限值A、B就是從與因光源狀況而呈現於影像上之色彩變化相當的直流成分到既定低空間頻率成分。例如，在第2A圖所示之攝影影像資料上有如同第2B圖的色彩變化時，在想削減該色彩變化的情況下，分別預先將A、B的值設定為「3」。藉此，能夠從第2A圖的攝影影像資料中除去第2B圖所示之色彩變化的空間頻率成分。如同這般，將A、B設定為能夠有效率地過濾因光源狀況而呈現於攝影影像資料上的色彩變化。此外，當然也可以因應從攝影影像資料除去之色彩變化而設定與A和B不同的值。另外，也可以因應光源狀況，以能夠減少最合適之空間頻率成分的方式來將A、B設為可變化。

返回第4圖，在步驟S13f中，控制部15係對在步驟S13e中施行了過濾處理的頻率分析資料進行2維傅立葉逆轉換處理，取得修正後的色差資料(Cr,Cb)。

在接著的步驟S13g中，控制部15係根據步驟S13f中取得之修正後的色差資料(Cr,Cb)和步驟S13a中取得之亮度資料(Y)來產生修正後的RGB資料(色彩成分資料)。

在接著的步驟S13h中，控制部15對已在步驟S13g中修正之RGB資料施行既定影像處理。這時候，控制部15係對RGB資料進一步施行修正光源對於影像資料之影響的以往的白平衡處理等之影像加工處理亦可，爾後將RGB資料儲存於資料記憶體18。藉此，控制部15實行影像修正程式的影像修正處理結束，使處理進行至步驟S14。

在步驟S14中，影像壓縮部20係對在步驟S13中產生且被儲存於資料記憶體18的修正後之RGB資料進行影像壓縮處理。藉由該影像修正處理而獲得之壓縮資料係被記憶於資料記憶體18。

在接著的步驟S15中，控制部15係將在步驟S14中產生的壓縮資料藉由記憶卡處理部14而記憶於記憶卡，並結束處理。

如同以上詳細的說明，藉由適用本發明的攝影裝置1，在從攝影影像資料中獲得之色差資料(Cr,Cb)中包含的空間頻率成分當中，藉由進行減去既定空間頻率成分的修正，能夠排除光源狀況對攝取影影像造成之色彩變化。因此，藉由本攝影裝置1，藉由對在各種光源狀況下拍攝之攝影影像施行影像修正處理，能夠減輕光源狀況對攝影影像所造成之影像上的不協調感。

另外，藉由本攝影裝置1，因為從頻率分析資料中減去與根據光源狀況資訊而呈現於攝影影像上的色彩變化相當的空間頻率資訊，所以即使是因光源狀況而在攝影影像上呈現不同色彩的情況下，也能因應該光源狀況來進行適當的修正。

此外，藉由本攝影裝置1，因為將預先設定之頻率分析資料當中屬於低空間頻率的空間頻率資訊設定為從攝影影像減去之既定空間頻率成分，所以能夠減少與因光源狀況資訊而呈現於攝影影像上的色彩變化相當之空間頻率資訊。

此外，再藉由本攝影裝置1，在預先設定之空間頻率成分的振幅值比既定閾值還要小的時候，因為從頻率分析資料中削除預先設定之空間頻率資訊，所以在因光源狀況而呈現於攝影影像上的色彩變化之空間頻率成分之振幅大且在攝影影像上被辨識的情況中，能夠進行使該空間頻率成分設為「0」的修正。

此外，再藉由本攝影裝置1，在預先設定之空間頻率成分的振幅值比既定閾值還要小的時候，因為將預先設定之空間頻率成分的振幅值設為小值，所以在因光源狀況而呈現於攝影影像上的色空間頻率成分之振幅大且在攝影影像上被辨識的情況中，能夠進行使該空間頻率成分變得不顯眼的修正。

此外，再藉由本攝影裝置1，光源狀況資訊雖是攝影以前就設定者，但並非侷限於此。也可以是例如在分析步驟S1或步驟S11中取得之攝影影像並檢測出光源的種類和數量，根據該檢測結果來設定光源狀況資訊。

此外，因為藉由本攝影裝置1，取得作為光源狀況而拍攝攝影影像之時刻、使用者的選擇操作、閃光的有無或閃光的強度中之至少一個，能夠根據該光源狀況來變更既定閾值，所以能夠高精度地減輕因各種光源狀況而發生之色彩變化，迴避對影像原來之色彩變化造成衰減的情況。

此外，上述的實施形態係本發明之一例。因此，本發明並非被侷限於上述的實施形態，即使是本實施形態以外，只要是不悖離本發明之技術思想的範圍，當然就可以因應設計等來進行各種變更。

1．．．攝影裝置

11．．．攝影光學系統

12．．．攝影部

13．．．攝影處理部

14．．．記憶卡處理部

15、15a、15b．．．控制部

16．．．按鍵輸入部

17．．．程式記憶體

18．．．資料記憶體

19．．．發光量算出部

20．．．影像壓縮部

21．．．主要顯示處理部

22．．．主要顯示部

23．．．發光控制部

23a．．．連接檢測部

24．．．內建發光驅動部

25．．．內建發光部

26．．．外接發光部

第1圖係一區塊圖，其顯示適用本發明的攝影裝置之功能構成。

第2A圖係一攝影影像，其用以說明適用本發明的攝影裝置所進行之2維傅立葉轉換處理。

第2B圖係一由至空間頻率成分(3,3)為止的空間頻率成分所組成的影像，其用以說明適用本發明的攝影裝置所進行之2維傅立葉轉換處理。

第2C圖係一由至空間頻率成分(6,6)為止的空間頻率成分所組成的影像，其用以說明適用本發明的攝影裝置所進行之2維傅立葉轉換處理。

第2D圖係一由至空間頻率成分(10,10)為止的空間頻率成分所組成的影像，其用以說明適用本發明的攝影裝置所進行之2維傅立葉轉換處理。

第3圖係一示意流程圖，其顯示適用本發明的攝影裝置所進行的影像修正處理之處理順序。

第4圖係一流程圖，其顯示適用本發明的攝影裝置所進行的具體影像修正處理的處理順序。

第5圖係一流程圖，其顯示適用本發明的攝影裝置所進行的頻率分析資料取得處理的處理順序。

第6圖係一流程圖，其顯示適用本發明的攝影裝置所進行的光源狀況資訊取得處理的處理順序。

第7圖係一流程圖，其顯示適用本發明的攝影裝置所進行之過濾處理的處理順序。

第8圖係一圖表，其顯示和適用本發明的攝影裝置有關之與時刻及閃光(發光量)對應之閾值。

第9圖係一圖表，其顯示和適用本發明的攝影裝置有關之與時刻對應之閾值。

第10圖係一圖表，其顯示和適用本發明的攝影裝置有關之與閃光(發光量)對應之閾值。

第11圖係一圖表，其顯示和適用本發明的攝影裝置有關之與使用者設定說明對應之閾值。

第12圖係一圖表，其顯示和適用本發明的攝影裝置有關之初期設定時之閾值。

Claims

一種影像修正裝置，其特徵為具備：影像取得手段，其取得影像；分離手段，其將藉由前述影像取得手段所取得之影像分離成亮度資料和色差資料；轉換手段，其將藉由前述分離手段所分離的色差資料轉換成在空間頻率中的振幅值之集合；光源狀況取得手段，其取得藉由攝影而取得前述影像時的光源狀況；修正手段，其根據藉由前述光源狀況取得手段所取得之光源狀況資訊，從藉由前述轉換手段所轉換之振幅值的集合中，針對與對在前述影像中呈現之色彩變化造成影響的色差資料對應之空間頻率中的振幅值進行減少其值的修正；逆轉換手段，其將在藉由前述修正手段所修正後之空間頻率中的振幅值之集合逆轉換成色差資料；以及修正影像產生手段，其使用前述亮度資料和藉由前述逆轉換手段而逆轉換的色差資料來產生修正後的攝影影像。
如申請專利範圍第1項記載之影像修正裝置，其中前述修正手段係包含判斷手段，該判斷手段將前述空間頻率的振幅值之集合當中屬於低空間頻率的複數個振幅值作為判斷對象，進行是否對各該振幅值進行修正的判斷，進行減去由前述判斷手段判斷要修正的振幅值的修正。
如申請專利範圍第2項記載之影像修正裝置，其中前述狀況取得手段係取得與藉由攝影取得前述影像之時刻、使用者的選擇操作、閃光的有無、或者閃光的強度當中之至少一個相關的資訊來作為光源狀況資訊，並且前述判斷手段係將前述振幅值的集合當中根據前述光源狀況資訊而設定之振幅值作為判斷對象，進行是否對各該振幅值進行修正的判斷。
如申請專利範圍第2項記載之影像修正裝置，其中前述判斷手段係判斷要修正前述振幅值比既定閾值還要小的振幅值。
如申請專利範圍第4項記載之影像修正裝置，其中前述光源狀況取得手段更具備設定手段，該設定手段係取得與已藉由攝影而取得前述影像之時刻、使用者的選擇操作、閃光的有無、或者閃光的強度當中之至少一個相關的資訊來作為光源狀況資訊，並且根據前述光源狀況資訊來設定前述既定閾值。
如申請專利範圍第1項記載之影像修正裝置，其中在前述修正手段所進行之修正內容中包含將前述振幅值設為0。
一種影像修正方法，其特徵為由以下步驟組成：分離步驟，其將已取得之影像分離成亮度資料和色差資料；轉換步驟，其將藉由前述分離步驟所分離的色差資料轉換成在空間頻率中的振幅值之集合；光源狀況取得步驟，其取得藉由攝影取得前述影像時的光源狀況；修正步驟，其根據藉由前述光源狀況取得步驟所取得之光源狀況資訊，從藉由前述轉換步驟所轉換之振幅值的集合中，針對與對在前述影像中呈現之色彩變化造成影響的色差資料對應之空間頻率中的振幅值進行減少其值的修正；逆轉換步驟，其將在藉由前述修正步驟所修正後之空間頻率中的振幅值之集合逆轉換成色差資料；以及修正影像產生步驟，其使用前述亮度資料和藉由前述逆轉換步驟而逆轉換的色差資料來產生修正後的攝影影像。