TWI238010B - Image compound method and photography apparatus - Google Patents

Description

1238010 玖、發明說明： (一） [發明所屬之技術領域] 本發明爲有關一種影像合成方法及攝影裝置，尤指可在 於取得白色平衡和彩色平衡之下，獲得擴大動態範圍的影 像信號之影像合成方法及攝影裝置者。 (二） [先前技術] 使用數位靜像攝影機等的攝影裝置，以拍攝例如室內風 景時，雖然可對存在於室內的拍攝目標物拍攝到很好的影 像’但從窗口可看到的藍天會發白，在整體上會成爲不自 然的影像。此乃影像的動態範圍太窄的緣故，而爲了要解 決此問題’在以往是拍攝兩張影像，將其合成，以擴大影 像的動態範圍者。 例如按下高速快門，拍攝第1張的短時間曝光影像（低感 光影像），緊接著按下低快速門，拍攝第2張的長時間曝光 影像（高感光影像），而將兩張影像合成，以使照在低感光 影像的窗外風景重疊於照得很好的室內風景之高感光影像 上者。 在於要做這種影像合成之場合中，高感光影像的紅（R)信 號是比綠（G)或藍（B)信號較難於飽和，因而在整體上會出 現天藍色’因此合成影像也受到此籠罩天藍色的高感光影 像的色彩信號之影響，而會有失去整體上的彩色平衡之問 題。 因此，例如在特開平7 - 1 3 1 7 9 6號公報所記載的從來技術 中，是將要合成的一方之影像色彩信號乘以K倍後合成於 -6- 1238010 另一方影像，以調整合成影像的彩度者。 [發明案文獻1] 特開平7 - 1 3 1 7 9 6號公報。 [發明內容] [發明欲解決之問題] 在上述的從來技術中，要將兩張攝影影像的色彩信號合 成之際，是使灰色取得彩色平衡者，而並未考慮到有關兩 影像在白色平衡上之偏移。因此，合成影像中的高感光影 像與低感光影像在白色平衡上有所差異，而會有由於攝影 景物的關係，成爲看起來不諧調的合成影像之問題。 近年，已被提案的攝影裝置是例如在固體攝影元件，裝 配高感光像素和低感光像素兩方，而將以高感光像素所拍 攝的高感光影像（以下亦稱高輸出影像）和低感光像素所拍 攝的低感光影像（以下亦稱低輸出影像）加以合成處理，以 作成1張影像資料輸出之數位靜像攝影機者。而，用這種 攝影裝置做影像合成時，不僅要取得彩色平衡，也需要取 得白色平衡。 本發明的目的是在於提供一種影像合成方法及攝影裝置 ，其係可在於取得彩色平衡和白色平衡之下，將寬闊動態 範圍的影像予以合成後輸出者。 [發明之解決手段] 達成上述目的本發明的影像合成方法是在於將高輸出影 像資料的色彩信號和低輸出影像資料的色彩信號分別施加 增益修正及灰度修正後實施影像合成，且將合成影像資料 的色彩信號轉換爲輝度信號及色差信號之影像合成方法中 1238010 ’其特徵爲：將上述高輸出影像資料與上述低輸出影像資 料相加的和之資料乘以對應於景物的總增益，以作爲上述 合成影像資料，且依據該合成影像資料的動態範圍和輝度 値，對該影像資料實施彩度修正者。 依此構成時’可獲得已取得彩色平衡和白色平衡的寬闊 動態範圍之影像。 本發明的影像合成方法，其另外之特徵是：將上述總增 益値作爲對應於上述動態範圍之値來使用，以實施上述彩 度修正者。依此構成時，可容易的進行對應於動態範圍的彩 度修正。 本發明的影像合成方法，其另外之特徵是：將上述色差 信號之値乘以彩度修正係數，以實施上述彩度修正者。依 此構成，可使彩度修正的運算處理容易的進行。 本發明的影像合成方法，其另外之特徵是：在所定輝度 以上的高輝度側，以係數値成爲” ；1 ”以下之查找表準備上述 彩度修正係數。依此構成，可使彩度修正的運算處理更爲 容易。 本發明的攝影裝置是具有：可輸出高輸出影像資料的色 彩信號和低輸出影像資料的色彩信號之攝影元件；可對上 述高輸出影像資料實施灰度修正，且可對上述低輸出影像 資料實施灰度修正之灰度修正手段；可將經上述灰度修正 手段修正後的上述高輸出影像資料與經上述灰度修正手段 修正後的上述低輸出影像資料相加，且將對應於景物的總 增益乘以上述高輸出影像資料與上述低輸出影像資料的和 之資料’將將影像合成之影像合成手段；將該經過影像合 -8- 1238010 成的合成影像資料轉換爲輝度信號及色差信號之轉換手段 ;及依據該轉換手段所取得的上述輝度信號和上述合成影 像資料的動態範圍，對上述色差信號實施彩度修正處理之 彩度修正手段者。 依此構成時，可在於取得彩色平衡和白色平衡之下，拍 攝寬闊動態範圍的影像。 (四）[實施方式] 以下參照圖面說明本發明的一實施形態。 第1圖是本發明的一實施形態之數位靜像攝影機構成圖 。在此實施形態中，是以數位靜像攝影機爲例所說明者， 但本發明也可應用在數位視訊攝影機等其他種類的攝影裝 置上。又本實施形態的影像合成處理在後述的數位信號處 理單元2 6中是以軟體所實行處理者，但也可將其改用硬體 電路來實行之。 第1圖所示的數位靜像攝影機是具備：攝影透鏡1 〇、固 體攝影元件11、設置在此兩者之間的光圏1 2、紅外線截止 濾光片1 3、及光學低通濾光鏡1 4。控制數位靜像攝影機整 體的C P U 1 5是可控制閃光燈用發光體1 6及感光體1 7，且 控制透鏡驅動器1 8，使其將攝影透鏡1 0的位置調整到聚 焦位置，並介由光圈調整器1 9控制光圈1 2的開口量，以 調整曝光量可在於適當曝光量者。 又，CPU15是可介由攝影元件驅動器20驅動固體攝影元 件1 1，以使其將經由攝影透鏡1 0所拍攝的攝影目標物影 像作成色彩信號輸出。又，CPU15可介由操作機構21輸入 使用者的指示信號，CPU 1 5會按照其指示以執行各種控制。 1238010 數位靜像攝影機的電路控制系統是具備：連接在固體攝 影元件1 1的輸出端之類比信號處理電路2 2，和可將由該 類比信號處理電路2 2所輸出的R、G、B色彩信號轉換爲 數位信號之A/D轉換電路23，這些電路是由CPU1 5所控 制。 又，此數位靜像攝影機的電路控制系統也具備：連接於 主記憶體2 4的記憶體控制電路2 5 ;如後所詳述的數位信 號處理電路26 ;將攝影影像壓縮成JPEG影像，或將壓縮 影像擴展之壓縮擴展處理電路2 7 ;將測光資料累積，以供 白色平衡的增益調整之累積電路2 8 ;可連接於裝卸自如的 記憶媒體2 9之外部記憶體控制電路3 0 ;及可連接於裝配 在攝影機背面等的液晶顯示器3 1之顯示控制電路3 2，這 些電路是由控制總線3 3及資料總線3 4所相互連接，而受 CPU15所發出的指令所控制。 第1圖所示的數位信號處理電路2 6、類比信號處理電路 22、或A/D轉換電路23等，也可將其各個作成另一電路， 裝配於數位靜像攝影機上，但用L S I製造技術，將這些形 成在和固體攝影元件11同一半導體基板上，以成爲1個固 體攝影裝置者爲理想。 第2圖是本實施形態所使用的固體攝影元件1 1之像素配 置圖。要拍攝寬闊動態範圍的C C D部分之像素1是採用例 如特開平1 0 - 1 3 6 3 9 1號公報所記載的像素配置，奇數行的 各像素是相對於偶數行的各像素在水平方向偏移1 /2節距 的配置’要將從各像素所讀出的信號電荷在垂直方向傳送 1238010 之垂直傳送線路（圖未示）是以避開垂直方向的各像素，而 、 採取蛇形配置之構成者。 又，本實施形態的各像素1在圖示的例中，是將像素1 分割成爲佔據約1 / 5面積的低感光像素2，和佔據所剩餘約 4 / 5面積的高感光像素3，且可將各低感光像素2的信號電 荷與各局感光像素3的電荷信號加以區別，讀出並傳送至 上述垂直傳送線路。又，要將像素1以何種比率及在那一 位置分割，是可在設計上做決定，第2圖只是其一例示而 已。 ❿ 在本實施形態的攝影裝置，以一次的拍攝就可同時取得 低感光影像（由低感光像素2所取得的影像）和高感光影像 (由高感光像素3所取得的影像），而將各影像依序從各像 素2、3讀出後，如後所詳述的將其合成後輸出者。 又’固體攝影兀件1 1是以如弟2圖所不的蜂嵩狀像素配 置之CCD爲例說明者，但也可使用海灣地形方式的CCD 或CMOS感光體者。 第3圖是第1圖所示的數位信號處理電路2 6之詳細構成 馨 圖。此數位信號處理電路2 6所採用的是對高感光影像信號 與低感光影像信號分別實施灰度修正後，經過加法處理之 對數加法方式，而具備：從第1圖所示A/D轉換電路23 所輸出的高感光影像數位信號之RGB色彩信號擷取後實施 偏移校正處理之偏移修正電路4 1 a ;使偏移修正電路4 1 a 的輸出信號取得白色平衡之增益修正電路4 2 a ;對增益修 正後的色彩信號實施灰度修正之灰度修正電路43 a ;將第1 -11· 1238010 圖所W A/D轉換電路2 3所輸出的低感光影像數位信號之 R G B色彩信號擷取後，實施偏移修正處理之偏移修正電路 4 1 b ’使偏移修正電路4丨b的輸出信號取得白色平衡之增益 修正電路42b ;及對增益修正後的色彩信號實施灰度修正 之灰度修正電路4 3 b者。如要對偏移修正後的信號實施線 性矩陣轉換處理等時，是在增益修正電路4 2 a、4 2 b與灰度 修正電路43a、43b之間實施之。 數位ia號處理電路2 6是更包含：將各灰度修正電路4 3 a 、43b的兩輸出信號擷取後，如後所詳述的進行影像合成 處理之影像合成處理電路4 4 ;將影像合成後的R g B色彩信 號經過內插運算，以求出在各像素位置的r G B 3色信號之 RGB內插運算電路45 ;從RGB信號求出輝度信號Y和色 差信號C1·、C b之R G B / Y C轉換電路4 6 ;從輝度信號Y或 色差信號Cr、Cb中降低其雜訊之雜訊濾除電路47 ;以色 差矩陣[C - Μ T X ]乘色差信號C r、C b，以實施色調修正之色 差矩陣電路4 8 ;及，對色差矩陣電路4 8所輸出的色差信 號施加如後述的對應於輝度的彩度修正之彩度修正電路49。 RGB內插運算電路45如爲3板式，攝影元件時是不需 要，但在本實施形態所使用的固體攝影元件1 1是單板式固 體攝影元件者，而從各像素中會僅輸出R、G ' B中的一色 信號，因而，在輸出R的像素，在此像素位置未輸出的色 彩，也即G、B色彩信號究竟會達到何種程度，係由周圍 的像素之G、B信號經過內插運算所求出者。 1238010 上述影像合成處理電路4 4是將灰度修正電路4 3 a所輸出 - 的高感光影像信號和灰度修正電路4 3 b所輸出的低感光影 像信號，依據下式1合成爲像素單位輸出之。 [式1] data=[high + MIN(high/th?l)xl〇w]xMAX[(-kxhigh/th) + a?p] 式中high :高感光（高輸出）影像信號的灰度修正後之資料 low :低感光（低輸出）影像信號的灰度修正後之資料 P : t 〇 t a 1 _ g a i η (總增益） k :係數 _ th :臨界値 α :由景物所決定的値（与1 ) 臨界値th是由數位靜像攝影機的使用者或數位靜像攝影 機的設計者所指定之値，假設灰度修正後的資料爲8位元 資料（2 5 6灰度等級）時，例如可指定値0〜2 5 5中之"219”。 式1的弟1項是表不，當局感光影像資料high超過臨界 値th時，將低感光影像資料low直接和高感光影像資料 h i g h相加，當高感光影像資料h i g h在臨界値t h以下時， β 將低感光影像資料low乘以高感光影像資料high的相對於 臨界値th之比率後之値和高感光影像資料high相加者。 在本實施形態中，並不是將該第1項所求出的相加資料 直接作爲合成影像資料，其特徵而是再將第2項（MAX[(_kx high/th) + a，p])乘以該第1項之値，作爲合成影像的資料者。 在第2項中，係數k例如在第2圖所示實施形態的固體 攝影元件1 1中，是用値” 〇 . 2 ’，爲佳。如像第2圖所示固體 -13- 1238010 攝影兀件1 1樣式的，闻感光像素3與低感光像素2的信號 電荷之飽和比爲相異時，係數k可由下式2方便的求出之。 [式2] 係數 k=l -Sh/(Sh + Sl) 式中 S h :高感光像素的信號電荷飽和量 S 1 :低感光像素的信號電荷飽和量 在第2圖所示的例中，光二極體的面積比並不是可就原 樣成爲飽和比，但在方便上和比可視爲相當於面積化，應 用於上述例時，成爲如下値。 Φ k=l-4/(4-l)=l-0.8 = 0.2 持有包含高感光像素和低感光像素的固體攝影元件’並 不只限定於第2圖所例示者，而也可考慮如第5圖所示的 ，將要設置在形成爲同一尺寸形狀的多數光二極體（圖未示） 上之微透鏡的開口面積加以變更，以設高感光像素3和低 感光像素2之構成者。 以這種構成中，雖然高感光像素和低感光像素的信號電 ® 荷飽和量會相同，因而不能應用式2，但可由實驗上求出 係數k値，或由微透鏡等的開口面積等求出係數値，而應 用式1者。此係數k値是根據固體攝影元件的構成所決定 之値，已在於攝影裝置出廠時被設定在固定値，使用者是 不能任意變更者。 在式1，總增益P的値在本實施形態中是採用由實驗上 所評定之値。P是對合成影像資料的整體之增益，在本實 1238010 施形態中是由控制該P値以執行影像的動態範圍之控制者 。此總增益P値越小，動態範圍會越寬闊p値越大，動態 範圍會越狹窄。 具體地，例如對比度高的景物（盛夏的晴天等）是以p = 0.8 、陰天或背陰地方是以p = 0.86、室內日光燈下是以p = 0.9 ，隨著景物以變化P値。由此，如灰度修正後的資料爲8 位元資料時，可更有效的利用8位元灰度等級値。 P値是可由使用者在第1圖所示的操作機構2 1上指定景 物種類來設定P値，也可由數位靜像攝影機本身根據各種 檢測器的檢測量，自動的判定攝影影像的景物，以自動的 設定者。例如雖然須要由累積電路2 8從測光資料的累計値 求出白色平衡的增益量，但可由該白色平衡的値自動的判 別其係何種景物，因而p値是可自動決定者。 第4圖是變更p値時的動態範圍之變化情形。加大總增 益P値時之特性線A的動態範圍很小，而逐漸減少p値時 ，動態範圍會變化到大的特性線B爲止。 如此，依本實施形態時，是將高感光影像資料和低感光 影像資料相加後乘以總增益者，·因而，可作成取得白色平 衡的，具寬闊動態範圍之影像。又是採用對數相加方式， 將高感光影像資料和低感光影像資料各個的位元數減低後 才做影像合成者，電路規模可小型化，而可低成本化。 然而，由於影像合成的程度或灰色的非線性（變化白色光 的強度時，R、G、B各信號是否以線性的變化），會在於合 成影像的最大亮度部分產生著色之情形。即，會有由於合 -15- 1238010 成處理電路4 4所使用的總增益p値之關係而引起在最大亮 度部分著色之情形。因此，在本實施形態中，是由彩度修 正電路4 9以抑制最大亮度部分的彩度，以使最大亮度部分 的著色不顯眼者。 設在於輸入色彩信號Cr、Cb的色差矩陣電路48所使用 的色差矩陣[C - Μ T X ]爲： [式3] [C-MTX] = ^21 an a22

從色差矩陣電路48會輸出由下式4所算出的色彩信號Cr， 、Cb，。 [式4]

Cr Cb = [C-MTX]

Cb'j (7】】 ’Ο* + β】2 · C合 a2'’Cr + a22’· Cb_ 彩度修正電路4 9會擷取影像合成處理電路4 4所使用過的 總增益p値和由雜訊減低電路4 7所輸出的輝度信號Y，並 對所輸入進來的色差信號C〆、C b '實施下式5的運算處理 ，而輸出色差信號Cr"、Cb"。 · [式5]

Crn = YC-gain · Cr 丨 CbM-YC-gain · Cb’ 式中，YC-gain是從第6圖所不的查找表所求得之値者 。在第6圖中，是將P = 0.8、P = 0·9、P = 1.0時的3個查找表 -16- 1238010 以重疊的表示者’橫軸爲輝度値Υ Λ ’知軸爲彩度修正係數 値YC-gain。這些查找表是使其在高光輝度側的YC-gain 値降低到1以下，但P値越小（即合成影像的動態範圍越寬） ’則，使其從越低輝度位置起降低Υ C - g a 1 n値者。由此’ 可使合成影像的高亮度部分之彩度受到抑制’其著色也會 不顯眼化。 又在式1中，α値是可採用對應於攝影影像的景物之値 ，而也可採用固定値’’ 1 π者° 在上述實施形態中是對於將數位靜像攝影機所拍攝的高 輸出影像（高感光影像）和低輸出影像（低感光影像）’在於數 位靜像攝影機內合成的例子所說明者，但本發明也可應用 於在例如將攝影裝置所拍攝的高感光影像資料和低感光影 像資料儲存於記憶體後從攝影裝置取出，而將該高感光影 像資料及低感光影像資料（CCD-RAW資料）輸入於個人電腦 ’以進行和上述實施形態所述的數位信號處理電路2 6同樣 的處理之場合中，由此也可作成取得白色平衡和彩色平衡 兩者的，動態範圍寬闊之合成影像。 又，在上述實施形態中，是將在低感光像素所拍攝的影 像稱爲低感光影像，在高感光像素所拍攝的影像稱爲高感 光像素者，但本發明並不限定於要將不同感光度的影像合 成之場合，而也可應用在要將由同一像素所拍攝，而其開 □量相異的多數之攝影影像予以合成之場合者。例如對對 比度高的靜物改變曝光量，連續的拍攝多數張影像時，以 開□量大的光圈所拍攝的影像是由於固體攝影元件的各像 1238010 素之輸出位準較高，而成爲上述的高輸出影像，在於開口 量較小的光圈之下所拍攝的影像是由於各像素的輸出位準 是比高輸出影像的爲低，而成爲上述的低輸出影像。要將 此兩影像資料合成時，也可應用上述實施形態。 [發明之效果] 依本發明時，可在於取得白色平衡和彩色平衡之下，合 成動態範圍寬闊的影像。 [圖式簡單說明]

第1圖爲本發明一實施形態的數位靜像攝影機之構成_。 第2圖爲第1圖所示固體攝影元件的像素配置一例圖。 第3圖爲第1圖所示數位信號處理電路的詳細構成圖。 第4圖爲動態範圍變化情形的曲線圖。 第5圖爲固體攝影元件的另一實施形態之像素配置圖。 第6圖爲在第2圖所示彩度修正電路所準備的查找袠〜 例圖。

[主要 部分之代 表 符 號 說 明] 1 像 素 2 低 感 光 像 素 3 局 感 光 像 素 10 透 鏡 11 固 體 攝 影 元 件 15 CPU 26 數 位 信 號 處 理單元 43a 、43b 灰 度 修 正 電 路 -18- 1238010 44 影像合成處理電路 4 5 彩度修正電路 A 總增益大（動態範圍小）的特性線 B 總增益小（動態範圍大）的特性線

Claims (1)

1. Η_β[ 拾、申請專利範圍： 第9 2 1 3 2663號「影像合成方法及攝影裝置」專利案 (94年1月31日修正） 1 . 一種影像合成方法，其係在將高輸出影像資料的色彩信 號和低輸出影像資料的色彩信號分別施加灰度修正後， 實施影像合成，且將合成影像資料的色彩信號轉換爲輝 度信號及色差信號之影像合成方法，其特徵爲：

   將上述高輸出影像資料與上述低輸出影像資料相加的 和之資料乘以對應於景物的總增益，以作爲上述合成影 像資料，且依據該合成影像資料的動態範圍和輝度値， 對該合成影像資料實施彩度修正者。 2 .如申請專利範圍第1項之影像合成方法，其中 將上述總增益値作爲對應於上述動態範圍之値來使用 ，以實施上述彩度修正者。 3 ·如申請專利範圍第1或2項之影像合成方法，其中

   上述彩度修正是將上述色差信號之値乘以彩度修正係 數所實施者。 4 .如申請專利範圍第3項之影像合成方法’其中 上述彩度修正係數是在所定輝度以上的高輝度側，準 備係數値成爲"1 "以下之查找表者。 5 · —種攝影裝置，包含： 可輸出高輸出影像資料的色彩信號和低輸出影像資料 的色彩信號之攝影元件； 可對上述高輸出影像資料實施灰度修正’且可對上述

   mm 年月日 低輸出影像資料實施灰度修正之灰度修正裝置； 可將經該灰度修正裝置修正後的上述高輸出影像資料 與經上述灰度修正裝置修正後的上述低輸出影像資料相 加，且將對應於景物的總增益乘以上述高輸出影像資料 與上述低輸出影像資料的和之資料，以將影像合成之影 像合成裝置；

   將該經過影像合成的合成影像資料轉換爲輝度信號及 色差信號之轉換裝置； 依照該轉換裝置所取得的上述輝度信號和上述合成影 像資料的動態範圍，對上述色差信號實施彩度修正處理 之彩度修正裝置者。

   -2-