JP2004048563A - 撮像装置および画像処理方法 - Google Patents
撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP2004048563A JP2004048563A JP2002205607A JP2002205607A JP2004048563A JP 2004048563 A JP2004048563 A JP 2004048563A JP 2002205607 A JP2002205607 A JP 2002205607A JP 2002205607 A JP2002205607 A JP 2002205607A JP 2004048563 A JP2004048563 A JP 2004048563A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- white balance
- low
- output image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000002131 composite material Substances 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 230000035945 sensitivity Effects 0.000 abstract description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 3
- 241001248531 Euchloe <genus> Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】高感度画像と低感度画像とをホワイトバランスをとりながら合成し広いダイナミックレンジを持った合成画像を生成する。
【解決手段】固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出するホワイトバランスゲイン算出回路４０と、算出回路４０で算出されたゲイン値を用いて高出力画像の画像データのホワイトバランス調整を行う第１ゲイン補正回路４２ａと、前記ゲイン値を用いて低出力画像の画像データのホワイトバランス調整を行う第２ゲイン補正回路４２ｂを備える。これにより、合成画像のホワイトバランスのズレが小さくなり、ダイナミックレンジの広い画像を生成することが可能となる。
【選択図】 図２
【解決手段】固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出するホワイトバランスゲイン算出回路４０と、算出回路４０で算出されたゲイン値を用いて高出力画像の画像データのホワイトバランス調整を行う第１ゲイン補正回路４２ａと、前記ゲイン値を用いて低出力画像の画像データのホワイトバランス調整を行う第２ゲイン補正回路４２ｂを備える。これにより、合成画像のホワイトバランスのズレが小さくなり、ダイナミックレンジの広い画像を生成することが可能となる。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は撮像装置および画像処理方法に係り、特に、ホワイトバランスをとりながらダイナミックレンジを広げた画像信号を得ることができる撮像装置および画像処理方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ等の撮像装置で、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまうことがある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露光画像（低感度画像）を撮像し、これに連続して低速シャッタを切って２枚目の長時間露光画像（高感度画像）を撮像し、２枚の画像を合成することで、低感度画像中に映っている窓の外の風景が、室内風景の良く映っている高感度画像に重なるようにしている。
【０００４】
特開２０００―３０７９６３号公報に記載されている従来の撮像装置では、２枚の画像を合成するとき、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分毎に高感度画像と低感度画像を置き換え、画像合成を行う様にしている。
【０００５】
【発明が解決しようとする課題】
上述した従来技術では、２枚の撮像画像の画像信号をマスクを使って合成しているが、ホワイトバランスのズレに関しては考慮していない。このため、合成画像中の高感度画像と低感度画像とでホワイトバランスが異なってしまい、撮影シーンによって違和感のある合成画像になってしまうという問題がある。
【０００６】
本発明の目的は、ホワイトバランスをとりながらダイナミックレンジの広い画像を合成し出力することができる撮像装置および画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する撮像装置は、固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記高出力画像の画像データのホワイトバランス調整を行うと共に該ゲイン値を用いて前記低出力画像の画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする。この構成により、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【０００８】
上記目的を達成する撮像装置は、固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記合成画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする。この構成によっても、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【０００９】
上記目的を達成する画像処理方法は、固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記高出力画像の画像データのホワイトバランス調整を行うゲイン値と前記低出力画像の画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする。この構成により、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【００１０】
上記目的を達成する画像処理方法は、固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記合成画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする。この構成によっても、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例にしているが、デジタルビデオカメラ等の他の種類の撮像装置にも本発明を適用可能である。
【００１３】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１４】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。
【００１５】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００１６】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データを積算し積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１７】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００１８】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。本実施形態では、高速シャッタで撮像した低感度画像（各画素からの出力値が低いため、以下、低出力画像ともいう。）と、これに連続して低速シャッタで撮像した高感度画像（各画素からの出力値が低出力画像のデータより高くなるため、以下、高出力画像ともいう。）とを合成する場合のデジタル信号処理部２６の機能構成について説明する。
【００１９】
図示する例のデジタル信号処理部２６は、図１に示す積算部２８の出力データを取り込んでホワイトバランス調整用のゲイン値を算出するホワイトバランスゲイン算出回路４０と、Ａ／Ｄ変換回路２３から出力される高出力画像のＲＧＢ色信号を取り込んでオフセット処理を行う第１オフセット補正回路４１ａと、第１オフセット補正回路４１ａの出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行う第１ゲイン補正回路４２ａと、第１ゲイン補正回路４２ａから出力される高出力画像データに対して高出力画像用のγ値を用いてガンマ補正を行う第１ガンマ補正回路４３ａとを備える。
【００２０】
デジタル信号処理部２６は、更に、Ａ／Ｄ変換回路２３から出力される低出力画像のＲＧＢ色信号を取り込んでオフセット処理を行う第２オフセット補正回路４１ｂと、第２オフセット補正回路４１ｂの出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行う第２ゲイン補正回路４２ｂと、第２ゲイン補正回路４２ｂから出力される低出力画像データに対して低出力画像用のγ値を用いてガンマ補正を行う第２ガンマ補正回路４３ａと、第１ガンマ補正回路４３ａの出力データと第２ガンマ補正回路４３ｂの出力データとを画素単位に合成する画像合成回路４４とを備える。
【００２１】
デジタル信号処理部２６は更に、合成した画像データ（画像合成回路４４の出力データ）のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００２２】
ＲＧＢ補間演算部４４は、固体撮像素子１１が３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００２３】
次に、上述した構成のデジタルスチルカメラの動作を説明する。ユーザが操作部２１を操作してダイナミックレンジの広い合成画像の撮像を指示入力した場合、ＣＰＵ１５は、先ず高速シャッタを切って被写体の低感度画像を撮像し、次に低速シャッタを切って同一被写体の高感度画像を撮像し、２枚の画像データをデジタル信号処理部２６が取り込んで合成することになる。
【００２４】
高感度画像のＲＧＢ信号（デジタル信号）は画素単位にデジタル信号処理部２６に取り込まれ、先ず第１オフセット補正回路４１ａでオフセット処理された後、第１ゲイン補正回路４２ａにてホワイトバランス調整が行われる。このホワイトバランス調整で使用するゲイン値は、ホワイトバランスゲイン算出回路４０で算出されたゲイン値を用いるが、ホワイトバランスゲイン算出回路４０は、このゲイン値を、積算部２８で積算された高感度画像の積算値から算出する。ゲイン補正された高感度画像データは、第１ガンマ補正回路４３ａにより、高感度画像用のγ値を用いてガンマ補正され、画像合成回路４４に出力される。
【００２５】
一方、低感度画像のＲＧＢ信号（デジタル信号）も画素単位にデジタル信号処理部２６に取り込まれ、先ず第２オフセット補正回路４１ｂでオフセット処理された後、第２ゲイン補正回路４２ｂにてホワイトバランス調整が行われる。このホワイトバランス調整で使用するゲイン値も、ホワイトバランスゲイン算出回路４０で算出されたゲイン値を用いるが、本実施形態では、低感度画像のホワイトバランス調整用ゲイン値も、積算部２８で積算された高感度画像の積算値から算出する。ゲイン補正された低感度画像データは、第２ガンマ補正回路４３ｂにより、低感度画像用のγ値を用いてガンマ補正され、画像合成回路４４に出力される。
【００２６】
画像合成回路４４では、画素単位に高感度画像データと低感度画像データとを加算合成し、ＲＧＢ補間演算部４５、ＲＧＢ／ＹＣ変換回路４６、ノイズフィルタ４７、輪郭補正回路４８、色差マトリクス回路４９と通すことで、広いダイナミックレンジを持ち、且つホワイトバランスが調整された違和感の無いの画像データが輝度信号Ｙと色差信号Ｃｒ，Ｃｂとして出力され、記録媒体２９に格納される。
【００２７】
この様に、本実施形態では、高感度画像（高出力画像）と低感度画像（低出力画像）とを合成する場合に、低感度画像のホワイトバランス調整を、高感度画像の画像データから求めたゲイン値にて行うため、低感度画像と高感度画像の合成画像でホワイトバランスのズレが無くなり、違和感の無い合成画像を得ることが可能となる。
【００２８】
同一被写体を時間を置かずに撮像した高感度画像と低感度画像は、共に同一光源下で撮像した画像であるため、ホワイトバランス調整を行うゲイン値は本来同一値である。しかし、低感度画像の画像データは、ホワイトバランスのゲイン値算出の追従が不可能な領域となる見込みが強く、高感度画像の画像データから求めたゲイン値から大きく外れた値が算出される虞がある。そこで、本実施形態では、色再現性や色のつながりの観点から、低感度画像のホワイトバランスも高感度画像データから算出したゲイン値を用いて調整することとしている。
【００２９】
尚、本実施形態では、低感度画像と高感度画像の全画素データを加算合成して合成画像を生成したが、従来技術（特開２０００―３０７９６３号）の様にマスクを用いて部分部分毎に低感度画像と高感度画像とを合成する場合にも、ホワイトバランスのズレの少ない合成画像を得ることができる。
【００３０】
図２のデジタル信号処理部２６で行う画像合成は対数加算方式といわれ、ガンマ変換した後の低感度画像と高感度画像とを画像合成する方式である。これに対し、ガンマ変換前の低感度画像と高感度画像とを画像合成し、その後にガンマ変換する真数加算方式といわれる画像合成方式もある。図３は、真数加算方式の画像合成を行うデジタルスチルカメラに本発明を適用した第２の実施形態に係るデジタル信号処理部２６の構成図である。
【００３１】
この第２の実施形態に係るデジタル信号処理部２６は、ホワイトバランスゲイン算出回路４０と、高感度画像のＲＧＢ色信号と低感度画像のＲＧＢ色信号とを画素単位に取り込み加算合成する画像合成回路４４と、画像合成回路４４の出力データ（合成画像データ）にニー補正処理を施すニー補正回路３９と、ニー補正後の合成画像データにホワイトバランス等のゲイン補正を施すゲイン補正回路４２と、ゲイン補正後の合成画像データにガンマ補正を施すガンマ補正回路４３と、ＲＧＢ補間回路４５と、ＲＧＢ／ＹＣ変換回路４６と、ノイズフィルタ４７と、輪郭補正回路４８と、色差マトリクス回路４９とからなる。
【００３２】
斯かる構成の第２の実施形態に係るデジタル信号処理部２６でも、ゲイン補正回路４２で使用するホワイトバランス用のゲイン値として、ホワイトバランスゲイン算出回路４０が高感度画像データの積算値から算出したゲイン値を使用し、低感度画像データはゲイン値算出には用いない。この第２の実施形態のデジタル信号処理部２６で真数加算方式で合成した合成画像でも、ホワイトバランスのズレが無く違和感の少ないダイナミックレンジの広い再生画像を生成することが可能である。
【００３３】
尚、上述した実施形態では、高速シャッタを切って撮像した画像を低感度画像といい、低速シッャタを切って撮像した画像を高感度画像といったが、本発明は感度の違う画像を合成する場合に制限されるものではなく、シャッタ速度は同じであっても絞りの開口量が異なる複数の画像を合成する場合にも適用できる。
【００３４】
例えば、コントラストの高い静物を露出をふって複数枚連続して撮像した場合、開口量の広い絞りで撮像した画像は固体撮像素子１１の各画素からの出力レベルが高いため上述した高出力画像となり、開口量の狭い絞りの基で撮像した画像は高出力画像よりも各画素からの出力レベルが低いため上述した低出力画像となる。
【００３５】
また、上述した実施形態では、高速シャッタと低速シッャタを連続して切って得た複数枚の画像を合成する例について述べたが、高感度画像を撮像する固体撮像素子と低感度画像を撮像する固体撮像素子を複数枚撮像装置に搭載し、両固体撮像素子から得られる画像を合成する場合にも本発明を適用することができる。
【００３６】
更に、１枚の固体撮像素子に、高感度画素と低感度画素の両方を搭載し、高感度画素から読み出した画像と低感度画素から読み出した画像とを合成する場合にも適用できる。これらの場合、同一シッャタ速度同一絞りで信号電荷蓄積量が大きくなる固体撮像素子や高感度画素からの高出力画像を基準としてホワイトバランスのゲイン値を算出することになる。
【００３７】
尚、上述した実施形態では、デジタルスチルカメラで撮像した高出力画像と低出力画像とをデジタルスチルカメラ内で合成する例について述べたが、撮像装置で撮像された高感度画像データと低感度画像データとをメモリに格納して撮像装置から取り出し、この高感度画像データと低感度画像データとをパソコン等に読み込み、上述した実施形態で述べたデジタル信号処理部２６の同様の画像処理を行う場合にも適用でき、ホワイトバランス調整のとれたダイナミックレンジの広い合成画像を生成することができる。
【００３８】
【発明の効果】
本発明によれば、複数の画像をホワイトバランスをとりながら合成しダイナミックレンジを広げることができるため、違和感の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】別実施形態に係るデジタル信号処理部の詳細構成図である。
【符号の説明】
１１ 固体撮像素子
１５ ＣＰＵ
２６ デジタル信号処理部
２８ 積算部
４０ ホワイトバランスゲイン算出回路
４１ａ，４１ｂ オフセット補正回路
４２，４２ａ，４２ｂ ゲイン補正回路
４３，４３ａ，４３ｂ ガンマ補正回路
４４ 画像合成回路
【発明の属する技術分野】
本発明は撮像装置および画像処理方法に係り、特に、ホワイトバランスをとりながらダイナミックレンジを広げた画像信号を得ることができる撮像装置および画像処理方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ等の撮像装置で、例えば室内風景を撮像した場合、室内に存在する被写体の映像は良く映っても、窓から見える青い空が白飛びしてしまい、全体的に不自然な画像になってしまうことがある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するために、従来から、２枚の画像を撮像し合成することで、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露光画像（低感度画像）を撮像し、これに連続して低速シャッタを切って２枚目の長時間露光画像（高感度画像）を撮像し、２枚の画像を合成することで、低感度画像中に映っている窓の外の風景が、室内風景の良く映っている高感度画像に重なるようにしている。
【０００４】
特開２０００―３０７９６３号公報に記載されている従来の撮像装置では、２枚の画像を合成するとき、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分毎に高感度画像と低感度画像を置き換え、画像合成を行う様にしている。
【０００５】
【発明が解決しようとする課題】
上述した従来技術では、２枚の撮像画像の画像信号をマスクを使って合成しているが、ホワイトバランスのズレに関しては考慮していない。このため、合成画像中の高感度画像と低感度画像とでホワイトバランスが異なってしまい、撮影シーンによって違和感のある合成画像になってしまうという問題がある。
【０００６】
本発明の目的は、ホワイトバランスをとりながらダイナミックレンジの広い画像を合成し出力することができる撮像装置および画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する撮像装置は、固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記高出力画像の画像データのホワイトバランス調整を行うと共に該ゲイン値を用いて前記低出力画像の画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする。この構成により、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【０００８】
上記目的を達成する撮像装置は、固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記合成画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする。この構成によっても、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【０００９】
上記目的を達成する画像処理方法は、固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記高出力画像の画像データのホワイトバランス調整を行うゲイン値と前記低出力画像の画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする。この構成により、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【００１０】
上記目的を達成する画像処理方法は、固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記合成画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする。この構成によっても、ホワイトバランスのズレが小さい合成画像が生成でき、違和感の少ないダイナミックレンジの広い画像を得ることが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１２】
図１は、本発明の一実施形態に係るデジタルスチルカメラの構成図である。この実施形態ではデジタルスチルカメラを例にしているが、デジタルビデオカメラ等の他の種類の撮像装置にも本発明を適用可能である。
【００１３】
図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１４】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。
【００１５】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００１６】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データを積算し積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１７】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００１８】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。本実施形態では、高速シャッタで撮像した低感度画像（各画素からの出力値が低いため、以下、低出力画像ともいう。）と、これに連続して低速シャッタで撮像した高感度画像（各画素からの出力値が低出力画像のデータより高くなるため、以下、高出力画像ともいう。）とを合成する場合のデジタル信号処理部２６の機能構成について説明する。
【００１９】
図示する例のデジタル信号処理部２６は、図１に示す積算部２８の出力データを取り込んでホワイトバランス調整用のゲイン値を算出するホワイトバランスゲイン算出回路４０と、Ａ／Ｄ変換回路２３から出力される高出力画像のＲＧＢ色信号を取り込んでオフセット処理を行う第１オフセット補正回路４１ａと、第１オフセット補正回路４１ａの出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行う第１ゲイン補正回路４２ａと、第１ゲイン補正回路４２ａから出力される高出力画像データに対して高出力画像用のγ値を用いてガンマ補正を行う第１ガンマ補正回路４３ａとを備える。
【００２０】
デジタル信号処理部２６は、更に、Ａ／Ｄ変換回路２３から出力される低出力画像のＲＧＢ色信号を取り込んでオフセット処理を行う第２オフセット補正回路４１ｂと、第２オフセット補正回路４１ｂの出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行う第２ゲイン補正回路４２ｂと、第２ゲイン補正回路４２ｂから出力される低出力画像データに対して低出力画像用のγ値を用いてガンマ補正を行う第２ガンマ補正回路４３ａと、第１ガンマ補正回路４３ａの出力データと第２ガンマ補正回路４３ｂの出力データとを画素単位に合成する画像合成回路４４とを備える。
【００２１】
デジタル信号処理部２６は更に、合成した画像データ（画像合成回路４４の出力データ）のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４５と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００２２】
ＲＧＢ補間演算部４４は、固体撮像素子１１が３板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ，Ｇ，Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ，Ｂの色信号がどの程度になるかを、周りの画素のＧ，Ｂ信号から補間演算により求めるものである。
【００２３】
次に、上述した構成のデジタルスチルカメラの動作を説明する。ユーザが操作部２１を操作してダイナミックレンジの広い合成画像の撮像を指示入力した場合、ＣＰＵ１５は、先ず高速シャッタを切って被写体の低感度画像を撮像し、次に低速シャッタを切って同一被写体の高感度画像を撮像し、２枚の画像データをデジタル信号処理部２６が取り込んで合成することになる。
【００２４】
高感度画像のＲＧＢ信号（デジタル信号）は画素単位にデジタル信号処理部２６に取り込まれ、先ず第１オフセット補正回路４１ａでオフセット処理された後、第１ゲイン補正回路４２ａにてホワイトバランス調整が行われる。このホワイトバランス調整で使用するゲイン値は、ホワイトバランスゲイン算出回路４０で算出されたゲイン値を用いるが、ホワイトバランスゲイン算出回路４０は、このゲイン値を、積算部２８で積算された高感度画像の積算値から算出する。ゲイン補正された高感度画像データは、第１ガンマ補正回路４３ａにより、高感度画像用のγ値を用いてガンマ補正され、画像合成回路４４に出力される。
【００２５】
一方、低感度画像のＲＧＢ信号（デジタル信号）も画素単位にデジタル信号処理部２６に取り込まれ、先ず第２オフセット補正回路４１ｂでオフセット処理された後、第２ゲイン補正回路４２ｂにてホワイトバランス調整が行われる。このホワイトバランス調整で使用するゲイン値も、ホワイトバランスゲイン算出回路４０で算出されたゲイン値を用いるが、本実施形態では、低感度画像のホワイトバランス調整用ゲイン値も、積算部２８で積算された高感度画像の積算値から算出する。ゲイン補正された低感度画像データは、第２ガンマ補正回路４３ｂにより、低感度画像用のγ値を用いてガンマ補正され、画像合成回路４４に出力される。
【００２６】
画像合成回路４４では、画素単位に高感度画像データと低感度画像データとを加算合成し、ＲＧＢ補間演算部４５、ＲＧＢ／ＹＣ変換回路４６、ノイズフィルタ４７、輪郭補正回路４８、色差マトリクス回路４９と通すことで、広いダイナミックレンジを持ち、且つホワイトバランスが調整された違和感の無いの画像データが輝度信号Ｙと色差信号Ｃｒ，Ｃｂとして出力され、記録媒体２９に格納される。
【００２７】
この様に、本実施形態では、高感度画像（高出力画像）と低感度画像（低出力画像）とを合成する場合に、低感度画像のホワイトバランス調整を、高感度画像の画像データから求めたゲイン値にて行うため、低感度画像と高感度画像の合成画像でホワイトバランスのズレが無くなり、違和感の無い合成画像を得ることが可能となる。
【００２８】
同一被写体を時間を置かずに撮像した高感度画像と低感度画像は、共に同一光源下で撮像した画像であるため、ホワイトバランス調整を行うゲイン値は本来同一値である。しかし、低感度画像の画像データは、ホワイトバランスのゲイン値算出の追従が不可能な領域となる見込みが強く、高感度画像の画像データから求めたゲイン値から大きく外れた値が算出される虞がある。そこで、本実施形態では、色再現性や色のつながりの観点から、低感度画像のホワイトバランスも高感度画像データから算出したゲイン値を用いて調整することとしている。
【００２９】
尚、本実施形態では、低感度画像と高感度画像の全画素データを加算合成して合成画像を生成したが、従来技術（特開２０００―３０７９６３号）の様にマスクを用いて部分部分毎に低感度画像と高感度画像とを合成する場合にも、ホワイトバランスのズレの少ない合成画像を得ることができる。
【００３０】
図２のデジタル信号処理部２６で行う画像合成は対数加算方式といわれ、ガンマ変換した後の低感度画像と高感度画像とを画像合成する方式である。これに対し、ガンマ変換前の低感度画像と高感度画像とを画像合成し、その後にガンマ変換する真数加算方式といわれる画像合成方式もある。図３は、真数加算方式の画像合成を行うデジタルスチルカメラに本発明を適用した第２の実施形態に係るデジタル信号処理部２６の構成図である。
【００３１】
この第２の実施形態に係るデジタル信号処理部２６は、ホワイトバランスゲイン算出回路４０と、高感度画像のＲＧＢ色信号と低感度画像のＲＧＢ色信号とを画素単位に取り込み加算合成する画像合成回路４４と、画像合成回路４４の出力データ（合成画像データ）にニー補正処理を施すニー補正回路３９と、ニー補正後の合成画像データにホワイトバランス等のゲイン補正を施すゲイン補正回路４２と、ゲイン補正後の合成画像データにガンマ補正を施すガンマ補正回路４３と、ＲＧＢ補間回路４５と、ＲＧＢ／ＹＣ変換回路４６と、ノイズフィルタ４７と、輪郭補正回路４８と、色差マトリクス回路４９とからなる。
【００３２】
斯かる構成の第２の実施形態に係るデジタル信号処理部２６でも、ゲイン補正回路４２で使用するホワイトバランス用のゲイン値として、ホワイトバランスゲイン算出回路４０が高感度画像データの積算値から算出したゲイン値を使用し、低感度画像データはゲイン値算出には用いない。この第２の実施形態のデジタル信号処理部２６で真数加算方式で合成した合成画像でも、ホワイトバランスのズレが無く違和感の少ないダイナミックレンジの広い再生画像を生成することが可能である。
【００３３】
尚、上述した実施形態では、高速シャッタを切って撮像した画像を低感度画像といい、低速シッャタを切って撮像した画像を高感度画像といったが、本発明は感度の違う画像を合成する場合に制限されるものではなく、シャッタ速度は同じであっても絞りの開口量が異なる複数の画像を合成する場合にも適用できる。
【００３４】
例えば、コントラストの高い静物を露出をふって複数枚連続して撮像した場合、開口量の広い絞りで撮像した画像は固体撮像素子１１の各画素からの出力レベルが高いため上述した高出力画像となり、開口量の狭い絞りの基で撮像した画像は高出力画像よりも各画素からの出力レベルが低いため上述した低出力画像となる。
【００３５】
また、上述した実施形態では、高速シャッタと低速シッャタを連続して切って得た複数枚の画像を合成する例について述べたが、高感度画像を撮像する固体撮像素子と低感度画像を撮像する固体撮像素子を複数枚撮像装置に搭載し、両固体撮像素子から得られる画像を合成する場合にも本発明を適用することができる。
【００３６】
更に、１枚の固体撮像素子に、高感度画素と低感度画素の両方を搭載し、高感度画素から読み出した画像と低感度画素から読み出した画像とを合成する場合にも適用できる。これらの場合、同一シッャタ速度同一絞りで信号電荷蓄積量が大きくなる固体撮像素子や高感度画素からの高出力画像を基準としてホワイトバランスのゲイン値を算出することになる。
【００３７】
尚、上述した実施形態では、デジタルスチルカメラで撮像した高出力画像と低出力画像とをデジタルスチルカメラ内で合成する例について述べたが、撮像装置で撮像された高感度画像データと低感度画像データとをメモリに格納して撮像装置から取り出し、この高感度画像データと低感度画像データとをパソコン等に読み込み、上述した実施形態で述べたデジタル信号処理部２６の同様の画像処理を行う場合にも適用でき、ホワイトバランス調整のとれたダイナミックレンジの広い合成画像を生成することができる。
【００３８】
【発明の効果】
本発明によれば、複数の画像をホワイトバランスをとりながら合成しダイナミックレンジを広げることができるため、違和感の少ない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】別実施形態に係るデジタル信号処理部の詳細構成図である。
【符号の説明】
１１ 固体撮像素子
１５ ＣＰＵ
２６ デジタル信号処理部
２８ 積算部
４０ ホワイトバランスゲイン算出回路
４１ａ，４１ｂ オフセット補正回路
４２，４２ａ，４２ｂ ゲイン補正回路
４３，４３ａ，４３ｂ ガンマ補正回路
４４ 画像合成回路
Claims (4)
- 固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記高出力画像の画像データのホワイトバランス調整を行うと共に該ゲイン値を用いて前記低出力画像の画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする撮像装置。
- 固体撮像素子と、該固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成し出力する撮像装置において、前記高出力画像の画像データからホワイトバランス調整を行うゲイン値を算出する算出手段と、該算出手段で算出されたゲイン値を用いて前記合成画像データのホワイトバランス調整を行うゲイン補正手段を備えることを特徴とする撮像装置。
- 固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記高出力画像の画像データのホワイトバランス調整を行うゲイン値と前記低出力画像の画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする画像処理方法。
- 固体撮像素子で撮像した高出力画像の画像データと低出力画像の画像データとを合成して合成画像データを生成する画像処理方法において、前記合成画像データのホワイトバランス調整を行うゲイン値を前記高出力画像の画像データから算出することを特徴とする画像処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002205607A JP2004048563A (ja) | 2002-07-15 | 2002-07-15 | 撮像装置および画像処理方法 |
| US10/601,654 US7508421B2 (en) | 2002-06-24 | 2003-06-24 | Image pickup apparatus and image processing method |
| US11/606,080 US20070070223A1 (en) | 2002-06-24 | 2006-11-30 | Image pickup apparatus and image processing method |
| US11/606,078 US20070076103A1 (en) | 2002-06-24 | 2006-11-30 | Image pickup apparatus and image processing method |
| US11/606,087 US7750950B2 (en) | 2002-06-24 | 2006-11-30 | Image pickup apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002205607A JP2004048563A (ja) | 2002-07-15 | 2002-07-15 | 撮像装置および画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004048563A true JP2004048563A (ja) | 2004-02-12 |
Family
ID=31710867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002205607A Pending JP2004048563A (ja) | 2002-06-24 | 2002-07-15 | 撮像装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004048563A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012049600A (ja) * | 2010-08-24 | 2012-03-08 | Seiko Epson Corp | 画像処理装置、画像処理方法及び撮像装置 |
| JP2012085043A (ja) * | 2010-10-08 | 2012-04-26 | Olympus Imaging Corp | 画像処理装置、画像処理方法、および撮像装置 |
| US8493468B2 (en) | 2008-09-03 | 2013-07-23 | Ricoh Company, Ltd. | Imaging device and imaging method |
| US9099367B2 (en) | 2011-07-08 | 2015-08-04 | Samsung Electronics Co., Ltd. | Image sensor and image processing device including the same |
-
2002
- 2002-07-15 JP JP2002205607A patent/JP2004048563A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8493468B2 (en) | 2008-09-03 | 2013-07-23 | Ricoh Company, Ltd. | Imaging device and imaging method |
| JP2012049600A (ja) * | 2010-08-24 | 2012-03-08 | Seiko Epson Corp | 画像処理装置、画像処理方法及び撮像装置 |
| JP2012085043A (ja) * | 2010-10-08 | 2012-04-26 | Olympus Imaging Corp | 画像処理装置、画像処理方法、および撮像装置 |
| US9099367B2 (en) | 2011-07-08 | 2015-08-04 | Samsung Electronics Co., Ltd. | Image sensor and image processing device including the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4004943B2 (ja) | 画像合成方法および撮像装置 | |
| JP5971207B2 (ja) | 画像調整装置、画像調整方法およびプログラム | |
| JP4025207B2 (ja) | 固体撮像素子及びデジタルカメラ | |
| CN102065223A (zh) | 摄像装置及摄像方法 | |
| US20060139468A1 (en) | Digital camera | |
| JP2004007298A (ja) | 撮像装置及び撮像方法 | |
| JP2004328117A (ja) | ディジタルカメラおよび撮像制御方法 | |
| JP4121493B2 (ja) | デジタルカメラとその信号処理方法及び信号処理装置 | |
| JP2002300477A (ja) | 信号処理装置及び信号処理方法並びに撮像装置 | |
| JP7247609B2 (ja) | 撮像装置、撮像方法およびプログラム | |
| JP2004080376A (ja) | 動画撮像装置及び動画再生装置 | |
| JP3553999B2 (ja) | 撮像装置とその画像処理方法 | |
| JP4235408B2 (ja) | ノイズ低減回路及び撮像装置 | |
| JP4150599B2 (ja) | 露出補正機能付きデジタルカメラ | |
| JP2004048563A (ja) | 撮像装置および画像処理方法 | |
| JP4178046B2 (ja) | デジタルカメラ | |
| JP4015492B2 (ja) | 画像合成方法および撮像装置 | |
| JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
| JP2000023016A (ja) | デジタルカメラ | |
| JP2000013661A (ja) | デジタルカメラ | |
| JP2003333422A (ja) | シェーディング補正方法およびディジタルカメラ | |
| JP2002223350A (ja) | 画像処理装置 | |
| JP5482428B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
| JP5482427B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
| JP4043379B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070816 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070830 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070921 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071112 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071119 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071127 |