JP4842639B2 - camera - Google Patents
cameraInfo
- Publication number
- JP4842639B2 JP4842639B2 JP2005376803A JP2005376803A JP4842639B2 JP 4842639 B2 JP4842639 B2 JP 4842639B2 JP 2005376803 A JP2005376803 A JP 2005376803A JP 2005376803 A JP2005376803 A JP 2005376803A JP 4842639 B2 JP4842639 B2 JP 4842639B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- gamma correction
- face
- face detection
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、人物の顔検出機能を備えた静止画撮影用のカメラおよび動画撮影用のカメラに関する。 The present invention relates to a still image shooting camera and a moving image shooting camera having a human face detection function.
従来、カメラは、人物が写しこまれるスナップ撮影では、人物の位置をフレーミングの経験則やオートフォーカスの情報から推察して、人物の輝度レベルが適正になるように画像全体の輝度レベルを補正している。また、肌色の領域を検出して、該領域の色を予め決まった肌色に近づけるようにしたり(例えば、特許文献1)、顔検出機能を利用して検出した顔の領域をターゲットとして、濃度や色バランスに着目して、露光制御やホワイトバランス制御に利用したり(例えば、特許文献2から5参照)、検出した顔の一部に陰があった場合に、ストロボを発光したりしている(例えば、特許文献6参照)。
しかしながら、屋外での撮影においては、コントラストが強くなる傾向があるため、顔の一部が陰になっていたり、人によって陽の当たり方が違っていたりすると、顔の一部が黒く潰れたり、逆に白く飛んでしまうことがあるという問題がある。 However, when shooting outdoors, the contrast tends to be strong, so if part of the face is shaded or if the sunlight is different depending on the person, part of the face may be crushed black, On the contrary, there is a problem that it may fly white.
本発明は、このような事情に鑑みてなされたもので、その目的は、適正な撮影画像が得られるカメラを提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a camera capable of obtaining an appropriate captured image.
この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力された画像に対してガンマ補正を行うガンマ補正手段を具備するカメラであって、入力された画像から、顔を検出し、該顔を含む顔領域における輝度変化評価値を算出する顔検出手段と、前記顔検出手段が算出した輝度変化評価値が大きいほど、軟調になるように階調特性を決定するガンマ補正制御手段とを備え、前記ガンマ補正手段は、前記ガンマ補正制御手段が決定した階調特性を用いて、入力された画像に対してガンマ補正を行い、前記顔検出手段は、複数の顔を検出した場合は、該検出した顔ごとに前記輝度差を求め、該求めた顔ごとの輝度差の中から、最大のものを前記輝度変化評価値として選択することを特徴とするカメラである。 The present invention has been made to solve the above-described problems, and one aspect of the present invention is a camera including a gamma correction unit that performs gamma correction on an input image. A face detection unit that detects a face and calculates a luminance change evaluation value in a face region including the face, and determines gradation characteristics so that the larger the luminance change evaluation value calculated by the face detection unit is, the softer the tone is and a gamma correction control means for said gamma correction means uses the gradation property of the gamma correction control means decides, have rows gamma correction on the input image, the face detection means, a plurality When the face is detected, the brightness difference is obtained for each detected face, and the largest one is selected as the brightness change evaluation value from the obtained brightness differences for each face. It is.
この発明によれば、輝度変化評価値に応じて、ガンマ補正の階調特性を変更するので、顔の一部が陰になっていたり、陽のあたり方が違っていても、黒く潰れたり、白く飛んだりすることを防ぎ、適正な撮影画像が得られるという効果がある。 According to the present invention, the gradation characteristics of the gamma correction are changed according to the luminance change evaluation value, so that even if a part of the face is shaded or the sun is different, There is an effect that it is possible to prevent flying white and obtain an appropriate photographed image.
また、本発明によれば、連写モードが指定されたときは、1コマ前の画像と今回の画像との変化量が所定の値より小さい場合は、ガンマ補正に用いる階調特性を1コマ前の画像と同一にするため、連写の途中で顔を検出できなくなったとしても、連写のコマ間で安定したコントラストとなり、適正な撮影画像が得られるという効果がある。 Further, according to the present invention, when the continuous shooting mode is designated, the gradation characteristic used for gamma correction is set to one frame if the amount of change between the image one frame before and the current image is smaller than a predetermined value. Since it is the same as the previous image, even if the face cannot be detected in the middle of continuous shooting, there is an effect that a stable contrast is obtained between the continuous shooting frames, and an appropriate captured image can be obtained.
以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の実施形態に係るカメラの全体構成を示すブロック図である。本実施形態では、本発明に係るカメラの一例としてデジタルカメラを挙げて説明する。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a camera according to an embodiment of the present invention. In the present embodiment, a digital camera will be described as an example of the camera according to the present invention.
本実施形態のデジタルカメラは、ズームレンズ1、アイリス(絞り)2、フォーカスレンズ3、撮像素子(CCD)4、ズームモータ5、アイリスモータ6、フォーカスモータ7、タイミング発生器8及びCDSAMP回路9を有している。ここで、ズームレンズ1、アイリス2、フォーカスレンズ3及び撮像素子4は、被写体を撮像する撮像手段をなしている。
The digital camera of this embodiment includes a
アイリスモータ6は、アイリス2の開度を変更する絞り可変部をなしている。タイミング発生器8は、シャッタースピードを変更するシャッタースピード可変部をなしている。CDSAMP(Corelated Double Sampling Amplifier)回路9は、撮像手段の出力をなす撮像素子4の出力について、増幅度を可変するゲイン可変部をなしている。そして、アイリスモータ6と、タイミング発生器8と、CDSAMP回路9とは、撮像手段における露光状態を変更する露光変更手段を構成している。
The
ズームレンズ1の位置は、ズームモータ5により移動可能とされている。アイリス2の開度は、アイリスモータ6により制御可能とされている。フォーカスレンズ3の位置は、フォーカスモータ7により制御可能とされている。ズームレンズ1、アイリス2及びフォーカスレンズ3を介された被写体像光は、撮像素子4の受光面に結像される。
The position of the
撮像素子4は、その受光面に結像された被写体像光を光電変換する。撮像素子4としては、CCD(Charge Coupled Device)撮像素子、CMOS(Complementary MOS)撮像素子などが用いられる。撮像素子4の前面には、色フィルタが配列されている。色フィルタの配列の構成としては、R(赤)、G(緑)、B(青)の原色系フィルタを用いる場合と、Cy(シアン)、Mg(マゼンタ)、Ye(黄色)の補色系フィルタを用いる場合とがある。撮像素子4は、タイミング発生器8からのタイミング信号により駆動される。
The
また、本実施形態のデジタルカメラは、A/Dコンバータ10、画像入力コントローラ11、画像信号処理回路12、画像圧縮/伸長回路13、ビデオエンコーダ14、画像表示装置15、モータドライバ16,17,18、CPU19、AF検出回路20、AE及びAWB検出回路21、メモリ22、VRAM23、メディアコントローラ24、記録メディア25及び顔検出回路26を有している。また、本実施形態のデジタルカメラは、シャッタースイッチSW1、記録/再生スイッチSW2、ズームスイッチSW3、ストロボスイッチSW4及び撮影モード選択スイッチSW5を有している。
The digital camera of this embodiment includes an A /
A/Dコンバータ10は、撮像素子4が出力し、CDSAMP回路9を介して入力された画像信号を、デジタル化する。画像入力コントローラ11は、A/Dコンバータ10の出力した画像信号をCPU19に供給する。
画像信号処理回路12は、ガンマ補正制御部27を備え、また、入力された画像信号に対して、ガンマ補正、エッジ強調、ホワイトバランス等の画像処理を行なう。これらの画像処理を行うためのパラメータは、CPU19により設定される。ガンマ補正に関しては、CPU19から受けた輝度変化評価値に基づきガンマ補正制御部27により設定されるパラメータとして、階調特性の選択がある。画像信号処理回路12は、ガンマ補正の階調特性として、図2に示すように、標準の階調特性L1と、やや軟調な階調特性L2、軟調な階調特性L3、強い軟調な階調特性L4の4種類を備えており、ガンマ補正制御部27により、画像信号の入力前に設定された階調特性を用いて、ガンマ補正の処理は行われる。
画像圧縮/伸長回路13は、入力された画像信号を圧縮符号化する。画像データの圧縮方式としては、例えば、JPEG(Joint Photographic Experts Group)が用いられる。JPEGはDCT(Discrete Cosine Transform)を用いて画像圧縮するための規格である。なお、画像データの圧縮方式は、JPEGに限定されるものではない。
VRAM(Video RAM)23は、画像表示装置15に表示する画像のデータを格納するためのメモリである。
ビデオエンコーダ14は、VRAM23に格納されている画像データを読み出し、該画像データに基づき、コンポーネントカラービデオ信号を形成して、画像表示装置15に出力する。画像表示装置15は、入力されたコンポーネントカラービデオ信号に基づき、カラー画像を表示するLCD(Liquid Crystal Display)等のディスプレイである。
The A /
The image
The image compression /
A VRAM (Video RAM) 23 is a memory for storing image data to be displayed on the
The
AF(Automatic Focus)検出回路20は、撮像素子4の出力に基づいてAFを行うためのものである。AF検出回路20は、フォーカス制御を行うために、画像信号の高周波成分レベルを検出する。つまり、合焦点では、画像信号の高周波成分レベルが大きくなる。したがって、画像信号の高周波成分レベルを検出すれば、合焦状態が判断できる。AF検出回路20により、画像信号の高周波成分レベルが検出され、この画像信号の高周波成分レベルが所定のフォーカスエリアの間積分されて、AF評価値が求められる。求められたAF評価値がCPU19に供給される。
The AF (Automatic Focus)
顔検出回路26は、撮像素子4の出力した画像信号に含まれている顔検出領域(図3の領域A1、領域A2)を検出し、次の手順で、輝度評価値を算出する。まず、顔検出回路26は、画像信号の中から肌色の領域を抽出する。次に、先に抽出した領域に対して輝度変化に基づき輪郭線抽出を行い、相対的に両目と口の位置となる配置に、両目と口が存在するかを確認する。両目と口が存在する場合は、該領域を囲む矩形の領域を顔検出領域として検出する。さらに、顔検出回路26は、顔検出領域の各辺の中線により4等分に分割し(ここでは、領域A1を領域A1a〜A1d、領域A2を領域A2a〜A2dに分割)、分割した各領域の中から肌色の画素を抽出し、その輝度の平均値を分割した領域毎に算出する(ここでは、領域A1aの平均値をH1a、領域A1bの平均値をH1b、領域A1cの平均値をH1c、・・・領域A2dの平均値をH2dとする)。顔検出回路26は、これらの輝度の平均値のうち最大の値と最小の値を抽出し、その差を輝度変化評価値として、CPU19へ出力する。
The
AE及びAWB検出回路21は、露光及びホワイトバランスを行うために、撮像素子4の出力した画像信号に基づいて、以下の手順で露光制御信号及びホワイトバランス制御信号を形成し、これらの信号をCPU19へ出力する。
露光制御信号とは画像の明るさを示す輝度評価値のことを言う。AE及びAWB検出回路21は、入力された画像信号に対して、画像全体の輝度の平均値を算出し、これを輝度評価値とする。このとき、顔検出回路26が検出した顔検出領域に重みを付けて輝度の平均値を算出してもよい。
In order to perform exposure and white balance, the AE and
The exposure control signal is a luminance evaluation value indicating the brightness of the image. The AE and
また、ホワイトバランス制御信号とは、BゲインとRゲインのことを言う。ここで、Bゲインは、ホワイトバランス制御における、各画素の青色成分に掛ける倍率であり、Rゲインは、各画素の赤色成分に掛ける倍率である。なお、ホワイトバランス制御では、各画素の3原色のうち、緑色成分は変更せず(1倍)、青色成分と赤色成分に対して、それぞれBゲインとRゲインを掛けることで、3原色のバランスを制御する。AE及びAWB検出回路21は、画像全体の赤、青、緑色成分それぞれの平均値を算出し、緑色成分の平均値を青色成分の平均値で割った値をBゲイン、緑色成分の平均値を赤色成分の平均値で割った値をRゲインとする。
The white balance control signal refers to B gain and R gain. Here, the B gain is a magnification to be applied to the blue component of each pixel in white balance control, and the R gain is a magnification to be applied to the red component of each pixel. In the white balance control, among the three primary colors of each pixel, the green component is not changed (1 time), and the blue component and the red component are respectively multiplied by the B gain and the R gain to balance the three primary colors. To control. The AE and
CPU19は、本デジタルカメラ全体を制御する演算手段である。また、CPU19には、シャッタースイッチSW1、記録/再生スイッチSW2、ズームスイッチSW3、ストロボスイッチSW4、撮影モード選択スイッチSW5などから入力信号が与えられる。また、CPU19からは、ズームレンズ1を移動させるためのズーム駆動信号、フォーカスレンズ3を移動させるためのフォーカス駆動信号、アイリス2を開閉させるためのアイリス駆動信号、CDSAMP回路9のゲインを制御するためのゲイン制御信号が出力される。
メモリ22は、CPU19を動作させるためのプログラムを格納した不揮発性のメモリであるROM(Read Only Memory)および、CPU19が動作する際のワークメモリとして用いられる揮発性のメモリであるRAM(Random Access Memory)である。
The
The
シャッタースイッチSW1は、記録モード時に押されると画像を撮影するスイッチである。
記録/再生スイッチSW2は、画像を撮影する記録モード、又は、撮影した画像を画像表示装置15に表示する再生モードに、本デジタルカメラを設定するスイッチである。
ズームスイッチSW3は、記録モード時にズームレンズ1を移動させるスイッチである。
ストロボスイッチSW4は、ストロボ(図示せず)の自動発光/発光禁止を設定するスイッチである。
撮影モード選択スイッチSW5は、セルフタイマモード、連写モード、単写モード、ブラケットモードなどのなかから、撮影状況などに応じて一つの撮影モードを選択するためのスイッチである。
The shutter switch SW1 is a switch that captures an image when pressed in the recording mode.
The recording / playback switch SW2 is a switch for setting the digital camera to a recording mode for capturing an image or a playback mode for displaying the captured image on the
The zoom switch SW3 is a switch for moving the
The strobe switch SW4 is a switch for setting automatic light emission / flash prohibition of a strobe (not shown).
The shooting mode selection switch SW5 is a switch for selecting one shooting mode according to the shooting situation from the self-timer mode, continuous shooting mode, single shooting mode, bracket mode, and the like.
メディアコントローラ24は、記録メディア25にデータを読み書きする機能である。
記録メディア25は、圧縮符号化された画像信号が画像ファイルとして記録されるメディアであり、例えばフラッシュメモリを使ったカード型の着脱自在のメモリが用いられる。なお、記録メディア25としては、デジタルカメラ内蔵の不揮発メモリ、磁気テープ、磁気ディスク、光ディスクなどを適用してもよい。
The
The
次に、本デジタルカメラの電源ON時からの動作を説明する。電源スイッチ(図示せず)の操作にて本デジタルカメラの主電源がON/OFFされる。電源ONされると、本デジタルカメラは、メモリ、ズーミング、DSP、各種ドライバ(16、17、18)などの初期化を行う。 Next, the operation of the digital camera after the power is turned on will be described. The main power of the digital camera is turned on / off by operating a power switch (not shown). When the power is turned on, the digital camera initializes memory, zooming, DSP, various drivers (16, 17, 18), and the like.
記録/再生スイッチSW2が記録モードに設定されているときは、画像撮影時以外でも、撮像素子4は、定期的に画像を取込み、CDSAMP回路9、A/D変換10および画像入力コントローラ11を介して、画像信号がCPU19に入力される。CPU19は、このデジタル画像信号を顔検出回路26に出力するとともに、画像信号処理回路12に出力する。
When the recording / reproducing switch SW2 is set to the recording mode, the
まず、CPU19から画像信号を受けた顔検出回路26は、例えば、図3に示すような画像の画像信号を受けた場合は、顔検出領域である領域A1および領域A2を検出し、それらを4分割した領域A1a〜A1dおよび領域A2a〜A2dそれぞれの肌色領域の輝度平均値H1a〜H1dおよびH2a〜H2dを算出する。次に、輝度平均値H1a〜H1dおよびH2a〜H2dの中から各々の最大値と最小値を抽出し、各々その差を求め、差が最も大きいものを輝度変化評価値xとしてCPU19に出力する。CPU19は、輝度変化評価値xを受けると、これを画像信号処理回路12のガンマ補正制御部27に出力し、ガンマ補正制御部27は、図4に示すフローで動作する。まず、ガンマ補正制御部27は、CPU19から輝度変化評価値xを取得する(S1)。輝度変化評価値xが、所定の閾値lより小さい場合は(S2)、ガンマ補正制御部27は、画像信号処理回路12にガンマ補正時の階調特性として標準の階調特性L1を用いるように設定する(S3)。輝度変化評価値xが、所定の閾値l以上かつ所定の閾値m未満である場合は(S4)、画像信号処理回路12にやや軟調な階調特性L2を設定する(S5)。輝度変化評価値xが、所定の閾値m以上かつ所定の閾値n未満である場合は(S6)、画像信号処理回路12に軟調な階調特性L3を設定する(S7)。それ以外の場合、つまり、輝度変化評価値xが、所定の閾値n以上である場合は、画像信号処理回路12に強い軟調な階調特性L4を設定する(S8)。
First, when receiving the image signal of the image as shown in FIG. 3, for example, the
一方、画像信号処理回路12は、CPU19から画像信号を入力されると、この画像信号に対して、ガンマ補正制御部27により設定された階調特性でのガンマ補正、エッジ強調、ホワイトバランス制御等の画像処理を行ない、その結果の画像信号を出力する。この画像信号は、CPU19を介して、画像データとしてVRAM23に格納される。ビデオエンコーダ14は、VRAM23に格納されている画像データを参照して、コンポーネントカラービデオ信号を形成し、このコンポーネントカラービデオ信号を画像表示装置15に出力する。画像表示装置15は、このコンポーネントカラービデオ信号を表示するので、画像表示装置15には、撮影中のモニタ画像が表示される。
On the other hand, when an image signal is input from the
このように、顔検出回路26が算出した顔の肌色部分の輝度変化が大きいほど、ガンマ補正制御部27は、より軟調になるように階調特性を決める。この階調特性を用いてガンマ補正を行うように、ガンマ補正制御部27が画像信号処理回路12に定期的に設定することで、顔の陰になった部分が黒く潰れたり、逆に陽の当たっている部分が白く飛んだりすることを防ぐように、画像信号処理回路12は常に制御されている。
In this manner, the gamma
また、CPU19は、デジタル画像信号を、AE&AWB検出回路21に入力して、その結果、露光制御信号とホワイトバランス制御信号を取得する。次に、CPU19は、露光制御信号に基づき、アイリス駆動信号とゲイン設定信号を出力する。そして、アイリス駆動信号はモータドライバ17を介してアイリスモータ6に供給され、所定の信号レベルとなるように、アイリス2の開度が制御される。また、ゲイン設定信号はCDSAMP回路9に供給され、所定の信号レベルとなるように、CDSAMP回路9のゲインが制御される。CPU19は、ホワイトバランス制御信号に基づき、画像信号処理回路12にBゲインおよびRゲインを設定する。このように、いつでも撮影可能なように、露光およびホワイトバランスは、常に最適な状態に制御されている。
Further, the
また、このときズームスイッチSW3が操作されると、これに応じて、CPU19がズーム駆動信号を出力する。このズーム駆動信号は、モータドライバ16を介してズームモータ5に供給され、ズームモータ5によりズームレンズ1が移動される。
At this time, when the zoom switch SW3 is operated, the
画像撮影時の動作を説明する。先ず、撮影モード選択スイッチSW5が単写に選択されている場合を説明する。シャッタースイッチSW1が押されると、CPU19がこれを検知して、タイミング発生器8にシャッター信号が送られ、そのときの画像が、撮像素子4に取り込まれる。撮像素子4は、取込んだ画像をアナログ画像信号にて出力する。このアナログ画像信号は、CDSAMP回路9によってゲイン制御され、A/D変換10でデジタル画像信号に変換される。このデジタル画像信号は、画像入力コントローラ11を介してCPU19に取り込まれる。その後、取り込まれたデジタル画像信号は、画像信号処理回路12でガンマ補正、エッジ強調、ホワイトバランス、YC変換等の画像処理が施され、画像圧縮/伸長回路13でデータ圧縮され、画像ファイルとして、記録メディア25に記録される。
The operation during image shooting will be described. First, the case where the shooting mode selection switch SW5 is selected for single shooting will be described. When the shutter switch SW1 is pressed, the
次に、撮影モード選択スイッチSW5が連写に選択され、連写モードで撮影する場合の動作を説明する。連写モードとは、シャッタースイッチSW1が押されると、規定のコマ数を連続して撮影するモードであり、各コマの撮影に関する動作は、単写モードにおいて、CPU19がタイミング発生器8にシャッター信号を送ってから後の動作と同様である。ここでは、各コマにおける撮影の説明は省略し、コマ間での動作を説明する。連写モードでは、図5に示すように、基本的には各コマを撮影した後にも、ガンマ補正設定処理として、前述の画像撮影時以外のときと同様に撮像素子4が取込んだ画像に基づき、顔検出回路26が輝度変化評価値を出力し、これらの輝度変化評価値に基づき画像信号処理回路12のガンマ補正制御部27が、画像信号処理回路12にガンマ補正時に用いる階調特性を設定する。しかし、2コマ目以降については、図6に示すフローに従って、コマ毎に階調特性の設定を行う。
Next, an operation when the shooting mode selection switch SW5 is selected for continuous shooting and shooting is performed in the continuous shooting mode will be described. The continuous shooting mode is a mode in which when the shutter switch SW1 is pressed, a predetermined number of frames is continuously shot. The operation relating to shooting of each frame is performed by the
例えば、連写を通して画像変化が少なく、k−1コマ目までは顔が写っており、kコマ目から顔が写らなくなる場合の連写モードでの撮影を考える。この場合、1コマ目では、顔検出回路26が顔検出に成功して算出した輝度変化評価値を出力し、これに基づき、ガンマ補正制御部27が、画像信号処理回路12にガンマ補正時に用いる階調特性を設定する。このあと、2コマ目以降k−1コマ目までは、ガンマ補正制御部27は、まず、撮像素子4が取込んだ画像を顔検出回路26に入力し、顔検出回路26は、入力された画像に対して顔検出を行ない算出した輝度変化評価値をCPU19に出力し、CPU19は、受けた輝度変化評価値を画像信号処理回路12のガンマ補正制御部27に出力する(S11)。次に、ステップS12では、ガンマ補正制御部27は、顔検出に成功しているかを判定する。ここで、2コマ目では、顔検出に成功しているので、ステップS13に遷移する。ガンマ補正制御部27は、顔検出回路26が出力した輝度変化評価値に基づき、画像信号処理回路12にガンマ補正時に用いる階調特性を設定する(S13)。k−1コマ目までの顔が写っている各コマでは同様にして、階調特性の設定を行う。
For example, let us consider shooting in the continuous shooting mode in which there is little image change through continuous shooting, a face is captured up to the k-1 frame, and no face is captured from the k frame. In this case, in the first frame, the luminance change evaluation value calculated by the
次に、kコマ目では、前述のように画像に顔が写っていないので、撮像素子4が取込んだ画像をガンマ補正制御部27が顔検出回路26に入力するが、顔検出回路26は、入力された画像に対する顔検出に失敗し、その旨をCPU19に出力し、これをCPU19は、画像信号処理回路12のガンマ補正制御部27に通知する(S11)。次に、ステップS12では、顔検出に成功しているかを、ガンマ補正制御部27が判定する。ここでは、前述のように顔検出に失敗しているので、ステップS14に遷移する。ステップS14では、ガンマ補正制御部27が、コマ間での画像変化が小さいかを判定する。判定は、以下の式(3)が成り立つかで行う。なお、判定には式(3)のように輝度平均値等を用いる他に、BゲインとRゲインなどのホワイトバランスゲイン値を用いてもよい。
abs(ave[n]−ave[n−1])<α、かつ、abs(1−((R[n]×G[n−1])/(G[n]×R[n−1]))<β、かつ、abs(1−((R[n]×G[n−1])/(G[n]×R[n−1]))<γ・・・(3)
ここで、α、β、γは小さな正数の定数であり、abs(x)は、xの絶対値をとる関数、ave[n]は、nコマ目の画像の輝度平均値、R[n]、G[n]、B[n]は、それぞれnコマ目の画像の赤色、緑色、青色成分の平均値である。
Next, since the face is not shown in the image at the k-th frame as described above, the gamma
abs (ave [n] −ave [n−1]) <α and abs (1 − ((R [n] × G [n−1]) / (G [n] × R [n−1]) )) <Β and abs (1-((R [n] × G [n−1]) / (G [n] × R [n−1])) <γ (3)
Here, α, β, and γ are small positive constants, abs (x) is a function that takes the absolute value of x, ave [n] is the luminance average value of the nth frame image, and R [n ], G [n], and B [n] are the average values of the red, green, and blue components of the n-th frame image, respectively.
ここでは、コマ間で画像変化が少ないとしたので、式(3)が成り立ち、すなわちステップS14の条件が成立し、ステップS15に遷移する。ステップS15では、ガンマ補正制御部27は画像信号処理回路12に対する設定を行わず、画像信号処理回路12がガンマ補正時に用いる階調特性は、前のコマ(k−1コマ目)のままとなる。次に、k+1コマ目以降でも、前述のように顔は写ってなく、コマ間で画像変化が少ないとしたので、同様にして、ステップS12は条件が成立せず、ステップ14は条件が成立してステップ15に遷移する。ステップ15では、ガンマ補正時に用いる階調特性は、前のコマ(kコマ目)のままとなる。このように、画像変化が少ない場合は、途中で顔が写らなくなっても、連写を通して同じ階調特性で、撮影画像に対するガンマ補正が行われるため、コマ間でコントラストが大きく変化して、不安定な画像となるのを防いでいる。
Here, since it is assumed that there is little image change between frames, Equation (3) is satisfied, that is, the condition of step S14 is satisfied, and the process proceeds to step S15. In step S15, the gamma
次に、他の例として、連写を通して画像変化が激しく、k−1コマ目までは顔が写っており、kコマ目から顔が写らなくなる場合を説明する。前述の連写を通して画像変化が少ない場合と同様に、1コマ目では、顔検出回路26が顔検出に成功し、これに基づき、画像信号処理回路12のガンマ補正制御部27が、画像信号処理回路12にガンマ補正時に用いる階調特性を設定した後、画像撮影する。このあと、2コマ目以降k−1コマ目までは、CPU19は、まず、撮像素子4が取込んだ画像を顔検出回路26に入力し、顔検出回路26は、入力された画像に対して顔検出を行ない算出した輝度変化評価値をCPU19に出力し、CPU19は、受けた輝度変化評価値を画像信号処理回路12のガンマ補正制御部27に出力する(S11)。次に、ステップS12では、顔検出に成功しているかを判定する。ここで、2コマ目では、顔検出に成功しているので、ステップS13に遷移する。ガンマ補正制御部27は、顔検出回路26が出力した輝度変化評価値に基づき、画像信号処理回路12にガンマ補正時に用いる階調特性を設定する(S13)。k−1コマ目までの顔が写っている各コマでは同様にして、階調特性の設定を行う。
Next, as another example, a case will be described in which the image changes drastically through continuous shooting, a face is captured up to the k-1 frame, and no face is captured from the k frame. As in the case where the image change is small through the continuous shooting, the
次に、kコマ目では、前述のように画像に顔が写っていないので、撮像素子4が取込んだ画像をCPU19が顔検出回路26に入力するが、顔検出回路26は、入力された画像に対する顔検出に失敗し、その旨をCPU19に出力する(S11)。次に、ステップS12では、顔検出に成功しているかを判定する。ここでは、前述のように顔検出に失敗しているので、ステップS14に遷移する。ステップS14では、コマ間での画像変化が小さいかを判定する。判定は、前述の式(3)が成り立つかで行う。なお、判定には式(3)のように輝度平均値等を用いる他に、BゲインとRゲインなどのホワイトバランスゲイン値を用いてもよい。ここでは、前述のようにコマ間で画像変化が激しいとしたので、式(3)は成り立たず、ステップS14では条件が成立しないと判定して、ステップS16に遷移する。ステップS16では、顔検出回路26はステップS11で顔検出に失敗しており、輝度変化量評価値が算出できないため、ガンマ補正制御部27は、画像信号処理回路12に標準の階調特性を設定する。
Next, at the k-th frame, since the face is not shown in the image as described above, the
次に、k+1コマ目以降でも、前述のように顔は写ってなく、コマ間で画像変化が激しいとしたので、同様にして、ステップS12は条件が成立せず、ステップ14も条件が成立せずステップ16に遷移する。ステップS16では、kコマ目と同様に、ガンマ補正制御部27は、画像信号処理回路12に標準の階調特性を設定する。このように、画像変化が大きい場合は、顔が写っていれば、取得した画像信号に含まれる顔検出領域に基づいてガンマ補正の階調特性が選択され、顔が写っていなければ標準の階調特性が選択される。このため、各コマの状況にあわせた撮影画像が得られる。
Next, even after the k + 1 frame, the face is not shown as described above, and the image change between frames is assumed to be severe. Similarly, the condition in step S12 is not satisfied, and the condition in
記録/再生スイッチSW2が再生側に操作されると、再生モードに設定される。再生モードでは、CPU19によりメディアコントローラ24を介して、記録メディア25の画像ファイルが開かれ、画像データが読み出される。CPU19は、記録メディア25から読み出した画像データを、画像圧縮/伸長回路13に供給する。画像圧縮/伸長回路13は、画像データの伸長処理を行い、その結果の画像データをVRAM23に格納する。ビデオエンコーダ14は、VRAM23の画像データを参照して、コンポーネントカラービデオ信号を生成して、これを画像表示装置15に供給する。画像表示ため、記録メディア25に格納画像表示装置15に再生画像が映出される。
When the recording / reproduction switch SW2 is operated to the reproduction side, the reproduction mode is set. In the reproduction mode, the
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes a design and the like within the scope not departing from the gist of the present invention.
1…ズームレンズ
2…アイリス
3…フォーカスレンズ
4…撮像素子
5…ズームモータ
6…アイリスモータ
7…フォーカスモータ
8…タイミング発生器
9…CDSAMP
10…A/D変換
11…画像入力コントローラ
12…画像信号処理回路
13…画像圧縮/伸長回路
14…ビデオエンコーダ
15…画像表示装置
16、17、18…モータドライバ
19…CPU
20…AF検出回路
21…AE&AWB検出回路
22…メモリ
23…VRAM
24…メディアコントローラ
25…記録メディア
26…顔検出回路
27…ガンマ補正制御部
DESCRIPTION OF
DESCRIPTION OF
DESCRIPTION OF
24 ...
Claims (3)
入力された画像から、顔を検出し、該顔を含む顔領域における輝度変化評価値を算出する顔検出手段と、
前記顔検出手段が算出した輝度変化評価値が大きいほど、軟調になるように階調特性を決定するガンマ補正制御手段とを備え、
前記ガンマ補正手段は、前記ガンマ補正制御手段が決定した階調特性を用いて、入力された画像に対してガンマ補正を行い、
前記顔検出手段は、複数の顔を検出した場合は、該検出した顔ごとに前記輝度差を求め、該求めた顔ごとの輝度差の中から、最大のものを前記輝度変化評価値として選択すること
を特徴とするカメラ。 A camera comprising gamma correction means for performing gamma correction on an input image,
Face detection means for detecting a face from an input image and calculating a luminance change evaluation value in a face region including the face;
Gamma correction control means for determining gradation characteristics so as to be softer as the luminance change evaluation value calculated by the face detection means is larger ,
The gamma correction means uses the gradation property of the gamma correction control means decides, have rows gamma correction on the input image,
When detecting a plurality of faces, the face detection means obtains the luminance difference for each detected face, and selects the largest one from the obtained luminance differences for each face as the luminance change evaluation value A camera characterized by that .
前記撮影モード指定手段により前記連写モードが指定されたときは、1コマ前の画像と今回の画像との変化量を算出する演算手段とを備え、
前記ガンマ補正手段は、前記顔検出手段が、前記今回の画像について、顔を検出せず、かつ、前記演算手段が算出した該変化量が所定の値より小さい場合は、前記今回の画像に用いる階調特性を、前記1コマ前の画像に用いた階調特性と同一にすることを特徴とする請求項1または請求項2に記載のカメラ。 A shooting mode specifying means for specifying a shooting mode including a continuous shooting mode;
When the continuous shooting mode is specified by the shooting mode specifying means, the calculation means includes a calculating means for calculating the amount of change between the previous image and the current image,
The gamma correction unit is used for the current image when the face detection unit does not detect a face for the current image and the amount of change calculated by the calculation unit is smaller than a predetermined value. 3. The camera according to claim 1, wherein the gradation characteristic is the same as that used for the image one frame before.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005376803A JP4842639B2 (en) | 2005-12-28 | 2005-12-28 | camera |
| KR1020060034667A KR100781169B1 (en) | 2005-12-28 | 2006-04-17 | Camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005376803A JP4842639B2 (en) | 2005-12-28 | 2005-12-28 | camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007180892A JP2007180892A (en) | 2007-07-12 |
| JP4842639B2 true JP4842639B2 (en) | 2011-12-21 |
Family
ID=38305600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005376803A Expired - Fee Related JP4842639B2 (en) | 2005-12-28 | 2005-12-28 | camera |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4842639B2 (en) |
| KR (1) | KR100781169B1 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4600448B2 (en) | 2007-08-31 | 2010-12-15 | カシオ計算機株式会社 | Gradation correction apparatus, gradation correction method, and program |
| JP4513891B2 (en) | 2008-04-09 | 2010-07-28 | ソニー株式会社 | VIDEO SIGNAL PROCESSING DEVICE, IMAGING DEVICE, VIDEO SIGNAL PROCESSING METHOD, AND PROGRAM |
| JP2010016664A (en) | 2008-07-04 | 2010-01-21 | Hitachi Ltd | Imaging apparatus |
| JP2010028596A (en) * | 2008-07-23 | 2010-02-04 | Hitachi Ltd | Image sensing device |
| JP5393189B2 (en) * | 2009-02-12 | 2014-01-22 | キヤノン株式会社 | Imaging apparatus and image processing method |
| JP2010200057A (en) | 2009-02-26 | 2010-09-09 | Hitachi Ltd | Image capturing apparatus |
| JP5744490B2 (en) * | 2010-12-01 | 2015-07-08 | キヤノン株式会社 | Image processing method, image processing apparatus, storage medium, and program |
| JP6179569B2 (en) * | 2015-08-20 | 2017-08-16 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
| JP6740109B2 (en) * | 2016-12-02 | 2020-08-12 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| EP3869781A1 (en) | 2020-02-20 | 2021-08-25 | Koninklijke Philips N.V. | Determining intensity distributions in imaging |
| JP7715754B2 (en) * | 2023-03-31 | 2025-07-30 | Tvs Regza株式会社 | Image display device and program |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03104486A (en) * | 1989-09-19 | 1991-05-01 | Nikon Corp | Electronic still camera |
| JP2682753B2 (en) * | 1991-03-14 | 1997-11-26 | 富士写真フイルム株式会社 | Pictorial hard copy device |
| JP4126784B2 (en) * | 1998-10-30 | 2008-07-30 | 株式会社ニコン | Image capture device |
| JP4469476B2 (en) | 2000-08-09 | 2010-05-26 | パナソニック株式会社 | Eye position detection method and eye position detection apparatus |
| KR20030041407A (en) * | 2001-11-20 | 2003-05-27 | 최경구 | Multi Functional Digital Dual Camera |
| JP2004112473A (en) * | 2002-09-19 | 2004-04-08 | Matsushita Electric Ind Co Ltd | Gradation correction device |
| JP2004207953A (en) | 2002-12-25 | 2004-07-22 | Seiko Epson Corp | Digital camera and skin color region extraction method |
| JP2004260305A (en) * | 2003-02-24 | 2004-09-16 | Fuji Photo Film Co Ltd | Photographing system |
| JP2005202731A (en) * | 2004-01-16 | 2005-07-28 | Toshiba Corp | Face recognition device, face recognition method, and traffic control device |
| JP4572583B2 (en) * | 2004-05-31 | 2010-11-04 | パナソニック電工株式会社 | Imaging device |
| JP2006211217A (en) * | 2005-01-27 | 2006-08-10 | Canon Inc | Imaging device |
-
2005
- 2005-12-28 JP JP2005376803A patent/JP4842639B2/en not_active Expired - Fee Related
-
2006
- 2006-04-17 KR KR1020060034667A patent/KR100781169B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070070008A (en) | 2007-07-03 |
| JP2007180892A (en) | 2007-07-12 |
| KR100781169B1 (en) | 2007-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4639271B2 (en) | camera | |
| JP4567593B2 (en) | Imaging apparatus and imaging method | |
| CN103813097B (en) | Camera device and image capture method | |
| US8284264B2 (en) | Imaging apparatus, method, and program | |
| JP5123137B2 (en) | Imaging apparatus and imaging method | |
| JP6521776B2 (en) | Image processing apparatus, image processing method | |
| JP5169318B2 (en) | Imaging apparatus and imaging method | |
| JP4842639B2 (en) | camera | |
| JP5223686B2 (en) | Imaging apparatus and imaging method | |
| JP4649550B2 (en) | camera | |
| JP5277863B2 (en) | Imaging apparatus and imaging method | |
| JP2004201228A (en) | Method and device for extracting face area | |
| JP5903478B2 (en) | Imaging apparatus and imaging method | |
| JP2009089037A (en) | Imaging control apparatus, imaging control method, imaging control program, and imaging apparatus | |
| JP5091781B2 (en) | Imaging apparatus and imaging method | |
| JP2004328606A (en) | Imaging device | |
| JP2009017427A (en) | Imaging device | |
| JP4879127B2 (en) | Digital camera and digital camera focus area selection method | |
| JP2013192121A (en) | Imaging apparatus and imaging method | |
| JP2010068331A (en) | Imaging device and imaging method | |
| JP6197062B2 (en) | Imaging device, imaging method, display device, and display method | |
| JP5091734B2 (en) | Imaging apparatus and imaging method | |
| JP6409083B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP2007116372A (en) | Digital camera | |
| JP5169540B2 (en) | Imaging apparatus and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081210 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090804 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101020 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111006 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141014 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |