[go: up one dir, main page]

JP4971956B2 - Flicker correction apparatus, flicker correction method, and imaging apparatus - Google Patents

Flicker correction apparatus, flicker correction method, and imaging apparatus Download PDF

Info

Publication number
JP4971956B2
JP4971956B2 JP2007306309A JP2007306309A JP4971956B2 JP 4971956 B2 JP4971956 B2 JP 4971956B2 JP 2007306309 A JP2007306309 A JP 2007306309A JP 2007306309 A JP2007306309 A JP 2007306309A JP 4971956 B2 JP4971956 B2 JP 4971956B2
Authority
JP
Japan
Prior art keywords
flicker
flicker detection
image signal
correction
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007306309A
Other languages
Japanese (ja)
Other versions
JP2009130845A5 (en
JP2009130845A (en
Inventor
真也 瓜阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007306309A priority Critical patent/JP4971956B2/en
Priority to US12/270,163 priority patent/US8089524B2/en
Publication of JP2009130845A publication Critical patent/JP2009130845A/en
Publication of JP2009130845A5 publication Critical patent/JP2009130845A5/ja
Priority to US13/312,438 priority patent/US8471923B2/en
Application granted granted Critical
Publication of JP4971956B2 publication Critical patent/JP4971956B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明はフリッカ補正装置及びフリッカ補正方法に関し、特には、明るさが周期的に変化する光源下で撮影された画像中に含まれるフリッカ成分を補正するフリッカ補正装置及びフリッカ補正方法に関する。   The present invention relates to a flicker correction apparatus and a flicker correction method, and more particularly, to a flicker correction apparatus and a flicker correction method for correcting a flicker component included in an image photographed under a light source whose brightness changes periodically.

従来、ＣＭＯＳイメージセンサに代表されるＸＹアドレス方式の固体撮像素子を用いた撮像装置が実現されている。このような撮像装置を用い、蛍光灯やタングステン電球など、電源周波数に対応して明るさが変動する照明下で撮影を行う場合、撮像画像に垂直方向に周期的な明暗が現れることがある。この現象はフリッカと呼ばれ、商用電源周波数と撮像装置の垂直同期周波数との違いによるものである。   2. Description of the Related Art Conventionally, an image pickup apparatus using an XY address type solid-state image pickup device represented by a CMOS image sensor has been realized. When such an imaging device is used and photographing is performed under illumination whose brightness varies according to the power supply frequency, such as a fluorescent lamp or a tungsten light bulb, periodic brightness and darkness may appear in the captured image in the vertical direction. This phenomenon is called flicker, and is due to the difference between the commercial power supply frequency and the vertical synchronization frequency of the imaging device.

このようなフリッカを抑制するため、例えば電源周波数が５０Ｈｚの場合、シャッタ速度を１／１００秒に固定することで、露光量が各ライン、各フレームで均一になるように制御する方法が知られている。しかしながら、この方法では、シャッタ速度が固定されるため、露出制御の自由度が低下するという問題がある。   In order to suppress such flicker, for example, when the power supply frequency is 50 Hz, a method of controlling the exposure amount to be uniform in each line and each frame by fixing the shutter speed to 1/100 second is known. ing. However, this method has a problem that the degree of freedom in exposure control is reduced because the shutter speed is fixed.

また、特許文献１には、イメージセンサとは別に設けた測光素子を用いて蛍光灯のフリッカ波形を測定し、撮像素子から出力された映像信号の利得をフリッカ波形によって制御することで、フリッカを抑圧する撮像装置が開示されている。   Further, in Patent Document 1, flicker waveform of a fluorescent lamp is measured using a photometric element provided separately from an image sensor, and the flicker is controlled by controlling the gain of the video signal output from the image sensor by the flicker waveform. An imaging device that suppresses is disclosed.

特許文献２には、画像を垂直走査線方向に分割して複数のフリッカ検波枠を設定し、検波枠ごとの輝度を検波し、検波枠ごとに前後の二つのフレームの輝度データの差分を取ることによって、フリッカ成分を抽出、補正する撮像信号処理装置が開示されている。   In Patent Document 2, a plurality of flicker detection frames are set by dividing an image in the vertical scanning line direction, the luminance for each detection frame is detected, and the difference between the luminance data of two frames before and after each detection frame is obtained. Thus, an imaging signal processing apparatus that extracts and corrects flicker components is disclosed.

特開２０００−２３０４０号公報JP 2000-23040 A 特許第３８２３３１４号公報Japanese Patent No. 3823314

しかしながら、特許文献１記載の撮像装置においては、ＣＭＯＳイメージセンサの他にフリッカ検出用の測光素子を設ける必要がある。また、特許文献２記載のフリッカ検出方法では、被写体あるいはカメラに動きがあると、撮影画像の動き成分とフリッカ成分の判別が困難となり、フリッカ検出精度、ひいてはフリッカ補正精度が低下する。   However, in the imaging apparatus described in Patent Document 1, it is necessary to provide a photometric element for flicker detection in addition to the CMOS image sensor. Further, in the flicker detection method described in Patent Document 2, if the subject or the camera moves, it is difficult to discriminate between the motion component and the flicker component of the captured image, and the flicker detection accuracy and thus the flicker correction accuracy are lowered.

本発明はこのような従来技術の問題点に鑑みてなされたものである。従って、本発明の目的は、明るさが周期的に変化する光源下で撮影された画像中に含まれるフリッカ成分を簡便な構成により、かつ被写体や撮像装置の動きがあっても精度良く補正するフリッカ補正装置及びフリッカ補正方法を提供することにある。   The present invention has been made in view of such problems of the prior art. Therefore, an object of the present invention is to accurately correct flicker components contained in an image photographed under a light source whose brightness changes periodically with a simple configuration even if there is a movement of a subject or an imaging device. An object is to provide a flicker correction apparatus and a flicker correction method.

上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、１画面分の画像信号を垂直方向及び水平方向に分割することにより、１画面分の画像信号に複数のフリッカ検出枠を設定する設定手段と、複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出手段と、抽出手段によって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択する選択手段と、選択手段が選択したフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出手段と、検出手段が検出したフリッカ成分から、当フリッカ成分を補正するための補正値を生成する生成手段と、生成手段が生成した補正値を１画面分の画像信号に対して適用し、１画面分の画像信号のフリッカ成分の補正を行う補正手段とを有することを特徴とするフリッカ補正装置によって達成される。 The above-described object is a flicker correction apparatus that corrects a flicker component of an image signal obtained by an image sensor, and divides the image signal for one screen in the vertical direction and the horizontal direction to thereby generate the image signal for one screen. extraction means for extracting a setting means for setting a plurality of flicker detection frames, among the plurality of flicker detection frames, the flicker detection frame values for brightness and color of the image signal is within a predetermined range contained in the extraction From the flicker detection frames extracted by the means, a selection means for selecting a flicker detection frame used for detecting a flicker component, and the luminance information of the image signal in the flicker detection frame selected by the selection means are used to detect the flicker component. Detecting means for generating, a flicker component detected by the detecting means, a generating means for generating a correction value for correcting the flicker component, and a correction generated by the generating means. Applying a value for one screen image signal is accomplished by the flicker correction apparatus characterized by comprising a correction means for correcting the flicker component of the image signal of one screen.

また、上述の目的は、撮像素子と、撮像素子に被写体像を結像するレンズと、撮像素子から画像信号を読み出し、読み出した画像信号に信号処理を行う信号処理手段と、信号処理手段の出力する画像信号のフリッカ成分を補正する本発明のフリッカ補正装置とを有することを特徴とする撮像装置によっても達成される。   In addition, the above-described object is to provide an image sensor, a lens that forms a subject image on the image sensor, a signal processing unit that reads an image signal from the image sensor and performs signal processing on the read image signal, and an output of the signal processing unit. It is also achieved by an image pickup apparatus having the flicker correction apparatus of the present invention for correcting a flicker component of an image signal to be performed.

また、上述の目的は、撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、設定手段が、１画面分の画像信号を垂直方向及び水平方向に分割することにより、１画面分の画像信号に複数のフリッカ検出枠を設定する設定ステップと、抽出手段が、複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出ステップと、抽出ステップによって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択手段が選択する選択ステップと、選択ステップにおいて選択されたフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出ステップと、検出ステップにおいて検出されたフリッカ成分から、当フリッカ成分を補正するための補正値を生成手段が生成する生成ステップと、生成ステップにおいて生成された補正値を補正手段が１画面分の画像信号に対して適用し、１画面分の画像信号のフリッカ成分の補正を行う補正ステップとを有することを特徴とするフリッカ補正方法によっても達成される。 Further, the above-described object is a flicker correction method for correcting a flicker component of an image signal obtained by an image sensor, and the setting unit divides the image signal for one screen in the vertical direction and the horizontal direction , A setting step for setting a plurality of flicker detection frames in an image signal for one screen , and a flicker whose extraction means includes values related to the luminance and color of the image signal included in the plurality of flicker detection frames. an extraction step of extracting a detection frame, extracted from the flicker detection frames extracted by step, a selection step of selecting means flicker detection frame used in the detection of flicker component is selected, flicker detection frame selected in the selection step a detection step of detecting a flicker component using the luminance information of the image signals of the inner, was detected in the detection step flicker component From a generation step of a correction value for correcting an equivalent flicker component generating means generates the correction means a correction value generated in the generation step is applied to an image signal of one screen, one screen It is also achieved by a flicker correction method comprising a correction step for correcting a flicker component of an image signal .

このような構成により、本発明によれば、フリッカ成分を簡便な構成により、かつ被写体やカメラの動きがあっても精度良く補正することができる。   With such a configuration, according to the present invention, the flicker component can be corrected with high accuracy even if the subject or the camera moves.

以下、添付図面を参照して、本発明の好適かつ例示的な実施形態について詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係るフリッカ補正装置の一例としての撮像装置の構成例を示す図である。 Hereinafter, preferred and exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(First embodiment)
FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus as an example of a flicker correction apparatus according to the first embodiment of the present invention.

１０１はレンズであり、レンズ１０１の後方には絞り１０２が配置されている。レンズ１０１、絞り１０２を介して入射した光は、イメージセンサ１０５の結像面上に被写体像として結像される。イメージセンサ１０５は、ＸＹアドレス方式の撮像素子、例えばＣＭＯＳイメージセンサであり、結像された被写体像を、画素単位の画像信号に変換する。   Reference numeral 101 denotes a lens, and a diaphragm 102 is disposed behind the lens 101. Light that has entered through the lens 101 and the diaphragm 102 is imaged as an object image on the imaging surface of the image sensor 105. The image sensor 105 is an XY address type image sensor, for example, a CMOS image sensor, and converts the formed subject image into an image signal in pixel units.

前置信号処理部１１９は、イメージセンサ１０５が変換した画像信号に対し、欠陥画素補正やＡ／Ｄ変換、色補間処理などの前置信号処理を行い、画像データ（ＣＣＤ−ＲＡＷデータ。以下、単にＲＡＷデータという）を生成する。
フリッカ検出部１０７は、前置信号処理部１１９が出力するＲＡＷデータが、フリッカ成分を含むかどうかを検出する。ＲＡＷデータがフリッカ成分を含んでいる場合、ＲＡＷデータに対し、フリッカ検出部１０７によって得られた検出データに基づくフリッカ補正処理をフリッカ補正部１０８で適用する。フリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、フリッカ補正処理については、後で詳しく述べる。 The pre-signal processing unit 119 performs pre-signal processing such as defective pixel correction, A / D conversion, and color interpolation processing on the image signal converted by the image sensor 105 to obtain image data (CCD-RAW data; hereinafter, Simply referred to as RAW data).
The flicker detection unit 107 detects whether or not the RAW data output from the front signal processing unit 119 includes a flicker component. When the RAW data includes a flicker component, the flicker correction unit 108 applies flicker correction processing based on the detection data obtained by the flicker detection unit 107 to the RAW data. The flicker detection and flicker correction processing in the flicker detection unit 107 and the flicker correction unit 108 will be described in detail later.

フリッカ検出部１０７において、フリッカ成分が含まれないと検出されたＲＡＷデータについては、フリッカ補正部１０８ではフリッカ補正処理を適用せずに出力する。
フリッカ補正部１０８の出力するＲＡＷデータには、画像処理部１１２において、ホワイトバランス処理、輪郭強調処理、ガンマ補正処理など、いわゆる現像処理に相当する画像処理が適用され、画像データに変換される。画像処理部１１２はまた、符号化処理など、出力装置に応じた所定の処理を画像データに適用する。そして、画像処理部１１２の出力する画像データは、ディスプレイ１１６に表示されるか、磁気テープ１１５、光ディスク１１７、あるいはメモリカード１１８に記録される。 For the RAW data detected by the flicker detection unit 107 as not containing a flicker component, the flicker correction unit 108 outputs the RAW data without applying the flicker correction process.
The RAW data output from the flicker correction unit 108 is subjected to image processing corresponding to so-called development processing such as white balance processing, contour enhancement processing, and gamma correction processing in the image processing unit 112, and is converted into image data. The image processing unit 112 also applies predetermined processing corresponding to the output device, such as encoding processing, to the image data. The image data output from the image processing unit 112 is displayed on the display 116 or recorded on the magnetic tape 115, the optical disk 117, or the memory card 118.

カメラ制御部１１１は、例えばマイクロコンピュータであり、例えば図示しない内部メモリに記憶された制御プログラムを実行することにより、撮像装置の各部を制御し、撮像装置の各種動作を実現する。   The camera control unit 111 is, for example, a microcomputer, and executes various control operations of the imaging apparatus by controlling each part of the imaging apparatus by executing a control program stored in an internal memory (not shown), for example.

カメラ制御部１１１は、センサ駆動部１０６を通じて、イメージセンサ１０５における電荷蓄積、読み出しなどの制御を行う。また、カメラ制御部１１１は、レンズ制御部１０３を通じて、レンズ１０１のフォーカス、ズームなどの制御を行う。   The camera control unit 111 controls charge accumulation and readout in the image sensor 105 through the sensor driving unit 106. The camera control unit 111 controls the focus and zoom of the lens 101 through the lens control unit 103.

また、カメラ制御部１１１は、イメージセンサ１０５から得られる画像データから求められる被写体の輝度情報を用い、絞り制御部１０４を通じた絞り１０２の制御と、図示しないシャッタの制御とを行うことで、露出制御を行う。   Further, the camera control unit 111 uses the luminance information of the subject obtained from the image data obtained from the image sensor 105, performs the control of the aperture 102 through the aperture control unit 104 and the control of the shutter (not shown), thereby performing exposure. Take control.

また、カメラ制御部１１１は、レンズ制御部１０３を通じてレンズ１０１の一部のレンズを駆動するか、センサ駆動部１０６を通じてイメージセンサ１０５を駆動することで、手ぶれ補正処理を行う。
さらに、カメラ制御部１１１は、フリッカ検出部１０７やフリッカ補正部１０８を制御し、上述したフリッカ成分の検出やフリッカ成分の補正処理を制御する。 In addition, the camera control unit 111 performs a camera shake correction process by driving a part of the lens 101 through the lens control unit 103 or driving the image sensor 105 through the sensor driving unit 106.
Further, the camera control unit 111 controls the flicker detection unit 107 and the flicker correction unit 108 to control the above-described flicker component detection and flicker component correction processing.

図２は、本実施形態の撮像装置の外観例を示す斜視図である。
１２０は撮像装置の本体である。本体１２０内部には、光ディスク、磁気テープおよびメモリカードなどの記録媒体が内蔵もしくは着脱可能に装着され、撮影した動画像や静止画像を記録媒体に記録したり、記録媒体から再生したりすることができる。１２１はレンズ部である。１２２はマイクであり、撮影時の音声を記録するために備えられている。１２３は電子ビューファインダ（ＥＶＦ）である。 FIG. 2 is a perspective view showing an example of the appearance of the imaging apparatus according to the present embodiment.
Reference numeral 120 denotes a main body of the imaging apparatus. A recording medium such as an optical disk, a magnetic tape, and a memory card is installed in the main body 120 in a built-in or detachable manner, and recorded moving images and still images can be recorded on the recording medium and reproduced from the recording medium. it can. Reference numeral 121 denotes a lens unit. Reference numeral 122 denotes a microphone, which is provided for recording sound during shooting. Reference numeral 123 denotes an electronic viewfinder (EVF).

動画撮影用トリガースイッチ１２４はプッシュボタンであり、動画撮影開始および終了を撮像装置に指示するために使用者が操作する。静止画撮影用トリガースイッチ１２５はプッシュボタンであり、静止画撮影開始および終了を撮像装置に指示するために使用者が操作する。   The moving image shooting trigger switch 124 is a push button, and is operated by the user to instruct the imaging apparatus to start and end moving image shooting. The still image shooting trigger switch 125 is a push button, and is operated by the user to instruct the imaging apparatus to start and end still image shooting.

回転式のスイッチからなるモードダイヤル１２６は、撮像装置の動作モードを設定するために操作者が用いる。本実施形態におけるモードダイヤル１２６は、動作モードを、再生モードに設定する“再生”、カメラモードに設定する“カメラ”およびそのいずれでもない“ＯＦＦ”のいずれかを選択できる。   A mode dial 126 formed of a rotary switch is used by an operator to set an operation mode of the imaging apparatus. The mode dial 126 according to the present embodiment can select one of “playback” for setting the operation mode to the playback mode, “camera” for setting the camera mode, and “OFF” for none of them.

１２７は操作スイッチ群であり、使用者が撮像装置に対し、ホワイトバランス制御モードや露出制御モードを入力するためのキーや、その他のメニュー操作や再生系の操作などを行うためのキーが配置されている。   Reference numeral 127 denotes a group of operation switches, on which keys for a user to input a white balance control mode and an exposure control mode, and other menu operations and playback system operations are arranged on the imaging apparatus. ing.

表示装置１２８は、本体１２０の側面に、開閉自在に取り付けられたフラットディスプレイパネルであり、ＥＶＦ１２３と同様、カメラモード時には被写体像の確認、再生モード時には再生画像の表示に主に使用される。表示装置１２８は、本体１２０から開いている状態で、本体１２０から垂直方向に延びる軸周りにも回転可能である。
１２９はスピーカであり、動画像の再生時に音声を出力するために設けられている。１３０はバッテリであり、本体１２０と着脱可能である。 The display device 128 is a flat display panel attached to the side surface of the main body 120 so as to be freely opened and closed. Like the EVF 123, the display device 128 is mainly used for confirming a subject image in the camera mode and displaying a reproduced image in the reproduction mode. The display device 128 can be rotated around an axis extending in the vertical direction from the main body 120 while being opened from the main body 120.
Reference numeral 129 denotes a speaker, which is provided for outputting sound during reproduction of a moving image. A battery 130 is detachable from the main body 120.

（フリッカ検出およびフリッカ補正処理）
次に、本実施形態において、フリッカ検出部１０７およびフリッカ補正部１０８が行うフリッカ検出処理およびフリッカ補正処理について、図３のフローチャートを参照しながら説明する。 (Flicker detection and flicker correction processing)
Next, flicker detection processing and flicker correction processing performed by the flicker detection unit 107 and the flicker correction unit 108 in the present embodiment will be described with reference to the flowchart of FIG.

図３は、本実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。
まず、フリッカ検出部１０７は、信号処理部１１９が生成する１画面分のＲＡＷデータを水平、垂直方向にそれぞれ複数に分割し、フリッカ検出枠を設定する。そして、フリッカ検出部１０７は、設定したフリッカ検出枠ごとに、画像データの輝度成分および色成分の検波を行う（Ｓ１０３）。 FIG. 3 is a flowchart illustrating a procedure of flicker detection / correction processing in the imaging apparatus according to the present embodiment.
First, the flicker detection unit 107 divides the RAW data for one screen generated by the signal processing unit 119 into a plurality of pieces in the horizontal and vertical directions, and sets a flicker detection frame. Then, the flicker detection unit 107 detects the luminance component and the color component of the image data for each set flicker detection frame (S103).

図４は、ＣＭＯＳイメージセンサなどのＸＹアドレス方式のイメージセンサを用いた撮像装置において、蛍光灯下で撮影した画像中に生じる横縞状のフリッカ模式的に示す図である。
フリッカ成分が画像データ中に含まれる場合、被写体の輝度値が、画面内の場所によらず均一な場合であっても、垂直方向に見た輝度値は一定にはならず、１４０に示すような横縞状の輝度ムラが生じる。 FIG. 4 is a diagram schematically showing horizontal stripe flicker generated in an image taken under a fluorescent lamp in an imaging apparatus using an XY address type image sensor such as a CMOS image sensor.
When the flicker component is included in the image data, the luminance value viewed in the vertical direction is not constant even when the luminance value of the subject is uniform regardless of the location in the screen. Uneven horizontal stripes of brightness occur.

図５は、フリッカ検出部１０７が設定するフリッカ検出枠の例を示す図である。図５に示す例では、１画面に縦１８列×横１０行のフリッカ検出枠を設定している。なお、フリッカ検出枠は必ずしも全画面に渡って設定しなくてもよい。
１画面のＲＡＷデータを水平、垂直方向に複数に分割し、複数のフリッカ検出枠１４２を設定し、各フリッカ検出枠において輝度および色に関する値を求める。本実施形態では、輝度及び色に関する値の一例としてフリッカ検出枠に含まれる画素の平均輝度値及び平均色差値を求める。これは、信号処理部１１９が生成するＲＡＷデータのうち、フリッカ検出枠に含まれる画素のＲ，Ｇ，Ｂの各色成分について平均値を求め、Ｒ，Ｇ，Ｂの平均値から、周知の変換式を用いて輝度値及び色差値を求めることによって実現できる。 FIG. 5 is a diagram illustrating an example of a flicker detection frame set by the flicker detection unit 107. In the example shown in FIG. 5, a flicker detection frame of 18 columns × 10 rows is set on one screen. Note that the flicker detection frame does not necessarily have to be set over the entire screen.
RAW data for one screen is divided into a plurality of horizontal and vertical directions, a plurality of flicker detection frames 142 are set, and values relating to luminance and color are obtained in each flicker detection frame. In the present embodiment, an average luminance value and an average color difference value of pixels included in the flicker detection frame are obtained as an example of values relating to luminance and color. This is because, among the RAW data generated by the signal processing unit 119, an average value is obtained for each of the R, G, and B color components of the pixels included in the flicker detection frame, and a known conversion is performed from the average value of R, G, and B. This can be realized by obtaining the luminance value and the color difference value using an equation.

次に、フリッカ検出部１０７は、それぞれのフリッカ検出枠について求めた平均輝度値及び平均色差値が、共に、あらかじめ設定された閾値の範囲内であるかどうかを判断し、条件を満たすフリッカ検出枠を抽出する（Ｓ１０５）。ここで、あらかじめ設定する平均輝度値および平均色差値の閾値の範囲は、適正露出時の白色、即ちホワイトバランス調整後の白色に対応する輝度値及び色差値を含み、かつ、明るすぎる（白トビした）領域や、暗すぎる領域が除かれるように設定する。なお、適正露出時の白色に対応する輝度値及び色差値は、過去の画像データ、例えば１画面前の画像データに基づいて画像処理部１１２で求めた値を用いることができる。   Next, the flicker detection unit 107 determines whether the average luminance value and the average color difference value obtained for each flicker detection frame are both within a preset threshold value range, and satisfies the flicker detection frame that satisfies the condition. Is extracted (S105). Here, the predetermined threshold range of the average luminance value and the average color difference value includes a luminance value and a color difference value corresponding to white at the time of proper exposure, that is, white after white balance adjustment, and is too bright (white tones). ) And areas that are too dark are excluded. As the luminance value and color difference value corresponding to white at the time of proper exposure, values obtained by the image processing unit 112 based on past image data, for example, image data of one screen before can be used.

次に、フリッカ検出部１０７は、Ｓ１０５で抽出された、平均輝度値および平均色差値が共にあらかじめ設定された閾値の範囲内であるすべてのフリッカ検出枠の各々に対し、フリッカ検出に関する信頼度を計算する（Ｓ１０６）。ここで、フリッカ検出に関する信頼度は、フリッカ検出枠内の画像の時間的な変化、検出枠における平均輝度値、平均色差値と適正露出時の白色との差分のうち、一つもしくは、重み付けされた複数を評価値として計算する。   Next, the flicker detection unit 107 sets the reliability regarding flicker detection for each of all the flicker detection frames extracted in S105 and having both the average luminance value and the average color difference value within the preset threshold range. Calculate (S106). Here, the reliability related to flicker detection is one or weighted among the temporal change of the image in the flicker detection frame, the average luminance value in the detection frame, the difference between the average color difference value and white at the proper exposure. Calculate multiple as evaluation values.

フリッカ検出枠内の画像の時間的変化については、例えば前フレーム及び後フレームの少なくとも１つの画像データをフリッカ検出部１０７内の図示しないメモリに記憶しておき、これらフレーム中の対応するフリッカ検出枠内の画像と比較して求められる。フリッカ検出枠内の画像の時間的変化が少ないほど、カメラ又は被写体の動きが少ないと考えられ、フリッカ検出に関する信頼度は高くなる。また、適正露出時の白色との差分が小さい平均輝度値及び平均色差値を有するフリッカ検出枠ほど、輝度値が適正かつ安定していると考えられるため、フリッカ検出に関する信頼度は高くなる。   Regarding the temporal change of the image in the flicker detection frame, for example, at least one image data of the previous frame and the subsequent frame is stored in a memory (not shown) in the flicker detection unit 107, and the corresponding flicker detection frame in these frames is stored. It is obtained by comparing with the image inside. The smaller the temporal change of the image in the flicker detection frame, the less the movement of the camera or the subject, and the higher the reliability regarding flicker detection. In addition, the flicker detection frame having an average luminance value and an average color difference value having a small difference from white at the time of proper exposure is considered to have a proper and stable luminance value, and thus the reliability of flicker detection is high.

つづいて、Ｓ１０７において、フリッカ検出部１０７は、フリッカ検出枠の各行（すなわち、各垂直位置）から、最終的にフリッカ検出を行うために用いるフリッカ検出枠を一つずつ選択する。具体的には、フリッカ検出部１０７は、Ｓ１０５において抽出されたフリッカ検出枠のうち、Ｓ１０６で求めた信頼度が最も高いものを選択する。行を構成するフリッカ検出枠のいずれも所定の信頼度に満たない場合、その行についてはフリッカ検出枠の選択を行わない。   Subsequently, in S107, the flicker detection unit 107 selects one flicker detection frame to be used for the final flicker detection from each row of the flicker detection frame (that is, each vertical position). Specifically, the flicker detection unit 107 selects a flicker detection frame extracted in S105 that has the highest reliability obtained in S106. If none of the flicker detection frames constituting the row satisfies the predetermined reliability, the flicker detection frame is not selected for that row.

画面中に生じるフリッカは、図４に示すように横縞状であるため、水平方向で少なくとも一つのフリッカ検出枠が選択されれば、該当する垂直位置でのフリッカ成分を検出することができる。
信頼度の高いフリッカ検出枠を選択することで、フリッカ成分の検出精度が向上が期待され、結果としてフリッカ補正値の精度向上と、フリッカ成分の除去精度の向上が期待される。 The flicker generated in the screen is in the form of a horizontal stripe as shown in FIG. 4, and therefore, if at least one flicker detection frame is selected in the horizontal direction, the flicker component at the corresponding vertical position can be detected.
By selecting a flicker detection frame with high reliability, an improvement in flicker component detection accuracy is expected. As a result, an improvement in flicker correction value accuracy and an improvement in flicker component removal accuracy are expected.

次に、フリッカ検出部１０７は、各行で一つ選択したフリッカ検出枠の平均輝度値と、処理中のフレームと連続する１つ以上のフレームにおける、対応するフリッカ検出枠内の画像の平均輝度値の平均値（経時平均値）との差を求める。そして、フリッカ検出部１０７は、この差の大きさに基づいて、選択されたフリッカ検出枠内の画像にフリッカ成分が存在するかどうかを判断する（Ｓ１１４）。
ここで、選択したフリッカ検出枠の輝度の経時平均値と、現処理フレームにおける輝度値との差が所定値以上であればフリッカ成分が存在するものとする。 Next, the flicker detection unit 107 calculates the average luminance value of the flicker detection frame selected one by one in each row and the average luminance value of the image in the corresponding flicker detection frame in one or more frames continuous with the frame being processed. The difference from the average value (time-average value) is obtained. Then, the flicker detection unit 107 determines whether or not a flicker component exists in the image within the selected flicker detection frame based on the magnitude of the difference (S114).
Here, it is assumed that a flicker component exists if the difference between the luminance average value of the selected flicker detection frame and the luminance value in the current processing frame is equal to or larger than a predetermined value.

Ｓ１０７で選択されたフリッカ検出枠の全てにおいてフリッカ成分が検出されない場合には、フリッカ補正処理を行わない。
一方、１つ以上のフリッカ検出枠においてフリッカ成分が検出された場合、カメラ制御部１１１は、フリッカ補正値を算出する（Ｓ１１５）。ここで、フリッカ成分は垂直方向における輝度変動であり、水平方向には一定であるから、同一の垂直位置に対しては、水平位置によらず、一定のフリッカ補正値を用いる。フリッカ補正値は、検出されたフリッカ成分を打ち消す値として求める。例えば、フリッカ成分の逆数を垂直方向の画素単位に補正値として求めることができる。 If no flicker component is detected in all the flicker detection frames selected in S107, the flicker correction process is not performed.
On the other hand, when a flicker component is detected in one or more flicker detection frames, the camera control unit 111 calculates a flicker correction value (S115). Here, since the flicker component is a luminance variation in the vertical direction and is constant in the horizontal direction, a constant flicker correction value is used for the same vertical position regardless of the horizontal position. The flicker correction value is obtained as a value that cancels the detected flicker component. For example, the reciprocal of the flicker component can be obtained as a correction value for each pixel in the vertical direction.

また、フリッカ検出枠が選択されていない行（垂直位置）に対するフリッカ補正値は、その上下行で選択されたフリッカ検出枠に対して算出されたフリッカ補正値から補間して求める。つづいて、カメラ制御部１１１は、算出されたフリッカ補正値をフリッカ補正部１０８に供給し、フリッカ補正部１０８はフリッカ検出部１０７の出力する画像データに対して、フリッカ補正処理を施す（Ｓ１１７）。フリッカ補正部１０８は、フリッカ成分の逆数を乗じる乗算器であって良い。   Also, the flicker correction value for the row (vertical position) for which no flicker detection frame is selected is obtained by interpolation from the flicker correction value calculated for the flicker detection frame selected in the upper and lower rows. Subsequently, the camera control unit 111 supplies the calculated flicker correction value to the flicker correction unit 108, and the flicker correction unit 108 performs flicker correction processing on the image data output from the flicker detection unit 107 (S117). . The flicker correction unit 108 may be a multiplier that multiplies the reciprocal of the flicker component.

フリッカ補正部１０８の出力は、画像処理部１１２に供給され、上述のように、表示や記録に必要な信号処理がなされる。
以上の処理を行った後、カメラ制御部１１１は、撮影が継続されているかどうかの判定を行い（Ｓ１１９）、撮影が終了するまで、Ｓ１０３からの処理を繰り返す。撮影の終了が検出されると、カメラ制御部１１１はフリッカ検出及び補正処理を終了する（Ｓ１２０）。 The output of the flicker correction unit 108 is supplied to the image processing unit 112, and signal processing necessary for display and recording is performed as described above.
After performing the above processing, the camera control unit 111 determines whether or not the shooting is continued (S119), and repeats the processing from S103 until the shooting is completed. When the end of shooting is detected, the camera control unit 111 ends the flicker detection and correction process (S120).

以上説明したように、本実施形態によれば、１画面分の画像に対し、垂直及び水平方向に複数のフリッカ検出枠を設定し、含まれる画素の輝度および色に関する値が予め定めた閾値の範囲内であるフリッカ検出枠の輝度情報を用いてフリッカ成分を検出する。そのため、イメージセンサに特殊なフリッカ検出用のセンサを設けることなく、撮像信号の処理だけでフリッカを検出し、除去することができる。   As described above, according to the present embodiment, a plurality of flicker detection frames are set in the vertical and horizontal directions for an image for one screen, and the values related to the luminance and color of the included pixels are set to predetermined threshold values. Flicker components are detected using the luminance information of the flicker detection frame within the range. For this reason, flicker can be detected and removed only by processing the imaging signal without providing a special flicker detection sensor in the image sensor.

さらに、画像の動きが少ないフリッカ検出枠や、画像の輝度値が適正かつ安定しているフリッカ検出枠など、信頼度の高いフリッカ検出枠をフリッカ検出に用いることで、フリッカ検出精度をより向上させることができる。そのため、結果としてフリッカ補正値の精度及びフリッカ除去精度を向上させることができる。   Furthermore, by using a flicker detection frame with high reliability for flicker detection, such as a flicker detection frame with little image movement and a flicker detection frame with appropriate and stable luminance values of the image, flicker detection accuracy is further improved. be able to. As a result, the accuracy of the flicker correction value and the accuracy of flicker removal can be improved.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態においては、フリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理以外は第１の実施形態と共通である。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. This embodiment is the same as the first embodiment except for flicker detection and correction processing in the flicker detection unit 107 and the flicker correction unit 108.

そのため、以下では、本実施形態の撮像装置のフリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理について、図６のフローチャートを参照しながら説明する。
なお、図６において、第１の実施形態と同じ動作を行うステップについては、図３と同じ参照数字を付し、説明を省略する。 Therefore, in the following, flicker detection and correction processing in the flicker detection unit 107 and the flicker correction unit 108 of the imaging apparatus of the present embodiment will be described with reference to the flowchart of FIG.
In FIG. 6, steps that perform the same operation as in the first embodiment are denoted by the same reference numerals as in FIG. 3, and description thereof is omitted.

図６と図３との比較から明らかなように、本実施形態では、各垂直位置に対するフリッカ検出枠の選択処理が異なる。
Ｓ１０５において、平均輝度値および平均色差値が閾値範囲内であるフリッカ検出枠の抽出を行った後、Ｓ２０６から、フリッカ検出枠の各行（各垂直位置）において、フリッカ検出に用いるフリッカ検出枠の選択処理を行う。 As is clear from a comparison between FIG. 6 and FIG. 3, in this embodiment, the flicker detection frame selection process for each vertical position is different.
After extracting flicker detection frames whose average luminance value and average color difference value are within the threshold range in S105, selection of flicker detection frames used for flicker detection in each row (each vertical position) of the flicker detection frame from S206. Process.

まず、フリッカ検出部１０７は、ある垂直位置（例えば一番上の行）において、Ｓ１０５で抽出されているフリッカ検出枠が存在するかどうかを判別する。この垂直位置において、抽出されているフリッカ検出枠が一つもない場合、フリッカ検出部１０７は、その行を構成するフリッカ検出枠の平均輝度値を算出し、その垂直位置における輝度値とする（Ｓ２０９）。   First, the flicker detection unit 107 determines whether or not the flicker detection frame extracted in S105 exists at a certain vertical position (for example, the top row). If there is no flicker detection frame extracted at this vertical position, the flicker detection unit 107 calculates the average luminance value of the flicker detection frame constituting the row and sets it as the luminance value at the vertical position (S209). ).

一方、該当する垂直位置においてフリッカ検出枠が抽出されている場合、フリッカ検出部１０７は、同一垂直位置（同じ行内）において複数のフリッカ検出枠が抽出されているかどうかを判別する（Ｓ２０８）。   On the other hand, if the flicker detection frame is extracted at the corresponding vertical position, the flicker detection unit 107 determines whether a plurality of flicker detection frames are extracted at the same vertical position (in the same row) (S208).

同一垂直位置で抽出されているフリッカ検出枠が一つだけの場合、フリッカ検出部１０７は、抽出されたフリッカ検出枠の輝度値を、該当する垂直位置における輝度値とする（Ｓ２１０）。   When only one flicker detection frame is extracted at the same vertical position, the flicker detection unit 107 sets the luminance value of the extracted flicker detection frame as the luminance value at the corresponding vertical position (S210).

一方、同一垂直位置で複数のフリッカ検出枠が抽出されている場合、フリッカ検出部１０７は、それら複数のフリッカ検出枠の輝度値の平均値を算出し、該当する垂直位置における輝度値とする（Ｓ２０７）。   On the other hand, when a plurality of flicker detection frames are extracted at the same vertical position, the flicker detection unit 107 calculates an average value of the luminance values of the plurality of flicker detection frames and sets the luminance value at the corresponding vertical position ( S207).

そして、Ｓ２１２で、フリッカ検出部１０７は、全ての垂直位置における輝度値を求める処理が終了したかどうかを判定し、全ての垂直位置について輝度値を求める処理が終わるまでＳ２０６〜Ｓ２１０の処理を繰り返し行う。   In step S212, the flicker detection unit 107 determines whether the processing for obtaining the luminance values at all the vertical positions has been completed, and repeats the processing in steps S206 to S210 until the processing for obtaining the luminance values for all the vertical positions is completed. Do.

全ての垂直位置に対する輝度値が求まったら、Ｓ１１４から、第１の実施形態で説明したようにして、フリッカ成分の検出、補正値の生成及び補正処理を、撮影が終了するまで継続する。   When the luminance values for all the vertical positions are obtained, from S114, the flicker component detection, the correction value generation, and the correction processing are continued until the photographing is completed as described in the first embodiment.

なお、本実施形態では、Ｓ１０５でフリッカ検出枠が一つも抽出されなかった場合、Ｓ２０６において、その行内に含まれる全フリッカ検出枠の平均輝度を該当する垂直位置での輝度値として、フリッカ成分を検出するものとした。しかし、該当する垂直位置の上下の垂直位置での輝度値を補間して該当する垂直位置での輝度値を求めても良い。あるいは、フリッカ検出枠が一つも抽出されていない場合は、該当する垂直位置におけるフリッカ補正を行わないようにしても構わない。   In the present embodiment, if no flicker detection frame is extracted in S105, the flicker component is determined in S206 using the average luminance of all flicker detection frames included in the row as the luminance value at the corresponding vertical position. It was supposed to be detected. However, the luminance value at the corresponding vertical position may be obtained by interpolating the luminance value at the vertical position above and below the corresponding vertical position. Alternatively, if no flicker detection frame is extracted, flicker correction at the corresponding vertical position may not be performed.

また、本実施形態では、同一垂直位置で複数のフリッカ検出枠が抽出されている場合、Ｓ２０７においてそれらフリッカ検出枠の輝度値の平均値を、該当する垂直位置での輝度値としてフリッカ成分を検出するものとした。しかし、第１の実施形態で説明したように、抽出された複数のフリッカ検出枠に対してフリッカ検出を行う上での信頼度を計算し、輝度値の信頼度に応じた加重平均値を該当する垂直位置での輝度値としてもよい。   In this embodiment, when a plurality of flicker detection frames are extracted at the same vertical position, the flicker component is detected in S207 using the average value of the luminance values of the flicker detection frames as the luminance value at the corresponding vertical position. To do. However, as described in the first embodiment, the reliability for performing flicker detection is calculated for a plurality of extracted flicker detection frames, and the weighted average value corresponding to the reliability of the luminance value It is good also as a luminance value in the vertical position to do.

以上説明したように、本実施形態によれば、画像を水平、垂直方向に分割して複数のフリッカ検出枠を設定し、平均輝度値および平均色差値があらかじめ設定された閾値の範囲内であるフリッカ検出枠の輝度データを用いてフリッカ成分を検出する。そのため、イメージセンサに特殊なフリッカ検出用のセンサを設けることなく、撮像信号の処理だけでフリッカを検出し、除去することができる。   As described above, according to the present embodiment, the image is divided in the horizontal and vertical directions to set a plurality of flicker detection frames, and the average luminance value and the average color difference value are within a preset threshold range. Flicker components are detected using the luminance data of the flicker detection frame. For this reason, flicker can be detected and removed only by processing the imaging signal without providing a special flicker detection sensor in the image sensor.

また、あらかじめ設定された閾値の範囲内の平均輝度値および平均色差値を有するフリッカ検出枠が、同一垂直位置においていくつ抽出されたかに応じて、その垂直位置におけるフリッカ成分の検出に用いる輝度値の算出方法を変更する。そのため、複数のフリッカ検出枠が抽出された垂直位置についてはより精度の良い輝度値が求まるほか、フリッカ検出枠が抽出されなかった垂直位置においても、他の垂直位置の輝度値から補間した値を用いることで、信頼性のある輝度値を得ることができる。   Also, depending on how many flicker detection frames having an average luminance value and an average color difference value within a preset threshold range are extracted at the same vertical position, the luminance value used for detecting the flicker component at the vertical position is determined. Change the calculation method. Therefore, a more accurate luminance value can be obtained for the vertical position where a plurality of flicker detection frames are extracted, and the value interpolated from the luminance values of other vertical positions can be obtained even in the vertical position where the flicker detection frame is not extracted. By using it, a reliable luminance value can be obtained.

従って、抽出されたフリッカ検出枠の数に応じた適切な輝度値をその垂直位置における輝度値として算出することができ、フリッカ検出精度を向上させることができる。従って、撮影画像中に動きのある領域が多い場合においても、フリッカ補正値の精度並びにフリッカ除去精度の精度も向上させることができる。   Therefore, an appropriate luminance value corresponding to the number of extracted flicker detection frames can be calculated as the luminance value at the vertical position, and flicker detection accuracy can be improved. Therefore, even when there are many moving areas in the captured image, the accuracy of the flicker correction value and the accuracy of flicker removal can be improved.

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態においては、フリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理以外は第１の実施形態と共通である。 (Third embodiment)
Next, a third embodiment of the present invention will be described. This embodiment is the same as the first embodiment except for flicker detection and correction processing in the flicker detection unit 107 and the flicker correction unit 108.

そのため、以下では、本実施形態の撮像装置のフリッカ検出部１０７およびフリッカ補正部１０８における、フリッカ検出、補正処理について、図７のフローチャートを参照しながら説明する。
なお、図７において、第１の実施形態と同じ動作を行うステップについては、図３と同じ参照数字を付し、説明を省略する。 Therefore, in the following, flicker detection and correction processing in the flicker detection unit 107 and the flicker correction unit 108 of the imaging apparatus of the present embodiment will be described with reference to the flowchart of FIG.
In FIG. 7, steps that perform the same operations as those in the first embodiment are denoted by the same reference numerals as those in FIG. 3, and description thereof is omitted.

Ｓ３０３において、フリッカ検出部１０７は、第１の実施形態と同様に、信号処理部１１９が出力する１画面分のＲＡＷデータに対してフリッカ検出枠を設定する。そして、フリッカ検出枠の輝度値として、枠内の全画素ではなく、輝度値および色差値が共に、あらかじめ設定された閾値の範囲内である画素の平均輝度値を算出する。ここでの閾値は、第１の実施形態と同様であって良い。   In S303, the flicker detection unit 107 sets a flicker detection frame for RAW data for one screen output from the signal processing unit 119, as in the first embodiment. Then, as the luminance value of the flicker detection frame, the average luminance value of the pixels whose luminance value and color difference value are both within a preset threshold range is calculated instead of all the pixels in the frame. The threshold value here may be the same as in the first embodiment.

次に、フリッカ検出部１０７は、すべてのフリッカ検出枠において、フリッカ検出を行う上での信頼度を計算する（Ｓ３０６）。ここでの信頼度は、フリッカ検出枠内の画像の時間的な変化、フリッカ検出枠における輝度値の白色点との差分、閾値の範囲内である画素の数、のうち、一つ、もしくは複数に重み付けした評価値を用いて、計算することができる。   Next, the flicker detection unit 107 calculates reliability in performing flicker detection in all flicker detection frames (S306). Here, the reliability is one or more of the temporal change of the image in the flicker detection frame, the difference between the luminance value in the flicker detection frame and the white point, and the number of pixels within the threshold range. It is possible to calculate using an evaluation value weighted to.

次に、第１の実施形態と同様にして、フリッカ検出枠の各垂直位置に対して、フリッカ検出を行うために用いるフリッカ検出枠を一つ選択する（Ｓ１０７）。そして、やはり第１の実施形態と同様に、Ｓ１１４から、フリッカ成分の検出、補正値の生成及び補正処理を、撮影が終了するまで継続する。ただし、本実施形態では、フリッカ検出枠の輝度値として、枠内の全画素ではなく、輝度及び色差値があらかじめ設定された閾値の範囲内である画素についての平均輝度値を用いる点が異なる。   Next, as in the first embodiment, one flicker detection frame used for flicker detection is selected for each vertical position of the flicker detection frame (S107). As in the first embodiment, the flicker component detection, the correction value generation, and the correction process are continued from S114 until the photographing is completed. However, the present embodiment is different in that, as the luminance value of the flicker detection frame, an average luminance value is used not for all the pixels in the frame but for pixels whose luminance and color difference values are within a preset threshold range.

なお、本実施形態においては、Ｓ１０７で、各垂直位置に対するフリッカ検出枠を選択する際、同一垂直位置（同一行）にあるフリッカ検出枠の中で、最も信頼度の高いフリッカ検出枠を一つ選択し、その検出枠の輝度値をその垂直位置における輝度値とした。しかし、同一垂直位置の複数のフリッカ検出枠における輝度データの平均値を、その垂直位置における輝度値としても良い。
あるいは、同一垂直位置の全フリッカ検出枠の輝度値を各フリッカ検出枠の信頼度に応じて加重平均した輝度値を、その垂直位置における輝度値としてもよい。 In this embodiment, when selecting a flicker detection frame for each vertical position in S107, one of the flicker detection frames with the highest reliability among the flicker detection frames in the same vertical position (same row) is selected. The luminance value of the detection frame was selected as the luminance value at the vertical position. However, an average value of luminance data in a plurality of flicker detection frames at the same vertical position may be used as the luminance value at the vertical position.
Alternatively, a luminance value obtained by weighted averaging the luminance values of all flicker detection frames at the same vertical position according to the reliability of each flicker detection frame may be used as the luminance value at the vertical position.

また、信頼度が最も高いフリッカ検出枠の信頼度が所定の信頼度よりも低い場合、該当する垂直位置の全フリッカ検出枠の平均輝度を、その垂直位置における輝度値としてもよい。あるいは、その垂直位置の上下の垂直位置で選択されたフリッカ検出枠の輝度値を補間して求めた輝度値を、その垂直位置での輝度値としても良い。あるいは、信頼度が最も高いフリッカ検出枠の信頼度が所定の信頼度よりも低い垂直位置については、フリッカ補正を行わないようにしても構わない。   When the reliability of the flicker detection frame having the highest reliability is lower than the predetermined reliability, the average luminance of all flicker detection frames at the corresponding vertical position may be set as the luminance value at the vertical position. Alternatively, the luminance value obtained by interpolating the luminance value of the flicker detection frame selected at the vertical position above and below the vertical position may be used as the luminance value at the vertical position. Alternatively, flicker correction may not be performed for a vertical position where the reliability of the flicker detection frame having the highest reliability is lower than a predetermined reliability.

以上説明したように、本実施形態では、本実施形態によれば、画像を水平、垂直方向に分割して複数のフリッカ検出枠を設定し、輝度値および色差値があらかじめ設定された閾値の範囲内である画素の輝度値を用いてフリッカ成分を検出する。そのため、イメージセンサに特殊なフリッカ検出用のセンサを設けることなく、撮像信号の処理だけでフリッカを検出し、除去することができる。また、フリッカ検出枠内の全画素でなく、輝度値及び色差値が共に、あらかじめ設定された閾値の範囲内である画素のみを用いて、フリッカ検出枠の輝度値を求める。そのため、フリッカ検出枠内で変化の大きい画素を排除することができ、フリッカ補正を精度よく行うことができる。   As described above, according to the present embodiment, according to the present embodiment, a plurality of flicker detection frames are set by dividing an image horizontally and vertically, and a range of threshold values in which luminance values and color difference values are preset. The flicker component is detected by using the luminance value of the pixel within. For this reason, flicker can be detected and removed only by processing the imaging signal without providing a special flicker detection sensor in the image sensor. In addition, the luminance value of the flicker detection frame is obtained by using not only all pixels in the flicker detection frame but only pixels whose luminance value and color difference value are both within a preset threshold range. For this reason, it is possible to eliminate pixels having a large change within the flicker detection frame, and to perform flicker correction with high accuracy.

（他の実施形態）
なお、上述の実施形態においては、フリッカ検出枠又は画素の色データの一例として色差値を用いた例を説明したが、ＲＧＢ値など、他の形式の値であっても良いことは言うまでもない。 (Other embodiments)
In the above-described embodiment, the example in which the color difference value is used as an example of the flicker detection frame or the color data of the pixel has been described, but it is needless to say that the value may be other types such as an RGB value.

また、上述の実施形態においては、フリッカ補正装置の一例としての撮像装置を説明したが、フリッカ検出及び補正処理においては、撮像機能や記録機能が必須でないことが容易に理解されよう。   In the above-described embodiment, the imaging apparatus as an example of the flicker correction apparatus has been described. However, it can be easily understood that the imaging function and the recording function are not essential in the flicker detection and correction processing.

従って、図１に示した構成のうち、フリッカ検出部１０７、フリッカ補正部１０８及びカメラ制御部１１１以外の構成は、本発明において必須な構成ではない。   Therefore, configurations other than the flicker detection unit 107, the flicker correction unit 108, and the camera control unit 111 among the configurations shown in FIG. 1 are not essential in the present invention.

本発明の実施形態に係るフリッカ補正装置の一例としての撮像装置の構成例を示す図である。1 is a diagram illustrating a configuration example of an imaging apparatus as an example of a flicker correction apparatus according to an embodiment of the present invention. 本発明の実施形態に係る撮像装置の外観例を示す斜視図である。It is a perspective view showing an example of appearance of an imaging device concerning an embodiment of the present invention. 本発明の第１の実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。3 is a flowchart illustrating a procedure of flicker detection / correction processing in the imaging apparatus according to the first embodiment of the present invention. ＸＹアドレス方式のイメージセンサを用いた撮像装置において、蛍光灯下で撮影した画像中に生じる横縞状のフリッカ模式的に示す図である。FIG. 3 is a diagram schematically showing flickers in a horizontal stripe shape generated in an image photographed under a fluorescent lamp in an imaging apparatus using an XY address type image sensor. 本発明の実施形態の撮像装置におけるフリッカ検出部が設定するフリッカ検出枠の例を示す図である。It is a figure which shows the example of the flicker detection frame which the flicker detection part in the imaging device of embodiment of this invention sets. 本発明の第２の実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。10 is a flowchart illustrating a procedure of flicker detection / correction processing in the imaging apparatus according to the second embodiment of the present invention. 本発明の第３の実施形態の撮像装置におけるフリッカ検出・補正処理の手順を示すフローチャートである。10 is a flowchart illustrating a procedure of flicker detection / correction processing in an imaging apparatus according to a third embodiment of the present invention.

Claims (9)

撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正装置であって、
１画面分の前記画像信号を垂直方向及び水平方向に分割することにより、前記１画面分の前記画像信号に複数のフリッカ検出枠を設定する設定手段と、
前記複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出手段と、
前記抽出手段によって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択する選択手段と、
前記選択手段が選択したフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出手段と、
前記検出手段が検出したフリッカ成分から、当該フリッカ成分を補正するための補正値を生成する生成手段と、
前記生成手段が生成した補正値を前記１画面分の画像信号に対して適用し、前記１画面分の前記画像信号のフリッカ成分の補正を行う補正手段とを有することを特徴とするフリッカ補正装置。 A flicker correction device that corrects a flicker component of an image signal obtained by an image sensor,
Setting means for setting a plurality of flicker detection frames in the image signal for one screen by dividing the image signal for one screen in a vertical direction and a horizontal direction;
Extracting means for extracting a flicker detection frame in which values relating to luminance and color of an image signal included are within a predetermined range among the plurality of flicker detection frames;
A selection means for selecting a flicker detection frame used for detecting a flicker component from the flicker detection frames extracted by the extraction means;
Detecting means for detecting a flicker component using luminance information of an image signal in a flicker detection frame selected by the selecting means;
Generating means for generating a correction value for correcting the flicker component from the flicker component detected by the detecting means;
A flicker correction apparatus comprising: a correction unit that applies the correction value generated by the generation unit to the image signal for the one screen and corrects the flicker component of the image signal for the one screen. . 前記予め定めた範囲が、前記１画面分の前記画像信号より前に前記撮像素子により得られた画像信号に基づいて求められた、適正露出時の白色に対応する輝度及び色に関する値を含む範囲に設定されることを特徴とする請求項１記載のフリッカ補正装置。 The predetermined range is a range including values related to luminance and color corresponding to white at proper exposure , which is obtained based on an image signal obtained by the imaging device before the image signal for the one screen. The flicker correction apparatus according to claim 1, wherein the flicker correction apparatus is set as follows. 前記抽出手段によって抽出されたフリッカ検出枠の各々について、フリッカ検出に関する信頼度を算出する算出手段をさらに有し、
前記選択手段が、前記算出手段が算出した信頼度が所定の信頼度を満たすフリッカ検出枠を選択することを特徴とする請求項１又は請求項２記載のフリッカ補正装置。 For each of the flicker detection frames extracted by the extraction means, further comprises a calculation means for calculating a reliability regarding flicker detection,
3. The flicker correction apparatus according to claim 1, wherein the selection unit selects a flicker detection frame in which the reliability calculated by the calculation unit satisfies a predetermined reliability. 前記選択手段が、前記抽出手段によって抽出されたフリッカ検出枠から、前記垂直方向のフリッカ検出枠の位置ごとに、前記信頼度の最も高いフリッカ検出枠を選択することを特徴とする請求項３記載のフリッカ補正装置。   4. The flicker detection frame having the highest reliability is selected for each position of the vertical flicker detection frame from the flicker detection frame extracted by the extraction unit. Flicker correction device. 前記検出手段が、前記垂直方向のフリッカ検出枠の同一の位置に、前記選択手段が選択したフリッカ検出枠が複数ある場合、これら複数のフリッカ検出枠の輝度情報から求めた輝度情報を用いてフリッカ成分を検出することを特徴とする請求項１乃至請求項３のいずれか１項に記載のフリッカ補正装置。   When there are a plurality of flicker detection frames selected by the selection unit at the same position in the vertical flicker detection frame, the detection unit uses the flicker information obtained from the luminance information of the plurality of flicker detection frames. The flicker correction apparatus according to any one of claims 1 to 3, wherein a component is detected. 前記検出手段が、前記垂直方向のフリッカ検出枠の位置のうち、前記選択手段が選択したフリッカ検出枠が存在しない位置についてのフリッカ成分を検出するための輝度情報として、前記選択手段が選択したフリッカ検出枠が存在しない位置の上下の位置において前記選択手段が選択したフリッカ検出枠の輝度情報から求めた輝度情報を用いてフリッカ成分を検出することを特徴とする請求項１乃至請求項３のいずれか１項に記載のフリッカ補正装置。   The detection means selects the flicker selected by the selection means as luminance information for detecting a flicker component for a position where the flicker detection frame selected by the selection means does not exist among the positions of the flicker detection frames in the vertical direction. 4. The flicker component is detected using luminance information obtained from luminance information of a flicker detection frame selected by the selection unit at a position above and below a position where no detection frame exists. The flicker correction apparatus according to claim 1. 前記検出手段が、前記選択手段が選択したフリッカ検出枠に含まれる画像信号のうち、前記輝度及び色に関する値が前記予め定めた範囲内の画像信号の輝度情報を用いてフリッカ成分を検出することを特徴とする請求項１乃至請求項４のいずれか１項に記載のフリッカ補正装置。   The detection unit detects a flicker component using luminance information of an image signal in which values relating to the luminance and color are within the predetermined range among the image signals included in the flicker detection frame selected by the selection unit. The flicker correction apparatus according to claim 1, wherein: 撮像素子と、
前記撮像素子に被写体像を結像するレンズと、
前記撮像素子から画像信号を読み出し、読み出した画像信号に信号処理を行う信号処理手段と、
前記信号処理手段の出力する画像信号のフリッカ成分を補正する請求項１乃至請求項７のいずれか１項に記載のフリッカ補正装置とを有することを特徴とする撮像装置。 An image sensor;
A lens that forms a subject image on the image sensor;
Signal processing means for reading an image signal from the image sensor and performing signal processing on the read image signal;
An imaging apparatus comprising: the flicker correction apparatus according to claim 1, wherein the flicker component of an image signal output from the signal processing unit is corrected. 撮像素子により得られた画像信号のフリッカ成分を補正するフリッカ補正方法であって、
設定手段が、１画面分の前記画像信号を垂直方向及び水平方向に分割することにより、前記１画面分の前記画像信号に複数のフリッカ検出枠を設定する設定ステップと、
抽出手段が、前記複数のフリッカ検出枠のうち、含まれる画像信号の輝度及び色に関する値が予め定めた範囲内であるフリッカ検出枠を抽出する抽出ステップと、
前記抽出ステップによって抽出されたフリッカ検出枠の中から、フリッカ成分の検出に用いるフリッカ検出枠を選択手段が選択する選択ステップと、
前記選択ステップにおいて選択されたフリッカ検出枠内の画像信号の輝度情報を用いてフリッカ成分を検出する検出ステップと、
前記検出ステップにおいて検出されたフリッカ成分から、当該フリッカ成分を補正するための補正値を生成手段が生成する生成ステップと、
前記生成ステップにおいて生成された補正値を補正手段が前記１画面分の画像信号に対して適用し、前記１画面分の前記画像信号のフリッカ成分の補正を行う補正ステップとを有することを特徴とするフリッカ補正方法。 A flicker correction method for correcting a flicker component of an image signal obtained by an image sensor,
Setting means, by dividing the image signal of one screen in the vertical and horizontal directions, a setting step of setting a plurality of flicker detection frames in the image signal of the one screen,
Extracting means, an extraction step of extracting flicker detection frame is within one of the plurality of flicker detection frames, the values for brightness and color of the image signal including the predetermined,
A selection step in which the selection means selects a flicker detection frame used for detecting a flicker component from the flicker detection frames extracted by the extraction step;
A detection step of detecting a flicker component using the luminance information of the image signal flicker detection frame selected in the selecting step,
From the detected flicker component in said detection step, a generating step of generating the generation means a correction value for correcting the flicker component,
A correction step in which the correction means applies the correction value generated in the generation step to the image signal for one screen , and corrects the flicker component of the image signal for the one screen. Flicker correction method to be performed.
JP2007306309A 2007-11-27 2007-11-27 Flicker correction apparatus, flicker correction method, and imaging apparatus Active JP4971956B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007306309A JP4971956B2 (en) 2007-11-27 2007-11-27 Flicker correction apparatus, flicker correction method, and imaging apparatus
US12/270,163 US8089524B2 (en) 2007-11-27 2008-11-13 Flicker correction apparatus, flicker correction method, and image sensing apparatus
US13/312,438 US8471923B2 (en) 2007-11-27 2011-12-06 Flicker correction apparatus, flicker correction method and image sensing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007306309A JP4971956B2 (en) 2007-11-27 2007-11-27 Flicker correction apparatus, flicker correction method, and imaging apparatus

Publications (3)

Publication Number Publication Date
JP2009130845A JP2009130845A (en) 2009-06-11
JP2009130845A5 JP2009130845A5 (en) 2011-01-20
JP4971956B2 true JP4971956B2 (en) 2012-07-11

Family

ID=40669358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007306309A Active JP4971956B2 (en) 2007-11-27 2007-11-27 Flicker correction apparatus, flicker correction method, and imaging apparatus

Country Status (2)

Country Link
US (2) US8089524B2 (en)
JP (1) JP4971956B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800240B2 (en) 2021-04-13 2023-10-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7568628B2 (en) 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
JP4971956B2 (en) * 2007-11-27 2012-07-11 キヤノン株式会社 Flicker correction apparatus, flicker correction method, and imaging apparatus
JP5099701B2 (en) * 2008-06-19 2012-12-19 シャープ株式会社 Signal processing device, signal processing method, control program, readable recording medium, solid-state imaging device, and electronic information device
JP2010021645A (en) * 2008-07-08 2010-01-28 Nikon Corp Image processing apparatus, image capturing apparatus, and image processing program
JP2011091775A (en) 2009-10-26 2011-05-06 Toshiba Corp Solid-state image pickup device
JP5625371B2 (en) * 2010-01-29 2014-11-19 ソニー株式会社 Image processing apparatus, signal processing method, and program
JP2012010105A (en) * 2010-06-24 2012-01-12 Sony Corp Image processing device, imaging device, image processing method, and program
US8531542B2 (en) * 2010-09-01 2013-09-10 Apple Inc. Techniques for acquiring and processing statistics data in an image signal processor
WO2012073657A1 (en) * 2010-11-30 2012-06-07 富士フイルム株式会社 Image processing device, imaging device, image processing method, and white balance adjustment method
TWI469632B (en) * 2011-11-09 2015-01-11 Silicon Motion Inc Anti-flicker camera and image capture method thereof
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
JP2014045408A (en) * 2012-08-28 2014-03-13 Sony Corp Image data processing device, imaging apparatus, and image data processing method
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
US9293500B2 (en) 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9549099B2 (en) 2013-03-12 2017-01-17 Apple Inc. Hybrid image sensor
US9319611B2 (en) 2013-03-14 2016-04-19 Apple Inc. Image sensor with flexible pixel summing
US9596420B2 (en) 2013-12-05 2017-03-14 Apple Inc. Image sensor having pixels with different integration periods
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9277144B2 (en) 2014-03-12 2016-03-01 Apple Inc. System and method for estimating an ambient light condition using an image sensor and field-of-view compensation
US9584743B1 (en) 2014-03-13 2017-02-28 Apple Inc. Image sensor with auto-focus and pixel cross-talk compensation
US9497397B1 (en) 2014-04-08 2016-11-15 Apple Inc. Image sensor with auto-focus and color ratio cross-talk comparison
US9538106B2 (en) 2014-04-25 2017-01-03 Apple Inc. Image sensor having a uniform digital power signature
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP6170475B2 (en) * 2014-07-08 2017-07-26 株式会社朋栄 Image processing method and image processing apparatus for removing flicker
JP2016219899A (en) * 2015-05-15 2016-12-22 カシオ計算機株式会社 Imaging device, imaging method and program
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
JP6863381B2 (en) * 2016-08-16 2021-04-21 ソニーグループ株式会社 Imaging control device, imaging control method and imaging system
JP6818875B2 (en) 2016-09-23 2021-01-20 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． Laminated back-illuminated SPAD array
CN110235024B (en) 2017-01-25 2022-10-28 苹果公司 SPAD detector with modulation sensitivity
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
GB2568924B (en) * 2017-11-30 2022-07-20 Apical Ltd Method of flicker reduction
US11991808B2 (en) * 2018-07-12 2024-05-21 Apple Inc. Electronic device with ambient light flicker sensor
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US12356740B2 (en) 2020-09-25 2025-07-08 Apple Inc. Transistor integration with stacked single-photon avalanche diode (SPAD) pixel arrays
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US12192644B2 (en) 2021-07-29 2025-01-07 Apple Inc. Pulse-width modulation pixel sensor
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels
US20250088755A1 (en) * 2023-09-11 2025-03-13 Apple Inc. Flicker Mitigation for Image Capture

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506900B2 (en) * 1998-03-03 2004-03-15 松下電器産業株式会社 Flicker correction device
JP2000023040A (en) 1998-06-30 2000-01-21 Toshiba Corp Solid-state image pickup device and system on-chip solid- state image pickup device
EP1091571B1 (en) 1999-10-08 2012-05-30 Panasonic Corporation Apparatus and methods for detection and compensation of illumination flicker, detection and measurement of AC line frequency
JP3476400B2 (en) * 1999-10-19 2003-12-10 松下電器産業株式会社 Flicker detection / correction apparatus and flicker detection / correction method
JP3823314B2 (en) 2001-12-18 2006-09-20 ソニー株式会社 Imaging signal processing apparatus and flicker detection method
JP4423889B2 (en) * 2002-11-18 2010-03-03 ソニー株式会社 Flicker reduction method, imaging apparatus, and flicker reduction circuit
JP2004260574A (en) * 2003-02-26 2004-09-16 Matsushita Electric Ind Co Ltd Flicker detection method and flicker detection device
JP4631611B2 (en) * 2005-08-30 2011-02-16 ソニー株式会社 Flicker detection device, flicker removal device, imaging device, and flicker detection method
JP4971956B2 (en) * 2007-11-27 2012-07-11 キヤノン株式会社 Flicker correction apparatus, flicker correction method, and imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800240B2 (en) 2021-04-13 2023-10-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
US8089524B2 (en) 2012-01-03
US20120075497A1 (en) 2012-03-29
JP2009130845A (en) 2009-06-11
US8471923B2 (en) 2013-06-25
US20090135276A1 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
JP4971956B2 (en) Flicker correction apparatus, flicker correction method, and imaging apparatus
TWI491214B (en) Image capturing device and method for controlling image capturing device
JP2009077057A (en) Imaging apparatus, and control method for imaging apparatus
JP6518452B2 (en) Imaging apparatus and imaging method
JP6576028B2 (en) Image processing apparatus and image processing method
JP2017191996A (en) Imaging apparatus, imaging method and program
US10182188B2 (en) Image pickup apparatus that automatically adjusts black balance, control method therefor, and storage medium
JP2005269130A (en) Imaging device with camera shake correcting function
CN109964479A (en) Picture pick-up device and its control method
JP5569361B2 (en) Imaging apparatus and white balance control method
JP5106283B2 (en) Video camera
US10567667B2 (en) Image pickup apparatus capable of performing intermittent photography, method of controlling same, and storage medium
JP6652303B2 (en) Flash band determination device, control method thereof, control program, and imaging device
WO2018150961A1 (en) Photography device, method for controlling same, and activation program
JP5618765B2 (en) Imaging apparatus and control method thereof
JP5586415B2 (en) Camera control method and camera
JP4948248B2 (en) Imaging apparatus and control method thereof
JP2006135381A (en) Calibration method and calibration apparatus
JP2003322902A (en) Imaging unit and method for displaying luminance distribution chart
JP2011146767A (en) Imaging device
JP5341536B2 (en) Imaging device
KR101467873B1 (en) Apparatus and method for capturing digital image according to detecting hand shake
JP2008283477A (en) Image processing apparatus and image processing method
KR101417807B1 (en) Focus adjustment apparatus and method according to face recognition in digital image processing apparatus
JP6376769B2 (en) Imaging apparatus and control method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4971956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3