[go: up one dir, main page]

JP2000338385A - Automatic focusing device and focusing method thereof - Google Patents

Automatic focusing device and focusing method thereof

Info

Publication number
JP2000338385A
JP2000338385A JP11150668A JP15066899A JP2000338385A JP 2000338385 A JP2000338385 A JP 2000338385A JP 11150668 A JP11150668 A JP 11150668A JP 15066899 A JP15066899 A JP 15066899A JP 2000338385 A JP2000338385 A JP 2000338385A
Authority
JP
Japan
Prior art keywords
color
image
focus
point
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11150668A
Other languages
Japanese (ja)
Inventor
Masaki Sato
正喜 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP11150668A priority Critical patent/JP2000338385A/en
Publication of JP2000338385A publication Critical patent/JP2000338385A/en
Pending legal-status Critical Current

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 簡単な構成で高速に合焦動作が可能な自動合
焦装置およびその合焦方法を提供すること。 【解決手段】 自動合焦装置は、被写体光を色収差補正
しないで結像するAF用レンズ101Aと、被写体光を
色収差補正して結像する撮影用レンズ101Bと、AF
のための撮像ではAF用レンズ101Aに、通常の撮像
では撮影用レンズ101Bに切り替える撮影/AF切替
装置113と、カラーイメージセンサー103のAFエ
リアの画像データの各色毎のボケ特性情報に基づき各色
の点像半径を算出して、算出した各色の点像半径に基づ
いて、合焦点の方向および合焦点までの距離を推定する
距離方向算出部111と、推定された合焦点までの距離
に基づき、合焦状態にあるか否かを判断し、合焦状態に
ないと判断された場合に、推定した合焦点の方向に合焦
点までの距離だけ、カラーイメージセンサー103を移
動させる焦点調整駆動装置112とを備える。
(57) [Problem] To provide an automatic focusing device and a focusing method capable of performing a focusing operation at high speed with a simple configuration. An automatic focusing apparatus includes an AF lens 101A that forms an image of subject light without correcting chromatic aberration, a photographing lens 101B that forms an image of subject light by correcting chromatic aberration, and an AF unit.
The photographing / AF switching device 113 for switching to the AF lens 101A in the imaging for normal imaging and the photographing lens 101B in the normal imaging, and the blurring characteristic information for each color in the image data of the AF area of the color image sensor 103. Calculate the point image radius, based on the calculated point image radius of each color, the distance direction calculation unit 111 that estimates the direction of the focal point and the distance to the focal point, based on the estimated distance to the focal point, It is determined whether or not the camera is in focus. If it is determined that the camera is not in focus, the focus adjustment driving device 112 moves the color image sensor 103 in the direction of the estimated focus by the distance to the focus. And

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、自動合焦装置お
よびその合焦方法に関し、詳細には、ビデオカメラ、デ
ジタルカメラ等の撮像素子を用いた画像入力機器に適用
される自動合焦装置およびその合焦方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic focusing device and a focusing method thereof, and more particularly, to an automatic focusing device applied to an image input device using an image pickup device such as a video camera and a digital camera. It relates to the focusing method.

【0002】[0002]

【従来の技術】近年のデジタルカメラ市場の激化に伴
い、低コスト化が要求され部品点数の削減が重要課題と
なってきている。かかる環境の中、デジタルカメラの主
要部品の一つにマイクロプロセッサ(DSP含む)があ
るが、最近のマイクロプロセッサプロセッサは低価格で
ありながらデジタルカメラのコントローラとしての処理
能力を十分に上回る性能に至っている。このため、例え
ば、銀塩カメラの測距モジュール(AFセンサー)部品
の機能を、デジタルカメラでは撮像系+デジタル信号処
理で代用する方向にある。デジタルカメラの合焦方式と
しては、主なものに、「山登り法」や「相関法」があ
り、以下、「山登り法」と「相関法」について説明す
る。
2. Description of the Related Art With the intensification of the digital camera market in recent years, cost reduction has been required and reduction of the number of parts has become an important issue. In such an environment, a microprocessor (including a DSP) is one of the main components of a digital camera. However, recent microprocessor processors have reached a level of performance far exceeding the processing capability of a digital camera controller at a low price. I have. For this reason, for example, in a digital camera, the function of a distance measuring module (AF sensor) component of a silver halide camera is being replaced with an imaging system + digital signal processing. As a focusing method of a digital camera, there are mainly a "hill climbing method" and a "correlation method". Hereinafter, the "hill climbing method" and the "correlation method" will be described.

【0003】一般に知られている「山登り法」による合
焦方式では、画像の取り込み位置でのAF評価値(画像
の高周波成分から算出)を得ることができるが、AF用
レンズ位置の前方または後方のいずれの方向に合焦点が
あるのか、また、どの程度の距離に合焦点が存在するの
かを検出することは困難である。このため、極大点を避
けて合焦位置を検出するには、レンズ移動範囲の全域の
AF評価値が必要となるため、この全域分の撮影回数が
必要となり、かつ合焦点位置まで戻す操作が加わり、正
確な焦点位置を得るまでに時間がかかるという問題があ
る。
In the focusing method based on the generally known “hill climbing method”, an AF evaluation value (calculated from a high frequency component of an image) at an image capturing position can be obtained. It is difficult to detect in which direction the focal point is located and at what distance the focal point is located. Therefore, in order to detect the in-focus position while avoiding the local maximum point, the AF evaluation value of the entire lens moving range is required. In addition, there is a problem that it takes time to obtain an accurate focus position.

【0004】「相関法」には、自己相関法と相互相関法
がある。まず、自己相関法による合焦方式では、2つ以
上の異なる光束について、1つのフレームに撮像するも
のであるが、1フレーム分の取り込み画像からフォーカ
ス情報を得ることができる反面、同一データによる相関
であるため、自己相関係数の原点位置(合焦点)におい
て非常に高いピーク値を示す結果となる。したがって、
合焦点近傍ではこのピーク値によってAF情報が埋もれ
てしまうため、合焦点近傍では合焦点の検出が困難とな
り、合焦点近傍では他の方式によって合焦点を検出しな
ければならないという問題がある。
The "correlation method" includes an autocorrelation method and a cross-correlation method. First, in the focusing method based on the autocorrelation method, two or more different light beams are imaged in one frame. However, while focus information can be obtained from a captured image of one frame, correlation based on the same data is obtained. Therefore, the result shows a very high peak value at the origin position (focal point) of the autocorrelation coefficient. Therefore,
Since the AF information is buried by the peak value near the focal point, it is difficult to detect the focal point near the focal point, and there is a problem that the focal point must be detected by another method near the focal point.

【0005】一方、相互相関法による合焦方式では、2
つの異なる光束について、それぞれのAFエリアについ
て撮像するが、これは2つの画像メモリを用意する必要
がある反面、自己相関法のような、原点位置に非常に高
いピーク値を生じることはない。このことから、合焦点
近傍から遠方までこのピーク値に埋もれることなくフォ
ーカス情報を得ることができる。しかしながら、相互相
関法では、フォーカス情報を得るためにAF用絞り板で
2つの異なる光束を用意する必要があり、撮影時にはこ
のAF用絞り板は不必要になるといった問題がある。ま
た、AF用絞り板は開口部サイズが固定であり、イメー
ジセンサーで受光する光量を最適化することが困難であ
るという問題がある。
On the other hand, in the focusing method based on the cross-correlation method, 2
Although imaging is performed for each of the AF areas for two different light beams, it is necessary to prepare two image memories, but this does not cause a very high peak value at the origin position unlike the autocorrelation method. From this, focus information can be obtained from the vicinity of the focal point to the distance without being buried in this peak value. However, in the cross-correlation method, it is necessary to prepare two different light beams with an AF diaphragm to obtain focus information, and there is a problem that the AF diaphragm is not required at the time of photographing. In addition, the aperture plate for AF has a fixed opening size, and it is difficult to optimize the amount of light received by the image sensor.

【0006】また、被写体光の色収差を利用して合焦点
を検出する方法も提案されている。例えば、特開平06
−138362号公報に記載された「オートフォーカス
装置」は、所定の色収差を備えたレンズと、このレンズ
を介して、被写体を撮像する撮像手段と、この撮像手段
から出力される色信号の振幅値を検出する振幅値検出手
段と、この振幅値検出手段の検出結果に基づいて、上記
レンズで上記被写体を撮像した際の焦点位置情報を検出
する焦点位置情報検出手段と、上記色信号に上記レンズ
の点像分布関数の逆関数をたたみ込むことにより、上記
色信号を修正し、上記色信号の撮像に供した撮像面から
所定距離だけ離れた仮想面に形成される上記被写体の像
を再現する手段とを備えたものである。
There has also been proposed a method of detecting a focal point using chromatic aberration of subject light. For example, Japanese Unexamined Patent Publication
An "autofocus device" described in JP-A-138362 includes a lens having a predetermined chromatic aberration, imaging means for imaging a subject via the lens, and an amplitude value of a color signal output from the imaging means. Value detection means for detecting the focus position information when the subject is imaged by the lens based on the detection result of the amplitude value detection means; and The color signal is corrected by convolving the inverse function of the point spread function to reproduce the image of the subject formed on a virtual plane separated by a predetermined distance from the imaging plane used for imaging the color signal. Means.

【0007】また、特開平10−200904号公報に
記載された「自動合焦装置」は、被写体像を撮像レンズ
により撮像素子上に結像し、該撮像素子から読み出され
る映像信号のコントラスト値に基づいて撮像レンズ位置
を制御する自動合焦装置において、前記映像信号に含ま
れた複数の色信号から1つの色信号を優先的に使用して
該1つの色信号に係る合焦位置が前記撮像レンズの所定
焦点面よりも先に現れるように前記撮像レンズを移動
し、前記1つの色信号のコントラスト値が最大値を示し
た撮像レンズ位置から所定距離だけ同一方向へ前記撮像
レンズを移動させてから合焦動作を終了させるものであ
る。
[0007] An "autofocusing device" described in Japanese Patent Application Laid-Open No. 10-200904 forms an image of a subject on an image pickup device by an image pickup lens, and adjusts a contrast value of a video signal read from the image pickup device. In the automatic focusing apparatus for controlling the position of the imaging lens based on the image signal, one of the plurality of color signals included in the video signal is preferentially used, and the in-focus position related to the one color signal is used for the imaging. The imaging lens is moved so as to appear earlier than a predetermined focal plane of the lens, and the imaging lens is moved in the same direction by a predetermined distance from the imaging lens position where the contrast value of the one color signal has a maximum value. To end the focusing operation.

【0008】上述した特開平06−138362号公報
に記載された「オートフォーカス装置」や、特開平10
−200904号公報に記載された「自動合焦装置」
は、色収差を利用して合焦点の方向を即座に検出してい
るため、「山登り法」よりも合焦点への収束が速いとい
う利点を有している。
An "autofocus device" described in the above-mentioned Japanese Patent Application Laid-Open No. 06-138362,
"Automatic focusing device" described in JP-A-200904
Has an advantage that the convergence to the focal point is faster than that of the “hill-climbing method” because the direction of the focal point is immediately detected using chromatic aberration.

【0009】[0009]

【発明が解決しようとする課題】しかしながら、上述し
た特開平06−138362号公報に記載された「オー
トフォーカス装置」や、特開平10−200904号公
報に記載された「自動合焦装置」にあっては、合焦点ま
での距離の検出を行っていないことから、合焦点に到達
するまでに何度も合焦のための撮像が必要となり、上述
した「山登り法」と同様に正確な焦点位置を得るまでに
時間がかかるという問題がある。
However, there is a problem with the "autofocus device" described in the above-mentioned JP-A-06-138362 and the "autofocus device" described in the JP-A-10-200904. Since the distance to the focal point is not detected, it is necessary to take images for focusing many times before the focal point is reached. There is a problem that it takes time to obtain

【0010】本発明は、上記に鑑みてなされたものであ
り、簡単な構成で高速な合焦動作が可能な自動合焦装置
およびその合焦方法を提供することを目的とする。
The present invention has been made in view of the above, and an object of the present invention is to provide an automatic focusing apparatus capable of performing a high-speed focusing operation with a simple configuration and a focusing method thereof.

【0011】[0011]

【課題を解決するための手段】上記課題を解決するため
に、請求項1に係る発明は、AFのための撮像では被写
体光を色収差補正しないで結像する一方、通常の撮像で
は被写体光を色収差補正して結像するレンズ系と、撮像
エリアの中央部分にAFエリアが設定され、前記レンズ
系により結像される被写体像を画像データに変換するカ
ラー撮像素子と、前記AFエリアの画像データの各色毎
のボケ特性情報を算出し、算出した各色のボケ特性情報
に基づいて、合焦点の方向および合焦点までの距離を推
定する合焦位置推定手段と、前記合焦位置推定手段で推
定された合焦点までの距離に基づき、合焦状態にあるか
否かを判断する合焦状態判別手段と、前記合焦状態判別
手段で合焦状態にないと判断された場合に、前記合焦位
置推定手段で推定された前記合焦点の方向に前記合焦点
までの距離だけ、前記レンズ系または前記カラー撮像素
子を移動させる駆動手段と、を備えたものである。
In order to solve the above-mentioned problems, the invention according to claim 1 forms an image of a subject light without correcting chromatic aberration in the imaging for AF, and forms the subject light in the normal imaging. A lens system configured to form an image by correcting chromatic aberration, an AF area in which an AF area is set in a central portion of an imaging area, and a color image sensor that converts a subject image formed by the lens system into image data, and image data of the AF area Focus position estimating means for estimating the direction of the focal point and the distance to the focal point based on the calculated blur characteristic information of each color, and estimating by the focus position estimating means. Focusing state determining means for determining whether or not the camera is in a focus state based on the distance to the focused focal point; and Estimated by position estimation means Distance to the focus point in the direction of the focus point that, a driving means for moving the lens system or the color image sensor, in which with a.

【0012】また、請求項2に係る発明は、被写体光を
色収差補正して結像する第1のレンズと、複数の可視光
波長について異なる焦点距離となるように光軸上に色収
差を生じさせ、当該可視光波長帯中の任意の1色の焦点
位置が前記第1のレンズと同じ焦点位置になるように配
置される第2のレンズと、通常の撮像では前記第1のレ
ンズに、AFのための撮像では前記第2のレンズに切り
替えるレンズ切替手段と、撮像エリアの中央部分にAF
エリアが設定され、前記第1または前記第2のレンズ系
により結像される被写体像を画像データに変換するカラ
ー撮像素子と、前記AFエリアの画像データの各色毎に
ボケ特性を示す点像分布係数を算出し、算出した各色の
点像分布係数に基づき各色の点像半径を算出し、算出し
た各色の点像半径に基づいて、合焦点の方向および合焦
点までの距離を推定する合焦位置推定手段と、前記合焦
位置推定手段で推定された合焦点までの距離に基づき、
合焦状態にあるか否かを判断する合焦状態判別手段と、
前記合焦状態判別手段で合焦状態にないと判断された場
合に、前記合焦位置推定手段で判別された前記焦点の方
向に前記合焦点までの距離だけ、前記レンズ系または前
記カラー撮像素子を移動させる駆動手段と、を備えたも
のである。
According to a second aspect of the present invention, there is provided a first lens which forms an image by correcting chromatic aberration of subject light and causing chromatic aberration on an optical axis so as to have different focal lengths for a plurality of visible light wavelengths. A second lens disposed so that a focal position of any one color in the visible light wavelength band becomes the same focal position as the first lens, and an AF in the first lens in normal imaging. Lens switching means for switching to the second lens, and AF at the center of the imaging area.
A color image sensor for converting an object image formed by the first or second lens system into an image data in which an area is set, and a point image distribution showing a blur characteristic for each color of the image data in the AF area Calculate the coefficients, calculate the point image radius of each color based on the calculated point image distribution coefficient of each color, and estimate the direction of the focal point and the distance to the focal point based on the calculated point image radius of each color. Position estimating means, based on the distance to the focal point estimated by the in-focus position estimating means,
Focusing state determining means for determining whether or not the camera is in focus;
When the in-focus state determining unit determines that the camera is not in the in-focus state, the lens system or the color imaging device is moved by the distance to the in-focus point in the direction of the focal point determined by the in-focus position estimating unit. And a driving means for moving.

【0013】また、請求項3に係る発明は、レンズ配置
により、被写体光を色収差補正して結像させる第1の態
様と、被写体光を色収差補正しないで結像させる第2の
態様とを切替え可能なレンズ群と、前記レンズ群を移動
させて、通常の撮像では前記レンズ群を前記第1の態様
に、AFのための撮像では前記レンズ群を前記第2の態
様に切り替えるレンズ切替手段と、撮像エリアの中央部
分にAFエリアが設定され、前記レンズ群により結像さ
れる被写体像を画像データに変換するカラー撮像素子
と、前記AFエリアの画像データの各色毎にボケ特性を
示す点像分布係数を算出し、算出した各色の点像分布係
数に基づき各色の点像半径を算出し、算出した各色の点
像半径に基づいて、合焦点の方向および合焦点までの距
離を推定する合焦位置推定手段と、前記合焦位置推定手
段で推定された前記合焦点までの距離に基づき、合焦状
態にあるか否かを判断する合焦状態判別手段と、前記合
焦状態判別手段で合焦状態にないと判断された場合に、
前記合焦位置推定手段で推定された前記合焦点の方向に
前記合焦点までの距離だけ、前記レンズ系または前記カ
ラー撮像素子を移動させる駆動手段と、を備えたもので
ある。
The invention according to claim 3 switches between a first mode in which the subject light is formed by correcting the chromatic aberration and forming an image, and a second mode in which the subject light is formed without correcting the chromatic aberration by the lens arrangement. Lens switching means for switching the lens group to the first mode for normal imaging and moving the lens group to the second mode for AF imaging by moving the lens group; An AF area is set at a central portion of the imaging area, a color image sensor that converts a subject image formed by the lens group into image data, and a point image showing blur characteristics for each color of the image data in the AF area The distribution coefficient is calculated, the point image radius of each color is calculated based on the calculated point image distribution coefficient of each color, and the direction of the focal point and the distance to the focal point are estimated based on the calculated point image radius of each color. Focus Estimating means, focusing state determining means for determining whether or not the camera is in focus based on the distance to the focal point estimated by the focusing position estimating means, and focusing by the focusing state determining means If it is determined that it is not in the state,
And a driving unit for moving the lens system or the color image pickup device in the direction of the focal point estimated by the focal position estimating unit by a distance to the focal point.

【0014】また、請求項4に係る発明は、請求項2ま
たは請求項3に記載の自動合焦装置において、前記合焦
位置推定手段は、前記AFエリアの画像データに窓関数
を乗算後、2次元フーリエ変換して周波数領域の振幅と
位相に変換し、この全周波数領域の各位相をゼロに置き
換えた後、2次元逆フーリエ変換して前記点像分布係数
を算出するものである。
According to a fourth aspect of the present invention, in the automatic focusing apparatus according to the second or third aspect, the in-focus position estimating means multiplies the image data of the AF area by a window function. The point image distribution coefficient is calculated by performing two-dimensional Fourier transform to convert into the amplitude and phase in the frequency domain, replacing each phase in the entire frequency domain with zero, and performing two-dimensional inverse Fourier transform.

【0015】また、請求項5に係る発明は、請求項2〜
請求項4のいずれか1つに記載の自動合焦装置におい
て、前記合焦位置推定手段は、前記点像分布係数の原点
ピーク値に基づいて算出したしきい値に基づき断面積を
算出し、算出した断面積に基づいて前記点像半径を算出
するものである。
The invention according to claim 5 is the invention according to claims 2 to
5. The automatic focusing device according to claim 4, wherein the focus position estimation unit calculates a cross-sectional area based on a threshold calculated based on an origin peak value of the point spread coefficient. The point image radius is calculated based on the calculated sectional area.

【0016】また、請求項6に係る発明は、レンズ系ま
たはカラー撮像素子を移動させて自動合焦動作を行う自
動合焦装置の合焦方法において、前記レンズ系により、
被写体光を色収差補正しないで結像する第1のステップ
と、前記カラー撮像素子上に結像される被写体像のAF
エリアの画像データを各色毎にボケ特性情報を算出し、
算出した各色毎のボケ特性情報に基づいて、合焦点の方
向と合焦点までの距離を推定する第2のステップと、前
記推定された前記合焦点までの距離に基づいて合焦状態
にあるか否かを判断する第3のステップと、前記第3の
ステップで、合焦状態にないと判断された場合に、前記
推定された前記合焦点の方向に前記合焦点までの距離だ
け、前記レンズ系または前記カラー撮像素子を移動させ
る第4のステップと、前記推定された前記合焦点の方向
に前記合焦点までの距離だけ、前記レンズ系または前記
カラー撮像素子を移動させた後、前記第1のステップ〜
第3のステップを繰り返す第5のステップと、前記第3
のステップで、合焦状態にあると判断された場合に、前
記レンズ系により被写体光を色収差補正して前記カラー
撮像素子上に結像し、通常の撮影を行う第6のステップ
と、を含むものである。
According to a sixth aspect of the present invention, there is provided a focusing method of an automatic focusing device for performing an automatic focusing operation by moving a lens system or a color image pickup device.
A first step of forming an image of the subject light without correcting the chromatic aberration, and an AF of the subject image formed on the color image sensor.
Calculate blur characteristic information for the image data of the area for each color,
A second step of estimating the direction of the focal point and the distance to the focal point based on the calculated blur characteristic information for each color, and determining whether the object is in focus based on the estimated distance to the focal point. A third step of determining whether or not the lens is in focus, and if it is determined that the lens is not in focus, the lens is moved by the distance to the focus in the estimated direction of focus. A fourth step of moving the system or the color image sensor, and moving the lens system or the color image sensor by the distance to the focal point in the direction of the estimated focal point, Steps ~
A fifth step of repeating the third step;
A step of performing chromatic aberration correction on the subject light by the lens system to form an image on the color image pickup device and performing normal photographing when it is determined in step that the object is in focus. It is a thing.

【0017】また、請求項7に係る発明は、レンズ系ま
たはカラー撮像素子を移動させて自動合焦動作を行う自
動合焦装置の合焦方法において、前記レンズ系により、
被写体光を色収差補正しないで結像する第1のステップ
と、前記カラー撮像素子上に結像される被写体像のAF
エリアの画像データの各色毎にボケ特性を示す点像分布
係数を各々算出し、算出した各色の点像分布係数に基づ
き各色の点像半径を算出し、算出した各色の点像半径に
基づき、合焦点の方向および合焦点までの距離を推定す
る第2のステップと、前記推定された前記合焦点までの
距離に基づいて合焦状態にあるか否かを判断する第3の
ステップと、前記第3のステップで、合焦状態にないと
判断された場合に、前記推定された前記合焦点の方向に
前記合焦点までの距離だけ、前記レンズ系または前記カ
ラー撮像素子を移動させる第4のステップと、前記推定
された前記合焦点の方向に前記合焦点までの距離だけ、
前記レンズ系または前記カラー撮像素子を移動させた
後、前記第1のステップ〜第3のステップを繰り返す第
5のステップと、前記第3のステップで、合焦状態にあ
ると判断された場合に、前記レンズ系により被写体光を
色収差補正して前記カラー撮像素子上に結像し、通常の
撮影を行う第6のステップと、を含むものである。
According to a seventh aspect of the present invention, there is provided a focusing method of an automatic focusing apparatus for performing an automatic focusing operation by moving a lens system or a color image pickup device.
A first step of forming an image of the subject light without correcting the chromatic aberration, and an AF of the subject image formed on the color image sensor.
The point image distribution coefficient indicating the blur characteristic is calculated for each color of the image data of the area, the point image radius of each color is calculated based on the calculated point image distribution coefficient of each color, and based on the calculated point image radius of each color, A second step of estimating a direction of the in-focus point and a distance to the in-focus point, a third step of determining whether or not the subject is in focus based on the estimated distance to the in-focus point; In the third step, when it is determined that the object is not in focus, the lens system or the color image pickup device is moved in the estimated direction of the focus by a distance to the focus. Step and in the direction of the estimated focal point by the distance to the focal point,
A fifth step of repeating the first to third steps after moving the lens system or the color image pickup device, and a case where it is determined in the third step that the object is in focus. A sixth step of correcting chromatic aberration of subject light by the lens system, forming an image on the color image sensor, and performing normal photographing.

【0018】また、請求項8に係る発明は、請求項7に
記載の自動合焦装置の合焦方法において、前記第2のス
テップは、前記AFエリアの画像データに窓関数を乗算
後、2次元フーリエ変換して周波数領域の振幅と位相に
変換し、この全周波数領域の各位相をゼロに置き換えた
後、2次元逆フーリエ変換して前記点像分布係数を算出
するものである。
According to an eighth aspect of the present invention, in the focusing method of the automatic focusing apparatus according to the seventh aspect, the second step includes multiplying the image data of the AF area by a window function. The point spread coefficient is calculated by performing a two-dimensional inverse Fourier transform after converting each phase of the entire frequency domain to zero by performing a dimensional Fourier transform to convert the phase and the phase into an amplitude and a phase in the frequency domain.

【0019】また、請求項9に係る発明は、請求項7ま
たは請求項8に記載の自動合焦装置の合焦方法におい
て、前記第2のステップは、前記点像分布係数の原点ピ
ーク値に基づいて算出したしきい値に基づき断面積を算
出し、算出した断面積に基づいて前記点像半径を算出す
るものである。
According to a ninth aspect of the present invention, in the focusing method of the automatic focusing apparatus according to the seventh or eighth aspect, the second step includes the step of: A cross-sectional area is calculated based on a threshold calculated based on the calculated cross-sectional area, and the point image radius is calculated based on the calculated cross-sectional area.

【0020】[0020]

【発明の実施の形態】以下に添付図面を参照して、この
発明に係る自動合焦装置をデジタルカメラに適用した好
適な実施の形態を、(発明の原理)、(実施の形態
1)、(実施の形態2)の順に詳細に説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS With reference to the accompanying drawings, preferred embodiments in which an automatic focusing apparatus according to the present invention is applied to a digital camera will be described below (Principles of the Invention), (Embodiment 1), Embodiment 2 will be described in detail.

【0021】(発明の原理)まず、本発明の原理を図1
〜図4を参照して説明する。図1は本発明の原理を説明
するための説明図、図2はカラーイメージセンサのAF
エリアを説明するための説明図、図3は焦点の方向およ
び距離の判別方法を説明するための説明図、図4は点像
半径と絞り開口径の関係を説明するための図を示す。
(Principle of the Invention) First, the principle of the present invention is shown in FIG.
This will be described with reference to FIGS. FIG. 1 is an explanatory view for explaining the principle of the present invention, and FIG. 2 is an AF of a color image sensor.
FIG. 3 is an explanatory diagram for explaining an area, FIG. 3 is an explanatory diagram for explaining a method of determining the direction and distance of a focal point, and FIG. 4 is a diagram for explaining a relationship between a point image radius and a stop aperture diameter.

【0022】図1において、101Aは色収差補正無し
のAF用レンズ、102は撮像絞り、103はカラーイ
メージセンサを示す。RgはG色の点像半径を示す。同
図では、RGB光の光路を示しており、カラーイメージ
センサ103が後ピンとなる位置にある場合と、前ピン
となる位置にある場合とを示している。同図において、
左側から右方向に入射した光は、色収差補正なしのAF
用レンズ101Aを通り撮像絞り102を通過した後、
色フィルタを有するカラーイメージセンサー103で受
光する。この場合にフォーカス情報として必要とされる
のは、撮影者が合焦したいエリア(AFエリア)の撮像
データであり、フレーム全てのデータは必要なく、AF
エリアの画像データのみを転送する。
In FIG. 1, 101A denotes an AF lens without chromatic aberration correction, 102 denotes an imaging stop, and 103 denotes a color image sensor. Rg indicates the radius of the point image of G color. FIG. 3 shows the optical path of the RGB light, and shows a case where the color image sensor 103 is at a position to be a rear focus and a case where it is at a position to be a front focus. In the figure,
The light incident from the left to the right is AF without chromatic aberration correction.
After passing through the imaging aperture 102 through the imaging lens 101A,
Light is received by a color image sensor 103 having a color filter. In this case, what is needed as the focus information is image data of an area (AF area) that the photographer wants to focus on.
Only the image data of the area is transferred.

【0023】図2はカラーイメージセンサ103のAF
エリアを示す図であり、同図に示す如く、AFエリア
は、カラーイメージセンサ103のフレーム内の光学系
の光軸の中心位置に設定される。本発明ではカラーイメ
ージセンサー103が画素のランダムアクセスが可能に
構成されているので、転送対象がAFエリアのデータの
みとなり、転送時間が大幅に短縮される。
FIG. 2 shows the AF of the color image sensor 103.
FIG. 4 is a diagram showing an area, and as shown in the figure, an AF area is set at a center position of an optical axis of an optical system in a frame of the color image sensor 103. In the present invention, since the color image sensor 103 is configured to enable random access of pixels, the transfer target is only the data in the AF area, and the transfer time is greatly reduced.

【0024】この後、カラーイメージセンサー103の
色フィルタにより色毎に分離されたRGBの画像データ
について、各色毎にAFエリアの画像データの点像分布
係数を求める。図3は、前ピン(A)、合焦(B)、後
ピン(C)の場合のR色、G色、B色の点像分布係数の
一例を示している。
Thereafter, for the RGB image data separated for each color by the color filter of the color image sensor 103, a point spread coefficient of the image data of the AF area is obtained for each color. FIG. 3 shows an example of point image distribution coefficients of R, G, and B colors in the case of front focus (A), focus (B), and rear focus (C).

【0025】図4は、点像半径と絞り開口径の関係を示
す図である。同図において、横軸はカラーイメージセン
サー位置(またはレンズ位置)、縦軸は点像半径を示
す。同図に示すように、絞り開口径が大きい方が点像半
径が大きくなり、また、合焦位置で点像半径が最小とな
り、絞りの度合いに比例して点像半径の大きさに影響す
る。
FIG. 4 is a diagram showing the relationship between the point image radius and the stop aperture diameter. In the figure, the horizontal axis indicates the color image sensor position (or lens position), and the vertical axis indicates the point image radius. As shown in the figure, the larger the aperture opening diameter, the larger the point image radius, and the smaller the point image radius at the in-focus position, which affects the point image radius in proportion to the degree of the aperture. .

【0026】そして、各色毎のAFエリアの画像データ
の点像分布係数、絞り開口径と絞り面受光面距離の情
報、およびG色画像の点像半径Rgとから合焦点までの
距離を推定し、RGB色画像の3つの各点像半径の大小
関係から合焦点のある方向(前ピンまたは後ピン)を推
定する。なお、ここでは、G色画像の焦点位置を目標焦
点距離に選んだ場合を示している。
The distance to the focal point is estimated from the point image distribution coefficient of the image data of the AF area for each color, information on the aperture diameter of the aperture and the distance of the light receiving surface of the aperture surface, and the point image radius Rg of the G color image. , The in-focus direction (front focus or rear focus) is estimated from the magnitude relationship between the three point image radii of the RGB color images. Here, the case where the focal position of the G color image is selected as the target focal length is shown.

【0027】(実施の形態1)図5は、実施の形態1に
係るデジタルカメラのAF処理系の構成図を示す。同図
において、101AはAF用レンズを示し、フォーカス
対象の被写体の被写体像をカラーイメージセンサー10
3上に結像するためのものであり、また、複数の可視光
波長(例えばRGB色)にて色収差を補正していないも
のである。101Bは撮影用レンズを示し、フォーカス
対象の被写体の被写体像をカラーイメージセンサー10
3上に結像するためのものであり、また、色収差補正が
施されている。上記AF用レンズ101Aは、可視光波
長帯中のある1色(例えばG色)の焦点位置が撮影用レ
ンズ101Bと同じ焦点位置になるように構成されてい
る。102は撮像絞りを示し、AF用レンズ101Aや
撮影用レンズ101Bの後側に配置され、AF用レンズ
101Aや撮影用レンズ101Bを通過する光束(光
量)を制限するためのものである。
(Embodiment 1) FIG. 5 shows a configuration diagram of an AF processing system of a digital camera according to Embodiment 1. In FIG. 1, reference numeral 101A denotes an AF lens, and a subject image of a subject to be focused is taken by a color image sensor 10;
3 for forming an image on the surface 3 and not correcting the chromatic aberration at a plurality of visible light wavelengths (for example, RGB colors). Reference numeral 101B denotes a photographing lens, and a subject image of a subject to be focused is taken by a color image sensor 10B.
3 for chromatic aberration correction. The AF lens 101A is configured such that the focal position of one color (for example, G color) in the visible light wavelength band is the same as the focal position of the imaging lens 101B. Reference numeral 102 denotes an imaging diaphragm, which is disposed on the rear side of the AF lens 101A and the photographing lens 101B, and restricts a light beam (light amount) passing through the AF lens 101A and the photographing lens 101B.

【0028】103は結像される被写体像を電気信号に
変換して画像データとして出力するカラーCCD等から
なるカラーイメージセンサー(原色タイプ)を示す。こ
のカラーイメージセンサー103は、画素のランダムア
クセスが可能となっており、画像フレーム内の任意のエ
リアの画像データが転送可能となっている。これらAF
用レンズ101A、撮影用レンズ101B、撮影絞り1
02、およびカラーイメージセンサー103は、撮像用
光学系を構成する。104は撮影絞り102の絞りを調
整して自動露出制御を行う自動露出制御部を示す。
Reference numeral 103 denotes a color image sensor (primary color type) comprising a color CCD or the like which converts a formed subject image into an electric signal and outputs it as image data. The color image sensor 103 can perform random access of pixels, and can transfer image data of an arbitrary area in an image frame. These AF
Lens 101A, photographing lens 101B, photographing aperture 1
02 and the color image sensor 103 constitute an imaging optical system. An automatic exposure control unit 104 performs automatic exposure control by adjusting the aperture of the shooting aperture 102.

【0029】105はAFのための撮像で撮像された各
画像フレーム内のAFエリアの画像データ(RGBデー
タ)を格納するAFエリア画像データメモリを示す。1
20はAFエリア画像データメモリ105に格納された
画像データの点像分布係数を算出する点像分布係数算出
部を示す。この点像分布係数算出部120は、AFエリ
ア画像データメモリ105に格納された画像データに2
次元窓関数を乗算する窓関数乗算部106と、窓関数乗
算部106で2次元窓関数が乗算された画像データを2
次元フーリエ変換する2次元FFT部107と、2次元
FFT部107でフーリエ変換されたデータの位相操作
を行う位相操作部108と、位相操作部108で位相操
作されたデータを、2次元逆フーリエ変換して点像分布
係数を算出する2次元IFFT部109とを備える。
Reference numeral 105 denotes an AF area image data memory for storing image data (RGB data) of the AF area in each image frame picked up by the image pickup for AF. 1
Reference numeral 20 denotes a point spread coefficient calculator for calculating a point spread coefficient of the image data stored in the AF area image data memory 105. The point image distribution coefficient calculation unit 120 adds two points to the image data stored in the AF area image data memory 105.
A window function multiplication unit 106 that multiplies the two-dimensional window function by the two-dimensional window function
A two-dimensional FFT unit 107 for performing a two-dimensional Fourier transform, a phase operation unit 108 for performing a phase operation on the data subjected to the Fourier transform by the two-dimensional FFT unit 107, and a two-dimensional inverse Fourier transform And a two-dimensional IFFT unit 109 for calculating a point spread coefficient.

【0030】110は点像分布係数算出部120で算出
された各色毎の点像分布係数を格納する点像分布係数メ
モリを示す。111は点像分布係数算出部120で算出
された各色毎の点像分布係数に基づき、カラーイメージ
センサー103の合焦位置までの方向と距離を算出する
距離方向算出部を示す。
Reference numeral 110 denotes a point spread coefficient memory for storing the point spread coefficient for each color calculated by the point spread coefficient calculator 120. Reference numeral 111 denotes a distance direction calculation unit that calculates the direction and the distance to the in-focus position of the color image sensor 103 based on the point image distribution coefficient for each color calculated by the point image distribution coefficient calculation unit 120.

【0031】112は距離方向算出部111の演算結果
に基づき、カラーイメージセンサー103を前後に移動
させる焦点調整駆動機構を示し、113はAF時と通常
の撮影時とで、AF用レンズ101Aと撮影用レンズ1
01Bとを切り替える撮影/AF切替装置を示す。11
4は通常の撮影の場合に、撮像された1フレーム分の画
像データが各色毎に格納されるフレーム用画像メモリを
示す。
Reference numeral 112 denotes a focus adjustment drive mechanism for moving the color image sensor 103 back and forth based on the calculation result of the distance direction calculation unit 111. Reference numeral 113 denotes an AF lens 101A and an AF lens for normal shooting. Lens 1
01B shows a photographing / AF switching device that switches between 01B and 01B. 11
Reference numeral 4 denotes a frame image memory in which image data of one frame that has been imaged is stored for each color in normal shooting.

【0032】なお、ここでは、カラーイメージセンサ1
03を光軸方向に移動させて焦点調整を行う構成を示し
たが、カラーイメージセンサ103を移動させる代わり
に、AF用レンズ101Aを移動させて焦点調整を行う
構成を採用することにしても良い。
Here, the color image sensor 1
Although the focus adjustment is performed by moving the lens 03 in the optical axis direction, a configuration in which the focus adjustment is performed by moving the AF lens 101A instead of moving the color image sensor 103 may be adopted. .

【0033】つぎに、上記図5のデジタルカメラのAF
動作および撮影動作を図6〜図8のフローチャートに従
って、図9〜図14を参照しつつ説明する。図6はAF
動作および撮影動作を説明するためのフローチャート、
図7は図6のAF動作の点像半径算出処理を詳細に説明
するためのフローチャート、図8は図6のAF動作の焦
点距離方向算出処理を詳細に説明するためのフローチャ
ートを示す。
Next, the AF of the digital camera shown in FIG.
The operation and the photographing operation will be described with reference to FIGS. 9 to 14 according to the flowcharts of FIGS. FIG. 6 shows AF
Flowchart for explaining the operation and the photographing operation,
FIG. 7 is a flowchart for explaining the point image radius calculation processing of the AF operation in FIG. 6 in detail, and FIG. 8 is a flowchart for describing the focal length direction calculation processing of the AF operation in FIG. 6 in detail.

【0034】図9は2次元ハミング窓関数を説明するた
めの説明図、図10は合焦時の点像分布係数を説明する
ための説明図、図11はピンボケ時の点像分布係数を説
明するための説明図、図12は点像半径の算出方法を説
明するための説明図、図13は前ピン時の焦点距離Lを
説明するための説明図、図14は後ピン時の焦点距離L
を説明するための説明図を示す。
FIG. 9 is an explanatory view for explaining a two-dimensional Hamming window function, FIG. 10 is an explanatory view for explaining a point spread coefficient at the time of focusing, and FIG. 11 is an explanatory view of a point spread coefficient at the time of out-of-focus. FIG. 12 is an explanatory diagram for explaining a method of calculating a point image radius, FIG. 13 is an explanatory diagram for explaining a focal length L at the time of front focus, and FIG. 14 is a focal length at the time of rear focus. L
FIG.

【0035】図6のフローチャートにおいて、まず、図
1に示すデジタルカメラでは、操作者の操作によって、
図示しないシャッタボタンが半押しの状態になると、デ
ジタルカメラの撮像用光学系はAFセンサーとして作動
する。そして、AFセンサー動作時には、撮影/AF切
替装置113は、AF用レンズ101A(色収差補正な
しのレンズ)を光軸上に配置する(ステップS10
1)。また、露出制御部104は、光学系の撮像絞り1
02を使って、外部からイメージセンサーに入射する被
写体の光量を常に最適となるように露出制御する。この
状態で、AFのための撮影を行い(ステップS10
2)、カラーイメージセンサー103上のAFエリア
(図2参照)の画像データをRGB毎にAFエリア画像
データメモリ105に転送し、AFエリア画像データメ
モリ105にはAFエリアの画像データがRGB毎に格
納される(ステップS103)。
In the flowchart of FIG. 6, first, in the digital camera shown in FIG.
When a shutter button (not shown) is half-pressed, the imaging optical system of the digital camera operates as an AF sensor. Then, when the AF sensor operates, the photographing / AF switching device 113 arranges the AF lens 101A (lens without chromatic aberration correction) on the optical axis (step S10).
1). The exposure control unit 104 also controls the imaging stop 1 of the optical system.
Using 02, exposure control is performed so that the amount of light of the subject incident on the image sensor from the outside is always optimal. In this state, shooting for AF is performed (step S10).
2) The image data of the AF area (see FIG. 2) on the color image sensor 103 is transferred to the AF area image data memory 105 for each of RGB, and the AF area image data memory 105 stores the image data of the AF area for each of RGB. It is stored (step S103).

【0036】次に、AFエリア用の画像メモリ105に
格納された各色成分(R,G,B)の画像データに基づ
いて、各色毎に点像半径Rを算出する(ステップS10
4〜S108)。点像半径Rを算出する方法として、以
下ではフーリエ変換を使用して算出する方法を説明す
る。
Next, a point image radius R is calculated for each color based on the image data of each color component (R, G, B) stored in the image memory 105 for the AF area (step S10).
4-S108). As a method of calculating the point image radius R, a method of calculating using the Fourier transform will be described below.

【0037】まず、点像分布係数算出部120では、A
Fエリア画像データメモリ105に格納された各色成分
(R,G,B)の画像データに基づいて、各色毎(R,
G,B)に点像分布係数を算出する。具体的には、窓関
数乗算部106は、下式(1)に示す如く、AFエリア
の画像データf0(u,v)について、画像境界の高周波成
分の影響を低減するために、例えば、図9に示すような
ハミング窓等の2次元窓関数w(u,v)を乗じる(ステ
ップS104)。
First, the point spread coefficient calculator 120 calculates A
Based on the image data of each color component (R, G, B) stored in the F area image data memory 105, each color (R, G, B)
G, B), the point spread coefficient is calculated. Specifically, the window function multiplying unit 106 reduces the influence of the high frequency component at the image boundary on the image data f 0 (u, v) in the AF area as shown in the following equation (1), for example: A two-dimensional window function w (u, v) such as a Hamming window as shown in FIG. 9 is multiplied (step S104).

【0038】 f (u,v)=w(u,v)・f0(u,v)・・・(1) 但し、w(u,v)=w(u)・w(v) w(u)=0.54+0.46・cos(2πu/N) w(v)=0.54+0.46・cos(2πv/N) N:画像サイズF (u, v) = w (u, v) · f 0 (u, v) (1) where w (u, v) = w (u) · w (v) w ( u) = 0.54 + 0.46 · cos (2πu / N) w (v) = 0.54 + 0.46 · cos (2πv / N) N: Image size

【0039】次に、2次元FFT部107は、このf
(u,v)について2次元の離散フーリエ変換DFT(実
際には高速フーリエ変換FFTを行う)を行い、周波数
領域のデータF(U,V)を得る(ステップS105)。
Next, the two-dimensional FFT unit 107
A two-dimensional discrete Fourier transform DFT (actually, a fast Fourier transform FFT is performed) is performed on (u, v) to obtain frequency domain data F (U, V) (step S105).

【0040】そして、位相操作部108は、周波数領域
での点像分布係数を複素数H(U,V)とした場合に、こ
のH(U,V)を求めるために、周波数領域にある画像デ
ータF(U,V)の各位相をゼロに置き換える(ステップ
S106)。すなわち、下式(2)、(3)に示す如
く、F(U,V)の振幅をH(U,V)の実部に、またH(U,
V)の虚部をゼロにする。
When the point spread coefficient in the frequency domain is a complex number H (U, V), the phase operation unit 108 calculates the image data in the frequency domain in order to obtain the H (U, V). Each phase of F (U, V) is replaced with zero (step S106). That is, as shown in the following equations (2) and (3), the amplitude of F (U, V) is set to the real part of H (U, V) and H (U, V).
The imaginary part of V) is set to zero.

【0041】 Re{H(U,V)}=|F(U,V)|・・・(2) Im{H(U,V)}=0 ・・・(3) 但し、|F(U,V)|=√[ Re{F(U,V)}2+ Im
{F(U,V)}2
Re {H (U, V)} = | F (U, V) | (2) Im {H (U, V)} = 0 (3) where | F (U , V) | = {[Re {F (U, V)} 2 + Im
{F (U, V)} 2 ]

【0042】2次元IFFT部109は、この結果に対
して、2次元の逆離散フーリエ変換IDFT(実際には
逆高速フーリエ変換IFFTを行う)を行うことによ
り、点像分布係数h(u,v)を算出する(ステップS1
07)、そして、各色毎(R,G,B)に算出された点
像分布係数h(u,v)は、点像分布係数メモリ110に
格納される。
The two-dimensional IFFT section 109 performs a two-dimensional inverse discrete Fourier transform IDFT (actually, performs an inverse fast Fourier transform IFFT) on the result to obtain a point image distribution coefficient h (u, v). ) (Step S1)
07) Then, the point spread coefficient h (u, v) calculated for each color (R, G, B) is stored in the point spread coefficient memory 110.

【0043】そして、距離方向算出部111は、各色の
点像分布係数h(u,v)に基づき、各色毎に点像半径R
(R色の点像半径はRr、G色の点像半径はRg、B色
の点像半径はRbとする)を算出する(ステップS10
8)。点像半径Rの具体的な算出方法を図7のフローチ
ャートを参照して説明する。なお、点像分布係数h(u,
v)は原点においてピーク値を示す。合焦画像から得た
点像分布係数の一例を図10に、ボケ画像から得た点像
分布係数の一例を図11に示す。図10および図11に
示すように、合焦画像の点像分布関数の分布はインパル
ス形状となり、ボケ画像の点像分布関数の分布はボケの
程度に応じて緩やかな円錐形状となる。
The distance direction calculation unit 111 calculates a point image radius R for each color based on the point image distribution coefficient h (u, v) of each color.
(The point image radius of the R color is Rr, the point image radius of the G color is Rg, and the point image radius of the B color is Rb) (step S10).
8). A specific method of calculating the point image radius R will be described with reference to the flowchart of FIG. Note that the point spread coefficient h (u, u,
v) indicates a peak value at the origin. FIG. 10 shows an example of the point spread coefficient obtained from the focused image, and FIG. 11 shows an example of the point spread coefficient obtained from the blurred image. As shown in FIGS. 10 and 11, the distribution of the point spread function of the focused image has an impulse shape, and the distribution of the point spread function of the blurred image has a gentle cone shape according to the degree of blur.

【0044】図7において、例えばインパルス形状や円
錐形状の原点ピーク値を入力し(ステップS201)、
原点ピーク値に基づいて断面しきい値を算出し(ステッ
プS202)、例えば図6に示すように、算出した断面
しきい値で点像分布係数をスライスした点像分布係数の
断面積(断面画素数)Sを算出する(ステップS20
3)。具体的には、図6(a)に示すように、断面部に
あたる画素数をカウントすることにより断面積Sを算出
する。同図に示す例では、断面積Sは「52」となって
いる。そして、算出した断面積Sに基づき、下式(4)
の演算を行うことにより点像半径Rを算出し(ステップ
S204)、算出した点像半径Rを出力する(ステップ
S205)。図6(b)に示す例では、点像半径Rは
「4」となっている。
Referring to FIG. 7, for example, an origin peak value of an impulse shape or a conical shape is input (step S201).
A sectional threshold is calculated based on the peak value of the origin (step S202). For example, as shown in FIG. 6, the sectional area of the point spread coefficient obtained by slicing the point spread coefficient by the calculated sectional threshold (cross sectional pixel) Calculate S) (Step S20)
3). Specifically, as shown in FIG. 6A, the cross-sectional area S is calculated by counting the number of pixels corresponding to the cross-section. In the example shown in the figure, the cross-sectional area S is “52”. Then, based on the calculated sectional area S, the following equation (4)
Is calculated (step S204), and the calculated point image radius R is output (step S205). In the example shown in FIG. 6B, the point image radius R is “4”.

【0045】R=√(S/π) ・・・(4) 但し、π:円周率R = √ (S / π) (4) where π: pi

【0046】つづいて、図15において、距離方向算出
部111は、各色毎の点像半径Rを算出した後は、焦点
方向の判別と焦点距離Lの算出を行う(ステップS10
9)。図8を参照して、焦点方向の判別と焦点距離の算
出方法を具体的に説明する。ここでは、G色画像の焦点
位置を目標焦点距離に選んだ場合について説明する。
Subsequently, in FIG. 15, after calculating the point image radius R for each color, the distance direction calculator 111 determines the focal direction and calculates the focal length L (step S10).
9). With reference to FIG. 8, a method of determining the focal direction and calculating the focal length will be specifically described. Here, the case where the focal position of the G color image is selected as the target focal length will be described.

【0047】距離方向算出部111では、RGB画像の
各点像半径Rr:Rg:Rbの大小関係を判断して合焦
点の方向を推定し、さらに、焦点方向に応じて合焦点ま
での距離を推定する。
The distance direction calculation unit 111 estimates the direction of the focal point by judging the magnitude relation of the point image radii Rr: Rg: Rb of the RGB image, and further calculates the distance to the focal point according to the focal direction. presume.

【0048】具体的には、RGB色画像の各点像半径の
Rr:Rg:Rbの入力、絞り開口部Roの入力、絞り
受光面距離Loの入力がなされると(ステップS30
1)、RGB色画像の各点像半径Rr:Rg:Rbの大
小関係を判断する(ステップS302)。Rr<Rg<
Rbの場合には、ステップS303に移行して、前ピン
と推定し(ステップS303)、焦点距離Lについて
は、絞り開口径Ro、絞り面受光面距離Loの情報、お
よびG色画像の点像半径Rgに基づき、下式(5)によ
り、焦点距離L(カラーイメージセンサー103のG色
の合焦点までの距離)を算出する。図13は前ピン時の
焦点距離Lの一例を示す図である。
More specifically, when the input of Rr: Rg: Rb, the input of the aperture opening Ro, and the input of the aperture light receiving surface Lo of the radius of each point image of the RGB color image are performed (step S30).
1) The magnitude relation of the point image radii Rr: Rg: Rb of the RGB color image is determined (step S302). Rr <Rg <
In the case of Rb, the process shifts to step S303 to estimate the front focus (step S303), and for the focal length L, information on the aperture opening diameter Ro, the aperture surface light receiving surface distance Lo, and the point image radius of the G color image Based on Rg, the focal length L (the distance to the in-focus point of the color G of the color image sensor 103) is calculated by the following equation (5). FIG. 13 is a diagram illustrating an example of the focal length L at the time of front focus.

【0049】 L=Lo・Rg/(Ro+Rg)・・・(5)L = Lo · Rg / (Ro + Rg) (5)

【0050】また、ステップS302において、Rr>
Rg<Rbの場合には、ステップS304に移行して、
合焦と推定し、焦点距離L=0と推定する(ステップS
307)。
In step S302, Rr>
If Rg <Rb, the process proceeds to step S304,
It is estimated that the subject is in focus and the focal length L = 0 (step S)
307).

【0051】また、ステップS302において、Rr>
Rg>Rbの場合には、ステップS305に移行して、
後ピンと推定し、焦点距離Lを、絞り開口径Ro、と絞
り面受光面距離Loの情報、およびG色画像の点像半径
Rgに基づき、下式(5)により算出する。図14は、
後ピン時の焦点距離Lの一例を示す図である。
In step S302, Rr>
If Rg> Rb, the process proceeds to step S305,
The focal length L is estimated based on the rear focus, and the focal length L is calculated by the following equation (5) based on the information of the aperture diameter Ro, the aperture surface light receiving surface distance Lo, and the point image radius Rg of the G color image. FIG.
FIG. 7 is a diagram illustrating an example of a focal length L at the time of back focus.

【0052】 L=Lo・Rg/(Ro−Rg)・・・(6)L = Lo · Rg / (Ro−Rg) (6)

【0053】そして、算出した焦点距離Lを出力する
(ステップS309)。つづいて、処理は、図6のステ
ップS110に移行し、焦点駆動制御装置112は、算
出した焦点距離Lに基づき、合焦状態にあるか否か(カ
ラーイメージセンサ103の受光位置とAF用レンズ1
01Aの合焦点が一致したか否か)を判断し、合焦状態
でない場合には、カラーイメージセンサ103(または
AF用レンズ101A)を合焦位置(算出した焦点位置
方向に焦点距離Lだけ)に速やかに移動した(ステップ
S111)後、ステップS102に戻り、真の合焦位置
(合焦状態)に到達したかを判断するためにもう一度同
じAF処理を繰り返して、合焦状態にあるか否かを判断
し、合焦状態となるまで同じAF処理(ステップS10
2〜ステップS111)を繰り返す。
Then, the calculated focal length L is output (step S309). Subsequently, the process proceeds to step S110 in FIG. 6, and the focus drive control device 112 determines whether or not the subject is in focus based on the calculated focal length L (the light receiving position of the color image sensor 103 and the AF lens). 1
It is determined whether or not the focal point of 01A is coincident). If the focal point is not in the in-focus state, the color image sensor 103 (or the AF lens 101A) is moved to the focal position (only the focal length L in the calculated focal position direction). (Step S111), the process returns to Step S102, and the same AF process is repeated once again to determine whether the camera has reached a true focus position (focused state). The same AF processing is performed until the focusing state is achieved (step S10).
2 to step S111) are repeated.

【0054】他方、ステップS110で合焦であると判
断した場合には、撮影/AF切替装置113は、AF用
レンズ101Aと撮影用レンズ101Bを切り替えて、
光軸上に撮影用レンズ101Bを配置し(ステップS1
12)、被写体の撮影の準備完了となり、シャッターボ
タン全押し待ちの状態になる。この後、シャッターボタ
ンが全押しされると、それに連動して一定時間シャッタ
ーが開き、被写体からの光をカラーイメージセンサ10
3で受光する。そして、イメージセンサ103から画像
データはそれぞれのフレーム用画像メモリ(R/G/
B)114に転送され、これらのデータはホワイトバラ
ンス等の画像処理の後、保存またはモニタ表示される
(ステップS113)。
On the other hand, if it is determined in step S110 that the object is in focus, the photographing / AF switching device 113 switches between the AF lens 101A and the photographing lens 101B.
The photographing lens 101B is arranged on the optical axis (step S1).
12), the preparation for photographing the subject is completed, and the system is in a state of waiting for the shutter button to be fully pressed. Thereafter, when the shutter button is fully depressed, the shutter is opened for a certain period of time in conjunction therewith, and light from the subject is transmitted to the color image sensor 10.
Light is received at 3. The image data from the image sensor 103 is stored in each frame image memory (R / G /
B) The data is transferred to 114, and these data are stored or displayed on a monitor after image processing such as white balance (step S113).

【0055】なお、AF動作の回数については、カラー
イメージセンサ103(またはAF用レンズ101A)
の移動開始位置が合焦位置の近傍である場合には、ほぼ
ピントが合っている画像からフォーカス情報を得るため
に、点像分布係数は図10に示すような鋭いピークを示
し、一回のAF動作で合焦位置の許容範囲内に到達す
る。他方、カラーイメージセンサ103(またはAF用
レンズ101B)の移動開始位置が合焦位置から遠い場
合には、ボケた画像からフォーカス情報を得るために、
点像分布係数は図11に示すような緩やかなピークを示
し、複数回のAF動作で合焦位置の許容範囲内に到達す
る。
Note that the number of AF operations is determined by the color image sensor 103 (or the AF lens 101A).
In the case where the movement start position is near the in-focus position, the point spread coefficient shows a sharp peak as shown in FIG. The focus position is reached within the allowable range by the AF operation. On the other hand, if the movement start position of the color image sensor 103 (or the AF lens 101B) is far from the focus position, in order to obtain focus information from a blurred image,
The point spread coefficient shows a gradual peak as shown in FIG. 11, and reaches the allowable range of the focus position by a plurality of AF operations.

【0056】以上説明したように、本実施の形態1にお
いては、カラーイメージセンサー103の撮像エリア
(撮像フレーム)の中央部分にAFエリアを設定してお
き、AFのための撮像では、複数の可視光波長(例えば
RGB色)にて色収差を補正しないレンズ(AF用レン
ズ101A)で被写体を撮像した後、カラーイメージセ
ンサー103上のAFエリアの画像データの各色毎のボ
ケ特性情報(点像分布係数)に基づき、合焦点までの距
離と方向を推定し、カラーイメージセンサ103の受光
位置とAF用レンズ101Aの合焦点が一致するよう
に、AF用レンズ101Aまたはカラーイメージセンサ
103を移動した後、色収差を補正した撮像用レンズ1
01Bにて被写体の撮影をすることとしたので、一回の
AFのための撮像のみで焦点位置までの距離と方向の情
報を得ることができ、速やかに合焦させることが可能と
なる。また、被写体の動きに追従させて合焦させること
が可能となる。
As described above, in the first embodiment, the AF area is set at the center of the image pickup area (image pickup frame) of the color image sensor 103, and a plurality of visible areas are set for the image pickup for AF. After imaging a subject with a lens (AF lens 101A) that does not correct chromatic aberration at a light wavelength (for example, RGB color), blur characteristic information (point image distribution coefficient) for each color of the AF area image data on the color image sensor 103 ), The distance and direction to the focal point are estimated, and after moving the AF lens 101A or the color image sensor 103 so that the light receiving position of the color image sensor 103 and the focal point of the AF lens 101A coincide with each other, Imaging lens 1 with corrected chromatic aberration
Since shooting of the subject is performed at 01B, information on the distance and direction to the focal position can be obtained only by one imaging for AF, and it is possible to focus quickly. Further, it becomes possible to focus on the subject by following the movement of the subject.

【0057】また、本実施の形態1においては、各色の
点像半径の大きさを比較して、焦点方向を判別する構成
としたので、フィルタ方式で高周波成分の大きさによっ
て焦点方向を判別する方法に比して、被写体の色成分に
影響されにくいという効果を奏する。
In the first embodiment, the focal direction is determined by comparing the point image radii of the respective colors, so that the focal direction is determined based on the magnitude of the high-frequency component by a filter method. As compared with the method, there is an effect that the color component of the subject is less affected.

【0058】また、本実施の形態1においては、色収差
補正された撮影用レンズ101Bと、複数の可視光波長
について異なる焦点距離になるように光軸上に色収差を
生じさせ、可視光波長帯中のある1色(例えばG色)の
焦点位置が撮影用レンズ101Bと同じ焦点位置になる
よう配置されるAF用レンズ101Aとを備え、AF動
作では、このAF用レンズ101Aを介して撮像したフ
レームのAFエリア画像を取り込み、AFエリアの画像
データの各色についてボケ特性を示す点像分布係数を各
々求め、各色の点像分布係数に基づいて、各色の点像半
径を算出し、各色の点像半径から合焦点までの距離と方
向を推定し、算出した合焦点までの距離に基づいて、カ
ラーイメージセンサ103の受光位置とAF用レンズ1
01Aの合焦点が一致したか否かを判断し、合焦点が一
致しないと判断した場合には、算出した合焦点までの距
離と方向に従ってAF用レンズ101Aまたはカラーイ
メージセンサ103を移動し、合焦点が一致したと判断
した場合には、撮影用レンズ101Bに切り替えて被写
体の通常の撮影をすることとしたので、一回のAFのた
めの撮像のみで合焦点までの距離と方向の情報を得るこ
とができ、速やかに合焦させることが可能となる。ま
た、被写体の動きに追従させて合焦させることが可能と
なる。さらに、AF用レンズ101Aと撮影用レンズ1
01Bを切り替える簡単な構成でAFのための撮像と通
常の撮像を行うことが可能となる。
Further, in the first embodiment, chromatic aberration is generated on the optical axis so as to have different focal lengths for a plurality of visible light wavelengths with respect to the photographing lens 101B whose chromatic aberration has been corrected. And an AF lens 101A arranged so that the focal position of a certain color (for example, G color) has the same focal position as the photographing lens 101B. In the AF operation, a frame imaged through the AF lens 101A is provided. Of the AF area, obtains a point spread coefficient indicating a blur characteristic for each color of the image data of the AF area, calculates a point spread radius of each color based on the point spread coefficient of each color, and calculates a point spread of each color. The distance and direction from the radius to the focal point are estimated, and the light receiving position of the color image sensor 103 and the AF lens 1 are determined based on the calculated distance to the focal point.
It is determined whether or not the focal point of 01A matches, and if it is determined that the focal points do not match, the AF lens 101A or the color image sensor 103 is moved according to the calculated distance and direction to the focal point, and When it is determined that the focal points match, it is decided to switch to the photographing lens 101B to perform normal photographing of the subject, so that information on the distance and direction to the focal point is obtained only by one image pickup for AF. And focus can be quickly achieved. Further, it becomes possible to focus on the subject by following the movement of the subject. Further, the AF lens 101A and the photographing lens 1
It is possible to perform imaging for AF and normal imaging with a simple configuration for switching 01B.

【0059】また、実施の形態1においては、点像分布
係数を算出する方法として、AFエリアの画像データに
窓関数を乗算後、2次元フーリエ変換により周波数領域
の振幅と位相に変換し、この全周波数領域の各位相をゼ
ロに置き換えた後、2次元逆フーリエ変換することで点
像分布係数を得ることとしたので、DFT(離散フーリ
エ変換)やFFT(高速フーリエ変換)を適用でき、D
SP(Digital SignalProcessor)等のデジタル集積回路
に適している。
In the first embodiment, as a method of calculating the point spread coefficient, image data in the AF area is multiplied by a window function, and then converted into amplitude and phase in the frequency domain by two-dimensional Fourier transform. After replacing each phase in the entire frequency domain with zero, two-dimensional inverse Fourier transform is performed to obtain a point spread coefficient. Therefore, DFT (discrete Fourier transform) and FFT (fast Fourier transform) can be applied.
It is suitable for digital integrated circuits such as SP (Digital Signal Processor).

【0060】また、実施の形態1においては、距離方向
算出部111は、点像分布係数の原点のピーク値に基づ
き算出したしきい値に基づき断面積を算出し、この断面
積に基づいて点像半径を得ることとしたので、実際のカ
メラの絞り開口部のように、点像断面が円形にならない
多角形のような場合でも、円形近似した場合の点像半径
が求めることができ、点像半径を簡単かつ高精度に算出
することが可能となる。
Further, in the first embodiment, distance direction calculating section 111 calculates a cross-sectional area based on a threshold value calculated based on the peak value of the point spread coefficient at the origin, and calculates a point based on the cross-sectional area. Since the image radius is obtained, even when the point image cross-section is a polygon that does not become circular, such as an aperture opening of an actual camera, the point image radius in the case of approximating a circle can be obtained. The image radius can be easily and accurately calculated.

【0061】(実施の形態2)実施の形態2を図15〜
図19を参照して説明する。図15は実施の形態2に係
るデジタルカメラのAF処理系の構成図を示す。実施の
形態1(図1参照)においては、撮像用光学系の中心軸
上に、AF用レンズ101Aと撮影用レンズ101Bを
別個に用意し、AF時と撮影時でAF用レンズ101A
と撮影用レンズ101Bとを切り替える構成であるのに
対して、実施の形態2においては、レンズ群の配置の違
いで色収差補正有りの状態と色収差補正無しの状態とを
切り替える構成を説明する。他の構成は、実施の形態1
と同様であるので共通する部分の説明は省略する。尚、
図15において、図1と同等部分には同一符号を付して
ある。
(Embodiment 2) Embodiment 2 is described with reference to FIGS.
This will be described with reference to FIG. FIG. 15 is a configuration diagram of an AF processing system of the digital camera according to the second embodiment. In the first embodiment (see FIG. 1), the AF lens 101A and the photographing lens 101B are separately prepared on the central axis of the photographing optical system, and the AF lens 101A is used at the time of AF and at the time of photographing.
In the second embodiment, a configuration in which chromatic aberration correction is performed and a state in which chromatic aberration is not corrected due to a difference in arrangement of lens groups will be described. Other configurations are described in Embodiment 1.
Therefore, description of common parts is omitted. still,
In FIG. 15, the same parts as those in FIG. 1 are denoted by the same reference numerals.

【0062】図15において、101は撮影兼AF用レ
ンズを示しており、レンズ群(低分散材(レンズ)と高
分散材(レンズ))の配置の違いで色収差補正有りの状
態と色収差補正無しの状態とを切替可能に構成されてい
る。撮影/AF切替装置113は、この撮影兼AF用レ
ンズ101のレンズ群を、AF時には色収差補正無しの
状態となるように配置し、撮影時には色収差補正有りの
状態となるように配置する。
In FIG. 15, reference numeral 101 denotes a photographing and AF lens, which has chromatic aberration correction and no chromatic aberration correction depending on the arrangement of the lens groups (low dispersion material (lens) and high dispersion material (lens)). The state can be switched. The photographing / AF switching device 113 arranges the lens group of the photographing / AF lens 101 so as to be in a state without chromatic aberration correction during AF, and to be in a state with chromatic aberration correction during photographing.

【0063】つぎに、撮影兼AF用レンズ101の機能
を図16〜図19を参照して説明する。図16は撮影兼
AF用レンズ101の色収差補正をしない場合のレンズ
配置を示し、図17は図16のレンズ配置の場合(色収
差補正をしない場合)の焦点距離と色波長の関係を示
し、図18は撮影兼AF用レンズ101の色収差補正を
する場合のレンズ配置を示し、図19は図18のレンズ
配置の場合(色収差補正をする場合)の焦点距離と色波
長の関係を示す。
Next, the function of the photographing and AF lens 101 will be described with reference to FIGS. FIG. 16 shows the lens arrangement of the imaging and AF lens 101 when chromatic aberration correction is not performed, and FIG. 17 shows the relationship between the focal length and the color wavelength in the case of the lens arrangement of FIG. 16 (when chromatic aberration correction is not performed). 18 shows the lens arrangement when the chromatic aberration of the photographing and AF lens 101 is corrected, and FIG. 19 shows the relationship between the focal length and the color wavelength in the case of the lens arrangement of FIG. 18 (when the chromatic aberration is corrected).

【0064】図16は、図17に示すような、目標焦点
距離が色波長(R,G,B)により異なる状態とする場
合の撮影兼AF用レンズ101の低分散材(レンズ)2
01と高分散材(レンズ)202の配置例を示してい
る。図16に示すように、撮影兼AF用レンズ101を
色収差補正しない状態とする場合には、低分散材(レン
ズ)201と高分散材(レンズ)202の間隔を大きく
する。
FIG. 16 shows a low-dispersion material (lens) 2 of the photographing and AF lens 101 when the target focal length is different depending on the color wavelength (R, G, B) as shown in FIG.
1 shows an example of the arrangement of a high dispersion material (lens) 202. As shown in FIG. 16, when the photographic / AF lens 101 is not to be subjected to chromatic aberration correction, the distance between the low dispersion material (lens) 201 and the high dispersion material (lens) 202 is increased.

【0065】図18は、図19に示すように目標焦点距
離が各色波長(R,G,B)で同一となるような、撮影
兼AF用レンズ101の低分散材(レンズ)201と高
分散材(レンズ)202の配置例を示している。図18
に示すように、撮影兼AF用レンズ101を色収差補正
する状態とする場合には、低分散材(レンズ)201と
高分散材(レンズ)202との間隔を小さくする。な
お、光学レンズの配置上、目標焦点距離にできない場合
には、AF処理装置側でその補正を行えばよい。
FIG. 18 shows a low-dispersion material (lens) 201 and a high-dispersion material of the lens for shooting and AF 101 such that the target focal length is the same for each color wavelength (R, G, B) as shown in FIG. An example of the arrangement of the material (lens) 202 is shown. FIG.
As shown in (1), when the photographic / AF lens 101 is in a state of correcting chromatic aberration, the distance between the low dispersion material (lens) 201 and the high dispersion material (lens) 202 is reduced. If the target focal length cannot be attained due to the arrangement of the optical lens, the correction may be performed on the AF processing device side.

【0066】AF動作および撮影動作に関しては、AF
のための撮像では、撮影/AF切替装置113が、撮影
兼AF用レンズ101の配置を図16に示すような配置
(色収差無しの状態)とし、本撮影では、撮影/AF切
替装置113が、撮影兼AF用レンズ101の配置を図
18に示すような配置(色収差有りの状態)とし、他の
動作は実施の形態1(図6〜図8のフローチャート参
照)と同様であるのでその説明は省略する。
Regarding the AF operation and the photographing operation,
In the image pickup for the above, the photographing / AF switching device 113 sets the arrangement of the photographing / AF lens 101 as shown in FIG. 16 (without chromatic aberration), and in the actual photographing, the photographing / AF switching device 113 The arrangement of the photographing and AF lens 101 is set as shown in FIG. 18 (a state with chromatic aberration), and the other operations are the same as those in the first embodiment (see the flowcharts in FIGS. 6 to 8). Omitted.

【0067】以上説明したように、実施の形態2におい
ては、レンズ群の配置の違いで色収差補正有りの状態と
色収差補正無しの状態とを切り替え可能な撮影兼AF用
レンズ101を備え、AFのための撮像では、撮影兼A
F用レンズ101のレンズ群の配置を色収差補正無しの
状態として、本撮影では、撮影兼AF用レンズ101の
レンズ群の配置を色収差補正有りの状態とすることとし
たので、簡単なレンズ構成で、AFのための撮像と通常
の撮像を行うことが可能となる。
As described above, the second embodiment includes the photographing / AF lens 101 which can switch between a state with chromatic aberration correction and a state without chromatic aberration correction depending on the arrangement of the lens groups. Shooting for shooting A
Since the arrangement of the lens group of the F lens 101 is set to a state without chromatic aberration correction, and in the actual photographing, the arrangement of the lens group of the shooting and AF lens 101 is set to a state with chromatic aberration correction. , AF imaging and normal imaging can be performed.

【0068】尚、本発明は上記した実施の形態1、2に
限定されるものではなく、発明の要旨を変更しない範囲
で適宜変更可能である。
It should be noted that the present invention is not limited to the above-described first and second embodiments, and can be appropriately changed without changing the gist of the present invention.

【0069】また、上記した実施の形態1,2では、デ
ジタルカメラを例示して説明したが、本発明は原理上、
任意の焦点レンズ位置において一回の撮像のみで合焦位
置までの距離と方向の情報を得ることができ、追跡サー
ボとして利用することが可能であるので、デジタルビデ
オカメラにも適用することが可能である。
In the first and second embodiments, the digital camera has been described as an example.
It is possible to obtain information on the distance and direction to the in-focus position with only one imaging at any focal lens position, and it can be used as a tracking servo, so it can be applied to digital video cameras It is.

【0070】また、上記した実施の形態1,2では、焦
点制御のための点像分布係数を求めるのに2次元の離散
フーリエ変換(DFT)または高速フーリエ変換(FF
T)によるデジタル信号処理を適用する。これらの演算
はカメラコントローラ用プロセッサの余剰能力を利用し
たり、またはIPP(Image Pre Processor)等の集積回
路内に演算回路を設けてもよい。また、窓関数について
は計算を省くためにw(u,v)の一部をテーブルとして
記憶しておき、係数乗算のみを行うことにしても良い。
In the first and second embodiments, the two-dimensional discrete Fourier transform (DFT) or the fast Fourier transform (FF) is used to obtain the point spread coefficient for focus control.
Apply digital signal processing according to T). These operations may use the surplus capacity of the camera controller processor, or may include an arithmetic circuit in an integrated circuit such as an IPP (Image Pre Processor). For the window function, a part of w (u, v) may be stored as a table in order to save the calculation, and only the coefficient multiplication may be performed.

【0071】[0071]

【発明の効果】請求項1に係る発明によれば、レンズ系
はAFのための撮像では被写体光を色収差補正しないで
結像する一方、通常の撮像では被写体光を色収差補正し
て結像し、カラー撮像素子は撮像エリアの中央部分にA
Fエリアが設定され、レンズ系により結像される被写体
像を画像データに変換し、合焦位置推定手段はAFエリ
アの画像データの各色毎のボケ特性情報を算出し、算出
した各色のボケ特性情報に基づいて、合焦点の方向およ
び合焦点までの距離を推定し、合焦状態判別手段は合焦
位置推定手段で推定された合焦点までの距離に基づき、
合焦状態にあるか否かを判断し、駆動手段は合焦状態判
別手段で合焦状態にないと判断された場合に、合焦位置
推定手段で推定された合焦点の方向に合焦点までの距離
だけ、レンズ系またはカラー撮像素子を移動させること
としたので、一回のAFのための撮像のみで焦点位置ま
での距離と方向の情報を得ることができ、簡単な構成で
高速な合焦動作を行うことが可能となる。
According to the first aspect of the invention, the lens system forms an image of the subject light without correcting the chromatic aberration in the imaging for AF, and forms the image by correcting the chromatic aberration of the subject light in the normal imaging. , The color image sensor is located at the center of the imaging area.
The F area is set, the subject image formed by the lens system is converted into image data, and the focus position estimating means calculates blur characteristic information for each color of the image data in the AF area, and calculates the blur characteristic of each color. Based on the information, the direction of the focal point and the distance to the focal point are estimated, and the focus state determining means is based on the distance to the focal point estimated by the focal position estimating means.
It is determined whether or not the camera is in focus, and if the drive means determines that the camera is not in focus by the focus state determination means, the drive means moves to the in-focus direction estimated by the focus position estimation means to reach the in-focus point. Since the lens system or the color image sensor is moved by the distance described above, information on the distance and direction to the focal position can be obtained only by performing imaging for one AF operation. A focus operation can be performed.

【0072】また、請求項2に係る発明によれば、被写
体光を色収差補正して結像する第1のレンズと、複数の
可視光波長について異なる焦点距離となるように光軸上
に色収差を生じさせ、当該可視光波長帯中の任意の1色
の焦点位置が前記第1のレンズと同じ焦点位置になるよ
うに配置される第2のレンズとを備え、レンズ切替手段
は通常の撮像では第1のレンズに、AFのための撮像で
は第2のレンズに切り替え、カラー撮像素子は撮像エリ
アの中央部分にAFエリアが設定され、第1または第2
のレンズにより結像される被写体像を画像データに変換
し、合焦位置推定手段はAFエリアの画像データの各色
毎にボケ特性を示す点像分布係数を算出し、算出した各
色の点像分布係数に基づき各色の点像半径を算出し、算
出した各色の点像半径に基づいて、合焦点の方向および
合焦点までの距離を推定し、合焦状態判別手段は合焦位
置推定手段で推定された合焦点までの距離に基づき、合
焦状態にあるか否かを判断し、駆動手段は合焦状態判別
手段で合焦状態にないと判断された場合に、合焦位置推
定手段で推定された合焦点の方向に合焦点までの距離だ
け、レンズ系またはカラー撮像素子を移動させることと
したので、一回のAFのための撮像のみで焦点位置まで
の距離と方向の情報を得ることができ、簡単な構成で高
速な合焦動作を行うことが可能となる。また、第1のレ
ンズと第2のレンズを切り替えることによりAFのため
の撮像と通常の撮像を行うことが可能となる。
According to the second aspect of the present invention, the first lens that forms an image by correcting the chromatic aberration of the subject light and the chromatic aberration on the optical axis so as to have different focal lengths for a plurality of visible light wavelengths are provided. And a second lens disposed so that a focal position of any one color in the visible light wavelength band is at the same focal position as that of the first lens. The first lens is switched to the second lens in the imaging for AF, and the color imaging element is set to the AF area in the center of the imaging area, and the first or second lens is set.
The in-focus position estimating means calculates a point image distribution coefficient indicating a blur characteristic for each color of the image data in the AF area, and calculates the point image distribution of each color. The point image radius of each color is calculated based on the coefficient, and the direction of the focal point and the distance to the focal point are estimated based on the calculated point image radius of each color. Based on the distance to the in-focus state, it is determined whether or not the camera is in focus. If the focus state determination means determines that the camera is not in focus, the drive position is estimated by the focus position estimation means. Since the lens system or the color image sensor is moved by the distance to the focal point in the direction of the focused focal point, information on the distance and the direction to the focal point position can be obtained only by one imaging for AF. High-speed focusing operation with a simple configuration. It becomes possible. Further, by switching between the first lens and the second lens, it is possible to perform imaging for AF and normal imaging.

【0073】また、請求項3に係る発明によれば、レン
ズ配置により、被写体光を色収差補正して結像させる第
1の態様と、被写体光を色収差補正しないで結像させる
第2の態様とを切替え可能なレンズ群を備え、レンズ切
替手段はレンズ群を移動させて、通常の撮像では第1の
態様に、AFのための撮像では第2の態様に切り替え、
カラー撮像素子は、撮像エリアの中央部分にAFエリア
が設定され、レンズ群により結像される被写体像を画像
データに変換し、合焦位置推定手段はAFエリアの画像
データの各色毎にボケ特性を示す点像分布係数を算出
し、算出した各色の点像分布係数に基づき各色の点像半
径を算出し、算出した各色の点像半径に基づいて、合焦
点の方向および合焦点までの距離を推定し、合焦状態判
別手段は合焦位置推定手段で推定された合焦点までの距
離に基づき、合焦状態にあるか否かを判断し、駆動手段
は合焦状態判別手段で合焦状態にないと判断された場合
に、合焦位置推定手段で推定された合焦点の方向に合焦
点までの距離だけ、レンズ系またはカラー撮像素子を移
動させることとしたので、簡単な構成で高速な合焦動作
を行うことが可能となる。また、レンズ群の配置を変更
することにより、AFのための撮像と通常の撮像を行う
ことが可能となる。
According to the third aspect of the present invention, the first mode in which the subject light is imaged with chromatic aberration corrected by the lens arrangement, and the second mode in which the subject light is imaged without chromatic aberration correction. And a lens switching unit that moves the lens group to switch to the first mode for normal imaging and to the second mode for imaging for AF,
The color image sensor has an AF area set at the center of the imaging area, converts the subject image formed by the lens group into image data, and the focus position estimating means uses the blur characteristic for each color of the image data in the AF area. Is calculated, and the point image radius of each color is calculated based on the calculated point image distribution coefficient of each color. Based on the calculated point image radius of each color, the direction of the focal point and the distance to the focal point are calculated. The in-focus state determining means determines whether or not the camera is in focus based on the distance to the focal point estimated by the in-focus position estimating means. When it is determined that the camera is not in the state, the lens system or the color image sensor is moved by the distance to the focal point in the direction of the focal point estimated by the focal point position estimating means. Focus operation That. Further, by changing the arrangement of the lens groups, it is possible to perform imaging for AF and normal imaging.

【0074】また、請求項4に係る発明によれば、請求
項2または請求項3に記載の発明において、合焦位置推
定手段は、AFエリアの画像データに窓関数を乗算後、
2次元フーリエ変換して周波数領域の振幅と位相に変換
し、この全周波数領域の各位相をゼロに置き換えた後、
2次元逆フーリエ変換して点像分布係数を算出すること
としたので、請求項2または請求項3に記載の発明の効
果に加えて、DFT(離散フーリエ変換)やFFT(高
速フーリエ変換)を適用でき、DSP(DigitalSignal P
rocessor)等のデジタル集積回路に適している。
According to a fourth aspect of the present invention, in the second or third aspect, the focus position estimating means multiplies the image data of the AF area by a window function.
After performing two-dimensional Fourier transform to convert into amplitude and phase in the frequency domain, and replacing each phase in this entire frequency domain with zero,
Since the point spread coefficient is calculated by performing a two-dimensional inverse Fourier transform, in addition to the effects of the invention described in claim 2 or claim 3, DFT (discrete Fourier transform) or FFT (fast Fourier transform) can be performed. Applicable, DSP (DigitalSignal P
Suitable for digital integrated circuits such as

【0075】また、請求項5に係る発明によれば、請求
項2〜請求項4のいずれか1つに記載の発明において、
合焦位置推定手段は、点像分布係数の原点ピーク値に基
づいて算出したしきい値に基づき断面積を算出し、算出
した断面積に基づいて点像半径を算出することとしたの
で、カメラの開口部のように、点像断面が円形にならな
い多角形のような場合でも、円形近似した場合の点像半
径が求めることができ、点像半径を簡単かつ高精度に算
出することが可能となる。
According to the invention of claim 5, in the invention of any one of claims 2 to 4,
The focus position estimating means calculates the cross-sectional area based on the threshold value calculated based on the peak point value of the point image distribution coefficient, and calculates the point image radius based on the calculated cross-sectional area. Even if the point image cross-section is a polygon that does not become circular, as in the opening part, the radius of the point image can be obtained when the circle is approximated, and the point image radius can be calculated easily and with high accuracy. Becomes

【0076】また、請求項6に係る発明によれば、レン
ズ系により、被写体光を色収差補正しないで結像し、カ
ラー撮像素子上に結像される被写体像のAFエリアの画
像データを各色毎にボケ特性情報を算出し、算出した各
色毎のボケ特性情報に基づいて、合焦点の方向と合焦点
までの距離を推定し、推定された合焦点までの距離に基
づいて合焦状態にあるか否かを判断し、合焦状態にない
と判断された場合に、推定された、合焦点の方向に合焦
点までの距離だけ、レンズ系またはカラー撮像素子を移
動させ、推定された合焦点の方向に合焦点までの距離だ
け、レンズ系またはカラー撮像素子を移動させた後、再
度、合焦状態にあるか否かを判断し、合焦状態にあると
判断された場合に、レンズ系により被写体光を色収差補
正してカラー撮像素子上に結像し、通常の撮影を行うこ
ととしたので、一回のAFのための撮像のみで焦点位置
までの距離と方向の情報を得ることができ、簡単な構成
で高速な合焦動作を行うことが可能となる。
According to the sixth aspect of the present invention, the object light is formed by the lens system without correcting the chromatic aberration, and the image data of the AF area of the object image formed on the color image pickup device is obtained for each color. The blur characteristic information is calculated based on the calculated blur characteristic information for each color, the direction of the focal point and the distance to the focal point are estimated, and the subject is in focus based on the estimated distance to the focal point. If it is determined that the camera is not in focus, the lens system or the color image sensor is moved by the estimated distance to the focus in the direction of the focus, and the estimated focus is determined. After moving the lens system or the color image sensor by the distance to the focal point in the direction of, it is determined again whether or not the lens is in focus, and if it is determined that the lens is in focus, the lens system is moved. Color correction by correcting chromatic aberration of subject light Since the image is formed on the child and normal photographing is performed, information on the distance and direction to the focal position can be obtained only by one imaging for AF, and high-speed focusing can be performed with a simple configuration. The operation can be performed.

【0077】また、請求項7に係る発明によれば、レン
ズ系により、被写体光を色収差補正しないで結像し、カ
ラー撮像素子上に結像される被写体像のAFエリアの画
像データの各色毎にボケ特性を示す点像分布係数を各々
算出し、算出した各色の点像分布係数に基づき各色の点
像半径を算出し、算出した各色の点像半径に基づき、合
焦点の方向および合焦点までの距離を推定し、推定され
た合焦点までの距離に基づいて合焦状態にあるか否かを
判断し、合焦状態にないと判断された場合に、推定され
た、合焦点の方向に合焦点までの距離だけ、レンズ系ま
たはカラー撮像素子を移動させ、推定された合焦点の方
向に合焦点までの距離だけレンズ系または前記カラー撮
像素子を移動させた後、再度、合焦状態にあるか否かを
判断し、合焦状態にあると判断された場合に、レンズ系
により被写体光を色収差補正してカラー撮像素子上に結
像し、通常の撮影を行うこととしたので、一回のAFの
ための撮像のみで簡単に焦点位置までの距離と方向の情
報を得ることができ、簡単な構成で高速な合焦動作を行
うことが可能となる。
According to the seventh aspect of the present invention, the object light is formed by the lens system without correcting the chromatic aberration, and each color of the image data in the AF area of the subject image formed on the color image pickup device. Calculate the point image distribution coefficients indicating the blur characteristics, calculate the point image radius of each color based on the calculated point image distribution coefficients of each color, and calculate the direction of the focal point and the focal point based on the calculated point image radius of each color. Is estimated based on the estimated distance to the focal point, and it is determined whether or not the subject is in focus. If it is determined that the subject is not in focus, the estimated direction of the focal point is determined. After moving the lens system or the color image sensor by the distance to the focal point, and moving the lens system or the color image sensor by the distance to the focal point in the direction of the estimated focal point, the focus state again. The camera is in focus, If it is determined that there is, the subject light is corrected for chromatic aberration by the lens system, and an image is formed on the color image pickup device, and normal photographing is performed. Information on the distance to the position and the direction can be obtained, and a high-speed focusing operation can be performed with a simple configuration.

【0078】また、請求項8に係る発明によれば、請求
項7に記載の発明において、AFエリアの画像データに
窓関数を乗算後、2次元フーリエ変換して周波数領域の
振幅と位相に変換し、この全周波数領域の各位相をゼロ
に置き換えた後、2次元逆フーリエ変換して点像分布係
数を算出することとしたので、請求項7に記載の発明の
効果に加えて、DFT(離散フーリエ変換)やFFT
(高速フーリエ変換)を適用でき、DSP(Digital Sig
nal Processor)等のデジタル集積回路に適している。
According to the invention of claim 8, in the invention of claim 7, the image data in the AF area is multiplied by a window function and then two-dimensionally Fourier-transformed to be converted into amplitude and phase in the frequency domain. Then, after replacing each phase in the entire frequency domain with zero, two-dimensional inverse Fourier transform is performed to calculate the point spread coefficient. Therefore, in addition to the effect of the invention described in claim 7, DFT ( Discrete Fourier Transform) or FFT
(Fast Fourier Transform) and DSP (Digital Sig
It is suitable for digital integrated circuits such as nal processors.

【0079】また、請求項9に係る発明によれば、請求
項7または請求項8に記載の発明において、点像分布係
数の原点ピーク値に基づいて算出したしきい値に基づき
断面積を算出し、算出した断面積に基づいて点像半径を
算出することとしたので、請求項7または請求項8に記
載の発明の効果に加えて、カメラの開口部のように、点
像断面が円形にならない多角形のような場合でも、円形
近似した場合の点像半径が求めることができ、点像半径
を簡単かつ高精度に算出することが可能となる。
According to a ninth aspect of the present invention, in the seventh or eighth aspect, the cross-sectional area is calculated based on the threshold value calculated based on the peak value of the point spread coefficient at the origin. Since the point image radius is calculated based on the calculated cross-sectional area, in addition to the effects of the invention according to claim 7 or claim 8, the point image cross-section is circular like an opening of a camera. Even in the case of a polygon that does not result in a circle, the point image radius in the case of circular approximation can be obtained, and the point image radius can be calculated easily and with high accuracy.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の原理を説明するための説明図である。FIG. 1 is an explanatory diagram for explaining the principle of the present invention.

【図2】カラーイメージセンサのAFエリアを説明する
ための説明図である。
FIG. 2 is an explanatory diagram for explaining an AF area of a color image sensor.

【図3】焦点の方向および距離の判別方法を説明するた
めの説明図である。
FIG. 3 is an explanatory diagram for explaining a method of determining the direction and distance of a focal point.

【図4】点像半径と絞り開口径の関係を説明するための
図である。
FIG. 4 is a diagram for explaining a relationship between a point image radius and a stop aperture diameter.

【図5】実施の形態1に係るデジタルカメラのAF処理
系の構成図である。
FIG. 5 is a configuration diagram of an AF processing system of the digital camera according to the first embodiment.

【図6】図5のデジタルカメラのAF動作および撮影動
作を説明するためのフローチャートである。
FIG. 6 is a flowchart illustrating an AF operation and a photographing operation of the digital camera in FIG. 5;

【図7】図7は図6のフローチャートの点像半径算出処
理を詳細に説明するためのフローチャートである。
FIG. 7 is a flowchart for explaining in detail a point image radius calculation process in the flowchart of FIG. 6;

【図8】図8は図6のフローチャートの焦点距離方向算
出処理を詳細に説明するためのフローチャートである。
FIG. 8 is a flowchart for explaining in detail a focal length direction calculation process in the flowchart of FIG. 6;

【図9】2次元ハミング窓関数を説明するための説明図
である。
FIG. 9 is an explanatory diagram for explaining a two-dimensional Hamming window function.

【図10】合焦時の点像分布係数を説明するための説明
図である。
FIG. 10 is an explanatory diagram for explaining a point spread coefficient at the time of focusing.

【図11】ピンボケ時の点像分布係数を説明するための
説明図である。
FIG. 11 is an explanatory diagram for explaining a point spread coefficient at the time of out-of-focus.

【図12】点像半径の算出方法を説明するための説明図
である。
FIG. 12 is an explanatory diagram for describing a method of calculating a point image radius.

【図13】前ピン時の焦点距離Lを説明するための説明
図である。
FIG. 13 is an explanatory diagram for explaining a focal length L at the time of front focus.

【図14】後ピン時の焦点距離Lを説明するための説明
図である。
FIG. 14 is an explanatory diagram for explaining a focal length L at the time of back focus.

【図15】実施の形態2に係るデジタルカメラのAF処
理系の構成図である。
FIG. 15 is a configuration diagram of an AF processing system of the digital camera according to the second embodiment.

【図16】撮影兼AF用レンズが色収差補正をしない場
合のレンズ配置例を示す図である。
FIG. 16 is a diagram illustrating an example of a lens arrangement in a case where a shooting and AF lens does not perform chromatic aberration correction.

【図17】図16のレンズ配置の場合(色収差補正をし
ない場合)の焦点距離と色波長の関係を示す図である。
17 is a diagram illustrating a relationship between a focal length and a color wavelength in the case of the lens arrangement in FIG. 16 (when chromatic aberration correction is not performed).

【図18】撮影兼AF用レンズが色収差補正をする場合
のレンズ配置を示す図である。
FIG. 18 is a diagram illustrating a lens arrangement in a case where a shooting and AF lens corrects chromatic aberration.

【図19】図18のレンズ配置の場合(色収差補正をす
る場合)の焦点距離と色波長の関係を示す図である。
19 is a diagram illustrating a relationship between a focal length and a color wavelength in the case of the lens arrangement in FIG. 18 (when performing chromatic aberration correction).

【符号の説明】[Explanation of symbols]

101A AF用レンズ 101B 撮影用レンズ 101 撮影兼AF用レンズ 102 撮像絞り 103 カラーイメージセンサー 104 自動露出制御部 105 AFエリア画像データメモリ 106 窓関数乗算部 107 2次元FFT部 108 位相操作部 109 2次元IFFT部 110 点像分布係数メモリ 111 距離方向算出部 112 焦点調整駆動装置 113 撮影/AF切替装置 114 フレーム用画像メモリ 120 点像分布係数算出部 Reference Signs List 101A AF lens 101B Shooting lens 101 Shooting and AF lens 102 Imaging aperture 103 Color image sensor 104 Automatic exposure control unit 105 AF area image data memory 106 Window function multiplication unit 107 Two-dimensional FFT unit 108 Phase operation unit 109 Two-dimensional IFFT Unit 110 Point image distribution coefficient memory 111 Distance direction calculation unit 112 Focus adjustment driving device 113 Photographing / AF switching device 114 Frame image memory 120 Point image distribution coefficient calculation unit

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2H011 AA03 BA33 BB04 BB06 2H051 BA45 BA47 CB22 CE12 CE14 CE16 CE21 CE24 CE26 5C022 AA13 AB28 AB29 AB30 AB31 AB46 AC00 AC42 AC54 AC74 5C065 AA01 AA03 BB11 BB26 CC01 CC09 DD01 EE12 GG16 GG23 GG30  ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2H011 AA03 BA33 BB04 BB06 2H051 BA45 BA47 CB22 CE12 CE14 CE16 CE21 CE24 CE26 5C022 AA13 AB28 AB29 AB30 AB31 AB46 AC00 AC42 AC54 AC74 5C065 AA01 AA03 BB11 BB26 CC01 CCGG DD GG01

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 AFのための撮像では被写体光を色収差
補正しないで結像する一方、通常の撮像では被写体光を
色収差補正して結像するレンズ系と、 撮像エリアの中央部分にAFエリアが設定され、前記レ
ンズ系により結像される被写体像を画像データに変換す
るカラー撮像素子と、 前記AFエリアの画像データの各色毎のボケ特性情報を
算出し、算出した各色のボケ特性情報に基づいて、合焦
点の方向および合焦点までの距離を推定する合焦位置推
定手段と、 前記合焦位置推定手段で推定された前記合焦点の距離に
基づき、合焦状態にあるか否かを判断する合焦状態判別
手段と、 前記合焦状態判別手段で合焦状態にないと判断された場
合に、前記合焦位置推定手段で推定された前記合焦点の
方向に前記合焦点までの距離だけ、前記レンズ系または
前記カラー撮像素子を移動させる駆動手段と、 を備えたことを特徴とする自動合焦装置。
1. An imaging system for forming an image without correcting chromatic aberration of subject light in imaging for AF, and a lens system for forming an image by correcting chromatic aberration of subject light in normal imaging, and an AF area in a central portion of the imaging area. A color imaging element configured to convert a subject image formed by the lens system into image data; and calculating blur characteristic information for each color of the image data in the AF area, based on the calculated blur characteristic information of each color. A focus position estimating means for estimating the direction of the focal point and a distance to the focal point; and determining whether or not the subject is in focus based on the focal point distance estimated by the focus position estimating means. Focusing state determining means, and when the focusing state determining means determines that the object is not in focus, the distance to the focusing point in the direction of the focusing point estimated by the focusing position estimating means, , The lens Or automatic focusing apparatus characterized by comprising a driving means for moving the color image sensor.
【請求項2】 被写体光を色収差補正して結像する第1
のレンズと、 複数の可視光波長について異なる焦点距離となるように
光軸上に色収差を生じさせ、当該可視光波長帯中の任意
の1色の焦点位置が前記第1のレンズと同じ焦点位置に
なるように配置される第2のレンズと、 通常の撮像では前記第1のレンズに、AFのための撮像
では前記第2のレンズに切り替えるレンズ切替手段と、 撮像エリアの中央部分にAFエリアが設定され、前記第
1または前記第2のレンズにより結像される被写体像を
画像データに変換するカラー撮像素子と、 前記AFエリアの画像データの各色毎にボケ特性を示す
点像分布係数を算出し、算出した各色の点像分布係数に
基づき各色の点像半径を算出し、算出した各色の点像半
径に基づいて、合焦点の方向および合焦点までの距離を
推定する合焦位置推定手段と、 前記合焦位置推定手段で推定された前記合焦点までの距
離に基づき、合焦状態にあるか否かを判断する合焦状態
判別手段と、 前記合焦状態判別手段で合焦状態にないと判断された場
合に、前記合焦位置推定手段で判別された前記合焦点の
方向に前記合焦点までの距離だけ、前記レンズ系または
前記カラー撮像素子を移動させる駆動手段と、 を備えたことを特徴とする自動合焦装置。
2. A first method for forming an image by correcting chromatic aberration of subject light.
And a chromatic aberration is generated on the optical axis so as to have different focal lengths for a plurality of visible light wavelengths, and a focal position of any one color in the visible light wavelength band is the same as the first lens. Lens switching means for switching to the first lens for normal imaging, and to the second lens for imaging for AF, and an AF area at the center of the imaging area Is set, and a color image sensor that converts a subject image formed by the first or second lens into image data; and a point image distribution coefficient indicating a blur characteristic for each color of the image data in the AF area. Focus position estimation for calculating the point image radius of each color based on the calculated point image distribution coefficient of each color, and estimating the direction of the focal point and the distance to the focal point based on the calculated point image radius of each color. Means, A focusing state determining unit that determines whether or not the camera is in focus based on the distance to the focal point estimated by the focusing position estimating unit; and a focusing state determining unit that determines that the camera is not in focus. A driving unit for moving the lens system or the color image sensor by a distance up to the focal point in the direction of the focal point determined by the focal position estimating unit when the determination is made. An automatic focusing device.
【請求項3】 レンズ配置により、被写体光を色収差補
正して結像させる第1の態様と、被写体光を色収差補正
しないで結像させる第2の態様とを切替え可能なレンズ
群と、 前記レンズ群を移動させて、通常の撮像では前記レンズ
群を前記第1の態様に、AFのための撮像では前記レン
ズ群を前記第2の態様に切り替えるレンズ切替手段と、 撮像エリアの中央部分にAFエリアが設定され、前記レ
ンズ群により結像される被写体像を画像データに変換す
るカラー撮像素子と、 前記AFエリアの画像データの各色毎にボケ特性を示す
点像分布係数を算出し、算出した各色の点像分布係数に
基づき各色の点像半径を算出し、算出した各色の点像半
径に基づいて、合焦点の方向および合焦点までの距離を
推定する合焦位置推定手段と、 前記合焦位置推定手段で推定された前記合焦点までの距
離に基づき、合焦状態にあるか否かを判断する合焦状態
判別手段と、 前記合焦状態判別手段で合焦状態にないと判断された場
合に、前記合焦位置推定手段で判別された前記合焦点の
方向に前記合焦点までの距離だけ、前記レンズ系または
前記カラー撮像素子を移動させる駆動手段と、 を備えたことを特徴とする自動合焦装置。
3. A lens group capable of switching between a first mode for forming an image by correcting chromatic aberration of the subject light and a second mode for forming an image without correcting the chromatic aberration of the subject light by a lens arrangement, and the lens. A lens switching unit that moves the lens group to switch the lens group to the first mode in normal imaging, and a lens switching unit to switch the lens group to the second mode in imaging for AF; An area is set, and a color image sensor for converting a subject image formed by the lens group into image data, and a point image distribution coefficient indicating a blur characteristic for each color of the image data of the AF area are calculated and calculated. A focus position estimating means for calculating a point image radius of each color based on a point image distribution coefficient of each color, and estimating a direction of a focal point and a distance to the focal point based on the calculated point image radius of each color; Focus A focus state determining unit that determines whether or not the camera is in focus based on the distance to the focal point estimated by the estimating unit; and a case where the focus state determining unit determines that the camera is not in focus. Driving means for moving the lens system or the color image sensor by a distance to the focus in the direction of the focus determined by the focus position estimating means. Focusing device.
【請求項4】 請求項2または請求項3に記載の自動合
焦装置において、 前記合焦位置推定手段は、前記AFエリアの画像データ
に窓関数を乗算後、2次元フーリエ変換して周波数領域
の振幅と位相に変換し、この全周波数領域の各位相をゼ
ロに置き換えた後、2次元逆フーリエ変換して前記点像
分布係数を算出することを特徴とする自動合焦装置。
4. The automatic focusing device according to claim 2, wherein the focus position estimating means multiplies the image data of the AF area by a window function, and performs a two-dimensional Fourier transform to perform frequency domain processing. An automatic focusing device, wherein the point image distribution coefficient is calculated by performing two-dimensional inverse Fourier transform after converting each phase of the entire frequency range to zero.
【請求項5】 請求項2〜請求項4のいずれか1つに記
載の自動合焦装置において、 前記合焦位置推定手段は、前記点像分布係数の原点ピー
ク値に基づいて算出したしきい値に基づき断面積を算出
し、算出した断面積に基づいて前記点像半径を算出する
ことを特徴とする自動合焦装置。
5. The automatic focusing device according to claim 2, wherein the in-focus position estimating unit calculates a threshold based on an origin peak value of the point image distribution coefficient. An automatic focusing device, wherein a cross-sectional area is calculated based on a value, and the point image radius is calculated based on the calculated cross-sectional area.
【請求項6】 レンズ系またはカラー撮像素子を移動さ
せて自動合焦動作を行う自動合焦装置の合焦方法におい
て、 前記レンズ系により、被写体光を色収差補正しないで結
像する第1のステップと、 前記カラー撮像素子上に結像される被写体像のAFエリ
アの画像データを各色毎にボケ特性情報を算出し、算出
した各色毎のボケ特性情報に基づいて、合焦点の方向と
合焦点までの距離を推定する第2のステップと、 前記推定された合焦点までの距離に基づいて合焦状態に
あるか否かを判断する第3のステップと、 前記第3のステップで、合焦状態にないと判断された場
合に、前記推定された前記合焦点の方向に前記合焦点ま
での距離だけ、前記レンズ系または前記カラー撮像素子
を移動させる第4のステップと、 前記推定された前記合焦点の方向に前記合焦点までの距
離だけ、前記レンズ系または前記カラー撮像素子を移動
させた後、前記第1のステップ〜第3のステップを繰り
返す第5のステップと、 前記第3のステップで、合焦状態にあると判断された場
合に、前記レンズ系により被写体光を色収差補正して前
記カラー撮像素子上に結像し、通常の撮影を行う第6の
ステップと、 を含むことを特徴とする自動合焦装置の合焦方法。
6. A focusing method of an automatic focusing device for performing an automatic focusing operation by moving a lens system or a color image pickup device, wherein the lens system forms an image of subject light without correcting chromatic aberration. Calculating the blur characteristic information for each color of the image data of the AF area of the subject image formed on the color image sensor, and based on the calculated blur characteristic information for each color, the direction of the focal point and the focal point. A second step of estimating a distance to the camera; a third step of determining whether or not the camera is in focus based on the estimated distance to the in-focus point; A fourth step of moving the lens system or the color imaging device in the direction of the estimated focal point by the distance to the focal point when it is determined that the lens is not in the state; Focus A fifth step of repeating the first to third steps after moving the lens system or the color image sensor by a distance to the focal point in a direction, and a third step. A sixth step of, when it is determined that the subject is in focus, correcting the chromatic aberration of the subject light by the lens system, forming an image on the color image sensor, and performing normal photographing; Focusing method for automatic focusing device.
【請求項7】 レンズ系またはカラー撮像素子を移動さ
せて自動合焦動作を行う自動合焦装置の合焦方法におい
て、 前記レンズ系により、被写体光を色収差補正しないで結
像する第1のステップと、 前記カラー撮像素子上に結像される被写体像のAFエリ
アの画像データの各色毎にボケ特性を示す点像分布係数
を各々算出し、算出した各色の点像分布係数に基づき各
色の点像半径を算出し、算出した各色の点像半径に基づ
き、合焦点の方向および合焦点までの距離を推定する第
2のステップと、 前記推定された前記合焦点までの距離に基づいて合焦状
態にあるか否かを判断する第3のステップと、 前記第3のステップで、合焦状態にないと判断された場
合に、前記推定された前記合焦点の方向に前記合焦点ま
での距離だけ、前記レンズ系または前記カラー撮像素子
を移動させる第4のステップと、 前記推定された前記合焦点の方向に前記合焦点までの距
離だけ、前記レンズ系または前記カラー撮像素子を移動
させた後、前記第1のステップ〜第3のステップを繰り
返す第5のステップと、 前記第3のステップで、合焦状態にあると判断された場
合に、前記レンズ系により被写体光を色収差補正して前
記カラー撮像素子上に結像し、通常の撮影を行う第6の
ステップと、 を含むことを特徴とする自動合焦装置の合焦方法。
7. A focusing method of an automatic focusing device for performing an automatic focusing operation by moving a lens system or a color image sensor, wherein the lens system forms an image of subject light without correcting chromatic aberration. And calculating a point spread coefficient indicating a blur characteristic for each color of the image data of the AF area of the subject image formed on the color image sensor, and calculating a point spread of each color based on the calculated point spread coefficient of each color. A second step of calculating an image radius and estimating a direction of a focal point and a distance to the focal point based on the calculated point image radius of each color; and focusing based on the estimated distance to the focal point. A third step of determining whether or not the camera is in a state; and, if it is determined in the third step that the camera is not in focus, the distance to the focus in the direction of the estimated focus. Only the lens system Moving the color image sensor, moving the lens system or the color image sensor in the direction of the estimated focal point by the distance to the focal point, A fifth step of repeating a step to a third step; and in the third step, when it is determined that the object is in focus, subject light is corrected for chromatic aberration by the lens system and the color image is captured on the color image sensor. 6. A focusing method for an automatic focusing device, comprising: a sixth step of forming an image and performing normal photographing.
【請求項8】 請求項7に記載の自動合焦装置の合焦方
法において、 前記第2のステップは、前記AFエリアの画像データに
窓関数を乗算後、2次元フーリエ変換して周波数領域の
振幅と位相に変換し、この全周波数領域の各位相をゼロ
に置き換えた後、2次元逆フーリエ変換して前記点像分
布係数を算出することを特徴とする自動合焦装置の合焦
方法。
8. The focusing method of the automatic focusing apparatus according to claim 7, wherein in the second step, after multiplying the image data of the AF area by a window function, the image data of the AF area is subjected to a two-dimensional Fourier transform to obtain a frequency domain. A focusing method for an automatic focusing device, comprising: converting into an amplitude and a phase; replacing each phase in the entire frequency range with zero; and performing a two-dimensional inverse Fourier transform to calculate the point spread coefficient.
【請求項9】 請求項7または請求項8に記載の自動合
焦装置の合焦方法において、 前記第2のステップは、前記点像分布係数の原点ピーク
値に基づいて算出したしきい値に基づき断面積を算出
し、算出した断面積に基づいて前記点像半径を算出する
ことを特徴とする自動合焦装置の合焦方法。
9. The focusing method for an automatic focusing device according to claim 7, wherein the second step includes determining a threshold value calculated based on an origin peak value of the point spread coefficient. A focusing method for an automatic focusing device, wherein a cross-sectional area is calculated based on the calculated cross-sectional area, and the point image radius is calculated based on the calculated cross-sectional area.
JP11150668A 1999-05-28 1999-05-28 Automatic focusing device and focusing method thereof Pending JP2000338385A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11150668A JP2000338385A (en) 1999-05-28 1999-05-28 Automatic focusing device and focusing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11150668A JP2000338385A (en) 1999-05-28 1999-05-28 Automatic focusing device and focusing method thereof

Publications (1)

Publication Number Publication Date
JP2000338385A true JP2000338385A (en) 2000-12-08

Family

ID=15501878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11150668A Pending JP2000338385A (en) 1999-05-28 1999-05-28 Automatic focusing device and focusing method thereof

Country Status (1)

Country Link
JP (1) JP2000338385A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124418A1 (en) * 2004-06-21 2005-12-29 Olympus Corporation Focusing information acquisition device, and focusing information acquisition method
JP2008532449A (en) * 2005-03-07 2008-08-14 ディーエックスオー ラブズ Using color digital images, a method of activating function, ie sharpness change
EP2068546A1 (en) * 2007-12-03 2009-06-10 Ricoh Company, Ltd. End-to-end design of electro-optic imaging systems for color-correlated objects
JP2010525374A (en) * 2007-03-08 2010-07-22 セラビジョン、アクチボラグ Method for determining focus position and vision inspection system
JP2011186452A (en) * 2010-02-15 2011-09-22 Nikon Corp Focus adjustment device and focus adjustment program
US11510548B2 (en) * 2016-12-16 2022-11-29 Sony Corporation Capturing an image of a scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61198894A (en) * 1985-02-27 1986-09-03 Kyocera Corp Automatic focus detector
JPH01246516A (en) * 1988-03-29 1989-10-02 Sony Corp Focus position detector
JPH03204277A (en) * 1990-01-05 1991-09-05 Canon Inc Focus detection method
JPH06138362A (en) * 1991-02-06 1994-05-20 Sony Corp Autofocusing device
JPH10200904A (en) * 1997-01-09 1998-07-31 Olympus Optical Co Ltd Automatic focusing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61198894A (en) * 1985-02-27 1986-09-03 Kyocera Corp Automatic focus detector
JPH01246516A (en) * 1988-03-29 1989-10-02 Sony Corp Focus position detector
JPH03204277A (en) * 1990-01-05 1991-09-05 Canon Inc Focus detection method
JPH06138362A (en) * 1991-02-06 1994-05-20 Sony Corp Autofocusing device
JPH10200904A (en) * 1997-01-09 1998-07-31 Olympus Optical Co Ltd Automatic focusing device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005124418A1 (en) * 2004-06-21 2005-12-29 Olympus Corporation Focusing information acquisition device, and focusing information acquisition method
US7421195B2 (en) 2004-06-21 2008-09-02 Olympus Corporation Apparatus for acquiring focussing information and method of acquiring focusing information
JP2008532449A (en) * 2005-03-07 2008-08-14 ディーエックスオー ラブズ Using color digital images, a method of activating function, ie sharpness change
JP2010525374A (en) * 2007-03-08 2010-07-22 セラビジョン、アクチボラグ Method for determining focus position and vision inspection system
EP1986046B1 (en) * 2007-03-08 2014-07-16 Cellavision AB A method for determining an in-focus position and a vision inspection system
EP2775349A1 (en) * 2007-03-08 2014-09-10 Cellavision AB A method for determining an in-focus position and a vision inspection system
US10210376B2 (en) 2007-03-08 2019-02-19 Cellavision Ab Method for determining an in-focus position and a vision inspection system
EP2068546A1 (en) * 2007-12-03 2009-06-10 Ricoh Company, Ltd. End-to-end design of electro-optic imaging systems for color-correlated objects
US8149319B2 (en) 2007-12-03 2012-04-03 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems for color-correlated objects
JP2011186452A (en) * 2010-02-15 2011-09-22 Nikon Corp Focus adjustment device and focus adjustment program
US11510548B2 (en) * 2016-12-16 2022-11-29 Sony Corporation Capturing an image of a scene

Similar Documents

Publication Publication Date Title
JP3980799B2 (en) Automatic focusing device and focusing method thereof
KR101399012B1 (en) apparatus and method for restoring image
JP6309922B2 (en) Imaging system and imaging method
JP5709911B2 (en) Image processing method, image processing apparatus, image processing program, and imaging apparatus
EP3318054B1 (en) Systems and methods for autofocus trigger
US20080297648A1 (en) Focus detection apparatus
JP2000199845A (en) Automatic focusing device and automatic focusing method
JP5653035B2 (en) Imaging apparatus, focus detection method, and control method
JP2012124555A (en) Imaging apparatus
JP2012053315A (en) Automatic focus adjustment device and imaging apparatus
JP2004157456A (en) Camera and range-finding method of camera
JP2000125177A (en) Automatic focusing device
CN103561207A (en) Image pickup apparatus and control method thereof
US10043247B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
US10630882B2 (en) Image pickup apparatus having function of correcting defocusing and method for controlling the same
JP2013254166A (en) Imaging device and control method of the same
JP2000338385A (en) Automatic focusing device and focusing method thereof
JP2007328360A (en) Autofocus camera and photographing method
JP2002010126A (en) Image pickup device
US20190297267A1 (en) Control apparatus, image capturing apparatus, control method, and storage medium
JP6873729B2 (en) Focus detector and image pickup device
JP2002116372A (en) Automatic focusing device, its focusing method, and computer-readable storage medium stored with program for performing the method by computer
JPH05181057A (en) Automatic focusing device
EP1667438A2 (en) Imaging apparatus, imaging method and imaging processing program
JPH11344662A (en) Automatic focusing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071016