JPH02205810A - 自動焦点調節装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像信号より画像の鮮鋭度を検出して焦点調節
を行う自動焦点調節装置に用いて好適な自動焦点調節装
置の再起動装置に関するものである。

〔従来の技術〕

従来よりビデオカメラを始めとして、カメラの分野では
自動焦点調節装置の普及がめざましく、最も操作の煩わ
しい焦点調節が自動化されることによってその操作性は
格段に向上した。

さて、自動焦点調節装置における焦点検出方式としては
、種々の方式があるが、ビデオカメラにおいては、その
映像信号を用いた自動焦点調節装置が、被写体との距離
等に関係なく画面内における画像情報を用いて焦点検出
を行えるため、赤外線、超音波等を投射してその反射波
を検出する焦点検出方式に代わって有望視されている。

この種の映像信号を用いる焦点検出方式は大きく分けて
２つの方式に分類することができる。

１つはバイモルフ、ボイスコイル等のアクチュエータを
用いて撮影光学系を構成するレンズあるいは撮像素子等
を光軸方向に微少振動させ、強制的に非合焦状態を作り
、映像信号を変調する方式（以下変調法と称す）である
。

他の方式は映像信号中のたとえば高周波成分が最大とな
るように撮影光学系を駆動する方式（以下試行法と称す
）である。

前者の変調法によれば、合焦時は撮影光学系を振動させ
ても合焦度の変化が小さく、被変調信号はほぼＯである
のに対し、非合焦時には被変調信号が発生し且つ前ピン
、後ピンに応じてその被変調信号の変調信号に対する位
相が逆転する。したがって、この被変調信号の有無によ
り焦点調節用アクチュエータ（一般にはＤＣモータを用
いる）の再起動を行わせ、且つ被変調信号の位相により
再起動の方向を決定することができるため、正確な再起
動を行うことができる特長がある。

また後者の試行法によると、合焦度に応じた信号成分が
最大となるようにレンズまたは撮像素子を移動し、合焦
後は、合焦時の焦点信号を記憶しておき、現在の焦点信
号と比較して変化があったとき焦点調節用のアクチュエ
ータを再起動させるものであり、複雑な焦点調節用の駆
動系を必要とせず、構成が簡単で小型化が可能という特
長がある。

〔発明の解決しようとする問題点〕

しかしながら前者の変調法によると、レンズ駆動方向の
情報が得られる反面、変調用のアクチュエータにきわめ
て高精度な動作を行う精密なものが必要となるため機構
が複雑化するとともに大型化し、また調整も面倒で消費
電力の点でも不利となる等の欠点がある。

また後者の試行法によると、−旦合焦して停止した場合
、再起動を行う際、レンズまたは撮像素子の駆動方向の
情報を得られない場合が多く、このため試行的にレンズ
をいずれかの方向へと移動し、焦点信号が増加（合焦点
に向う方向）すればそのまま駆動し、減少すればレンズ
移動方向が逆であったと判断してアクチュエータの駆動
方向を逆転する制御を行うといった試行的動作を原理的
に含むため、自動焦点動作の安定性に欠けるという欠点
がある。

したがって、ビデオ信号を用いた自動焦点調節装置を実
現するためには、これらの問題点を解決する必要がある
。

〔問題点を解決するための手段〕

本発明は上述した問題点を解決することを目的としてな
されたもので、その特徴とするところは、画面内におけ
る被写体に対する合焦度を検出して焦点調節を行う焦点
検出手段と、前記画面を複数の領域に分割した各領域に
おける画像の動きベクトルを求める動きベクトル検出手
段と、該動きベクトル検出手段より出力された動きベク
トル情報にもとづいて画像の動き量を演算し、該動き量
が所定の範囲外となったとき前記焦点検出手段を起動す
る制御手段とを備えた自動焦点調節装置にある。

〔作用〕

これによって画像の動きベクトル情報から被写体とカメ
ラとの相対移動方向を検知し、自動焦点調節装置の再起
動を行わせることができ、変調法のように変調用アクチ
ュエータを始めとする複雑且つ高精度を要する機構を用
いることなく、基本的には試行法の構成で安定且つ迅速
で高精度な自動焦点調節動作を行うことができる。

〔実施例〕

以下、本発明における自動焦点調節装置を各図を参照し
ながら、その−実地例について詳述する。

第１図は本発明における自動焦点調節装置をビデオカメ
ラに適用した場合を示すブロック図である。

同図において、ｌは被写体、２は撮影レンズ系、３は撮
像素子でたとえば二次元ＣＣＤ等によって構成されてい
る。４は撮像素子３より出力された撮像信号にガンマ補
正、ブランキング処理、同期信号の付加等の処理を行い
、たとえばＮＴＳＣ規格等に準拠した標準テレビジョン
信号を出力する信号処理回路である。Ｙは輝度信号、Ｈ
−８ＹＮＣは水平同期信号、Ｖ−３ＹＮＣは垂直同期信
号である。５は輝度信号Ｙを所定時間遅延させる遅延回
路で、たとえばＦＩＦＯ（ｆｉｒｓｔ−ｉｎ　　ｆｉｒ
ｓｔ−ｏｕｔ）型フィールド・メモリ等で構成されてい
る。６は画面を走査中の信号を所定の複数ブロックに分
割するためのブロック分割パルス信号発生回路、７，８
は輝度信号Ｙをブロック分割パルス発生回路６の出力パ
ルスに応じて分割する分割回路である。分割回路７．８
はブロック分割パルス発生回路６の出力パルスによって
開閉制御されるゲート回路とメモリとによって構成され
ており、入力された輝度信号を撮影画面に設定した各ブ
ロックごとに取り込んでメモリに記憶するように構成さ
れているシ９は分割回路８より出力された現在の画面の
信号と、遅延回路５を介して分割回路７より出力された
所定時間前の画面の信号とを比較して、分割したブロッ
ク毎にその変化の方向と大きさを表わす動きベクトルを
求める動きベクトル検出回路、１０は動きベクトル検出
回路９より出力された撮影画面上の各ブロックにおける
動きベクトル情報を記憶するメモリ、１１はメモリ１０
に記憶された動きベクトル情報にもとづいてｘ、Ｙ方向
におけるヒストグラムを作成する統計演算回路、１２は
統計演算回路１１によって演算処理されたヒストグラム
の形状を認識し、後述する閾値を決定する閾値決定回路
、１３は後述するヒストグラムから所定の閾値の範囲内
にあるブロックを探索し測距領域決定を行う領域決定回
路、１４は動きベクトル検出回路９の出力。

後述する測距領域設定回路１５の出力、後述する比較回
路２０の出力とによって自動焦点調節装置の再起動を行
うか否かの判定を行う再起動判定回路である。

以上が撮影画面上の画像の動きベクトルから画像の動き
を検出する動き検出手段の構成である。

次に自動焦点調節系について説明する。１５は信号処理
回路４より出力された輝度信号Ｙより撮影画面上に設定
された合焦検出領域（測距領域）内に相当する輝度信号
のみを通過させるゲート回路からなる測距領域設定回路
で領域決定回路１３の出力にもとづいて、画面上に測距
領域を設定する。１６は測距領域設定回路１５によって
設定された測距領域内に相当する輝度信号中より高周波
成分を抽出するバイパスフィルタ、１７はバイパスフィ
ルタ１６によりて抽出された高周波成分を直流レベルに
変換する検波回路、１８は検波回路１７より出力された
直流レベル信号を所定の周期で積分する積分回路である
。また積分回路は測距領域設定回路１５より出力される
制御信号１５ａにより測距領域の変化に応じて積分感度
が制御され、面積補正が行われるようになっている。１
９は積分回路１８の出力信号（以下焦点信号と称す）を
所定時間たとえばｌフィールド遅延する遅延回路、２０
は遅延されたたとえば１フイールド前の焦点信号と現在
の焦点信号とを比較する比較回路、２１は再起動判定回
路を介して出力された比較回路２０による比較結果にも
とづき、撮影レンズ２の焦点状態を制御するためのアク
チュエータ（たとえばＤＣサーボモータ）を駆動制御す
る駆動制御回路である。

本発明における自動焦点調節装置は以上のような構成と
なっており、以下その動作につい゛て詳細に説明する。

撮影レンズ２を通って撮像素子３の撮像面に結像された
被写体ｌの画像は、光電変換され画像信号として出力さ
れる。この画像信号は信号処理回路４に。

よって前述したガンマ補正、ブランキング処理。

同期信号の付加等の処理が行われた後、規格化されたテ
レビジョン信号として出力される。信号処理回路４より
出力された輝度信号Ｙは２つの系統に分割され、一方は
直接分割回路８へ、他方は遅延回路５によってｌフィー
ルド期間（約１６．７ｍ５ｅｃ）遅延された後分割回路
７へと供給される。分割回路７．８では、ブロック分割
パルス発生回路６より出力される画面分割用パルスに応
じて撮影画面をｍＸｎ個のブロックに分割する。ここで
はｍ＝２０゜ｎ＝１４とし、合計２８０個のブロックに
分割する場合を例にして説明する。そして動きベクトル
検出回路９では、分割回路８から供給される現在の撮影
画面のたとえば輝度レベル情報と、遅延回路５によって
所定期間（ｌフィールド）遅延された後分割回路７を介
して供給される所定期間前の画面の情報とを比較演算し
、ｍＸｎ個の各ブロックごとの動きベクトルを求める。

この動きベクトルの演算法としては、たとえば時空間勾
配法を用いることができる。この方法は、Ｂ、に、Ｐ、
Ｔ（ｏｒｎらにより、アーティフィシャル・インテリジ
ェンス（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃ
ｅ）　　１７．　　　Ｐ２Ｓ５〜２０３　　（１９８１
）　　ｌこおいて論じられており、専用のハードウェア
を用いることにより、実時間的処理が可能である。この
ように撮影画面全体において各ブロックごとの動きベク
トルを求めたベクトル分布をオプティカル・フローと称
する。

以下、第２図を参照して、動きベクトル検出回路９乃至
領域決定回路１３までの動作を説明する。

第２図（ａ）は現フイールド画面の画像の一例、同図（
ｂ）は直前のフィールド画面の画像との差にもとづいて
求めたオプティカル・フローを一定の時間蓄積して求め
た各動きベクトル分布によるオプティカル・フロー、同
図（Ｃ）はオプティカル・フローをＸ方向、Ｙ方向のそ
れぞれの成分における大きさにもとづいて作成したヒス
トグラム、同図（ｄ）は本実施例の装置によって認識し
た被写体と背景との領域区分である。

この例のようにビデオカメラによる撮影では、被写体は
動きのある動画であり、撮影者はカメラぶれを防ごうと
しているので、背景の動きは被写体の動きよりも少ない
。動きベクトル検出回路９で検出された動きベクトルは
、メモリｌＯで一定周期分（例えば１秒間）蓄積された
後、統計処理演算回路１１に入力される。統計処理演算
回路１１では、各ベクトルのＸＩ　Ｙ成分の大きさに従
ってランク分けを行い、ヒストグラム（第２図（Ｃ））
を作成する。第２図（Ｃ）の上側がＸ方向における動き
ベクトルのヒストグラム、下側がＹ方向における動きベ
クトルのヒストグラムである。各ヒストグラムとも横軸
上の０点を原点として、それぞれ正、負の方向を表わし
、原点からの距離はベクトルの大きさを表わし、ヒスト
グラムの高さはそのベクトルの度数を表わしている。閾
値決定回路１２は、この２つのヒストグラムの形状から
閾値を決定する。ここでは、Ｘ、Ｙそれぞれの方向で最
も０に近いピークを持つヒストグラム分布の直近の極小
値を見つけ、この極小値の位置を閾値とする。この閾値
を正側と負側の両側で求める。第２図（Ｃ）では、これ
をＴｈｘｌ、Ｔｈｘ２．Ｔｈｙｌ、Ｔｈｙ２と記した。

Ｔｈｘｌ、Ｔｈｘ２はそれぞれ原点に対して逆方向にお
けるベクトルの大きさの閾値であり、各方向においてＴ
ｈｘｌ、Ｔｈｘ２を越えるベクトルは画像の変位として
判定し、大きさがＴｈｘｌ、Ｔｈｘ２以下のベクトルは
実質的に画像の動きが小さ（背景のように動きのない部
分であると判定することができる。

このようにして決定された閾値は領域決定回路１３に入
力され、領域決定回路１３はメモリ１０内の動きベクト
ルの内、闇値範囲内のブロックを順次探索する。例えば
、ｍ　＝　ｉ番目、ｎ＝ｊ番目のブロックＢｌｉにおけ
るＸ方向動き量をｕ＋ＩＳＹ方向動き量をＶｉｉとする
と、 Ｔｈｘｌ＜ｕ＋１＜Ｔｈｘ２　　且つ Ｔｈｙｌ＜ｖ＋Ｈ＜Ｔｈｙ２ を満足するブロックをすなわち画面内にお′いて動きベ
クトルの小さい領域を「オン」とし、その他のブロック
を「オフ」とする。このようにして求めたオン／オフの
状態は、第２図（ｄ）のようになる。斜線部分が「オン
」であり、はぼ背景の領域と一致している。

そしてこの斜線部分以外の領域が被写体部分の領域Ａ、
　Ｂ、　Ｃすなわち主要被写体となる。測距領域設定回
路１５は第２図（ｃＤにおける斜線以外の主要被写体部
分のみ輝度信号を通過させる如（ゲートをかけ、バイパ
スフィルタ１６へと供給する。すなわち主要被写体の位
置する領域が測距領域として設定される。バイパスフィ
ルタ１６では入力された輝度信号中の高周波成分が抽出
され、検波回路１７で直流レベル信号に変換され、積分
回路１８によって所定の期間で積分され、合焦度に応じ
た焦点信号が出力される。この積分回路１８より出力さ
れた焦点信号は遅延回路Ｉ９を介して１フイールド遅延
された１フイールド前の画面における焦点信号とともに
比較回路２０へと供給されて比較される。

この比較結果は再起動判定回路１４を介して駆動制御回
路２１へと供給され、駆動制御回路２１は、焦点信号レ
ベルが増大する方向に撮影レンズ２を駆動する如くアク
チュエータ２２を制御する。そして焦点信号レベルが最
大値をとり、減少したとき、その最大値をとった位置を
合焦位置と判断し、その位置まで撮影レンズを戻して自
動焦点調節動作を終了する。

尚、上述の自動焦点調節動作において、積分回路１８の
積分出力を比較回路２０によって比較する際、ｌフィー
ルド前に設定した測距領域の大きさが現フィールドの測
距領域の大きさと異なる場合は、焦点状態が同じでも積
分信号レベルが異なるため大小判断が合焦度に対応せず
誤判定を生じる場合がある。そこで、積分回路１８には
測距領域の大きさを表わす制御信号１５ａが供給され、
両フィールド画面における測距領域の面積差を補正して
いる。

すなわち積分回路の積分信号出力レベルを測距領域の面
積によって正規化すればよ（、その具体的手段として本
実施例においては、積分回路の積分感度を切り換えるこ
とによって上述の補正゛を行っている。

以上、測距領域の設定手段の具体的構成について説明し
た。上述のメモリｌＯ９統計処理回路１１゜閾値決定回
路１２等による統計処理において、撮影画面のｘ、Ｙ方
向それぞれにおけるヒストグラムを作る方式をとってい
るが、Ｘ−Ｙ２次次元間にヒストグラムを作成したもの
でもよい。また動きベクトル検出回路９において、一定
時間蓄積された画像を用いてオプティカル・フローを求
めた場合、メモリｌＯ乃至領域決定回路１３の動作周期
も蓄積時間に応じて変化させる必要がある。

また上述の説明によると、測距領域として領域決定回路
１３の出力に応じた領域を設定しているが、通常の撮影
では主要被写体を画面中央部に位置させることを考慮し
、また背景との遠近競合を避けるためにも、撮影画面中
央部付近の領域のみを選択して測距領域とすることもで
きる。この場合は第２図（ｄ）の各領域において、領域
Ａ、　Ｃは完全にカットしてもよいし、また画面中央を
１００％とし、画面対角における４角を０％とし、その
間において、連続的に重み付けを変化させる窓関数を設
けるようにしてもよい。

以下に実際に画像の動きベクトルから自動焦点調節装置
の再起動について説明する。図の簡略化をはかるため、
測距領域を撮影画面の中央部及びその近傍に設定した場
合、たとえば第２図（（１）のＢ領域に設定した場合に
ついて説明する。第３図はこの設定条件における領域Ｂ
におけるオプティカル・フローを示すものである。同図
の状態によれば、領域Ｂに相当する被写体がカメラに近
づきつつ、且つ画面上右方向へと若干移動したときのオ
プティカル・フローを示している。各ブロックの動きベ
クトルは全体的に右方向へ向かって全体的には周辺に発
散する方向及び大きさを有していることから被写体が徐
々に太き（すなわちカメラに向かって近付きつつあり、
且つカメラに対して右方へと移動していることがわかる
。

第４図はこのようなオプティカル・フローの性質を説明
するための図で、同図において、２は第１図の撮影レン
ズ系２と同じものである。５１゛は第２図（ｄ）におけ
る領域Ｂに対応する被写体、５３はその被写体の撮影画
面上に結像された像である。５２は被写体が撮影レンズ
に近付きつつ同図で見て上方に移動した状態を示し、５
４はそのときの撮影画面上の像である。被写体が図中上
方に移動したことによって生ずるオプティカル・フロー
のベクトルの大きさは画面内の位置によらず一定である
。これに対して、被写体がレンズに近付（ことによって
生ずるオプティカル・フローは、被写体の像が拡大する
ために生ずるものであり、画面内の位置によって変化す
る。撮影レンズの光軸上すなわち画面中央はベクトルの
大きさはＯであり、画面中央から離れる距離に比例して
太き（なる。第３図のオプティカル・フローはこれらの
２つの原因によって生じたベクトルの合成されたもので
ある。尚、撮影画面上の像５３．５４は説明のため光軸
上の位置を異らせて描いたが、実際は同一平面上に結像
しているものとする。

次に第１図の再起動判定回路１４内で行われている演算
について説明する。第５図は第２図（ｄ）の領域Ｂの部
分を抜き出し、画面中心を原点（０，０）としてＸ座標
、ｙ座標をとり、測距領域Ｂ内の各ブロックの座標を（
ｉ、　Ｄとし、各ブロックにおけるオプティカル・フロ
ーのベクトルをＡ（ｉ、ｊ）とする。さらにＸ方向の単
位ベクトルを１１ｙ方向の単位ベクトルをｊとおき、 Ａ　（ｉ、ｊ）＝ｉＡｘ＋ｊＡｙ と書き換える。

そして像の拡大、縮小によるオプティカル・フローのベ
クトルの変位は、画面上におけるベクトルの発散を意味
しており、このときベクトルへの発散（ｄｉｖｅｒｇｅ
ｎｃｅ）　ｄｉｖＡは１で表わすことができ、この発散
がすなわち被写体とカメラとの距離の変位を表わすこと
になる。

再起動判定回路１４は測距領域設定回路１５から測距領
域を示す制御情報１５ｂを取り込み、また動きベクトル
検出回路９より撮影画面上の各ブロックにおける動きベ
クトル情報を取り込んで、領域Ｂ内のｄｉｖＡの和 ｄ−Σ　ｄｉｖＡ を演算する。この領域Ｂ内の発散ｄｉｖＡの和は被写体
像の撮影画面の拡大、縮小に応じて変化する。

第３図の場合は像が拡大しているので、ｄ＞Ｏとなる。

一方、被写体が撮影レンズから遠ざかっている場合は像
が縮小するので、ｄ＜Ｏとなる。

したがって合焦後ｄ＝ｏが続けば、被写体との距離に変
化はなくレンズは停止したままとし、合焦後ｄ≠０の時
、被写体とカメラの距離に変化が生じたとして自動焦点
調節装置を再起動させ、且つその方向をｄの正、負によ
って判別することができる。

すなわち、ｄ＞Ｏなら移動前より被写体が撮影レンズに
近づいたことになり、撮影レンズはその焦点位置が被写
体後方となり、所謂後ビン状態となる。

またｄ＜Ｏなら移動前より被写体が撮影レンズから遠ざ
かったことになり撮影レンズは前ビン状態となる。

このように、測距領域内のオプティカル・フローのベク
トルの発散ｄｉｖＡを調べることにより、被写体距離の
変位及びその方向を高精度に検出し得、これによって自
動焦点調節装置の合焦後の再起動を確実に行うことがで
き、試行法に自動焦点調節装置を用いても、試行動作を
行うことなく前ピン。

後ピン情報を得ることができ、自動焦点調節装置の再起
動を迅速、安定且つ正確に行うことができる。

また、本発明によれば、撮影画面内に複数の被写体が存
在したり、背景が複雑なものであうでも、また輝度差が
小さかったり被写体の特徴点を抽出しづらい画像であっ
ても、動きベクトルに統計処理を施してオプティカル・
フローのベクトルの発散を演算することにより、被写体
との距離の変位を確実に検出できるため、感度、精度と
も、従来の装置に比較して著しく向上する。

〔発明の効果〕

以上述べたように、本発明における自動焦点調節装置に
よれば、撮影画面上の複数ブロックにおける動きベクト
ルを検出して画面のオプティカル・フローをもとめ、そ
の変位から被写体の移動の有無を検出し、且つ被写体が
レンズに近付いているのか遠ざかっているのかを正確に
判定でき、この判定情報にもとづいて自動焦点調節動作
を再起動判定を行うように構成したので、従来の変調法
のように、積極的に合焦、非合焦状態を作って焦点信号
を変調し、前ピン、後ピン情報を得るような高精度を要
し複雑な機構を用いることなく、画像信号から正確且つ
高精度に焦点調節装置の再起動判定を行うことができ、
むだな動きのない安定で動作の確実な自動焦点調節装置
を実現することができる。

【図面の簡単な説明】

第１図は本発明における自動焦点調節装置をビデオカメ
ラに適用した一実施例を示すブロック図、第２図（ａ）
〜第２図（ｄ）、第３図は撮影画面上のオプティカル・
フローを求め測距領域を設定する動作を説明するための
図、 第４図はオプティカル・フローの性質を説明するための
図、 第５図は測距領域内における被写体の移動を検出し、再
起動判定を行う動作を説明するための図である。 特許出願人　　キャノン株式会社

Claims (1)

【特許請求の範囲】
1. 画面内における被写体に対する合焦度を検出して焦点調
   節を行う焦点検出手段と、前記画面を複数の領域に分割
   した各領域における画像の動きベクトルを求める動きベ
   クトル検出手段と、該動きベクトル検出手段より出力さ
   れた動きベクトル情報にもとづいて画像の動き量を演算
   し、該動き量が所定の範囲外となったとき前記焦点検出
   手段を起動する制御手段とを備えたことを特徴とする自
   動焦点調節装置。