JP2010096963A - Ａｆ枠自動追尾機能を備えたオートフォーカスシステム - Google Patents

Abstract

【課題】オートフォーカスによるピント合わせの対象として人物の顔画像を追尾する場合に、顔検出処理による追尾と、パターンマッチング処理による追尾を併用し、より確実に顔の追尾を行えるようにしたＡＦ枠自動追尾機能を備えたオートフォーカスシステムを提供する。
【解決手段】ＡＦによるピント合わせの対象として追尾する被写体がＡＦ枠内となるようにユーザがＡＦ枠を設定すると（Ｓ１００）、自動追尾の処理が開始され、取り込まれた撮影画像の中から顔画像の検出が行われ（Ｓ１１０）、ＡＦ枠の近傍範囲に顔画像が検出されたか否かが判断され（Ｓ１１２）、顔画像が検出された場合には、その顔画像の位置に基づいてＡＦ枠の位置が変更される（Ｓ１１８）。一方、その近傍範囲に顔画像が検出されなかった場合には、パターンマッチング処理が行われ（Ｓ１１４）、これによって検出された追尾対象の被写体の位置にＡＦ枠の位置が変更される（Ｓ１１８）。
【選択図】図５

Description

本発明はＡＦ枠自動追尾機能を備えたオートフォーカスシステムに係り、特にオートフォーカス（ＡＦ）によりピントを合わせる被写体の対象範囲とするＡＦエリア（ＡＦ枠）を撮影画面上で移動する所定の被写体に追尾させるＡＦ枠自動追尾機能を備えたオートフォーカスシステムに関する。

放送用又は業務用のテレビカメラシステムにおいて、所望の被写体に自動でピントを合わせるオートフォーカス機能を備えたものが知られている。この種のカメラシステムでは、一般にコントラスト方式のＡＦが採用されており、撮影映像のコントラストの高さを検出し、そのコントラストが最大（極大）となるように撮影光学系のフォーカスを制御することにより行われている。

また、ＡＦによりピントを合わせる被写体の対象範囲は、通常は撮影映像の画面全体ではなく、ＡＦエリアと称する一部の範囲に限定されており、そのＡＦエリア内の撮影画像（被写体画像）のコントラストが最大となるようにフォーカスを制御することによって、ＡＦエリア内の被写体にピントが合わせられるようになっている。

尚、本明細書では、ＡＦエリアの輪郭を示す枠をＡＦ枠と称するものとする。

更に、特許文献１には、撮影映像の画面内で移動する所望の被写体に対してＡＦ枠を自動で追尾させ、その被写体にピントを合わせ続けるようにしたＡＦ枠自動追尾機能を備えたオートフォーカスシステムが記載されている。ＡＦ枠の自動追尾は、撮影画像の中から追尾する被写体の画像を検出して、検出した位置にＡＦ枠を移動させることにより行われる。その追尾する被写体の画像を検出する方法として、特許文献１では、追尾する被写体の画像を基準パターンとして記憶し、撮影画像の中から基準パターンに一致する画像をパターンマッチング処理により検出する方法が採用されている。

また、他の方法として、追尾する被写体が人物の顔である場合には、追尾する被写体の画像として周知の顔検出処理により顔画像を検出する方法も採用することができる。
特開２００６−２５８９４４号公報

ところで、顔検出処理により検出した顔画像を追尾する場合には、その顔が例えば正面から上下左右の３０度以上の向きに変化すると、顔画像であることが認識できず、追尾不要になる恐れがある。

一方、パターンマチング処理により所定の被写体を追尾する場合には、処理に時間がかかり、移動の速い被写体を追尾することが難しい場合もある。

本発明は、このような事情に鑑みてなされたもので、ＡＦの対象として人物の顔（顔画像）を追尾する場合に、従来と比べてより確実その顔画像を追尾することができるＡＦ枠自動追尾機能を備えたオートフォーカスシステムを提供することを目的とする。

前記目的を達成するために、請求項１に係るＡＦ枠自動追尾機能を備えたオートフォーカスシステムは、撮像手段により撮影される被写体の範囲のうちＡＦ枠に対応する範囲内の被写体にピントが合うように、前記撮像手段に被写体像を結像する撮影光学系のフォーカスを制御するオートフォーカス手段と、前記撮像手段により得られる撮影画像の中から人物の顔の画像を検出する顔検出処理手段と、追尾対象の被写体の画像として記憶された基準パターン画像を用いて、前記撮像手段により得られる撮影画像の中から、前記追尾対象の被写体の画像をパターンマッチング処理により検出するパターンマッチング処理手段と、前記ＡＦ枠内に人物の顔の画像が含まれる場合に、前記撮像手段により得られた撮影画像に対して前記顔検出処理手段により検出された顔の画像の位置に基づいて前記ＡＦ枠の位置を決定する第１のＡＦ枠決定手段と、前記撮像手段により得られる撮影画像に対して、前記パターンマッチング処理手段により検出された前記追尾対象の被写体の画像の位置に基づいて前記ＡＦ枠の位置を決定する第２のＡＦ枠決定手段と、前記第１のＡＦ枠決定手段と前記第２のＡＦ枠決定手段のうち、いずれか一方を優先のＡＦ枠決定手段とし、前記ＡＦ枠を、前記優先のＡＦ枠決定手段により決定された位置に変更すると共に、前記優先のＡＦ枠決定手段による前記ＡＦ枠の位置の決定が不能な状況となった場合には、前記ＡＦ枠を、他方のＡＦ枠決定手段により決定された位置に変更するＡＦ枠変更手段と、を備えたことを特徴としている。

請求項２に係るＡＦ枠自動追尾機能を備えたオートフォーカスシステムは、請求項１に記載の発明において、 前記ＡＦ枠変更手段は、前記第１のＡＦ枠決定手段を前記優先のＡＦ枠決定手段とすることを特徴としている。

本発明によれば、人物の顔（顔画像）を追尾対象とする場合に、顔検出処理とパターンマッチング処理のうち適切に追尾対象の顔画像を検出することできる処理方法によってＡＦ枠の位置が変更されるため、一方の処理による自動追尾が不能な状況となっても顔画像の追尾が適切に行われるようになる。

本発明によれば、ＡＦの対象として人物の顔（顔画像）を追尾する場合に、従来と比べてより確実その顔画像を追尾することができる。

以下、添付図面を参照して、本発明に係るＡＦ枠自動追尾機能を備えたオートフォーカスシステムについて詳細に説明する。

図１は、本発明が適用されたビデオカメラシステムの全体構成を示したブロック図である。このビデオカメラシステムは、例えば、放送用テレビカメラでの撮影に用いられる撮像システムである。

同図に示すように、本実施形態のビデオカメラシステム１は、テレビカメラ１０、画像処理ユニット１８等を有して構成されている。

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１２と、カメラ本体１２のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１４とから構成される。

カメラ本体１２には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１４の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１２の映像信号出力端子等から外部に出力される。

また、カメラ本体１２は、ビューファインダ１３を備えており、テレビカメラ１０により現在撮影されている映像等がビューファインダ１３に表示されるようになっている。また、ビューファインダ１３には、各種情報が表示されるようになっており、例えば、後述のオートフォーカスにおいてピント合わせの対象範囲となるＡＦ枠が撮影映像に重畳されて表示されるようになっている。

レンズ装置１４は、カメラ本体１２のレンズマウントに装着される撮影レンズ（ズームレンズ）２４を備えている。撮影レンズ２４により、被写体１６がカメラ本体１２の撮像素子の撮像面に結像されるようになっている。撮影レンズ２４には、図示を省略するが、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。

なお、オートフォーカス（ＡＦ）に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段（レンズ装置１４に接続されるコントローラの操作手段等）から操作者の操作に従って出力されるコントロール信号に基づいて可動部の動作が制御されるが詳細は省略する。

また、レンズ装置１４には、ＡＦユニット２６及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１４全体を統括制御するものである。また、ＡＦユニット２６は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１４に配置されており、撮像素子ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、ＡＦ用撮像回路から出力される映像信号は輝度信号である。

ＡＦ用撮像素子の撮像面には、撮影レンズ２４の光路上に配置されたハーフミラー等によってカメラ本体１２の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１２の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１２の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１２の撮像素子の撮影範囲を包含する大きな範囲であってもよい。

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象とするＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズＣＰＵに与えられる。

レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。

尚、上述のＡＦ処理部は、焦点評価値を算出するためにレンズ装置に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１２の撮像素子より撮影された映像の映像信号をカメラ本体１２から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦの手段はどのようなものであってもよい。

また、カメラ本体１２とレンズ装置１４、レンズ装置１４と後述の画像処理ユニット１８とは、各装置に設けられたシリアル通信コネクタが直接的又はケーブル等を介して接続される。これによって、カメラ本体１２とレンズ装置１４とが、それぞれに設けられたシリアル通信インターフェイス（ＳＣＩ）１２ａ及び１４ａを介して様々な情報の送受信をシリアル通信により行うようになっている。また、レンズ装置１４と画像処理ユニット１８とが、それぞれに設けられたシリアル通信インターフェイス１４ａ及び３０ａとの間で様々な情報の送受信をシリアル通信により行うようになっている。

また、カメラ本体１２の映像出力コネクタと画像処理ユニット１８の映像入力コネクタとが、ダウンコンバータ２８を介してケーブルで接続される。これによって、カメラ本体１２の映像出力コネクタから出力されたＨＤＴＶ信号は、ダウンコンバータ２８によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。

画像処理ユニット１８は、上記のようにレンズ装置１４のＡＦユニット２６によりＡＦによるフォーカス制御を実施する際のＡＦ枠の範囲（位置、大きさ、形状（縦横比））の指定を行うための装置であり、テレビカメラ１０の撮影画像（撮影画面）内でのＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１４に上記シリアル通信により与えられるようになっている。ＡＦユニット２６では、画像処理ユニット１８からのＡＦ枠情報に基づいてＡＦ枠の範囲を設定して上記のようにＡＦの処理を実行する。

画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔検出処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔検出処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。

画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ３０ａ、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ４０等が搭載されている。

ＳＣＩ３０ａは、上述のようにレンズ装置１４のＳＣＩ１４ａとの間でシリアル通信を行うためのインターフェイス回路であり、上記ＡＦ枠情報等をレンズ装置１４に送信する。

デコーダ３６は、上記ダウンコンバータ２８から画像処理ユニット１８に入力されるテレビカメラ１０において撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。

ＲＡＭ４０は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。

一方、パターンマッチング処理演算ボード３２や顔検出処理演算ボード３４は、パターンマッチングと顔検出処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。

また、画像処理ユニット１８には、操作部２０が一体的に設けられ、又は、操作部２０の一部又は全ての操作部材が画像処理ユニット１８とは別体の装置に設けられてケーブル等で接続されている。

詳細は省略するが、操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ）、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、自動追尾の開始を指示する追尾開始スイッチ６８、自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。

尚、タッチパネル付きＬＣＤ６６は、ＡＦ枠の自動追尾に関するモード等の設定をタッチ操作で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像は、設定内容に応じて適宜切り換えられるようになっている。

また、タッチパネル付きＬＣＤ６６に表示される画像は、メインボード３０のスーパーインポーザ４２を介して与えられるようになっており、そのスーパーインポーザ４２では、デコーダ３６から与えられるテレビカメラ１０の撮影映像の映像信号と、ＣＰＵ３８で生成される画像信号の合成が行えるようになっている。これによって、カメラ本体１２に設定されているビューファインダ１３と同様にテレビカメラ１０で撮影されている撮影映像と現在設定されているＡＦ枠の画像とを重畳させた映像をタッチパネル付きＬＣＤ６６に表示させることが可能であり、この画面上でのタッチ操作により、ユーザは、上記操作部材６０、６２、６４、６８、７０で行うのと同様の操作を行うことができるようになっている。

以上のような構成を有する本実施の形態の画像処理ユニット１８においてレンズ装置１４に指定するＡＦ枠を設定する処理（ＡＦ枠設定処理）について、いくつかの態様を順に説明する。

ＡＦ枠設定処理の第１の実施の形態について図２のフロ−チャートを用いて説明する。本実施の形態は、人物の顔をＡＦによりピントを合わせる対象として追尾する場合に、ＡＦ枠の範囲をその追尾する顔に適合するように自動で変更するものである。尚、ＡＦ枠の範囲とは、ＡＦ枠の位置、大きさ、形状（縦横比）によって決まるＡＦ枠内の範囲を示し、ＡＦ枠の範囲の変更とは、その位置、大きさ、形状のうち少なくとも一つの要素を変更することを示す。

まず、ユーザは、ＡＦの対象として追尾させたい被写体が含まれるように操作部２０を操作して初期のＡＦ枠を指定する。このときユーザは、図３（Ａ）に示すように所定の人物の顔を追尾する被写体としてＡＦ枠１００をその顔画像１０２を含むように指定するものとすると共に、ＡＦ枠内には一人の顔のみを含むように設定し、複数人の顔を含むようなＡＦ枠の指定は想定しないものとする。尚、顔の一部がＡＦ枠内に含まれるような場合もその顔はＡＦ枠内に含まれるものとして扱う。

このようなユーザの操作に基づいてメインボード３０のＣＰＵ３８は、レンズ装置１４に送信するＡＦ枠を設定する（ステップＳ１０）。そして、ＣＰＵ３８はＡＦ枠の自動追尾処理を開始する（ステップＳ１２）。尚、自動追尾処理は、例えば、操作部２０の追尾開始スイッチ６８がオンされると開始する。

自動追尾処理を開始すると、ＣＰＵ３８は、デコーダ３６でデジタルデータに変換されて出力される撮影映像の映像信号により１フレーム分（１コマ分）の撮影画像の画像データを顔検出処理演算ボード３４に取り込む（ステップＳ１４）。

そして、顔検出処理演算ボード３４のＣＰＵ５２の顔検出処理により、撮影画像の中から顔の画像（顔画像）を検出する顔検出処理を行うと共にＡＦ枠内に含まれる顔画像を検出する（ステップＳ１６）。

続いて、ＡＦ枠内に含まれる顔画像の位置、大きさ、形状に応じて、その顔全体を含み、かつ、他の被写体をできるだけ含まないＡＦ枠（即ち、顔全体を含む最小のＡＦ枠）の位置、大きさ、形状を求め、レンズ装置１４に送信するＡＦ枠をその求めたＡＦ枠に更新する（ステップＳ１８）。図３（Ａ）のようにＡＦ枠をユーザが指定した場合、このステップＳ１８の更新によって図３（Ｂ）のように顔画像１０２の大きさに適合した大きさのＡＦ枠１００に更新される。

このようにして顔画像に合わせてＡＦ枠を更新すると、そのＡＦ枠内の画像データを後述のパターンマッチング処理における基準パターンの画像データとして設定する（ステップＳ２０）。尚、基準パターンの画像データは、ＡＦ枠の大きさと完全に一致している必要はなく、ＡＦ枠よりも大きい又は小さい範囲の画像データとしても良い。

以上の処理が終了すると、以下のステップＳ２２からステップＳ３６までの処理を繰り返し、ＡＦ枠内の顔画像を追尾すると共に、追尾する顔画像の大きさに合わせてＡＦの大きさ（サイズ）を更新する。尚、下記においてＡＦ枠の大きさという場合には、ＡＦ枠の形状も含むものとし、ＡＦ枠の縦横比も顔画像に合わせて更新されるものとしてもよいし、ＡＦ枠の縦横比は一定としてもよい。

まず、ステップＳ２２において、ＣＰＵ３８は、デコーダ３６から１フレーム分の撮影画像の画像データをパターンマッチング処理演算ボード３２と顔検出処理演算ボード３４に取り込む。

そして、パターンマッチング処理演算ボード３２のＣＰＵ５０により、撮影画像の中から基準パターンと一致する画像を検出し、その位置を検出するパターンマッチング処理を実行する（ステップＳ２４）。

ＣＰＵ３８は、ステップＳ２４のパターンマッチング処理の結果、基準パターンの画像、即ち、追尾する顔画像が、撮影画像内で移動したか否かを判定する（ステップＳ２６）。ここで、顔画像が移動したとの判定には、顔画像が、ズーミング又は被写体の前後移動によって拡大又は縮小された場合も含む。

ステップＳ２６においてＮＯと判定した場合には、ステップＳ２２の処理に戻る。

一方、ＹＥＳと判定した場合には、顔検出処理演算ボード３４のＣＰＵ５２により、撮影画像の中から顔画像を検出する顔検出処理を行い（ステップＳ２８）、ＡＦ枠の近傍範囲内に顔画像が検出されたか否かを判定する（ステップＳ３０）。

このステップＳ３０の判定処理によりＹＥＳと判定した場合には、ＡＦ枠の大きさを、検出した顔画像に適合する大きさ、即ち、顔全体を含む最小の大きさに変更（更新）すると共に（ステップＳ３２）、ＡＦ枠の位置を、検出した顔画像の位置に変更（更新）する（ステップＳ３４）。これによって、例えば、撮影画像が図３（Ｂ）から図３（Ｃ）のように変更され、追尾する顔画像の位置と大きさが変化した場合には、図３（Ｃ）のようにＡＦ枠１００の位置と大きさが変更され、顔画像１０２の位置と大きさに適合したものに変更される。

ステップＳ３０の判定処理によりＮＯと判定した場合には、ＡＦ枠の大きさを変更することなく、ステップＳ２４のパターンマッチング処理において検出した基準パターンの画像の位置にＡＦ枠の位置を変更（更新）する（ステップＳ３４）。尚、ステップＳ３０においてＹＥＳと判定した場合のステップＳ３４の処理においてもパターンマッチング処理により検出した基準パターンの画像の位置にＡＦ枠の位置を変更するようにしてもよい。

ステップＳ３４の処理によりＡＦ枠の更新が終了すると、そのＡＦ枠内の画像を基準パターンの画像として更新し（ステップＳ３６）、ステップＳ２２の処理に戻る。

尚、上記フローチャートの処理では、パターンマッチング処理（ステップＳ２４）と顔検出処理（ステップＳ２８）を順に行うことが可能であり、これらの処理を図１のように複数の演算部で個別に行う必要はなく、メインボード３０において両方の処理を行ってもよいし、メインボード３０以外の１つの画像処理専用の演算ボードを設け、この演算ボードで両方の処理、又は、メインボード３０と演算ボードとの各々で１つずつの処理を行うようにしてもよい。

また、顔画像の大きさ等に応じて変更するＡＦ枠の範囲は、必ずしも上記のように顔画像全体を含む最小の範囲とするものに限らない。ＡＦ枠内の被写体を対象とするＡＦにより、その顔画像にピントが適切に合わせられるような範囲、即ち、顔画像の位置及び大きさに適合するものであればよい。

以上のＡＦ枠設定処理の第１の実施の形態によれば、ＡＦ枠内の被写体をパターンマッチング処理により自動追尾する際に、ＡＦ枠内に人物の顔が含まれる場合には、その顔の位置及び大きさに適合するようにＡＦ枠の範囲が変更される。そのため、ユーザは、人物の顔を追尾対象としたい場合であっても、背景画像をできるだけ含まないように初期におけるＡＦ枠の設定を正確に行う手間や時間が不要となる。また、ズーム操作により追尾する顔画像の大きさが変化した場合でも、その顔画像に適合するようにＡＦ枠の範囲が変更されるため、ＡＦ枠内の背景画像によってＡＦによるピント合わせが適切に行われなくなるという不具合や、自動追尾が適切に行われなくなるという不具合が軽減される。

次に、ＡＦ枠設定処理の第２の実施の形態について図４（Ａ）〜（Ｃ）のフローチャートを用いて説明する。本実施の形態では、第１の実施の形態で示した処理において、パターンマッチング処理と顔検出処理をパターンマッチング処理演算ボード３２と顔検出処理演算ボード３４とで並行して行い、追尾処理の高速化を図るようにしたものである。

図４（Ａ）、図４（Ｂ）、図４（Ｃ）は各々、メインボード３０のＣＰＵ３８、パターンマッチング処理演算ボード３２のＣＰＵ５０、顔検出処理演算ボード３４のＣＰＵ５２において行われる処理の処理手順を示している。また、第１の実施の形態の図２のフローチャートに示した処理と処理内容が同一のものには図２のフローチャートと同一の符号を付し、詳細な説明を省略する。

まず、ユーザは、第１の実施の形態と同様にＡＦの対象として追尾させた被写体が含まれるように操作部２０を操作して初期のＡＦ枠を指定する。この指定に基づいて、メインボード３０のＣＰＵ３８は、レンズ装置１４に送信するＡＦ枠を設定する（図４（Ａ）のステップＳ１０）。そして、ＣＰＵ３８はＡＦ枠の自動追尾処理を開始する（図４（Ａ）のステップ１２）。

自動追尾処理を開始すると、ＣＰＵ３８は、ＡＦ枠の位置、大きさ、形状に基づいて、パターンマッチング処理における基準パターンの位置、大きさ、形状を設定する（図４（Ａ）のステップＳ５０）。尚、この基準パターンの位置、大きさ、形状を特定するデータを、以下、基準パターン座標というものとする。

次に、ＣＰＵ３８は、基準パターン座標をパターンマッチング処理演算ボード３２のＣＰＵ５０に送信する（図４（Ａ）のステップＳ５２）。

一方、パターンマッチング処理演算ボード３２のＣＰＵ５０は、メインボード３０のＣＰＵ３８から基準パターン座標を受信すると（図４（Ｂ）のステップＳ７０）、以下のステップＳ７２〜Ｓ８２（ステップＳ７２、Ｓ２４、Ｓ２６、Ｓ８０、Ｓ８２）の処理を繰り返し実行する。但し、一回目の処理では、ステップＳ７０で受信した基準パターン座標に基づいて、ステップＳ７２とステップ８０の処理により、撮影画像の基準パターンの画像データを設定する。

ＣＰＵ５０は、基準パターンの画像データを設定した後、デコーダ３６でデジタルデータに変換されて出力される撮影映像の映像信号により１フレーム分（１コマ分）の撮影画像の画像データをパターンマッチング処理演算ボード３２に取り込む（ステップＳ７２）。そして、ＣＰＵ５０は、その撮影画像の中から基準パターンと一致する画像を検出し、その位置を検出するパターンマッチング処理を実行する（図４（Ｂ）のステップＳ２４）。

続いて、ＣＰＵ５０は、ステップＳ２４のパターンマッチング処理の結果、基準パターンの画像、即ち、追尾する顔画像が、撮影画像内で移動したか否か判定する（図４（Ｂ）のステップＳ２６）。

ステップＳ３０においてＮＯと判定した場合には、ステップＳ２４の処理に戻る。

一方、ＹＥＳと判定した場合には、検出した基準パターンの画像を新たな基準パターンの画像として更新し（図４（Ｂ）のステップＳ８０）、基準パターン座標をメインボード３０のＣＰＵ３８に送信する（図４（Ｂ）のステップＳ８２）。そして、ステップＳ７２の処理に戻る。

パターンマッチング処理演算ボード３２のＣＰＵ５０では、以上のステップＳ７２〜ステップＳ８２の処理が繰り返し実行される。

また、顔検出処理演算ボード３４のＣＰＵ５２は、メインボード３０のＣＰＵ３８からの指示により（図示せず）、パターンマッチング処理演算ボード３２におけるパターンマッチング処理の開始と共に、処理を開始し、図４（Ｃ）のステップＳ９０〜ステップＳ９４（Ｓ９０、Ｓ２８、Ｓ９２、Ｓ９４）の処理を繰り返し実行する。

即ち、顔検出処理演算ボード３４のＣＰＵ５２は、デコーダ３６でデジタルデータに変換されて出力される撮影映像の映像信号により１フレーム分（１コマ分）の撮影画像の画像データを顔検出処理演算ボード３４に取り込む（図４（Ｃ）のステップＳ９０）。

続いて、撮影画像の中から顔画像を検出する顔検出処理を行い（図４（Ｃ）のステップＳ２８）、顔画像が検出されたか否かを判定する（図４（Ｃ）のステップＳ９２）。

このステップＳ９２によりＮＯと判定した場合にはステップＳ９０の処理に戻り、ＹＥＳと判定した場合には、検出した顔画像の位置（座標）、大きさを示す情報をメインボード３０のＣＰＵ３８に送信し（ステップＳ９４）、ステップＳ９０の処理に戻る。

顔検出処理演算ボード３４のＣＰＵ５２では、以上のステップＳ９０〜ステップＳ９４の処理が繰り返し実行される。

メインボード３０のＣＰＵ３８は、図４（Ａ）の上記ステップＳ５２の処理の後、ステップＳ５４〜Ｓ３４（Ｓ５４、Ｓ５６、Ｓ３０、Ｓ３２、Ｓ３４）の処理を繰り返し実行する。

まず、パターンマッチング処理演算ボード３２から、図４（Ｂ）のステップＳ８２の処理により送信される基準パターン座標を受信する（図４（Ａ）のステップＳ５４）。

続いて、顔検出処理演算ボード３４から、図４（Ｃ）のステップＳ９４の処理により送信される顔画像の位置、大きさの情報を受信する（図４（Ａ）のステップＳ５６）。

そして、ＣＰＵ３８は、現在のＡＦ枠の位置の近傍において検出された顔画像があるか否かを判定する（図４（Ａ）のステップＳ３０）。

このステップＳ３０においてＮＯと判定した場合には、ステップＳ５４により取得した基準パターン座標に基づいてＡＦ枠の位置を変更（更新）する（図４（Ａ）のステップＳ３４）。

一方、ステップＳ３０においてＹＥＳと判定した場合には、ＡＦ枠の大きさを、ＡＦ枠の位置の近傍において検出された顔画像に合わせた大きさに変更する（更新）すると共に（図４（Ａ）のステップＳ３２）、ＡＦ枠の位置をその顔画像の位置に変更（更新）する（図４（Ａ）のステップＳ３４）。

ステップＳ３４の処理が終了すると、ステップＳ５４の処理に戻り、ステップＳ５４〜ステップＳ３４（Ｓ５４、Ｓ５６、Ｓ３０、Ｓ３２、Ｓ３４）の処理を繰り返し実行する。

以上の処理により、パターンマッチング処理演算ボード３２でのパターンマッチング処理と、顔検出処理演算ボード３４での顔検出処理とが、分散して行われると共に並行して行われ、時間の要する画像処理によりＡＦ枠の追尾が遅れるという不具合が軽減される。

次に、ＡＦ枠設定処理の第３の実施の形態について図５のフローチャートを用いて説明する。本実施の形態では、パターンマッチング処理によるＡＦ枠の自動追尾と顔検出処理によるＡＦ枠の自動追尾のうち、顔検出処理によるＡＦ枠の自動追尾を優先して行い、顔検出処理によるＡＦ枠の自動追尾が不能な状況となった場合に、パターンマッチング処理による自動追尾を行うようにしたものである。

まず、ユーザは、第１及び第２の実施の形態と同様にＡＦの対象として追尾させた被写体が含まれるように操作部２０を操作して初期のＡＦ枠を指定する。この指定に基づいて、メインボード３０のＣＰＵ３８は、レンズ装置１４に送信するＡＦ枠を設定する（ステップＳ１００）。そして、ＣＰＵ３８はＡＦ枠の自動追尾処理を開始する（ステップ１０２）。

自動追尾処理を開始すると、ＣＰＵ３８は、デコーダ３６でデジタルデータに変換されて出力される撮影映像の映像信号により１フレーム分（１コマ分）の撮影画像の画像データをパターンマッチング処理演算ボード３２に取り込む（ステップＳ１０４）。

そして、その撮影画像においてＡＦ枠内の画像データをパターンマッチング処理における基準パターンの画像データとして設定する（ステップＳ１０６）。尚、基準パターンの画像データは、ＡＦ枠の大きさと完全に一致している必要はなく、ＡＦ枠よりも大きい又は小さい範囲の画像データとしても良い。

以上の処理が終了すると、以下のステップＳ１０８〜ステップＳ１２０の処理を繰り返し、ＡＦ枠内の顔画像を追尾する。

まず、ステップＳ１０８において、ＣＰＵ３８は、デコーダ３６から１フレーム分の撮影画像の画像データをパターンマッチング処理演算ボード３２と顔検出処理演算ボード３４に取り込む。

そして、顔検出処理演算ボード３４のＣＰＵ５２により、撮影画像の中から顔画像を検出する顔検出処理を行い（ステップＳ１１０）、ＡＦ枠内（又はＡＦ枠の近傍範囲内）に顔画像が検出されたか否かを判定する（ステップＳ１１２）。

このステップＳ１１２の判定処理によりＹＥＳと判定した場合には、Ｓ１１０で検出された顔画像の位置が撮影画像内で移動したか否かを判定する（ステップＳ１１６）。ＮＯと判定した場合にはステップＳ１０８の処理に戻り、ＹＥＳと判定した場合には、ＡＦ枠の位置を、検出した顔画像の位置に変更（更新）する（ステップＳ１１８）。また、ＡＦ枠内の画像を基準パターンの画像として更新し（ステップＳ１２０）、ステップＳ１０８の処理に戻る。尚、第１、第２の実施の形態と同様にＡＦ枠の大きさを、検出した顔画像に合わせた大きさに変更（更新）してもよい。

一方、ステップＳ１１２においてＮＯと判定した場合には、パターンマッチング処理演算ボード３２のＣＰＵ５０により、撮影画像の中から基準パターンと一致する画像を検出し、その位置を検出するパターンマッチング処理を実行する（ステップＳ１１４）。

そして、ＣＰＵ３８は、ステップＳ１１４のパターンマッチング処理の結果、基準パターンの画像が、撮影画像内で移動したか否かを判定する（ステップＳ１１６）。

ステップＳ１１６においてＮＯと判定した場合には、ステップＳ１０８の処理に戻る。

一方、ＹＥＳと判定した場合には、パターンマッチング処理により検出した基準パターンの画像の位置にＡＦ枠の位置を変更（更新）する（ステップＳ１１８）。また、ＡＦ枠内の画像を基準パターンの画像として更新し（ステップＳ１２０）、ステップＳ１０８の処理に戻る。

尚、上記フローチャートの処理では、パターンマッチング処理（ステップＳ１１４）と顔検出処理（ステップＳ１１０）を順に行うことが可能であり、これらの処理を図１のように複数の演算部で個別に行う必要はなく、メインボード３０において両方の処理を行ってもよいし、メインボード３０以外の１つの画像処理専用の演算ボードを設け、この演算ボードで両方の処理、又は、メインボード３０と演算ボードとの各々で１つずつの処理を行うようにしてもよい。

また、第２の実施の形態のようにパターンマッチング処理と顔検出処理とをパターンマッチング処理演算ボード３２と顔検出処理演算ボード３４とで並列して実行し、各々の結果をメインボード３０のＣＰＵ３８が必要時に取得するようにしてよい。

また、上記処理では、顔検出処理により顔画像が検出されている場合には優先的に顔検出処理によるＡＦ枠の自動追尾を実行する態様であるが、パターンマッチング処理により基準パターンが検出されている場合には優先的にパターンマッチング処理によるＡＦ枠の自動追尾を実行し、パターンマッチング処理が不能な状況となったときに顔検出処理によるＡＦ枠の自動追尾を実行するようにしてもよい。

以上のＡＦ枠設定処理の第３の実施の形態によれば、例えば、追尾する人物の顔が上下左右の正面（カメラ側）と異なる方向に向いてしまい、顔検出が不能となった場合であっても、パターンマッチング処理により自動追尾が適切に行われるため、自動追尾の信頼性が向上する。

尚、本第３の実施の形態においても第２の実施の形態と同様に、パターンマッチング処理と顔検出処理とをパターンマッチング処理演算ボード３２と顔検出処理演算ボード３４とで並行して行うようにすることは可能であり、これにより処理時間の短縮が図れる。

本発明が適用されたビデオカメラシステムの全体構成を示したブロック図。 ＡＦ枠設定処理の第１の実施の形態の処理手順を示したフローチャート。 ＡＦ枠設定処理の第１の実施の形態の説明に使用した説明図。 ＡＦ枠設定処理の第２の実施の形態の処理手順を示したフローチャート。 ＡＦ枠設定処理の第３の実施の形態の処理手順を示したフローチャート。

符号の説明

１…ビデオカメラシステム、１０…テレビカメラ、１２…カメラ本体、１４…レンズ装置、１６…被写体、１８…画像処理ユニット、２０…操作部、２４…撮影レンズ、２６…ＡＦユニット、３０…メインボード、３２…パターンマッチング処理演算ボード、３４…顔検出処理演算ボード、３６…デコーダ、３８…ＣＰＵ、４０…ＲＡＭ、４２…スーパーインポーザ

Claims (2)

1. 撮像手段により撮影される被写体の範囲のうちＡＦ枠に対応する範囲内の被写体にピントが合うように、前記撮像手段に被写体像を結像する撮影光学系のフォーカスを制御するオートフォーカス手段と、
   前記撮像手段により得られる撮影画像の中から人物の顔の画像を検出する顔検出処理手段と、
   追尾対象の被写体の画像として記憶された基準パターン画像を用いて、前記撮像手段により得られる撮影画像の中から、前記追尾対象の被写体の画像をパターンマッチング処理により検出するパターンマッチング処理手段と、
   前記ＡＦ枠内に人物の顔の画像が含まれる場合に、前記撮像手段により得られた撮影画像に対して前記顔検出処理手段により検出された顔の画像の位置に基づいて前記ＡＦ枠の位置を決定する第１のＡＦ枠決定手段と、
   前記撮像手段により得られる撮影画像に対して、前記パターンマッチング処理手段により検出された前記追尾対象の被写体の画像の位置に基づいて前記ＡＦ枠の位置を決定する第２のＡＦ枠決定手段と、
   前記第１のＡＦ枠決定手段と前記第２のＡＦ枠決定手段のうち、いずれか一方を優先のＡＦ枠決定手段とし、前記ＡＦ枠を、前記優先のＡＦ枠決定手段により決定された位置に変更すると共に、前記優先のＡＦ枠決定手段による前記ＡＦ枠の位置の決定が不能な状況となった場合には、前記ＡＦ枠を、他方のＡＦ枠決定手段により決定された位置に変更するＡＦ枠変更手段と、
   を備えたことを特徴とするＡＦ枠自動追尾機能を備えたオートフォーカスシステム。
2. 前記ＡＦ枠変更手段は、前記第１のＡＦ枠決定手段を前記優先のＡＦ枠決定手段とすることを特徴とする請求項１のＡＦ枠自動追尾機能を備えたオートフォーカスシステム。

Images