WO2013021767A1 - 動体検出装置及び方法 - Google Patents

Abstract

　ライブビュー画像又は動画の撮影中に撮影時刻の異なる画像対を取得する（ステップＳ１０）。この画像対から動きベクトルを算出し、動きベクトルによる動体検出を行う（ステップＳ１２、Ｓ１４）。また、上記画像対から差分画像を生成し、フレーム間差分による動体検出を行う（ステップＳ１６、Ｓ１８）。これらの２種類の動体検出結果を統合して動体検出する（ステップＳ２０）。これにより、遅い動体の検出精度を保持したまま、動きベクトルでは動体検出することができない速い動体も検出可能にしている。

Description

動体検出装置及び方法

　本発明は動体検出装置及び方法に係り、特に連続的に撮影されるフレーム画像から動体を検出する技術に関する。

　従来、ビデオカメラで得られた撮像信号から手振れベクトルを検出し、手振れベクトルとは区別可能な被写体の動きを表す画像動きベクトルを検出し、これにより動体検出を行うようにした画像動きベクトル検出装置が提案されている（特許文献１）。

　また、テレビカメラで撮ったフレーム画像からフレーム間差分を求め、そのフレーム間差分により移動体を検知する移動体監視装置が提案されている（特許文献２）。特に、この移動体監視装置は、限られた範囲内の周期運動をする木の枝の揺れのような監視不要な移動体の画像を検出除去し、更に残った画像について画面位置等の大きさ等からそれが、人、車両等の監視対象の移動体であるかどうかの判定を行うことを特徴としている。

特開平６－２１７１８８号公報 特開平５－１８３９０１号公報

　しかしながら、特許文献１に記載の発明は、動きベクトルに基づいて動体を検出するため、速い動体の場合には、被写体ブレにより画像中の動体を検出することができず、その結果、動きベクトル（動体）を検出することができないという問題がある。即ち、被写体のスピードが速い場合は、被写体ブレが起きるため、動きベクトルの起点、終点となる特徴点及び対応点を抽出することができない（動きベクトルを検出することができない）。また、動きベクトルの算出は計算コストが高く、検出のリアルタイム性と緻密さの両立が難しい。

　一方、特許文献２に記載の発明は、フレーム間差分により動体を検出するため、固定カメラの場合には良好に動体を検出することができるが、非固定カメラでは画像の位置合わせ処理を併用しないと、カメラの動きと動体の動きを判別することができず、また、動きベクトルによる動体の検出精度（検出の緻密さ）に比べて検出精度が低いという問題がある。

　本発明はこのような事情に鑑みてなされたもので、遅い動体の検出精度を保持したまま、速い動体であっても動体を検出することができる動体検出装置及び方法を提供することを目的とする。

　この目的を達成するために本発明の一の態様に係る動体検出装置は、連続的に撮像された画像を取得する画像取得手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出手段と、動きベクトル算出手段により算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成手段と、差分画像生成手段により生成した差分画像に基づいて動体の有無を検出する第２の動体検出手段と、第１の動体検出手段による検出結果と第２の動体検出手段による検出結果とを統合する統合手段であって、少なくとも第１の動体検出手段により動体が検出されず、第２の動体検出手段により動体が検出された場合には、動体が検出されたと判別する統合手段と、を備えている。

　本発明の一の態様に係る動体検出装置によれば、動きベクトルによる動体検出と、フレーム間の差分画像による動体検出とを併用し、これらの検出結果を統合して動体検出するようにしたため、遅い動体の検出精度を保持したまま、動きベクトルでは動体検出することができない速い動体も検出することができる。

　本発明の他の態様に係る動体検出装置において、動きベクトル算出手段は、速い動体により２枚の画像に被写体ブレが発生する場合には速い動体に対する動きベクトルの算出が不能となり、第１の動体検出手段は、動きベクトル算出手段による動きベクトルの算出が不能時には、動体がないと判別するようにしている。

　本発明の更に他の態様に係る動体検出装置において、第１の動体検出手段は、第１の時間間隔で動体の有無を連続的に検出し、第２の動体検出手段は、第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、統合手段は、第１の動体検出手段による最新の検出結果と第２の動体検出手段による最新の検出結果とを統合することが好ましい。

　即ち、第１の動体検出手段と第２の動体検出手段とにより並行して動体検出を行う。このとき、第１の動体検出手段が動体検出する第１の時間間隔は、第２の動体検出手段が動体検出する第２の時間間隔よりも長く設定されている。これは、動きベクトル算出手段による処理データ量が差分画像生成手段による処理データ量よりも多く、動きベクトルの算出に多くの時間を要するからである。そして、統合手段は、第１の動体検出手段による最新の検出結果と第２の動体検出手段による最新の検出結果とを統合する。リアルタイム性が求められる被写体は速い動体であるが、第２の動体検出手段による動体検出の第２の時間間隔を短くしてリアルタイム性を確保できるようにする。

　本発明の更に他の態様に係る動体検出装置において、差分画像生成手段は、２枚の画像をそれぞれ縮小した縮小画像間の差分画像を生成することが好ましい。これにより、差分画像を生成する処理時間の短縮化を図ることができ、速い動体に対しての応答性を高めることができる。

　本発明の更に他の態様に係る動体検出装置において、動きベクトル算出手段は、撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出する特徴点抽出手段と、一方の画像の複数の特徴点にそれぞれに対応する２枚の画像のうちの他方の画像上の複数の対応点を検出する対応点検出手段と、を有し、一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出するようにしている。これにより、動体（動体の領域及び動きベクトル）を精度よく検出することができる。

　本発明の更に他の態様に係る動体検出装置において、統合手段は、第１の動体検出手段により動体が検出され、第２の動体検出手段により動体が検出されない場合には、動体が検出されたと判別するようにしている。第２の動体検出手段によるフレーム間の差分画像では、遅い動体を検出することができない場合があるが、第１の動体検出手段は、遅い動体を精度よく検出することがきるからである。

　本発明の更に他の態様に係る動体検出装置は、統合手段が動体が検出されたと判別した場合、動体を追尾して画像取得手段の焦点調節動作を行うＡＦ制御部を備えてもよい。

　本発明の更に他の態様に係る動体検出装置は、統合手段が動体が検出されたと判別した場合、動体検出装置をパンおよび／またはチルトさせて動体を追尾する追尾部を備えてもよい。

　本発明の更に他の態様に係る動体検出装置は、統合手段が動体が検出されたと判別した場合、動体に基づいて撮影シーンを認識する撮影シーン認識部を備えてもよい。

　本発明の更に他の態様に係る動体検出装置は、連続的に撮像された画像を取得する画像取得手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成手段と、差分画像生成手段により生成した差分画像に基づいて動体候補領域を抽出する動体候補領域抽出手段と、画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出手段と、撮影時刻の異なる２枚の画像がパニングにより取得されたものか否かを判定するパニング判定手段と、動きベクトル算出手段により算出された動きベクトル及びパニング判定手段によるパニング判定結果に基づいて動体候補領域抽出手段により抽出された動体候補領域が動体領域か否かを判定する判定する動体領域判定手段と、を備えている。

　時系列の画像がパニング時に取得されたものか、又は非パニング時に取得されたものかを判別するようにしたため、非パニング時に動体候補領域が抽出された場合には、その動体候補領域は動体領域と判別することができる。尚、フレーム間の差分画像により動体候補領域を抽出するため、速い動体であっても動体候補領域として抽出することができ、また、遅い動体の場合には動きベクトルの算出により精度よく動体を検出することができる。

　本発明の更に他の態様に係る動体検出装置において、動体領域判定手段は、パニング判定手段によりパニングと判定された場合において、動体候補領域に動きベクトルが存在しない場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、該動体候補領域を動体領域と判定しないようにしている。

　時系列の画像がパニング時に取得されたものである場合、フレーム間の差分画像により抽出された動体候補領域には、パニングのみに起因したものと、パニングと動体の動きとが複合したものとが含まれるため、両者を判別する必要がある。そして、ある動体候補領域の判別に際し、その動体領域候補に対して動きベクトルが存在しない場合（動きベクトルが算出されない場合）には、速い動体のために動きベクトルを算出することができなかったと見なし、その動体領域候補を動体領域と判別するようにしている。また、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、その動体候補領域を動体領域と判定するようにしている。一方、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、その動体候補領域はパニングにより動体候補領域として抽出されたものと見なし、動体領域と判定しないようにしている。これにより、パニング時であっても動体領域を特定することができる。

　本発明の更に他の態様に係る動体検出装置において、動体領域判定手段は、パニング判定手段によりパニングなしと判定された場合には、動体候補領域を動体領域と判定するようにしている。

　本発明の更に他の態様に係る動体検出装置において、パニング判定手段は、動きベクトル算出手段により算出された動きベクトルに基づいてパニング判定することが好ましい。別途、パニングを検出するためのセンサ等を使用する必要がないからである。

　本発明の更に他の態様に係る動体検出装置において、パニング判定手段は、動きベクトル算出手段により算出された動きベクトルの長さが一定以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも少ない場合にはパニングありと判定し、予め設定された割合又は個数よりも多い場合にはパニングなしと判定することができる。非パニング時には、動体以外の部分の動きベクトルの長さは一定以下になるため、動きベクトルの長さが一定以下となる動きベクトルの割合又は個数により非パニング又はパニングを判別することができる。

　本発明の更に他の態様に係る動体検出装置は、動体領域判定手段が動体候補領域を動体領域と判定した場合、動体領域を追尾して画像取得手段の焦点調節動作を行うＡＦ制御部を備えてもよい。

　本発明の更に他の態様に係る動体検出装置は、動体領域判定手段が動体候補領域を動体領域と判定した場合、動体検出装置をパンおよび／またはチルトさせて動体領域を追尾する追尾部を備えてもよい。

　本発明の更に他の態様に係る動体検出装置は、動体領域判定手段が動体候補領域を動体領域と判定した場合、動体領域に基づいて撮影シーンを認識する撮影シーン認識部を備えてもよい。

　本発明の更に他の態様に係る動体検出方法は、動体検出装置が、連続的に撮像された画像を取得する画像取得工程と、取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出工程と、算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出工程と、取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成工程と、生成した差分画像に基づいて動体の有無を検出する第２の動体検出工程と、第１の動体検出工程による検出結果と第２の動体検出工程による検出結果とを統合する統合工程であって、少なくとも第１の動体検出工程により動体が検出されず、第２の動体検出工程により動体が検出された場合には、動体が検出されたと判別する統合工程と、を実行する。

　本発明の更に他の態様に係動体検出方法において、動きベクトル算出工程は、速い動体により２枚の画像に被写体ブレが発生する場合には速い動体に対する動きベクトルの算出が不能となり、第１の動体検出工程は、動きベクトル算出工程による動きベクトルの算出が不能時には、動体がないと判別するようにしている。

　本発明の更に他の態様に係る動体検出方法において、第１の動体検出工程は、第１の時間間隔で動体の有無を連続的に検出し、第２の動体検出工程は、第１の動体検出工程による動体検出と並行して、第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、統合工程は、第１の動体検出工程による最新の検出結果と第２の動体検出工程による最新の検出結果とを統合することが好ましい。

　本発明の更に他の態様に係る動体検出方法において、差分画像生成工程は、２枚の画像をそれぞれ縮小し、その縮小した縮小画像間の差分画像を生成することが好ましい。

　本発明の更に他の態様に係る動体検出方法において、動きベクトル算出工程は、撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出し、一方の画像の複数の特徴点にそれぞれに対応する２枚の画像のうちの他方の画像上の複数の対応点を検出し、一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出するようにしている。

　本発明の更に他の態様に係る動体検出方法において、統合工程は、第１の動体検出工程により動体が検出され、第２の動体検出工程により動体が検出されない場合には、動体が検出されたと判別するようにしている。

　本発明の更に他の態様に係る動体検出方法は、統合工程が動体が検出されたと判別した場合、動体を追尾して画像取得工程の焦点調節動作を行うＡＦ制御工程を実行してもよい。

　本発明の更に他の態様に係る動体検出方法は、統合工程が動体が検出されたと判別した場合、動体検出装置をパンおよび／またはチルトさせて動体を追尾する追尾工程を実行してもよい。

　本発明の更に他の態様に係る動体検出方法は、統合工程が動体が検出されたと判別した場合、動体に基づいて撮影シーンを認識する撮影シーン認識工程を実行してもよい。

　本発明の更に他の態様に係る動体検出方法は、動体検出装置が、連続的に撮像された画像を取得する画像取得工程と、取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成工程と、生成した差分画像に基づいて動体候補領域を抽出する動体候補領域抽出工程と、取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出工程と、撮影時刻の異なる２枚の画像がパニングにより取得されたものか否かを判定するパニング判定工程と、動きベクトル算出工程により算出された動きベクトル及びパニング判定工程によるパニング判定結果に基づいて動体候補領域抽出工程により抽出された動体候補領域が動体領域か否かを判定する判定する動体領域判定工程と、を実行する。

　本発明の更に他の態様に係る動体検出方法において、動体領域判定工程は、パニング判定工程によりパニングと判定された場合において、動体候補領域に動きベクトルが存在しない場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、該動体候補領域を動体領域と判定し、動体候補領域に動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、該動体候補領域を動体領域と判定しないようにしている。

　本発明の更に他の態様に係る動体検出方法において、動体領域判定工程は、パニング判定工程によりパニングなしと判定された場合には、動体候補領域を動体領域と判定するようにしている。

　本発明の更に他の態様に係る動体検出方法において、パニング判定工程は、動きベクトル算出工程により算出された動きベクトルに基づいてパニング判定することが好ましい。

　本発明の更に他の態様に係る動体検出方法において、パニング判定工程は、動きベクトル算出工程により算出された動きベクトルの長さが一定以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも少ない場合にはパニングありと判定し、予め設定された割合又は個数よりも多い場合にはパニングなしと判定するようにしている。

　本発明の更に他の態様に係る動体検出方法は、動体領域判定工程が動体候補領域を動体領域と判定した場合、動体領域を追尾して画像取得工程の焦点調節動作を行うＡＦ制御工程を実行してもよい。

　本発明の更に他の態様に係る動体検出方法は、動体領域判定工程が動体候補領域を動体領域と判定した場合、動体検出装置をパンおよび／またはチルトさせて動体領域を追尾する追尾工程を実行してもよい。

　本発明の更に他の態様に係る動体検出方法は、動体領域判定工程が動体候補領域を動体領域と判定した場合、動体領域に基づいて撮影シーンを認識する撮影シーン認識工程を実行してもよい。

　本発明によれば、動きベクトルによる動体検出と、フレーム間の差分画像による動体検出とを併用し、これらの検出結果を統合して動体検出するようにしたため、遅い動体の検出精度を保持したまま、動きベクトルでは動体検出することができない速い動体も検出することができる。

本発明に係る動体検出装置が適用された撮像装置の実施の形態を示すブロック図 動体検出部の内部構成を示すブロック図 撮影時刻の異なる２枚の画像及びこれらの画像間の動きベクトルを示す図 撮影時刻の異なる２枚の画像及びこれらの画像間の差分画像を示す図 本発明に係る動体検出方法の第１の実施の形態を示すフローチャート 動きベクトルによる検出結果とフレーム間差分による検出結果とを統合した検出結果を示す図表 本発明に係る動体検出方法の第２の実施の形態を示すフローチャート 本発明に係る動体検出方法の第３の実施の形態を示すフローチャート 撮影時刻の異なる２枚の画像、これらの画像間の差分画像及び動きベクトルを示す図 パニング判定方法の一例を説明するために用いた動きベクトルのヒストグラム

　以下、添付図面に従って本発明に係る動体検出装置及び方法の実施の形態について説明する。

　［撮像装置］
　図１は本発明に係る動体検出装置が適用された撮像装置の実施の形態を示すブロック図である。

　この撮像装置１０は、静止画や動画の撮影、記録が可能なデジタルカメラおよびその等価物（カメラ付き携帯電話機・スマートフォン、カメラ付きＰＣなど）であり、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

　撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、本発明に係る動体検出制御、液晶モニタ３０の表示制御などを行う。

　シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、オート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、マクロモード、動画モードなどを選択する選択手段である。

　再生ボタンは、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

　撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して撮像デバイス１６（ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ）の受光面に結像される。撮影レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３４によって駆動され、例えば、絞り値Ｆ1.4～Ｆ11まで１ＡＶ刻みで７段階に絞り制御される。

　また、ＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、デバイス制御部３２を介して撮像デバイス１６での電荷蓄積時間（シャッタ速度）や、撮像デバイス１６からの画像信号の読み出し制御等を行う。

　撮像デバイス１６に蓄積された信号電荷は、デバイス制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像デバイス１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、ＣＰＵ４０から指定されたゲイン（ＩＳＯ感度に相当）で増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

　デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、シャープネス補正等の所定の信号処理を行う。

　尚、図１において、４６は、カメラ制御プログラム、撮像デバイス１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されているＲＯＭ（ＥＥＰＲＯＭ）である。

　デジタル信号処理部２４で処理された画像データがＶＲＡＭ５０に出力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像（ライブビュー画像）が液晶モニタ３０の表示画面上に表示される。

　また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、撮像デバイス１６は、オートフォーカス（ＡＦ）動作及びＡＥ（自動露出）動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ制御部４４に取り込まれる。

　ＡＥ制御部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ制御部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４の絞り値及び撮像デバイス１６の電子シャッタ（シャッタ速度）を所定のプログラム線図に従って決定する。

　ＣＰＵ４０は、プログラム線図に従って決定した絞り値に基づいて絞り駆動部３４を介して絞り１４を制御するとともに、決定したシャッタ速度に基づいてデバイス制御部３２を介して撮像デバイス１６での電荷蓄積時間を制御する。

　ＡＦ制御部４２は、コントラストＡＦ処理を行う部分であり、１画面の画像データのうちの所定のＡＦエリア内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１２を制御することによりＡＦ制御が行われる。

　ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

　メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出され、ここで、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われ、ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。

　メモリ４８に記憶されたＹＣデータは、圧縮伸長処理部２６に出力され、ここでJPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、メディア・コントローラ５２を介してメモリカード５４に記録される。

　［動体検出］
　動体検出部４５は、所定のフレームレートで連続的に撮影される時系列の画像（動画）中から動体（動体領域）を検出するもので、例えば、動いている被写体を追尾してＡＦ動作を行う自動追尾ＡＦに適用される。即ち、動体検出部４５により検出された動体領域を示す情報がＡＦ制御部４２に加えられると、ＡＦ制御部４２は、その動体領域をＡＦエリアとしてＡＦ処理を行う。これにより、被写体にピントを合わせると、その後、被写体が移動しても自動で被写体を追尾し、被写体にピントを合わせ続けることができ、静止画の撮影時にはシャッターチャンスを逃さずに撮影することができ、動画の撮影時には動く被写体にピントが合った動画を撮影することができる。

　図２は動体検出部４５の内部構成例を示すブロック図である。同図に示すように、動体検出部４５は、入出力部４５０、動きベクトル算出部４５２、差分画像生成部４５４、及び動体検出処理部４５６から構成されている。

　入出力部４５０は、画像入力コントローラ２２を介してメモリ４８に格納された画像データの入力及び動体検出結果の出力等を行う部分である。動きベクトル算出部４５２は、入出力部４５０を介して所定のインターバルで画像データを取得し、撮影時刻の異なる２枚の画像データ（画像対）に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する。

　ここで、動きベクトルの算出方法について、図３を使用して説明する。

　図３の（Ａ）部分及び（Ｂ）部分は、撮影時刻の異なる２枚の画像Ａ，Ｂの一例を示す。画像Ａは画像Ｂよりも撮影時刻が早く、また、これらの画像Ａ、Ｂは、動体（自動車）のみ左方向に移動している場合の画像である。

　図３において、２枚の画像Ａ，Ｂのうちの撮影時刻の早い画像Ａを基準画像とし、この画像Ａ上の特徴点（図３の（Ａ）部分上で、白丸で示した点）を抽出する。特徴点は、画像Ａ内で一意に特定できる特徴のある点であり、他の画像Ｂとの間で同じ特徴を有する点（対応点）を特定できるものである。

　続いて、画像Ｂから抽出された各特徴点にそれぞれ対応する対応点（図３の（Ｂ）部分上で、黒丸で示した点）を検出する。尚、特徴点の検出方法としては、例えばHarrisの手法等を用いることができ、対応点の検出方法としては、KLT法等を用いて特徴点追尾を行うことができる。

　そして、図３の（Ｃ）部分に示すように上記特徴点と対応点の画像上の座標値に基づいて特徴点と対応点とを結ぶ動きベクトル（図３の（Ｃ）部分上の矢印）を算出する。

　上記のようにして算出された動きベクトル、及び動きベクトルの起点、終点の座標値は、動体検出処理部４５６に出力される。

　動体検出処理部４５６は、動きベクトル算出部４５２から入力する動きベクトル、及び動きベクトルの起点、終点の座標値に基づいて動きベクトルが等しい領域を抽出し、その領域を動体領域Ｃ（図３の（Ｃ）部分上の点線で示した領域ａ）として検出する。尚、動きベクトルを用いた動体の検出方法としては、特許文献１に記載の方法を使用してもよい。

　また、差分画像生成部４５４は、入出力部４５０を介して所定のインターバルで画像データを取得し、撮影時刻の異なる２枚の画像データ（画像対）の差分を示す差分画像を生成する。

　図４の（Ａ）部分及び（Ｂ）部分に示す２枚の画像Ａ，Ｂの差分画像を、図４の（Ｃ）部分に示す。尚、図４の（Ａ）部分及び（Ｂ）部分に示す２枚の画像Ａ，Ｂは、図３の（Ａ）部分及び（Ｂ）部分に示した２枚の画像Ａ，Ｂと同じである。

　差分画像生成部４５４により生成された差分画像は、動体検出処理部４５６に出力される。動体検出処理部４５６は、差分画像生成部４５４から入力する差分画像の差分の大きい領域を動体領域ａ（又は動体候補領域）として検出する。図４の（Ｃ）部分上では、差分画像の差分の大きい領域（動体領域ａ）を斜線で示している。

　動体検出処理部４５６は、上記のように動きベクトル算出部４５２により算出された動きベクトルと、差分画像生成部４５４により生成された差分画像とに基づいてそれぞれ動体領域を検出し、これらの検出結果を統合して入出力部４５０を介してＡＦ制御部４２に送出する。

　また、動体検出処理部４５６は、動きベクトル算出部４５２により算出された動きベクトルによりパニングの判定を行い、その判定結果に基づいて動体領域の検出を行うようにしている。尚、上記２種類の動体検出の検出結果の統合方法、パニング判定方法等の詳細については、後述する。

　［第１の実施の形態］
　図５は本発明に係る動体検出方法の第１の実施の形態を示すフローチャートである。

　まず、図２に示した動体検出部４５の入出力部４５０は、ライブビュー画像又は動画の撮影中に撮影時刻の異なる２枚の画像（画像対：隣接フレームが望ましい）を入力する（ステップＳ１０）。動きベクトル算出部４５２は、入力した２枚の画像上の複数の特徴点・対応点の検出に基づいて特徴点ごとに動きベクトルを算出する（ステップＳ１２）。動体検出処理部４５６は、算出された動きベクトルに基づいて動体（動体領域）を検出する（ステップＳ１４）。

　一方、差分画像生成部４５４は、ステップＳ１０で入力した画像対から差分画像を生成し（ステップＳ１６）、動体検出処理部４５６は、生成されたフレーム間の差分画像により動体（動体領域）を検出する（ステップＳ１８）。

　動体検出処理部４５６は、上記ステップＳ１４及びステップＳ１８にてそれぞれ検出された２種類の動体検出の検出結果を統合し、その統合結果をＡＦ制御部４２に出力する（ステップＳ２０）。

　上記ステップＳ１０からステップＳ２０の処理は、ライブビュー画像又は動画の撮影動作中、繰り返し行われる。これにより、移動する動体に対しては、その動体の領域を示す情報が逐次ＡＦ制御部４２に出力され、ＡＦ制御部４２は、動体検出部４５から入力する動体領域をＡＦエリアとして使用することにより、動いている被写体を追尾してＡＦ動作を行う自動追尾ＡＦを行うことができる。

　次に、ステップＳ２０における２種類の動体検出の検出結果の統合処理について説明する。

　図６の図表に示すように、動きベクトルによる検出結果とフレーム間差分による検出結果の組み合わせにより統合後の検出結果を決定する。基本的には、正確な結果が得られる動きベクトルによる検出結果をそのまま用いる。尚、動きベクトルによる検出結果とフレーム間差分による検出結果が、共に「動体あり」の場合、動きベクトルによる検出結果を優先させる。これは、動きベクトルによる動体検出は、動体領域の特定や動き量等を、フレーム間差分による動体検出よりも正確に求めることができるからである。

　また、動きベクトルによる検出結果が「動体なし」、フレーム間差分による検出結果が「動体あり」の場合には、統合結果を「動体あり」とする。これは、動きベクトルにより動体検出する場合には、速い動体の場合には被写体ブレにより特徴点等の抽出ができないため、動体検出することができず、「動体なし」と検出される可能性があるのに対し、フレーム間差分により動体検出する場合には、速い動体でも検出することができるからである。

　一方、動きベクトルによる検出結果が「動体あり」、フレーム間差分による検出結果が「動体なし」の場合には、統合結果を「動体あり」とする。これは、遅い動体の場合、動きベクトルによる動体検出は、精度よく検出することができるのに対し、フレーム間差分による動体検出では、検出精度が低くなり、「動体なし」と検出される可能性があるからである。

　上記第１の実施の形態によれば、遅い動体の検出精度を保持したまま、速い動体であっても動体を検出することができる利点がある。

　また、第１の実施の形態は、何らかの方法で抽出した複数の動体候補領域のそれぞれにおいて、動体／非動体の判定を行う場合や、画面全体において動体の有無を判定する場合に利用することができる。

　［第２の実施の形態］
　図７は本発明に係る動体検出方法の第２の実施の形態を示すフローチャートである。尚、図５に示した第１の実施の形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

　図７に示す第２の実施の形態は、第１の実施の形態と比較して、主として動きベクトルによる動体検出と、フレーム間差分による動体検出とを並行処理している点と、両者の動体検出の処理時間が異なり、動きベクトルによる１回の動体検出時間は、フレーム間差分による１回の動体検出時間よりも長い点である。

　一般的に、動きベクトルの算出は計算コストが高く、検出のリアルタイム性と緻密さの両立が難しい。例えば、画面内の特徴点の数（密度）を増やしたり、入力画像の解像度を上げたりすることで、より正確な動体検出が可能となるが、処理データ量の増加は計算時間に直結し、リアルタイム性とのトレードオフとなる。動体の撮影を行う場合、リアルタイム性は重要であり、検出の応答が遅くなれば動体を画角内に捕らえられなくなる可能性がある。

　第２の実施の形態は、第１の実施の形態とほぼ同じ処理であるが、動きベクトルによる動体検出とフレーム間差分による動体検出を時間的に並行に処理し、かつフレーム間差分による動体検出は、リアルタイム性を確保するために短い周期で行う。

　即ち、図７において、ステップＳ１０’及びステップＳ１０”では、共に動体検出に使用する画像対を入力するが、ステップＳ１０”における画像対の入力周期は、ステップＳ１０’における画像対の入力周期よりも短くなっている。

　従って、ステップＳ１０’で入力した画像対に基づいて検出した動きベクトルによる動体検出結果は、一時保存しておく（ステップＳ１５）。

　一方、ステップＳ１０”で入力した画像対は、より処理時間の短縮化のために縮小画像にリサイズされ（ステップＳ１１）、その後、差分画像が生成される（ステップＳ１６）。

　フレーム間差分による動体検出はもともと位置精度が低いため、縮小画像を用いても検出精度は大きく変わらない。一方、動きベクトルによる動体検出が対象とする遅い動体に対しては、ある程度検出の間隔が空いても対応可能であるため、検出精度を落とさずに計算を実施するようにしている。

　ステップＳ２０’では、ステップＳ１５で保存した動きベクトルによる動体検出結果と、ステップＳ１８におけるフレーム間差分による動体検出結果とを統合する。統合時には、２種類の検出結果の最新のものを用いる。尚、統合処理は、必ずしもフレーム間差分による動体検出の処理フローの中にある必要はない。

　上記第２の実施の形態によれば、遅い動体の計算精度を保ったまま、速い動体の検出応答性を高めることができる。

　［第３の実施の形態］
　図８は本発明に係る動体検出方法の第３の実施の形態を示すフローチャートである。

　まず、ライブビュー画像又は動画の撮影中に、撮影時刻の異なる２枚の画像（画像対）を入力する（ステップＳ３０）。差分画像生成部４５４は、ステップＳ３０で入力した画像対から差分画像を生成し（ステップＳ３２）、動体検出処理部４５６は、生成されたフレーム間の差分画像により動体候補領域を抽出する（ステップＳ３４）。

　ここで、動体候補領域としたのは、固定カメラの場合は差分領域≒動体領域であるが、非固定カメラの場合はカメラの移動によっても差分が生じるため、差分領域は動体領域とは異なる可能性があり、パニングしている場合には、動体が存在していなくても差分領域が発生するからである。

　図９の（Ａ）部分及び（Ｂ）部分は、撮影時刻の異なる２枚の画像Ａ，Ｂの一例を示す。ここで、画像Ａは画像Ｂよりも撮影時刻が早く、また、これらの画像Ａ、Ｂは、撮像装置１０が右方向にパニングし、かつ動体（自動車）が右方向に移動している場合の画像である。

　図９の（Ａ）部分及び（Ｂ）部分に示す２枚の画像Ａ，Ｂの差分画像を、図９の（Ｃ）部分に示す。この画像Ａ，Ｂの差分画像に基づいて、図９の（Ｃ）部分に示す動体候補領域a1,a2,a3,a4,a5を抽出する。即ち、差分画像の差分が大きい領域であって、その領域の輪郭や輪郭内の色、明るさ等により、相関のある領域別に動体候補領域a1,a2,a3,a4,a5を抽出する。また、次のステップＳ３６で算出される動きベクトルの有無、大きさ、方向により複数の動体候補領域a1,a2,a3,a4,a5を区別するようにしてもよい。

　次に、動きベクトル算出部４５２は、入力した２枚の画像上の複数の特徴点・対応点の検出に基づいて特徴点ごとに動きベクトルを算出する（ステップＳ３６）。図９の（Ｄ）部分に各動体候補領域a1,a2,a3,a4,a5の動きベクトルを示す。

　続いて、画像対がパニング中に取得されたものか否かを判別（パニング判定）する（ステップＳ３８）。

　フレーム間差分による差分画像では使用する画像を低解像度にすることによって、手振れ程度のフレーム間差分による差分画像により手振れ程度の画像の動きは吸収できるが、パン・チルトのように大きくカメラを動かす場合には対応できない。そこで、動きベクトルによりパニング判定を行う。

　パニング判定は様々な方法が考えられるが、第３の実施の形態では、ステップＳ３６で検出した動きベクトルに基づいてパニング判定を行う。

　具体的には、ステップＳ３６で検出した動きベクトルに基づいて、動きベクトルの長さに応じた動きベクトルのヒストグラムを作成する。

　図１０の（Ａ）部分及び（Ｂ）部分は、パニングがない場合の動きベクトルのヒストグラムと、パニングがある場合の動きベクトルのヒストグラムの一例を示している。

　パニングがない場合、動きベクトルの長さは、ゼロ又はゼロ近傍の動きベクトルの頻度が多くなり、一方、パニングがある場合、動きベクトルの長さは、そのパニングに対応する動きベクトルの頻度が多くなる。そこで、パニング判定の基準として一定の長さＬを設定し、この長さＬ以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも多い場合（図１０の（Ａ）部分に示すヒストグラムの場合）にはパニングなしと判定し、予め設定された割合又は個数よりも少ない場合（（図１０の（Ａ）部分に示すヒストグラムの場合）にはパニングありと判定する。

　上記ステップＳ３８でのパニング判定でパニングなしと判定した場合（「No」の場合）、差分領域≒動体領域となるため、全ての動体候補領域を動体領域と決定する（ステップＳ４０）。尚、この動体領域の決定に際しては、第１の実施の形態と同様に２つの動体検出結果を統合することが好ましい。

　一方、上記ステップＳ３８でのパニング判定でパニングありと判定した場合（「Yes」の場合）には、動体候補領域ごとに動体か非動体かの判定を行う。まず、ステップＳ３４で抽出した動体候補領域の中から１つの動体候補領域を選択し（ステップＳ４２）、その選択した動体候補領域に動きベクトルが存在するか否かを判別する（（ステップＳ４４）。

　動きベクトルが存在しない場合（「No」の場合）は、動体が高速なために特徴点を抽出することができていない可能性が高いため、その動体候補領域を動体領域に決定する（ステップＳ４６）。

　一方、動きベクトルが存在する場合（「Yes」の場合）は、周囲の動体候補領域の動きベクトルとの相関を調べ（ステップＳ４８）、相関が低い場合（「No」の場合）には、その動体候補領域を動体領域に決定し（ステップＳ４６）、相関が高い場合（「Yes」の場合）には、カメラの動き（パニング）により動きベクトルが生じていると判定し、その動体候補領域を動体領域とはしない（ステップＳ５０）。

　例えば、図９の（Ｄ）部分に示す例では、自動車（動体）に対応する動体候補領域a5の動きベクトルは、周囲の動体候補領域a1,a2,a3,a4の動きベクトルとの相関が低いため、動体領域と判別する。一方、背景に対応する動体候補領域a1,a2,a3,a4の動きベクトルは、それぞれ相関が高いため、非動体領域と判別する。

　次に、全ての動体候補領域の判定処理が終了したか否かを判別し（ステップＳ５２）、終了していない場合には、ステップＳ４２に遷移してステップＳ４２からステップＳ５２の処理を繰り返し、終了した場合には、ステップＳ３０で入力した画像対に対する動体検出を終了する。

　第３の実施の形態によれば、パニングにより動きベクトルが生じていたり、被写体ブレにより動きベクトルを検出できない場合であっても移動する動体の動体領域を特定することができる。

　尚、本発明に係る動体検出装置は、カメラでの自動追尾ＡＦに適用される場合に限らず、カメラ本体をパン／チルト動作させて動体を追尾する機構、動体を検出する監視カメラ、撮影シーン（オブジェクト）の認識等にも適用でき、その用途は、本実施の形態には限定されない。

　また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１０…撮像装置、１２…撮影レンズ、１６…撮像デバイス、２４…デジタル信号処理部、４０…中央処理装置（ＣＰＵ）、４２…ＡＦ制御部、４４…ＡＥ制御部、４５…動体検出部、４６…ＲＯＭ、４８…メモリ、４５０…入出力部、４５２…動きベクトル算出部、４５４…差分画像生成部、４５６…動体検出処理部

Claims (34)

1. 　連続的に撮像された画像を取得する画像取得手段と、
   　前記画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出手段と、
   　前記動きベクトル算出手段により算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出手段と、
   　前記画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成手段と、
   　前記差分画像生成手段により生成した差分画像に基づいて動体の有無を検出する第２の動体検出手段と、
   　前記第１の動体検出手段による検出結果と第２の動体検出手段による検出結果とを統合する統合手段であって、少なくとも前記第１の動体検出手段により動体が検出されず、前記第２の動体検出手段により動体が検出された場合には、動体が検出されたと判別する統合手段と、
   　を備えた動体検出装置。
2. 　前記動きベクトル算出手段は、速い動体により前記２枚の画像に被写体ブレが発生する場合には前記速い動体に対する動きベクトルの算出が不能となり、
   　前記第１の動体検出手段は、前記動きベクトル算出手段による動きベクトルの算出の不能時には、動体がないと判別する請求項１に記載の動体検出装置。
3. 　前記第１の動体検出手段は、第１の時間間隔で動体の有無を連続的に検出し、
   　前記第２の動体検出手段は、前記第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、
   　前記統合手段は、前記第１の動体検出手段による最新の検出結果と第２の動体検出手段による最新の検出結果とを統合する請求項１又は２に記載の動体検出装置。
4. 　前記差分画像生成手段は、前記２枚の画像をそれぞれ縮小した縮小画像間の差分画像を生成する請求項１から３のいずれか１項に記載の動体検出装置。
5. 　前記動きベクトル算出手段は、前記撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出する特徴点抽出手段と、前記一方の画像の複数の特徴点にそれぞれに対応する前記２枚の画像のうちの他方の画像上の複数の対応点を検出する対応点検出手段と、を有し、前記一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出する請求項１から４のいずれか１項に記載の動体検出装置。
6. 　前記統合手段は、前記第１の動体検出手段により動体が検出され、前記第２の動体検出手段により動体が検出されない場合には、動体が検出されたと判別する請求項１から５のいずれか１項に記載の動体検出装置。
7. 　前記統合手段が動体が検出されたと判別した場合、前記動体を追尾して前記画像取得手段の焦点調節動作を行うＡＦ制御部を備える請求項１から６のいずれか１項に記載の動体検出装置。
8. 　前記統合手段が動体が検出されたと判別した場合、前記動体検出装置をパンおよび／またはチルトさせて前記動体を追尾する追尾部を備える請求項１から６のいずれか１項に記載の動体検出装置。
9. 　前記統合手段が動体が検出されたと判別した場合、前記動体に基づいて撮影シーンを認識する撮影シーン認識部を備える請求項１から６のいずれか１項に記載の動体検出装置。
10. 　連続的に撮像された画像を取得する画像取得手段と、
    　前記画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成手段と、
    　前記差分画像生成手段により生成した差分画像に基づいて動体候補領域を抽出する動体候補領域抽出手段と、
    　前記画像取得手段が取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出手段と、
    　前記撮影時刻の異なる２枚の画像がパニングにより取得されたものか否かを判定するパニング判定手段と、
    　前記動きベクトル算出手段により算出された動きベクトル及び前記パニング判定手段によるパニング判定結果に基づいて前記動体候補領域抽出手段により抽出された動体候補領域が動体領域か否かを判定する判定する動体領域判定手段と、
    　を備えた動体検出装置。
11. 　前記動体領域判定手段は、前記パニング判定手段によりパニングと判定された場合において、
    　前記動体候補領域に前記動きベクトルが存在しない場合には、該動体候補領域を動体領域と判定し、
    　前記動体候補領域に前記動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、該動体候補領域を動体領域と判定し、
    　前記動体候補領域に前記動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、該動体候補領域を動体領域と判定しない請求項１０に記載の動体検出装置。
12. 　前記動体領域判定手段は、前記パニング判定手段によりパニングなしと判定された場合には、前記動体候補領域を動体領域と判定する請求項１１に記載の動体検出装置。
13. 　前記パニング判定手段は、前記動きベクトル算出手段により算出された動きベクトルに基づいてパニング判定する請求項１０から１２のいずれか１項に記載の動体検出装置。
14. 　前記パニング判定手段は、前記動きベクトル算出手段により算出された動きベクトルの長さが一定以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも少ない場合にはパニングありと判定し、予め設定された割合又は個数よりも多い場合にはパニングなしと判定する請求項１３に記載の動体検出装置。
15. 　前記動体領域判定手段が前記動体候補領域を動体領域と判定した場合、前記動体領域を追尾して前記画像取得手段の焦点調節動作を行うＡＦ制御部を備える請求項１０から１４のいずれか１項に記載の動体検出装置。
16. 　前記動体領域判定手段が前記動体候補領域を動体領域と判定した場合、前記動体検出装置をパンおよび／またはチルトさせて前記動体領域を追尾する追尾部を備える請求項１０から１４のいずれか１項に記載の動体検出装置。
17. 　前記動体領域判定手段が前記動体候補領域を動体領域と判定した場合、前記動体領域に基づいて撮影シーンを認識する撮影シーン認識部を備える請求項１０から１４のいずれか１項に記載の動体検出装置。
18. 　動体検出装置が、
    　連続的に撮像された画像を取得する画像取得工程と、
    　前記取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出工程と、
    　前記算出した動きベクトルに基づいて動体の有無を検出する第１の動体検出工程と、
    　前記取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成工程と、
    　前記生成した差分画像に基づいて動体の有無を検出する第２の動体検出工程と、
    　前記第１の動体検出工程による検出結果と第２の動体検出工程による検出結果とを統合する統合工程であって、少なくとも前記第１の動体検出工程により動体が検出されず、前記第２の動体検出工程により動体が検出された場合には、動体が検出されたと判別する統合工程と、
    　を実行する動体検出方法。
19. 　前記動きベクトル算出工程は、速い動体により前記２枚の画像に被写体ブレが発生する場合には前記速い動体に対する動きベクトルの算出が不能となり、
    　前記第１の動体検出工程は、前記動きベクトル算出工程による動きベクトルの算出の不能時には、動体がないと判別する請求項１８に記載の動体検出方法。
20. 　前記第１の動体検出工程は、第１の時間間隔で動体の有無を連続的に検出し、
    　前記第２の動体検出工程は、前記第１の動体検出工程による動体検出と並行して、前記第１の時間間隔よりも短い第２の時間間隔で動体の有無を連続的に検出し、
    　前記統合工程は、前記第１の動体検出工程による最新の検出結果と第２の動体検出工程による最新の検出結果とを統合する請求項１８又は１９に記載の動体検出方法。
21. 　前記差分画像生成工程は、前記２枚の画像をそれぞれ縮小し、その縮小した縮小画像間の差分画像を生成する請求項１８から２０のいずれか１項に記載の動体検出方法。
22. 　前記動きベクトル算出工程は、前記撮影時刻の異なる２枚の画像のうちの一方の画像から複数の特徴点を抽出し、前記一方の画像の複数の特徴点にそれぞれに対応する前記２枚の画像のうちの他方の画像上の複数の対応点を検出し、前記一方の画像の複数の特徴点と該複数の特徴点に対応する他方の画像の対応点とを結ぶ動きベクトルを算出する請求項１８から２１のいずれか１項に記載の動体検出方法。
23. 　前記統合工程は、前記第１の動体検出工程により動体が検出され、前記第２の動体検出工程により動体が検出されない場合には、動体が検出されたと判別する請求項１８から２２のいずれか１項に記載の動体検出方法。
24. 　前記統合工程が動体が検出されたと判別した場合、前記動体を追尾して前記画像取得工程の焦点調節動作を行うＡＦ制御工程を実行する請求項１８から２３のいずれか１項に記載の動体検出方法。
25. 　前記統合工程が動体が検出されたと判別した場合、前記動体検出装置をパンおよび／またはチルトさせて前記動体を追尾する追尾工程を実行する請求項１８から２３のいずれか１項に記載の動体検出方法。
26. 　前記統合工程が動体が検出されたと判別した場合、前記動体に基づいて撮影シーンを認識する撮影シーン認識工程を実行する請求項１８から２３のいずれか１項に記載の動体検出方法。
27. 　動体検出装置が、
    　連続的に撮像された画像を取得する画像取得工程と、
    　前記取得した画像のうちの撮影時刻の異なる２枚の画像の差分画像を生成する差分画像生成工程と、
    　前記生成した差分画像に基づいて動体候補領域を抽出する動体候補領域抽出工程と、
    　前記取得した画像のうちの撮影時刻の異なる２枚の画像に基づいて被写体の動きの大きさ及び方向を表わす動きベクトルを算出する動きベクトル算出工程と、
    　前記撮影時刻の異なる２枚の画像がパニングにより取得されたものか否かを判定するパニング判定工程と、
    　前記動きベクトル算出工程により算出された動きベクトル及び前記パニング判定工程によるパニング判定結果に基づいて前記動体候補領域抽出工程により抽出された動体候補領域が動体領域か否かを判定する判定する動体領域判定工程と、
    　を実行する動体検出方法。
28. 　前記動体領域判定工程は、前記パニング判定工程によりパニングと判定された場合において、
    　前記動体候補領域に前記動きベクトルが存在しない場合には、該動体候補領域を動体領域と判定し、
    　前記動体候補領域に前記動きベクトルが存在し、かつ周囲の動きベクトルとの相関が低い場合には、該動体候補領域を動体領域と判定し、
    　前記動体候補領域に前記動きベクトルが存在し、かつ周囲の動きベクトルとの相関が高い場合には、該動体候補領域を動体領域と判定しない請求項２７に記載の動体検出方法。
29. 　前記動体領域判定工程は、前記パニング判定工程によりパニングなしと判定された場合には、前記動体候補領域を動体領域と判定する請求項２８に記載の動体検出方法。
30. 　前記パニング判定工程は、前記動きベクトル算出工程により算出された動きベクトルに基づいてパニング判定する請求項２７から２９のいずれか１項に記載の動体検出方法。
31. 　前記パニング判定工程は、前記動きベクトル算出工程により算出された動きベクトルの長さが一定以下となる動きベクトルの割合又は個数が、予め設定された割合又は個数よりも少ない場合にはパニングありと判定し、予め設定された割合又は個数よりも多い場合にはパニングなしと判定する請求項３０に記載の動体検出方法。
32. 　前記動体領域判定工程が前記動体候補領域を動体領域と判定した場合、前記動体領域を追尾して前記画像取得工程の焦点調節動作を行うＡＦ制御工程を実行する請求項２７から３１のいずれか１項に記載の動体検出方法。
33. 　前記動体領域判定工程が前記動体候補領域を動体領域と判定した場合、前記動体検出装置をパンおよび／またはチルトさせて前記動体領域を追尾する追尾工程を実行する請求項２７から３１のいずれか１項に記載の動体検出方法。
34. 　前記動体領域判定工程が前記動体候補領域を動体領域と判定した場合、前記動体領域に基づいて撮影シーンを認識する撮影シーン認識工程を実行する請求項２７から３１のいずれか１項に記載の動体検出方法。

Images