JP2011188065A - 撮像制御装置、被写体検出方法、プログラム - Google Patents
撮像制御装置、被写体検出方法、プログラム Download PDFInfo
- Publication number
- JP2011188065A JP2011188065A JP2010048793A JP2010048793A JP2011188065A JP 2011188065 A JP2011188065 A JP 2011188065A JP 2010048793 A JP2010048793 A JP 2010048793A JP 2010048793 A JP2010048793 A JP 2010048793A JP 2011188065 A JP2011188065 A JP 2011188065A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- subject
- search
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/40—Circuit details for pick-up tubes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
Abstract
【課題】撮像時の被写体検出を的確に実行できるようにする。
【解決手段】撮像部で得られる撮像画像信号を解析して所定の目的被写体(例えば顔画像)を検出する。ここで目的被写体が検出できなかった場合、撮像部における画角を変化させたうえで、もう一度被写体検出処理を行う。画角(例えばズーム倍率)を変更することで、最初の解析のときに判別できなかった顔画像を判別しやすくする。
【選択図】図13
【解決手段】撮像部で得られる撮像画像信号を解析して所定の目的被写体(例えば顔画像)を検出する。ここで目的被写体が検出できなかった場合、撮像部における画角を変化させたうえで、もう一度被写体検出処理を行う。画角(例えばズーム倍率)を変更することで、最初の解析のときに判別できなかった顔画像を判別しやすくする。
【選択図】図13
Description
本発明は、撮像装置や撮像システムについての撮像制御装置及び被写体検出方法に関する。また、当該撮像制御装置及び被写体検出方法を実現するためのプログラムに関する。
上記特許文献1には、デジタルスチルカメラと、該デジタルスチルカメラのパン/チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
この特許文献1に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
例えば上記の自動撮像の場合、被写体検出を適切に行うことが重要である。例えば顔を検出する場合、撮像画像信号の解析により顔画像を認識し、被写体として顔が含まれているか否かを判別する処理を行うわけであるが、このとき、画角が適切でないと、うまく顔画像を認識できない。
撮像時の画角は、例えばズーム倍率により設定される。
まず被写体検出は、或る程度広い撮像視野で行うことが好ましい。周囲を広く探索するためである。このため、例えばズームレンズをワイド側に設定して被写体検出動作を行うことが適切となる。
ところが、例えばワイド端に設定することで、顔検出に有効な被写体までの距離、即ち撮像画像信号内で、画像解析により顔が認識可能なサイズの顔画像が得られる被写体までの距離が短くなる。すると、例えばカメラの前方(撮像方向)の2m先に居る人の顔は認識可能であっても、4m先に居る人の顔が認識できないような状況が生じる。
まず被写体検出は、或る程度広い撮像視野で行うことが好ましい。周囲を広く探索するためである。このため、例えばズームレンズをワイド側に設定して被写体検出動作を行うことが適切となる。
ところが、例えばワイド端に設定することで、顔検出に有効な被写体までの距離、即ち撮像画像信号内で、画像解析により顔が認識可能なサイズの顔画像が得られる被写体までの距離が短くなる。すると、例えばカメラの前方(撮像方向)の2m先に居る人の顔は認識可能であっても、4m先に居る人の顔が認識できないような状況が生じる。
つまり、顔などを目的とする被写体検出のためには、探索範囲を上下左右に広くとれるようにしたいことから、できるだけワイド側に設定したい。しかし、そうすると被写体までの距離方向(撮像視野の奥行き方向)としての検出可能範囲が狭くなってしまい、良好な被写体検出ができなくなる。
実際に人物の顔等が撮像画像信号に含まれていても、その被写体までの距離が遠いなどの原因で検出できないような状況が続くと、被写体検出動作の効率も悪化し、例えば上述した自動撮像が適切に実行できなくなる。
実際に人物の顔等が撮像画像信号に含まれていても、その被写体までの距離が遠いなどの原因で検出できないような状況が続くと、被写体検出動作の効率も悪化し、例えば上述した自動撮像が適切に実行できなくなる。
本発明はこのような事情に鑑みて、被写体検出を適切かつ効率よく実行できるようにすることを目的とする。
本発明の撮像制御装置は、被写体の撮像を行う撮像部と、上記撮像部の撮像視野可変機構とを有する撮像装置又は撮像システムについての撮像制御装置であって、上記撮像部で得られる撮像画像信号を解析して所定の目的被写体を検出する被写体検出処理を行う被写体検出部と、上記撮像視野可変機構を制御して上記撮像部における画角を変化させる撮像視野可変制御部とを備える。そして上記被写体検出部が上記被写体検出処理で目的被写体を検出できなかった場合、上記撮像視野可変制御部が上記撮像視野可変機構を制御して上記撮像部における画角を変化させたうえで、上記被写体検出部が上記被写体検出処理を行う。
また上記撮像装置又は撮像システムには、上記撮像視野可変機構の1つとして上記撮像部のズームレンズ駆動機構が設けられており、上記撮像視野可変制御部は、上記ズームレンズ駆動機構を駆動制御して上記撮像部における画角を変化させる。
また上記目的被写体は、撮像画像信号内における人の顔の画像である。
また上記撮像装置又は撮像システムには、上記撮像視野可変機構の1つとして上記撮像部のズームレンズ駆動機構が設けられており、上記撮像視野可変制御部は、上記ズームレンズ駆動機構を駆動制御して上記撮像部における画角を変化させる。
また上記目的被写体は、撮像画像信号内における人の顔の画像である。
上記被写体検出部が、上記被写体検出処理で目的被写体(例えば人の顔の画像)を検出できず、かつ第2の目的被写体(例えば動被写体画像や人物の身体の画像)の存在を検出した場合に、上記撮像視野可変制御部が上記撮像視野可変機構を制御して上記撮像部における画角を変化させたうえで、上記被写体検出部が上記被写体検出処理を行う。
或いは、上記被写体検出部が、上記被写体検出処理で目的被写体を検出できず、かつ第2の目的被写体の存在を検出した場合に、上記撮像視野可変制御部が上記撮像視野可変機構を制御して上記撮像部における画角を変化させ、さらにパン機構又はチルト機構などの撮像方向可変駆動機構を制御して撮像方向を上記第2の目的被写体の検出時の撮像方向とさせたうえで、上記被写体検出部が上記被写体検出処理を行う。
また上記撮像部によって得られた撮像画像信号を静止画像信号として記録又は出力することに応じて、少なくとも上記撮像部のズーム情報を含む撮像履歴情報を生成し、管理する撮像履歴情報管理部をさらに備え、上記撮像視野可変制御部は、上記撮像履歴情報に基づいて、上記撮像視野可変機構を制御して上記撮像部における画角を変化させる。
また、上記撮像視野可変制御部は、上記ズームレンズ駆動機構を駆動制御して上記撮像部における画角を変化させた後、上記被写体検出部が上記目的被写体を検出した場合は、上記ズームレンズ駆動機構を駆動制御して画角を変化させた前の状態に戻す。
或いは、上記被写体検出部が、上記被写体検出処理で目的被写体を検出できず、かつ第2の目的被写体の存在を検出した場合に、上記撮像視野可変制御部が上記撮像視野可変機構を制御して上記撮像部における画角を変化させ、さらにパン機構又はチルト機構などの撮像方向可変駆動機構を制御して撮像方向を上記第2の目的被写体の検出時の撮像方向とさせたうえで、上記被写体検出部が上記被写体検出処理を行う。
また上記撮像部によって得られた撮像画像信号を静止画像信号として記録又は出力することに応じて、少なくとも上記撮像部のズーム情報を含む撮像履歴情報を生成し、管理する撮像履歴情報管理部をさらに備え、上記撮像視野可変制御部は、上記撮像履歴情報に基づいて、上記撮像視野可変機構を制御して上記撮像部における画角を変化させる。
また、上記撮像視野可変制御部は、上記ズームレンズ駆動機構を駆動制御して上記撮像部における画角を変化させた後、上記被写体検出部が上記目的被写体を検出した場合は、上記ズームレンズ駆動機構を駆動制御して画角を変化させた前の状態に戻す。
本発明の被写体検出方法は、上記撮像装置又は撮像システムの被写体検出方法として、上記撮像部で得られる撮像画像信号を解析して所定の目的被写体を検出する被写体検出ステップと、上記被写体検出ステップで目的被写体を検出できなかった場合、上記撮像視野可変機構を制御して上記撮像部における画角を変化させる画角変更ステップと、上記画角変更ステップで画角を変化させたうえで、上記被写体検出処理を行う再被写体検出ステップとを備える。
本発明のプログラムは、上記撮像装置又は撮像システムに対する撮像制御装置の動作のためのプログラムとして、上記各ステップを撮像制御装置の演算処理装置に実行させるプログラムである。
本発明のプログラムは、上記撮像装置又は撮像システムに対する撮像制御装置の動作のためのプログラムとして、上記各ステップを撮像制御装置の演算処理装置に実行させるプログラムである。
このような本発明では、まず最初の被写体検出処理としては、例えば画角を広くして広い範囲で顔画像等の目的被写体を探索する。そして目的被写体が見つからなかった場合は、画角を変更し、即ち検出可能な被写体までの距離を変化させて被写体検出処理を行う。これは、最初に検出できなかった顔画像等を認識できる状態として再度被写体検出を試みることになる。
特に、最初の被写体検出処理で、顔が認識できなくても、比較的認識しやすい動被写体画像や人物の身体の画像などが検出された場合には、人物の存在が推定できるため、画角を変更しての2回目以降の被写体検出処理が有効となる。
特に、最初の被写体検出処理で、顔が認識できなくても、比較的認識しやすい動被写体画像や人物の身体の画像などが検出された場合には、人物の存在が推定できるため、画角を変更しての2回目以降の被写体検出処理が有効となる。
本発明によれば、被写体までの距離によって認識しにくいような目的被写体も検出可能となり、適切かつ効率的な被写体検出が実現できる。
以下、本発明の実施の形態を次の順序で説明する。実施の形態ではデジタルスチルカメラと、該デジタルスチルカメラを装着可能な雲台を例に挙げる。デジタルスチルカメラは、もちろん単体での撮像も可能であるが、雲台と組み合わせた撮像システムとして撮像動作を行うことも可能なものとする。
<1.撮像システムの構成>
[1−1:全体構成]
[1−2:デジタルスチルカメラ]
[1−3:雲台]
<2.機能構成例>
<3.被写体サーチ動作例>
<4.自動静止画撮像モード処理>
<5.実施の形態の被写体検出処理例>
[5−1:第1の処理例]
[5−2:第2の処理例]
[5−3:第3の処理例]
[5−4:第4の処理例]
[5−5:第5の処理例]
[5−6:第6の処理例]
[5−7:撮像履歴情報の利用]
[5−8:変形例]
<6.他の機能構成例>
<7.手持ち撮像時の処理>
<8.プログラム>
<1.撮像システムの構成>
[1−1:全体構成]
[1−2:デジタルスチルカメラ]
[1−3:雲台]
<2.機能構成例>
<3.被写体サーチ動作例>
<4.自動静止画撮像モード処理>
<5.実施の形態の被写体検出処理例>
[5−1:第1の処理例]
[5−2:第2の処理例]
[5−3:第3の処理例]
[5−4:第4の処理例]
[5−5:第5の処理例]
[5−6:第6の処理例]
[5−7:撮像履歴情報の利用]
[5−8:変形例]
<6.他の機能構成例>
<7.手持ち撮像時の処理>
<8.プログラム>
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面(イメージセンサ、フィルム)のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン(水平)方向における振り角度と、チルト(垂直)方向における角度(仰角、俯角)により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
<1.撮像システムの構成>
[1−1:全体構成]
実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
雲台10は、デジタルスチルカメラ1のパン/チルト方向の向きを電動により変化させる。そして、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う。
例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、雲台10によりデジタルスチルカメラ1を例えばパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
[1−1:全体構成]
実施の形態の撮像システムは、デジタルスチルカメラ1と、このデジタルスチルカメラ1が着脱可能に取り付けられた雲台10とを備えて成る。
雲台10は、デジタルスチルカメラ1のパン/チルト方向の向きを電動により変化させる。そして、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う。
例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、雲台10によりデジタルスチルカメラ1を例えばパン方向に回転させつつ、画枠内に映し出される被写体(人物の顔)の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様(例えば被写体の数や位置やサイズなど)に応じた最適とされる構図の判定を行う(最適構図判定)。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う(構図合わせ)。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作(撮像画像自動記録)によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
図1にデジタルスチルカメラ1の外観例を示す。図1(a)、図1(b)は、それぞれデジタルスチルカメラ1の正面図、背面図である。
このデジタルスチルカメラ1は、図1(a)に示すように、本体部2の前面側にレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
このデジタルスチルカメラ1は、図1(a)に示すように、本体部2の前面側にレンズ部21aを備える。このレンズ部21aは、撮像のための光学系として本体部2の外側に表出している部位である。
また、本体部2の上面部には、レリーズボタン31aが設けられている。撮像モード時においてはレンズ部21aにより撮像された画像(撮像画像)が画像信号として生成される。撮像モード時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン31aに対する操作(レリーズ操作/シャッタ操作)が行われると、そのタイミングでの撮像画像(フレーム画像)が、静止画の画像データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
そして、レリーズボタン31aに対する操作(レリーズ操作/シャッタ操作)が行われると、そのタイミングでの撮像画像(フレーム画像)が、静止画の画像データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
また、デジタルスチルカメラ1は、図1(b)に示すように、背面側に表示画面部33aを有する。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
また表示画面部33aに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部33aに対して指を当てることによって、必要な操作を行うことができる。
この表示画面部33aには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部21aにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ1に対して行った操作に応じて、GUI(Graphical User Interface)としての操作画像が表示される。
また表示画面部33aに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部33aに対して指を当てることによって、必要な操作を行うことができる。
またデジタルスチルカメラ1には、レリーズボタン31a以外の各種のキー、ダイヤル等の操作子31bが設けられる。
例えばズーム操作、モード選択、メニュー操作、メニュー上のカーソル操作、再生操作などのための操作キーやダイヤル等である。
例えばズーム操作、モード選択、メニュー操作、メニュー上のカーソル操作、再生操作などのための操作キーやダイヤル等である。
図2は雲台10の外観を示す斜視図である。また、図3〜図5は、雲台10に対してデジタルスチルカメラ1が適切な状態で載置された状態を示している。図3は正面図、図4は平面図、図5は側面図である。特に図5(b)では側面図によりチルト機構の可動範囲を示している。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
図2、及び図3,図4,図5に示すように、雲台10は、大きくは接地台部15の上に本体部11が組み合わされたうえで、さらに本体部11に対してカメラ台座部12が取り付けられた構造を有する。
雲台10にデジタルスチルカメラ1を取り付けるときには、デジタルスチルカメラ1の底面側を、カメラ台座部12の上面側に置く。
図2に示すように、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
図2に示すように、カメラ台座部12の上面部には、突起部13とコネクタ14が設けられている。図示は省略するが、デジタルスチルカメラ1の本体部2の下面部には、突起部13と係合する孔部が形成されている。デジタルスチルカメラ1がカメラ台座部12に対して適正に置かれた状態では、この孔部と突起部13とが係合した状態となる。この状態であれば、通常の雲台10のパンニング・チルティングの動作であれば、デジタルスチルカメラ1が雲台10からずれたり、外れてしまったりすることがないようにされている。
また、デジタルスチルカメラ1においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部12にデジタルスチルカメラ1が適正に取り付けられた状態では、デジタルスチルカメラ1のコネクタと雲台10のコネクタ14とが接続され、少なくとも、相互間の通信が可能な状態となる。
なお、例えばコネクタ14と突起部13は、実際においては、カメラ台座部12においてその位置を或る範囲内で変更(移動)できるようになっている。そのうえで、例えばデジタルスチルカメラ1の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台10と通信可能な状態で、カメラ台座部12に取り付けできるようになっている。
次に、雲台10によるデジタルスチルカメラ1のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野を変化させることができる(所謂パンニング)。
なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
まず、パン方向の基本的な動きは次のようになる。
雲台10を例えばテーブル上や床面上などに置いた状態では、接地台部15の底面が接地する。この状態において、図4に示すように、回転軸11aを回転中心として、本体部11側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台10に取り付けられたデジタルスチルカメラ1の水平方向(左右方向)における撮像視野を変化させることができる(所謂パンニング)。
なお、この場合の雲台10のパン機構は、時計回り方向及び反時計回り方向の何れについても、360°以上の回転が無制限で自在に行える構造を有している。
また、この雲台10のパン機構においては、パン方向における基準位置が決められている。
ここでは、図4に示すように、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°〜360°により表すものとする。
ここでは、図4に示すように、パン基準位置を0°(360°)としたうえで、パン方向に沿った本体部11の回転位置、すなわちパン位置(パン角度)を0°〜360°により表すものとする。
また、雲台10のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図5(a)(b)に示すように、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。
このようにカメラ台座部12が、チルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動く。これにより雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
チルト方向の動きは、図5(a)(b)に示すように、カメラ台座部12が回転軸12aを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図5(a)は、カメラ台座部12がチルト基準位置Y0(0°)にある状態が示されている。この状態では、レンズ部21a(光学系部)の撮像光軸と一致する撮像方向F1と、接地台部15が接地する接地面部GRとが平行となる。
そのうえで図5(b)に示すように、先ず、仰角方向においては、カメラ台座部12は、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度+f°の範囲で動くことができる。また俯角方向においても、回転軸12aを回転中心として、チルト基準位置Y0(0°)から所定の最大回転角度−g°の範囲で動くことができるようになっている。
このようにカメラ台座部12が、チルト基準位置Y0(0°)を基点として、最大回転角度+f°〜最大回転角度−g°の範囲で動く。これにより雲台10(カメラ台座部12)に取り付けられたデジタルスチルカメラ1のチルト方向(上下方向)における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
図6は、雲台10の背面図を示している。
図示するように雲台10には、その本体部11の背面部において、電源ケーブルを着脱可能に接続する電源端子部t−Vinと、ビデオケーブルを着脱可能に接続するビデオ端子部t−Videoとが形成されている。
図示するように雲台10には、その本体部11の背面部において、電源ケーブルを着脱可能に接続する電源端子部t−Vinと、ビデオケーブルを着脱可能に接続するビデオ端子部t−Videoとが形成されている。
雲台10は、上述したカメラ台座部12にて取り付けられたデジタルスチルカメラ1に対して上記電源端子部t−Vinを介して入力された電力を供給することで、上記デジタルスチルカメラ1に対する充電を行うように構成されている。
つまり本例の雲台10は、デジタルスチルカメラ1に対する充電を行うためのクレードル(ドック)としても機能する。
また、本例の場合、雲台10は、デジタルスチルカメラ1側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部t−Videoを介して外部出力するように構成されている。
また、この図6や先の図4にも示したように、雲台10の本体部11における背面部には、メニューボタン60aが設けられる。メニューボタンの操作により、雲台10とデジタルスチルカメラ1の間の通信により、例えばデジタルスチルカメラ1側の表示画面部33aでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
つまり本例の雲台10は、デジタルスチルカメラ1に対する充電を行うためのクレードル(ドック)としても機能する。
また、本例の場合、雲台10は、デジタルスチルカメラ1側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部t−Videoを介して外部出力するように構成されている。
また、この図6や先の図4にも示したように、雲台10の本体部11における背面部には、メニューボタン60aが設けられる。メニューボタンの操作により、雲台10とデジタルスチルカメラ1の間の通信により、例えばデジタルスチルカメラ1側の表示画面部33aでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
[1−2:デジタルスチルカメラ]
図7は、デジタルスチルカメラ1の内部構成例を示したブロック図である。
光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
図7は、デジタルスチルカメラ1の内部構成例を示したブロック図である。
光学系部21は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ22の受光面に結像させる。
また、光学系部21においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部27が実行するズーム(画角)制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
イメージセンサ22は、上記光学系部21にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ22は、光学系部21からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
なお、イメージセンサ22として採用される光電変換素子(撮像素子)としては、特に限定されるものではないが、現状であれば、例えばCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)などを挙げることができる。また、CMOSセンサを採用する場合には、イメージセンサ22に相当するデバイス(部品)として、次に述べるA/Dコンバータ23に相当するアナログ−デジタル変換器も含めた構造とすることができる。
上記イメージセンサ22から出力される撮像信号は、A/Dコンバータ23に入力されることで、デジタル信号に変換され、信号処理部24に入力される。
信号処理部24は、例えばDSP(Digital Signal Processor)で構成され、A/Dコンバータ23から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成する。
また信号処理部24は、このようにして取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
信号処理部24は、A/Dコンバータ23から出力されるデジタル撮像信号について、1つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、1枚の静止画に相当する画像信号データである撮像画像データ(撮像静止画像データ)を生成する。
また信号処理部24は、このようにして取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
信号処理部24で生成した撮像画像データを記録媒体であるメモリカード40に記録させる場合には、例えば1つの静止画に対応する撮像画像データを信号処理部24からエンコード/デコード部25に対して出力する。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。
メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
エンコード/デコード部25は、信号処理部24から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部27の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ26に転送する。
メディアコントローラ26は、制御部27の制御に従って、メモリカード40に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード40は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
また、デジタルスチルカメラ1は、上記信号処理部24にて得られる撮像画像データを利用して表示部33に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部24は、上述のようA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。
例えば信号処理部24は、上述のようA/Dコンバータ23から出力される撮像信号を取り込んで1枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部27の制御に従って表示ドライバ32に対して転送する。
表示ドライバ32は、上記のように信号処理部24から入力されてくる撮像画像データに基づいて表示部33を駆動するための駆動信号を生成し、表示部33に対して出力していく。これにより、表示部33においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
これをユーザが見れば、そのときに撮像している画像が表示部33において動画的に表示されることになる。つまり、スルー画が表示される。
また、デジタルスチルカメラ1は、メモリカード40に記録されている画像データを再生して、その画像を表示部33に対して表示させることも可能とされる。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
このためには、制御部27が画像データを指定して、メディアコントローラ26に対してメモリカード40からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ26は、指定された画像データが記録されているメモリカード40上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード/デコード部25に対して転送する。
エンコード/デコード部25は、例えば制御部27の制御に従って、メディアコントローラ26から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、1つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ32に対して転送する。これにより、表示部33において、メモリカード40に記録されている撮像画像データの画像が再生表示されることになる。
また表示部33に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像(操作画像)も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力する。これにより、表示部33でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることが可能である。またモニタ画像や撮像画像データの再生画像上の一部において重畳・合成させて表示させることも可能である。
この場合には、例えばそのときの動作状態などに応じて制御部27が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ32に対して出力する。これにより、表示部33でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部33の表示画面に表示させることが可能である。またモニタ画像や撮像画像データの再生画像上の一部において重畳・合成させて表示させることも可能である。
制御部27は、CPU(Central Processing Unit)を備えて成るもので、ROM28、RAM29などとともにマイクロコンピュータを構成する。
ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。
RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
ROM28には、例えば制御部27としてのCPUが実行すべきプログラムの他、デジタルスチルカメラ1の動作に関連した各種の設定情報などが記憶される。
RAM29は、CPUのための主記憶装置とされる。
また、この場合のフラッシュメモリ30は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおROM28について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ30に代えて、このROM28における一部記憶領域を使用することとしてもよい。
本実施の形態の場合、制御部27は、自動撮像のために各種の撮像準備処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部24で得られる各フレーム画像から被写体検出を実行し(又は信号処理部24に実行させ)、デジタルスチルカメラ1の周囲の被写体を探索する処理を行う。被写体検出は所定の目的被写体、例えば顔の画像を検出する処理となる。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。これらの撮像準備処理の後、制御部27は撮像画像の自動記録を実行せる制御・処理を行う。
これらの制御処理については後述する。
まず被写体検出処理として、撮像視野を変化させながら信号処理部24で得られる各フレーム画像から被写体検出を実行し(又は信号処理部24に実行させ)、デジタルスチルカメラ1の周囲の被写体を探索する処理を行う。被写体検出は所定の目的被写体、例えば顔の画像を検出する処理となる。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。これらの撮像準備処理の後、制御部27は撮像画像の自動記録を実行せる制御・処理を行う。
これらの制御処理については後述する。
操作部31は、デジタルスチルカメラ1に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して制御部27に出力する操作情報信号出力部位とを一括して示している。
操作子としては、図1に示したレリーズボタン31aや各種の操作子31b(電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等)がある。
また表示部33がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部31の具体例の1つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部31の例の一つとなる。
制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
操作子としては、図1に示したレリーズボタン31aや各種の操作子31b(電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等)がある。
また表示部33がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部31の具体例の1つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部31の例の一つとなる。
制御部27は、操作部31から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ1の動作が実行されることになる。
雲台対応通信部34は、雲台10側とデジタルスチルカメラ1側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ1が雲台10に取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
例えばデジタルスチルカメラ1が雲台10に取り付けられた状態において、雲台10側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、コネクタ14と接続されるコネクタの部位が含まれる。
また雲台10側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ1には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、雲台10側から伝送された電力に基づく充電が行われるようになっている。
[1−3:雲台]
図8は、雲台10の内部構成例を示している。
先の図6に示したように、雲台10には電源端子部t−Vinとビデオ端子部t−Videoとが設けられている。
電源端子部t−Vinを介して入力された電力は、電源回路61を介した後、雲台10内の必要な各部の動作電力として供給される。また、電源回路61においては、デジタルスチルカメラ1に対する充電用電力が生成され、該充電用電力は通信部52(コネクタ)を介してデジタルスチルカメラ1側に供給される。
また、上記ビデオ端子部t−Videoには、デジタルスチルカメラ1側から伝送された映像信号が通信部52、制御部51を介して供給される。
図8は、雲台10の内部構成例を示している。
先の図6に示したように、雲台10には電源端子部t−Vinとビデオ端子部t−Videoとが設けられている。
電源端子部t−Vinを介して入力された電力は、電源回路61を介した後、雲台10内の必要な各部の動作電力として供給される。また、電源回路61においては、デジタルスチルカメラ1に対する充電用電力が生成され、該充電用電力は通信部52(コネクタ)を介してデジタルスチルカメラ1側に供給される。
また、上記ビデオ端子部t−Videoには、デジタルスチルカメラ1側から伝送された映像信号が通信部52、制御部51を介して供給される。
なお、ここでは、雲台10の各部の動作電力は上記電源入力端子t−Vinを介してのみ供給されるかのように示しているが、実際には雲台10には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
また雲台10には、上記電源端子部t−Vin、上記ビデオ端子部t−Videoへのケーブルの接続有無を検出するための接続検出部59が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続/抜き取りに応じてスイッチがON/OFFする構成などを挙げることができる。但し接続検出部59としては、ケーブルの接続/抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
接続検出部59による検出信号(電源端子部t−Vinについての検出信号とビデオ端子部t−Videoについての検出信号)は、制御部51に対して供給される。
接続検出部59による検出信号(電源端子部t−Vinについての検出信号とビデオ端子部t−Videoについての検出信号)は、制御部51に対して供給される。
また雲台10は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図8にパン機構部53、パン用モータ54、チルト機構部56、チルト用モータ57を示している。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。
同様に、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
パン機構部53は、雲台10に取り付けられたデジタルスチルカメラ1について、図4に示したパン(横・左右)方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ54が正逆方向に回転することによって得られる。
同様に、チルト機構部56は、雲台10に取り付けられたデジタルスチルカメラ1について、図5に示したチルト(縦・上下)方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ57が正逆方向に回転することによって得られる。
制御部51は、例えばCPU、ROM、RAMなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部53、チルト機構部56の動きをコントロールする。
例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くように駆動される。
同様に、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くように駆動される。
例えば制御部51がパン機構部53の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部55に対して出力する。パン用駆動部55は、入力される信号に対応したモータ駆動信号を生成してパン用モータ54に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ54が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部53も、これに対応した移動方向と移動速度により動くように駆動される。
同様に、チルト機構部56の動きを制御するときには、制御部51は、チルト機構部56に必要な移動方向、移動速度を指示する信号をチルト用駆動部58に対して出力する。チルト用駆動部58は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ57に出力する。このモータ駆動信号によりチルト用モータ57が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部56も、これに対応した移動方向,速度により動くように駆動される。
ここで、パン機構部53は、ロータリーエンコーダ(回転検出器)53aを備えている。ロータリーエンコーダ53aは、パン機構部53の回転の動きに応じて、その回転角度量を示す検出信号を制御部51に出力する。同様に、チルト機構部56はロータリーエンコーダ56aを備える。このロータリーエンコーダ56aも、チルト機構部56の回転の動きに応じて、その回転角度量を示す信号を制御部51に出力する。
これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
これにより制御部51は、駆動中のパン機構部53、チルト機構部56の回転角度量の情報をリアルタイムに取得(モニタ)できるようにされている。
通信部52は、雲台10に取り付けられたデジタルスチルカメラ1内の雲台対応通信部34との間で所定の通信方式に従った通信を実行する部位である。
この通信部52は、雲台対応通信部34と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
この通信部52は、雲台対応通信部34と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図2との対応では、カメラ台座部12のコネクタ14が含まれる。
操作部60は、具体的には、先の図4や図6に示したメニューボタン60aとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部51に出力する操作情報信号出力部位とを一括して示している。制御部51は、操作部60から入力される操作情報信号に応じて所定の処理を実行する。
なお、雲台10についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部60の例の一つとなる。
なお、雲台10についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部60の例の一つとなる。
<2.機能構成例>
次に、図9のブロック図により、本実施の形態のデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウエア(プログラム)により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ1における制御部27、雲台10における制御部51等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。
但し図9では、特に後述する自動静止画撮像処理のために必要な制御機能を、機能毎にブロック化して示している。
次に、図9のブロック図により、本実施の形態のデジタルスチルカメラ1及び雲台10についての、ハードウェア及びソフトウエア(プログラム)により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ1における制御部27、雲台10における制御部51等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。
但し図9では、特に後述する自動静止画撮像処理のために必要な制御機能を、機能毎にブロック化して示している。
図9に示すように、デジタルスチルカメラ1(制御部27)側は、撮像記録制御部81、撮像準備処理部82、撮像視野可変制御部83、通信処理部85を備える。
また雲台10(制御部51)側は、例えば通信処理部71、パン・チルト制御部72を有している。
また雲台10(制御部51)側は、例えば通信処理部71、パン・チルト制御部72を有している。
まずデジタルスチルカメラ1側において、撮像記録制御部81は、撮像により得られた画像を画像信号のデータ(撮像画像データ)として得て、この撮像画像データを記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部81は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部81は、図7の光学系部21、イメージセンサ22、A/Dコンバータ23、信号処理部24、エンコード/デコード部25、メディアコントローラ26、表示ドライバ32等の制御を行う。即ち、光学系部21のレンズ駆動制御、イメージセンサ22の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ1の基本動作を制御する機能部位である。
即ち撮像記録制御部81は、図7の光学系部21、イメージセンサ22、A/Dコンバータ23、信号処理部24、エンコード/デコード部25、メディアコントローラ26、表示ドライバ32等の制御を行う。即ち、光学系部21のレンズ駆動制御、イメージセンサ22の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ1の基本動作を制御する機能部位である。
撮像準備処理部82は、ユーザのレリーズ操作によらない自動的な静止画撮像(後述する自動静止画撮像)を実行する際の撮像準備処理を行う機能部位である。
撮像準備処理の1つとしては被写体検出処理がある。これは、雲台10によるパン、チルト動作を実行させながら、信号処理部24で得られる各フレーム画像を確認し、撮像視野内に被写体(例えば人の顔)が入るようにする処理である。このために、撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の1つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し(構図判定)、またその構図を調整する処理(構図合わせ)である。この構図の調整のために撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、光学系部21におけるズームレンズ駆動の判断等を行う。
撮像準備処理の1つとしては被写体検出処理がある。これは、雲台10によるパン、チルト動作を実行させながら、信号処理部24で得られる各フレーム画像を確認し、撮像視野内に被写体(例えば人の顔)が入るようにする処理である。このために、撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また撮像準備処理の1つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し(構図判定)、またその構図を調整する処理(構図合わせ)である。この構図の調整のために撮像準備処理部82は、必要な雲台10のパン・チルト動作の判断や、光学系部21におけるズームレンズ駆動の判断等を行う。
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部27ではなく信号処理部24としてのDSP(Digital signal Processor)に実行させることもできる。従って撮像準備処理部82としての機能部は、制御部27、信号処理部24としてのDSPの一方又は両方に与えるプログラム、インストラクションにより実現できる。
撮像視野可変制御部83は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台10のパン・チルト、もしくは光学系部21のズーム動作により行われる。従って撮像視野可変制御部83は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ1を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部83は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また自動的な静止画撮像を行う場合、撮像視野可変制御部83は、撮像準備処理部82判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。
パン駆動制御、チルト駆動制御については、通信処理部85を介して雲台10側にパン・チルト制御信号を送信することになる。
例えば撮像視野可変制御部83は、構図合わせ等の実行時には、撮像準備処理部82が判定するパン・チルトの移動量に応じて、雲台10に当該移動量を指示するパン・チルト制御信号を出力する。
また撮像視野可変制御部83は、撮像準備処理部82で判定されるズーム倍率に応じて、光学系部21のズーム動作を駆動制御する。
デジタルスチルカメラ1を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部83は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また自動的な静止画撮像を行う場合、撮像視野可変制御部83は、撮像準備処理部82判断・指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。
パン駆動制御、チルト駆動制御については、通信処理部85を介して雲台10側にパン・チルト制御信号を送信することになる。
例えば撮像視野可変制御部83は、構図合わせ等の実行時には、撮像準備処理部82が判定するパン・チルトの移動量に応じて、雲台10に当該移動量を指示するパン・チルト制御信号を出力する。
また撮像視野可変制御部83は、撮像準備処理部82で判定されるズーム倍率に応じて、光学系部21のズーム動作を駆動制御する。
通信処理部85は、雲台10側に備えられる通信処理部71との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部83が生成したパン・チルト制御信号は、通信処理部64の通信により、雲台10の通信処理部71に対して送信される。
上記の撮像視野可変制御部83が生成したパン・チルト制御信号は、通信処理部64の通信により、雲台10の通信処理部71に対して送信される。
なお本発明請求項との関係を言及すると、次のようになる。
本実施の形態の場合、撮像準備処理部82が請求項でいう被写体検出部に相当する。
また撮像視野可変制御部83が請求項でいう撮像視野可変制御部に相当する。
本実施の形態の場合、撮像準備処理部82が請求項でいう被写体検出部に相当する。
また撮像視野可変制御部83が請求項でいう撮像視野可変制御部に相当する。
次に図9の機能構成における雲台10側において、通信処理部71は、デジタルスチルカメラ1側の通信処理部85との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部72に出力する。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部72に出力する。
パン・チルト制御部72は、例えば図8に示した雲台10側の制御部51が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部72は、入力したパン・チルト制御信号に応じて、図8に示したパン用駆動部55、チルト用駆動部58を制御する。これにより、例えばパノラマ撮像や被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
このパン・チルト制御部72は、入力したパン・チルト制御信号に応じて、図8に示したパン用駆動部55、チルト用駆動部58を制御する。これにより、例えばパノラマ撮像や被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
なお、図9では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、後述する処理動作が実現されるものであればよい。
<3.被写体サーチ動作例>
ここで、被写体検出、例えば被写体としての顔画像の検出を行うためのサーチ動作の例を説明する。
上記のようデジタルスチルカメラ1と雲台10から成る本実施形態の撮像システムは、パン・チルト・ズームの動きにより自動的に被写体探索を行って、例えば人物の顔などの周囲の被写体を検出する。そして、被写体を検出すると、この検出した被写体を対象として構図を自動的に設定したうえで撮像記録を行う。
このような自動撮像記録動作においては、被写体探索を実行する際においてどのような探索(被写体サーチ)の挙動とすべきか、即ち、パンニング・チルティングによる撮像方向(撮像光軸)の移動パターンをどのようなものとすべきかを考える必要がある。
ここで、被写体検出、例えば被写体としての顔画像の検出を行うためのサーチ動作の例を説明する。
上記のようデジタルスチルカメラ1と雲台10から成る本実施形態の撮像システムは、パン・チルト・ズームの動きにより自動的に被写体探索を行って、例えば人物の顔などの周囲の被写体を検出する。そして、被写体を検出すると、この検出した被写体を対象として構図を自動的に設定したうえで撮像記録を行う。
このような自動撮像記録動作においては、被写体探索を実行する際においてどのような探索(被写体サーチ)の挙動とすべきか、即ち、パンニング・チルティングによる撮像方向(撮像光軸)の移動パターンをどのようなものとすべきかを考える必要がある。
本例では、パン方向の動きについては、図4に第1探索回転方向RT1として示す時計回り方向の動作と、第2探索回転方向TR2として示す反時計回り方向の動作を行う。また。チルト方向の動きについては図5(b)に示した俯角方向(−g°の方向)と仰角方向(+f°の方向)を行う。
これらの動作を所定の順に実行させ、所定のサーチパターンの動きを実現する。
ここでは、図10に示すような「王」の字を描くような被写体サーチ動作を行う例を述べる。
これらの動作を所定の順に実行させ、所定のサーチパターンの動きを実現する。
ここでは、図10に示すような「王」の字を描くような被写体サーチ動作を行う例を述べる。
被写体サーチ(被写体探索)を行う場合には、先ず、水平探索角αを設定する。この水平探索角αは任意に設定可能であるが、後述する図14のように、周囲360°を4つのエリア(探索範囲)に分けてサーチする場合、水平探索角α=90°と設定される。
また、この図10の探索パターンでは、水平探索角αにおける中央位置を水平中心位置Hとして扱う。この水平中心位置Hを0°として、パン方向の可動範囲としては、 +α/2〜0°〜−α/2 として表す。
また、この図10の探索パターンでは、水平探索角αにおける中央位置を水平中心位置Hとして扱う。この水平中心位置Hを0°として、パン方向の可動範囲としては、 +α/2〜0°〜−α/2 として表す。
図10の探索パターンは次のようになる。
始点Stに対応する或るパン位置、チルト位置の状態において、被写体検出のための探索を開始することになったとする。
すると、雲台10は、矢印Sc1として示すように、始点Stの位置から、パン位置はそのまま維持して、チルト方向のみについて、チルト位置+f°まで移動する。この始点Stに対応するパン位置におけるチルト位置+f°が探索起点Pとなる。
始点Stに対応する或るパン位置、チルト位置の状態において、被写体検出のための探索を開始することになったとする。
すると、雲台10は、矢印Sc1として示すように、始点Stの位置から、パン位置はそのまま維持して、チルト方向のみについて、チルト位置+f°まで移動する。この始点Stに対応するパン位置におけるチルト位置+f°が探索起点Pとなる。
探索起点Pに至ると、雲台10は、矢印Sc2として示すように、チルト位置+f°は維持したうえで、パン方向の動きとして水平中心位置H(0°)から−2/α°まで移動させるパンニングを行う。
次に雲台10は、矢印Sc3として示すように、チルト位置+f°は維持したうえで、パン位置−2/α°から他方の限界であるパン位置+2/αまで移動させるパンニングを行う。
次に、雲台10は、チルト位置+f°は維持したうえで、パン位置+2/αから水平中心位置H(0°)までパンニングを行う。
次に雲台10は、矢印Sc3として示すように、チルト位置+f°は維持したうえで、パン位置−2/α°から他方の限界であるパン位置+2/αまで移動させるパンニングを行う。
次に、雲台10は、チルト位置+f°は維持したうえで、パン位置+2/αから水平中心位置H(0°)までパンニングを行う。
水平探索角α=90°とした場合、上記矢印Sc2〜Sc4までの動作は、まずデジタルスチルカメラ1が+f°のチルト位置を固定した状態で、水平中心位置から反時計回り方向(第2探索回転方向TR2)で45°回転し、次に時計回り方向(第1探索回転方向TR1)で90°回転し、次に、反時計回り方向で45°回転して、水平中心位置Hに戻る、というものになる。
そして、この矢印Sc2〜Sc4までの動作により、まずは、撮像方向F1が上向きのチルト位置+f°の状態でのパン方向の探索が完結したことになる。
そして、この矢印Sc2〜Sc4までの動作により、まずは、撮像方向F1が上向きのチルト位置+f°の状態でのパン方向の探索が完結したことになる。
次に雲台10は、矢印Sc5として示すように、水平中心位置H(0°)は維持したうえで、チルト位置+f°からチルト位置0°に移動させるチルティングを行う。これにより、撮像方向F1は上下における中央(水平)を向くことになる。
そのうえで、雲台10は、矢印Sc6、矢印Sc7、矢印Sc8として示すように、上記矢印Sc2,Sc3,Sc4と同様のパンニングを行う。これにより、撮像方向F1が上下方向において中央(水平)を向いた状態での、パン方向における一往復分の探索が完結したことになる。
そのうえで、雲台10は、矢印Sc6、矢印Sc7、矢印Sc8として示すように、上記矢印Sc2,Sc3,Sc4と同様のパンニングを行う。これにより、撮像方向F1が上下方向において中央(水平)を向いた状態での、パン方向における一往復分の探索が完結したことになる。
次に雲台10は、矢印Sc9として示すように、水平中心位置H(0°)は維持したうえで、チルト位置0°からチルト位置−g°に移動させるチルティングを行う。これにより、撮像方向F1は下を向くことになる。
そのうえで、雲台10は、矢印Sc10、矢印Sc11、矢印Sc12として示すように、上記矢印Sc2,Sc3,Sc4と同様のパンニングを行う。これにより、撮像方向F1が下を向いた状態での、パン方向における一往復分の探索が完結したことになる。
そのうえで、雲台10は、矢印Sc10、矢印Sc11、矢印Sc12として示すように、上記矢印Sc2,Sc3,Sc4と同様のパンニングを行う。これにより、撮像方向F1が下を向いた状態での、パン方向における一往復分の探索が完結したことになる。
この図10のサーチ動作によれば、次のような利点が得られる。
まず、3段階の各チルト位置において、パン方向の探索動作に付いてみると、パン方向おける規定の回転角度範囲を一往復している。例えば、片道分の探索としてもよいのであるが、往復の探索動作とすることで、より確実に被写体を検出できる。
まず、3段階の各チルト位置において、パン方向の探索動作に付いてみると、パン方向おける規定の回転角度範囲を一往復している。例えば、片道分の探索としてもよいのであるが、往復の探索動作とすることで、より確実に被写体を検出できる。
また図10に示す探索パターンでは、被写体探索開始時において得られていたパン位置が、そのまま探索起点Pのパン位置として設定される。これにより被写体を迅速に検出し易いものとなる。
例えばデジタルスチルカメラ1を載置した雲台10のパン位置がパン基準位置ではない状態にあるとする。そして、この状態において、雲台10を置き直し、被写体探索を開始させたとする。このような場合、ユーザは、無意識であっても、デジタルスチルカメラ1の撮像方向F1が自分の方にほぼ向くようにして置く可能性が高いといえる。
このようなことを想定した場合、探索起点Pのパン位置としては、被写体探索開始時における雲台10のパン位置とすれば、先ず、雲台10を置き直したユーザがすぐに検出される可能性が高くなる。つまり最初の顔画像等の検出までの時間が早くなる可能性が高くなる。
例えばデジタルスチルカメラ1を載置した雲台10のパン位置がパン基準位置ではない状態にあるとする。そして、この状態において、雲台10を置き直し、被写体探索を開始させたとする。このような場合、ユーザは、無意識であっても、デジタルスチルカメラ1の撮像方向F1が自分の方にほぼ向くようにして置く可能性が高いといえる。
このようなことを想定した場合、探索起点Pのパン位置としては、被写体探索開始時における雲台10のパン位置とすれば、先ず、雲台10を置き直したユーザがすぐに検出される可能性が高くなる。つまり最初の顔画像等の検出までの時間が早くなる可能性が高くなる。
また、上記のことからすれば、被写体となる人物は、少なくとも、パン方向においては、探索起点Pに対応した水平中心位置Hの近傍にいる可能性が高いといえる。そこで、図10の探索パターンのように、上下方向に撮像方向F1を変化させるためにパンニングを行う際には、必ず、水平中心位置Hにて行うことが好適となる。
さらに、本願発明者は、いくつかの状況を想定して検討したところ、撮像方向が上向きのときのほうが、被写体となる人物の顔が画枠内に存在して検出される確率が高いことを確認した。
一般的な傾向として、ユーザが、自動撮影記録のためにデジタルスチルカメラ1が載せられた状態の雲台10を置こうとした場合、その場所は、被写体となる人物達が囲んでいるテーブルであるような場合が多い。また、被写体となる人物が主に立っているような状態であれば、胸から腰の高さあたりの台などが多くなる。つまり、高さの関係としては、被写体となる人物の顔のほうが、デジタルスチルカメラ1よりも高くなる傾向となる。
そこで、図10の探索パターンでは、パン方向での探索については、例えば先ず、撮像方向を上向きとしたうえでパン方向に探索する(Sc2,Sc3,Sc4)。次いで、同様の探索を、中央(水平)(Sc6,Sc7,Sc8)、下(Sc10,Sc11,Sc12)の順により行う。つまり、チルト位置固定によるパン方向の探索を、撮像方向F1が上向きの状態から、順次、下向きの状態となるようにしてチルト位置を変更しながら行っていく。
このようにすることで、できるだけ短時間で効率よく被写体が検出できるようにしている。
一般的な傾向として、ユーザが、自動撮影記録のためにデジタルスチルカメラ1が載せられた状態の雲台10を置こうとした場合、その場所は、被写体となる人物達が囲んでいるテーブルであるような場合が多い。また、被写体となる人物が主に立っているような状態であれば、胸から腰の高さあたりの台などが多くなる。つまり、高さの関係としては、被写体となる人物の顔のほうが、デジタルスチルカメラ1よりも高くなる傾向となる。
そこで、図10の探索パターンでは、パン方向での探索については、例えば先ず、撮像方向を上向きとしたうえでパン方向に探索する(Sc2,Sc3,Sc4)。次いで、同様の探索を、中央(水平)(Sc6,Sc7,Sc8)、下(Sc10,Sc11,Sc12)の順により行う。つまり、チルト位置固定によるパン方向の探索を、撮像方向F1が上向きの状態から、順次、下向きの状態となるようにしてチルト位置を変更しながら行っていく。
このようにすることで、できるだけ短時間で効率よく被写体が検出できるようにしている。
なお、ここでは、固定されるチルト位置について、+f°、0°、−g°に応じた3段階としているが、これはあくまでも一例であって、2段階以上であれば、+f°〜−g°の範囲において、任意の段階数によるチルト位置を設定してよい。また、設定される複数のチルト位置も、必ずしも等角度で分割する必要はなく、例えば上向きのチルト位置について、下向きのチルト位置よりも小さい分割角度を設定するなど、分割角度に変化を与えてもよい。
次に、図10の被写体サーチ動作として、水平探索角α=90°の場合に、周囲360°を探索する動作を説明する。
図11に示すように、360°のパン角度について、第1部分探索範囲DV1〜第4部分探索範囲DV4の4つの部分探索範囲(パン方向の可動角度範囲)に分割する。ここでは、4つの部分探索範囲は等角度で分割することとしている。つまり、1つの部分探索範囲が有するパン方向の角度範囲は90°である。そして、これら第1〜第4部分探索範囲DV1〜DV4の各々が有するパン方向の角度範囲90°が、水平探索角αに相当する。
図11に示すように、360°のパン角度について、第1部分探索範囲DV1〜第4部分探索範囲DV4の4つの部分探索範囲(パン方向の可動角度範囲)に分割する。ここでは、4つの部分探索範囲は等角度で分割することとしている。つまり、1つの部分探索範囲が有するパン方向の角度範囲は90°である。そして、これら第1〜第4部分探索範囲DV1〜DV4の各々が有するパン方向の角度範囲90°が、水平探索角αに相当する。
この図11のように第1〜第4部分探索範囲DV1〜DV4を規定した場合の被写体探索の挙動については、次のようになる。
先ず、雲台10は、第1部分探索範囲DV1のパン角度範囲において、図10の探索パターンを実行させる。このとき、図10の水平中心位置Hを、図11のパン位置0°とする。また、図10における+α/2はパン位置45°が対応し、−α/2は、パン位置315°が対応する。つまり、この場合の第1部分探索範囲DV1は、パン位置315°〜(0°)〜45°の角度位置範囲にて設定されている。
先ず、雲台10は、第1部分探索範囲DV1のパン角度範囲において、図10の探索パターンを実行させる。このとき、図10の水平中心位置Hを、図11のパン位置0°とする。また、図10における+α/2はパン位置45°が対応し、−α/2は、パン位置315°が対応する。つまり、この場合の第1部分探索範囲DV1は、パン位置315°〜(0°)〜45°の角度位置範囲にて設定されている。
第1部分探索範囲DV1にて図10の探索動作を実行した後、続いて雲台10は、撮像方向F1がパン位置90°となるようにしてパン方向に移動させる。パン位置+90°は、第2部分探索範囲DV2のパン角度範囲における水平中心位置Hとなる。そこで、雲台10は、第2部分探索範囲DV2にて図10の探索動作を実行する。
さらに続いて雲台10は、第3部分探索範囲DV3における水平中心位置Hであるパン位置180°にまで移動して、第3部分探索範囲DV3にて図10の探索動作を実行する。
さらに次に雲台10は、第4部分探索範囲DV4における水平中心位置Hであるパン位置270°にまで移動して、第4部分探索範囲DV4にて図10の探索動作を実行する。
以上で、周囲360°の探索が実行される。自動撮像モード動作では、このような360°の探索動作が繰り返される。
さらに続いて雲台10は、第3部分探索範囲DV3における水平中心位置Hであるパン位置180°にまで移動して、第3部分探索範囲DV3にて図10の探索動作を実行する。
さらに次に雲台10は、第4部分探索範囲DV4における水平中心位置Hであるパン位置270°にまで移動して、第4部分探索範囲DV4にて図10の探索動作を実行する。
以上で、周囲360°の探索が実行される。自動撮像モード動作では、このような360°の探索動作が繰り返される。
<4.自動静止画撮像モード処理>
ここでは、デジタルスチルカメラ1が雲台10に装着された状態で可能となる自動静止画撮像モードの動作について説明する。
図12は、ユーザのレリーズ操作を伴わない自動的な静止画撮像処理の手順を示している。
自動静止画撮像を行う自動静止画撮像モードでは、本例の撮像システムが、撮像準備として、被写体検出(被写体サーチ)、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるものである。
ここでは、デジタルスチルカメラ1が雲台10に装着された状態で可能となる自動静止画撮像モードの動作について説明する。
図12は、ユーザのレリーズ操作を伴わない自動的な静止画撮像処理の手順を示している。
自動静止画撮像を行う自動静止画撮像モードでは、本例の撮像システムが、撮像準備として、被写体検出(被写体サーチ)、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるものである。
自動静止画撮像モードでの撮像動作が開始されると、図10のステップF1として、撮像画像データの取り込みが開始される。
即ち撮像記録制御部81が、イメージセンサ22、信号処理部24による撮像画像データの各フレーム毎の取り込みを開始させる。
即ち撮像記録制御部81が、イメージセンサ22、信号処理部24による撮像画像データの各フレーム毎の取り込みを開始させる。
ステップF2で被写体検出処理、ステップF3で構図処理を行う。
被写体検出処理、構図処理(最適構図判定、構図合わせ)は、撮像準備処理部82の機能(具体的には制御部27、及び/又は信号処理部24の処理)により実行される。また被写体検出のため、図10,図11で説明した被写体サーチが行われるが、その動作は撮像視野可変制御部83(制御部27)、雲台のパン・チルト制御部72(制御部51)の制御機能により実行される。
被写体検出処理、構図処理(最適構図判定、構図合わせ)は、撮像準備処理部82の機能(具体的には制御部27、及び/又は信号処理部24の処理)により実行される。また被写体検出のため、図10,図11で説明した被写体サーチが行われるが、その動作は撮像視野可変制御部83(制御部27)、雲台のパン・チルト制御部72(制御部51)の制御機能により実行される。
ステップF1で撮像画像データの取り込みが開始された以降は、信号処理部24は、イメージセンサ22による撮像画像データとして、1枚の静止画に相当するフレーム画像データを順次取得する。
撮像準備処理部82は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
撮像準備処理部82は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
ステップF2での被写体検出処理としては、先ずはデジタルスチルカメラ1の周囲に存在する被写体の探索を行う。
具体的に、この被写体の探索としては、デジタルスチルカメラ1における制御部27(撮像準備処理部82、撮像視野可変制御部83)が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行う。これによって、撮像視野を変化させながら、例えば信号処理部24(又は制御部27)での画像解析による被写体検出を実行させる。このときの動作として、上記図10,図11で説明した被写体サーチ動作が実行される。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体(人物の顔)が存在する状態が得られたことに応じて終了する。
具体的に、この被写体の探索としては、デジタルスチルカメラ1における制御部27(撮像準備処理部82、撮像視野可変制御部83)が、雲台10に対するパン・チルト制御や光学系部21に対するズーム制御を行う。これによって、撮像視野を変化させながら、例えば信号処理部24(又は制御部27)での画像解析による被写体検出を実行させる。このときの動作として、上記図10,図11で説明した被写体サーチ動作が実行される。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体(人物の顔)が存在する状態が得られたことに応じて終了する。
被写体検出処理が終了した後、制御部27(撮像準備処理部82)は、ステップF3で構図処理を行う。
構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定(この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など)を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
ここで、この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものであり、従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果(画枠内での被写体の態様)に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行うこととなる。
具体的に制御部27(撮像準備処理部82、撮像視野可変制御部83)は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台10側の制御部51に指示する。
これに応じて雲台10の制御部51は、指示された制御量に応じたパン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部55、チルト用駆動部58に対する制御信号の供給を行う。
また、制御部27(撮像準備処理部82、撮像視野可変制御部83)は、最適構図判定処理により求まったズームについての画角の情報を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
具体的に制御部27(撮像準備処理部82、撮像視野可変制御部83)は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台10側の制御部51に指示する。
これに応じて雲台10の制御部51は、指示された制御量に応じたパン機構部53・チルト機構部56についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部55、チルト用駆動部58に対する制御信号の供給を行う。
また、制御部27(撮像準備処理部82、撮像視野可変制御部83)は、最適構図判定処理により求まったズームについての画角の情報を、光学系部21に指示することで、該指示した画角が得られるように光学系部21によるズーム動作を実行させる。
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップF3からステップF2の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
制御部27(撮像記録制御部81)は、最適な構図が得られた場合は、ステップF4でレリーズタイミング判定処理を行う。
なお、ステップS4によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合、ステップS1の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
なお、ステップS4によるレリーズタイミング判定処理にてレリーズタイミングがOKとならない場合も有り得るが、その場合、ステップS1の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップF5のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部27(撮像記録制御部81)は、エンコード/デコード部25及びメディアコントローラ26に対する制御を行って、その時点で得られている撮像画像データ(フレーム画像)のメモリカード40への記録を実行させる。
ところで、ステップF4におけるレリーズタイミング判定処理とは、適切な静止画を得るため、所定の静止画撮像条件を満たしたか否かを判定する処理であるが、各種の例が考えられる。
例えば時間によるレリーズタイミング判定が考えられる。例えば構図処理がOKとなった時点から所定時間(例えば2,3秒)の経過を静止画撮像条件とする。その場合、制御部27(撮像記録制御部81)は、ステップF4では所定時間のカウントを行い、所定時間経過により、ステップF5でレリーズ処理を実行させる。
例えば時間によるレリーズタイミング判定が考えられる。例えば構図処理がOKとなった時点から所定時間(例えば2,3秒)の経過を静止画撮像条件とする。その場合、制御部27(撮像記録制御部81)は、ステップF4では所定時間のカウントを行い、所定時間経過により、ステップF5でレリーズ処理を実行させる。
また撮像画像から特定の被写体状態が判定されたときに、静止画撮像条件を満たしたと判断してもよい。
制御部27(撮像記録制御部81)は、ステップF4で、撮像画像の解析により検出される特定の被写体状態の有無を監視する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動を行った状態が考えられる。或いは、被写体となっているユーザが撮像システムを注視するなども考えられる。
制御部27はステップF4で、撮像画像の画像解析処理により、これらユーザの特定の状態を判定する。そして特定の被写体状態が検出されたら、レリーズタイミングとなったとして、ステップF5でレリーズ処理を実行させる。
制御部27(撮像記録制御部81)は、ステップF4で、撮像画像の解析により検出される特定の被写体状態の有無を監視する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動を行った状態が考えられる。或いは、被写体となっているユーザが撮像システムを注視するなども考えられる。
制御部27はステップF4で、撮像画像の画像解析処理により、これらユーザの特定の状態を判定する。そして特定の被写体状態が検出されたら、レリーズタイミングとなったとして、ステップF5でレリーズ処理を実行させる。
またデジタルスチルカメラ1が音声入力部を備えるようにし、特定の音声入力があったときに、静止画撮像条件を満たしたと判断してもよい。
例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを静止画撮像条件としての特定の音とする。制御部27(撮像記録制御部81)は、ステップF4で、これらの特定の音の入力検出を行う。
上記音声入力部からの入力音声信号解析結果から、これらの特定の音が確認されたら、レリーズタイミングとなったとして、ステップF5でレリーズ処理を実行させる。
例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを静止画撮像条件としての特定の音とする。制御部27(撮像記録制御部81)は、ステップF4で、これらの特定の音の入力検出を行う。
上記音声入力部からの入力音声信号解析結果から、これらの特定の音が確認されたら、レリーズタイミングとなったとして、ステップF5でレリーズ処理を実行させる。
以上の図12のように、制御部27による制御・処理に基づき、自動静止画撮像モードでの静止画撮像が実現される。
<5.実施の形態の被写体検出処理例>
[5−1:第1の処理例]
上記のように図12のステップF2の被写体検出処理のため図10、図11で説明した被写体サーチを行うが、本実施の形態では、例えば顔を目的被写体として被写体サーチを行う。この場合に、適切且つ効率良くサーチを実行することが求められる。そこで1回のサーチでできるだけ広く被写体を捉えることができるとともに、正面奥行き方向でも、被写体を適切に認識できるようなサーチを行うようにする。
以下、このためのステップF2の被写体検出処理の例を各種説明していく。
[5−1:第1の処理例]
上記のように図12のステップF2の被写体検出処理のため図10、図11で説明した被写体サーチを行うが、本実施の形態では、例えば顔を目的被写体として被写体サーチを行う。この場合に、適切且つ効率良くサーチを実行することが求められる。そこで1回のサーチでできるだけ広く被写体を捉えることができるとともに、正面奥行き方向でも、被写体を適切に認識できるようなサーチを行うようにする。
以下、このためのステップF2の被写体検出処理の例を各種説明していく。
図13で、ステップF2の被写体検出処理としての第1の処理例を説明する。この処理は、図9の機能を有する制御部27の処理である。
上述のように、ステップF2の被写体検出処理が開始されると、まず被写体サーチを行う。このため制御部27は、図13のステップF101で、光学系部21におけるズームレンズをワイド端に制御する。つまり、最も広角の状態で広く被写体を探索するためである。
上述のように、ステップF2の被写体検出処理が開始されると、まず被写体サーチを行う。このため制御部27は、図13のステップF101で、光学系部21におけるズームレンズをワイド端に制御する。つまり、最も広角の状態で広く被写体を探索するためである。
そして制御部27はステップF102でサーチ動作を開始する。例えばその時点のパンニング位置を図10の水平中心Hとする。そして、例えば図11の第1部分探索範囲DV1での図10の探索パターンの動作を開始させる。
つまり制御部27は、図10の探索パターンのサーチを雲台10に実行させるよう、パン・チルト制御信号を雲台10に送信していく処理を開始することになる。
さらに制御部27は、探索パターンの動作を雲台10に実行させながら、信号処理部24に入力される撮像画像信号の解析処理を開始する。
つまり制御部27は、図10の探索パターンのサーチを雲台10に実行させるよう、パン・チルト制御信号を雲台10に送信していく処理を開始することになる。
さらに制御部27は、探索パターンの動作を雲台10に実行させながら、信号処理部24に入力される撮像画像信号の解析処理を開始する。
サーチ及び画像解析を開始した後は、制御部27は、ステップF104で1回の探索パターンのサーチ、つまり図10の探索パターンのサーチ動作が終了となるまで、ステップF103で、撮像画像信号の解析結果として顔が検出されたか否かを確認する。
図10の探索パターンのサーチ実行過程で、顔が検出された場合は、その時点で被写体検出処理は完了し、ステップF103から図12のステップF3の構図処理に進む。
一方、探索パターンのサーチが完了しても、顔が検出されなかった場合は、ステップF104からF105に進み、制御部27は、N回のサーチを終了したか否かを確認する。
N回とは、1つのエリア(図11の探索範囲)で図10の探索パターンのサーチを実行する上限回数として設定される。例えば2回を上限とする場合、N=2と設定される。もちろんNの値は2に限らず適切に設定されればよい。以下、N=2として説明する。
図10の探索パターンのサーチ実行過程で、顔が検出された場合は、その時点で被写体検出処理は完了し、ステップF103から図12のステップF3の構図処理に進む。
一方、探索パターンのサーチが完了しても、顔が検出されなかった場合は、ステップF104からF105に進み、制御部27は、N回のサーチを終了したか否かを確認する。
N回とは、1つのエリア(図11の探索範囲)で図10の探索パターンのサーチを実行する上限回数として設定される。例えば2回を上限とする場合、N=2と設定される。もちろんNの値は2に限らず適切に設定されればよい。以下、N=2として説明する。
1回目のサーチ動作が終了した時点では、制御部27はステップF105からF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。これによって、正面奥行き方向に離れた位置に居る人の顔を認識し易くする。
そしてステップF102に戻り、2回目のサーチ及び顔検出のための画像解析を開始する。この2回目も、図10の探索パターンのサーチを行うことになる。
そしてステップF102に戻り、2回目のサーチ及び顔検出のための画像解析を開始する。この2回目も、図10の探索パターンのサーチを行うことになる。
2回目のサーチ実行過程で、顔が検出された場合は、その時点で被写体検出処理は完了し、ステップF103から図12のステップF3の構図処理に進む。
一方、2回目のサーチが完了しても顔が検出されなかった場合は、ステップF104からF105に進み、この時点でN回のサーチを終了しているのでステップF107に進む。この場合、制御部27は、現在の探索範囲(例えば図11の第1部分探索範囲DV1)には、人はいないと判断する。そして次のエリア、例えば第2部分探索範囲DV2に移行するよう、雲台10に指示する。具体的には90°のパンニングを指示する。
そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリア、例えば第2部分探索範囲DV2での1回目のサーチ動作制御及び顔検出を開始することとなる。
一方、2回目のサーチが完了しても顔が検出されなかった場合は、ステップF104からF105に進み、この時点でN回のサーチを終了しているのでステップF107に進む。この場合、制御部27は、現在の探索範囲(例えば図11の第1部分探索範囲DV1)には、人はいないと判断する。そして次のエリア、例えば第2部分探索範囲DV2に移行するよう、雲台10に指示する。具体的には90°のパンニングを指示する。
そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリア、例えば第2部分探索範囲DV2での1回目のサーチ動作制御及び顔検出を開始することとなる。
この図13の第1の処理例の場合、図14のような動作が行われることになる。
図14(a)のように、或る探索範囲において、1回目のサーチ動作で顔が検出された場合、その時点で被写体検出処理を終え、構図処理に進む。
図14(b)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されなかった場合、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作で顔が検出されれば、その時点で被写体検出処理を終え、構図処理に進む。
図14(c)のように、或る探索範囲において、1回目のサーチ動作、及び画角変更しての2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。
図14(a)のように、或る探索範囲において、1回目のサーチ動作で顔が検出された場合、その時点で被写体検出処理を終え、構図処理に進む。
図14(b)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されなかった場合、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作で顔が検出されれば、その時点で被写体検出処理を終え、構図処理に進む。
図14(c)のように、或る探索範囲において、1回目のサーチ動作、及び画角変更しての2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。
そしてこの第1の処理例では、1つの探索範囲において、ズーム倍率をワイド端とした状態で1回目のサーチを行い、ズーム倍率を変更して2回目のサーチを行う。これによって、1回目に広範囲のサーチが行われ、1回目と2回目で正面奥行き方向に2段階のサーチが行われることになる。これによって例えば離れた位置にいる人の顔も検出できる適切な被写体検出が可能となる。
[5−2:第2の処理例]
ステップF2の被写体探索処理としての第2の処理例を図15で説明する。
なお図13と同一の処理については同一のステップ番号を付し、重複説明を避ける。
この図15の場合、ステップF102で1回目のサーチを開始した後、図10の探索パターンのサーチが完了するまでの間に、顔検出がなされた場合、制御部27はステップF103からF110に進み、顔検出フラグをオンとする。また、このときの検出位置、つまりパン位置、チルト位置を記憶する。
ステップF2の被写体探索処理としての第2の処理例を図15で説明する。
なお図13と同一の処理については同一のステップ番号を付し、重複説明を避ける。
この図15の場合、ステップF102で1回目のサーチを開始した後、図10の探索パターンのサーチが完了するまでの間に、顔検出がなされた場合、制御部27はステップF103からF110に進み、顔検出フラグをオンとする。また、このときの検出位置、つまりパン位置、チルト位置を記憶する。
そして1回目のサーチを終了した時点で制御部27はステップF104からF111に進み、当該サーチ過程で顔検出ができたか否かを確認する。即ち顔検出フラグがオンとされているか否かを判別する。
顔検出フラグがオンとされていれば、ステップF3の構図処理に進む。
顔検出フラグがオンとされていれば、ステップF3の構図処理に進む。
顔検出フラグがオンとされていなければ、制御部27はステップF105に進む。N=2とすると、1回目のサーチの終了時点であれば、制御部27はステップF106で画角変更制御(ズーム制御)を行ってステップF102に戻り、2回目のサーチ動作制御を行う。
また2回目のサーチを終了した時点で、ステップF111で顔検出フラグがオンとされていれば、ステップF3の構図処理に進む。一方、顔検出フラグがオンとされていなければ、ステップF105からF107に進み、次のエリアへの移行制御を行ってステップF101に戻る。
また2回目のサーチを終了した時点で、ステップF111で顔検出フラグがオンとされていれば、ステップF3の構図処理に進む。一方、顔検出フラグがオンとされていなければ、ステップF105からF107に進み、次のエリアへの移行制御を行ってステップF101に戻る。
この図15の第2の処理例の場合、図16のような動作が行われることになる。
図16(a)のように、或る探索範囲において、1回目のサーチ動作で1以上の顔が検出された場合、1回目のサーチの終了時点で被写体検出処理を終え、構図処理に進む。
図16(b)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されなかった場合、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作で1以上(例えば図の例では2つ)の顔が検出されれば、2回目のサーチ動作の終了時点で被写体検出処理を終え、構図処理に進む。
図16(c)のように、或る探索範囲において、1回目のサーチ動作、及び画角変更しての2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。
図16(a)のように、或る探索範囲において、1回目のサーチ動作で1以上の顔が検出された場合、1回目のサーチの終了時点で被写体検出処理を終え、構図処理に進む。
図16(b)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されなかった場合、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作で1以上(例えば図の例では2つ)の顔が検出されれば、2回目のサーチ動作の終了時点で被写体検出処理を終え、構図処理に進む。
図16(c)のように、或る探索範囲において、1回目のサーチ動作、及び画角変更しての2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。
この第2の処理例でも、上述の第1の処理例と同様、1回目に広範囲のサーチが行われ、1回目と2回目で正面奥行き方向に2段階のサーチが行われることで、適切かつ効率的な被写体検出が可能となる。
またこの場合、1回のサーチで複数の人を検出できる。そして2以上の顔が検出された場合、その角検出位置の情報も記憶しているため、当該顔の検出位置に基づいた構図処理が可能となり、より適切な構図制御を実現しやすいものとなる。
またこの場合、1回のサーチで複数の人を検出できる。そして2以上の顔が検出された場合、その角検出位置の情報も記憶しているため、当該顔の検出位置に基づいた構図処理が可能となり、より適切な構図制御を実現しやすいものとなる。
[5−3:第3の処理例]
ステップF2の被写体探索処理としての第3の処理例を図17で説明する。
なお図13と同一の処理については同一のステップ番号を付している。
ステップF2の被写体検出処理が開始されると、まず制御部27は、図17のステップF101で、光学系部21におけるズームレンズをワイド端に制御する。
そして制御部27はステップF102でサーチ動作及び撮像画像信号の解析処理を開始する。
但しこの第3の処理例の場合、撮像画像信号の解析処理では、顔検出だけでなく、動被写体、すなわち人などの動きのある画像の有無の検出も行う。
ステップF2の被写体探索処理としての第3の処理例を図17で説明する。
なお図13と同一の処理については同一のステップ番号を付している。
ステップF2の被写体検出処理が開始されると、まず制御部27は、図17のステップF101で、光学系部21におけるズームレンズをワイド端に制御する。
そして制御部27はステップF102でサーチ動作及び撮像画像信号の解析処理を開始する。
但しこの第3の処理例の場合、撮像画像信号の解析処理では、顔検出だけでなく、動被写体、すなわち人などの動きのある画像の有無の検出も行う。
サーチ及び画像解析を開始した後は、制御部27は、ステップF104で1回の探索パターンのサーチ、つまり図10の探索パターンのサーチ動作が終了となるまで、ステップF103で、撮像画像信号の解析結果として顔が検出されたか否かを確認する。
またこの期間、ステップF120で撮像画像信号の解析結果として動被写体が検出されたか否かも確認する。
動被写体が検出された場合は、制御部27はステップF121に進み、動被写体検出フラグをオンとする。
またこの期間、ステップF120で撮像画像信号の解析結果として動被写体が検出されたか否かも確認する。
動被写体が検出された場合は、制御部27はステップF121に進み、動被写体検出フラグをオンとする。
図10の探索パターンのサーチ実行過程で、顔が検出された場合は、その時点で被写体検出処理は完了し、ステップF103から図12のステップF3の構図処理に進む。
一方、探索パターンのサーチが完了しても、顔が検出されなかった場合は、ステップF104からF105に進み、制御部27は、N回(例えば2回)のサーチを終了したか否かを確認する。
一方、探索パターンのサーチが完了しても、顔が検出されなかった場合は、ステップF104からF105に進み、制御部27は、N回(例えば2回)のサーチを終了したか否かを確認する。
1回目のサーチ動作が終了した時点では、制御部27はステップF105からF122に進み、サーチ過程で動被写体検出フラグがオンとされていたか否かを確認する。
動被写体検出フラグがオンとされていれば制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。これによって、正面奥行き方向に離れた位置に居る人の顔を認識し易くする。
そしてステップF102に戻り、2回目のサーチ及び画像解析を開始する。
一方、ステップF122で動被写体検出フラグがオフと確認されたら、制御部27はステップF107に進み、2回目のサーチは行わずに次のエリアへの移行制御を行う。つまり現在の探索範囲(例えば図11の第1部分探索範囲DV1)には、人はいないと判断し、次のエリアである第2部分探索範囲DV2に移行させる。
そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリア、例えば第2部分探索範囲DV2での1回目のサーチ動作制御及び顔及び動被写体の検出を開始することとなる。
動被写体検出フラグがオンとされていれば制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。これによって、正面奥行き方向に離れた位置に居る人の顔を認識し易くする。
そしてステップF102に戻り、2回目のサーチ及び画像解析を開始する。
一方、ステップF122で動被写体検出フラグがオフと確認されたら、制御部27はステップF107に進み、2回目のサーチは行わずに次のエリアへの移行制御を行う。つまり現在の探索範囲(例えば図11の第1部分探索範囲DV1)には、人はいないと判断し、次のエリアである第2部分探索範囲DV2に移行させる。
そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリア、例えば第2部分探索範囲DV2での1回目のサーチ動作制御及び顔及び動被写体の検出を開始することとなる。
また2回目のサーチを行った場合、そのサーチ過程で、顔が検出された場合は、その時点で被写体検出処理は完了し、ステップF103から図12のステップF3の構図処理に進む。
一方、2回目のサーチが完了しても顔が検出されなかった場合は、制御部27はステップF104からF105に進み、この時点でN回のサーチを終了しているのでステップF107に進み、次のエリアへの移行制御を行う。そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリアでの1回目のサーチ動作制御及び顔及び動被写体の検出を開始する。
一方、2回目のサーチが完了しても顔が検出されなかった場合は、制御部27はステップF104からF105に進み、この時点でN回のサーチを終了しているのでステップF107に進み、次のエリアへの移行制御を行う。そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリアでの1回目のサーチ動作制御及び顔及び動被写体の検出を開始する。
この図17の第3の処理例の場合、次のような動作が行われることになる。
或る探索範囲において、1回目のサーチ動作で顔が検出された場合、その時点で被写体検出処理を終え、構図処理に進む。
一方、図18(a)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されず、かつ動被写体も検出されなかった場合は、次のエリアに移行して、同様のサーチ動作を行う。
また図18(b)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されなかったが、動被写体が検出された場合は、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。図示しないが、2回目のサーチ動作で顔が検出されれば、その時点で被写体検出処理を終え、構図処理に進む。
或る探索範囲において、1回目のサーチ動作で顔が検出された場合、その時点で被写体検出処理を終え、構図処理に進む。
一方、図18(a)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されず、かつ動被写体も検出されなかった場合は、次のエリアに移行して、同様のサーチ動作を行う。
また図18(b)のように、或る探索範囲において、1回目のサーチ動作で顔が検出されなかったが、動被写体が検出された場合は、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。図示しないが、2回目のサーチ動作で顔が検出されれば、その時点で被写体検出処理を終え、構図処理に進む。
この第3の処理例では、1回目のサーチの際に、顔検出ができなくとも動被写体が検出されたら、ズーム倍率を変更して2回目のサーチを行うことになる。動被写体の検出とは、その探索範囲において人が居る可能性を示すものである。例えば、デジタルスチルカメラ1の正面奥行き方向に離れた位置に人が居る場合、ズーム倍率をワイド端に設定した状態での1回目のサーチでは、顔検出が困難である。ところが、動きのある画像は、比較的容易に判定できる。
つまり1回目のサーチにおいて動被写体が検出されたことは、画角を変更すれば顔検出できる可能性を示すものとなる。
そこでその場合は、画角変更のうえで2回目のサーチ動作を行う。
一方で、1回目のサーチで顔も動被写体も検出できなかった場合は、その探索範囲には人が居ない可能性が極めて高い。そこで2回目のサーチ動作を行うことなく、次のエリアへ移行することがサーチ効率上、好ましいこととなる。
このように第3の処理例によれば、1つの探索範囲で2回のサーチを実行するのは、動被写体検出により、その必要性が高いと想定される場合となる。よって、画角変更のうえで2回目のサーチの実行の必要性が高い場合に、その2回目のサーチ動作が行われることとなり、適切な被写体検出を非常に効率よく実現できるものとなる。
つまり1回目のサーチにおいて動被写体が検出されたことは、画角を変更すれば顔検出できる可能性を示すものとなる。
そこでその場合は、画角変更のうえで2回目のサーチ動作を行う。
一方で、1回目のサーチで顔も動被写体も検出できなかった場合は、その探索範囲には人が居ない可能性が極めて高い。そこで2回目のサーチ動作を行うことなく、次のエリアへ移行することがサーチ効率上、好ましいこととなる。
このように第3の処理例によれば、1つの探索範囲で2回のサーチを実行するのは、動被写体検出により、その必要性が高いと想定される場合となる。よって、画角変更のうえで2回目のサーチの実行の必要性が高い場合に、その2回目のサーチ動作が行われることとなり、適切な被写体検出を非常に効率よく実現できるものとなる。
[5−4:第4の処理例]
図19で第4の処理例を説明する。図19において図17と同一の処理は同一のステップ番号を付している。
被写体検出処理が開始されると、まず制御部27は図17のステップF101で、光学系部21におけるズームレンズをワイド端に制御する。
そして制御部27はステップF102でサーチ動作及び撮像画像信号の解析処理を開始する。この第4の処理例の場合も、撮像画像信号の解析処理では、顔検出だけでなく動被写体画像の有無の検出も行う。
図19で第4の処理例を説明する。図19において図17と同一の処理は同一のステップ番号を付している。
被写体検出処理が開始されると、まず制御部27は図17のステップF101で、光学系部21におけるズームレンズをワイド端に制御する。
そして制御部27はステップF102でサーチ動作及び撮像画像信号の解析処理を開始する。この第4の処理例の場合も、撮像画像信号の解析処理では、顔検出だけでなく動被写体画像の有無の検出も行う。
サーチ及び画像解析を開始した後は、制御部27は、ステップF104で1回の探索パターンのサーチ、つまり図10の探索パターンのサーチ動作が終了となるまで、ステップF103で、撮像画像信号の解析結果として顔が検出されたか否かを確認する。顔検出がなされた場合、制御部27はステップF103からF110に進み、顔検出フラグをオンとする。また、このときの検出位置、つまりパン位置、チルト位置を記憶する。
またこの期間、ステップF120で撮像画像信号の解析結果として動被写体が検出されたか否かも確認する。
動被写体が検出された場合は、制御部27はステップF121に進み、動被写体検出フラグをオンとする。
またこの期間、ステップF120で撮像画像信号の解析結果として動被写体が検出されたか否かも確認する。
動被写体が検出された場合は、制御部27はステップF121に進み、動被写体検出フラグをオンとする。
そして1回目のサーチを終了した時点で制御部27はステップF104からF111に進み、当該サーチ過程で顔検出ができたか否かを確認する。即ち顔検出フラグがオンとされているか否かを判別する。顔検出フラグがオンとされていれば、ステップF3の構図処理に進む。
顔検出フラグがオンとされていなければ、制御部27はステップF105に進む。N=2であるとすると、1回目のサーチの終了時点であれば、制御部27はステップF122に進み、サーチ過程で動被写体検出フラグがオンとされていたか否かを確認する。
動被写体検出フラグがオンとされていれば制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。これによって、正面奥行き方向に離れた位置に居る人の顔を認識し易くする。
そしてステップF102に戻り、2回目のサーチ及び画像解析を開始する。
一方、ステップF122で動被写体検出フラグがオフと確認されたら、制御部27はステップF107に進み、2回目のサーチは行わずに次のエリアへの移行制御を行う。つまり現在の探索範囲には、人はいないと判断し、探索範囲を次のエリアに移行させる。
そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリアでの1回目のサーチ動作制御及び顔及び動被写体の検出を開始する。
動被写体検出フラグがオンとされていれば制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。これによって、正面奥行き方向に離れた位置に居る人の顔を認識し易くする。
そしてステップF102に戻り、2回目のサーチ及び画像解析を開始する。
一方、ステップF122で動被写体検出フラグがオフと確認されたら、制御部27はステップF107に進み、2回目のサーチは行わずに次のエリアへの移行制御を行う。つまり現在の探索範囲には、人はいないと判断し、探索範囲を次のエリアに移行させる。
そして制御部27はステップF101でズームレンズをワイド端に制御し、ステップF102で、新たなエリアでの1回目のサーチ動作制御及び顔及び動被写体の検出を開始する。
また2回目のサーチを終了した時点で、ステップF111で顔検出フラグがオンとされていれば、ステップF3の構図処理に進む。一方、顔検出フラグがオンとされていなければ、ステップF105からF107に進み、次のエリアへの移行制御を行ってステップF101に戻る。
この図19の第4の処理例の場合、次のような動作が行われることになる。
或る探索範囲において、1回目のサーチ動作で顔が検出された場合、1回目のサーチの終了時点で被写体検出処理を終え、構図処理に進む。
また、或る探索範囲において、1回目のサーチ動作で顔が検出されず、かつ動被写体も検出されなかった場合は、次のエリアに移行して、同様のサーチ動作を行う。
また、或る探索範囲において、1回目のサーチ動作で顔が検出されなかったが、動被写体が検出された場合は、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作でも顔が検出されたら、2回目のサーチ動作の終了時点で被写体検出処理を終え、構図処理に進む。2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。
或る探索範囲において、1回目のサーチ動作で顔が検出された場合、1回目のサーチの終了時点で被写体検出処理を終え、構図処理に進む。
また、或る探索範囲において、1回目のサーチ動作で顔が検出されず、かつ動被写体も検出されなかった場合は、次のエリアに移行して、同様のサーチ動作を行う。
また、或る探索範囲において、1回目のサーチ動作で顔が検出されなかったが、動被写体が検出された場合は、画角変更して2回目のサーチ動作を行う。2回目のサーチ動作でも顔が検出されたら、2回目のサーチ動作の終了時点で被写体検出処理を終え、構図処理に進む。2回目のサーチ動作でも顔が検出されなければ、次のエリアに移行して、同様のサーチ動作を行う。
この第4の処理例では、第1〜第3の処理例と同様、1回目に広範囲のサーチが行われ、1回目と2回目で正面奥行き方向に2段階のサーチが行われることで、適切かつ効率的な被写体検出が可能となる。
また第2の処理例と同様、1回のサーチで複数の人を検出できる。そして2以上の顔が検出された場合、その角検出位置の情報も記憶しているため、当該顔の検出位置に基づいた構図処理が可能となり、より適切な構図制御を実現しやすいものとなる。
また第3の処理例と同様、1つの探索範囲で2回のサーチを実行するのは、動被写体検出により、その必要性が高いと想定される場合となる。よって、画角変更のうえで2回目のサーチの実行の必要性が高い場合に、2回目のサーチ動作が行われることとなり、被写体検出の効率をより向上させることができる。
また第2の処理例と同様、1回のサーチで複数の人を検出できる。そして2以上の顔が検出された場合、その角検出位置の情報も記憶しているため、当該顔の検出位置に基づいた構図処理が可能となり、より適切な構図制御を実現しやすいものとなる。
また第3の処理例と同様、1つの探索範囲で2回のサーチを実行するのは、動被写体検出により、その必要性が高いと想定される場合となる。よって、画角変更のうえで2回目のサーチの実行の必要性が高い場合に、2回目のサーチ動作が行われることとなり、被写体検出の効率をより向上させることができる。
[5−5:第5の処理例]
第5の処理例を図20で説明する。なお図19(第4の処理例)と同一の処理は同一のステップ番号を付し、説明を省略する。
この図20の処理例では、サーチ過程で動被写体検出した場合に、制御部27はステップF120からF121Aに進む。そしてこの場合、動被写体検出フラグをオンとするとともに、このときの検出位置、つまりパン位置、チルト位置を記憶する。
第5の処理例を図20で説明する。なお図19(第4の処理例)と同一の処理は同一のステップ番号を付し、説明を省略する。
この図20の処理例では、サーチ過程で動被写体検出した場合に、制御部27はステップF120からF121Aに進む。そしてこの場合、動被写体検出フラグをオンとするとともに、このときの検出位置、つまりパン位置、チルト位置を記憶する。
1回目のサーチを終了した時点で、顔検出フラグがオフであれば、制御部27はステップF104→F111→F105→F122と進む。
そしてステップF122で動被写体検出フラグがオンと確認されたら制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。これによって、正面奥行き方向に離れた位置に居る人の顔を認識し易くする。
さらにステップF123で、動被写体検出位置へパン・チルト制御を行う。つまりステップF121Aで記憶した動被写体検出位置を用いて、その検出時のパン・チルト位置となるように雲台10を制御する。
そしてステップF102に戻り、2回目のサーチ及び画像解析を開始する。
他の処理は図19と同様である。
そしてステップF122で動被写体検出フラグがオンと確認されたら制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。これによって、正面奥行き方向に離れた位置に居る人の顔を認識し易くする。
さらにステップF123で、動被写体検出位置へパン・チルト制御を行う。つまりステップF121Aで記憶した動被写体検出位置を用いて、その検出時のパン・チルト位置となるように雲台10を制御する。
そしてステップF102に戻り、2回目のサーチ及び画像解析を開始する。
他の処理は図19と同様である。
このような第5の処理例によれば、動被写体検出によって2回目のサーチを行う場合には、まず、デジタルスチルカメラ1の視野を、その動被写体検出位置に移動させてから開始する。このため、動被写体が人であれば、2回目のサーチ動作で迅速に顔検出できる可能性を高くすることができる。これにより、より効率的なサーチが実行される可能性を高めることができる。
[5−6:第6の処理例]
第6の処理例を図21で説明する。なお図19(第4の処理例)と同一の処理は同一のステップ番号を付し、説明を省略する。
この図21の処理例でも、ステップF102でサーチ制御及び画像解析を開始するわけであるが、この場合の画像解析は、顔認識、動被写体の検出に加え、人物検出の処理も行う。ここでいう人物検出とは人間の身体の全部又は一部の画像が撮像画像信号に含まれているか否かを判別する処理である。
第6の処理例を図21で説明する。なお図19(第4の処理例)と同一の処理は同一のステップ番号を付し、説明を省略する。
この図21の処理例でも、ステップF102でサーチ制御及び画像解析を開始するわけであるが、この場合の画像解析は、顔認識、動被写体の検出に加え、人物検出の処理も行う。ここでいう人物検出とは人間の身体の全部又は一部の画像が撮像画像信号に含まれているか否かを判別する処理である。
サーチ及び画像解析を開始した後は、制御部27は、第4の処理例と同様、サーチ動作が終了となるまで、ステップF103で顔が検出されたか否かを確認する。顔検出がなされた場合、制御部27はステップF103からF110に進み、顔検出フラグをオンとする。また、このときの検出位置、つまりパン位置、チルト位置を記憶する。
またこの期間、ステップF120で撮像画像信号の解析結果として動被写体が検出されたか否かも確認する。動被写体が検出された場合は、制御部27はステップF121に進み、動被写体検出フラグをオンとする。
またこの期間、ステップF130で撮像画像信号の解析結果として人物の画像が検出されたか否かも確認する。
人物が検出された場合は、制御部27はステップF131に進み、人物検出フラグをオンとする。
またこの期間、ステップF120で撮像画像信号の解析結果として動被写体が検出されたか否かも確認する。動被写体が検出された場合は、制御部27はステップF121に進み、動被写体検出フラグをオンとする。
またこの期間、ステップF130で撮像画像信号の解析結果として人物の画像が検出されたか否かも確認する。
人物が検出された場合は、制御部27はステップF131に進み、人物検出フラグをオンとする。
1回目のサーチを終了した時点で、顔検出フラグがオフであれば、制御部27はステップF104→F111→F105→F132と進む。
そしてステップF132で人物検出フラグがオンと確認されたら制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。
また人物検出フラグがオフであったら、ステップF122で動被写体検出フラグを確認する。動被写体検出フラグがオンと確認されたら制御部27はステップF106に進み、画角変更制御を行う。
このように、人物検出フラグと動被写体検出フラグのいずれかがオンとなっていれば、画角変更のうえで2回目のサーチを行うことになる。
一方、人物検出フラグと動被写体検出フラグの両方がオフであれば、2回目のサーチを行わず、ステップF107で次のエリアへの移行制御を行う。
他の処理は図19と同様である。
そしてステップF132で人物検出フラグがオンと確認されたら制御部27はステップF106に進み、画角変更制御を行う。即ちズームレンズを、それまでのワイド端から所定量テレ側に移動させる。
また人物検出フラグがオフであったら、ステップF122で動被写体検出フラグを確認する。動被写体検出フラグがオンと確認されたら制御部27はステップF106に進み、画角変更制御を行う。
このように、人物検出フラグと動被写体検出フラグのいずれかがオンとなっていれば、画角変更のうえで2回目のサーチを行うことになる。
一方、人物検出フラグと動被写体検出フラグの両方がオフであれば、2回目のサーチを行わず、ステップF107で次のエリアへの移行制御を行う。
他の処理は図19と同様である。
この第6の処理例によれば、1回目のサーチで顔検出ができなくても、動被写体もしくは人物が検出できれば、画角変更のうえで2回目のサーチを行う。つまり、動被写体または人物の検出によって、2回目のサーチの必要性を判別する。
このため画角変更のうえで2回目のサーチの実行の必要性が高い場合に、その2回目のサーチ動作が行われることとなり、適切な被写体検出を非常に効率よく実現できる。
このため画角変更のうえで2回目のサーチの実行の必要性が高い場合に、その2回目のサーチ動作が行われることとなり、適切な被写体検出を非常に効率よく実現できる。
なお、変形例として、ステップF120、F121、F122の動被写体検出に関する処理をなくし、人物検出された場合に、2回目のサーチを行うという処理例も考えられる。
[5−7:撮像履歴情報の利用]
次に撮像履歴情報を利用した処理例を説明する。
上記第1〜第6の処理例としての図13,図15,図17,図19,図20,図21におけるステップF106では、2回目のサーチのために画角変更を行っている。
このとき制御部27は、その時点で記憶されている撮像履歴情報を用いてズーム倍率を設定するという処理を行うことが考えられる。
次に撮像履歴情報を利用した処理例を説明する。
上記第1〜第6の処理例としての図13,図15,図17,図19,図20,図21におけるステップF106では、2回目のサーチのために画角変更を行っている。
このとき制御部27は、その時点で記憶されている撮像履歴情報を用いてズーム倍率を設定するという処理を行うことが考えられる。
この撮像履歴情報を用いた処理を行う場合の機能構成を図22に示す。例えばデジタルスチルカメラ1(制御部27)側には、上記図9で説明した機能に加えて、撮像履歴情報管理部84が設けられる。
この撮像履歴情報管理部86は、図12のステップF5でレリーズ、即ち静止画の撮像記録を行った際に、その撮像記録時の各種情報を記憶する処理や、記憶されている撮像履歴情報を参照する処理を行う。撮像履歴情報の記憶は、例えばRAM29やフラッシュメモリ30の記憶領域を用いて行えばよい。
この撮像履歴情報管理部86は、図12のステップF5でレリーズ、即ち静止画の撮像記録を行った際に、その撮像記録時の各種情報を記憶する処理や、記憶されている撮像履歴情報を参照する処理を行う。撮像履歴情報の記憶は、例えばRAM29やフラッシュメモリ30の記憶領域を用いて行えばよい。
撮像履歴情報の内容の例を図23で説明する。
撮像履歴情報は、単位撮像履歴情報1〜nの集合により形成される。1つの単位撮像履歴情報が、1回の自動撮像記録に応じた履歴の情報を格納する。
1つの単位撮像履歴情報は、図示するよう、ファイル名、撮像日時情報、ズーム倍率情報、パン・チルト位置情報、被写体数情報、個人認識情報、画枠内位置情報、サイズ情報、顔方向情報、表情情報などを含む。
撮像履歴情報は、単位撮像履歴情報1〜nの集合により形成される。1つの単位撮像履歴情報が、1回の自動撮像記録に応じた履歴の情報を格納する。
1つの単位撮像履歴情報は、図示するよう、ファイル名、撮像日時情報、ズーム倍率情報、パン・チルト位置情報、被写体数情報、個人認識情報、画枠内位置情報、サイズ情報、顔方向情報、表情情報などを含む。
ファイル名は、対応する自動撮像記録によりメモリカード40にファイルとして記録された撮像画像データのファイル名が示される。また、ファイル名に代えて、ファイルパスなどとされてもよい。いずれにせよ、このようなファイル名、ファイルパスの情報によって、単位撮像履歴情報とメモリカード40に記憶された撮像画像データとが対応付けられる。
撮像日時情報は、対応する自動撮像記録が実行された日時を示す。
ズーム倍率情報は、撮像記録時(レリーズ時)のズーム倍率を示す。
パン・チルト位置情報は、対応する自動撮像記録が実行されたときに設定されていたパン・チルト位置を示す。
ズーム倍率情報は、撮像記録時(レリーズ時)のズーム倍率を示す。
パン・チルト位置情報は、対応する自動撮像記録が実行されたときに設定されていたパン・チルト位置を示す。
被写体数情報は、対応する撮像画像データ、即ち、対応する自動撮像記録によりメモリカード40に記憶された撮像画像データの画像(画枠)内に存在する被写体(検出個別被写体)の数を示す。
個人認識情報は、対応する撮像画像データの画像内に存在する被写体ごとについての個人認識結果の情報(個人認識情報)である。
個人認識情報は、対応する撮像画像データの画像内に存在する被写体ごとについての個人認識結果の情報(個人認識情報)である。
画枠内位置情報は、対応する撮像画像データの画像内に存在する被写体ごとについての画枠内における位置を示す情報である。例えば、この画枠内位置情報は、画枠内における被写体ごとに求められた重心に対応する点の座標位置として表すことができる。
サイズ情報は、対応する撮像画像データの画像内に存在する被写体ごとについての画枠内におけるサイズを示す情報である。
顔方向情報は、対応する撮像画像データの画像内に存在する被写体ごとについて検出された顔方向を示す情報である。
表情情報は、対応する撮像画像データの画像内に存在する被写体ごとについて検出された表情が何であるのか(例えば笑顔、笑顔でないなどの区別)を示す情報である。
サイズ情報は、対応する撮像画像データの画像内に存在する被写体ごとについての画枠内におけるサイズを示す情報である。
顔方向情報は、対応する撮像画像データの画像内に存在する被写体ごとについて検出された顔方向を示す情報である。
表情情報は、対応する撮像画像データの画像内に存在する被写体ごとについて検出された表情が何であるのか(例えば笑顔、笑顔でないなどの区別)を示す情報である。
例えばこのような内容の撮像履歴情報を保持しておくことで、多様な処理が可能となるが、本実施の形態の被写体検出処理に関して、次のような撮像履歴情報の利用が考えられる。
2回目のサーチを行うために、上記各図のステップF106に進んだ際には、制御部27は、1〜nの各単位撮像履歴情報のうちで、現在の探索範囲内に含まれるパン・チルト位置情報となっているものを抽出する。そして抽出した中で、撮像日時情報を参照して、最も最近の単位撮像履歴情報を選択する。
その単位撮像履歴情報におけるズーム倍率情報を参照する。そして、当該ズーム倍率情報に従って、画角変更の制御を行う。
2回目のサーチを行うために、上記各図のステップF106に進んだ際には、制御部27は、1〜nの各単位撮像履歴情報のうちで、現在の探索範囲内に含まれるパン・チルト位置情報となっているものを抽出する。そして抽出した中で、撮像日時情報を参照して、最も最近の単位撮像履歴情報を選択する。
その単位撮像履歴情報におけるズーム倍率情報を参照する。そして、当該ズーム倍率情報に従って、画角変更の制御を行う。
このような処理を行うことで、現在に近い過去において、人が居た距離に合わせた画角設定を行うことができ、2回目のサーチの際に、早めに顔検出ができる確率を高めることができる。
なお、参照すべき撮像履歴情報を検索してズーム倍率情報を用いる単位撮像履歴情報を抽出する際には、さらに他の情報、例えば被写体数情報、サイズ情報、顔方向情報などを用いて絞り込みを行っても良い。例えばサイズ情報を用いてズーム倍率を調整したり、顔方向が正面のものを選択するなどである。
[5−8:変形例]
以上、自動静止画撮像モードにおける被写体検出処理としての各例を説明してきたが、上記各処理の変形例は多様に考えられる。
例えば第1〜第6の処理例では、目的被写体を人の顔の画像として説明したが、もちろん顔の画像に限られるものではなく、撮像の目的に応じた被写体を検出すればよい。
以上、自動静止画撮像モードにおける被写体検出処理としての各例を説明してきたが、上記各処理の変形例は多様に考えられる。
例えば第1〜第6の処理例では、目的被写体を人の顔の画像として説明したが、もちろん顔の画像に限られるものではなく、撮像の目的に応じた被写体を検出すればよい。
また、第1〜第6の処理例ではステップF105でのサーチ上限回数N=2として説明したが、N=3以上でもよい。
例えばN=3とした場合、1つの探索範囲で、最大3回のサーチ動作が行われることになる。この場合、2回目のサーチの際の画角と、3回目のサーチの際の画角も変化させることが適切である。
例えば1回目のサーチでは、ズームレンズをワイド端にして近距離を対象とした探索を行い、2回目はズームレンズを所定量テレ側として中距離を対象とした探索を行う。3回目はさらにズームレンズをテレ側に移動させ、長距離を対象とした探索を行う。このような多段階で各距離を対象として被写体サーチを行っても良い。
例えばN=3とした場合、1つの探索範囲で、最大3回のサーチ動作が行われることになる。この場合、2回目のサーチの際の画角と、3回目のサーチの際の画角も変化させることが適切である。
例えば1回目のサーチでは、ズームレンズをワイド端にして近距離を対象とした探索を行い、2回目はズームレンズを所定量テレ側として中距離を対象とした探索を行う。3回目はさらにズームレンズをテレ側に移動させ、長距離を対象とした探索を行う。このような多段階で各距離を対象として被写体サーチを行っても良い。
また、上記各例では図14のように探索範囲を複数のエリアに分けたが、もちろん図14のような360°範囲を4分割するものに限られない。3分割、5分割以上でも良い。
また360°範囲(又は雲台の可動範囲が360°未満であれば、その可動範囲)を1つのエリアとして、図10のような探索パターンのサーチを行うものとしてもよい。
また360°範囲(又は雲台の可動範囲が360°未満であれば、その可動範囲)を1つのエリアとして、図10のような探索パターンのサーチを行うものとしてもよい。
また、上記各例では、2回目のサーチの際も、1回目と同様、図10の探索パターンのサーチを行うこととしたが、2回目以降は探索パターンを他のパターンに変更するという処理例も考えられる。
また、2回目以降のサーチでは、サーチ速度を遅くして顔画像を検出し易くするということも考えられる。
また、2回目以降のサーチでは、サーチ速度を遅くして顔画像を検出し易くするということも考えられる。
また、顔検出のための画像解析処理は、例えば処理量の事情などから、通常のカメラのEE画(例えば350×240ピクセルサイズ)から行われるが、顔検出できていない場合は、処理する領域を広げてもよい。
即ち実際の撮像画像信号の画素数は、イメージセンサ22に応じて、EE画サイズより遙かに多いが、解析処理用の画像データとしては、解析処理負担を考え、間引き処理を行って例えば350×240ピクセルサイズとすることがある。この場合、顔画像等のサイズが小さくなり、顔認識がしにくくなる。そこで2回目のサーチのときの画像解析では、間引き率を低下させ、例えば640×480ピクセルサイズなどとして画像解析を行うようにする。これによって、顔認識の確率を高めることができる。
或いは、例えばEE画のサイズのままで端の領域を削り、拡大して処理することにより、被写体検出可能な距離を増やすことも考えられる。
即ち実際の撮像画像信号の画素数は、イメージセンサ22に応じて、EE画サイズより遙かに多いが、解析処理用の画像データとしては、解析処理負担を考え、間引き処理を行って例えば350×240ピクセルサイズとすることがある。この場合、顔画像等のサイズが小さくなり、顔認識がしにくくなる。そこで2回目のサーチのときの画像解析では、間引き率を低下させ、例えば640×480ピクセルサイズなどとして画像解析を行うようにする。これによって、顔認識の確率を高めることができる。
或いは、例えばEE画のサイズのままで端の領域を削り、拡大して処理することにより、被写体検出可能な距離を増やすことも考えられる。
また、上記各処理例では、最初にステップF101でズームレンズをワイド端としている。これは、広い範囲を探索対象とするためである。
従前のカメラでは、ワイド端は一般的に35mmであったが、近年のデジタルスチルカメラでは、例えばワイド端が24mm、或いはそれ以下などのものも増えている。
あまりに広角の状態になると、撮像画像信号における一つの顔の画像サイズが小さくなり検出しにくくなる。つまり、検出可能な距離が極端に狭まる。
そこで、ステップF101での設定は、ワイド端という制御ではなく、例えば35mmとする制御などとしても良い。
従前のカメラでは、ワイド端は一般的に35mmであったが、近年のデジタルスチルカメラでは、例えばワイド端が24mm、或いはそれ以下などのものも増えている。
あまりに広角の状態になると、撮像画像信号における一つの顔の画像サイズが小さくなり検出しにくくなる。つまり、検出可能な距離が極端に狭まる。
そこで、ステップF101での設定は、ワイド端という制御ではなく、例えば35mmとする制御などとしても良い。
また、第3〜第6の処理例では動被写体検出を利用しているが、温度センサを用いて、温度が人体に近い部分を拡大するなど、顔検出以外の被写体検出方法を組み合わせることで、検出可能な距離を改善させることも考えられる。
<6.他の機能構成例>
上記の実施の形態の各処理例では、基本的には図9(図22)の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ1と雲台10から成る撮像システムでは、図9以外にも機能構成例が考えられる。図24に一例を挙げる。
上記の実施の形態の各処理例では、基本的には図9(図22)の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ1と雲台10から成る撮像システムでは、図9以外にも機能構成例が考えられる。図24に一例を挙げる。
図24は、デジタルスチルカメラ1側は撮像記録制御部81と通信処理部85のみを有する例である。そして雲台10側(制御部51)に、通信処理部71、撮像準備処理部74、撮像視野可変制御部75を設ける。図22の例に準じて言えば、撮像履歴情報管理部を雲台10側に設けても良い。
各機能部が実行する制御処理は、基本的には図9で説明したものと同様であるが、次の点が異なる。
撮像準備処理部74は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ1の信号処理部24から供給を受けるようにする。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
但し雲台10側に被写体検出や構図処理のための撮像部が設けるようにすれば、その撮像部での撮像画像データに基づいて被写体検出処理や構図処理を行うことができる。
撮像準備処理部74は、被写体検出処理や構図処理を行うために、各フレーム画像としての撮像画像データを、デジタルスチルカメラ1の信号処理部24から供給を受けるようにする。そして画像解析を行い、上述と同様の被写体検出処理や構図処理を行う。
但し雲台10側に被写体検出や構図処理のための撮像部が設けるようにすれば、その撮像部での撮像画像データに基づいて被写体検出処理や構図処理を行うことができる。
撮像視野可変制御部75は、撮像準備処理部74からの指示に応じて、パン用駆動部55、チルト用駆動部58を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像視野可変制御部75は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
また、ズーム制御のために、撮像視野可変制御部75は、ズーム制御信号を通信処理部71を介してデジタルスチルカメラ1側の制御部27(撮像記録制御部81)に出力する。撮像記録制御部81は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
即ちこの図24は、雲台10側が主体的に自動撮像モード制御を行うもので、デジタルスチルカメラ1の制御部27に必要な指示を与えて、自動静止画撮像を実現する例である。
この場合、上記第1〜第6の処理例としての図13,図15,図17,図19,図20,図21の処理や、撮像履歴情報を利用した処理を、雲台10の制御部51の処理として実行できる。
この場合、上記第1〜第6の処理例としての図13,図15,図17,図19,図20,図21の処理や、撮像履歴情報を利用した処理を、雲台10の制御部51の処理として実行できる。
以上、図9、図22、図24の機能構成例を示したが、図9又は図22の機能構成を採る場合、デジタルスチルカメラ1に本発明の撮像制御装置が搭載されていることとなる。また図24の機能構成を採る場合は、雲台10に本発明の撮像制御装置が搭載されていることとなる。
また本発明の撮像制御装置は、少なくとも撮像準備処理部82(74)と撮像視野可変制御部83(75)を備えるものである。従って、他の各機能部位が別体機器に分かれて設けられたとしても、少なくとも撮像準備処理部82(74)と撮像視野可変制御部83(75)を有する機器が、本発明の実現例となる。或いは、撮像準備処理部82(74)と撮像視野可変制御部83(75)がそれぞれ別体の機器の機能とされた場合、その各機器のシステムにおいて、本発明が実現される。
また本発明の撮像制御装置は、少なくとも撮像準備処理部82(74)と撮像視野可変制御部83(75)を備えるものである。従って、他の各機能部位が別体機器に分かれて設けられたとしても、少なくとも撮像準備処理部82(74)と撮像視野可変制御部83(75)を有する機器が、本発明の実現例となる。或いは、撮像準備処理部82(74)と撮像視野可変制御部83(75)がそれぞれ別体の機器の機能とされた場合、その各機器のシステムにおいて、本発明が実現される。
<7.手持ち撮像時の処理>
上記実施の形態では、デジタルスチルカメラ1と雲台10を用いた自動静止画撮像モードにおける被写体検出処理に適用した例を述べた。
ここではユーザがデジタルスチルカメラ1を単体で用いて、つまりデジタルスチルカメラ1を手持ちの状態で使用して撮像を行う場合の処理例を説明する。
上記実施の形態では、デジタルスチルカメラ1と雲台10を用いた自動静止画撮像モードにおける被写体検出処理に適用した例を述べた。
ここではユーザがデジタルスチルカメラ1を単体で用いて、つまりデジタルスチルカメラ1を手持ちの状態で使用して撮像を行う場合の処理例を説明する。
デジタルスチルカメラ1を手持ちで用いる場合、通常、ユーザはズーム操作により任意にズーム倍率を変化させながら被写体を決定する。
ここでユーザが被写体や構図を決めているときやレリーズタイミングには、デジタルスチルカメラ1の制御部27は、例えば顔検出を行って所定の処理を行うことがある。
ここでユーザが被写体や構図を決めているときやレリーズタイミングには、デジタルスチルカメラ1の制御部27は、例えば顔検出を行って所定の処理を行うことがある。
例えば撮像画像信号における顔検出を行い、顔画像を基準としてオートフォーカス制御を行うことがある。
また同様に顔画像部分を基準にして、オートホワイトバランス処理や、露光調整処理を行うこともある。また、顔画像部分のエフェクト処理を行うこともある。
さらには、顔画像検出及び笑顔検出を行って、被写体の人物が笑顔になったタイミングで自動的にレリーズ処理を行う場合もある。
これらの処理のため、手持ちでデジタルスチルカメラ1を用いる場合でも、例えば顔を目的とした被写体検出処理が行われる。
また同様に顔画像部分を基準にして、オートホワイトバランス処理や、露光調整処理を行うこともある。また、顔画像部分のエフェクト処理を行うこともある。
さらには、顔画像検出及び笑顔検出を行って、被写体の人物が笑顔になったタイミングで自動的にレリーズ処理を行う場合もある。
これらの処理のため、手持ちでデジタルスチルカメラ1を用いる場合でも、例えば顔を目的とした被写体検出処理が行われる。
そこでデジタルスチルカメラ1を単体で用いる場合でも、例えば顔画像を目的として被写体検出処理を行うときに、制御部27は図25の処理を行うことが考えられる。
例えばユーザがズーム操作などを行いながら被写体を選んでおり、レリーズボタン31aを半押しとしたときに、画像解析により顔認識を行うとする。
制御部27は、ステップF301で撮像画像信号を解析して顔認識処理を行う。ここで、顔検出ができない場合は、ステップF302からF303に進んで、画角変更を行う。即ち制御部27はズームレンズを駆動してズーム倍率を変化させる。そしてステップF301の顔認識処理を行う。
例えばユーザがズーム操作などを行いながら被写体を選んでおり、レリーズボタン31aを半押しとしたときに、画像解析により顔認識を行うとする。
制御部27は、ステップF301で撮像画像信号を解析して顔認識処理を行う。ここで、顔検出ができない場合は、ステップF302からF303に進んで、画角変更を行う。即ち制御部27はズームレンズを駆動してズーム倍率を変化させる。そしてステップF301の顔認識処理を行う。
顔画像が検出されたら、制御部27はステップF302からF304に進み、ズーム倍率をステップF303の処理による変更の前の状態、つまりユーザが操作によって設定したズーム状態に戻す。
そしてステップF305で顔検出に基づく処理、例えば上述したオートフォーカス制御などの処理を行う。
そしてステップF305で顔検出に基づく処理、例えば上述したオートフォーカス制御などの処理を行う。
このように画角を変化させながら顔認識処理を行うことで、被写体人物までの距離によって顔検出ができない場合も、検出できる確率を高めることができる。そして検出できることによって、顔検出に基づく処理が実行できる。
そして、顔検出後は、ステップF304でズーム倍率をユーザ操作による状態に戻すことで、その後のレリーズの際などに問題は生じない。
そして、顔検出後は、ステップF304でズーム倍率をユーザ操作による状態に戻すことで、その後のレリーズの際などに問題は生じない。
<8.プログラム>
本実施の形態のプログラムは、上述した図13,図15,図17,図19,図20,図21、図25の処理や、撮像履歴情報を利用した処理を、CPU等の演算処理装置(制御部27等)に実行させるプログラムである。
即ちプログラムは、撮像画像信号を解析して所定の目的被写体(例えば顔画像)を検出する被写体検出ステップを演算処理装置に実行させる。
また被写体検出ステップで目的被写体が検出できなかった場合、撮像視野可変機構(ズーム機構)を制御して撮像部における画角を変化させる画角変更ステップを演算処理装置に実行させる。
さらに画角変更ステップで画角を変化させたうえで、被写体検出処理を行う再被写体検出ステップを演算処理装置に実行させる。
本実施の形態のプログラムは、上述した図13,図15,図17,図19,図20,図21、図25の処理や、撮像履歴情報を利用した処理を、CPU等の演算処理装置(制御部27等)に実行させるプログラムである。
即ちプログラムは、撮像画像信号を解析して所定の目的被写体(例えば顔画像)を検出する被写体検出ステップを演算処理装置に実行させる。
また被写体検出ステップで目的被写体が検出できなかった場合、撮像視野可変機構(ズーム機構)を制御して撮像部における画角を変化させる画角変更ステップを演算処理装置に実行させる。
さらに画角変更ステップで画角を変化させたうえで、被写体検出処理を行う再被写体検出ステップを演算処理装置に実行させる。
本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ1や雲台10等の機器に内蔵されている記録媒体としてのHDDや固体メモリ、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
そして本発明のプログラムによれば、上記各実施の形態の処理を実行する撮像装置、撮像システムの実現及び広範な提供に適している。
1 デジタルスチルカメラ、2 本体部、21a レンズ部、31a レリーズボタン、10 雲台、11 本体部、12 カメラ台座部、13 突起部、21 光学系、22 イメージセンサ、23 A/Dコンバータ、24 信号処理部、25 エンコード/デコード部、26 メディアコントローラ、27 制御部、28 ROM、29 RAM、30 フラッシュメモリ、31 操作部、32 表示ドライバ、33 表示部、34 雲台対応通信部、40 メモリカード、51 制御部、52 通信部、53 パン機構部、54 パン用モータ、55 パン用駆動部、56 チルト機構部、57 チルト用モータ、58 チルト用駆動部、59 接続検出部、72 パン・チルト制御部、81 撮像記録制御部、74,82 撮像準備処理部、75,83 撮像視野可変制御部、84 撮像履歴情報管理部、71,85 通信処理部、86 装着判定部
Claims (10)
- 被写体の撮像を行う撮像部と、上記撮像部の撮像視野可変機構とを有する撮像装置又は撮像システムについての撮像制御装置であって、
上記撮像部で得られる撮像画像信号を解析して所定の目的被写体を検出する被写体検出処理を行う被写体検出部と、
上記撮像視野可変機構を制御して上記撮像部における画角を変化させる撮像視野可変制御部と、
を備え、
上記被写体検出部が上記被写体検出処理で目的被写体を検出できなかった場合、上記撮像視野可変制御部が上記撮像視野可変機構を制御して上記撮像部における画角を変化させたうえで、上記被写体検出部が上記被写体検出処理を行う撮像制御装置。 - 上記撮像装置又は撮像システムには、上記撮像視野可変機構の1つとして上記撮像部のズームレンズ駆動機構が設けられており、
上記撮像視野可変制御部は、上記ズームレンズ駆動機構を駆動制御して上記撮像部における画角を変化させる請求項1に記載の撮像制御装置。 - 上記目的被写体は、撮像画像信号内における人の顔の画像である請求項2に記載の撮像制御装置。
- 上記被写体検出部が、上記被写体検出処理で目的被写体を検出できず、かつ第2の目的被写体の存在を検出した場合に、上記撮像視野可変制御部が上記撮像視野可変機構を制御して上記撮像部における画角を変化させたうえで、上記被写体検出部が上記被写体検出処理を行う請求項1に記載の撮像制御装置。
- 上記撮像装置又は撮像システムには、上記撮像視野可変機構として、上記撮像部のズームレンズ駆動機構と、上記撮像部の撮像方向を変化させる撮像方向可変駆動機構が設けられており、
上記被写体検出部が、上記被写体検出処理で目的被写体を検出できず、かつ第2の目的被写体の存在を検出した場合に、上記撮像視野可変制御部が上記撮像視野可変機構を制御して上記撮像部における画角を変化させ、さらに上記撮像方向可変駆動機構を制御して撮像方向を上記第2の目的被写体の検出時の撮像方向とさせたうえで、上記被写体検出部が上記被写体検出処理を行う請求項1に記載の撮像制御装置。 - 上記目的被写体は、撮像画像信号内における人の顔の画像であり、
上記第2の目的被写体は、撮像画像信号内における動被写体画像、又は人物の身体の画像である請求項4又は請求項5に記載の撮像制御装置。 - 上記撮像部によって得られた撮像画像信号を静止画像信号として記録又は出力することに応じて、少なくとも上記撮像部のズーム情報を含む撮像履歴情報を生成し、管理する撮像履歴情報管理部をさらに備え、
上記撮像視野可変制御部は、上記撮像履歴情報に基づいて、上記撮像視野可変機構を制御して上記撮像部における画角を変化させる請求項1に記載の撮像制御装置。 - 上記撮像視野可変制御部は、上記ズームレンズ駆動機構を駆動制御して上記撮像部における画角を変化させた後、上記被写体検出部が上記目的被写体を検出した場合は、上記ズームレンズ駆動機構を駆動制御して画角を変化させた前の状態に戻す請求項2に記載の撮像制御装置。
- 被写体の撮像を行う撮像部と、上記撮像部の撮像視野可変機構とを有する撮像装置又は撮像システムの被写体検出方法として、
上記撮像部で得られる撮像画像信号を解析して所定の目的被写体を検出する被写体検出ステップと、
上記被写体検出ステップで目的被写体を検出できなかった場合、上記撮像視野可変機構を制御して上記撮像部における画角を変化させる画角変更ステップと、
上記画角変更ステップで画角を変化させたうえで、上記被写体検出処理を行う再被写体検出ステップと、
を備えた被写体検出方法。 - 被写体の撮像を行う撮像部と、上記撮像部の撮像視野可変機構とを有する撮像装置又は撮像システムに対する撮像制御装置の動作のためのプログラムとして、
上記撮像部で得られる撮像画像信号を解析して所定の目的被写体を検出する被写体検出ステップと、
上記被写体検出ステップで目的被写体が検出できなかった場合、上記撮像視野可変機構を制御して上記撮像部における画角を変化させる画角変更ステップと、
上記画角変更ステップで画角を変化させたうえで、上記被写体検出処理を行う再被写体検出ステップと、
を撮像制御装置の演算処理装置に実行させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010048793A JP2011188065A (ja) | 2010-03-05 | 2010-03-05 | 撮像制御装置、被写体検出方法、プログラム |
| US13/034,116 US8817134B2 (en) | 2010-03-05 | 2011-02-24 | Imaging control device, subject detection method, and program |
| CN2011100495636A CN102196171A (zh) | 2010-03-05 | 2011-02-28 | 摄像控制装置、对象检测方法和程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010048793A JP2011188065A (ja) | 2010-03-05 | 2010-03-05 | 撮像制御装置、被写体検出方法、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011188065A true JP2011188065A (ja) | 2011-09-22 |
Family
ID=44531025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010048793A Pending JP2011188065A (ja) | 2010-03-05 | 2010-03-05 | 撮像制御装置、被写体検出方法、プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8817134B2 (ja) |
| JP (1) | JP2011188065A (ja) |
| CN (1) | CN102196171A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013073766A1 (en) * | 2011-11-14 | 2013-05-23 | Samsung Electronics Co., Ltd. | Zoom control method and apparatus, and digital photographing apparatus |
| JP2014064083A (ja) * | 2012-09-20 | 2014-04-10 | Toshiba Corp | 監視装置及び方法 |
| US10015406B2 (en) | 2014-12-24 | 2018-07-03 | Canon Kabushiki Kaisha | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium |
| US10270978B2 (en) | 2014-12-24 | 2019-04-23 | Canon Kabushiki Kaisha | Zoom control device with scene composition selection, and imaging apparatus, control method of zoom control device, and recording medium therewith |
| US10277823B2 (en) | 2014-12-24 | 2019-04-30 | Canon Kabushiki Kaisha | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium |
| JP2019118146A (ja) * | 2014-07-23 | 2019-07-18 | ソニー株式会社 | 撮像装置、撮像方法、及びプログラム |
| US10701274B2 (en) | 2014-12-24 | 2020-06-30 | Canon Kabushiki Kaisha | Controlling zoom magnification based on image size |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5206095B2 (ja) | 2008-04-25 | 2013-06-12 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
| JP5434339B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像システム、撮像方法、プログラム |
| JP5434338B2 (ja) | 2009-07-29 | 2014-03-05 | ソニー株式会社 | 撮像制御装置、撮像方法、プログラム |
| JP2011155361A (ja) * | 2010-01-26 | 2011-08-11 | Sony Corp | 撮像装置、撮像制御方法、プログラム |
| JP5504915B2 (ja) * | 2010-01-26 | 2014-05-28 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
| JP5577900B2 (ja) | 2010-07-05 | 2014-08-27 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
| JP5834232B2 (ja) * | 2011-01-17 | 2015-12-16 | パナソニックIpマネジメント株式会社 | 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法 |
| US9936114B2 (en) * | 2013-10-25 | 2018-04-03 | Elwha Llc | Mobile device for requesting the capture of an image |
| CN106605404B (zh) * | 2014-09-08 | 2019-04-30 | 富士胶片株式会社 | 相机的初始位置设定方法、相机及相机系统 |
| JP6436783B2 (ja) * | 2015-01-09 | 2018-12-12 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
| US9243741B1 (en) * | 2015-04-20 | 2016-01-26 | Intellectual Fortress, LLC | Telescoping monopod apparatus for holding photographic instrument |
| JP2017200131A (ja) * | 2016-04-28 | 2017-11-02 | キヤノン株式会社 | 画角制御装置および画角制御方法 |
| JP6708154B2 (ja) * | 2017-03-28 | 2020-06-10 | カシオ計算機株式会社 | 対象物検出装置、対象物検出方法、及びプログラム |
| JP7222683B2 (ja) * | 2018-12-06 | 2023-02-15 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| CN111277750B (zh) * | 2020-01-13 | 2022-04-01 | 上海摩象网络科技有限公司 | 拍摄控制方法、装置、电子设备及计算机存储介质 |
| CN115903362A (zh) * | 2021-09-30 | 2023-04-04 | 黄乃为 | 360度全景影像变焦显示的摄影机 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4581924B2 (ja) * | 2004-09-29 | 2010-11-17 | 株式会社ニコン | 画像再生装置、および画像再生プログラム |
| JP2006135837A (ja) * | 2004-11-09 | 2006-05-25 | Nec Access Technica Ltd | テレビ電話 |
| JP4356663B2 (ja) * | 2005-08-17 | 2009-11-04 | ソニー株式会社 | カメラ制御装置および電子会議システム |
| KR100778926B1 (ko) * | 2007-01-26 | 2007-11-22 | 주식회사 성우모바일 | 휴대단말기의 회전 받침장치 |
| JP5115139B2 (ja) | 2007-10-17 | 2013-01-09 | ソニー株式会社 | 構図判定装置、構図判定方法、プログラム |
| KR101589501B1 (ko) * | 2009-08-24 | 2016-01-28 | 삼성전자주식회사 | 터치 스크린을 이용한 줌 제어 방법 및 장치 |
| JP2011155361A (ja) | 2010-01-26 | 2011-08-11 | Sony Corp | 撮像装置、撮像制御方法、プログラム |
| JP5504915B2 (ja) | 2010-01-26 | 2014-05-28 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
| JP5533048B2 (ja) | 2010-03-08 | 2014-06-25 | ソニー株式会社 | 撮像制御装置、撮像制御方法 |
| JP5577900B2 (ja) | 2010-07-05 | 2014-08-27 | ソニー株式会社 | 撮像制御装置、撮像制御方法、プログラム |
-
2010
- 2010-03-05 JP JP2010048793A patent/JP2011188065A/ja active Pending
-
2011
- 2011-02-24 US US13/034,116 patent/US8817134B2/en active Active
- 2011-02-28 CN CN2011100495636A patent/CN102196171A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013073766A1 (en) * | 2011-11-14 | 2013-05-23 | Samsung Electronics Co., Ltd. | Zoom control method and apparatus, and digital photographing apparatus |
| US8823837B2 (en) | 2011-11-14 | 2014-09-02 | Samsung Electronics Co., Ltd. | Zoom control method and apparatus, and digital photographing apparatus |
| JP2014064083A (ja) * | 2012-09-20 | 2014-04-10 | Toshiba Corp | 監視装置及び方法 |
| JP2019118146A (ja) * | 2014-07-23 | 2019-07-18 | ソニー株式会社 | 撮像装置、撮像方法、及びプログラム |
| US10015406B2 (en) | 2014-12-24 | 2018-07-03 | Canon Kabushiki Kaisha | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium |
| US10270978B2 (en) | 2014-12-24 | 2019-04-23 | Canon Kabushiki Kaisha | Zoom control device with scene composition selection, and imaging apparatus, control method of zoom control device, and recording medium therewith |
| US10277823B2 (en) | 2014-12-24 | 2019-04-30 | Canon Kabushiki Kaisha | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium |
| US10419683B2 (en) | 2014-12-24 | 2019-09-17 | Canon Kabushiki Kaisha | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium |
| US10701274B2 (en) | 2014-12-24 | 2020-06-30 | Canon Kabushiki Kaisha | Controlling zoom magnification based on image size |
| US10827127B2 (en) | 2014-12-24 | 2020-11-03 | Canon Kabushiki Kaisha | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium |
| US11172133B2 (en) | 2014-12-24 | 2021-11-09 | Canon Kabushiki Kaisha | Zoom control device, control method of zoom control device, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US8817134B2 (en) | 2014-08-26 |
| US20110216225A1 (en) | 2011-09-08 |
| CN102196171A (zh) | 2011-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011188065A (ja) | 撮像制御装置、被写体検出方法、プログラム | |
| JP5533048B2 (ja) | 撮像制御装置、撮像制御方法 | |
| JP5504915B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
| US10931855B2 (en) | Imaging control based on change of control settings | |
| JP5577900B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
| US10447874B2 (en) | Display control device and display control method for automatic display of an image | |
| US8605158B2 (en) | Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode | |
| JP5434338B2 (ja) | 撮像制御装置、撮像方法、プログラム | |
| US8514285B2 (en) | Image processing apparatus, image processing method and program | |
| US9338362B2 (en) | Image capturing apparatus, image capturing control method and storage medium for capturing a subject to be recorded with intended timing | |
| JP5434339B2 (ja) | 撮像制御装置、撮像システム、撮像方法、プログラム | |
| JP5407640B2 (ja) | 画像対応装置、動作設定方法、プログラム | |
| JP5453953B2 (ja) | 可動機構部制御装置、可動機構部制御方法、プログラム | |
| JP5347802B2 (ja) | 構図制御装置、撮像システム、構図制御方法、プログラム | |
| JP2011009929A (ja) | 可動機構部制御装置、可動機構部制御方法、プログラム | |
| JP5651951B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
| JP5504887B2 (ja) | 撮像制御装置、撮像制御方法、プログラム |