JP2012039178A - 撮像装置、露出制御方法、プログラム - Google Patents

Abstract

【課題】動画撮像に際し、画角変動に伴う絞り値の変化に起因する画質劣化を抑制する。
【解決手段】レンズ情報取得部４１が、装置本体に装着されている撮影レンズ１１から取得した開放Ｆ値の情報をメモリ５２に記憶させ、システム制御回路５０が、メモリ５２から開放Ｆ値の情報を現在の撮影レンズ１１のものとして取得する。システム制御回路５０は、取得された開放Ｆ値から、撮影レンズ１１が、画角によって開放Ｆ値が異なるレンズである場合は、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を明るい側の限界絞り値として絞り値ＡＶを設定するための暗側設定プログラム線図を生成し、この線図を用いて、被写体輝度ＥＶに基づいて、ＡＶ値、ＴＶ値、ＩＳＯ値を設定して露出制御を行う。
【選択図】図５

Description

本発明は、動画撮像における露出制御の技術に関する。

従来、デジタルカメラ等の撮像装置において、電子式ビューファインダが多く採用されている。具体的には、撮影用レンズを通過した光を、撮影時に使用するＣＣＤ等の撮像素子にて受光し、光電変換した画像信号をＬＣＤ等の画像表示装置に逐次表示する構成となっている。

また、近年の撮像装置においては、撮像素子は静止画撮影用途、ファインダ用途以外の様々な用途に用いられる。即ち、被写体へのピント合わせを自動で行うＡＦ（Auto Focus Control）用途、被写体の明るさを適正に制御するＡＥ（Auto Exposure Control）用途にも使用される。ＡＦ時、ＡＥ時にはそれぞれ、撮像素子を測距センサ、測光センサとして使用することとなる。このように撮像素子は、ファインダとしてユーザに被写体像をモニタリングさせるとともに、ＡＦ、ＡＥといった撮影準備作業も並行して行う場合がある。

カメラには、露出を決める要素として、入射光量を調節する絞り、露光する時間を調節するシャッタが備えられている。デジタルカメラの場合、撮像素子で受光した後に撮像素子から読み出した信号レベルを増幅／減衰させるゲイン制御もある。特に、絞り機構は露出を変更するだけでなく、絞り径により被写界深度が変わることを考慮しなければならない。絞りは、絞り径が大きいほど被写界深度が浅くなり、絞り径が小さいほど被写界深度が深くなる。この光学的な現象を考慮し、ＡＦ時には絞りを開放寄りに設定して、静止画撮影時よりも深度が浅い状態でピント合わせをしておくことで、深度による静止画撮影時のピントずれを防止できることが知られている。

ＡＦ、ＡＥ機能を備えたカメラでは、ユーザが撮影を指示するためのレリーズボタンが２段階構成となっているのが一般的である。すなわち、ボタンを浅く押下することでＡＦ、ＡＥが行われて静止画撮影のためのピント合わせと露出合わせが行われ、ボタンを深く押下することで撮影が開始される仕組みとなっている。以後、このような２段階構成においてレリーズボタンを浅く押下することをＳＷ１動作、深く押下することをＳＷ２動作と呼ぶ。

ＳＷ１動作においてＡＦを行う際、前述のように絞りを開放寄りに制御する。ＡＦ完了後は、静止画撮影で使用する絞り径に予め制御しておくことで、ＳＷ２押下後に絞り駆動する必要がなくなり、レリーズタイムラグの短縮に効果がある。このように、絞りはメカ機構であるため駆動にはある程度の時間がかかることを前提とし、それを考慮した提案がなされている（下記特許文献１参照）。

さらに、絞り制御にはある程度の時間がかかることから、前述のようにファインダ用途としてユーザが被写体像をモニタリングしている最中に絞りを駆動すると、絞りが動く途中の劣化画像が画像表示装置に出力されてしまうという問題があった。これを防ぐために絞り駆動中には画像表示装置の画像更新を行わず、絞り駆動前の画像を表示するようにした提案がなされている（下記特許文献２参照）。しかしこの提案の装置では画像更新が一旦停止したように見えるため、被写体の動きをとらえるファインダとしての用途には適していない。

また、絞りを制御する際の画質劣化をファインダに見せないように、あるいは動画に記録されないように、条件によっては絞りを動かさなくするという提案もなされている（下記特許文献３参照）。しかしこの提案の装置では、絞りを動かさないようにすることで被写体輝度への追従範囲が狭くなり、ＡＥ性能が低下してしまうという問題があった。

また、絞り駆動時間が重なる電荷蓄積の時間を、逐次に行なわれる撮像素子の電荷蓄積における電荷蓄積量の変動を抑制するように補正するようにした提案がなされている。（下記特許文献４参照）。しかしこの提案の装置では、レンズ交換が可能なシステムではレンズ毎に最適な駆動タイミングで制御することができず、電荷蓄積量の変動を抑制するように補正することは困難である。

特許第０３８１７５６３号公報 特開２００６−３５２９０５号公報 特開平１１−１１２８６５号公報 特開２００８−２７１４１２公報

上述のように、静止画撮影用の撮像素子を、ファインダ、ＡＦ、ＡＥ、動画撮影等、様々な単独用途または複合用途に利用し、且つ、それぞれの用途における要件に応じて絞りを駆動していくことで、レスポンス良く良好な撮影画像が得られる。しかしカメラ使用者が、ファインダ用途や動画記録用途として被写体像を捕らえている最中に、絞り駆動による画質劣化が発生してしまう場合があり、電子ファインダ性能や動画記録画像画質を大きく損なってしまうという問題があった。

具体的に、レンズ交換が可能な撮像装置において、画角毎に開放Ｆ値が異なるレンズが装着された場合の問題を例示して以下に説明する。

図４に、一般的な動画撮像時の露出制御用のプログラム線図の例を示す。画角に応じて絞り値を開放Ｆ値まで設定可能である。図４において、上側の横軸と左側の縦軸は被写体輝度ＥＶ、下側の横軸は電荷蓄積時間ＴＶ及びＩＳＯ感度（Ｇａｉｎ：信号レベルを増幅させるゲイン）を示す。右側の縦軸は絞りの絞り値ＡＶを示す。ＥＶ値が大きいほど、同図のより右側の斜線が対応している。絞り値ＡＶは、上側ほど小絞り側（入射光量が減少する方向）で、下側ほど開放側（入射光量が増加する方向）である。

電荷蓄積時間ＴＶはシャッタ速度に相当し、同図の右側ほど短い。電荷蓄積時間ＴＶの数値の逆数がシャッタ速度である（６０なら１／６０秒、３０なら１／３０秒）。以下、主に逆数で呼称する。電荷蓄積時間ＴＶが１／３０秒より短い（数値が３０より大きい）領域では、ＩＳＯ値は１００で一定である。フレームレート３０ＦＰＳ（フレーム／秒）の動画撮像においては、ＴＶ値としては１／３０秒より長いシャッタ速度を使用することができないため、最も遅い速度を１／３０秒としている。従って、それよりも左側においては、シャッタ速度が１／３０秒で一定で、ＩＳＯ値だけが大きくなっていく。同図におけるＩＳＯ値の数値は、ＩＳＯ値１００に対する乗数で、例えば、×２、×４がＩＳＯ値＝２００、４００を意味する。下側の横軸については、ＴＶ値またはＩＳＯ値のいずれかが変化するので、「ＴＶ値・ＩＳＯ値」と記す。

このプログラム線図を参照し、ＥＶ値の斜線と線図との交点からＡＶ値及びＴＶ値・ＩＳＯ値が求められる。また、ヒステリシスが設けられ、ＥＶ値が小さくなる方向のときには、点線で示す線との交点からＡＶ値及びＴＶ値・ＩＳＯ値が求められる。

ここで、例えば、画角（焦点距離）毎に開放Ｆ値が異なるレンズ＝画角（焦点距離）が「１８−２００ｍｍ」、開放Ｆ値が「Ｆ３．５−５．６」であるレンズが装着されたとする。そして、夜等の暗いシーンにおいて、画角、すなわちズーム焦点距離を、１８ｍｍから２００ｍｍに動かし、顔を徐々にアップにしていく動画撮影の状況を考える。

画角１８ｍｍでは開放Ｆ値は３．５、画角１００ｍｍでは開放Ｆ値は４．５、画角２００ｍｍでは開放Ｆ値は５．６である。画角に応じて、明るい側で設定可能な限界絞り値は開放Ｆ値である。そのため、露出制御においては、実際には、画角１８ｍｍ、１００ｍｍ、２００ｍｍに対応して、図５（ａ）、（ｂ）、（ｃ）に示すプログラム線図が生成され、使用される。

図４において、プログラム線図の一部である水平な直線Ｌ１、Ｌ２、Ｌ３は、それぞれ画角１８ｍｍ、１００ｍｍ、２００ｍｍに対応する開放Ｆ値に設定された絞り値ＡＶ上に描かれた直線である。直線Ｌ１、Ｌ２、Ｌ３を有するプログラム線図を別々に示したのが図５（ａ）、（ｂ）、（ｃ）である。ＥＶ値がＥＶ９より小さい範囲では、各画角における開放絞りを用いるが、ＥＶ値がＥＶ９より大きい範囲では、手振れを考慮しないとすれば、いずれのプログラム線図も共通となる。なお、ここでは３つの直線Ｌ１、Ｌ２、Ｌ３だけを例示するが、画角１８ｍｍ〜２００ｍｍの範囲では開放Ｆ値が３より多い段階（例えば、１２段階）で変化する。

ここで例えば、被写体輝度ＥＶがＥＶ３で、画角１８ｍｍから２００ｍｍにズーム環を動かした場合、各画角で開放Ｆ値を使用し、露出を一定に動作させるために絞り値がＦ３．５〜Ｆ５．６に変化する。それに伴い、ＩＳＯ値乃至ＴＶ値も変化する。すなわち、図４に示すように、ＥＶ３の斜線と線図との交点は、画角１８ｍｍ（直線Ｌ１）、１００ｍｍ（直線Ｌ２）、２００ｍｍ（直線Ｌ３）に対してそれぞれ交点Ｐ１、Ｐ２、Ｐ３である。従って、画角１８ｍｍでは、絞り値ＡＶ＝３．５、ＴＶ値＝１／３０、ＩＳＯ値＝２４００となる（図２（ａ）参照）。画角１００ｍｍでは、絞り値ＡＶ＝４．５、ＴＶ値＝１／３０、ＩＳＯ値＝４８００となる（図２（ｂ）参照）。画角２００ｍｍでは、絞り値ＡＶ＝５．６、ＴＶ値＝１／３０、ＩＳＯ値＝６４００となる（図２（ｃ）参照）。

このように絞り値ＡＶが変化するにつれてＩＳＯ値も変化する。しかし、高ＩＳＯ時のノイズ変化量は顕著であり、図２（ａ）に比べ、図２（ｃ）の画像で画質の劣化が激しい。すなわち、画角により開放Ｆ値が異なるレンズを使用した場合、画角変動に伴いノイズ量が異なり、画質が安定しないという問題が発生する。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、動画撮像に際し、画角変動に伴う絞り値の変化に起因する画質劣化を抑制することにある。

上記目的を達成するために本発明の撮像装置は、動画撮像が可能な撮像装置において、前記撮像装置の装置本体に装着されているレンズの開放Ｆ値の情報を取得する取得手段と、撮像素子により得られる画像情報から被写体輝度を算出する算出手段と、前記算出手段により算出された被写体輝度に基づいて、前記撮像素子への入射光量を調節する絞り値、前記撮像素子の電荷蓄積時間及びＩＳＯ値を設定して露出を制御する制御手段とを有し、前記制御手段は、動画撮像に際し、画角によって開放Ｆ値が変化するレンズが装着されている場合には、前記取得手段により取得された開放Ｆ値の情報を参照し、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を、明るい側の限界絞り値として、前記絞り値を設定するよう制御することを特徴とする。

本発明によれば、動画撮像に際し、画角変動に伴う絞り値の変化に起因する画質劣化を抑制することができる。

本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。 画角に応じた露出制御の例を示す図である。 レンズ情報テーブルを示す図である。 動画撮像時の露出制御用のプログラム線図である。 生成されるプログラム線図である。 生成されるプログラム線図の他の例である。 動画記録の準備処理のフローチャートである。 動画記録処理のフローチャートである。 第２の実施の形態における動画記録処理のフローチャートである。 画像フリーズの判定処理のフローチャートである。 パターン認識処理のフローチャートである。 パターン認識処理の説明図（図（ａ））、画像上の画素数で示される顔のサイズと目の間隔との統計的関係の一例を示す図（図（ｂ）、（ｃ））である。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。本撮像装置は、動画撮像が可能なデジタルカメラとして構成される。特に、デジタル一眼レフカメラ等の、レンズ交換が可能なデジタルカメラとする。

図１において、１００は、画像処理装置であり、本撮像装置の装置本体でもある。画像処理装置１００は、撮影レンズ１１、絞り及びシャッタを含む露光制御機構１２、光学像を電気信号に変換するＣＣＤ等の撮像素子１４、撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器１６を備える。

システム制御回路５０は、画像処理装置１００全体を制御し、後述する処理における、制御手段、取得手段、更新手段、演算手段、把握手段、判定手段、算出手段として機能する。

また、画像処理装置１００において、タイミング発生回路１８が、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給する。画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、システム制御回路５０が、露光制御回路４０、測距制御回路４２に対して制御を行う。すなわち、システム制御回路５０は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。システム制御回路５０は、画像処理回路２０を制御して、撮像素子１４から得られた画像情報から被写体輝度ＥＶを算出する。

顔検出部５８は、画像処理回路２０からのデータ或いはメモリ制御回路２２からのデータに対して所定の顔検出処理を行う。顔検出部５８では、画像に顔が存在するかどうかを検出するもので、これについては既に多くの手法が顔認識技術として実現されている。例えば、撮影画像の肌色データに基づいて人の顔を抽出する方法や人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定するという方法などがあり、本実施の形態では、顔検出方法について、どのような手法を採用しても構わない。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２、移動量検出部５９を制御する。Ａ／Ｄ変換器１６のデータが、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータがメモリ制御回路２２を介して直接、画像表示メモリ２４またはメモリ３０に書き込まれる。画像表示部２８は、ＴＦＴ−ＬＣＤ等からなる表示装置であり、画像表示メモリ２４に書き込まれた表示用の画像データが、Ｄ／Ａ変換器２６を介して画像表示部２８に表示される。画像表示部２８を用いて、撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。

メモリ３０は、撮影した静止画像や動画像を格納するための保存手段としてのメモリであり、多数の静止画像や長時間の動画像を格納するのに十分な記憶量を備えている。複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長し、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。露光制御回路４０は、絞り及びシャッタを含む露光制御機構１２を制御する。露光制御回路４０は、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。測距制御回路４２は、撮影レンズ１１のフォーカシングを制御する、ズーム制御回路４４は、撮影レンズ１１のズーミングを制御する。

装置本体には光学ファインダ１０４が設けられていて、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影する画像を確認することが可能である。

フラッシュ４８は、ＡＦ補助光の投光機能及びフラッシュ調光機能を有する。露光制御回路４０、測距制御回路４２は、ＴＴＬ方式を用いて制御されている。撮像した画像データと画像処理回路２０によって演算した演算結果とに基づき、システム制御回路５０が露光制御回路４０、測距制御回路４２に対して制御を行う。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する記憶手段として機能するメモリである。

レンズ情報取得部４１は、システム制御回路５０の制御に従って、装置本体に装着された撮影レンズ１１のレンズＩＤを取得し、メモリ５２に記憶させる。不揮発性メモリ５６には、図３に示すようなレンズ情報テーブルが予め格納されている。図３に示すレンズ情報テーブルは、レンズＩＤに対して、ワイド端、テレ端における焦点距離及び開放Ｆ値が対応付けられたテーブルである。このテーブルを参照することで、レンズＩＤがわかれば、画角によって開放Ｆ値がどのように変換し得るのかがわかる。そして、レンズ情報取得部４１は、レンズ情報テーブル（図３）から、取得したレンズＩＤに対応する画角毎の焦点距離及び開放Ｆ値の情報を取得して、メモリ５２に記憶させる。

レンズ情報取得部４１はまた、レンズＩＤが取得できない場合でも、装着された撮影レンズ１１から直接に開放Ｆ値の情報を取得することができる。この開放Ｆ値の情報もメモリ５２に記憶される。レンズ情報取得部４１は、装置本体に新たに撮影レンズ１１が装着される度にレンズＩＤまたは開放Ｆ値の情報を取得し、最新の開放Ｆ値の情報をメモリ５２に記憶させる。レンズＩＤを取得した場合は、レンズ情報テーブル（図３）を参照して把握した開放Ｆ値の情報を記憶させる。従って、メモリ５２に記憶保持される開放Ｆ値の情報の内容は、常に現在装着されている撮影レンズ１１のものに更新されている。撮影レンズ１１が一旦装着され、その後レンズ交換がない場合は、レンズ情報取得部４１は、現在の撮影レンズ１１の開放Ｆ値の情報を、撮影レンズ１１から取得するのではなく、メモリ５２に記憶されている情報から取得する。

開放Ｆ値判定部４５は、システム制御回路５０による制御に従って、レンズ情報取得部４１によって得られたレンズ情報を基に、画角毎の開放Ｆ値が異なるかどうかを判定する。絞り駆動中判定部４９は、露光制御回路４０によって現在絞り駆動中であるかどうかを判定する。画角変動量算出部４３はズーム制御回路４４、レンズ情報取得部４１によって得られたレンズ情報により、フレーム間の画角変動量を算出する。これらの判定、算出は、いずれもシステム制御回路５０による制御に従って行われる。

プログラム線図生成部４７は、システム制御回路５０の制御に従って、装着される撮影レンズ１１やシーンモードに変化があった場合に、それに応じたプログラム線図を生成する。移動量検出部５９は、顔検出部５８によって得られた情報を基に被写体の移動量を算出する。画像更新判定部５５は、移動量検出部５９により算出された被写体の移動量、画角変動量算出部４３により算出されたフレーム間の画角変動量、及び露光制御回路４０による絞り変動量に応じて、表示画像を更新するか否かを判定する（図１０）。

表示部５４は、例えばＬＣＤ、ＬＥＤ、発音素子等の組み合わせにより構成され、表示装置とスピーカ等を含む。表示部５４は、ＩＳＯ値の閾値の入力を受け付ける受け付け手段として機能する操作部７０の近辺の視認し易い位置に単数或いは複数個所設置されている。表示部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する。表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

符号６０、６２、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。これらの操作部は具体的な次のようなものである。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード（静止画撮像モード、動画撮像モード）、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。シャッタスイッチ６２は、浅く押下するＳＷ１動作がされることで、不図示のシャッタボタンの操作途中でオンとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始が指示される。シャッタスイッチ６２はまた、深く押下するＳＷ２動作がされることで、不図示のシャッタボタンが操作完了してオンとなり、一連の記録処理の動作開始が指示される。この一連の記録処理には、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が含まれる。さらには、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００、２１０に画像データを書き込む記録処理が含まれる。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。この機能を用いれば、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影した画像データを撮影直後に自動再生するクイックレビュー機能を設定する。本実施の形態では特に、画像表示部２８をオフとした場合におけるクイックレビューの設定をする機能を備えるものとする。

操作部７０は、各種ボタンやタッチパネル等からなる。例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを有する。さらには、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等を有する。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源部８６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなり、コネクタ８２とコネクタ８４との連結によって、電源制御部８０に接続される。

記録媒体２００、２１０は、メモリカードやハードディスク等で構成される。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース（Ｉ／Ｆ）２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

インタフェース９０及びインタフェース９４は、メモリカードやハードディスク等の記録媒体２００、２１０とのインタフェースである。コネクタ９２及びコネクタ９６は、記録媒体２００、２１０と接続を行うためのコネクタである。記録媒体着脱検知部９８は、コネクタ９２、９６にそれぞれ記録媒体２００、２１０が装着されているか否かを検知する。

本実施の形態では、記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとしたが、これらは単数または複数のいずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ（アンテナ）１１２は、通信部１１０により画像処理装置１００を他の機器と接続するコネクタであり、無線通信の場合はアンテナである。

ところで、不揮発性メモリ５６には、プログラム線図が格納されている。格納されるプログラム線図としては、そのまま用いられるものだけでなく、生成の際にベースとなるものも含まれる。例えば、上述した図４に示すプログラム線図については、ＥＶ値がＥＶ９より小さい領域において、プログラム線図の一部である水平な直線（Ｌ１、Ｌ２、Ｌ３等）のうちどの直線が選択されるかはプログラム線図の生成時に定まる。実際に生成されたプログラム線図の例の一部が図５（ａ）、（ｂ）、（ｃ）に示すものである。絞り値ＡＶは、撮像素子１４への入射光量を調節する絞り値である。

図４（ａ）では、３種類の直線Ｌ１、Ｌ２、Ｌ３を例示したプログラム線図を示している。しかし、撮影レンズ１１の画角が可変な範囲における開放Ｆ値の可変段階（例えば、１２段階）と同じ数だけ、各画角に対応する直線を有したプログラム線図を個々に設け、それらを不揮発性メモリ５６に予め格納しておいてもよい。すなわち、図５（ａ）、（ｂ）、（ｃ）に示すような異なるプログラム線図の各々を格納しておき、「プログラム線図の生成」に代えて「プログラム線図の選択」という処理形態をとってもよい。ただし、以降の呼称としては区別せずに「生成」とする。生成したプログラム線図はメモリ５２に記憶される。

上述したように、画角（焦点距離）毎に開放Ｆ値が異なり、画角が「１８−２００ｍｍ」、開放Ｆ値が「Ｆ３．５−５．６」である撮影レンズ１１が装着され、画角が１８ｍｍから２００ｍｍに変化する動画撮影の状況を考える。そして、画角に応じたプログラム線図が生成され、画角１８ｍｍ、１００ｍｍ、２００ｍｍに対応して、図５（ａ）、（ｂ）、（ｃ）に示すプログラム線図が生成されるとする。すると、上述したように絞り値ＡＶが変化するにつれてＩＳＯ値（ＩＳＯ感度）も変化し、高ＩＳＯ時のノイズ変化量が顕著なことから、図２（ａ）よりも図２（ｂ）、図２（ｂ）よりも図２（ｃ）の方が画質の劣化が大きくなる。

また、同じ撮影レンズ１１において、図２（ｇ）、（ｈ）に示すように、画角９８ｍｍでは開放Ｆ値が４．０、画角１００ｍｍでは開放Ｆ値が４．５である。画角に応じて、明るい側で設定可能な限界絞り値が開放Ｆ値だからである。

ここで例えば、被写体輝度ＥＶがＥＶ３で、画角が９８ｍｍとなると、開放Ｆ値が４．０であるから、ＥＶ３の斜線と線図との交点は図４に示す交点Ｐ４となる。従って、画角９８ｍｍでは、絞り値ＡＶ＝４．０、ＴＶ値＝１／３０、ＩＳＯ値＝３２００となる。画角１００ｍｍでは、絞り値ＡＶ＝４．５、ＴＶ値＝１／３０、ＩＳＯ値＝４８００である。９８ｍｍと１００ｍｍの画角を行ったり来たりするような撮影を行った場合、ＩＳＯ値が３２００と４８００とで切り替わり、絞り値ＡＶはＦ４．０とＦ４．５とで切り替わる（図２（ｇ）、（ｈ）参照）。従って、わずか焦点距離２ｍｍの違いだけでも、ノイズ量や被写界深度が大きく異なってしまう。

そこで、本実施の形態では、画角によって開放Ｆ値が異なる撮影レンズ１１が装着された場合は、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を、明るい側の限界絞り値として絞り値ＡＶが設定されたプログラム線図を生成し、それを露出制御に用いる。具体的には、上記例示した画角によって開放Ｆ値が異なる撮影レンズ１１が装着された場合は、画角変動による絞り変化が発生しないように、それぞれの開放Ｆ値に依存しない図５（ｃ）に示すプログラム線図を生成する。以降、このような、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を、明るい側の限界絞り値として絞り値ＡＶが設定されたプログラム線図を「暗側設定プログラム線図」とも呼称する。

図５（ｃ）のプログラム線図によれば、被写体輝度ＥＶがＥＶ１２以下の範囲では、絞り開放をＦ５．６に制限する制御となる。すなわち、明るい側の限界絞り値を、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値であるＦ５．６とする。例えば、被写体輝度ＥＶがＥＶ３にて１８ｍｍから２００ｍｍズーム環を動かした場合、画角１８ｍｍでの開放Ｆ値はＦ３．５、画角１００ｍｍでの開放Ｆ値はＦ４．５、画角２００ｍｍでの開放Ｆ値はＦ５．６である。

例えばＥＶ３、絞り値ＡＶ＝Ｆ５．６にて画角を変えながら動画撮影を行い、画角変動の間に明るさ変動がないとする。この場合、図５（ｃ）のプログラム線図により、図２（ｄ）、（ｅ）、（ｆ）に示すように、画角１８ｍｍ、１００ｍｍ、２００ｍｍのいずれにおいても、絞り値ＡＶ＝５．６、ＴＶ値＝１／３０、ＩＳＯ値＝６４００で共通となる。従って、絞り値ＡＶ、ＴＶ値、ＩＳＯ値はいずれも一定となり、各画角間のノイズ変化量はなくなり、画質が安定する効果が得られる。

図６は、本実施の形態において生成されるプログラム線図の他の例である。図５（ｃ）に示すプログラム線図では、ＥＶ値がＥＶ９より小さい領域（実質的にＥＶ１２より小さい領域）において、水平な直線Ｌ３は、絞り値ＡＶ＝５．６に固定されていた。これに対し、図６のプログラム線図では、ＥＶ４＜ＥＶ値＜ＥＶ１２の領域では直線Ｌ３が絞り値ＡＶ＝５．６に固定され、ＥＶ値＜ＥＶ４の領域では絞り値ＡＶ＝３．５に固定された直線Ｌ１３となる。すなわち、ＥＶ値＝ＥＶ４を境に、直線Ｌが切り替わる。

ここで、ユーザは、ＩＳＯ値の上限設定値を設定できる。この上限設定値は操作部７０によって入力でき、メモリ５２に記憶される。ＩＳＯ値の上限設定値としては、「全体絞り上限値」、「開放以外絞り上限値（閾値）」、「開放絞り時上限値」の３種類が設定できる。「暗側設定プログラム線図」でない通常のプログラム線図の生成時には、「全体絞り上限値」が反映される。「暗側設定プログラム線図」を生成する際においては、「開放以外絞り上限値（閾値）」及び「開放絞り時上限値」が設定されているときはこれらが反映される。しかし「全体絞り上限値」のみが設定されている場合は、「全体絞り上限値」が反映される。

例えば、撮影レンズ１１の画角による開放Ｆ値が一定で、全体絞り上限値として６４００が設定されると、通常のプログラム線図が生成される。その際には、図５（ａ）〜（ｃ）に例示するような、ＩＳＯ値の最大値を規定する直線Ｌの左端が、ＩＳＯ値＝６４００に対応しているプログラム線図となる。これらの場合の直線ＬのＡＶ値の位置（上下方向の位置）は、撮影レンズ１１の開放Ｆ値に設定される。

また、画角によって開放Ｆ値が異なる撮影レンズ１１が装着されると、「暗側設定プログラム線図」が生成される。その際、全体絞り上限値のみが設定され、それが６４００に設定されていたとすると、図５（ｃ）に例示するような、直線Ｌの左端がＩＳＯ値＝６４００に対応するようなプログラム線図となる。なお、この場合の、直線ＬのＡＶ値の位置は、明るい側の限界絞り値を、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値（この例ではＦ５．６）に設定される。

また、「暗側設定プログラム線図」が生成される際、「開放以外絞り上限値（閾値）」＝３２００、「開放絞り時上限値」＝６４００に設定されていたとする。この場合は、図６に例示するような、階段状の直線Ｌを有したプログラム線図となる。この例では、直線Ｌ３の左端が開放以外絞り上限値で規定され（ＩＳＯ値＝３２００）、直線Ｌ１３の左端が開放絞り時上限値で規定される（ＩＳＯ値＝６４００）。図６のような、「開放以外絞り上限値」を境に直線Ｌが切り替わるプログラム線図においては、直線Ｌ１３のＡＶ値の位置は、明るい側の限界絞り値を、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値に設定される。

図６の例によれば、ＩＳＯ値が開放以外絞り上限値（ここでは３２００）を超えないような被写体輝度ＥＶの範囲（ＥＶ４＜ＥＶ値）では、図５（ｃ）の例と同様に、明るい側の限界絞り値ＡＶを、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値に固定する。しかし、ＩＳＯ値が開放以外絞り上限値（閾値）を超えるような被写体輝度ＥＶの範囲（ＥＶ値＜ＥＶ４）の範囲では、図４の例と同様に、画角に応じた開放Ｆ値を明るい側の限界絞り値として絞り値ＡＶを設定する。これにより、ＥＶ４未満の明るさの場合にのみ開放絞りによる撮影が可能となり、暗い環境下でも感度不足になりすぎないような撮影が可能となる。

次に、図７、図８のフローチャートを用いて、動画記録における露出制御について説明する。図７は、動画記録の準備処理のフローチャートである。図７の処理は、モードダイアルスイッチ６０によって撮影モードが動画撮像モードに設定されたとき開始される。

まず、システム制御回路５０は、装置本体に装着されている撮影レンズ１１の開放Ｆ値の情報が取得済みか否かを判別する（ステップＳ１０１）。すなわち、メモリ５２に開放Ｆ値の情報が記憶されているか否かを判別する。そして、開放Ｆ値の情報が取得済みである場合は、システム制御回路５０は、ステップＳ１０３に処理を進める。この場合、システム制御回路５０は、メモリ５２に記憶されている開放Ｆ値の情報を、現在の撮影レンズ１１のものとして取得する。

レンズ交換がされると、以前に装着されていたレンズとは開放Ｆ値が変化する場合があるが、開放Ｆ値の情報が取得済みであれば、当該情報を利用することで、不必要な処理や通信が少なくて済む。すなわち、新たなレンズ交換がない限り、メモリ５２内の記憶内容から開放Ｆ値の情報を取得できるので、処理負担が軽減される。

一方、開放Ｆ値の情報が取得済みでない場合は、システム制御回路５０は、レンズ情報取得部４１を制御し、撮影レンズ１１の画角（焦点距離）に応じた開放Ｆ値の情報を取得してから（ステップＳ１０２）、ステップＳ１０３に処理を進める。このステップＳ１０２では、上記したように、レンズ情報取得部４１が、装置本体に装着されている撮影レンズ１１のレンズＩＤまたは開放Ｆ値の情報を取得する。さらに、レンズＩＤとレンズ情報テーブル（図３）から取得した開放Ｆ値、または直接に取得した開放Ｆ値の情報をメモリ５２に記憶させる。そして、システム制御回路５０は、今回記憶された開放Ｆ値の情報を、現在の撮影レンズ１１のものとして取得する。

なお、画角毎の開放Ｆ値が取得できないカメラの場合は、ワイド端及びテレ端にズーム位置を変えて開放Ｆ値を取得し、それらをメモリ５２に記憶させてもよい。高速に処理する上で、電源オンあるいは動画記録を行う毎に本処理を行わせないために、一度取得した情報を電源オン／オフしても消滅しない記憶領域に保存し、レンズの一部情報と比較することで、開放Ｆ値の情報を取得するようにしてもよい。

次に、ステップＳ１０３では、システム制御回路５０は、ＩＳＯ値、電荷蓄積時間ＴＶ、ＡＶ値の各上限設定値の情報を取得する。ＩＳＯ値の上限設定値及びＴＶ値の上限設定値は、ユーザが任意に設定でき、メモリ５２に設定値が記憶される。これらは設定されている場合にシステム制御回路５０がメモリ５２から取得できる。また、ＡＶ値の上限設定値については、撮影レンズ１１から取得される。上述のように、ＩＳＯ値の上限設定値には、全体絞り上限値、開放以外絞り上限値（閾値）、開放絞り時上限値の３種類がある。

次に、ステップＳ１０４では、システム制御回路５０は、ステップＳ１０２で取得された画角に応じた開放Ｆ値、及びステップＳ１０３で取得されたＩＳＯ値の上限設定値から、プログラム線図生成部４７を制御してプログラム線図を生成する。さらに、システム制御回路５０は、生成したプログラム線図をメモリ５２に記憶させる。

すなわち、まず、全画角において開放Ｆ値に変化がない場合は、図４に示すものを基本としたプログラム線図（図５（ａ）〜（ｃ）に例示するものの１つ）が生成される。その際、直線ＬのＡＶ値の位置は、取得された開放Ｆ値（一定）で定まり、直線Ｌの左端位置は取得されたＩＳＯ値の上限設定値から定まる。例えば、開放Ｆ値がＦ４．５でＩＳＯ値の上限設定値が６４００であれば、図５（ｂ）に示すプログラム線図が生成される。

また、システム制御回路５０は、取得された開放Ｆ値から、撮影レンズ１１が、画角によって開放Ｆ値が異なるレンズであることがわかる場合は、「暗側設定プログラム線図」を生成する。この場合において、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値がＦ５．６で、且つ、全体絞り上限値＝６４００に設定されていたとすると、図５（ｃ）に例示するようなプログラム線図が生成される。一方、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値がＦ５．６で、且つ、ＩＳＯ値が「開放以外絞り上限値（閾値）」＝３２００、「開放絞り時上限値」＝６４００に設定されていたとすると、図６に例示するようなプログラム線図が生成される。

図８は、動画記録処理のフローチャートである。本処理は、動画撮像モード時で且つ図７の動画記録の準備処理が完了した状態において、録画記録指示があったとき開始される。録画記録指示は、例えば、不図示の専用のボタンのオンによって指示されるとするが、シャッタスイッチ６２のＳＷ２動作があることによって指示されるとしてもよい。なお、図８において、シャッタスイッチ６２のＳＷ１動作のみがオンの状態では、ステップＳ３０１の処理後、ステップＳ３０２〜Ｓ３０９を繰り返し、ＳＷ２動作がオンとなったときにステップＳ３０９からステップＳ３１０に移行するようにしてもよい。

まず、システム制御回路５０は、図７のステップＳ１０４で生成されたプログラム線図をメモリ５２から読み出す（ステップＳ３０１）。次に、システム制御回路５０は、現在の画角（焦点距離）、画角変動中か否か、絞り値ＡＶ等の、撮影レンズ１１に関する現在のレンズ情報を取得する。次に、システム制御回路５０は、上記取得した現在のレンズ情報と、撮像素子１４から得られた画像情報（被写体輝度ＥＶを含む）とから露出を算出する（ステップＳ３０３）。

ここで、露出は、露出＝ＡＶ値＋ＴＶ値−ＩＳＯ値−露出補正量（任意指定）により算出される。このうち、ＡＶ値、ＴＶ値及びＩＳＯ値は、ステップＳ３０１で読み出したプログラム線図を参照し、現在の被写体輝度ＥＶに対応する各値として求められる。また、露出補正量は、ユーザにより事前に指定された場合のみその値が適用される。

次に、システム制御回路５０は、撮影レンズ１１に対する絞り変更要求であるＡＶ値設定を行う（ステップＳ３０４）。すなわち、プログラム線図から求めたＡＶ値となるように、露光制御回路４０を制御して、絞りを制御する。次に、システム制御回路５０は、シャッタに対する変更要求であるＴＶ値設定を行う（ステップＳ３０５）。すなわち、上記で求めたＴＶ値となるように、露光制御回路４０を制御して、シャッタ速度（電荷蓄積時間）を制御する。

次に、システム制御回路５０は、上記で求めたＩＳＯ値となるようにＩＳＯ値設定を行い（ステップＳ３０６）、撮像された今回のフレーム画像をメモリ３０から読み出す（ステップＳ３０７）。次に、システム制御回路５０は、読み出した画像データに対し、ホワイトバランス、コントラスト補正、ノイズ除去等の画像補正を施す（ステップＳ３０８）。さらに、システム制御回路５０は、その画像データに対して、表示アイコン、ヒストグラム等の情報を合成し、画像表示部２８への画像表示を行う（ステップＳ３０９）。

次に、ステップＳ３１０では、システム制御回路５０は、動画記録に必要な画像を生成してファイル書き込みを行う（ステップＳ３１０）。すなわち、今回のフレーム画像を記録媒体２００、２１０に記録する。次に、システム制御回路５０は、動画記録の終了指示がなされたか否かを判別する（ステップＳ３１１）。動画記録の終了は、録画記録指示の逆の操作で指示され、例えば、不図示の専用のボタンのオフによって指示される。

その判別の結果、動画記録の終了指示がなされていない場合は、システム制御回路５０は、次のフレーム画像の読み出しのために、処理を前記ステップＳ３０２に戻す。一方、動画記録の終了指示がなされた場合は、本動画記録処理が終了する。このように、ＡＥ性能を低下させることなく、絞り駆動を減らすことで、絞り駆動の際に発生するファインダ性能及び画質劣化が抑制される。

本実施の形態によれば、動画撮像に際し、画角によって開放Ｆ値が変化するレンズが装着されている場合には、「暗側設定プログラム線図」が生成され（図５（ｃ））、それを用いて露出制御がなされる。すなわち、そのレンズで変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を明るい側の限界絞り値として絞り値を設定するよう制御される。これにより、動画撮像に際し、画角変動に伴う絞り値の変化に起因する画質劣化を抑制することができる。

また、画角によって開放Ｆ値が変化するレンズが装着され、且つ、開放以外絞り上限値（閾値）が設定された場合は、閾値を境に明るい側の限界絞り値を切り換えるような「暗側設定プログラム線図」が生成され（図６）、それを用いて露出制御がなされる。すなわち、ＩＳＯ値が閾値を超えないような被写体輝度ＥＶの範囲では、最も暗い開放Ｆ値を明るい側の限界絞り値として絞り値ＡＶを設定するよう制御される。そして、ＩＳＯ値が閾値を超えるような被写体輝度ＥＶの範囲では、画角に応じた開放Ｆ値を明るい側の限界絞り値として絞り値ＡＶを設定するよう制御される。これにより、画角変動に伴う絞り値の変化に起因する画質劣化を抑制しつつ、暗い環境下では画角に応じた開放絞り値を絞り値に設定可能にして、暗い環境下での画質の劣化を抑制することができる。

（第２の実施の形態）
本発明の第２の実施の形態では、第１の実施の形態における動画記録処理（図８）において、さらに、動体速度と絞り値ＡＶの変動量とに基づいて、画像をフリーズさせるか否かの制御を加える。従って、動画記録処理については図８に代えて図９を用い、さらに図１０〜図１２を用いて本第２の実施の形態を説明する。その他の構成や処理は第１の実施の形態と同様である。

図９は、第２の実施の形態における動画記録処理のフローチャートである。この処理の開始条件は図８と同様である。また、シャッタスイッチ６２のＳＷ１動作のみがオンの状態では、ステップＳ４０１の処理後、ステップＳ４０２〜Ｓ４１４を繰り返し、ＳＷ２動作がオンとなったときにステップＳ４１４からステップＳ４１５に移行するようにしてもよい。

まず、ステップＳ４０１、Ｓ４０２では、システム制御回路５０は、図８のステップＳ３０１、Ｓ３０２と同様の処理を実行する。次に、システム制御回路５０は、画角変動量算出部４３を制御して、前回のフレーム（前フレーム）におけるレンズ情報と今回のフレーム（現フレーム）におけるレンズ情報とを比較し、フレーム間の画角変動量を算出する（ステップＳ４０３）。例えば、フレームレート３０ＦＰＳの動画記録の際に、前フレームの画角が３５ｍｍ、現フレームの画角が４０ｍｍであれば、３３．３ｍｓの間に５ｍｍの画角変動があったことになる。

次に、システム制御回路５０は、前フレームにおける画像情報と現フレームにおける画像情報とを比較し、フレーム間の動体の変位速度を検出（算出）する（ステップＳ４０４）。例えば、移動量検出部５９を制御して、顔検出部５８の顔検出によって得られた顔の位置や大きさ情報を前フレームと現フレームとの間で比較し、その比較結果より動体の移動量を算出する。そして算出した動体の移動量と時間間隔とから動体の変位速度を算出する。顔検出方法については後述する。今回のフレームの画像は、少なくとも次のフレームの処理まで画像表示メモリ２４またはメモリ３０に保存されているとする。また、画角変動量、動体の移動量や動体の変位速度の値も、一定期間保存され蓄積されるものとする。

次に、ステップＳ４０５〜Ｓ４０８では、システム制御回路５０は、今回のフレームに関し、図８のステップＳ３０３〜Ｓ３０６と同様の処理を実行する。ステップＳ４０５で求められた今回のフレームに関する露出制御値（ＡＶ値、ＴＶ値、ＩＳＯ値）は、少なくとも次のフレームの処理までメモリ５２に保存されているとする。

次に、ステップＳ４０９では、システム制御回路５０は、絞り値変動量と動体速度とに基づいて、今回のフレームの表示に関する画像フリーズの実行可否を判定する。すなわち、表示及び記録すべきフレーム画像を、前フレームのまま固定するか、それとも今回のフレームに更新するかを判別する。画像フリーズは、前フレームのまま固定することである。このステップＳ４０９の判別は、後述する図１０の判定処理の結果によって定まる。画像フリーズ要求通知（ステップＳ５０５）がなされれば画像フリーズを実行、画像フリーズ解除通知（ステップＳ５０６）がなされれば画像フリーズを非実行と判別される。

そして、画像フリーズを実行しないことを判定した場合は、システム制御回路５０は、ステップＳ４１０に処理を移行させる。まず、システム制御回路５０は、ステップＳ４１０、Ｓ４１１では、図８のステップＳ３０７、Ｓ３０８と同様の処理を実行する。次に、ステップＳ４１３では、システム制御回路５０は、今回のフレームの画像を画像表示メモリ２４及びメモリ３０に保存する。次に、ステップＳ４１４、Ｓ４１５では、システム制御回路５０は、図８のステップＳ３０９、Ｓ３１０と同様の処理を実行する。この場合、今回のフレーム画像が、画像表示部２８に表示されると共に、記録される。

一方、画像フリーズを実行することを判定した場合は、システム制御回路５０は、既に保存されている、前回のフレームにおける画像を読み出す（ステップＳ４１１）。そして、この読み出した画像に対して、前記ステップＳ４１４、Ｓ４１５の処理を実行する。この場合は、表示及び記録される画像は更新されないままの画像となる。

図１０は、画像フリーズの判定処理のフローチャートである。この判定処理は、図９のステップＳ４０９の実行に際し開始され、システム制御回路５０による制御によって、画像更新判定部５５が判定処理を行う。

まず、システム制御回路５０は、隣接するフレーム間（前フレームと現フレームとの間）の絞り値ＡＶの変動量を演算して両者を比較し、絞り値ＡＶの変動量が所定量よりも小さいか否かを判別する（ステップＳ５０１）。前フレームの絞り値ＡＶは、メモリ５２から取得される。そして、絞り値ＡＶの変動量が所定量より小さい場合は、システム制御回路５０は、絞り駆動による画質劣化が少ないので、画像フリーズを解除するべく、画像フリーズ解除通知を行う（ステップＳ５０６）。

一方、絞り値ＡＶの変動量が所定量以上である場合は、システム制御回路５０は、動体速度が所定速度よりも速いか否かを判別する（ステップＳ５０２）。ここで、動体速度は、図９のステップＳ４０４で算出され蓄積されたフレーム間の動体の変位速度乃至移動量と、ステップＳ４０３で算出され蓄積されたフレーム間の画角変動量とに基づいて予測（把握）される。ただし、フレーム間の動体の変位速度を動体速度として採用してもよい。

その判別の結果、予測された動体速度が所定速度よりも速い場合は、画像フリーズによって動体が止まってしまうことの悪影響を回避する必要がある。そこで、システム制御回路５０は、画像フリーズを解除するべく、画像フリーズ解除通知を行う（ステップＳ５０６）。一方、予測された動体速度が所定速度よりも速くない場合は、システム制御回路５０は、現在、画像フリーズ中であるか否かを判別する（ステップＳ５０３）。すなわち、画像フリーズ要求通知が発行されている状態かどうかを判別する。

その判別の結果、画像フリーズ中でない場合は、画像フリーズによって動体が止まってしまうことの影響が小さいため、画像フリーズ要求通知を行う（ステップＳ５０５）。一方、画像フリーズ中である場合は、システム制御回路５０は、絞り駆動完了通知を受信したか否かを判別する（ステップＳ５０４）。この絞り駆動完了通知は、絞り駆動中判定部４９から供給される。

その判別の結果、システム制御回路５０は、絞り駆動完了通知を受信していない場合は、画像フリーズを行うために、画像フリーズ要求通知を行う（ステップＳ５０５）。一方、システム制御回路５０は、絞り駆動完了通知を受信した場合は、画像フリーズ解除通知を行う（ステップＳ５０６）。その後、本処理が終了する。

以下に、顔検出及び動体検出の例について説明する。

図１１は、パターン認識処理のフローチャートである。この処理は、システム制御回路５０による制御に従って、顔検出部５８によって実行される。

まず、顔検出部５８は、メモリ３０から取得した画像データを前処理し（ステップＳ６０１）、前処理された画像データから特徴的部分のパターンを抽出する（ステップＳ６０２）。そして、顔検出部５８は、抽出された特徴的部分のパターンを顔の標準パターンに基づくテンプレート５０１（図１２（ａ））に対応させ、テンプレートマッチングを行う。顔検出部５８は、このテンプレートマッチングにより認識パターンを取得し（ステップＳ６０３）、取得された認識パターンを顔検出部５８が有する顔サイズ判別部に出力する（ステップＳ６０４）。

ステップＳ６０３のテンプレートマッチングの例について、図１２（ａ）を用いてより具体的に説明する。まず、テンプレート５０１の中心点５０２を、取得した画像データ５０３のある座標点（ｉ，ｊ）に置く。そして、この中心点５０２を画像データ５０３内で走査しながら、テンプレート５０１と画像データ５０３との重なり部分の類似度を計算して、類似度が最大になる位置を決定する。顔の画像データから抽出されたパターンを、例えば目や耳等の形状を含むテンプレート５０１にマッチングさせることにより、目の位置情報や顔領域を示す座標情報（顔座標）を取得することができる。

顔の画像データの検出方法としては、これ以外にも、ニューラルネットワーク等による学習を用いる方法、物理的な形状における特徴のある部位を画像領域から抽出する方法が知られている。また、検出した顔の肌の色や目の形等の画像特徴量を統計的に解析する方法等も知られている。さらに、実用化が検討されている方法としては、ウェーブレット変換と画像特徴量を利用する方法等がある。

ここで、パターン認識とは、抽出されたパターンを予め定められた概念（クラス）の１つに対応（マッチング）させる処理である。また、テンプレートマッチングとは、型紙を意味するテンプレートを画像上で移動させながら、画像とテンプレートとを比較する方法である。これらの方法は、例えば、対象物体の位置検出、運動物体の追跡及び撮影時期の異なる画像の位置合わせ等に利用することができ、特に、目と鼻といった物理的形状を画像領域から抽出するといった顔の情報の検出に有用な方法である。

顔検出部５８の顔サイズ判別部は、検出された顔の情報から顔領域における画素数をカウントし、この画素数に基づき顔のサイズを判別する。顔領域は、例えば、顔として検出された領域を示す座標情報で表すことができる。これに限らず、顔サイズ判別部は、検出された顔の情報のうち目の位置情報に基づき顔のサイズを判別するようにしてもよい。例えば、目の位置情報に基づき画像データ上の目の間隔を算出し、予め求めておいた目の間隔と顔のサイズとの統計的関係を用いてテーブル化し、顔のサイズを判別することが考えられる。また、検出された顔の所定位置、例えば四隅の座標値から顔領域における画素数をカウントすることにより、顔のサイズを判別してもよい。

顔検出部５８は、判別された顔サイズに基づき、画像処理装置１００から被写体までの被写体距離を推定する。より具体的には、判別された顔のサイズに基づき、顔のサイズと被写体距離との関係から予め作成された、所定の焦点距離のレンズにおける変換テーブルを参照して、被写体距離を推定する。

図１２（ｂ）は、画像上の画素数で表される顔のサイズと被写体距離との関係の一例を示す。この図１２（ｂ）に示される関係に基づくテーブルを、レンズ焦点距離が３８ｍｍの広角レンズについて作成し、被写体距離を推定する。レンズ焦点距離が３８ｍｍと異なる場合には、判別された顔のサイズに対して「３８ｍｍ／実際のレンズ焦点距離（ｍｍ）」を乗じた値を用いて、上述の変換テーブルを参照する。

これに限らず、図１２（ｃ）に例示されるように、顔のサイズの代わりに、検出された顔領域の画像に占める割合と被写体距離との関係をテーブル化して用いてもよい。

撮像素子１４の大きさ自体や使用領域により被写体距離が変わるので、そのモードに応じて、推定被写体距離を算出するための変換テーブルを再生成したり、予め複数の変換テーブルを記憶しておいたりしても良い。

本第２の実施の形態によれば、動画撮像に際し、画角変動に伴う絞り値の変化に起因する画質劣化を抑制することに関し、第１の実施の形態と同様の効果を奏することができる。それだけでなく、絞り値変動量が大きく動体速度が遅い場合に限り画像フリーズさせるので、動きのある動画の表示、記録を妨げずに、動きの小さい動画の表示、記録時の画質劣化を抑制することができる。

なお、上記各実施の形態では、生成され得る「暗側設定プログラム線図」として、図６のような階段状の直線Ｌを有したプログラム線図も設けた。しかし、ＩＳＯ値の上限設定値として「全体絞り上限値」のみの入力が受け付けられるように構成し、図６の例を廃止してもよい。その場合、画角によって開放Ｆ値が異なる撮影レンズ１１が装着されたときは、図５（ａ）〜（ｃ）に示すような、直線Ｌが一直線のプログラム線図が生成される。

なお、露出制御は、プログラム線図を用いた露出制御に限られない。すなわち、動画撮像に際し、画角によって開放Ｆ値が変化するレンズが装着されている場合には、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を明るい側の限界絞り値として絞り値ＡＶを設定するよう制御できればよい。

なお、生成されるプログラム線図（図４〜図６）において、下側の横軸は電荷蓄積時間ＴＶとＩＳＯ感度とが途中で切り替わり、ＴＶ＝１／３０を境にＴＶ値またはＩＳＯ値のいずれか一方のみが変化する態様であった。しかし、電荷蓄積時間ＴＶとＩＳＯ感度の双方が変化する重複領域を設けたプログラム線図を生成可能にしてもよい。

また、上記各実施の形態では、撮影レンズの交換が可能なデジタルカメラの説明を行ったが、画角によって開放Ｆ値が変化する撮影レンズを内蔵したデジタルカメラにも本発明を適用できる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１ 撮影レンズ
１４ 撮像素子
２８ 画像表示部
３０、５２ メモリ
４１ レンズ情報取得部
５０ システム制御回路
７０ 操作部
１００ 画像処理装置

Claims (7)

1. 動画撮像が可能な撮像装置において、
   前記撮像装置の装置本体に装着されているレンズの開放Ｆ値の情報を取得する取得手段と、
   撮像素子により得られる画像情報から被写体輝度を算出する算出手段と、
   前記算出手段により算出された被写体輝度に基づいて、前記撮像素子への入射光量を調節する絞り値、前記撮像素子の電荷蓄積時間及びＩＳＯ値を設定して露出を制御する制御手段とを有し、
   前記制御手段は、動画撮像に際し、画角によって開放Ｆ値が変化するレンズが装着されている場合には、前記取得手段により取得された開放Ｆ値の情報を参照し、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を、明るい側の限界絞り値として、前記絞り値を設定するよう制御することを特徴とする撮像装置。
2. ＩＳＯ値の閾値の入力を受け付ける受け付け手段を有し、前記制御手段は、画角によって開放Ｆ値が変化するレンズが装着され、且つ、前記受け付け手段によりＩＳＯ値の前記閾値が受け付けられた場合は、設定されるＩＳＯ値が前記閾値を超えないような被写体輝度の範囲では、前記最も暗い開放Ｆ値を明るい側の限界絞り値として前記絞り値を設定すると共に、設定されるＩＳＯ値が前記閾値を超えるような被写体輝度の範囲では、画角に応じた開放Ｆ値を明るい側の限界絞り値として前記絞り値を設定するよう制御することを特徴とする請求項１記載の撮像装置。
3. 前記開放Ｆ値の情報を記憶する記憶手段と、前記装置本体に新たなレンズが装着される度に、前記記憶手段に記憶される開放Ｆ値の情報を、前記新たなレンズの開放Ｆ値の情報に更新する更新手段とを有し、前記取得手段は、前記記憶手段に記憶されている開放Ｆ値の情報を参照することで、現在、前記装置本体に装着されているレンズの開放Ｆ値の情報を取得することを特徴とする請求項１または２記載の撮像装置。
4. 前記制御手段は、画角によって開放Ｆ値が変化するレンズが装着された場合は、前記最も暗い開放Ｆ値が明るい側の限界絞り値として設定されたプログラム線図を生成し、該生成したプログラム線図を用いて、前記絞り値、前記電荷蓄積時間及び前記ＩＳＯ値を設定するよう制御することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 動画撮像において前回のフレームについて前記制御手段により設定された絞り値と今回のフレームについて前記制御手段により設定された絞り値とから隣接するフレームの間の絞り値の変動量を演算する演算手段と、前記前回のフレームにおける画像を保存する保存手段と、被写体における動体速度を把握する把握手段と、前記演算手段により演算された前記絞り値の変動量と前記把握手段により把握された前記動体速度とに基づいて、前記今回のフレームの表示に関する画像フリーズの実行可否を判定する判定手段とを有し、前記制御手段は、前記判定手段により画像フリーズを実行しないことが判定された場合は、前記今回のフレームにおける画像を表示装置に表示させると共に、前記判定手段により画像フリーズを実行することが判定された場合は、前記保存手段に保存された前記前回のフレームにおける画像を前記表示装置に表示させるよう制御することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 動画撮像が可能な撮像装置における露出制御方法において、
   前記撮像装置の装置本体に装着されているレンズの開放Ｆ値の情報を取得する取得工程と、
   撮像素子により得られる画像情報から被写体輝度を算出する算出工程と、
   前記算出工程により算出された被写体輝度に基づいて、前記撮像素子への入射光量を調節する絞り値、前記撮像素子の電荷蓄積時間及びＩＳＯ値を設定して露出を制御する制御工程とを有し、
   前記制御工程は、動画撮像に際し、画角によって開放Ｆ値が変化するレンズが装着されている場合には、前記取得工程により取得された開放Ｆ値の情報を参照し、変化し得る開放Ｆ値のうち最も暗い開放Ｆ値を、明るい側の限界絞り値として、前記絞り値を設定するよう制御することを特徴とする撮像装置における露出制御方法。
7. 請求項６記載の撮像装置における露出制御方法をコンピュータに実行させることを特徴とするプログラム。

Images