JP2008092299A - 電子カメラ - Google Patents

Abstract

【課題】 失敗画像の撮影時にいかなる失敗画像を撮影したのかをユーザーが迅速に確認できる手段を提供する。
【解決手段】 電子カメラは、撮像部（１２）と、画像判定部（１６）と、表示部（１９）とを備える。撮像部は、被写体像を撮影して撮影画像のデータを生成する。画像判定部は、撮影画像が失敗画像であるか否かを判定する。表示部は、画像判定部が失敗画像であると判定した場合に、失敗箇所を含む失敗画像の部分領域を拡大表示する。
【選択図】 図１

Description

本発明は、失敗画像の撮影をユーザーに通知する機能を有する電子カメラに関する。

従来から特許文献１に示すように、失敗画像の撮影時にユーザーに対して音声などで通知を行い、再撮影を促す電子カメラが公知である。
特開２００４−１２０２５６号公報

しかし、上記の特許文献１では、ユーザーはいかなる失敗画像を撮影したのかを迅速に確認することができなかった。そのため、ユーザーは再撮影のときにどのようにすれば適切な撮影を行えるかを迅速に判断できず、前回と同じ失敗画像を繰り返して撮影するおそれもある点でなお改善の余地があった。
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、失敗画像の撮影時にいかなる失敗画像を撮影したのかをユーザーが迅速に確認できる手段を提供することである。

第１の発明の電子カメラは、撮像部と、画像判定部と、表示部とを備える。撮像部は、被写体像を撮影して撮影画像のデータを生成する。画像判定部は、撮影画像が失敗画像であるか否かを判定する。表示部は、画像判定部が失敗画像であると判定した場合に、失敗箇所を含む失敗画像の部分領域を拡大表示する。
第２の発明は、第１の発明において、画像判定部は、撮影画像のデータに対して画像解析を実行し、画像解析で失敗箇所を検出した場合に撮影画像を失敗画像と判定する。

第３の発明は、第２の発明において、画像判定部は、撮影画像を複数の小領域に分割して画像解析を実行する。また、表示部は、失敗箇所が検出された小領域の画像を拡大表示する。
第４の発明は、第１から第３のいずれかの発明において、失敗画像は、手ブレ、被写体ブレ、赤目状態、目つぶり状態のいずれかに起因する撮影失敗を含むものである。

第５の発明は、第１から第４のいずれかの発明において、画像判定部が失敗画像であると判定した場合に、失敗画像であることを示す識別データを撮影画像のデータに対応付けする識別データ生成部を、電子カメラがさらに備える。
第６の発明は、第５の発明において、識別データ生成部は、撮影失敗の種類を示す失敗種別データを識別データにさらに含める。

本発明では、失敗画像を撮影したときに判定の根拠となった失敗箇所が表示部に拡大表示され、ユーザーはいかなる失敗画像を撮影したのかを迅速に確認できる。

図１は本実施形態の電子カメラの構成を示すブロック図である。なお、本実施形態では、失敗画像の一例として、手ブレの失敗画像を検出する例を説明する。また、本発明は、ＣＣＤやＣＭＯＳといった固体撮像素子を有する電子カメラに適用でき、ムービーカメラの静止画撮影にも適用することができる。
電子カメラは、撮影レンズ１１と、撮像素子１２と、アナログ処理部１３と、バッファメモリ１４と、画像処理部１５と、画像判定部１６と、記録Ｉ／Ｆ１７と、レリーズ釦１８と、モニタ１９と、ＣＰＵ２０およびバス２１とを有している。なお、バッファメモリ１４、画像処理部１５、画像判定部１６、記録Ｉ／Ｆ１７、モニタ１９およびＣＰＵ２０は、バス２１を介してそれぞれ接続されている。

撮影レンズ１１は、撮影倍率を変更するズームレンズや、合焦位置調節用のフォーカシングレンズなどの複数のレンズ群で構成されている。この撮影レンズ１１は、レンズ駆動部（不図示）によって光軸方向の位置を調整可能に構成されている。なお、図１では撮影レンズ１１を１枚のレンズで便宜上図示する。
撮像素子１２は、撮影レンズ１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。ここで、電子カメラの撮影モードでは、撮像素子１２はレリーズ時に記録用画像（本画像）を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、モニタ１９での画像表示や、ＣＰＵ２０による各種の演算処理などに使用される。

アナログ処理部１３は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを有するアナログフロントエンド回路である。ＣＤＳ回路は、相関二重サンプリングによって撮像素子の出力のノイズ成分を低減する。ゲイン回路は入力信号の利得を増幅して出力する。このゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。Ａ／Ｄ変換回路は撮像素子の出力信号のＡ／Ｄ変換を行う。このＡ／Ｄ変換回路の出力はバッファメモリ１４に接続されている。なお、図１では、アナログ処理部１３における個々の回路の図示は省略する。

バッファメモリ１４は、画像処理部１５による画像処理や画像判定部１６による画像解析の前後で撮影画像のデータを一時的に記録する。
画像処理部１５は、上記の撮影モードにおいてレリーズ時のデジタル画像信号に各種の画像処理を施して本画像のデータを生成する。また、画像処理部１５は、ＣＰＵ２０の指示によりスルー画像や本画像のデータからモニタ１９の表示用画像を生成する。また、画像処理部１５は、本画像のデータの圧縮伸長処理を実行することもできる。

画像判定部１６は、本画像のデータに対して画像解析を実行し、撮影画像が失敗画像であるか否かを判定する失敗画像判定処理を実行する。
記録Ｉ／Ｆ１７には記録媒体２２を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記録媒体２２に対してデータの書き込み／読み込みを実行する。上記の記録媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体２２の一例としてメモリカードを図示する。

レリーズ釦１８は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮影時の露光開始の指示入力とをユーザーから受け付ける。なお、レリーズ釦１８の出力はＣＰＵ２０に接続されている。
モニタ１９は、ＣＰＵ２０の指示に応じて各種画像を表示する。本実施形態でのモニタ１９は液晶モニタで構成されている。このモニタ１９には、撮影モードでの撮影待機時にスルー画像が動画表示される。また、画像判定部１６が撮影失敗と判定した場合、モニタ１９には判定の根拠となった失敗箇所を含む撮影画像の部分領域が拡大表示される。なお、モニタ１９には、ＧＵＩ(Graphical User Interface)形式で各種の設定項目の入力が可能なメニュー画面や、本画像の再生表示画面などを表示することもできる。

ＣＰＵ２０は、電子カメラの各部の統括的な制御を行うプロセッサである。このＣＰＵ２０は、スルー画像のデータに基づいて、コントラスト検出方式での公知のＡＦ演算や、ＡＥ演算およびオートホワイトバランス（ＡＷＢ）演算などを実行する。また、ＣＰＵ２０は、画像判定部１６が失敗画像であると判定した場合に、その撮影画像が失敗画像であることを示す識別データを撮影画像のデータに対応付けして記録する。

以下、本実施形態の電子カメラによる撮影時の動作の一例を、図２の流れ図を参照しつつ説明する。
ステップ１０１：ＣＰＵ２０は、撮像素子１２を駆動させてスルー画像の取得を開始する。撮像素子１２は所定間隔毎にスルー画像の画像信号を出力し、このスルー画像はモニタ１９に順次表示される。そのため、モニタ１９のスルー画像によってユーザーは撮影構図を決定することができる。

ステップ１０２：ＣＰＵ２０は、ユーザーによってレリーズ釦１８が半押しされたか否かを判定する。レリーズ釦１８が半押しされた場合（ＹＥＳ側）にはＣＰＵ２０はＳ１０３に移行する。一方、レリーズ釦１８が半押しされていない場合（ＮＯ側）には、ＣＰＵ２０はユーザーによるレリーズ釦１８の半押し操作を待機する。
ステップ１０３：ＣＰＵ２０はスルー画像に基づいて撮影レンズ１１のＡＦを実行する。また、ＣＰＵ２０はスルー画像のデータに基づいてＡＥ演算およびＡＷＢ演算を実行し、本画像の撮影条件（露光時間、絞り値、撮像感度など）を決定する。

ステップ１０４：ＣＰＵ２０は、ユーザーによってレリーズ釦１８が全押しされたか否かを判定する。レリーズ釦１８が全押しされた場合（ＹＥＳ側）にはＣＰＵ２０はＳ１０５に移行する。一方、レリーズ釦１８が全押しされていない場合（ＮＯ側）には、ＣＰＵ２０はユーザーによるレリーズ釦１８の全押し操作を待機する。
ステップ１０５：ＣＰＵ２０は、Ｓ１０３の撮影条件に基づいて撮像素子１２を駆動させて本画像を撮影する。そして、撮像素子１２から出力された本画像の画像信号はアナログ処理部１３を介してバッファメモリ１４に一時的に記録される。

ステップ１０６：画像処理部１５は、ＣＰＵ２０の指示により、Ｓ１０５でバッファリングされた本画像のデータを読み込んで、欠陥画素補正、階調補正、補間、色変換などの画像処理を施す。その後に、画像処理部１５は、上記した画像処理後の本画像のデータをＪＰＥＧ形式などで圧縮する。なお、圧縮処理後の本画像のデータは、ＣＰＵ２０により最終的に記録媒体２２に記録される。

ステップ１０７：また、画像処理部１５は、ＣＰＵ２０の指示により本画像の解像度変換を行って、本画像の全体を縮小したフリーズ画像を生成する。そして、ＣＰＵ２０は、撮影後においてフリーズ画像をモニタ１９に所定時間表示する。なお、Ｓ１０６およびＳ１０７の各動作はほぼ同時に行われる。
ステップ１０８：ＣＰＵ２０は、画像判定部１６に対して失敗画像判定処理の実行を指示する。画像判定部１６は、Ｓ１０５でバッファリングされた本画像のデータ（または記録媒体２２に記録された本画像のデータ）を読み込んで、本画像が失敗画像であるか否かを判定する。そして、画像判定部１６は本画像の解析結果のデータをＣＰＵ２０に出力する。

ここで、上記の解析結果のデータには、本画像が撮影失敗か否かを示すデータが含まれる。また、本画像が撮影失敗の場合の解析結果のデータには、撮影失敗の種類を示す失敗種別のデータ（例えば、手ブレなど）と、判定の根拠となった失敗箇所の位置を示す失敗箇所データ（例えば、失敗箇所を含んだ本画像の部分領域を指定するデータなど）とがさらに含まれる。なお、Ｓ１０８での失敗画像判定処理の具体的内容は図３を用いて後述する。

ステップ１０９：ＣＰＵ２０は、Ｓ１０８の失敗画像判定処理の結果に基づいて、今回撮影した本画像が失敗画像であるか否かを判定する。本画像が失敗画像である場合（ＹＥＳ側）にはＣＰＵ２０はＳ１１０に移行する。一方、本画像が失敗画像ではない場合（ＮＯ側）には、記録媒体２２に本画像のデータが記録された後に、ＣＰＵ２０は一連の処理を終了し、次回撮影に向けて待機状態となる。

ステップ１１０：ＣＰＵ２０は、本画像の失敗箇所をモニタ１９に拡大表示する。具体的には、ＣＰＵ２０は解析結果のデータ（Ｓ１０８）のうちの失敗箇所データを、画像処理部１５に出力する。画像処理部１５は、上記の失敗箇所データに基づいて失敗箇所を含む本画像の部分領域をトリミングし、その部分領域の画像をモニタ１９の解像度に合わせて拡大する。そして、ＣＰＵ２０は、上記の部分領域の拡大画像をモニタ１９に所定時間表示する。

ステップ１１１：ＣＰＵ２０は、解析結果のデータ（Ｓ１０８）に基づいて、本画像が失敗画像であることを示す識別データを生成する。そして、ＣＰＵ２０は、上記の識別データを本画像のデータに対応付けして記録媒体２２に記録する。その後、ＣＰＵ２０は一連の処理を終了し、次回撮影に向けて待機状態となる。
ここで、識別データには、上記の失敗種別のデータと失敗箇所データとを含めることができる。また、本画像のデータをＥｘｉｆ（Exchangeable image file format for digital still cameras）規格に準拠したファイル形式で記録する場合には、ＭａｋｅｒＮｏｔｅタグを利用して種別データを本画像のデータファイルのヘッダに記録してもよい。勿論、種別データは、本画像のデータファイルと独立した別個のファイルで記録してもよい。

次に、図３の流れ図を参照しつつ、上記の失敗画像判定処理（Ｓ１０８）を具体的に説明する。なお、図３では手ブレの検出の一例を説明する。
ステップ２０１：画像判定部１６は、本画像のデータに対して２次元的な微分演算（例えば微分フィルタ処理など）を実行し、本画像の輪郭成分を抽出したエッジ抽出画像を生成する。

ステップ２０２：画像判定部１６は、エッジ抽出画像（Ｓ２０１）を所定の大きさの矩形領域に分割する。一例として、本実施形態ではエッジ抽出画像を縦横にそれぞれ４等分して１６個の矩形領域に分割する。そして、画像判定部１６は、各々の矩形領域のうちで最もエッジ要素の多い矩形領域（すなわち、画素の値がゼロ値以外である非ゼロ画素の数が最も多い矩形領域）を注目領域に決定する。

ステップ２０３：画像判定部１６は、本画像においてエッジ抽出画像の注目領域（Ｓ２０２）の位置に対応する範囲を、本画像の注目領域として抽出する。なお、図４において、手ブレ状態の本画像を模式的に示す。また、図５において、図４の本画像から注目領域を抽出した結果を示す。
ステップ２０４：画像判定部１６は、本画像の注目領域（Ｓ２０３）に対してフーリエ解析を実行する。そして、画像判定部１６は、本画像の注目領域において、所定の周波数Ｆを上回る高域周波数成分のパワースペクトラムの総和を演算する。

ステップ２０５：画像判定部１６は、Ｓ２０４のパワースペクトラムの総和が閾値Ｔよりも大きいか否かを判定する。パワースペクトラムの総和が閾値Ｔよりも大きい場合（ＹＥＳ側）には、画像判定部１６はＳ２０６に移行する。一方、パワースペクトラムの総和が閾値Ｔ以下の場合（ＮＯ側）には、画像判定部１６はＳ２０７に移行する。
ステップ２０６：この場合には、画像判定部１６は本画像が手ブレしていないと判定する。そして、画像判定部１６は、本画像が撮影失敗ではない旨の解析結果データをＣＰＵ２０に出力する。その後、ＣＰＵ２０は図２のＳ１０９に復帰する。

ステップ２０７：この場合には、画像判定部１６は本画像が手ブレしていると判定する。そして、画像判定部１６は、本画像が撮影失敗である旨のデータと、手ブレを示す失敗種別のデータと、上記の注目領域を示す失敗箇所データとを含んだ解析結果データをＣＰＵ２０に出力する。その後、ＣＰＵ２０は図２のＳ１０９に復帰する。ここで、図２のＳ１１０において、ＣＰＵ２０は本画像の注目領域を拡大した画像をモニタ１９に表示すれば、本画像の失敗箇所を容易にユーザーに示すことができる。なお、図６において、図４の本画像に対応する拡大画像の表示例を示す。

以下、本実施形態における電子カメラの作用効果を述べる。
本実施形態の電子カメラでは、画像判定部１６が失敗画像と判定した場合には、手ブレによる失敗箇所の拡大画像がモニタ１９に表示される（Ｓ１０８〜Ｓ１１０）。したがって、モニタ１９に表示された失敗箇所の拡大画像によって、ユーザーは今回撮影した失敗画像の状態を明確に認識することができる。そして、再撮影で撮影条件などをどのように修正すればよいか等の判断がユーザーにとって容易となり、より効率的な撮影が可能となる。

また、本実施形態では、画像判定部１６が失敗画像と判定した場合には、本画像が失敗画像であることを示す識別データを本画像のデータに対応付けして記録媒体２２に記録する（Ｓ１１１）。したがって、ユーザーは識別データを利用することで、記録媒体２２にある撮影画像データ群から失敗画像に関するデータを容易に抽出することができる。
例えば、（１）記録媒体２２にある本画像をスライドショーで順次再生するときに失敗画像のデータを一括して再生対象から除外することや、（２）失敗画像のデータを一括して記録媒体２２から削除することや、（３）撮影終了後に失敗画像を加工して修正しようとする場合に修正対象の失敗画像のデータを選択することなどが容易に行える。また、識別データに含まれる失敗種別のデータを利用すれば、失敗画像を抽出するときの条件設定を細分化できる。この場合には、原因の異なる失敗画像を別々に抽出できるようになり、ユーザーの利便性が一層向上する。

（実施形態の補足事項）
（１）上記実施形態では、失敗画像判定処理で手ブレの検出を行う例を説明した。しかし、本発明はこれに限定されることなく、赤目、目つぶり、被写体ブレなどを失敗画像判定処理で検出することも可能である。
例えば、失敗画像判定処理において赤目を検出する場合には以下の要領で行うことができる。ここで、赤目とは、カメラ等を使用して人物をフラッシュ撮影したとき、撮影された人物の目がウサギの目のように赤く写る現象をいう。目が赤くなるのは目の網膜の毛細血管が写るためであり、正確には目の瞳孔部分が赤くなる。撮影条件によっては目が金色に写る場合もあり、このような金目も本明細書では赤目と称するものとする。

第１に、画像判定部１６は、本画像のデータに対して公知の顔検出処理を実行する。一例として、画像判定部１６は、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などの特徴点に基づいて本画像から顔領域を検出する。あるいは、画像判定部１６は被写体の色情報に基いて肌色領域の輪郭を抽出し、さらに予め用意された顔部品のテンプレートとのマッチングを行って顔領域を検出してもよい。第２に、画像判定部１６は、本画像から顔が検出できた場合には顔領域内から瞳領域を探索する。第３に、画像判定部１６は、瞳領域の画素の色成分が赤目の条件式を満たすか否かを判定し、条件式を充足する場合には本画像を赤目状態の失敗画像と判定する。

また、失敗画像判定処理において目つぶりを検出する場合には以下の要領で行うことができる。第１に、画像判定部１６は、本画像のデータに対して公知の顔検出処理を実行する。第２に、第２に、画像判定部１６は、本画像から顔が検出できた場合には顔領域内から目の部分を探索し、目の部分を検出できない場合に本画像を目つぶり状態の失敗画像と判定する。

さらに、失敗画像判定処理において被写体ブレを検出する場合には以下の要領で行うことができる。この場合には、画像判定部１６は本画像のデータにウェーブレット解析を実行し、本画像のデータをＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割する。ここで、ＨＬのサブバンドは高周波成分を垂直方向のみ含むので、横方向にぶれた被写体の輪郭は現れない。反対に、ＬＨのサブバンドは高周波成分を水平方向のみ含むので、縦方向にぶれた被写体の輪郭は現れない。また、ＨＨのサブバンドには、垂直方向および水平方向の両方の高周波成分が含まれる。したがって、画像判定部１６はＨＬとＨＨとのサブバンドを対比することで、画像内で横方向にぶれた被写体のみを特定することができる。また、画像判定部１６はＬＨとＨＨとのサブバンドを対比することで、画像内で縦方向にぶれた被写体のみを特定することができる。

勿論、上記の失敗画像判定処理における各々のアルゴリズムはあくまで一例にすぎず、他の公知のアルゴリズムで置換してもかまわない。例えば、上記の手ブレの検出をウェーブレット解析による周波数解析で行うようにしてもよい。このときに、機械的なブレ検出センサ（不図示）の出力を利用して被写体ブレと手ブレとの区別を行うようにしてもよい。また、画像判定部１６は、撮影のタイミングの異なる２つの画像を対比して被写体ブレを検出することもできる。

（２）上記実施形態において、ＣＰＵ２０はフリーズ画像の代わりに失敗箇所の拡大画像を撮影後に表示するようにしてもよい。
（３）上記実施形態での失敗画像の撮影時において、ＣＰＵ２０は失敗画像のデータを記録媒体２２に記録をするか否かをユーザーに選択させるようにしてもよい。この場合には、撮影時において記録媒体２２の記録容量をより有効に活用することができる。

（４）上記実施形態での失敗画像の撮影時において、ＣＰＵ２０は本画像のデータに識別データを対応付けして記録媒体２２に記録することのみを行って、モニタ１９による失敗箇所の拡大表示を省略するようにしてもよい。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本実施形態の電子カメラの構成を示すブロック図 本実施形態の電子カメラによる撮影時の動作の一例を示す流れ図 図２のＳ１０８の失敗画像判定処理を説明する流れ図 手ブレ状態の本画像を模式的に示す図 図４の本画像から注目領域を抽出した結果を示す図 図４の本画像に対応する拡大画像の表示例を示す図

符号の説明

１１…撮影レンズ、１２…撮像素子、１３…アナログ処理部、１４…バッファメモリ、１５…画像処理部、１６…画像判定部、１７…記録Ｉ／Ｆ、１８…レリーズ釦、１９…モニタ、２０…ＣＰＵ、２１…バス、２２…記録媒体

Claims (6)

1. 被写体像を撮影して撮影画像のデータを生成する撮像部と、
   前記撮影画像が失敗画像であるか否かを判定する画像判定部と、
   前記画像判定部が前記失敗画像であると判定した場合に、失敗箇所を含む前記失敗画像の部分領域を拡大表示する表示部と、
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記画像判定部は、前記撮影画像のデータに対して画像解析を実行し、前記画像解析で前記失敗箇所を検出した場合に前記撮影画像を前記失敗画像と判定することを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記画像判定部は、前記撮影画像を複数の小領域に分割して前記画像解析を実行し、
   前記表示部は、前記失敗箇所が検出された前記小領域の画像を拡大表示することを特徴とする電子カメラ。
4. 請求項１から請求項３のいずれか１項に記載の電子カメラにおいて、
   前記失敗画像は、手ブレ、被写体ブレ、赤目状態、目つぶり状態のいずれかに起因する撮影失敗を含むものであることを特徴とするカメラ。
5. 請求項１から請求項４のいずれか１項に記載の電子カメラにおいて、
   前記画像判定部が前記失敗画像であると判定した場合に、前記失敗画像であることを示す識別データを前記撮影画像のデータに対応付けする識別データ生成部をさらに備えることを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記識別データ生成部は、撮影失敗の種類を示す失敗種別データを前記識別データにさらに含めることを特徴とする電子カメラ。

Images