JP2015171113A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】ユーザが撮影ごとに追加記録する動画像を選択することなく、既に記録済みの第１の動画像に対して、新たに撮影した第２の動画像を追加記録する画像処理装置を提供する。
【解決手段】既に記録済みの第１の動画像に対して、新たに撮影した第２動画像が、ユーザが予め指定した条件に合致したら追加記録する。
【選択図】図３

Description

本発明は、静止画像や動画像を撮像、記録、再生する画像処理装置及びその制御方法に関するものである。

近年、家庭用ビデオカメラやデジタルスチルカメラなどの画像処理装置が一般に普及している。この画像処理装置は、記録済みの動画像に対して、新たに撮影した動画像を追加記録する機能を備えていることがある。

例えば、下記特許文献１には、記録済みのどの動画像に対して、新たに撮影した動画像を追加記録させるかを選択する表示機能を備えることで、どの動画像に追加記録させるかをユーザに解り易く提供する方法が提案されている。

特開２００３−２１９３２５号公報

しかしながらこれらの画像処理装置では、例えば図１に示すように、撮影ごとに追加記録させたい動画像が変化する場合には、撮影ごとに追加記録させる動画像をユーザが選択する必要があり、利便性が低いという問題があった。

本発明に係る画像処理装置に於いては、被写体を撮像して画像を得る撮像手段と、前記撮像手段によって動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された第１の動画像に対して、新たに生成された第２の動画像を追加記録する条件を指定する追加記録条件指定手段と、前記第２の動画像が前記追加記録条件指定手段によって指定された条件に合致しているかを判別する判別手段と、前記判別手段によって条件に合致していると判別された際に、条件に合致した前記第１の動画像が存在する場合は、前記第２の動画像を前記第１の動画像に追加記録する動画像追加記録手段と、を備えたことを特徴とする。

課題を解決するための手段に記載した構成により、撮影ごとに追加記録させる動画像をユーザが選択する必要がなくなり、利便性を向上させることが可能となる。

本発明が解決しようとする課題の具体例を示す図 本発明を実施するための形態の構成ブロック図 第１の実施形態における動画像追加記録処理のフローチャート 第２の実施形態における動画像追加記録処理のフローチャート 第３の実施形態における動画像追加記録処理のフローチャート 第１，２，３の実施形態における追加記録条件テーブルの構成図

本発明をデジタルカメラを例に用いて説明をおこなう。

以下、図面を参照して本発明の実施例を説明する。 図２は、本発明の実施例の構成を示す図である。
図２において、１００は画像処理装置である。

１０は撮影レンズ、１２は絞り機能を備える機械式シャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、 Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、18の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また２０の画像処理回路によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、TTL方式のAF処理、AE処理、ＥＦ処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

２８はTFT LCD等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。

これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。

４８はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。
露光制御手段４０、測距制御手段４２はTTL方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチSW1で、シャッターボタンの操作途中でONとなり、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理等の動作開始を指示する。

６４はシャッタースイッチSW2で、シャッターボタンの操作完了でONとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、AE処理で決定された露光時間分、撮像素子１４を露光させ、フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ30に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行う、次に記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、TFT LCD等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は通信手段でUSB、IEEE1394、LAN、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

以下に図３〜６図を参照して、本発明の各実施例の動作を説明する。

＜第１の実施形態＞
第１の実施形態では、既に記録済みの第１の動画像に対して、新たに撮影した第２動画像が、ユーザが予め指定した条件に合致するかどうかを、第２の動画像の最終フレームを基に判別して、追加記録を行う例を述べる。

図３は第１の実施形態における動画像追加記録処理のフローチャートである。この動画像追加記録処理における各処理は、システム制御回路５０が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

システム制御回路５０は、撮像素子１４から入力されたデータから第２の動画像を生成する（S３０１）。

次に、追加記録条件テーブルのIndex Nを０に初期化する（S３０２）。追加記録条件テーブルは、図６に示すように、ユーザが予め指定した条件を格納している。

次に、追加記録条件テーブル[N]の属性を判定する（S３０３）。

Ｓ３０３の結果、属性が人物の場合は、第２の動画像の最終フレームを抽出する（Ｓ３０４）。

次に、Ｓ３０４で抽出した最終フレーム内から人物の顔を検出し、当該顔と追加記録条件テーブル[Ｎ]の条件の人物の顔とが一致するか個人認識処理を行う。最終フレーム内から複数の人物の顔が検出された場合は、それぞれの顔の向き、位置、大きさなどの情報から重み付けをして主となる顔を決定した上、個人認識処理を行う。これにより、最終フレーム内に追加記録条件テーブル[Ｎ]の条件の人物が検出されたかを判定する（Ｓ３０５）。

Ｓ３０３の結果、属性が撮影日の場合は、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致するかを判定する（Ｓ３０６）。

Ｓ３０５の結果、最終フレーム内に追加記録条件テーブル[Ｎ]の条件の人物が検出された場合、及び、Ｓ３０６の結果、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致する場合、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在するかを判定する（S３０７）。

Ｓ３０５の結果、最終フレーム内に追加記録条件テーブル[Ｎ]の条件の人物が検出されない場合、及び、Ｓ３０６の結果、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致しない場合、追加記録条件テーブルのIndex Nをインクリメントして、S３０３へ戻る（S３１０）。

S３０７の結果、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在する場合、第１の動画像に第２の動画像を追加記録する（S３０８）。

S３０７の結果、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在しない場合、第２の動画像に追加記録条件テーブル[Ｎ]の情報を付加する（S３０９）。

S３０８、S３０９の処理の次に、追加記録条件テーブルのIndex Nをインクリメントして、S３０３へ戻る（S３１０）。

S３０３の結果、追加記録条件がない場合は、動画像追加記録処理を終了する。

＜第２の実施形態＞
第２の実施形態では、既に記録済みの第１の動画像に対して、新たに撮影した第２の動画像が、ユーザが予め指定した条件に合致するかどうかを、第２の動画像の複数フレームを基に判別して、追加記録を行う例を述べる。

図４は第２の実施形態における動画像追加記録処理のフローチャートである。この動画像追加記録処理における各処理は、システム制御回路５０が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

システム制御回路５０は、撮像素子１４から入力されたデータから第２の動画像を生成する（S４０１）。

次に、追加記録条件テーブルのIndex Nを０に初期化する（S４０２）。追加記録条件テーブルは、図６に示すように、ユーザが予め指定した条件を格納している。

次に、追加記録条件テーブル[N]の属性を判定する（S４０３）。

Ｓ４０３の結果、属性が人物の場合は、第２の動画像の記録フレームレートを判定する（S４０４）。

S４０４の結果、第２の動画像の記録フレームレートが１５ｆｐｓの場合、第２の動画像の１５×ｎ番目（ｎ＝１，２，３）のフレームを全て抽出し、第２の動画像の記録フレームレートが２４ｆｐｓの場合、第２の動画像の２４×ｎ番目（ｎ＝１，２，３）のフレームを全て抽出し、第２の動画像の記録フレームレートが３０ｆｐｓの場合、第２の動画像の３０×ｎ番目（ｎ＝１，２，３）のフレームを全て抽出する（S４０５）。

次に、S４０５で抽出した第２の動画像の各フレーム内から人物の顔を検出し、当該顔と追加記録条件テーブル[Ｎ]の条件の人物の顔とが一致するか個人認識処理を行う。最終フレーム内から複数の人物の顔が検出された場合は、それぞれの顔の向き、位置、大きさなどの情報から重み付けをして主となる顔を決定した上、個人認識処理を行う。これにより、各フレーム内に追加記録条件テーブル[Ｎ]の条件の人物が検出されたかを判定し、検出されたフレーム数をカウントする（S４０６）。

次に、S４０６でカウントしたフレーム数が閾値Ｔ以上であるかを判定する（Ｓ４０７）。

S４０３の結果、属性が撮影日の場合は、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致するかを判定する（Ｓ４０８）。

S４０７の結果、S４０６でカウントしたフレーム数が閾値Ｔ以上である場合、及び、Ｓ４０８の結果、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致する場合、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画が存在するかを判定する（S４０９）。

S４０７の結果、S４０６でカウントしたフレーム数が閾値Ｔより小さい場合、及び、Ｓ４０８の結果、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致しない場合、追加記録条件テーブルのIndex Nをインクリメントして、S４０３へ戻る（S４１２）。

Ｓ４０９の結果、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在する場合、第１の動画像に第２の動画像を追加記録する（S４１０）。

S４０９の結果、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在しない場合、第２の動画像に追加記録条件テーブル[Ｎ]の情報を付加する（S４１１）。

S４１０、S４１１の処理の次に、追加記録条件テーブルIndex Nをインクリメントして、S４０３へ戻る（S４１１）。

S４０３の結果、追加記録条件がない場合は、動画像追加記録処理を終了する。

＜第３の実施形態＞
第３の実施形態では、静止画像の記録に連動して動画像を記録する機能を有する画像処理装置において、既に記録済みの第１の動画像に対して、新たに撮影した第２の動画像が、ユーザが予め指定した条件に合致するかどうかを、第２の動画像に連動している静止画を基に判別して、追加記録を行う例を述べる。

静止画像の記録に連動して動画像を記録する機能では、システム制御回路５０は、撮像素子１４から入力されるデータから動画像を生成し、メモリ３０の動画像格納領域に書き込む。さらに、シャッタースイッチ（SW２）６４が操作された場合に、撮像素子１４から入力されるデータから静止画像を生成し、また、メモリ３０の動画像格納領域に書き込まれた動画像のうち、シャッタースイッチ（SW２）６４が操作された前、後、又は前後の所定時間分を切り出し静止画像に連動した動画を生成する。さらに、生成した静止画像と静止画像に連動した動画像を記録媒体２００へ記録する。

図５は第３の実施形態におけるシャッタースイッチ（SW２）６４が操作された際の静止画像記録及び動画像追加記録処理のフローチャートである。この静止画像記録及び動画像追加記録処理における各処理は、システム制御回路５０が不揮発性メモリ３１に格納されたプログラムをメモリ３０に展開して実行することにより実現される。

システム制御回路５０は、シャッタースイッチ（SW２）６４が操作された際、撮像素子１４から入力されたデータから静止画像を生成する（S５０１）。

次に、静止画像に連動した第２の動画像を生成する（S５０２）。

次に、追加記録条件テーブルのIndex Nを０に初期化する（S５０３）。

次に、追加記録条件テーブル[Ｎ]の属性を判定する（S５０４）。

S５０４の結果、属性が人物の場合は、S５０１で生成した静止画像から人物の顔を検出し、当該顔と追加記録条件テーブル[Ｎ]の条件の人物の顔とが一致するか個人認識処理を行う。最終フレーム内から複数の人物の顔が検出された場合は、それぞれの顔の向き、位置、大きさなどの情報から重み付けをして主となる顔を決定した上、個人認識処理を行う。これにより、最終フレーム内に追加記録条件テーブル[Ｎ]の条件の人物が検出されたかを判定する（Ｓ５０５）。

Ｓ５０４の結果、属性が撮影日の場合は、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致するかを判定する（Ｓ５０６）。

Ｓ５０５の結果、静止画像に追加記録条件テーブル[Ｎ]の条件の人物が検出された場合、及び、Ｓ５０６の結果、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致する場合、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在するかを判定する（S５０７）。

Ｓ５０５の結果、静止画像に追加記録条件テーブル[Ｎ]の条件の人物が検出されない場合、及び、Ｓ５０６の結果、第２の動画像の撮影日が追加記録条件テーブル[Ｎ]の条件の撮影日と一致しない場合、追加記録条件テーブルのIndex Nをインクリメントして、S５０４へ戻る（S５１０）。

S５０７の結果、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在する場合、第１の動画像に第２の動画像を追加記録する（S５０８）。

S５０７の結果、追加記録条件テーブル[Ｎ]の情報が付加された第１の動画像が存在しない場合、第２の動画像に追加記録条件テーブル[Ｎ]の情報を付加する（S５０９）。

S５０８、S５０９の処理の次に、追加記録条件テーブルのIndex Nをインクリメントして、S５０４へ戻る（S５１０）。

S５０４の結果、追加記録条件がない場合は、静止画像を記録し動画像追加記録処理を終了する（Ｓ５１１）。

１０：撮影レンズ １２：シャッター １４：撮像素子 １６：Ａ／Ｄ変換器 １８：タイミング発生回路 ２０：画像処理回路 ２２：メモリ制御回路 ２８：画像表示部 ３０：メモリ ３２：画像圧縮・伸長回路
４０：露光制御手段 ４２：測距制御手段 ４４：ズーム制御手段ｙ４８：フラッシュ
５０：システム制御回路
６０：モードダイアルスイッチ ６２：シャッタースイッチSW1 ６４：シャッタースイッチSW2
６６：表示切替スイッチ ７０：操作部 ７２：ズームスイッチ
９０：インタフェース ９２：コネクタ
１００：画像処理装置 １０２：保護手段 １０４：光学ファインダ
１１０：通信手段 １１２：コネクタ（またはアンテナ）
２００：記録媒体 ２０２：記録部 ２０４：インタフェース ２０６：コネクタ

Claims (5)

1. 被写体を撮像して画像を得る撮像手段と、
   前記撮像手段によって動画像を生成する動画像生成手段と、
   前記動画像生成手段によって生成された第１の動画像に対して、新たに生成された第２の動画像を追加記録する条件を指定する追加記録条件指定手段と、
   前記第２の動画像が前記追加記録条件指定手段によって指定された条件に合致しているかを判別する判別手段と、
   前記判別手段によって条件に合致していると判別された際に、条件に合致した前記第１の動画像が存在する場合は、前記第２の動画像を前記第１の動画像に追加記録する動画像追加記録手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記判別手段は、画像データ内の人物を個人認識する個人認識手段によって判別する判別手段を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記追加記録条件指定手段によって指定された条件に合致しているかを、前記第２の動画像の最終フレームを基に判別する判別手段を備えたことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記追加記録条件指定手段によって指定された条件に合致しているかを、前記第２の動画像の複数フレームを基に判別する判別手段を備えたことを特徴とする請求項１又は請求項２に記載の画像処理装置。
5. 前記追加記録条件指定手段によって指定された条件に合致しているかを、静止画像の記録に連動して記録される前記第２の動画像を基に判別する判別手段を備えたことを特徴とする請求項１又は請求項２に記載の画像処理装置。