JP2008199330A - 動画像管理装置 - Google Patents

Abstract

【課題】
動画の内容を把握しやすい代表画像を作成する。
【解決手段】
人物解析装置１４は、カメラユニット１２からの動画像データから人物の撮影状況を解析する。ユーザは、条件指定装置１６により、サムネイル画像作成条件をサムネイル画像作成装置１８に指定する。サムネイル画像作成装置１８は、記録済みの動画像から、装置１４からの人物撮影情報と、装置１６からのサムネイル画像作成条件に従い、代表画像を作成する。記録装置２０は、カメラユニット１２からの動画像データを記録し、装置１８により作成されるサムネイル画像を動画像に関連付けて記録する。
【選択図】 図１

Description

本発明は、動画像データを管理する動画像管理装置に関し、より具体的には、動画像データの内容を象徴する代表画像を作成する動画像管理装置に関する。

近年、動画像をＤＶＤディスクやメモリーカードなどのランダムアクセスが可能な記録媒体に記録するデジタルビデオカメラやＤＶＤレコーダなどが製品化されている。ユーザは、これらの装置で、又は、パーソナルコンピュータやＤＶＤプレーヤなどを用いて、記録画像を視聴できる。

ランダムアクセス可能な記録媒体を用いる場合、デジタルビデオカメラやＤＶＤレコーダでは、記録された動画像の先頭部分のフレーム又はフィールドを代表画像（例えば、解像度を下げたサムネイル画像等）として別途、記録媒体に保存する。記録画像を一覧する際に、各記録画像の記録日時だけでなく、代表画像を同時に表示することで、一覧性が良くなる。

一般的には、代表画像は、各カットの先頭フレーム（又はフィールド）画像か、各カットの先頭フレームから固定時間後のフレーム（又はフィールド）画像から作成される。この代表画像一覧表示機能により、ユーザはいちいち動画像を再生しなくても、動画像のおおまかな内容を把握できるようになっている（例えば、特許文献１参照）。

代表画像一覧表示機能で表示される代表画像の画面内で動画像を再生するＤＶＤレコーダも市販されている。
特開２００２−２７４１１号公報

先頭部分の代表画像のみでは、動画像の内容を把握することが難しい場合がある。このような例を、図１２及び図１３を参照して説明する。図１２は、撮影時間４０秒の１カット又は１シーンの動画像（カットＢ）のタイムスケールを示す。代表画像としてのサムネイル画像が、カットＢに対して１つだけ作成される。

カットＢの撮影では、例えば、撮影時間０秒〜１０秒では図１３（ａ）に示すような風景が撮影されて、撮影時間１０秒〜４０秒では図１３（ｂ）に示すように人物が撮影されていたとする。この場合、従来の代表画像作成方法では、カットＢの先頭フレームＰ１（図１２）、又は、先頭フレームから固定時間後（この場合は５秒後）のフレームＰ２（図１２）が代表画像とされる。フレームＰ１及びＰ２の何れにも人物が映っていないので、代表画像は、図１３（ａ）に示すような画像になる。

例えば、主被写体として人物を撮影する機会が多いホームビデオ撮影等においては、人物が映っていない代表画像では、記録された動画の内容を把握することが難しいといった課題がある。

そこで、本発明は、このような問題点を解決する動画像管理装置を提示することを目的とする。

上記の目的を達成するために、本発明に係る動画像管理装置は、撮像によって得られる動画像データを管理する動画像管理装置であって、前記動画像データにおける人物の撮影状況を解析し、人物撮影情報を出力する人物解析装置と、前記人物撮影情報に従い、前記動画像データから前記動画像データの内容を象徴する代表画像を作成する代表画像作成装置とを備えることを特徴とすることを特徴とする。

好ましくは、本発明に係る動画像管理装置は、さらに、代表画像条件を前記代表画像作成装置に指定する条件指定装置を備え、前記代表画像作成装置は、前記人物撮影情報と前記代表画像条件に従い、前記動画像データから前記代表画像を作成することを特徴とする。

好ましくは、前記条件指定装置は、複数の代表画像条件から一つの代表画像条件を選択可能であることを特徴とする。

好ましくは、前記複数の代表画像条件は、「撮影されている時間が最も長い人物が写っているフレーム」、「撮影されている人物の数が最も多いフレーム」、及び「撮影されている回数が最も多い人物が写っているフレーム」の内の１つ以上の条件を含むことを特徴とする。

好ましくは、前記人物撮影情報は、人物ごとに撮影されているか否かを時系列で表した情報であることを特徴とする。

好ましくは、前記代表画像作成装置は、１つの前記動画像データに対して少なくとも１枚の代表画像を作成することを特徴とする。

好ましくは、前記代表画像作成装置は、選択可能な代表画像条件ごとに、前記人物撮影情報に従い、前記動画像データから前記代表画像を作成すること特徴とする。

好ましくは、本発明に係る動画像管理装置は、更に、前記代表画像作成装置により作成される代表画像に係る代表画像データを記録する記録装置と、前記代表画像条件から１つの代表画像条件を指定する条件指定装置と、前記条件指定装置により指定される前記１つの代表画像条件に合致する代表画像データを前記記録装置から読み出し、表示用に出力する画像出力装置とを具備することを特徴とする。

好ましくは、前記人物撮影情報は、人物ごとに画像中央部に撮影されているか否か時系列で表した情報であることを特徴とする。

好ましくは、前記代表画像条件は、「画像中央部で撮影されている時間が最も長い人物が写っているフレーム」、「画像中央部で撮影されている人物の数が最も多いフレーム」、「画像中央部で撮影されている回数が最も多い人物が写っているフレーム」の内の１つ以上の条件を含むことを特徴とする。

本発明によれば、人物撮影状況に従って代表画像を作成するので、動画像データの内容を良く象徴する代表画像を作成できる。これにより、動画像の内容をより把握し易くなる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の実施例１である撮像装置の概略構成ブロック図である。この実施例では、撮像される動画像の記録動作と並行して代表画像としてのサムネイル画像を選定又は抽出し、撮像された動画像に関連付けて、動画像データと同じ記録媒体にサムネイル画像（代表画像）データを記録する。

撮像装置１０は、被写体の動画像データを出力するカメラユニット１２と、カメラユニット１２からの動画像データを記録媒体に記録する記録装置２０を具備する。カメラユニット１２は、例えば、レンズ、ＣＣＤ撮像素子、Ａ／Ｄ変換器及びカメラ信号処理装置からなり、ＮＴＳＣ等の一定形式のデジタル映像信号からなる動画像データを出力する。記録装置２０は、カメラユニット１２からの動画像データを順次、内蔵する記録媒体に記録する。

撮像装置１０は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像作成のために、撮像装置１０は、人物解析装置１４、条件指定装置１６及びサムネイル画像作成装置１８を具備する。

人物解析装置１４は、カメラユニット１２から出力される動画像データに人物が含まれているか否かを１フレーム毎に解析し、どのフレームにどの人物が含まれているかを示す人物撮影情報をサムネイル画像作成装置１８に出力する。ここで、人物は特定される必要はなく、少なくとも、人物間の相違とフレーム間での同一性が識別されれば良い。人物解析装置１４は、画面内で１オブジェクトとして人間の存在を識別する技術を使用する。識別されたオブジェクトを連続する画面間で追跡する技術を利用することで、フレーム間の連続性の判定が容易になる。また、ユーザは条件指定装置１６を使って、代表画像条件としてのサムネイル画像作成条件を指定し、サムネイル画像作成装置１８に入力する。人物解析装置１４及び条件指定装置１６の機能は、後ほど詳細に説明する。

サムネイル画像作成装置１８は、特許請求の範囲に規定される代表画像作成装置である。サムネイル画像作成装置１８は、人物解析装置１４による人物撮影情報と条件指定装置１６によるサムネイル画像作成条件とに基づき、記録装置２０に記録済みの動画像からサムネイル画像を作成し、記録装置２０に記録する。例えば、サムネイル画像作成装置１８は、記録装置２０に記録されているカット毎の動画像データから、サムネイル画像作成条件に合致する１フレームをサムネイル画像として切り出す。サムネイル画像作成条件に人物の存在を含めることで、人物を含むフレームをサムネイル画像にすることができる。

記録装置２０は、カメラユニット１２からの動画像データ及びサムネイル画像作成装置１８からのサムネイル画像データ（代表画像データ）を記録する。サムネイル画像は、動画像データの中でサムネイル画像として使用するフレームを示すポインタ情報であってもよい。人物解析装置１４の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置２０に記録しても良い。

画像出力装置２２は、記録装置２０からサムネイル画像を読み出し、表示装置２４にサムネイル画像一覧を出力する。これにより、ユーザは、記録装置２０に記録された動画像のリストを代表画像付きで確認できる。

画像出力装置２２はまた、サムネイル画像一覧で選択された動画像データを画像データ記録装置２０から読み出し、表示装置２４に供給する。これにより、選択された動画像が、表示装置２４の画面上に再生表示される。

理解を容易にするために、動画像の圧縮伸長処理の説明を省略しているが、記録装置２０は、動画像データ及びサムネイル画像を非圧縮のままで記録しても、圧縮記録しても良い。動画像の圧縮方式には、例えば、ＭＰＥＧ符号化方式やＨ.２６４符号化方式があり、サムネイル画像の圧縮方式には、例えばＪＰＥＧ方式がある。

図２は、人物解析装置１４の動作フローチャートである。図２を参照して、人物解析装置１４の動作を説明する。

人物解析装置１４は、カメラユニット１２の撮影（と記録装置２０への記録）が開始されると、フレーム番号変数Ｉを０で初期化する（Ｓ１１）。人物解析装置１４は、カメラユニット１２からの動画像データから取り込んだ最初のフレームを解析対象のＩフレームとする（Ｓ１２）。Ｉフレームの画像内に人物が含まれているか否かを解析する（Ｓ１３）。人物が撮影されているか否かは、例えば、顔認識技術を使って、判別できる。

Ｉフレームに人物が存在しない場合（Ｓ１４）、フレーム番号Ｉをインクリメントし（Ｓ１５）、次のフレームを解析対象として、ステップＳ１２以降を繰り返す。

人物解析（Ｓ１３）の結果、Ｉフレームの画像内に人物が少なくとも１名以上存在する場合（Ｓ１４）、各人物が登録済みか否かを調べる（Ｓ１６）。人物解析装置１４は、人物の特徴を記憶する特徴記憶装置を具備し、この特徴記憶装置に記憶される特徴との対比によりＩフレーム内の人物が登録済みか否かを判断する。人物の特徴は、容姿（又はその一部である顔）そのものの画像でも、容姿又はその一部から抽出される要素でもよい。人物の同一性判断に、直前フレームからの移動を追跡する技術を使っても、この追跡技術と特徴の近似性とを併用しても良い。

検出された人物が未登録の場合（Ｓ１６）、人物解析装置１４は、未登録の人物の特徴を特徴記憶装置に新規登録する（Ｓ１７）。

ステップＳ１６又はＳ１７の後、Ｉフレームに対して、その人物を特定する人物ＩＤと画面内での位置を示す情報を記憶する（Ｓ１８）。

Ｉフレーム内の全人物の解析を終了するまで（Ｓ１９）、ステップＳ１６，Ｓ１７，Ｓ１８を繰り返す。

撮影が終了していなければ（Ｓ２０）、フレーム番号変数Ｉをインクリメントし（Ｓ１５）、ステップＳ１２以降を繰り返す。

撮影が終了したら（Ｓ２０）、人物解析装置１４は、収集したデータからなる人物撮影情報を、適当なタイミングでサムネイル画像作成装置１８に出力する（Ｓ２１）。人物撮影情報は、人物解析装置１４の特徴記憶装置に記憶される各人物が、１カットの撮影内でどのフレームのどの画面位置に出現しているかを示す。

図３を参照して、人物解析装置１４により生成される人物撮影情報の概要を説明する。横軸は時間を示す。図３に示す例では、３人の人物１，２，３が１カットＡ内に出現している。各人物が撮影されている期間には、斜線を付してある。図３に示す例では、人物１は、撮影時間１０秒〜４０秒の間に撮影されている。人物２は、撮影時間５秒〜１０秒の間及び２０秒〜３０秒の間に撮影されている。人物３は、撮影時間５秒〜１５秒の間、２０秒〜２５秒の間及び３５秒〜４０秒の間に、撮影されている。

人物撮影情報は、図３に示すように、各人物がどのフレーム（又は時刻）に出現するかを時系列で表現するデータからなる。人物撮影情報にフレーム内の撮影位置のデータをも含めることで、サムネイル画像作成条件に撮影位置を含めることができる。

条件指定装置１６で指定するサムネイル画像作成条件を説明する。サムネイル画像は、動画像の内容を代表する画像であるので、サムネイル画像を見ることにより動画像のおおまかな内容を推測できる画像であることが望ましい。

特に、人物を撮影する機会が多いホームビデオ撮影等においては、サムネイル画像は人物であることが望ましい。人物が多数存在する場合は、サムネイル画像は主たる人物を含むのが望ましい。サムネイル画像作成条件の説明例として、
条件１：被撮影総時間が最も長い人物が写っているフレーム、
条件２：撮影人数が最も多いフレーム、及び
条件３：被撮影回数が最も多い人物が写っているフレーム
の３条件を考慮する。

条件１は、あるカットにおいて、撮影されている総時間が最も長い人物が写っている最初のフレームをサムネイル画像とする。条件２は、あるカットにおいて、撮影人数が最も多い最初のフレームをサムネイル画像とする。条件３は、あるカットにおいて、撮影回数（フレーム数）が最も多い人物が写っている最初のフレームをサムネイル画像とする。

なお、主人物は、画像中央部で撮影されていることが多いと考えられる。これに対応するために、評価対象を画像中央部に限定する条件を追加し、条件１，２，３を以下のように変更するか、以下の３条件を追加しても良い。即ち、
条件４：画像中央部における被撮影総時間が最も長い人物が写っているフレーム
条件５：画像中央部における人物数が最も多いフレーム
条件６：画像中央部での被撮影回数が最も多い人物が写っているフレーム
を考慮する。

条件４，５，６に対応するには、人物解析装置１４は、各フレーム内で人物画像中央部に位置するか否かを検出し、その検出結果を人物撮影情報に含めれば良い。勿論、先に説明したように、人物撮影情報にはフレーム内の人物の位置を示す情報を含め、サムネイル画像作成装置１８が、撮影された人物が画像中央部に位置するか否かを判断しても良い。

結局、ユーザは、条件指定装置１６を使って、上述の条件１〜６のいずれ１つをサムネイル画像作成装置１８に指定する。

サムネイル画像作成装置１８のサムネイル画像作成動作を説明する。サムネイル画像作成装置１８は、条件指定装置１６で指定されたサムネイル画像作成条件と、人物解析装置１４でからの人物撮影情報に従って、記録装置２０の記録動画像データからサムネイル画像を作成する。ここでは、サムネイル画像は、１カットに１枚作成されるとする。また、人物撮影情報は、図３に示す状況を示しているとする。

サムネイル画像作成装置１８は、条件指定装置１６で指定された条件１に対して、以下のように動作する。サムネイル画像作成装置１８は、人物撮影情報を参照して、被撮影総時間が最も長い人物が写っている最初のフレームを検索することになる。図３に示すカットＡの例では、人物１の被撮影総時間は３０秒であり、人物２の被撮影総時間は１５秒であり、人物３の被撮影総時間は２０秒である。従って、最も被撮影総時間が長い人物は、人物１となる。サムネイル画像作成装置１８は、人物１が撮影されている最初のフレーム（図３では、撮影時間Ｐ１のフレーム）をカットＡにおけるサムネイル画像と決定する。

サムネイル画像作成装置１８は、サムネイル画像用に決定したフレームの画像データを記録装置２０から読み出し、サムネイル画像データを作成する。作成されたサムネイル画像データは、記録装置２０にカットＡのサムネイル画像情報として記録される。サムネイル画像データを作成せずに、サムネイル画像とすべきフレームを示すポインタを、記録装置２０のカットＡのサムネイル画像情報として記録してもよい。

条件２が指定された場合、サムネイル画像作成装置１８は、人物撮影情報を参照して、撮影人数が最も多い最初のフレームを検索する。図３に示す例では、撮影時間２０秒〜２５秒の間に３人の人物１，２，３が撮影されており、この期間で撮影人数が最大である。サムネイル画像作成装置１８は、撮影時間２０秒〜３０秒の先頭フレーム（撮影時間Ｐ２のフレーム）をカットＡのサムネイル画像と決定する。サムネイル画像作成装置１８は、決定したサムネイル画像の画像データ、又はサムネイル画像とすべきフレームを示すポインタを、記録装置２０のカットＡのサムネイル画像情報として記録する。

条件３が指定された場合、サムネイル画像作成装置１８は、人物撮影情報を参照して、被撮影回数が最も多い人物が写っている最初のフレームを検索する。図３に示す例では、人物１の被撮影回数は１回であり、人物２の被撮影回数は２回であり、人物３の被撮影回数は３回である。従って、最も被撮影回数が多い人物は人物３である。サムネイル画像作成装置１８は、人物３が撮影されている先頭フレーム（図３に示す例では、撮影時間Ｐ３のフレーム）をカットＡのサムネイル画像と決定する。サムネイル画像作成装置１８は、決定したサムネイル画像の画像データ、又はサムネイル画像とすべきフレームを示すポインタを、記録装置２０のカットＡのサムネイル画像情報として記録する。

条件４，５，６は、それぞれ条件１，２，３に対して、画像中央部という限定が追加されている。従って、条件４，５，６に対するサムネイル画像作成装置１８の動作では、条件１，２，３に対する動作に、画像中央部に人物が写っているという条件が追加される。基本的な動作は、条件１，２，３に対する動作と同じなので、説明を省略する。

サムネイル画像作成条件に数量的要素を追加しても良い。例えば、サムネイル画像作成条件に最低値を設定し、最低値以下であった場合は、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。例えば、条件１に対し、被撮影総時間が最も長い人物の被撮影総時間が最低被撮影総時間に満たなかった場合は、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。

条件２には、最低人数を設定する。最低人数以上に多い人数が写っているフレームが無い場合、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。

条件３には、最低被撮影回数を設定する。被撮影回数が最も多い人物の被撮影回数が最低被撮影回数より少ない場合には、従来通り、先頭フレーム又は先頭フレームから一定時間後のフレームをサムネイル画像とする。

図４は、本実施例の撮影、人物解析、及びサムネイル画像記録の一連の処理の動作フローチャートを示す。

ユーザは、条件指定装置１６によりサムネイル画像作成条件を選択する（Ｓ３１）。条件指定装置１６は、例えば、複数のサムネイル画像作成条件を選択肢とする選択画面をモニタ画面上に表示する手段を具備する。

カメラユニット１２の撮影が開始されると、フレーム番号変数Ｉが０で初期化される（Ｓ３２）。カメラユニット１２からの動画像データの最初のフレームがＩフレームとして人物解析装置１４と記録装置２０に取り込まれる（Ｓ３３）。記録装置２０は、カメラユニット１２からのＩフレームを、内蔵する記録媒体に記録する（Ｓ３４）。これと同時に、人物解析装置１４は、Ｉフレームの画像内に人物が含まれているか否かを解析する（Ｓ３５）。人物解析装置１４の動作は、図２を参照して説明した通りである。

撮影が終了するまで（Ｓ３６）、フレーム番号変数Ｉをインクリメントして（Ｓ３７）、ステップＳ３３，Ｓ３４，Ｓ３５の動作、即ち、フレームの取り込み（Ｓ３３）、フレーム毎の画像データの記録（Ｓ３４）及び人物解析（Ｓ３５）を繰り返す。

撮影が終了したら（Ｓ３６）、サムネイル画像作成装置１８は、条件指定装置１６によりステップＳ３１で選択されたサムネイル画像作成条件を取り込む（Ｓ３８）。人物解析装置１４は、収集したデータからなる人物撮影情報をサムネイル画像作成装置１８に出力する（Ｓ３９）。

サムネイル画像作成装置１８は、人物解析装置１４からの人物撮影情報と、条件指定装置１６からのサムネイル画像作成条件とに従って、先に説明したようにサムネイル画像を決定する（Ｓ４０）。サムネイル画像作成装置１８は、サムネイル画像データ又はサムネイル画像となるべきフレームを示すポインタを記録装置２０に記録する（Ｓ４１）。

図５を参照して、サムネイル画像一覧の表示動作を説明する。図５は、サムネイル画像一覧表示の動作フローチャートである。

サムネイル画像一覧表示が要求されると（Ｓ５１）、画像出力装置２２は、記録装置２０から所定数のサムネイル画像データを読み出す（Ｓ５２）。画像出力装置２２は、読み出したサムネイル画像データを表示装置２４の表示用に変換して、表示装置２４に供給する（Ｓ５３）。これにより、記録装置２０に記録される複数の動画のサムネイル画像が、表示装置２４の画面上に一覧表示される。

図６は、本発明の実施例２である撮像装置の概略構成ブロック図である。

撮像装置１１０は、被写体の動画像データを出力するカメラユニット１１２と、カメラユニット１１２からの動画像データを記録媒体に記録する記録装置１２０を具備する。カメラユニット１１２は、カメラユニット１２と同様の機能を具備する。記録装置１２０は、カメラユニット１１２からの動画像データを順次、内蔵する記録媒体に記録する。

撮像装置１１０は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像の作成・表示のために、撮像装置１１０は、人物解析装置１１４、条件指定装置１１６及びサムネイル画像作成装置１１８を具備する。

人物解析装置１１４は、人物解析装置１４と同様の機能からなる。即ち、人物解析装置１１４は、カメラユニット１１２から出力される動画像データに人物が含まれているか否かを１フレーム毎に解析し、人物撮影情報をサムネイル画像作成装置１１８に出力する。

人物解析装置１１４は、解析結果である人物撮影情報を記録装置１２０に供給しても良い。その場合、記録装置１２０は、人物撮影情報を動画像データの対応するフレームの属性情報として、動画像データに関連付けて記憶する。

ユーザは条件指定装置１１６を使って、サムネイル画像一覧表示で使用するサムネイル画像を指定できる。但し、選択可能なサムネイル画像表示条件は予め規定されており、ユーザは、これらの選択肢の一つを条件指定装置１１６で指定することになる。サムネイル画像表示条件は、特許請求の範囲の代表画像条件に対応する。

サムネイル画像作成装置１１８は、特許請求の範囲の代表画像作成装置に対応する。サムネイル画像作成装置１１８は、撮影終了後に、人物解析装置１１４による人物撮影情報と条件指定装置１１６で選択可能なサムネイル画像表示条件とに基づき、記録済みの動画像データからサムネイル画像を作成する。何れか１つのサムネイル画像表示条件に合致すれば、サムネイル画像とする。

記録装置１２０は、カメラユニット１１２からの動画像データ、及びサムネイル画像作成装置１１８からのサムネイル画像データを記録する。人物解析装置１１４の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置１２０に記録しても良い。

画像出力装置１２２は、サムネイル画像一覧表示の際に、記録装置１２０に記録される各動画像データに対し、条件指定装置１１６で選択されたサムネイル表示条件に合致するサムネイル画像を選択し、表示装置１２４に一覧表示する。これにより、ユーザは、記録装置１２０に記録された動画像のリストをサムネイル画像付きで確認できる。

動画像データの再生の際には、画像出力装置１２２は、ユーザにより指定される動画像データを記録装置１２０から読み出し、表示装置１２４に供給する。これにより、選択された動画像が、表示装置１２４の画面上に再生表示される。

このように、実施例２の撮像装置１１０では、人物撮影情報に基づき、各サムネイル画像表示条件に対応するサムネイル画像を記録装置１２０に動画像と関連付けて記録する。サムネイル画像表示条件が３つあれば、最低でも３つのサムネイル画像が記録装置１２０に記録される。これにより、サムネイル画像一覧表示の際に、条件指定装置１１６で何れのサムネイル表示条件を選択しても、選択されたサムネイル表示条件に合致するサムネイル画像の一覧を迅速に表示できる。

図７を参照して、本実施例のサムネイル画像の記録動作を説明する。図７は、本実施例において人物撮影情報に応じてサムネイル画像を作成するフローチャートである。

カメラユニット１１２の撮影が開始されると、フレーム番号変数Ｉが０で初期化される（Ｓ６１）。カメラユニット１１２からの動画像データの最初のフレームがＩフレームとして人物解析装置１１４と記録装置１２０に取り込まれる（Ｓ６２）。記録装置１２０は、カメラユニット１１２からのＩフレームを、内蔵する記録媒体に記録する（Ｓ６３）。これと同時に、人物解析装置１１４は、人物解析装置１４と同様に、Ｉフレームの画像内に人物が含まれているか否かを解析する（Ｓ６４）。

撮影が終了するまで（Ｓ６５）、フレーム番号変数Ｉをインクリメントして（Ｓ６６）、ステップＳ６２，Ｓ６３，Ｓ６４の動作、即ち、フレームの取り込み（Ｓ６２）、フレーム毎の画像データの記録（Ｓ６３）及び人物解析（Ｓ６４）を繰り返す。

撮影が終了したら（Ｓ６５）、人物解析装置１１４は、収集したデータからなる人物撮影情報をサムネイル画像作成装置１１８に出力する（Ｓ６７）。サムネイル画像作成装置１１８は、人物解析装置１１４からの人物撮影情報と、条件指定装置１６で選択可能なサムネイル画像表示条件とに従って、先に説明したようにサムネイル画像を決定又は作成する（Ｓ６８）。サムネイル画像作成装置１１８は、サムネイル画像データ又はサムネイル画像となるべきフレームを示すポインタを記録装置１２０に記録する（Ｓ６９）。

図８を参照して、サムネイル画像一覧の表示動作を説明する。図８はサムネイル画像一覧表示の動作フローチャートである。

ユーザによりサムネイル画像一覧表示が要求されると（Ｓ７１）、メニュー画面等によりユーザによるサムネイル画像表示条件の選択を受け付ける（Ｓ７２）。画像出力装置１２２は、記録装置１２０に記録されている各カットに対して、ステップＳ７２で選択されたサムネイル画像表示条件に合致したサムネイル画像のみを読み出し（Ｓ７３）、表示装置１２４に出力する（Ｓ７４）。これにより、選択されたサムネイル画像表示条件に従うサムネイル画像が、表示装置１２４の画面上に一覧表示される。

記録装置１２０に記録されている動画像データの各カットに対して１枚のサムネイル画像が記録装置１２０から読み出される。例えば、サムネイル画像表示条件が全部で３つあるとすると、記録装置１２０には、カット毎に３枚のサムネイル画像が記録されている。しかし、サムネイル画像一覧表示で表示されるのは、３枚のサムネイル画像のうち、サムネイル画像表示条件に合致した１枚のサムネイル画像である。

図９は、本発明の実施例３である撮像装置の概略構成ブロック図である。本実施例の撮像装置２１０では、複数のカットの撮影（録画）が終了した後に、各カットに対するサムネイル画像を作成する。これを可能にするために、複数のカットの人物撮影情報を記憶する人物撮影情報記憶装置２１５を追加してある。

撮像装置２１０は、カメラユニット１２と同様の機能のカメラユニット２１２と、カメラユニット２１２からの動画像データを記録媒体に記録する記録装置２２０を具備する。記録装置２２０は、カメラユニット２１２からの動画像データを順次、内蔵する記録媒体に記録する。

撮像装置２１０は、動画像管理装置として代表画像としてのサムネイル画像を抽出又は作成する。代表画像作成のために、撮像装置２１０は、人物解析装置２１４、人物撮影情報記憶装置２１５、条件指定装置２１６及びサムネイル画像作成装置２１８を具備する。

人物解析装置２１４の基本機能は、人物解析装置１４の機能と同じである。即ち、人物解析装置２１４は、カメラユニット２１２から出力される動画像データに人物が含まれているか否かを１フレーム毎に解析し、上述の人物撮影情報をカット毎に人物撮影情報記憶装置２１５に格納する。

ユーザは、条件指定装置２１６を使って、サムネイル画像作成条件を指定し、サムネイル画像作成装置２１８に入力する。このサムネイル画像作成条件は、特許請求の範囲の代表画像条件に対応する。

サムネイル画像作成装置２１８は、特許請求の範囲の代表画像作成装置に対応する。サムネイル画像作成装置２１８は、人物撮影情報記憶装置２１５に記憶される複数カットの人物撮影情報と条件指定装置２１６からのサムネイル画像作成条件とに基づき、記録済みの動画像からサムネイル画像を作成する。作成されたサムネイル画像を示す情報が、記録装置２０に記録される。例えば、サムネイル画像作成装置２１８は、記録装置２２０に記録されているカット毎の動画像データから、サムネイル画像作成条件に合致する１フレームをサムネイル画像として切り出す。サムネイル画像作成条件に人物の存在を含めることで、人物を含むフレームをサムネイル画像にすることができる。

記録装置２２０は、カメラユニット２１２からの動画像データ及びサムネイル画像作成装置２１８からのサムネイル画像データを記録する。サムネイル画像は、動画像データの中でサムネイル画像として使用するフレームを示すポインタ情報であってもよい。人物解析装置２１４の解析結果による人物撮影情報を、記録済み動画像データの、対応するフレームの属性情報として記録装置２２０に記録しても良い。

画像出力装置２２２は、記録装置２２０からサムネイル画像データを読み出し、表示装置２２４にサムネイル画像一覧を出力する。これにより、ユーザは、記録装置２２０に記録された動画像のリストを代表画像付きで確認できる。

画像出力装置２２２はまた、サムネイル画像一覧で選択された動画像データを記録装置２２０から読み出し、表示装置２２４に供給する。これにより、選択された動画像が、表示装置２４の画面上に再生表示される。

図１０を参照して、本実施例の動画記録と人物撮影情報記憶の動作を説明する。図１０は、記録装置２２０による動画像データの記録と、人物撮影情報の人物撮影情報記憶装置２１５への記憶の動作フローチャートである。

カメラユニット２１２の撮影が開始されると、フレーム番号変数Ｉが０で初期化される（Ｓ８１）。カメラユニット２１２からの動画像データの最初のフレームがＩフレームとして人物解析装置２１４と記録装置２２０に取り込まれる（Ｓ８２）。記録装置２２０は、カメラユニット２１２からのＩフレームを、内蔵する記録媒体に記録する（Ｓ８３）。これと同時に、人物解析装置２１４は、Ｉフレームの画像内に人物が含まれているか否かを解析する（Ｓ８４）。人物解析装置２１４の動作は、図２を参照して説明した人物解析装置１４の動作と同じである。

撮影が終了するまで（Ｓ８５）、フレーム番号変数Ｉをインクリメントして（Ｓ８６）、ステップＳ８２，Ｓ８３，Ｓ８４の動作、即ち、フレームの取り込み（Ｓ８２）、フレーム毎の画像データの記録（Ｓ８３）及び人物解析（Ｓ８４）を繰り返す。

撮影が終了したら（Ｓ８５）、人物解析装置２１４は、収集したデータからなる人物撮影情報を人物撮影情報記憶装置２１５に格納する（Ｓ８７）。

複数カットの撮影が終了した後、ユーザからのサムネイル画像一覧表示の要求に従い、サムネイル画像作成装置２１８が各カット（又は、要求されたサムネイル画像一覧表示に含まれるカット）のサムネイル画像を作成する。そして、画像出力装置２２２が、作成されたサムネイル画像を使ってサムネイル画像の一覧を表示装置２２４の画面上に表示させる。

図１１は、これらのサムネイル画像一覧表示の動作フローチャートを示す。ユーザによりサムネイル画像一覧表示が要求されると（Ｓ９１）、メニュー画面等によりユーザによるサムネイル画像作成条件の選択を受け付ける（Ｓ９２）。条件指定装置２１６は、ユーザにより選択された１つのサムネイル画像作成条件をサムネイル画像作成装置２１８に供給する（Ｓ９３）。

サムネイル画像作成装置２１８は、人物撮影情報記憶装置２１５に記憶されているカット毎の人物撮影情報を取り込み（Ｓ９４）、サムネイル画像作成条件に合致するサムネイル画像をカット毎に作成する（Ｓ９５）。記録装置２２０は、サムネイル画像作成装置２１８により作成されたカット毎のサムネイル画像の情報を、対応する動画像データに関連続けて記録する（Ｓ９６）。

記録装置２２０に記録されている、サムネイル画像未作成の全カット（又は、サムネイル画像一覧表示要求でサムネイル画像を要求されたカット）に対して（Ｓ９７）、ステップＳ９４，Ｓ９５，Ｓ９６を繰り返す。

全カットに対してサムネイル画像を作成したら（Ｓ９７）、画像出力装置２２２は、サムネイル画像一覧表示要求でサムネイル画像を要求されたカットのサムネイル画像を記録装置２２０から読み出し（Ｓ９８）、一覧として表示装置２２４に出力する（Ｓ９９）。これにより、要求（Ｓ９１）されたサムネイル画像一覧が表示される。

上述した各実施例では、人物撮影状況に応じて、人物を含むフレームからサムネイル画像を作成するので、サムネイル画像一覧表示でも、各カットの内容をより把握しやすくなる。

上記各実施例では、動画に含まれる人物の解析を記録と並列に行っているが、記録済みの動画を再生して人物を解析し、その解析結果に基づき代表画像を選定しても良い。例えば、ＤＶＤレコーダ等で、記録再生動作の空き時間に実行すれば良い。又は、編集作業として、代表画像作成処理をユーザが選択して実行できるようにしてもよい。

本発明の実施例１の概略構成ブロック図である。 人物解析装置１４の動作フローチャートである。 人物解析結果を示す模式図である。 実施例１のサムネイル画像作成・記録の動作フローチャートである。 実施例１のサムネイル画像一覧表示の動作フローチャートである。 実施例２の概略構成ブロック図である。 実施例２のサムネイル画像作成・記録の動作フローチャートである。 実施例２のサムネイル画像一覧表示の動作フローチャートである。 実施例３の概略構成ブロック図である。 実施例３の人物撮影情報を取得・記憶する動作フローチャートである。 実施例３のサムネイル画像一覧表示の動作フローチャートである。 従来のサムネイル画像作成を説明する模式図である。 撮影された動画像の内容を示す模式図である。

符号の説明

１０，１１０，２１０ 撮像装置
１２，１１２，２１２ カメラユニット
１４，１１４，２１４ 人物解析装置
２１５ 人物撮影情報記憶装置
１６，１１６，２１６ 条件指定装置
１８，１１８，２１８ サムネイル画像作成装置
２０，１２０，２２０ 記録装置
２２，１２２，２２２ 画像出力装置
２４，１２４，２２４ 表示装置

Claims (10)

1. 撮像によって得られる動画像データを管理する動画像管理装置であって、
   前記動画像データにおける人物の撮影状況を解析し、人物撮影情報を出力する人物解析装置（１４，１１４）と、
   前記人物撮影情報に従い、前記動画像データから前記動画像データの内容を象徴する代表画像を作成する代表画像作成装置（１８，１１８）
   とを備えることを特徴とすることを特徴とする動画像管理装置。
2. さらに、代表画像条件を前記代表画像作成装置に指定する条件指定装置（１６）を備え、
   前記代表画像作成装置は、前記人物撮影情報と前記代表画像条件に従い、前記動画像データから前記代表画像を作成する
   ことを特徴とする請求項１に記載の動画像管理装置。
3. 前記条件指定装置は、複数の代表画像条件から一つの代表画像条件を選択可能であることを特徴とする請求項２に記載の動画像管理装置。
4. 前記複数の代表画像条件は、「撮影されている時間が最も長い人物が写っているフレーム」、「撮影されている人物の数が最も多いフレーム」、及び「撮影されている回数が最も多い人物が写っているフレーム」の内の１つ以上の条件を含むことを特徴とする請求項３に記載の動画像管理装置。
5. 前記人物撮影情報は、人物ごとに撮影されているか否かを時系列で表した情報であることを特徴とする請求項１に記載の動画像管理装置。
6. 前記代表画像作成装置は、１つの前記動画像データに対して少なくとも１枚の代表画像を作成することを特徴とする請求項１に記載の動画像管理装置。
7. 前記代表画像作成装置は、選択可能な代表画像条件ごとに、前記人物撮影情報に従い、前記動画像データから前記代表画像を作成すること特徴とする請求項１に記載の動画像管理装置。
8. 更に、
   前記代表画像作成装置により作成される代表画像に係る代表画像データを記録する記録装置（１２０）と、
   前記代表画像条件から１つの代表画像条件を指定する条件指定装置（１１６）と、
   前記条件指定装置により指定される前記１つの代表画像条件に合致する代表画像データを前記記録装置から読み出し、表示用に出力する画像出力装置（１２２）
   とを具備することを特徴とする請求項７に記載の動画像管理装置。
9. 前記人物撮影情報は、人物ごとに画像中央部に撮影されているか否かを時系列で表した情報であることを特徴とする請求項１又は８に記載の動画像管理装置。
10. 前記代表画像条件は、「画像中央部で撮影されている時間が最も長い人物が写っているフレーム」、「画像中央部で撮影されている人物の数が最も多いフレーム」、「画像中央部で撮影されている回数が最も多い人物が写っているフレーム」の内の１つ以上の条件を含むことを特徴とする請求項９に記載の動画像管理装置。

Images