JP2017098788A - 撮像装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数の重畳画像を連続して表示する場合に、ユーザにとって見易く、また見栄えがよくなるような重畳画像を生成することを目的とする。【解決手段】第１の撮像手段と、第２の撮像手段と、を有する撮像装置であって、撮影モードを設定する撮影モード設定手段と、モード設定手段により設定された撮影モードに応じて、第１の撮像手段により撮影された第１の画像に対する第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定手段と、第１の画像に、第２の画像を合成する合成手段とを有する。【選択図】図２

Description

本発明は、撮像装置、情報処理方法及びプログラムに関する。

近年、被写体を撮影するメインの撮像系（レンズ、撮像素子等）だけでなく、複数の撮像系を備える撮像装置が知られている。例えば、被写体方向とは逆向きのサブの撮像系を備え、２つの撮像系で同時に撮影し、重畳（合成）することで、撮影者の表情も同時に記録することができるカメラや携帯電話がある。特許文献１には、第１の撮像手段によって得られた画像に対する第２の撮像手段によって得られた画像の配置位置を調整可能とする撮像装置が開示されている。

特開２０１１−２１７１２１号公報

メイン・サブの２つの画像が重畳された、複数の重畳画像を連続して再生表示する場合がある。この場合には、複数の重畳画像において、重畳された画像の位置や大きさが異なっていると、ユーザにとって見難く、また見栄えが良くないという問題があった。

本発明はこのような問題点に鑑みなされたもので、複数の重畳画像を連続して表示する場合に、ユーザにとって見易く、また見栄えがよくなるような重畳画像を生成することを目的とする。

そこで、本発明は、第１の撮像手段と、第２の撮像手段と、を有する撮像装置であって、撮影モードを設定する撮影モード設定手段と、モード設定手段により設定された撮影モードに応じて、第１の撮像手段により撮影された第１の画像に対する第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定手段と、第１の画像に、第２の画像を合成する合成手段とを有することを特徴とする。

本発明によれば、複数の重畳画像を連続して表示する場合に、ユーザにとって見易く、また見栄えがよくなるような重畳画像を生成することができる。

デジタルカメラの背面図である。 デジタルカメラのハードウェア構成を示す図である。 静止画動画同時記録モードにおける処理を示すフローチャートである。 静止画動画同時記録モードにおける処理を示すフローチャートである。 静止画動画同時記録モードにおける処理を示すフローチャートである。 画像表示例を示す図である。 静止画の構成例を示す図である。 静止画動画同時記録モードにおける処理の説明図である。 インカメラ画像同時記録モードにおける処理を示すフローチャートである。 各撮影モードの処理の説明図である。 再生処理を示すフローチャートである。 チャプタ検索処理を示すフローチャートである。 チャプタ状態を表すデータ構造の概念図である。 画像選抜再生処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、撮像装置の一例としてのデジタルカメラ１００の背面図である。表示部２３は、画像や各種情報を表示する表示部である。シャッターボタン６０は、静止画撮影指示を行うための操作部である。動画撮影ボタン７０は、動画撮影指示を行うための操作部材である。操作部６２は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材より成る操作部である。操作部６２は、デジタルカメラ１００の電源ＯＮ、ＯＦＦを切り替える電源スイッチ、デジタルカメラ１００の動作モードを切り替えるモード切り替えスイッチを有している。操作部６２はまた、デジタルカメラ１００のメニュー設定を行うメニューボタン、メニューや設定を指示する十字キーボタン等を有している。記録媒体９１は、メモリカードやハードディスク等の記録媒体である。蓋９２は、記録媒体９１を収納するための蓋である。１０１は、デジタルカメラ１００を使用している撮影者側を撮影可能なレンズ、撮像素子からなるカメラモジュールである。

図２は、デジタルカメラ１００のハードウェア構成を示す図である。１１は、撮影レンズである。１２は、絞り機能を備えるシャッターである。１３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。１５は、撮像素子１３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。撮影レンズ１１、シャッター１２及び撮像素子１３は、被写体側をメイン画像として撮影するアウトカメラ１１０を構成する。１０は、撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。同様に１０１の撮影レンズは、撮影レンズ１１とは別にデジタルカメラ１００を使用している撮影者を撮影可能な方向に設置されているズームレンズ、フォーカスレンズを含むレンズ群である。１０２は、絞り機能を備えるシャッターである。１０３は、撮影者側の光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。撮影レンズ１０１、シャッター１０２及び撮像素子１０３は、撮影者側をサブ画像として撮影するインカメラ１２０を構成する。

１４は撮像素子１３，１０３、Ａ／Ｄ変換器１５、Ｄ／Ａ変換器２１にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及び制御部５０により制御される。２０は、画像処理回路であり、Ａ／Ｄ変換器１５からのデータ又はメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果を制御部５０に出力する。制御部５０は、例えばＣＰＵであり、デジタルカメラ１００全体を制御する。制御部５０は、演算結果に基づいて、露出制御部４０、測距制御部４１に対して制御を行い、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。画像処理回路２０は、撮像により得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。画像処理回路２０はさらに、メモリ２５に格納された画像を読み込んで、ＪＰＥＧ方式やＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式での圧縮処理又は伸長処理を行い、処理を終えたデータをメモリ２５に書き込む。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１５、タイミング発生器１４、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、メモリ２５を制御する。Ａ／Ｄ変換器１５のデータが画像処理回路２０、メモリ制御回路２２を介して、又はＡ／Ｄ変換器１５のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４又はメモリ２５に書き込まれる。２４は、画像表示メモリである。２１は、Ｄ／Ａ変換器である。２３は、ＴＦＴ ＬＣＤ等から成る表示部である。画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介して表示部２３に表示される。表示部２３を用いて撮像した画像データを逐次表示することにより、ライブ映像を表示する電子ファインダ機能を実現することができる。２５は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ２５は、制御部５０の作業領域としても使用することが可能である。

４０は、絞り機能を備えるシャッター１２、１０２を個別に制御する露光制御部である。４１は、撮影レンズ１１、１０１のフォーカシングを個別に制御する測距制御部である。４２は、撮影レンズ１１、１０１のズーミングを個別に制御するズーム制御部である。４３は、バリアである保護部１０の動作を制御するバリア制御部である。５１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。５１には、プログラムだけでなく、地図情報等も記録されている。なお、後述するデジタルカメラ１００の機能や情報処理は、制御部５０が不揮発性メモリ５１に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

６０、６１及び６２は、制御部５０の各種の動作指示を入力するための操作手段である。操作手段６０〜６２は、電源スイッチ、モード切り替えスイッチ、メニューボタン、十字キー、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。６０は、シャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなる。シャッタースイッチＳＷ１は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６１は、シャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなる。シャッタースイッチＳＷ２は、露光処理、現像処理、記録処理という一連の処理の動作開始を指示する。ここで、露光処理は、撮像素子１３から読み出した信号をＡ／Ｄ変換器１５、メモリ制御回路２２を介してメモリ２５に画像データを書き込む処理である。現像処理は、画像処理回路２０やメモリ制御回路２２での演算を用いる処理である。記録処理は、メモリ２５から画像データを読み出し、画像処理回路２０により圧縮を行い、メモリ２５に格納した後にカードコントローラ９０を介して、外部記録媒体９１に画像データを書き込む処理である。

６２は、各種ボタンやタッチパネル等からなる操作部である。操作部６２は、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタン等である。操作部６２はまた、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタンである。操作部６２はまた、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等である。

８１は、電源制御部である。８０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。９０は、メモリカード等の外部記録媒体とデータの送受信を行うカードコントローラである。９１は、メモリカード等の外部記録媒体である。

図３〜図５は、デジタルカメラ１００による、静止画動画同時記録モードにおける処理を示すフローチャートである。本実施形態に係るデジタルカメラ１００は、ユーザにより操作部６２に含まれるモード切り替えスイッチが切り替えられると、動作モードを、静止画動画同時記録モードに設定することができる（撮影モード設定処理）。ここで、静止画動画同時記録モードとは、一回のレリーズで静止画と、そのレリーズ以前の動画と、レリーズ後の動画と、を同時に記録するモ動作モードである。なお、以下、アウトカメラ１１０により撮影された動画及び静止画をそれぞれメイン動画及びメイン静止画と称することとする。また、適宜、メイン動画及びメイン静止画をメイン画像と総称する。また、インカメラ１２０により撮影された動画及び静止画をそれぞれサブ動画及びサブ静止画と称することとする。また、適宜、サブ動画及びサブ静止画をサブ画像と総称する。

デジタルカメラ１００において、静止画動画同時記録モードに設定されると、ステップＳ３００において、制御部５０は、検出情報を取得する。検出情報は、カメラ状態を含む。カメラ状態は、例えばデジタルカメラ１００の１０１の光軸を中心とした回転姿勢角度（０度、９０度、１８０度、２７０度）であり、９０度、１８０度とはいわゆる縦撮り撮影にあたる。検出情報はまた、デジタルカメラ１００のズーム制御状態、オートフォーカス制御状態等を含む。制御部５０はまた、被写体情報として例えば被写体輝度情報、被写体距離情報等を取得する。

これらの情報は後述の画像生成処理（ステップＳ３０１）における画質調整のためのパラメータとして使用される他、図１３で後述するチャプタ状態情報として画像ファイルに記録され再生処理において利用される。なお、後述するように本処理で撮影される静止画と動画の追記単位（チャプタ）は関連付けがなされるので、この情報の記録先は動画ファイルのヘッダ情報であっても、対応する静止画ファイルのヘッダ情報であってもよい。

ステップＳ３０１において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１３の出力を基に、アウトカメラ１１０により撮影された画像を生成する。ステップＳ３０１において生成された画像は、ライブビュー表示に用いられるライブ画像である。以下、ステップＳ３０１において、アウトカメラ１１０により撮影された画像を表示用メイン画像と称する。次に、ステップＳ３０２において、制御部５０は、ステップＳ３０１と同様に撮像素子１３の出力を基に、アウトカメラ１１０により撮影された画像（動画）を生成する。以下、ステップＳ３０２において、アウトカメラ１１０により撮影された、記録用の画像を、記録用メイン動画と称する。

次に、ステップＳ３０３において、制御部５０は、デジタルカメラ１００に設定されているインカメラ撮影機能の有効無効の設定を確認する。インカメラ撮影機能の有効無効は、予めユーザにより設定されているものとする。制御部５０は、インカメラ撮影機能が有効と設定されている場合には（ステップＳ３０３でＹｅｓ）、処理をステップＳ３０４へ進める。制御部５０は、インカメラ撮影機能が無効と設定されている場合には（ステップＳ３０３でＮｏ）、処理をステップＳ３１０へ進める。

ステップＳ３０４において、制御部５０は、インカメラ１２０により撮影された画像をアウトカメラ１１０により撮影された画像上に重畳する際のインカメラ１２０により撮影された画像の合成位置及び合成サイズを確認する。なお、インカメラ１２０により撮影された画像の合成位置及び合成サイズは予め定められており例えばデジタルカメラ１００の不揮発性メモリ５１等に記録されている。なお、インカメラ１２０により撮影された画像の合成位置及び合成サイズは、撮影モードに応じて決定されるものである。本実施形態においては、静止画、動画同時記録モードに対して設定されている合成位置及び合成サイズを第１の合成位置及び第１の合成サイズと称することとする。合成位置及び合成サイズについては、図１０を参照しつつ、後に詳述する。

次に、ステップＳ３０５において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に、インカメラ１２０により撮影された画像を生成する。ここで、制御部５０は、第１の合成サイズの画像を生成する。ステップＳ３０５において生成された画像は、ライブビュー表示に用いられるライブ画像である。以下、Ｓ３０５において生成された画像を表示用サブ画像と称する。

次に、ステップＳ３０６において、制御部５０は、ステップＳ３０１で生成した表示用メイン画像と、ステップＳ３０５で生成した表示用サブ画像と、を合成して、表示用合成画像を生成する。具体的には、制御部５０は、表示用サブ画像を表示用メイン画像の第１の合成位置に重畳することにより、表示用合成画像を生成する。次に、ステップＳ３０７において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に、第１の合成サイズの記録用サブ動画を生成する。次に、ステップＳ３０８において、制御部５０は、ステップＳ３０２で生成した記録用メイン動画と、ステップＳ３０７で生成した記録用サブ動画と、を合成して、記録用合成動画を生成する。具体的には、制御部５０は、ステップＳ３０６と同様に記録用サブ動画を記録用メイン動画の第１の合成位置に重畳することにより、記録用合成動画を生成する。

次に、ステップＳ３０９において、制御部５０は、ステップＳ３０６において生成した表示用合成画像を表示部２３に表示するよう制御する（表示制御処理）。その後、制御部５０は、処理をステップＳ３１１へ進める。図６（ａ）は、表示用合成画像の表示例を示す図である。表示用合成画像６００は、表示用メイン画像６０１の所定の位置に、表示用サブ画像６０２が重畳されたものである。表示部２３への画像の表示では、新しく撮影された画像で逐次更新される。すなわち、メサブ画像であるアウトカメラ１１０のライブ画像に、サブ画像となるインカメラ１２０のライブ画像が合成された画像がライブビュー表示として表示部２３に表示される。

一方、ステップＳ３１０において、制御部５０は、ステップＳ３０２において生成した表示用メイン画像をライブ画像として表示部２３に表示するよう制御する。その後、制御部５０は、処理をステップＳ３１１へ進める。図６（ｂ）は、表示用メイン画像６１０の表示例を示す図である。このように、インカメラ撮影機能が有効に設定されている場合には、表示用メイン画像に表示用サブ画像が合成された表示用合成画像がライブビュー表示として表示される。一方で、インカメラ撮影機能が無効に設定されている場合には、表示用メイン画像がライブビュー表示として表示される。

ステップＳ３１１において、制御部５０は、記録用合成動画を画像処理回路２０に含まれる動画圧縮処理を用いて、動画データへと圧縮し、メモリ２５に格納する。制御部５０はまた、動画データの圧縮とともに不図示のスピーカー等で入力された音声データについても音声圧縮処理を用いて圧縮し、メモリ２５に格納する。次に、ステップＳ３１２において、制御部５０は、静止画、動画同時記録モードからのモード変更が行われたか確認する。モード切り替えスイッチによる撮影モードの変更や再生モードへの移行、メニューボタンによる設定メニューへの移行、電源スイッチによる電源ＯＦＦなどがモード変更に含まれる。

制御部５０は、モード変更が行われなかった場合には(ステップＳ３１２でＹｅｓ)、処理を図４に示すステップＳ４００へ進める。制御部５０は、モード変更が行われた場合には（ステップＳ３１２でＮｏ）、動画圧縮処理を終了し、メモリ２５に格納していた動画データ及び音声データを破棄して、静止画、動画同時記録モードを終了する。

ステップＳ４００において、制御部５０は、メニューボタンによる設定メニュー以外の操作部６２を介してユーザから撮影設定の変更指示が行われたか確認する。設定項目としては、ホワイトバランス、露出補正値、ＭＦ・マクロ撮影等のフォーカス方法の切り替え、静止画の画像サイズや圧縮率など撮影時に被写体や状況に応じて、即座に切り替えが必要となる撮影条件が含まれる。これらの設定は、操作部６２に含まれる割り当てられた撮影設定変更ボタンや表示部２３に併設されたタッチパネルへの動作に応じて、表示中の画面にＧＵＩ画面を一時的に重畳してユーザが設定を変更できるように提供する。

制御部５０は、ユーザにより撮影設定変更が指示された場合には（ステップＳ４００でＹｅｓ）、処理をステップＳ４０１へ進める。制御部５０は、ユーザによる撮影設定変更が指示されなかった場合には(ステップＳ４００でＮｏ)、処理をステップＳ４０２へ進める。ステップＳ４０１において、制御部５０は、ユーザによる撮影設定変更の指示に応じて撮影設定を変更する。次にステップＳ４０２において、制御部５０は、インカメラ表示の設定変更が行われたか否かを確認する。インカメラ表示に関しても撮影設定と同様に設定メニューを使用せず設定可能としている。設定可能な項目としては、表示位置、インカメラの表示の有効・無効がある。表示位置に関しては、右上、右下、左上、左下の4種類の中で設定可能である。

制御部５０は、インカメラ表示の設定変更がされた場合には（ステップＳ４０２でＹｅｓ）、処理をステップＳ４０３へ進める。制御部５０は、インカメラ表示の設定変更がなかった場合には（ステップＳ４０２でＹｅｓ）、処理をステップＳ４０７へ進める。ステップＳ４０３において、制御部５０は、動画圧縮処理を停止し、メモリ２５に格納していた動画データ、音声データを破棄する。これは、インカメラ表示の設定を変更するとそれまでに記録された動画データとこれから撮影される動画データでインカメラ表示の切り替わりが記録され、動画データの品位が低下することを防ぐ目的がある。

次に、ステップＳ４０４において、制御部５０は、インカメラ表示の有効・無効設定が変更されたか否かを確認する。制御部５０は、インカメラ表示設定の有効・無効が切り替えられた場合には（ステップＳ４０４でＹｅｓ）、処理をステップＳ４０５へ進める。ステップＳ４０５において、制御部５０は、インカメラ設定の有効・無効をユーザの指示に従って設定する。制御部５０は、その後処理をステップＳ３００へ進める。制御部５０は、インカメラ表示の位置及びサイズのうち少なくとも一方が変更された場合には（ステップＳ４０４でＮｏ）、処理をステップＳ４０６へ進める。ステップＳ４０６において、制御部５０は、変更内容を更新する。その後、処理をステップＳ３００へ進める。なお、ステップＳ３００へ進んだ場合には、制御部５０は、新たな設定に応じて、再び表示部２３への表示や動画データの作成を行う。

ステップＳ４０７において、制御部５０は、シャッタースイッチＳＷ１（６０）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ１が押下された場合には（ステップＳ４０７でＹｅｓ）、処理をステップＳ４０８へ進める。制御部５０は、シャッタースイッチＳＷ１が押下されなかった場合には（ステップＳ４０７でＮｏ）、処理をステップＳ３００へ進める。ステップＳ４０８において、制御部５０は、デジタルカメラ１００に設定されているフォーカスモードや露出モードに応じた合焦・露出処理を行う。なお、図示しないがステップＳ４０８においても、ステップＳ３００における処理と同様に、検出情報の取得が行われる。

次に、ステップＳ４０９において、制御部５０は、シャッタースイッチＳＷ２（６１）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ２が押下された場合には（ステップＳ４０９でＹｅｓ）、処理をステップＳ４１０へ進める。制御部５０は、シャッタースイッチＳＷ２が押下されなかった場合には（ステップＳ４０９でＮｏ）、処理をステップＳ４０７へ進める。ステップ４１０において、制御部５０は、表示部２３による画像表示を停止すると共に、動画圧縮処理を一時停止させる。ここでは、メモリ２５に格納された動画データ、音声データは保持しておく。

次に、ステップＳ４１１において、制御部５０は、撮像素子１３の出力を基に記録用の静止画データを撮影する。以下、ステップＳ４１１により得られた静止画を記録用メイン静止画と称する。次に、ステップＳ４１２において、制御部５０は、記録用メイン静止画から撮影後の画像確認用のレビュー画像を生成する。次に、ステップＳ４１３において、制御部５０は、ステップＳ４１１において画像処理回路２０に含まれる静止画圧縮処理等を用いて記録用のＪＰＥＧデータを生成し、メモリ２５に格納する。

制御部５０は、その後、図５に示す撮影後処理を行う。すなわち、制御部５０は、ステップＳ４１３の処理の後、処理を図５に示すステップＳ５００へ進める。ステップＳ５００において、制御部５０は、ステップＳ４１３においてメモリ２５に格納されたＪＰＥＧデータを外部記録媒体９１に記録するよう制御する（記録制御処理）。次に、ステップＳ５０１において、制御部５０は、メモリ２５に格納した動画データが所定の記録時間ｔ０より長いか否かの判定を行う。制御部５０は、記録時間ｔ０より長いと判定した場合は（ステップＳ５０１でＹｅｓ）、処理をステップＳ５０２へ進める。制御部５０は、記録時間ｔ０以下と判定した場合は（ステップＳ５０１でＹｅｓ）、処理をステップＳ５０３へ進める。

ステップＳ５０２において、制御部５０は、メモリ２５に格納していた動画データ及び音声データを外部記録媒体９１に記録し、その後処理をステップＳ５０４へ進める。ステップＳ５０３において、制御部５０は、メモリ２５に格納していた動画データ及び音声データを破棄し、その後処理をステップＳ５０４へ進める。ステップＳ５０４において、制御部５０は、ステップＳ４１２で作成したレビュー用画像を、表示部２３に表示するよう制御する。次に、ステップＳ５０５において、制御部５０は、インカメラ設定が有効か無効かの判定を行う。制御部５０は、インカメラ設定が有効の場合は（ステップＳ５０５でＹｅｓ）、処理をステップＳ５０６へ進める。制御部５０は、インカメラ設定が無効の場合は（ステップＳ５０５でＮｏ）、処理をステップＳ５１７へ進める。

ステップＳ５０６において、ステップＳ４１１で撮影された記録用メイン静止画から動画記録用のストップモーション画像を生成する。ここで、静止画と動画のアスペクトが異なる場合は、制御部５０は、静止画がすべて表示されるようにリサイズ処理を行い、静止画の表示領域以外は黒塗りする。例えば、静止画のアスペクトが４：３で動画のアスペクトが１６：９の場合、制御部５０は、左右の領域を黒塗りしたストップモーション画像を生成する。以下、ステップＳ５０７からステップＳ５１２の処理は、ステップＳ３０５からステップＳ３０９、ステップＳ３１１の処理と同様である。

ステップＳ５１２の処理の後、制御部５０は、処理をステップＳ５１３へ進める。ステップＳ５１３において、制御部５０は、ステップＳ５１２にて圧縮した動画データが所定の記録時間ｔ１より長いか否かの判定を行う。制御部５０は、記録時間ｔ１よりも長いと判定した場合は（ステップＳ５１３でＹｅｓ）、処理をステップＳ５１９へ進める。制御部５０は、記録時間ｔ１以下と判定した場合は（ステップＳ５１３でＮｏ）、処理をステップＳ５０８へ進める。

一方、ステップＳ５１４において、制御部５０は、ステップＳ５０３の動画データのキャンセル処理が行われたか否かの判定を行う。制御部５０は、キャンセル処理が行われたと判定した場合は（ステップＳ５１４でＹｅｓ）、撮影後処理を終了する。制御部５０は、キャンセル処理が行われなかったと判定した場合（ステップＳ５１４でＮｏ）、処理をステップＳ５１５へ進める。テップＳ５１５において、制御部５０は、ストップモーション設定が入か切かの判定を行う。制御部５０は、ストップモーション設定が入の場合は（ステップＳ５１５でＹｅｓ）、処理をステップＳ５１６へ進める。制御部５０は、ストップモーション設定が切の場合は（ステップＳ５１５でＮｏ）、撮影後処理を終了する。

ステップＳ５１６の処理は、ステップＳ５０６の処理と同様である。制御部５０は、ステップＳ５１６の処理の後、処理をステップＳ５１７へ進める。ステップＳ５１７の処理は、ステップＳ５１２の処理と同様である。ただし、ここで圧縮する音声データは不揮発性メモリ５１に予め記憶してあるシャッター音データ及び無音データである。制御部５０は、Ｓ５１７の処理の後、処理をステップＳ５１８へ進める。ステップＳ５１８において、制御部５０は、ステップＳ５１７においてエンコードした動画データが所定の記録時間ｔ２より長いか否かの判定を行う。制御部５０は、記録時間ｔ２よりも長いと判定した場合は（ステップＳ５１８でＹｅｓ）、処理をステップＳ５１９へ進める。制御部５０は、記録時間ｔ２以下と判定した場合には（ステップＳ５１８でＮｏ）、処理をステップＳ５１７へ進める。

ステップＳ５１９の処理は、ステップＳ５０４の処理と同様である。次に、ステップＳ５２０において、制御部５０は、ステップＳ５１２またはステップＳ５１７にて圧縮した動画データを外部記録媒体９１に記録する。ステップＳ５０２で撮影前の動画データを記録している場合には、制御部５０は、その動画データと同じファイルに追記して記録することとする。次に、ステップＳ５２１において、制御部５０は、ステップＳ５２０における動画データの記録が完了したか否かの判定を行う。制御部５０は、動画データの記録が完了するまで待機し、動画データの記録が完了したと判定すると（ステップＳ５２１でＹｅｓ）、撮影後処理を終了する。

図７は、デジタルカメラ１００が扱う静止画の構成例である。７０１は画像の属性情報を記載するヘッダ部である。７０２は画像を記録した撮像象値のメーカー名、７０３はこの画像を記録した撮像象値のモデル名、７０４はこの画像の撮影日時、７０５は被写体輝度であり、撮影画像の白飛び、黒つぶれ等を判断できる。７０６は合焦度で、オートフォーカスによる焦点合わせ動作結果の精度を表し、ボケ画像等の判断ができる。７０７はお気に入り度であり、ユーザ指示により画像の優先度を付与することができ、一般的には−１〜５の数値が使用され、−１は気に入らない除外画像、０は優先度なしの画像、１〜５は数値に比例して優先される（気に入ったとされる）。７０８はその他の設定、たとえばサムネイル画像、使用者情報等である。７０９は静止画像データ本体である。

図８（ａ）は、静止画及び関連する動画の撮影の時系列を示す図である。図８（ｂ）は、撮影された静止画及び動画の保存形態を示す模式図である。図８（ｃ）は、チャプタ参照情報の構成例を示す図である。まず、図８（ａ）を用いて撮影指示及び撮影画像の時系列を説明する。前述したように静止画・動画撮影同時記録モードではユーザが操作部６２のＳＷ２ ６１を操作することにより静止画の直前動画及びストップモーション画像のうち少なくとも一方が撮影される。Ｐ１はレリーズ１の撮影指示に応じて撮影される静止画であり、Ｍ１は静止画Ｐ１に関連した動画である。同様にレリーズ２〜レリーズ３に応じて撮影される静止画Ｐ２〜Ｐ３に関連した動画はそれぞれ、Ｍ２〜Ｍ３となる。

次に、図８（ｂ）を用いて図８（ａ）で説明した撮影操作に従って撮影された静止画Ｐ１〜Ｐ３及び動画Ｍ１〜Ｍ３の記録媒体９１上での保存順を説明する。レリーズ１により撮影された動画Ｍ１はＤＣＦ規則に則り記録媒体９１内の撮影日を表すディレクトリ「１００＿１０１０」（８２１）に動画ファイル「ＭＤＧ＿０００１．ＭＯＶ」（８２２）として保存される。以降のファイル名決定もＤＣＦ規則に従うこととする。一方、同時に撮影された静止画Ｐ１は静止画ファイル「ＩＭＧ＿０００２．ＪＰＧ」（８２７）として同ディレクトリに保存される。ここで、Ｍ１は、第一のチャプタ（８２４）として、撮影時間情報文字列とともに動画ストリームとして記録される。

次にレリーズ２により撮影された動画Ｍ２は、動画ファイル「ＭＤＧ＿０００１．ＭＯＶ」に追記される。一方、同時に撮影された静止画Ｐ２は、静止画ファイル「ＩＭＧ＿０００３．ＪＰＧ」（８２９）として同ディレクトリに保存される。ここで、Ｍ２は、静止画・動画撮影同時記録モードにおける第二のチャプタ記録形態として例えばＰ２のストップモーションとともに記録される（８２５）。

次にレリーズ３により撮影された動画Ｍ３は、静止画・動画撮影同時記録モードにおける第三のチャプタ記録形態として例えばＭ３を使用せずに、Ｐ３のストップモーションのみの記録とする（８２６）。これは例えばＭ３の撮影時間が十分でなくチャプタに採用するには不適切な時などである。一方、同時に撮影された静止画Ｐ３は、静止画ファイル「ＩＭＧ＿０００４．ＪＰＧ」（８２９）として同ディレクトリに保存される。一方、動画ファイル「ＭＤＧ＿０００１．ＭＯＶ」への前記チャプタ追記の毎にチャプタ参照情報がヘッダ部に記載される（８２３）。

図８（ｃ）を用いてチャプタ参照情報（８２３）の詳細について説明する。８３１は、画ファイルサイズであり、チャプタ追記の度にファイルエントリに記載の動画ファイルサイズの値に更新される。８３２は、動画総フレーム数であり、同様にチャプタ追記の度に合計のフレーム数で更新される。８３３は、チャプタ番号であり、チャプタ毎に後述する各チャプタ情報がチャプタ追記毎に追加されていく。８３４は、チャプタの撮影日時であり、本実施形態においては、関連する静止画の撮影日時と同じものが設定される。

８３５は、チャプタの開始フレームであり、この情報をもとに各チャプタの直接再生が可能となる。８３６は、各チャプタのフレーム数であり、この情報をもとにチャプタの再生フレーム数を決定可能となる。８３７は、インカメラ画像の有無、合成位置及び合成サイズであり、この情報をもとにインカメラ画像の有無に応じた再生制御、一例としてインカメラ画像のあるチャプタのみの連続再生等が行える。またサブ画像の合成位置及び合成サイズを記録することにより、サブ画像のみのトリミング切り出し再生も可能になる。

８３８は、ストップモーションの有無及びフレーム範囲を示す。ここではチャプタ内の相対フレーム情報として表現されている。チャプタ１に対する情報は０−０であり、これはストップモーションが無いことを明示的に表すこととする。チャプタ２に対する情報９０−１７９はチャプタ内先頭から９０フレームより１７９フレームがストップモーションであることを表す。ここでチャプタ２はフレーム数が１８０フレームであることから、後半半分がストップモーションとなる。チャプタ３に対する情報は０−１７９であり、チャプタ３のフレームカウントが１８０であることからチャプタ３はすべてがストップモーションであることを表す。この情報により、各チャプタと各対応する静止画の重複関係、すなわちストップモーションの有無及びフレーム位置の判定が可能となる。したがって、チャプタ群及び対応する静止画群を選抜して再生する場合、再生フレームまたは静止画の制御を行うことにより、重複の無い再生を行うことが可能となる。

ここで述べたチャプタ参照情報は動画の部分削除等の編集の度にも動画ストリームと整合性を保つためにメンテナンスする必要があり、デジタルカメラ１００は、６３１〜６３８の情報を編集内容に応じて適切にメンテナンスを行う。一方、このチャプタ参照情報を解釈できない編集機器がこの動画を編集した場合チャプタ参集情報と動画ストリームの整合が崩れ不適格なフレームを指示することになる。このため、デジタルカメラ１００は、チャプタ参照情報を使用する際、同時に記載されているファイルサイズ（８３１）がファイルエントリに記載されているファイルサイズと一致するかの判定を行う。デジタルカメラ１００は、不一致が起これば、チャプタン参照情報の整合が取れないと判断し、チャプタ参書情報を使用しない。また、他の例としては、デジタルカメラ１００は、不一致を検出した場合、ストリーム中のチャプタ情報等からチャプタ参照情報を作り直してもよい。

図９は、デジタルカメラ１００による、インカメラ画像同時記録モードにおける処理を示すフローチャートである。インカメラ画像同時記録モードは、デジタルカメラ１００の操作部６２に含まれるモード切り替えスイッチで選択することが可能な、メイン静止画及びメイン動画の撮影を行うとサブ画像も同時に記録し撮影したメイン画像にサブ画像を合成するモードである。ここでは例としてメイン静止画の撮影を行うとサブ静止画も同時に記録し、メイン静止画にサブ静止画を合成する処理について説明する。

デジタルカメラ１００において、インカメラ画像同時記録モードが選択されると、ステップＳ９００において、制御部５０は、検出情報を取得する。ステップＳ９００の処理は、図３を参照しつつ説明したステップＳ３００の処理と同様である。なお、検出情報は、後述のステップＳ９０１における画質調整のためのパラメータに使用されるほか、図１０を参照しつつ後述するチャプタ状態情報として画像ファイルに記録され再生処理において利用される。次に、ステップＳ９０１において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１３の出力を基に、表示用メイン画像を生成する。

次に、ステップＳ９０２において、制御部５０は、インカメラ１２０により撮影された画像をアウトカメラ１１０により撮影された画像上に重畳する際のインカメラ１２０により撮影された画像の合成位置及び合成サイズを確認する。なお、インカメラ１２０により撮影された画像の合成位置及び合成サイズは予め定められており例えばデジタルカメラ１００の不揮発性メモリ５１等に記録されている。本実施形態においては、インカメラ画像同時記録モードに対して設定されている合成位置及び合成サイズを第２の合成位置及び第２の合成サイズと称することとする。合成位置及び合成サイズについては、図１０を参照しつつ、後に詳述する。

次に、ステップＳ９０３において、制御部５０は、露出制御部４０によって制御された適正露出の撮像素子１０３の出力を基に、表示用サブ画像を生成する。ここで、制御部５０は、第２の合成サイズの表示用サブ画像を生成する。次に、ステップＳ９０４において、制御部５０は、ステップＳ９０１で作成した表示用メイン画像と、ステップＳ９０３で生成した表示用サブ画像と、を合成して、表示用合成画像を生成する。具体的には、制御部５０は、表示用サブ画像を表示用メイン画像の第２の合成位置に重畳することにより、表示用合成画像を生成する。

次に、ステップ９０５において、制御部５０は、表示用合成画像を表示部２３に表示する。このとき表示される画像は、例えば、図６（ａ）に示すように、サブ画像がメイン画像に重畳されたものとなる。次に、ステップＳ９０６において、制御部５０は、インカメラ画像同時記録モードからのモード変更が行われたか否かを確認する。本処理は、図３を参照しつつ説明したステップＳ３１２の処理と同様である。制御部５０は、モード変更が行われた場合は（ステップＳ９０６でＹｅｓ）、インカメラ画像同時記録モードを終了する。制御部５０は、モード変更が行われなかった場合には（ステップＳ９０６でＮｏ）、処理をステップＳ９０７へ進める。

ステップＳ９０７において、制御部５０は、メニューボタンによる設定メニュー以外の設定手段で撮影設定の変更が行われたか確認する。本処理は、図４を参照しつつ説明したステップＳ４００の処理と同様である。制御部５０は、ユーザにより撮影設定変更が指示された場合には（ステップＳ９０７でＹｅｓ）、処理をステップＳ９０８へ進める。制御部５０は、ユーザによる撮影設定変更が指示されなかった場合には(ステップＳ９０７でＮｏ)、処理をステップＳ７０９へ進める。ステップＳ９０８において、制御部５０は、ユーザによる撮影設定変更の指示に応じて撮影設定を変更する。次にステップＳ９０９において、制御部５０は、インカメラ表示の設定変更が行われたか否かを確認する。

制御部５０は、インカメラ表示の設定変更がされた場合には（ステップＳ９０９でＹｅｓ）、処理をステップＳ９１０へ進める。制御部５０は、インカメラ表示の設定変更がなかった場合には（ステップＳ９０９でＮｏ）、処理をステップＳ９１１へ進める。ステップ９１０において、制御部５０は、変更内容をそれぞれ変更する。制御部５０は、その後、処理をステップＳ９００へ進め、新たに設定された内容に応じて再度、表示部２３への表示データの作成を行う。

ステップＳ９１１において、制御部５０は、シャッタースイッチＳＷ１（６０）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ１が押下された場合には（ステップＳ９１１でＹｅｓ）、処理をステップＳ９１２へ進める。制御部５０は、シャッタースイッチＳＷ１が押下されなかった場合には(ステップＳ９１１でＮｏ)、処理をステップＳ９００へ進める。ステップＳ９１２において、制御部５０は、デジタルカメラ１００に設定されているフォーカスモードや露出モードに応じた合焦・露出処理を行う。なお、図示しないがステップＳ９１２においても、ステップＳ３００における処理と同様に、検出情報の取得が行われる。

次に、ステップＳ９１３において、制御部５０は、シャッタースイッチＳＷ２（６１）が押下されたか否かを確認する。制御部５０は、シャッタースイッチＳＷ２が押下された場合には（ステップＳ９１３でＹｅｓ）、処理をステップＳ９１４へ進める。制御部５０は、シャッタースイッチＳＷ２が押下されなかった場合には（ステップＳ９１３でＮｏ）、処理をステップＳ９１１へ進める。ステップＳ９１４において、制御部５０は、撮像素子１３の出力を基に記録用の静止画データを撮影する。以下、ステップＳ９１４において得られた静止画を記録用メイン静止画と称する。次に、ステップＳ９１５において、制御部５０は、撮像素子１０３の出力を基に記録用の静止画データを撮影する。以下、ステップＳ９１５において得られた静止画を記録用サブ静止画と称する。

次に、ステップＳ９１６において、制御部５０は、ステップＳ９１４で撮影した記録用メイン静止画と、ステップＳ９１５で撮影した記録用サブ静止画と、を合成して、記録用合成静止画を生成する。具体的には、制御部５０は、第２の合成サイズの記録用サブ静止画を記録用メイン静止画の第２の合成位置に重畳することにより、記録用合成静止画を生成する。次に、ステップＳ９１７において、制御部５０は、記録用合成静止画から撮影後の画像確認用のレビュー画像を生成する。次に、ステップＳ９１８において、制御部５０は、ステップＳ４１１において画像処理回路２０に含まれる静止画圧縮処理等を用いて記録用のＪＰＥＧデータを生成し、メモリ２５に格納する。次に、ステップＳ９１９において、制御部５０は、ステップＳ９１８においてメモリ２５に格納されたＪＰＥＧデータを外部記録媒体９１に記録し、処理をステップＳ９００へ進める。

図１０は、静止画・動画同時記録モード及びインカメラ画像同時記録モードそれぞれにおける、ライブビュー表示時のインカメラ画像の表示位置及び表示サイズと、記録時のインカメラ画像の合成位置及び合成サイズを示す図である。さらに、図１０には、後述する画像再生処理における画像再生時の画像の表示状態を示している。図１０には、サブ画像を右下に配置するように設定されている場合を示している。なお、本実施形態の表示部２３は、アスペクト比が４：３の表示領域を有しており、この表示領域に画像が表示される。

（ａ−１）は、インカメラ画像同時記録モードにおいて、表示部２３に表示されるライブビュー表示を示している。表示部２３には、アウトカメラ１１０で撮影されたメインのライブ画像１００１の上に、インカメラ１２０で撮影されたサブのライブ画像が合成されたライブ画像１０００が表示される。インカメラ画像同時記録モードにおいては、アスペクト比４：３の静止画が記録されるので、アスペクト比４：３のメインのライブ画像１００１が表示部２３の表示領域全体に表示される。（ａ−２）は、インカメラ画像同時記録モードにおいて記録媒体９１に記録される画像（静止画）１０１０を示している。インカメラ画像同時記録モードでは、アスペクト比４：３の静止画が記録されるので、アスペクト比４：３のメイン画像１０１１上に、サブ画像１０１２が合成されて記録される。

（ｂ−１）には、静止画・動画同時記録モードにおいて、表示部２３に表示されるライブビュー表示を示している。表示部２３には、アウトカメラ１１０で撮影されたメインのライブ画像１０２１の上に、インカメラ１２０で撮影されたサブのライブ画像１０２２が合成されたライブ画像１０２０が表示される。

（ｂ−２１）は、静止画・動画同時記録モードにおいて記録媒体９１に記録される動画を示している。（ｂ−２２）には、静止画・動画同時記録モードにおいて記録媒体９１に記録される静止画を示している。静止画・動画同時記録モードでは、静止画については、インカメラ１２０で撮影された画像を合成せずに、アウトカメラ１１０で撮影された画像のみが記録される。また、静止画・動画同時記録モードにおいて、画はアスペクト比が１６：９となるサイズで記録されるのに対し、静止画はアスペクト比が４：３のサイズで記録される。このため、静止画が記録される撮影領域の上下を切り取った領域が、動画として記録される。そして、インカメラ１２０で撮影されたライブ画像１０３２は、ライブ画像１０３１のうち、領域１０２３ａ，１０２３ｂと重ならない領域に合成されて記録される。これに対応し、（ｂ−１）に示すライブ画像１０２０においても、サブのライブ画像１０２２の表示位置及び表示サイズは、領域１０２３ａ，１０２３ｂと重ならない位置及びサイズとなっている。なお、図８（ｂ−１）の点線は説明のために記したものであって、ライブビュー表示には表示されない。なお、図１０の右側に示す画像選抜再生については、画像選抜再生処理の説明後に説明することとする。

操作部６２からの指示信号により再生モードが確定すると、制御部５０は、再生処理を開始する。図１１は、再生処理を示すフローチャートである。再生モードに移行すると、ステップＳ１１０１において、制御部５０は、初期画像を設定する。これは、例えば、ＤＣＦ規格のＤＣＦディレクトリ番号が最大のディレクトリ内のＤＣＦファイル番号が最大の画像である。すなわち、撮影毎にＤＣＦファイル番号をインクリメントしファイル名を決定し、新規ディレクトリに撮影する際はＤＣＦディレクトリ番号をインクリメントしディレクトリ名を決定するような場合、最後に撮影した画像となる。

次に、ステップＳ１１０２において、制御部５０は、画像再生処理を行い表示部２３に画像を表示するよう制御する。次に、ステップＳ１１０３、Ｓ１１０４、Ｓ１１０９、Ｓ１１１１、Ｓ１１１３にてユーザの操作部６２を介した指示要求を処理する。ステップＳ１１０３において、制御部５０は、再生モード終了の指示と判断した場合には（ステップＳ１１０３でＹｅｓ）、再生処理を終了する。ステップＳ１１０４において、制御部５０は、次又は前の画像再生指示があると判断した場合には（ステップＳ１１０４でＹｅｓ）、処理をステップＳ１１０５へ進める。制御部５０は、次又は前の画像再生指示がないと判断した場合には（ステップＳ１１０４でＮｏ）、処理をステップＳ１１０６へ進める。ステップＳ１１０５において、制御部５０は、ＤＣＦ番号順で次又は前の画像を再生画像として決定し、その後処理をステップＳ１１０２へ進める。

ステップＳ１１０６において、制御部５０は、チャプタ検索処理を行う。ここでチャプタ検索とは現在再生されている静止画撮影時に撮影された動画追記単位（チャプタ）を特定する処理である。チャプタ検索処理（ステップＳ１１０６）については、図１２を参照しつつ後に詳述する。次に、ステップＳ１１０７において、制御部５０は、ステップＳ１１０６の結果、対応チャプタがあると判断した場合には（ステップＳ１１０７でＹｅｓ）、処理をステップＳ１１０８へ進める。制御部５０は、ステップＳ１１０６の結果対応チャプタがないと判断した場合には（ステップＳ１１０７でＮｏ）、処理をステップＳ１１１１へ進める。

ステップＳ１１０８において、制御部５０は、対応チャプタ有り表示を行う。次に、ステップＳ１１０９において、制御部５０は、チャプタ再生の指示がなされたと判断した場合には（ステップＳ１１０９でＹｅｓ）、処理をステップＳ１１１０へ進める。制御部５０は、チャプタ再生の指示がなされていないと判断した場合には（ステップＳ１１０９でＮｏ）、処理をステップＳ１１１１へ進める。ステップＳ１１１０において、制御部５０は、チャプタ再生を行う。これは現在再生中の静止画に対応するステップＳ１１０６のチャプタ検索処理にて特定された対応動画ファイル内の対応開始フレームから対応フレーム数の再生である。制御部５０は、ステップＳ１１１０にて対応チャプタの再生を行うと、その後処理をステップＳ１１０２へ進め、処理時点における静止画再生を行う。

ステップＳ１１１１において、制御部５０は、画像選抜再生の指示があったと判断した場合には（ステップＳ１１１１でＹｅｓ）、処理をステップＳ１１１２へ進める。制御部５０は、画像選抜再生の指示がなかったと判断した場合には（ステップＳ１１１１でＮｏ）、処理をステップＳ１１１３へ進める。ステップＳ１１１２において、制御部５０は、画像選抜再生処理を行う。画像選抜再生処理とは、選抜された画像（静止画及び動画の少なくとも一方を含む）を連続的に再生表示する処理である。画像選抜再生処理（ステップＳ１１１２）については、図１４を参照しつつ後に詳述する。

ステップＳ１１１３において、制御部５０は、その他の処理指示がないか判定する。その他の処理とは例えば画像消去、画像編集、画像送信等である。制御部５０は、その他の処理指示を検出した場合には（ステップＳ１１１３でＹｅｓ）、処理をステップＳ１１１４へ進める。制御部５０は、その他の処理指示を検出しなかった場合には（ステップＳ１１１３でＮｏ）、処理をステップＳ１１０３へ進める。ステップＳ１１１４においては、制御部５０は、指示に応じた処理を行い、その後処理をステップＳ１１１３へ進める。

図１２は、チャプタ検索処理（ステップＳ１１０６）における詳細な処理を示すフローチャートである。ステップＳ１２０１において、制御部５０は、起点静止画を特定する。これは前段の処理にて指定されている静止画であり、図１１の再生処理においては、処理時点において再生表示されている静止画の存在するＤＣＦディレクトリ名及びＤＣＦファイル名の決定になる。次に、ステップＳ１２０２において、制御部５０は、ステップＳ１２０１で特定された静止画に対応する動画ファイルを特定する。本実施形態においては、図８で示したように静止画に関連する動画はＤＣＦ番号順において静止画より小さい番号に決定される事としている。したがって、制御部５０は、ＤＣＦ順に起点静止画より番号が小さい番号順で近い動画ファイルを特定すればよい。

次に、ステップＳ１２０３において、制御部５０は、起点静止画像検索キー取得を行う。本実施形態では、静止画と対応チャプタを関連付ける情報を撮影日時とする。ここでは、制御部５０は、図７の７０４に示したように、静止画ファイルに属性情報として記録されている撮影日時情報を取得するものとする。次に、ステップＳ１２０４において、制御部５０は、対応チャプタを特定する。これは図８（ｃ）のチャプタ参照情報テーブルに置いて同一の撮影日時（８３４）を持つチャプタを検索することである。チャプタ情報は一般的に動画ファイルのストリーム中に存在するためステップＳ１２０４のように対応する情報を検索する場合は動画ファイルのストリームを読み出す必要があり処理に時間がかかる。しかし、本実施形態においては、図８に示すようにチャプタ情報をテーブル化し動画のヘッダ部に記録するようにしているので少ないファイル読み込み量により高速に検索が可能となっている。

ステップＳ１２０４により同一の撮影日時をもつチャプタが特定されると、次に、ステップＳ１２０５において、制御部５０は、チャプタに該当するフレームを確定する。これは図８（ｃ）において、特定されたチャプタに対応する開始フレーム（８３５）とフレーム数（８３６）を特定することである。

図１３は、チャプタ状態を表すデータ構造の概念図である。撮影処理における検出情報取得によって取得された情報は例えば図１３（ａ）のような形式で記録される。検出情報取得は動画撮影中に定期的に実行されているため、時系列の遷移データとして表せる。ここでは静止画撮影時点を０とし、−３秒、−２秒、−１秒時点での各検出情報としてオートフォーカス（ＡＦ）動作、ズーム制御状態、回転姿勢を表している。ここでは、静止画撮影前の状態を表しているが、静止画撮影後のストップモーション時の状態も加えて記録してもよい。

図１４は、図１１において説明した画像選抜再生処理（ステップＳ１１１２）における詳細な処理を示すフローチャートである。ステップＳ１４０１において、制御部５０は、操作部６２から起点画像日の選抜再生が指示されたと判断した場合に（ステップＳ１４０１でＹｅｓ）、処理をステップＳ１４０２へ進める。制御部５０は、操作部６２から起点画像日の選抜再生が指示されていないと判断した場合に（ステップＳ１４０１でＮｏ）、処理をステップＳ１４０３へ進める。ステップＳ１４０２において、制御部５０は、検索条件を起点画像の撮影日時を持つ記録媒体９１内の静止画及び動画チャプタとし、その後処理をステップＳ１４０４へ進める。

ステップＳ１４０３において、制御部５０は、その他の検索条件を設定し、その後処理をステップＳ１４０４へ進める。これは例えば指定撮影日、指定撮影日期間、指定人物等である。ステップＳ１４０４において、制御部５０は、検索条件に合致する静止画及び動画チャプタ情報をメモリ２５にリストとして列挙する。この列挙動作は、検索条件に合致する静止画のヘッダ情報（図７の７０４〜７０７等）、検索条件に合致するチャプタの状態情報（図１３（ａ）等）及びチャプタ参照情報（図８（ｃ）等）の列挙である。

次に、ステップＳ１４０５において、制御部５０は、失敗画像を除外する。これは静止画においてはステップＳ１４０４で列挙した静止画のヘッダ情報のうち、被写体輝度（７０５）が極端に高いか低い画像、合焦度（７０６）の低い画像、お気に入り度（７０７）が−１の画像等をリストから削除することである。また、動画チャプタにおいては、図１３（ｂ）に示すように撮影期間中にオートフォーカスが動き続けて焦点が定まっていないチャプタをリストから除外することである。除外対象は、これ以外に、図１３（ｃ）に示すように撮影期間中にズーム動作を行い続け画角が安定しないチャプタが挙げられる。また、図１３（ｄ）に示すように撮影期間中にカメラの姿勢が変化し、再生時において被写体の角度が安定しないであろうチャプタ等が挙げられる。

次に、ステップＳ１４０６において、制御部５０は、優良画像を選抜再生対象として仮決定する。これは例えば静止画においてはお気に入り度（７０７）が１以上の画像を再生対象として仮指定することである。また、動画チャプタにおいては、図１３（ｅ）に示すように撮影期間中に被写体の笑顔が検出されたチャプタを再生対象として仮指定することである。次に、ステップＳ１４０７において、制御部５０は、重複除外を行う。先述したように、デジタルカメラ１００の静止画・動画撮影同時記録モードにおいては、動画にストップモーションが挿入されることがある。このためＳ１４０４〜Ｓ１４０６において静止画と対応するチャプタがともにリストに残った場合、両者を再生するとシーンの重複する冗長な再生となってしまう。そこで、図８（ｃ）の８３８に示すストップモーション情報を用いて重複シーンの検出及び除外を行う。

具体的には、例えば図８（ｂ）の８２８に示す「ＩＭＧ＿０００３．ＪＰＧ」と対応する図８（ｂ）の８２５に示すチャプタ２が選抜された場合、図８（ｃ）から重複フレームが９０−１７９であることが判る。したがって、チャプタ２の再生範囲としてフレーム９０−１７９を除く、または、「ＩＭＧ＿０００３．ＪＰＧ」を再生しない等の除外制御となる。もう一例としては、例えば図８（ｂ）８２９に示す「ＩＭＧ＿０００４．ＪＰＧ」と対応する図８（ｂ）８２６に示すチャプタ３が選抜された場合、図８（ｃ）から重複フレームが０−１７９であることが判る。したがって、チャプタ３、又は「ＩＭＧ＿０００４．ＪＰＧ」のいずれかを再生しない等の除外制御となる。

また、例えば図８（ｂ）の８２７に示す「ＩＭＧ＿０００２．ＪＰＧ」と対応する図８（ｂ）の８２４に示すチャプタ１が選抜された場合、図８（ｃ）から重複フレームがないことが判る。したがって、チャプタ１及び「ＩＭＧ＿０００２．ＪＰＧ」はいずれも再生対象となる。制御部５０は、以上の処理にて選抜された静止画及び動画チャプタのアスペクトをステップＳ１４０８にて判定し、アスペクトが４：３の場合は（ステップＳ１４０８でＹｅｓ）、処理をステップＳ１４０９へ進める。アスペクト比が４：３でない場合、すなわちアスペクト比が１６：９の場合は（ステップＳ１４０８でＮｏ）、処理をステップＳ１４１１へ進める。

ステップＳ１４０９において、制御部５０は、リサイズ処理を行う。本実施形態においては、画像選抜再生時にアスペクト比を１６：９に統一して表示するため、アスペクト比が４：３の画像がアスペクト比１６：９の領域にすべて表示されるようにリサイズ処理を行う。次に、ステップＳ１４１０において、制御部５０は、リサイズ処理後のアスペクト比４：３の画像の左右の領域を黒塗りして、全体としてアスペクト比１６：９の画像にする。次に、ステップＳ１４１１において、制御部５０は、連続再生表示を行うよう制御する。このように、失敗画像の除外、優良画像の選抜、重複シーンの除外を行い最適な選抜再生を行うことができる。

さらに、連続再生の後、ステップＳ１４１２おいて、制御部５０は、ユーザから、連続再生した画像の記録指示があった場合は（ステップＳ１４１２でＹｅｓ）、処理をステップＳ１４１３へ進める。制御部５０は、記録指示がなかった場合は（ステップＳ１４１２でＮｏ）、画像選抜再生処理を終了する。ステップＳ１４１３において、制御部５０は、連続再生した複数の画像をつなげた動画を生成して記録媒体９１に記録する。制御部５０は、再生対象の画像が静止画の場合は、静止画から所定時間の動画を生成して記録するようにする。以上で、画像選抜再生処理が終了する。

次に、図１０を参照しつつ、画像選抜再生処理について具体的に説明する。図１０の（ａ−３）は、インカメラ画像同時記録モードにおいて記録された画像が選抜画像再生処理において再生される際の状態を示している。（ｂ−３１）は、静止画・動画同時記録モードにおいて記録された動画が選抜画像再生処理において再生される際の状態を示している。（ｂ−３２）は、静止画・動画同時記録モードにおいて記録された静止画が選抜画像再生処理において再生される際の状態を示している。

画像選抜再生においては、アスペクト比が１６：９となるように、複数の画像（動画、静止画を含む）を連続再生して表示する。画像選抜再生においては、同じ画像の再生を、後で又は他の装置で可能とするために、連続再生した画像から動画を作成して記録する。このとき作成して記録する動画がアスペクト比１６：９のサイズであるため、表示する際にも画像は、１６：９の領域内に収まるように表示する。すなわち、制御部５０は、（ａ−３）、（ｂ−３１）、（ｂ−３２）に示すように、表示部２３のうちアスペクト比１６：９の表示領域に内接するように画像を再生表示するよう制御する。すなわち、制御部５０は、の表示部２３の上下の領域１０５１ａ，１０５１ｂ，１０６１ａ，１０６１ｂ，１０７１ａ，１０７１ｂには、画像を表示しないこととする。

静止画・動画同時記録モードで撮影された動画は、アスペクト比が１６：９であるため、ライブビュー表示の時と同じサイズで、アスペクト比１６：９の表示領域内に表示する。なお、この場合も、制御部５０は、記録画像からのリサイズ処理は行う。インカメラ画像同時記録モードで記録した静止画及び静止画・動画同時記録モードで記録した静止画は、アスペクト比４：３で記録されている。このため、制御部５０は、ライブビュー表示で表示されていた時のサイズよりも縮小して表示するよう制御する。つまり、制御部５０は、（ａ−３）、（ｂ−３２）に示すように、アスペクト比１６：９の表示領域に画像が収まるようにリサイズし、かつ、左右の領域１０５２ａ，１０５２ｂ，１０７２ａ，１０７２ｂに黒画像を付加して表示するよう制御する。制御部５０は、リサイズする際には、画像がアスペクト比１６：９の表示領域に内接するように表示するよう制御する。

インカメラ画像同時記録モードで記録した静止画及び静止画・動画同時記録モードで記録した静止画を画像選抜再生で表示部２３に表示する際には、表示対象の画像と表示部２３のアスペクト比は同じである。しかしながら、上述の処理の結果、図１０に示すように、画像の周囲全体に、黒画像領域（画像を表示しない領域）が形成されることになる。ここで、上下の領域及び左右の領域は、所定の領域の一例である。

このように、画像選抜再生時に、静止画・動画同時記録モードで撮影された静止画は、ライブビュービュー表示の時よりも縮小されて表示される。そのため、インカメラ画像同時記録モードと静止画・動画同時記録モードとで、サブ画像を同じサイズでライブビュー表示し、同サイズで記録した場合に、画像選抜再生時に、撮影モードによりサブ画像のサイズが異なってしまう。

そこで、画像選抜再生時に、インカメラ画像同時記録モードで記録した静止画と、静止画・動画同時記録モードで記録した動画とでサブ画像の表示サイズが同じとなるように、画像を記録する際のサブ画像の合成サイズを決定している。また、ライブビュー表示時のサブ画像の表示サイズは、画像を記録する際のサブ画像の合成サイズと同じものとしている。また、画像選抜再生時に、インカメラ画像同時記録モードで記録した静止画と、静止画・動画同時記録モードで記録した動画とでサブ画像の表示位置が同じとなるように、画像を記録する際のサブ画像の合成位置を決定している。また、ライブビュー表示時のサブ画像の表示位置は、画像を記録する際のサブ画像の合成位置と同じものとしている。すなわち、ライブビュー表示時の合成画像（ライブ画像）中のサブ画像（ライブ画像）の表示位置及び表示サイズは、撮影モード毎に異なるものとなる。

以上のように、本実施形態のデジタルカメラ１００は、複数の重畳画像を連続して表示する場合に、ユーザにとって見易く、また見栄えがよくなるような重畳画像を生成することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

５０ 制御部
１００ デジタルカメラ
１１０ アウトカメラ
１２０ インカメラ

Claims (15)

1. 第１の撮像手段と、第２の撮像手段と、を有する撮像装置であって、
   撮影モードを設定する撮影モード設定手段と、
   前記撮影モード設定手段により設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像に対する前記第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定手段と、
   前記第１の画像に、前記第２の画像を合成する合成手段と
   を有することを特徴とする撮像装置。
2. 前記合成手段は、前記第１の撮影モードにおいて前記第１の撮像手段により撮影された第１の静止画に、前記第１の撮影モードにおいて前記第２の撮像手段により撮影された第２の静止画を合成して第１の合成静止画を生成し、
   前記第２の撮影モードにおいて前記第１の撮像手段により撮影された第１の動画に、前記第２の撮影モードにおいて前記第２の撮像手段により撮影された第２の動画を合成して第２の合成動画を生成し、
   前記決定手段は、前記第１の合成静止画及び前記第２の合成動画の表示時の、前記第１の合成静止画に対する前記第２の静止画の表示位置及び表示サイズが前記第２の合成動画に対する前記第２の動画の表示位置及び表示サイズと等しくなるような前記合成位置及び前記合成サイズを決定することを特徴とする請求項１に記載の撮像装置。
3. 記録媒体に記録されている複数の画像を、連続的に再生表示するための連続再生手段と、
   前記合成手段により合成された、前記第１の合成静止画と前記第２の合成動画とを記録媒体に記録する記録手段と
   をさらに有し、
   前記連続再生手段は、前記第１の合成静止画と前記第２の合成動画とを異なる表示サイズで再生表示することを特徴とする請求項２に記載の撮像装置。
4. 第１の撮像手段と、第２の撮像手段と、を有する撮像装置であって、
   前記第１の撮像手段により撮影された第１のライブ画像に、前記第２の撮像手段により撮影された第２のライブ画像を重畳して、表示手段に表示するように制御する表示制御手段と、
   撮影モードを設定する撮影モード設定手段と
   を有し、
   前記表示制御手段は、前記撮影モード毎に異なる、前記第１のライブ画像の表示位置及び表示サイズで前記第２のライブ画像を重畳して表示するよう制御することを特徴する撮像装置。
5. 前記撮影モード設定手段は、第１の撮影モード及び第２の撮影モードに設定可能であり、
   前記表示制御手段は、前記第１のライブ画像を前記第１の撮影モードと前記第２の撮影モードとで同じ表示位置及び表示サイズで表示させ、前記第２のライブ画像を前記第１の撮影モードと前記第２の撮影モードとで異なる表示位置及び表示サイズで表示させることを特徴とする請求項４に記載の撮像装置。
6. 記録指示に応じて、前記第１の撮像手段により撮影された画像を記録媒体に記録するように制御する記録制御手段をさらに有し、
   前記記録制御手段は、前記第１の撮影モードに設定されている場合には、前記記録指示に応じて、前記第１の撮像手段により撮影された静止画に前記第２の撮像手段により撮影された静止画を合成した合成静止画を前記記録媒体に記録するように制御し、前記第２の撮影モードに設定されている場合には、前記記録指示に応じて、前記第１の撮像手段により撮影された静止画を前記記録媒体に記録するとともに、前記第１の撮像手段により撮影された動画に前記第２の撮像手段により撮影された動画を合成した合成動画を前記記録媒体に記録するように制御することを特徴とする請求項４又は５に記載の撮像装置。
7. 前記記録制御手段は、前記第２の撮影モードでは、前記合成動画を、前記静止画と異なるアスペクト比で記録することを特徴とする請求項６に記載の撮像装置。
8. 前記記録媒体に記録されている複数の画像を、所定の表示領域において連続的に再生表示するための連続再生手段をさらに有し、
   前記連続再生手段は、前記第１の撮影モードで記録した前記合成静止画と前記第２の撮影モードで記録した前記合成動画とを異なるサイズで再生表示し、
   前記記録制御手段は、前記連続再生手段によって複数の画像を再生表示する場合に前記第１の撮影モードで記録した合成静止画に合成されている前記第２の撮像手段により撮影された静止画と、前記第２の合成動画に合成されている前記第２の撮像手段により撮影された動画とが、同じ表示位置及び表示サイズで再生表示されるような合成位置及び合成サイズで、前記合成静止画における前記第２の撮像手段により撮影された静止画、及び、前記合成動画における前記第２の撮像手段により撮影された動画を合成して前記記録媒体に記録するように制御することを特徴とする請求項６又は７に記載の撮像装置。
9. 前記連続再生手段は、静止画については、前記所定の表示領域内において、画像の周囲に所定の領域が形成されるように静止画を縮小して再生することを特徴とする請求項８に記載の撮像装置。
10. 前記連続再生手段は、前記動画については、当該動画が、前記所定の表示領域に内接するように再生することを特徴とする請求項９に記載の撮像装置。
11. 前記表示制御手段は、前記記録媒体に記録される前記合成静止画又は前記合成動画に対応する合成位置及び合成サイズで、前記第２の撮像手段により撮影されたライブ画像を合成して表示することを特徴とする請求項６乃至１０何れか１項に記載の撮像装置。
12. 第１の撮像手段と、第２の撮像手段と、を有する撮像装置が実行する情報処理方法であって、
    撮影モードを設定する撮影モード設定ステップと、
    前記モード設定ステップにおいて設定された撮影モードに応じて、前記第１の撮像手段により撮影された第１の画像に対する前記第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定ステップと、
    前記第１の画像に、前記第２の画像を合成する合成ステップと
    を含むことを特徴とする情報処理方法。
13. 第１の撮像手段と、第２の撮像手段と、を有する撮像装置が実行する情報処理方法であって、
    前記第１の撮像手段により撮影された第１のライブ画像に、前記第２の撮像手段により撮影された第２のライブ画像を重畳して、表示手段に表示するように制御する表示制御ステップと、
    撮影モードを設定する撮影モード設定ステップと
    を含み、
    前記表示制御ステップでは、前記撮影モード毎に異なる、前記第１のライブ画像の表示位置及び表示サイズで前記第２のライブ画像を重畳して表示するよう制御することを特徴する情報処理方法。
14. コンピュータを、
    撮影モードを設定する撮影モード設定手段と、
    前記モード設定手段により設定された撮影モードに応じて、第１の撮像手段により撮影された第１の画像に対する第２の撮像手段により撮影された第２の画像の合成位置及び合成サイズを決定する決定手段と、
    前記第１の画像に、前記第２の画像を合成する合成手段と
    して機能させるためのプログラム。
15. コンピュータを、
    第１の撮像手段により撮影された第１のライブ画像に、第２の撮像手段により撮影された第２のライブ画像を重畳して、表示手段に表示するように制御する表示制御手段と、
    撮影モードを設定する撮影モード設定手段と
    して機能させ、
    前記表示制御手段は、前記撮影モード毎に異なる、前記第１のライブ画像の表示位置及び表示サイズで前記第２のライブ画像を重畳して表示するよう制御するプログラム。

Images