JP5653736B2 - カメラ、表示装置、および表示方法 - Google Patents

Description

本発明は、動画撮影中に静止画の撮影可能なカメラおよびその撮影画像の表示装置および表示方法に関する。

動画撮影中に静止画撮影が可能であり、動画と静止画を関連付けて記録するカメラが種々提案されている。例えば、特許文献１には、動画再生中の画面に、動画撮影の時間軸で、静止画撮影されたタイミングに合わせた位置にマークを表示するカメラが開示されている。また、特許文献２には、動画撮影中に静止画撮影を行うと、動画表示画面の一部に静止画を表示するカメラが開示されている。

特開２００４−３１２２１８号公報 特開２００６−２９５４１１号公報

動画撮影中に行われた静止画は、撮影動画とリンクして管理されるのが一般的である。このため、特許文献１、２に示されるように、動画撮影中あるいは動画再生中に、動画と静止画を分離あるいは併用して表示することが可能となる。しかし、従来の動画撮影中に撮影された静止画は、単に、静止画を表示するだけであって、動画の特徴を活かした表示とはなっていなかった。

本発明は、このような事情を鑑みてなされたものであり、動画と同時撮影された静止画を組み合わせて効果的な表示を行うことが可能なカメラ、表示装置、および表示方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わるカメラは、静止画撮影を制御する静止画制御部と、動画撮影を制御する動画制御部と、上記動画撮影中に被写体確認用にライブビュー画像を表示する表示制御部と、撮影された静止画像の特定部分を部分画像として抽出する部分画像抽出部と、を備え、上記表示制御部は、動画撮影中に静止画撮影が行われた場合に、当該撮影された静止画から上記部分画像抽出部によって抽出された上記部分画像を、当該静止画撮影された時点で特定部分が存在していた上記ライブビュー画像の位置に、静止画撮影後の所定期間、重畳して表示させる。

第２の発明に係わるカメラは、上記第１の発明において、上記部分画像抽出部は、当該静止画撮影に画面の中で所定以上の動きがあったと認められる部分を上記特定部分として抽出する。
第３の発明に係わるカメラは、上記第１の発明において、画面に所定以上の変化があったことを判断する画面変化判断部を備え、上記表示制御部は、当該変化があったと判断された以降は、上記部分画像の表示を中止する。

第４の発明に係わるカメラは、上記第１の発明において、上記表示制御部は、上記部分画像の情報として、当該部分画像を示す画像情報と、対応する動画の画面上で重複される位置を示す位置情報を記録する。

第５の発明に係わる表示装置は、動画の撮影中に静止画で撮影された画像を記憶可能な画像記憶部と、上記静止および動画を再生表示可能な表示部と、上記画像記憶部から読み出した動画の再生中に、当該静止画の撮影されたタイミングで、当該動画撮影中に撮影された静止画の一部の画像である部分画像を、当該静止画が撮影された時点で当該部分画像が存在していた当該動画画面の位置に重畳して上記表示部に表示する制御部と、を備える。

第６の発明に係わる表示装置は、上記第５の発明において、上記制御部は、上記部分画像を所定時間、上記動画に重畳させて表示する。
第７の発明に係わる表示装置は、上記第６の発明において、上記制御部は、上記部分画像を重畳させて表示させる期間は、当該動画をスロー再生する。

第８の発明に係わる表示方法は、動画の撮影中に静止画で撮影された画像を読み出し、上記読み出した動画の再生中に、当該静止画の撮影されたタイミングで、当該動画撮影中に撮影された静止画の一部の画像である部分画像を、当該静止画が撮影された時点で当該部分画像が存在していた当該動画画面の位置に重畳する処理を行い、上記重畳する処理を行った画像を表示部に表示する。

第１、第５、および第８の発明によれば、動画と同時撮影された静止画を組み合わせて効果的な表示を行うことが可能なカメラ、表示装置、および表示方法を提供することができる。

また、第２の発明に係わるカメラによれば、静止画の全部を重畳させるのではなく、動きのある部分、つまり確認したいであろう部分だけを重畳表示させるので、動画モニタの妨げになることがない。第３の発明に係わるカメラによれば、大きく画面が変化した場合には、部分画像の表示を中止し、部分画像が残ることによる不自然な画像となることを防止することができる。第４の発明に係わるカメラによれば、部分画像を示す画像情報と対応する動画の画面上重畳される位置を示す位置情報が記憶されることから、再生時に、簡単に部分画像を重畳させることができる。

第６の発明によれば、部分画像を長く表示しすぎると、煩わしく感ずることがあるが、この煩わしさを防止することができる。第７の発明によれば、静止画の部分をより印象付けて表示することができる。

本発明の一実施形態に係わるカメラの主として電気回路の構成を示すブロック図である。 本発明の一実施形態に係わるカメラにおいて、動画撮影と静止画撮影及び再生の表示状態の関係を示す図である。 本発明の一実施形態に係わるカメラにおいて、動画撮影中における静止画の表示例を示す図である。 本発明の一実施形態に係わるカメラにおいて、画面変化があった場合の表示例を示す図である。 本発明の一実施形態に係わるカメラにおいて、動画再生中における静止画再生の表示状態の関係を示す図である。 本発明の一実施形態に係わるカメラにおいて、動画再生中における静止画再生の表示状態の関係の変形例を示す図である。 本発明の一実施形態に係わるカメラにおける再生時の画面例を示す図である。 本発明の一実施形態に係わるカメラにおける動画撮影モードにおける動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおける動画撮影モードにおける動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおける部分画像重畳処理における動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおける動画再生モードにおける動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおける動画再生モードにおける動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦を操作することにより、静止画の画像データが記録媒体に記録される。また、動画釦を操作することにより動画撮影が開始され、再度、動画釦を操作することにより、動画撮影が終了する。この動画撮影中にレリーズ釦を操作すると、動画と同時に静止画の画像データが記録される。記録媒体に記録された動画および静止画の画像データは、再生モードを選択すると、表示部に再生表示することができる。

図１は、本発明の一実施形態に係わるカメラ１の構成を示すブロック図である。制御部（ＣＰＵ：Central Processing Unit）１１は、プログラム／データ記憶部１２に記憶された制御プログラムに従って動作し、デジタルカメラの全体制御を行う。制御部１１内には、表示制御部１１ａ、動画制御部１１ｂ、静止画制御部１１ｃ、部分画像抽出部１１ｄ、画面変化判断部１１ｅが設けられている。制御部１１内の１１ａ〜１１ｅは、制御プログラムにより実行される処理の一部であるので、制御部１１に含まれる機能部として説明する。

表示制御部１１ａは、静止画撮影や動画撮影中に被写体確認用にライブビュー画像の表示制御を行う。また、図３ないし図７を用いて後述するように、動画撮影中に静止画撮影が行われた場合には、後述する部分画像抽出部１１ｄによって抽出された静止画の部分画像を、静止画が撮影された時点でその部分画像が存在していた位置に、所定期間の間、ライブビュー画像に重畳して表示する。また、表示制御部１１ａは、部分画像抽出部１１ｄによって抽出された部分画像と、対応する動画の画面上で重畳して表示する位置を示す位置情報を画像データと共に記録させる。

また、表示制御部１１ａは、動画再生中に、静止画が撮影されたタイミング、動画撮影中に撮影された静止画の部分画像を、静止画が撮影された時点でその部分画像が存在していた位置に重畳して表示する。さらに、表示制御部１１ａは、上述の表示以外にも、静止画撮影時のライブビュー画像の表示、レックビュー表示、画像記憶部２４に記憶された静止画や動画の撮影画像の再生表示、およびメニュー画面等を表示する。

動画制御部１１ｂは、動画撮影時の撮影制御を行う。すなわち、動画釦が操作されると動画撮影を開始し、動画釦が再度の操作されると動画撮影を終了する。この間、撮像部１５から出力される動画の画像データを画像処理部１７や動画圧縮伸張部２０によって処理し、動画記録部・再生部２２によって画像記憶部２４に動画の画像データを記憶する。

静止画制御部１１ｃは、静止画撮影時の撮影制御を行う。静止画撮影は、レリーズ釦が操作されたタイミングで、撮像部１５から出力される画像データを画像処理部１７や静止画圧縮伸張部２１によって画像処理した後、静止画記録再生部２３によって、画像記憶部２４に記憶する。

部分画像抽出部１１ｄは、撮影された静止画像の特定部分を部分画像として抽出する。すなわち、部分画像抽出部１１ｄは、画面の被写体から動きの有る部分（特定部分）を検出し、撮影した静止画からこの特定部分の部分画像として抽出する。周知の追尾技術を利用すればよい。特定部分として抽出する部分としては、動きのある部分以外にも、「顔」あるいは「人物」を対象としてもよい。

画面変化判断部１１ｅは、画面に所定以上の変化があったことを判断する。すなわち、画面変化判断部１１ｅは、画面の数か所の範囲について、その輝度や色相を所定時間間隔で比較し、一定以上の変化が検出されれば、画面に変化があったと判断する。また、画面変化判断部１１ｅは、カメラの向きが変化した場合やズームによって画面が拡大・縮小された場合等、部分画像が画面上で移動した場合には、画面上での移動量も検出する。前述の表示制御部１１ａは、画面変化判断部１１ｅによって変化があったことを判断した場合には、それ以降、部分画像の表示を中止する。なお、変化が小さい場合には、部分画像の表示を中止せず、画面上での移動量に応じた位置に部分画像を表示させる。

制御部１１には、プログラム／データ記憶部１２、操作部１３、およびバス２５が接続されている。プログラム／データ記憶部１２は、不揮発性のメモリであり、前述したように制御部１１において実行するプログラムや、各種データを記憶している。

操作部１３は、ユーザがカメラに指示を与えるための各種操作部材を有する。各種操作部材としては、電源釦、レリーズ釦、動画釦、十字釦、ＯＫ釦、再生釦等を有し、各種操作部材の操作状態の検出結果を制御部１１に出力する。

バス２５には、前述の制御部１１の他に、撮像部１５、ＳＤＲＡＭ１６、画像処理部１７、表示ドライバ部１８、動画圧縮伸張部２０、静止画圧縮伸張部２１、動画記録・再生部２２、静止画記録・再生部２３が接続されている。撮像部１５は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、およびこれらの処理回路、撮影レンズの光路中に介挿された絞りおよびシャッタ等を含む。撮像部１５によって生成された画像データはバス２５に出力される。

ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）は電気的に書き換え可能な不揮発性の一時記憶メモリであり、撮像部１５から出力される画像データの一時記憶に用いられる。画像処理部１７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成等の各種の画像処理を行なう。

動画圧縮伸張部２０は、ＳＤＲＡＭ１６に一時記憶された動画の画像データをＭＰＥＧ等の圧縮方式により圧縮し、また表示等のために伸張するための回路である。静止画圧縮伸張部２１は、ＳＤＲＡＭ１６に一時記憶された静止画の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸張するための回路である。動画圧縮伸張部２０と静止画圧縮伸張部２１を別々に設けていることから、動画撮影中に静止画の撮影を行った場合でも、両者の画像データを並行して処理することが可能である。なお、画像圧縮はＭＰＥＧ、ＪＰＥＧ、ＴＩＦＦに限らず、他の圧縮方式も利用してもよい。

表示ドライバ部１８は、撮影時にはライブビュー表示、再生時には再生画像を、表示部１９に表示させる。特に、動画撮影中に静止画撮影がなされた場合には、表示ドライバ部１８は表示制御部１１ａに指示に従って静止画の部分画像を表示部１９に表示させる。同様に、動画の再生表示中に静止画撮影のタイミングに同期して静止画の部分画像を表示させる。表示部１９は、表示ドライバ部１８に接続されており、本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイを有し、表示ドライバ部１８による制御により画面に所定の画像が表示される。

動画記録・再生部２２は、動画圧縮伸張部２０において圧縮された動画の画像データを画像記憶部２４に記憶し、また、画像記憶部２４に記憶された動画の画像データを読み出す。この読み出された画像データは、動画圧縮伸張部２０において伸張され、この伸張された画像データに基づいて、表示部１９に画像が再生表示される。

静止画記録・再生部２３は、静止画圧縮伸張部２１において圧縮された画像データを画像記憶部２４に記憶し、また、画像記憶部２４に記憶された静止画の画像データを読み出す。この読み出された画像データは、静止画圧縮伸張部２１において伸張され、この伸張された画像データに基づいて、表示部１９に画像が再生表示される。動画記録・再生部２２と静止画記録・再生部２３を別々に設けていることから、動画撮影中に静止画の撮影を行った場合でも、また動画再生中に静止画撮影のタイミングになった場合でも、両者の画像データを並行して処理することが可能である。

画像記憶部２４は、動画記録・再生部２２および静止画記録・再生部２３に接続されており、カメラ本体に内蔵、または装填可能な画像データの記録媒体である。画像データのタグ（ヘッダ）には、撮影日時等が記録されている。また、動画撮影中に静止画撮影がなされ、部分画像が抽出された場合には、部分画像を示す画像情報と、対応する動画の画面上で重畳して表示される位置を示す位置情報が、対応する動画の画像情報に関連付けて記憶される。

次に、図２および図３を用いて、動画撮影中に静止画撮影を行った場合のライブビュー表示について説明する。図２は、以降で説明に使用する撮影例を示すものである。図２において、横軸は時間軸であり、時刻ｔ１において動作撮影を開始し、時刻ｔ２において静止画Ａ、時刻ｔ３において静止画Ｂ、時刻ｔ４において静止画Ｃ、時刻ｔ５において静止画Ｄ、時刻ｔ６において静止画Ｅ、時刻ｔ７において静止画Ｆをそれぞれ撮影する。

部分画像を画面に表示させる場合には、フェードアウトさせる。静止画Ａにおいて示す直角三角形状は、部分画像の輝度変化（フェードアウト）を示し、静止画撮影時の時刻ｔ２において表示輝度が最も高く、その後、次第に表示輝度が低下し、所定時間が経過すると最終的には、時刻ｔ４とｔ５の間において静止画Ａの部分画像の表示が消滅することを示している。静止画Ｂ〜Ｆも同様に、静止画撮影時には、表示輝度が最も高く、その後次第に表示輝度が低下し所定時間経過後、最終的には消滅する。

図３（ｂ）〜（ｆ）は、それぞれ時刻ｔ４〜ｔ８におけるライブビュー表示を示し、図３（ａ）は、図３（ｂ）〜（ｆ）に示す部分画像Ａｐ〜Ｆｐの動きをまとめて表現した図である。すなわち、図３（ｂ）は、時刻ｔ４におけるライブビュー表示であり、図２から分かるように、静止画Ａ、Ｂの部分画像が残像のように所定時間の間、表示されている。したがって、時刻ｔ４では、この時点での実像であるＣｒ１、Ｃｒ２，Ｃｒ３が表示されると共に、静止画Ａ、Ｂの２枚の静止画から抽出された部分画像Ａｐ、Ｂｐが表示される。

同様に、図３（ｃ）は、時刻ｔ５におけるライブビュー表示であり、この時点の実像であるＤｒ１〜Ｄｒ３が表示されると共に、３枚の静止画Ａ〜Ｃから抽出された部分画像Ａｐ〜Ｃｐが表示される。なお、部分画像Ａｐは、時刻ｔ５になると表示輝度が低下しており、部分画像としては薄く表示される。図３（ｄ）は、時刻ｔ６におけるライブビュー表示であり、この時点の実像であるＥｒ１〜Ｅｒ３が表示されると共に、静止画Ｄから抽出された部分画像Ｄｐが表示される。部分画像Ｄｐは、時刻ｔ６になると表示輝度が低下しており、部分画像としては薄く表示される。

同様に、図３（ｅ）は、時刻ｔ７におけるライブビュー表示であり、この時点の実像であるＦｒ１〜Ｆｒ３が表示されると共に、静止画Ｄ、Ｅから抽出された部分画像Ｄｐ、Ｅｐが表示される。部分画像Ｄｐは、時刻ｔ７になると表示輝度が低下しており、部分画像としては薄く表示される。図３（ｆ）は、時刻ｔ８におけるライブビュー表示であり、この時点の実像であるＧｒ１〜Ｇｒ３が表示されると共に、静止画Ｅ，Ｆから抽出された部分画像Ｅｐ、Ｆｐが表示される。部分画像Ｅｐは、時刻ｔ８になると表示輝度が低下しており、部分画像としては薄く表示される。

図２および図３に示した例では、部分画像Ａｐ〜Ｆｐは、同一画面内で移動するものの、撮影画角や方向は変化していない。それに対して図４（ｂ）〜（ｄ）に示す例は、撮影画角や方向が変化する場合である。なお、図４（ａ）は、図３（ｂ）に対応する表示である。この図４（ａ）に示す状態から、撮影者がカメラを大きく右に振る（右にパン）と、図４（ｂ）に示すように、部分画像を表示すべき位置は画面外になってしまう。この状態では、表示制御部１１ａは、部分画像Ａｐ、Ｂｐをライブビュー表示しないようにする。

しかし、画面の変化が少しの場合には、図４（ｃ）に示すように、静止画の撮影時に存在していた位置に部分画像Ａｐ、Ｂｐを表示する。すなわち、表示制御部１１ａは、撮影時の画面内における部分画像（Ａｐ、Ｂｐ）の位置と、現在表示されている実像Ｃｒ１、Ｃｒ２の位置が相対的な関係を保つように、部分画像Ａｐ、Ｂｐを表示する。

なお、大きく画面が変化し、変化した画面内に静止画撮影時の部分画像が位置しない場合には、本実施形態においては、図４（ｂ）に示すように、部分画像を表示しなかったが、図４（ｄ）に示すように、部分画像を位置に無関係に表示するようにしても構わない。この場合には、静止画撮影時の部分画像の画面内における絶対的に表示する。なお、図４（ｂ）〜（ｃ）において、画面の移動は、画面変化判断部１１ｅにおいて判断する。

以上の説明は、動画撮影中における表示であったが、次に、図５ないし図７を用いて、動画の再生表示について説明する。ここでは、動画撮影中において静止画撮影を行った場合の表示を中心説明する。

図５（ａ）は、動画再生モードでの静止画の部分画像の表示を示しており、再生表示の際にも、動画撮影中におけるライブビュー表示と同様の表示を行う。すなわち、時刻ｔ１１において動画の再生を開始すると、時刻ｔ１２には時刻ｔ２において撮影した静止画Ａの部分画像Ａｐを表示する。この部分画像Ａｐの表示にあたって、直角三角形状は輝度変化を示し、時刻ｔ１２において表示輝度が最も高く、その後、次第に表示輝度が低下し、最終的には、時刻ｔ１４とｔ１５の間において部分画像Ａｐの表示が消滅することを示している。

以下同様に、時刻ｔ１３において静止画Ｂの部分画像Ｂｐ、時刻ｔ１４において静止画Ｃの部分画像Ｃｐ、時刻ｔ１５において静止画Ｄの部分画像Ｄｐ、時刻ｔ１６において静止画Ｅの部分画像Ｅｐ、時刻ｔ１７において静止画Ｆの部分画像Ｆｐをそれぞれ再生開始する。部分画像Ｂｐ〜Ｆｐも同様に、表示開始時には、表示輝度が最も高く、その後次第に表示輝度が低下し最終的には消滅する。

このように、本実施形態においては、動画撮影中と同様に、静止画の部分画像を所定時間の間、表示し、しかもフェードアウトするように表示を行っている。なお、動画撮影中および再生の際には、部分画像の表示の開始時には最高輝度で表示し、フェードアウトさせていた。しかし、動画撮影中または再生時に、フェードインで表示を開始するようにしても勿論かまわない。また、図５（ｂ）に示すように、動画の再生時に、静止画の部分画像を最後まで一定輝度で表示するようにしても、勿論かまわない。

さらに、動画再生中に静止画の部分画像を再生する際に、図６（ａ）に示すように、動画をスロー再生するようにしてもよい。この場合、スロー再生時間は、適宜、設定すればよいが、例えば、４秒程度あればよい。静止画を撮影したタイミングは、シャッタチャンスであり、印象に残るようなシーンであることから、静止画撮影前後をゆっくり再生する。

また、図６（ｂ）に示すように、静止画撮影されたタイミングで、その部分画像を、２秒程度、スロー再生した後に、その部分画像を含む静止画の全体画像を１秒程度、再生表示し、再度、部分画像を２秒程度、スロー再生するようにしても構わない。また、図６（ｃ）に示すように、静止画撮影されたタイミングで動画再生を一時中断して、その静止画を所定時間（例えば１秒）表示させ、その後、動画再生を再開する。つまり、動画再生の間に、静止画の全体画像を表示するようにしても勿論かまわない。図６（ａ）〜（ｃ）に記載のスロー再生の時間や静止画の全体表示の時間は、適宜、変更してもよい。

図７（ａ）は、表示部１９における動画と静止画の再生表示の際の画面を示す。表示部１９の表示画面の上部から中央部にかけて動画を表示するための動画表示ウインド１９ａが設けられている。また表示部１９の表示画面の下部には動画サムネイル１９が横一列に配置されている。動画サムネイル１９ｄは、動画全体から、等時間間隔（例えば５秒）で抽出されたサムネイル画像である。動画サムネイル１９ｄは等時間間隔の画像なので、動画サムネイルの１９ｄの例は、時間軸にも相当する。

動画サムネイル１９ｄの上部には、カーソル１９ｃが配置されている。カーソル１９ｃは、動画表示ウインド１９ａがどこの位置を現在再生中かを示す。また、カーソル１９ｃは、動画表示ウインド１９ａに再生中の動画の再生開始からの時間に応じて、左側から右側に移動して行き、動画再生終了時には右端に達する。ユーザは、このカーソル１９ｃの位置を見ることにより、現在の再生位置を確認することができる。

カーソル１９ｃと動画表示ウインド１９ａの間に、静止画サムネイル１９ｂが横一列に配置されている。静止画サムネイル１９は、その静止画が撮影されたタイミングに相当する動画サムネイル１９ｄ列の位置に配置される。静止画サムネイル１９ｂの各サムネイルは、右肩上がりとなるように、傾けて配置されている。左下隅の位置が静止画撮影のタイミングを示している。なお、右肩上がりとは、逆に、左肩下がりで配置するようにしても勿論かまわない。

このような表示画面で構成されていることから、動画の再生が開始すると、開始からの時間に応じてカーソル１９ｃが移動する。そして、時間の経過に応じて、動画表示ウインド１９ａには、図３、図４に示したような静止画の部分画像を重畳した動画が表示される。

なお、静止画付きの動画の再生画面としては、図７（ａ）に示すような画面に限られない。例えば、図７（ｂ）に示すような画面であっても勿論かまわない。図７（ｂ）に示す例においても、動画表示ウインド１９ａは、表示部１９の表示画面の上部から中央部にかけて配置されている。

表示部１９の表示画面の下部には動画の時間軸１９ｇが横一直線に配置されている。時間軸１９ｇ上に、カーソル１９ｆが配置されている。カーソル１９ｆは、カーソル１９ｃと同様、動画の再生開始からの時間に応じて、左側から右側に移動して行き、動画再生終了時には右端に達する。また、時間軸１９ｇ上には、静止画撮影タイミング１９ｈが表示されている。

時間軸１９ｇと動画表示ウインド１９ａの間に、静止画サムネイル１９ｅが横一列に配置されている。静止画サムネイル１９ｅの撮影時は、厳密には静止画撮影タイミング１９ｈに表示され、静止画サムネイル１９ｅの位置は、撮影時付近に配置される。

本実施形態の表示画面の変形例はこのように構成されていることから、動画の再生が開始すると、開始からの時間に応じてカーソル１９ｆが移動する。そして、時間の経過に応じて、動画表示ウインド１９ａには、図３、図４に示したような静止画の部分画像を重畳した動画が表示される。

次に、本実施形態における動作を図８ないし図１２に示すフローチャートを用いて説明する。これらのフローチャートは、プログラム／データ記憶部１２に記憶されているプログラムに従って制御部１１が実行する。図８に示す動画撮影のフローに入ると、まず、通常ライブビューを表示する（Ｓ１）。ここでは、撮像部１５によって取得された画像データに基づいて、表示部１９に通常のライブビュー表示を行う。通常のライブビュー表示では、図２ないし図４を用いて説明したような静止画の部分画像の表示は行わない。

通常のライブビュー表示を行うと、次に、動画撮影開始の指示があるか否かの判定を行う（Ｓ３）。ここでは、操作部１３の内の１つである動画釦の操作状態を判定する。この判定の結果、動画撮影開始の指示がない場合には、ステップＳ１に戻り、通常のライブビュー表示を続行する。

一方、ステップＳ３における判定の結果、動画撮影開始の指示があった場合には、次に、動画撮影を開始し（Ｓ５）、動画記録を行う（Ｓ７）。ここでは、撮像部１５によって取得された画像データを画像処理部１７、動画圧縮伸張部２０において処理した後、動画記録・再生部２２によって画像記憶部２４に動画の画像データの記録を行う。この動画撮影と記録は、後述するステップＳ１７において、動画撮影の停止操作がなされるまで続行する。

動画撮影および記録を開始すると、次に、静止画撮影開始指示がなされたか否かを判定する（Ｓ９）。ここでは、操作部１３の内の１つであるレリーズ釦の操作状態を判定する。この判定の結果、静止画撮影開始の指示があった場合には、部分画像重畳処理を行う（Ｓ１１）。この部分画像重畳処理は、静止画の中から動きのある被写体を部分画像として抽出し、この部分画像を動画に重畳させる。部分画像重畳処理の詳しい動作については、図１０を用いて後述する。

ステップＳ９における判定の結果、静止画撮影開始の指示がない場合には、次に、既に重畳表示中の部分画像があるか否かの判定を行う（Ｓ１３）。本実施形態においては、部分画像を表示すると、次第に表示画像の輝度を低下させるフェードアウトを行っている。そこで、このステップでは、フェードアウト中の部分画像があるか否かを判定する。

ステップＳ１３における判定の結果、重畳表示中の部分画像がない場合には、次に、通常のライブビュー表示を行う（Ｓ１５）。ここでは、表示中の部分画像がないことから、ステップＳ１と同様の通常のライブビュー表示を行う。

ステップＳ１３における判定の結果、既に重畳表示中の部分画像がある場合には、次に、直前の画面と現在の画面を比較する（図９のＳ２１）。図４を用いて説明したように、カメラが振られ、画面自体が移動する場合がある。そこで、画面が振られたか否かを判定するために、このステップでは、画面変化判断部１１ｅが、直前の画面と現在の画面を比較する。

続いて、画面が大きく変化したか否かを判定する（Ｓ２３）。ここでは、ステップＳ２１における比較結果に基づいて、画面変化判断部１１ｅが判定する。画面が大きく変化したとは、図４（ｂ）を用いて説明したように、静止画から抽出した部分画像が移動後の画面内に位置しない程度に、画面が移動した場合を言う。この判定の結果、画面が大きく判定した場合には、ステップＳ１５に進み、通常のライブビュー表示を行い、部分画像を表示しない。

ステップＳ２３における判定の結果、画面が大きく変化しなかった場合には、次に、画面が小さく変化したか否かを判定する（Ｓ２５）。ここでは、ステップＳ２１における比較結果に基づいて、画面変化判断部１１ｅが判定する。画面が小さくく変化したとは、図４（ｃ）を用いて説明したように、画面は移動したが、静止画から抽出した部分画像が移動後の画面内に位置している程度の場合を言う。

ステップＳ２５における判定の結果、画面が小さく変化した場合には、次に、部分画像を画面の変化に応じて対応する位置に表示する（Ｓ２７）。ここでは、図４（ｃ）に示したように、画面の移動に応じて、部分画像の位置を移動させ、部分画像の位置と実像の相対的位置関係を保つように表示を行う。

ステップＳ２７において部分画像を表示すると、またはステップＳ２５における判定の結果、画面が変化していなかった場合には、次に、経過時間に応じて部分画像の精度を低下させる（Ｓ２９）。前述したように、部分画像をフェードアウトで表示することから、時間と共に、表示輝度を低下させる。

続いて、動画上で部分画像が重畳表示される位置・タイミングおよび低下させる輝度等に関する一連の情報を記録する（Ｓ３０）。動画を再生表示する際に、図５ないし図７において説明したような静止画の部分画像も表示させるにあたって必要な一連の情報を、動画の画像データに関連付けて画像記憶部２４に記憶する。

ステップＳ１１において部分画像重畳処理を行うと、またはステップＳ１５において通常のライブビュー表示を行うと、またはステップＳ３０において一連の情報を記録すると、次に、動画撮影停止操作があったか否かの判定を行う（図８のＳ１７）。ここでは、動画釦が再度、操作されたか否かを判定する。この判定の結果、動画撮影停止操作がなされていなかった場合には、ステップＳ５に戻り、動画撮影を続行する。

ステップＳ１７における判定の結果、動画撮影停止操作がなされた場合には、次に、電源オフ操作があったか否かの判定を行う（Ｓ１９）。ここでは、操作部１３の内の１つである電源釦が操作されたか否かに基づいて判定する。この判定の結果、電源オフ操作がなかった場合には、ステップＳ１に戻り、前述の処理を行う。一方、電源オフ操作がなされた場合には、動画撮影モードを終了する。

次に、ステップＳ１１の部分画像重畳処理について、図１０に示すフローチャートを用いて説明する。部分画像重畳処理のフローに入ると、まず、静止画撮影を行い（Ｓ３１）、静止画記録を行う（Ｓ３３）。ステップＳ９において、静止画撮影の指示があったことから、ここでは、撮像部１５によって取得された画像データを画像処理部１７、静止画圧縮伸張部２１において処理した後、静止画記録・再生部２３によって画像記憶部２４に動画の画像データの記録を行う。

静止画撮影および記録を行うと、次に、静止画に動きのある被写体が含まれているか否かの判定を行う（Ｓ３５）。このステップでは、画面変化判断部１１ｅが、静止画の撮影前後の画面を対比し、動きのある部分があるか否かを判定する。この判定の結果、動きのある被写体が含まれていなかった場合には、ステップＳ１やＳ１５と同様に、通常のライブビュー表示を行う（Ｓ４５）。

一方、ステップＳ３５における判定の結果、静止画に動きのある被写体が含まれていた場合には、次に、静止画から動きのある被写体部分を部分画像として抽出する（Ｓ３７）。ここでは、部分画像抽出部１１ｄが静止画の撮影前後を比較し動きのある部分の画像を、部分画像として抽出する。

ステップＳ３７において部分画像を抽出すると、次に、部分画像と、動画とこの部分画像との関係情報を記録する（Ｓ３９）。ここでは、ステップＳ３７において抽出された部分画像の画像データを画像記憶部２４に記憶する。また、静止画撮影のタイミングと、この静止画撮影時の動画画面中における部分画像の位置等の関係情報を、部分画像と関連付けて画像記憶部２４に記憶する。

ステップＳ３９において関係情報を記録すると、次に、抽出した部分画像をライブビューの対応する位置に重畳する処理を行う（Ｓ４１）。ここでは、表示制御部１１ａが、ステップＳ３７において抽出した部分画像を、ライブビュー画像中の対応する位置に重畳する。この重畳処理を行うと、次に、部分画像付きライブビューを表示する（Ｓ４３）。ここでは、表示ドライバ部１８が、ステップＳ４１において重畳処理された部分画像付きのライブビューを表示する。

ステップＳ４３において部分画像付きのライブビューを表示すると、またはステップＳ４５において通常のライブビューを表示すると、元のフローに戻る。

次に、動画再生の動作について、図１１に示すフローチャートを用いて説明する。動画再生モードのフローに入ると、まず、動画再生指示がなされたか否かの判定を行う（Ｓ５１）。再生釦が操作される等によりカメラが再生モードに入ると、静止画や動画のサムネイル表示がなされる。このステップでは、十字釦やＯＫ釦、またはタッチパネル等の操作により動画のサムネイルのいずれかが選択されたか否かを判定する。動画再生指示がない場合には、動画再生指示がなされるのを待つ。なお、静止画のサムネイルが選択された場合には、通常の静止画再生が行われるが、本実施形態においては説明を省略する。

ステップＳ５１における判定の結果、動画再生指示がなされた場合には、次に、再生動画に対応する部分画像とその関係情報を読み出す（Ｓ５３）。ステップＳ３０において、部分画像と関係情報が画像記憶部２４に記憶されており、このステップＳ５３では、画像記憶部２４から再生画像に対応する部分画像と関係情報を読み出す。

続いて、動画再生を行う（Ｓ５５）。ここでは、ステップＳ５１で選択された動画の画像データを動画記録・再生部２２によって画像記憶部２４から読み出し、動画圧縮伸張部２０において画像伸張した後、表示ドライバ部１８によって表示部１９に動画を再生表示する。この動画再生は、後述するステップＳ５７において動画再生停止操作がなされたと判定されるまで、順次動画の画像データを読み出し再生表示する。

動画再生を行うと、次に、対応する新規の部分画像があるか否かの判定を行う（Ｓ５７）。動画再生開始から時間が経過するに応じて、新規の部分画像が出現する。図５（ａ）に示した例では、時刻ｔ１２、ｔ１３、・・・ｔ１７において、それぞれ新規の部分画像が出現しており、これらの部分画像が出現するタイミングは、ステップＳ５３において読み出した関係情報に基づいて判定する。

ステップＳ５７における判定の結果、新規の部分画像があった場合には、次に、部分画像を動画の対応位置に重畳処理を行う（Ｓ５９）。ここでは、表示制御部１１ａが、画像記憶部２４から読み出した部分画像を、関係情報に基づいて動画の対応位置に重畳処理を行う。

ステップＳ５９において重畳処理を行うと、次に、部分画像付き動画を再生する（Ｓ６１）。ここでは、ステップＳ５９において生成された部分画像付きの動画を、表示ドライバ部１８が表示部１９に表示する。

ステップＳ５７における判定の結果、新規の部分画像がなかった場合には、次に、既に部分画像が表示中であるか否かを判定する（Ｓ６３）。ステップＳ６１において部分画像付き動画を再生し、この部分画像が消滅していなければ、ここでの判定はＹｅｓとなる。

ステップＳ６３における判定の結果、部分画像が表示中でなければ、次に、通常動画を再生する（Ｓ６５）。ここでは、ステップＳ５１において選択された動画について、部分画像が重畳表示されることなく、通常の再生が行われる。

ステップＳ６３における判定の結果、部分画像が表示中であった場合には、次に、直前の画面と現在の画面を比較する（図１２のＳ７１）。画面変化判断部１１ｅは動画で現在表示中の画面と、直前の画面を比較する。この比較は、次の２ステップで行う画面変化を判定するためである。

続いて、画面が大きく変化したか否かを判定する（Ｓ７３）。ここでは、ステップＳ７１における比較結果に基づいて、画面変化判断部１１ｅが判定する。画面が大きく変化したとは、動画撮影時の場合と同様に、部分画像が画面内に位置しない程度に、動画の画面が移動した場合を言う。この判定の結果、画面が大きく判定した場合には、ステップＳ６５に進み、通常の動画再生を行い、動画撮影時の場合と同様（図４（ｂ）参照）、部分画像の重畳表示は行わない。

ステップＳ７３における判定の結果、画面が大きく変化しなかった場合には、次に、画面が小さく変化したか否かの判定を行う（Ｓ７５）。ここでは、ステップＳ７１における比較結果に基づいて、画面変化判断部１１ｅが判定する。画面が小さくく変化したとは、動画撮影時の場合と同様、画面は移動したが、部分画像が動画の画面内に位置している程度の場合を言う。

ステップＳ７５における判定の結果、画面が小さく変化した場合には、次に、部分画像を画面の変化に応じて対応する位置に表示する（Ｓ７７）。ここでは、動画撮影時と同様に（図４（ｃ）参照）、画面の移動に応じて、部分画像の位置を移動させ、部分画像の位置と動画の画面の相対的位置関係を保つように表示を行う。

ステップＳ７７において部分画像を表示すると、またはステップＳ７５における判定の結果、画面が変化していなかった場合には、次に、経過時間に応じて部分画像の精度を低下する（Ｓ７９）。撮影時のライブビュー表示の場合と同様（図３（ｂ）〜（ｆ）参照）、部分画像をフェードアウトで表示することから、時間と共に、表示輝度を低下させる。

ステップＳ７９において部分画像の精度を低下させると、またはステップ６１において部分画像付き動画を再生すると、またはステップＳ６５において通常の動画再生を行うと、次に、動画再生停止操作があったか否かを判定する（図１１のＳ６７）。ここでは、操作部１３の内の動画再生終了用の操作部材が操作されてか否かを判定する。

ステップＳ６７における判定の結果、動画再生停止操作がなされていなかった場合には、ステップＳ５５に戻り、動画再生を続行する。一方、ステップＳ６７における判定の結果、動画再生停止操作がなされた場合には、電源オフ操作があったか否かの判定を行う（Ｓ６９）。ここでは、操作部１３の内の１つの電源釦が操作されたか否かに基づいて判定する。この判定の結果、電源オフ操作がなされていなかった場合には、ステップＳ５３に戻り、前述の動作を実行する。

以上説明したように、本発明の一実施形態や変形例においては、表示制御部１１ａは、動画撮影中に静止画撮影が行われた場合に（Ｓ９→Ｙｅｓ）、撮影された静止画から部分画像抽出部１１ｄによって抽出された部分画像を、静止画撮影された時点で抽出された部分が存在していたライブビュー画像の位置に、静止画撮影後の所定期間、重畳して表示させるようにしている（Ｓ１１）。このため、動画と組わせる形式で静止画を表現することができ、動画中に撮影した静止画をより活用することができる。また、静止画部分画像が撮影した時点での位置で、動画ライブビューに表示されるので、動画モニタを中断することなく、静止画のレックビューを確認することができる。

また、本発明の一実施形態や変形例においては、再生表示する際に、画像記憶部２４から読み出した動画の再生中に、静止画の撮影されたタイミングで（Ｓ５７→Ｙｅｓ）、動画撮影中に撮影された静止画の一部の画像である部分画像を、静止画が撮影された時点で部分画像が存在していた動画画面の位置に重畳して表示部１９に表示するようにしている（Ｓ５９、Ｓ６１）。このため、動画再生と静止画再生を分離せずに、組み合わせて表示することができる。

なお、本発明の一実施形態においては、動画の撮影時に、静止画から部分画像を抽出すると共に、ステップＳ３０において、動画上で部分画像が重畳表示される位置・タイミングおよび低下させる輝度等に関する一連の情報を画像記憶部２４に記憶していた。このように、再生時に利用な一連の情報を記録することにより、再生時に処理負担が軽くなる。しかし、撮影時のカメラの負担が重くなることから、このステップＳ３０において一連の情報記録を省略し、再生時に動画の画像データに基づいて処理するようにしても勿論かまわない。また、部分画像を表示する場合に輝度をフェードアウトさせるようにしたが、表示の変化としては、カラー画像から次第に白黒画像に変化させたり、次第にコントラストを低下させたりするようにしてもよい。

また、本発明の一実施形態における制御処理は、制御部１１がプログラムデータ記憶部１２に格納された操作制御用プログラムを読み出して実行されるものであるから、このようなソフトウェア処理に関する制御用プログラムも本発明となる。さらに、本実施形態では、各制御処理をソフトウェア処理で説明したが、これに限られるものではなく、ソフトウェア処理とハードウェア処理の組み合わせ、あるいはハードウェアのみの処理にしてもよい。

また、本発明の一実施形態においては、本発明をカメラに適用した例について説明したが、動画および静止画の画像データを画像記憶部に記憶した表示装置にも適用することが可能である。この場合、表示装置としては、記録媒体に動画および静止画画像データを記憶したコンピュータやテレビ等を採用すればよい。

また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１・・・制御部、１１ａ・・・表示制御部、１１ｂ・・・動画制御部、１１ｃ・・・静止画制御部、１１ｄ・・・部分画像抽出部、１１ｅ・・・画面変化判断部、１２・・・プログラム／データ記憶部、１３・・・操作部、１５・・・撮像部、１６・・・ＳＤＲＡＭ、１７・・・画像処理部、１８・・・表示ドライバ部、１９・・・表示部、１９ａ・・・動画表示ウインド、１９ｂ・・・静止画サムネイル、１９ｃ・・・カーソル、１９ｄ・・・動画サムネイル、１９ｅ・・・静止画サムネイル、１９ｆ・・・カーソル、１９ｇ・・・時間軸、１９ｈ・・・静止画撮影タイミング、２０・・・動画圧縮伸張部、２１・・・静止画圧縮伸張部、２２・・・動画記録・再生部、２３・・・静止画記録・再生部、２４・・・画像記憶部、２５・・・バス

Claims (8)

1. 静止画撮影を制御する静止画制御部と、
   動画撮影を制御する動画制御部と、
   上記動画撮影中に被写体確認用にライブビュー画像を表示する表示制御部と、
   撮影された静止画像の特定部分を部分画像として抽出する部分画像抽出部と、
   を備え、
   上記表示制御部は、動画撮影中に静止画撮影が行われた場合に、当該撮影された静止画から上記部分画像抽出部によって抽出された上記部分画像を、当該静止画撮影された時点で特定部分が存在していた上記ライブビュー画像の位置に、静止画撮影後の所定期間、重畳して表示させることを特徴とするカメラ。
2. 上記部分画像抽出部は、当該静止画撮影に画面の中で所定以上の動きがあったと認められる部分を上記特定部分として抽出することを特徴とする請求項１に記載のカメラ。
3. 画面に所定以上の変化があったことを判断する画面変化判断部を備え、
   上記表示制御部は、当該変化があったと判断された以降は、上記部分画像の表示を中止することを特徴とする請求項１に記載のカメラ。
4. 上記表示制御部は、上記部分画像の情報として、当該部分画像を示す画像情報と、対応する動画の画面上で重複される位置を示す位置情報を記録することを特徴とする請求項１に記載のカメラ。
5. 動画の撮影中に静止画で撮影された画像を記憶可能な画像記憶部と、
   上記静止および動画を再生表示可能な表示部と、
   上記画像記憶部から読み出した動画の再生中に、当該静止画の撮影されたタイミングで、当該動画撮影中に撮影された静止画の一部の画像である部分画像を、当該静止画が撮影された時点で当該部分画像が存在していた当該動画画面の位置に重畳して上記表示部に表示する制御部と、
   を備えることを特徴とする表示装置。
6. 上記制御部は、上記部分画像を所定時間、上記動画に重畳させて表示することを特徴とする請求項５に記載の表示装置。
7. 上記制御部は、上記部分画像を重畳させて表示させる期間は、当該動画をスロー再生することを特徴とする請求項６に記載の表示装置。
8. 動画の撮影中に静止画で撮影された画像を読み出し、
   上記読み出した動画の再生中に、当該静止画の撮影されたタイミングで、当該動画撮影中に撮影された静止画の一部の画像である部分画像を、当該静止画が撮影された時点で当該部分画像が存在していた当該動画画面の位置に重畳する処理を行い、
   上記重畳する処理を行った画像を表示部に表示する、
   ことを特徴とする表示方法。