以下本発明をデジタルカメラに適用した場合の実施の一形態について図面を参照して説明する。
図1は、同実施の形態に係るデジタルカメラ10全体の電子回路の概念構成を示すものである。
図中、撮影モードでのモニタリング状態においては、モータ(M)11の駆動により撮影レンズ光学系12中の一部のレンズ、具体的にはズームレンズ及びフォーカスレンズの位置が適宜移動される。この撮影レンズ光学系12の撮影光軸後方の結像位置に、図示しないメカニカルシャッタを介して、固体撮像素子であるCCD13が配置される。
CCD13は、タイミング発生器(TG)14、CCDドライバ15によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
この光電変換出力は、AGC/SH(Auto Gain Control/Sample Hold)回路16において、アナログ値の信号の状態でRGBの各原色成分毎にその時点に設定されているISO感度に応じて自動ゲイン調整された後にサンプルホールドされ、A/D変換器17に送られる。
A/D変換器17では、アナログの画像データをデジタルデータに変換し、カラープロセス回路18へ出力する。
カラープロセス回路18は、デジタルの画像データに対して画素補間処理及びγ補正処理を含むカラープロセス処理を行ない、マトリックス変換によりデジタル値の輝度色差系の画像データYUVを生成した後にバッファコントローラ19に出力する。
バッファコントローラ19は、カラープロセス回路18の出力する画像データYUVを、同じくカラープロセス回路18からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度バッファコントローラ19内部に書込んだ後、バッファメモリとして使用されるDRAM20にDMA転送を行なう。
制御部21は、CPUと、ワークメモリとして使用される主記憶メモリ等から構成されるもので、後述する再生動作を含む動作プログラムやデータ等を固定的に記憶した不揮発性メモリ22から必要なプログラム等を読出し、該主記憶メモリに適宜必要なプログラムやデータを一時的に展開して書込みながら、このデジタルカメラ10全体の制御動作を司る。
しかして制御部21は、上記画像データのDRAM20へのDMA転送終了後に、この画像データをバッファコントローラ19を介してDRAM20より読出し、表示コントローラ23を介してVRAM24に書込む。
表示コントローラ23は、上記画像データをVRAM24より定期的に読出して表示部25に出力する。
この表示部25は、デジタルカメラ10の筐体背面に配設された、バックライト付きの対角3インチ程のサイズを有するカラー液晶パネルとその駆動回路とで構成される。この表示部25は、撮影モード時には電子ファインダとして機能し、表示コントローラ23からの画像データ等に基づいた表示を行なうことで、その時点で撮像系のCCD13から取込んでいる画像等をリアルタイムにモニタ表示する。一方で表示部25は、再生モード時には選択した画像等を表示する。
このように表示部25にその時点での被写体の画像をモニタ画像としてリアルタイムに表示する、所謂スルー画像の表示状態で、静止画撮影を行ないたいタイミングでキー入力部26の一部を構成するシャッタキーを操作すると、キー入力部26からトリガ信号が発生される。
制御部21は、このトリガ信号に応じてその時点でCCD13から取込んでいる1画面分の輝度及び色差信号のDRAM20へのDMA転送を取り止め、あらためて適正な露出条件に従ったシャッタ速度で図示しないメカニカルシャッタ及び上記CCD13を駆動して1画面分の輝度及び色差信号を得てDRAM20へ転送し、その後にこの経路を停止し、記録保存の状態に遷移する。
この記録保存の状態では、制御部21がDRAM20に書込まれている1フレーム分の画像データYUVをバッファコントローラ19を介してY,U,Vの各コンポーネント毎に縦8画素×横8画素の基本ブロックと呼称される単位で読出して画像処理部27に書込む。この画像処理部27では、画像データを所定の画像フォーマット、例えばJPEG(Joint Photograph coding Experts Group)に従ったADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピ符号化方式であるハフマン符号化等のデータ圧縮処理により符号化する。
そして、符号化した画像データを1画像分のデータファイルとして該画像処理部27から読出し、このデジタルカメラ10に着脱自在に装着される記録媒体であるメモリカード28に書込む。
そして、1フレーム分の輝度及び色差信号の圧縮処理とメモリカード28への全圧縮データの書込み終了に伴なって、制御部21はCCD13からDRAM20への経路を再び起動する。
また、上記制御部21にはさらに、上述したキー入力部26と、3軸加速度センサ29、音声処理部30、フラッシュ駆動部31、及びUSBインタフェース(I/F)32が接続されている。
キー入力部26は、上記シャッタキーの他に、電源キー、ズームキー、撮影モードキー、再生モードキー、カーソルキー、セットキー、メニューキー、マクロキー、及びフラッシュキー等を有するもので、それらの操作に伴うキー入力信号は直接制御部21へ送信される。
3軸加速度センサ29は、3次元空間内でのX,Y,Z軸回りの加速度及び重力加速度を検出することで、このデジタルカメラ10の挙動を検出する。また、この3軸加速度センサ29の検出結果に応じ、特に静止画像の撮影時には手振れ補正処理を実行する。
音声処理部30は、PCM音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ10の筐体前面に配設されたマイクロホン部33より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばMP3(Moving Picture coding Experts Group−1 audio layer 3)規格にしたがってデータ圧縮して音声データファイルを作成し、上記メモリカード28へ送出する。
一方、音声処理部30は、音声の再生時にメモリカード28から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記表示部25と同じくデジタルカメラ10の背面側に設けられるスピーカ部34を駆動して、拡声放音させる。
フラッシュ駆動部31は、静止画像撮影時に図示しないフラッシュ駆動用の大容量コンデンサを充電した上で、制御部21からの制御に基づいてキセノン放電管等で構成されるフラッシュ発光部35を撮影タイミングに同期して閃光駆動させる。
しかるに、撮影モード時に静止画像ではなく動画像の撮影が選択されている場合には、1回目のシャッタキーが操作された時点で、上述した静止画データを取得して画像処理部27でデータ圧縮し、メモリカード28へ記憶するという一連の動作を適宜フレームレート、例えば30[フレーム/秒]で連続して実行するものとして開始し、該シャッタキーが2回目に操作されるか、またはメモリカード28の残り空き容量が一定量以下となった時点でそれら一連の静止画データファイルを一括してモーションJPEGのデータファイル(AVIファイル)として設定し直す。
また、再生モード時には、制御部21がメモリカード28に記憶されている画像データを選択的に読出し、画像処理部27で撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをバッファコントローラ19を介しDRAM20に保持させた上で、このDRAM20の保持内容を表示コントローラ23を介してVRAM24に記憶させ、このVRAM24より定期的に画像データを読出してビデオ信号を発生し、上記表示部25で再生表示させる。
選択した画像データが静止画像ではなく動画像であった場合、選択した動画像ファイルを構成する個々の静止画データの再生を所定のフレームレートで時間的に連続して実行し、最後の静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示する。
USBインタフェース32は、USB(Universal Serial Bus)規格に準じてUSB端子36に接続されるパーソナルコンピュータやプリンタ装置等、各種外部機器との送受信を行なう。
次に上記実施の形態の動作について説明する。
なお、以下に示す動作はすべて制御部21が予め不揮発性メモリ22に記憶されている動作プログラムを読出し、制御部21内の主記憶メモリに展開して実行するものである。
まず、本実施の形態に係る画像切替時の演出効果の概要について予め説明しておく。
図2は、加速度の向きに応じた演出効果の内容を例示するものである。
図2(I)は、デジタルカメラ10により被写体Sに近づいた直後に被写体Sを撮影した場合を示す。この場合、3軸加速度センサ29により得られる情報としては、撮影レンズ光学系12の光軸方向に沿って前方(被写体側)に移動する加速度の情報が得られることとなる。
したがって、このような加速度情報が付帯されている画像データをスライドショー機能時に再生する際には、その画像を所定時間表示するのに先立って、表示部25上で画像を徐々に拡大するような演出効果を加えて表示するものとする。
また、図2(II)は、デジタルカメラ10により被写体Sから遠ざかった直後に被写体Sを撮影した場合を示す。この場合、3軸加速度センサ29により得られる情報としては、撮影レンズ光学系12の光軸方向に沿って後方(被写体とは反対側)に移動する加速度の情報が得られることとなる。
したがって、このような加速度情報が付帯されている画像データをスライドショー機能時に再生する際には、その画像を所定時間表示するのに先立って、表示部25上で画像を徐々に縮小するような演出効果を加えて表示するものとする。
なお、この図2(II)ではデジタルカメラ10で縦長の画像を撮影した場合に、そのままの向きで画素を表示部25にて表示する場合を示しているが、実際には上述した如く3軸加速度センサ29により重力加速度の情報から、撮影時の画像の鉛直方向がどちらかを判断することが容易に可能であるため、横長のアスペクト比を有する表示部25でその左右に余白を設け、縦長画像の高さに合わせ予め縮小した状態で画像を表示し、上述した演出効果としてのさらなる縮小表示を行なうようにしても良い。
さらに、図2(III)は、デジタルカメラ10を被写体Sに対して方向に回動した直後に被写体Sを撮影した場合を示す。この場合、3軸加速度センサ29により得られる情報としては、撮影レンズ光学系12の光軸方向と直交する面に沿ってデジタルカメラ10の右方向から左方向(または左方向から右方向)に移動する加速度の情報が得られることとなる。
したがって、このような加速度情報が付帯されている画像データをスライドショー機能時に再生する際には、その画像を所定時間表示するのに先立って、表示部25上でその右端側(左端側)から画像が徐々に左側(右側)に移動して最終的に画像全体が表示部25で表示されるような、いわゆるスライドインと称される演出効果を加えて表示するものとする。
なお、上記図2(III)ではデジタルカメラ10を左右方向に移動した後に撮影した画像に関して述べたが、同様にデジタルカメラ10を上下方向に移動した後に撮影した画像についても、その向きに応じた表示部25の画面上から、あるいは画面下からスライドインさせるものとしてもよい。
さらには、上述した上下左右の4方向のみならず、斜めの方向の要素も加えて、例えば画面の右上端のコーナ部から左下方向に斜めに画像が徐々に移動するようなスライドイン表示を行なうものとしてもよい。
図3は、上記図2で説明した内容を含む、画像切替演出の要素とその効果の例を示すものである。
ここでは、3軸加速度センサ29で得られる加速度情報の大きさ(絶対値)、及び加速度の向きに基づいた演出効果の画像を表示するものとしている。
具体的には、加速度の大きさ「ax」が所定値「ath1」以上であれば(ax≦ath1)、次に表示すべき画像が素早く切り替わっていくように時間設定を通常より短く変更する一方で、加速度の大きさ「ax」が所定値「ath2」以下であれば(ax≧ath2,且つath1>ath2)、次に表示すべき画像がゆっくりと切り替わっていくように時間設定を通常より長く変更するものとする。
加えて、加速度の大きさ「ax」が上記「ath2」よりは大きいものの、上記「ath1」よりは小さい場合(ath2<ax<ath1)には、通常であるものとして、通常の時間設定通りとする。
また、加速度の向きについては、上記図2で説明した通りであり、撮影光軸に直交する面に沿った上下左右の各方向の動きであればその方向に対応したスライドインを行なう一方で、撮影光軸に沿って被写体との距離を変える前後方向の動きであれば、その方向に応じて撮影画像を拡大また縮小するものとする。
さらに、図4は、撮影画像が動画像である場合の、画像切替演出の要素とその効果の例を示すものである。
ここでも、3軸加速度センサ29で得られる加速度情報の大きさ(絶対値)、及び加速度の向きに基づいた演出効果の画像を表示するものとしている。
具体的には、加速度の大きさ「ax」が所定値「ath11」以上、且つ「ath12」以下であれば(ath11≦ax≦ath12)、動画像の表示途中のその加速度が得られたタイミング時に表示中の被写体に動きを示すような画像Aを重畳する一方で、加速度の大きさ「ax」が上記所定値「ath12」以上であれば(ax≧ath12)、上記画像Aよりもさらに大きく被写体の動きを示すような画像Bを表示中の被写体に重畳するものとする。
その場合、上記重畳する画像AまたはBの重畳位置としては、加速度の向きに対応するものとする。
上述した動作の具体的な制御について以下に説明する。
まず、画像を撮影してその撮影画像のデータを3軸加速度センサ29で得られる挙動情報としての加速度データと共に記録する場合の動作について説明する。
なお、本実施形態においては、キー入力部26のシャッタキーが2段階の操作ストロークを有するものとし、静止画像の撮影時にはシャッタキーを第1段階の操作ストローク位置まで押圧操作する、いわゆる「半押し」の状態でこれを検出してAF(Automatic Focus:自動合焦)処理及びAE(Automatic Exposure:自動露出)処理を実行して合焦位置及び露出値をロックし、その状態からさらにシャッタキーを第2段階のストローク位置まで押圧操作する、いわれる「全押し」の状態でこれを検出して上記合焦位置及び露出値に基づいた静止画像の撮影を実行するものとする。
但し、静止画像の撮影ではなく動画像の撮影時には、上記シャッタキーは単なるオン/オフスイッチとして機能し、半押しまたは全押しの操作により動画像の撮影の開始タイミングと終了タイミングとを指示するものとする。
図5は、撮影モード時に静止画像を撮影する場合の制御部21の処理内容を示す。同図では、その処理当初に3軸加速度センサ29で得られる加速度データを挙動情報として取得して蓄積する処理を開始した後に(ステップA01)、キー入力部26のシャッタキーが半押し操作されたか否かを繰返し判断する(ステップA02)ことで、3軸加速度センサ29で得られる加速度データを蓄積しながらシャッタキーが半押し操作されるのを待機する。
図6は、上記ステップA01の加速度データの取得開始に伴って図5の処理と並行して実施される、加速度データの取得処理の詳細を示すものであり、その当初に3軸加速度センサ29で得た3軸回りの各加速度データを取得する(ステップB01)。
この取得した加速度データを基に、制御部21内の主記憶メモリに構築した加速度テーブルの内容を更新設定する(ステップB02)。この加速度テーブルには、所定時間分、例えば20秒間分の加速度データを記憶するものとし、最新の加速度データを記憶することで、20秒以上前の加速度データを自動的に消去することで、常に最新の20秒間分の加速度データが挙動情報として更新されながら記憶されることとなる。
しかして、上記ステップB02で加速度テーブルの更新設定を行なった後、上記加速度テーブルに記憶した時間的に連続した加速度データとは別に、詳細は後述するが、特に動画像データの撮影途中で追記すべきタイミングであるか否かを判断する(ステップB03)。
ここで、追記すべきタイミングであると判断した場合にのみ、そのタイミングを示す時刻情報を、取得した加速度データと共に加速度データに追記設定する(ステップB04)。
その後、制御部21が挙動情報としての加速度データの取得の提示を指示したか否か、すなわち静止画像撮影時及び動画像撮影時に画像データの記録を終えたか否かを判断し(ステップB05)、そうでないと判断すると再び上記ステップB01からの処理に戻り、以後同様に加速度テーブルの内容を随時更新設定していく。
上記図5のステップA02でキー入力部26のシャッタキーが半押し操作されたと制御部21が判断した場合、その時点で上述した如くAF処理及びAE処理を実行して合焦位置及び露出値をロックする(ステップA03)。
この状態から、さらにシャッタキーが全押し操作されたか否か(ステップA04)、まだ半押し操作されたままであるか否か(ステップA05)を繰返し判断することで、半押し操作の状態が維持されていることを確認しつつ、全押し操作されるのを待機する。
ここで、シャッタキーの半押し操作状態が解除された場合には、ステップA05でこれを判断し、合焦位置及び露出値のロックを解除した後に(ステップA06)、再び上記ステップA01からの処理に戻る。
しかして、ステップA04でシャッタキーが全押し操作されたと判断すると、ロックしている合焦位置と露出値に基づいた撮影を実行し(ステップA07)、得た静止画像の画像データを画像処理部27で圧縮処理した後にメモリカード28に記録させる(ステップA08)。
併せて、上記図6で説明した加速度データの取得処理で加速度データの取得の停止を指示させることで(ステップA09)、上記ステップB05でこれを判断して当該図6の処理を一端終了させる。
次いで、その時点の加速度テーブルの内容を添付ファイルとして取り纏めた上で(ステップA10)、当該静止画像のJPEGファイルのExif(Exchangeable image file format)規格に対応した添付部分に追記設定する(ステップA11)。
以上で、一連の静止画像データの撮影と記録に関する処理を一通り終了し、次の静止画像データの撮影に備えるべく上記ステップA01からの処理に戻る。
図7は、上記静止画像の撮影と記録の過程で、3軸加速度センサ29により取得され、メモリカード28に画像データと共に記録される3次元空間中の3軸回りの加速度データの方向を、2次元平面上に展開した概念を示す図である。
同図では、タイミングt11でデジタルカメラ10を静止画像の撮影モードに設定した後、図示するように連続的に撮影レンズ光学系12の対向方向が変化し、加速度タイミングt13でキー入力部26のシャッタキーを操作して静止画像の撮影を実行したものとする。
この場合、撮影のタイミングt13から所定時間、例えば20秒間分だけ遡ったタイミングt12からの加速度データが加速度テーブルに記憶され、撮影時に取り纏められた上で画像データに追記設定される。したがって、タイミングt12からタイミングt13に至る加速度データの総和から図中に示す矢印A1で示すようなベクトルを得ることで、ユーザが操作するデジタルカメラ10の撮影時の総体的な挙動を得ることができる。
次に、図8により撮影モード時に動画像を撮影する場合の制御部21の処理内容を示す。同図では、その処理当初に3軸加速度センサ29で得られる加速度データを挙動情報として取得し、蓄積する処理の開始を指示した後に(ステップC01)、キー入力部26のシャッタキーが全押し操作されたか否かを繰返し判断することで(ステップC02)、3軸加速度センサ29で得られる加速度データを蓄積しながらシャッタキーが全押し操作され、動画像の撮影の開始が指示されるのを待機する。
なお、上記ステップC01で開始が指示された加速度データの取得処理の詳細については、上記図6で説明した内容と同様であるので、ここではその説明を省略する。
しかして、上記ステップC02でキー入力部26のシャッタキーが全押し操作されたと制御部21が判断した場合、その時点から動画像の撮影を開始するものとして、AF処理及びAE処理を伴う所定画像サイズ、例えば縦480×横640画素のVGAサイズ、且つ所定フレームレート、例えば30フレーム/秒での動画像の撮影処理を実行し、得た画像データを随時モーションJPEGのデータファイルを構成する画像の一部として画像処理部27でデータ圧縮した後にメモリカード28に記録する(ステップC03)。
このとき同時に、上記3軸加速度センサ29で得られる加速度情報の大きさ(絶対値)が所定のしきい値「ath21」以上であるか否かを判断する(ステップC04)。
ここで加速度情報の大きさが所定のしきい値以上であると判断した場合にのみ、タイミング情報の記録指示を行なって、上記図6のステップB04でその時点のタイミングを示す時刻情報を、加速度データと共に加速度テーブルに追記設定させる(ステップC05)。
その後、上記ステップC05の実行の有無に拘わらず、再度シャッタキーが全押し操作されるか、あるいはメモリカード28の残容量が一定値、例えば5MB(メガバイト)以下となったかを判断することで撮影終了を終了するか否かを判断し(ステップC06)、まだ撮影終了ではないと判断すると再び上記ステップC01からの処理に戻って、動画像の撮影動作を続行する。
こうしてステップC03〜C06の処理を繰返し実行することで、モーションJPEGのデータファイルとして動画像データが順次メモリカード28に記録されていく。
しかして、上記ステップC06で動画像の撮影を終了するものと判断すると、撮影を停止してそれまでにメモリカード28に記録した一連のJPEGデータファイルを一括してモーションJPEGの動画像のデータファイルとする取り纏めの処理を実行する(ステップC07)。
併せて、上記図6で説明した加速度データの取得処理に係るサブルーチンで加速度データの取得を一時停止させることで(ステップC08)、上記ステップB05でこれを判断して当該サブルーチンの処理を終了させる。
次いで、その時点の加速度テーブルの内容を添付ファイルとして取り纏めた上で(ステップC9)、当該動画のモーションJPEGのデータファイルのExif規格に対応した添付部分に追記設定する(ステップC10)。
以上で、一連の動画像データの撮影と記録に関する処理を一通り終了し、次の動画像データの撮影に備えるべく上記ステップC01からの処理に戻る。
図9は、上記動画像の撮影と記録の過程で、3軸加速度センサ29により取得され、メモリカード28に画像データと共に記録される3次元空間中の3軸回りの加速度データの方向を、2次元平面上に展開した概念を示す図である。
同図では、タイミングt21でデジタルカメラ10を動画像の撮影モードに設定した後、図示するように連続的に撮影レンズ光学系12の対向方向が変化し、タイミングt23でキー入力部26のシャッタキーを全押し操作して動画像の撮影を開始し、以後タイミングt26で再度シャッタキーを全押し操作して(またはメモリカード28の空き容量がなくなって)動画像の撮影を停止したものとする。
この場合、撮影のタイミングt23から所定時間、例えば20秒間分だけ遡ったタイミングt22からの加速度データが加速度テーブルに記憶され、撮影時に取り纏められた上で画像データに追記設定される。したがって、タイミングt22からタイミングt23に至る加速度データの総和から図中に示す矢印A2で示すようなベクトルを得ることで、ユーザが操作するデジタルカメラ10の撮影時の総体的な挙動を得ることができる。
併せて、動画像の撮影途中においても、タイミングt24とタイミングt25とで3軸加速度センサ29で得られる加速度情報の大きさ(絶対値)が所定のしきい値「ath21」以上であったものとして、上記ステップC05でそれぞれその時点のタイミングを示す時刻情報が各加速度データと共に加速度テーブルに追記設定される。
次に、再生モード時にメモリカード28に記録された画像データを用いてスライドショー表示を行なう場合の動作について説明する。
図10は、スライドショー表示を行なう場合の制御部21の処理内容を示す。同図では、その処理当初にメモリカード28に記録されている各種画像データファイルから1つを選択する(ステップD01)。その選択した画像データに加速度テーブルが付加設定されているか否かをExif規格の対応部分を検索して判断する(ステップD02)。
ここで、選択した画像データに加速度テーブルが付加設定されていると判断すると、次いでその画像データが動画像であるか否かを、例えばデータファイルの拡張子が「.avi」であるか否かにより判断する(ステップD03)。
画像データが動画像ではないと判断した場合、画像データは静止画データ(拡張子「.jpg」)であるものとして、当該加速度データを用いた画像切替演出(図では「画像切替演出1」と称する)をその加速度データの内容に基づいて決定する(ステップD04)。
図11は、このステップD09の画像切替演出を決定するためのサブルーチンの内容を示すものである。その当初に、挙動情報としての加速度データを読出す一方で(ステップE01)、Exif規格に基づく他の撮影条件のデータも併せて読出すものとする(ステップE02)。
次いで、これら読出した挙動情報としての加速度データと他の撮影条件とに応じて画像切替の演出効果を決定し(ステップE03)、以上でこのサブルーチンを終了して、メインルーチンである上記図10の処理に戻る。
この場合、上記図2及び図3で説明した如く、加速度の大きさと向きとにより画像の切り替わりの速度と切替り時の画像の方向(または拡大/縮小)を決定すると共に、例えば他の撮影条件中からホワイトバランス値やシーンプログラムの設定情報等を読出すことで、切替中の画像自体に適宜カラーフィルタリング処理などの色変換処理を施すものとしてもよい。
こうして加速度データを用いた画像切替演出効果を決定すると、決定した内容に基づいて上記図2でも説明したような当該静止画像の切替に伴う演出表示を表示部25で所定時間、例えば5秒間かけて実行する(ステップD05)。
その後、あらためてその静止画像を表示部25で再生表示しながら(ステップD06)、スライドショー表示で予め設定されている時間、例えば30秒間が経過したか否かを判断する(ステップD07)、という処理を繰返し実行することで、当該静止画像の表示部25での表示を続行する。
そして、予め設定されている時間が経過した時点でステップD07によりこれを判断し、さらにスライドショー機能の停止が指示されていないことを確認した上で(ステップD08)、再び次の画像データを選択してスライドショー表示を続行するべく上記ステップD01からの処理に戻る。
また、上記ステップD03で動画像のデータファイルであると判断した場合には、その動画像の先頭に位置している静止画像に対して加速度データを用いた画像切替演出(画像切替演出1)を行なうべく、切替演出の内容を決定する(ステップD09)。
この場合も、上記図11のサブルーチンにより挙動情報としての加速度データと、Exif規格に基づく他の撮影条件のデータとに応じて画像切替の演出効果を決定する。
加速度データを用いた画像切替演出効果を決定すると、決定した内容に基づいて上記図2でも説明したように動画像の先頭に位置する静止画像の演出表示を表示部25で所定時間、例えば5秒間かけて実行する(ステップD10)。
その後、動画像の再生途中で動画中に重畳すべき演出表示の内容を決定する(ステップD11)。
図12は、このステップD11の動画重畳演出を決定するためのサブルーチンの内容を示すものである。その当初には、加速度テーブルに追記設定されている、加速度の大きさが所定のしきい値以上となっている画像タイミングの加速データの1つを挙動情報として読出す一方で(ステップF01)、そのタイミングに対応する画像データからExif規格に基づく他の撮影条件のデータも併せて読出すものとする(ステップF02)。
次いで、これら読出した挙動情報としての加速度データと他の撮影条件とに応じて動画中に重畳表示する演出効果を決定する(ステップF03)。
その後、さらに加速度テーブルに追記設定された他の画像タイミングの情報があるか否かにより、動画重畳演出を行なう画像タイミングのポイントがあるか否かを判断し(ステップF04)、あると判断した場合には再び上記ステップF01からの処理に戻る。
こうして加速度テーブルに追記設定されている画像タイミングの情報分だけ動画重畳演出を決定し、すべての処理を終えた時点で上記このサブルーチンを終了して、メインルーチンである上記図10の処理に戻る。
その後、動画像データを構成する静止画像データの1つを読出し、その静止画像が上記加速度テーブルで追記設定したタイミングに対応するものであるか否かを判断する(ステップD12)。
ここで、加速度テーブルに追記設定した、加速度の大きさが所定のしきい値以上となっているタイミングの静止画像ではないと判断した場合には、そのまま当該静止画像を記録時のフレームレートに従って再生表示し(上記ステップD13)、その後にその静止画像が度加須を構成する最後の1枚ではないことを確認した上で(ステップD15)、動画の再生を続行するべく上記ステップD12からの処理に戻る。
また、上記ステップD12で動画像データを構成する静止画像データの1つが上記加速度テーブルで追記設定したタイミングに対応するものであると判断した場合には、上記ステップD11で決定した動画重畳演出を用いた画像の再生表示を行なう(ステップD14)。
図13は、このとき実行される動画重畳演出の一例を示すものである。図13(A)に示すような元の画像があり、その画像に対応する所定の大きさ以上の加速度の方向が例えば図の右から左に至るものであった場合、図13(B)に示すように同画像の右半分に水平方向の細線を鉛直方向に並列配置した、漫画やアニメーション等でいわゆる「陰」と呼称される画像を重畳して再生表示することにより、擬似的に当該画像の動きを表現できる。
なお、この動画重畳演出の表示に関しては、加速度テーブルで追記設定したタイミングから一定時間、例えば0.5秒間(フレームレートが30フレーム/秒であれば15フレーム分)に渡って継続して実施するものとする。
しかして、一連の静止画像データからなる動画像データの最後の1枚の再生表示を終えると、ステップD15で動画再生終了であるものと判断し、次いで上記ステップD08でスライドショー機能の停止が指示されていないことを確認した上で、再び次の画像データを選択してスライドショー表示を続行するべく上記ステップD01からの処理に戻る。
また、上記ステップD02で、選択した画像データファイルに加速度テーブルが付加設定されていないと判断した場合には、その画像データファイルが静止画像と動画のいずれであるにしろ、挙動情報としての加速度データを用いず、予め一律に設定された画像切替演出(図では「画像切替演出2」と称する)を決定する(ステップD16)。
これは、例えば静止画像あるいは動画像の先頭に位置する静止画像に対し、全画面の輝度情報を「0(ゼロ)」レベルから順次画像自体の値に引き上げることで、あたかも画面上で当該画像が徐々に浮かび上がってくるような、表示位置に関して一切動きを伴わない画像切替演出とする。
しかるに、決定した画像切替演出に基づいて当該画像の切替に伴う演出表示を表示部25で所定時間、例えば5秒間かけて実行する(ステップD17)。
その後、あらためてその画像が静止画像であれば、当該画像を表示部25で再生表示しながら(ステップD18)、スライドショー表示で予め設定されている時間、例えば30秒間が経過したか否かを判断する(ステップD19)、という処理を繰返し実行することで、当該静止画像の表示部25での表示を続行する。
そして、予め設定されている時間が経過した時点でステップD19によりこれを判断し、上記ステップD08に至る。
なお、上記ステップD16で画像切替演出を決定した画像が動画像である場合には、上記ステップD18,D19での予め設定された時間分だけの表示に代えて、当該動画像を記録時と同じフレームレートで最初から最後まで再生表示した後、上記ステップD08に至る。
このように、加速度データが付加設定されている画像データに関しては、記録した個々の画像データ単体でもその画像データが撮影された状況に対応した演出効果を用い、スライドショー機能による多彩な再生表示を行なうことが可能となる。
加えて、近時は手振れ補正処理を行なうためにデジタルカメラの多くの機種で装置の挙動を検出する機構を有しているため、その挙動検出機構を手振れ補正処理以外にも流用するものとして、検出した挙動情報を撮影画像と関連付けて記録するものとすれば、装置の構成を有効に活用して、スライドショー表示の際に多彩な再生表示を実現できる。
なお、上記実施の形態では、このデジタルカメラ10の挙動を検出する機構として3軸加速度センサ29を用いるものとした。
これにより、撮影画像の平面に沿った2次元での挙動のみならず、画像平面と直交する軸方向に沿った3次元空間中でのデジタルカメラ10の挙動を検出することができるため、検出した挙動情報に応じてよりダイナミックな演出効果を施した画像再生を行なうことができる。
この場合、特に、被写体との距離が変わるような挙動情報が撮影画像に関連付けて記録されていた場合に、その挙動の方向に合わせて、表示する撮影画像の大きさを連続的に可変するような演出効果の表示を行なうことで、簡易な画像処理ながら撮影時の挙動を効果的に再現することができる。
また、特に撮影画像の平面に沿って装置の被写体に対する方向を移動するような挙動情報が撮影画像に関連付けて記録されていた場合には、その挙動の方向に合わせて、表示画面外部から画像が徐々に画面内部に挿入されるように連続的に可変する演出効果の表示を行なうことで、簡易な画像処理ながら撮影時の挙動を効果的に再現することができる。
なお、上記実施の形態では示さなかったが、特に撮影画像の平面に沿って装置の被写体に対する方向を移動するような挙動情報が撮影画像に関連付けて記録されていた場合に、その挙動の方向に合わせて、表示する撮影画像を連続的に解像度を可変するような演出効果の表示を行なうものとしてもよい。
これにより、例えば移動している被写体の後側に行くほど解像度が低下するような表示を行なうことで、簡易な画像処理ながら、所謂「流し撮り(panning)」に近いスピード感あふれる表示を実現できる。
また、これも上記実施の形態では示さなかったが、特に撮影画像の平面に沿って装置の被写体に対する方向を移動するような挙動情報が撮影画像に関連付けて記録されていた場合に、その挙動の方向に合わせて、撮影画像の表示倍率を連続的に可変するような演出効果の表示を行なうものとしてもよい。
これにより、例えば下から上へ見上げるような被写体を撮影した場合に画像の上方ほど拡大して、あたかものし掛かってくるような表示を行ない、あるいは高所から下方向を見下ろすような被写体を撮影した場合にその上方ほど縮小して、高所であることを強調するなど、簡易な画像処理ながら、所謂「あおり(swing & tilt)」と呼称される、距離感を強調する表示を実現できる。
さらに、上記実施の形態では、撮影した画像が動画像であった場合に、その動画像の先頭に位置する画像のみならず、動画像途中でも特に大きな挙動が検出された時点ではそのタイミングに基づいて挙動情報に基づく大きさ及び方向で演出効果を施した表示を行なうものとしたので、スライドショー表示による画像の切替時だけではなく、動画像の再生途中でもより多彩でリアルな表示を実現できる。
また、上記実施の形態では、画像撮影直接の所定時間分だけ加速度データを検出することで、その画像を用いたスライドショー表示の切替前に加速度データを活かした演出効果の表示を行なうものとして説明したが、本発明はこれに限るものではなく、例えば当該画像の撮影前後の各加速度データを検出して、再生時に活用するものとしてもよい。
図14は、動画像データを構成する時間的に連続した各静止画データFR.1〜FR.7から加速度データの内容に応じた演出効果の方向を判定する場合の一例を示すものである。
同図で、各静止画データFR.1〜FR.7に付加された2つの矢印は、左側が撮影直前に検出された加速度の向き、右方が撮影直後に検出された加速度の向きを示している。
なお、各加速度の向きに関しては、図中では説明を容易にするために2次元平面における向きとして示しているが、本来は3軸加速度センサ29により取得される、3次元空間中の3軸回りの方向を示すものである。
ここでは、静止画データFR.nの撮影直後に検出された加速度の向きと、その次に撮影する静止がデータFR.n+1の撮影直前に検出する加速度の向きとを合成することで、デジタルカメラ10のカメラワークを検出するものとしており、上記合成においては時間的に後に位置する側の加速度の向きをより重要視して重み付けを行なうものとしている。図中、丸数字の「1」〜「6」が各フレーム間に渡る合成後の加速度の向きを示している。
例えば、静止画データFR.5の撮影直後の加速度の向きは下向きであり、その後の静止画データFR.6の撮影直前の加速度の向きは上向きであるので、2つの加速度の向きをそのまま合成すると、相殺されて向きを判断することができなくなってしまう。
しかしながら、ここでは上述した如く時間的に後に位置する側の加速度の向きをより重要視しているため、丸数字で「5」で示すように、僅かに上向きの加速度として判断するものとしている。
こうして合成した加速度の向きを2次元(XY座標)空間SPで一筆書き状に展開した様子が、図示するようになるもので、こうした加速度の向きから、デジタルカメラ10で動画像の撮影を行なった際のカメラワークを知ることができる。
したがって、そのカメラワークを反映した演出効果の表示を行なうことで、撮影時の雰囲気や気分を再現することができる。
その場合、加速度の向きだけでなく、大きさも考慮し、加速度が大きいときはより演出効果の幅を高めるようにすることで、より忠実に撮影時を再現で決めものとなる。
なお、上記実施の形態はデジタルカメラに適用した場合の実施の形態について説明したものであるが、本発明はデジタルカメラに限らず、パーソナルコンピュータのスクリーンセーバー機能時、充電台にセットした携帯電話機、電子フォトスタンド、画像ストレージ兼ビューワなどの各種装置やそれらの装置でソフトウェア的に実現される一機能であっても良い。
また、デジタルカメラ10の挙動を検出するセンサとして、上記実施の形態では3軸加速度センサを用いるものとして説明したが、本願発明ではこれに限ることなく、他にも例えばジャイロセンサを速度センサや傾斜センサ、振動センサ、地磁気センサ、圧力センサなどと組み合わせることによって、同様に実現できる。
その他、本発明は上述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施の形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施の形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
10…デジタルカメラ、11…モータ(M)、12…撮影レンズ光学系、13…CCD、14…タイミング発生器(TG)、15…CCDドライバ、16…AGC/SH回路、17…A/D変換器、18…カラープロセス回路、19…バッファコントローラ、20…DRAM、21…制御部、22…不揮発性メモリ、23…表示コントローラ、24…VRAM、25…表示部、26…キー入力部、27…画像処理部、28…メモリカード、29…3軸加速度センサ、30…音声処理部、31…フラッシュ駆動部、32…USBインタフェース(I/F)、33…マイクロホン部、34…マイクロホン部、35…フラッシュ発光部、36…USB端子。