JP2018148353A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】ＨＤＲ静止画データの生成に適した画像データを選択してＨＤＲ静止画データを生成することができる撮像装置及び撮像方法を提供すること。【解決手段】撮像装置１００は、異なる露出条件での複数回の撮像によって得られた複数の画像データを仮記憶する仮記憶部１０４ａを有する。第１の画像処理部１０６ａは、異なる露出条件での複数回の撮像で得られた第１の組の画像データからＨＤＲ動画データを生成する。制御部１１８は、複数の画像データにおける対象物のずれに基づいて、第１の組の画像データとは異なる第２の組の画像データを選択する。記録処理部１０６ｃは、第２の組の画像データを記録部１１２に記録する。【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

近年の撮像装置には、露出条件の異なる複数の画像を合成することで本来の撮像装置の仕様よりも広いダイナミックレンジの画像を取得するＨＤＲ画像記録機能を有しているものがある。このようなＨＤＲ画像記録機能を有する撮像装置の中で、例えば、特許文献１において提案されている撮像装置は、ＨＤＲ動画記録中において静止画撮影指示があったときには、ＨＤＲ動画記録用の撮像とは異なる露出設定の撮像を追加することによってＨＤＲ静止画を生成するための画像データの数を増やすようにしている。

特開２０１５−１５６２２号公報

特許文献１の撮像装置は、静止画撮影指示がなされたタイミングの直後の連続する複数の画像データを合成してＨＤＲ静止画データを作成している。すなわち、特許文献１の撮像装置は、ＨＤＲ静止画データを作成するための画像データが予め決まっている。しかしながら、複数の画像データの撮像タイミングにはずれがあるので、これらの複数の画像データは必ずしもＨＤＲ静止画データを作成するのに適切であるとは限らない。

本発明は、前記の事情に鑑みてなされたものであり、ＨＤＲ静止画データの生成に適した画像データを選択してＨＤＲ静止画データを生成することができる撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、異なる露出条件での複数回の撮像を繰り返し行って複数の画像データを生成する撮像部と、複数の前記画像データを仮記憶する仮記憶部と、前記仮記憶部に仮記憶された複数の前記画像データの中から、前記異なる露出条件での複数回の撮像で得られた第１の組の画像データに対して第１の合成処理を施して動画データを生成する第１の画像処理部と、複数の前記画像データにおける対象物のずれに基づいて、複数の前記画像データの中から、前記第１の組の画像データとは異なる第２の組の画像データを選択する制御部と、前記選択された前記第２の組の画像データに対して第２の合成処理を施して静止画データを生成することが可能なように、前記第２の組の画像データを記録部に記録する記録処理部とを具備する。

前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像部により、異なる露出条件での複数回の撮像を繰り返し行って複数の画像データを生成することと、複数の前記画像データを仮記憶部に仮記憶させることと、前記仮記憶部に仮記憶された複数の前記画像データの中から、前記異なる露出条件での複数回の撮像で得られた第１の組の画像データに対して第１の合成処理を施して動画データを生成することと、複数の前記画像データにおける対象物のずれに基づいて、複数の前記画像データの中から、前記第１の組の画像データとは異なる第２の組の画像データを選択することと、前記選択された前記第２の組の画像データに対して第２の合成処理を施して静止画データを生成することが可能なように、前記第２の組の画像データを記録部に記録することとを具備する。

本発明によれば、ＨＤＲ静止画データの生成に適した画像データを選択してＨＤＲ静止画データを生成することができる撮像装置及び撮像方法を提供することができる。

一実施形態に係る撮像装置の一例の構成を示すブロック図である。 一実施形態に係る撮像装置のメインの処理について示すフローチャートである。 一実施形態に係る撮像装置のメインの処理について示すフローチャートである。 ＨＤＲ動画撮像の開始後の動作を示すタイミングチャートである。 ＨＤＲ静止画作成処理について示すフローチャートである。 ＨＤＲ合成の可否の判定の手法について説明するための図である。 ＨＤＲ動画ファイルの構造を示す図である。 その他の処理について示すフローチャートである。 その他の処理について示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、スマートフォン、カメラ機能付き携帯電話機といった撮像機能を有する各種の機器である。図１に示す撮像装置１００は、撮像部１０２と、記憶部１０４と、画像処理部１０６と、再生部１０８と、表示部１１０と、記録部１１２と、通信部１１４と、操作部１１６と、制御部１１８とを有している。ここで、撮像装置１００の各ブロックは、例えばハードウェアとソフトウェアとの組み合わせによって構成されている。撮像装置１００の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又は複数のソフトウェアによって構成されていてもよい。

撮像部１０２は、撮像光学系１０２ａと、撮像素子１０２ｂと、駆動部１０２ｃとを有している。撮像光学系１０２ａは、絞り及びレンズ等を有し、図示しない被写体からの光束を撮像素子１０２ｂに入射させる。また、撮像光学系１０２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１０２ｂは、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、対象物を撮像し、対象物に係る画像データ（ＲＡＷデータ）を取得する。撮像素子１０２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１０２ｂは、撮像光学系１０２ａに光軸と直交する平面内で移動可能に構成されていてもよい。駆動部１０２ｃは、制御部１１８による制御に従って、撮像光学系１０２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１０２ｂを駆動したりする。

記憶部１０４は、例えばＤＲＡＭであり、撮像部１０２で取得された画像データを一時的に記憶する。ここで、本実施形態における記憶部１０４には、仮記憶部１０４ａとしての記憶領域が設けられている。仮記憶部１０４ａは、ＨＤＲ動画撮像に伴って撮像部１０２で逐次に取得される画像データをコピーして記憶しておくための記憶領域である。なお、仮記憶部１０４ａは、記憶部１０４とは別途に設けられてもよい。

画像処理部１０６は、撮像部１０２で取得されて記憶部１０４に記憶された画像データに対して画像処理を施す。画像処理部１０６は、第１の画像処理部１０６ａと、第２の画像処理部１０６ｂと、記録処理部１０６ｃとを有している。

第１の画像処理部１０６ａは、記憶部１０４に記憶された画像データに対して動画データの生成に係る画像処理を施す。ここで、本実施形態における動画データは、通常動画データとＨＤＲ動画データとを含む。通常動画データは、撮像部１０２によって取得された複数の画像データのそれぞれを動画コマとする動画データである。ＨＤＲ動画データは、撮像部１０２による異なる露出条件での複数回の撮像で得られた露出条件の異なる組（第１の組）の画像データを合成することで構成される合成画像データのそれぞれを動画コマとするダイナミックレンジの広い動画データである。

第２の画像処理部１０６ｂは、記憶部１０４に記憶された画像データに対して静止画データの生成に係る画像処理を施す。ここで、本実施形態における静止画データは、通常静止画データとＨＤＲ静止画データとを含む。通常静止画データは、撮像部１０２によって取得された１つの画像データから生成される静止画データである。ＨＤＲ静止画データは、撮像部１０２による異なる露出条件での複数回の撮像で得られた露出条件の異なる組（第２の組）の画像データを合成することで構成されるダイナミックレンジの広い静止画データである。動画では画像に的確な動きがあれば細部の階調が気にされないことが多く、見たものがそのままスピーディになめらかに再現されていればよいことが多い。一方、静止画ではすみずみまで鑑賞に耐える作品となっていることが要求される。このため、静止画の場合には、動画とは異なり、静止画にふさわしい表現のＨＤＲ画像となっていることが望ましい。このような状況を想定すれば、ＨＤＲ静止画データは、ＨＤＲ動画データと異なる表現の画像データとなるように画像処理されてもよい。この他、静止画にはプリントの用途もあるので、印刷機の特性に応じて合成されるＨＤＲ静止画データの特性を変えるようにするようにしてもよい。

記録処理部１０６ｃは、第１の画像処理部１０６ａ又は第２の画像処理部１０６ｂによって生成された画像データから記録用の画像ファイルを生成するための処理を行う。例えば、記録処理部１０６ｃは、動画データをＨ．２６４方式等の所定の動画圧縮方式で圧縮し、圧縮した動画データに対して所定のタグ情報を付与して動画ファイルを生成する。また、例えば、記録処理部１０６ｃは、静止画データをＪＰＥＧ方式等の所定の静止画圧縮方式で圧縮し、圧縮した静止画データに対して所定のタグ情報を付与して静止画ファイルを生成する。ここで、記録処理部１０６ｃは、静止画ファイルが動画撮影中に生成されたものであるときには、静止画ファイルと動画ファイルとを関連付けるための処理を行う。例えば、記録処理部１０６ｃは、静止画ファイルと動画ファイルとを関連付けるための情報（例えば関連しているファイルのファイル名）をタグ情報として記録する。また、記録処理部１０６ｃは、ＨＤＲ動画撮影中に生成されたＨＤＲ静止画データを生成するときには、ＨＤＲ静止画データの合成に用いられた画像データをＲＡＷ形式で記録する。このようなＲＡＷデータを記録することにより、既に記録されているＨＤＲ静止画データとは異なる画像表現のＨＤＲ静止画データを後の編集において生成することができる。

再生部１０８は、画像処理部１０６で生成された画像データを再生するための処理を行う。再生部１０８は、第１の再生処理部１０８ａと、第２の再生処理部１０８ｂとを有している。

第１の再生処理部１０８ａは、動画データを表示部１１０で再生するための処理を行う。例えば、第１の再生処理部１０８ａは、第１の画像処理部１０６ａで生成された動画データを表示部１１０に入力して表示部１１０における画像の表示を行わせる。画像データが圧縮されているときには、第１の再生処理部１０８ａは、圧縮されている画像データを伸長することも行う。

第２の再生処理部１０８ｂは、静止画データを表示部１１０で再生するための処理を行う。例えば、第２の再生処理部１０８ｂは、第２の画像処理部１０６ｂで生成された静止画データを表示部１１０に入力して表示部１１０における画像の表示を行わせる。画像データが圧縮されているときには、第２の再生処理部１０８ｂは、圧縮されている画像データを伸長することも行う。

表示部１１０は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、再生部１０８から入力された画像データに基づく画像等の各種の画像を表示する。

記録部１１２は、例えばフラッシュＲＯＭで構成されている。記録部１１２には、画像処理部１０６の記録処理部１０６ｃで生成された画像ファイルが記録される。また、記録部１１２には、撮像装置１００の制御のために用いられる各種のプログラムが記録されていてもよい。

通信部１１４は、撮像装置１００と各種の機器との通信を仲介するための処理を行う。通信部１１４は、例えばテレビに画像を通信したり、プリンタに画像を通信したり、クラウドサーバに画像を通信したりするための処理を行う。

操作部１１６は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１６は、例えば、レリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタン、タッチパネル等が含まれる。レリーズボタンは、静止画撮影の指示をするための操作部材である。動画ボタンは、動画撮影の開始又は終了を指示するための操作部材である。設定ボタンは、撮像装置１００の設定画面を表示させるための操作部材である。選択キーは、例えば設定画面上での項目の選択や決定をするための操作部材である。電源ボタンは、撮像装置１００の電源をオン又はオフするための操作部材である。タッチパネルは、表示部１１０の表示画面と一体的に設けられており、ユーザの表示画面上でのタッチ操作を検出する。タッチパネルによって前述したレリーズボタン、動画ボタン、設定ボタン、選択キー、電源ボタンと同等の操作ができるように構成されていてもよい。さらに、操作部１１６は、前述した以外の他の操作部材を有していてもよい。

制御部１１８は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置１００の動作を統括的に制御する。制御部１１８と同等の機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。また、制御部１１８の一部の機能は、制御部１１８と別個に設けられていてもよい。

次に、本実施形態に係る撮像装置の動作について説明する。図２Ａ及び図２Ｂは、本実施形態に係る撮像装置のメインの処理について示すフローチャートである。図２Ａ及び図２Ｂの処理は、制御部１１８が主体となって行われる。

図２Ａ及び図２Ｂの処理は、電源がオンされたときに開始される。ステップＳ１において、制御部１１８は、現在の動作モードが撮影モードであるか否かを判定する。ユーザによる操作部１１６の操作によって設定された動作モードに従って、制御部１１８は、現在の動作モードが撮影モードであるか否かを判定する。ステップＳ１において、撮像装置１００の動作モードが撮影モードであると判定されたときに、処理はステップＳ２に移行する。ステップＳ１において、撮像装置１００の動作モードが撮影モードでないと判定されたときに、処理はステップＳ２３に移行する。

ステップＳ２において、制御部１１８は、スルー画表示のために、撮像部１０２による撮像を行わせて画像データを取得する。ステップＳ３において、制御部１１８は、ステップＳ２で取得された画像データに基づいて再生部１０８を制御することによってスルー画表示を行う。

ステップＳ４において、制御部１１８は、ユーザによる操作部１１６の操作によって設定指示がされたか否かを判定する。ステップＳ４において、例えば設定ボタンの操作によって設定指示がされたと判定されたときには、処理はステップＳ５に移行する。ステップＳ４において、設定指示がされていないと判定されたときには、処理はステップＳ６に移行する。

ステップＳ５において、制御部１１８は、表示部１１０に設定画面を表示させるように再生部１０８を制御する。設定画面の表示後、制御部１１８は、設定画面上でのユーザの操作に従って各種の設定を変更する。設定画面上での設定の終了後、処理はステップＳ６に移行する。

ステップＳ６において、制御部１１８は、動画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって動画ボタンが操作されたときに、動画撮影の開始が指示されたと判定される。ステップＳ６において、動画撮影の開始が指示されたと判定されたときに、処理はステップＳ７に移行する。ステップＳ６において、動画撮影の開始が指示されていないと判定されたときに、処理はステップＳ２０に移行する。

ステップＳ７において、制御部１１８は、ＨＤＲ記録モードがオンになっているか否かを判定する。ＨＤＲ記録モードのオン／オフは、例えばステップＳ５の設定画面におけるユーザの操作によって行われる。ステップＳ７において、ＨＤＲ記録モードがオンになっていると判定されたときには、処理はステップＳ８に移行する。ステップＳ７において、ＨＤＲ記録モードがオンになっていないと判定されたときには、処理はステップＳ１５に移行する。ここでは、単純にＨＤＲ記録モードのオン／オフとしている。この場合、動画ＨＤＲと静止画ＨＤＲとを一括して設定できるというメリットがある。一方で、静止画と動画で別々にＨＤＲモードを設定可能でもよい。

ステップＳ８において、制御部１１８は、ＨＤＲ動画撮像を行う。すなわち、制御部１１８は、ＨＤＲ動画コマを生成できるように露出条件（例えば露出時間）を適宜に変更しながら撮像部１０２による撮像を実行する。その後、処理はステップＳ９に移行する。

図３は、ＨＤＲ動画撮像の開始後の動作を示すタイミングチャートである。ここで、図３の「撮像レート」は、撮像のタイミング及び各撮像における露出設定を示している。また、図３の「記録レート」は、動画コマ生成のタイミング及び生成される動画コマを示している。また、図３の「ＲＡＷ」は、後で説明するステップＳ９において仮記憶部１０４ａに記憶されるＲＡＷ形式の画像データを示している。また、図３の「静止画合成パターン」は、後で説明するＨＤＲ静止画作成処理において作成されるＨＤＲ静止画の合成パターンの例を示した図である。また、図３の「撮影」は、後で説明する静止画記録の指示が行われたタイミングである。

ＨＤＲ動画撮像では、露出の異なる撮像が繰り返し行われる。例えば、図３では、露出オーバーの撮像（図３の露出オーバー１）と露出アンダーの撮像（図３の露出アンダー１）とを含む第１の組の撮像が繰り返して行われる。ここで、露出オーバーの撮像は、標準の撮像よりも高い露出設定（例えば標準の露出設定に対して＋１段の露出設定）で行われる撮像である。露出アンダーの撮像は、標準の撮像よりも低い露出設定（例えば標準の露出設定に対して−１段の露出設定）で行われる撮像である。標準の撮像とは、ＨＤＲ動画撮像ではない通常の動画撮像時の露出設定で行われる撮像であり、シーン内の主要な対象物（例えば、中央の対象物、人物）の露出を適正値とする露出設定で行われる撮像である。露出は、例えば露出時間を変更することによって変更される。すなわち、露出オーバーの撮像のときには、露出時間は標準の撮像における露出時間よりも長く設定される。また、露出アンダーの撮像のときには、露出時間は標準の撮像における露出時間よりも短く設定される。ここで、シーン内の主要な対象物は、ユーザによって予め設定されるように構成されていてもよい。また、シーン内の主要な対象物は、ユーザの対象物の撮影傾向を学習することで判定できるようにしてもよい。

ステップＳ９において、制御部１１８は、撮像部１０２による撮像によって得られた画像データを記憶部１０４に記憶させる。また、制御部１１８は、撮像部１０２による撮像によって得られた画像データをコピーして記憶部１０４の仮記憶部１０４ａに記憶させる。

ステップＳ１０において、制御部１１８は、画像処理部１０６の第１の画像処理部１０６ａによってＨＤＲ動画コマを生成する。図３に示すように、ＨＤＲ動画コマの生成は、２コマ分の画像データの撮像が完了する毎に行われる。そして、ＨＤＲ動画コマは、直近の２コマの画像データから生成される。例えば、露出オーバー１の撮像と露出アンダー１の撮像との完了後にはこれらの２枚の画像データを用いてＨＤＲ動画コマ１が生成される。ＨＤＲ動画コマは、例えば露出オーバーの画像データにおける白飛び部分に露出アンダーの画像データを合成することで行われる。なお、ＨＤＲ動画コマの生成手法は、ここで示した手法に限定されるものではない。ここで、本実施形態においては、ＨＤＲ動画コマの生成は、記憶部１０４に記憶されているコピー元の画像データを用いて行われる。すなわち、仮記憶部１０４ａにおいては、コピーされた画像データが残される。このコピーされた画像データは、後で説明するＨＤＲ静止画記録に使用される。

ステップＳ１１において、制御部１１８は、ＨＤＲ動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって動画ボタンが再度操作されたときに、動画撮影の終了が指示されたと判定される。ステップＳ１１において、動画撮影の終了が指示されていないと判定されたときに、処理はステップＳ１２に移行する。ステップＳ１１において、動画撮影の終了が指示されたと判定されたときに、処理はステップＳ１４に移行する。

ステップＳ１２において、制御部１１８は、ＨＤＲ静止画記録をするか否かを判定する。例えばユーザによって静止画記録の指示がされたときにはＨＤＲ静止画記録をすると判定される。静止画記録の指示は、例えばレリーズボタンの押し操作である。ステップＳ１２において、ＨＤＲ静止画記録をすると判定されたときには、処理はステップＳ１３に移行する。ステップＳ１２において、ＨＤＲ静止画記録をしないと判定されたときには、処理はステップＳ８に戻る。この場合、ＨＤＲ動画撮像が継続される。

ステップＳ１３において、制御部１１８は、ＨＤＲ静止画ファイルの作成処理を行う。ＨＤＲ静止画ファイルの作成処理の後、処理はステップＳ８に戻る。以下、ＨＤＲ静止画ファイルの作成処理について説明する。図４は、ＨＤＲ静止画作成処理について示すフローチャートである。

ステップＳ１０１において、制御部１１８は、仮記憶部１０４ａに記憶されている画像データ（ＲＡＷデータ）の中から、静止画記録の指示のタイミングに近い２コマの画像データを選択する。図３の例では、露出オーバー２の撮像の間に静止画記録の指示がなされている。この場合、制御部１１８は、まず、静止画記録の指示がされたタイミングの撮像で得られた露出オーバー２の画像データとその直前の撮像で得られた露出アンダー１の画像データとを含む第２の組を選択する（図３の合成パターンＡの組み合わせ）。

ステップＳ１０２において、制御部１１８は、選択した２枚の画像データを比較し、２枚の画像データが合成可能な画像データであるか否かを判定する。ステップＳ１０２において、２枚の画像データが合成可能な画像データであると判定されたときには、処理はステップＳ１０３に移行する。ステップＳ１０２において、２枚の画像データが合成可能な画像データでないと判定されたときには、処理はステップＳ１０８に移行する。

ここで、ステップＳ１０２における判定は、選択した２枚の画像データにおける対象物のずれに基づいて行われる。ここでのずれは、対象物の位置のずれと対象物の形状のずれを含む。対象物の形状のずれとは、画像データの主要な対象物（中心の対象物、人物等）の間の輪郭のずれ、人物であれば表情のずれ等を含む。なお、対象物の位置のずれは、例えば２枚の画像データの間の対象物の動きベクトルによって判定される。また、対象物の形状のずれは、画像データの輪郭を抽出して比較する、顔検出技術を利用して顔の表情を特定して比較すること等によって行われる。ここで、比較の対象となる２枚の画像データの露出は異なっているので、ステップＳ１０２の判定に際してはこの露出差が考慮されることが望ましい。例えば、両方の露出差がなくなるように一方の画像データに対してゲインをかける露出補正処理を行ってから、ステップＳ１０２の判定を行うことが望ましい。

ステップＳ１０２においては、対象物の位置のずれと対象物の形状のずれの両方が所定値よりも小さければ合成可能であると判定される。例えば、図５に示す露出オーバーの画像データＢと露出アンダーの画像データＤ１との比較では、露出オーバーの画像データＢと露出アンダーの画像データＤ１との間で対象物である人物の位置のずれはない。しかしながら、露出アンダーの画像データＤ１において、対象物である人物の表情が黒潰れしてしまっている。この場合、露出オーバーの画像データＢと露出アンダーの画像データＤ１とでは対象物の表情のずれが大きいので、露出オーバーの画像データＢと露出アンダーの画像データＤ１とは合成可能でないと判定される。一方、図５に示す露出オーバーの画像データＢと露出アンダーの画像データＤ２との比較では、露出アンダーの画像データＤ１において、対象物である人物の表情はアンダーであるものの黒潰れはしていない。この場合、露出オーバーの画像データＢと露出アンダーの画像データＤ１とでは対象物の表情のずれが小さいとして、露出オーバーの画像データＢと露出アンダーの画像データＤ２とは合成可能であると判定される。この場合、後の処理によってＨＤＲ静止画データＨＤＲが生成される。

ここで、図４の説明に戻る。ステップＳ１０３において、制御部１１８は、合成可能であると判定された２枚の画像データの間の輝度差が所定値（例えば２．５段）よりも大きいか否かを判定する。この判定のための所定値については適宜に設定できる。ステップＳ１０３において、合成可能であると判定された２枚の画像データの間の輝度差が所定値よりも大きいと判定されたときには、処理はステップＳ１０４に移行する。ステップＳ１０３において、合成可能であると判定された２枚の画像データの間の輝度差が所定値以内であると判定されたときには、処理はステップＳ１０７に移行する。

ステップＳ１０４においては、制御部１１８は、次のＨＤＲ動画撮像のタイミングまで待機し、次のＨＤＲ動画撮像のタイミングとなったときに直近の２コマと露出設定を異ならせて撮像部１０２による撮像を行う。図３の例では、制御部１１８は、露出オーバー２の後の撮像のタイミングでは、直近２コマの撮像における露出設定である露出アンダー及び露出オーバーの両方と異なる標準の露出設定での撮像を行う（図３の標準２）。さらにその後の撮像のタイミングでは、制御部１１８は、直近２コマの撮像における露出設定である露出オーバー及び標準の両方と異なる露出アンダーの露出設定での撮像を行う（図３の露出アンダー２）。撮像の後、制御部１１８は、撮像部１０２による撮像によって得られた画像データを記憶部１０４に記憶させる。また、制御部１１８は、撮像部１０２による撮像によって得られた画像データをコピーして記憶部１０４の仮記憶部１０４ａに記憶させる。さらに、制御部１１８は、画像処理部１０６の第１の画像処理部１０６ａによってＨＤＲ動画コマを生成する。前述したように、ＨＤＲ動画コマは、直近の２コマの画像データから生成される。ただし、図３の例では、標準の撮像で得られた画像データについてはそのままＨＤＲ動画コマとしている。これは、露出オーバーの画像データと露出アンダーの画像データとで生成されるＨＤＲ動画コマとの画質の差を少なくするためである。しかしながら、露出オーバー２の撮像で得られた画像データと標準２の撮像で得られた画像データとでＨＤＲ動画コマを生成してもよい。一方、図３の露出アンダー２の撮像で得られた画像データとその後の露出オーバー３の撮像で得られた画像データについてはそのままＨＤＲ動画コマの生成に用いてよい。ＨＤＲ動画コマの生成後、処理はステップＳ１０５に移行する。

ステップＳ１０５において、制御部１１８は、露出の異なる直近の３枚（ステップＳ１０２で合成可能であると判定された２枚とステップＳ１０４で得られた１枚。図３の例では合成パターンＣの組み合わせ）の画像データが合成可能な画像データであるか否かを判定する。ステップＳ１０５における判定は、ステップＳ１０２における判定と同様に行われる。ステップＳ１０５において、３枚の画像データが合成可能な画像データであると判定されたときには、処理はステップＳ１０６に移行する。ステップＳ１０５において、３枚の画像データが合成可能な画像データでないと判定されたときには、処理はステップＳ１０７に移行する。

ステップＳ１０６において、制御部１１８は、ステップＳ１０５で合成可能であると判定された３枚（露出オーバー、標準、露出アンダー）の画像データを用いて画像処理部１０６の第２の画像処理部１０６ｂによってＨＤＲ静止画データを生成する。そして、制御部１１８は、生成したＨＤＲ静止画データを記憶部１０４に記憶させる。その後、図４の処理は終了する。

ステップＳ１０７において、制御部１１８は、ステップＳ１０２で合成可能であると判定された２枚の画像データを用いて画像処理部１０６の第２の画像処理部１０６ｂによってＨＤＲ静止画データを生成する。そして、制御部１１８は、生成したＨＤＲ静止画データを記憶部１０４に記憶させる。その後、図４の処理は終了する。

ステップＳ１０８において、制御部１１８は、静止画記録の指示から所定時間が経過したか否かを判定する。この所定時間は、例えば３コマ分の撮像期間である。ステップＳ１０８において、静止画記録の指示から所定時間が経過したと判定されたときには、処理はステップＳ１０９に移行する。ステップＳ１０８において、静止画記録の指示から所定時間が経過していないと判定されたときには、処理はステップＳ１１０に移行する。

ステップＳ１０９において、制御部１１８は、静止画記録の指示から所定時間が経過しているので、それまでのステップＳ１０１の処理において選択した画像データの中から合成に使用できる部分を集めて画像処理部１０６の第２の画像処理部１０６ｂによってＨＤＲ静止画データを生成する。そして、制御部１１８は、生成したＨＤＲ静止画データを記憶部１０４に記憶させる。その後、図４の処理は終了する。例えば、図５に示す露出オーバーの画像データＢと露出アンダーの画像データＤ１とでは、対象物である人物の表情は合成に使用できないものの、それ以外の部分については合成に使用できる。このような場合には、人物の顔以外をＨＤＲ静止画データの作成に用いる。同様にして他の画像データからも合成できる部分を集めて最終的に１枚の画像データを生成する。

ステップＳ１１０においては、制御部１１８は、次のＨＤＲ動画撮像のタイミングまで待機し、次のＨＤＲ動画撮像のタイミングとなったときに直近の２コマと露出設定を異ならせて撮像部１０２による撮像を行う。その後、処理はステップＳ１０１に戻る。

なお、２回目以後のステップＳ１０１の処理においては、制御部１１８は、静止画記録の指示がされたタイミングに近いタイミングの撮像で得られた２枚の画像データを選択する。例えば、２回目のステップＳ１０１の処理においては、制御部１１８は、露出オーバー２の撮像で得られた画像データと標準２の撮像で得られた画像データとを選択する（図３の合成パターンＢの組み合わせ）。さらに、図３では示していないが、３回目のステップＳ１０１の処理においては、制御部１１８は、露出オーバー２の撮像で得られた画像データと露出アンダー２の撮像で得られた画像データとを選択する。なお、本実施形態では、静止画記録の指示がされたタイミングの撮像で得られた露出オーバー２の画像データを基準にしてもう１枚の画像データを選択するように説明しているが、静止画記録の指示がされたタイミングの直前の撮像で得られた露出アンダー１の画像データを基準にしてもう１枚の画像データを選択する等の変更がなされてもよい。

ここで、図２Ａ及び図２Ｂの説明に戻る。ステップＳ１１においてＨＤＲ動画撮影を終了すると判定されたときのステップＳ１４において、制御部１１８は、画像処理部１０６の記録処理部１０６ｃによってＨＤＲ動画ファイルを生成する。その後、処理はステップＳ１に戻る。

図６は、ＨＤＲ動画ファイルの構造を示す図である。図６に示すように、ＨＤＲ動画ファイル２００は、ＨＤＲ動画データ２０１と、ＨＤＲ静止画データ２０２と、ＲＡＷデータ２０３と、タグ情報２０４とを有する。なお、図６では示していないが、ＨＤＲ動画ファイル２００には、撮像装置１００に搭載されたマイクを介して取得された音声データも併せて記録されてもよい。

ＨＤＲ動画データ２０１は、動画圧縮されたＨＤＲ動画コマＦ１、Ｆ２…からなるデータである。

ＨＤＲ静止画データ２０２は、静止画圧縮されたＨＤＲ静止画データＡ１からなるデータである。なお、ＨＤＲ動画ファイル２００には、複数のＨＤＲ静止画データ２０２が記録されることもある。

ＲＡＷデータ２０３は、ＨＤＲ静止画データ２０２の生成用いられた画像データをＲＡＷ形式で記録したデータである。ＲＡＷデータ２０３を記録しておくことにより、後の編集作業においてＨＤＲ静止画データを生成することもできる。

タグ情報２０４は、ＨＤＲ動画ファイル２００のファイル名等のファイル情報を有している。また、タグ情報２０４は、それぞれのＨＤＲ動画コマに関連付けされるＨＤＲ静止画データを特定するための情報（例えば、ＨＤＲ静止画データやＲＡＷデータの記録されているアドレス）を含む関連情報を有している。

なお、図６では、ＨＤＲ静止画データは、ＨＤＲ動画ファイルに記録されている。これに対し、ＨＤＲ静止画データは、ＨＤＲ動画ファイルとは別のファイルとして記録されてもよい。同様に、ＲＡＷデータもＨＤＲ動画ファイルとは別のファイルとして記録されてもよい。

ここで、図２Ａ及び図２Ｂの説明に戻る。ステップＳ７においてＨＤＲ記録モードがオンになっていないと判定されたときのステップＳ１５において、制御部１１８は、通常動画撮像を行う。すなわち、制御部１１８は、露出条件を標準の露出設定として撮像部１０２による撮像を実行する。そして、制御部１１８は、撮像毎に動画コマを生成するように画像処理部１０６に指示する。この指示を受けて、画像処理部１０６の第１の画像処理部１０６ａは、通常動画撮影に伴って記憶部１０４に記憶されている画像データから通常動画コマを生成する。その後、処理はステップＳ１６に移行する。

ステップＳ１６において、制御部１１８は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって動画ボタンが再度操作されたときに、動画撮影の終了が指示されたと判定される。ステップＳ１６において、動画撮影の終了が指示されていないと判定されたときに、処理はステップＳ１７に移行する。ステップＳ１６において、動画撮影の終了が指示されたと判定されたときに、処理はステップＳ１９に移行する。

ステップＳ１７において、制御部１１８は、通常静止画記録をするか否かを判定する。通常静止画記録をするか否かは、ＨＤＲ静止画記録と同様にして判定されてよい。ステップＳ１７において、通常静止画記録をすると判定されたときには、処理はステップＳ１８に移行する。ステップＳ１７において、通常静止画記録をしないと判定されたときには、処理はステップＳ１５に戻る。

ステップＳ１８において、制御部１１８は、通常動画撮影に伴って記憶部１０４に記憶された画像データを用いて画像処理部１０６の第２の画像処理部１０６ｂにより通常静止画データを生成する。その後、制御部１１８は、通常静止画データを記憶部１０４に記憶させる。その後、処理はステップＳ１５に戻る。

ステップＳ１９において、制御部１１８は、画像処理部１０６の記録処理部１０６ｃによって通常動画ファイルを生成する。その後、処理はステップＳ１に戻る。通常動画ファイルは、記録される動画データが通常動画データである点が図６で示したＨＤＲ動画ファイルと異なる。

ステップＳ６において動画撮影の開始が指示されていないと判定されたときのステップＳ２０において、制御部１１８は、静止画撮影の開始が指示されたか否かを判定する。例えば、ユーザによってレリーズボタンが操作されたときに、静止画撮影の開始が指示されたと判定される。ステップＳ２０において、静止画撮影の開始が指示されたと判定されたときに、処理はステップＳ２１に移行する。ステップＳ２０において、静止画撮影の開始が指示されていないと判定されたときに、処理はステップＳ１に戻る。

ステップＳ２１において、制御部１１８は、通常静止画撮像を行う。すなわち、制御部１１８は、ステップＳ５で設定された露出条件に従って撮像部１０２による１回の撮像を実行する。その後、処理はステップＳ２２に移行する。

ステップＳ２２において、制御部１１８は、画像処理部１０６の第２の画像処理部１０６ｂによって通常静止画データを生成する。通常静止画データの生成後、制御部１１８は、画像処理部１０６の記録処理部１０６ｃによって通常静止画ファイルを生成し、生成した記録部１１２に記録する。その後、処理はステップＳ１に戻る。

ステップＳ１において動作モードが撮影モードでないと判定されたときのステップＳ２３において、制御部１１８は、撮影モード以外のその他の処理を行う。その他の処理の後、処理はステップＳ１に戻る。

図７Ａ及び図７Ｂは、その他の処理について示すフローチャートである。ステップＳ２０１において、制御部１１８は、現在の動作モードが再生モードであるか否かを判定する。ステップＳ２０１において、撮像装置１００の動作モードが再生モードでないと判定されたときに、処理はステップＳ２１６に移行する。ステップＳ２０１において、撮像装置１００の動作モードが再生モードであると判定されたときに、処理はステップＳ２０２に移行する。

ステップＳ２０２において、制御部１１８は、記録部１１２に記録されている画像ファイルの一覧を表示させるように再生部１０８を制御する。これにより、例えば記録部１１２に記録されている画像ファイルの一覧を示すサムネイル画像が表示部１１０に表示される。その後、処理はステップＳ２０３に移行する。

ステップＳ２０３において、制御部１１８は、一覧表示の中からユーザによって動画ファイルが選択されたか否かを判定する。ステップＳ２０３において、ユーザによって動画ファイルが選択されたと判定されたときには、処理はステップＳ２０４に移行する。ステップＳ２０３において、ユーザによって動画ファイルが選択されていないと判定されたときには、処理はステップＳ２０８に移行する。

ステップＳ２０４において、制御部１１８は、選択された動画ファイルに対応した動画コマを表示部１１０に表示するように再生部１０８に指示する。これを受けて、再生部１０８の第１の再生処理部１０８ａは、動画コマを表示部１１０に表示させる。

ステップＳ２０５において、制御部１１８は、静止画を再生するタイミングであるか否かを判定する。例えば、再生中の動画コマに関連付けされている静止画データがあるときには、静止画を再生するタイミングであると判定される。ステップＳ２０５において、静止画を再生するタイミングであると判定されたときには、処理はステップＳ２０６に移行する。ステップＳ２０５において、静止画を再生するタイミングでないと判定されたときには、処理はステップＳ２０７に移行する。

ステップＳ２０６において、制御部１１８は、再生中の動画コマに関連付けられた静止画（ＨＤＲ静止画を含む）を表示部１１０に表示させるように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、静止画を表示部１１０に表示させる。これにより、表示部１１０において静止画の再生が行われる。

ステップＳ２０７において、制御部１１８は、動画再生を終了するか否かを判定する。ステップＳ２０７においては、最終の動画コマの再生が終了したか又はユーザによる操作部１１６の操作によって動画再生の終了が指示されたときに、動画再生を終了すると判定される。ステップＳ２０７において、動画再生を終了しないと判定されたときには、処理はステップＳ２０４に戻る。この場合には、動画再生は継続される。ステップＳ２０７において、動画再生を終了すると判定されたときには、処理はステップＳ２１５に移行する。

ステップＳ２０３においてユーザによって動画ファイルが選択されていないと判定されたときのステップＳ２０８において、制御部１１８は、ユーザの操作部１１６の操作によってスライドショーの再生指示がされたか否かを判定する。ステップＳ２０８において、スライドショーの再生指示がされたと判定されたときには、処理はステップＳ２０９に移行する。ステップＳ２０８において、スライドショーの再生指示がされていないと判定されたときには、処理はステップＳ２１２に移行する。

ステップＳ２０９において、制御部１１８は、記録部１１２に記録されている静止画ファイルの再生を順次に開始するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、静止画を表示部１１０に表示させる。これにより、表示部１１０において静止画の再生が行われる。

ステップＳ２１０において、制御部１１８は、静止画再生を終了するか否かを判定する。ステップＳ２１０においては、ユーザによる操作部１１６の操作によってスライドショーの再生の終了が指示されたときに、静止画再生を終了すると判定される。ステップＳ２１０において、静止画再生を終了しないと判定されたときには、処理はステップＳ２１１に移行する。ステップＳ２１０において、静止画再生を終了すると判定されたときには、処理はステップＳ２１５に移行する。ステップＳ２１０において、制御部１１８は、静止画再生を終了するか否かを判定する。ステップＳ２１１において、制御部１１８は、次の静止画があるか否かを判定する。ステップＳ２１１において、次の静止画があると判定されたときには、処理はステップＳ２０９に戻る。この場合には、次の静止画ファイルの再生が行われる。ステップＳ２１１において、次の静止画がないと判定されたときには、処理はステップＳ２１５に移行する。

ステップＳ２０８においてユーザによってスライドショーを再生指示がされていないと判定されたときのステップＳ２１２において、制御部１１８は、一覧表示の中からユーザによって静止画ファイルが選択されたか否かを判定する。ステップＳ２１２において、ユーザによって静止画ファイルが選択されたと判定されたときには、処理はステップＳ２１３に移行する。ステップＳ２１２において、ユーザによって静止画ファイルが選択されていないと判定されたときには、処理はステップＳ２１５に移行する。

ステップＳ２１３において、制御部１１８は、記録部１１２に記録されている静止画ファイルの再生を開始するように再生部１０８に指示する。これを受けて、再生部１０８の第２の再生処理部１０８ｂは、静止画を表示部１１０に表示させる。これにより、表示部１１０において静止画の再生が行われる。

ステップＳ２１４において、制御部１１８は、静止画再生の終了が指示されたか否かを判定する。ステップＳ２１４において、静止画再生の終了が指示されていないと判定されたときに、処理はステップＳ２１３に戻る。ステップＳ２１４において、静止画再生の終了が指示されたと判定されたときに、処理はステップＳ２１５に移行する。

ステップＳ２１５において、制御部１１８は、再生モードの処理を終了するか否かを判定する。ステップＳ２１５において、再生モードの処理を終了しないと判定されたときには処理はステップＳ２０２に戻る。ステップＳ２１５において、再生モードの処理を終了すると判定されたときには処理は図７Ａ及び図７Ｂの処理は終了する。この場合、処理は図２ＡのステップＳ１に戻る。

ステップＳ２１６において、制御部１１８は、現在の動作モードが通信モードであるか否かを判定する。ステップＳ２１６において、撮像装置１００の動作モードが通信モードであると判定されたときに、処理はステップＳ２１７に移行する。ステップＳ２１６において、撮像装置１００の動作モードが通信モードでないと判定されたときに、図７Ａ及び図７Ｂの処理は終了する。この場合、処理は図２ＡのステップＳ１に戻る。

ステップＳ２１７において、制御部１１８は、通信モードの処理を行う。通信モードの処理において、制御部１１８は、通信部１１４を制御して、例えば記録部１１２に記録されている画像ファイルを外部機器に送信したり、外部機器に記録されている画像ファイルを受信したりといった処理を行う。通信モードの処理の後、図７Ａ及び図７Ｂの処理は終了する。この場合、処理は図２ＡのステップＳ１に戻る。

以上説明したように本実施形態では、ＨＤＲ動画撮影中に得られた画像データからＨＤＲ静止画を記録するに当たり、静止画記録の指示がされたタイミングや画像データの間のずれを考慮してＨＤＲ合成に適した画像データを選択するようにしている。これにより、ＨＤＲ静止画の画質を向上することができる。

また、本実施形態では、最初に２枚の画像データからＨＤＲ静止画合成を行うことができるか否かを判定している。そして、ＨＤＲ静止画合成ができる画像であって、画像データの間の輝度差が大きい場合には、選択した２枚の画像データとは異なる露出での追加の撮像を行うようにしている。異なる露出での追加の撮像を行うことでＨＤＲ静止画の画質を向上させることはできる。しかしながら、追加の撮像により、ＨＤＲ動画の画質に若干の影響がある。本実施形態では、必要なときのみ追加の撮像を行うことでＨＤＲ動画の画質も維持することができる。なお、本実施形態では、輝度差が大きいときには追加の撮像が行われるものとしているが、この追加の撮像は行われないように構成されていてもよい。

また、本実施形態では、異なる露出での２回の撮像によって得られた画像データからＨＤＲ動画データを生成している。撮像レートが許すのであれば、撮像の回数は３回以上であってもよい。この場合、ＨＤＲ静止画データも初めから３枚以上の画像データから生成されてもよい。この場合、高撮像レートで撮像された動画の再生中においてユーザによって一時停止操作がされたときには、その停止されたフレームの画像データとその前後のフレームデータとを合わせたＨＤＲ静止画を表示させるようにしてもよい。このようにして一時停止中に表示される画像をＨＤＲ静止画とすることにより、単純に１フレームの画像を表示させるよりもユーザにとって効果的な一時停止をすることができる。

また、本実施形態の技術において、ＨＤＲ動画撮影はＨＤＲスルー画表示に置き替えることもできる。この場合、本実施形態の技術は、例えば内視鏡装置、顕微鏡装置、監視装置といった撮像装置に対しても適用され得る。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御部１１８に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御部１１８は、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

１００ 撮像装置、１０２ 撮像部、１０２ａ 撮像光学系、１０２ｂ 撮像素子、１０２ｃ 駆動部、１０４ 記憶部、１０４ａ 仮記憶部、１０６ 画像処理部、１０６ａ 第１の画像処理部、１０６ｂ 第２の画像処理部、１０６ｃ 記録処理部、１０８ 再生部、１０８ａ 第１の再生処理部、１０８ｂ 第２の再生処理部、１１０ 表示部、１１２ 記録部、１１４ 通信部、１１６ 操作部、１１８ 制御部。

Claims (8)

1. 異なる露出条件での複数回の撮像を繰り返し行って複数の画像データを生成する撮像部と、
   複数の前記画像データを仮記憶する仮記憶部と、
   前記仮記憶部に仮記憶された複数の前記画像データの中から、前記異なる露出条件での複数回の撮像で得られた第１の組の画像データに対して第１の合成処理を施して動画データを生成する第１の画像処理部と、
   複数の前記画像データにおける対象物のずれに基づいて、複数の前記画像データの中から、前記第１の組の画像データとは異なる第２の組の画像データを選択する制御部と、
   前記選択された前記第２の組の画像データに対して第２の合成処理を施して静止画データを生成することが可能なように、前記第２の組の画像データを記録部に記録する記録処理部と、
   を具備する撮像装置。
2. 静止画記録の指示をするための操作部をさらに具備し、
   前記仮記憶部は、前記静止画記録の指示がなされたタイミングの前後の所定時間までの撮像で得られた複数の前記画像データを仮記憶する請求項１に記載の撮像装置。
3. 前記制御部は、前記対象物の位置のずれの小さい複数の画像データを前記第２の組の画像データとして選択する請求項１に記載の撮像装置。
4. 前記制御部は、前記対象物の形状のずれの小さい複数の画像データを前記第２の組の画像データとして選択する請求項１に記載の撮像装置。
5. 前記選択された前記第２の組の画像データに対して第２の合成処理を施して静止画データを生成する第２の画像処理部をさらに具備する請求項１に記載の撮像装置。
6. 前記第２の画像処理部は、前記制御部によって前記第２の組の画像データが選択されなかったときには、複数の前記画像データの間のずれの小さい画像データ部分を抽出し、抽出した画像データ部分を合成して前記静止画データを生成する請求項５に記載の撮像装置。
7. 記録処理部は、可逆圧縮データ又は非圧縮データで前記第２の組の画像データを記録する請求項１に記載の撮像装置。
8. 撮像部により、異なる露出条件での複数回の撮像を繰り返し行って複数の画像データを生成することと、
   複数の前記画像データを仮記憶部に仮記憶させることと、
   前記仮記憶部に仮記憶された複数の前記画像データの中から、前記異なる露出条件での複数回の撮像で得られた第１の組の画像データに対して第１の合成処理を施して動画データを生成することと、
   複数の前記画像データにおける対象物のずれに基づいて、複数の前記画像データの中から、前記第１の組の画像データとは異なる第２の組の画像データを選択することと、
   前記選択された前記第２の組の画像データに対して第２の合成処理を施して静止画データを生成することが可能なように、前記第２の組の画像データを記録部に記録することと、
   を具備する撮像方法。