JP2018125665A - 撮像装置、撮像制御方法およびプログラム - Google Patents

Abstract

【課題】 撮影前に低速シャッターにて長時間露光撮影したい部分とそうでない部分をユーザに選択させることによって、画像処理が必要であるかどうかを判断し、ユーザや撮影状況に合わせて処理内容を変更できることを目的とする。【解決手段】本発明は、任意の露光時間撮像する第１の撮像手段と、第１の撮像手段の露光時間より短い時間露光して撮像する第２の撮像手段と、指定された範囲外の部分の第１及び第２の撮像手段により撮像された画像のエッジを計測する。計測された第１及び第２の撮像手段により撮像された画像のエッジの数の差を検出し、検出された差分が所定の値以上の場合、指定された範囲の第１の撮像手段による撮像結果を抽出し、第２の撮像手段による撮像結果に合成し保存する。検出された差分が所定の値以下の場合、第１の撮像手段による撮像結果を保存する。【選択図】図１

Description

本発明は、長時間露光撮影を容易にする撮像装置、撮像逝去方法およびプログラムに関する。

滝や川などの水の流れを表現した撮影を行いたい場合、シャッター速度を遅くし、長時間露光をして水の流れなどを撮影する手法がある。その際、三脚や一脚があれば手ブレしないで撮影することが可能だが、三脚や一脚がない場合手ブレが発生することがあり、上手く撮影できないことがある。

三脚等は大きさや重さの観点から、ユーザは普段からカメラと一緒に持ち歩くことを好まない。特に、滝や川などの撮影をしたいシーンを考えた場合大抵は旅行先などであるため、写真撮影のための旅行という目的でない限り、旅行先に三脚等を持って行くというユーザは少ない。

また、もし三脚等を持っていたとしても、滝などの近くは地面が濡れていたり足場が悪かったりするため置く場所が限られてしまい、気軽に撮影を楽しむことができない。

特許文献１には、ブレを除去した流し撮り効果やブレを除去した尾引き効果を得る技術について開示されている。

特許文献２には、長時間露光画像を自動的に生成するシステム及び方法について開示されている。

特開２００６−８６９３３号公報 特開２０１０−２５２３１３号公報

特許文献１には、複数枚高速シャッターで撮影した画像を被写体と背景にわけて、被写体はズレをなくすよう合成し、背景は移動した軌跡を補間するよう合成することによって流し撮りの効果を得たり、逆に、被写体は軌跡を補間し背景はズレないよう合成処理を施すことで尾引き効果を得たりする技術が記載されている。

しかし、この技術では移動する物体が一定の軌跡を辿ることを前提としているため、滝や川などの水の動きでは軌跡が一定ではないので補間処理が上手く動作しない可能性が高いという課題がある。

また、特許文献２には、三脚などの機材を使わずに短時間露光画像のシーケンスから長時間露光画像をシミュレートする技術が記載されている。この発明では前述の特許文献１では解決できなかった水の流れなどを表現することができ、更に、静的部分又は半静的部分には長時間露光処理を行なわず、動いている要素のみに長時間露光を適用することもできる。

しかし、この技術では必ず画像がシミュレートにて合成されるため、シミュレートにかかる待ち時間が必要になり、また、画像合成しなくても良い部分まで合成されてしまうという課題が生じる。

そのため、画像の処理をする必要がある場合とない場合とを切り分け、画像合成しなくても良い場合には長時間露光した画像をそのまま取得し、画像合成した方が良い場合は画像処理を施した画像を取得できることが望まれる。

本発明は、撮影前に低速シャッターにて長時間露光撮影したい部分とそうでない部分をユーザに選択させることによって、画像処理が必要であるかどうかを判断し、ユーザや撮影状況に合わせて処理内容を変更できることを目的とする。

上記課題を解決するために、本発明は、任意の露光時間撮像する第１の撮像手段と、前記第１の撮像手段の露光時間より短い時間露光して撮像する第２の撮像手段と、指定された範囲外の部分の前記第１及び第２の撮像手段により撮像された画像のエッジを計測するシャープネス計測手段と、前記シャープネス計測手段により計測された前記第１及び第２の撮像手段により撮像された画像のエッジの数の差を検出する差分検出手段と、前記差分検出手段により、検出された差分が所定の値以上の場合、前記指定された範囲の前記第１の撮像手段による撮像結果を抽出し、前記第２の撮像手段による撮像結果に合成し保存する合成画像保存手段と、前記差分検出手段により、検出された差分が所定の値以下の場合、前記第１の撮像手段による撮像結果を保存する画像保存手段と、を有することを特徴とする

本発明によれば、長時間露光でも手持ちで上手く撮影できるユーザには低速シャッターでの本物の写真を提供し、撮影中に手ブレをしてしまうユーザにも疑似的な低速シャッター風写真を提供することが可能となる。

本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。

本発明の実施形態に係る撮像装置が撮像処理する全体の処理手順を説明するフローチャートである。

本発明の実施形態に係る撮像装置の撮像範囲を切り分ける処理手順を説明するフローチャートである。

本発明の実施形態に係る撮像装置の撮像処理の手順を説明するフローチャートである。

本発明の実施形態に係る撮像装置の撮像後の画像合成処理の手順を説明するフローチャートである。

本発明の実施形態に係る撮像装置の初期（ステップＳ２０１）においてディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

本発明の実施形態に係る撮像装置の撮像範囲を切り分ける処理（図３）においてディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

本発明の実施形態に係る撮像装置の撮像処理時（図４）においてディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

本発明の実施形態に係る撮像装置において撮像される２つの画像の例、及び合成処理の例を示す模式図である。

本発明の実施形態に係る撮像装置の画像合成後（ステップＳ５０４）にディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、図１を参照して、本発明を実施する撮像装置１００のハードウェア構成について説明する。なお、撮像装置１００は必ずしも撮像専用機器ではなくてもよく、携帯端末や携帯電話が以下の機能を有していてもよい。

撮像装置１００は、いわゆるデジタルカメラから成り、撮像用のレンズ１０１、撮像素子（以下、「ＣＣＤ」と称する）１０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）１０３、画像処理部１０４、システムコントローラ１１０、バッファメモリ１１１、フラッシュＲＯＭ１１２、インタフェース回路（以下、「Ｉ／Ｆ回路」と称する）１１３、カードホルダ１１４、メモリカード１１５、ディスプレイドライバ１１６、および操作部１２０を備える。

レンズ１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子１０２は、レンズ１０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。

カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、サウンドドライバ１１８、ＬＥＤドライバ１２８、および操作部１２０に接続されている
画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。

電子ズーム処理部１０７は、例えば、撮像された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。

圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

バッファメモリ１１１には、画像処理部１０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮像装置１００の各種設定情報や、後述する指定された構図情報等が保存される。Ｉ／Ｆ回路１１３は、システムコントローラ１１０から出力される画像データを、メモリカード１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、メモリカード１１５から読み出された画像データ等を、システムコントローラ１１０で処理可能なデータ形式に変換する。

カードホルダ１１４は、記録媒体であるメモリカード１１５を撮像装置１００に着脱可能にする機構を備えると共に、メモリカード１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮像装置１００で利用される記録媒体の種類に応じた構造を有する。メモリカード１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記録媒体である。メモリカード１１５には、撮像装置１００で撮像された画像データを記録することができる。

ディスプレイドライバ１１６は、システムコントローラ１１０から出力される画像データをディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、システムコントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズをディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。

サウンドドライバ１１８は、システムコントローラ１１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ドライバ１２８は、システムコントローラ１１０から出力される命令に従いランプ１２９の制御を行う。

操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮像ボタン１２３、タッチパネルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。

モードダイヤル（選択ボタン）１２２は、撮像動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮像動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル１２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。

また、撮像動作モードの例として、構図を用いて撮像を行う場合、その構図の指示入力を受付けることが可能なモード等があるが、尚、このようなモードへの切替方法については、ダイヤルに限定されず、ディスプレイ１１７上のタッチパネル（不図示）などによる切替方法であってもよい。

閲覧ボタン１２６は、撮像した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮像モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、前述のように、閲覧ボタン１２６の押下に限定されず、ディスプレイ１１７上のタッチパネルなどによる移行方法であってもよい。

閲覧モードでは、システムコントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されているメモリカード１１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリカード１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。

メモリカード１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびシステムコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データをディスプレイ１１７に表示させる。

タッチパネルキー１２４は、ディスプレイ上に表示される操作キーであり、ユーザが撮像装置１００に対する所定の指示や機能選択を行うためのキーである。ユーザは、タッチパネルキー１２４により、撮像装置１００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。

また、タッチパネルキー１２４により、ディスプレイ１１７にメニュー画面や撮像装置１００に対して各種設定情報を設定するための画面を表示したり、撮像装置１００が有する所定の機能を選択することができる。

さらに、タッチパネルキー１２４により、撮像装置１００で撮像された画像データをディスプレイ１１７上にプレビュー表示させることができる。プレビュー表示とは、撮像装置１００で撮像した画像を、その直後にディスプレイ１１７に表示させる機能である。

なお、プレビュー表示については、ディスプレイ１１７上に撮像した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、タッチパネルキー１２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。

レンズ制御部１２７は、レンズ１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮像装置１００は、被写体を撮像して画像データを得る撮像モードと当該撮像モードで得た画像データを表示する閲覧（再生）モードとを備える。

なお、音声についてはマイクやスピーカを用いることで、撮像装置１００と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部１０８および伸長部１０９で、映像と音声が多重化される。

また、撮像装置１００における撮像動作について図１を用いて説明する。まず、ユーザが電源スイッチ１２１を操作し、撮像装置１００の電源をＯＮにする。すると、撮像装置１００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮像装置１００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。

撮像装置１００は、電源ＯＦＦ時に電源スイッチ１２１が押下されると電源ＯＮとなり、自動的に撮像モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。

撮像装置１００が撮像モードに移行すると、光学画像がレンズ１０１を介して撮像装置１００内へ入射し、撮像素子（ＣＣＤ）１０２に結像される。ＣＣＤ１０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）１０３へ出力する。ＡＤＣ１０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ１０３から出力されるデジタル信号は画像処理部１０４に入力される。

画像処理部１０４内の前処理部１０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部１０４内のＹＣ処理部１０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。

色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部１０５およびＹＣ処理部１０６で画像処理を行う際は、画像データを一時的にバッファメモリ１１１に保存し、随時バッファメモリ１１１に保存されている画像データを読み出しながら画像処理が行われる。

画像処理部１０４から出力される画像データ（非圧縮）はシステムコントローラ１１０に入力される。システムコントローラ１１０は、画像処理部１０４から出力される画像データを、ディスプレイドライバ１１６へ出力する。

ディスプレイドライバ１１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズをディスプレイ１１７で表示可能なサイズに調整する。

また、ディスプレイドライバ１１６は、ディスプレイ１１７に画像を表示させるよう制御する。このとき、ディスプレイ１１７に表示される画像は、ＣＣＤ１０２、ＡＤＣ１０３、および画像処理部１０４で、連続的に信号処理されて生成される画像（スルー画像）である。

ディスプレイ１１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮像ボタン１２３を操作すると、システムコントローラ１１０は画像処理部１０４に制御信号を出力する。画像処理部１０４に制御信号が入力されると、圧縮部１０８は、前処理部１０５およびＹＣ処理部１０６で画像処理された画像データをバッファメモリ１１１へ保存し、圧縮処理を行う。

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ１１０およびディスプレイドライバ１１６を介してディスプレイ１１７に表示される。また、圧縮された画像データは、カードホルダ１１４を介してメモリカード１１５に記録される。

撮像ボタン１２３が操作される前にズームボタン１２５が操作されると、システムコントローラ１１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン１２５の操作後、撮像ボタン１２３が操作されると、拡大または縮小された画像の画像データがメモリカード１１５へ記録される。

次に、図２〜図５を参照して、本発明の撮像装置１００が撮像する処理手順について説明する。

図２は、本発明の実施形態に係る撮像装置が撮像処理する全体の処理手順を説明するフローチャートであり、撮像装置１００のシステムコントローラ１１０の制御の下、処理が実行される。なお、Ｓ２０１〜Ｓ２１２は各処理ステップを示す。

図２のフローチャートは、撮像装置を起動し、ユーザが長時間露光撮像操作を行うと開始される。なお、この操作の事前にユーザから長時間露光させる時間（シャッタースピードをたとえば１／５秒など）が設定されても良い。

まず、ステップＳ２０１において、撮像装置１００のシステムコントローラ１１０は、長時間露光撮影を開始する前に設定すべき項目の説明画面を撮像装置１００のディスプレイ１１７に表示する。ディスプレイ１１７に説明画面（ヘルプ情報）を表示させている例を図６を参照して説明する。

図６は、本発明の実施形態に係る撮像装置の初期（ステップＳ２０１）においてディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

図６の６０１は、撮像装置６００上にあるディスプレイ１１７に表示されている画面イメージの例であり、６０２に「疑似低速シャッターモード」という撮影モードの説明とともに、６０３において、「長時間露光で撮影したい部分を囲んでください。タッチパネルで操作できます。」とのコメントを表示させている。

この発明では、ユーザに長時間露光させて撮影（低速シャッターで撮像）したい部分をタッチパネル１２４で指定させて、囲まれた部分のみを長時間露光の画像として撮影する。それ以外を短時間露光（高速シャッターで撮像）として、長時間露光撮影したい部分とそうでない部分をユーザに指定させることによって、画像処理が必要であるかどうかを判断し、撮影状況に合わせて処理結果を適切に変更することができる。そのために図６は長時間露光撮影を行う範囲をユーザに指定してもらう処理を受け付ける前の説明画面のイメージ図である。図２のフローチャートの説明に戻る。

図２のステップＳ２０１において、長時間露光撮影を開始する前に設定すべき項目の説明画面を一定時間表示し、次のステップＳ２０２へと処理を遷移する。なお、ステップＳ２０２への処理遷移のきっかけは、一定時間表示後でも良いし、タッチパネル１２４に触れられた段階でステップＳ２０２へと処理を遷移させても良い。

ステップＳ２０２へと処理を遷移すると、撮像装置１００のシステムコントローラ１１０は、ユーザからタッチパネル１２４への入力を待つ。ステップＳ２０３において、タッチパネル１２４に触れられたかどうか判断し、タッチパネル１２４に触れられるとステップＳ２０３へと処理を遷移し、タッチパネル１２４に触れられていない場合はステップＳ２０２へと処理を戻す。

ステップＳ２０３において、タッチパネル１２４に指などが触れた場合は、次のステップＳ２０４へと処理を遷移し、ステップＳ２０４において、撮像装置１００のシステムコントローラ１１０は、ユーザにより入力された長時間露光撮影する範囲を特定する処理を行う。ステップＳ２０４の処理の詳細を、図３を参照して説明する。

図３は、本発明の実施形態に係る撮像装置の撮像範囲を切り分ける処理手順を説明するフローチャートであり、撮像装置１００のシステムコントローラ１１０の制御の下、処理が実行される。なお、Ｓ３０１〜Ｓ３１０は各処理ステップを示す。

図３のフローチャートは、図２のステップＳ２０４へと処理が遷移すると開始されるフローチャートである。

まず、ステップＳ３０１において、撮像装置１００のシステムコントローラ１１０は、ユーザからタッチパネル１２４上でなぞられる入力情報（タッチパネル上の位置）を、たとえばバッファメモリ１１１に保持する。次のステップＳ３０２において、タッチパネル１２４からユーザの指が離れるまで、ステップＳ３０１の入力情報（タッチパネル上の位置）をバッファメモリ１１１に保持し続ける。

ステップＳ３０２においてタッチパネル１２４からユーザの指が離れると、次のステップＳ３０３へと処理を遷移し、ステップＳ３０３において、撮像装置１００のシステムコントローラ１１０は、ユーザの指でなぞられたタッチパネル１２４上の始点と終点が閉じているかを判断する。始点と終点が閉じている（ほぼ同じ位置にある）場合は、ステップＳ３０５へと処理を遷移し、始点と終点が閉じていない場合は、ステップＳ３０４へと処理を遷移する。

ステップＳ３０４へと処理を遷移すると、撮像装置１００のシステムコントローラ１１０は、指でなぞられた始点と終点をつなぎ、閉領域として、ステップＳ３０５へと処理を遷移する。

ステップＳ３０５へと処理を遷移すると、撮像装置１００のシステムコントローラ１１０は、ディスプレイ１１７に、長時間露光撮影する範囲の選択を終了してよいか確認する画面を表示する。この段階で、ユーザにより指定された閉領域が確定する。図７を参照して、ユーザの指により長時間露光撮影する範囲を指定する処理が行われる様子を説明する。

図７は、本発明の実施形態に係る撮像装置の撮像範囲を切り分ける処理（図３）においてディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

図７の７００、７１０、７２０はそれぞれのタイミングによる撮像装置のイメージ図であり、基本的には上から順に画面遷移している。以降の図も同様である。

ユーザの操作としては、まず撮像したい景色や対象物に撮像装置を向けて、ディスプレイ１１７に撮影対象物をプレビュー画像として表示させる。

次に、ユーザの操作は７００のディスプレイ１１７上で、７０５のようにユーザの指７０１により長時間露光撮影する範囲を指定する操作を受け付ける。なお、受け付けられた範囲は７０２のように太線で表示されている。

７００の７０５は、ユーザの指での操作がなされ、ユーザが指をタッチパネルから離すまでの操作により表示される画面イメージである。ユーザの指がタッチパネルから離れると（ステップＳ３０２からステップＳ３０３へと遷移する例）、
ステップＳ３０３においてユーザによりタッチパネルになぞられた範囲が閉領域を形成しているかの判断を撮像装置が行う。

図７の７０５のようにユーザによりタッチパネル１２４になぞられた範囲が閉領域を形成している場合は、ステップＳ３０５へと遷移し、ステップＳ３０５において、長時間露光撮影する範囲の選択を終了してよいか確認する画面を表示する。表示された撮像装置のイメージが、図７の７１０である。

図７の７１０には、長時間露光撮影をする範囲の設定を終了してよいと判断する「はい」ボタン７１１と、継続して長時間露光撮影する範囲を設定する判断の「いいえ」ボタン７１２とが表示されている。図３のフローチャートの説明に戻る。

次に、ステップＳ３０６において、撮像装置１００のシステムコントローラ１１０は、範囲選択終了操作が行われたかにより処理を分ける。終了処理が選択された場合、すなわち図７の７１０において、「はい」ボタン７１１が押下された場合は、ステップＳ３０８へと処理を遷移し、ステップＳ３０８において、撮像装置１００のシステムコントローラ１１０は、ステップＳ３０５で確定された閉領域をたとえばバッファメモリ１１１などに記憶して、図３のフローチャートの処理を終える。

一方、ステップＳ３０６において、範囲選択終了操作が行われなかった場合、すなわち図７の７１０において、「いいえ」ボタン７１２が押下された場合は、ステップＳ３０７へと処理を遷移する。

ステップＳ３０７へと処理が遷移すると、撮像装置１００のシステムコントローラ１１０は、ディスプレイ１１７に、長時間露光撮影する範囲を追加するか選択させる画面を表示し、ユーザの選択を受け付ける。

ユーザの選択には、選択範囲を破棄（すなわち、範囲指定をやり直す）か、選択範囲を追加する（すなわち、画面の別の範囲も長時間露光撮影する範囲とする）かを選択させる。選択範囲を破棄する選択をされた場合は、ステップＳ３１０へと処理を遷移し、ステップＳ３１０において、撮像装置１００のシステムコントローラ１１０は、ステップＳ３０５で確定した閉領域を破棄して、ステップＳ３０１の処理へと戻す。

一方、ユーザが選択範囲追加を選択した場合、ステップＳ３０９へと処理を遷移し、ステップＳ３０９において、撮像装置１００のシステムコントローラ１１０は、ステップＳ３０５で確定された閉領域をたとえばバッファメモリ１１１などに記憶して、ステップＳ３０１へと処理を戻し、更に選択範囲を設定する処理を繰り返す。

以上の処理により、長時間露光撮影する範囲を被写体画面の中からユーザが指定することができ、長時間露光撮影しても手ブレが目立たないところを指定して、シャッター速度を変えて撮像して合成し、きれいな撮像画像を得ることができる。図２のフローチャートの説明に戻る。

図２のステップＳ２０４において、長時間露光撮影する範囲を選択、保存すると、次のステップＳ２０５において、撮像装置１００のシステムコントローラ１１０は、選択された長時間露光撮影する範囲を撮影待機画面（ディスプレイ１１７）上に表示する。ステップＳ２０５におけるディスプレイ１１７への表示イメージを図８を参照して説明する。

図８は、本発明の実施形態に係る撮像装置の撮像処理時（図４）においてディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

図８の８００、８１０、８２０はそれぞれのタイミングによる撮像装置のイメージ図であり、８００は、ディスプレイ１１７上に太線で囲まれた部分８０２として表示されているイメージである。

次のステップＳ２０６において、撮像装置１００のシステムコントローラ１１０は、ユーザに撮影を促すメッセージを表示する。撮影を促すメッセージを表示した画面のイメージとして、８００の８０１の例を示す。８０１には、「選択した範囲に合わせて撮影を開始して下さい」の案内が表示されており、ユーザに範囲選択された太線枠８０２を背景に合わせて撮影するように促している。

次のステップＳ２０７において、撮像装置１００のシステムコントローラ１１０は、ユーザにより撮像操作が行われたか、具体的には撮像ボタン１２３が押下されたかにより処理を分ける。撮像操作が行われた場合は、次のステップＳ２０８へと処理を遷移し、撮像操作が行われていない場合は、ステップＳ２０６へと処理を戻し、撮像操作が行われるまで待つ。

ステップＳ２０８へと処理を遷移すると、撮像装置１００のシステムコントローラ１１０は、撮像処理を開始する。ステップＳ２０８の撮像処理の詳細を図４を参照して説明する。

図４は、本発明の実施形態に係る撮像装置の撮像処理の手順を説明するフローチャートであり、撮像装置１００のシステムコントローラ１１０の制御の下、処理が実行される。なお、Ｓ４０１〜Ｓ４０４は各処理ステップを示す。

図４のフローチャートは、図２のステップＳ２０８へと処理が遷移すると開始されるフローチャートである。

まず、ステップＳ４０１において、撮像装置１００のシステムコントローラ１１０は、撮像中に注意すべきメッセージを表示する。注意メッセージを表示した例を図８を参照して説明する。

図８の８１０のイメージ図が、撮影中に注意すべきメッセージを表示した例であり、ディスプレイ８１５上に８１１のように注意を促すメッセージを表示する。８１１には、「撮影中… カメラをなるべく動かさないでください」とのコメントを表示し、なるべく手ブレを防ぐように案内している。

また、８２０のイメージ図は、ユーザが長時間露光撮影する範囲として指定した範囲と重ならないように注意メッセージを表示する例である。８２０の例では、中心部分にユーザが選択した範囲があるため、左端にメッセージを表示している。このように、事前にユーザが長時間露光撮影する範囲を指定されることにより、注意喚起するメッセージをそれ以外のポジションに表示することが可能となる。図４のフローチャートの説明に戻る。

図４のステップＳ４０１において、撮影中の注意喚起メッセージを表示させると、次のステップＳ４０２において、撮像装置１００のシステムコントローラ１１０は、長時間露光撮影する必要がない部分、すなわちユーザから長時間露光撮影する範囲として指定されなかった範囲の撮像画像を取得するために、高速シャッターでの撮像を行う。高速シャッターのスピードは、撮像装置の自動露出機能により最短のシャッタースピードとしても良いし、予め設定されているシャッタースピードとしても良い。また、ステップＳ４０２で撮像する画像は１枚でも良いし複数枚撮像しても良い。

次に、ステップＳ４０３において、撮像装置１００のシステムコントローラ１１０は、長時間露光撮影画像を取得するため、低速シャッターで１枚撮像を行う。低速シャッターのスピードは、撮像装置の自動露出機能により最長のシャッタースピードとしても良いし、ユーザにより事前に設定されているシャッタースピードでも良い。

このように、高速シャッターと低速シャッターとで撮像する際に、先に高速シャッターで撮像した後、低速シャッターで撮像することにより、ユーザが撮像ボタン１２３を押した直後のブレやすいホールドの影響を極力なくして、低速シャッター撮影時にはできるだけホールドが静止している状態で撮像させることができる。

次に、ステップＳ４０４において、撮像装置１００のシステムコントローラ１１０は、ディスプレイ８１５に表示している注意メッセージの表示を消して、図４の撮像処理のフローチャートを終了する。図２のフローチャートの説明に戻る。

ステップＳ２０８において、高速シャッターで撮像された画像と低速シャッターで撮像された画像とを取得すると、次のステップＳ２０９において、撮像装置１００のシステムコントローラ１１０は、ステップＳ２０４でユーザにより選択された範囲外の部分のシャープネスについて、高速シャッターで撮像された画像と低速シャッターで撮像された画像とを比較する。シャープネスの比較方法としては、たとえば、低速シャッターで撮像された画像と高速シャッターで撮像された画像をそれぞれエッジ検出し、消失しているエッジの数やエッジの輝度変化の鋭さが低下しているエッジの数などカウントする。そのカウントの差を比較して判断しても良い。

ステップＳ２０９でシャープネスの差を比較し、次のステップＳ２１０において、撮像装置１００のシステムコントローラ１１０は、シャープネスの差が所定の差以上かどうか（前記例の場合は、エッジのカウントの差が所定数以上か）により、処理を分ける。

シャープネスの差が閾値以下の場合、ステップＳ２１２へと処理を遷移する。シャープネスの差が閾値以下ということは、低速シャッターで撮像した画像に手ブレの影響がほとんど無いということである。

ステップＳ２１２へと処理を遷移すると、撮像装置１００のシステムコントローラ１１０は、低速シャッターで撮像した画像をそのまま撮像画像としてメモリカード１１５などに保存し、一連の処理を終える。

この判断分岐により、撮像画像が手ブレなく撮像できている場合は、画像合成などせず、そのまま撮像画像を保存することができる。

一方、ステップＳ２１０において、シャープネスの差が閾値以上と判断された場合、ステップＳ２１１へと処理を遷移する。シャープネスの差が閾値以上と判断された場合は、低速シャッターで撮像した画像が手ブレしている可能性が高く、ユーザにより選択された範囲外の部分を高速シャッターで撮像された画像に置き換える処理を行う。ステップＳ２１１の処理を図５を参照して説明する。

図５は、本発明の実施形態に係る撮像装置の撮像後の画像合成処理の手順を説明するフローチャートであり、撮像装置１００のシステムコントローラ１１０の制御の下、処理が実行される。なお、Ｓ５０１〜Ｓ５０７は各処理ステップを示す。

図５のフローチャートは、図２のステップＳ２１１へと処理が遷移すると開始されるフローチャートである。

まず、ステップＳ５０１において、低速シャッターで撮像した画像（ステップＳ４０３で取得した画像）からユーザに選択された範囲の画像を抽出する。低速シャッターで撮像した画像からユーザに選択された範囲の画像を抽出する具体的な処理を図９を参照して説明する。

図９は、本発明の実施形態に係る撮像装置において撮像される２つの画像の例、及び合成処理の例を示す模式図である。

９００は、高速シャッターで撮像された画像の例であり、９１０は低速シャッターで撮像した画像の例である。

低速シャッターで撮像した画像の例である９１０から、ユーザにより選択された範囲内の画像を抽出した例が９４０である。抽出されていない部分は黒地で表現されている。図５のフローチャートの説明に戻る。

次のステップＳ５０２において、撮像装置１００のシステムコントローラ１１０は、高速シャッターで撮像された画像に、ステップＳ５０１で抽出した画像を合成する。画像を合成する例を図９を参照して説明する。

図９の９００は高速シャッターで撮像された画像の例であるが、その画像（９２０）にステップＳ５０１で抽出された画像を９４１のように合成する。結果的に図１０の１０１０のような合成画像が得られる。図１０については後述する。図５のフローチャートの説明に戻る。

ステップＳ５０２において、画像を合成すると、次のステップＳ５０３において、撮像装置１００のシステムコントローラ１１０は、ディスプレイ１１７に画像合成結果を表示する。結果が表示された例を図１０を参照して説明する。

図１０は、本発明の実施形態に係る撮像装置の画像合成後（ステップＳ５０４）にディスプレイ１１７に表示される画面イメージ、及び撮像装置の外観の一例を示した模式図である。

図１０の１０１０は、撮像装置１０００上にあるディスプレイ１１７に表示されている画面イメージの例であり、１００１には、合成された結果の画像を表示している。図５のフローチャートの説明に戻る。

ステップＳ５０３において、合成された結果画像を撮像装置１００のディスプレイ１１７に表示すると、次のステップＳ５０４において、撮像装置１００のシステムコントローラ１１０は、現在表示している合成画像を保存してよいかユーザに確認するための画面を表示する。図１０を参照してユーザへの確認画面のイメージを説明する。

図１０の１０１０には合成された結果が表示されており、ユーザに合成した画像を保存するか、合成範囲を編集するかの選択ボタン１００２、１００３を表示する。

次のステップＳ５０５において、撮像装置１００のシステムコントローラ１１０は、図１０のディスプレイ１０１０上に表示された選択ボタンの内、合成画像を保存する「はい」ボタン１００２が押下されるか、合成範囲を編集する「合成範囲を編集する」ボタン１００３が押下されるかにより処理を分ける。

合成画像を保存する「はい」ボタン１００２が押下されると、次のステップＳ５０６へと処理を遷移し、撮像装置１００のシステムコントローラ１１０は、ディスプレイ画面１０１０に表示している合成された画像をメモリカード１１５などに保存し、図２のフローチャートに戻って一連の処理を終える。

一方、ステップＳ５０５において、「合成範囲を編集する」ボタン１００３が押下されると、ステップＳ５０７へと処理を遷移し、合成する範囲を再編集する。合成範囲を再編集するステップＳ５０７の処理は、図３の処理と同様なので、説明を省略する。

ステップＳ５０７による合成範囲の再編集（選択）処理が終わると、ステップＳ５０１へと処理を遷移し、ステップＳ５０１以降の処理を繰り返す。

以上の操作により、ユーザの意図通りに低速シャッターで撮像した画像と高速シャッターで撮像された画像が合成されていなかった場合でも、合成範囲を修正することができ、ユーザの意図通りに写真を仕上げることや微調整をすることが可能となる。

以上の処理により、撮影前に低速シャッターにて長時間露光撮影したい部分とそうでない部分をユーザに選択させることによって、画像処理が必要であるかどうかを判断し、ユーザや撮影状況に合わせて処理結果を適切に変更することができる。

なお、本実施例ではタッチパネルへのユーザの指の接触による範囲指定処理を考慮したが、指に限らずたとえばスタイラスペンによる入力などによる範囲指定でも良い。

なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバ−ジョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。

さらに、各種プログラムに従属するデータも同じディレクトリに管理されている。また、インスト−ルするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。

本実施形態における図２〜図５に示す機能が外部からインスト−ルされるプログラムによって、撮像機能を有する情報処理装置により遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコ−ドを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュ−タ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコ−ドを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコ−ド自体が本発明の新規な機能を実現することになり、そのプログラムコ−ドを記憶した記録媒体は本発明を構成することになる。

プログラムコ−ドを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テ−プ，不揮発性のメモリカ−ド，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュ−タが読み出したプログラムコ−ドを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコ−ドの指示に基づき、コンピュ−タ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコ−ドが、コンピュ−タに挿入された機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコ−ドの指示に基づき、その機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベ−ス等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 撮像装置
１１０ システムコントローラ

Claims (7)

1. 任意の露光時間撮像する第１の撮像手段と、
   前記第１の撮像手段の露光時間より短い時間露光して撮像する第２の撮像手段と、
   指定された範囲外の部分の前記第１及び第２の撮像手段により撮像された画像のエッジを計測するシャープネス計測手段と、
   前記シャープネス計測手段により計測された前記第１及び第２の撮像手段により撮像された画像のエッジの数の差を検出する差分検出手段と、
   前記差分検出手段により、検出された差分が所定の値以上の場合、前記指定された範囲の前記第１の撮像手段による撮像結果を抽出し、前記第２の撮像手段による撮像結果に合成し保存する合成画像保存手段と、
   前記差分検出手段により、検出された差分が所定の値以下の場合、前記第１の撮像手段による撮像結果を保存する画像保存手段と、
   を有することを特徴とする撮像装置。
2. 前記指定された範囲とは、ユーザにより指定される範囲指定手段により指定された範囲であり、
   前記第１および第２の撮像手段による撮像の際、前記範囲指定手段により指定された範囲を示す表示手段を有することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の撮像手段による撮像処理より先に、前記第２の撮像手段による撮像処理を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記合成画像保存手段による保存の前に、ユーザからの合成許可を受け付ける合成許可受付手段と、
   前記合成画像保存手段は、
   前記合成許可受付手段により、合成許可を受け付けると、前記指定された範囲の前記第１の撮像手段による撮像結果を抽出し、前記第２の撮像手段による撮像結果に合成して保存し、
   前記合成許可受付手段により、合成許可を受け付けないと判断された場合、前記範囲指定手段から範囲指定の再入力を受け付け、再入力された範囲の前記第１の撮像手段による撮像結果を抽出し、前記第２の撮像手段による撮像結果に合成し保存することを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１および第２の撮像手段による撮像処理の際に表示する警告画面を、前記指定された範囲外に表示することを特徴とする請求項１乃至４に記載の撮像装置。
6. 任意の露光時間撮像する第１の撮像工程と、
   前記第１の撮像工程の露光時間より短い時間露光して撮像する第２の撮像工程と、
   指定された範囲外の部分の前記第１及び第２の撮像工程により撮像された画像のエッジを計測するシャープネス計測工程と、
   前記シャープネス計測工程により計測された前記第１及び第２の撮像工程により撮像された画像のエッジの数の差を検出する差分検出工程と、
   前記差分検出工程により、検出された差分が所定の値以上の場合、前記指定された範囲の前記第１の撮像工程による撮像結果を抽出し、前記第２の撮像工程による撮像結果に合成し保存する合成画像保存工程と、
   前記差分検出工程により、検出された差分が所定の値以下の場合、前記第１の撮像工程による撮像結果を保存する画像保存工程と、
   を有することを特徴とする撮像制御方法。
7. 請求項６に記載された撮像制御方法を実行するためのプログラム。

Images