JP2014096000A - 画像処理装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】複数の照明装置を用いることなく、ノイズの少ない、バランスのとれた陰影をもつ被写体の画像を、高い質感で容易に撮影できるようにする。
【解決手段】第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、第１の時間帯の後の第２の時間帯において、所定の露光時間で順次被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、累積画像を、露光時間の総和に基づいて正規化した画像の各画素値から、環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部とを備える。
【選択図】図４

Description

本技術は、画像処理装置および方法、並びに、プログラムに関し、特に、複数の照明装置を用いることなく、ノイズの少ない、バランスのとれた陰影をもつ被写体の画像を、高い質感で容易に撮影できるようにする画像処理装置および方法、並びに、プログラムに関する。

専門的な撮影スタジオでは、複数配置された照明装置で被写体に多方向から光を照射して望ましい陰影を作り出し写真を撮影する多灯照明を用いた撮影が行われている。多灯照明を用いると被写体の質感を高め観賞価値の高い写真を得ることが出来る。

多灯照明を用いた撮影された画像は、例えば、同じ被写体を室内照明やストロボを用いて撮影した画像よりも美しく見える。例えば、多灯照明による独特の陰影や、十分な明るさで被写体を照射することによるノイズ低減効果などが得られるからである。

近年、インターネットなどを活用したオークションが盛んに行われており、このようなオークションでは、ユーザが撮影した画像を提示して品物の売買が行われ、品物を直接観察することはできない。このような場合、自分が出品する品物の画像をいかに美しく撮影できるかによって落札価格が左右されることになる。

このため、特に写真撮影を趣味としていないユーザの中でも、多灯照明を用いた本格的な撮影のニーズが高まっている。

しかし、陰影バランスを調整するためには熟練した技術を要し、経験が浅い撮影者には多灯照明を用いた撮影の利点を十分に活用する事は困難である。

そこで、簡単に陰影バランスを調整できるようにする技術が提案されている（例えば、特許文献１参照）。

特許文献1では、複数の照明装置を配置して１つずつ点灯する方法で被写体を撮影し、撮影された複数のデジタル写真を重み付き加算で合成することによって、シミュレーション画像を確認しながら被写体の陰影バランスを撮影後に調整できるようになされている。これにより、撮影時における煩雑な陰影バランスの調整作業を若干軽減できる。

また、特許文献1では、環境光と照明光との双方に照らされた被写体であっても、環境光画像を減算して合成画像がイメージした画像よりも明るくなってしまう不具合を回避する。

さらに、バルブ撮影のような長秒撮影しながら撮影過程の画像を随時表示する技術も提案されている（例えば、特許文献２参照）。

ただし、特許文献２のように、長秒撮影された複数の画像を重畳するとフロアノイズも重畳されるので、長秒撮影中の単位時間当たりの撮影枚数が増えるほど合成画像に含まれるフロアノイズも増えてくる。

そこで、ライン間引き読み出しを用いて表示フレームレートを減らさずに実質の撮影枚数を減らすことで合成画像のフロアノイズを低減することも提案されている（例えば、特許文献４参照）。

特開２００７−２８１９３７号公報 特開２００５−１１７３９５号公報 特開２０１２−８０４５７号公報

しかしながら、例えば、特許文献１に記載される装置では、ユーザが撮影後に照明装置の輝度をシミュレーションで調整できても、照明装置の位置および方向はシミュレーションで調整できない。つまり、従来の技術は、被写体の陰影の調整における制約が大きかった。

また、例えば、特許文献１の技術を用いるためには、コンピュータからコントロールできる複数の照明装置が必要であり、設置に要する時間や費用などのコストの負担が大きかった。

そもそも、専門的ではないアマチュアのユーザにとっては、多灯照明自体が大がかりな方法である。また、多灯照明は照明の数量が増えるほど自由度が増す代わりに陰影のコントロールが複雑になる。

さらに、写真に重畳される光ショットノイズ等のノイズの影響を小さくするためには、比較的強い光の照明装置を用いる必要があり、アマチュアの撮影者が簡単に多灯照明を用いた撮影を行うことはできなかった。

また、特許文献１では、環境光成分に含まれるショットノイズについて十分な対策がなされていないため、画像の引き算処理によって環境光成分を除去した後の画像の特に暗い部分に強いノイズが生じる恐れがある。

なぜなら、例えば、画素値ａと画素値ｂとの加算で得られる画素値ａ＋ｂに含まれるショットノイズの分散はａ＋ｂとなるが、画素値ａと画素値ｂとの減算で得られる画素値ａ−ｂに含まれるショットノイズの分散も、加算時と同様にａ＋ｂとなるからである。つまり、画素値は減算してもノイズは加算されるため、例えば画素値ａ−ａ＝０（つまり黒色）であっても含まれるノイズはａ＋ａ＝２ａとなり、暗い部分に強いノイズが生じる。

また、特許文献２および特許文献３の技術では、暗電流ノイズについて考慮されていなかった。

本技術はこのような状況に鑑みて開示するものであり、複数の照明装置を用いることなく、ノイズの少ない、バランスのとれた陰影をもつ被写体の画像を、高い質感で容易に撮影できるようにするものである。

本技術の一側面は、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部とを備える画像処理装置である。

予め前記被写体に光を照射している光源とは異なる光源としての照明装置が滅灯されているか否かを判定する滅灯検出部をさらに備え、前記照明装置が滅灯されていると判定された場合、前記環境光画像が撮影されるようにすることができる。

前記環境光画像が撮影された後の時間帯における撮影において、前記照明装置が点灯されるようにすることができる。

前記照明装置を、ユーザが手に握って振ることができるようにすることができる。

前記累積画像生成部は、前記照明装置が光を照射する方向を特定する情報に基づいて、前記第２の時間帯において撮影された前記被写体の画像を前記方向毎に分類して累積的に加算し、高品質画像生成部は、前記方向毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成するようにすることができる。

画像を表示する表示部をさらに備え、前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示されるようにすることができる。

前記累積画像生成部は、前記前記第２の時間帯を、複数の短時間帯に分割し、前記第２の時間帯において撮影された前記被写体の画像を前記短時間帯毎に分類して累積的に加算し、高品質画像生成部は、前記短時間帯毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成するようにすることができる。

画像を表示する表示部をさらに備え、前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示されるようにすることができる。

画像を表示する表示部をさらに備え、前記第２の時間帯において、前記高品質画像が前記表示部に順次表示されるようにすることができる。

前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記第２の時間帯の中での所定の時間が経過するまでの間、徐々に増加するようにすることができる。

前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記累積画像の画素の輝度値の最大値が所定の値となるまでの間、徐々に増加するようにすることができる。

前記累積画像において、前記第２の時間帯に撮影された画像１枚当たりの寄与率が所定の値より低下しないように、前記複数の画像の画素値のそれぞれに重み係数が乗じられて累積的に加算されるようにすることができる。

前記累積画像の画素値の変化に基づいて、被写体の表面における鏡面反射の発生を検出し、前記表面反射が含まれる画像の寄与率が低くなるように、前記重み係数の値が変更されるようにすることができる。

画素値に所定の演算処理を施すことにより、前記第２の時間帯に取得される画像における前記被写体を照射する照明の色が変更されるようにすることができる。

本技術の一側面は、環境光画像取得部が、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得し、累積画像生成部が、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成し、高品質画像生成部が、前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成するステップを含む画像処理方法である。

本技術の一側面は、コンピュータを、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部とを備える画像処理装置として機能させるプログラム。

本技術の第１の側面においては、本技術の第１の側面は、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像が取得され、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像が生成され、前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像が生成される。

本技術によれば、複数の照明装置を用いることなく、ノイズの少ない、バランスのとれた陰影をもつ被写体の画像を、高い質感で容易に撮影できる。

本技術の一実施の形態に係る撮影システムの構成例を示す図である。 図１の可動照明の外観を説明する図である。 図１のカメラおよび可動照明の内部構成例を示すブロック図である。 図３のアプリケーションプロセッサにより実行されるプログラムなどのソフトウェアの機能的構成例を示すブロック図である。 アプリケーションプロセッサにより実行されるプログラムなどのソフトウェアによる処理の詳細を説明する図である。 アプリケーションプロセッサにより実行されるプログラムなどのソフトウェアによる処理の詳細を説明する図である。 高品質画像の画像データの記録フォーマットの例を説明する図である。 撮影処理の例を説明するフローチャートである。 高品質画像生成処理の例を説明するフローチャートである。 累積時間の変化に伴うゲインの値の変化を説明する図である。 最大輝度の変化に伴うゲインの値の変化を説明する図である。 撮影中の画素値の変化の様子を説明する図である。 陰影の種類を凡そ分類する方式を説明する図である。 陰影が調整された高品質画像の生成方式の例を説明する図である。 重み係数の値を調整するＧＵＩの例を示す図である。 陰影が調整された高品質画像の生成方式の別の例を説明する図である。 重み係数の値を調整するＧＵＩの別の例を示す図である。 重み係数の値を調整するＧＵＩのさらに別の例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１は、本技術の一実施の形態に係る撮影システムの構成例を示す図である。同図に示される撮影システム１０は、可動照明１１、被写体１２、カメラ１３、三脚１５、および、環境光源１６により構成されている。なお、カメラ１３には、ディスプレイ１４が設けられている。

図１の撮影システム１０は、専門的ではないアマチュアのユーザでも、簡単に多灯照明を用いた撮影により得られる画像のような、質感の高い美しい画像を撮影できるように構成されている。

可動照明１１は、ユーザが所望の位置に簡単に移動させることが可能な照明とされる。この例では、棒状の可動照明１１が、ユーザの手に握られて図中の点線の矢印で示されるように、弧を描くように移動している。このように、ユーザは、可動照明１１を握って振るだけで、所望の位置から被写体１２を照射することができる。なお、可動照明１１は棒状が扱いやすいが、棒状に限らずその他の形状でも利用できる。

被写体１２は、撮影システム１０による撮影の対象となる物体とされる。

カメラ１３は、複数の画像を連続して撮影する事が可能なデジタルカメラとされる。カメラ１３は、内部にカメラモジュールを備え、それを用いて被写体１２を撮影する。このカメラモジュールは、例えば、あらかじめ設定された時間で露光して画像を取得し、露光の終了時に被写体１２を写した画像データを外部に連続的に出力できるデバイスとされる。カメラ１３の詳細な構成については後述する。

なお、この例では、カメラ１３が三脚１５によって固定されているが、三脚１５を用いずにカメラ１３による画像の撮影が行われるようにしてもよい。

ディスプレイ１４は、カメラ１３により撮影された画像であって、後述する処理を経て得られた画像をユーザに提示する表示装置とされる。ディスプレイ１４は、例えば、カメラ１３の背面等に取り付けられ、複数の時刻に対応する画像をリアルタイムに表示するようになされている。

詳細は後述するが、ユーザは、ディスプレイ１４に表示される画像を見ながら、例えば、望ましい陰影が得られたタイミングで撮影を終了することができる。また、ディスプレイ１４には、例えば、タッチデバイスなどが重畳されて構成され、必要に応じてＧＵＩなどの画像が表示されるとともに、その画像に基づくユーザの操作入力を受け付けるようになされている。

環境光源１６は、被写体１２が置かれた室内の照明とされる。環境光源１６は、例えば、蛍光灯などの一般的な光源や、定常的に発光する任意の光源とする。なお、図中では、環境光源１６は、１つの照明装置の１つとして表現されているが、複数の照明装置により構成される場合もある。また、滅灯が不可能な屋外からの光が室内に入射している場合、これらの光も環境光源１６から照射されたものと考える。

すなわち、環境光源１６は、可動照明１１以外の光源であって、被写体１２に光を照射する光源を総称したものとされる。

図２は、図１の可動照明１１の外観を説明する図である。図２Ａは、可動照明１１の発光面（表面）を示しており、図２Ｂは、可動照明１１の裏面を示している。

可動照明１１の表面に設けられた発光窓２２は、内部の光源から発せられた光を照射する面状の部位とされる。

可動照明１１の表面に設けられたボタン２３−１乃至ボタン２３−３は、ユーザにより操作される。この例では、ボタン２３−１乃至ボタン２３−３の３つのボタンが設けられているが、ボタンの数は３つに限られるものではない。各ボタンが押下されることにより、各ボタンに割り当てられた操作に対応する信号が出力されるようになされている。

なお、ボタン２３−１乃至ボタン２３−３を個々に区別する必要がない場合、単にボタン２３と称することにする。

また、可動照明１１は、発光窓２２およびボタン２３を除いて、図中の斜線で示される外殻に覆われている。この外殻は、反射率の低い部材により構成される。これにより、例えば、ユーザが可動照明１１を振ったときに、余分な光が反射して被写体１２に照射されることなどを防止する。

なお、後述するように、可動照明１１には、例えば、加速度センサが設けられており、Ｘ軸、Ｙ軸、およびＺ軸のそれぞれにおける正方向および負方向の６方向のベクトルに対応する加速が検出されるようになされている。

図３は、図１のカメラ１３および可動照明１１の内部構成例を示すブロック図である。

図３の例では、カメラ１３は、アプリケーションプロセッサ３１、ＮＶＲＡＭ３２、ＤＲＡＭ３３、リムーバブルメディア３４、表示デバイス３５、およびカメラモジュール５０を有する構成とされている。また、可動照明１１は、発光デバイス４１、ボタン４２、および加速度センサ４３を有する構成とされている。

図３のアプリケーションプロセッサ３１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、周辺インタフェースなどを集積したモバイルデバイスの中核デバイスとされる。アプリケーションプロセッサ３１は、カメラ１３における撮影、画像処理など制御するプログラムなどのソフトウェアを実行する。

また、アプリケーションプロセッサ３１は、例えば、ＮＶＲＡＭ３２に記憶されているソフトウェアやデータを、ＤＲＡＭ３３にロードするなど、各種ペリフェラルデバイスが接続されて用いられる。

カメラモジュール５０は、例えば、予め設定された時間で露光して画像を取得し、露光の終了時に被写体１２を写した画像データを外部に連続的に出力できるデバイスとされる。
カメラモジュール５０は、被写体１２の光学像５１を撮影して得られた画像データをアプリケーションプロセッサ３１に送信するようになされている。

表示デバイス３５は、図１のディスプレイ１４への画像の表示を制御する機能ブロックとされる。なお、上述したように、ディスプレイ１４には、例えば、タッチデバイス（図示せず）が装備されており、ユーザがディスプレイ１４の表面を指でタッチすることにより出力される操作信号が、表示デバイスを介してアプリケーションプロセッサ３１に供給される。

リムーバブルメディア３４は、例えば、アプリケーションプロセッサ３１の処理を経て出力される画像データを、記録処理によってファイル化して記憶する。また、例えば、カメラ１３にインストールするプログラムなどのソフトウェアが、リムーバブルメディア３４に記憶されるようにしてもよい。

また、発光デバイス４１は、例えば、ＬＥＤなどにより構成される発光体（光源）とされる。なお、図中に矢印で示されるように、発光デバイス４１が発光中であるか否かを表す情報が適宜、アプリケーションプロセッサ３１に供給されるようになされている。

ボタン４２は、図２のボタン２３を機能ブロックとして示したものであり、ユーザに押下されることによって所定の信号を出力するようになされている。なお、図中に矢印で示されるように、ボタン４２から出力される信号が適宜、アプリケーションプロセッサ３１に供給されるようになされている。

加速度センサ４３は、加速度を検出する。例えば、図２のＸ軸、Ｙ軸、およびＺ軸のそれぞれにおける正方向および負方向の６方向のベクトルに対応する加速が検出される。なお、図中に矢印で示されるように、加速度センサ４３により検出された加速度が適宜、アプリケーションプロセッサ３１に供給されるようになされている。

この例では、加速度センサ４３が設けられているが、加速度センサ４３に代えて角速度センサや地磁気センサなどが用いられるようにしてもよい。

図３に示されるカメラ１３と可動照明１１との間の矢印は、例えば、無線の通信により実現されるようにしてもよいし、有線の通信により実現されるようにしてもよい。あるいはまた、例えば、可動照明１１に係る情報を、ユーザがカメラ１３やディスプレイ１４のタッチデバイスなどを操作するなどして入力することにより、可動照明１１に係る情報がアプリケーションプロセッサ３１に供給されるようにしてもよい。

また、可動照明１１にマイクロコントローラを搭載して、発光デバイス４１、ボタン４２、加速度センサ４３をその周辺デバイスとして構成してもよい。

図４は、図３のアプリケーションプロセッサ３１により実行されるプログラムなどのソフトウェアの機能的構成例を示すブロック図である。

図４の個別画像取得部７１は、カメラモジュール５０を制御して、被写体１２の画像を複数枚撮影させ、それらの画像に対応する画像データを取得する。図４の個別画像取得部７１は、例えば、動画として撮影された被写体１２の画像における各フレームの画像のそれぞれを取得する。

なお、カメラモジュール５０の撮影周期は、例えば、ユーザがインタラクティブに陰影を調整できるようにするため、毎秒１０フレーム以上に設定されることが好ましい。また、露光時間は、可動照明１１で被写体１２を照らしても画素値が飽和しないように設定されることが好ましい。

また、個別画像取得部７１により取得される画像は、可動照明１１が点灯されて撮影された画像を含む画像とされ、個別画像取得部７１により取得される画像の枚数は、例えば、ユーザの操作に基づいて特定される。なお、個別画像取得部７１は環境光画像取得部７８が環境光画像を取得する際にも利用できるものとする。

加算部７２は、個別画像取得部７１により取得された画像のそれぞれにおいて、対応する画素毎に画素値を加算する。なお、加算部７２は環境光画像取得部７８が環境光画像を取得する際にも利用できるものとする。

正規化部７３は、加算部７２により加算された画像の画素値のそれぞれを、加算の対象となった画像の枚数（正確には露光時間の総和）で割ることにより正規化する。なお、正規化部７３は環境光画像取得部７８が環境光画像を取得する際にも利用できるものとする。

減算部７４は、正規化部７３の処理を経て得られた正規化後の画像における画素値から、後述する環境光画像取得部７８により取得された画像における対応する画素の画素値を減算する。これにより、環境光に起因する反射や陰影などが正規化後の画像から除去されることになる。

表示部７５は、表示デバイス３５に減算部７４の処理を経て得られた画像の表示データを供給し、ディスプレイ１４に減算部７４の処理を経て得られた画像を表示させる。

照明制御部７６は、可動照明１１の点灯または滅灯を制御する。照明制御部７６は、例えば、加速度センサ４３による検出された加速度に基づいて可動照明１１が動いていると判定されたときだけ、可動照明１１の点灯が可能となるように制御する。

なお、照明制御部７６は、設けられないようにしてもよいし、可動照明１１の内部に設けられるようにしてもよい。また、ユーザに可動照明１１の滅灯指示や点灯許可を伝えるためのサウンド出力や画面表示が行われるようにしてもよい。

滅灯検出部７７は、可動照明１１の滅灯を検出する。可動照明１１の滅灯の検出は、例えば、通信により行われるようにしてもよいし、ユーザが滅灯を確認した旨を、タッチデバイスを操作するなどして入力することにより行われるようにしてもよい。

環境光画像取得部７８は、カメラモジュール５０を制御して、可動照明１１が滅灯した状態で被写体１２の画像を撮影させ、その画像に対応する画像データを取得する。

なお、環境光画像取得部７８により取得される画像は、可動照明１１が滅灯されて撮影された画像とされ、滅灯検出部７７により可動照明１１の滅灯が検出されている状態で撮影された画像のみが取得され得る。環境光画像取得部７８により取得される画像の枚数は、１枚であってもよいし、複数枚を個別画像取得部７１、加算部７２、正規化部７３を用いて取得し、1枚の環境光画像を取得するものであってもよい。

記録部７９は、画像データのリムーバブルメディア３４への記録を制御する。

図５および図６を参照して、アプリケーションプロセッサ３１により実行されるプログラムなどのソフトウェアによる処理の詳細を説明する。

上述したように、個別画像取得部７１は、カメラモジュール５０を制御して、被写体１２の画像を複数枚撮影させ、それらの画像に対応する画像データを取得する。図５の右側には、個別画像取得部７１により取得される画像データに対応する画像である個別画像１０１−１乃至個別画像１０１−５が表示されている。

この例では、被写体として球状の物体が撮影されており、その球状の物体の上に棒状の可動照明１１の発光窓２２が表示されている。個別画像１０１−１乃至個別画像１０１−５は、それぞれ時刻Ｔ＝１乃至時刻Ｔ＝５において撮影された画像とされ、被写体が静止した状態で、可動照明１１を図中左から右に移動させて撮影された画像とされる。

この例では、個別画像１０１−１乃至個別画像１０１−５は、全て可動照明１１が点灯されて撮影された画像とされているが、ユーザは、必要に応じて可動照明１１を点灯させればよい。例えば、時刻Ｔ＝１、Ｔ＝３、Ｔ＝４においては、可動照明１１が点灯されて撮影され、時刻Ｔ＝２、Ｔ＝４では可動照明１１が滅灯されて撮影されるようにしてもよい。

また、上述したように、加算部７２は、個別画像取得部７１により取得された画像のそれぞれにおいて、対応する画素毎に画素値を加算する。画素値が加算された画像は、累積画像として、例えば、ＤＲＡＭ３３の中の所定の記憶領域から成るメモリに記憶される。図５の右側には、累積画像１０２−０乃至累積画像１０２−５が表示されている。

累積画像１０２−０は、メモリ内のデータの初期値に対応する画像であり、ここでは一面黒色の画像とされている。加算部７２は、累積画像１０２−０と個別画像１０１−１とを加算し、累積画像１０２−１を生成する。また、加算部７２は、累積画像１０２−１と個別画像１０１−２とを加算し、累積画像１０２−２を生成する。

このような加算が繰り返されることにより、累積画像１０２−５が生成されている。累積画像１０２−５においては、画素値の加算が繰り返されたことにより、被写体である球状の物体が明るく表示されており、本来は棒状の可動照明１１の発光窓２２が広い面のように表示されている。

このように、各時刻に撮影された個別画像を累積的に加算することにより、単一の照明装置である可動照明１１を用いたにもかかわらず、あたかも照明装置が空間的に複数配置されたような仮想的な照明効果を得ることができる。従って、本技術によれば、専門的ではないアマチュアのユーザでも、簡単に多灯照明を用いた撮影と同様に質感の高い画像を撮影することが可能となる。

ここでは、説明を簡単にするために、時刻Ｔ＝１乃至時刻Ｔ＝５において撮影された個別画像が累積的に加算される例について説明したが、実際には数十枚から数百枚程度の個別画像が撮影されて累積的に加算される。ユーザがインタラクティブに陰影を調整するためには、ディスプレイ１４の画面が毎秒１０フレーム以上の頻度で更新されることが好ましく、同等の頻度で個別画像が撮影されることが望ましい。

さらに、ユーザがインタラクティブに陰影を調整するためには、例えば、数秒から十数秒の長さで可動照明１１を手で振って陰影を作っていくことが想定され、この場合、個別画像の枚数は全部で数十枚から数百枚程度になる。

このように多数の個別画像が累積的に加算されると、個別画像に常に重畳されているショットノイズ等のノイズ成分が大幅に低減され画質の高い画像が得られる。さらに、例えば、数百枚の個別画像を累積的に加算すれば大きなノイズ低減効果が得られるため、強い光の照明装置を用いなくとも光ショットノイズ等のノイズの影響を大幅に低減した画像を得ることができる。すなわち、本技術によれば、副次的にノイズ低減効果が得られる。

また、撮影周期を短くしつつ同時に露光時間も短くすることで、例えば、多重露光による撮影において発生しやすい画素値飽和による失敗を回避することも可能となる。

上述したように、正規化部７３は、加算部７２により加算された画像の画素値のそれぞれを、加算の対象となった画像の枚数で割ることにより正規化する。例えば、累積画像１０２−５の場合、５枚の個別画像が累積的に加算された画像なので、画素値のそれぞれを５で割ることにより正規化される。

なお、実際には、個別画像１０１−１乃至個別画像１０１−５のそれぞれの撮影における露光時間が一定とは限らないので、累積画像１０２−５の画素値のそれぞれを個別画像１０１−１乃至個別画像１０１−５の撮影に要した露光時間の総和（累積時間と称することにする）で割ることが望ましい。

図６の例では、累積画像１０２−５の各画素値が累積時間で割って正規化されている。

また、上述したように、環境光画像取得部７８は、カメラモジュール５０を制御して、可動照明１１が滅灯した状態で被写体１２の画像を撮影させ、その画像に対応する画像データを取得する。図６の例では、環境光画像取得部７８により取得された画像データに対応する環境光画像１１０が表示されている。

環境光画像１１０は、可動照明１１が滅灯されて撮影された画像とされ、図６の例では、薄暗い被写体の画像が表示されている。環境光画像１１０は、１つの時刻における撮影により得られた画像により生成されるようにしてもよいし、複数の異なる時刻において撮影された画像を累積的に加算して生成されるようにしてもよい。

環境光画像１１０を、複数の異なる時刻において撮影された画像を累積的に加算して生成する場合、図５を参照して上述した場合と同様に加算部７２による加算が行われ、正規化部７３による正規化が行われる。このようにすることで、環境光画像１１０においてもノイズ低減効果が得られる。すなわち、複数の画像を累積的に加算して正規化が行われることによって、環境光画像においても、ショットノイズが（フロアノイズも含めて）十分に低減するまで任意の枚数を累積的に加算することが可能となる。

なお、１つの時刻における撮影により得られた画像を環境光画像１１０として用いる場合、例えば、バイラテラルフィルタリングやＮＬ−ＭＥＡＮＳフィルタリングなどの強力なノイズ除去手法を用いたノイズ低減が行われることが望ましい。

図６の例では、環境光画像１１０は、複数の異なる時刻において撮影された画像を累積的に加算して生成されたものとされ、環境光画像１１０の各画素値が累積時間で割られている。

また、上述したように、減算部７４は、正規化部７３の処理を経て得られた正規化後の画像における画素値から、環境光画像取得部７８により取得された画像における対応する画素の画素値を減算する。すなわち、累積画像には必ず環境光成分が含まれているので、この環境光成分を除去することにより、あたかも暗室で撮影された画像のような陰影を得る。

図６の例では、累積画像１０２−５が正規化されて得られた画像の画素値から、環境光画像１１０が正規化されて得られた画像の画素値が減算され、高品質画像１１１−５が生成されている。同図に示されるように、高品質画像１１１−５では、環境光画像１１０にみられる被写体の陰影である球状の物体の左側の影が除去されている。

このようにすることで、例えば、環境光のない暗室において多灯照明を用いて被写体を撮影した場合と同様の陰影の画像を得ることができる。

さらに、このようにすることで、環境光成分に含まれるショットノイズが低減され、環境光成分と可動照明の光成分に含まれている暗電流ノイズを相殺することも可能となる。

そして、高品質画像１１１−５が表示部７５によりディスプレイ１４に表示されてユーザに提示される。なお、高品質画像は、個別画像が取得される毎に更新されるので、例えば、動画の画像が表示されるときと同様に、被写体を撮影している間、更新された画像が順次、ディスプレイに表示されることになる。ユーザは、ディスプレイ１４に表示された高品質画像を見ながら可動照明１１を動かし、例えば、所望の陰影の高品質画像が得られたタイミングで撮影の終了を指令する。

上述したように、記録部７９は、高品質画像の画像データのリムーバブルメディア３４への記録を制御する。高品質画像の画像データが記録される場合、図７に示されるような記録フォーマットで記録される。

図７の例では、記録単位であるファイル１４１が画像データ１４３とメタデータ１４２により構成されている。この例では、メタデータ１４２が、高さ、幅、種類の３つのタグにより構成されている。メタデータの中のタグの１つである種類は、この画像が本技術に係る高品質画像であるか否かを特定するための情報とされる。

例えば、このようなタグを利用して、高品質画像だけを容易に分類したり、画像の検索や表示を容易にすることができる。

このように本技術によれば、暗室で多灯照明を用いた本格的な撮影と同様の品質の画像を簡単に得ることができる。

次に、図８のフローチャートを参照して、撮影システム１０による撮影処理の例について説明する。

ステップＳ２１において、照明制御部７６は、可動照明１１を滅灯させる。このとき、例えば、無線または有線による信号の送信により可動照明１１が滅灯されるようにしてもよいし、ディスプレイ１４に可動照明１１の滅灯を指示するメッセージが表示されるようにしてもよい。

ステップＳ２２において、滅灯検出部７７は、可動照明１１の滅灯が検出されたか否かを判定する。可動照明１１の滅灯の検出は、例えば、無線または有線の通信により行われるようにしてもよいし、ユーザが滅灯を確認した旨を、タッチデバイスを操作するなどして入力することにより行われるようにしてもよい。

ステップＳ２２において、滅灯が検出されなかったと判定された場合、処理は、ステップＳ２１に戻る。この際、例えば、ディスプレイ１４にエラーメッセージなどが表示されたり、警告音が発せられるなどして、さらに滅灯を促すようにしてもよい。

一方、ステップＳ２２において、滅灯が検出されたと判定された場合、処理は、ステップＳ２３に進む。

ステップＳ２３において、環境光画像取得部７８は、カメラモジュール５０を制御して、被写体１２の画像を撮影させ、その画像に対応する画像データを取得する。

ステップＳ２４において、照明制御部７６は、可動照明１１の点灯を許可する。このとき、例えば、無線または有線による信号の送信により可動照明１１が点灯されるようにしてもよいし、ディスプレイ１４に可動照明１１の点灯を許可する旨のメッセージが表示されるようにしてもよい。

ステップＳ２５において、図９のフローチャートを参照して後述する高品質画像生成処理が実行される。これにより、高品質画像が生成される。

ステップＳ２６において、表示部７５は、表示デバイス３５に減算部７４の処理を経て得られた画像の表示データを供給し、ディスプレイ１４に減算部７４の処理を経て得られた画像を表示させる。

ステップＳ２７において、撮影終了が指令されたか否かが判定される。撮影終了は、例えば、カメラ１３のボタンなどが押下されることにより指令されるようにしてもよいし、可動照明１１のボタン２３のいずれかが押下されることにより指令されるようにしてもよい。また、ステップＳ２５において生成された高品質画像が殆ど変化しない状態が続いた事を検出して、自動的に撮影終了が指令されるようにしてもよい。

あるいはまた、ユーザが可動照明１１による被写体の照射を中止したことが検出された場合、高品質画像生成処理が一次的に停止さえるようにしてもよい。このようにすることで、例えば、被写体の照射が中止されてから、カメラ１３のボタンなどが押下されるまでに撮影された画像が累積的に加算されてしまうことを抑止することが可能となる。

なお、被写体の照射を中止したことの検出は、例えば、可動照明のボタン２３の操作に基づいて消灯を検出することにより行われるようにしてもよいし、高品質画像の画素値の変化が所定の値よりも小さくなったことを検出することにより行われるようにしてもよい。あるいはまた、画像認識より消灯が検出されるようにしてもよい。例えば、個別画像の画素値と環境光画像の画素値との差分が所定の範囲になった場合、消灯したと検出されるようにすることができる。あるいはまた、音声を検出することにより被写体の照射を中止したことが検出されるようにしてもよい。例えば、音の大きさが所定の値超えた場合、所定の音声が認識された場合などの場合に、被写体の照射を中止したことが検出されるようにしてもよい。

そして、例えば、予め設定された所定のトリガが検出された場合、高品質画像生成処理が再開される。このトリガとしては、例えば、ボタン２３の操作に基づいて点灯を検出した場合としてもよいし、画像認識により点灯を検出した場合（撮像画像の画素値と環境光画像の画素値との差分が所定値以上になった場合）としてもよい。あるいはまた、音声を検出（音の大きさが所定の値を超えた場合、所定の音声を認識した場合など）とされてもよい。

ステップＳ２７において、撮影終了が指令されていないと判定された場合、処理は、ステップＳ２５に戻り、それ以降の処理が繰り返し実行される。一方、ステップＳ２７において、撮影終了が指令されたと判定された場合、処理は、ステップＳ２８に進む。

ステップＳ２８において、記録部７９は、ステップＳ２５の処理で生成された高品質画像の画像データを含む、所定の記録フォーマットのファイルを生成する。このとき、例えば、図７を参照して上述したようなファイルが生成される。

そして、ステップＳ２９において、ステップＳ２８で生成されたフィルが記録される。

このようにして、撮影処理が実行される。

次に、図９のフローチャートを参照して、図８のステップＳ２５の高品質画像生成処理の詳細な例について説明する。

ステップＳ４１において、個別画像取得部７１は、個別画像を取得する。このとき、例えば、図５に示される個別画像１０１−１乃至個別画像１０１−５が、順次取得される。

ステップＳ４２において、加算部７２は、個別画像取得部７１により取得された個別画像を累積的に加算する。このとき、例えば、図５を参照して上述したように、個別画像と１世代前の累積画像が加算され、累積画像１０２−１乃至累積画像１０２−５が順次生成される。

ステップＳ４３において、正規化部７３は、ステップＳ４２の処理で得られた累積画像を累積時間で割ることにより正規化する。例えば、図６に示されるように、累積画像１０２−５の各画素値が累積時間で割られることになる。

なお、環境光画像も、複数の異なる時刻において撮影された画像を累積的に加算して生成する場合、やはりステップＳ４１乃至ステップＳ４３の処理が適用されることになる。

ステップＳ４４において、減算部７４は、ステップＳ４３の処理により得られた画像の各画素値から、環境光画像における対応する画素の画素値を減算する。このとき、例えば、図６に示されるように、累積画像１０２−５を正規化して得られた画像の各画素値から、環境光画像１１０における対応する画素の画素値が減算されて高品質画像１１１−５が生成される。

このようにして、高品質画像が生成される。なお、ここでは、ステップＳ２３の環境光画像の取得が先に行われて、ステップＳ２５乃至ステップＳ２７の高品質画像の生成に係るステップが後に行われるものとして説明したが、これとは異なる順序で各処理が実行されるようにしてもよい。例えば、何らかの方式で環境光画像を予測したり、暫定的な環境光画像を生成するなどして先にステップＳ２５乃至ステップＳ２７の高品質画像の生成に係るステップを行うようにしてもよい。その場合、高品質画像の生成に係るステップの実行後に環境光画像を撮影し、暫定的な環境光画像と差し替えるようにすれば高品質な画像が得られる。また、ステップＳ２３の環境光画像の取得とステップＳ２５乃至ステップＳ２７の高品質画像の生成に係るステップとを、状態を保持しながらインクリメンタルな処理を交互に複数回繰り返す事により、暫定的な環境光画像を短い周期で更新しながら高品質な画像を得ることもできる。

従来より行われている長時間露光撮影方式の１つであるいわゆるバルブ撮影では、最初にメカシャッタを開いて露光した画像をメモリに蓄積し、露光後にメカシャッタを閉じて暗電流成分を蓄積し、メモリに蓄積された画像から暗電流成分を除去するようになされていた。また、長時間露光によらず、複数の画像を順次撮影して累積的に加算することで、同様の効果を得るものもある。

しかしながら、このような方式では、メカシャッタが閉じられて暗電流成分が蓄積されるので、本技術のように環境光画像の成分を除去することができない。

また、従来より、花火モードなど称される複数の画像を順次撮影して累積的に加算していく撮影モードが存在するが、このような撮影モードでも、やはり環境光成分を除去することが考慮されていなかった。

これに対して、本技術では、最初にメカシャッタを開いて環境光画像が撮影され、その後もメカシャッタを開いて個別画像が複数撮影されて累積的に加算され、累積画像から環境光画像の成分を除去するようになされている。もちろん、メカシャッタを有さない安価なカメラでも本技術の撮影を行うことが出来ることは言うまでもない。

従って、本技術によれば、例えば、長時間露光により生ずる暗電流成分に起因するノイズが画像に重畳される不具合を回避することができ、かつ、ユーザが意図しない陰影などの原因となる環境光画像の成分を除去することができる。

ところで、上述したように、多数の個別画像が累積的に加算されると、個別画像に常に重畳されているショットノイズ等のノイズ成分が大幅に低減されるが、加算される個別画像の枚数が少ないときは、ノイズ成分が残ることがある。すなわち、撮影が開始されてからある程度の時間が経過しないと、高品質画像にもノイズがみられることがある。

このため、例えば、撮影が開始されてから所定の時間が経過するまで、ディスプレイ１４に表示される画像の輝度を落とすなどして、ノイズが強調されないように画像が表示されるようにしてもよい。

例えば、画像を、各画素値を要素とするベクトルで表現し、式（１）で示されるように画素の輝度を調整する。

・・・（１）

式（１）において、ベクトルＩは、入力画像として供給される高品質画像の輝度値を表しており、ベクトルＩ´は、ディスプレイ１４に表示される高品質画像の輝度値を表している。また、式（１）における変数ｔは累積時間を表し、ｔ０は所定の定数時間とされる。さらに、式（１）におけるｋは画素の輝度値に乗じられるゲインとされる。

式（１）のゲインｋは、例えば、図１０に示されるように変化する。図１０は、横軸が累積時間ｔ、縦軸がゲインｋの値とされ、累積時間の変化に伴うゲインｋの値の変化が線１５１で示されている。

図１０に示されるように、ゲインｋの値は、累積時間がｔ０に達するまでの間は徐々に増加し、累積時間がｔ０に達した後は１に固定される。

図１０に示されるようなゲインｋを用いて式（１）の演算処理が施されることにより、撮影が開始されてから所定の時間が経過するまで、ディスプレイ１４に表示される画像の輝度を落して、ノイズが強調されないように画像が表示されるようになる。

あるいはまた、高品質画像の輝度の最大値に注目し、式（２）で示されるように画素の輝度を調整するようにしてもよい。

・・・（２）

式（２）において、ベクトルＩは、入力画像として供給される高品質画像の輝度値を表しており、ベクトルＩ´は、ディスプレイ１４に表示される高品質画像の輝度値を表している。また、式（２）におけるベクトルＹは、累積画像の画素値を表しており、ｍａｘ（Ｙ）は累積画像の画素値の最大値（最大輝度）である。さらに、式（２）におけるＹ０は、累積画像が十分明るくなって輝度信号に対してショットノイズ成分が相対的に小さくなったと判断される所定の輝度とされる。また、式（２）におけるｋは画素の輝度値に乗じられるゲインとされる。

式（２）のゲインｋは、例えば、図１１に示されるように変化する。図１１は、横軸が最大輝度ｍａｘ（Ｙ）、縦軸がゲインｋの値とされ、最大輝度の変化に伴うゲインｋの値の変化が線１５２で示されている。

図１１に示されるように、ゲインｋの値は、最大輝度がＹ０に達するまでの間は徐々に増加し、累積時間がＹ０に達した後は１に固定される。

図１１に示されるようなゲインｋを用いて式（２）の演算処理が施されることにより、所定数の画像が累積的に加算されるまで、ディスプレイ１４に表示される画像の輝度を落して、ノイズが強調されないように画像が表示されるようになる。

ところで、撮影開始後、十分な時間が経って累積的に加算された個別画像の枚数が非常に多くなると、高品質画像があまり変化しないように見えてくる。これは、累積的に加算された個別画像の枚数が多いほど、個別画像１枚あたりの寄与率が低くなるためである。

加算部７２による加算処理を式で表すと、式（３）のようになる。

・・・（３）

なお、式（３）におけるベクトルＹｋは、ｋ枚の個別画像が累積的に加算された累積画像の画素値を表すベクトルであり、ベクトルＸｋはｋ枚目の個別画像の画素値である。また、式（３）におけるｔｋはｋ枚目の個別画像が撮影されたときの累積の露光時間（累積時間）を表し、ｅｋはｋ枚目の個別画像の撮影における露光時間とされる。そして、累積画像の画素値の初期値を表すベクトルＹ０は０ベクトルとされ、その際の累積時間ｔ０は０とされている。

累積的に加算された個別画像の枚数が増えることによる個別画像１枚あたりの寄与率の低下を軽減するために、例えば、加算部７２による加算処理が、式（４）で表される処理となるようにしてもよい。

・・・（４）

式（４）におけるｗは、寄与率を調整するための重みを表すパラメータとされる。なお、式（４）による演算処理は、一種のＩＩＲフィルタを用いた処理と考えることもできる。

すなわち、式（４）では、式（３）に対して重みｗと（１−ｗ）を加えることで、このｗの値によって１枚の個別画像の累積画像に対する最低限の寄与率を決めることができる。パラメータｗは、例えば、予め設定された定数としてもよい。

適切なｗ設定すると、撮影開始後、十分な時間が経った後でも、ディスプレイ１４に表示される高品質画像の変化を常に感じることが出来るようになる。

ところで、可動照明１１の光源は白色のものを想定しているが、例えば、被写体の特徴や画像の利用目的などに応じて異なる色の光を照射できることが望ましい。この際、可動照明１１の光源を取り換えるようにしてもよいが、画像処理によって異なる色の照明効果を実現することができれば、ユーザの利便性がさらに向上する。

例えば、個別画像として撮影された画像の画素値をＲ，Ｇ，Ｂの３要素に分類し、それらの要素のそれぞれに、Ｗｒ，Ｗｇ，Ｗｂの正の係数を含んだ行列式のフィルタを適用して得られるＲ´、Ｇ´、Ｂ´を個別画像の画素値とする。このようにすることで、Ｗｒ，Ｗｇ，Ｗｂで定められた色の照明を使ったような撮影をすることができる。

すなわち、式（５）に示されるような演算を伴う画像処理が、例えば、個別画像取得部７１において実行されるようにすればよい。

・・・（５）

このような画像処理による異なる色の照明効果は、例えば、ディスプレイ１４に表示されるＧＵＩに基づくユーザの操作により実行される。あるいはまた、例えば、可動照明１１のボタン２３を押下することで、所望の色の照明効果を得られるように、制御信号が出力されるようにすれば便利である。

ここでは、Ｗｒ，Ｗｇ，Ｗｂが、それぞれ正の係数であると説明したが、Ｗｒ，Ｗｇ，Ｗｂのそれぞれを負の係数にすることで、明るすぎる色の成分を暗くするような照明効果を得ることもできる。

ところで、被写体である物体の表面で光が反射するときに物体の表面色にかかわらず光源の光成分が反射される鏡面反射が起こることがある。可動照明１１を移動させて被写体１２に光を照射する際に、好ましくない鏡面反射が発生した場合、この鏡面反射による光成分を軽減できるようにすることが望ましい。

図１２は、撮影中の画素値の変化の様子を説明する図である。すなわち図１２は、高品質画像（または累積画像）における所定の位置の画素の色成分が、Ｒ成分、Ｇ成分およびＢ成分をそれぞれ直行する軸とした空間のなかで、累積加算が繰り返されることによってどのように変化するかを説明するものである。

例えば、時刻Ｔ＝１においてベクトルＣ１で表される色が、時刻Ｔ＝２ではベクトルＣ２で表される色になる。この場合、光が当たると被写体１２の表面色の色相を保つ直線Ｌａに沿って明るさが増している。

一方、時刻Ｔ＝３においてベクトルＣ３で表される色が時刻Ｔ＝４ではベクトルＣ４で表される色になっている。すなわち、時刻Ｔ＝３とＴ＝４では可動照明１１の光源の白色を表す（１，１，１）の方向に向かう直線Ｌｂに沿って明るさが増しているのである。

このように、直線Ｌａから直線Ｌｂへ経路が変わるのは、被写体１２の表面で光が反射するときに被写体１２の表面色にかかわらず光源の光成分が反射される鏡面反射が起こるからである。ここで、直線Ｌａに関係した反射光は拡散反射成分であり、直線Ｌｂに関係した反射光は鏡面反射成分となる。

このような鏡面反射成分を軽減したい場合、例えば、上述した式（４）において、パラメータｗを動的に変化させ、鏡面反射成分が含まれているときの寄与率を小さくするようにすればよい。

例えば、加算部７２において、個別画像の画素値を分析し、累積画像における画素の色成分の、Ｒ成分、Ｇ成分およびＢ成分をそれぞれ直行する軸とした空間のなかでの変化を特定するようにする。これにより、例えば、図１２を参照して上述したようなベクトルが、画素毎に得られることになる。

なお、図１２の直線Ｌａの方向は、例えば、環境光画像に基づいて、画素毎に予め求められるようにすればよい。

そして、加算部７２が、例えば、図１２のベクトルＣ１やベクトルＣ２のように被写体１２の表面色の色相を保つ直線Ｌａに沿って画素の色を表すベクトルが移動する場合、式（４）の演算では予め決められた値のｗが用いられるようにする。一方、図１２のベクトルＣ３やベクトルＣ４のように、光源の白色を表す（１，１，１）の方向に向かう直線Ｌｂに沿って画素の色を表すベクトルが移動する場合、式（４）のｗの値がより小さく設定されるようにすればよい。

例えば、画素毎に、直線Ｌａの方向と色ベクトルＣ１乃至色ベクトルＣ４のそれぞれの方向との違いを内積計算等で角度の開きを評価値として演算する。そして累積画像内の全画素に係る評価値を集計して鏡面反射成分の強度が特定されるようにし、鏡面反射成分の強度に応じたｗが設定されるようにすればよい。

このようにすることで、例えば、高品質画像の中にみられる鏡面反射を軽減することができる。

ところで、実際の多灯照明による撮影は、例えば、複数の照明装置が被写体を囲むように配置されて行われる。この際、各照明装置の照明強度がそれぞれ異なるようにし、特徴的な陰影をもった画像を撮影することも可能である。本技術では、単一の可動照明１１が用いられるが、多灯照明による撮影において、各照明装置の照明強度がそれぞれ異なるようにして撮影された画像と同様の陰影をもった高品質画像を得ることも可能である。

例えば、累積画像を生成する際に、陰影の状況（陰影の種類）に応じた重み係数を乗じて個別画像が累積的に加算されるようにすることで、各照明装置の照明強度がそれぞれ異なるようにして撮影された画像と同様の陰影をもった高品質画像を得ることができる。

しかしながら、図５に示される個別画像１０１-１乃至個別画像１０１−５のように、カメラ１３で撮影された被写体の画像は、可動照明１１の位置に応じて異なる陰影を有している。このため、個別画像の枚数が多くなると、陰影の種類も増えるので、所望の陰影の種類を見つけることが難しくなる。累積画像を生成する際に、陰影の種類に応じた重み係数が乗じられるようにするためには、陰影の種類を凡そ分類しておく必要がある。

図１３は、陰影の種類を凡そ分類する方式を説明する図である。ここでは、可動照明１１の発光窓２２の向きと被写体１２の陰影に相関があると仮定して陰影の種類を分類する。

上述したように、可動照明１１には加速度センサ４３が設けられており、加速度センサ４３は、加速度を検出する。例えば、図２のＸ軸、Ｙ軸、およびＺ軸のそれぞれにおける正方向および負方向の６方向のベクトルに対応する加速が検出される。

図１３には、可動照明１１のローカル座標の原点から、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれに沿って伸びた６本のベクトルの単位ベクトル（ベクトルＶａ，Ｖｂ，Ｖｃ，Ｖｄ，Ｖｅ，Ｖｆ）と、被写体１２の方向を表す単位ベクトル（ベクトルＳ）が示されている。

なお、被写体１２への方向を表す単位ベクトルＳの検出は、例えば、加速度センサ４３により重力の方向を検知し、可動照明１１のローカル座標に重力の方向をマッピングして、その重力方向を被写体１２への方向と見なすことにより行われる。

なお、被写体１２への方向を表す単位ベクトルＳの検出方式は、上記に限定されるものではなく、他の種類のセンサ、例えば、ジャイロセンサや地磁気センサを複合的に活用したものでもよい。あるいはまた、可動照明１１に取り付けたカメラなどで被写体の位置を特定してもよいし、３次元位置センサが用いられるようにしてもよい。

また、各ベクトル間の内積のそれぞれを、次のように定義する。

すなわち、内積Ｐａを、Ｐａ＝（Ｖａ，Ｓ）、内積Ｐｂを、Ｐｂ＝（Ｖｂ，Ｓ）と定義する。同様に内積Ｐｃ乃至Ｐｆを、それぞれ、Ｐｃ＝（Ｖｃ，Ｓ）、Ｐｄ＝（Ｖｄ，Ｓ）、Ｐｅ＝（Ｖｅ，Ｓ）、Ｐｆ＝（Ｖｆ，Ｓ）と定義する。ここで、内積Ｐａ乃至内積Ｐｆの値を比較することにより、Ｘ軸、Ｙ軸、Ｚ軸に沿って伸びた６本のベクトルのうち、被写体への方向に最も近いベクトルを内積が最大値のベクトルを見つけることによって特定することができる。ここで、被写体への方向に最も近いベクトルを、ベクトルＶｘとする。つまり、ベクトルＶｘは、ベクトルＶａ，Ｖｂ，Ｖｃ，Ｖｄ，Ｖｅ，またはＶｆのいずれかとなる。

例えば、加算部７２が、個別画像を累積的に加算するとき、上記の６つのベクトルＶｘ（ベクトルＶａ，Ｖｂ，Ｖｃ，Ｖｄ，Ｖｅ，Ｖｆ）毎に異なるメモリに累積画像の画像データが蓄積されるようにする。そして、ベクトルＶｘに応じたメモリが選択されて累積的な加算が行われるようにし、各メモリに蓄積された累積画像を用いて６通りの高品質画像が生成されるようにする。

さらに、上述したように生成された６通りの高品質画像が任意の比率で混合されて、陰影が調整された高品質画像が得られるようにする。

図１４は、上述したように陰影が調整された高品質画像の生成方式の例を説明する図である。図１４における画像１１１Ｖａ乃至画像１１１Ｖｆのそれぞれは、上述したように、ベクトル毎に異なるメモリに蓄積された累積画像に基づいて生成された６通りの高品質画像である。

図１４に示されるように、画像１１１Ｖａ乃至画像１１１Ｖｆのそれぞれの画素に対して、重み係数（Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆ）が乗じられて加算されることにより、陰影が調整された高品質画像１１１が得られる。なお、重み係数は、Ｗａ＋Ｗｂ＋Ｗｃ＋Ｗｄ＋Ｗｅ＋Ｗｆ＝１の条件を満たすように設定されてもよい。

また、例えば、画像１１１Ｖａ乃至画像１１１Ｖｆのそれぞれが、ディスプレイ１４に表示され、ユーザの操作に基づいて重み係数の値が調整されることにより、陰影が調整された高品質画像１１１が得られるようにしてもよい。

図１５は、重み係数Ｗａ乃至重み係数Ｗｆの値を調整するＧＵＩの例を示す図である。このＧＵＩは、例えば、被写体の撮影中または撮影終了後にディスプレイ１４に表示される。

図１５における領域１６１には、ベクトル毎に異なるメモリに蓄積された累積画像に基づいて生成された６通りの高品質画像が表示される領域とされる。同図に示されるように、領域１６１には、画像１１１Ｖａ乃至画像１１１Ｖｆが表示されている。

図１５の領域１６２は、重み係数Ｗａ乃至重み係数Ｗｆのそれぞれの比率を示す円グラフが表示される領域とされる。同図に示される円グラフには、Ｖａ、Ｖｂ、Ｖｃ、・・・が示されており、それぞれ重み係数Ｗａ、重み係数Ｗｂ、重み係数Ｗｃ、・・・の比率を表している。ユーザは、例えば、領域１６２に表示された円グラフに指で触れるなどして、重み係数Ｗａ乃至重み係数Ｗｆのそれぞれが、所望の比率となるように調整できるようになされている。

図１５の領域１６３には、陰影が調整された高品質画像１１１が表示される。この高品質画像１１１は、Ｗａ＋Ｗｂ＋Ｗｃ＋Ｗｄ＋Ｗｅ＋Ｗｆ＝１の条件を満たし、かつ、領域１６２の円グラフに示される比率で設定された重み係数を、画像１１１Ｖａ乃至画像１１１Ｖｆのそれぞれにおける各画素に乗じて加算することにより得られた画像である。

このように、可動照明１１の発光窓２２の向きに基づいて陰影の種類を分類し、それぞれの陰影の種類に応じた画像を、ユーザの好みに応じた比率で混合して高品質画像を得るようにすることができる。このようにすることで、多灯照明による撮影において、各照明装置の照明強度がそれぞれ異なるようにして撮影された画像と同様の陰影をもった高品質画像を得ることができる。

あるいはまた、上記とは異なる方式で陰影が調整された高品質画像が得られるようにしてもよい。

例えば、個別画像の撮影時刻に基づいて複数通りの高品質画像が生成され、それらの高品質画像を、ユーザの好みに応じた比率で混合して高品質画像を得るようにしてもよい。この場合、ここでは、撮影時刻と被写体１２の陰影に相関があると仮定して陰影の種類を分類することになる。すなわち、時間的に近い時刻に撮影された個別画像は、ほぼ同じ陰影を有していると仮定して複数通りの高品質画像が生成されるようにする。

例えば、累積画像が所定の時間帯毎に設けられたメモリに蓄積されるようにし、各個別画像の撮影時刻が属する時間帯に応じて、個別画像が累積的に加算されるようにする。例えば、時刻Ｔ＝０乃至時刻Ｔ＝９、時刻Ｔ＝１０乃至時刻Ｔ＝１９、時刻Ｔ＝２０乃至時刻Ｔ＝２９、時刻Ｔ＝３０乃至時刻Ｔ＝３９、時刻Ｔ＝４０乃至時刻Ｔ＝４９、時刻Ｔ＝５０乃至時刻Ｔ＝５９の６つの時間帯に対応するメモリが設けられる。そして、これらのメモリに蓄積された累積画像に基づいて、６通りの高品質画像が生成され、これらが所定の比率で混合されることにより、陰影が調整された高品質画像が生成される。

図１６は、上述したように陰影が調整された高品質画像の生成方式の例を説明する図である。図１６における画像１１１（Ｔ＝０．．９）乃至画像１１１（Ｔ＝５０．．５９）のそれぞれは、上述した６通りの高品質画像である。例えば、画像１１１（Ｔ＝０．．９）は、時刻Ｔ＝０乃至時刻Ｔ＝９において撮影された１０枚の個別画像が累積的に加算された累積画像に基づいて生成された高品質画像とされ、画像１１１（Ｔ＝１０．．１９）は、時刻Ｔ＝１０乃至時刻Ｔ＝１９において撮影された１０枚の個別画像が累積的に加算された累積画像に基づいて生成された高品質画像とされる。

図１６に示されるように、画像１１１（Ｔ＝０．．９）乃至画像１１１（Ｔ＝５０．．５９）のそれぞれの画素に対して、重み係数が乗じられて加算されることにより、陰影が調整された高品質画像１１１が得られる。ここで、重み係数は、Ｗ（Ｔ＝０．．９）、Ｗ（Ｔ＝１０．．１９）、Ｗ（Ｔ＝２０．．２９）、Ｗ（Ｔ＝３０．．３９）、Ｗ（Ｔ＝４０．．４９）、Ｗ（Ｔ＝５０．．５９）とされ、各重み係数の値の総和が１となるような条件を満たすように設定してもよい。

また、例えば、画像１１１（Ｔ＝０．．９）乃至画像１１１（Ｔ＝５０．．５９）のそれぞれが、ディスプレイ１４に表示され、ユーザの操作に基づいて重み係数の値が調整されることにより、陰影が調整された高品質画像１１１が得られるようにしてもよい。

図１７は、重み係数Ｗ（Ｔ＝０．．９）乃至重み係数Ｗ（Ｔ＝５０．．５９）の値を調整するＧＵＩの例を示す図である。このＧＵＩは、例えば、被写体の撮影中または撮影終了後にディスプレイ１４に表示される。

図１７における領域１７１には、陰影が調整された高品質画像１１１が表示されている。また、図１７の領域１７２には、画像１１１（Ｔ＝０．．９）乃至画像１１１（Ｔ＝５０．．５９）が表示されており、画像１１１（Ｔ＝０．．９）乃至画像１１１（Ｔ＝５０．．５９）の下には、時刻Ｔを表す目盛とともに、バー１７３ａが表示されている。バー１７３ａにより混合される画像およびその比率が特定される。

図１７の例の場合、画像１１１（Ｔ＝０．．９）の混合比率（または、重み係数Ｗ（Ｔ＝０．．９）の値）は０％であり、画像１１１（Ｔ＝１０．．１９）および画像１１１（Ｔ＝５０．．５９）の混合比率は、それぞれ１２.５％であり、画像１１１（Ｔ＝２０．．２９）乃至画像１１１（Ｔ＝４０．．４９）の混合比率は、それぞれ２５％とされる。

あるいはまた、図１８に示されるようなバー１７３ｂ−１およびバー１７３ｂ−２により、混合される画像およびその比率が特定されるようにしてもよい。図１８の例の場合、画像１１１（Ｔ＝１０．．１９）および画像１１１（Ｔ＝５０．．５９）の混合比率が、それぞれ５０％であり、その他の画像の混合比率がそれぞれ０％とされる。

なお、バー１７３ａおよびバー１７３ｂは、ユーザの操作に基づいてディスプレイに表示されるＧＵＩの部品の１つとされる。

このように、時間帯別に生成された高品質画像を混合して、陰影が調整された高品質画像が得られるようにすることで、ユーザは、例えば、誤った方向から被写体１２を可動照明１１で照らした画像による陰影への影響を除去することができる。すなわち、ユーザが撮影後に、「失敗した」と感じた部分の撮影の影響を排除することができる。

なお、陰影の種類を凡そ分類する方式は、上記のような方向や時刻による分類に限らず、例えば画像の類似度を比較して分類しても良い。また、方向による分類については、剛体の空間上の状態を表現するための方向と位置の６つの自由度のパラメータで分類できるとなお良い。

さらに、上述した実施の形態のそれぞれにおいて、例えば、画角に移りこんだ可動照明の一部、もしくはユーザの手（体の一部）などが画像処理によりキャンセルされるようにしてもよい。例えば、一般的な動体認識技術を用いて動体であると判別される部分を、環境光画像から抽出された部分と置き換えることで個別画像が修正され、累積的に加算されるようにしてもよい。あるいはまた、完成した高画質画像において、動体識別の結果影響ありとされる部分が環境光画像から抽出された部分と置換されるようにしてもよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１９に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１９において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部と
を備える画像処理装置。
（２）
予め前記被写体に光を照射している光源とは異なる光源としての照明装置が滅灯されているか否かを判定する滅灯検出部をさらに備え、
前記照明装置が滅灯されていると判定された場合、前記環境光画像が撮影される
（１）に記載の画像処理装置。
（３）
前記環境光画像が撮影された後の時間帯における撮影において、前記照明装置が点灯される
（２）に記載の画像処理装置。
（４）
前記照明装置を、ユーザが手に握って振ることができる
（３）に記載の画像処理装置。
（５）
前記累積画像生成部は、
前記照明装置が光を照射する方向を特定する情報に基づいて、前記第２の時間帯において撮影された前記被写体の画像を前記方向毎に分類して累積的に加算し、
高品質画像生成部は、
前記方向毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
（３）に記載の画像処理装置。
（６）
画像を表示する表示部をさらに備え、
前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
（５）に記載の画像処理装置。
（７）
前記累積画像生成部は、
前記前記第２の時間帯を、複数の短時間帯に分割し、前記第２の時間帯において撮影された前記被写体の画像を前記短時間帯毎に分類して累積的に加算し、
高品質画像生成部は、
前記短時間帯毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
画像を表示する表示部をさらに備え、
前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
（７）に記載の画像処理装置。
（９）
画像を表示する表示部をさらに備え、
前記第２の時間帯において、前記高品質画像が前記表示部に順次表示される
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記第２の時間帯の中での所定の時間が経過するまでの間、徐々に増加する
（９）に記載の画像処理装置。
（１１）
前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記累積画像の画素の輝度値の最大値が所定の値となるまでの間、徐々に増加する
（９）に記載の画像処理装置。
（１２）
前記累積画像において、前記第２の時間帯に撮影された画像１枚当たりの寄与率が所定の値より低下しないように、前記複数の画像の画素値のそれぞれに重み係数が乗じられて累積的に加算される
（１）乃至（１２）のいずれかに記載の画像処理装置。
（１３）
前記累積画像の画素値の変化に基づいて、被写体の表面における鏡面反射の発生を検出し、前記表面反射が含まれる画像の寄与率が低くなるように、前記重み係数の値が変更される
（１２）に記載の画像処理装置。
（１４）
画素値に所定の演算処理を施すことにより、前記第２の時間帯に取得される画像における前記被写体を照射する照明の色が変更される
（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
環境光画像取得部が、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得し、
累積画像生成部が、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成し、
高品質画像生成部が、前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成するステップ
を含む画像処理方法。
（１６）
コンピュータを、
第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部とを備える画像処理装置として機能させる
プログラム。

１０ 撮影システム， １１ 可動照明， １２ 被写体， １３ カメラ， １４ ディスプレイ， ２２ 発光窓， ２３ ボタン， ３１ アプリケーションプロセッサ， ３４ リムーバブルメディア， ３５ 表示デバイス， ４１ 発光デバイス， ４３ 加速度センサ， ５０ カメラモジュール， ７１ 個別画像取得部， ７２ 加算部， ７３ 正規化部， ７４ 減算部， ７５ 表示部， ７６ 照明制御部， ７７ 滅灯検出部， ７８ 環境光画像取得部， ７９ 記録部

Claims (16)

1. 第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
   前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
   前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部と
   を備える画像処理装置。
2. 予め前記被写体に光を照射している光源とは異なる光源としての照明装置が滅灯されているか否かを判定する滅灯検出部をさらに備え、
   前記照明装置が滅灯されていると判定された場合、前記環境光画像が撮影される
   請求項１に記載の画像処理装置。
3. 前記環境光画像が撮影された後の時間帯における撮影において、前記照明装置が点灯される
   請求項２に記載の画像処理装置。
4. 前記照明装置を、ユーザが手に握って振ることができる
   請求項３に記載の画像処理装置。
5. 前記累積画像生成部は、
   前記照明装置が光を照射する方向を特定する情報に基づいて、前記第２の時間帯において撮影された前記被写体の画像を前記方向毎に分類して累積的に加算し、
   高品質画像生成部は、
   前記方向毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
   請求項３に記載の画像処理装置。
6. 画像を表示する表示部をさらに備え、
   前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
   請求項５に記載の画像処理装置。
7. 前記累積画像生成部は、
   前記前記第２の時間帯を、複数の短時間帯に分割し、前記第２の時間帯において撮影された前記被写体の画像を前記短時間帯毎に分類して累積的に加算し、
   高品質画像生成部は、
   前記短時間帯毎に分類された複数の累積画像のそれぞれを前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して得られた複数の前記高品質画像を、所定の比率で混合することにより別の高品質画像をさらに生成する
   請求項１に記載の画像処理装置。
8. 画像を表示する表示部をさらに備え、
   前記複数の前記高品質画像のそれぞれを混合する比率を指定するためのＧＵＩが、前記表示部に表示される
   請求項７に記載の画像処理装置。
9. 画像を表示する表示部をさらに備え、
   前記第２の時間帯において、前記高品質画像が前記表示部に順次表示される
   請求項１に記載の画像処理装置。
10. 前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記第２の時間帯の中での所定の時間が経過するまでの間、徐々に増加する
    請求項９に記載の画像処理装置。
11. 前記表示部に表示される前記高品質画像の画素の輝度値に乗じられるゲインが、前記累積画像の画素の輝度値の最大値が所定の値となるまでの間、徐々に増加する
    請求項９に記載の画像処理装置。
12. 前記累積画像において、前記第２の時間帯に撮影された画像１枚当たりの寄与率が所定の値より低下しないように、前記複数の画像の画素値のそれぞれに重み係数が乗じられて累積的に加算される
    請求項１に記載の画像処理装置。
13. 前記累積画像の画素値の変化に基づいて、被写体の表面における鏡面反射の発生を検出し、前記表面反射が含まれる画像の寄与率が低くなるように、前記重み係数の値が変更される
    請求項１２に記載の画像処理装置。
14. 画素値に所定の演算処理を施すことにより、前記第２の時間帯に取得される画像における前記被写体を照射する照明の色が変更される
    請求項１に記載の画像処理装置。
15. 環境光画像取得部が、第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得し、
    累積画像生成部が、前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成し、
    高品質画像生成部が、前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成するステップ
    を含む画像処理方法。
16. コンピュータを、
    第１の時間帯において、所定の露光時間で撮影された被写体の画像である環境光画像を取得する環境光画像取得部と、
    前記第１の時間帯の後の第２の時間帯において、所定の露光時間で順次前記被写体が撮影された複数の画像の画素値のそれぞれを累積的に加算して得られる累積画像を生成する累積画像生成部と、
    前記累積画像を、前記露光時間の総和に基づいて正規化した画像の各画素値から、前記環境光画像の画素値を減算して高品質画像を生成する高品質画像生成部とを備える画像処理装置として機能させる
    プログラム。

Images