JP2014089075A

JP2014089075A - 分光反射率測定システム

Info

Publication number: JP2014089075A
Application number: JP2012238157A
Authority: JP
Inventors: Takeshi Maruyama; 剛丸山; Kensuke Masuda; 憲介増田; Yuji Yamanaka; 祐治山中
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-10-29
Filing date: 2012-10-29
Publication date: 2014-05-15

Abstract

【課題】フィルタの分光透過率のばらつきや位置ずれ等の誤差要因があっても分光反射率測定の精度を向上させることができ、製造精度の緩和による低コスト化にも寄与し得る分光反射率測定システムを提供する。
【解決手段】分光エネルギー分布が既知の複数種類の光を入射させ、センサ上の領域ごとの分光感度特性データをメモリ３０に格納し、格納されている分光感度特性データに基づいて各画素の分光透過率測定を画素分光特性演算部３４により算出し、算出された分光透過率に基づいて被写体分光反射率演算部３６により被写体の分光反射率を算出する。
【選択図】図２

Description

本発明は、物体の分光反射率を測定する分光反射率測定システムに関する。

分光反射率を測定する装置としては、プリズムや回折格子（グレーティング）、液晶チューナブルフィルタ等を利用した分光器が知られている。
物体の分光反射率を測定することで、可視光領域では照明や表示装置に依存しない精密な色再現を行うことができる。
紫外や赤外領域においては、人間の眼でみたときは違いがわからない物体でも成分の差を検出することが可能となる。

これまでの分光器は、リアルタイム（瞬時的）に点、線分のスペクトルを測定することはできるが、面を一度に測定することでできない、といった問題があった。
面を測定する場合には、線測定の分光器を用いてスキャンすることで測定していた。
この方式では、細胞などのスペクトルを測定する場合は、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないといった問題があった。

特許文献１には、二次元の分光反射率特性を測定する目的で、波長可変フィルタを用いて、波長領域が異なる複数のチャンネルを切り替え、撮影されたマルチバンド画像より、撮影被写体のスペクトルを推定する方法が開示されている。
波長可変フィルタでチャンネルを切り替えながら、同一の被写体を撮影手段により撮影した複数の原画像からなるマルチバンド画像を取得し、該マルチバンド画像から被写体のスペクトルを推定するものである。
波長可変フィルタのチャンネル数は、１０チャンネル以上としている。

しかしながら、特許文献１に記載の方式は、波長可変フィルタでチャンネルを切り替えながら逐一バンド画像を得るものであるため、複数のチャンネルのスペクトル画像を一度にリアルタイム（瞬時的）に測定することはできない。
すなわち、波長可変フィルタのチャンネルを切り替えて各バンド画像を得る動作が１０回以上必要となり、時間を要することを避けられない。
このため、上述した、被写体自身が動いてしまうために、被写体に対応したスペクトルを正確に測定することができないという問題の解消には至っていない。

このような分光器に対して、リアルタイム（瞬時的）に点、線分の分光反射率特性を測定する手段として、ライトフィールドカメラ（プレノプティックカメラ）がある。
プレノプティックカメラでは、メインレンズの絞り付近に空間的に分光透過率の変化するフィルタを配置することで、被検物の二次元の分光反射率をワンショットで測定できることが知られている。

プレノプティックカメラの構成を用いた分光反射率測定装置を想定した場合、理想条件においては、フィルタの分光透過率およびセンサの分光感度特性により、センサの分光透過率が決定し、それに基づいて分光反射率を計測できる。

しかしながら、実在のプレノプティックカメラでは、フィルタの分光透過率のばらつきや、フィルタの設置位置のずれ等の製造誤差、物体からの反射光の入射角のずれなどの諸要因により、フィルタの分光透過率およびセンサの分光感度特性のみからセンサの分光透過率を決定する手法では誤差が多く含まれることが判明している。
このため、プレノプティックカメラの構成を用いた分光反射率測定装置を具体化しても、分光反射率の計測精度は十分とはいえなかった。
計測精度を上げるためには、製造誤差を極力少なくする必要があるが、そうした場合コスト上昇を避けられない。

本発明は、このような現状に鑑みて創案されたもので、フィルタの分光透過率のばらつきや位置ずれ等の誤差要因があっても分光反射率測定の精度を向上させることができ、製造精度の緩和による低コスト化にも寄与し得る分光反射率測定システムの提供を、その目的とする。

上記目的を達成すべく、本発明は、製造後に既知の波長の光を入射させて分光感度特性データを取得し、これに基づいて校正（キャリブレーション）を行うことで、誤差要因の影響を排除することとした。

具体的には、本発明は、光学系と、前記光学系により集光された光情報を電子情報に変換するセンサと、前記光学系の絞り付近に配置され、複数の分光特性を有するフィルタと、前記光学系と、前記センサとの間に配置され、前記センサの二次元平面方向に略平行に複数のレンズが並んだレンズアレイと、前記センサ上の領域ごとの分光感度特性データを格納する記憶手段と、前記記憶手段に格納されている分光感度特性データに基づいて、被写体の分光反射率を算出する被写体分光反射率算出手段と、を有する分光反射率測定システムである。

本発明によれば、製造誤差等の誤差要因があっても分光反射率測定の精度を向上させることができ、製造精度の緩和による低コスト化にも寄与し得る分光反射率測定システムを実現できる。

本発明の一実施形態に係る分光反射率測定システムの概要構成図である。制御ブロック図である。キャリブレーション時の光源の配置例を示す模式図である。物体の分光反射率を測定する場合の構成を示す模式図である。分光反射率の測定手順を示すフローチャートである。本発明の分光反射率測定システムの原理を説明するための模式図である。分光透過率が連続的に変化するフィルタの位置と透過率との関係の一例を示す図である。プレノプティックカメラ構成による撮影画像の一例を示す図である。

以下、本発明の一実施形態を図を参照して説明する。
本実施形態に係る分光反射率測定システムの具体的構成を説明する前に、図６に基づいて本発明の原理を説明する。
ここでは、分かり易く説明するために、光学系としてのメインレンズ２４は単レンズで示し、メインレンズ２４の絞り位置Ｓを単レンズの中心としている。
メインレンズ２４の中心には、分光透過率が空間的に連続的に変化するフィルタ２６が配置されている。ここでは、分光透過率が空間的に連続的に変化する状態を色の濃淡で表示している。
実際には、レンズ内にフィルタが位置することはない。

フィルタ２６の分光透過率の連続性の方向性は、１つの面内であれば限定されない。
例えば、メインレンズ２４の光軸に直交する面において、図１中の上下方向、又はこれに直交する方向、あるいは斜めに交差する方向などで連続性を有していればよい。

分光透過率が連続的に変化するフィルタの位置と透過率との関係は、例えば図７に示すものが知られている（株式会社ニコンのリニアバリアブルフィルタ（ＬＶＦ）のウェブサイトより抜粋）。
このようなフィルタは透明基板（光学ガラスなど）に薄膜をくさび状に蒸着することで作製することができる。
すなわち、薄膜の厚みを無段階に変化させることにより、分光透過率も連続的に変化する。

メインレンズ２４の集光位置付近には、複数のマイクロレンズ（小レンズ）から構成されるマイクロレンズアレイ（以下、「ＭＬＡ」という）３が配置されている。
イメージ面６にはセンサとしての受光素子アレイが配置されている。受光素子アレイは複数の受光素子からなる。以下においては、符号６を画像センサとして表記する。
ＭＬＡ３のマイクロレンズの径と、画像センサ６を構成する各受光素子とは、おおよそ30:1〜10:1の比率の関係にある。
ＭＬＡ３は、画像センサ６の二次元平面方向に略平行に複数の小レンズが並んだレンズアレイである。

画像センサ６は、ＣＣＤなどに代表されるイメージセンサで、画素ごとのカラーフィルタが実装されていないモノクロセンサである。
画像センサ６は、メインレンズ２４により集光された光情報を電子情報に変換するセンサである。
物体１から発する光のうち、メインレンズ２４の開口に入射する光束が分光反射率測定の対象となる。
メインレンズ２４に入射した光束は無数の光線の集合であり、それぞれの光線はメインレンズ２４の絞りの異なる位置を通過する。

メインレンズ２４の絞り位置にフィルタ２６を配置しているので、各光線は異なる分光透過率のフィルタを通過することになる。
フィルタ２６を通過した光線は、ＭＬＡ３付近で一旦結像するが、その後ＭＬＡ３により、それぞれセンサの別位置に到達する。
すなわち、センサ面の位置は光線が通過したフィルタ位置に対応するので、物体のある一点の分光反射率を同時に測定することができる。

図６では、光軸上の一点のみの場合を示しているが、軸外についても同様であり、二次元の分光反射率を同時に測定することが可能となる。

フィルタ２６は、メインレンズ２４の絞り付近に配置される。
ここで、「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。

図６の構成で撮影された画像は、図８に示すように、小さな円が並んだものとなる。円になるのは単レンズの絞り形状が円であるためである。
それぞれの小さな円を、ここでは「マクロピクセル」と呼ぶこととする。マクロピクセルを全て集めると１つの画像となる。
各マクロピクセルは、ＭＬＡ３を構成する各小レンズ（マイクロレンズ）の直下に形成される。マクロピクセルの径とマイクロレンズの径はほぼ同じである。

図６に示すように、マクロピクセルの上部はフィルタ２６の下部を通過してきた光線が到達し、下部にはフィルタ２６の上部を通過してきた光線が到達する。
フィルタ２６の下部が短波長、上部が長波長の分光透過率を持つような配置とすると、それに対応するように、マクロピクセルの上部には短波長、下部には長波長の光線が到達する。
各マクロピクセルの行ごとの平均値を算出し、照明の分光強度、レンズの分光透過率、フィルタの分光透過率、受光素子の分光感度を考慮して計算することで分光反射率を求めることができる。

図１に本実施形態に係る分光反射率測定システムの構成を示す。
分光反射率測定システム１０は、分光感度特性データを取得するための撮像部１２と、該撮像部１２と電気的に接続され、取得された分光感度特性データを処理して被写体（物体１）の分光反射率を測定する処理ユニット１６とから構成されている。
撮像部１２は、レンズモジュール１８と、カメラ部２０とから構成されている。
レンズモジュール１８は、鏡筒２２と、該鏡筒２２内に設けられたメインレンズ２４と、フィルタ２６と、レンズ２８とを有している。

カメラ部２０は、その内部にＭＬＡ３と、画像センサ６とを有している。
ＭＬＡ３は、メインレンズ２４の光軸と直交する方向に複数のマイクロレンズを配置した構成を有している。

処理ユニット１６は、図２に示すように、記憶手段としてのメモリ３０と、被写体分光反射率算出手段３２とを有している。
被写体分光反射率算出手段３２は、画素分光特性演算部３４と、被写体分光反射率演算部３６と、制御部３８とからなる。
メモリ３０は、画像センサ６上の領域ごとの分光感度特性などのデータを保存（格納）しておく不揮発性のメモリである。

画素分光特性演算部３４は、メモリ３０に保存されている、各画素の分光特性から、各画素の分光透過率を算出する。
被写体分光反射率演算部３６は、画素分光特性演算部３４で算出された各画素の分光透過率を利用して、被写体の分光反射率を算出する。
制御部３８は、処理ユニット１６全体の制御を行う。

本実施形態では、撮像部１２に被写体分光反射率算出手段３２を電気的に接続してシステム全体を構築する構成としたが、被写体分光反射率算出手段３２の一部、例えばメモリ３０を撮像部１２が一体に備える構成としてもよい。電気的な接続は有線・無線を問わない。
また、被写体分光反射率算出手段３２全体が撮像部１２内に組み込まれている構成としてもよい。

以下に、二次元の分光反射率を測定する手順を具体的に述べる。
まず、製造後の撮像部１２に対して、複数の既知の分光エネルギー分布を持つ照明を入射する。
図３に示すように、撮像部１２の前面に、撮像部１２の絞り面、すなわちメインレンズ２４の絞り面と比べて面積が十分に大きい面光源５０を配置する。
図３は、キャリブレーション時の面光源５０の配置例を示している。

入射光を出射する面光源５０は複数種類（ここでは６種類）用意し、６種類の面光源の分光エネルギー分布は全て既知とする。
各画素のカメラ応答（＝輝度値）を計測することを各面光源に対し１回ずつ繰り返すことにより、画素ごとに６個のカメラ応答が得られる。
表１に、ＭＬＡ３を透過して画像センサ６の小領域６ａに受光したセンサ感度値の例を示す。なお、小領域６ａは簡略化のために3x3画素（画素単位）としている。表１において、λは波長を意味する。

表１におけるＸ座標とＹ座標とから区分される部分は、それぞれセンサ上の領域を示し、各画素のカメラ応答（＝輝度値）は、分光感度特性データと同義である。
すなわち、領域は、入射光がフィルタを通過する領域ごとに分類されている。

画素数x波長数（表１の例では3x3x6=72）のデータを、メモリ３０へ、６種類の面光源の分光エネルギー分布と併せて保存する。
本実施形態では６種類としたが、面光源の種類は多ければ多いほど高精度に各画素の分光透過率を算出できることになる。
波長の番号で区別される面光源１、２、３、４、５、６はそれぞれ、400nm、450nm、500nm、550nm、600nm、650nmのみに強いエネルギーを持つ面光源であり、各面光源の強度は等しいものを使用した。

次に、物体１の分光反射率を測定する方法を示す。
図４は、物体１の分光反射率を求める際の設置例を示している。図４において、符号５２は、照明用の光源を示している。

［分光反射率の計算方法］
分光反射率の計算方法は、下記のようにモデル化される（参考文献：分光画像処理入門、第４章、東京大学出版会）。
G(x,y) = S^tEr(x,y)+n(x,y) ・・・分光反射率推定モデル式
x,y:画素位置
G:カメラ応答を表すmx1の列ベクトル
ｒ：対象物の分光反射率を表すlx1の列ベクトル
S=[s1,s2,…sm]:lxmの行列で、i番目の列siはi番目のバンドの分光感度特性
E:lxlの対角行列であり、行列の対角成分は、照明の分光エネルギー分布
N:ノイズ
なお、^tは転置行列、カメラ

[各画素の分光透過率の算出方法]
上記モデルを以下のように変更することで、各画素の分光透過率を算出することができる。
G(x,y) = S^tEr(x,y)+n(x,y) ・・・画素分光透過率推定モデル式
x,y:画素位置
G:カメラ応答を表すmx1の列ベクトル (mは面光源の数)
ｒ：面光源の分光反射率を表すmxlの行列 (lはバンド数)
S：画素(x,y)の各バンドごとの分光感度特性(lx1の列ベクトル)
E:正方行列（図５より照明使用しないため）
N:ノイズ
なお、^tは転置行列、カメラ

上記分光透過率の算出方法において、「各バンドごと」は、「フィルタを通過する領域ごと」に対応する。
実際に、画素(x,y)=(0,0)の分光透過率の算出方法を例として説明する。
算出する画素(0、0)の分光感度特性を、S(0,0)=[s1,s2,s3,s4,s5,s6]とする。
s1,s2,s3,s4,s5,s6は、
それぞれ波長400nm,450nm,500nm,550nm,600nm,650nmの分光感度特性である。

上記モデルにもとづいて、画素(0,0)が得たカメラ応答をmx1の列ベクトルとする。
表１より、
G=[245,233,100,60,20,13]^tと設定できる。また、これらのカメラ応答が得られた時の対象物（＝面光源）の分光反射率は、各面光源は正規化された光量を持ち、特定波長のみにピークを持つ光源であるので、r=E(正方行列)とおける。

ここでN=0と仮定して、上記モデル式を解くことにより、S(0,0)=[245,233,100,60,20,13]^tを得ることができる（N≠０と仮定する場合は（分光画像処理入門、p65、東京大学出版会）参照）。
S(0,0)は、頂点(0,0)の分光透過率が400nmで245,240nmで233,・・・650nmで13であることを表している。
この計算を全ての画素に関して行うことにより、各画素の分光透過率を得ることができる。

S：画素(x,y)の各バンドごとの分光感度特性(lx1の列ベクトル)として、メモリ３０に表１に示す如く保存された分光感度特性データから選択して設定する。
このようにして、上記分光透過率の算出方法を実行することは、製造後の撮像部１２のキャリブレーションを意味する。
これにより、製造時に発生する撮像部１２の誤差を補正することができる。
すなわち、本発明は、複数の既知の分光エネルギー分布を持つ照明を入射させて、センサとフィルタを合わせた、すなわちカメラとしての分光透過率を計測し、この結果を各画素の分光感度特性と再定義して利用するものである。

なお、本実施形態では、各画素の分光透過率を算出したが、全ての画素の分光感度を算出する場合、計算量が問題となったり、出力されたデータを保存しておく領域の大きさが問題となったりする。
それを避けるため、分光反射率を算出する画素のサンプリングが重要となる。

サンプリングの方法としては、単純に間引きを行う方法、図６に示したように、フィルタとセンサ上で対応する画素領域を決定して、画素領域ごとに分光感度を登録して用いる方法がある。
また、サンプリングを行ったデータの間の画素を線形補間などにより補正することで、メモリへ登録するデータ数を減らす方法が挙げられる。
次の[被写体の分光反射率の算出方法]では、サンプリングされた分光反射率を復元した後に算出を行うものとする。

[被写体の分光反射率の算出方法]
物体１の分光反射率を求める方法を説明する。
図４より、物体１で反射された環境光が、画像センサ６の小領域６ａのみに撮像するように配置されていることがわかる。
よって、m=9として分光反射率推定モデル式を適用することができる。

具体的には、S＝
[S(0,0),S(0,1),S(0,2),S(1,0),S(1,1),S(1,2),S(2,0),S(2,1),S(2,2)]と置く。
また、照明が各波長で同一エネルギー分布を持つとして、Eを正方行列とする。

また画素(x,y)のセンサ感度値をV(x,y)とすると、
G=[ V(0,0),V(0,1),V(0,2),V(1,0),V(1,1),V(1,2),V(2,0),V(2,1),V(2,2)]と置ける。
これらを用いてrを解くことにより、物体１の分光反射率を求めることができる。

図５のフローチャートに基づいて、物体１の分光反射率を測定する場合の手順を説明する。
まず、図４に示すように、物体１を撮像部１２から規定の距離離れた位置に設置する（Ｓ１）。
次に、撮像部１２の図示しない撮影ボタンを押下することにより撮影を行う（Ｓ２）。
撮影された画像は画像センサ６で取得され、メモリ３０に保存される（Ｓ３）。

次に、撮影終了の信号を受けた制御部３８は、各画素の分光透過率測定を画素分光特性演算部３４に指示する（Ｓ４）。
画素分光特性演算部３４では、上記の[各画素の分光透過率の算出方法]にもとづいて計算が行われる。
算出された各画素の分光透過率は、メモリ３０に保存される（Ｓ５）

次に、制御部３８は物体１の分光反射率測定を被写体分光反射率演算部３６に指示する（Ｓ６）。
被写体分光反射率演算部３６では、メモリ３０に保存された「撮影画像と各画素の分光透過率」を入力として、物体１の分光反射率を計算する。
計算方法は、上記の[被写体の分光反射率の算出方法]に従う。

上記の説明から明らかなように、本発明によれば、メモリ３０と被写体分光反射率算出手段３２とを付加することにより、既存のプレノプティックカメラの構成についても、製造誤差等の誤差要因を排除でき、精度の高い分光反射率測定システムとすることができる。

１物体
３レンズアレイとしてのマイクロレンズアレイ
６センサとしての画像センサ
１２撮像部
２４光学系としてのメインレンズ
２６フィルタ
３２被写体分光反射率算出手段

特開２００１−９９７１０号公報

Claims

光学系と、
前記光学系により集光された光情報を電子情報に変換するセンサと、
前記光学系の絞り付近に配置され、複数の分光特性を有するフィルタと、
前記光学系と、前記センサとの間に配置され、前記センサの二次元平面方向に略平行に複数のレンズが並んだレンズアレイと、
前記センサ上の領域ごとの分光感度特性データを格納する記憶手段と、
前記記憶手段に格納されている分光感度特性データに基づいて、被写体の分光反射率を算出する被写体分光反射率算出手段と、
を有する分光反射率測定システム。
請求項１に記載の分光反射率測定システムにおいて、
前記分光感度特性データは、分光エネルギー分布が既知の複数種類の光を入射させて得られたものであることを特徴とする分光反射率測定システム。
請求項２に記載の分光反射率測定システムにおいて、
前記分光エネルギー分布が既知の光は、前記光学系の絞り面よりも面積が大きい面光源から出射したものであることを特徴とする分光反射率測定システム。
請求項１〜３のいずれか１つに記載の分光反射率測定システムにおいて、
前記領域は、画素単位であることを特徴とする分光反射率測定システム。
請求項１〜３のいずれか１つに記載の分光反射率測定システムにおいて、
前記領域は、入射光が前記フィルタを通過する領域ごとに分類されていることを特徴とする分光反射率測定システム。