JP2005078171A - 分光画像データ処理方法および分光画像データ処理装置 - Google Patents

Abstract

【課題】 人間の視覚で認識能力の低い成分と認識能力の高い成分とで保持の仕方を工夫し、分光画像データを効率よく維持する。
【解決手段】 分光画像データを含んで画像データを保持させるための処理を行う分光画像データ処理装置であって、全画像に対応すると共に、複数の主要基本色で表された主要基本色データを生成する色再現手段と、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを生成する縮小手段と、前記主要基本色データと、一部画像もしくは間引き画像または縮小画像のいずれかとを合成して合成画像データファイルを生成する合成手段と、を有することを特徴とする。
【選択図】 図１

Description

本発明は、分光画像データ処理方法および分光画像データ処理装置に関し、特に、一般の画像データの使用とも整合をとりつつ、効率がよく分光画像データを保持することが可能な分光画像データ処理方法および分光画像データ処理装置に関する。

被写体の分光反射率データは、５〜６種類程度の感度によるマルチバンドカメラや、可視光や非可視光を全て含む分光データカメラにより撮影できる。そして、このような撮影結果を、様々な手法で処理することで、元の分光反射率を推定することができる。

（１）このようなものの一つとして、以下の特許文献１には、本件出願の発明者から、分光画像データを主成分分析に基づく係数データとして保持する手法が示されている。これは、被写体の分光反射率を主成分分析し、主成分とその量とを保持することで画像データを保持するものである。この提案によれば、照明光源が変わっても、見かけ上の色が推定できる利点を有している。すなわち、色彩特性データに基礎分光分布データと分光分布寄与データとを含めることで、分光的な特徴を失なわず、かつ、単純に機器信号値の組合わせに分光画像データを持たせた場合に比較すると少ないデータで済ませることができる。そして、分光的な特徴を有しているために、再現先において光源が変更されても高精度に画像を再現することができる。

（２）また、カラーフォーラムJapan２０００では、今井らにより「マルチ分光における画像圧縮の予備的検討」との演題で、全画素の輝度成分に対してデータを持ち、縮小（間引き）画像について、各周波数毎の分光成分を持つ手法が開示されている。

（３）さらに、以下の特許文献２には、画像の部分毎に最適化された分光画像データを持たせる手法が提案されている。すなわち、多次元の分光画像データを、主成分分析法用いてより効率的に圧縮するために、多次元分光画像データを色領域ごとに分割し、分割された領域ごとの分光画像データの集合を主成分分析する。そして、領域ごとに所定の色再現率になるように主成分数を選択して分光画像データを圧縮するので、色再現率に影響の少ないデータの削減を行うことで、より効率的に圧縮することができる。
特開平１１−２７５３７６号公報（第１頁、図１） 特開２００３−３２４９７号公報（第１頁、図１）

（１）以上の特許文献１の手法で、被写体を完全に再現するには、画像データとして多数の分光画像データを保持する必要があり、効率的ではない。また、従来型のＲＧＢデータ（たとえば、ＩＥＣ６１９６−２−１で規定されているｓＲＧＢデータ）を持つ画像データとして利用することができないという問題が生じる。

（２）以上のカラーフォーラムJapan２０００で提案された手法では、輝度成分と各波長の分光画像データとの組み合わせのため、まだ冗長性を残している。すなわち、輝度成分は必ずしも主成分分析された結果とは一致しないので、効率が落ちる問題がある。また、カラー画像化するためには、光源に与えた分光演算処理が必要であり、余り色を気にしない一般ユーザには特殊な読み出し手段が必要になるため、負担が大きい問題がある。

（３）以上の特許文献２の手法で、領域分割＋主成分の種類とその数を調整して最適化しようとしているが、画像の視覚に及ぼす特性とは異なっていると言う問題がある。すなわち、色の変化が細かく大きく変化するようなところでは、色の識別能力が落ちることが勘案されていない問題がある。

（４）また、以上の（１）〜（３）に共通であるが、被写体には自己発光物と反射物とがあり、反射物は光源の変化の影響を受けるが、自己発光物は表面反射を除けば光源の影響はないため、一様に全ての画像データに光源分布を重畳して計算すると正しくない答えが示される問題があった。

本発明は、一般使用とも整合がとれ、かつ、効率的に、分光画像データを含んで画像データを保持することが可能な分光画像データ処理方法および分光画像データ処理装置を実現することを目的とする。

さらに具体的に本発明の目的を示せば以下の通りである。

（１）人間の視覚で認識能力の低い成分と認識能力の高い成分とで保持の仕方を工夫し、分光画像データを効率よく維持することが可能な分光画像データ処理方法および分光画像データ処理装置を実現することを目的とする。

（２）また、標準状態で処理を実行した場合に、通常の画像データと同様に取り扱うことが可能であって、必要に応じて追加情報（拡張情報）を用いることが可能な分光画像データ処理方法および分光画像データ処理装置を実現することを目的とする。

（３）光源の情報を与えて分光画像データを光源の影響下での見掛けの色を求めるに際して、自己発光物と反射物とのそれぞれで正確な値を求めることが可能な分光画像データ処理方法および分光画像データ処理装置を実現することを目的とする。

すなわち、課題を解決する手段としての本発明は以下に説明するようなものである。

（１）請求項１に記載の発明は、分光画像データを含んで画像データを保持する分光画像データ処理方法であって、全画像に対応すると共に、複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データと、を含むように画像データを保持する、ことを特徴とする分光画像データ処理方法である。

また、請求項７に記載の発明は、分光画像データを含んで画像データを保持させるための処理を行う分光画像データ処理装置であって、全画像に対応すると共に、複数の主要基本色で表された主要基本色データを生成する色再現手段と、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを生成する縮小手段と、前記主要基本色データと、一部画像もしくは間引き画像または縮小画像のいずれかとを合成して合成画像データファイルを生成する合成手段と、を有することを特徴とする分光画像データ処理装置である。

これらの発明では、分光画像データを含んで画像データを保持する際に、全画像に対応しつつ複数の主要基本色で表された主要基本色データと、一部画像もしくは間引き画像または縮小画像のいずれかに対応する分光強度データとを含むように画像データを保持する。

このため、被写体の分光特性を効率的に保持することが可能になる。

（２）請求項２に記載の発明は、前記主要基本色データは、分光主成分の寄与率の高いものを保持する、ことを特徴とする請求項１に記載の分光画像データ処理方法である。

また、請求項８に記載の発明は、前記色再現手段は、前記主要基本色データについて分光主成分の寄与率の高いものを生成し保持する、ことを特徴とする請求項７に記載の分光画像データ処理装置である。

これらの発明では、前記主要基本色データは、分光主成分の寄与率の高いものを保持するようにしている。

（３）請求項３に記載の発明は、前記主要基本色データは、主要光源に対応する色データを保持する、ことを特徴とする請求項１に記載の分光画像データ処理方法である。

また、請求項９に記載の発明は、前記色再現手段は、前記主要基本色データについて主要光源に対応する色データを生成し保持する、ことを特徴とする請求項７に記載の分光画像データ処理装置である。

これらの発明では、前記主要基本色データは、主要光源に対応する色データを保持するようにしている。

（４）請求項４に記載の発明は、分光画像データを含んで画像データを保持する分光画像データ処理方法であって、複数の主要基本分光強度データのうち、高次の分光強度データに関して、保持するビット数を少なくする、ことを特徴とする分光画像データ処理方法である。

また、請求項１０に記載の発明は、分光画像データを含んで画像データを保持させるための処理を行う分光画像データ処理装置であって、前記縮小手段は、複数の主要基本分光強度データのうち、高次の分光強度データに関して、保持するビット数を少なくする、ことを特徴とする分光画像データ処理装置である。

これらの発明では、分光画像データを含んで画像データを保持する際に、複数の主要基本分光強度データのうち、高次の分光強度データに関して、保持するビット数を少なくするようにしている。

（５）請求項５に記載の発明は、画像データについて通常画像部分として主要基本色データを保持する分光画像データ処理方法であって、分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを有する、ことを特徴とする分光画像データ処理方法である。

また、請求項１１に記載の発明は、通常画像部分として主要基本色データを保持する分光画像データを処理する分光画像データ処理装置であって、分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを生成する被写体種類識別手段と、主要基本色データと、分光強度データ拡張情報としての前記識別ラベルとを合成して合成画像データファイルを生成する合成手段と、有することを特徴とする分光画像データ処理装置である。

これらの発明では、画像データについて通常画像部分として主要基本色データを保持する際に、分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを有するようにしている。

（６）請求項６に記載の発明は、画像データについて通常画像部分として主要基本色データを保持する分光画像データ処理方法であって、撮影時に被写体が自己発光物であるか反射物であるかを判別し、分光強度データ拡張情報として、前記判別の結果に基づいて自己発光物と反射物の別を示す識別ラベルを有する、ことを特徴とする分光画像データ処理方法である。

また、請求項１２に記載の発明は、通常画像部分として主要基本色データを保持する分光画像データを処理する分光画像データ処理装置であって、撮影時に被写体が自己発光物であるか反射物であるかを判別し、自己発光物と反射物の別を示す識別ラベルを生成する判別手段と、主要基本色データと、分光強度データ拡張情報としての前記識別ラベルとを合成して合成画像データファイルを生成する合成手段と、有する、ことを特徴とする分光画像データ処理装置である。

これらの発明では、画像データについて通常画像部分として主要基本色データを保持する際に、撮影時に被写体が自己発光物であるか反射物であるかを判別し、分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを有するようにしている。

（７）請求項１３に記載の発明は、全画像に対応しており複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを含むように合成された合成画像データファイルから、指定光源下での画像値を得る分光画像データ処理方法であって、前記合成画像データファイルを主要基本色データと分光強度データとに分離し、前記分光強度データと前記指定光源の情報とから指定光源下での指定光源下縮小主要基本色データを算出し、前記主要基本色データを縮小して縮小主要基本色データを求め、前記指定光源下縮小主要基本色データと縮小主要基本色データとの比から補正係数を求め、前記主要基本色データに対して前記補正係数により補正演算を実行して指定光源下での画像値を求める、ことを特徴とする分光画像データ処理方法である。

また、請求項１４に記載の発明は、全画像に対応しており複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを含むように合成された合成画像データファイルから、指定光源下での画像値を得る分光画像データ処理装置であって、前記合成画像データファイルを主要基本色データと分光強度データとに分離する合成画像データファイル分離手段と、前記分光強度データと前記指定光源の情報とから指定光源下での指定光源下縮小主要基本色データを算出する指定光源下縮小主要基本色データ値算出手段と、前記主要基本色データを縮小して縮小主要基本色データを求める縮小手段と、前記指定光源下縮小主要基本色データと縮小主要基本色データとの比から補正係数を求める補正係数算出手段と、前記主要基本色データに対して前記補正係数により補正演算を実行して指定光源下での画像値を求める補正演算手段と、を備えたことを特徴とする分光画像データ処理装置である。

これらの発明では、全画像に対応しつつ複数の主要基本色で表された主要基本色データと、一部画像もしくは間引き画像または縮小画像のいずれかに対応する分光強度データとを含むように画像データを保持した場合に、
前記合成画像データファイルを主要基本色データと分光強度データとに分離し、前記分光強度データと前記指定光源の情報とから指定光源下での指定光源下縮小主要基本色データを算出し、前記主要基本色データを縮小して縮小主要基本色データを求め、前記指定光源下縮小主要基本色データと縮小主要基本色データとの比から補正係数を求め、前記主要基本色データに対して前記補正係数により補正演算を実行して指定光源下での画像値を求めるようにしている。

以上、説明したように、本発明によれば、以下のような効果が得られる。

（１）請求項１と請求項７とに記載の発明では、分光画像データを含んで画像データを保持する際に、全画像に対応しつつ複数の主要基本色で表された主要基本色データと、一部画像もしくは間引き画像または縮小画像のいずれかに対応する分光強度データとを含むように画像データを保持する。

このため、人間の視覚で認識能力の低い成分と認識能力の高い成分とで保持の仕方を工夫し、分光画像データを効率よく維持することが可能になる。

このため、被写体の分光特性を効率的に保持することが可能になる。

（２）請求項２と請求項８とに記載の発明では、前記主要基本色データは、分光主成分の寄与率の高いものを保持するようにしている。

このため、人間の視覚で認識能力の低い成分と認識能力の高い成分とで保持の仕方を工夫し、分光画像データを効率よく維持することが可能になる。

したがって、上記（１）に加え、より効率的に分光画像データを保持できるようになる。

（３）請求項３と請求項９とに記載の発明では、前記主要基本色データは、主要光源に対応する色データを保持するようにしている。

このため、標準状態で処理を実行した場合に、通常の画像データと同様に取り扱うことが可能であって、必要に応じて追加情報（拡張情報）を用いることが可能になる。

したがって、上記（１）に加え、精度を要求しない場合には、通常の画像データとして利用することも可能になる。

（４）請求項４と請求項１０とに記載の発明では、分光画像データを含んで画像データを保持する際に、複数の主要基本分光強度データのうち、高次の分光強度データに関して、保持するビット数を少なくするようにしている。

このため、人間の視覚で認識能力の低い成分である高次の分光強度データで保持の仕方を工夫し、量子化精度を最適化して、分光画像データを効率よく維持することが可能になる。

（５）請求項５と請求項１１とに記載の発明では、画像データについて通常画像部分として主要基本色データを保持する際に、分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを有するようにしている。

このため、識別ラベルを用いることで、光源の情報を与えて分光画像データを光源の影響下での見掛けの色を求める際に、照明の影響を受ける部分とそうでない部分とを区別することができ、自己発光物と反射物とのそれぞれで正確な値を求めることが可能になる。

（６）請求項６と請求項１２とに記載の発明では、画像データについて通常画像部分として主要基本色データを保持する際に、撮影時に被写体が自己発光物であるか反射物であるかを判別し、分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを有するようにしている。

このため、撮影時に判別された結果に基づく識別ラベルを用いることで、より高精度な情報を用いることができ、光源の情報を与えて分光画像データを光源の影響下での見掛けの色を求める際に、照明の影響を受ける部分とそうでない部分とを区別することができ、自己発光物と反射物とのそれぞれで正確な値を求めることが可能になる。

（７）請求項１３と請求項１４とに記載の発明では、全画像に対応しつつ複数の主要基本色で表された主要基本色データと、一部画像もしくは間引き画像または縮小画像のいずれかに対応する分光強度データとを含むように画像データを保持した場合に、前記合成画像データファイルを主要基本色データと分光強度データとに分離し、前記分光強度データと前記指定光源の情報とから指定光源下での指定光源下縮小主要基本色データを算出し、前記主要基本色データを縮小して縮小主要基本色データを求め、前記指定光源下縮小主要基本色データと縮小主要基本色データとの比から補正係数を求め、前記主要基本色データに対して前記補正係数により補正演算を実行して指定光源下での画像値を求めるようにしている。

このため、標準状態で処理を実行した場合に、通常の画像データと同様に取り扱うことが可能であるものの、必要に応じて追加情報（拡張情報）を用いることで、指定光源下の画像値を求めることが可能になる。このため、被写体の分光特性を効率的に保持し、利用することが可能になる。

以下、図面を参照して本発明の実施をするための最良の形態を詳細に説明する。

本発明の実施をするための最良の形態の分光画像データ処理方法および分光画像データ処理装置について、図面を参照しつつ説明を行なう。

まず、図１を参照して、本発明の実施をするための最良の形態の分光画像データ処理方法ならびに分光画像データ処理装置全体の撮像部分について説明を行なう。図１は本発明の実施をするための最良の形態に用いる処理装置の一例であり、分光画像データを含んで画像データを保持する際のブロックダイヤグラムを表している。

１００は被写体を撮像することにより分光画像データを生成する分光画像撮像手段である。この分光画像撮像手段１００での撮像により得られた分光画像データは、分光画像データ処理装置２００に送られる。

２００は本実施の形態例の特徴部分である分光画像データ処理装置であり、後述する各種の要素を備えて構成されており、分光画像データを含んで画像データを保持する分光画像データ処理方法を実現する装置でもある。

２１０はＤ65等の光源の情報を生成する光源発生手段である。

２２０は分光画像撮像手段１００からの分光画像データから、全画像に対応すると共に複数の主要基本色で表された主要基本色データ（ｓＲＧＢ画像データなど）と、主成分分析を行うことで主成分データと、を生成する。

２３０は縮小手段であり、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データ（縮小分光画像データ）を生成する。

２４０は分光強度データの拡張情報として、自己発光物と反射物の別を示す識別ラベルを生成する自己発光物／反射物判別手段である。

２５０は前記主要基本色データと、主成分データと、一部画像もしくは間引き画像または縮小画像のいずれかに対応する縮小分光強度データ（縮小分光画像データ）、また必要に応じて識別ラベルとを合成して合成画像データファイルを生成する合成手段である。

３００は分光画像データ処理装置２００で生成された合成画像データファイルであり、主要基本色データと、主成分データと、一部画像もしくは間引き画像または縮小画像のいずれかに対応する縮小分光画像データ、また必要に応じて識別ラベルとが合成されたものである。

なお、この合成画像データファイルは、図２に示すように、少なくとも、色再現手段２２０で生成された通常画像の主要基本色データ（ＲＧＢ、ＸＹＺ、Ｌ*ａ*ｂ*など、図２（ａ））、一部画像もしくは間引き画像または縮小画像のいずれかに対応する縮小分光画像データ（図２（ｂ））、また必要に応じて識別ラベル（図２（ｃ））とを含んで構成されている。

また、合成画像データファイルのファイル構成は図３のようになっている。すなわち、通常画像部分として、一般使用に適した画像データ、例えばｓＲＧＢ画像データを有している。また、分光強度データ拡張部分として、色再現手段２２０で主成分分析されて生成された主成分データ、縮小分光画像データ、被写体種類の識別ラベルを有している。

以下、本発明の実施の形態例の動作説明を行う。

（１）撮像：
まず、分光画像撮像手段１００により被写体の撮像を行う。この分光画像撮像手段１００での撮像により得られた分光画像データは、分光画像データ処理装置２００に送られる。ここでは、マルチバンド撮影など各種の手法が存在している。なお、高精細画像は通常のカメラを用い、低精細画像は分光カメラで撮像する仕組みでも良く、さらに、分光画像をそのまま高精細画像で撮像して、平均化・間引き処理で低精細画像を作成してもよい。

ここで、分光画像データを受けた色再現手段２２０では、全画像に対応すると共に複数の主要基本色で表された主要基本色データ（ｓＲＧＢ画像データなど）と、主成分分析を行うことで主成分データと、を生成する。

（２）主成分分析：
ここで、一例としてマクベスカラーチェッカーと呼ばれるカラーチャートを用いて主成分分析を行った結果を図４に示す。ここで、主成分分析の結果である主成分データの保持について説明する。

分光画像データの情報の多くは、低次（主要）の主成分ほど高く保持されており、一方、高次（非主要）の主成分ほど正確な分光再現のための寄与率が下がる。そして、低次の主成分は、一般にＤＣ成分（輝度成分）に近づくことが多い。

そこで、単純に画像データを保持するには、
(2a)分光成分データ：４００〜７００nmを１０nm間隔で保持するとした場合、３１×分光成分（ワード）、
(2b)各分光成分強度データ：画素数×分光成分数（ワード）、
となる。

たとえば、画素数が１５３６×１０２４であるとした場合、分光成分数が６であるとすると、
３１×６＋１５３６×１０２４×６＝９，４３７，３７０（ワード）となり、膨大なデータ量であって、効率的ではない。なお、ここで、ワードとは、典型的には１〜４バイト程度を指し、整数型であっても浮動小数点型であってもよい。

（３）画像データの省略：
人間の眼の特性（視覚特性）として、高周波部分では視認能力が低く、多少違っていても違いを区別することができない。しかし、低周波部分では視認能力が高く、僅かな違いを明確に判別できる特性を有している。また、肌色などの普段見慣れている色については、他の色に比べてより高い判別能力を有している。

このことから、特定照明または代表的な主成分に対する情報は全画素数分について保持しておき、高次の分光成分については縮小または特定部分の画像成分について保持するようにする。

または、特定照明下での三刺激値またはそれから派生して計算される値（たとえば、ＲＧＢ）は全画素数分保持し、縮小または特定部分の画像成分については分光画像データを保持するようにする。

なお、間引きの手法としては、以下の手法を用いることが可能である。
(3a)周囲画素の平均化後にサブサンプリングする、
(3b)主要被写体（ＲＯＩ：Region Of Interest）のみ、または、この部分の密度を高くする。

そして、全画素には通常のＲＧＢ画像データを持たせ、縮小または特定部分の画像成分として分光画像データを持たせるには、たとえば、画素数が１５３６×１０２４であるとした場合、分光成分数が６であるとすると、
３１×６＋１５３６×１０２４×３＋１５３６／４×１０２４／４×６＝５，３０８，６０２（ワード）となり、大きな負担なく、分光画像データの情報をＲＧＢ画像データに追加できるようになる。

この場合、ＲＧＢ画像データには通常のＪＰＥＧ圧縮あるいはＪＰＥＧ２０００を使用すると共に、分光画像データ部分はプライベートマーカーあるいは新規タグ（ＴＩＦＦの場合）の形で添付すれば、通常のＪＰＥＧ読み込みソフトウェアではこの分光画像データ部分が無視されて読み込まれる。

したがって、分光画像データの再現を必要としない一般ユーザでは通常のＲＧＢ画像データとして扱うことができる。一方、分光画像データの再現を必要とするユーザでは、必要に応じて分光画像データと任意の照明光データから推定される色を計算して用いることが可能になる。

すなわち、標準状態で処理を実行した場合には通常の画像データと同様に取り扱うことが可能であって、必要に応じて追加情報（拡張情報）を用いることが可能な分光画像データ処理方法および分光画像データ処理装置を実現できる。

なお、変形例として、全画素にデータの主要成分を持ち、縮小または特定部分の画像成分に対して高次の分光成分を持つ場合、主成分データの４〜６番目を縮尺で１／４にすると、
３１×６＋１５３６×１０２４×３＋１５３６／４×１０２４／４×３＝５，０１３，６９０（ワード）となり、更に圧縮された状態になり、大きな負担なく、分光画像データの情報をＲＧＢ画像データに追加できるようになる。

（４）異なる光源下での色の推定：
つぎに、図５を参照して、本発明の実施をするための最良の形態の分光画像データ処理方法ならびに分光画像データ処理装置の再生動作（異なる光源下での色の推定）について説明を行なう。図５は本発明の実施をするための最良の形態に用いる処理装置の一例であり、分光画像データを含んで画像データを保持した場合において再生する際のブロックダイヤグラムを表している。

３００は分光画像データ処理装置２００（図１参照）で生成された合成画像データファイルであり、主要基本色データと、主成分データと、一部画像もしくは間引き画像または縮小画像のいずれかに対応する縮小分光画像データ、また必要に応じて被写体種類の識別ラベルとが合成されたものである。

４００は上述した合成画像データファイルから指定光源下での画像値を得る分光画像データ処理装置であり、全画像に対応しており複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを含むように合成された合成画像データファイルから、指定光源下での画像値を得る分光画像データ処理装置である。

４１０は合成画像データファイルを構成する成分を分離する合成画像データファイル分離手段であり、全画像に対応しており複数の主要基本色で表された主要基本色データ（ｓＲＧＢ画像データ）と、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データ（縮小分光画像データ）と、被写体種類の識別ラベルと、に分離する。

４２０は指定された光源についてのデータを発生する指定光源発生手段であり、被写体種類の識別ラベルを受けて自己発光物にはＥ光源（均等エネルギー光）を与えるかそのまま利用して、反射物には指定された光源に応じたデータを与えて処理し、三刺激値を経由してＲＧＢ値を求める。

４３０はＲＧＢ値算出手段であり、分離された縮小分光画像データ（分光強度データ）に、指定された光源についてのデータを用いて、ＲＧＢ画像値（指定光源下縮小主要基本色データ）を算出する。４４０は縮小手段であり、主要基本色データ（ｓＲＧＢ画像データ）を縮小して縮小主要基本色データを求める。

４５０は比較・係数算出手段であり、指定光源下縮小主要基本色データと縮小主要基本色データとの比から補正係数を求める。４６０は拡大手段であり、比較・係数算出手段４５０からの補正係数を拡大して、全画素に対応する補正係数を生成する。４７０は補正演算手段であり、前記主要基本色データに対して前記補正係数により補正演算を実行して指定光源下での画像値を求める。

以上のように構成された分光画像データ処理装置４００では、全画像に対応しており複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを含むように合成された合成画像データファイル３００から、指定光源下での画像値を得るに際して、以下の処理を実行する。

(4a)合成画像データファイル分離手段４１０は、合成画像データファイルについて、全画像に対応しており複数の主要基本色で表された主要基本色データ（ｓＲＧＢ画像データ）と、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データ（縮小分光画像データ）と、被写体種類の識別ラベルと、に分離する。

(4b)縮小手段４４０は、主要基本色データ（ｓＲＧＢ画像データ）を縮小して縮小主要基本色データを求める。

(4c)指定された光源についてのデータを発生する指定光源発生手段４２０は、被写体種類の識別ラベルを受けて自己発光物にはＥ光源（均等エネルギー光）を与え、反射物には指定された光源のデータを与えて処理する。

(4d)ＲＧＢ値算出手段４３０は、分離された縮小分光画像データ（分光強度データ）に、指定された光源についてのデータを用いて、ＲＧＢ画像値（指定光源下縮小主要基本色データ）を算出する。

(4e)比較・係数算出手段４５０は、指定光源下縮小主要基本色データと縮小主要基本色データとの比率から補正係数を求める。この補正係数は比率のほか、差分として求めてもよい。

すなわち、
ＣR＝Ｒspect／Ｒ’sRGB、
ＣG＝Ｇspect／Ｇ’sRGB、
ＣB＝Ｂspect／Ｂ’sRGB、
を計算する。

ここで、ＣR〜ＣBは補正係数、Ｒspect〜Ｂspectは縮小分光画像データから計算されたＲ〜Ｂの値、Ｒ’spect〜Ｂ’sRGBは元のｓＲＧＢ画像から縮小されたときのＲ〜Ｂの値、である。

(4f)上記(4d)で求めた補正係数ＣR〜ＣBの内容を、拡大手段４６０が補間演算により拡大して、全画素に対応する補正係数を生成する。この差異の補間演算としては、バイリニア補間やバイキュービック補間、さらには、ニアレストネイバー補間などを使用することが可能である。

(4g)補正演算手段４７０にて、元のｓＲＧＢ画像データに対して、上記(4f)で求めた補正係数を適用し、異なる光源下での色を示す画像値を求める。すなわち、ここでは、以下のような補正演算処理を実行する。
ＲsRGB-new＝ＣR・ＲsRGB、
ＧsRGB-new＝ＣG・ＧsRGB、
ＢsRGB-new＝ＣB・ＢsRGB、
この補正演算処理により、任意の光源下での各画素のＲＧＢ値を求めることができる。この補正演算処理においては、単純にＲＧＢの比を用いたが、例えば、von Kries モデルのように、一旦錐体応答（ＬＭＳ）に階調変換、マトリクス変換を用いて変換してもかまわない。

なお、被写体種類の識別ラベルで自己発光物とラベリングされた部分については、そのままか、Ｅ光源（均等エネルギー光）を与えて処理を行う。

以上説明したように、必要に応じて追加情報（拡張情報）を用いることで、合成画像データファイル３００から指定光源下での画像値を得ることが可能になる。このため、被写体の分光特性を効率的に保持し、利用することが可能になる。また、追加情報を用いずに標準状態で処理を実行した場合に、通常の画像データと同様に取り扱うことも可能になる。

以上の実施の形態例において、分光画像データの主成分分析の特性は、一般に、１次項が強度成分となり、２次項以降が色成分となっており、高次になるほど、その寄与率が低下する傾向にある。また、主に明暗のグラデーションに対して人間の眼は鋭敏であり、その一方、色の変化に対する鋭敏度は下がる。

そこで、分光画像データを含んで画像データを保持する分光画像データ処理の際に、複数の主要基本分光強度データのうち、高次の分光強度データに関して、保持するビット数を少なくなるようにする。たとえば、１次：８ビット、２〜３次：６ビット、４〜６次：４ビット、などとすることが好ましい。

また、以上の実施の形態例において、自己発光物を含む被写体を撮影する際、自己発光物／反射物判別手段２４０は、以下のいずれかの手法で、自己発光物か反射物かを判別することが可能になる。

（１）撮像する際に輝度の変化を調べ、フリッカ（周期的な輝度の変化）が生じている部分を自己発光物として推定できる。すなわち、分光画像撮像手段１００の撮像素子からの読み出し結果について、各フレームで観測される明るさが変わる領域を自己発光物の領域として判別する。

（２）分光反射率を計算し、照明光の影響を取り除いた後の分光応答に急峻な部分があれば、発光によるスペクトルの可能性が高いため、自己発光物として判別することができる。

（３）撮像する際に、撮像手段の補助光を用いた場合と用いない場合とを比較し、その分光分布を調べ、補助光の影響がなければ自己発光物と判別し、補助光の影響があれば反射物と判別する。なお、この場合は、撮像する際の被写体までの距離が遠くて補助光が十分に到達しない場合には、この手法を用いることができない。そこで、この手法は上記（２）の手法と併用することが望ましい。または、距離が遠い場合には、照明の影響を受けない自己発光物と判別してもかまわない。

以上の（１）〜（３）判別結果に基づいて、自己発光物／反射物判別手段２４０は被写体種類の識別ラベルを生成し、合成画像データファイル３００に識別ラベルを含めるようにする。これは、低精細の分光画像データの値をゼロにする、または、高精細画像とかけ離れた値を代入することで実現できる。

または、自己発光物と反射物との近似度（または推定確率度）で示すこともできる。

これにより、一つの画像データファイルで、高精細画像データと低精細の分光画像データの値から推定した色が大きく異なる場合には、高精細画像データの色、すなわち、自己発光物の色を用いて計算ができる。

さらに、被写体が蛍光色の場合、一般に４００nm〜５００nm付近の分光強度が他の波長領域より高くなるので、この部分を検知して、蛍光色として識別ラベルを付すようにしてもよい。

なお、以上の実施の形態例では、二次元画像についてだけでなく、物体の三次元オブジェクトデータに対しても適用することができる。この場合、オブジェクト形状はベクトルで保持され、そのベクトルを間引いた部分に高次の分光は調整分を持たせるようにする。

また、以上の実施の形態例で、一般の画像圧縮方法（JPEG、JPEG2000など）で、輝度に主成分、色度にその他の次数の分光成分のデータを割り振るように当てはめることで、従来の画像圧縮装置を用いることが可能になる。

本発明の実施をする最良の形態の電気的構成を示す構成図である。 本発明の実施をする最良の形態の画像データの内容の一例を示す説明図である。 本発明の実施をする最良の形態の画像データファイルの内容の一例を示す説明図である。 本発明の実施をする最良の形態の主成分分析の様子の一例を示す説明図である。 本発明の実施をする最良の形態の電気的構成を示す構成図である。

符号の説明

１００ 分光画像撮像手段
２００ 分光画像データ処理装置
３００ 合成画像データファイル
４００ 分光画像データ処理装置

Claims (14)

1. 分光画像データを含んで画像データを保持する分光画像データ処理方法であって、
   全画像に対応すると共に、複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データと、を含むように画像データを保持する、
   ことを特徴とする分光画像データ処理方法。
2. 前記主要基本色データは、分光主成分の寄与率の高いものを保持する、
   ことを特徴とする請求項１に記載の分光画像データ処理方法。
3. 前記主要基本色データは、主要光源に対応する色データを保持する、
   ことを特徴とする請求項１に記載の分光画像データ処理方法。
4. 分光画像データを含んで画像データを保持する分光画像データ処理方法であって、
   複数の主要基本分光強度データのうち、高次の分光強度データに関して、保持するビット数を少なくする、
   ことを特徴とする分光画像データ処理方法。
5. 画像データについて通常画像部分として主要基本色データを保持する分光画像データ処理方法であって、
   分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを有する、
   ことを特徴とする分光画像データ処理方法。
6. 画像データについて通常画像部分として主要基本色データを保持する分光画像データ処理方法であって、
   撮影時に被写体が自己発光物であるか反射物であるかを判別し、
   分光強度データ拡張情報として、前記判別の結果に基づいて自己発光物と反射物の別を示す識別ラベルを有する、
   ことを特徴とする分光画像データ処理方法。
7. 分光画像データを含んで画像データを保持させるための処理を行う分光画像データ処理装置であって、
   全画像に対応すると共に、複数の主要基本色で表された主要基本色データを生成する色再現手段と、
   全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを生成する縮小手段と、
   前記主要基本色データと、一部画像もしくは間引き画像または縮小画像のいずれかとを合成して合成画像データファイルを生成する合成手段と、
   を有することを特徴とする分光画像データ処理装置。
8. 前記色再現手段は、前記主要基本色データについて分光主成分の寄与率の高いものを生成し保持する、
   ことを特徴とする請求項７に記載の分光画像データ処理装置。
9. 前記色再現手段は、前記主要基本色データについて主要光源に対応する色データを生成し保持する、
   ことを特徴とする請求項７に記載の分光画像データ処理装置。
10. 分光画像データを含んで画像データを保持させるための処理を行う分光画像データ処理装置であって、
    前記縮小手段は、複数の主要基本分光強度データのうち、高次の分光強度データに関して、保持するビット数を少なくする、
    ことを特徴とする分光画像データ処理装置。
11. 通常画像部分として主要基本色データを保持する分光画像データを処理する分光画像データ処理装置であって、
    分光強度データ拡張情報として、自己発光物と反射物の別を示す識別ラベルを生成する被写体種類識別手段と、
    主要基本色データと、分光強度データ拡張情報としての前記識別ラベルとを合成して合成画像データファイルを生成する合成手段と、
    有することを特徴とする分光画像データ処理装置。
12. 通常画像部分として主要基本色データを保持する分光画像データを処理する分光画像データ処理装置であって、
    撮影時に被写体が自己発光物であるか反射物であるかを判別し、自己発光物と反射物の別を示す識別ラベルを生成する判別手段と、
    主要基本色データと、分光強度データ拡張情報としての前記識別ラベルとを合成して合成画像データファイルを生成する合成手段と、
    有する、ことを特徴とする分光画像データ処理装置。
13. 全画像に対応しており複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを含むように合成された合成画像データファイルから、指定光源下での画像値を得る分光画像データ処理方法であって、
    前記合成画像データファイルを主要基本色データと分光強度データとに分離し、
    前記分光強度データと前記指定光源の情報とから指定光源下での指定光源下縮小主要基本色データを算出し、
    前記主要基本色データを縮小して縮小主要基本色データを求め、
    前記指定光源下縮小主要基本色データと縮小主要基本色データとの比から補正係数を求め、
    前記主要基本色データに対して前記補正係数により補正演算を実行して指定光源下での画像値を求める、
    ことを特徴とする分光画像データ処理方法。
14. 全画像に対応しており複数の主要基本色で表された主要基本色データと、全画像の一部を構成する一部画像もしくは間引きされた間引き画像または全画像を縮小して生成された縮小画像のいずれかに対応する分光強度データとを含むように合成された合成画像データファイルから、指定光源下での画像値を得る分光画像データ処理装置であって、
    前記合成画像データファイルを主要基本色データと分光強度データとに分離する合成画像データファイル分離手段と、
    前記分光強度データと前記指定光源の情報とから指定光源下での指定光源下縮小主要基本色データを算出する指定光源下縮小主要基本色データ値算出手段と、
    前記主要基本色データを縮小して縮小主要基本色データを求める縮小手段と、
    前記指定光源下縮小主要基本色データと縮小主要基本色データとの比から補正係数を求める補正係数算出手段と、
    前記主要基本色データに対して前記補正係数により補正演算を実行して指定光源下での画像値を求める補正演算手段と、
    を備えたことを特徴とする分光画像データ処理装置。

Images