JP2009260411A - 撮像装置 - Google Patents

Abstract

【課題】より単純な構成で色再現性に優れた画像データを生成可能とする。
【解決手段】撮影レンズ１０２を出射した被写体光の一部は、ハーフミラー１０４によって多点スペクトル計測センサ１２２に導かれ、残りはＲＧＢイメージセンサ１１４に導かれる。ＲＧＢイメージセンサ１１４はＲＧＢ３色で１２メガピクセルの解像度を有する画像信号を生成可能で、多点スペクトル計測センサ１２２はＲＧＢ橙シアン５色で７２０ピクセルの解像度を有する画像信号を生成可能である。多点スペクトル計測センサ１２２に入射する被写体光の空間周波数はＯＬＰＦ１２４によって低減される。カメラ制御部１２０は、ＲＧＢイメージセンサ１１４から出力されるＲＧＢ画像信号を処理し、多点スペクトル計測センサ１２２で得られた被写体のスペクトル特性を加味して色再現性の高められた画像データを画像記録部１１８および表示部１１６に出力する。
【選択図】図１

Description

本発明は、被写体のスペクトル情報を収集して忠実度のより高い画像を得ることの可能な撮像装置に関する。

デジタルカメラの普及、発達に伴い、高画素化が進んでいる。その一方で、より忠実な色再現を可能とする方法が模索されている。より忠実な色再現を可能とするものとしてカラーマネジメントシステムがある。このカラーマネジメントシステムは、異なるデバイス間で同じ色が再現できるようにするための色管理システムである。異なるデバイス間で画像データを授受する際に、例えばｓＲＧＢの規格に準拠した画像データとすることにより、デバイス依存性の減じられた色再現が可能となる。

色再現に際してデバイス依存性を減じるだけでなく、色域を広めることも模索されている。一例としてはＡｄｏｂｅＲＧＢ（登録商標）などがより広い色域での色再現を可能とする規格として知られている。

しかし、色再現性をさらに高めて、より忠実な色再現を目指そうとしたときに、Ｂ（青）、Ｇ（緑）、Ｒ（赤）等の三原色を用いた色再現では自ずと限界がある。さらに広い色域での色再現を可能とする方法として、３を超す原色数、例えば６、８、１６などといった原色数で画像を扱う方法が開発されている。

本明細書中では、原色数が３を超すものを多原色、同様にバンド数が３を超すものをマルチバンドと称することにする。

多原色の画像データを生成することが可能な撮像装置としては、特許文献１に開示されるものがある。特許文献１に開示される撮像装置では、撮影レンズからの光をハーフミラーによって２分割し、一方の光は輝度撮像素子に導き、被写体の輝度を得る一方、他方の光はさらにダイクロイックミラーで分光して短波長成分撮像素子、長波長成分撮像素子に導く。これら短波長成分撮像素子、長波長成分撮像素子から出力される色信号をもとに、被写体の分光情報を推定する。そして輝度撮像素子から得られる明度信号に被写体の推定分光情報を適用し、８色のマルチバンド画像を生成する。

また、ＢＧＲ３原色の撮像素子を用いた３バンドカメラと、この３バンドカメラに取り付けられていて被写体の分光スペクトルを多点で計測可能な多点スペクトル計測センサとを用い、出力されるのはＲＧＢ３原色の画像ではあるが、より忠実度の高い画像を生成可能な方法が非特許文献１に開示されている。

この技術では、スペクトルセンサを被写体に向けて上下左右にスキャンし、８×８、１６×１６、３２×３２、６４×６４といった計測点数で被写体のスペクトルを計測する。そして、３バンドカメラから出力される３バンドの画像データと、多点計測スペクトルセンサによる被写体スペクトルの計測結果とから推定によって分光反射率画像を生成する。そして分光反射率画像に任意の分光放射輝度を有する照明光を照射した場合に被写体がどのような色に見えるかをシミュレートした画像としてＸＹＺ画像を求める。このＸＹＺ画像に、表示装置の表示特性が適用されて生成された表示用のＲＧＢ画像を得る。

上述した非特許文献１に開示される技術によれば、多点計測スペクトルセンサを用いてスペクトル計測する際の計測点を増すことにより、色差の減じられた画像を得ることが可能となる。
特許第３８２６１７４号公報 村上百合、他３名、"多点計測スペクトル情報を利用した色再現手法の比較評価"、カラーフォーラムＪＡＰＡＮ２００７論文集、光学四学会幹事会、平成１９年１１月、ｐ．１３３−１３６

上記特許文献１の構成においては、ハーフミラー、ダイクロイックミラーを有する分光光学系と、３枚の撮像素子、すなわち輝度撮像素子、短波長成分撮像素子、そして長波長成分撮像素子を必要とするので、撮像装置は大きく、値段も高くなる。当然、これらの撮像素子から出力される信号を処理する際の負荷も増大する。

上記非特許文献１の構成においては、従来からある３バンドカメラを使用可能であるという利点を有する反面、スポット計測が可能なスペクトルセンサを２次元的にスキャンする必要がある。そのため、被写体の分光スペクトルを計測するのに時間を要するので連続撮影が難しく、また、動画の撮影も困難である。さらに、３バンドカメラの撮影光学系の光軸と、スペクトルセンサの光軸とが一致していないために視差を生じる。この視差は撮影距離によって変化するので、３バンドカメラによる撮影範囲（画角）とスペクトルセンサによる被写体上の計測位置とを合わせることが難しい。

本発明は、上述した課題を解決することを目的としており、全体としての構成を単純化可能でそれにより小型化でき、操作性に優れていて、忠実度のより高い画像を生成可能な撮像装置を提供することを目的とする。

（１） 本発明の第１の態様は、撮像装置に適用され、この撮像装置が、
撮影レンズによって形成される被写体像を光電変換し、第１の色数からなる第１の解像度を有する第１の画像信号を出力可能な第１のイメージセンサ部と、
前記撮影レンズによって形成される前記被写体像を光電変換し、前記第１の色数よりも多い第２の色数からなり、前記第１の解像度よりも低い第２の解像度を有する第２の画像信号を出力可能な第２のイメージセンサ部と、
前記撮影レンズによって前記第２のイメージセンサ部の受光面上に形成される前記被写体像の空間周波数を低減する空間周波数低減部と
を有することにより上述した課題を解決する。
（２） 本発明の第２の態様は、撮像装置に適用され、この撮像装置が、
撮影レンズによって形成される被写体像を光電変換し、第１の色数からなる第１の解像度を有する第１の画像信号を出力可能な第１のイメージセンサ部と、
前記撮影レンズによって形成される前記被写体像を光電変換し、前記第１の色数よりも多い第２の色数からなり、前記第１の解像度よりも低い第２の解像度を有する第２の画像信号を出力可能な第２のイメージセンサ部と、
観察位置と撮像位置との間で移動可能な反射ミラーであって、前記観察位置においては、前記撮影レンズから出射する被写体光を、前記第１のイメージセンサ部の受光面と共役の位置に配設されるフォーカシングスクリーン上に導いて前記被写体像を観察可能とし、前記撮像位置においては前記被写体光の光路から退避して前記撮影レンズによって形成される前記被写体像を前記第１のイメージセンサ部に導くように構成される反射ミラーと、
前記反射ミラーが前記観察位置にあるときに、前記フォーカシングスクリーン上に形成される前記被写体の一次像を再結像して前記第２のイメージセンサ部の受光面上に二次像を結像させる再結像光学系と、
前記再結像光学系によって前記第２のイメージセンサ部の前記受光面上に結像される前記二次像の空間周波数を低減する空間周波数低減部と
を有するものである。

本発明によれば、比較的単純な構成で色再現性に優れた画像を得ることが可能となる。

− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係る撮像装置１００の概略的構成を示すブロック図である。以下で撮像装置１００は撮影レンズを交換可能な一眼レフレックスタイプのデジタルスチルカメラであるものとして説明するが、撮影レンズが固定式のものであってよく、レフレックス式のカメラでなくてもよい。

撮像装置１００は、撮影レンズ１０２と、ハーフミラー１０４と、メインミラー１０６と、フォーカシングスクリーン１０８と、ペンタゴナルダハプリズム１１０（以下、本明細書中ではペンタゴナルダハプリズムを「ペンタプリズム」と称する）と、接眼レンズ１１２と、ＲＧＢイメージセンサ１１４と、表示部１１６と、画像記録部１１８と、カメラ制御部１２０と、多点スペクトル計測センサ１２２と、光学的ローパスフィルタ１２４（以下、本明細書中では光学的ローパスフィルタを「ＯＬＰＦ」と称する）とを有する。

撮影レンズ１０２は、撮影目的に応じて様々なタイプのものに交換可能である。ハーフミラー１０４は、撮影レンズ１０２から出射する被写体光の光路を横切るに位置に配設され、被写体光の一部を多点スペクトル計測センサ１２２に向かうように導くとともに、残りの被写体光をメインミラー１０６に向かうように導く。メインミラー１０６は、観察位置と撮像位置との間で揺動可能な一眼レフレックスカメラ用の公知のミラーである。観察位置においては、図１に示すように、撮影レンズ１０２から出射する被写体光の光路を横切る位置（以下、本明細書中ではこの位置を「ダウン位置」と称する）にメインミラー１０６は位置しており、被写体光を反射してフォーカシングスクリーン１０８に導く。撮像位置においては、被写体光の光路から待避する位置（以下、本明細書中ではこの位置を「アップ位置」と称する）に跳ね上がり、それによって撮影レンズ１０２から出射される被写体光はＲＧＢイメージセンサ１１４の受光面上に導かれる。なお、ＲＧＢイメージセンサ１１４と撮影レンズ１０２との間には、周期的なパターンを有する被写体を撮像した際にモアレが生じるのを抑制するためのＯＬＰＦや、ＲＧＢイメージセンサ１１４の露光時間を画定するフォーカルプレンシャッタが配設されるが、これらのＯＬＰＦおよびフォーカルプレンシャッタについては図示および説明を省略する。

フォーカシングスクリーン１０８は、ＲＧＢイメージセンサ１１４の受光面と共役の位置に配置されており、メインミラー１０６がダウン位置にあるときに、被写体像（一次像）がフォーカシングスクリーン１０８上に形成される。撮影者はペンタプリズム１１０および接眼レンズ１１２を介して正立正像に変換されて拡大された被写体像を観察することができる。

ＲＧＢイメージセンサ１１４は、撮影レンズ１０２によって形成された被写体像を光電変換して画像信号を出力する。なお、本明細書中でＲＧＢイメージセンサ１１４は、二次元配置された光電変換素子のアレー、これらの光電変換素子のアレーから出力されるアナログ信号にＣＤＳ（相関二重サンプリング）、ＡＧＣ（自動ゲインコントロール）、Ａ／Ｄ変換等の処理を行ってデジタルの画像信号を出力するための回路ブロックを有し、デジタル画像信号（ＲＧＢベイヤデータ）を出力可能なＣ−ＭＯＳイメージセンサで構成されるものとして説明をする。

また、ＲＧＢイメージセンサ１１４は、光電変換素子のアレー上に青（Ｂ）、緑（Ｇ）、赤（Ｒ）のうちのいずれかのオンチップカラーフィルタがいわゆるベイヤ配列で設けられた単板式のものとして説明する。本発明の実施の形態において、ＲＧＢイメージセンサ１１４は横方向に４０００ピクセル、縦方向に３０００ピクセルが配列された１２メガピクセルの解像度を有するものとする。

多点スペクトル計測センサ１２２もまた、二次元配置された光電変換素子のアレー、これらの光電変換素子のアレーから出力されるアナログ信号にＣＤＳ（相関二重サンプリング）、ＡＧＣ（自動ゲインコントロール）、Ａ／Ｄ変換等の処理を行ってデジタルの画像信号を出力するための回路ブロックを有し、多点スペクトル計測センサ１２２からデジタル画像信号を出力可能なＣ−ＭＯＳイメージセンサで構成されるものとして説明をする。

多点スペクトル計測センサ１２２は、ＲＧＢイメージセンサ１１４から出力可能な画像信号の色数よりも多い色数の画像信号を出力可能に構成される。多点スペクトル計測センサ１２２もまた、オンチップカラーフィルタを有する単板式の撮像素子で構成することが可能である。本実施の形態において、多点スペクトル計測センサ１２２が有するオンチップカラーフィルタの色数は、Ｂ、Ｇ、Ｒの３色に加えてシアン（Ｃ）、黄（Ｙ）、橙（Ｏ）の６色を有するものとして説明をする。つまり、６画素でひとつのスペクトル計測部を形成する。また、本実施の形態において多点スペクトル計測センサ１２２は横方向に２４０画素、縦方向に３０ピクセルが配列された、７２００ピクセルの解像度を有するものとする。ＲＧＢイメージセンサ１１４、多点スペクトル計測センサ１２２の画素配置、オンチップカラーフィルタの配置の詳細については後で図３から図５を参照して説明する。

ＯＬＰＦ１２４は、多点スペクトル計測センサ１２２の受光面上に形成される被写体像の空間周波数を低減するためのものである。なお、ＯＬＰＦ１２４を用いるのに代えて、光を拡散させる作用を有する透明ないし半透明の基板を用いることも可能である。あるいは、多点スペクトル計測センサ１２２の受光面を撮影レンズ１０２の焦点面から被写体光の光路方向に沿ってずらしてデフォーカスさせることにより被写体像の空間周波数を低減し、ＯＬＰＦ１２４を省略することも可能である。

表示部１１６はＴＦＴカラー液晶パネル、あるいは有機ＥＬ表示パネルなどを有し、撮像装置１００で撮像して生成された画像データに基づく画像を表示することが可能に構成される。画像記録部１１８は、内蔵式のフラッシュメモリや、撮像装置１００に着脱可能に装着されるメモリーカード等で構成することが可能である。

カメラ制御部１２０は、撮像装置１００の撮影動作、撮影後の画像処理および記録、記録された画像の再生等の動作を統括的に制御するためのものであり、ＣＰＵ、ＡＳＩＣ（特定用途向け集積回路）、ＲＡＭ、ＲＯＭなどで構成される。撮影動作時にカメラ制御部１２０は、ＲＧＢイメージセンサ１１４から出力される画像信号にデモザイク処理をしてＲ、Ｇ、Ｂ３色のカラープレーンからなる画像データを生成する。カメラ制御部１２０はまた、多点スペクトル計測センサ１２２から出力される多点スペクトルデータをもとに、上述したＲ、Ｇ、Ｂの画像データに対して色変換の処理を行い、表示部１１６に画像を表示するとともに画像記録部１１８に記録する。

図２は、カメラ制御部１２０の内部構成を説明するブロック図である。カメラ制御部１２０は、デモザイキング部２００と、ＲＧＢイメージセンサ駆動部２０２と、多点スペクトル計測センサ駆動部２０４と、色変換処理部２０６と、解像度変換処理部２０８とを有する。デモザイキング部２００は、ＲＧＢイメージセンサ１１４から出力される画像データ（ＲＧＢベイヤデータ）にデモザイキング処理を施し、Ｒ、Ｇ、Ｂ３色のカラープレーンからなる画像データを生成する。

ＲＧＢイメージセンサ駆動部２０２は、ＲＧＢイメージセンサ１１４に制御信号を出力し、ＲＧＢイメージセンサ１１４による撮像（光電変換）、画像データ出力の動作を制御する。多点スペクトル計測センサ駆動部２０４は、多点スペクトル計測センサ１２２に制御信号を出力し、多点スペクトル計測センサ１２２によるスペクトル計測、スペクトルデータ出力の動作を制御する。

デモザイキング部２００は、ＲＧＢイメージセンサ１１４から出力されるＲＧＢベイヤデータに対してデモザイキングの処理を行い、Ｒ、Ｇ、Ｂ３色のカラープレーンからなる１２００万画素のＲＧＢ画像データを生成する。

色変換処理部２０６は、デモザイキング部２００から出力されるＲＧＢ画像データに、多点スペクトル計測センサ１２２から出力される多点スペクトルデータに基づいて、後で詳述する色変換の処理を行う。色変換処理部２０６で処理され、生成された出力ＲＧＢ画像データは、画像記録部１１８および解像度変換処理部２０８に出力される。画像記録部１１８は出力ＲＧＢデータを記録する。解像度変換処理部２０８は、表示部１１６が有する表示解像度に適した解像度となるように出力ＲＧＢ画像データの解像度を変換する。

なお、以上では、色変換処理部２０６で生成された出力ＲＧＢ画像データが画像記録部１１８に記録される例について説明したが、画像記録部１１８にはいわゆるローデータ（ＲＡＷデータ）が記録されるものであってもよい。その場合、色変換処理部２０６からは色変換処理をする前のローデータとともに色変換処理用のパラメータが画像記録部１１８に出力されて記録されるものであってもよい。

図３は、ＲＧＢイメージセンサ１１４の画素配列を概念的に説明する図である。先にも説明したとおり、ＲＧＢイメージセンサ１１４は横４０００画素、縦３０００画素からなり、ベイヤ配列のオンチップカラーフィルタを有するものとする。図３において、左上隅の画素には符号１１４（１，１）が付され、右下隅の画素には符号１１４（４０００，３０００）が付されている。

図４は、ＲＧＢイメージセンサ１１４の画素配列と多点スペクトル計測センサ１２２の画素配列との関係の一例を概念的に説明する図である。図４に示される例では、ＲＧＢイメージセンサ１１４の画素を図４の横方向に４００、縦方向に３００有して形成される一つの分割領域Ｐに対応して多点スペクトル計測センサ１２２を構成する画素１２２（１，１）…１２２（２４，３）が図４の横方向に２４、縦方向に３配列される。図４において、多点スペクトル計測センサ１２２の左上隅の画素には符号１２２（１，１）が付され、右下隅の画素には符号１２２（２４，３）が付されている。

多点スペクトル計測センサ１２２を構成する各画素は、青（Ｂ）、シアン（Ｃ）、緑（Ｇ）、黄（Ｙ）、橙（Ｏ）および赤（Ｒ）のうち、いずれかのオンチップカラーフィルタが形成されている。図４に示される例では、画素１２２（１，１）から画素１２２（６，１）までの６画素によって一つのスペクトル計測部が形成され、そのスペクトル計測部が図４の横方向に４、縦方向に３配列されて一つのスペクトル計測集合体Ｇを構成している。

つまり、ＲＧＢイメージセンサ１１４の、横方向に４００画素、縦方向に３００画素の計１２００００画素からなる一つの分割領域Ｐに対して横方向に４個、縦方向に３個の計１２個のスペクトル計測部からなるスペクトル計測集合体Ｇが備えられる。先にも説明したように、本実施の形態においてＲＧＢイメージセンサ１１４は横方向４０００画素、縦方向３０００画素が配列されているので、ＲＧＢイメージセンサ１１４上で画定される分割領域Ｐの数は横方向に４０００／４００＝１０、縦方向に３０００／３００＝１０の計１００となる。その様子が図５に示されている。

図５は、ＲＧＢイメージセンサ１１４上に１００の分割領域が画定される様子を概念的に示している。分割領域Ｐ₁₁、Ｐ₂₁、…Ｐ₁₀₁₀のそれぞれに対応してスペクトル計測集合体Ｇが備えられる。

ＯＬＰＦ１２４（図１）は、撮影レンズ１０２によって多点スペクトル計測センサ１２２の受光面上に形成される被写体像の空間周波数を下げ、６色のオンチップカラーフィルタと６つの画素とを有する１つのスペクトル計測部に入射する被写体光が混ざり合って均一な光束となるように特性が定められていることが望ましい。これは、いわゆる偽色の影響を排除して、１つのスペクトル計測部で得られるスペクトル計測結果をより正確なものとするためである。

以上をまとめると、ＲＧＢイメージセンサ１１４の受光エリアを横方向に１０分割、縦方向に１０分割して画定される１００個の分割領域Ｐ₁₁、Ｐ₂₁、…Ｐ₁₀₁₀のそれぞれに対応して１２個のスペクトル計測部からなるスペクトル計測集合体Ｇが備えられる。それぞれのスペクトル計測集合体Ｇは、対応する分割領域（Ｐ₁₁、Ｐ₂₁、…Ｐ₁₀₁₀）の中で１２点のスペクトル計測を行う。つまり、ＲＧＢイメージセンサ１１４によって捉えられる撮影範囲を二次元分割して得られる複数（本実施の形態においては１００個）の分割領域の被写体分光特性を独立して計測可能に構成される。さらに、分割領域の中で１２点のスペクトル計測を行うことが可能に構成されているので、より高い精度で被写体分光特性を計測することが可能となる。

ここで、上述した撮影範囲について補足説明をする。本明細書において撮影範囲とは、ＲＧＢイメージセンサ１１４のイメージエリアを、撮影レンズ１０２を通して被写体の側に向かって逆投影して画定される上下・左右方向に広がる矩形の範囲を意図している。

図４では、ＲＧＢイメージセンサ１１４の分割領域Ｐにスペクトル計測集合体Ｇを重ね合わせるようにして描いているが、ＲＧＢイメージセンサ１１４を構成する画素の大きさと多点スペクトル計測センサ１２２を構成する画素の大きさとの関係は必ずしも図４に示されるようなものである必要はない。また、各画素の形状についても任意の形状であってよい。さらに、スペクトル計測集合体Ｇを構成するスペクトル計測部の数は必ずしも１２である必要はなく、任意の数とすることができる。また、これらのスペクトル計測部は図４に示されるように密着配列されているものであってもよいし、あるいはスペクトル計測集合体Ｇを構成する個々のスペクトル計測部が離散配置されていてもよい。

重要なのは、多点スペクトル計測センサ１２２が、ＲＧＢイメージセンサ１１４によって捉えられる撮影範囲を二次元分割して得られる複数の分割領域のそれぞれの被写体分光特性を独立して計測可能に構成される、ということである。例えば、図１においてハーフミラー１０４と多点スペクトル計測センサ１２２との間に再結像光学系等が配置される場合には、その再結像光学系の再結像倍率に応じて多点スペクトル計測センサ１２２を構成する画素の大きさや画素ピッチ等は変化しうる。

多点スペクトル計測センサ１２２の配設位置は図１に例示されるものに限られず、ハーフミラーやビームスプリッタ、あるいは可動式のミラー等を用いた光路分岐用の光学部材を用いて、メインミラー１０６の後方や下方、フォーカシングスクリーン１０８やペンタプリズム１１０の近傍等、撮像装置１００内の任意の位置に配設することが可能である。

ＲＧＢイメージセンサ１１４の受光エリアを横方向、縦方向に分割して画定される分割領域の個数についても、撮像装置１００の仕様等に応じて任意の数とすることができる。

図６は、色変換処理部２０６の内部構成例を示す概略ブロック図である。色変換処理部２０６は、ＲＧＢ画像データ記憶部６０２と、マトリクス作用部６０４と、出力ＲＧＢ画像データ記憶部６０６と、領域指定部６０８と、多点スペクトルデータ記憶部６１０と、領域別色変換特性データ生成部６１２と、色変換マトリクス作成部６１４とを有する。

ＲＧＢ画像データ記憶部６０２は、ＳＤＲＡＭ等で構成され、デモザイキング部２００（図２）から出力されるＲＧＢ画像データが一時的に記憶される。多点スペクトルデータ記憶部６１０もまたＳＤＲＡＭ等で構成され、多点スペクトル計測センサ１２２（図２）から出力される多点スペクトルデータが一時的に記憶される。領域指定部６０８は、図５を参照して説明した分割領域Ｐ₁₁、Ｐ₂₁、…Ｐ₁₀₁₀を指定する信号である領域指定信号をＲＧＢ画像データ記憶部６０２および領域別色変換特性データ生成部６１２に順次出力する。例えば、最初にＰ₁₁を指定する信号を出力し、次にＰ₂₁を指定する信号を出力し、というような順番で、最後にＰ₁₀₁₀を指定する信号を出力する。

ＲＧＢ画像データ記憶部６０２は、一時記憶されるＲＧＢ画像データ中、領域指定信号で指定される分割領域ＰのＲＧＢ画像データをマトリクス作用部６０４に出力する。領域別色変換特性データ生成部６１２は、領域指定信号で指定される分割領域に対応する多点スペクトルデータから色変換特性データＤを求め、色変換マトリクス作成部６１４に出力する。この色変換特性データＤは、例えば被写体に特有の情報であり、当該の分割領域Ｐにおける被写体の色が反映されたものである。この被写体の色は、被写体の分光反射率と、撮影時に被写体を照明していた照明光の分光特性に影響を受ける。

色変換マトリクス作成部６１４は、領域別色変換特性データ生成部６１２から出力された色変換特性データＤに加えて、色変換処理部２０６に入力されるカメラ分光感度情報、撮影照明情報、観察照明情報、出力色空間情報、等色関数情報等に基づき、領域指定部６０８で指定されている分割領域のＲＧＢ画像データに適用するための色変換マトリクスＭを求めてマトリクス作用部６０４に出力する。上記のカメラ分光感度情報は、撮影レンズ１０２の分光透過率（撮影レンズ１０２にフィルタが装着されていれば、そのフィルタの特性も含めた分光透過率）、ハーフミラー１０４の分光透過率、ＲＧＢイメージセンサ１１４の分光感度特性などに基づいて求められる情報である。撮影照明情報は、撮影時に被写体を照射していた光の分光特性に関連する情報である。出力色空間情報は、画像を表示するモニタの色再現特性や、モニタの設置される環境を照明する照明光の分光特性に基づいて求められる情報である。等色関数情報は、標準観察者の視感度に関連する情報である。また、本実施の形態において色変換マトリクスＭは、例えば３×３のマトリクスとすることが可能である。

マトリクス作用部６０４は、領域指定信号で指定される分割領域ＰのＲＧＢ画像データに色変換マトリクス作成部６１４から出力される、上記分割領域Ｐに対応するマトリクスＭを乗じて出力ＲＧＢ画像データを生成する。この出力ＲＧＢ画像データは、マトリクス作用部６０４から、ＳＤＲＡＭ等で構成される出力ＲＧＢ画像データ記憶部６０６に出力されて一時的に記憶される。

そして、分割領域Ｐ₁₁、Ｐ₂₁、…Ｐ₁₀₁₀を指定する信号である領域指定信号を領域指定部６０８がＲＧＢ画像データ記憶部６０２および領域別色変換特性データ生成部６１２に順次出力するのに応じて、対応する分割領域Ｐの出力ＲＧＢ画像データが出力ＲＧＢ画像データ記憶部６０６に一時的に記憶され、最終的に１画面分の出力ＲＧＢ画像が出力ＲＧＢ画像データ記憶部に一時的に記憶される。

出力ＲＧＢ画像データ記憶部６０６は、上述のようにして得られた１画面分の出力ＲＧＢ画像データを画像記録部１１８および解像度変換処理部２０８（図２）に出力する。

本実施の形態においては、以上に説明したように、ＲＧＢイメージセンサ１１４は１２メガピクセルの解像度を有するＲＧＢ３色の画像信号を出力可能に構成される一方、多点スペクトル計測センサ１２２は７２００ピクセルの解像度を有するＢＣＧＹＯＲ６色の画像信号を出力可能に構成される。そして、ＲＧＢイメージセンサ１１４によって捉えられる撮影範囲を二次元分割して得られる複数の分割領域のそれぞれの被写体分光特性を、ＲＧＢイメージセンサ１１４よりも少ない解像度かつＲＧＢイメージセンサ１１４よりも多い色数を有する画像信号を出力可能な多点スペクトル計測センサ１２２を用いて計測する。このようにして、それぞれの分割領域ごとに得られた被写体のスペクトル情報を用いて各分割領域に対応する色変換マトリクスＭを求め、各分割領域のＲＧＢ画像データに色変換マトリクスＭを適用することにより色再現性を高めることが可能となる。つまり、上述した多点スペクトル計測センサ１２２を用いることにより、従来からあるＲＧＢイメージセンサ１１４を用いて色再現性の高い、比較的高解像度の画像を得ることが可能となる。このため、撮像装置１００を大型化することなく、比較的安価に構成することが可能となる。

加えて、図１などを参照して説明した構成を有する撮像装置１００によれば、撮影レンズ１０２を交換した場合であっても、あるいは撮影レンズ１０２がいわゆるズームレンズで、その設定焦点距離が変えられた場合であってもユーザは特別な操作をすることなく、撮影範囲内の被写体の多点スペクトル情報を容易に得ることが可能となる。

以上では、一つの分割領域のＲＧＢ画像データ（図４に示す例においては１２万画素分のＲＧＢ画像データ）に対して、この分割領域に対応して求められる一つの色変換マトリクスＭが一律に適用される例について説明した。この場合、ある分割領域の画像と、この分割領域と隣接する分割領域の画像との境界で色が急変する不具合を生じる可能性がある。つまり、複数の分割領域Ｐに対応する画像データが集められて形成される１画面分の出力ＲＧＢ画像データに基づく画像を表示したときに、ブロック境界が目立ち、画像が見苦しくなる可能性がある。

上述した不具合を抑止するために、以下で図７、図８を参照して説明する構成とすることが可能である。図８には、色変換マトリクス作成部６１４Ａの内部構成が示される。この色変換マトリクス作成部６１４Ａは、図６に示される色変換処理部２０６中の色変換マトリクス作成部６１４に置き換わるものとして実施される。

色変換マトリクス作成部６１４Ａは、代表マトリクス生成部８０２と、代表マトリクス記憶部８０６と、マトリクス補間演算部８０４とを有する。代表マトリクス生成部８０２は、図５に示される分割領域Ｐそれぞれに対応する色変換マトリクス（代表マトリクス）を求め、代表マトリクス記憶部８０６に出力する。代表マトリクス記憶部８０６は、分割領域Ｐそれぞれに対応する代表マトリクスを記憶する。

マトリクス補間演算部８０４は、色変換処理対象となっている分割領域のＲＧＢ画像データに適用する色変換マトリクスを画素位置に応じて補間演算によって求め、その色変換マトリクスをマトリクス作用部６０４に出力する。

図７には、互いに隣接し合う４つの分割領域Ｐ_i,j、Ｐ_i+1,j、Ｐ_i,j+1、Ｐ_i+1,j+1が示されている。代表マトリクス生成部８０２は、各分割領域に対応して一つづつ、色変換マトリクスＭ_i,j、Ｍ_i+1,j、Ｍ_i,j+1、Ｍ_i+1,j+1を求める。これらの色変換マトリクスＭ_i,j、Ｍ_i+1,j、Ｍ_i,j+1、Ｍ_i+1,j+1を、代表マトリクスと称する。

ここで各分割領域Ｐ_i,j、Ｐ_i+1,j、Ｐ_i,j+1、Ｐ_i+1,j+1それぞれの中心画素位置を（Ｃ_xi，Ｃｙ_j）、（Ｃｘ_i+1，Ｃｙ_j）、（Ｃｘ_i，Ｃｙ_j+1）、（Ｃｘ_i+1，Ｃｙ_j+1）、マトリクス補間演算をして色変換マトリクスを求める対象の画素の位置を（ｘ，ｙ）とし、その画素の位置（ｘ，ｙ）における色変換マトリクスをＭ（ｘ，ｙ）とすると、色変換マトリクスＭ（ｘ，ｙ）は以下の式で求めることができる。

上記の式からも明らかなように、例えば画素の位置（ｘ、ｙ）が分割領域Ｐ_i,jの中心画素位置（Ｃｘ_i，Ｃｙ_i）に近づくほど分割領域Ｐ_i,jの代表マトリクスＭ_i,jの影響をより強く受けるようになり、四つの分割領域Ｐ_i,j、Ｐ_i+1,j、Ｐ_i,j+1、Ｐ_i+1,J+1の中心に近づくと、四つの分割領域それぞれの代表マトリクスの影響を等しく受けるようになる。

以上、図７、図８を参照して説明した構成によれば、分割領域の境界部分で色が急変するような不具合を抑制することが可能となる。

以上の説明において、オンチップカラーフィルタの配列は、ベイヤ配列のものとして説明したが、本発明はこれに限られるものではない。また、オンチップカラーフィルタの色の数は３であっても４以上であってもよく、カラーフィルタの色の種類もＲ、Ｇ、Ｂに限られるものではない。同様に、多点スペクトル計測センサ１２２も６色のみならず、それよりも多い色数、例えば１０、１６といった色数の画像信号を出力可能なものであってもよい。

− 第２の実施の形態 −
図９は、本発明の第２の実施の形態に係る撮像装置１００Ａの概略的構成を示すブロック図である。図９において、図１に示すものと同様の構成要素には同じ符号を付してその説明を省略する。以下で撮像装置１００Ａは撮影レンズ１０２を交換可能な一眼レフレックスタイプのデジタルスチルカメラであるものとして説明する。

図１に示される、第１の実施の形態に係る撮像装置１００が有していたハーフミラー１０４、ＯＬＰＦ１２４が省略され、多点スペクトル計測センサ１２２Ａが接眼レンズ１１２の上方に設けられ、ペンタプリズム１１０Ａと多点スペクトル計測センサ１２２Ａとの間に再結像レンズ９０２が設けられる点が第１の実施の形態との大きな相違点である。

撮影者が撮影準備の操作しているときにはメインミラー１０６は図９に示されるようにダウン位置にあり、撮影レンズ１０２から出射する被写体光はメインミラー１０６によってフォーカシングスクリーン１０８に導かれる。そしてフォーカシングスクリーン１０８上に形成される被写体の像（一次像）を撮影者はペンタプリズム１１０Ａ、接眼レンズ１１２を介して観察する。このとき、フォーカシングスクリーン１０８上に形成される被写体の像は、再結像レンズ９０２によって多点スペクトル計測センサ１２２Ａの受光面上に二次像として再結像される。

第２の実施の形態に係る撮像装置１００Ａが有する上述した構成の利点は、多点スペクトル計測センサを、被写体の輝度を測定（測光）するための測光用センサとしても利用可能である点にある。このとき、多点スペクトル計測センサを用いることにより、被写体を複数の領域に分割して測光をする、分割測光をすることができるので有利である。また、第１の実施の形態に示されるようなハーフミラー１０４を有していないので、撮影時にＲＧＢイメージセンサ１１４に導かれる被写体光の光量が減衰せず、ハーフミラーを設けるための空間を必要としないので撮影レンズ１０２の光学設計上の自由度が増し、撮像装置１００Ａを小型化可能な点でも有利である。

第１の実施の形態においては、撮影レンズ１０２によって多点スペクトル計測センサ１２２の受光面上に形成される被写体像の空間周波数を低減するためにＯＬＰＦ１２４が設けられていたが、第２の実施の形態では再結像レンズ９０２によって多点スペクトル計測センサ１２２Ａに形成される被写体像の空間周波数を低減することが可能である。あるいは、再結像レンズ９０２と多点スペクトル計測センサ１２２Ａとの間にＯＬＰＦや拡散板等を設けるようにしても、再結像レンズ９０２のレンズ面に拡散効果を与えるような面形状を形成してもよい。さらにまた、再結像レンズ９０２の焦点位置を多点スペクトル計測センサ１２２Ａの受光面からずらして（デフォーカスさせて）もよい。

ＲＧＢイメージセンサ１１４および多点スペクトル計測センサ１２２の構成については図３から図５を参照して説明したのと同様である。また、カメラ制御部１２０Ａの内部構成や、カメラ制御部１２０Ａ内で行われる色変換の処理等についても図２および図６から図８を参照して説明したのと同様であるが、撮影動作時のシーケンスが図１０に示される点で異なる。

図１０は、カメラ制御部１２０Ａで実行される撮影動作シーケンス制御手順を概略的に示すタイミングチャートであり、横軸に時間ｔがとられ、縦軸にはレリーズスイッチ、多点スペクトル計測センサ１２２Ａ、メインミラー１０６、ＲＧＢイメージセンサ１１４の動作や状態が示されている。

時刻ｔ０でレリーズスイッチがオンとなるのに応じてカメラ制御部１２０Ａは撮像に伴う一連の動作制御を開始する。時刻ｔ１からｔ２の間で多点スペクトル計測センサ１２２Ａによる計測（撮像）が行われ、時刻ｔ３でメインミラー１０６の上昇が始まる。このとき、図示はしていないが撮影レンズ１０２の絞りを絞り込む制御も行われる。メインミラー１０６の上昇が完了した後、時刻ｔ４からｔ５でＲＧＢイメージセンサ１１４による撮像が行われる。時刻ｔ６でメインミラー１０６の下降が始まり、撮影レンズ１０２の絞りを開放する動作も行われる。そして下降が完了した後、時刻ｔ７からｔ８の間で多点スペクトル計測センサ１２２Ａによる計測（撮像）が再度行われる。

図１０を参照して説明した撮影シーケンスでは、メインミラー１０６の上昇前に１回、下降後に１回と、２回の計測が多点スペクトル計測センサ１２２Ａで行われる。ＲＧＢイメージセンサ１１４による撮像のタイミングと、多点スペクトル計測センサ１２２Ａによる多点スペクトル計測のタイミングとで時間的なずれがあるため、ＲＧＢイメージセンサ１１４による撮像のタイミングの前後で２回の多点スペクトル計測を行うことにより、より正確に被写体の多点スペクトル計測結果を得ることが可能となる。

あるいは、上述したのに代えて、メインミラー１０６の上昇前の計測結果は被写体の輝度を測定する測光を目的とし、多点スペクトルの計測はメインミラー１０６の下降後に行うようにしてもよい。また、メインミラー１０６の下降後の多点スペクトル計測センサ１２２Ａによる計測は省略し、メインミラー１０６の上昇前に測光および多点スペクトルの計測を行うようにしてもよい。あるいは、メインミラー１０６の上昇前、下降後、または上昇前および下降後のタイミングにおいて、多点スペクトルの計測を複数回行い、得られる多点スペクトル計測結果に平均化等の処理をしてもよい。

以上に説明した本発明の第２の実施の形態によっても、撮像装置１００Ａの大型化を招くことなく、色再現性に優れた画像データを得ることが可能となる。また、従来、測光用のセンサを配設するスペースとして用いられていた場所に多点スペクトル計測センサ１２２Ａを配設することにより、撮像装置１００Ａの構成を大幅に変えることなく、色再現性に優れた画像データを出力することが可能となり、多点スペクトル計測センサを測光用のセンサとしても用いることが可能となる。

− 第３の実施の形態 −
第１の実施の形態および第２の実施の形態においては、ＲＧＢイメージセンサ１１４と多点スペクトル計測センサ１２２、１２２Ａとが別体に設けられる例について説明した。これに対して、第３の実施の形態においては、以下で詳述するように、ＲＧＢイメージセンサを構成する画素と多点スペクトル計測センサを構成する画素とが同一の基板（ダイ）上に形成され、多点スペクトル計測センサを構成する画素が、ＲＧＢイメージセンサを構成する画素の中に分散配置される。

図１１は、イメージセンサ１１４Ａの画素配列を概念的に説明する図であり、（ａ）にはイメージセンサ１１４Ａの受光面全体を、（ｂ）にはイメージセンサ１１４Ａの一部を拡大したものを示している。イメージセンサ１１４Ａは、横４０００画素、縦３０００画素からなるものとする。図１１（ｂ）に示されるように、イメージセンサ１１４Ａは、全体としてベイヤ配列のオンチップカラーフィルタを有するものとして構成されている。そして、多点スペクトル計測を行うための画素のユニット１２２Ｂ（以下では「スペクトル計測画素ユニット１２２Ｂ」と称する）を配列する様子が図１１（ａ）、図１１（ｂ）においてハッチングを施した四角で示されている。スペクトル計測画素ユニット１２２Ｂとして、図１２（ａ）には符号１２２Ｂ−ａ、１２２Ｂ−ｂ、１２２Ｂ−ｃが付されたものが例示されている。イメージセンサ１１４Ａには、これらの符号１２２Ｂ−ａ、１２２Ｂ−ｂ、１２２Ｂ−ｃが付されたもののうち、いずれか１種類が用いられる。

スペクトル計測画素ユニット１２２Ｂは、例えば図１１の縦方向に２画素、横方向に２画素が配列された４画素を有するものとして構成される。この４画素を有するユニットが、ベイヤ配列のオンチップカラーフィルタを有する画素の配列中に分散配置されている。図１１（ａ）には、ベイヤ配列のオンチップカラーフィルタを有する画素の配列中に、Ｒ、Ｇ、Ｂとは異なる分光透過特性を有するものを含むオンチップカラーフィルタを有するスペクトル計測画素ユニット１２２Ｂが略等間隔で離散的に配列される例が示されている。一例として、スペクトル計測画素ユニット１２２Ｂが図１１の横方向に４０、縦方向に３０の計１２００個、配列されたものとすることができる。すなわち、イメージセンサ１１４Ａ上で、図１１の横方向に１００画素、縦方向に１００画素の１万画素からなる一つの部分領域に対してスペクトル計測画素ユニット１２２Ｂが一つ設けられたものとすることができる。なお、ここでの説明に用いた数はあくまでも例であり、スペクトル計測画素ユニット１２２Ｂの配設数、配設ピッチは任意のものとすることが可能である。また、このスペクトル計測画素ユニット１２２Ｂの配設ピッチは等間隔であってもよいし、不等間隔であってもよい。

以下では、スペクトル計測画素ユニット１２２Ｂを構成する画素をスペクトル計測画素と称し、それ以外のＲ、Ｇ、Ｂのオンチップカラーフィルタが設けられた画素を撮像画素と称する。

図１１（ａ）には、スペクトル計測画素ユニット１２２Ｂとして、三つの例（１２２Ｂ−ａ、１２２Ｂ−ｂ、１２２Ｂ−ｃ）が示されている。図１２には、撮像画素中にスペクトル計測画素を配設する際の例が概念的に示されている。図１２（ａ）には、スペクトル計測画素が配設されない部分の撮像画素が示されている。図１２（ａ）に示されるように、図１２の右上側から左下側に向かう対角方向に沿ってＧのオンチップカラーフィルタが配列され、Ｒ、Ｂのオンチップカラーフィルタが市松状に配列されている。図１２（ｂ）には、スペクトル計測画素ユニット１２２Ｂ−ａが配設された部分およびその近傍の撮像画素が示されている。図１２（ｃ）には、撮像画素中にスペクトル計測画素ユニット１２２Ｂ−ｂが配設された部分およびその近傍の撮像画素が示されている。図１２（ｄ）には、撮像画素中にスペクトル計測画素ユニット１２２Ｂ−ｃが配設された部分およびその近傍の撮像画素が示されている。

図１１（ａ）、図１２（ｂ）を参照し、スペクトル計測画素ユニット１２２Ｂ−ａは、撮像画素上でＲ、Ｂのオンチップカラーフィルタが形成される部分に橙（Ｏ）、シアン（Ｃ）のオンチップカラーフィルタを形成したものである。従って、このスペクトル計測画素ユニット１２２Ｂ−ａの配設される画素部分を撮像画素として用いる場合には、Ｇの色情報はそのまま利用可能である一方、Ｏ、Ｃのオンチップカラーフィルタが形成された画素からはＲ、Ｂの色情報を得ることはできない。これに対しては従来からある画素欠陥の補完技術を用いることにより、スペクトル計測画素ユニット１２２Ｂ−ａが設けられる位置に対応する画像情報を得ることが可能となる。特にスペクトル計測画素ユニット１２２Ｂ−ａを用いる例では、図１２（ｂ）を見ても判るように、Ｏ、Ｃのオンチップカラーフィルタが形成された画素はＧのオンチップカラーフィルタが形成された画素に囲繞されている。これらのＯ、Ｃのオンチップカラーフィルタが形成された画素と、これらの画素を囲繞する画素の情報とから高い精度で画素補完をすることが可能となる。

図１１（ａ）、図１２（ｃ）を参照し、スペクトル計測画素ユニット１２２Ｂ−ｂは、撮像画素上でＧのオンチップカラーフィルタが形成される部分にＯ、Ｃのオンチップカラーフィルタを形成したものである。従って、このスペクトル計測画素ユニット１２２Ｂ−ｂの配設される画素部分を撮像画素として用いる場合には、Ｒ、Ｂの色情報はそのまま利用可能である一方、Ｏ、Ｃのオンチップカラーフィルタが形成された画素からはＧの色情報を得ることはできない。これに対しても、上記の画素欠陥の補完技術を用いて、スペクトル計測画素ユニット１２２Ｂ−ｂが設けられる位置に対応する画像情報を得ることが可能となる。スペクトル計測画素ユニット１２２Ｂ−ｂを用いる例では、Ｒ、Ｂの色情報が欠損していないので、スペクトル計測画素が存在する部分で色分解能が維持される。

図１１（ａ）、図１２（ｄ）を参照し、スペクトル計測画素ユニット１２２Ｂ−ｃは、撮像画素上でＧ、Ｇ、Ｂ、Ｒのオンチップカラーフィルタが形成される部分に橙（Ｏ）、黄（Ｙ）、紫（Ｐ）、そしてシアン（Ｃ）のオンチップカラーフィルタを形成したものである。このスペクトル計測画素ユニット１２２Ｂ−ｃの配設される画素部分を撮像画素として用いる場合には、Ｒ、Ｇ、Ｂの色情報を得ることはできない。これに対しても、上記の画素欠陥の補完技術を用いて、スペクトル計測画素ユニット１２２Ｂ−ｃが設けられる位置に対応する画像情報を得ることが可能となる。スペクトル計測画素ユニット１２２Ｂ−ｃを用いる例では、より多くの種類の分光透過特性を有するオンチップカラーフィルタが備えられることから、より正確なスペクトル情報を得ることが可能となる。

図１２（ｅ）には、スペクトル計測画素ユニット１２２Ｂ−ａを構成するＯ、Ｇ、Ｇ、Ｃのオンチップカラーフィルタが形成された四つのスペクトル計測画素が、その周囲に存在する８つの撮像画素とともに描かれている。多点スペクトル計測結果を得るにあたり、スペクトル計測画素から得られる情報とともに、その周囲に存在するＲ、Ｂのオンチップカラーフィルタが形成される撮像画素で得られる情報も利用する。これにより、Ｒ、Ｇ、Ｂ、Ｏ、Ｃの５バンドからなるスペクトル情報を得ることが可能となる。同様に、スペクトル計測画素ユニット１２２Ｂ−ｂを用いた場合も上記の５バンドからなるスペクトル情報を得ることが可能となる。また、スペクトル計測画素ユニット１２２Ｂ−ｃを用いた場合には、オンチップカラーフィルタＯ、Ｙ、Ｃ、Ｐが上に形成されたスペクトル計測画素からの情報に加えて、これらのスペクトル計測画素の周囲に存在する、Ｒ、Ｇ、Ｂのオンチップカラーフィルタが上に形成される撮像画素からの情報を用いて合計７バンドからなるスペクトル情報を得ることが可能となる。以下では、スペクトル計測画素ユニットとして１２２Ｂ−ａがイメージセンサ１１４Ａ中に組み込まれているものとして説明をする。

図１３は、図１１および図１２を参照して説明したイメージセンサ１１４Ａが組み込まれる撮像装置１００Ｂの概略的構成を示すブロック図である。以下で撮像装置１００Ｂは、いわゆるコンパクトカメラと称されるタイプのものであるものとして説明をする。撮像装置１００Ｂは、撮影レンズ１０２Ａと、ＯＬＰＦ１２４Ａと、イメージセンサ１１４Ａと、表示部１１６と、ＯＬＰＦ駆動部１３００と、カメラ制御部１２０Ｂと、画像記録部１１８とを有する。これらの構成要素のうち、表示部１１６、および画像記録部１１８については第１の実施の形態で図１を参照して説明したのと同様であるのでその説明を省略する。撮影レンズ１０２Ａは、被写体像をイメージセンサ１１４Ａの受光面上に形成するためのものであり、撮像装置１００Ｂに交換可能に装着されるものであっても、取り外し不可能に組み込まれるものであってもよい。

ＯＬＰＦ１２４Ａは、ＯＬＰＦ駆動部１３００によって駆動され、撮影レンズ１０２Ａから出射してイメージセンサ１１４Ａの受光面上に入射する被写体光の光路を横切る位置へ挿入可能に構成される。このＯＬＰＦ１２４Ａは、撮影レンズ１０２Ａによってイメージセンサ１１４Ａの受光面上に形成される被写体像の空間周波数を低減するためのものである。イメージセンサ１１４Ａの受光面上において、一つのスペクトル計測画素ユニット１２２Ｂが受け持つ分割領域に入射する被写体光が均一に混ざり合うように光学特性が設定されていることがイメージセンサ１１４Ａ上に設けられる複数のスペクトル計測画素ユニット１２２Ｂそれぞれが受け持つ分割領域での正確なスペクトル計測結果を得る上で望ましい。

ＯＬＰＦ駆動部１３００は、モータやプランジャ等のアクチュエータを有し、ＯＬＰＦ１２４Ａを撮影レンズ１０２Ａから出射する被写体光の光路を横切る位置と、この光路から退避する位置との間で駆動可能に構成される。なお、上述したＯＬＰＦ１２４Ａを省略し、イメージセンサ１１４Ａで多点スペクトル計測が行われる際に撮影レンズ１０２Ａの焦点位置を撮影レンズ１０２Ａの光軸方向にずらし（デフォーカスさせ）、一つのスペクトル計測画素ユニット１２２Ｂが受け持つ分割領域に入射する被写体光が略均一に混ざり合うようにしてもよい。

カメラ制御部１２０Ｂは、撮像装置１００Ｂの撮影動作、撮影後の画像処理および記録、記録された画像の再生等の動作を統括的に制御するためのものであり、第１の実施の形態で説明したのと同様、ＣＰＵ、ＡＳＩＣ（特定用途向け集積回路）、ＲＡＭ、ＲＯＭなどで構成される。撮影動作時にカメラ制御部１２０Ｂは、イメージセンサ１１４Ａから出力される画像信号にデモザイク処理と上述した補完処理をしてＲ、Ｇ、Ｂ３色のカラープレーンからなる画像データを生成する。このときカメラ制御部１２０Ｂは、ＯＬＰＦ駆動部１３００を制御して、イメージセンサ１１４Ａによって被写体像の撮像をする際に、被写体光の光路から退避する位置にＯＬＰＦ１２４Ａを位置決めする。カメラ制御部１２０Ｂはまた、イメージセンサ１１４Ａによって多点スペクトル計測を行う際にはＯＬＰＦ駆動部１３００を制御して、被写体光の光路を横切る位置にＯＬＰＦ１２４Ａを位置決めする。

つまり、撮像装置１００Ｂで１回の撮像が行われる際に、イメージセンサ１１４Ａは２回動作する。一つは、ＯＬＰＦ１２４Ａが被写体光の光路から退避する位置に位置決めされた状態での、撮像動作である。そしてもう一つは、撮像動作の前、または後に、ＯＬＰＦ１２４Ａが被写体光の光路を横切る位置に位置決めされた状態で行われる多点スペクトル計測動作である。

なお、撮像装置１００Ｂで１回の撮像が行われる際に、イメージセンサ１１４Ａが３回以上動作してもよい。その場合、一回はＯＬＰＦ１２４Ａが被写体光の光路から退避する位置に位置決めされた状態での、撮像動作である。そして残りは、撮像動作の前、後、または前後両方で、ＯＬＰＦ１２４Ａが被写体光の光路を横切る位置に位置決めされた状態で行われる多点スペクトル計測動作である。このとき、撮像動作の前、後、または前後両方のタイミングで複数回の多点スペクトル計測動作が行われて、得られた複数の多点スペクトル計測結果をもとに平均化をする処理をしてもよい。

図１４は、カメラ制御部１２０Ｂの内部構成を説明するブロック図である。カメラ制御部１２０Ｂは、イメージセンサ駆動部２０２Ａと、ＯＬＰＦ切替制御部１４００と、色変換処理部２０６Ａと、解像度変換処理部２０８とを有する。

ＯＬＰＦ切替制御部１４０２は、イメージセンサ１１４Ａで撮像、多点スペクトル計測が行われる際にＯＬＰＦ駆動部１３００に制御信号を出力し、上述したようにＯＬＰＦ１２４Ａの位置を切り替えるための制御を行う。

イメージセンサ駆動部２０２Ａは、イメージセンサ１１４Ａによる撮像動作、多点スペクトル計測動作、それぞれの動作の開始タイミングを制御する。そしてこれら撮像、多点スペクトル計測動作の結果得られた画像データ、多点スペクトル計測用データをイメージセンサ１１４Ａからカメラ制御部１２０Ｂに出力するようにイメージセンサ１１４Ａを制御する。

色変換処理部２０６Ａは、イメージセンサ１１４Ａで多点スペクトル計測が行われた後、このイメージセンサ１１４Ａから出力されるＲ、Ｇ、Ｂ、Ｏ、Ｃ５色の多点スペクトル計測データを記憶する。

色変換処理部２０６Ａは、イメージセンサ１１４Ａで撮像動作が行われた後、このイメージセンサ１１４Ａから出力されるＲＧＢベイヤデータに対してデモザイキング処理と画素補完の処理を行い、Ｒ、Ｇ、Ｂ３色のカラープレーンからなる１２００万画素のＲＧＢ画像データを生成する。

色変換処理部２０６Ａはさらに、上述したＲＧＢ画像データに、後で説明する色変換の処理を行って出力ＲＧＢデータを画像記録部１１８および解像度変換処理部２０８に出力する。解像度変換処理部２０８は、表示部１１６が有する表示解像度に適した解像度となるように出力ＲＧＢ画像データの解像度を変換する。

図１５は、色変換処理部２０６Ａの内部構成例を示す概略ブロック図である。図１５において、第１の実施の形態で図６を参照して説明した色変換処理部２０６が有する構成要素と同様の構成要素については図６に示されるものと同じ符号を付してその説明を省略する。

色変換処理部２０６Ａは、画像データ処理部１５００を有する点と、多点スペクトルデータ記憶部６１０Ａが画像データ処理部１５００から出力される多点スペクトルデータを記憶する点が図６に示される色変換処理部２０６と異なる。以下、この点を中心に色変換処理部２０６Ａの説明をする。

画像データ処理部１５００は、撮像動作を完了したイメージセンサ１１４Ａから出力される画像データ（ＲＧＢベイヤデータ）を入力してデモザイキング処理と画素補完処理とを行う。そして画像データ処理部１５００は、ＲＧＢ三つのカラープレーンからなる１２００万画素のＲＧＢ画像データを生成し、ＲＧＢ画像データ記憶部６０２に出力する。画像データ処理部１５００はまた、多点スペクトル計測動作を完了したイメージセンサ１１４Ａから出力されるＲ、Ｇ、Ｂ、Ｏ、Ｃの５色からなる多点スペクトルデータを入力し、その多点スペクトルデータを多点スペクトルデータ記憶部６１０Ａに出力する。

以下、第１の実施の形態で図６を参照して説明したように、多点スペクトルデータ記憶部６１０Ａに記憶されている多点スペクトルデータをもとに色変換マトリクスＭが生成される。そしてこの色変換マトリクスが、ＲＧＢ画像データ記憶部に記憶されているＲＧＢ画像データに対して作用され、出力ＲＧＢ画像データが生成されて出力ＲＧＢ画像データ記憶部６０６に１画面分の出力ＲＧＢ画像データが一時的に記憶される。この出力ＲＧＢ画像データが、出力ＲＧＢ画像データ記憶部６０６から画像記録部１１８および解像度変換処理部２０８（図１４）に出力される。

以上、第３の実施の形態に係る撮像装置１００Ｂによれば、同一の基板上に撮像画素とスペクトル計測画素とが設けられるので、ハーフミラーやビームスプリッタ等の光路分岐用の光学部材を用いる必要がなく、撮像装置１００Ｂを小型にすることが可能となる。また、上述したハーフミラーやビームスプリッタにより生じるイメージセンサ１１４Ａへ入射する被写体光の光量低下も抑制できるので、イメージセンサ１１４Ａの実効感度を高めることが可能となる。

以上、第１から第３の実施の形態においてＲＧＢイメージセンサ１１４（イメージセンサ１１４Ａ）はＲ、Ｇ、Ｂ３色のオンチップカラーフィルタを有し、多点スペクトル計測センサ１２２、１２２Ａやスペクトル計測画素ユニット１２２ＢがＢ、Ｃ、Ｇ、Ｙ、Ｏ、Ｒの６色、あるいはＲ、Ｇ、Ｂ、Ｏ、Ｃの５色のオンチップカラーフィルタを有するものとして説明した。しかし、本発明はこのような例に限られるものではなく、撮像用のイメージセンサが３よりも多い色数、例えば５色のオンチップカラーフィルタを有していて
、スペクトル計測用のセンサやスペクトル計測画素ユニットが１６色などといった色数のオンチップカラーフィルタを有するものであってもよい。

本発明に係る映像表示の技術は、デジタルスチルカメラ等の撮像装置や、スキャナ等の画像入力装置に利用することが可能である。

第１の実施の形態に係る撮像装置の内部構成例を説明するブロック図である。 カメラ制御部の内部構成例を説明するブロック図である。 ＲＧＢイメージセンサの画素配列を説明する図である。 ＲＧＢイメージセンサ内で画定される分割領域に対応して多点スペクトル計測センサが設けられる様子を概念的に示す図である。 ＲＧＢイメージセンサ内で複数の分割領域が画定され、複数の分割領域のそれぞれに対してスペクトル計測集合体が設けられる様子を概念的に示す図である。 色変換処理部の内部構成例を説明するブロック図である。 ＲＧＢ画像データに適用する色変換マトリクスを、ＲＧＢ画像データの画素位置に応じて変化させる方法を説明する図である。 図７に示す処理方法によって色変換マトリクスを生成する処理ブロックの内部構成例を説明するブロック図である。 第２の実施の形態に係る撮像装置の内部構成例を説明するブロック図である。 第２の実施の形態に係る撮像装置で実行される撮影シーケンスを説明するタイミングチャートである。 第３の実施の形態に係る撮像装置で用いられるイメージセンサ上に設けられるオンチップカラーフィルタの配列例を説明する図であり、（ａ）はイメージセンサ全体を示し、（ｂ）はイメージセンサの一部を拡大して示す。 第３の実施の形態に係る撮像装置で用いられるイメージセンサ上に設けられるオンチップカラーフィルタの配列例を説明する図であり、（ａ）はスペクトル計測画素が設けられない部分のオンチップカラーフィルタの配列例を示し、（ｂ）はスペクトル計測画素用のオンチップカラーフィルタとして橙、シアン、緑のフィルタが用いられる例を示し、（ｃ）はスペクトル計測画素用のオンチップカラーフィルタとして赤、青、橙、シアンのフィルタが用いられる例を示し、（ｄ）はスペクトル計測画素用のオンチップカラーフィルタとして橙、黄、紫、シアンのフィルタが用いられる例を示し、（ｅ）はスペクトル計測画素とそのスペクトル計測画素を囲繞する撮像画素上に設けられるオンチップカラーフィルタの配列例を示す図である。 第３の実施の形態に係る撮像装置の内部構成例を説明するブロック図である。 カメラ制御部の内部構成例を説明するブロック図である。 色変換処理部の内部構成例を説明するブロック図である。

符号の説明

１００、１００Ａ、１００Ｂ … 撮像装置
１０２、１０２Ａ … 撮影レンズ
１０４ … ハーフミラー
１０６ … メインミラー
１０８ … フォーカシングスクリーン
１１０、１１０Ａ … ペンタプリズム
１１２ … 接眼レンズ
１１４ … ＲＧＢイメージセンサ
１１４Ａ … イメージセンサ
１１６ … 表示部
１１８ … 画像記録部
１２０、１２０Ａ、１２０Ｂ … カメラ制御部
１２２、１２２Ａ … 多点スペクトル計測センサ
１２２Ｂ、１２２Ｂ−ａ、１２２Ｂ−ｂ、１２２Ｂ−ｃ … スペクトル計測画素ユニット
１２４、１２４Ａ … ＯＬＰＦ
２００ … デモザイキング部
２０２ … ＲＧＢイメージセンサ駆動部
２０４ … 多点スペクトル計測センサ駆動部
２０６、２０６Ａ … 色変換処理部
２０８ … 解像度変換処理部
６０２ … ＲＧＢ画像データ記憶部
６０４ … マトリクス作用部
６０６ … 出力ＲＧＢ画像データ記憶部
６０８ … 領域指定部
６１０、６１０Ａ … 多点スペクトルデータ記憶部
６１２ … 領域別色変換特性データ生成部
６１４、６１４Ａ … 色変換マトリクス作成部
８０２ … 代表マトリクス生成部
８０４ … マトリクス補完演算部
８０６ … 代表マトリクス記憶部
９０２ … 再結像レンズ
１３００ … ＯＬＰＦ駆動部
１４００ … ＯＬＰＦ切替制御部
１５００ … 画像データ処理部

Claims (6)

1. 撮影レンズによって形成される被写体像を光電変換し、第１の色数からなる第１の解像度を有する第１の画像信号を出力可能な第１のイメージセンサ部と、
   前記撮影レンズによって形成される前記被写体像を光電変換し、前記第１の色数よりも多い第２の色数からなり、前記第１の解像度よりも低い第２の解像度を有する第２の画像信号を出力可能な第２のイメージセンサ部と、
   前記撮影レンズによって前記第２のイメージセンサ部の受光面上に形成される前記被写体像の空間周波数を低減する空間周波数低減部と
   を有することを特徴とする撮像装置。
2. 前記第１のイメージセンサ部および前記第２のイメージセンサ部の双方へ、前記撮影レンズから出射される被写体光を交互にまたは同時に導くように構成される光路分岐部をさらに有し、
   前記空間周波数低減部は、前記光路分岐部と前記第２のイメージセンサ部との間における、前記被写体光の光路上に配設されることを特徴とする請求項１に記載の撮像装置。
3. 撮影レンズによって形成される被写体像を光電変換し、第１の色数からなる第１の解像度を有する第１の画像信号を出力可能な第１のイメージセンサ部と、
   前記撮影レンズによって形成される前記被写体像を光電変換し、前記第１の色数よりも多い第２の色数からなり、前記第１の解像度よりも低い第２の解像度を有する第２の画像信号を出力可能な第２のイメージセンサ部と、
   観察位置と撮像位置との間で移動可能な反射ミラーであって、前記観察位置においては、前記撮影レンズから出射する被写体光を、前記第１のイメージセンサ部の受光面と共役の位置に配設されるフォーカシングスクリーン上に導いて前記被写体像を観察可能とし、前記撮像位置においては前記被写体光の光路から退避して前記撮影レンズによって形成される前記被写体像を前記第１のイメージセンサ部に導くように構成される反射ミラーと、
   前記反射ミラーが前記観察位置にあるときに、前記フォーカシングスクリーン上に形成される前記被写体の一次像を再結像して前記第２のイメージセンサ部の受光面上に二次像を結像させる再結像光学系と、
   前記再結像光学系によって前記第２のイメージセンサ部の前記受光面上に結像される前記二次像の空間周波数を低減する空間周波数低減部と
   を有することを特徴とする撮像装置。
4. 前記第１のイメージセンサ部および前記第２のイメージセンサ部は、同一の基板上に形成されるとともに、前記第２のイメージセンサ部を構成する画素は前記第１のイメージセンサ部を構成する画素の中に分散配置され、
   前記空間周波数低減部は、前記撮影レンズから出射されて前記第１のイメージセンサ部および前記第２のイメージセンサ部に入射する被写体光の光路を横切る位置へ挿脱可能に構成される光学部材を含み、
   前記光学部材は、前記第１の画像信号を出力するための光電変換が前記第１のイメージセンサ部および前記第２のイメージセンサ部で行われる際には前記被写体光の光路から退避する位置に位置決めされる一方、前記第２の画像信号を出力するための光電変換が前記第１のイメージセンサ部および前記第２のイメージセンサ部で行われる際には前記第１のイメージセンサ部および前記第２のイメージセンサ部に入射する被写体光の光路を横切る位置へ位置決めされるように構成されている
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記第１のイメージセンサ部および前記第２のイメージセンサ部は、略同一平面上に形成されるとともに、前記第２のイメージセンサ部を構成する画素は前記第１のイメージセンサ部を構成する画素の中に分散配置され、
   前記第２の画像信号を出力するための光電変換が前記第１イメージセンサ部および前記第２のイメージセンサ部で行われる際に、前記空間周波数低減部は前記撮影レンズから出射されて前記第１のイメージセンサ部および前記第２のイメージセンサ部に入射する被写体光の結像位置を前記第１のイメージセンサ部および前記第２のイメージセンサ部の受光面に対して前記撮影レンズの光軸方向に沿ってずらすように構成されていることを特徴とする請求項１に記載の撮像装置。
6. 前記第２のイメージセンサ部は、前記第１のイメージセンサ部によって捉えられる撮影範囲を二次元分割して得られる複数の分割領域のそれぞれの被写体分光特性を独立して計測可能に構成され、
   前記第１のイメージセンサ部から出力される前記第１の画像信号を処理して生成される画像データに、前記第２のイメージセンサ部から出力される前記第２の画像信号に基づいて色変換の処理を行う色変換処理部をさらに有することを特徴とする請求項１から５のいずれかひとつに記載の撮像装置。

Images