JP4971531B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像素子によって取得される２次元輝度画像から得られる情報を超えた表面凹凸情報を得ることができる画像処理装置に関する。

半透明の粘膜で覆われた生体の臓器表面に対して照明を照射して撮像する内視鏡の分野では、表面からの正反射（鏡面反射）を回避しつつ、表面のテクスチャや表面下の血管画像などを確認する必要がある。そのために偏光照明と偏光撮像を用いた偏光内視鏡が提案されている。例えば、特定の偏光成分の光を物体に照射する偏光照射部と、受光部とを備え、前記物体の表面の形状変化を示す形状変化画像を生成する内視鏡が特許文献１に開示されている。この内視鏡の受光部は、物体からの戻り光における前記特定の偏光成分の光、および前記戻り光における前記特定の偏光成分と異なる偏光成分の光を受光する。特許文献１に開示されている撮像部は、ＲＧＢのカラーモザイクと、偏光透過軸が異なる３つ方向を向くように配列された偏光子とを備えている。特許文献１には、特に観察者が粘膜の表面凹凸を視認しやすくするため、偏光特性算出部が偏光方位を算出し表面の傾斜情報の２次元分布を生成することができると記載されている。

特開２００９−２４６７７０号公報 特開平１１−３１３２４２号公報 米国特許出願公開第２００９／００７９９８２号 特開２００７−８６７２０号公報 国際公開第２００８／１４９４８９号

Ｎｉｃｏｌａｓ Ｌｅｆａｕｄｅｕｘ， ｅｔ．ａｌ ："Ｃｏｍｐａｃｔ ａｎｄ ｒｏｂｕｓｔ ｌｉｎｅａｒ Ｓｔｏｋｅｓ ｐｏｌａｒｉｚａｔｉｏｎ ｃａｍｅｒａ" ，Ｐｒｏｃ． ＳＰＩＥ， Ｖｏｌ． ６９７２， ６９７２０Ｂ， Ｐｏｌａｒｉｚａｔｉｏｎ： Ｍｅａｓｕｒｅｍｅｎｔ， Ａｎａｌｙｓｉｓ， ａｎｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ ＶＩＩＩ（２００８）; Ｃａｒｙ Ａ．Ａｔｋｉｎｓｏｎ， Ｅｄｗｉｎ Ｒ．ｈａｎｃｏｃｋ："Ｒｅｃｏｖｅｒｙ ｏｆ ｓｕｒｆａｃｅ ｏｒｏｅｎｔａｔｉｎ ｆｒｏｍ ｄｉｆｆｕｓｅ ｐｏｌａｒｉｚａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ １５，Ｎｏ．６，Ｊｕｎｅ ２００６，ＰＰ１６５３−１６６４． 宮崎大輔、池内克史：「偏光と放物的曲面の解析による透明物体の表面形状計測」、情報処理学会論文誌、Ｖｏｌ．４４，Ｎｏ．ＳＩＧ９、Ｊｕｌｙ２００３、８６−９３

本発明者らの実験によると、引用文献１に開示されているような撮像部では、１画素毎の正しい偏光情報を得ることができない。また、被写体の空間周波数との干渉によって偏光画像にモアレ発生が著しく、さらにカラーモザイクの一部が偏光モザイク化されるため、再現されるフルカラー画像の画質も劣化する。

本発明は、上記課題を解決するためになされたものであり、その主な目的は、画素単位で偏光情報を得ることができ、その偏光情報に基づいて被写体表面の凹凸情報を取得する画像処理装置を提供することにある。

本発明の画像処理装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する撮像部と、前記撮像部から出力される輝度値を示す信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する変動輝度処理部と、前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する法線推定部とを備える。

ある実施形態において、前記法線推定部は、前記輝度最大角画像から前記法線の方位角の候補を求める方位角処理部と、前記輝度変調度画像から前記法線の天頂角を求める天頂角処理部と、前記法線の方位角の候補から前記法線の１つの方位角を決定する方位角不定性処理部と有している。

ある実施形態において、前記法線推定部によって推定された法線の画像を生成する法線画像生成部を備えている。

ある実施形態において、前記方位角不定性処理部は、非偏光照明下での画像に相当する非偏光輝度画像、または前記輝度変調度画像に基づいて、前記法線の方位角の候補から１つを選択する。

ある実施形態において、前記変動輝度処理部は、前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、前記非偏光輝度画像を生成し、前記方位角不定性処理部に与える。

ある実施形態において、前記方位角不定性処理部は、前記非偏光輝度画像の空間的な勾配ベクトル、および、前記輝度変調度画像の空間的な勾配ベクトルの少なくとも一方に基づいて、前記法線の方位角の候補から１つを選択する。

ある実施形態において、前記偏光照明部および前記撮像部は、内視鏡に取り付けられている。

ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面を可変可能な偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する。

ある実施形態において、前記偏光照明の光軸と前記撮像部の光軸との間の角度は１５°以下である。

ある実施形態において、前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している。

ある実施形態において、前記被写体の照明方向を仮想的に自在変化させるための照明方向設定部と、前記照明方向から照明された状態の前記被写体の輝度画像を前記法線推定部の出力に基づいて生成するとを備える。

ある実施形態において、前記偏光照明部は、前記被写体の表面の分光反射率特性が極小になる反射率に相当する波長帯域を透過する分光フィルタを出力段に備える。

ある実施形態において、前記偏光照明部は、非偏光の光を放射するリング型照明光源と、前記リング型照明光源から放射された非偏光の光を前記直線偏光に変換するリング型偏光面変換素子であって、前記直線偏光の偏光面の角度を順次変化させることができるリング型偏光面変換素子とを備える。

本発明の画像処理方法は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射するステップと、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得するステップと、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップとを含む。

本発明の画像処理プロセッサは、被写体を照射する直線偏光の偏光面の角度が３種類以上異なる複数の偏光画像を受け取り、画像処理により、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する画像処理プロセッサであって、前記複数の偏光画像から前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップとを実行する。

本発明の画像処理装置では、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、３種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する撮像部とを備えているため、特別な偏光撮像素子を新たに開発する必要なしにカラー画像と同時に輝度最大角画像、輝度変調度画像に相当する情報を取得することができる。そして、これらの画像から表面凹凸の法線情報を得る。通常のカラー撮像素子をそのまま利用することができるので、高コストの偏光撮像素子を使う必要もモアレなどにより画質を劣化させることもなく、表面凹凸を視認するための情報を取得することができる。

本発明の画像処理装置の構成例を示す図 偏光照明の偏光状態を示す図 本発明の実施形態１における画像処理装置の構成を示す図 偏光面制御素子の動作を示す図 偏光面角度の定義図 （ａ）および（ｂ）は、それぞれ、本発明の実施形態１で使用され得る撮像素子における光感知セル配置例を示す図 カラー画像と偏光画像を取得するための別の画像処理装置の構成を示す図 図５の画像処理装置における偏光撮像素子の光感知セル配置を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す模式図 （ａ）および（ｂ）は、入射光が被写体表面に対して直上から入射して１回反射をする図 横軸を入射角とした際のＰ波とＳ波のエネルギーのフレネル反射率を示すグラフ 偏光照明の偏光面回転による画素ごとの輝度変動を示すグラフ 図１０Ａのグラフに示すデータの取得に用いたサンプルの表面形状を示す写真を示す図 図１０Ｂの表面形状を模式的に表す図 （ａ）は、偏光照明の偏光方向を示す図、（ｂ）は偏光照明による輝度変動の様子を示す図 （ａ）および（ｂ）は多重反射による偏光反射光の輝度変動の説明図 （ａ）、（ｂ）、（ｃ）は、被写体表面のグルーブを直上から見た図 グルーブに偏光がΨＩ＝０°にて入射する場合の図 図１４Ａの状態でグルーブ方位角Ψに平行、垂直方向に反射光が発生する図 グルーブに対して非偏光が入射しグルーブ方位角Ψに平行、垂直方向に反射光が発生する図 本発明の実施形態１に関する画像処理プロセッサの構成図 ４種類の偏光照明に対応する偏光輝度サンプルから余弦関数フィッティングをする図 表面法線のＸＹＺ成分と方位角Ψ、天頂角θとの関係を示す図 表面法線Ｎと光源ベクトルＬ、視線ベクトルＶ、２等分ベクトルＨとの関係を示す図 法線の方位角の１８０°の不定性解決に輝度勾配ベクトルを利用する図 法線の方位角の１８０°の不定性解決に輝度変調度勾配ベクトルを利用する図 法線の方位角Ψの不定性を解決するフローチャート 入射角θとフレネル反射による偏光度の関係を示す理論値のグラフ 天頂角θの探索範囲を示す図 天頂角θを決定するフローチャート （ａ）は、被写体にレンチキュラーレンズ板を使った実験結果を示す図、（ｂ）は、（ａ）の一部を拡大し模式的に表現した図 レンチキュラーレンズ板の断面における１回反射と２回反射の発生現象を説明する図 レンチキュラーレンズ板の輝度と輝度変調度ＹＤの実験結果を示す図 星型グルーブ被写体例を示す図 図２５Ａを模式的に表現した図 星型被写体のグルーブの法線ベクトルの方位角φ推定結果を示す図 星型被写体のグルーブの法線ベクトルの天頂角θ推定結果を示す図 星型被写体の法線画像に４方向の照明を照射した画像生成実験結果を示す図 図２７Ａを模式的に表現した図 本発明の実施形態２における画像処理装置の構成を示す図 最適化された分光フィルタの特性を示す図 本発明の実施形態３の構成を示す図 本発明の実施形態３の外観を示す図

本発明による画像処理装置の例は、図１Ａに示すように、偏光照明部１２０と、撮像部１４０と、変動輝度処理部１６０と、法線推定部１７０とを備えている。変動輝度処理部１６０および法線推定部１７０は、画像処理部１５０に含まれている。

偏光照明部１２０は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体１００に照射する。本発明が撮像の対象とする被写体１００の表面には、複数の溝（以下、「グルーブ」と称する）１００ａが存在する。被写体１００が例えば生体の臓器表面には、複数のグルーブが観察される。直線偏光は、被写体１００の表面に存在するグルーブ１００ａによって反射され、撮像部１４０に入射する。撮像部１４０は、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する。

本明細書において、「戻り光」とは、偏光照明部１２０から出た光のうち、被写体１００の表面によって反射され、撮像部１４０に入射する光を意味する。照明光源１２０からの光によって被写体１００の表面に存在するグルーブ１００ａの内部を照らすためには、偏光照明部１２０の光軸と撮像部１４０の光軸との間の角度を大きくしすぎないことが好ましい。偏光照明部１２０の光軸と撮像部１４０の光軸との間の角度は、例えば１５°以下に設定される。

図１Ｂは、偏光面の角度が異なる３種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている３つの偏光状態１０、１２、１４は、それぞれ、角度の異なる偏光面を有している。図１Ｂの各偏光状態１０、１２、１４を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトルの振動方向を示している。

図１Ｂには、右手系のＸＹＺ座標を示している。本明細書では、撮像部１４０によって取得される画像面内にＸ軸およびＹ軸を設定し、Ｚ軸の向きを視線（光軸）方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はＸＹ平面に平行である。このため、偏光面の角度（ΨＩ）は、Ｘ軸の正方向に対して偏光方向（電場ベクトルの振動方向）が形成する角度によって規定される。この角度ΨＩについては、後に図３を参照して、より詳しく説明する。

本発明では、偏光照明部１２０から、偏光面の角度が異なる３種類以上の直線偏光が、順次、被写体１００に照射され、撮像部１４０が、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する。

再び図１Ａを参照する。変動輝度処理部１６０は、撮像部１４０から出力される輝度値を示す信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、「輝度最大角画像」および「輝度変調度画像」を生成する。本明細書において、「輝度最大角画像」とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標（ｘ、ｙ）によって特定される画素Ｐ（ｘ、ｙ）の輝度値が、角度４５°の偏光面を有する直線偏光によって被写体１００が照射されたときに最大になる場合、その画素Ｐ（ｘ、ｙ）に対して、輝度最大角である４５°の値が設定される。１つの「輝度最大角画像」は、このような輝度最大角の値を各画素に設定することによって構成される。一方、「輝度変調度画像」とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Ｐ（ｘ、ｙ）における輝度変調度が０．３であるならば、この画素Ｐ（ｘ、ｙ）に対して０．３の値が設定される。１つの「輝度変調度画像」は、このような輝度変調度の値を各画素に設定することによって構成される。

このように、本明細書における「画像」とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば１つの「輝度最大角画像」を表示する場合、「輝度最大角画像」の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された「輝度最大角画像」は、人間の視覚によって認識できる明暗のパターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の「画像」を示すデータそのものを「画像」と称する場合がある。

図１Ａに示される法線推定部１７０は、輝度最大角画像および輝度変調度画像に基づいて、被写体１００の表面に存在するＶ字グルーブ１００ａ内の傾斜面の法線を画素単位で推定する。Ｖ字グルーブ１００ａを真正面から観察するとき、Ｖ字グルーブ１００ａ内の傾斜面の法線の方位角は、Ｖ字グルーブ１００ａが延びる方向に垂直である。本発明の好ましい実施形態では、まず、Ｖ字グルーブ１００ａの方向、すなわち、Ｖ字グルーブ１００ａ内の傾斜面の法線の方位角を決定する。そして、Ｖ字グルーブ１００ａ内の傾斜面の法線の天頂角を決定する。本発明における法線推定部１７０が、どのような原理に基づいてＶ字グルーブ１００ａ内の傾斜面の法線を画素単位で推定するかについては、後に詳しく説明する。

（実施形態１）
図１Ｃは、本発明の実施形態１における画像処理装置の全体構成を模式的に示す図である。

本画像処理装置は、内視鏡１０１と制御装置１０２とを備える。内視鏡１０１は、撮像センサを有する先端部１１３、ライトガイド１０５と映像信号線１１１を有する挿入部１０３とを有している。内視鏡１０１の挿入部１０３は、図示されているようにも左右に長く、フレキシブルに曲がり得る構造を有している。ライドガイド１０６は曲がった状態でも光を伝達することができる。なお、内視鏡には、本実施形態のようにフレキシブルな挿入部１０３を有する軟性鏡と、フレキシブルではない挿入部を有す硬性鏡が存在する。内視鏡のもう１つのタイプである硬性鏡は、挿入部１０３はリレー光学系などを用いて後方に位置する撮像素子へ戻り光を導く構造を有している。本発明は、軟性鏡と硬性鏡のいずれに対しても適用可能である。

制御装置１０２には光源１０４と画像処理プロセッサ１０８と同期装置１１２とが含まれる。光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して先端部１１３の偏光面制御素子１０６に導かれる。偏光面制御素子１０６は、例えば偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。

偏光面制御素子１０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献２、３ならびに非特許文献１等に既に開示されている。偏光面制御素子１０６は、例えば強誘電性液晶と、偏光フィルムと、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子１０６は、光源１０４で発生し、ライトガイド１０５を通過した非偏光の光を、任意の角度に偏光面を有する直線偏光へと変換する。

同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送って照明の偏光面を回転させる。この偏光照明は、照明レンズ１０７を通って被写体に照射される。同期装置１１２は同時に撮像素子１１０に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。

被写体からの戻り光は、撮影レンズ１０９を通って撮像素子１１０上に結像する。この撮像素子１１０はモノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像映像の信号は映像信号線１１１を経由して画像プロセッサ１０８に到達する。

本実施形態では、光源１０４、ライトガイド１０５、偏光面制御素子１０６、および照明レンズ１０７によって図１Ａの偏光照明部１２０が実現されている。また、撮影レンズ１０９および撮像素子１１０によって図１Ａの撮像部１４０が実現されている。図１Ａの変動輝度処理部１６０および法線推定部１７０は、画像プロセッサ１０８によって実現されている。

次に、図２を参照して、偏光面制御素子１０６の動作を説明する。

偏光面が０°状態２０３で第１の画像を撮像し、偏光面が４５°状態２０４で第２の画像を撮像し、偏光面が９０°状態２０５で第３の画像を撮像し、偏光面が１３５°状態（２０６で第４の画像を撮像する。この角度は、４５°以外でもよく、１８０°を３以上の整数で除算した角度であればかまわない。撮像素子が高感度である場合、あるいは照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。

偏光面の回転に要する時間は、上記文献によれば、動作速度は２０（ｍｓ）程度の遅いものから４０〜１００（μｓｅｃ）程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、４方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。

図１Ｃから明らかなように、照明レンズ１０７の光軸と撮影レンズ１０９の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。

なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第１の画像から第４の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨＩが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。

図３は、偏光照明における偏光面の角度ΨＩの定義を示す図である。前述したように、被写体に向かってＸ−Ｙ座標系を設定している。偏光面の角度ΨＩは、Ｘ軸負向きを０°としてＹ軸正向きを正向に定義するものとする。角度ΨＩが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨＩを増加または減少させていくと、１８０°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨＩを変数とする関数は、１８０°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨＩを、「入射偏光面角度」と称する場合がある。

図４（ａ）および（ｂ）は、それぞれ、撮像素子１１０の撮像面の構成例を示す図である。図４（ａ）に示すように撮像面には、複数の光感知セル（フォトダイオード）が行および列状に規則的に配列されている。カラー撮像の場合には、図４（ｂ）に示すにＲＧＢ３種の波長を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。このように撮像素子１１０としては、従来の輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得する。

カラー画像と偏光画像を同時取得する方法では、本発明のように偏光取得を時間軸に展開する方法のほか、カラー撮影を時間軸上に展開するいわゆるカラー面順次方式も考えることができる。

図５は、このような別の構成を示す図である。図１Ｃの構成と異なるのは、光源１０４からの非偏光白色が回転カラーフィルタ５０１によってカラー照明となり、時間的に順次照射されることである。ライトガイド１０５は、このカラー照明をそのまま透過する。被写体からの戻り光は一般に偏光しているが、撮像素子はモノクロ画像用でよい。このため、例えば特許文献４に記載されているようなパターン偏光子を用いたモノクロ偏光画像撮像素子を適用できる。

図６は、このようなパターン偏光子を配置したモノクロ偏光画像撮像素子の例である。このような撮像素子は、特許文献４に開示されているフォトニック結晶を用いた偏光イメージング素子によって構成され得る。

このモノクロ偏光撮像素子のパターン偏光子は波長依存性を有するため、ＲＧＢの全波長帯での偏光画像は得られない。例えばパターン偏光子をＢの波長域に対応するもので設計すると、Ｂの偏光画像しか得られない。さらに偏光画像、特に偏光度および偏光角度を得るためには、偏光モザイクの空間的処理画像にて２×２のセルでの空間的な一種の差分操作を実施することになり、その影響でＢ偏光画像にはモアレが発生することが避けられない。このパターン偏光子を用いた場合のモアレ発生は、単なる画素サンプリングによるモアレとは異なり上記のように偏光画像を得るための空間的画像処理に主原因があり本願発明者らの実験によれば通常の画素サンプリングのモアレ発生にくらべ非常に著しいことが判明している。このように図５の構成においては偏光観察における画質が大きく劣化してしまう。

本実施形態では、通常の撮像素子を用いて偏光情報を１画素単位で得ることができ、この問題が回避される。すなわち、本実施形態における撮像部は、偏光子を介することなく、戻り光を受け、輝度値を示す信号を出力する。さらにカラーＲＧＢ各波長成分にて偏光画像が得られる。コスト高となる偏光撮像素子も不要となる。

次に偏光照明の偏光面を回転した時の輝度の変動について説明する。以下の説明では、被写体は生体臓器粘膜ではなくプラスチックや木など一般的な材質の物体を例にとる。これは、粘膜表面での反射が基本的には鏡面反射であるためであり、反射は被写体の材質に依存することなく物理現象として同一とみなせるためである。

図７Ａおよび図７Ｂは、本発明者らが表面の滑らかな陶器製コップと表面に微細凹凸を有する木の板を被写体として偏光撮像をした画像を示す。図７Ａの左側に位置する２つの画像は、入射偏光面角度ΨＩ＝０°の偏光照明で被写体が照射されているときの輝度画像である。一方、図７Ａの右側に位置する２つの画像は、入射偏光面角度ΨＩ＝９０°の偏光照明で被写体が照射されているときの輝度画像である。

図７Ｂの４つの画像は、それぞれ、図７Ａの４つの画像を模式的に描いた図である。図７Ａおよび図７Ｂの上段に位置する画像から明らかなように、表面が滑らかな陶器では、偏光照明の偏光を変化させても輝度パターンの変化はあまり観測されなかった。しかし、多くの凹凸が存在する木の板では、図７Ａおよび図７Ｂの下段に位置する画像から明らかなように、偏光照明の偏光面の角度ΨＩを変化させると、観測される輝度画像に大きな変化があることが判明した。このような差は、以下のように説明される。

図８は、表面８０１に対して入射角がゼロに近い偏光が入射して直接反射をカメラで観測する様子を示している。図８（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっている。しかし、反射光の直線偏光は、光の進行方向が変わるだけでエネルギーである輝度は入射光とほぼ同一である。これは以下の理由による。

図９は、フレネル理論による鏡面反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はＮＮ＝１．８を想定した。垂直入射とみなせる０°〜１５°付近の入射角度は、範囲９０１に相当する。グラフから読み取れるように、この入射角範囲９０１では、Ｐ波もＳ波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率ｎ＝１．４〜２．０の自然物体において、広く成立する。

以上のように、滑らかな表面に対して入射角度がほぼゼロで偏光が入射し、それが１回反射して観測される場合、偏光照明の偏光面を角度ΨＩだけ回転させても反射光のエネルギーが変わらないため、観測される輝度Ｙは不変となる。

図１０Ａは、木の板の表面に入射する光（偏光照明）の偏光面を変化させながら輝度画像を撮影した場合における同一画素の輝度変動を示すグラフである。図１０Ｂは、撮像対象となる木の板の輝度画像（非偏光照明時の輝度画像）である。図１０Ｃは、図１０Ｂに示される木の板の表面の凹凸を模式的に示した図である。

図１１は、偏光照明の偏光面の角度ΨＩが０°、４５°、９０°、１３５°のときに得られた輝度画像の特定の画素における輝度Ｙの変動を示している。このグラフから、輝度Ｙは各偏光照明の偏光面の角度ΨＩに対して周期的に変動を示すことがわかる。木の板の表面は滑らかではなく多くのグルーブが存在し、そこで入射光が多重反射する。そのため輝度Ｙは、照明の偏光角度ΨＩに依存して変動を起こすのだと考えられる。この理由を詳述する。

図１２は、表面にグルーブ１２０１が形成され、その斜面で２回の多重反射が発生している様子を示す。この多重反射は、表面の凹凸が多い被写体表面、例えば布、木材、人の肌、皮など様々な自然物で発生していると考えられる。１回目と２回目の反射の性質が重要となり、３回目以降の多重反射は輝度が小さくほぼ無視できるので２回反射のみを考える。一般に反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射 ２回目： 鏡面反射
２）１回目：拡散反射 ２回目： 拡散反射
３）１回目：鏡面反射 ２回目： 拡散反射
４）１回目：鏡面反射 ２回目： 鏡面反射
の４通りの現象が想定できる。

このうち、１）と２）は最初の反射によって拡散光として非偏光となり、あらゆる方向に反射する。しかし実験によると被写体が着色しており輝度が暗い場合はこの１回目の拡散反射成分は比較的弱い。これは被写体の内部への光の浸透が少ないことを意味し、フレネル理論によればそれと相補的な３）４）の鏡面反射の現象が優位となる。また、３）のように２回目を拡散反射と考えた場合には、その入射と反射の幾何学的関係から、当然、４）も同時に発生していることがわかる。この場合には、偏光度、輝度のいずれの基準でも、鏡面反射が主たる輝度成分となる。

以上から、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えればよい。グルーブの斜面の表面は完全に滑らかではなく、照明光も完全な平行光ではない場合には、鏡面反射といえども理想的な鏡面とは異なる。このため実験によれば正反射条件を完全に満たさない位置でも、この２回反射は比較的容易に観測、撮像でき、その偏光特性は鏡面反射で起因するものであることが確認できた。

次に図１２（ａ）、（ｂ）を参照する。図１２（ａ）および図１２（ｂ）には、それぞれ、被写体の表面に存在するグルーブ１２０１の一部が示されている。グルーブ１２０１の少なくとも一部は、被写体表面上において、一方向に延長している。この延長方向を「主軸方向」と称する。現実のグルーブ１２０１は、直線的に延びている必要はなく、曲線的に延びていてもよい。曲線的に延びているグルーブであっても、その一部は、近似的に主軸方向に延びる直線的なグルーブとみなすことができる。

なお、被写体表面に存在するグルーブ１２０１の断面は、Ｖ字形状によって近似することができる。このため、生体の臓器表面に存在するようなグルーブは、「Ｖ字グルーブ」と称することができる。このようなＶ字グルーブの断面は、厳密な意味で「Ｖ字」である必要はなく、曲面を含んでいてもよい。概略的に「Ｖ字型」の断面を有するグルーブが被写体表面に存在すれば、以下の説明が適用可能である。後に参照する図２２に示されているような、隣接する２つの凸面に挟まれた凹部が紙面に垂直な方向の延びる構造も、Ｖ字グルーブの一例である。

図１２（ａ）で示すように、グルーブの主軸方向１２０２に対して垂直に入射する偏光照明はＰ波である。再び図９を参照すると、被写体のグルーブ１２０１の傾斜角が４５°程度と仮定して、そこに真上から照明が入射すると、フレネル反射率のグラフから読み取れるとおり、この入射角範囲９０２では、Ｓ波にくらべてＰ波の反射率が極めて弱くなる。さらにＰ波は１回および２回反射を経由する間にさらに弱くなる。一方図１２（ｂ）で示すＳ偏光は、２回の反射を経てもそれほど弱まらない。その結果、グルーブに対してＰ波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、Ｓ波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。

以上のように表面グルーブを仮定すれば、実験にて得られた入射光の偏光面の回転による反射光の輝度変化が説明できる。

グルーブにおける偏光照明の２回反射によって得られる輝度Ｙの変化の関数形が、非偏光を入射した場合と実質的に同等の変動をすることを本願発明者は見出した。以下、この点を説明する。

図１３（ａ）は、被写体表面のグルーブを表面の直上から見た図である。これは図１２を上から見ることに相当する。図１３（ａ）には、撮像画像面に平行なＸ−Ｙ座標が記載されている。グルーブ１２０１の主軸方向１２０２に垂直な方向とＸ軸の正部分との間に形成される角度がΨで示されている。図１３（ｂ）は、被写体に入射する偏光照明の偏光面の角度ΨＩを示しており、図１３（ｃ）は、図１３（ａ）の内容と図１３（ｂ）の内容を１つに表示した図である。以降、グルーブの向きを角度Ψにて指定するものとする。これはグルーブの主軸の方位角と９０°異なっている。

図１４Ａは、簡単のためΨＩ＝０として偏光面がＸ軸に合致している場合にグルーブに対して垂直と水平方向に分配される入射光エネルギーを説明するための図である。グルーブの方向は、角度Ψによって特定されている。入射光が図１２に示すようにグルーブ内で２回反射を起こすと仮定する。このとき、ある角度φの偏光面を有する直線偏光の輝度を観測する。図１４Ｂは、輝度が観測される直線偏光の角度ψを示す図である。角度φにおける偏光輝度をＩ（Ψ、φ）とすると、これは以下の式で表現できる。ただし、グルーブの方向（Ψ）および主軸方向（π／２−Ψ）のエネルギー反射率を、それぞれ、ＡおよびＢとしている。

この偏光輝度Ｉ（Ψ、φ）は、式１の変形をすることにより、以下の式２で表される。この式２から、偏光輝度Ｉ（Ψ、φ）はφについて周期πで変動することがわかる。

ここで、入射偏光面角度を０°でなく、一般的なΨＩとする。以上の議論から、入射偏光面角度がΨＩ、観測角度がφの場合の偏光輝度は、以下の式で与えられる。

この式で示される偏光輝度は特定方向の観測角度φにおいて観測される偏光輝度であるから、非偏光の平均輝度の観測を行う場合には、式３に示される偏光輝度を観測角度φについて１周期積分すればよい。１周期とは１８０°＝πである。この積分によってφに関する正弦関数、余弦関数はゼロになる。すなわち、入射偏光面角ΨＩの偏光が角度Ψで特定されるグルーブに入射し、２回反射する場合に観測される輝度ＰＹ（ΨＩ、Ψ）は、以下の式のようにΨＩについて１８０°の周期関数で表現される。

輝度ＰＹ（ΨＩ、Ψ）が式４に示すようなΨＩの余弦関数となる場合、輝度ＰＹ（ΨＩ、Ψ）は、Ψ＝ΨＩで最大値をとる。このため、輝度ＰＹ（ΨＩ、Ψ）が最大となる角度Ψ＝ΨＩを輝度最大角ＹＰＨと称する。また変動の振幅については余弦関数項が＋１〜―１に変動することを考慮し、輝度変動の変調度を考えることができる。この比率を輝度変調度ＹＤと称することとする。この輝度変調度ＹＤは以下の式で得られる。

なお、輝度最大角ＹＰＨおよび輝度変調度ＹＤは、画素単位で与えられる。このため、画像を構成する各画素に輝度最大角ＹＰＨを設定した画像を「輝度最大角画像ＹＰＨ」と称する。同様に、画像を構成する各画素に輝度変調度ＹＤを設定した画像を「輝度変調度画像ＹＤ」と称する。

この輝度最大角ＹＰＨおよび輝度変調度ＹＤは、それぞれ、通常の偏光観測における偏光主軸角および偏光度に対応する量であるが、その量的関係は明確ではなかった。そこで、両者の関係を明確にするため、非偏光の照明をグルーブに入射した場合の２回反射の偏光状態について検討する。

図１５は、非偏光の光１５０１がグルーブに入射する場合の図である。非偏光の光１５０１がΨの角度を有するグルーブに入射する場合には、エネルギーはグルーブの主軸方向とその垂直方向に均等に分配されると考えられるため、エネルギー反射率Ａ，Ｂを乗じたエネルギーがグルーブの主軸方向とその垂直方向に射出される。φの角度で偏光観測した場合、図１２における説明から、偏光輝度はグルーブの主軸方向において最大値（反射率Ｂ）をとり、主軸の垂直方向にて最小値（反射率Ａ）をとる。偏光度ＤＯＰを計算すると、

となる。

上記の議論から、偏光照明における偏光面の角度ΨＩを回転させた場合の輝度変動の位相角である輝度最大角ＹＰＨと非偏光照明時の偏光主軸とは一致することが判明した。同様に偏光照明における偏光面の角度ΨＩを回転させた場合の輝度変動の振幅である輝度変調度ＹＤと非偏光照明時の偏光度ＤＯＰとが一致することも判明した。よって、非偏光の照明を前提としたフレネル反射理論と表面法線の議論を本発明における偏光輝度の変動に利用することができる。

本実施形態における画像処理プロセッサ１０８は、上述の輝度最大角画像ＹＰＨおよび輝度変調度画像ＹＤを得て、被写体の表面凹凸情報を取得する。次に、図１６を参照して、画像処理プロセッサ１０８の構成例と動作を説明する。

図１６は画像処理プロセッサ１０８の構成を示すブロック図である。照明の入射偏光面角度ΨＩを０°、４５°、９０°、１３５°と変え、それぞれの入射偏光面角度ΨＩの偏光で被写体を照明しながら、４枚の輝度画像からなる輝度画像群１６０１が取得される。こうして撮像された４枚の輝度画像群１６０１が画像処理プロセッサ１０８の変動輝度処理部１６０に入力される。

前述のように、偏光照明の偏光面を回転した場合の輝度変動は周期１８０°の余弦関数になる。変動輝度処理部１６０では、輝度変動を余弦関数にフィッティングする。輝度変動を示すＹ（ΨＩ）は、照明の偏光面の角度ΨＩを変数として以下のように表現される。

図１７は、この輝度変動の余弦関数を示したものであり、上記の振幅ＡＩ、位相Ψｏ、平均値Ｙ_ΨI__aveの意味を表している。４個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。

４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず、非偏光照明下での原画像の輝度Ｙ_ΨI__aveを以下の式で求める。この式の右辺は、ΨＩ＝０°、４５°、９０°、１３５°の偏光照明で照射された被写体から得られる４つの輝度画像を加算し、平均化することを意味している。輝度Ｙ_ΨI__aveは近似的に非偏光照明下での輝度画像を再現しており、内視鏡の通常観察画像として利用することができる。このため、輝度Ｙ_ΨI__aveを「非偏光平均輝度画像」と称することができる。

次にサンプルされた輝度から余弦関数への最小２乗誤差を用いた最適フィッティングを行う。ここでは、０°、４５°、９０°、１３５°という４方向のサンプルから実施する。余弦関数は振幅、位相、平均値の３種の情報で決定されるため、これらを決定するためには３点のサンプル以上であれば実際には何点でもかまわない。しかし、４５°サンプルの場合には最適フィッティングが簡単になる性質がある。

まず偏光角度が０°、４５°（＝π／４）、９０°（＝π／２）、１３５°（＝３π／４）における輝度の２乗誤差Ｅを以下のように定義する。

この２乗誤差を最小化する余弦関数の位相Ψｏは、以下の式から求められる。

この式から、解は、次の式で与えられる。

逆三角関数などの数学関数では一般に以下のような制限が課されている。

この角度範囲を考慮すると、ａとｃの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。

この最大値をとるΨ０ｍａｘの値を、そのまま、輝度最大角画像ＹＰＨとすればよい。

次に、振幅の最大値と最小値を求める。まず、振幅Ａ_Iを求めるため、以下の式を用いて２乗誤差の最小化を行う。

振幅Ａ_Iを用いて、振幅の最大値と最小値は以下のようになる。

そこで（式５）に（式１８）の振幅最大値Ｙｍａｘと最小値ＹｍｉｎをそれぞれＭＡＸ、ＭＩＮとして用いると輝度変調度画像ＹＤが求められる。

なお余弦関数への一般の最適フィッティングは３点以上のサンプルにおいて可能であり、その方法は例えば特許文献５に記載されている。

以上の処理によって輝度最大角画像ＹＰＨと輝度変調度画像ＹＤが得られる。図１６では、輝度最大角画像ＹＰＨに参照符号「ＹＰＨ」、輝度変調度画像ＹＤに参照符号「ＹＰＨ」を付している。図１６に示すように、輝度最大角画像ＹＰＨは方位角処理部１６０４に、輝度変調度画像ＹＤは天頂角処理部１６０６にそれぞれ送られる。

図１８Ａは、被写体の表面の法線方向を特定する２つの角度、すなわち方位角と天頂角を示す図である。法線ベクトルは、３次元ベクトルであるが、長さが１に正規化されている。そのため、法線ベクトルの自由度は２であり、角度で表現する場合には、画面内の方位角Ψと、視線に対する天頂角θとによって表現される。通常の右手系では、画像内にＸ−Ｙ軸を設定し、Ｚ軸の向きが視線（光軸）方向となる。法線の３成分（Ｎｘ，Ｎｙ，Ｎｚ）との関係は図に示すとおりである。方位角Ψと天頂角θが求められたなら、その点での表面法線は以下のようになる。

方位角処理部１６０４では、輝度最大角画像ＹＰＨを用いて方位角Ψを算出する。ここで上述の議論から非偏光を入射した場合の鏡面反射に関するフレネル理論を参考にする。この理論では、非特許文献２にあるように非偏光が入射してそれをカメラの前の偏光板で偏光観測する。このとき、被写体表面で鏡面反射した反射光ではＰ波が減衰し、Ｓ波が優位となる。このため、グルーブ表面の法線の方位角Ψは、輝度が最小となる偏光面の角度に等しくなる。この方位角Ψで定まる方向は、輝度が最大となる偏光面に直角の方向に合致する。これを本発明の偏光照明に適用すると、グルーブ表面の法線の方位角Ψは、偏光輝度最大角の方向に直角の方向に合致する。すなわち、輝度最大角画像ＹＰＨを用いて、方位角Ψを求めることができる。

ここで問題となるのは、非特許文献２で、"１８０°ａｍｂｉｇｕｉｔｙ"と紹介されているとおり、この方位角Ψに１８０°の不定性があることである。すなわち、グルーブ表面の法線の方位角Ψとして、１８０°異なる２つの候補が求められる。この２つの候補から１つを選択することを、ここでは「不定性の処理」と称する。

図１６に示す方位角不定性処理部１６０７では、不定性の処理を行うため、非偏光輝度画像１６１２、あるいは輝度変調度輝度変調度画像ＹＤを用いる。

次に、図１９Ａおよび図１９Ｂを参照して、方位角不定性処理部１６０７の処理内容を説明する。図１９Ａには、グルーブの輝度画像および断面構成１９０２が示されている。個々の画素のサイズよりもグルーブは大きいため、１つのグルーブ内で輝度分布が存在する。なお、グルーブの断面構成１９０２は、２つの傾斜面を有しており、傾斜面の傾斜角度は３０〜６０°の範囲内にある。

照明光がグルーブにほぼ直上から照射されると、輝度画像においては、網点で示す領域１９０３で輝度値が高く（明るく）なり、グルーブの底辺付近領域１９１３で輝度値が低く（暗く）なる。すなわち、グルーブの内部で輝度値が勾配を持つ。非偏光照明下で得られた輝度Ｙ_ΨI__aveに空間的な微分処理を実施して、輝度値の勾配ベクトルを算出すると、輝度勾配ベクトル１９０４、１９０５が得られる。勾配ベクトル１９０４、１９０５は、グルーブ内の２つの傾斜面の各々について算出される。

一方、輝度最大角画像ＹＰＨで求められる方位角Ψは１８０°の不定性を有するため、Ａ点においては、２つ候補１９０６ａ，１９０６ｂが得られ、Ｂ点においては、２つの候補１９０７ａ，１９０７ｂが得られる。ここでこれらの候補のベクトルは図１９Ａでは、グルーブの正しい向きとは多少ずれて表示されているが、これは以下の角度差の説明をわかりやすくするためで本質的ではない。

そして、輝度勾配ベクトルに対する角度差の大きい方の方位角Ψを採用すると、Ａ点においては候補１９０６ａが、Ｂ点においては候補１９０７ａがそれぞれ採用される。そのため、Ａ点では下向きの矢印で示される候補１９０６ａの方位角Ψが選択され、Ｂ点では上向きの矢印で示される候補１９０７ａの方位角Ψが正しく求められる。

次に、図１９Ｂを参照しながら、輝度変調度画像ＹＤによって２つの候補から１つを選択する例を説明する。

照明光がグルーブに対してほぼ直上から照射されると、グルーブ内での２回反射のため、グルーブ底面付近で偏光度ＤＯＰが高くなる。前述の理論から偏光照明を回転した場合の輝度変調度値も同様の挙動を示す。そのため、輝度変調度画像ＹＤにおいては、グルーブ底辺付近１９１３の領域１９０８で値（輝度変調度）が大きくなり、グルーブの外側では値が低くなる。そこで輝度変調度画像ＹＤの勾配ベクトルを計算すると、輝度変調度勾配ベクトル１９０９、１９１０が算出される。一方、輝度最大角画像ＹＰＨで求められる方位角Ψは、１８０°の不定性を有するため、Ａ点においては、２つ候補１９１１ａ，１９１１ｂが得られ、Ｂ点においては、２つの候補１９１２ａ，１９１２ｂが得られる。ここで、輝度変調度の勾配ベクトルと輝度最大角との角度差の評価値を使って、角度差の小さいほうの方位角Ψを採用すると、Ａ点においては候補１９１１ａが、Ｂ点においては候補１９１２ａがそれぞれ採用される。なお、図１９Ａ，図１９Ｂでは、勾配ベクトルの算出箇所と法線ベクトルの算出箇所とが異なるように描いてあるが、これは便宜上のためである。実際の画像処理において、勾配ベクトルは法線ベクトルを推定するＡ点、Ｂ点の位置で正確に算出する。

なお、以上の説明では、輝度勾配ベクトル、あるいは輝度変調度ベクトルを単独で使っても正しく法線ベクトルが求められると錯覚するが実際は、これらの情報は空間微分による多くのノイズを含んでおり単独では全く信頼性がない。本発明の偏光照明を用いた輝度最大角画像と一緒に用いて初めて有用な情報となっていることに注意されたい。

図１９Ｃは方位角の決定手順のフローチャートである。

ステップＳ１９Ｃ０１でグルーブの方位角Ψの候補Ψ１を、輝度最大角画像ＹＰＨの値（輝度最大角）を９０°回転することによって求める。ステップＳ１９Ｃ０２で、候補Ψ１を１８０°回転したもう１つの方位角候補Ψ２を求める。ステップＳ１９Ｃ０３では、輝度勾配、あるいは輝度変調度のいずれかから求められた勾配角（ｇｒａｄａｎｇｌｅ）と候補Ψ１、Ψ２との角度差の評価値Δ１、Δ２を算出する。

輝度勾配を使うか、輝度変調度を使うかは被写体の表面凹凸の性質に従って決定すればよい。しかし輝度の変動がそのまま表面法線を表現するような簡単な状況は実際には少ない。多重反射、その他の工学的影響によって輝度は法線意外の影響で種々に変化する。それに比較すると輝度変調度画像は、安定的に取得できる特徴で、しかも本発明で開示したように偏光照明に工夫すれば観測する撮像素子側には特別な工夫なしで取得できるため有効性が大きい。

ステップＳ１９Ｃ０４で、輝度勾配を使うのか、輝度変調度勾配を使うのかを選択する。前者の場合には、ステップＳ１９Ｃ０５の条件が設定されてΨ１、Ψ２のうち角度差が大きい方が選択され、Ψが決定される。一方、後者の場合には、ステップＳ１９Ｃ０６の条件が設定されて、Ψ１、Ψ２のうち角度差が小さい方が選択されてΨが決定される。

天頂角処理部１６０６では、輝度変調度画像ＹＤを用いて天頂角θを算出する。現段階では表面グルーブの２回反射において偏光度と天頂角θの関係を正確に理論的に解明した従来技術はない。本実施形態では、非偏光を入射した場合のフレネル理論を採用する。この場合には、非特許文献２に記載されているように、非偏光が入射してそれをカメラの前の偏光板で偏光観測する。このとき、被写体表面にて鏡面反射した反射光の偏光度ＤＯＰを算出すると、表面の法線の天頂角と、このＤＯＰとの間には屈折率ＮＮを用いたフレネル理論の曲線の関係が成立する。これを本発明の偏光照明に適用すると、輝度変調度画像ＹＤ値をＤＯＰの代わりに用いて天頂角が決定される。ただし、非特許文献２、および非特許文献３でも説明されているように、この天頂角にはブリュースター角を挟んだ不定性がある。

この不定性を説明する。図２０Ａは照明の入射角と偏光度ＤＯＰの関係を、屈折率ＮＮを１．５から３．０まで変えながら描いたものである。入射角はそのまま表面の天頂角となる。屈折率を大きくすると最大位置が角度の大きな方向に５５°から７０°付近まで移動する。偏光度ＤＯＰは、非偏光の入射光が入射角θで被写体表面に入射しおなじ出射角θにて鏡面反射する場合には、材質の屈折率ＮＮを用いて以下のそのフレネル反射の式から計算される。

上記の不定性とは、ＤＯＰから天頂角を求める場合に曲線が最大となる角度であるブリュースター角を挟んで２つの角度が推定されて一方に決定できなくなることである。

図２０Ｂは、このブリュースター角を挟んだ不定性を解決する方法を示す図である。内視鏡で観察される生体内の表面粘膜によるグルーブ傾斜角は、ほぼブリュースター角相当の５５°以下になるという仮定をおく。そして探索範囲を図２０Ｂに示す０°からブリュースター角までに制限することにより困難を解決している。

図２０Ｃは、天頂角を決定するためのフローチャートである。

ステップＳ２０Ｃ０１では、偏光度差の最大値ＭＩＮＤＩＦを設定し、ステップＳ２０Ｃ０２では、ブリュースター角θ_Bを屈折率ＮＮから理論的に求める。ステップＳ２０Ｃ０３でθを０°にセットしてＳ２０Ｃ０４でブリュースター角より小さいならば以降の計算を行う。まずステップＳ２０Ｃ０５にて（式２１）で示した理論的な偏光度ＤＯＰを求めておき、ステップＳ２０Ｃ０６にて、このＤＯＰと輝度変調度ＹＤとの差分絶対値ＤＩＦを計算する。ステップＳ２０Ｃ０７にてこのＤＩＦがＭＩＮＤＩＦより小さい場合には、θ_MINをこのθにセットし、ＭＩＮＤＩＦにＤＩＦをセットする。そしてＳ２０Ｃ０９にてθの角度を１°刻みにて増加してループ処理を継続する。ステップＳ２０Ｃ０４にてこのループ処理を脱出した場合にはθ_MINを天頂角に決定する。

法線画像生成部１６０８では、求めた方位角φと天頂角θから（式１９）を用いてカメラ座標系における被写体表面の法線ベクトル（Ｎｘ，Ｎｙ，Ｎｚ）を求め、これを２次元的な法線画像とする。

輝度画像生成部１６０９では、求められた法線画像に対して、カメラ視点方向と照明光源方向を与えることによって物理反射モデル式を用いて輝度画像を生成する。ここでは被写体の鏡面反射をよく表現するモデル式としてクック＝トランスモデルを使用する。それによると輝度Ｉｓは以下の式で表される。

図１８Ｂはクック＝トランスモデルを用いる場合のベクトルと角度の関係を示す図であり、表面法線Ｎと、光源ベクトルＬと視点ベクトルＶが描かれている。光源ベクトルＬと視点ベクトルＶの２等分ベクトルＨを用いると、上式におけるαは、２等分ベクトルＨと法線Ｎとのなす角度であり、θｒは視線ベクトルと法線Ｎのなす角度である。フレネル係数Ｆおよび幾何減衰率Ｇは以下の式で表現される。

また係数Ｋは入射照度に関係する係数である。このクック＝トランスモデルを使えば、表面法線画像から輝度画像を生成することができるが、そのためには屈折率ＮＮのほかに、視線ベクトルＶ、光源ベクトルＬなどの幾何学的な設定を与える必要がある。

照明方向設定部１６１０は、この光源ベクトルを設定する要素であって、内視鏡診断などにおいては観察するユーザである医師が自由に設定する。

以上の処理によって２次元画像から表面の凹凸を推定し、表面法線画像として輝度に反映した輝度画像１６１１が生成される。この画像は推定された法線画像に基づいているために照明変更がコンピュータ上で自在に替えることができ、内視鏡の欠点の１つである照明位置の変更ができないため表面凹凸の観察が困難である、という課題を解決することができる。

なお、図１６に示される各構成要素は、それぞれ、特別のハードウェアによって実現されても良いし、ハードウェアおよびソフトウェアの組み合わせによって実現されても良い。本実施形態では、プロセッサによって上記の構成要素の少なくとも一部が実現され得る。また、本実施形態の画像処理部の動作は、画像処理部のメモリ内に記憶されたコンピュータプログラムによって規定され得る。そのようなコンピュータプグラムは、画像処理装置に設けられたプロセッサに各種のステップ（図１９Ｃ、図２０Ｃ）を実行させる指令のセットである。

図２１（ａ）は、本実施形態による表面法線推定の実験の結果を示す図である。被写体は、かまぼこ型断面を有するレンチキュラーレンズ板である。被写体は、鏡面反射を支配的にするため、赤色系統、あるいはチョコレート色系統に塗装されている。この被写体に対して、上記の処理を実施した。

図２１（ａ）の上部画像は、図１６の非偏光輝度画像１６１２を示し、図２１（ａ）の下部画像は、図１６の輝度変調度画像ＹＤを示す。非偏光輝度画像では、白い（明度の高い）画素が高い輝度を示すが、輝度変調度画像では、暗い（明度の低い）画素が高い値（変調度）を示している。図２１（ｂ）は、図２１（ａ）の四角形で囲まれた一部のみを模式的に描いた図である。輝度画像では、凸部２１０１に相当する高輝度部分（白色部分２１０４）と凹部２１０２に相当する低輝度部分（斜線部分２１０３）の繰り返しとなる。一方、輝度変調度画像では、輝度変調度が高い部分（網点部分２１０５）と低い部分（白色部分２１０６）の繰り返しとなっている。そして低輝度部分が高い輝度変調度に対応している。

図２２は、図２１に示される被写体（レンチキュラー板）の断面図である。レンチキュラー板では凹凸が周期的に存在し、照明光は、凸部２２０１においては１回だけ反射してカメラで撮像される。凸部２２０１の像を形成する光は、１回反射であり、非常な高輝度となる。凹部２２０２はグルーブを形成しているため、光は２回反射してカメラで撮像される。このため、凹部２２０２で反射された光の像は、やや低輝度となる。

図２３は、図２１における輝度および輝度変調度のプロファイルを示している。図中の曲線２３０１が輝度、曲線２３０２が輝度変調度を表している。低輝度の部分（曲線２３０１の凹部）において、輝度変調度が増加していることがわかる。

図２４は、別の被写体を示す平面図である。この被写体は、プラスチック板上にＡからＩまでの８本の溝を加工し、塗装したものである。図２４Ａは、実物の被写体から得られた輝度画像を示す写真を示す図であり、図２４Ｂはその模式図である。平面内の溝どうしの方位角度間隔は２２．５°である。

図２５と図２６は、ぞれぞれ図２４の被写体のＡからＩまでの各グルーブについて図１６の方位角不定性処理部１６０７および天頂角処理部１６０６を実施し、方位角Ψ、天頂角θを推定した結果である。網点を施したグラフが正解を、斜線を施したグラフが推定結果を示す。なお正解は、レーザ変位計を用いて測定している。

この結果を見ると、図２５の方位角推定結果では、ほぼ１０°程度の誤差で推定が行われている。一方２６の天頂角の推定では誤差がやや大きい。

図２７は、図２４の被写体に対して図１６の処理を全て実施した輝度画像の結果である。図２７Ａは、照明光源の位置を（ａ）画面向かって右側から、（ｂ）画面向かって左側から、（ｃ）画面向かって下側から（ｄ）画面向かって上側からそれぞれ照射した場合の画像を生成している。図２７Ｂはその模式図であり（ａ）から（ｄ）はそのまま対応する。ＡからＩまでで指定したグルーブは照明方向の変化によってグルーブが明瞭に表現されていることがわかる。したがって図２４Ａで示したような正面からの照明しかない内視鏡画像に対して明瞭な凹凸画像を提供することができる。

（実施形態２）
次に、図２８を参照しながら、本発明による画像処理装置の第２の実施形態を説明する。

本実施形態の画像処理装置は、図１Ｃとほぼ同じ構成を備えているが、色フィルタ２８０１が追加されている点で異なる。

本発明者による実験によると、被写体の色によってグルーブにおいて観測される偏光状態は大きく変化することが判明している。すなわち、波長５２０（ｎｍ）付近の狭帯域観測によれば、チョコレート色、赤色などの被写体は、全体として暗い画像となり、グルーブにおいては非常に強い偏光を観測できるのに対し、イエロー系統色においては全体として明るい画像が得られるがグルーブでの偏光が非常に弱くなってしまう。この理由は、明るい色では拡散反射成分が支配的となり、２回反射の鏡面反射がほとんど隠されてしまうためと推察される。本実施形態においては、強い偏光を観測するため、被写体の分光反射率が低い波長帯に合致した偏光照明光を使う。例えば上記のイエローの場合には補色である青系統の照明色を用いて暗い画像を撮影する。照明光の波長域は、被写体の分光反射率を考慮して決定するのが望ましい。

図２９は、内視鏡観察における代表的臓器である大腸粘膜の分光反射率の例を示す図である。大腸粘膜は、５２０−６００（ｎｍ）に強い吸収を有する。そこで分光フィルタの特性をこの低反射率領域に合致させて２８０１の特性を持たせれば、この波長帯では比較的暗い色として撮影されるため本発明で述べた偏光による表面グルーブの観察に好適となる。この目的のためにフィルタ２８０１が光源１０４の出力段に設置される。なおフィルタ２８０１は通常のカラー画像観察の場合と切り替えて利用されてよい。またカラーフィルタは撮像側１１０の前に設置されてもよい。

（実施形態３）
以下、図３０Ａおよび図３０Ｂを参照しながら、本発明による画像処理装置の第２の実施形態を説明する。本実施形態の画像処理装置は、内視鏡のみならず、皮膚科や歯科などメディカル用途の照明付きカメラ、指紋撮影装置、表面検査装置などへ適用される装置である。

図３０Ａは、本実施形態の一構成例を示している。本実施形態の画像処理装置は、図１Ｃの内視鏡１０１の代わりに、装置４００を備えている。この装置４００は、リング照明４００１、リング状偏光面制御素子４００２、撮影レンズ４００３、撮像素子４００４を有している。

図３０Ｂは、図３０Ａの概観を示す図である。本実施形態では、リング照明４００１上にリング状偏光面制御素子４００２が設置されている。リング照明４００１および偏光面制御素子４００２には、光ファイバーなどのライトガイドから非偏光が入力され、図２に示されるように、照明の偏光面を例えば０°、４５°、９０°、１３５°のに回転させる。

なお、リング照明４００１は、光源からのライトガイドを使わないＬＥＤなどによる自発光光源でもかまわない。また、撮像光軸と照明光の光軸のなす角度が１５°以下であればリング照明以外のストロボ発光照明でもかまわない。リング照明を使うことにより、照明が１灯では観察が困難な被写体においても、表面凹凸、グルーブの推定を高精度に実施することができる。特に、照明光の光軸が撮影光軸と略同一であり、かつ均一化されるため、製品表面の傷や凹凸の検査装置、指紋撮影装置、皮膚科用の肌凹凸撮影装置などに好適である。撮影素子４００４、図示されていない画像処理プロセッサは実施形態１における画像処理プロセッサが適用可能である。

なお、上記の実施形態では、照明の直線偏光の回転角度の間隔を４５°に設定しているが、この角度は同一である必要はなく、互いに異なっていてよい。また、この角度の間隔は４５°にも限定されない。ただし、余弦関数の３個のパラメータを決定するために、３個以上のサンプルが必要になる。すなわち、照明の直線偏光の回転角度は、３種以上に変動させることが必要になる。サンプル角度が３種類の場合、例えば０°、６０°、１２０°の３つの角度が選択され得る。

本発明は、医療用内視鏡カメラ、皮膚科、歯科、内科、外科などのメディカル用途のカメラ、工業用内視鏡カメラ、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。

１０１ 内視鏡
１０２ 制御装置
１０３ 挿入部
１０４ 光源
１０５ ライトガイド
１０６ 偏光面制御素子
１０７ 照明レンズ
１０８ 画像プロセッサ
１０９ 撮影レンズ
１１０ 撮像素子
１１１ 映像信号線
１１２ 同期装置
１１３ 先端部
１２０ 偏光照明部
１４０ 撮像部
１５０ 画像処理部
１６０ 変動処理部
１７０ 法線推定部

Claims (15)

1. 偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
   前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得する撮像部と、
   前記撮像部から出力される輝度値を示す信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する変動輝度処理部と、
   前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する法線推定部と、
   を備える画像処理装置。
2. 前記法線推定部は、
   前記輝度最大角画像から前記法線の方位角の候補を求める方位角処理部と、
   前記輝度変調度画像から前記法線の天頂角を求める天頂角処理部と、
   前記法線の方位角の候補から前記法線の１つの方位角を決定する方位角不定性処理部と、
   有している、請求項１に記載の画像処理装置。
3. 前記法線推定部によって推定された法線の画像を生成する法線画像生成部を備えている、請求項１または２に記載の画像処理装置。
4. 前記方位角不定性処理部は、非偏光照明下での画像に相当する非偏光輝度画像、または前記輝度変調度画像に基づいて、前記法線の方位角の候補から１つを選択する、請求項１から３のいずれかに記載の画像処理装置。
5. 前記変動輝度処理部は、前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、前記非偏光輝度画像を生成し、前記方位角不定性処理部に与える、請求項４に記載の画像処理装置。
6. 前記方位角不定性処理部は、前記非偏光輝度画像の空間的な勾配ベクトル、および、前記輝度変調度画像の空間的な勾配ベクトルの少なくとも一方に基づいて、前記法線の方位角の候補から１つを選択する、請求項４または５に記載の画像処理装置。
7. 前記偏光照明部および前記撮像部は、内視鏡に取り付けられている請求項１に記載の画像処理装置。
8. 前記偏光照明部は、非偏光の光を、偏光面を可変可能な偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する請求項１から７のいずれかに記載の画像処理装置。
9. 前記偏光照明の光軸と前記撮像部の光軸との間の角度は１５°以下である請求項１から８のいずれかに記載の画像処理装置。
10. 前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している請求項１から９のいずれかに記載の画像処理装置。
11. 前記被写体の照明方向を仮想的に自在変化させるための照明方向設定部と、
    前記照明方向から照明された状態の前記被写体の輝度画像を前記法線推定部の出力に基づいて生成する輝度画像生成部と、
    を備える、請求項１から１０のいずれかに記載の画像処理装置。
12. 前記偏光照明部は、前記被写体の表面の分光反射率特性が極小になる反射率に相当する波長帯域を透過する分光フィルタを出力段に備える請求項１から１１のいずれかに記載の画像処理装置。
13. 前記偏光照明部は、
    非偏光の光を放射するリング型照明光源と、
    前記リング型照明光源から放射された非偏光の光を前記直線偏光に変換するリング型偏光面変換素子であって、前記直線偏光の偏光面の角度を順次変化させることができるリング型偏光面変換素子と、
    を備える請求項１から１２のいずれかに記載の画像処理装置。
14. 偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射するステップと、
    前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像し、その際に前記被写体からの戻り光を、偏光子を介さずに受けて輝度値を取得するステップと、
    前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、
    前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップと、
    を含む画像処理方法。
15. 被写体を照射する直線偏光の偏光面の角度が３種類以上異なる複数の偏光画像を受け取り、画像処理により、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定する画像処理プロセッサであって、
    前記複数の偏光画像から前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成するステップと、
    前記輝度最大角画像および前記輝度変調度画像に基づいて、前記被写体の表面に存在するＶ字グルーブ内の傾斜面の法線を画素単位で推定するステップと、
    を実行する画像処理プロセッサ。

Images