JP2014108193A - 画像処理装置および内視鏡 - Google Patents

Abstract

【課題】被写体の表面における凹領域を強調して示す画像および立体画像の両方を得ることができる画像処理装置を提供する。
【解決手段】偏光撮像モードにおいては、第１の方向に偏光した第１の照明光で被写体が照射されているときに第１の方向に交差する方向に偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、第１の方向と交差する第２の方向に偏光した第２の照明光で照射されているときに第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、少なくとも一方の偏光画像に基づいて前記被写体の表面における凹領域を検出し、通常撮像画像と合成することにより凹領域を強調した画像を得る。また立体撮像モードにおいては偏光子または各透明領域を透過した光の信号によって構成される複数の視差画像を合成することにより立体画像を得る。
【選択図】図４５

Description

本開示は、画像処理装置および当該画像処理装置に使用される内視鏡に関する。

粘膜で覆われた、生体の臓器器官の壁表面に対して照明光を照射して撮像を行う内視鏡の分野では、被写体の表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認する必要がある。この表面テクスチャは、たとえば胃における胃小区のように平均サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度の半透明の微細な凹凸である。これを内視鏡によって輝度の陰影でとらえることは非常に難しいため、現在はインジゴカルミン溶液など青色色素液体を粘膜上に撒布して、液体が溝にたまる状態を輝度で観察している。

しかし、この処理では、粘膜上に液体を吹き付けるために出血したり、粘膜の色が変わってしまうなどの問題があった。このように表面の凹凸を観察したいという課題に対して偏光照明と偏光撮像を用いた偏光内視鏡が特許文献１に記載されている。

特開２００９−２４６７７０号公報 特開２００９−２１０７８０号公報

Viktor Gruev, Rob Perkins, and Tiｍothy York ,"CCD polarization iｍaging sensor with aluｍinuｍ nanowire optical filters", ３０ August ２０１０ / Vol. １８, No. １８ / OPTICS EXPRESS PP.１９０８７-１９０９４

特許文献１に開示されているような偏光を使う従来技術では、特定の偏光成分の照明光を物体に照射し、物体からの戻り光において、照明と平行な偏光成分、および直交する偏光成分それぞれの画像を撮像し、それらに基づいて表面の形状変化を算出している。

本開示の画像処理装置の実施形態は、偏光撮像モードにおいて、被写体の表面における凹領域を検出し、非偏光撮像モードにおいては非偏光画像を得ることにより、被写体の表面における前記凹領域を強調して示す画像および非偏光画像の両方を得ることができる。

本開示の画像処理装置は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、偏光子および透明領域が設けられた開口領域と、前記開口領域の偏光子または透明領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、各々が複数の光検知素子を覆う複数のマイクロレンズを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像および／または前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像を得て、前記非偏光撮像モードにおいては、前記非偏光照明光で前記被写体が照射されているときに偏光子または透明領域を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては偏光子または透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、前記視差画像を時間的に交互に再現する視差画像合成部とを備える。

本開示の他の画像処理装置は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子および透明領域が設けられた開口領域と、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記開口領域の各偏光子または各透明領域を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、各々が複数の光検知素子を覆う複数のマイクロレンズを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを、各マイクロレンズに覆われた前記複数の光検知素子から選択した一部の光検知素子からの信号に基づいて形成し、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、前記視差画像を時間的に交互に再現する視差画像合成部とを備える。

本開示の更に他の画像処理装置は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、偏光透過軸の方向が異なる複数の偏光子および複数の透明領域が設けられた複眼レンズ部であって、各々に偏光子または透明領域が設けられた複数のレンズを有する複眼レンズ部と、前記複眼レンズ部の各偏光子または各透明領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、前記視差画像を時間的に交互に再現する視差画像合成部とを備える。

本開示の他の画像処理装置は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子および複数の透明領域が設けられた複眼レンズ部であって、各々に偏光子または透明領域が設けられた複数のレンズを有する複眼レンズ部と、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記複眼レンズ部の各偏光子または各透明領域を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子光と、前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、前記視差画像を時間的に交互に再現する視差画像合成部とを備える。

本開示の他の画像処理装置は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子が設けられた開口領域と、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記開口領域の各偏光子を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、各偏光子を透過した光の信号によって構成される時分割の複数の視差画像を得る画素選択再集積部と、
前記視差画像を時間的に交互に再現する視差画像合成部とを備える。

本開示の実施形態によれば、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射するため、通常の被写体像とは別に、被写体表面の凹凸情報や傾斜情報を得ることができる。このため、たとえばインジゴカルミン溶液など青色色素液体を粘膜上に撒布した画像に類似する画像（凹領域が強調された画像）を合成することが可能になる。また、視差画像を得ることができるため、立体画像の表示を行うことができる。

（ａ）および（ｂ）は、いずれも、胃粘膜の内視鏡画像の図 輝度による半透明凹凸部の観測状態を示す図 （ａ）および（ｂ）は、偏光観測の原理を示す図 光が媒質から出射する際の出射角と透過率を示すグラフ （ａ）および（ｂ）は、アクリル製レンチキュラー板の直交ニコル撮像の際のアクリル板上の溝と偏光照明の方向性の関係を示す図 本開示の第１の実施形態の構成を示すブロック図 （ａ）から（ｃ）は、本開示の第１の実施形態におけるカラーホイールを示す図 本開示の第１の実施形態における照明フィルタの特性を示す図 （Ａ）から（Ｃ）は、本開示の第１の実施形態でのモノクロ広帯域偏光撮像素子を形成するワイヤグリッドの平面構造と透過軸方向を示す図 本開示の第１の実施形態でのモノクロ広帯域偏光撮像素子の断面構造を示す図 本開示の第１の実施形態における通常撮像モードの動作を示す図 本開示の第１の実施形態での通常撮像モードのタイミングチャート 本開示の第１の実施形態での偏光撮像モードの偏光モザイク処理部２０２の動作を示す図 本開示の第１の実施形態での偏光撮像モードのタイミングチャート 本開示の第１の実施形態での偏光撮像モードの偏光モザイク処理部２０２の動作を示す図 本開示の第１の実施形態での偏光撮像モードのタイミングチャート 本開示の第１の実施形態での凹領域検出部２０４と画像合成部２０６の処理を説明するブロック図 凹領域検出部２０４で用いる微分処理マスクの例 凹領域検出部２０４で用いる青色強調処理の例 （Ａ）から（Ｃ）は、ラット胃の粘膜を用いた実験結果 本開示の第２の実施形態の構成を示すブロック図 本開示の第２の実施形態における内視鏡先端部と偏光回転照明を示す図 （Ａ）および（Ｂ）は、本開示の第２の実施形態における偏光回転照明の別の構成を示す図 本開示の第２の実施形態におけるカラー偏光撮像素子の断面構造を示す図 （Ａ）から（Ｃ）は、本開示の第２の実施形態におけるカラーモザイクと偏光モザイクの平面配置を示す図 本開示の第２の実施形態における通常撮像モードの偏光モザイク処理部２０２の動作を示す図 本開示の第２の実施形態における通常撮像モードのタイミングチャート 本開示の第２の実施形態における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図 本開示の第２の実施形態における偏光撮像モードのタイミングチャート （Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例１におけるカラーモザイクと偏光モザイクの平面配置を示す図 本開示の第２の実施形態の変形例１における通常撮像モードの偏光モザイク処理部２０２の動作を示す図 本開示の第２の実施形態の変形例１における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図 （Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例２におけるカラーモザイクと偏光モザイクの平面配置を示す図 本開示の第２の実施形態の変形例２における通常撮像モードの偏光モザイク処理部２０２の動作を示す図 本開示の第２の実施形態の変形例２における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図 本開示の第３の実施形態の構成を示すブロック図 本開示の第３の実施形態における内視鏡の先端部を示す図 本開示の第３の実施形態におけるマイクロレンズアレイ型カラー偏光撮像部の構成を示す図 本開示の第３の実施形態における開口部のカラー偏光フィルタ領域の構成を示す図 本開示の第３の実施形態における画素選択再集積部２１０の処理を説明する図 本開示の第３の実施形態における通常撮像モードと偏光撮像モードで取得される画像を説明する図 本開示の第４の実施形態の構成を説明する図 本開示の第４の実施形態におけるマイクロレンズアレイ型カラー偏光撮像素子の構成図 本開示の第４の実施形態におけるマイクロレンズアレイ型カラー偏光撮像部の断面構成図 本開示の第４の実施形態における開口部の偏光フィルタ領域 本開示の第４の実施形態における画素選択再集積部２１０の処理を説明する図 本開示の第５の実施形態の構成を示す図 （Ａ）から（Ｄ）は、本開示の第５の実施の形態における内視鏡の先端部を示す図 本開示の第５の実施形態における画素選択再修正部の処理を説明する図 本開示の第５の実施形態における視差を有する左右画像と被写体距離との関係の図 本開示の第５の実施形態の立体視モードにおける立体観察を説明する図 本開示の第６の実施形態の構成を説明ずる図 （Ａ）から（Ｄ）は、本開示の第６の実施形態の内視鏡の先端部を示す図 本開示の第６の実施形態における開口部の偏光フィルタと撮像面上のカラーモザイクフィルタとの関係を示す図 本開示の第６の実施形態における画素選択再集積部の処理を説明する図 （Ａ）から（Ｃ）は、本開示の第６の実施の形態における変形例の図 本開示の第７の実施形態の構成図 （Ａ）から（Ｃ）は、本開示の第７の実施形態の内視鏡の先端部の図 本開示の第７の実施形態における画像分離部の処理を示す図 本開示の第８の実施形態の構成図 （Ａ）から（Ｃ）は、本開示の第８の実施形態の内視鏡の先端部の図 本開示の第８の実施形態における画像分離部の処理を示す図 本開示の第９の実施形態の構成図 （Ａ）から（Ｃ）は、本開示の第９の実施形態の内視鏡の先端部の図 本開示の第９の実施形態における画素選択再集積部の処理を示す図 （Ａ）および（Ｂ）は、本開示の第９の実施形態の変形例を示す図 本開示の第１０の実施形態の構成図 （Ａ）から（Ｃ）は、本開示の第１０の実施形態の内視鏡の先端部の図 本開示の第１０の実施形態における画素選択再集積部の処理を示す図 本開示の第１１の実施形態の構成図 本開示の第１１の実施形態の内視鏡の先端部の図 本開示の第１１の実施形態の時分割立体視原理図

図１は、ヒトの胃の表面粘膜を内視鏡で観察した画像を示す。図１（ａ）は、通常でのカラー画像を示しており表面にはなだらかな起伏しか感じられない。すなわち消化器などを検察する内視鏡が、臓器表面の透明または半透明で形成された凹凸を検出することは通常のカラー画像処理では困難である。ここで、通常のカラー画像処理とは、非偏光の白色光を照射して得られるカラーの輝度画像を得るための処理である。こうして得られたカラー画像を「カラー輝度画像」と称し、また、カラー輝度画像を得るための撮影をカラー輝度撮影とする場合がある。

一方、図１（ｂ）は、インジゴカルミン液を撒布した後のカラー画像を示しており、表面の微細な凹凸のテクスチャ（サイズが０．５〜１．０ｍｍ、深さが０．１〜０．２ｍｍ程度）が明瞭に確認できる。

図２は、胃や腸の臓器表面に形成された凹凸断面を簡略化して示している。胃や腸の表面に存在する凹凸は、一般的には上に凸のカマボコ状の形状の繰り返し配列によって形成されていると考えられる。隣接する２つの凸部の間に位置する凹領域は、典型的には、ある方向に延びる小さな「溝」である。複数の溝は、局所的には略同じ方向に揃っているが、大局的には複雑な曲線状または他のパターンを示し得る。現実の被写体表面の凹凸は、ドット状の凹部または凸部を含み得るが、本明細書では、このような凹凸の凹部を単に「溝」または「溝領域」と称する場合がある。図２は、被写体の表面部における狭い領域内に存在する幾つかの溝を横切る断面を模式的に示している。簡単のため、以下の説明では、図２に示されるような凹部および凸部が図の紙面に対して垂直な方向に延びていると仮定してよい。

内視鏡による観察は、撮影光軸の近傍に光源が配置された同軸照明であるため、図２に示された被写体に対して、その略直上から照明光を照射し、おなじく被写体の略直上から撮影が行われる。このような同軸照明を用いた通常のカラー輝度撮影にて観察できる反射光には大きく２種ある。１つは表面にて光が反射する鏡面反射光であり、もう１つは媒質内部に浸透し、より下層で反射して戻って表面から再出射される内部拡散光である。鏡面反射光は、照射される光と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。鏡面反射光の色は、照明の色すなわち白色であり、輝度は非常に強い。鏡面反射光による被写体像は、前記の正反射条件から、一般に被写体表面における凹凸の凸部にて強く明るく、凹部では弱く暗い。一方、内部拡散光は、撮影シーンの全域に渡って観測される。内部拡散光の色は、媒質の色自身であり、輝度はそれほど強くならずに媒質全体が光る。内部拡散光による被写体像は、媒質の厚みの厚い凸部において暗く、厚みの薄い凹部において明るくなる傾向がある。すなわち、鏡面反射光と内部拡散光との間では、輝度の高低と被写体表面の凹凸との対応関係が反対になる。

通常の撮影では、上記の２種の反射光が重ねあわされて１つの輝度画像（撮影シーン）が形成される。そのため、撮影シーンの中で、２種の反射光の輝度の差がほぼ拮抗する領域には、凹凸部で輝度の明暗差がほとんど無くなる。従って、通常の輝度画像では、被写体の表面凹凸において輝度の差がほとんど無くなる。もし明暗の輝度差があったとしても、その情報に基づいて、たとえば周囲が画素よりも輝度の低い画素を凹部としてそれを検出する処理をすると、鏡面反射部と内部拡散反射部によって凹凸の位置関係にズレを生じてしまう弊害があり、輝度画像処理は非常に困難である。

図３（ａ）および（ｂ）は、偏光を用いた観察を説明するための図である。図３（ａ）の例では、表面凹凸に平行な方向の偏光照明を照射した場合、図３（ｂ）は表面凹凸に垂直な方向の偏光照明を照射した場合におけるそれぞれ直交ニコル状態の偏光画像を取得している。

図３（ａ）の設定では、臓器表面の凹凸断面を示す模式的なモデル３０１に対して、照明３００とＰ偏光フィルタ３０２が配置されている。これにより、モデル３０１の凹凸が延びる方向（図の紙面に垂直な方向）に対して平行に偏光した光（Ｐ偏光またはＰ波）でモデル３０１が照射される。一方、直交ニコル状態を形成するように観察側偏光フィルタ３０３（Ｓ）が配置され、撮像装置３０４が画像を取得する。

図３（ｂ）の設定では、Ｓ偏光照明の偏光フィルタ３０９（Ｓ）が配置され、直交ニコル状態を形成するように観察側偏光フィルタ３１０（Ｐ）が配置される。なお、図３の例では、偏光フィルタの偏光透過軸が図の紙面に垂直であるときの偏光をＰ偏光、紙面に平行であるときの偏光をＳ偏光（Ｓ波）としている。

直線偏光照明３０５、３１１を用いた撮影において観察できる反射光は大きく２種あり、１つは凸部で光が正反射する鏡面反射成分３０６、３１２であり、もう１つは媒質内部に浸透し、より下層で非偏光の散乱光３０７となり、撮像系に対して傾斜した斜面から表面から再度出射される内部拡散光の偏光３０８、３１３である。内部拡散光は、境界面法線と視線との傾きである出射角が大きい場合に偏光が顕著になる。

次に反射光の偏光の方向について、定性的な説明を行う。

まず、鏡面反射成分３０６、３１２は同軸照明状態での正反射であるから、照射された偏光の偏光状態と同じ偏光状態を維持する。このため、鏡面反射成分３０６は紙面に垂直な偏光、鏡面反射成分３１２は紙面に平行な偏光になる。

一方、内部拡散光の偏光３０８、３１３の偏光方向は、屈折率が１より大きい媒質から空気中へ出射する際の偏光について、フレネル理論で決定される。図４は、フレネル理論に基づいて求められた屈折率が１より大きい媒質から空気中へ出射する際の偏光の状態を示すグラフである。横軸の出射角に対して透過率は常にＴ‖＞Ｔ⊥すなわちＰ偏光＞Ｓ偏光となる。従って、内部拡散光の偏光３０８、３１３ともに、モデル３０１の表面の傾斜に対してＰ偏光が強い偏光となる。

次に、これらの反射光を撮像装置３０４で観察する場合、図３（ａ）では、反射光３０６がＰ偏光（紙面に垂直）、反射光３０８がＳ偏光（紙面内）である状態をＳ偏光フィルタ３０３で観測するので、反射光３０６は遮断状態にて暗くなり、反射光３０８は透過状態にて明るくなる。つまり３０１のカマボコ形を直上から観察した場合、画像３１４のように中心軸付近が暗く斜面付近が明るくなる縞模様となって明瞭に観測される。図３（ｂ）では、反射光３１２、３１３ともＳ（紙面内）である状態を撮像装置３０４のＰ偏光フィルタ３１０で観測するので、反射光３１２、３１３とも遮断状態となって暗くなる。つまりモデル３０１のカマボコ形を直上から観察した場合、画像３１５のように全体的に暗くなり凹凸が不明瞭になる。

図５は、実際にアクリル板表面に縞状に凹凸（多数の溝）が形成されたレンチキュラー板を用いて、この偏光撮像を実行した結果を示す図である。被写体は、完全拡散板上に血管を模した透明シートを置き、その上に乳白色の２ｍｍ厚のアクリル製レンチキュラー板を載せたものである。この被写体を直上から観察した。レンチキュラー板の溝は、図の紙面内における水平方向に対して０°の方向に平行に配置された。図５（ａ）と図５（ｂ）は、それぞれ、偏光照明がＰ、Ｓになった状態で撮影した像を示している。すなわち、図５（ａ）では、偏光照明の偏光方向と被写体表面の溝方向とが平行であり、図５（ｂ）では、偏光照明の偏光方向と被写体表面の溝方向とが直交している。図５（ａ）、（ｂ）の偏光撮像は、両者とも直交ニコル状態で行われた。このときに撮像された直交ニコル画像を観察すると、図５（ａ）ではＰ方向に明暗の縞が明瞭に観察される。一方、図５（ｂ）では明暗が不明瞭になる。

上記のとおり、偏光撮像モードにおいて直交ニコル状態の偏光を撮像すると、偏光照明の偏光方向が被写体の凹部（溝）と平行に近い場合には輝度が周囲よりも明るくなり、凹部を明瞭に検出できる。そこで、被写体の凹凸の向きが未知の場合においては、少なくとも偏光照明が直交した２種類の直交ニコル画像を得ることができれば、微分フィルタ処理などの画像処理によって表面の凹部を検出することができる。検出された凹部に対して、カラーデジタル画像処理でＢｌｕｅ（青く）に着色することで、インジゴカルミン溶液など青色色素液体を粘膜上に撒布した画像と類似の画像を再現することができる。

本発明者の実験によると、内視鏡のような同軸照明状態では、鏡面反射の輝度は完全拡散板を１とした場合に１０から１００程度ときわめて高くなる。このため、この高い輝度を撮像素子が飽和しない範囲にまで低下させるように減光し、直交ニコル画像を撮像する場合、１００：１以上の消光比性能を有する偏光フィルタを用いることができる。

以下、本開示の実施形態を説明する。

（第１の実施形態）
図６は、本開示の実施形態１における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、内視鏡１０１と、制御装置１０２と、表示部１１４とを備える。

内視鏡１０１は、モノクロ広帯域偏光撮像素子１１５を有する先端部１０６、および、ライトガイド１０５と映像信号線１０８とを内部に有する挿入部１０３を有している。内視鏡１０１の挿入部１０３は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド１０５は曲がった状態でも光を伝達することができる。

制御装置１０２は、光源装置１０４と画像プロセッサ１１０とを備える。光源装置１０４内には、たとえばキセノン光源、ハロゲン光源、ＬＥＤ光源、またはレーザ光源であり得る光源１１８が備えられている。光源１１８から発した非偏光の光は、回転するＲＧＢフィルタを有するカラーホイール１１６（ａ〜ｂ）を通過した場合、順次、Ｒレッド、Ｇグリーン、Ｂブルーの光になる。これらの光は、ライトガイド１０５を経由して先端部１０６に導かれ、照明用フィルタ２００を透過する際に、偏光または非偏光の光となる。そして照明レンズ１０７から、偏光または非偏光の照明光１１７となって、被写体である内臓粘膜表面１１１を照射する。被写体からの反射光１１３は、対物レンズ１０９を通ってモノクロ広帯域偏光撮像素子１１５上に結像する。

同期装置１１２は、カラーホイール１０６ａの回転と同期しながら、モノクロ広帯域偏光撮像素子１１５に撮影開始信号を送って反射光による映像を取得する。撮像された映像信号は、映像信号線１０８を経由して画像プロセッサ１１０に送られる。

以上の処理をＲＧＢの面順次方式で連続して実行してカラー撮像と偏光撮像を実行する。以下、通常のカラー撮像を実行するモード「非偏光撮像モード」または「通常撮像モード」と称し、偏光撮像を実行するモードを「偏光撮像モード」と称することがある。

照明制御部１２０は、外部から、内視鏡の動作モードが通常撮像モードおよび偏光撮像モードのいずれであるかを示す信号が入力されると、それに対応して、それぞれに対応したカラーホイールを照明光の光路１２１に挿入する。そうすることにより、面順次照射に用いる照明の分光特性を変化させる。

通常撮像モードの場合には、偏光モザイク処理部２０２にて処理されたカラー画像が画像合成部２０６にてフルカラー動画に組み立てられ、表示部１１４にたとえば動画で表示される。また偏光撮像モードにおいては、同じく偏光モザイク処理部２０２にて処理された画像が凹領域検出部２０４にて表面の凹領域を検出され、画像合成部２０６にて青色強調された表示部にたとえば動画で表示される。

図７（ａ）〜（ｃ）は、照明に使われ得るカラーホイールの例を示している。図７（ａ）に示される通常撮像用カラーホイール１１６ａは、回転軸の周りに設けられた３つの扇形状の領域を有している。この３つの扇形状領域は、それぞれ、Ｒ１Ｒ２で示すほぼ同色のレッド波長域を同時に透過するレッドフィルタ、Ｇ１Ｇ２で示すほぼ同色のグリーン波長域を同時に透過するグリーンフィルタ、Ｂ１Ｂ２で示すほぼ同色のブルー波長域を同時に透過するブルーフィルタとから構成されている。ここで、「Ｒ１Ｒ２」のＲ１およびＲ２は、それぞれ、レッド（Ｒ）の波長域、たとえば６００ｎｍ〜７００ｎｍの短波長側の半分および長波長側の半分の波長域を示す。図７（ａ）のカラーフィルタ１１６ａにおいて、「Ｒ１Ｒ２」と記載された扇形状の領域は、Ｒ１の波長域およびＲ２の波長域の両方の光を透過する領域であり、「Ｒ」と記載しても良い。他の記号、「Ｇ１Ｇ２」および「Ｂ１Ｂ２」も同様である。本明細書では、「Ｒ１」などの符号を、特定の波長域を示すために用いたり、そのような波長域の光を選択的に透過するフィルタを示すために使用する場合がある。

偏光撮像用カラーホイール１１６ｂは、偏光撮像を実行する波長域の設定により種々の構成を有し得る。図７（ｂ）は、グリーンとブルーを混合した２種類の波長帯域の光を順次透過するカラーホイール１１６ｂの例を示している。このカラーホイール１１６ｂは、表面凹凸テクスチャを検出するために適した波長域を選択することが可能である。一方、図７（ｃ）は、６個の異なる波長域の光を順次透過するカラーホイール１１６ｂの他の例を示している。このような構成を有するカラーホイール１１６ｂは、フルカラーの直交ニコル画像を取得するに適している。なお、図７（ａ）のカラーホイール１１６ａおよび図７（ｂ）または（ｃ）のカラーホイール１１６ｂの一方が、外部からの信号によって指定されて選択的に使用される。より具体的には、非偏光撮像モードまたは通常撮像モードではカラーホイール１１６ａが使用され、偏光撮像モードではカラーホイール１１６ｂが使用される。

図８は、照明用フィルタ２００の透過特性を示す図である。Ｂ、Ｇ、Ｒの各可視光波長範囲をＰ偏光とＳ偏光が交互に透過する櫛型の透過特性を有している。たとえば図８に示す例において、波長域Ｂ１（４００〜４５０ｎｍの範囲）でＰ偏光のみを透過し、波長域Ｂ２（４５０〜５００ｎｍの範囲）でＳ偏光のみを透過する。このため、光源からライトガイドを経由してくる光の波長が波長域Ｂ１に含まれる場合には、その光は照明用フィルタ２００によってＰ偏光の偏光照明光に変換される。同様に、光源からライトガイドを経由してくる光の波長が波長域Ｂ２に含まれる場合には、その光は照明用フィルタ２００によってＳ偏光の偏光照明光に変換される。なお、通常撮像モードおいて、光源からライトガイドを経由してくる光の波長が波長域Ｂ１Ｂ２の全体に広がる場合には、Ｐ偏光とＳ偏光が混合されるため非偏光の照明光が得られる。

図８に示されるような特性を有するフィルタは、多層膜偏光子として実現することが可能であり、たとえば、特許文献２にその例が記載されている。

図９は、モノクロ広帯域偏光撮像素子１１５の撮像面のパターン偏光子（偏光モザイクまたは偏光モザイクアレイ）の構造の例を模式的に示す図である。図９（Ａ）に示すように撮像面には、画素が行および列状（Ｘ−Ｙ方向）に規則的に配列されている。

本撮像素子１１５は、照明光の色がＲ、Ｇ、Ｂに順次変化する面順次方式で用いられるため、その撮像面上にはカラーモザイクフィルタが配列されていない。すなわち、撮像素子１１５そのものは、モノクロ撮像素子であり、各画素に偏光子が配列されている。個々の画素には、可視光の波長域に含まれる光が順次入射するため、本実施形態で用いられる偏光子の偏光選択特性は可視光帯域で実現する。具体的には、４００ｎｍ〜８００ｎｍの帯域において、本実施形態の偏光子の偏光取得性能を示す消光比が１００：１以上である。このため、本実施形態では、可視光帯域の一部を占める特定波長のみで偏光特性を呈する偏光子を用いず、その代わり、広い波長域で高い偏光取得性能を示し得る金属ワイヤグリッド偏光子を用いている。

図９（Ｂ）は、２行２列に配列された４個の画素（２×２ブロック）に対応する偏光フィルタの１単位８０１を示している。この１単位８０１の中では、平面内に９０°ずつ回転させた偏光フィルタ（４個の偏光子）が配置されている。図９（Ｂ）では、各偏光フィルタ上に示された複数の直線が偏光の透過軸の方向を示している。

図９（Ｃ）は、図９（Ｂ）に対応して金属ワイヤグリッドで実現する場合のワイヤ配置が図示されている。ワイヤグリッドでは金属ワイヤの方向と垂直な方向（ＴＥ軸）が偏光の透過軸となるため、模式図でワイヤを直線で表現すると、図９（Ｂ）の偏光軸の向きと、図９（Ｃ）の金属ワイヤの直線の向きとが９０度異なる。この混乱を避けるため、本開示の実施形態で利用する偏光フィルタの透過軸の向きを表現する場合、常に図９（Ｂ）の直線（偏光透過軸に平行）を使用するものとし、ワイヤグリッドのワイヤ方向を直接描く平面図は使用しないものとする。

後述するように、この金属ワイヤグリッドの配置面は撮像素子の最上面から下層までの範囲内においてさまざまな位置をとり得る。ワイヤグリッドは平面的には他画素との干渉を回避するため、画素単位領域の外縁よりも余裕度Δだけ内側の領域内にされている。例えば正方形である１画素領域の一辺の長さＤを３〜４μｍとすると、Δは０．２μｍ＝２００ｎｍ以上に設定され得る。ワイヤグリッドを構成する各ワイヤの幅Ｌと間隔Ｓのデユーティ比は、透過率と消光比のトレードオフになる。本開示の実施形態において、幅Ｌと間隔Ｓとは等しいものとする。後述するようにＬ＝Ｓ＝０．１μｍ＝１００ｎｍとして、Δ＝０．２μｍ＝２００ｎｍのとき、ワイヤグリッドの本数は、ワイヤ方向が撮像面内の垂直軸または水平軸に対して０°と９０°の角度を形成する場合には１７本である。

従来、アルミニウム製ワイヤグリッド偏光子を用いた偏光撮像素子で実際に試作され消光比の性能測定がされた例が非特許文献１に開示されている。非特許文献１によると、画素サイズ＝７．４×７．４μｍの領域内にピッチＰ＝１４０ｎｍｍ、高さＨ＝７０ｎｍで配置された微細ワイヤグリッド偏光子の消光比は４５０、５８０、７００ｎｍの各波長でそれぞれ３０：１、４５：１、６０：１程度であった。この実例から、ワイヤグリッドを微細化して撮像素子に実装しても、消光比性能として１００：１を実現するのは困難であると予測される。そこで本実施形態においては、ワイヤグリッドを２層構造として高消光比を実現する構造をとっている。

図１０を参照して、撮像素子１１５の断面構成例を説明する。

入射光は、撮像素子１１５の上方に配置される対物レンズ１０９から撮像面に到達する。撮像素子１１５において、光が到達する構造を順次説明すると、まず最上面にはマイクロレンズ２２０が配置される。このマイクロレンズ２２０の役割は光の効率的なＰＤ（フォトダイオード）２３２への集光である。マイクロレンズ２２０は、斜め入射光の光路をまげて撮像面に対して垂直に近い角度にするため、特に内視鏡のように広角撮影が多用されるケースでは有効である。また、マイクロレンズ２２０があると、ワイヤグリッド層２２２、２２４に対してほぼ直上から光を入射させることができるため、ＴＭ透過率と消光比の低下を防ぐ効果を有する。マイクロレンズ２２０の下には平坦化層２２６がある。その下層に第１ワイヤグリッド層２２２が配置されている。第１ワイヤグリット層２２２は、撮像面内において９０°ずつ回転した特定の方向の偏光だけが透過し、それ以外の光は反射または吸収する。

本実施形態における第１ワイヤグリッド層２２２は、金属ワイヤ間に中空構造を有しており、各金属ワイヤは空気と接している状態がつくられる。このため、消光比の性能低下を防ぐ効果を有する。

第１ワイヤグリッド層２２２の下方には第２ワイヤグリッド層２２４が配置される。この第２ワイヤグリッド層２２４は、基本的には第１ワイヤグリッド層２２２と配置方向、サイズ、材質同一であり、同じ中空構造を持っている。

第１および第２ワイヤグリッド層２２２、２２４を重ねて用いることにより、各々の消光比が１０：１程度に低下した微細ワイヤグリッドであっても、２層全体の消光比を１００：１程度までに向上させることができる。第２ワイヤグリッド２２４の下層には、平坦化層２２８と配線２３０とが設けられている。光の透過部分には配線２３０は配置されていないため、遮光されることなく、その下層にあるＰＤ（フォトダイオード）２３２に到達する。撮像面では、多数のＰＤ２３２が行および列状に配列され、光感知セルアレイを形成している。

撮像素子では、マイクロレンズ２２０からＰＤ２３２までの距離を短くする低背化が重要である。本実施形態の偏光撮像素子においても、マイクロレンズ２２０からＰＤ２３２までの距離が長い場合、画素間クロストークが発生して偏光特性、特に消光比を低下させてしまう。低背化のため、本実施形態においては、ワイヤグリッドからＰＤまでの距離を２〜３μｍ程度に設定している。また、ワイヤグリッド偏光子では、透過するＴＭ波に対して偏光方向が直交するＴＥ波は反射されるため、これが迷光となり性能劣化の原因となり得る。これを回避するためには、ワイヤグリッド２２２、２２４を単層ではなく多層構造として吸収作用を設けることが有効である。

以下、本実施形態における画像処理装置の撮像動作を説明する。

まず、図１１Ａおよび図１１Ｂを参照して、通常撮像モードの動作を説明する。

図１１Ａおよび図１１Ｂは、それぞれ、通常撮像モードにおける照明と撮像の動作を示す図およびタイミングチャートである。図１１Ａの左段は、面順次照明の分光スペクトルを示している。Ｂ色の照明は、Ｂ１（Ｐ偏光）とＢ２（Ｓ偏光）という厳密には異なる色の異なる偏光の混合光からなる。このことは、Ｇ、Ｒ色の照明光でも同様である。これらの照明光は、照射時には、それぞれ、Ｂ、Ｇ、Ｒの非偏光とみなすことができる。このため、実質的には公知の面順次照明と変わらなくなる。

照明光が被写体に照射されるとき、被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察される。図１１Ａでは、偏光撮像素子１０５が有する偏光モザイクの基本単位８０１のみを記載している。この基本単位８０１に含まれる４個の偏光子のうち、左上および右下に位置する２個の偏光子（Ｐの偏光フィルタ）は、撮像面内で水平な方向に偏光したＰ偏光を透過し、右上および左下に位置する２個の偏光子（Ｓの偏光フィルタ）は、撮像面内で垂直な方向に偏光したＳ偏光を透過する。

モノクロ広帯域偏光撮像素子１１５の偏光動作は、可視光領域の全体に相当する４００ｎｍ〜８００ｎｍにわたって機能するので、Ｂ、Ｇ、Ｒ色の照明光で被写体が照射されるときのいずれであっても１個の撮像素子で対応できる。

得られる撮像画像は、非偏光の照明を受けた被写体からの戻り光を、Ｐの偏光フィルタまたはＳの偏光フィルタを介して受光する。このため、得られた画素値を２×２の４画素領域で平均化することにより、非偏光画像を取得できる。平均化された画素値は、仮想的には、２×２の４画素の中心に位置する。このため、図１１Ａの最も右側では、点線で示す画素領域にＮＰ（非偏光）と記載されている。２×２の４画素を１画素単位でシフトさせることにより、解像度低下は実質的に発生しない。

このようにＢ、Ｇ、Ｒの非偏光の面順次照明に対して、それぞれ、非偏光撮像が実現される。カラー画像バッファメモリへ３原色画像を順次蓄積し、３原色の画像を得られたときに、これらの画像を合成することにより、フルカラー動画を生成することができる。上記の処理を、本明細書では「偏光モザイク画素の平均化処理」と称する。偏光モザイク画素の平均化処理は図６の偏光モザイク処理部２０２にて実行され、フルカラー動画の生成は、画像合成部２０６にて実行される。

図１１Ｂは、以上の動作をタイミングチャートで示している。図１１Ｂの上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２において処理されるカラー成分画像を示している。このタイミングの各動作は、同期回路１１２が、照明制御部１２０、モノクロ広帯域偏光撮像素子１１５、偏光モザイク処理部２０２を制御して実現する。

次に、図１２および図１３を参照して、偏光撮像モードの動作を説明する。

図１２および図１３は、それぞれ、偏光撮像モードにおける照明と撮像の動作概要を示す図およびタイミングチャートである。この例では、図７（ａ）の偏光撮撮像用カラーホイールを使用する。

図１２の左段は、面順次照明の分光スペクトルを示している。このＢ色とＧ色の照明は、被写体となる消化器などの粘膜の特性を考慮して決められている。Ｂ、Ｇ帯域は、Ｒ帯域に比べて短波長のため表面散乱されやすく、表面テクスチャでの光散乱を観察するのに適している。また、Ｂ、Ｇ帯域には、生体粘膜の反射特性に強い吸収が存在するため、コントラストが高くなり、表面凹凸テクスチャの観察に適している。

本実施形態では、偏光撮撮像用カラーホイールの回転により、Ｐ偏光であるＢ１Ｇ１とＳ偏光であるＢ２Ｇ２が交互に被写体に照射される。照明光が被写体に照射され、被写体から反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察される。偏光モザイクの基本単位８０１で異なる偏光成分が測定される。Ｐ偏光照明における直交ニコル（Ｐ⊥）および平行ニコル（Ｐ‖）、ならびに、Ｓ偏光照明における直交ニコル（Ｓ⊥）および平行ニコル（Ｓ‖）の合計４通りの画素情報が得られる。ただし、画素情報として空間的に不足している★で表示した画素の値は、その周囲に位置する画素の値に基づいて補間する必要がある。この補間処理は、周囲４画素からの簡単な平均化処理で実現できる。

図１３は、以上の動作を示すタイミングチャートである。図１３の上段から照明の発光動作、撮像動作、そしてモザイク処理部において処理されるカラー成分画像が示されている。このタイミングの動作は、同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングで、それぞれに対応する直交ニコル（Ｐ⊥）（Ｓ⊥）画像と平行ニコル（Ｐ‖）（Ｓ⊥）画像とがモノクロ画像として出力される。ここで「モノクロ画像」とは、ＢおよびＧの波長帯における偏光情報を示す輝度画像である。直交ニコル（Ｐ⊥）（Ｓ⊥）を交互に連続的に表示することにより、図５に示されたような不可視な表面凹凸を明瞭化した画像を得ることができる。

図１４および図１５は、それぞれ、図７（ｃ）の偏光撮撮像用カラーホイールを使用した場合の偏光撮像モードにおける照明と撮像の動作概要を示す図およびタイミングチャートである。この場合は、ＢＧＲの面順次カラー照明が行われる。このような撮像は、粘膜表面を、鏡面反射などを除去しつつ目視で観察する場合に特に有効である。また、生体粘膜内部の偏光特性を狭帯域の波長域として観察したい用途にも適する。

照明光は、図７（ｃ）の偏光撮撮像用カラーホイールの回転により、Ｐ偏光であるＢ１Ｇ１Ｒ１とＳ偏光であるＢ２Ｇ２Ｒ２が順番に被写体に照射される。被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察され、偏光モザイクの基本単位８０１で異なる成分が撮像される。得られる撮像画像は、Ｐ偏光照明においてＲＧＢフルカラーの直交ニコル（Ｐ⊥）、平行ニコル（Ｐ‖）、Ｓ偏光照明においてＲＧＢの各波長域について直交ニコル（Ｓ⊥）、平行ニコル（Ｓ‖）の合計１２通りの画像情報となる。この場合も画素情報として不足分があるため、★で表示した画素は周囲から補間する必要がある。このような構成を採用すれば、内視鏡でのリアルタイムの観察時に、粘膜表面から鏡面反射等を除去して粘膜状態を観察しやすい。この例では、動画として高速再現を可能にするため、ホイール上の円周上のフィルタ並びの順番が、Ｂ１−Ｇ２−Ｒ１−Ｂ２−Ｇ１−Ｒ２となるようにし、ＲＧＢのカラーと偏光のＰとＳの種類が交番になる。

図１５は、以上の動作を示すタイミングチャートで示ある。図１５の上段から照明の発光動作、撮像動作、そしてモザイク処理部において処理されるカラー成分画像が示されている。このタイミングの動作は同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングでそれぞれに対応する直交ニコル（Ｐ⊥）（Ｓ⊥）画像と平行ニコル（Ｐ‖）（Ｓ⊥）画像とが出力される。ただし直交ニコル（Ｐ⊥）または（Ｓ⊥）のＲＧＢフルカラー画像を得るためには、偏光照明を固定状態でＢ、Ｇ、Ｒの面順次光が照射される期間であるＴｐｓの時間が必要になる。従って、この時間を動画として表示できない。これは、偏光とカラーの両方の照明を面順次にて実現しているため、全ての種類の照明を照射し終わるのに時間がかかるのが原因である。内視鏡での観察では、動作の再現にリアルタイム性が要求される。そこで、実施形態では、直交ニコル画像の動画表示の目的のため、（Ｐ⊥）と（Ｓ⊥）をなるべく混合した画像をパイプライン方式に処理・表示をする。たとえば、図１５のＲＧＢフルカラー直交ニコル画像１５１０は、Ｂ１（Ｐ）照明下での画像１５０１、Ｇ２（Ｓ）照明下での画像１５０２、Ｒ１（Ｐ）照明下での画像１５０３というＰ偏光とＳ偏光が混在した直交ニコル画像で、次のタイミングで処理・表示される画像１５１１は、Ｇ２（Ｓ）照明下での画像１５０２、Ｒ１（Ｐ）照明下での画像１５０３、Ｂ２（Ｓ）照明下での画像１５０４というＰ偏光とＳ偏光とが混合した直交ニコル画像である。

このような処理を行うと、直交ニコル画像の照明にＰ⊥とＳ⊥がバランスよく含まれ、後段の凹領域検出に対して有利である。また、ＢＧＲのカラー面順次の変化を偏光の変化よりも早く変化させることにより、人間が観察する動画とした場合にカラー画像としての認識が崩れない。

図１６は、凹領域検出部２０４、および画像合成部２０６での処理を説明するための図である。図１７は、凹領域検出部２０４において、中心画素値と周辺画素平均値との差分に用いる周辺部の画素位置のマスクパターンを示す図である。凹領域検出部２０４には、以上の処理で生成された直交ニコル画像が入力される。

以下、図１４および図１５を参照しながら説明したフルカラーの直交ニコル画像が毎フレーム取得される場合の処理を例に説明する。フルカラーであるＲ、Ｇ、Ｂ成分からなる直交ニコル画像は、ここでは、Ｇ成分を抜き出し、図１６に示す平滑化処理、微分処理、および青色強調処理の順に処理される。

（１）平滑化処理
入力された画像は、次段の微分処理を実行する前に、画像から強調したいテクスチャの周波数より高域の雑音成分を除去する。具体的には、雑音成分を除去するため、平滑化フィルタ処理が実行される。本実施形態では、一般的なガウス型フィルタを用いる。フィルタのマスクサイズを、後述する微分マスクフィルタのマスクサイズと同一にすることにより、細かい粒状ノイズの強調を回避できる。

（２）微分処理
平滑化フィルタ処理がなされたＧ成分画像に対して、周囲よりも明るい画素領域を検出するため以下のような微分マスク処理を行う。周囲より明るい画素領域を検出する理由は、図３〜図５を参照しながら説明したとおり、偏光照明の偏光方向が被写体の表面溝と平行に近い場合、輝度が周囲よりも明るくなるためである。実際には、被写体の表面凹凸の向きは未知である。しかし、本開示の実施形態では、偏光照明の偏光方向が、直交する２つの方向の間で交互に変わり、（Ｐ⊥）と（Ｓ⊥）の２種類の直交ニコル画像を交互に取得できるため、問題はない。微分処理は、平滑化処理後の画像に、図１７に示すような中心画素と周辺画素とを指定するマスク（ここでは３×３、５×５、７×７画素の例を示す）を設定し、周辺の周囲Ｎ＝８画素、Ｎ＝１６画素、もしくはＮ＝２４画素の画素値Ｖｋｌの平均値と中心画素値Ｃｉｊとの差分値Δを算出する。こうして得られる差分値Δは、以下の数１の式で示される。

次に、中心画素値が周囲より明るい場合、以下の数２に示すように、差分値Δをｋ倍に増幅した値をΔＣとする。もし暗い場合にはΔＣは０とする。
（数２）
Ｉｆ （Δ＞０） ΔＣ＝ｋ*Δ
ｅｌｓｅ ΔＣ＝０

（３）青色成分の強調
ΔＣ値をＲ、Ｇ成分から減算することにより、青色を強調する。ここで、Ｒ、Ｇ成分が０以下になる場合、その不足分を他の色成分から減算して連続性を維持する。このため、Δの大きさで色相は変化するが、滑らかに接続されるようにすることができる。Ｒ、Ｇ成分のうちで値が小さいものをＣ１、大きいものをＣ２とおいて、以下のように３種類に場合分けをする。

図１８は、以下の３通りの場合を示している。

まず１）ΔＣが小さい場合には、Ｒ、Ｇ信号から減算する処理を実行する。次に２）でΔＣがＣ１を超える値になった場合には、最も小さい信号がゼロになり、残りが中間となる信号から減算される。次に、３）でＲ、Ｇ信号からの減算がゼロになった場合には、Ｂ信号から残りの信号が減算される。以上の処理で、中心画素が周辺画素よりも明るい画素領域のカラー信号が、その程度に応じて青色強調され、インジゴカルミン撒布に類似したカラー画像が生成される。
（数３）
１）ΔＣ≦Ｃ１の場合
Ｃ１＝Ｃ１−ΔＣ
Ｃ２＝Ｃ２−ΔＣ

２）Ｃ１＜ΔＣ≦（Ｃ１＋Ｃ２）／２の場合
Ｃ１＝０ Ｃ２＝（Ｃ１＋Ｃ２）−（２ΔＣ）

３）（Ｃ１＋Ｃ２）／２＜（ΔＣ）の場合
Ｃ１＝０Ｃ２＝０
Ｂ＝Ｂ−（（２ΔＣ）−Ｃ１−Ｃ２）

（４）画像合成部の処理
画像合成部２０６は、図１５に示すように、面順次照明で取得される画像をＲ、Ｇ、Ｂ３枚分蓄積する。そして、Ｒ、Ｇ、Ｂの３枚の画像を１フレーム毎に合成してリアルタイム表示可能なフルカラー画像を合成する。更に、表面テクスチャの凹部に青色成分強調を施したフルカラー画像を、１フレーム時間ごとに遅延なく動画表示する。

図１９は、本実施形態の画像処理装置によって得られた画像の例を示す図である。被写体はラットを解剖して胃を開いて、コルク板上に伸展固定した粘膜である。図１９（Ａ）および図１９（Ｂ）は、それぞれ、この被写体の平行ニコル画像および直交ニコル画像を示す。図１９（Ｃ）は、本実施形態に示した凹部検出処理を実行した画像を示す。図１９（Ｃ）では、モノクロ画像が表示されているが、実際に得られる画像はフルカラー画像であり、胃の表面粘膜上に存在する表面凹凸テクスチャを検出して擬似的に青く着色している状態を示す。

（第２の実施形態）
図２０は、本開示の実施形態２における画像処理装置の全体構成を模式的に示す図である。本実施形態では、白色（ホワイト）光を照射して単板カラー撮像素子１１９にてカラー撮像を行う。本実施形態では、白色光を被写体に照射する際、偏光回転照明を実現する。この目的のため、本実施形態では、光源装置１０４には照明制御部のみを配置し、内視鏡の先端部に配置したＬＥＤ、あるいは有機ＥＬ面光源などで照明光を生成する。

本実施形態においては、例えば図２１に示すように、内視鏡の先端に偏光面が０°（Ｐ）、９０°（Ｓ）の照明光の照射口が交互に多数（ここでは１６分割で）配列されている。この例では、交互に隣接しない同種の８個のＬＥＤが選択されて点灯することによってＰ偏光とＳ偏光の交互の偏光照明が実現される。

図２２（Ａ）は、偏光回転照明の別の例を示している。この例では、順次点灯する照明画素単位を十分小さく、数量を多くすることにより、点灯する光源位置の変動が撮像側で１画素以内に抑制され得る。図２２（Ｂ）は、この面照明の全体構成を示す図であり、面照明のＸ軸とＹ軸の各軸に順次点灯を制御するためのデータドライバが用意されており、Ｘ軸とＹ軸でアドレスされる画素が一斉に点灯する。たとえば、ここではＸ軸とＹ軸の両方が偶数の画素（Ｘ_2mとＹ_2m）が一斉に点灯すると、それは偏光面が０°の照明光となる。そしてＸ軸とＹ軸のデータドライバの偶数、奇数の組みあわせによって、０°（Ｐ）、９０°（Ｓ）の偏光透過面を有する照明光が得られることになる。

このような面照明を使う利点は、全体の照度や配光状態が一定のまま照明の偏光状態だけが変化できることである。照明に面光源を使用することにより、照明光の均一性が良くなる。その結果、臓器の表面粘膜における非常に強い正反射輝度を低下させ、撮像を良好に行うことができる。

図２３は、本実施形態で用いるカラー偏光撮像素子１１９の断面構造の例を示す図である。図１０に示したモノクロ広帯域偏光画像撮像素子１１５と異なるのは、カラーフィルタ２４０がワイヤグリッド層２２４からＰＤ（フォトダイオード）２３２までの間に配置されることである。このカラーフィルタ２４０は、有機物から形成されても良いし、フォトニック結晶または金属から形成されてもよい。光の入射側からＰＤ２３２までの光の進行方向からみた場合、マイクロレンズ２２０、第１ワイヤグリッド層２２２、第２ワイヤグリッド層２２４、カラーフィルタ２４０の配置の取りえる順序は計６通りあり、各々でその利点が異なる。ワイヤグリッド２２４とＰＤ２３２との間の距離ＤＥＰＴＨは、カラーフィルタ２４０が入る分長くなるため、典型的には４〜６μｍである。

図２３の構成（最上層からマイクロレンズ２２０・第１ワイヤグリッド層２２２・第２ワイヤグリッド層２２４・カラーフィルタ２４０）では、マイクロレンズ２２０が最上層に位置するため、ワイヤグリッドに垂直に光を入射させやすい。

図２４は、図２３のカラー偏光撮像素子１１９の平面構造を示す図である。図２４（Ａ）はカラー単板撮像素子と同じ平面構造を示す。図２４（Ａ）の構成例では、４×４画素領域を拡大し、直上から観察して、図２４（Ｂ）のカラーモザイク構造と図２４（Ｃ）の偏光モザイク構造とが、画素ごとに重なった状態にある。

図２４（Ｂ）は、カラーモザイクフィルタの１例を示しているが、本開示の実施形態で使用され得るカラーモザイクフィルタは、この例に限定されない。ベイヤーモザイク以外の他のモザイク構造でも構わない。この例では、カラーモザイクに含まれる１色のフィルタが、２行２列に配置された４個の画素（４個のフォトダイオード）の領域をカバーする。２×２画素領域は、図２４（Ｃ）の４種類の偏光モザイク領域に相当する。すなわち、サブ画素を基準にすると、イメージセンサの解像度は本来の画素の１／２×１／２となって画素数は低下するが、１画素内で偏光処理をすることにより偏光処理の結果発生するアーティファクトを低減させることができる。

次に図２５を参照して、本実施形態における通常撮像モードの動作を説明する。被写体には、Ｗｈｉｔｅ（白色）のＰ偏光とＷｈｉｔｅ（白色）のＳ偏光とが交互に照射され、その都度、偏光カラーモザイク画像が取得される。Ｐ偏光の照射時には、偏光モザイク２５０２によって偏光画素パターン２５０３が、Ｓ偏光の照射時には、偏光画素パターン２５０４が取得される。ここで、Ｐ‖およびＰ⊥は、それぞれ、Ｐ偏光の照射時における平行ニコル状態および直交ニコル状態の画素を示している。同様に、Ｓ‖およびＳ⊥は、それぞれ、Ｓ偏光照射時における平行ニコル状態および直交ニコル状態の画素を示す。偏光モザイク処理部２０２では、この偏光画素パターン２５０３と偏光画素パターン２５０４の画像を画素毎に加算平均を実行する。偏光画素パターン２５０３と偏光画素パターン２５０４において、各カラー画素での加算平均処理を行うと、平行ニコル状態の画素値と直交ニコル状態の画素値とが以下のように均等に混合される。
（数４）
（ＮＰ）＝（Ｐ‖＋Ｐ⊥＋Ｓ‖＋Ｓ⊥）／４

加算平均の結果Ｖは、元々の解像度からは１／２×１／２に低下した非偏光（ＮＰ）のカラーモザイク画像２５０５が得られる。この非偏光カラーモザイク画像２５０５からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

図２６は、以上の動作を示すタイミングチャートである。図２６の上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２において処理されるカラー成分画像を示している。このタイミングの動作は、同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングでそれぞれに対応する偏光画素パターン２５０３、２５０４が撮像される。偏光モザイク処理部２０２では、図２５に示された偏光画素パターン２５０３、２５０４の加算平均処理を実行して非偏光カラーモザイク画像２５０５が得られる。次に、カラーモザイク補間処理にて、ＲＧＢフルカラー画像を得る。したがって、Ｐ偏光照明とＳ偏光照明とが照射されて１枚のＲＧＢフルカラー画像を得ることが可能になる。実際には、図２６に示すように、時間的に隣接するＰ偏光照明およびＳ偏光照明の処理を連続することによって１フレーム時間毎に画像が遅延なく動画として生成される。

図２７は、本実施形態における偏光撮像モードの動作を説明するための図である。偏光撮像モードでは、Ｐ偏光とＳ偏光が交互に被写体に照射され、その都度、偏光のカラーモザイク画像が取得される。ここで得られる偏光画素パターン２５０３、２５０４は、図２５の偏光画素パターン２５０３、２５０４と同一である。偏光モザイク処理部２０２では、画素パターン２５０３、２５０４の両方を使って、該当する画素ごとに、Ｐ‖とＳ‖、およびＰ⊥とＳ⊥を選択・集積処理する。こうすることによって、ＰＳ偏光混合の平行ニコル画像２７０１とＰＳ偏光混合の直交ニコル画像２７０２を分離して生成する。そして同一カラー画素内の４画素を以下のように加算平均する。
（数５）
（ＰＳ‖）＝（Ｐ‖＋Ｓ‖＋Ｐ‖＋Ｓ‖）／４
（ＰＳ⊥）＝（P⊥＋Ｓ⊥＋P⊥＋Ｓ⊥）／４

この処理の結果得られる偏光画像は、元々の解像度からは１／２×１／２に低下したカラーモザイク画像２７０３、２７０４である。カラーモザイク画像２７０３および２７０４内の同一カラー画素は、Ｐ偏光照明とＳ偏光照明を均等に含んだ状態での平行ニコル画像ＰＳ‖と直交ニコル画像ＰＳ⊥を構成している。直交ニコル画像ＰＳ⊥について、カラーモザイク補間が実行され、フルカラーの直交ニコル画像が生成される。この直交ニコル画像に対しては、凹領域検出部２０４および画像合成部２０６で第１の実施形態について説明した処理と同様の処理が行われる。

図２８は、以上の動作を示すタイミングチャートである。図２８は、上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２、カラーモザイク補間部２０８、凹領域検出部２０４、画像合成部２０６において処理されるカラー画像を示している。照明と撮像の動作までは、図２６の通常撮像モードのタイミングチャートと同一である。偏光モザイク処理部２０２での動作では、Ｐ偏光照明とＳ偏光照明の撮像画像をフレームごとに用いてＰＳ混合偏光での平行ニコル画像２７０１とＰＳ偏光混合の直交ニコル画像２７０２を生成する。すなわち、フレームごとに同時に２種の偏光画素パターン２７０１、２７０２が生成される。また、それらを加算平均したカラーモザイク画像２７０３とカラーモザイク画像２７０４も同時に生成される。カラーモザイク画像２７０３、２７０４の解像度は１／２×１／２に低下している。直交ニコル画像２７０４は、第１の実施形態に関する図１６を参照しながら説明したように、凹領域検出部２０４と画像合成部２０６において表面テクスチャの凹部で青色成分強調を施したフルカラー画像として毎フレームごとに表示部１１４で動画表示される。

（第２の実施形態の変形例１）
図２９は、本開示の実施形態２の変形例１を示す図である。図２９（Ａ）は、図２３に示された第２の実施形態におけるカラー偏光撮像素子１１９の平面構造を示す図である。図２９（Ａ）は、カラー単板撮像素子と同じ平面構造を示している。図２９（Ｂ）は、カラーモザイクにおける４×４個のカラーフィルタの配置例を示し、図２９（Ｃ）は、偏光モザイクにおける８個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、４×４個の画素（ＰＤ：フォトダイオード）をカバーするように積層されている。

本実施形態では、カラーモザイクの２色のカラーフィルタと１個の長方形の偏光子とが対応している。他の構成は、第２の実施形態の構成と変わらない。

図２９（Ｃ）における角度表示の０°の偏光子が位置する画素が、Ｐ偏光の透過画素であり、９０°の偏光子が位置する画素がＳ偏光の透過画素である。０°の偏光子と９０°の偏光子とが市松配列を形成していない。すなわち、撮像面内において垂直方向または水平方向に隣接する２個の画素に同一の偏光が入射するように偏光モザイクが構成されている。これは、ＲＧＢ画素のうち２画素を占めるＧ画素に必ず０°の偏光子と９０°の偏光子が割り当てられるようにするためである。このような構成によれば、０°の偏光子が、ＲＧの２画素とＢＧの２画素に割り当てられ、９０°の偏光子がＧＢの２画素とＧＲの２画素に割り当てられている。

図３０は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、Ｗｈｉｔｅ（白色）のＰ偏光とＳ偏光とが交互に照射され、その都度画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが３００１のような配列であるため、Ｐ偏光の照射時には、３００２で示す偏光画素パターンが、Ｓ偏光の照射時には３００３で示す偏光画素パターンが取得される。ここで、Ｐ‖、Ｐ⊥はＰ偏光照射時における平行ニコル状態とは直交ニコル状態の画素を示し、同様に、Ｓ‖、Ｓ⊥はＳ偏光照射時における平行ニコル状態とは直交ニコル状態の画素を示す。偏光モザイク処理部２０２では、この偏光画素パターン３００２、３００３を画素毎に加算平均をする。加算平均処理は、平行ニコルと直交ニコル状態の画素が以下のように均等に混合されると考えられる。
（数６）
（ＮＰ）＝（Ｐ⊥＋Ｓ‖）／２
（ＮＰ）＝（Ｐ‖＋Ｓ⊥）／２

加算平均の結果Ｖは、非偏光のカラーモザイク画像３００４が得られる。この際に第２の実施形態にあったような解像度の低下がない。この非偏光カラーモザイク画像３００４からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

図３１は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はＰ偏光とＳ偏光が交互照射され、その都度画像が取得され、偏光画像パターン３１０２、３１０３が取得される。偏光モザイク処理部２０２では、この偏光画素パターン３１０２、３１０３を両方使って、該当する画素ごとに、Ｐ‖とＳ‖、およびＰ⊥とＳ⊥を収集し埋め込み処理をする。こうすることによって、ＰＳ偏光混合の平行ニコル画像３１０４とＰＳ偏光混合の直交ニコル画像３１０５とを分離生成する。この処理の結果得られる偏光画像は、カラーモザイク画像３１０６、３１０７であり、それぞれ、Ｐ偏光照明とＳ偏光照明を均等に含んだ状態での平行ニコル画像ＰＳ‖と直交ニコル画像ＰＳ⊥である。直交ニコル画像ＰＳ⊥について、カラーモザイク補間が実行されフルカラーの直交ニコル画像が生成される。この直交ニコル画像は、凹領域検出部２０４、画像合成部２０６において第１の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは、第２の実施形態に関するタイミングチャートと同様である。

（第２の実施形態の変形例２）
図３２は、本開示の実施形態２の変形例２を示す図である。図３２（Ａ）は、図２３のカラー偏光撮像素子１１９の平面構造を示す図である。図３２（Ｂ）は、カラーモザイクにおける４×４個のカラーフィルタの配置例を示し、図３２（Ｃ）は、偏光モザイクにおける４個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、４×４個の画素（ＰＤ：フォトダイオード）をカバーするように積層されている。

本実施形態では、カラーベイヤ・モザイクの１単位の４画素と偏光モザイクの１単位とが対応している。他の構成は、第２の実施形態と変わらない。図３２（Ｃ）における角度表示の０°の偏光子が位置する画素がＰ偏光の透過画素であり、９０°の偏光子が位置する画素がＳ偏光の透過画素である。偏光モザイクの０°の偏光子と９０°の偏光子とは市松配列を形成している。各々に同一のカラーベイヤ・モザイクが包含される配列としている。

図３３は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、Ｗｈｉｔｅ（白色）のＰ偏光とＳ偏光とが交互に照射され、その都度、画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが配列３３０１を有するため、Ｐ偏光の照射時には、偏光画素パターン３３０２が、Ｓ偏光の照射時には偏光画素パターン３３０３が取得される。ここで、Ｐ‖、Ｐ⊥、Ｓ‖、Ｓ⊥は既出の意味を持つ。偏光モザイク処理部２０２では、この偏光画素パターン３３０２、３３０３を有する画像について、画素毎に加算平均を実行する。加算平均処理では、平行ニコルと直交ニコル状態の画素が均等に混合される（数６）。

加算平均の結果Ｖは、非偏光のカラーモザイク画像３３０４が得られる。この際に第２の実施形態にあったような解像度の低下がない点が特徴である。この非偏光カラーモザイク画像からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

図３４は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はＰ偏光とＳ偏光が交互照射され、その都度画像が取得され、偏光画素パターン３４０２、３４０３が取得される。

偏光モザイク処理部２０２では、偏光画素パターン３４０２、３４０３を両方使って、該当する画素ごとに、Ｐ‖とＳ‖、およびＰ⊥とＳ⊥を収集し埋め込み処理することによってＰＳ偏光混合の平行ニコル画像３４０４とＰＳ偏光混合の直交ニコル画像３４０５を分離生成する。この処理の結果得られる偏光画像は３４０６と３４０７のようなカラーモザイク画像であり、それぞれ、Ｐ偏光照明とＳ偏光照明を均等に含んだ状態での平行ニコル画像ＰＳ‖、と直交ニコル画像ＰＳ⊥である。直交ニコル画像ＰＳ⊥について、カラーモザイク補間が実行されフルカラーの直交ニコル画像が生成される。この直交ニコル画像は、凹領域検出部２０４、画像合成部２０６において第１の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは第２の実施形態のタイミングチャートと同様である。

（第３の実施形態）
図３５は本発明の第３の実施形態の構成を示す図である。本実施形態も、白色（ホワイト）光を被写体に照射して単板カラー撮像素子にてカラー撮像を行う。第２の実施形態と異なるのは、レンズ開口部に偏光板とカラーフィルタが配置されている点、撮像面上にマイクロレンズアレイが配置されたマイクロレンズアレイ型カラー偏光撮像部３５０１を備えている点、および、マイクロレンズアレイ型素子特有の画像処理を行うための画素選択再集積部２１０を備えている点である。

図３６は、本実施形態における内視鏡先端部を正面から拡大した図である。内視鏡先端には偏光面が０°（Ｐ）、９０°（Ｓ）の異なる照明光の照射口が交互に多数（ここでは１６分割で）配置されている。この照明にて交互に隣接しない同種の８個のＬＥＤが選択されて点灯し、撮像をすることによってＰとＳの交互の偏光照明が実現される。開口部となる対物レンズ３５０２上には、図で示すように２×２合計４種類のカラーと偏光の複合フィルタ領域が配置されている。これらはＲとＢの非偏光カラーフィルタ領域とＧの０°（Ｐ）および、Ｇの９０°（Ｓ）の２種類の直交したカラー偏光フィルタ領域である。

図３７は、このマイクロレンズアレイ型カラー偏光撮像部３５０１の構成例を示す図である。図３７では、説明図の都合上、対物レンズ３５０２上の４領域のうち、図３６におけるＧフィルタの２領域、すなわち、Ｇフィルタと０°（Ｐ）偏光フィルタを配置した領域３７０１とおなじくＧフィルタと９０°（Ｓ）偏光フィルタを配置した領域３７０２の２つの領域のみを記載している。

図３７に示されるように、被写体上の１点３７００から発散した光は、対物レンズ３５０２上の２領域３７０１、３７０２をそれぞれ透過しアレイ状光学素子３７０３を経由してモノクロ撮像素子の撮像面３７０４に到達する。この際対物レンズ上の領域の像が異なる２個の画素３７０５に到達するため、撮像面３７０４上に形成される像は、全体としては被写体の像であるが、詳細には異なる２領域の像から成立する画像となる。ここから画素を選択して集積するデジタル画像処理を行うことによって、２領域を透過した画像を分離生成することができ、同時にモノクロ撮像素子を用いながらカラー画像を得ることができる。

図３８は、開口部のカラー偏光フィルタ領域３７０１、３７０１の断面構造を示す図である。この例では、偏光フィルタとして金属ワイヤグリッド層３８０１が用いられている。ワイヤグリッド層３８０１は、例えばピッチが１００ｎｍ程度の金属ワイヤが透明基盤３８０２上に形成され得る。その下層にはカラーフィルタ３８０３が配置されている。カラーフィルタ３８０３の次の段に対物レンズ３５０２が配置される。ここでカラーフィルタ、ワイヤグリッド層、対物レンズの配置順番、レンズとの間隙の有無は任意である。また、偏光板としてはワイヤグリッド以外のポリマー系偏光板、フォトニック結晶を用いた偏光板、構造服屈折を用いた偏光板など既存の技術を利用可能である。

図３９は、このマイクロレンズアレイ型カラー偏光撮像素子を用いた撮像結果からカラー偏光画像を生成する画素選択再集積部２１０での処理を説明するための図である。撮像素子３７０４上のイメージから２×２の画素ユニットごとにそれぞれ左上、右上、左下、右下の画素を全画像にわたって選択し再度集積することによって、解像度は１／２×１／２に低下するが、それぞれＧのＰ（０°）偏光画像３９０１、Ｒの非偏光画像３９０２、Ｂの非偏光画像３９０３、ＧのＳ（９０°）偏光画像とを分離することができる。ここから、ＲＧＢの非偏光カラー画像、およびＧ波長領域におけるＰ／Ｓ偏光画像を得ることができる。

図４０は、本実施形態における内視鏡において通常撮像モードと偏光撮像モードで取得される画像を示している。通常撮像モードでも偏光撮像モードにおいてもＷｈｉｔｅ（白色）の偏光照明はＰ偏光とＳ偏光が交互に照射され、その都度画像が取得され、図３９の処理を得て１回の同一シーン撮像につき４種のカラー偏光画像が分離取得される。この分離取得される４種のカラー偏光画像を４００１のように表示する。この表示方法は従来のように個々の画素を表現するものではなく４枚の画像全体を表現している。Ｐ偏光の照射時には、偏光画像４００２が、Ｓ偏光の照射時には偏光画像４００３が取得される。ここで、Ｐ‖、Ｐ⊥、Ｓ‖、Ｓ⊥は前述の意味を持つが、ＰまたはＳは、Ｐ偏光照明またはＳ偏光照明下にて特別な偏光フィルタなしに非偏光で撮像された画像という意味を持つ。通常撮像モードでは、この画像４００２、４００３について、画素毎に加算平均をする。加算平均処理は、平行ニコルと直交ニコル状態の画素が以下のように均等に混合されると考えられ、この結果は近似的には非偏光画像になる。
（数７）
（ＮＰ）＝（Ｐ⊥＋Ｓ‖）／２
（ＮＰ）＝（Ｐ‖＋Ｓ⊥）／２
（ＮＰ）＝Ｐ＋Ｓ

加算平均の結果Ｖは、非偏光カラーモザイク画像４００４が得られる。この非偏光カラーモザイク画像からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

偏光撮像モードにおいても画像４００２と画像４００３とが交互に取得される段階までは同様であるが、Ｇ画像のみで平行ニコルと直交ニコル画像を集めることによりＧ波長域においてＰＳ‖４００５とＰＳ⊥４００６の２種類の偏光画像を生成することができ、第１の実施形態における図１３のように出力画像はモノクロ画像となる。

本実施形態のようなマイクロレンズアレイ型偏光撮像素子の利点は、レンズ開口部に偏光板を配置できるため、個々の偏光モザイク素子のサイズが撮像素子上へ配置するよりもサイズ的に大きくできることである。たとえば、実施形態１、２で用いた偏光モザイク型の撮像素子では、偏光モザイク単位を形成する金属ワイヤ長は撮像素子の画素サイズに等しく２〜３μｍである。このような微細サイズではたとえワイヤグリッド個々の金属線のピッチは微細であってもワイヤグリッド長さや繰り返し本数が制限されるため偏光板としての消光比性能は１０：１程度に低下するとされている。本実施形態では、レンズ開口部のサイズである０．５ｍｍ＝５００μｍ程度の比較的大判のワイヤグリッド偏光板を用いることができ、１００：１程度の高い消光比を実現することができ、内視鏡における表面微細パターンの観察の明瞭化で極めて有利となる。

（第４の実施形態）
図４１は、本発明の第４の実施形態の構成を示す図である。本実施形態も第２の実施形態と同様、白色（ホワイト）光を照射して単板カラー撮像素子にてカラー撮像を行う。第２の実施形態とは、マイクロレンズアレイ型カラー偏光撮像部４１０１を用いている点が異なる。本実施形態におけるマイクロレンズアレイ型カラー偏光撮像部４１０１は、以下の構成において第３の実施形態に用いられたマイクロレンズアレイ型カラー偏光撮像部から異なる。

図４２Ａは、このマイクロレンズアレイ型カラー偏光撮像部４１０１の構成例を示す図である。レンズ開口部には、広帯域型の０°（Ｐ）透過軸と９０°（Ｓ）透過軸を有する偏光フィルタ４１０３のみを配置し、カラー化はベイヤーモザイク４１０５を有する単板カラー撮像素子４１０４で実行する。こうすることにより、偏光とカラーの動作を分離している。これによってＲＧＢのフルカラーの平行・直交ニコル画像を得ることができる。後述するように、マイクロレンズ３７０３の作用によって、偏光フィルタ４１０３の４種の領域（ＵＬ）（ＵＲ）（ＤＬ）（ＤＲ）を透過した光線は、カラーモザイクフィルタ４１０５の（ＵＬ１）（ＵＲ１）（ＤＬ１）（ＤＲ１）の４領域にそれぞれ結像する。

図４２Ｂは、マイクロレンズアレイ型カラー偏光撮像部４１０１の断面構成の例を模式的に示している。図４２Ｂでは、対物レンズ３５０２上の４領域のうち図４１における９０°偏光フィルタを配置した領域４２０１とおなじく０°偏光フィルタを配置した領域４２０２の２つの領域のみを記載している。被写体上の１点３７００から発散した光は、対物レンズ３５０２上の２領域４２０１、４２０２をそれぞれ透過し、アレイ状光学素子３７０３を経由してカラーモザイクを配置したカラー撮像素子面４２０３に到達する。この際、対物レンズ上の２つの領域４２０１、４２０２を通過する光線による像が、異なる画素４２０４に到達する。このため、撮像面４２０３上に形成される像は、全体としては被写体の像であるが、詳細には異なる０°と９０°の偏光領域の像から成立する。各領域４２０１、４２０２の像は、カラー撮像素子４２０３上のカラーモザイク２画素に対応している。

図４３は、本実施形態における開口部の偏光フィルタ領域４２０１、４２０２の断面構造を示す図である。この例では、偏光フィルタとして金属ワイヤグリッド層３８０１が用いられている。ワイヤグリッド層３８０１は、例えばピッチが１００ｎｍ程度の金属ワイヤが透明基盤３８０２上に形成され得る。このようなワイヤグリッド層３８０１によれば、可視光範囲の広帯域で偏光動作を実現できる。

次の段には対物レンズ３５０２が配置される。ここで、ワイヤグリッド層３８０１と対物レンズ３５０２の配置順番、ワイヤグリッド層３８０１と対物レンズ３５０２との間隙の有無は任意である。偏光板は、可視光帯域の広い範囲にて偏光動作を実現するであれば、ワイヤグリッド偏光板以外のポリマー系偏光板であっても良い。

図４４は、画素選択再集積部２１０の処理を説明する図である。撮像素子４２０３上のイメージから２×２の画素単位ごとにそれぞれ左上、右上、左下、右下の画素を全画像にわたって選択し、再度集積することによって、解像度は１／２×１／２に低下するが、それぞれＰ（０°）偏光カラー画像４４０１、Ｓ（９０°）偏光カラー画像４４０２、Ｓ（９０°）偏光カラー画像４４０３、Ｐ（０°）偏光カラー画像４４０４とを分離することができる。これ以降はカラーモザイク補間部２０８の処理を行う。

本実施形態では、１種の偏光フィルタ内にＲＧＢＧという２×２カラーベイヤ・モザイク単位が含まれるため、第２の実施形態の変形例２と同様の情報が得られる。さらにマイクロレンズ型偏光撮像素子の利点として、レンズ開口部に偏光板を配置できるため、サイズが大判のワイヤグリッド偏光素子を用いることができ、１００：１程度の高い消光比を実現することができる利点を有する。

上述の画像４４０１、４４０４と画像４４０２、４４０３とは、ほとんど同一の画像であるため、情報に冗長性を有している。しかし、これらの画像は、レンズの異なる位置を透過した光線から形成されるため、被写体までの距離が近い場合には、視差が存在する。以下の実施形態では、視差を利用して立体視を可能にする。

（第５の実施形態）
図４５は、本開示の第５の実施形態における画像処理装置の全体構成を示す図である。本実施形態では、被写体表面の凹凸テクスチャを観察できる機能を有し、更に視差を利用した立体視をも可能になる。本実施形態が第１の実施形態と異なる部分は、モノクロ広帯域偏光撮像素子１１５がマイクロレンズアレイ型モノクロ偏光撮像部４５０１に変更されていること、画像プロセッサ１１０内に画素選択集積部２１０、視差画像合成部２５０を有すること、画像表示部１１４が立体画像表示部４５０１に変更されていること、および、画像観察時に立体メガネ４５０２を利用することである。

マイクロレンズアレイ型モノクロ偏光撮像部４５０１は、基本的には、図３７に示したマイクロレンズアレイ型カラー偏光撮像部３５０１と同じ構成を有しているが、開口部には図４３に示されるように偏光板のみ設けられ、カラーフィルタが設けられていない。

検査用の内視鏡では、微細な鉗子を用いた粘膜の採集（いわゆる生検）や粘膜の除去治療を行う手術などにおいて、鉗子と粘膜との距離を認識するための立体視が有効である。本実施形態では、前述の実施形態で用いた開口型偏光撮像部の一部に左右の透明（スルー）領域を設けることによってレンズ内の左右領域の重心どうしの間隔を基線長とするステレオ視入力系を形成する。すなわち、左右の領域を透過した光線から、マイクロレンズアレイ型光学系を用いて視差画像を生成する。視差画像は、立体画像表示部４５０１に表示される。視差画像を交互が表示される場合、左右に設けたシャッタが交互に開閉する立体メガネ４５０２を装着すれば、表示された画像を立体的に視認することが可能になる。なお、立体画像表示４５０１の構成によっては、立体メガネ４５０２が無くても立体像を視認することが可能になる。

図４６は、内視鏡先端部における開口部と対物レンズ、レンズ上のフィルタ配置等を説明する図である。図４６（Ａ）は内視鏡先端部の斜視図であり、鉗子口から手術時に鉗子４６０４がせり出した状態を示している。図４６（Ｂ）は、内視鏡先端部を正面から見た拡大図である。図４６（Ｂ）に示されるように、内視鏡先端部は、照明レンズ１０７、開口部４６０２、および鉗子口４６０３を有する。開口部４６０２には、対物レンズが設けられている。鉗子４６０４は、図４６（Ａ）に示すように、手術時に鉗子口４６０３から突出するが、通常は、内視鏡内部に格納されている。図４６（Ｃ）は、開口部４６０２の拡大図である。図４６（Ｃ）に示されるように、照明レンズ１０７上には２行２列に配列された４個の領域が設けられている。

図４６（Ｄ）は、開口部４６０２の拡大図である。開口部４６０２上に配置された２行２列の４個の領域のうち、第１行の左上（ＵＬ）および右上（ＵＲ）の２領域は透明（スルー）であり、第２行の左下（ＤＬ）および右下（ＤＲ）の２領域は、ぞれぞれ、Ｐ（０°）偏光透過領域およびＳ（９０°）偏光透過領域である。これら偏光透過領域には、偏光透過軸の方向が交差している２個の偏光フィルタが配置されている。このような偏光フィルタは、例えば図３８に示したようなワイヤグリッドから構成され得る。

本実施形態によれば、開口部４６０２の左側の列に位置する領域（左側領域）を通過した光線による画像と、右側の列に位置する領域（右側領域）を通過した画像とを分離して取得することができる。それらの２種類の画像の間には、開口部４６０２の左側領域の重心と右側領域の重心との距離（ＤＩＳ）だけ視差が発生する。

図４７は、画素選択再集積部２１０の画像処理を模式的に示す図である。本実施形態によれば、被写体の一点で反射された光線が、開口部４６０２の領域ＵＬ、ＵＲ、ＤＬ，ＤＲの各々を透過した後、撮像面３７０４の近傍のマイクレンズによって異なる光検知セルに入射するようにマイクロレンズアレイが構成されている。すなわち、個々のマイクロレンズが撮像面３７０４における４個の光検知素子からなる単位構造をカバーするよう配置されている。図４６（Ｄ）に示される４個の領域を通過した光線は、それぞれ、図４７の上部に示す撮像面３７０４の各単位構造に含まれる４個の光検知セルに入射する。このため、マイクロレンズアレイ型モノクロ偏光撮像部４５０１の開口部４６０２における領域ＵＬ、ＵＲ、ＤＬ，ＤＲの各々を透過した光線による４種類の画像が、図４７に示されるように、分離して生成され得る。その結果、透明な領域ＵＬを通過した光線から得られる画像と、透明な領域ＵＲを通過した画像とからなる左右の視差画像が得られ、また、偏光フィルタが配置された２個の領域ＤＬ、ＤＲからは、前述した処理により、Ｐ偏光の画像およびＳ偏光の画像が得られる。

なお、領域ＤＬ、ＤＲからえられる偏光画像の間に大きな視差が発生すると、前述した処理によって被写体表面の溝部を検知することが難しくなる。しかし、偏光画像を取得するモードでは、このような視差が問題にならない。以下、この理由を説明する。

図４８の上側は、内視鏡を用いて手術を行うときの内視鏡先端部から被写体までの距離(被写体距離)を示している。図４８の下側は、内視鏡を用いて検査を行うときの内視鏡先端部から被写体までの距離を示している。手術時において鉗子を用いて粘膜表面を切除する際、内視鏡先端部から被写体粘膜までの距離は、おおよそ５〜２０ｍｍ程度である。一般にステレオ視では、基線長さの１５から３０倍程度の被写体距離を立体視できるとされている。内視鏡の対物レンズの直径は１ｍｍ程度であるから、透明領域間の重心距離ＤＩＳは約０．５ｍｍ程度になり、ちょうど上記被写体距離の立体視に最適な視差が得られる。これは左右画像上では、たとえば距離Ｘ１と距離Ｘ２との差に相当する距離だけ、シーンの画素ズレが発生し得る。一方、検査時では、臓器表面の広い領域を観察する必要から被写体距離は５０ｍｍ〜１００ｍｍ程度である。この場合、内視鏡先端部から被写体までの距離が長いため、視差は発生せず、左右画像で画素ズレは実質的に０とみなすことができる。

したがって、被写体距離が長い検査時には、偏光撮像モードにおいて、被写体表面の凹凸テクスチャを検出して、溝部を擬似的に青く着色する画像を確認しておき、次に被写体距離を短くして立体観察モードに移行してからは、立体視を行いながら、被写体の粘膜表面を切除するようにすればよい。手術中には、視差が大きくなって偏光撮像の処理が実現しにくいが、近接距離であればインジゴカルミン溶液を実際に撒布できるので表面テクスチャ観察には問題ない。

図４８に示された視差を有する左右画像は、本実施形態では動画として立体画像表示部４５０１に再現される。画像観察時には立体メガネ４５０２を利用することで再現される。

図４９は、視差画像の左画像ＬＬ、右画像ＲＲを立体画像表示部４５０１に交互に表示することにより、使用者が立体画像を観察している様子を示す図である。立体画像表示部４５０１には、期間Ｔ１の間にはＬＬ画像のみが示され、次の期間Ｔ２の間にはＲＲ画像のみが示される。この映像は偏光フィルタ板などを透過させることによって直線または円偏光の光４９０３として発光する。観察者は液晶シャッタなどから構成される立体メガネ４５０２をかけてこれを観察する。立体メガネの液晶シャッタは、立体画像表示部４５０１に同期して偏光４９０３に対してオープン（透過）とクローズ（遮断）を繰り返す。すなわち、期間Ｔ１の間はＬ液晶シャッタがオープンでＲ液晶シャッタがクローズとなり、期間Ｔ２の間はＬ液晶シャッタがクローズでＲ液晶シャッタがオープンとなる。期間Ｔ１、Ｔ２を十分に短く設定し、これらの期間を繰り返すことにより、人間の視覚系では立体視が成立する。

本実施形態では、１つのシーンに対して、同時に０°（Ｐ）と９０°（Ｓ）の２種の偏光画像が得られる。これは、第１の実施形態の装置で得られる偏光画像に相当するため、第１の実施形態について説明した面順次照明と組み合わせることにより、通常撮像モードおよび偏光撮像モードを実現でき、更に本実施形態では立体撮像モードが付加される。

（第６の実施形態）
図５０は、本開示の第６の実施形態における画像処理装置の全体構成を示す図である。本画像処理装置は、第２の実施形態と同様、白色（ホワイト）光を照射して単板カラー撮像素子にてカラー撮像を行う。本実施形態でも、表面凹凸テクスチャを観察できる機能を有したまま、視差を利用した立体視をも可能にする。

本実施形態が第４の実施形態と異なる点は、マイクロレンズアレイ型カラー偏光撮像部４１０１に用いる開口部のフィルタの左右領域に透明（スルー）領域が設けられていることと、画像プロセッサ１１０内に視差画像合成部２５０を有すること、画像表示部１１４が立体画像表示部４５０１に変更されていること、画像観察時には立体メガネ４５０２を利用することである。マイクロレンズアレイ型カラー偏光撮像部４１０１の構成は、対物レンズ３５０２の前に一対の透明領域が設けられている点を除けば、図４２Ｂに示される構成と同じである。本実施形態でも、図４２Ｂに示されるマイクロレンズアレイ３７０３に含まれる個々のマイクロレンズが、撮像面４２０３における４×４個の光検知セルを覆っている。

図５１は、本実施形態における内視鏡先端部の構成例を示す図である。図５１（Ａ）は、内視鏡先端部の斜視図であり、鉗子口４６０３から手術時にせり出した鉗子４６０４が記載されている。図５１（Ｂ）は、内視鏡先端部を正面から見た拡大図であり、照明レンズ１０７、開口部４６０２、鉗子口４６０３が示されている。図５１（Ｃ）は開口部４６０２の拡大図である。図５１（Ｄ）は、開口部４６０２上の２行２列に設けられた４個の領域の拡大図である。開口部４６０２の構成は、第５の実施形態における開口部４６０２の構成と同一である。

図５２は、開口部４６０２の領域ＤＬ、ＤＲに設けられた一対の偏光フィルタと、撮像面４２０３上のカラーモザイクフィルタとの対応関係の一例を示している。マイクロレンズアレイ３７０３の作用により、開口部４６０２の領域ＵＬ、ＵＲ、ＤＬ、ＤＲの各々を透過した光線は、カラーモザイクフィルタの４個の単位領域ＵＬ１、ＵＲ１、ＤＬ１、ＤＲ１にそれぞれ結像する。４個の単位領域ＵＬ１、ＵＲ１、ＤＬ１、ＤＲ１は、それぞれ、異なる色のカラーフィルタを含んでいる。本実施形態では、各単位領域がベイヤ配列を形成している。

図５３は、画素選択再集積部での画像処理を説明するための図である。撮像面４０２３上に形成されたイメージから２行２列に配置された４個の画素単位ごとに、それぞれ、左上、右上、左下、右下の画素を全画像にわたって選択し、再度集積する。こうすることにより、解像度は１／２×１／２に低下するが、それぞれ、左カラー画像ＬＬ５３０１、右カラー画像ＲＲ５３０２、Ｓ（９０°）偏光カラー画像５３０３、Ｐ（０°）偏光カラー画像５３０４を分離することができる。

本実施の形態では、各偏光フィルタに対応してＲＧＢＧという２×２ベイヤカラーモザイク単位が含まれるため、第４の実施形態の装置で得られた情報と同等の情報が得られ、かつ、視差画像を取得することもできる。

（第６の実施の形態の変形）
図５４を参照して第６の実施形態の変形例を説明する。マイクロレンズアレイ型カラー偏光撮像素子４１０１の開口部４６０２における偏光透過領域および透明領域の配列は、図５１（Ｃ）に示された例に限定されない。図５４（Ａ）の例は、２行２列の４個の領域の対角位置に０°と９０°の偏光フィルタが配置され、他の２個の領域は透明領域である。この配列では、透明領域の重心間距離ＤＩＳを、前述の配置例における重心間距離ＤＩＳの１．４倍程度に拡大できる。このため、左右画像の視差を大きくできる。

図５１（Ｂ）の例では、開口部４６０２に２行３列に配置された６個の領域が設けられている。開口部４６０２の中心付近の視差が少ない領域に０°と９０°の偏光フィルタが設けられ、開口部４６０２内の左右の離れた位置に透明領域が設けられている。この配置により、重心間距離ＤＩＳをさらに大きくすることができる。この配置を採用すれば、被写体距離が短い場合においても、偏光撮像時で左右画像の画素ズレが少なくなり、より長い被写体距離でも立体視が可能になる。

図５１（Ｃ）の例では、開口部４６０２に４行４列に配置された１６個の領域が設けられている。開口部４６０２の中心付近の視差が少ない領域に０°と９０°の偏光フィルタが配置され、開口部４６０２内の左右上下の離れた位置に透明領域が設けられている。従って、偏光撮像時の画像の画素ズレが少なくなり、立体視が左右のみならず上下でも可能になる。なお、図５４（Ｂ）、（Ｃ）の例では、開口部４６０２の配列パターンに整合するように、マイクロレンズアレイ３７０３の配列を設定する。すなわち、撮像面において、それぞれ、２行３列の６個の光検知セルおよび４行４列の１６個の光検知セルが各基本単位を構成する。

従来、内視鏡の光学系は、フォーカス合わせを不必要にするため、焦点深度を深く設定してきた。このような光学系では、ボケ量が少なく、対物レンズの左右領域の各々を透過した光線は撮像面上で大きな画素ズレを発生しない。そのため、従来の内視鏡では単眼立体視が困難である。本開示の実施形態では、焦点深度が浅い光学系を用いて、単眼立体視を有効にすることができる。マイクロレンズアレイ型の撮像素子を用いる場合、焦点深度が深い画像を必要とするときには、画素選択によってレンズ中心付近のみを透過した光線による信号を集積すれば、レンズを絞った効果と同様の効果を得ることができ、焦点深度が深い画像を生成できる。

（第７の実施形態）
図５５は、本開示の第７の実施形態における画像処理装置の全体構成を示す図である。本画像処理装置は、第１、第５の実施形態と同様、面順次方式で動作する。本実施形態では、表面凹凸テクスチャを観察できる機能を有しつつ、視差を利用した立体視をも可能にする。本実施形態の特徴点は、第５の実施形態におけるマイクロレンズアレイ型カラー偏光撮像部の代わりに複眼レンズ型カラー撮像部を搭載している点にある。複眼型カラー撮像部とは、複眼カメラと同様に複数のロッドレンズを備える複眼レンズ部５６０１が内視鏡先端部に配置され、被写体の複数の像がカラー撮像素子５５０３の撮像面上に結像する。

図５６は、内視鏡先端部を示す拡大図である。図５６（Ａ）は内視鏡先端部の斜視図を示し、図５６（Ｂ）は先端部の正面図を示す。複眼レンズ部５６０１を拡大した図が図５６（Ｃ）である。本実施形態では、複眼レンズ部５６０１に４個のロッドレンズＵＬ、ＵＲ、ＤＬ、ＤＲが配置されている。ロッドレンズＵＬ、ＵＲは透明領域であるが、ロッドレンズＤＬには０°（Ｐ）透過軸を有する偏光フィルタが設けられており、ロッドレンズＤＲには９０°（Ｓ）透過軸を有する偏光フィルタが設けられている。

図５７は、画像分離部２６０の処理を示す図であり、撮像面４２０３上の上下左右の画像が分離される。この４枚の画像への分離により、１種類の照明光の照射に対して、視差を有する非偏光画像５７０１、５７０２および、Ｐ偏光画像５７０３とＳ偏光画像５７０４が得られる。これらの処理は、第５の実施形態について説明した通りである。

（第８の実施形態）
図５８は、本開示の第８の実施形態における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、第２、第４、第６の実施形態と同様、白色（ホワイト）光を照射して単板カラー撮像素子にてカラー撮像を行う。本実施形態でも、被写体の表面凹凸テクスチャを観察できる機能を有しつつ、視差を利用した立体視が可能になる。

本実施形態の特徴点は、マイクロレンズアレイ型カラー偏光撮像部の代わりに複眼レンズ型カラー撮像部５５０２を搭載する。

図５９（Ａ）は内視鏡先端部の斜視図であり、図５９（Ｂ）は内視鏡先端部の正面拡大図である。複眼レンズ部５６０１を拡大した図が図５９（Ｃ）である。照明光を出射する構成以外は、図５６を参照して説明した第７の実施形態の構成と同一である。

図６０は、画像分離部２６０の処理を示す図であり、撮像面４２０３上の上下左右の画像が分離され、後段のカラーモザイク補間部２０８へ処理が進む。カラーモザイク補間部２０８の処理も前述した通りである。

なお、第１の実施形態および第７の実施形態では、面順次方式の照明光照射を行い、それらの実施形態以外の実施形態では、白色の偏光照明を行い、直交ニコル画像（Ｐ⊥）、（Ｓ⊥）を取得している。偏光照明の偏光方向を４５度づつ回転させ、４種類の偏光照明について、直交ニコル状態の画像（０°⊥）、（４５°⊥）、（９０°⊥）、（１３５°⊥）を取得してもよい。その場合、偏光照明の偏光方向を４５°づつ回転できるようにし、同時に偏光撮像素子でも４５°づつ回転させた偏光モザイクアレイを使用する。４種類の偏光画像を取得するため、１回の撮像に時間がかかるが、表面凹凸テクスチャをより高精度に取得できる。

（第９の実施形態）
図６１は、本開示の第９の実施形態における画像処理装置の全体構成を模式的に示す図である。本実施形態は、基本的には、本開示の第５の実施形態と同一の表面凹凸テクスチャを観察できる機能を有したまま、視差を利用した立体視をも可能にする面順次式の内視鏡である。

本実施形態が、第５の実施形態と異なる部分は、マイクロレンズアレイ型モノクロ広帯域偏光撮像部６１０１の開口領域の構成と、パンフォーカス画像表示部６１０２を備えている点にある。マイクロレンズアレイ型モノクロ広帯域偏光撮像部６１０１は、基本的には、図３７に示されているマイクロレンズアレイ型モノクロ広帯域偏光撮像部３５０１と同じである。本実施形態でも、撮像面３７０４にはカラーモザイクフィルタは設けられておらず、対物レンズ３５０２の４個の領域が撮像面３７０４の２行２列に配置された４個の画素に対応する。

本実施形態の画像処理装置は、直交ニコル、平行ニコルの単眼立体視画像を取得できる特性を持ちながら、深い被写界深度のパンフォーカス画像を得ることが可能である。通常の内視鏡によるカラー画像観察では、被写体までの距離にかかわらずに焦点が合うパンフォーカス特性の光学系が使われている。しかし、このような光学特性では、対物レンズの左右の領域を透過した光線が撮像面上ではあまり大きくずれない。そのため、単眼立体視自身は困難になる。

本実施形態では、単眼立体視が可能な焦点ボケを有する対物レンズを用いながら、被写界焦点深度の深いパンフォーカス画像を得ることができる。このようなパンフォーカス画像を表示するため、本実施形態では、画像合成部２０６の出力を受け取るパンフォーカス画像表示部６１０２を備えている。パンフォーカス画像表示部６１０２は、通常の２次元表示を行うための表示装置であり、立体表示部４５０３が２次元表示機能を有している場合には、立体表示部４５０３がパンフォーカス表示６１０２を兼用し得る。

図６２は、本実施形態における内視鏡先端部の構成例を示す図である。図６２（Ａ）は、内視鏡先端部の斜視図であり、鉗子口４６０３から手術時にせり出した鉗子４６０４が記載されている。図６２（Ｂ）は、内視鏡先端部を正面から見た拡大図であり、照明レンズ１０７、開口部４６０２、鉗子口４６０３が示されている。開口部４６０２には対物レンズが配置され得る。図６２（Ｃ）は開口部４６０２の拡大図である。開口部４６０２には、２×２＝４個の領域が設けられている。この２×２領域は、基本的には、図４６に示す構成を同じ構成を備えているが、左上の領域ＵＬおよび右上の領域ＵＲが遮光部から構成されており、これらの領域ＵＬ、ＵＲの各々における中心付近に視差距離ＤＩＳだけ離れた微小開口部（透明部）が設けられている点で異なっている。左下の領域ＤＬおよび右下の領域ＤＲは、それぞれ、Ｐ（０°）偏光透過領域およびＳ（９０°）偏光透過領域である。偏光透過領域は、例えばワイヤグリッドから形成され得る。

上記の構成によれば、４領域を透過した光線のうち、ＵＬおよびＵＲ領域では光線が微小開口部により絞られるため、それぞれの位置から観察した被写体のパンフォーカス画像（ＵＬ画像、ＵＲ画像）、すなわち被写界深度の深い２Ｄ画像が得られ、それらの２枚を左右眼で観察すれば、３Ｄの立体視も可能になる。

図６３は、画素選択再集積部２１０の画像処理を示す。図６１の画素選択再集積部２１０の働きにより、領域ＵＬ、ＵＲ、ＤＬ，ＤＲを透過した光線による画像が分離生成される。その結果、領域ＵＬ、ＵＲの微細開口部を透過した光線から左右の視差画像が得られる。また、領域ＤＬ、ＤＲを透過した光線からは、Ｐ偏光の画像およびＳ偏光の画像が得られる。

パンフォーカス撮像モードにおいては、図６３に示すＵＬ画像またはＵＲ画像のいずれか一方が選択されて２Ｄ画像が表示される。なお、遮光部および微細開口部は、領域ＤＬ、ＤＲに設けてもよいが、その場合、遮光部による光量減少と偏光フィルタによる光量減少とが重なる。

本実施形態では、面順次方式で照明を行うが、第６の実施形態が備える照明部（図５１）を採用してもよい。その場合、撮像面上の２×２領域とカラーモザイクとの対応関係を図５２に示す構成に変更すればよい。本実施形態における撮像モードと、その場合の照明光、得られる画像は、以下のようにまとめることができる。

（第９の実施形態の変形例）
図６４は、第９の実施形態の変形例における開口部４６０３の構成を示す。この変形例では、第９の実施形態の構成のうち、開口部４６０３の構成以外に変更は無い。図６４（Ａ）の例では、レンズ開口部を分割した４領域のうちの領域ＵＲのみに遮光部および微小開口部が設けられている。領域ＵＬは透明部であり、領域ＤＬ、ＤＲには透過軸０°の偏光フィルタが設けられている。この例では、照射する照明光を、（１）通常撮像モードの非偏光、（２）偏光撮像モードの０°直線偏光、（３）偏光撮像モードの９０°直線偏光の間で切り替えることにより、以下のように、各領域を透過した光線から異なる画像が得られる。ただし、平行、直交ニコル画像についてはＰ／Ｓの両方を得ることはできない。また立体撮像は、（２）の偏光撮像モードで得られる平行ニコル画像のＲ画像およびＬ画像を用いて実行することが望ましい。この例では、以下の画像が得られる。

図６４（Ｂ）の例では、レンズ開口部を分割した２領域のうちの領域Ｒのみに遮光部および開口部を設けている。また領域Ｌには透過軸０°の偏光フィルタを配置している。この場合、照明光を、（１）通常撮像モードの非偏光、（２）偏光撮像モードの０°直線偏光、（３）偏光撮像モードの９０°直線偏光の間で切り替えることにより、以下のように各領域を透過した光線から異なる画像が得られる。立体撮像は、領域Ｒのパンフォーカス画像と領域Ｌの偏光フィルタ透過画像とを用いて実現され得る。この例では、以下の画像が得られる。

（第１０の実施形態）
図６５は、第１０の実施形態にかかるマイクロレンズアレイ型モノクロ広帯域偏光撮像部６１０１を示す。本実施形態の基本構成は、図６１を参照して説明した第９実施形態の構成と同一である。異なる点は、マイクロレンズ３７０３が対物レンズ３５０２の上下左右に位置する２行２列の領域を撮像面３７０４における２行２列の画素に対応させるのではなく、対物レンズ３５０２の３行３列の領域６５０１〜６５０３を撮像面３７０４上の３×３画素６５０４に対応させている点である。図６５では、簡単のため、３個の領域６５０１〜６５０３だけが記載されている。

図６６（Ａ）〜（Ｃ）は、本実施形態の内視鏡先端部を示す図である。対物レンズ４６０２は、図６６（Ｃ）に示すように、３行３列に配置された９個の領域ａ〜ｉに分けられている。領域ａおよび領域ｂは透明領域であり、重心距離ＤＩＳの視差を形成する。領域ｅはレンズ中心部に位置する。領域ｇおやよび領域ｉは、偏光透過軸が９０°異なる偏光フィルタ領域であり、重心距離ＤＩＳの視差を形成する。

図６７は、画素選択再集積部２１０の画像処理を示すである。マイクロレンズ３７０３および画素選択再集積部２１０の働きにより、９個の領域ａ〜ｉを透過した光線による画像が分離生成される。領域ａと領域ｃから左右の視差画像が得られ、領域ｇと領域ｉからＰ偏光とＳ偏光の撮像画像が得られる。

パンフォーカス撮像モードにおいて、領域ｅのレンズ中心のみを透過した光線で生成される画像が選択されて２Ｄ画像表示される。

本実施形態では、レンズ開口領域が撮像面上で３×３＝９領域に分割されるため、個々の画像解像度が低下するが、レンズ中心部を透過したパンフォーカス画像、すなわち十分絞った状態の全画像に焦点の合った画像を得られる。

（第１１の実施形態）
図６８は、本開示の第１１の実施形態を示すブロック図である。この実施形態では、マイクロレンズアレイ型カラー偏光撮像素子および複眼レンズ型カラー撮像素子は搭載されておらず、通常のカラー撮像素子を備え、それによって立体視を実現する。本実施形態では、第２の実施形態と同じように、白色（ホワイト）光を被写体に照射し、単板カラー撮像素子でカラー撮像を行う（同時方式）。本実施形態は、レンズ開口部に設けられた偏光フィルタ６８０２と、カラー偏光撮像素子６８０１とを備えている。

図６９に示すように、内視鏡先端では、偏光面が０°（Ｐ）、９０°（Ｓ）の異なる照明光を出射する多数の照射口が交互に配置されている。隣接しない同種の８個のＬＥＤからなる２組が交互に選択されて点灯することによって、Ｐ偏光およびＳ偏光の照明が交互に実現し、この照明に同期してカラー撮像が行われる。

対物レンズ３５０２の開口部は左右に２分割され、Ｌ領域には０°、Ｒ領域には９０°の偏光フィルタが設けられている。これらの偏光フィルタは、ポリマー系フィルムや、ワイヤグリッド等で形成されてよい。

直線偏光を粘膜などの非常に滑らかな面に照射すれば、直線偏光は、ほぼそのまま戻ってくる。図７０は、この状況を示す。受光側のレンズ面が２つの領域に分割されていると、直線偏光が０°の時にはレンズの左側の領域Ｌのみを透過した光線による画像が、直線偏光が９０°の時にはレンズの右側の領域Ｒのみを透過した光線による画像が交互に時分割で得られる。実際には、被写体からの反射光に含まれる非偏光成分が反対側の領域を透過するため、視野の半分が暗くなることはない。従って、交互に得られるＬ画像およびＲ画像を時分割で表示することにより、立体画像を表示できる。

本実施形態では、偏光撮像が立体視のみに用いられるため、直交ニコル画像などを画像処理することはできない。また撮像する被写体が偏光を崩さないなめらかな表面を持つ場合に有効である。しかし、本実施形態の構成は、例えばカプセル内視鏡のような小型または簡単な構造を持つ装置に適用することが可能である。本実施形態の構成によれば、照明光量が少ない場合でも、画像が明るくなるため、焦点ボケを発生しやすい内視鏡でも有効な単眼立体視を実現できる。

本開示の実施形態は、消化器内科向け医療用内視鏡、皮膚科、歯科、眼科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、さらに工場などにおける表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。本開示の実施形態によれば、なめらかな透明物体または半透明物体の表面の凹凸を正しく検出でき、人間に判別しやすい形での強調表示をすることができる。このため、本開示の実施形態は、輝度観察では困難な凹凸の検査に最適である。

また、本開示の画像処理装置は、デジタルカメラやビデオカメラ、監視カメラなどに適用でき、水面や空撮影におけるコントラスト向上やガラス越しの撮影等に広く利用可能である。

１０１ 内視鏡
１０２ 制御装置
１０３ 挿入部
１０４ 光源装置
１０５ ライトガイド
１０６ 先端部
１０７ 照明レンズ
１０８ 映像信号線
１０９ 対物レンズ
１１０ 画像プロセッサ
１１１ 内臓粘膜表面（凹凸あり）
１１２ 同期装置
１１３ 反射光
１１４ 表示部
１１５ モノクロ広帯域偏光撮像素子
１１６ カラーホイール
１１７ 偏光または非偏光照明光
１１８ 光源
１１９ カラー偏光撮像素子
１２０ 照明回転制御部
２００ 照明用フィルタ
２０２ 偏光モザイク処理部
２０４ 凹領域検出部
２０６ 画像合成部
２０８ カラーモザイク補間部
２１０ 画素選択再集積部
２２０ マイクロレンズ
２２２ 第１ワイヤグリッド層
２２４ 第２ワイヤグリッド層
２２６ 平坦化層
２２８ 平坦化層
２３０ 配線
２３２ ＰＤ（フォトダイオード）
２４０ カラーフィルタ

Claims (19)

1. 偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、
   偏光子および透明領域が設けられた開口領域と、
   前記開口領域の偏光子または透明領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、各々が複数の光検知素子を覆う複数のマイクロレンズを有する撮像素子と、
   前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像および／または前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像を得て、前記非偏光撮像モードにおいては、前記非偏光照明光で前記被写体が照射されているときに偏光子または透明領域を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては偏光子または透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
   前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
   前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、
   前記視差画像を時間的に交互に再現する視差画像合成部と、
   を備える画像処理装置。
2. 前記開口領域には、偏光透過軸の方向が異なる複数の偏光子および複数の透明領域が設けられており、
   前記画素選択再集積部は、前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得る、請求項１に記載の画像処理装置。
3. 前記開口領域の前記複数の透明領域は、それぞれ、遮光領域によって囲まれて微小開口部を形成しており、
   前記画素選択再集積部は、各微小開口部を透過した光の信号によって構成されるパンフォーカス画像を得る、請求項２に記載の画像処理装置。
4. 前記開口領域の透明領域は、遮光領域によって囲まれて１つの微小開口部を形成しており、
   前記画素選択再集積部は、前記微小開口部を透過した光の信号によって構成されるパンフォーカス画像を得る、請求項１に記載の画像処理装置。
5. 前記開口領域の前記透明領域の一部は、前記開口領域の中心を含むように拡がっており、 前記複数のマイクロレンズの各々は、３行３列に配置された複数の光検知素子アレイを覆うように配置されており、
   前記開口領域の中心を透過した光は、前記３行３列に配置された複数の光検知素子アレイの中央に位置する光検知素子アレイに入射する請求項１に記載の画像処理装置。
6. 偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
   偏光透過軸の方向が異なる複数の偏光子および透明領域が設けられた開口領域と、
   光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記開口領域の各偏光子または各透明領域を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、各々が複数の光検知素子を覆う複数のマイクロレンズを有する撮像素子と、
   前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを、各マイクロレンズに覆われた前記複数の光検知素子から選択した一部の光検知素子からの信号に基づいて形成し、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
   前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
   前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、
   前記視差画像を時間的に交互に再現する視差画像合成部と、
   を備える画像処理装置。
7. 偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、
   偏光透過軸の方向が異なる複数の偏光子および複数の透明領域が設けられた複眼レンズ部であって、各々に偏光子または透明領域が設けられた複数のレンズを有する複眼レンズ部と、
   前記複眼レンズ部の各偏光子または各透明領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
   前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
   前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
   前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、
   前記視差画像を時間的に交互に再現する視差画像合成部と、
   を備える画像処理装置。
8. 偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
   偏光透過軸の方向が異なる複数の偏光子および複数の透明領域が設けられた複眼レンズ部であって、各々に偏光子または透明領域が設けられた複数のレンズを有する複眼レンズ部と、
   光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記複眼レンズ部の各偏光子または各透明領域を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子光と、
   前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
   前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
   前記被写体の表面における前記凹領域を強調して示す画像を形成する画像合成部と、
   前記視差画像を時間的に交互に再現する視差画像合成部と、
   を備える画像処理装置。
9. 偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
   偏光透過軸の方向が異なる複数の偏光子が設けられた開口領域と、
   光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記開口領域の各偏光子を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
   各偏光子を透過した光の信号によって構成される時分割の複数の視差画像を得る画素選択再集積部と、
   前記視差画像を時間的に交互に再現する視差画像合成部と、
   を備える画像処理装置。
10. 前記第１の照明光の波長域は、Ｂ（ブルー）およびＧ（グリーン）の少なくとも一方の波長域に含まれ、
    前記第２の照明光の波長域は、Ｂ（ブルー）およびＧ（グリーン）の少なくとも一方の波長域に含まれている、請求項１に記載の画像処理装置。
11. 前記第１の照明光の波長域は、Ｂ（ブルー）の波長域の一部およびＧ（グリーン）の波長域の一部に含まれ、
    前記第２の照明光の波長域は、Ｂ（ブルー）の波長域の他の一部およびＧ（グリーン）の波長域の他の一部に含まれる、請求項１に記載の画像処理装置。
12. 前記第１の照明光の波長域は、Ｂ（ブルー）の波長域の一部、Ｇ（グリーン）の波長域の一部、およびＲ（レッド）の波長域の一部に含まれ、
    前記第２の照明光の波長域は、Ｂ（ブルー）の波長域の他の一部、Ｇ（グリーン）の波長域の他の一部、およびＲ（レッド）の波長域の他の一部に含まれ、請求項１に記載の画像処理装置。
13. 前記照明部は、前記第１の照明光として、Ｂ（ブルー）の波長域の一部に含まれる光、Ｇ（グリーン）の波長域の一部に含まれる光、およびＲ（レッド）の波長域の一部に含まれる光を、それぞれ異なるタイミングで出射し、また、前記第２の照明光として、Ｂ（ブルー）の波長域の他の一部に含まれる光、Ｇ（グリーン）の波長域の他の一部に含まれる光、およびＲ（レッド）の波長域の他の一部に含まれる光を、それぞれ異なるタイミングで出射する、請求項８に記載の画像処理装置。
14. 前記照明部は、前記第１の照明光および第２の照明光を交互に出射し、かつ、Ｒ（レッド）、Ｇ（グリーン）、およびＢ（ブルー）の各波長域に含まれる光を順次出射する、請求項１３に記載の画像処理装置。
15. 請求項１から５のいずれかに記載の画像処理装置に用いられる内視鏡であって、
    偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、
    偏光子および透明領域が設けられた開口領域と、
    前記開口領域の偏光子または透明領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、各々が複数の光検知素子を覆う複数のマイクロレンズを有する撮像素子と、
    前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像および／または前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像を得て、前記非偏光撮像モードにおいては、前記非偏光照明光で前記被写体が照射されているときに偏光子または透明領域を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては偏光子または透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
    を備える内視鏡。
16. 請求項６に記載の画像処理装置に用いられる内視鏡であって、
    偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
    偏光透過軸の方向が異なる複数の偏光子および透明領域が設けられた開口領域と、
    光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記開口領域の各偏光子または各透明領域を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、各々が複数の光検知素子を覆う複数のマイクロレンズを有する撮像素子と、
    前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを、各マイクロレンズに覆われた前記複数の光検知素子から選択した一部の光検知素子からの信号に基づいて形成し、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
    を備える内視鏡。
17. 請求項７に記載の画像処理装置に用いられる内視鏡であって、
    偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、
    偏光透過軸の方向が異なる複数の偏光子および複数の透明領域が設けられた複眼レンズ部であって、各々に偏光子または透明領域が設けられた複数のレンズを有する複眼レンズ部と、
    前記複眼レンズ部の各偏光子または各透明領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
    前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
    を備える内視鏡。
18. 請求項８に記載の画像処理装置に用いられる内視鏡であって、
    偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
    偏光透過軸の方向が異なる複数の偏光子および複数の透明領域が設けられた複眼レンズ部であって、各々に偏光子または透明領域が設けられた複数のレンズを有する複眼レンズ部と、
    光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記複眼レンズ部の各偏光子または各透明領域を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子光と、
    前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得て、立体撮像モードにおいては各透明領域を透過した光の信号によって構成される複数の視差画像を得る画素選択再集積部と、
    を備える内視鏡。
19. 請求項９に記載の画像処理装置に用いられる内視鏡であって、
    偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
    偏光透過軸の方向が異なる複数の偏光子設けられた開口領域と、
    光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタを有し、前記開口領域の各偏光子を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
    各偏光子を透過した光の信号によって構成される時分割の複数の視差画像を得る画素選択再集積部と、
    を備える内視鏡。

Images