JP2009014354A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】標本上の各標本点における分光特性を、意図しないばらつきを生じさせることなく高精度に推定できること。
【解決手段】画像処理装置１は、基準標本が記録された画像であって画素ごとに基準標本上の対応する標本点における基準分光特性が対応付けられた教師画像の各画素を、少なくとも主要要素を特徴付ける主要特徴量に基づいて分類する主要要素分類部７ｂと、主要要素分類部７ｂが分類した画素群の中から複数の代表画素を抽出する代表点抽出部７ｃと、代表点抽出部７ｃが抽出した複数の代表画素に対応付けられた基準分光特性をもとに、標本の分光特性の推定に用いる基準分光特性の統計量を算出する統計量算出部７ｄと、を備える。
【選択図】図１

Description

本発明は、１以上の主要要素を含む標本を撮像した観察画像を処理する画像処理装置および画像処理プログラムに関するものである。

生体組織標本、特に病理標本では、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した後、様々な所見を得る為に顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された生体標本は光を殆ど吸収及び散乱せず無色透明に近い為、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、青紫色のヘマトキシリンと赤色のエオジンとの２つの色素を用いるヘマトキシリン−エオジン染色（以下、Ｈ＆Ｅ染色と呼ぶ。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性は無い。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電している為、ヘマチンと結合して青紫色に染色される。尚、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的である為、以下それに従う。

エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。その為、エオジン溶液には酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本では細胞核、骨組織等が青紫色に、細胞質、結合織、赤血球等が赤色に染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握することができ、標本の状態を形態学的に判断することが可能となる。

生体組織標本の染色は、元々個体差を有する生体組織に対し、化学反応を用いて色素を固定する作業である為、常に均一な結果を得ることが難しい。具体的には、同一濃度の染色液に同一時間標本を反応させた場合でも、固定される色素の量が同程度であるとは限らない。標本によっては比較的多くの色素が固定される場合や、比較的少ない色素しか固定されない場合がある。前者では通常より濃く染色された標本となり、後者は薄く染色された標本となる。このような標本間での染色のばらつきを抑える為、施設によっては専門の技能を有した染色技師を配置している。しかし、染色技師の職人的な調整作業によって同一施設内での染色ばらつきはある程度軽減できるが、異なる施設間での染色ばらつきは依然として生じたままである。

染色ばらつきは、２つの点で問題がある。１つは、染色された標本を観察者が目視観察する場合、標本の染色状態が不揃いであることが観察者のストレスに繋がる可能性がある。重度の染色ばらつきが生じている場合、決定的な所見が見落とされる可能性がある。２つ目は、染色された標本をカメラで撮像して画像処理する場合、染色ばらつきが画像処理精度に悪影響を及ぼす可能性がある。例えば、ある病変が特定の色を呈することが判っていたとしても、標本を撮像した観察画像から自動的にその病変に対応する画像領域を抽出することが難しくなる。病変の特性による色変化を染色ばらつきが撹乱してしまうからである。

このような染色ばらつきの問題を、マルチバンド画像を用いた画像処理によって解決する手法が非特許文献１に開示されている。非特許文献１に記載された画像処理方法では、観察画像としてマルチバンド画像を取得し、このマルチバンド画像の画像データをもとに、まず標本上の各標本点における分光特性をウィナー（Wiener）推定によって推定する。つぎに、この推定した分光特性を用い、標本上の各標本点に固定された色素量を物理モデルに基づいて推定する。そして、この推定した色素量を適宜増減させて補正するとともに、この補正した色素量をもとに画像データを生成することで、染色状態を補正した観察画像を取得している。これによると、推定した色素量の補正を適切に行うことで、濃く染色された標本あるいは薄く染色された標本の観察画像を、適切に染色された標本と同等の色を呈する観察画像に補正することができる。

特開平７−１２０３２４号公報 特許第３５１００３７号公報 "Color Correction of Pathological Images Based on Dye Amount Quantification"、OPTICAL REVIEW、2005、Vol.12、No.4、p.293-300 Arthur Dempster, Nan Laird, and Donald Rubin、"Maximum likelihood from incomplete data via the EM algorithm"、Journal of the Royal Statistical Society、1977、Series B、39(1):1 38

ところで、非特許文献１に記載の画像処理方法では、標本上の各標本点における分光特性をウィナー推定するために、その標本に含まれる主要要素を含んだ基準標本の分光特性の統計量が必要となる。ウィナー推定の場合、その統計量は、分光特性としての分光透過率の自己相関行列もしくは共分散行列に相当する。この自己相関行列もしくは共分散行列は、基準標本上の複数の標本点における分光透過率を事前に分光計によって計測した計測結果をもとに算出される。以下、本発明の実施の形態では、上記統計量に自己相関行列を用いる場合を説明し、この自己相関行列の算出に用いる基準標本上の標本点を代表点と呼ぶ。

基準標本が記録された基準標本画像をもとに基準標本の全域から代表点を均一に抽出した場合、基準標本画像上で基準標本中の主要要素を示す主要領域のうち面積が大きい主要領域に対応する主要要素からより多くの代表点が抽出される。ウィナー推定では、平均二乗誤差を最小化する手法であるため、代表点が多く集まる主要要素に対する推定精度が相対的に高くなる。すなわち、ウィナー推定では、基準標本画像上で面積が大きい主要領域に対応する主要要素に対して推定精度が高く、面積が小さい主要領域に対応する主要要素に対して推定精度が低くなる傾向を示す。

したがって、非特許文献１に記載の画像処理方法では、標本が病理標本である場合、診断で重要とされる細胞核が小さいため、細胞核の分光透過率を精度良く推定することが困難であった。これに対して、特許文献１に開示された技術では、典型的な病理標本を撮像した基準標本画像をもとに、ユーザーが各主要要素からほぼ同数の代表点を抽出するようにしているため、細胞核に対する推定精度を他の主要要素に対する推定精度と同等にすることができる。ここで、病理標本における主要要素には、細胞核のほか、細胞質、赤血球および背景等がある。

しかしながら、ユーザーが代表点の抽出を行うユーザー抽出では、抽出される代表点がユーザーによって異なるため、ウィナー推定による分光透過率の推定結果もユーザーによってばらつくこととなる。つまり、ユーザー抽出を行った場合、抽出される代表点の最適性および再現性が保証されておらず、分光透過率の推定精度にばらつきが生じるという問題があった。また、ユーザー抽出では、ユーザーが代表点を抽出するために試行錯誤せざるを得ず、その作業に多大な労力と時間を要するという問題があった。

本発明は、上記に鑑みてなされたものであって、標本上の各標本点における分光特性を、意図しないばらつきを生じさせることなく高精度に推定することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、本発明にかかる画像処理装置は、１以上の主要要素を含む標本を撮像した観察画像の画像データをもとに、前記１以上の主要要素を含む基準標本上の複数の標本点における基準分光特性の統計量を用いて前記標本の分光特性を推定する画像処理装置において、前記基準標本が記録された画像であって画素ごとに前記基準標本上の対応する標本点における前記基準分光特性が対応付けられた教師画像の各画素を、少なくとも前記主要要素を特徴付ける主要特徴量に基づいて分類する画素分類手段と、前記画素分類手段が分類した画素群の中から複数の代表画素を抽出する代表抽出手段と、複数の前記代表画素に対応付けられた前記基準分光特性をもとに前記統計量を算出する統計量算出手段と、を備えたことを特徴とする。

また、本発明にかかる画像処理プログラムは、１以上の主要要素を含む標本を撮像した観察画像の画像データをもとに、前記１以上の主要要素を含む基準標本上の複数の標本点における基準分光特性の統計量を用いて前記標本の分光特性を推定する画像処理装置に、前記基準標本が記録された画像であって画素ごとに前記基準標本上の対応する標本点における前記基準分光特性が対応付けられた教師画像の各画素を、少なくとも前記主要要素を特徴付ける主要特徴量に基づいて分類する画素分類手順と、前記画素分類手順によって分類された画素群の中から複数の代表画素を抽出する代表抽出手順と、複数の前記代表画素に対応付けられた前記基準分光特性をもとに前記統計量を算出する統計量算出手順と、を実行させることを特徴とする。

本発明にかかる画像処理装置および画像処理プログラムによれば、標本上の各標本点における分光特性を、意図しないばらつきを生じさせることなく高精度に推定することができる。

以下、添付図面を参照して、本発明にかかる画像処理装置および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一符号を付して示している。

（実施の形態）
図１は、本実施の形態にかかる画像処理装置１の要部構成を示すブロック図である。この図に示すように、画像処理装置１は、色素によって染色された標本を撮像した観察画像を取得する観察画像取得部２と、基準標本の分光特性を取得する基準分光特性取得部３と、各種情報の入力、表示および記憶をそれぞれ行う入力部４、表示部５および記憶部６と、観察画像取得部２が取得した観察画像および基準分光特性取得部３が取得した分光特性に対して各種演算処理を行う画像処理部７と、これらの各部に電気的に接続され、その接続された各部の処理および動作を制御する制御部８とを備える。

観察画像取得部２は、例えば図２に示すように、複数の色素によって染色された標本１０が載置されたステージ１１と、ステージ１１を介して標本１０を透過照明する光源１２と、標本１０からの光を集光して標本１０の観察像を結像させる結像光学系１３と、観察像を結像する光の波長帯域を所定範囲に制限するバンドパスフィルタ１４と、観察像を撮像して観察画像を生成するカメラ１６とを備える。

カメラ１６は、ＣＣＤ等を用いたモノクロの撮像素子上に、図３に示すようなモザイク状のＲＧＢフィルタを配置して構成されており、Ｒ，Ｇ，Ｂの各フィルタ領域において、図４に示すような分光感度特性を有している。カメラ１６は、各画素においてＲ，Ｇ，Ｂいずれかの成分しか撮像することができないが、例えば特許文献２に開示されているように、近傍の画素値を利用して各々不足するＲ，Ｇ，Ｂ成分を補間することができる。これによってカメラ１６は、各画素においてＲ，Ｇ，Ｂ成分をすべて取得している。なお、カメラ１６は、ＲＧＢフィルタを用いた構成に限らず、例えば３ＣＣＤタイプのカメラを用いることができる。その場合、各画素において補間を行うことなくＲ，Ｇ，Ｂ成分をすべて取得することができる。

バンドパスフィルタ１４は、例えば図５−１および図５−２に示すような異なる分光透過率特性を有したバンドパスフィルタ１４ａ，１４ｂを含み、それぞれ回転式のターレット１５に保持されている。これによって、バンドパスフィルタ１４ａ，１４ｂは、結像光学系１３とカメラ１６との間に切換自在に配置可能とされている。観察画像取得部２は、観察像を結像する光の波長帯域をバンドパスフィルタ１４ａ，１４ｂによって順次変化させながら撮像を行うことで、標本１０の観察画像として６バンドのマルチバンド画像（６バンド画像）を取得することができる。観察画像取得部２が取得した観察画像は、制御部８に転送され、記憶部６に記憶される。

なお、ここでは観察画像取得部２は、２枚のバンドパスフィルタ１４ａ，１４ｂを用いて６バンドの観察画像を取得するものとしたが、２枚に限定されず３枚以上用いてもよい。それによって、より多くのバンド数のマルチバンド画像を観察画像として取得することができる。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り換えながら面順次方式でマルチバンド画像を撮像する技術が特許文献１に開示されている。これによると、１６バンドの観察画像を得ることができる。

また、バンドパスフィルタ１４は、結像光学系１３とカメラ１６との間に配置されるものとして説明したが、光源１２からカメラ１６に至る光路中のいずれの位置に配置させてもよい。さらに、観察像を結像する光の波長帯域を制限するものとして、バンドパスフィルタ１４の代わりに透過帯域可変型のフィルタを用いてもよく、例えばバンドパスフィルタ１４およびターレット１５に替えて液晶チューナブルフィルタを用いることができる。

なお、本実施の形態では、複数の色素によって染色された標本１０として、ヘマトキシリンとエオジンとの２つの色素によって染色された病理標本を用いるものとし、画像処理装置１は、その病理標本におけるヘマトキシリンの色素量と、エオジンの色素量と、赤血球の色素量との３種類の色素量を推定するものとして説明する。また、以下の説明では、これら３種類の色素をそれぞれ色素Ｈ、色素Ｅおよび色素Ｒと略称する。ただし、画像処理装置１によって推定可能な色素は、色素Ｈ、色素Ｅおよび色素Ｒに限定されるものではなく、画像処理装置１によって処理可能な標本は、病理標本に限定されるものではない。なお、色素を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。よって、正確には両者を併せたものが色素Ｒとなる。

基準分光特性取得部３は、図２に示した観察画像取得部２の構成をもとに、カメラ１６に替えて図示しない分光計を備えるとともに、バンドパスフィルタ１４が取り除かれた構成とされる。この基準分光特性取得部３は、観察画像取得部２の一部を兼用し、観察画像取得部２からバンドパスフィルタ１４を取り除くとともに、カメラ１６を分光計に置き換えることで適宜実現される。その際、ステージ１１上には、標本１０に替えて図示しない基準標本が載置される。基準標本には、標本１０に含まれる主要要素としての細胞核、細胞質、赤血球等を含むとともにＨ＆Ｅ染色された典型的な病理標本が用いられる。なお、基準分光特性取得部３は、観察画像取得部２と個別に構成することもできる。

基準分光特性取得部３は、分光計によって、基準標本上の各標本点における分光特性としての分光透過率（以下、基準分光透過率と呼ぶ。）を取得する。基準分光特性取得部３が取得した標本点ごとの基準分光透過率は、制御部８に転送され、各々対応する標本点位置（標本点座標）と対応付けられて記憶部６に記憶される。

入力部４は、キーボード、マウス等の各種入力デバイスを備え、制御部８に対して観察画像の処理に用いる処理パラメータ等、各種情報の入力を行う。特に、入力部４は、後述する代表点の抽出または最適化に用いるパラメータ値の入力を行う。表示部５は、ＦＰＤ（Flat Panel Display）等の各種表示器を用いて構成され、観察画像、後述する教師画像、分光特性の推定結果および色素量の推定結果等、各種情報の表示をする。

記憶部６は、ハードディスク、ＲＯＭおよびＲＡＭ等を用いて構成され、制御部８が実行させる処理プログラム、観察画像取得部２が取得した観察画像、基準分光特性取得部３が取得した基準分光透過率、画像処理部７が用いる処理パラメータ、画像処理部７の処理結果等、各種情報を記憶する。また、記憶部６は、後述の色素量推定に用いる色素Ｈ、色素Ｅおよび色素Ｒの標準的な分光特性をあらかじめ記憶する。

画像処理部７は、例えばＣＰＵによって実現され、制御部８が実行させる所定の画像処理プログラムに基づき、記憶部６に記憶された観察画像および基準分光透過率に対して種々の演算処理を行う。特に、画像処理部７は、基準分光特性取得部３が取得した基準分光透過率をもとに基準標本を記録した基準標本画像を生成する基準標本画像生成部７ａと、基準標本画像の各画素を、少なくとも標本１０中の主要要素を特徴付ける主要特徴量に基づいて分類することで主要要素を分類する主要要素分類部７ｂと、主要要素分類部７ｂが分類した画素群の中から複数の代表画素を抽出することで代表点を抽出する代表点抽出部７ｃと、を備える。

また、画像処理部７は、代表点抽出部７ｃが抽出した複数の代表画素に対応付けられた基準分光透過率をもとにその統計量を算出する統計量算出部７ｄと、統計量算出部７ｄが算出した統計量をもとに代表画素の更新要否を判断し、更新が必要であると判定した場合、代表画素を抽出するための抽出条件を更新することで代表点を最適化する代表点最適化部７ｅと、観察画像取得部２が取得した観察画像の画像データをもとに、統計量算出部７ｄが算出した統計量を用いて標本１０上の各標本点における分光特性を推定する分光特性推定部７ｆと、分光特性推定部７ｆが推定した分光特性をもとに各標本点における色素量を推定する色素量推定部７ｇと、を備える。

制御部８は、ＣＰＵによって実現され、記憶部６に記憶された所定の処理プログラムを実行させることで、画像処理装置１が備える各部の処理および動作を制御する。例えば、制御部８は、記憶部６に記憶された所定の画像処理プログラムを実行させることで、記憶部６に記憶された観察画像と基準分光透過率を画像処理部７に処理させるとともに、画像処理部７による処理結果を記憶部６に記憶させ、表示部５に表示させる制御をする。

つづいて、画像処理装置１が行う画像処理手順として、観察画像をもとに標本１０の分光特性を推定するとともに、この推定した分光特性をもとに標本１０中の色素Ｈ、色素Ｅおよび色素Ｒの各色素量を推定する処理手順について説明する。図６は、その処理手順の概要を模式的に示す図である。この図に示すように、画像処理装置１は、まず基準標本をもとに基準分光透過率を取得するとともに、取得した基準分光透過率をもとに基準標本画像を生成する。そして、この基準標本画像をもとに基準標本から複数の代表点を抽出するとともに代表点の最適化を行い、ウィナー推定に用いる統計量としての分光透過率の自己相関行列を最適化する。

つぎに、画像処理装置１は、観察画像として取得したマルチバンド画像をもとに、標本１０上の各標本点における分光特性をウィナー推定によって推定し、この推定した推定分光特性と、あらかじめ取得した色素Ｈ、色素Ｅおよび色素Ｒの標準的な分光特性とをもとに、標本１０上の各標本点における各色素量（Ｈ色素量、Ｅ色素量およびＲ色素量）を推定する。そして、画像処理装置１は、その推定結果として推定色素量と推定分光特性とを表示部５に表示させる。なお、画像処理装置１は、この一連の処理過程の中で、観察画像、基準標本画像、基準分光透過率、推定分光特性および推定色素量等を記憶部６に適宜記憶させる。

図７は、図６に対応する処理手順を示すフローチャートである。この処理手順は、制御部８が記憶部６に記憶された所定の画像処理プログラムを実行させることで行われる。図７に示すように、まず観察画像取得部２は、標本１０の観察画像としてのマルチバンド画像を取得する観察画像取得処理を行い（ステップＳ１０１）、基準分光特性取得部３は、基準標本の基準分光透過率を取得する基準分光特性取得処理を行う（ステップＳ１０２）。

つぎに、基準標本画像生成部７ａ、主要要素分類部７ｂ、代表点抽出部７ｃ、統計量算出部７ｄおよび代表点最適化部７ｅは、基準分光透過率をもとに、ウィナー推定行列に用いる分光透過率の自己相関行列を算出する統計量算出処理を協働して行い（ステップＳ１０３）、分光特性推定部７ｆは、観察画像の画像データをもとに、ステップＳ１０３によって算出された自己相関行列を用い、ウィナー推定によって標本１０上の各標本点における分光特性を推定する分光特性推定処理を行う（ステップＳ１０４）。

その後、色素量推定部７ｇは、ステップＳ１０４によって推定された分光特性と、記憶部６に記憶された色素Ｈ、色素Ｅおよび色素Ｒの標準分光特性とをもとに、この色素ごとに標本１０上の各標本点における各色素量を推定する色素量推定処理を行い（ステップＳ１０５）、制御部８は、ステップＳ１０４によって推定された推定分光特性およびステップＳ１０５によって推定された推定色素量等を表示部５に表示させる推定結果表示処理を行い（ステップＳ１０６）、一連の処理を終了させる。

なお、ステップＳ１０６では、制御部８は、推定結果に限らず、観察画像、基準標本画像、基準分光透過率等を表示部５に適宜表示させることができる。また、制御部８は、ステップＳ１０１〜Ｓ１０６の各ステップにおいて、ステップごとの処理結果および処理パラメータ等を適宜記憶部６に記憶させる。

つづいて、図７に示した各ステップについて詳細に説明する。まずステップＳ１０１の観察画像取得処理では、観察画像取得部２は、バンドパスフィルタ１４ａ，１４ｂを順次切り換えながら標本１０を撮像することで、例えば図８に示すような観察画像としてのマルチバンド画像を取得する。ただし、図８ではモノクロ表示している。また、観察画像取得部２は、観察画像を取得した後、標本１０をステージ１１上から取り除いた状態で、背景光のマルチバンド画像として光源１２が発した照明光のみのマルチバンド画像を、観察画像の場合と同様の撮像手順によって取得する。制御部８は、このステップＳ１０１によって取得された観察画像と背景光のマルチバンド画像とを記憶部６に記憶させる。

つぎに、ステップＳ１０４の分光特性推定処理について説明する。この分光特性推定処理では、分光特性推定部７ｆは、標本１０上の各標本点の分光特性をウィナー推定によって推定する。ここで、標本１０上の標本点とは、観察画像上の各画素もしくは各画素群に対応する標本１０上の被観測点である。

通常、色素は標本１０内に３次元的に分布しているが、観察画像では標本１０を３次元像として捉えることはできず、標本１０内をその厚さ方向に透過した照明光をカメラ１６の撮像素子上に結像させた２次元像として捉えている。このため、観察画像では、標本１０を平面的に捉えたその平面内での各点を標本点として観察している。この場合、各標本点における色素量とは、その標本点において標本１０の厚さ方向に分布した色素の全色素量（積分量）に相当する。

なお、標本１０上の標本点と、それに対応する観察画像上の観察点（画素もしくは画素群）との各位置（座標）は、観察画像取得部２における各種の装置パラメータ等に基づく換算式によってあらかじめ対応付けられており、画像処理部７は、その換算式を用いて標本点と観察点との座標を適宜変換することができる。

一般に、観察画像上の観察点位置ｕおよびバンドｂにおける画素値ｇ（ｕ，ｂ）と、その観察点位置ｕに対応する標本１０上の標本点における分光透過率ｔ（ｕ，λ）との間には、次式（１）によって示される関係が成り立つ。次式（１）は、波長λと、観察画像の撮像に用いたバンドパスフィルタのバンドｂに対応する分光透過率ｆ（ｂ，λ）と、観察画像の撮像に用いたカメラの分光感度特性ｓ（λ）と、観察画像の撮像に用いた照明光の分光放射特性ｅ（λ）と、バンドｂにおける撮像ノイズｎ（ｂ）とを用いて表されている。なお、バンドｂは、観察画像としてのマルチバンド画像における各バンドを識別する通し番号である。

式（１）を波長について離散化すると、画素値ｇ（ｕ，ｂ）、分光透過率ｔ（ｕ，λ）、分光透過率ｆ（ｂ，λ）、分光感度特性ｓ（λ）、分光放射特性ｅ（λ）および撮像ノイズｎ（ｂ）のそれぞれに対応する行列Ｇ（ｕ），Ｔ（ｕ），Ｆ，Ｓ，Ｅ，Ｎを用いて次式（２）によって示される。
Ｇ（ｕ）＝ＦＳＥＴ（ｕ）＋Ｎ ・・・（２）

ここで、波長のサンプル点数Ｄとバンド数Ｂとをもとに、行列Ｇ（ｕ）はＢ行１列、行列Ｔ（ｕ）はＤ行１列、行列ＦはＢ行Ｄ列、行列ＳはＤ行Ｄ列、行列ＥはＤ行Ｄ列、行列ＮはＢ行１列とされている。また、行列Ｓは、分光感度特性ｓ（λ）を対角要素とする対角行列であり、行列Ｅは、分光放射特性ｅ（λ）を対角要素とする対角行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、変数としてバンドｂが陽に記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。

ウィナー推定によると、観察点位置ｕに対応する標本１０上の標本点における分光透過率の推定値を示す行列Ｔ^（ｕ）は、式（２）をもとに、行列Ｒ_SS，Ｒ_NNを用いて次式（３）によって算出される。ここで、行列Ｒ_SSは、Ｄ行Ｄ列の行列であり、推定対象とする標本の分光透過率の自己相関行列である。また、行列Ｒ_NNは、Ｂ行Ｂ列の行列であり、観察画像の撮像に用いたカメラのノイズの自己相関行列である。なお、記号（）^ｔは転置行列を示し、記号（）^−１は逆行列を示している。
Ｔ^（ｕ）＝Ｒ_SS（ＦＳＥ）^ｔ（（ＦＳＥ）Ｒ_SS（ＦＳＥ）^ｔ＋Ｒ_NN）^−１Ｇ（ｕ） ・・・（３）

ステップＳ１０４の分光特性推定処理では、分光特性推定部７ｆは、式（３）を用いて標本１０上の各標本点における推定分光透過率を算出する。算出された各推定分光透過率は、記憶部６に記憶される。なお、行列Ｆ，Ｓ，Ｅは、観察画像取得部２におけるバンドパスフィルタ１４、カメラ１６および光源１２が選定された後、分光計等を用いてあらかじめ測定され、記憶部６に記憶される。ここでは、結像光学系１３の分光透過率は「１．０」と近似されているが、「１．０」からの乖離が許容できない場合に、この分光透過率もあらかじめ測定し、行列Ｅに乗じておくとよい。

また、行列Ｒ_SSは、ステップＳ１０２によって取得された基準分光透過率をもとに、ステップＳ１０３によって後述のようにあらかじめ算出され、記憶部６に記憶される。また、行列Ｒ_NNは、ステップＳ１０１によって撮像された背景光のマルチバンド画像の各バンドについて画素値の自己相関行列を生成することであらかじめ求められ、記憶部６に記憶される。ただし、この場合、バンド間でノイズの相関はないものと仮定される。

つぎに、ステップＳ１０５の色素量推定処理について説明する。一般に、光を透過する物質では、波長λごとに入射光の強度Ｉ₀（λ）と射出光の強度Ｉ（λ）との間で、物質に固有の係数ｋ（λ）と物質の厚さｄとを用い、次式（４）によって示されるLambert-Beer則が成り立つことが知られている。

Ｈ＆Ｅ染色された標本１０では、式（４）をもとに、色素Ｈ、色素Ｅおよび色素Ｒごとの係数ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）と、観察点位置ｕに対応する標本点位置Ｕの厚さｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）とを用いて次式（５）が成り立つ。

式（５）の左辺は、分光透過率であり、係数ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、それぞれ色素Ｈ、色素Ｅおよび色素Ｒに固有の標準分光特性である。係数ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、各々対応する単一の色素で染色した標準的な標本を作成し、その分光透過率を分光計によって測定することであらかじめ求められ、記憶部６に記憶される。

また、厚さｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）は、それぞれ色素Ｈ、色素Ｅおよび色素Ｒに対応した仮想的な厚さであって、標本１０が色素Ｈ、色素Ｅおよび色素Ｒごとに単一の色素で染色されていると仮定した場合と比較して、相対的にどの程度の量の色素が存在しているか、という相対的な色素量を表す指標となる。すなわち、厚さｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）は、それぞれ標本１０上の標本点位置Ｕにおける色素Ｈ、色素Ｅおよび色素Ｒの色素量を表していると言える。

式（５）の両辺の対数を取ると、次式（６）となる。

式（６）の左辺における分光透過率Ｉ（λ）／Ｉ₀（λ）として、式（３）を用いて算出される推定分光特性ｔ^（Ｕ，λ）を代入すると、次式（７）を得る。ここで、推定分光特性ｔ^（Ｕ，λ）は、式（３）によって算出される行列Ｔ^（ｕ）の波長λに対応する要素ｔ^（ｕ，λ）を標本点位置Ｕについて換算することで求められる。

式（７）において未知変数は厚さｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）の３つであるから、少なくとも３つの異なる波長λに対して式（７）を連立させることで、これを解くことができる。あるいは、より算出精度を高めるために、４つ以上の異なる波長λに対して式（７）を連立させて重回帰分析を行うこともできる。

３つの波長λ₁，λ₂，λ₃について式（７）を連立させた場合、次式（８）を得る。これより、厚さｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）は、次式（９）によって算出される。

ステップＳ１０５の色素量推定処理では、色素量推定部７ｇは、式（９）を用いて、標本１０上の各標本点位置Ｕにおける推定色素量として厚さｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）を算出する。算出された各推定色素量は、記憶部６に記憶される。なお、以下の説明では、厚さｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）をそれぞれ推定色素量ｄ_H（Ｕ），ｄ_E（Ｕ），ｄ_R（Ｕ）と呼ぶ。

つぎに、ステップＳ１０２の基準分光特性取得処理について説明する。この基準分光特性取得処理では、基準分光特性取得部３は、基準標本上の標本点ごとに、その標本点位置に対応付けて基準分光透過率を取得する。その際、基準分光特性取得部３は、基準標本上の２つの標本領域から基準分光透過率を取得し、制御部８は、その一方の標本領域に対応する基準分光透過率を、後述のように代表点を抽出するための教師データとする。また、他方の標本領域に対応する基準分光透過率を、後述のように代表点の最適化を行うためのテストデータとして、それぞれ記憶部６に記憶させる。なお、テストデータに対応する標本領域を以下、テスト領域と呼ぶ。

つぎに、ステップＳ１０３の統計量算出処理について詳細に説明する。図９は、統計量算出処理の処理手順を示すフローチャートである。この図に示すように、まず基準標本画像生成部７ａは、ステップＳ１０２によって取得された教師データおよびテストデータをもとに、基準標本画像としての教師画像およびテスト画像を生成する（ステップＳ１１１）。つづいて主要要素分類部７ｂは、少なくとも標本１０中の主要要素を特徴付ける主要特徴量に基づいて教師画像の各画素を分類し、これによって各主要要素を分類する主要要素分類処理を行う（ステップＳ１１２）。

そして、代表点抽出部７ｃは、ステップＳ１１２によって分類された画素群ごとに代表画素を抽出するための抽出条件を、主要要素ごとに代表点を抽出するための抽出条件として設定し（ステップＳ１１３）、この設定した抽出条件に基づいて画素群から代表画素を抽出し、これによって代表点を抽出する（ステップＳ１１４）。

その後、統計量算出部７ｄは、ステップＳ１１３によって抽出された各代表画素に対応付けられた基準分光透過率をもとに、その統計量としての自己相関行列Ｒ_SS（式（３）参照）を算出し（ステップＳ１１５）、代表点最適化部７ｅは、ステップＳ１１５によって算出された自己相関行列Ｒ_SSを用いてウィナー推定処理行列を算出する（ステップＳ１１６）。

つづいて、代表点最適化部７ｅは、ステップＳ１１１によって生成されたテスト画像の画像データをもとに、ステップＳ１１６によって算出したウィナー推定処理行列を用い、基準標本のテスト領域における分光特性としての分光透過率を推定し（ステップＳ１１７）、この推定した推定分光透過率の基準分光透過率に対する分光透過率誤差を算出する（ステップＳ１１８）。

そして、代表点最適化部７ｅは、算出した分光透過率誤差が所定の判定条件を満足するか否かを判断し（ステップＳ１１９）、判定条件を満足していないと判定した場合（ステップＳ１１９：Ｎｏ）、代表画素の抽出条件つまり代表点の抽出条件を更新する（ステップＳ１２０）。このステップＳ１２０の後、制御部８は、代表点抽出部７ｃ、統計量算出部７ｄおよび代表点最適化部７ｅにステップＳ１１４からの処理を繰り返させる。一方、分光透過率誤差が所定の判定条件を満足している場合には（ステップＳ１１９：Ｙｅｓ）、制御部８は、統計量算出処理を終了し、ステップＳ１０３へリターンする。

ステップＳ１１１では、基準標本画像生成部７ａは、式（１）に基づく次式（１０）をもとに、教師データおよびテストデータからそれぞれ教師画像およびテスト画像の画像データを算出する。次式（１０）は、基準標本上の各標本点位置Ｖに対応する教師画像上またはテスト画像上の画素位置ｖにおける画素値ｇ（ｖ，ｂ）が、教師データまたはテストデータとして取得された基準分光透過率ｔ（ｖ，λ）を用いて算出されることを示している。

ここで、基準標本画像生成部７ａは、分光透過率ｆ（ｂ，λ）、分光感度特性ｓ（λ）および分光放射特性ｅ（λ）に、それぞれバンドパスフィルタ１４の分光透過率、カメラ１６の分光感度特性および光源１２の分光放射特性を用いて画素値ｇ（ｖ，ｂ）を算出することで、観察画像と同様の６バンド画像であるテスト画像を生成する。さらに、バンドパスフィルタの分光透過率ｆ（ｂ，λ）を「１」として各画素値ｇ（ｖ，ｂ）を算出することで、ＲＧＢ画像である教師画像を生成する。生成された教師画像およびテスト画像の画像データは、画素値ｇ（ｖ，ｂ）ごとに、各々対応する基準分光透過率が対応付けられて記憶部６に記憶される。

つぎに、ステップＳ１１２の主要要素分類処理について説明する。図１０は、その主要要素分類処理の処理手順を示すフローチャートである。この図に示すように、主要要素分類部７ｂは、まず教師画像の各画素を色空間としてのａ^＊ｂ^＊空間へ写像する（ステップＳ１３１）。このａ^＊ｂ^＊空間は、Ｌ^＊ａ^＊ｂ^＊表色系におけるａ^＊値およびｂ^＊値を各軸にもつ２次元の特徴空間である。主要要素分類部７ｂは、教師画像上の各画素についてＲＧＢ値からａ^＊ｂ^＊値を算出し、この算出したａ^＊ｂ^＊値をもとに各画素をａ^＊ｂ^＊空間へ写像する。これによって、教師画像上の各画素はａ^＊ｂ^＊空間において、例えば図１１に黒点で示すように、各主要要素を特徴付ける主要特徴量として各主要要素を特徴付ける色を示すａ^＊ｂ^＊値ごとに画素群を形成する。各画素のａ^＊ｂ^＊値は、教師画像上の画素位置ｖ（ｘｙ座標）に対応付けて記憶部６に記憶される。

つづいて、主要要素分類部７ｂは、ａ^＊ｂ^＊空間におけるヒストグラムを算出するとともに、このヒストグラムを教師画像の総画素数で除算することで、ａ^＊ｂ^＊空間における確率分布を算出する（ステップＳ１３２）。このステップＳ１３２では、主要要素分類部７ｂは、例えば図１２に示すようなヒストグラムを得る。図１２に示すヒストグラムは、図１１に示したXII−XII断面におけるヒストグラムに相当する。ここで算出された確率分布は、記憶部６に記憶される。

つづいて、主要要素分類部７ｂは、教師画像上の画素位置ｖにおけるａ^＊ｂ^＊値と、ａ^＊ｂ^＊空間における確率分布とを用いて、ａ^＊ｂ^＊空間における分布関数を画素群ごとに算出する。具体的には、主要要素分類部７ｂは、ＥＭアルゴリズム（Expectation Maximization Algorithm）を用いて各分布関数を算出する。そのため、主要要素分類部７ｂは、まず画素群ごとに確率分布に対する分布関数を混合ガウス分布（ＧＭＤ）によってモデル化する（ステップＳ１３３）。

ＧＭＤは、一般的な測定値の分布に対して幅広く近似できる関数として知られている。ＧＭＤのパラメータθ（以下、ＧＭＤパラメータθと呼ぶ。）は、重み係数α、平均μおよび分散σ²を用いて表される。ステップＳ１３３では、主要要素分類部７ｂは、画素群ごとにＧＭＤパラメータθに適当な初期値を設定する。この初期値は、例えば画像処理装置１の操作者によって入力部４から適宜入力される。

つづいて、主要要素分類部７ｂは、画素群ごとにＥＭアルゴリズムによって、ａ^＊ｂ^＊空間における分布関数を近似するＧＭＤパラメータθを算出する。ＥＭアルゴリズムは、非特許文献２に開示されているように、ＧＭＤを用いた繰り返し演算を用いる最尤推定アルゴリズムの一種として広く知られている。主要要素分類部７ｂは、そのＥＭアルゴリズムにおけるＥステップ（Expectation Step）（ステップＳ１３４）、Ｍステップ（Maximization Step）（ステップＳ１３５）および判定処理（ステップＳ１３６）の繰り返し計算によって画素群ごとにＧＭＤパラメータθの最尤解を推定し、この最尤解としてのＧＭＤパラメータθを用いて画素群ごとに最適な分布関数を算出する。

具体的には、ステップＳ１３５では、主要要素分類部７ｂは、ステップＳ１３１によって算出した各画素のａ^＊ｂ^＊値をＧＭＤにおける測定値とし、ステップＳ１３２によって算出したヒストグラムの総数（総画素数）ＮをＧＭＤにおける測定値の個数として、ＧＭＤパラメータθを構成する重み係数α、平均μおよび分散σ²をそれぞれ次式（１１）〜（１３）によって順次更新する。ここで、次式（１１）〜（１３）は、ＥＭアルゴリズムの繰り返し数ｔ、画素群の識別番号ｊおよび注目画素の識別番号ｚを用いて表されている。

さらに、主要要素分類部７ｂは、正規分布関数ｐ_j、条件付き期待値ｐおよび評価値ｌ（θ_j）をそれぞれ次式（１４）〜（１６）によって順次更新する。ここで、次式（１４）〜（１６）は、自己相関行列Σ_j、自己相関行列の行列式｜Σ_j｜、次元数ｄを用いて表されている。本実施の形態では、ａ^＊ｂ^＊空間であるため次元数ｄ＝２となる。なお、符号Ｔは、転置行列であることを示している。

そして、ステップＳ１３６の判定処理では、主要要素分類部７ｂは、評価値ｌ（θ_j）が所定の収束条件を満足しているか否かを判断し、収束条件が満足されていない場合（ステップＳ１３６：Ｎｏ）、ステップＳ１３４からの処理を繰り返し、収束条件が満足されている場合には（ステップＳ１３６：Ｙｅｓ）、ＥＭアルゴリズムを終了させるとともに主要要素分類処理を終了させ、ステップＳ１１２へリターンする。

ここで、所定の収束条件とは、例えば評価値ｌ（θ_j）の収束値が所定の閾値以内であること、もしくは評価値ｌ（θ_j）が所定の閾値以内であることとされる。また、評価値ｌ（θ_j）の収束値は、対数尤度として算出される評価値ｌ（θ_j）について、現評価時点までの一連のＥＭアルゴリズムの繰り返し演算の中で最も高い評価を得た対数尤度から現評価時点の対数尤度を差し引いた差分として算出される。

以上の主要要素分類処理によって、主要要素分類部７ｂは、最適なＧＭＤパラメータθと、ａ^＊ｂ^＊空間における確率分布を最も近似する分布関数ｐ（ａ^＊，ｂ^＊：θ）とを求めることができる。分布関数ｐ（ａ^＊，ｂ^＊：θ）のうちの画素群ごとの分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）は、式（１５）における右辺の分子に相当するものであって、次式（１７）によって示される。

画素群ごとの分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）は、例えば図１２に示すように求められる。図１２に示す分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）は、図１１に示したXII−XII断面における分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）に相当する。このようにして求められた画素群ごとの分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）によって、教師画像上の各画素が分類されるとともに各主要要素が分類される。ここで算出された分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）は、教師画像上の画素位置ｖにおけるａ^＊ｂ^＊値と、ａ^＊ｂ^＊空間における確率分布とに対応付けて記憶部６に記憶される。

つぎに、ステップＳ１１３による代表点の抽出条件の設定処理について説明する。このステップＳ１１３では、代表点抽出部７ｃは、ステップＳ１１２によって分類された画素群ごとに代表画素を抽出するための抽出条件として、画素群ごとの代表画素の抽出範囲と、その抽出範囲内の抽出個数とを設定する。具体的には、代表点抽出部７ｃは、ステップＳ１１２によって算出したＧＭＤパラメータと分布関数ｐ（ａ^＊，ｂ^＊：θ）とを用い、代表点の抽出範囲として分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）を算出する。そして、ステップＳ１１２によって分類された画素群ごと、つまり主要要素ごとの分類特徴量範囲Ｃ_j（ａ^＊，ｂ^＊）を、画素群ごとの分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）における平均μを中心位置、この中心位置からの広がりを分散σ²とする等高線の内側の範囲とする。これによって、画素群ごとの分類特徴量範囲Ｃ_j（ａ^＊，ｂ^＊）は、例えば図１１に示すように求められる。ここで算出された分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）は、分布関数ｐ（ａ^＊，ｂ^＊：θ）に対応付けて記憶部６に記憶される。

また、代表点抽出部７ｃは、分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）から代表画素を抽出する抽出方法として、例えばランダム抽出を設定する。ランダム抽出では、分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）におけるａ^＊値およびｂ^＊値の複数の組み合わせがランダムに決定され、決定されたａ^＊値およびｂ^＊値の複数の組み合わせによって示される各画素が代表画素として抽出される。また、ａ^＊値およびｂ^＊値の１つの組み合わせに対して複数の画素が対応付けられている場合には、その複数の画素の中からもランダムに抽出が行われる。代表画素の抽出は、各画素群の分類特徴量範囲Ｃ_j（ａ^＊，ｂ^＊）において、その範囲ごとに設定された抽出個数ｍ_jまで繰り返し行われる。ただし、一度代表画素として抽出された画素は、それ以降、その一連の抽出処理における選択対象から除外される。

本実施の形態では、標本が病理標本であることを鑑みて、代表点抽出部７ｃは、抽出範囲内の抽出個数つまり主要要素ごとの抽出個数ｍ_jを、代表画素の総抽出個数Ｍを主要要素の種類数ｑで除算した数Ｍ／ｑとする。また、代表点抽出部７ｃは、複数の主要要素における特定の主要要素の推定精度を向上させる場合、重み係数αを用いて抽出個数の重み付けをすることができる。具体的には、画素群ごとつまり主要要素ごとの重み係数α_jと総抽出個数Ｍとの積α_jＭによって抽出個数ｍ_jを定め、推定精度を向上させたい主要要素の重み係数α_jを他の主要要素の重み係数α_jに比して大きい値とする。ただし、重み係数α_jは、次式（１８）を満足する。

また、代表点抽出部７ｃは、分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）から代表画素を抽出する抽出方法として、ランダム抽出以外にも確率依存型抽出あるいは測定値依存型抽出を用いることができる。ここで、確率依存型抽出とは、ステップＳ１１２によって算出された分布関数ｐ（ａ^＊，ｂ^＊：θ）をもとに重み付けを行って代表画素を抽出する方法である。つまり、分布関数ｐ（ａ^＊，ｂ^＊：θ）の確率をもとに、分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）における代表画素のａ^＊値およびｂ^＊値を決定する。確率依存型抽出は、主要要素内の特徴量の分布に依存した代表点の抽出を行いたい場合に用いることができ、例えば、病理標本中の各主要要素に対応する教師画像上の平均的なＲＧＢ値を持つ画素を代表画素として優先的に抽出したい場合に用いることができる。

一方、測定値依存型抽出は、主要要素内の特徴量に依存した代表点の抽出を行いたい場合に用いることができ、例えば、病理標本中の主要要素に対応する教師画像上の画素のうち、次式（１９）によって示されるａ^＊ｂ^＊空間上の原点からのユークリッド距離Ｌ_yが大きい画素を代表画素として優先的に抽出したい場合、もしくはその逆の場合に用いることができる。

このとき、代表画素の抽出測定強度範囲を限定し、測定値強度範囲を抽出条件に付加する。測定値強度範囲は、分類特徴量範囲Ｃ_j（ａ^＊，ｂ^＊）における最大のユークリッド距離Ｌ_yを１００％として分類特徴量範囲Ｃ_j（ａ^＊，ｂ^＊）の対強度比率で表せばよい。例えば、主要要素の分類特徴量範囲Ｃ_j（ａ^＊，ｂ^＊）のうち、ａ^＊ｂ^＊空間上の原点からのユークリッド距離Ｌ_yが最小の場合は０％となり、測定値強度を０％から３０％の範囲で代表画素を抽出したい場合には、測定値強度範囲を０％〜３０％の範囲に指定すればよい。ここで、強度とはａ^＊ｂ^＊空間におけるａ^＊値およびｂ^＊値に相当し、強度範囲とはａ^＊値およびｂ^＊値の範囲に相当する。

なお、代表画素の抽出範囲および抽出個数は、以降の代表点の最適化処理によって最適解が導出されるため、このステップＳ１１３によって設定する初期値に制限はない。しかしながら、本実施の形態では、標本が病理標本であることを鑑みて、各主要要素に対する抽出個数ｍ_jは、総抽出個数Ｍを主要要素の種類数ｑ＝４で除算した数Ｍ／４とすることで最適解の収束性が向上する。同様の目的から分類特徴量範囲Ｃ_j（ａ^＊，ｂ^＊）は、各分布関数ｐ_j（ａ^＊，ｂ^＊：θ_j）の確率分布に対して相当の割合、例えば９０％となる範囲を算出する平均μおよび分散σ²を初期値にするとよい。

つぎに、ステップＳ１１６〜Ｓ１２０による代表点の最適化処理について説明する。まずステップＳ１１６では、代表点最適化部７ｅは、システム行列Ｈを次式（２０）によって算出し、この算出したシステム行列Ｈをもとにウィナー推定処理行列としての推定オペレータＷを次式（２１）によって算出する。なお、式（２０）および式（２１）に用いる行列Ｆ，Ｓ，Ｅ，Ｒ_SS，Ｒ_NNは、式（３）に用いた各行列に対応する。
Ｈ＝（ＦＳＥ）^ｔ ・・・（２０）
Ｗ＝Ｒ_SSＨ（ＨＲ_SSＨ^ｔ＋Ｒ_NN）^−１ ・・・（２１）

ここで、式（３）は、テスト画像上の画素位置ｖに対し、式（２１）を用いて次式（２２）のように書き直すことができる。ステップＳ１１７では、代表点最適化部７ｅは、テスト画像における複数の画素に対してそれぞれ次式（２２）を用いて行列Ｔ^（ｖ）を算出し、これによって基準標本のテスト領域における分光透過率を推定する。
Ｔ^（ｖ）＝ＷＧ（ｖ） ・・・（２２）

その後、ステップＳ１１８では、代表点最適化部７ｅは、ステップＳ１１７によって算出した行列Ｔ^（ｖ）と、ステップＳ１０２によってテストデータとして取得した基準分光透過率ｔ^（ｖ）とをもとに、次式（２３）によって分光透過率誤差ΔＥを算出する。分光透過率誤差ΔＥは、式（２３）に示すように、個数Ｎの画素における推定分光透過率と基準分光透過率との差分の平均値として求められる。

ステップＳ１１９では、代表点最適化部７ｅは、ステップＳ１１８によって算出した分光透過率誤差ΔＥを自己相関行列の評価値として用い、分光透過率誤差ΔＥが所定の判定条件を満足するか否かによって、ステップＳ１１４で抽出された代表画素つまり代表点の更新要否を判定する。

ここで、所定の判定条件とは、分光透過率誤差ΔＥが所定の閾値内であること、もしくはステップＳ１１４〜Ｓ１２０の処理を繰り返すことによって分光透過率誤差ΔＥが収束していることとされる。分光透過率誤差ΔＥの収束条件としては、例えばステップＳ１１４〜Ｓ１２０を複数回繰り返した際の分光透過率誤差ΔＥの最大値と最小値との差分が所定の閾値内であることとされる。

ステップＳ１２０では、代表点最適化部７ｅは、例えば代表画素の抽出範囲と、抽出範囲内の抽出個数との少なくとも一方を変更することで抽出条件の更新を行う。抽出範囲の更新では、代表点最適化部７ｅは、分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）を定める分散σ²を変更することで分類特徴量範囲Ｃ（ａ^＊，ｂ^＊）を更新する。また、代表点最適化部７ｅは、抽出範囲および抽出個数をそれぞれ変化させた方向を更新方向として記憶部６に随時記憶させ、この記憶させた更新方向を次回の更新に反映させる。例えば、一回目の更新方向に対して分光透過率誤差ΔＥの値が減小した場合、つぎの更新時には抽出範囲および抽出個数を同じ更新方向へ変化させる。更新方向は、具体的には、抽出確率幅としての分散σ²の増減方向と、総抽出個数Ｍもしくは主要要素ごとの抽出個数ｍ_jの増減方向とに相当する。

なお、制御部８は、ステップＳ１２０において代表点最適化部７ｅに抽出条件を更新させずに、ステップＳ１１４からの処理を繰り返させることもできる。この場合、抽出条件をそのままにして抽出範囲内から代表画素をランダムに抽出し直すこととなる。これによって、抽出条件を更新することなく代表画素つまり代表点の組み合わせを変更することができる。また、代表点最適化部７ｅは、ステップＳ１２０によって代表画素の抽出方法をランダム抽出から確率依存型抽出方法もしくは測定値依存型抽出へ変更し、これによって代表点の組み合わせを変更することもできる。

以上説明したように、本実施の形態にかかる画像処理装置１は、１以上の主要要素を含む標本１０を撮像した観察画像の画像データをもとに、この１以上の主要要素を含む基準標本上の複数の標本点における基準分光特性の統計量を用いて標本１０の分光特性を推定する画像処理装置であり、基準標本が記録された画像であって画素ごとに基準標本上の対応する標本点における基準分光特性が対応付けられた教師画像の各画素を、少なくとも主要要素を特徴付ける主要特徴量に基づいて分類する主要要素分類部７ｂと、主要要素分類部７ｂが分類した画素群の中から複数の代表画素を抽出する代表点抽出部７ｃと、代表点抽出部７ｃが抽出した複数の代表画素に対応付けられた基準分光特性をもとに、標本１０の分光特性の推定に用いる基準分光特性の統計量を算出する統計量算出部７ｄと、を備えている。

このため、画像処理装置１では、基準標本中の各主要要素から均等もしくは所望の割合で複数の代表点を抽出することができ、この複数の代表点における基準分光特性をもとに、標本１０の分光特性の推定に用いる基準分光特性の統計量を算出することができるとともに分光特性の推定に用いる処理行列としてのウィナー推定処理行列を算出することができる。これによって、画像処理装置１では、標本１０上の各標本点における分光特性を、意図しないばらつきを生じさせることなく高精度に推定することができる。

また、画像処理装置１は、統計量算出部７ｄが算出した統計量をもとに代表画素の更新要否を判断し、更新が必要であると判定した場合、代表画素を抽出するための抽出条件を更新する代表点最適化部７ｅを備え、代表点抽出部７ｃは、代表点最適化部７ｅが更新した抽出条件に基づいて複数の代表画素を再抽出し、統計量算出部７ｄは、代表点抽出部７ｃが再抽出した複数の代表画素に対応付けられた基準分光特性をもとに統計量を算出する。このため、画像処理装置１では、１以上の主要要素を含む標本１０の分光特性の推定に対して最適な代表点を基準標本から抽出することができるとともに、この抽出した代表点における基準分光特性をもとに最適な統計量およびウィナー推定処理行列を算出することができる。これによって、画像処理装置１では、従来技術に比して標本１０の分光特性の推定精度を向上させることができる。

なお、画像処理装置１では、以上のようにして推定した標本１０の推定分光特性をもとに、標本１０に含まれた複数の色素の色素量を推定しているため、高精度に各色素量を推定することもできる。

ここまで、本発明を実施する最良の形態を実施の形態として説明したが、本発明は、上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。

例えば、上述した実施の形態では、主要要素分類部７ｂは、標本１０中の主要要素を特徴付ける主要特徴量として主要要素を特徴付ける色を示すａ^＊ｂ^＊値をもとに基準標本画像上の各画素を分類するものとしたが、ａ^＊ｂ^＊値に限定されず、ＲＧＢ値もしくはＸＹＺ値等、他の表色系によって示される値を用いて基準標本画像上の各画素を分類することもできる。ここで、ＸＹＺ値は、ＸＹＺ表色系における三刺激値を意味する。さらに、主要特徴量として色情報に限定されず、濃淡情報、形状情報、テクスチャ情報等を用いることができる。

ただし、形状情報やテクスチャ情報は、単一の画素では特徴量を示すことができないため、基準標本画像の領域分割、例えばブロック分割等の処理が必要となる。また、病理標本を推定対象とする場合、テクスチャを用いた特徴量としてエントロピーを用いてもよい。ここで、主要要素分類処理が各主要要素に対応する画素の分類であることを鑑みると、単一の画素を単位にして分類することにこだわる必要はなく、複数の画素からなる画素群を単位として分類を行っても構わない。

なお、ａ^＊ｂ^＊値以外の特徴量を用いる場合にも、上述のように教師画像上の各画素をａ^＊ｂ^＊空間に写像して分類を行った場合と同様に、各特徴量を示す特徴空間へ教師画像上の各画素を写像して分類を行うことで、それ以降の処理を、上述した実施の形態と同様の処理によって行うことができる。

また、画像処理装置１では、上述したステップＳ１１２の主要要素分類処理におけるＥＭアルゴリズムの近似精度を向上させるために、さらにつぎのような処理を行うことができる。すなわち、まず基準分光特性取得部３は、ステップＳ１０２の基準分光特性取得処理によって、背景領域の分光透過率を背景データとして取得する。そして、基準標本画像生成部７ａは、ステップＳ１１１によって、背景データに対応する背景画像を、教師画像と同様に生成する。その後、主要要素分類部７ｂは、ステップＳ１１２の主要要素分類処理において、背景画像の各画素をａ^＊ｂ^＊空間に写像し、この写像した背景画像のａ^＊ｂ^＊空間上で２次元正規分布の最尤推定法から最も近似する単一正規分布関数のパラメータを算出する。この処理は、上述したＥＭアルゴリズムを単一正規分布関数として用いることで処理を行うことができる。つぎに、主要要素分類部７ｂは、算出した単一正規分布関数を用いて背景領域に相当するａ^＊ｂ^＊値範囲を決定し、教師画像を用いて写像したａ^＊ｂ^＊空間から背景領域に相当する範囲を除去する。教師データの色空間から事前に背景領域を除去することで、ＥＭアルゴリズムの近似対象を細胞核、細胞質および赤血球の３領域に限定することができる。一般的な病理標本では、細胞質と背景の境界は色空間上で接していることが多く、事前に背景をＥＭアルゴリズムの処理対象外とすることで、より高精度にその他の領域の分布関数の近似式を得ることができる。

また、上述した実施の形態では、画像処理装置１は、推定した分光透過率をもとに色素量を推定するものとして説明したが、色素量の推定に限定されず、推定した分光透過率および／または推定した色素量をもとに、病理診断支援につながる種々の処理を行うようにすることができる。

また、上述した実施の形態では、観察画像取得部２は、観察画像を撮像して取得するものとして説明したが、あらかじめ外部装置によって撮像された観察画像を取得する構成とすることもできる。この場合、観察画像取得部２は、外部装置等から観察画像の画像データを入力可能なデータ通信インターフェースを備えるとよい。

なお、上述した実施の形態では、画像処理装置１は、標本１０および基準標本の分光特性として分光透過率を扱うものとして説明したが、分光透過率に限定されず、分光反射率を扱うこともできる。その場合、図２に示した観察画像取得部２および基準分光特性取得部３は、光源１２の代わりに、標本１０および基準標本に対して落射照明を行う照明機構を備えるとよい。

本発明の実施の形態にかかる画像処理装置の要部構成を示すブロック図である。 画像処理装置が備える観察画像取得部の要部構成を示す図である。 観察画像取得部が備えるカメラのＲＧＢフィルタを示す図である。 観察画像取得部が備えるカメラの分光感度特性を示す図である。 観察画像取得部が備えるバンドパスフィルタの分光透過率特性を示す図である。 観察画像取得部が備えるバンドパスフィルタの分光透過率特性を示す図である。 画像処理装置が行う画像処理手順の概要を示す図である。 画像処理装置が行う画像処理手順を示すフローチャートである。 観察画像取得部が取得した観察画像を示す図である。 統計量算出処理の処理手順を示すフローチャートである。 統計量算出処理における主要要素分類処理の処理手順を示すフローチャートである。 主要要素分類処理の処理結果を説明する図である。 主要要素分類処理の処理結果を説明する図である。

符号の説明

１ 画像処理装置
２ 観察画像取得部
３ 基準分光特性取得部
４ 入力部
５ 表示部
６ 記憶部
７ 画像処理部
７ａ 基準標本画像生成部
７ｂ 主要要素分類部
７ｃ 代表点抽出部
７ｄ 統計量算出部
７ｅ 代表点最適化部
７ｆ 分光特性推定部
７ｇ 色素量推定部
８ 制御部
１０ 標本
１１ ステージ
１２ 光源
１３ 結像光学系
１４，１４ａ，１４ｂ バンドパスフィルタ
１５ ターレット
１６ カメラ

Claims (13)

1. １以上の主要要素を含む標本を撮像した観察画像の画像データをもとに、前記１以上の主要要素を含む基準標本上の複数の標本点における基準分光特性の統計量を用いて前記標本の分光特性を推定する画像処理装置において、
   前記基準標本が記録された画像であって画素ごとに前記基準標本上の対応する標本点における前記基準分光特性が対応付けられた教師画像の各画素を、少なくとも前記主要要素を特徴付ける主要特徴量に基づいて分類する画素分類手段と、
   前記画素分類手段が分類した画素群の中から複数の代表画素を抽出する代表抽出手段と、
   複数の前記代表画素に対応付けられた前記基準分光特性をもとに前記統計量を算出する統計量算出手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記統計量算出手段が算出した前記統計量をもとに前記代表画素の更新要否を判断し、更新が必要であると判定した場合、前記代表画素を抽出するための抽出条件を更新する代表最適化手段を備え、
   前記代表抽出手段は、前記代表最適化手段が更新した前記抽出条件に基づいて複数の前記代表画素を再抽出し、
   前記統計量算出手段は、前記代表抽出手段が再抽出した複数の前記代表画素に対応付けられた前記基準分光特性をもとに前記統計量を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記代表最適化手段は、前記基準標本の領域のうち前記教師画像に記録されていないテスト領域が記録された画像であって画素ごとに該テスト領域上の対応する標本点における前記基準分光特性が対応付けられたテスト画像の画像データをもとに、前記統計量算出手段が算出した前記統計量を用いて前記テスト領域の分光特性を推定するとともに、この推定した分光特性と前記テスト領域の前記基準分光特性とを比較し、この比較結果に基づいて前記代表画素の更新要否を判断することを特徴とする請求項２に記載の画像処理装置。
4. 前記代表抽出手段は、前記画素分類手段の分類結果をもとに前記画素群における前記代表画素の抽出範囲と該抽出範囲内の抽出個数との少なくとも一方を前記代表画素を抽出するための抽出条件として設定することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記代表抽出手段は、前記分類結果をもとに前記画素群における前記代表画素の抽出範囲と該抽出範囲内の抽出個数との少なくとも一方を前記代表画素を抽出するための抽出条件として設定し、
   前記代表最適化手段は、前記代表画素の更新が必要であると判定した場合、前記分類結果をもとに前記抽出範囲と該抽出範囲内の抽出個数との少なくとも一方を更新することを特徴とする請求項２または３に記載の画像処理装置。
6. 前記画素分類手段は、前記主要特徴量をもとに前記教師画像の各画素を特徴空間に写像し、該特徴空間に写像された各画素の分布に基づいて前記教師画像の各画素を分類することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記主要特徴量は、色情報、濃淡情報およびテクスチャ情報の少なくとも１つであることを特徴とする請求項６に記載の画像処理装置。
8. 前記代表抽出手段は、前記特徴空間に写像された各画素の分布に基づいて、前記画素群における前記代表画素の抽出範囲と該抽出範囲内の抽出個数との少なくとも一方を、前記代表画素を抽出するための抽出条件として設定することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記代表抽出手段は、前記特徴空間に写像された各画素の分布と前記主要特徴量とに基づいて、前記画素群における前記代表画素の抽出範囲と該抽出範囲内の抽出個数との少なくとも一方を、前記代表画素を抽出するための抽出条件として設定することを特徴とする請求項６または７に記載の画像処理装置。
10. 前記代表抽出手段は、前記代表画素を抽出するための抽出条件に基づいて前記画素群の中から複数の前記代表画素をランダムに抽出することを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 前記画素分類手段は、前記特徴空間に写像された各画素の分布確率を算出し、
    前記代表抽出手段は、前記代表画素を抽出するための抽出条件と前記分布確率とに基づいて、前記画素群の中から複数の前記代表画素を抽出することを特徴とする請求項６〜９のいずれか一つに記載の画像処理装置。
12. 前記分光特性および前記基準分光特性は、分光透過率特性または分光反射率特性であることを特徴とする請求項１〜１１のいずれか一つに記載の画像処理装置。
13. １以上の主要要素を含む標本を撮像した観察画像の画像データをもとに、前記１以上の主要要素を含む基準標本上の複数の標本点における基準分光特性の統計量を用いて前記標本の分光特性を推定する画像処理装置に、
    前記基準標本が記録された画像であって画素ごとに前記基準標本上の対応する標本点における前記基準分光特性が対応付けられた教師画像の各画素を、少なくとも前記主要要素を特徴付ける主要特徴量に基づいて分類する画素分類手順と、
    前記画素分類手順によって分類された画素群の中から複数の代表画素を抽出する代表抽出手順と、
    複数の前記代表画素に対応付けられた前記基準分光特性をもとに前記統計量を算出する統計量算出手順と、
    を実行させることを特徴とする画像処理プログラム。

Images