JP2014115755A

JP2014115755A - 画像処理装置、画像処理システム及びプログラム

Info

Publication number: JP2014115755A
Application number: JP2012267987A
Authority: JP
Inventors: Ryota Ozaki; 良太尾崎
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2012-12-07
Filing date: 2012-12-07
Publication date: 2014-06-26
Anticipated expiration: 2032-12-07
Also published as: EP2930683B1; BR112015013199B1; JP5413501B1; EP2930683A4; WO2014087689A1; CN104854620B; US9471977B2; CN104854620A; EP3407258B1; US20150254848A1; EP2930683A1; BR112015013199A2; EP3407258A1; RU2015127076A

Abstract

【課題】本発明の構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合における誤検出の可能性を減少させる。
【解決手段】撮像画像取得部２２が、核を有する標的細胞を含む試料を撮像した撮像画像を取得する。画素抽出部２４が、撮像画像に含まれる画素の中から、核の候補となる画素を抽出する。連結画素群抽出部２６が、互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する。可能性特定部４０が、連結画素群の少なくとも一部を囲む領域内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて特定される画像特徴量と、標的細胞の正例及び負例の標本画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に標的細胞が含まれる可能性を示す値を特定する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理システム及びプログラムに関する。

出生前の胎児の診断を行う場合に、母胎血中に極微量に含まれる胎児由来の有核赤血球（ＮＲＢＣｓ、以下標的細胞）を検出し、利用することが行われている。母胎血中に存在するＮＲＢＣｓの数は極めて少ないため、ＮＲＢＣｓを目視により検出するのは負担が大きい。そこで、下記の特許文献１に記載されているように、ＮＲＢＣｓの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が提案されている。

特許第４３４６９２３号公報

本発明の目的の１つは、本発明の構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合における誤検出の可能性を減少させることにある。

請求項１に記載の発明は、画像処理装置であって、核を有する標的細胞を含む試料を撮像した撮像画像を取得する撮像画像取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を抽出する画素抽出手段と、前記画素抽出手段が抽出する画素について互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する連結画素群抽出手段と、前記連結画素群抽出手段が抽出する連結画素群の少なくとも一部を囲む領域内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する特定手段と、を含むこととしたものである。

請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記特定手段は、前記連結画素群抽出手段が抽出する連結画素群を囲む領域内の輝度分布に基づいて特定される有向な輝度勾配を表す画像特徴量と、前記標的細胞の正例及び負例の標本画像内の輝度分布に基づいて機械学習された有向な輝度勾配を表す画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定することとしたものである。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置であって、前記特定手段は、互いに異なる複数の、前記連結画素群抽出手段が抽出する連結画素群を囲む領域の一部である部分領域のそれぞれについて、部分領域内の輝度分布に基づいて特定される輝度勾配を表す画像特徴量を、部分領域毎の正規化を行うことなく集計した値と、互いに異なる複数の、前記標的細胞の正例及び負例の標本画像が占める領域の一部である部分領域のそれぞれについて、部分領域内の輝度分布に基づいて特定される輝度勾配を表す画像特徴量を、部分領域毎の正規化を行うことなく集計した値に基づいて機械学習された画像特徴量の条件と、に基づいて、前記連結画素群抽出手段が抽出する連結画素群を囲む領域内に前記標的細胞が含まれる可能性を示す値を特定することとしたものである。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理装置であって、前記特定手段は、前記連結画素群抽出手段が抽出する連結画素群を囲む領域内の、緑成分及び青成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、緑成分及び青成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定することとしたものである。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の画像処理装置であって、前記画素抽出手段は、色又は輝度の少なくとも一方に関する条件に基づいて、前記核の候補となる画素を抽出することとしたものである。

請求項６に記載の発明は、画像処理システムであって、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を備え、前記光学顕微鏡は、核を有する標的細胞を含む試料を撮像し、前記画像処理装置は、前記光学顕微鏡が核を有する標的細胞を含む試料を撮像した撮像画像を取得する撮像画像取得手段と、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を抽出する画素抽出手段と、前記画素抽出手段が抽出する画素について互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する連結画素群抽出手段と、前記連結画素群抽出手段が抽出する連結画素群の少なくとも一部を囲む領域内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する特定手段と、を含み、前記表示装置は、前記特定手段が特定する値に基づいて生成される、前記撮像画像内における標的細胞の位置を表す画像を表示することとしたものである。

請求項７に記載の発明は、プログラムであって、核を有する標的細胞を含む試料を撮像した撮像画像を取得する撮像画像取得手段、前記撮像画像に含まれる画素の中から、前記核の候補となる画素を抽出する画素抽出手段、前記画素抽出手段が抽出する画素について互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する連結画素群抽出手段、前記連結画素群抽出手段が抽出する連結画素群の少なくとも一部を囲む領域内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する特定手段、としてコンピュータを機能させることとしたものである。

請求項１，６，７に記載の発明によれば、本構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合における誤検出の可能性が減少する。

請求項２に記載の発明によれば、本構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合における誤検出の可能性がさらに減少する。

請求項３に記載の発明によれば、本構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合における誤検出の可能性がさらに減少する。

請求項４に記載の発明によれば、本構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合における誤検出の可能性がさらに減少する。

請求項５に記載の発明によれば、本構成を有しない場合と比較して、核を有する標的細胞を撮像した撮像画像から画像処理によって標的細胞を探索する場合における誤検出の可能性がさらに減少する。

本発明の一実施形態に係る画像処理システムの一例を示す構成図である。本発明の一実施形態に係る画像処理装置により実現される機能の一例を示す機能ブロック図である。グレースケールで表現された正例画像の一例を示す図である。グレースケールで表現された負例画像の一例を示す図である。グレースケールで表現された負例画像の別の一例を示す図である。グレースケールで表現された負例画像のさらに別の一例を示す図である。核候補領域と判定対象領域との関係の一例を模式的に示す図である。判定対象領域の決定方法の一例を示す説明図である。本発明の一実施形態に係る画像処理装置により行われる処理の流れの一例を示すフロー図である。本発明の一実施形態に係る画像処理装置により行われる処理の流れの一例を示すフロー図である。本発明の一実施形態に係る画像処理装置により行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態における画像処理システム１０の一例を示す構成図である。図１に示すように、本実施形態における画像処理システム１０は、画像処理装置１２と、光学顕微鏡１４と、表示装置１６と、を含んでいる。画像処理装置１２は、光学顕微鏡１４及び表示装置１６とケーブル等により接続されており、互いに情報が通信されるようになっている。

本実施形態における光学顕微鏡１４は、例えば、試料台に配置されたステンドグラス上の試料を、対物レンズ等の光学系を介してＣＣＤカメラで撮像する。本実施形態では、試料には、母体血をスライドグラスに塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と呼ぶこととする。上述のように、標的細胞は核を有する。

画像処理装置１２は、光学顕微鏡１４で撮像された撮像画像を取得して、当該撮像画像の中から標的細胞を探索する。画像処理装置１２において行われる探索処理については後述する。

表示装置１６は、本実施形態では、例えば、画像処理装置１２が生成する画像を表示する。表示装置１６には、例えば、光学顕微鏡１４で撮像された撮像画像や、画像処理装置１２による探索結果等が表示される。

図２は、本実施形態における画像処理装置１２で実現される機能の一例を示す機能ブロック図である。図２に示すように、本実施形態における画像処理装置１２は、機能的には、例えば、標本画像取得部２０、撮像画像取得部２２、画素抽出部２４、連結画素群抽出部２６、判定対象領域決定部２８、色空間分解画像生成部３０、特徴量算出部３２、特徴選択部３４、識別器生成部３６、識別モデル記憶部３８、可能性特定部４０、探索結果情報記憶部４２、結果画像生成部４４、を含んでいる。これらの機能は、コンピュータである画像処理装置１２にインストールされた、これらの機能に対応する命令を含むプログラムを、画像処理装置１２の制御部で実行することにより実現されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ可読な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して画像処理装置１２に供給される。

標本画像取得部２０は、本実施形態では、例えば、標的細胞の画像が含まれている画像を、識別器作成のための正例画像として取得し、標的細胞の画像が含まれていない画像を、識別器作成のための負例画像として取得する。以下、正例画像と負例画像とを併せて、標本画像と呼ぶこととする。図３に、グレースケールで表現された正例画像の一例を示す。図３に示す正例画像には、その中央に標的細胞の画像が含まれている。図４に、グレースケールで表現された負例画像の一例を示す。図４に示す負例画像には、その中央に白血球の画像が含まれている。図５に、グレースケールで表現された負例画像の別の一例を示す。図５に示す負例画像には、その中央にごみの画像が含まれている。図６に、グレースケールで表現された負例画像のさらに別の一例を示す。図６に示す負例画像には、その中央にごみが重畳している赤血球の画像が配置されている。

撮像画像取得部２２は、本実施形態では、例えば、標的細胞が含まれる可能性を特定する対象となる検体、すなわち、検査の対象となる検体を、光学顕微鏡１４で撮像した撮像画像を取得する。以下、検査の対象となる検体を撮像した撮像画像を、検体画像と呼ぶこととする。

画素抽出部２４は、本実施形態では、例えば、検体画像に含まれる画素の中から、色又は輝度の少なくとも一方に関する条件に基づいて、核の候補となる画素を抽出する。画素抽出部２４は、例えば、検体画像内の、画素値が予め定められた値よりも大きい画素、すなわち、検体画像内の画素を、予め定められた色又は輝度の閾値により二値化した場合における、予め定められた色よりも黒い画素を抽出する。ただし、画素抽出部２４による画素の抽出方法は、上述の方法に限定されず、他の方法によって、予め定められた条件に基づいて画素を抽出するようにしてもよい。

連結画素群抽出部２６は、本実施形態では、例えば、画素抽出部２４が抽出した画素について、互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する。

判定対象領域決定部２８は、本実施形態では、例えば、連結画素群抽出部２６が抽出した連結画素群の外接矩形が占める領域を核候補領域５０として決定する（図７参照）。そして、判定対象領域決定部２８は、核候補領域を囲む複数の判定対象領域５２を決定する（図７参照）。図７に、核候補領域５０と判定対象領域５２との関係の一例を模式的に示す。図７に示すように、本実施形態では、判定対象領域決定部２８は、例えば、互いに大きさの異なる複数の判定対象領域５２を決定する。判定対象領域決定部２８は、具体的には、例えば、核候補領域５０の縦の長さ及び横の長さをそれぞれ２倍した大きさ、２．５倍した大きさ、３倍した大きさ、・・・、予め定められた最大の大きさであるｎ倍した大きさの、核候補領域５０を囲む矩形領域を判定対象領域５２として決定する。なお、本実施形態では、判定対象領域決定部２８は、各判定対象領域５２の、核候補領域５０に対する配置を、乱数等に基づいてランダムに決定する。図７には、連結画素群の外接矩形が占める核候補領域５０、及び、当該核候補領域５０の縦の長さ及び横の長さをそれぞれ２倍した大きさ、２．５倍した大きさ、３倍した大きさである判定対象領域５２が一例として示されている。また、判定対象領域決定部２８は、核候補領域５０が判定対象領域５２内に収まる範囲で判定対象領域５２を決定するようにしてもよい。例えば、判定対象領域決定部２８は、図８に示すように、核候補領域５０が右下端に配置される領域、当該領域に対して右にａ画素だけずらし下にｂ画素ずらした領域、当該領域に対してさらに右にａ画素だけずらし下にｂ画素ずらした領域、・・・、核候補領域５０が左上端に配置される領域を、判定対象領域５２として決定するようにしてもよい（ここで、ａ，ｂは予め定められた整数）。また、判定対象領域決定部２８が、例えば、連結画素群抽出部２６が抽出した連結画素群の少なくとも一部を囲む領域を核候補領域５０として決定するようにしてもよい。

色空間分解画像生成部３０は、本実施形態では、例えば、正例画像、負例画像、判定対象領域５２内の画像について、色空間（例えば、ＲＧＢ空間、Ｌａｂ空間、ＨＳＶ空間など）の成分毎に分解した画像を生成する。色空間分解画像生成部３０は、例えば、ＲＧＢ空間の成分毎に分解した画像を生成する際には、Ｒ成分画像、Ｇ成分画像、Ｂ成分画像のうちの少なくとも１つを生成する。

特徴量算出部３２は、本実施形態では、例えば、標本画像を色空間の成分毎に分解した画像、又は、判定対象領域５２内の画像を色空間の成分毎に分解した画像についての画像特徴量を算出する。ここで、標本画像を色空間の成分毎に分解した画像、及び、判定対象領域５２内の画像を色空間の成分毎に分解した画像を、算出基礎画像と呼ぶこととする。特徴量算出部３２は、本実施形態では、例えば、算出基礎画像が占める領域内の輝度分布に基づいて画像特徴量を特定する。特徴量算出部３２は、本実施形態では、例えば、従来のＨＯＧ特徴量とは異なる、Ｃｅｌｌ−ＨＯＧ特徴量を算出する。従来のＨＯＧ特徴量と、Ｃｅｌｌ−ＨＯＧ特徴量と、の差異については後述する。

以下、特徴量算出部３２による画像特徴量の算出の一例について説明する。まず、特徴量算出部３２は、例えば、算出基礎画像が占める領域内の画素毎に、輝度勾配の方向と輝度勾配の強度とを算出する。そして、特徴量算出部３２は、算出基礎画像が占める領域の一部である部分領域を、予め定められた数だけ特定する。なお、ここで、予め定められた数だけ特定される部分領域は、互いに重なっていても構わないし、互いに重なっていなくても構わない。そして、特徴量算出部３２は、各部分領域について、部分領域を複数のセルに分割する。そして、特徴量算出部３２は、各セルについて、部分領域内の輝度分布に基づいて特定される輝度勾配を表す画像特徴量、ここでは、例えば、有向な輝度勾配の向きと、輝度勾配の強度を表す輝度勾配方向ヒストグラムを算出する。特徴量算出部３２は、ヒストグラムを計算するにあたって、例えば、基準となる向き（例えば、右向き）から反時計回りに予め定められた角度単位（例えば、２０度単位）で区切られた角度範囲を設定する。このようにすれば、例えば、３６０度／２０度＝１８個の角度範囲が設定される。

そして、特徴量算出部３２は、各セルについて、有向な輝度勾配の向きが属する角度範囲に対応付けられる、ヒストグラムにおけるビンに対して、輝度勾配の強度を表す値をヒストグラムにおける頻度として加算する。そして、特徴量算出部３２は、部分領域に含まれるセルについて算出された輝度勾配方向ヒストグラムを、すべてのセルについて結合したヒストグラムを、当該部分領域の輝度勾配方向ヒストグラムとして算出する。このようにして、部分領域に含まれるセルの画像特徴量を集計した値が、部分領域内の輝度分布に基づいて特定される画像特徴量として特定される。そして、特徴量算出部３２は、算出基礎画像内の部分領域について算出されたヒストグラムを、すべての部分領域について結合したヒストグラムを、当該算出基礎画像のＣｅｌｌ−ＨＯＧ特徴量として算出する。このようにして、算出基礎画像に含まれる部分領域の画像特徴量を集計した値が、算出基礎画像内の輝度分布に基づいて特定される画像特徴量として特定される。

また、例えば、画像処理装置１２が、特徴量算出部３２を複数備え、それぞれの特徴量算出部３２が、並行して、互いに異なる複数の算出基礎画像（例えば、Ｇ成分画像及びＢ成分画像）についての画像特徴量の算出処理を実行するようにしてもよい。

特徴選択部３４は、特徴量算出部３２が算出した画像特徴量（本実施形態では、例えば、Ｃｅｌｌ−ＨＯＧ特徴量）を構成する複数の成分（例えば、ヒストグラムにおけるビン）のうち、識別に用いられる成分を選択する。例えば、特徴選択部３４は、例えば、正例画像に基づいて算出されるＣｅｌｌ−ＨＯＧ特徴量を表すヒストグラムと、負例画像に基づいて算出されるＣｅｌｌ−ＨＯＧ特徴量を表すヒストグラムと、を比較して、その重なっている程度が低い特徴から順に、Ｃｅｌｌ−ＨＯＧ特徴量を構成するすべての成分のうちからＮ個の成分を選択する。このとき、算出基礎画像に対応付けられる各部分領域について、互いに異なる角度範囲が、識別に用いられる角度範囲として選択されるようにしてもよい。なお、特徴選択部３４は、例えば、後述する識別器としてＡｄａＢｏｏｓｔを用いる場合には、学習アルゴリズムを利用して角度範囲を選択するようにしてもよい。また、特徴選択部３４は、画像処理装置１２の利用者が指定した複数の角度範囲を選択するようにしてもよい。

識別器生成部３６は、本実施形態では、例えば、正例画像に基づいて算出された画像特徴量を構成する複数の成分のうち、特徴選択部３４が選択した複数の成分を、正例の学習データとして用い、また、識別器生成部３６は、負例画像に基づいて算出された画像特徴量を構成する複数の成分を、負例の学習データとして用いることで、識別器を生成する。そして、識別器生成部３６は、生成された識別器のパラメータを識別モデル記憶部３８に出力する。識別器としては、例えば、アダブースト（ＡｄａＢｏｏｓｔ）やサポートベクタマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ））等が用いられる。

識別モデル記憶部３８は、本実施形態では、例えば、判定対象領域５２内に標的細胞が含まれる可能性を示す値を特定する際に用いられる、正例画像及び負例画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件を表す情報を記憶する。識別モデル記憶部３８は、本実施形態では、例えば、識別器生成部３６が生成した識別器のパラメータを記憶する。識別モデル記憶部３８は、識別器としてアダブーストを用いる際には、例えば、弱識別器の数、弱識別器内の分類木の深さ、分類時の閾値等を記憶する。

可能性特定部４０は、判定対象領域５２内の、互いに異なる複数の色成分それぞれについての算出基礎画像の輝度分布に基づいて、特徴量算出部３２が特定した画像特徴量を構成する複数の成分のうちから、特徴選択部３４が選択した複数の成分と、識別モデル記憶部３８に記憶されている画像特徴量の条件と、に基づいて、判定対象領域５２内に標的細胞が含まれる可能性を示す値を特定する。そして、可能性特定部４０は、判定対象領域５２内に標的細胞が含まれる可能性を示す値を、当該判定対象領域５２の識別情報に関連付けて、探索結果情報として、探索結果情報記憶部４２に出力する。

探索結果情報記憶部４２は、上述の探索結果情報を記憶する。

結果画像生成部４４は、探索結果情報記憶部４２が記憶した探索結果情報に基づいて、探索結果を表す画像を生成して、表示装置１６に出力する。表示装置１６は、結果画像生成部４４が出力した画像の受付に応じて、当該画像を表示出力する。

ここで、本実施形態における画像処理装置１２で行われる、正例画像及び負例画像に基づく、機械学習の流れの一例を、図９に例示するフロー図を参照しながら説明する。

まず、標本画像取得部２０が、複数の正例画像及び複数の負例画像を取得する（Ｓ１０１）。そして、色空間分解画像生成部３０が、Ｓ１０１に示す処理で取得した正例画像及び負例画像のそれぞれについて、色空間の成分毎に分解した画像を生成する（Ｓ１０２）。ここでは、例えば、色空間分解画像生成部３０は、Ｇ成分画像及びＢ成分画像を生成する。

そして、特徴量算出部３２が、Ｓ１０１に示す処理で取得した標本画像のそれぞれについて、Ｓ１０２に示す処理で生成されたＧ成分画像の成分、及び、Ｂ成分画像それぞれについてのＣｅｌｌ−ＨＯＧ特徴量を、当該標本画像に対応付けられるＣｅｌｌ−ＨＯＧ特徴量として算出する（Ｓ１０３）。ここでは、例えば、Ｃｅｌｌ−ＨＯＧ特徴量は、Ｒ成分画像について１８個の角度範囲それぞれについての輝度勾配の強度、及び、Ｇ成分画像について１８個の角度範囲それぞれについての輝度勾配の強度の成分、すなわち、計３６個の成分を含むこととなる。

そして、特徴選択部３４が、Ｓ１０３に示す処理で、正例画像から算出されたＣｅｌｌ−ＨＯＧ特徴量に基づいて、正例の学習データを生成する（Ｓ１０４）。そして、特徴選択部３４が、Ｓ１０３に示す処理で、負例画像から算出されたＣｅｌｌ−ＨＯＧ特徴量に基づいて、負例の学習データを生成する（Ｓ１０５）。

そして、特徴選択部３４が、Ｓ１０４に示す処理で生成された正例の学習データ、及び、Ｓ１０５に示す処理で生成された負例の学習データに基づいて、Ｃｅｌｌ−ＨＯＧ特徴量に含まれる複数の成分（例えば、３６個の成分）のうちから、識別器の生成に用いられる成分を選択する（Ｓ１０６）。ここでは、例えば、正例画像に基づいて算出されるＣｅｌｌ−ＨＯＧ特徴量を表すヒストグラムにおける角度範囲の頻度と、当該角度範囲の、負例画像に基づいて算出されるＣｅｌｌ−ＨＯＧ特徴量を表すヒストグラムにおける頻度と、の差が大きなものから順に、Ｃｅｌｌ−ＨＯＧ特徴量に含まれる複数の角度範囲のうちからＮ個の角度範囲が選択される。

そして、識別器生成部３６が、Ｓ１０６に示す処理で選択された、正例の学習データについての複数の成分、及び、負例の学習データについての複数の成分に基づいて、識別器を生成する（Ｓ１０７）。そして、識別器生成部３６が、Ｓ１０７に示す処理で生成した識別器のパラメータを、画像特徴量の条件を表す情報として識別モデル記憶部３８に記憶させて（Ｓ１０８）、本処理例に示す処理を終了する。

ここで、本実施形態における画像処理装置１２で行われる、検体画像内の標的細胞の探索処理の流れの一例を、図１０Ａ及び図１０Ｂに例示するフロー図を参照しながら説明する。

まず、撮像画像取得部２２が検体画像を取得する（Ｓ２０１）。そして、画素抽出部２４が、Ｓ２０１に示す処理で取得した検体画像から、色又は輝度の少なくとも一方に関する条件に基づいて画素を抽出する（Ｓ２０２）。そして、連結画素群抽出部２６が、Ｓ２０２に示す処理で抽出された画素について、互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する（Ｓ２０３）。そして、判定対象領域決定部２８が、Ｓ２０３に示す処理で抽出された連結画素群のそれぞれについて、連結画素群の解説矩形を核候補領域として決定し、決定した核候補領域のそれぞれに、互いに異なる１以上の整数を核候補領域のラベルとして関連付ける（Ｓ２０４）。

そして、判定対象領域決定部２８は、変数ａの値を初期値１に設定する（Ｓ２０５）。そして、判定対象領域決定部２８が、変数ａの値がラベルとして関連付けられている核候補領域を囲む、予め定められた数であるｂ個の判定対象領域５２を決定し、決定した判定対象領域５２のそれぞれに、互いに異なる１以上の整数を判定対象領域５２のラベルとして関連付ける（Ｓ２０６）。そして、判定対象領域決定部２８は、Ｓ２０６に示す処理において、変数ａと変数ｃの組合せに、変数ａの値がラベルとして関連付けられている核候補領域を囲む、変数ｃの値がラベルとして関連付けられている判定対象領域５２の４つの頂点の、検体画像内における座標値を探索結果情報記憶部４２に記憶させる（Ｓ２０７）。

そして、色空間分解画像生成部３０が、変数ｃの値を初期値１に設定する（Ｓ２０８）。そして、色空間分解画像生成部３０が、変数ｃの値がラベルとして関連付けられている判定対象領域５２内の画像について、色空間の成分毎に分解した画像を生成する（Ｓ２０９）。ここでは、例えば、色空間分解画像生成部３０は、Ｇ成分画像及びＢ成分画像を生成する。このように、Ｓ２０９に示す処理では、Ｓ１０２に示す処理で生成される画像と同様の種類の画像が生成される。

そして、特徴量算出部３２が、Ｓ２０９に示す処理で生成したＧ成分画像及びＢ成分画像それぞれについてのＣｅｌｌ−ＨＯＧ特徴量を、変数ｃの値がラベルとして関連付けられている判定対象領域５２に対応付けられるＣｅｌｌ−ＨＯＧ特徴量として算出する（Ｓ２１０）。ここでは、例えば、Ｃｅｌｌ−ＨＯＧ特徴量は、Ｒ成分画像について１８個の角度範囲それぞれについての輝度勾配の強度の成分、及び、Ｇ成分画像について１８個の角度範囲それぞれについての輝度勾配の強度の成分、すなわち、計３６個の成分を含むこととなる。

そして、特徴選択部３４が、Ｓ２１０に示す処理で算出されたＣｅｌｌ−ＨＯＧ特徴量に含まれる複数の成分（例えば、３６個の成分）のうちから、Ｓ１０６に示す処理で選択された成分を選択する（Ｓ２１１）。

そして、可能性特定部４０が、Ｓ１０７に示す処理で生成された識別器と、Ｓ２１１に示す処理で選択されたＣｅｌｌ−ＨＯＧ特徴量に含まれる成分と、に基づいて、当該Ｃｅｌｌ−ＨＯＧ特徴量に対応付けられる判定対象領域５２に標的細胞が含まれる可能性を示す値（例えば、確率）を特定する（Ｓ２１２）。なお、Ｓ２１２に示す処理で、可能性特定部４０が、例えば、当該Ｃｅｌｌ−ＨＯＧ特徴量に対応付けられる判定対象領域５２に標的細胞が含まれる可能性の有無を示すフラグ（例えば、可能性がある場合には１、可能性がない場合には０の値をとるフラグ）を特定するようにしてもよい。また、Ｓ２１２に示す処理で、可能性特定部４０が、例えば、当該Ｃｅｌｌ−ＨＯＧ特徴量に対応付けられる判定対象領域５２に標的細胞が含まれる可能性を百分率で表現した値を特定するようにしてもよい。

そして、可能性特定部４０は、Ｓ２１２に示す処理で特定された可能性を示す値が予め定められた閾値以上であるか否かを確認する（Ｓ２１３）。Ｓ２１２に示す処理で特定された可能性を示す値が予め定められた閾値以上である場合は（Ｓ２１３：Ｙ）、Ｓ２１２に示す処理で特定された可能性を示す値を、変数ａの値、及び、変数ｃの値に関連付けて、探索結果情報として探索結果情報記憶部４２に記憶させる（Ｓ２１４）。Ｓ２１２に示す処理で特定された可能性を示す値が予め定められた閾値以上でない場合（Ｓ２１３：Ｎ）、又は、Ｓ２１４に示す処理が終了した際には、可能性特定部４０は、変数ｃの値を１増加させる（Ｓ２１５）。そして、可能性特定部４０は、変数ｃの値が、上述のｂの値よりも大きいか否かを判定する（Ｓ２１６）。

変数ｃの値が、上述のｂの値よりも大きくない場合は（Ｓ２１６：Ｎ）、Ｓ２０９以降の処理を再度実行する。変数ｃの値が、上述のｂの値よりも大きい場合は（Ｓ２１６：Ｙ）、可能性特定部４０は、Ｓ２０５に示す処理で決定された核候補領域のすべてについて、上述の処理が終了したか否かを確認する（Ｓ２１７）。Ｓ２０５に示す処理で決定された核候補領域のすべてについて、上述の処理が終了していない場合は（Ｓ２１７：Ｎ）、変数ａの値を１増加させて（Ｓ２１８）、Ｓ２０６以降の処理を再度実行する。Ｓ２０５に示す処理で決定された核候補領域のすべてについて、上述の処理が終了した場合は（Ｓ２１７：Ｙ）、結果画像生成部４４が、Ｓ２１４に示す処理で記憶された探索結果情報に基づいて、探索結果を表す画像を生成して、表示装置１６に出力して（Ｓ２１８）、本処理例に示す処理を終了する。

Ｓ２１８に示す処理で生成される画像には、様々なものが考えられる。

例えば、結果画像生成部４４が、探索結果情報記憶部４２に検索結果情報として記憶されている変数ａの値及び変数ｃの値に対応付けられる１又は複数の判定対象領域５２を特定するようにしてもよい。そして、結果画像生成部４４が、探索結果情報記憶部４２に記憶されている、判定対象領域５２の座標値に基づいて、特定された１又は複数の判定対象領域５２についての、判定対象領域５２の４頂点の検体画像内における位置を特定するようにしてもよい。そして、結果画像生成部４４が、当該４頂点を囲む矩形が検体画像上に配置された画像を生成するようにしてもよい。

あるいは、例えば、結果画像生成部４４が、探索結果情報記憶部４２に検索結果情報として記憶されている変数ａの値及び変数ｃの値に対応付けられる複数の判定対象領域５２が重畳する領域を特定するようにしてもよい。そして、結果画像生成部４４が、当該領域を囲む図形が検体画像上に配置された画像を生成するようにしてもよい。

あるいは、結果画像生成部４４が、探索結果情報記憶部４２に検索結果情報として記憶されている変数ａの値及び変数ｃの値との組合せをリスト形式で表現した画像を生成するようにしてもよい。

従来のＨＯＧ特徴量では、照明変動に対して頑強にするために、部分領域単位で輝度勾配ヒストグラムの正規化を行っているが、本実施形態で用いたＣｅｌｌ−ＨＯＧ特徴量では、部分領域内の輝度分布に基づいて特定される輝度勾配を表す画像特徴量（ここでは、例えば、輝度勾配強度）を、部分領域毎の正規化を行うことなく集計した値を、標本画像内の輝度分布に基づいて特定される画像特徴量として特定する。

本実施形態では、光学顕微鏡１４が撮像した画像を対象としており、照明変動がほとんどないため、必ずしも正規化を行う必要がない。また、図３に例示されているような標的細胞の画像と、図４に例示されているような白血球の画像と、を識別する際など、細胞壁や核周辺での輝度勾配強度の差が識別時の重要な情報になる場合には、輝度勾配方向ヒストグラムにおいて、輝度勾配を表す画像特徴量（ここでは、例えば、輝度勾配強度）の値を部分領域毎の正規化を行うことなく集計した値を用いることで、白血球の画像が標的細胞である可能性が高く評価されたり、標的細胞の画像が標的細胞である可能性が低く評価されたり、などといった誤検出の可能性が低減する。

また、従来のＨＯＧ特徴量を算出する際には、対象の色や明るさの変動に対して頑強にするために、有向な輝度勾配が用いられず、無向の輝度勾配が用いられる。そのため、従来のＨＯＧ特徴量では、暗い位置から明るい位置に向かう輝度勾配と、明るい位置から暗い位置に向かう輝度勾配と、が同等に扱われていた。しかし、本実施形態で対象としている、図３に例示されているような標的細胞の画像と、図５に例示されているようなごみの画像等を識別する際等、細胞内外の色合いや明るさの差が識別時の重要な情報となる場合には、有向な輝度勾配を用いることで、ごみの画像が標的細胞である可能性が高く評価されたり、標的細胞の画像が標的細胞である可能性が低く評価されたり、などといった誤検出の可能性が低減する。

また、本実施形態では、特徴量算出部３２が、標本画像や判定対象領域５２内の画像を、色空間の成分毎に分解した画像についての画像特徴量を算出している。従来技術では、標本画像や判定対象領域５２内の画像をグレースケールに変換した画像についての画像特徴量が算出されていた。従来技術のようにして、グレースケールの画像から画像特徴量が算出される場合には、図３に例示されているような標的細胞の画像と、図６に例示されているような、標的細胞ではない、ごみが重畳している赤血球の画像とでは、画像特徴量による識別が困難であった。図３に例示されているような標的細胞の画像と、図６に例示されているような、標的細胞ではない、ごみが重畳している赤血球の画像とでは、特にＢ成分画像から算出される画像特徴量の差異が、グレースケールの画像から画像特徴量が算出される画像特徴量の差異よりも大きい。そのため、本実施形態では、標的細胞ではない、ごみが重畳している赤血球の画像が標的細胞である可能性が高く評価されたり、標的細胞の画像が標的細胞である可能性が低く評価されたり、などといった誤検出の可能性が低減する。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、色空間分解画像生成部３０が、正例画像、負例画像、判定対象領域５２内の画像について、色空間の成分毎に分解した画像を生成しなくてもよい。そして、特徴量算出部３２が、例えば、グレースケールに変換した、正例画像、負例画像、判定対象領域５２内の画像に基づいて画像特徴量を算出してもよい。

また、例えば、特徴量算出部３２が、Ｃｅｌｌ−ＨＯＧ特徴量の代わりに、従来のＨＯＧ特徴量を算出してもよい。そして、可能性特定部４０が、従来のＨＯＧ特徴量に基づいて、判定対象領域５２内に標的細胞が含まれる可能性を示す値を特定してもよい。

また、例えば、特徴選択部３４が、特徴量算出部３２が算出した画像特徴量を構成する複数の成分のうち、識別に用いられる成分を選択しなくてもよい。そして、可能性特定部４０が、特徴量算出部３２が算出した画像特徴量を構成する複数の成分のすべてに基づいて、判定対象領域５２内に標的細胞が含まれる可能性を示す値を特定してもよい。

また、例えば、特徴量算出部３２が、画像特徴量を算出するにあたって、部分領域単位で輝度勾配ヒストグラムの正規化を行ってもよい。

また、本実施形態における画像処理装置１２が複数の筐体から構成されていてもよい。また、本実施形態における画像処理装置１２が、本実施形態における光学顕微鏡１４及び表示装置１６の少なくとも一方を備えていてもよい。また、明細書中の具体的な文字列や数値、並びに、図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

１０画像処理システム、１２画像処理装置、１４光学顕微鏡、１６表示装置、２０標本画像取得部、２２撮像画像取得部、２４画素抽出部、２６連結画素群抽出部、２８判定対象領域決定部、３０色空間分解画像生成部、３２特徴量算出部、３４特徴選択部、３６識別器生成部、３８識別モデル記憶部、４０可能性特定部、４２探索結果情報記憶部、４４結果画像生成部、５０核候補領域、５２判定対象領域。

Claims

核を有する標的細胞を含む試料を撮像した撮像画像を取得する撮像画像取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を抽出する画素抽出手段と、
前記画素抽出手段が抽出する画素について互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する連結画素群抽出手段と、
前記連結画素群抽出手段が抽出する連結画素群の少なくとも一部を囲む領域内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する特定手段と、
を含むことを特徴とする画像処理装置。
前記特定手段は、前記連結画素群抽出手段が抽出する連結画素群を囲む領域内の輝度分布に基づいて特定される有向な輝度勾配を表す画像特徴量と、前記標的細胞の正例及び負例の標本画像内の輝度分布に基づいて機械学習された有向な輝度勾配を表す画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する、
ことを特徴とする請求項１に記載の画像処理装置。
前記特定手段は、互いに異なる複数の、前記連結画素群抽出手段が抽出する連結画素群を囲む領域の一部である部分領域のそれぞれについて、部分領域内の輝度分布に基づいて特定される輝度勾配を表す画像特徴量を、部分領域毎の正規化を行うことなく集計した値と、互いに異なる複数の、前記標的細胞の正例及び負例の標本画像が占める領域の一部である部分領域のそれぞれについて、部分領域内の輝度分布に基づいて特定される輝度勾配を表す画像特徴量を、部分領域毎の正規化を行うことなく集計した値に基づいて機械学習された画像特徴量の条件と、に基づいて、前記連結画素群抽出手段が抽出する連結画素群を囲む領域内に前記標的細胞が含まれる可能性を示す値を特定する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
前記特定手段は、前記連結画素群抽出手段が抽出する連結画素群を囲む領域内の、緑成分及び青成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、緑成分及び青成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する、
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
前記画素抽出手段は、色又は輝度の少なくとも一方に関する条件に基づいて、前記核の候補となる画素を抽出する、
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を備え、
前記光学顕微鏡は、核を有する標的細胞を含む試料を撮像し、
前記画像処理装置は、
前記光学顕微鏡が核を有する標的細胞を含む試料を撮像した撮像画像を取得する撮像画像取得手段と、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を抽出する画素抽出手段と、
前記画素抽出手段が抽出する画素について互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する連結画素群抽出手段と、
前記連結画素群抽出手段が抽出する連結画素群の少なくとも一部を囲む領域内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する特定手段と、を含み、
前記表示装置は、前記特定手段が特定する値に基づいて生成される、前記撮像画像内における標的細胞の位置を表す画像を表示する、
ことを特徴とする画像処理システム。
核を有する標的細胞を含む試料を撮像した撮像画像を取得する撮像画像取得手段、
前記撮像画像に含まれる画素の中から、前記核の候補となる画素を抽出する画素抽出手段、
前記画素抽出手段が抽出する画素について互いに隣り合う画素を連結した、予め定められた画素数以上の画素から構成される連結画素群を抽出する連結画素群抽出手段、
前記連結画素群抽出手段が抽出する連結画素群の少なくとも一部を囲む領域内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて特定される画像特徴量と、前記標的細胞の正例及び負例の標本画像内の、互いに異なる複数の色成分それぞれについての輝度分布に基づいて機械学習された画像特徴量の条件と、に基づいて、当該領域内に前記標的細胞が含まれる可能性を示す値を特定する特定手段、
としてコンピュータを機能させることを特徴とするプログラム。