JP5333635B1 - 画像処理装置、プログラム及び画像処理システム - Google Patents

Abstract

【課題】個体に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を検出する。
【解決手段】画像処理装置２０は、標的細胞を含む試料を撮像した撮像画像を取得し、撮像画像について標的細胞を検出する対象領域を設定する設定し、対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、複数の細胞領域のそれぞれから得た特徴量に基づいて標的細胞が有すべき特徴量の範囲を設定し、対象領域から得た特徴量が設定された特徴量の範囲に含まれる場合に、対象領域に標的細胞が含まれるか否かを判定する。
【選択図】図１

Description

本発明は、画像処理装置、プログラム及び画像処理システムに関する。

特許文献１には、ＮＲＢＣｓの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が記載されている。

特許第４３４６９２３号

本発明の目的は、個体毎に異なる細胞の特徴に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞が含まれるか否かを判定できる画像処理装置、プログラム及び画像処理システムを提供することにある。

上記目的を達成するために、請求項１に記載の発明は、標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定手段と、前記対象領域とは異なる領域を含む周辺領域から複数の細胞領域を抽出する抽出手段と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定手段と、前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理装置である。

請求項２に記載の発明は、前記抽出手段により抽出した細胞領域に含まれる細胞が密集状態にあるか孤立状態にあるかを判定する状態判定手段をさらに含み、前記範囲設定手段は、前記状態判定手段によって判定された細胞の状態ごとに前記標的細胞が有すべき特徴量の範囲をそれぞれ設定し、前記判定手段は、前記対象領域から得た特徴量が、前記対象領域に含まれる細胞の状態について前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定することを特徴とする請求項１に記載の画像処理装置である。

請求項３に記載の発明は、前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも１つであり、前記抽出手段は、前記周辺領域からそれぞれ有核細胞を含む複数の細胞領域を抽出し、前記範囲設定手段は、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の範囲を、前記標的細胞が有すべき特徴量の範囲として設定することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項４に記載の発明は、前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも１つであり、前記抽出手段は、前記周辺領域からそれぞれ無核細胞を含む複数の細胞領域を抽出し、前記範囲設定手段は、前記複数の細胞領域のそれぞれから得た特徴量の平均値又は中央値を挟む範囲を、前記標的細胞が有すべき特徴量の範囲として設定することを特徴とする請求項１又は２に記載の画像処理装置である。

請求項５に記載の発明は、前記標的細胞と前記対象領域とは異なる領域とを識別する識別条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像に基づいて機械学習する手段と、前記判定手段は、前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを前記識別条件に基づいて判定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置である。

請求項６に記載の発明は、前記標的細胞は、核を有する有核赤血球であり、前記画像処理装置は、前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定することを特徴とする請求項１乃至５のいずれかに記載の画像処理装置である。

請求項７に記載の発明は、標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定手段と、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出手段と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定手段と、前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定手段としてコンピュータを機能させるためのプログラムである。

請求項８に記載の発明は、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を含み、前記画像処理装置は、標的細胞を含む試料を撮像した撮像画像を取得する取得手段と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定手段と、前記対象領域とは異なる領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出手段と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定手段と、前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含むことを特徴とする画像処理システムである。

請求項１、７及び８に記載の発明によれば、個体毎に異なる細胞の特徴に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞が含まれるか否かを判定できる。

請求項２に記載の発明によれば、対象の細胞の状態に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を判定できる。

請求項３に記載の発明によれば、試料に含まれる有核細胞の特徴に応じて設定した基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を設定できる。

請求項４に記載の発明によれば、試料に含まれる無核細胞の特徴に応じて設定した基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を設定できる。

請求項５に記載の発明によれば、予め学習した基準に基づいて標的細胞の可能性が高い画像候補に標的細胞が含まれるか否かを判定できる。

請求項６に記載の発明によれば、個体に応じた基準で有核赤血球の可能性が高い画像候補を絞り込んで有核赤血球を設定できる。

本実施形態に係る画像処理システムのシステム構成例を示す図である。 画像処理装置の機能ブロック図である。 核候補領域と細胞候補領域の例を示した図である。 孤立状態と密集状態の細胞の例を示した図である。 有核細胞と無核細胞の例を示した図である。 形態特徴量の算出例を説明する図である。 形態特徴量の算出例を説明する図である。 形態特徴量の算出例を説明する図である。 標的細胞を検出する処理のフローチャートである。 形態特徴量の保存処理のフローチャートである。 標的細胞条件の設定処理のフローチャートである。 標的細胞の検出候補判定処理のフローチャートである。 標的細胞の識別処理のフローチャートである。

以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。

図１には、本実施形態に係る画像処理システム１のシステム構成例を示した。図１に示されるように画像処理システム１は、光学顕微鏡１０、画像処理装置２０、入力装置５０、表示装置６０を含み、画像処理装置２０と光学顕微鏡１０、入力装置５０及び表示装置６０とはデータ通信可能に接続されている。

光学顕微鏡１０は、試料台に配置されたスライドグラス１１上の試料を、対物レンズ１２等の光学系を介してＣＣＤカメラ１４で撮像する。光学顕微鏡１０には、スライドグラス１１と対物レンズ１２との距離を変化させる焦準機構１３を備えており、スライドグラス１１上の試料を複数の異なる焦点距離で撮像するようになっている。本実施形態では、試料には、母体血をスライドグラス１１に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と称する。

画像処理装置２０は、光学顕微鏡１０で試料を撮像した撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞を検出する。この際、画像処理装置２０は、撮像画像中に標的細胞の候補領域を設定し、設定した候補領域のうち標的細胞の条件に合致しないものは候補領域から除外した上で、残った候補領域について識別器による処理対象とする。なお、画像処理装置２０において行われる標的細胞の検出処理の詳細については後述する。

入力装置５０は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置２０に入力する。例えば、画像処理装置２０は、表示装置６０に表示された画像に対し、ユーザが入力装置５０によって指定した画像領域の情報を標的細胞の正例、負例、又は他の特定細胞の画像特徴を学習するための学習情報として取得することとしてよい。

表示装置６０は、例えば液晶表示装置等であり、画像処理装置２０による処理の結果に基づいて画面を表示する。例えば、表示装置６０には、光学顕微鏡１０で撮像された撮像画像や、画像処理装置２０による標的細胞の検出結果等が表示される。

次に、本実施形態に係る画像処理装置２０に備えられる機能について説明する。

図２には、画像処理装置２０の機能ブロック図を示した。図２に示されるように、画像処理装置２０は、撮像画像取得部２１、核候補領域抽出部２２、細胞候補領域設定部２３、選択条件設定部２４、周辺細胞抽出部２５、細胞状態判定部２６、細胞種類判定部２７、特徴抽出細胞選択部２８、形態特徴量算出部２９、標的細胞条件設定部３０、候補判定部３１、識別特徴量算出部３２、標的細胞識別部３３、検出結果生成部３４、及び表示制御部３５を備える。

画像処理装置２０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置２０に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置２０に供給されることとしてもよい。

撮像画像取得部２１は、光学顕微鏡１０に備えられたＣＣＤカメラ１４より試料を撮像した撮像画像を光学顕微鏡１０から取得する。なお、撮像画像取得部２１で取得された画像は、表示制御部３５により表示装置６０に表示させることとしてもよい。

核候補領域抽出部２２は、撮像画像取得部２１で取得された各撮像画像に対して、色（ＲＧＢ値）又は濃度が予め定められた範囲内にある画素に基づいて、核の候補領域を抽出する。例えば、核候補領域抽出部２２は、撮像画像内の画素を、予め定められた色（又は濃度）の閾値により二値化することとしてよく、具体的には、色（又は濃度）が閾値よりも（又は閾値以上）濃い画素を黒画素として抽出することとしてよい。核候補領域抽出部２２は、撮像画像取得部２１で取得された各画像から抽出された画素が連結した複数の集合（画素群）を算出し、各集合に外接する直方体領域を核候補領域とすることとしてよい。

細胞候補領域設定部２３は、核候補領域抽出部２２により抽出された核候補領域に基づいて、撮像画像取得部２１で取得された撮像画像の内部に標的細胞の候補となり得る細胞候補領域を設定する。以下、細胞候補領域設定部２３による処理の具体例について説明する。

細胞候補領域設定部２３は、核候補領域抽出部２により抽出された核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズのとり得る範囲を推定する。例えば、細胞候補領域設定部２３は、有核赤血球における核と細胞のサイズの範囲との関係式に基づいて、スライドグラス面上で有核赤血球がとり得る範囲（例えば矩形領域）を推定することとしてよい。具体的には、細胞候補領域設定部２３は、核候補領域内の一点を中心として、上記推定された範囲の矩形領域を細胞存在領域として設定する。

細胞候補領域設定部２３は、核候補領域抽出部２２により抽出された核候補領域と、上記推定したスライドグラス面上での細胞存在領域とに基づいて、標的細胞が含まれる可能性がある細胞候補領域を設定する。

図３には、核候補領域抽出部２２により抽出される核候補領域と、細胞候補領域設定部２３により設定される細胞候補領域の例を示した。図３における、黒画素群の外接矩形が核候補領域であり、その外側に設定されている矩形領域が細胞候補領域である。

選択条件設定部２４は、細胞候補領域の周辺細胞として抽出、選択する細胞の条件を設定する。例えば、選択条件設定部２４は、注目する細胞候補領域を中心とした周辺細胞の抽出領域を設定することとしてよい。周辺細胞の抽出領域は、撮像画像全体としてもよいし、注目する細胞候補領域を中心とした指定距離内にある範囲としてもよい。また、選択条件設定部２４は、周辺細胞の抽出領域から抽出された細胞のうち、選択する細胞の条件を指定することとしてもよい。例えば、細胞の条件は、細胞の種類及び細胞の状態の少なくとも一方の指定により定められることとしてよい。なお、細胞の種類とは、有核細胞と無核細胞のいずれか、細胞の状態とは、周囲に他の細胞が接している密集状態と、他の細胞が接していない孤立状態のいずれかとしてよい。また、選択条件設定部２４は、入力装置から受け付けた情報に基づいて選択条件を設定することとしてよい。

周辺細胞抽出部２５は、注目する細胞候補領域について、選択条件設定部２４により設定された周辺細胞の抽出領域から、当該抽出領域内に含まれる細胞の画像領域（細胞領域）を抽出する。例えば、周辺細胞抽出部２５は、周辺細胞の抽出領域に含まれる画像について輪郭検出を行い、検出された輪郭に基づいて細胞領域を抽出することとしてよい。ここで、周辺細胞抽出部２５は、検出された輪郭又は輪郭を囲む矩形領域を細胞領域として抽出することとしてもよいし、輪郭の内部に更に輪郭が含まれる場合には、最も外側の輪郭に基づいて細胞領域を抽出することとしてもよい。

細胞状態判定部２６は、周辺細胞抽出部２５により抽出された細胞領域に基づいて、当該細胞領域に含まれる細胞の状態を判定する。例えば、細胞状態判定部２６は、細胞領域内に含まれる細胞（輪郭）の円形度（湾曲率）を算出し、算出された円形度が閾値以上の場合（すなわち円に近い形状である場合）には、孤立状態、そうでなければ密集状態であると判定することとしてよい。なお、図４には、孤立状態と密集状態の細胞の例を示した。図４（Ａ）が孤立状態、図４（Ｂ）が密集状態の細胞の一例である。

細胞種類判定部２７は、周辺細胞抽出部２５により抽出された細胞領域に基づいて、当該細胞領域に含まれる細胞の種類を判定する。例えば、細胞種類判定部２７は、細胞領域内に核候補領域が含まれる場合には、有核細胞、そうでなければ無核細胞であると判定することとしてもよいし、細胞領域内に輪郭が検出された場合には、有核細胞、そうでなければ無核細胞であると判定することとしてもよい。なお、図５には、有核細胞と無核細胞の例を示した。図５（Ａ）が有核細胞、図５（Ｂ）が無核細胞の一例である。

特徴抽出細胞選択部２８は、周辺細胞抽出部２５により抽出された細胞領域のうち、選択条件設定部２４により設定された選択条件に合致する細胞領域を選択する。例えば、特徴抽出細胞選択部２８は、周辺細胞抽出部２５により抽出された細胞領域のうち、細胞状態判定部２６と細胞種類判定部２７によりそれぞれ判定された細胞状態と細胞種類とが、選択条件設定部２４により設定された条件に合致する細胞領域を選択し、形態特徴量算出部２９に出力する。なお、選択条件設定部２４により、細胞の条件が指定されていない場合には、抽出された細胞領域を、その細胞種類と細胞状態の情報とともに形態特徴量算出部２９に出力することとしてもよい。

形態特徴量算出部２９は、特徴抽出細胞選択部２８により選択された細胞領域についての形態特徴量を算出する。例えば、形態特徴量算出部２９は、特徴抽出細胞選択部２８から入力された細胞領域を上下左右に定数倍拡張した領域から形態特徴量を算出することとしてよい。ここで、形態特徴量としては、細胞領域に含まれる核の面積（Ａ）、細胞の面積（Ｂ）、核と細胞の面積比（Ａ／Ｂ）のいずれかを用いることとしてよい。なお、核の面積は、細胞領域内に含まれる核候補領域の面積（又は、細胞領域内から検出された輪郭内の面積）として算出することとしてよく、細胞の面積は、細胞領域の輪郭内の面積として算出することとしてよい。形態特徴量算出部２９は、細胞の条件（例えば、細胞種類と細胞状態との組み合わせ）ごとに、その条件に合致する細胞領域から得られた形態特徴量を標的細胞条件設定部３０に出力する。

図６〜８には、形態特徴量の算出例を説明する図を示した。図６における点線部が細胞領域Ａとすると、細胞領域を上下左右に定数倍拡張した領域Ｂから形態特徴量を算出する。このとき、図７に示されるように、設定した領域Ｂの内部から検出した輪郭のうち一番外側の輪郭であって、その輪郭が閉領域を構成する領域から細胞の面積を算出することとしてよい。また、図８に示されるように、細胞に対して設定した矩形領域の面積（細胞面積）と、核領域に対して設定した矩形領域の面積（核面積）との比を核と細胞の面積比として算出してもよい。

標的細胞条件設定部３０は、形態特徴量算出部２９により算出された細胞領域の形態特徴量に基づいて、標的細胞を含む画像領域から得られる形態特徴量が満たすべき条件を設定する。例えば、標的細胞条件設定部３０は、細胞の条件と、当該条件に合致する細胞領域から得られた形態特徴量に基づいて、以下のように標的細胞を含む画像領域から得られる形態特徴量が満たすべき条件（具体的には以下の第１〜第４の標的細胞条件）を設定する。

まず、第１の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が有核細胞であり、細胞の状態が孤立状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ１を算出し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｘ≦Ｃ１であることを第１の標的細胞条件として設定する。これは、有核赤血球以外の有核の細胞である白血球に対して、有核赤血球のサイズが小さいことに基づくものである。

次に、第２の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が有核細胞であり、細胞の状態が密集状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ２を算出し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｘ≦Ｃ２であることを第２の標的細胞条件として設定する。これは、有核赤血球以外の有核の細胞である白血球に対して、有核赤血球のサイズが小さいことに基づくものである。

次に、第３の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が無核細胞を含み、細胞の状態が孤立状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ３を算出し、Ｃ３ｍｉｎ＜Ｃ３＜Ｃ３ｍａｘである範囲を設定し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｃ３ｍｉｎ≦Ｘ≦Ｃ３ｍａｘであることを第３の標的細胞条件として設定する。これは、無核細胞に対して有核赤血球のサイズは平均的であることに基づくものである。なお、Ｃ３ｍｉｎ≦Ｃ３≦Ｃ３ｍａｘの範囲は、予め定められた割合の細胞領域がこの範囲に属するように定めることとしてよい。

次に、第４の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が無核細胞を含み、細胞の状態が密集状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ４を算出し、Ｃ４ｍｉｎ＜Ｃ４＜Ｃ４ｍａｘである範囲を設定し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｃ４ｍｉｎ≦Ｘ≦Ｃ４ｍａｘであることを第４の標的細胞条件として設定する。これは、無核細胞に対して有核赤血球のサイズは平均的であることに基づくものである。なお、Ｃ４ｍｉｎ＜Ｃ４＜Ｃ４ｍａｘの範囲は、予め定められた割合の細胞領域がこの範囲に属するように定めることとしてよい。

候補判定部３１は、細胞候補領域設定部２３により設定された細胞候補領域から標的細胞を検出する候補とするか否かを、細胞候補領域の形態特徴量と、標的細胞条件設定部３０で設定された標的細胞条件とに基づいて判定する。例えば、候補判定部３１は、細胞候補領域の状態（孤立状態か密集状態か）に基づいて、標的細胞条件を選択し、選択した標的細胞条件と、細胞候補領域の形態特徴量とに基づいて標的細胞の検出候補とするか否かを判定することとしてよい。具体的には、候補判定部３１は、細胞候補領域の状態が孤立状態である場合には、第１又は第３の標的細胞条件を選択し、選択した標的細胞条件のいずれか又は両方を満たす場合に、細胞候補領域を標的細胞の検出候補として判定することとしてよい。また、候補判定部３１は、細胞候補領域の状態が密集状態である場合には、第２又は第４の標的細胞条件を選択し、選択した標的細胞条件のいずれか又は両方を満たす場合に、細胞候補領域を標的細胞の検出候補として判定することとしてよい。

識別特徴量算出部３２は、候補判定部３１により標的細胞の検出対象とされた細胞候補領域を指定された画像サイズに拡大もしくは縮小した後に、それらについての識別特徴量を算出する。識別特徴量とは、標的細胞識別部３３における学習処理及び識別処理に用いる学習・識別用の画像特徴量であり、例えばＨＯＧ特徴量を用いることとしてよい。例えば、ＨＯＧ特徴量は以下のように算出することとしてよい。まず、対象画像をＡ個のセルから成るＢ個のブロックに分割し、各ブロックを構成するセルごとに画像の面内（Ｘ方向及びＹ方向）の輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム（［第１勾配方向の値，第２勾配方向の値，・・・，第Ｎ勾配方向の値］）を求め、これらの２乗平均が１になるようにブロック単位で正規化を行う。その後、正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したＡ×Ｎ個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したＡ×Ｂ×Ｎ個の値を対象画像のＨＯＧ特徴量としている。なお、識別特徴量と形態特徴量とは、異なる特徴量として構成してもよいし、同じ特徴量として構成してもよい。

識別特徴量算出部３２は、入力された撮像画像について識別特徴量を算出した後に、算出した識別特徴量を標的細胞識別部３３に出力する。

標的細胞識別部３３は、候補判定部３１により標的細胞の検出対象とされた細胞候補領域について算出された識別特徴量と、予め学習された学習パラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞か否かを識別する。なお、標的細胞識別部３３における学習処理は以下のように行うこととしてよい。

標的細胞識別部３３は、撮像画像取得部２１で取得された画像において、学習処理に利用する画像領域の指定を受け付ける。画像領域の指定は入力装置５０を介して行われることとしてよい。例えば、標的細胞識別部３３は、標的細胞（有核赤血球）とそれ以外の画像との識別を学習する際には、撮像された画像において標的細胞が映し出されている画像領域を正例として、標的細胞が映し出されていない画像領域を負例として受け付ける。そして、標的細胞識別部３３は、正例、負例の画像領域について識別特徴量算出部３２により算出された識別特徴量に基づいて、学習パラメータを生成する。

検出結果生成部３４は、標的細胞識別部３３の処理結果に基づいて標的細胞と検出された細胞候補領域を含む画像領域及びその座標の情報を生成する。また、検出結果生成部３４により生成された座標に光学顕微鏡１０の撮像範囲を移動させるように、光学顕微鏡１０を制御する制御信号を光学顕微鏡１０に出力するようにしてもよい。

表示制御部３５は、検出結果生成部３４により生成された画像領域及び座標を表示させる表示制御情報を表示装置６０に出力する。これにより、表示装置６０では、標的細胞と検出された画像領域と座標とが表示される。

次に、図９〜１３に示したフローチャートを参照しながら、画像処理装置２０により行われる処理の流れについて説明する。

［標的細胞の検出処理全体のフロー］
まず、標的細胞を検出する処理の流れを図９に示したフローチャートを参照しながら説明する。

図９に示されるように、画像処理装置２０は、処理対象の撮像画像を取得し（Ｓ１０１）、取得した撮像画像のそれぞれについて二値化処理を施す。次に、画像処理装置２０は、二値化処理後の撮像画像において標的細胞の核となり得る核候補領域を抽出するとともに（Ｓ１０２）、設定した核候補領域に基づいて細胞候補領域を設定する（Ｓ１０３）。

画像処理装置２０は、変数ｉの初期値を１として、ｉ番目の細胞候補領域Ａｉを選択し（Ｓ１０４）、選択した細胞候補領域Ａｉの周辺細胞を抽出する（Ｓ１０５）。

画像処理装置２０は、変数ｊの初期値を１として、ｊ番目の周辺細胞Ｂｊを選択し（Ｓ１０６）、選択した周辺細胞Ｂｊが定められた細胞の選択条件を満たす場合には（Ｓ１０７：Ｙ）、周辺細胞Ｂｊの形態特徴量を算出し、Ｃｋ（変数ｋの初期値は１）として保存する（Ｓ１０８）。ここで、細胞の選択条件は、細胞種類（有核細胞か無核細胞）、細胞状態（密集状態か孤立状態）により指定されることとしてよい。このＳ１０８の処理の詳細については後述する。

画像処理装置２０は、変数ｋが予め定められた閾値Ｎ以下である場合には（Ｓ１０９：Ｙ）、ｋをインクリメントする（Ｓ１１０）。Ｓ１１０の後、または、Ｓ１０７において、周辺細胞Ｂｊが定められた細胞の選択条件を満たさない場合には（Ｓ１０７：Ｎ）、画像処理装置２０は、未処理の周辺細胞が残っているか否かを判断する（Ｓ１１１）。ここで、未処理の周辺細胞が残っている場合には（Ｓ１１１：Ｙ）、ｊをインクリメントして（Ｓ１１２）、Ｓ１０６に戻る。

画像処理装置２０は、Ｓ１０９において、変数ｋが予め定められた閾値Ｎ以下でない場合（Ｓ１０９：Ｎ）、又はＳ１１１において、未処理の周辺細胞が残っていない場合には（Ｓ１１１：Ｎ）、保存された形態特徴量Ｃｋに基づいて標的細胞の形態特徴量に関する条件（標的細胞条件）を設定する（Ｓ１１３）。このＳ１１３の処理の詳細については後述する。

画像処理装置２０は、細胞候補領域Ａｉの形態特徴量を算出し、算出した形態特徴量に基づいて細胞候補領域Ａｉが標的細胞条件を満たすと判定される場合には（Ｓ１１４：Ｙ）、細胞候補領域Ａｉに標的細胞が含まれるか否かを識別する識別処理を実行する（Ｓ１１５）。このＳ１１５の処理の詳細については後述する。

画像処理装置２０は、Ｓ１１５の後、又は、Ｓ１１４において、細胞候補領域Ａｉが標的細胞条件を満たさないと判定される場合には（Ｓ１１４：Ｎ）、未処理の細胞候補領域があるか否かを判定する（Ｓ１１６）。ここで、未処理の細胞候補領域があると判定される場合には（Ｓ１１６：Ｙ）、ｉをインクリメントして（Ｓ１１７）、Ｓ１０４に戻り、未処理の細胞候補領域がないと判定される場合には（Ｓ１１６：Ｎ）、処理を終了する。なお、未処理の細胞候補領域がないと判定された後に（Ｓ１１６：Ｎ）、標的細胞が含まれると判定された画像領域を表示装置に表示させるようにしてもよい。

［形態特徴量の保存処理］
次に、図１０に示されるフローチャートを参照しながら、図９のＳ１０８に関する処理の詳細について説明する。

図１０に示されるように、画像処理装置２０は、周辺細胞Ｂｊの細胞種類を細胞種類判定部２７の判定結果に基づいて取得し（Ｓ２０１）、周辺細胞Ｂｊの細胞状態を細胞状態判定部２６の判定結果に基づいて取得する（Ｓ２０２）。

次に、画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞であり（Ｓ２０３：Ｙ）、且つ周辺細胞Ｂｊの細胞状態が孤立状態である場合には（Ｓ２０４：Ｙ）、Ｂｊの形態特徴量を有核、孤立の形態特徴量として保存し（Ｓ２０５）、リターンする。

画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞であり（Ｓ２０３：Ｙ）、且つ周辺細胞Ｂｊの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ２０４：Ｎ）、Ｂｊの形態特徴量を有核、密集の形態特徴量として保存し（Ｓ２０６）、リターンする。

画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞でなく（Ｓ２０３：Ｎ）、且つ周辺細胞Ｂｊの細胞状態が孤立状態である場合には（Ｓ２０７：Ｙ）、Ｂｊの形態特徴量を無核、孤立の形態特徴量として保存し（Ｓ２０８）、リターンする。

画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞でなく（Ｓ２０３：Ｎ）、且つ周辺細胞Ｂｊの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ２０７：Ｎ）、Ｂｊの形態特徴量を無核、密集の形態特徴量として保存し（Ｓ２０９）、リターンする。

［標的細胞条件の設定処理］
次に、図１１に示されるフローチャートを参照しながら、図９のＳ１１３に関する処理の詳細について説明する。

図１１に示されるように、画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、有核、孤立の形態特徴量の集合Ｇ１を取得し（Ｓ３０１）、取得した集合Ｇ１の要素の平均値Ｃ１（又は中央値でもよい）を算出する（Ｓ３０２）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｘ≦Ｃ１を孤立状態の標的細胞の形態特徴量が満たすべき条件として設定する（Ｓ３０３）。

次に、画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、有核、密集の形態特徴量の集合Ｇ２を取得し（Ｓ３０４）、取得した集合Ｇ２の要素の平均値Ｃ２（又は中央値でもよい）を算出する（Ｓ３０５）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｘ≦Ｃ２を、密集状態の標的細胞の形態特徴量が満たすべき条件として設定する（Ｓ３０６）。

画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、無核、孤立の形態特徴量の集合Ｇ３を取得し（Ｓ３０７）、取得した集合Ｇ３の要素の平均値Ｃ３（又は中央値でもよい）を含む範囲［Ｃ３ｍｉｎ，Ｃ３ｍａｘ］を算出する（Ｓ３０８）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｃ３ｍｉｎ≦Ｘ≦Ｃ３ｍａｘを、孤立状態の標的細胞の形態特徴量が満たすべき条件として設定する（Ｓ３０９）。

画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、無核、孤立の形態特徴量の集合Ｇ４を取得し（Ｓ３１０）、取得した集合Ｇ４の要素の平均値Ｃ４（又は中央値でもよい）を含む範囲［Ｃ４ｍｉｎ，Ｃ４ｍａｘ］を算出する（Ｓ３１１）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｃ４ｍｉｎ≦Ｘ≦Ｃ４ｍａｘを、孤立状態の標的細胞の形態特徴量が満たすべき条件として設定し（Ｓ３１２）、リターンする。なお、上記のフローでは有核、無核の細胞腫類、孤立、密集の細胞状態の全ての組み合わせについての標的細胞条件を設定する例を説明したが、このうち少なくとも１つ、又は、有核又は無核のいずれかに対する孤立、密集の細胞状態についての標的細胞条件を設定するようにしてもよい。

［標的細胞の検出候補判定処理］
次に、図１２に示されるフローチャートを参照しながら、図９のＳ１１４に関する処理の詳細について説明する。

図１２に示されるように、画像処理装置２０は、有核細胞についての標的細胞条件を用いる場合には（Ｓ４０１：Ｙ）、以下の処理を実行する。

画像処理装置２０は、細胞候補領域Ａｉの形態特徴量Ｘｉを算出し（Ｓ４０２）、細胞候補領域Ａｉの細胞状態を細胞状態判定部２６の判定結果に基づいて取得する（Ｓ４０３）。

ここで、細胞候補領域Ａｉの細胞状態が孤立状態である場合には（Ｓ４０４：Ｙ）、画像処理装置２０は、ＸｉがＣ１以下であるか否かを判定し（Ｓ４０５）、ＸｉがＣ１以下である場合には（Ｓ４０５：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とし（Ｓ４０６）、ＸｉがＣ１より大きい場合には（Ｓ４０５：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４０７）、リターンする。

また、細胞候補領域Ａｉの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ４０４：Ｎ）、画像処理装置２０は、ＸｉがＣ２以下であるか否かを判定し（Ｓ４０８）、ＸｉがＣ２以下である場合には（Ｓ４０８：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とし（Ｓ４０６）、ＸｉがＣ２より大きい場合には（Ｓ４０８：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４０７）、リターンする。

また、画像処理装置２０は、有核細胞についての標的細胞条件を用いない場合には（Ｓ４０１：Ｎ）、以下の処理を実行する。

画像処理装置２０は、細胞候補領域Ａｉの形態特徴量Ｘｉを算出し（Ｓ４０９）、細胞候補領域Ａｉの細胞状態を細胞状態判定部２６の判定結果に基づいて取得する（Ｓ４１０）。

ここで、細胞候補領域Ａｉの細胞状態が孤立状態である場合には（Ｓ４１１：Ｙ）、画像処理装置２０は、ＸｉがＣ３ｍｉｎ以上Ｃ３ｍａｘ以下であるか否かを判定し（Ｓ４１２）、ＸｉがＣ３ｍｉｎ以上Ｃ３ｍａｘ以下である場合には（Ｓ４１２：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とし（Ｓ４１３）、ＸｉがＣ３ｍｉｎ以上Ｃ３ｍａｘ以下でない場合には（Ｓ４１２：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４１４）、リターンする。

また、細胞候補領域Ａｉの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ４１１：Ｎ）、画像処理装置２０は、ＸｉがＣ４ｍｉｎ以上Ｃ４ｍａｘ以下であるか否かを判定し（Ｓ４１５）、ＸｉがＣ４ｍｉｎ以上Ｃ４ｍａｘ以下である場合には（Ｓ４１５：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とし（Ｓ４１３）、ＸｉがＣ４ｍｉｎ以上Ｃ４ｍａｘ以下でない場合には（Ｓ４１５：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４１４）、リターンする。

［標的細胞の識別処理］
次に、図１３に示されるフローチャートを参照しながら、図９のＳ１１５に関する処理の詳細について説明する。

図１３に示されるように、画像処理装置２０は、標的細胞条件を満たす細胞候補領域Ａｉの画像を取得し（Ｓ５０１）、取得した画像に基づいて細胞候補領域Ａｉの画像特徴量（識別特徴量）を算出する（Ｓ５０２）。そして、予め学習された識別器により、Ｓ５０２で算出された画像特徴量に基づいて、細胞候補領域Ａｉに標的細胞が含まれているか否かを判定し（Ｓ５０３）、標的細胞が含まれている場合には（Ｓ５０３：Ｙ）、細胞候補領域Ａｉの座標とサイズを保存し（Ｓ５０４）、リターンする。なお、標的細胞が含まれていない場合にも（Ｓ５０３：Ｎ）、リターンする。

以上説明した画像処理システム１によれば、細胞候補領域の周囲の細胞に基づいて、個体に応じた標的細胞の基準を設定し、設定された基準に基づいて標的細胞の可能性が高い画像候補を絞り込むことで、こうした絞り込みを行わない場合に比べて、標的細胞の判定精度が向上する。

また、本発明は、上記の実施形態に限定されるものではない。例えば、細胞候補領域の各々について標的細胞識別部３３により標的細胞であるか否かを判定し、その結果標的細胞であると判定された細胞候補領域について、候補判定部３１により標的細胞の候補であるか否かを判定するようにしてもよい。そして、候補判定部３１により標的細胞の候補であると判定された細胞候補領域には、標的細胞が含まれると判断するようにしてもよい。また、標的細胞条件は細胞の状態によらずに生成することとしても構わない。また、標的細胞は、ＮＲＢＣｓに限定するものではなく、別の細胞を標的細胞としても構わない。

１ 画像処理システム、１０ 光学顕微鏡、１１ スライドグラス、１２ 対物レンズ、１３ 焦準機構、１４ ＣＣＤカメラ、２０ 画像処理装置、２１ 撮像画像取得部、２２ 核候補領域抽出部、２３ 細胞候補領域設定部、２４ 選択条件設定部、２５ 周辺細胞抽出部、２６ 細胞状態判定部、２７ 細胞種類判定部、２８ 特徴抽出細胞選択部、２９ 形態特徴量算出部、３０ 標的細胞条件設定部、３１ 候補判定部、３２ 識別特徴量算出部、３３ 標的細胞識別部、３４ 検出結果生成部、３５ 表示制御部、５０ 入力装置、６０ 表示装置。

Claims (7)

1. 標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する対象領域を設定する設定手段と、
   前記対象領域とは異なる領域を含む周辺領域からそれぞれ核を有する複数の細胞領域を抽出する抽出手段と、
   細胞と核の少なくとも１つについてのサイズを表す特徴量に関し、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の特徴量の範囲を設定する範囲設定手段と、
   前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
   ことを特徴とする画像処理装置。
2. 前記抽出手段により抽出した細胞領域に含まれる細胞が密集状態にあるか孤立状態にあるかを判定する状態判定手段をさらに含み、
   前記範囲設定手段は、前記状態判定手段によって判定された細胞の状態ごとに前記特徴量の範囲をそれぞれ設定し、
   前記判定手段は、前記対象領域から得た特徴量が、前記対象領域に含まれる細胞の状態について前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記範囲設定手段は、前記複数の細胞領域のそれぞれから得た特徴量の平均値又は中央値以下となる特徴量の範囲を設定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記標的細胞と前記対象領域とは異なる領域とを識別する識別条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像に基づいて機械学習する手段と、
   前記判定手段は、前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを前記識別条件に基づいて判定する
   ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記標的細胞は、核を有する有核赤血球であり、
   前記画像処理装置は、
   前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は輝度の少なくとも一方に基づいて抽出する抽出手段をさらに含み、
   前記設定手段は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
   ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する対象領域を設定する設定手段と、
   前記対象領域とは異なる領域を含む周辺領域からそれぞれ核を有する複数の細胞領域を抽出する抽出手段と、
   細胞と核の少なくとも１つについてのサイズを表す特徴量に関し、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の特徴量の範囲を設定する範囲設定手段と、
   前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定手段
   としてコンピュータを機能させるためのプログラム。
7. 画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を含み、
   前記画像処理装置は、
   標的細胞を含む試料を撮像した撮像画像について前記標的細胞を検出する対象領域を設定する設定手段と、
   前記対象領域とは異なる領域を含む周辺領域からそれぞれ核を有する複数の細胞領域を抽出する抽出手段と、
   細胞と核の少なくとも１つについてのサイズを表す特徴量に関し、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の特徴量の範囲を設定する範囲設定手段と、
   前記対象領域から得た特徴量が前記範囲設定手段により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定手段と、を含む
   ことを特徴とする画像処理システム。