JP2019058073A

JP2019058073A - 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム

Info

Publication number: JP2019058073A
Application number: JP2017183154A
Authority: JP
Inventors: 新垣　英哉; Hideya Aragaki; 英哉新垣
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2017-09-25
Filing date: 2017-09-25
Publication date: 2019-04-18
Also published as: US20190095678A1; US10860835B2; DE102018215770A1

Abstract

【課題】細胞集塊を撮影した細胞画像から個々の細胞を精度よく抽出する。【解決手段】細胞画像中の各画素のＬｏＧ出力値を算出するＬｏＧフィルタ部と、ＬｏＧ出力値が大きいピーク位置を検出するシード検出処理部と、ピーク位置を記録するシード記録部２７と、ピーク位置ごとに細胞領域を形成する領域形成部３９，５３，領域統合処理部４７と、各細胞領域の中心位置を特定する領域位置設定部４１，４９，５５と、ピーク位置、細胞領域の形態および中心位置の少なくとも１つを用いて、現在形成しようとしている細胞領域と過去に形成された細胞領域との近接状態を判定する重複判定部３５，５１，閾値処理部４５とを備え、領域形成部３９，５３，領域統合処理部４７が、重複判定部３５，５１，閾値処理部４５により近接していると判定された場合に、それらの細胞領域の両方または少なくとも一方を修正する画像処理装置５を提供する。【選択図】図７

Description

本発明は、例えば蛍光顕微鏡等を用いた撮影により取得された細胞画像から個々の細胞を抽出する画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラムに関するものである。

従来から医療・ライフサイエンス分野では、顕微鏡を通して撮影された細胞画像を用いた様々な細胞解析が行われている。例えば、ＥＳ細胞（Embryonic Stem Cells）、ｉＰＳ細胞（Induced Pluripotent Stem Cell）等、幹細胞の研究においては、細胞分化メカニズムの解明や、創薬開発等を目的として、時系列で撮影された複数の細胞画像から細胞の分化過程や形態的特徴変化を観察し、細胞毎の性質の違いを調べるといった作業が一般的に行われている。また、細胞画像の解析に関しては、従来目視で行われていた個々の細胞のスクリーニング等の煩雑な作業であっても、画像認識等の画像解析技術を応用することで自動化することが可能になりつつある。

さらに、より生体内に近い環境における医薬品等の効用を調べること等を目的として、細胞を立体的に培養する３次元培養を行い、複数の細胞が立体的に集合した細胞集塊の培養状態について画像解析技術を応用することにより３次元的に解析することが可能となりつつある（例えば、特許文献１参照。）。かかる画像処理技術を応用すれば、細胞画像に含まれる個々の細胞を自動検出することにより、細胞の形態情報や個体数等を効率的に把握することができる。

特許文献１には、細胞画像中の各画素に対して、画素を含む所定領域内の画素値に基づき所定の特徴値を表すスコアを算出し、各画素についてスコアの大きい順に、同画素と同じ位置に、所定領域と同一または近似した領域を表わす排他的領域を配置していき、最終的に配置された排他的領域の中のいずれかを対象物として検出する方法が開示されている。

国際公開第２００５／０５７４９６号

しかしながら、特許文献１に記載の方法は、所定領域から所定特徴値（実施例では輝度のピーク）を表すスコアの大きさが対象物（細胞）らしさを表し、そのスコアの大きい順に排他的領域を画像中に配置することで対象物の位置を特定していくが、例えば、対象物（細胞）どうしが塊（スフェロイド）状に密集する場合や画質劣化が激しい場合は、対象物以外の位置でスコアが大きくなったり、対象物の中心位置からずれた位置でスコアが大きくなったり、１つの対象物にスコアの大きい複数の位置が発生したりすることも多い。すなわち、必ずしも対象物の中心にスコアが高くなる位置が１つだけ特定されるとは限らず、スコアの高い位置を誤って過剰に検出してしまうことが多い。

そのため、特許文献１に記載の方法のように、スコアの高い位置を中心として予め決められた領域（所定領域、または近似領域）を配置していくだけでは、対象物（細胞）の位置を正確に特定できるとは限らないという問題がある。また、スコアの高い位置どうしが近接している場合は、予め決められた排他的領域のサイズだけで、一方を削除するかまたは新たに排他的領域を設定するかが決まり、細胞が複雑に位置（隣接、密集）していたり、一定の形状をとらずバラエティに富んだ形状を有していたりする場合に、対象物の位置を正確に特定することができないという問題がある。

本発明は上述した事情に鑑みてなされたものであって、複数の生細胞からなる細胞集塊を撮影した細胞画像から個々の細胞を精度よく抽出することができる画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第１態様は、複数の細胞からなる細胞集塊を撮影した細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出部と、前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出するピーク位置検出部と、該ピーク位置検出部により検出された前記ピーク位置を記録するピーク位置記録部と、該ピーク位置記録部により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成部と、該細胞領域形成部により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定部と、前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成部により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定部とを備え、前記細胞領域形成部が、前記近接状態判定部により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する画像処理装置である。

本態様によれば、細胞画像において細胞は背景よりも画素値が高いことが多いことから、特徴量算出部により算出される画素値の極値らしさを表す特徴量が所定の特徴量閾値よりも大きい画素位置であるピーク位置には細胞が存在する可能性が高い。したがって、ピーク位置検出部により細胞画像においてピーク位置を複数検出してピーク位置記録部により記録し、細胞領域形成部によりピーク位置ごとにその周辺領域の画素値分布に基づいて細胞領域を形成することで、細胞集塊を構成する複数の細胞の領域をそれぞれ抽出することができる。

この場合において、細胞領域位置特定部により細胞領域の中心位置を特定し、近接状態判定部により、ピーク位置、細胞領域の形態および細胞領域の中心位置の少なくとも１つが用いられて、現在形成しようとしている細胞領域と過去に形成された細胞領域とが近接していると判定された場合に、細胞領域形成部により、これら現在形成しようとしている細胞領域および過去に形成された細胞領域の両方またはいずれか一方を修正することで、隣接する細胞領域どうしが部分的に重複する場合であっても、各細胞領域を区分けすることができる。したがって、複数の生細胞からなる細胞集塊を撮影した細胞画像から個々の細胞を精度よく抽出することができる。

上記態様においては、前記細胞領域形成部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された場合に、前記細胞領域の形成を行わない第１補正部を備え、前記ピーク位置記録部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された現在形成しようとしている前記細胞領域の前記ピーク位置を記録から削除することとしてもよい。

細胞領域形成部においては、ピーク位置記録部に記録されているピーク位置に対して順番にそれぞれ独立に細胞領域を形成していくため、領域作成手順によっては過去に選択したピーク位置に基づいて既に細胞領域が形成されている場合がある。そのため、このように構成することで、第１形成部により、既に細胞領域が形成されているピーク位置に近接するピーク位置については細胞領域を重複して形成しなくて済み、また、ピーク位置記録部によりそのようなピーク位置を重複して記録しなくて済む。

上記態様においては、前記第１補正部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された場合に、現在形成しようとしている前記細胞領域の前記ピーク位置に基づいて、過去に形成された前記細胞領域の中心位置を補正することとしてもよい。

このように構成することで、第１補正部により、ピーク位置が近接する過去に形成された細胞領域の位置を現在形成しようとした細胞領域の位置とバランスを取るように修正することができる。

上記態様においては、前記細胞領域形成部が、前記近接状態判定部により、現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値よりも離れているが、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域の前記中心位置との距離が前記所定のピーク閾値よりも大きい所定の中心位置間閾値以下と判定された場合に、これら２つの前記細胞領域を統合して新たな前記細胞領域を形成する第２補正部を備え、前記細胞領域位置特定部が、前記第２補正部により新たに形成された前記細胞領域の中心位置を特定することとしてもよい。

ピーク位置どうしは所定のピーク閾値よりも離れているものの中心位置どうしが所定の中心位置間閾値以下に近接する細胞領域どうしは、区分けし難くまた一方が他方に大幅に隠れてしまっている場合がある。したがって、このように構成することで、第２補正部により、細胞領域の区分けが複雑になりすぎて却って分かり難くなるのを防ぐことができる。

上記態様においては、前記中心位置間閾値が、前記細胞領域の対応する前記ピーク位置の前記特徴量に基づいて設定されることとしてもよい。

上記態様においては、前記細胞領域形成部が、前記近接状態判定部により、現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値よりも離れており、かつ、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域の前記中心位置との距離が前記所定のピーク閾値よりも大きい所定の中心位置間閾値よりも離れているが、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域とが重複する、または、現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域の前記中心位置とが重複すると判定された場合に、これら２つの前記細胞領域を互いに重複しないようにそれぞれ形成または再形成する第３補正部を備え、前記細胞領域位置特定部が、前記第３補正部により形成または再形成された２つの前記細胞領域の中心位置をそれぞれ特定することとしてもよい。

ピーク位置どうしが所定のピーク閾値よりも離れており、中心位置どうしも所定の中心位置間閾値よりも離れているが、一方の中心位置が他方の細胞領域と重複する細胞領域どうしは、互いに重複していない範囲が十分に広い。したがって、このように構成することで、第３補正部により、隣接する細胞領域どうしを区分けして表示することができる。

上記態様においては、前記第３補正部が、領域成長法を用いて２つの前記細胞領域を形成または再形成することとしてもよい。
このように構成することで、簡易な方法で、細胞領域どうしを互いに重ならないように調整して形成することができる。

上記態様においては、前記ピーク位置検出部が、前記画素値が所定の画素閾値以下の前記ピーク位置を削除することとしてもよい。
このように構成することで、ピーク位置として検出されて記録されてしまっているノイズを除去することができる。

上記態様においては、前記所定の画素閾値が、前記細胞画像の前記画素値分布から推定される背景値に基づいて設定されることとしてもよい。
このように構成することで、背景よりも暗い領域は細胞ではないとみなして、ピーク位置を選別することができる。

上記態様においては、前記背景値が、前記画素値分布に近似した２峰性のガウス分布により推定されることとしてもよい。
背景に属する画素の画素値は一定の画素値幅に集中する傾向があり、ヒストグラムは背景に属する画素で構成される急峻な正規分布と、細胞に属する画素で構成される平坦な正規分布との混合分布として見ることができる。したがって、このように構成することで、背景値を容易に推定することができる。

上記態様においては、前記ピーク位置記録部が、記録している複数の前記ピーク位置を前記特徴量に基づいて並べ替え、隣接する２つの前記ピーク位置の間の距離が所定の近接閾値以下の場合に、これら２つの前記ピーク位置のいずれか一方を記録から削除することとしてもよい。

ピーク位置ごとの特徴量が大きいほど細胞である確率が高いので、このように構成することで、特徴量が大きいピーク位置から順に効率的に細胞領域を形成することができる。この場合において、所定の近接閾値により、隣接する２つのピーク位置の間の距離が極度に近接するものは一方を削除することにより、細胞領域の区分けが複雑になりすぎるのを防ぎ、細胞領域の分布を分かり易くすることができる。

上記態様においては、前記特徴量算出部が、前記細胞画像に対するＬｏＧ（Laplacian of Gaussian）フィルタ出力値を前記特徴量として算出することとしてもよい。
このように構成することで、ＬｏＧフィルタにより輝度の盛り上がり具合を容易に検出して特徴量として算出することができる。

上記態様においては、前記細胞領域形成部が、前記ピーク位置の周辺領域に含まれる複数の画素の前記画素値分布に基づいて設定した画素値分布閾値により、複数の前記画素を二値化して前記細胞領域を形成することとしてもよい。
このように構成することで、細胞領域を簡易に形成することができる。

上記態様においては、前記細胞領域形成部が、前記ピーク位置の周辺領域に含まれる複数の前記画素を平滑化し、平滑化された複数の前記画素を二値化することとしてもよい。
このように構成することで、輝度を滑らかにした上で細胞領域を形成することができる。

上記態様においては、前記細胞領域形成部が、前記画素値分布に基づいて適応的な所定の二値化閾値を設定し、該二値化閾値に基づいて複数の前記画素を二値化することとしてもよい。
このように構成することで、細胞領域形成部により二値化閾値が自動的に設定され、細胞領域の形成を容易にすることができる。

上記態様においては、前記所定の二値化閾値が、前記ピーク位置の周辺領域に含まれる複数の前記画素の画素値の最大値と比較して所定量以上小さい場合に設定し直されることとしてもよい。
このように構成することで、所定の二値化閾値の適応性を向上して、細胞領域をより高精度に形成することができる。

上記態様においては、前記細胞領域形成部が、前記ピーク位置の周辺領域の範囲を前記ピーク位置の前記特徴量に基づいて設定することとしてもよい。

上記態様においては、前記細胞領域形成部が、形成した前記細胞領域内に生じた空洞を穴埋めする穴埋め処理部を備えることとしてもよい。
このように構成することで、穴埋め処理部により、細胞領域を補正して細胞領域の分布を分かり易くすることができる。

上記態様においては、前記細胞領域形成部が、前記細胞領域の境界を平滑化することとしてもよい。
このように構成することで、細胞領域間の境界を滑らかにすることができる。

上記態様においては、前記細胞領域形成部が、複数に分断された前記細胞領域が形成された場合に、対応する前記ピーク位置から最も近い前記細胞領域を残し、その他の前記細胞領域を除去する破片領域除去部を備えることとしてもよい。
このように構成することで、二値化により断片化されたノイズのような破片領域が生じた場合に、その破片領域が誤って細胞領域として検出される不都合を破片領域除去部により抑制することができる。

上記態様においては、前記細胞領域形成部による前記細胞領域の形成と前記細胞領域位置特定部による前記中心位置の特定とが、互いに異なる前記ピーク位置に対して時間的に並列して行われることとしてもよい。
このように構成することで、全てのピーク位置に対する細胞領域の形成と細胞領域の中心位置の特定とをより効率的かつ時間を短縮して行うことができる。

上記態様においては、前記特徴量算出部が、前記細胞画像の撮影に用いた光学系の点拡がり関数に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出することとしてもよい。
このように構成することで、光学的な性能が低いなど撮影時の画質劣化により、細胞画像にボケが発生して個々の細胞が見かけ上伸張して写っているような場合に、その伸張を考慮して特徴量を算出することができる。

上記態様においては、前記特徴量算出部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出することとしてもよい。
このように構成することで、光学的な性能が低いなど撮影時の画質劣化により、細胞画像にボケが発生して個々の細胞が見かけ上伸張して写っているような場合に、その伸張を考慮して特徴量を算出することができる。

上記態様においては、前記細胞領域形成部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて前記ピーク位置の周辺領域の範囲を設定することとしてもよい。
このように構成することで、光学的な性能が低いなど撮影時の画質劣化により、細胞画像にボケが発生して個々の細胞が見かけ上伸張して写っているような場合に、その伸張を考慮して細胞領域を形成することができる。

上記態様においては、前記深さ方向の伸張率をユーザに設定させる設定部を備えることとしてもよい。
このように構成することで、ユーザが所望する伸張率でピーク位置の周辺領域の大きさを設定することができる。

上記態様においては、前記細胞領域形成部が、輝度分布に基づいて前記ピーク位置近傍の所定の輝度閾値よりも輝度が高い領域に限定して第１細胞領域を形成する第１領域形成部と、前記輝度分布に基づいて前記ピーク位置近傍に限定せずに前記所定の輝度閾値以下の輝度の領域を含む第２細胞領域を形成する第２領域形成部と、前記第１領域形成部により全ての前記ピーク位置に対して形成された個々の前記第１細胞領域を初期領域とするとともに、前記第２領域形成部により形成された前記第２細胞領域を領域成長範囲の制約として、前記初期領域を領域成長させる領域成長部とを備えることとしてもよい。

細胞領域は細胞核と細胞質に分けられ、細胞核領域の周辺に細胞質領域が配置されて細胞領域全体が構成されている。一般に、細胞画像において、細胞核領域は周辺の細胞質領域よりも輝度が高く輪郭がはっきりしており、細胞核領域どうしは区別がつき易く分割精度を上げ易い。他方、細胞質領域は他の細胞質領域に接し境界の特定が難しいことが多く、細胞核領域と比較して相対的に細胞質領域どうしの分割精度を上げることは困難である。

そのため、第１領域形成部により、ピーク位置近傍の所定の輝度閾値よりも輝度が高い第１細胞領域を形成して、個々の第１細胞領域を領域成長法における初期領域として用い、かつ、第２領域形成部により、ピーク位置近傍に限定せずに所定の輝度閾値以下の輝度の領域を含む第２細胞領域を形成して、第２細胞領域を領域成長範囲の制約として利用することで、個々の第１細胞領域に基づき細胞領域分割精度を上げながら、第２細胞領域に基づく細胞領域形状の正確性を向上させることができる。

本発明の第２態様は、複数の細胞からなる細胞集塊を撮影して細胞画像を取得する撮像部と、該撮像部により取得された前記細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出部と、前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出するピーク位置検出部と、該ピーク位置検出部により検出された前記ピーク位置を記録するピーク位置記録部と、該ピーク位置記録部により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成部と、該細胞領域形成部により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定部と、前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成部により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定部とを備え、前記細胞領域形成部が、前記近接状態判定部により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する細胞認識装置である。

本態様によれば、撮像部により複数の生細胞からなる細胞集塊を撮影した細胞画像から個々の細胞を精度よく抽出することができる。

上記態様においては、前記第３補正部が、領域成長法を用いて２つの前記細胞領域を形成または再形成することとしてもよい。

上記態様においては、前記特徴量算出部が、前記細胞画像の撮影に用いた光学系の点拡がり関数に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出することとしてもよい。

上記態様においては、前記特徴量算出部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出することとしてもよい。

上記態様においては、前記細胞領域形成部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて前記ピーク位置の周辺領域の範囲を設定することとしてもよい。

上記態様においては、前記深さ方向の伸張率をユーザに設定させる設定部を備えることとしてもよい。

本発明の第３態様は、複数の細胞からなる細胞集塊を撮影した細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出工程と、前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出して記録するピーク位置記録工程と、該ピーク位置記録工程により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成工程と、該細胞領域形成工程により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定工程と、前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成工程により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定工程とを含み、前記細胞領域形成工程が、前記近接状態判定工程により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する細胞認識方法である。

本態様によれば、特徴量算出工程により算出される画素値の極値らしさを表す特徴量が所定の特徴量閾値よりも大きい画素位置であるピーク位置ごとに、細胞領域形成工程により周辺領域の画素値分布に基づいて細胞領域を形成することで、細胞集塊を構成する複数の細胞の領域をそれぞれ抽出することができる。

この場合において、細胞領域位置特定工程により細胞領域の中心位置を特定し、近接状態判定工程によりピーク位置、細胞領域の形態および細胞領域の中心位置の少なくとも１つが用いられて現在形成しようとしている細胞領域と過去に形成された細胞領域とが近接していると判定された場合に、細胞領域形成工程によりこれら現在形成しようとしている細胞領域および過去に形成された細胞領域の両方またはいずれか一方を修正することで、隣接する細胞領域どうしが部分的に重複する場合であっても、各細胞領域を区分けすることができる。したがって、複数の生細胞からなる細胞集塊を撮影した細胞画像から個々の細胞を精度よく抽出することができる。

上記態様においては、前記細胞領域形成工程が、輝度分布に基づいて前記ピーク位置近傍の所定の輝度閾値よりも輝度が高い領域に限定して第１細胞領域を形成する第１領域形成工程と、前記輝度分布に基づいて前記ピーク位置近傍に限定せずに前記所定の輝度閾値以下の輝度の領域を含む第２細胞領域を形成する第２領域形成工程と、前記第１領域形成工程により全ての前記ピーク位置に対して形成された個々の前記第１細胞領域を初期領域とするとともに、前記第２領域形成工程により形成された前記第２細胞領域を領域成長範囲の制約として、前記初期領域を領域成長させる領域成長工程とを含むこととしてもよい。

このように構成することで、第１領域形成工程により、ピーク位置近傍の所定の輝度閾値よりも輝度が高い第１細胞領域が形成され、個々の第１細胞領域が領域成長法における初期領域として用いられ、かつ、第２領域形成工程により、ピーク位置近傍に限定せずに所定の輝度閾値以下の輝度の領域を含む第２細胞領域が形成され、第２細胞領域が領域成長範囲の制約として利用される。これにより、個々の第１細胞領域に基づき細胞領域分割精度を上げながら、第２細胞領域に基づく細胞領域形状の正確性を向上させることができる。

本発明の第４態様は、複数の細胞からなる細胞集塊を撮影した細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出工程と、前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出して記録するピーク位置記録工程と、該ピーク位置記録工程により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成工程と、該細胞領域形成工程により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定工程と、前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成工程により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定工程とをコンピュータに実行させ、前記細胞領域形成工程が、前記近接状態判定工程により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する細胞認識プログラムである。

本態様によれば、コンピュータの実行により、特徴量算出工程によって算出される特徴量が大きいピーク位置ごとに、細胞領域形成工程によって周辺領域の画素値分布に基づいて細胞領域を形成することで、細胞集塊を構成する複数の細胞の領域をそれぞれ抽出することができる。

この場合において、細胞領域位置特定工程によって特定される細胞領域の中心位置、ピーク位置および細胞領域の形態の少なくとも１つが用いられて近接状態判定工程により現在形成しようとしている細胞領域と過去に形成された細胞領域とが近接していると判定された場合に、細胞領域形成工程によりこれら現在形成しようとしている細胞領域および過去に形成された細胞領域の両方またはいずれか一方を修正することで、各細胞領域を区分けすることができる。したがって、コンピュータに実行により、複数の生細胞からなる細胞集塊を撮影した細胞画像から個々の細胞を精度よく抽出することができる。

本発明によれば、複数の生細胞からなる細胞集塊を撮影した細胞画像から個々の細胞を精度よく抽出することができるという効果を奏する。

本発明の第１実施形態に係る細胞認識装置の構成を示すブロック図である。細胞が３次元的に塊状に凝集したスフェロイドの一例を示す図である。（ａ）は所定間隔おきにスフェロイドを撮影した複数枚の画像セットからなるＺスタック画像データの一例を示す図であり、（ｂ）は（ａ）のＺスタック画像データの内のＺ＝ｚ（２）の断面（スライス）画像を示す図である。輝度ヒストグラムの混合正規分布による近似例を示す図である。図１のシード作成部の具体的な構成を示すブロック図である。Ｚ方向にボケが発生して見かけ上個々の細胞が伸張して見えるスフェロイドの一例を示す図である。図１の領域作成部の具体的な構成を示すブロック図である。（ａ）は過去に形成された細胞領域に極めて近接する現在形成しようとした細胞領域を削除する様子の一例を示す図であり、（ｂ）は過去に形成された細胞領域とこれに大きく重複する現在形成しようとしている細胞領域とを統合する様子の一例を示す図であり、（ｃ）は過去に形成された細胞領域とこれに小さく重複する現在形成しようとしている細胞領域とを互いに分離させて再形成・形成する様子の一例を示す図である。本発明に係る細胞認識方法を説明するフローチャートである。図９の領域形成処理の詳細を説明するフローチャートである。ＬｏＧ出力値が局所的に最大値を示す複数のピーク画素位置を説明する図である。ＬｏＧ出力値が大きい順にシード情報を選択していく様子を説明する図である。シード座標ごとに細胞領域を形成していく様子を説明する図である。個々の細胞領域が画定された細胞領域分割画像の一例を示す図である。細胞を構成する細胞核と細胞質の一例を表す概略図である。本発明の第２実施形態に係る細胞認識装置の構成を示すブロック図である。（ａ）は３次元的に細胞が塊状に凝集したスフェロイド（原画像）の一例を示す図であり、（ｂ）は細胞核領域を表す概略図であり、（ｃ）は細胞質領域を表す概略図であり、（ｄ）は細胞核領域と細胞質領域との重畳画像を示す図であり、（ｅ）は領域成長結果画像を示す図である。図１６の領域作成部の具体的な構成を示すブロック図である。本発明の第２実施形態に係る細胞認識方法を説明するフローチャートである。図１９の領域形成処理の詳細を説明するフローチャートである。

〔第１実施形態〕
本発明の第１実施形態に係る画像処理装置、細胞認識装置および細胞認識方法について、図面を参照して以下に説明する。
本実施形態に係る細胞認識装置１は、図１に示すように、複数の細胞からなる細胞集塊を撮影して細胞画像を取得する撮像装置（撮像部）３と、撮像装置３により取得された細胞画像を処理する画像処理装置５とを備えている。

撮像装置３は、蛍光顕微鏡により撮影された細胞の画像を取得するＣＣＤ等の撮像素子と、撮像素子により取得された細胞画像をデジタル信号に変換するＡ／Ｄ変換器とを備え（いずれも図示略。）、例えば１６ビット（０−６５５３５階調）の原画像信号を出力するようになっている。

また、撮像装置３は、鉛直方向に予め設定された所定の間隔おきに複数枚の画像を撮影し、これら複数枚の画像のセットからなる３次元Ｚスタック画像データを原画像信号として出力することができるようになっている。以下、鉛直方向をＺ方向とし、Ｚ方向に直交しかつ互いに直交する水平方向をそれぞれＸ方向およびＹ方向とする。

図２に３次元的に細胞Ｃが塊状に凝集した細胞集塊の一例としてスフェロイドＳを示す。また、図３（ａ）に所定間隔おきにスフェロイドＳを撮影した複数枚の画像セットからなるＺスタック画像データの一例を示し、図３（ｂ）にＺスタック画像データに含まれる深さＺ＝ｚ（２）における断面（スライス）画像の一例を示す。撮像装置３から出力された原画像信号は画像処理装置５に転送されるようになっている。

画像処理装置５は、図１に示すように、背景輝度推定部７と、伸張パラメータ設定部（設定部）９と、シード作成部１１と、領域作成部（細胞領域形成部）１３と、出力部１５とを備えている。これら各処理部は、図示しないシステムコントローラに接続されて動作制御されるようになっている。また、これら各処理部は、例えば、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の記憶装置などから構成されていてもよい。この場合、ＲＯＭには、演算プログラムとしての細胞認識プログラムが格納されることとすればよい。

背景輝度推定部７は、撮像装置３から送られてくる原画像信号の画像内において、図２に示すような認識対象であるスフェロイドＳや細胞Ｃ等が存在しない非スフェロイド領域である背景領域に属する画素（３次元画像の場合はボクセルに相当。）の平均的な輝度値を推定するようになっている。

具体的には、背景輝度推定部７は、まず、原画像信号から各画素の輝度値に基づいて、図４に示すような輝度ヒストグラムを作成するようになっている。図４において、横軸は輝度を示し、縦軸は画素の頻度を示している。背景に属する画素の輝度値は一定の輝度幅に集中する傾向があり、ヒストグラムは、背景に属する画素で構成される急峻な正規分布Ａと、スフェロイドＳに属する画素で構成される平坦な正規分布Ｂとの混合分布として見ることができる。

そこで、背景輝度推定部７は、公知のフィッティング処理を用いて、図４に示すように、輝度ヒストグラムに対して２つの正規分布Ａ，Ｂの重み付け加算により、すなわち混合正規分布により近似するようになっている。公知のフィッティング処理としては、ＥＭアルゴリズム（Expectation−Maximization Algorithm）等の任意の処理を適用することができる。

また、背景輝度推定部７は、近似した二峰性を示す混合正規分布の内、外観がより急峻な正規分布（図４においては正規分布Ａ）のパラメータ平均値を背景輝度として推定するようになっている。背景輝度推定部７により推定された背景輝度値はシード作成部１１に転送されるようになっている。

伸張パラメータ設定部９は、細胞画像中の細胞Ｃの形態における見かけ上のＺ方向の伸張率をユーザに入力させて設定させるようになっている。

シード作成部１１においては、撮像装置３により取得された原画像信号において個々の細胞Ｃの中心位置に相当する可能性が高い細胞位置候補座標情報群がシード情報として作成されるようになっている。このシード作成部１１は、図５に示すように、初期化部１７と、ＬｏＧフィルタ部（特徴量算出部）１９と、シード検出処理部（ピーク位置検出部）２１と、シード統合処理部２３と、ソート部２５とを備えている。

初期化部１７は、撮像装置３から送られてくる原画像信号を読み込み、画素毎にそれぞれの輝度値を１２ｂｉｔ範囲へ初期化（正規化）する、すなわち階調幅０−４０９５範囲に調整するようになっている。具体的には、初期化部１７は、原画像信号中の画素値最大値ｍａｘを求めた後、各画素値に対してＧａｉｎ（＝４０９５／ｍａｘ）を乗算するようになっている。初期化部１７により初期化された原画像信号はＬｏＧフィルタ部１９へ転送されるようになっている。

ＬｏＧフィルタ部１９は、初期化部１７により初期化された原画像信号にＬｏＧフィルタ（Laplacian of Gaussian Filter）を適用するようになっている。ＬｏＧフィルタは、ガウシアンフィルタ（平滑化フィルタ）とラプラシアンフィルタ（２次微分（エッジ検出）フィルタ）を組みわせた効果を持つものとして表される。

２次元ＬｏＧフィルタの例を下式に示す。
ＬｏＧ（ｘ，ｙ）＝（ｘ^２＋ｙ^２−２σ^２）／（２πσ^６）×ｅｘｐ｛−（ｘ^２＋ｙ^２）／（２σ^２）｝
ここで、ｘ，ｙは画素位置、ＬｏＧ（ｘ，ｙ）はフィルタ出力値（特徴量。以下、ＬｏＧ出力値と呼称する。）、σはフィルタ効果を調整するためのパラメータを表す。

細胞画像において、細胞Ｃは周辺よりも輝度が高い「輝点」として表されることが多く、近年、ＬｏＧフィルタは輝度のピーク位置＝細胞位置を検出する際にしばしば用いられる。ＬｏＧフィルタ部１９は、初期化された原画像信号の各Ｚ位置における（２次元）スライス平面画像に個々に２次元ＬｏＧフィルタを適用し、各画素について画素値の極値らしさを表すＬｏＧ出力値（特徴量）を求め、これを画素値として記録したＬｏＧ出力値画像を生成するようになっている。ＬｏＧフィルタ部１９により生成されたＬｏＧ出力値画像はシード検出処理部２１に転送されるようになっている。

ここでは２次元ＬｏＧフィルタを各Ｚスライス平面画像に対して適用することとしたが、３次元Ｚスタック画像の各画素に３次元ＬｏＧフィルタを直接適用してＬｏＧ出力値を求めることとしてもよい。その場合において、撮像装置３のＰＳＦ（Point Spread Function、点拡がり関数）等の光学系の条件、あるいは被写体である細胞集塊の状態によってはＺ方向の解像度が低い等の理由から、例えば図６に示すように、撮像した画像上において見かけ上個々の細胞ＣがＺ方向に伸張して見えることがある。

そのため、ＬｏＧフィルタ部１９は、伸張パラメータ設定部９においてユーザが設定したＺ方向の伸張率に基づいてＺ方向に強めにＬｏＧフィルタがかかるように調整することとしてもよい。また、ＬｏＧフィルタ部１９は、撮像装置３のＰＳＦ等の光学系の条件に基づいて設定した所定範囲の領域内に含まれる画素値からＬｏＧ出力値を算出することとしてもよい。このようにすることで、光学的な性能が低いなど撮影時の画質劣化により、細胞画像にボケが発生して個々の細胞が見かけ上伸張して写っているような場合に、その伸張を考慮してＬｏＧ出力値を算出することができる。

シード検出処理部２１は、ＬｏＧフィルタ部１９から送られてくるＬｏＧ出力値画像に基づいて、ＬｏＧ出力値が局所的に最大値を示すピーク画素位置（ピーク位置）を検出するようになっている。具体的には、シード検出処理部２１は、ＬｏＧ出力値画像の各Ｚ位置における（２次元）スライス平面画像を２次元的に走査して、ＬｏＧ出力値が隣接する周辺画素の値（所定の特徴量閾値）よりも高いピーク画素位置を検出するようになっている。そして、シード検出処理部２１は、検出したピーク画素位置の位置座標情報（ＸＺＹ座標値により表されるシード座標。）およびそのピーク画素位置におけるＬｏＧ出力値をシード情報として出力するようになっている。

また、シード検出処理部２１は、背景上の微小な輝度の凹凸をシード（ピーク位置）として誤検出する場合があるため、シード座標に対応する原画像信号上の画素の輝度値に対して、背景輝度推定部７により推定された背景輝度値に基づいて設定した輝度に対する画素閾値を用いて閾値処理を行い、一定輝度値以下のシード情報は削除するようになっている。このようにすることで、ピーク画素位置として検出されてしまっているノイズを除去することができる。シード検出処理部２１により検出されたシード情報はシード統合処理部２３へ転送されるようになっている。ここでは２次元的にピーク画素位置を求めたが、Ｚ方向も含む３次元的なピーク画素位置を求めてもよい。

シード統合処理部２３は、シード検出処理部２１から送られてくる複数のシード情報の各シード座標に関して、細胞Ｃの平均的サイズを基準として、極度に近接した２つのシード座標がある場合にこれらを統合するようになっている。

具体的には、シード統合処理部２３は、まず、２つのシード情報からそれぞれシード座標を取り出し、シード座標間の空間的距離を計算するようになっている。そして、シード統合処理部２３は、平均的な細胞サイズ（細胞半径）を元に予め設定した近接閾値を用いて、空間的な距離が近接閾値以下のシード座標、すなわち細胞サイズと比較して十分に近接したシード（ピーク位置）であると判定されるシード座標を統合するようになっている。

シード座標の統合は、近接している２つのシード座標について、両ピーク画素位置に関するＬｏＧ出力値を比較し、より大きなＬｏＧ出力値を有するピーク画素位置の方がよりシードらしい（細胞Ｃの中心位置に近い）と仮定して、ＬｏＧ出力値が大きい方のシード座標を残し、他方のシード座標を削除することとする。シード統合処理部２３は、全シード情報に対して網羅的に近接するシード座標を探索して、統合するシード座標がなくなるまでこの処理を行い、残ったシード情報をソート部２５に転送するようになっている。

ソート部２５は、シード統合処理部２３から送られてくるシード情報の各ＬｏＧ出力値を参照して、これらのシード情報をＬｏＧ出力値が大きい順に並べる（ソートする）ようになっている。ＬｏＧ出力値が大きいほど細胞Ｃである確率が高いので、このようにすることで、ＬｏＧ出力値が大きいシード情報から順に効率的に細胞領域を形成することができる。ソート部２５によりソートされたシード情報は領域作成部１３に転送されるようになっている。

領域作成部１３においては、シード作成部１１により生成されるシード情報に基づいて、ＬｏＧ出力値の大きさによりソートされた順番に各シード座標が選択され、選択された全てのシード座標に対して、各シード座標の周辺画素の輝度値分布に基づいて個々の細胞領域が形成されるようになっている。

この領域作成部１３は、図７に示すように、シード記録部（ピーク位置記録部）２７と、領域記録部２９と、位置記録部３１と、シード選択部３３と、第１重複判定部（近接状態判定部）３５と、細胞位置補正部（第１補正部）３７と、第１領域形成部（細胞領域形成部）３９と、第１領域位置設定部（細胞領域位置特定部）４１と、領域位置間距離算出部４３と、閾値処理部（近接状態判定部）４５と、領域統合処理部（細胞領域形成部、第２補正部）４７と、第２領域位置設定部（細胞領域位置特定部）４９と、第２重複判定部（近接状態判定部）５１と、第２領域形成部（細胞領域形成部、第３補正部）５３と、第３領域位置設定部（細胞領域位置特定部）５５とを備えている。

シード記録部２７は、シード作成部１１から送られてくるシード情報を一時的に記録するバッファメモリとして機能するようになっている。シード記録部２７においては、領域作成の一連の流れの中で、記録されるシード情報が随時更新されていくようになっている。また、シード記録部２７は、第１重複判定部３５による判定結果に応じて、記録しているシード情報を削除するようになっている。

領域記録部２９は、個々のシード座標に対して細胞領域を作成する一連の手順の中で領域作成の途中結果を記録しておく原画像信号と同サイズのバッファメモリとして機能するようになっている。領域記録部２９においては、作成された細胞領域が随時バッファに記録されて更新されていくようになっている。また、領域記録部２９は、全シード座標に対する領域作成が終了した時点で、個々の細胞領域が画定された細胞領域分割画像が記録されるとともに、その細胞領域分割結果が出力部１５に転送されるようになっている。

位置記録部３１は、領域記録部２９に記録されている各細胞領域の中心位置を一時的に記録するバッファメモリとして機能するようになっている。位置記録部３１においては、領域作成の一連の流れの中で、記録される細胞領域が随時更新されていくようになっている。

シード選択部３３は、シード記録部２７に記録されているシード情報に含まれるシード座標をソートされた順番に１つずつ選択して第１重複判定部３５に転送するようになっている。

第１重複判定部３５は、シード選択部３３により送られてくる現在形成しようとしている細胞領域のシード座標と、領域記録部２９に記録されている過去に形成された細胞領域の情報とから、図８（ａ）に示すように重複する細胞領域が既に存在しているかどうかを判定するようになっている。具体的には、第１重複判定部３５は、シード選択部３３により送られてくるシード座標と領域記録部２９に記録されている細胞領域のシード座標との距離が所定のピーク閾値以下か否かを判定するようになっている。

第１重複判定部３５により所定のピーク閾値以下（重複している）と判定された場合は、その現在形成しようとしている細胞領域のシード座標の情報がシード記録部２７に送られるとともに、そのシード座標の情報および重複する過去に形成された細胞領域の情報が細胞位置補正部３７に送られるようになっている。この場合、シード記録部２７において、第１重複判定部３５からシード座標の情報が送られたシード情報が記録から削除されるようになっている。このようにすることで、既に細胞領域が形成されているシード座標に近接するシード座標については細胞領域を重複して形成しなくて済み、また、シード記録部２７によりそのようなシード情報を重複して記録しなくて済む。

一方、第１重複判定部３５により所定のピーク閾値よりも大きい（重複していない）と判定された場合は、その現在形成しようとしている細胞領域のシード座標の情報が第１領域形成部３９に転送されるようになっている。

細胞位置補正部３７は、第１重複判定部３５から送られてくるシード座標の情報および重複する過去に形成された細胞領域の情報に基づいて、位置記録部３１に記録されているその重複する過去に形成された細胞領域の中心位置を検索するようになっている。

そして、細胞位置補正部３７は、検索した中心位置を第１重複判定部３５から送られてくるそのシード座標の方向へ所定量移動させることで、位置記録部３１に記録されているその重複する過去に形成された細胞領域のシード座標値を補正し、現在形成しようとしたシード（シード情報）に対する処理を終了するようになっている。例えば、補正前の中心位置の座標をＰｏｌｄとし、シード座標をＰｓｅｅｄとしたとき、その中間座標（Ｐｏｌｄ＋Ｐｓｅｅｄ）／２を補正後の中心位置の座標Ｐｎｅｗとしてもよい。

第１領域形成部３９は、第１重複判定部３５から送られてくるシード座標の周辺の画素値の空間的分布に基づいて、細胞領域を形成するようになっている。具体的には、第１領域形成部３９は、まず撮像装置３から送られてくる原画像信号に対し、第１重複判定部３５から送られてくるシード座標を中心として所定範囲の領域をトリミングするようになっている。トリミング領域のサイズは、前述の細胞半径に基づいて規定される。

その際に、撮像装置３のＰＳＦ（Point Spread Function）等の光学系の条件、あるいは被写体である細胞集塊の状態によってはＺ方向の解像度が低い等の理由から、図６に示すように、撮像した画像上において見かけ上個々の細胞ＣがＺ方向に伸張して見える場合がある。その場合は、第１領域形成部３９が、伸張パラメータ設定部９においてユーザが入力したＺ方向の伸張率に基づいて、トリミング範囲がＺ方向に伸張されるように調整するようになっている。

また、第１領域形成部３９は、トリミング領域に平滑化フィルタを適用して、境界を平滑化するスムージングを施した平滑化領域を生成するようになっている。そして、第１領域形成部３９は、平滑化領域内の領域中心からの距離が細胞半径よりも大きい画素に対して輝度勾配により定義するエッジ強度を求め、エッジ強度が所定の閾値よりも小さい画素の画素値を前述の背景輝度値に置き換える補正処理を行うようになっている。

ここで、輝度勾配は、平滑化領域の中心を原点として画素の位置ベクトルを正規化した方向ベクトルＰＶと、隣接画素との輝度値の差分（勾配）から算出した勾配ベクトルＧＶとの内積ＰＶ・ＧＶにより算出される。また、エッジ強度に対する閾値は、例えば、閾値ＴＨｅｄｇｅ＝０（距離＜細胞サイズ）、ＴＨｅｄｇｅ＝ｃｏｅｆ×（Ｄｉｓｔ−細胞サイズ）（距離＞＝細胞サイズ）のように、平滑化領域の中心からの距離に応じて大きさを調整してもよい。ｃｏｅｆは所定の定数である。

第１領域形成部３９は、以上の領域内画素値に対する補正（各画素値に対する重み付け・エッジ強度に基づく補正）を行った平滑化領域に対して、領域内の画素値分布に基づく適応的閾値（二値化閾値）により二値化を行うことで細胞領域を形成するようになっている。適応的閾値は、ピーク画素位置の周辺領域に含まれる複数の画素の画素値の最大値と比較して所定量以上小さい場合は設定し直すこととしてもよい。このようにすることで、適応的閾値の適応性を向上して、細胞領域をより高精度に形成することができる。また、第１領域形成部３９は、シード座標の周辺の画素の範囲をピーク画素位置のＬｏＧ出力値に基づいて設定することとしてもよい。

また、第１領域形成部３９は、二値化により形成した細胞領域内に空洞が存在する場合があるため、穴埋め処理を施して細胞領域内の空洞を埋める穴埋め処理部としても機能するようになっている。穴埋め処理により、細胞領域の分布を分かり易くすることができる。また、二値化の際に中心から離れた位置に、隣接する細胞Ｃの断片化された破片領域が誤って細胞領域として検出される場合も有るため、第１領域形成部３９は、複数に分断された細胞領域が形成された場合に、ピーク画素位置から最も近い領域を残し、中心位置を含まない領域を除去する破片領域除去部としても機能するようになっている。第１領域形成部３９により形成された細胞領域は、第１領域位置設定部４１、領域統合処理部４７および第２重複判定部５１に転送されるようになっている。

第１領域位置設定部４１は、第１領域形成部３９から送られてくる細胞領域の中心位置を算出し、算出した中心位置を領域位置に設定して領域位置間距離算出部４３と第２重複判定部５１とに転送するようになっている。

領域位置間距離算出部４３は、位置記録部３１に記録されている過去に形成された細胞領域の中心位置（領域位置）を参照し、第１領域位置設定部４１から送られてくる領域位置（細胞領域の中心位置）との間の距離を算出して閾値処理部４５へ転送するようになっている。

閾値処理部４５は、領域位置間距離算出部４３により算出された距離と予め設定された所定の中心位置間閾値とを比較し、その比較結果を領域統合処理部４７と第２重複判定部５１とに転送するようになっている。所定の中心位置間閾値は、所定のピーク位置閾値もよりも大きいこととし、例えば、細胞領域の対応するピーク画素位置のＬｏＧ出力値に基づいて設定される。

領域統合処理部４７は、閾値処理部４５により距離が所定の中心位置間閾値以下と判定された場合において、これらの細胞領域を１つの細胞領域として統合するようになっている。シード座標間の距離は所定のピーク閾値よりも離れているものの領域位置間の距離が所定の中心位置間閾値以下に近接する細胞領域どうしは、区分けし難くまた一方が他方に大幅に隠れてしまっている場合があるため、このようにすることで、細胞領域の区分けが複雑になりすぎて却って分かり難くなるのを防ぐことができる。

具体的には、領域統合処理部４７は、図８（ｂ）に示すように、第１領域形成部３９により形成された細胞領域を既存の近接した細胞領域と統合して新たな細胞領域を形成するようになっている。領域統合処理部４７により形成された細胞領域は、領域記録部２９および第２領域位置設定部４９に転送されて、そのシード（シード情報）に対する処理が終了するようになっている。

第２領域位置設定部４９は、領域統合処理部４７から送られてきた細胞領域の中心位置を算出し、算出した中心位置を領域位置に設定して位置記録部３１に転送するようになっている。

第２重複判定部５１は、閾値処理部４５により距離が所定の中心位置間閾値よりも離れていると判定された場合において、領域記録部２９に記録されている過去に形成された細胞領域と、第１領域位置設定部４１から送られてくる領域位置（細胞領域の中心位置）とが重複するか否かを判定するようになっている。

第２重複判定部５１により、第１領域位置設定部４１から送られてくる領域位置が過去に形成された細胞領域上に重複して位置しないと判定された場合は、第１領域形成部３９から送られてくるその領域位置の細胞領域が領域記録部２９に転送されて記録されるとともに、その領域位置が位置記録部３１に転送されて記録され、当該シード（シード情報）に対する処理が終了するようになっている。

一方、第２重複判定部５１により、第１領域位置設定部４１から送られてくる領域位置が過去に形成された細胞領域上に重複して位置すると判定された場合は、第１領域形成部３９から送られてくるその領域位置の細胞領域と、その重複する過去に形成された細胞領域とが第２領域形成部５３に転送されるようになっている。

第２領域形成部５３は、図８（ｃ）に示すように、第２重複判定部５１から送られてくる重複する２つの細胞領域が占める領域に限定して、２つの細胞領域を再形成するようになっている。シード座標どうしが所定のピーク閾値よりも離れており、領域位置どうしも所定の中心位置間閾値よりも離れているが、一方の領域位置が他方の細胞領域と重複する細胞領域どうしは、互いに重複していない範囲が十分に広いため、このようにすることで、隣接する細胞領域どうしを区分けして表示することができる。細胞領域の再形成は、公知の領域分割手法を用いればよいが、ここでは比較的簡便な領域成長法による領域分割手法を適用して再形成するようになっている。

具体的には、第２領域形成部５３は、２つの細胞領域が占める領域内に改めて２つの細胞Ｃを表す所定サイズの初期領域をそれぞれ配置した上で、各初期領域に対して領域成長法を適用して各領域を成長させ、領域内を２つの細胞領域に再度領域分割することで各細胞領域を再形成するようになっている。２つの初期領域は、互いに重ならないようサイズを調整した球形の領域としている。第２領域形成部５３により再形成された２つの細胞領域は、領域記録部２９に転送されて記録されるとともに第３領域位置設定部５５に転送されるようになっている。

第３領域位置設定部５５は、第２領域形成部５３から送られてくる再形成された２つの細胞領域の中心位置をそれぞれ算出し、算出した各中心位置をそれぞれの領域位置に設定して位置記録部３１に転送するになっている。
出力部１５は、最終的な細胞領域分割結果を出力するようになっている。

次に、本実施形態に係る細胞認識方法について説明する。
本実施形態に係る細胞認識方法は、図９および図１０のフローチャートに示されるように、複数の細胞Ｃからなる細胞集塊を撮影した細胞画像中の各画素における画素値の極値らしさを表すＬｏＧ出力値（特徴量）を算出するＬｏＧフィルタ処理工程（特徴量算出工程）ＳＡ３と、細胞画像においてＬｏＧ出力値が所定の特徴量閾値よりも大きいピーク画素位置を検出して記録するシード検出処理工程（ピーク位置記録工程）ＳＡ５と、シード検出処理工程ＳＡ５により記録されているピーク画素位置ごとに、細胞画像におけるピーク画素位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成工程ＳＡ８と、細胞領域形成工程ＳＡ８により形成された各細胞領域の中心位置をそれぞれ特定する細胞領域位置特定工程としての第１領域位置設定処理工程ＳＢ５、第２領域位置設定処理工程ＳＢ９および第３領域位置設定処理工程ＳＢ１２と、ピーク画素位置、細胞領域の形態および細胞領域の中心位置の少なくとも１つを用いて、細胞領域形成工程ＳＡ８により現在形成しようとしている細胞領域と過去に形成された細胞領域との近接状態を判定する近接状態判定工程ＳＢ１，ＳＢ７，ＳＢ１０とを含んでいる。

そして、細胞領域形成工程ＳＡ８が、近接状態判定工程ＳＢ１，ＳＢ７，ＳＢ１０により近接していると判定された場合に、現在形成しようとしている細胞領域および過去に形成された細胞領域の両方またはいずれか一方を修正するようになっている。

このように構成された画像処理装置５、細胞認識装置１および細胞認識方法の作用について以下に説明する。
本実施形態に係る画像処理装置５、細胞認識装置１および細胞認識方法により細胞Ｃを認識するには、まず、図９のフローチャートに示されるように、撮像装置３により撮影された３次元的なＺスタック画像データが、細胞認識対象となる原画像信号として背景輝度推定部７、シード作成部１１および領域作成部１３に入力される（ステップＳＡ１）。

次いで、シード作成部１１において、初期化部１７により、入力された原画像信号が初期化された後（ステップＳＡ２）、ＬｏＧフィルタ部１９により、その初期化された原画像信号にＬｏＧフィルタが適用される（Ｌｏｇフィルタ処理、ステップＳＡ３）。そして、ＬｏＧフィルタ部１９により、初期化された原画像信号の各画素についてＬｏＧ出力値が算出されてＬｏＧ出力値画像が生成され、ＬｏＧ出力値画像がシード検出処理部２１に転送される。

また、背景輝度推定部７により、入力された原画像信号から図４に示すような輝度ヒストグラムが作成され、作成された輝度ヒストグラムに基づいて背景輝度値が推定される（背景輝度値推定処理、ステップＳＡ４）。

続いて、シード検出処理部２１により、シード作成部１１から送られてきたＬｏＧ出力値画像に基づいて、図１１に示すように、ＬｏＧ出力値が局所的に最大値を示すピーク画素位置が細胞位置候補として検出される（シード検出処理、ステップＳＡ５）。図１１において、符号Ｐはピーク画素位置を示している。そして、シード検出処理部２１により、検出されたピーク画素位置のシード座標およびそのピーク画素位置におけるＬｏＧ出力値がシード情報としてシード統合処理部２３へ転送される。

次いで、シード統合処理部２３により、２つのシード情報の各シード座標間の距離が算出されて近接閾値以下か否かが判定される。そして、近接閾値以下と判定された場合は、２つのシード座標の内、ＬｏＧ出力値が大きい方のシード座標が残され、他方のシード座標が削除される（シード統合処理、ステップＳＡ６）。この統合処理が全シード情報に対して行われ、残ったシード情報がソート部２５に転送される。そして、ソート部２５により、ＬｏＧ出力値が大きい順にシード情報が並べられて領域作成部１３に転送される。

次いで、領域作成部１３において、まず、ソート部２５から送られてきたシード情報がシード記録部２７により記録される。そして、シード選択部３３により、図１２に示すように、シード記録部２７に記録されているシード情報がＬｏＧ出力値が大きい順に１つずつ選択される（ステップＳＡ７）。

次に、領域作成部１３による領域形成処理（ステップＳＡ８）について、図１０のフローチャートを参照してより詳細に説明する。
まず、シード選択部３３により選択されたシード情報が第１重複判定部３５に転送される。そして、第１重複判定部３５により、シード選択部３３によって送られてきた現在形成しようとしている細胞領域のシード座標と、領域記録部２９に記録されている過去に形成された細胞領域とが重複するか否かが判定される。具体的には、第１重複判定部３５により、図８（ａ）に示すように、シード選択部３３により送られてきたシード座標と領域記録部２９に記録されている細胞領域のシード座標との距離が所定のピーク閾値以下か否かが判定される（ステップＳＢ１）。

第１重複判定部３５により重複すると判定された場合（ステップＳＢ１「ＹＥＳ」）は、シード記録部２７により、現在形成しようとしているその細胞領域のシード座標が記録から削除される（シード削除処理、ステップＳＢ２）。また、細胞位置補正部３７により、現在形成しようとしているその細胞領域のシード座標に基づいて、過去に形成されたその細胞領域のシード座標値が補正される（細胞位置補正処理、ステップＳＢ３）。

一方、第１重複判定部３５により重複していないと判定された場合（ステップＳＢ１「ＮＯ」）は、第１領域形成部３９により、撮像装置３から送られてくる原画像信号と第１重複判定部３５から送られてくるシード座標の周辺の画素値の空間的分布とに基づいて、図１３に示すように、細胞領域が形成される（第１領域形成処理、ステップＳＢ４）。図１３において、符号Ｒは細胞領域を示している。

次いで、第１領域位置設定部４１により、第１領域形成部３９によって形成された細胞領域の中心位置が算出されて領域位置として設定され（第１領域位置設定処理、細胞領域位置特定工程、ステップＳＢ５）、設定された領域位置が領域位置間距離算出部４３と第２重複判定部５１とに転送される。

次いで、領域位置間距離算出部４３により、位置記録部３１に記録されている過去に形成された細胞領域の中心位置（領域位置）と、第１領域位置設定部４１から送られてきた領域位置（細胞領域の中心位置）との間の距離が算出され（領域位置間距離算出処理、ステップＳＢ６）、算出された距離が閾値処理部４５へ転送される。

次いで、閾値処理部４５により、領域位置間距離算出部４３によって算出された距離が予め設定された所定の中心位置間閾値以下か否かが判定される（ステップＳＢ７）。

閾値処理部４５により所定の中心位置間閾値以下と判定された場合は、領域統合処理部４７により、図８（ｂ）に示すように、第１領域形成部３９により形成された細胞領域が既存の近接した細胞領域と統合されて新たな細胞領域が形成される（領域統合処理、ステップＳＢ８）。

そして、領域統合処理部４７により形成された新たな細胞領域が領域記録部２９により記録されるとともに、第２領域位置設定部４９によりその新たな細胞領域の中心位置が算出されて領域位置として設定され（第２領域位置設定処理、ステップＳＢ９）、設定された領域位置が位置記録部３１により記録される。

一方、閾値処理部４５により所定の中心位置間閾値よりも離れていると判定された場合は、第２重複判定部５１により、領域記録部２９に記録されている過去に形成された細胞領域と、第１領域位置設定部４１から送られてきた領域位置（細胞領域の中心位置）とが重複するか否かが判定される（ステップＳＢ１０）。

第２重複判定部５１により重複すると判定された場合は、第２領域形成部５３により、図８（ｃ）に示すように、第２重複判定部５１から送られてくるその重複する２つの細胞領域が占める領域に限定されて、２つの細胞領域が再形成される（第２領域形成処理、ステップＳＢ１１）。

そして、第２領域形成部５３により再形成された２つの細胞領域が領域記録部２９により記録されるとともに、第３領域位置設定部５５によりその２つの細胞領域の中心位置がそれぞれ算出されて各領域位置として設定され（第３領域位置設定処理、ステップＳＢ１２）、設定された各領域位置が位置記録部３１により記録される。

一方、第２重複判定部５１により重複しないと判定された場合は、その領域位置の細胞領域が領域記録部２９に記録されるとともに、その領域位置が位置記録部３１に記録されて、当該シード（シード情報）に対する処理が終了する。

最後に、図示しないシステムコントローラにより、全てのシード（シード情報）に対する領域形成が完了したか否かが判定され（ステップＳＡ９）、完了していない場合はステップＳＡ７に戻る。一方、完了している場合は処理が完了し、領域記録部２９により、図１４に示すように個々の細胞領域が画定された細胞領域分割画像が記録されるとともに、その細胞領域分割結果が出力部１５に転送されて出力される。

以上説明したように、本実施形態に係る画像処理装置５、細胞認識装置１および細胞認識方法によれば、細胞画像において細胞Ｃは背景よりも画素値が高いことが多いことから、ＬｏＧフィルタ部１９により算出される画素値の極値らしさを表すＬｏＧ出力値が所定の特徴量閾値よりも大きいピーク画素位置には細胞Ｃが存在する可能性が高い。したがって、シード検出処理部２１により細胞画像においてピーク画素位置を複数検出して、領域作成部１３によりピーク画素位置のシード座標ごとにその周辺領域の画素値分布に基づいて細胞領域を形成することで、細胞集塊を構成する複数の細胞Ｃの領域をそれぞれ抽出することができる。

この場合において、各シード座標に対し順番にそれぞれ独立に細胞領域を形成するため、領域作成順によってはシード座標上に以前選択されたシード座標に基づき既に細胞領域が作成されている場合があり得る。これに対し、第１重複判定部３５、閾値処理部４５および第２重複判定部５１により、ピーク画素位置、細胞領域の形態および細胞領域の中心位置の少なくとも１つが用いられて、現在形成しようとしている細胞領域と過去に形成された細胞領域とが近接していると判定された場合に、第１領域形成部３９、領域統合処理部４７および第２領域形成部５３により、これら現在形成しようとしている細胞領域および過去に形成された細胞領域の両方またはいずれか一方を修正することで、隣接する細胞領域どうしが部分的に重複する場合であっても、各細胞領域を区分けすることができる。したがって、複数の生細胞Ｃからなる細胞集塊を撮影した細胞画像から個々の細胞Ｃを精度よく抽出することができる。

本実施形態においては、第２重複判定部５１が、領域記録部２９に記録されている過去に形成された細胞領域と、第１領域位置設定部４１から送られてくる領域位置（細胞領域の中心位置）とが重複するか否かを判定することとしたが、これに代えて、領域記録部２９に記録されている過去に形成された細胞領域の領域位置と、第１領域位置設定部４１から送られてくる領域位置に対応する第１領域形成部３９から送られてくる細胞領域とが重複するか否かを判定することとしてもよい。

また、本実施形態においては、第１領域形成部３９による細胞領域の形成と第１領域位置設定部４１による領域位置の特定とが、互いに異なるピーク画素位置に対して時間的に並列して行われることとしてもよい。同様に、領域統合処理部４７による細胞領域の形成と第２領域位置設定部４９による領域位置の特定とが、互いに異なるピーク画素位置に対して時間的に並列して行われることとしてもよいし、第２領域形成部５３による細胞領域の形成と第３領域位置設定部５５による領域位置の特定とが互いに異なるピーク画素位置に対して時間的に並列して行われることとしてもよい。
このようにすることで、全てのピーク画素位置に対する細胞領域の形成と領域位置の特定とをより効率的かつ時間を短縮して行うことができる。

〔第２実施形態〕
次に、本発明の第２実施形態に係る画像処理装置、細胞認識装置および細胞認識方法について説明する。
本実施形態に係る画像処理装置、細胞認識装置および細胞認識方法は、図１５に示すように、個々の細胞Ｃの領域を細胞核Ｎの領域（第１細胞領域）と細胞核Ｎの周辺に存在する細胞質Ｋの領域（第２細胞領域）とに分けてから細胞領域を形成する点で第１実施形態と異なる。
以下、第１実施形態に係る画像処理装置５、細胞認識装置１および細胞認識方法と構成を共通する箇所には、同一符号を付して説明を省略する。

本実施形態に係る細胞認識装置６１は、図１６に示すように、画像処理装置５が、背景輝度推定部７と、伸張パラメータ設定部９と、シード作成部１１と、領域作成部１３に代わる領域作成部６３と、出力部１５と、新たに領域成長部６５とを備えている。

これら各処理部は、図示しないシステムコントローラに接続されて動作制御されるようになっている。また、これら各処理部は、例えば、ＣＰＵと、演算プログラムを格納するＲＡＭやＲＯＭ等の記憶装置などから構成されていてもよく、その場合は、ＲＯＭに演算プログラムとしての細胞認識プログラムが格納されることとすればよい。

領域作成部６３においては、図１７（ａ）に示すようなスフェロイドＳの原画像信号からシード作成部１１により作成されたシード情報に基づいて、個々の細胞核Ｎの領域と細胞質Ｋの領域とが作成されるようになっている。

この領域作成部６３は、図１８に示すように、シード記録部（ピーク位置記録部）２７と、領域記録部２９と、位置記録部３１と、シード選択部３３と、第１重複判定部（近接状態判定部）３５と、細胞位置補正部（第１補正部）３７と、第１領域形成部３９に代わる第１領域形成部（細胞領域形成部、第１領域形成部、第２領域形成部）６７と、第１領域位置設定部（細胞領域位置特定部）４１と、領域位置間距離算出部４３と、閾値処理部（近接状態判定部）４５と、領域統合処理部（細胞領域形成部、第２補正部）４７と、第２領域位置設定部（細胞領域位置特定部）４９と、第２重複判定部（近接状態判定部）５１と、第２領域形成部（細胞領域形成部、第３補正部）５３と、第３領域位置設定部（細胞領域位置特定部）５５と、新たに細胞質領域記録部６９とを備えている。

第１領域形成部６７は、第１実施形態の第１領域形成部３９と同様の処理により、第１重複判定部３５から送られてくるシード座標の周辺の画素値の空間的分布に基づいて、シード座標近傍の所定の輝度閾値よりも輝度が高い領域に限定して、図１７（ｂ）に示すような細胞核Ｎの領域（以下、細胞核領域という。）を形成するようになっている。第１領域形成部６７により形成された細胞核領域は、第１領域位置設定部４１、領域統合処理部４７および第２重複判定部５１に転送されるようになっている。

また、第１領域形成部６７は、細胞核領域の形成と並行して、そのシード座標の周辺の画素値の空間的分布に基づいて、シード座標近傍に限定せずに所定の輝度閾値以下の輝度の領域を含む図１７（ｃ）に示すような細胞質Ｋの領域（以下、細胞質領域という。）を形成するようになっている。

具体的には、第１領域形成部６７は、第１重複判定部３５から送られてくるシード座標を中心としてトリミング領域画像に対して、直接、適応的閾値処理による二値化処理を行うことで細胞質領域を形成するようになっている。第１領域形成部６７により形成された細胞質領域は細胞質領域記録部６９に転送されるようになっている。

本実施形態では、第１領域位置設定部４１は、第１領域形成部６７から送られてくる細胞核領域の中心位置を算出して領域位置に設定し、設定した領域位置を領域位置間距離算出部４３と第２重複判定部５１とに転送するようになっている。

細胞質領域記録部６９は、個々のシード座標に対して細胞質領域作成を行う一連の手順の中で、途中結果を記録しておく原画像信号と同サイズのバッファメモリとして機能するようになっている。細胞質領域記録部６９においては、形成された細胞質領域が随時バッファに書き込まれて更新されていくようになっている。

また、細胞質領域記録部６９には、最終的に、細胞質の分布を示す細胞質領域画像が記録されるようになっている。細胞質領域記録部６９に記録される時点では、細胞質領域画像は必ずしも個々の細胞質には分割されている必要は無い。細胞質領域記録部６９により記録されている細胞質領域画像は領域成長部６５へ転送されるようになっている。

本実施形態において、領域記録部２９には、最終的に、個々の細胞核領域を示す細胞核領域分割画像が記録されるようになっている。領域記録部２９により記録されている細胞核領域分割画像は領域成長部６５へ転送されるようになっている。

領域成長部６５は、領域作成部６３の領域記録部２９から送られてくる細胞核領域分割画像と、領域作成部６３の細胞質領域記録部６９から送られてくる細胞質領域画像とに対して、領域成長法による領域分割手法を適用して、個々の細胞領域に分割された細胞領域分割画像を生成するようになっている。

具体的には、領域成長部６５は、図１７（ｄ）に示すように、細胞質領域（細胞質Ｋの領域）内に改めて個々の細胞核領域（細胞核Ｎの領域）を初期領域として配置し、その後、細胞質領域を領域成長範囲とする制約を加えた上で、初期領域に領域成長法を適用して成長させて、図１７（ｅ）に示すような個々の細胞領域を形成するようになっている。これにより、個々の細胞領域が分割された細胞領域分割画像が形成される。図１７（ｅ）において、符号Ｒは細胞領域を示している。領域成長部６５により形成された細胞領域分割画像は出力部１５へ転送されるようになっている。

次に、本実施形態に係る細胞認識方法について説明する。
本実施形態に係る細胞認識方法は、図１９および図２０のフローチャートに示されるように、第１実施形態の細胞領域形成工程ＳＡ８に代えて、細胞領域形成工程ＳＡ８´が、輝度分布に基づいてピーク画素位置近傍の所定の輝度閾値よりも輝度が高い領域に限定して細胞核領域を形成する細胞核領域形成工程（第１領域形成工程）ＳＢ４´−１と、輝度分布に基づいてピーク位置近傍に限定せずに所定の輝度閾値以下の輝度の領域を含む細胞質領域を形成する細胞質領域形成工程（第２領域形成工程）ＳＢ４´−２と、細胞核領域形成工程ＳＢ４´−１により全てのピーク画素位置に対して形成された個々の細胞核領域を初期領域とするとともに、細胞質領域形成工程ＳＢ４´−２により形成された細胞質領域を領域成長範囲の制約として、初期領域を領域成長させる領域成長工程ＳＡ１０とを含んでいる。

このように構成された画像処理装置５、細胞認識装置６１および細胞認識方法の作用について説明する。
本実施形態に係る画像処理装置５、細胞認識装置６１および細胞認識方法により細胞Ｃを認識するには、図２０のフローチャートに示されるように、第１重複判定部３５により、シード選択部３３によって送られてきた現在形成しようとしている細胞領域のシード座標と、領域記録部２９に記録されている過去に形成された細胞領域とが重複すると判定されると（ステップＳＢ１「ＹＥＳ」）、シード記録部２７により、現在形成しようとしているその細胞核領域のシード座標が記録から削除される（シード削除処理、ステップＳＢ２）とともに、細胞位置補正部３７により、現在形成しようとしているその細胞核領域のシード座標に基づいて、過去に形成されたその細胞核領域のシード座標値が補正される（細胞位置補正処理、ステップＳＢ３）。

一方、第１重複判定部３５により重複していないと判定されると（ステップＳＢ１「ＮＯ」）、第１領域形成部３９により、第１実施形態と同様の手順により、図１７（ｂ）に示すようなシード座標近傍に限定された細胞核領域が形成される（細胞核領域形成処理、ステップＳＢ４´−１）。

第１領域形成部６７により形成された細胞核領域は、第１領域位置設定部４１、領域統合処理部４７および第２重複判定部５１に転送される。そして、第１実施形態で細胞領域について行われる処理と同様に、細胞核領域についてステップＳＢ５〜ステップＳＡ９が実施される。そして、形成された細胞核領域が領域記録部２９に転送され、領域記録部２９に最終的に記録される個々の細胞核領域を示す細胞核領域分割画像が領域成長部６５へ転送される。

また、細胞核領域の形成と並行して、第１領域形成部３９により、シード座標近傍に限定せずにその周辺領域を含む図１７（ｃ）に示すような細胞質領域が形成される（細胞質領域形成処理、ステップＳＢ４´−２）。第１領域形成部６７により形成された細胞質領域は細胞質領域記録部６９に転送される。そして、細胞質領域記録部６９に最終的に記録される細胞質領域画像が領域成長部６５へ転送される。

最後に、図示しないシステムコントローラにより、全てのシードに対する領域形成が完了したと判定されると（ステップＳＡ９「ＹＥＳ」）、領域成長部６５により、領域記録部２９から送られてくる細胞核領域分割画像と細胞質領域記録部６９から送られてくる細胞質領域画像とに対して、領域成長法による領域分割手法が適用されて、図１７（ｅ）に示すような個々の細胞領域が形成される（領域成長処理、ステップＳＡ１０）。そして、領域成長部６５から個々の細胞領域が画定された細胞領域分割画像の細胞領域分割結果が出力部１５に転送されて出力される。

以上説明したように、細胞領域は細胞核Ｎの領域と細胞質Ｋの領域とに分けられ、細胞核領域の周辺に細胞質領域が配置されて細胞領域全体が構成されている。一般に、細胞画像において、細胞核領域は周辺の細胞質領域よりも輝度が高く輪郭がはっきりしており、細胞核領域どうしは区別がつき易く分割精度を上げ易い。他方、細胞質領域は他の細胞質領域に接し境界の特定が難しいことが多く、細胞核領域と比較して相対的に細胞質領域どうしの分割精度を上げることは困難である。

本実施形態に係る画像処理装置５、細胞認識装置６１および細胞認識方法によれば、第１領域形成部６７により、ピーク画素位置近傍の所定の輝度閾値よりも輝度が高い細胞核領域を形成して、個々の細胞核領域を領域成長法における初期領域として用いるとともに、ピーク画素位置近傍に限定せずに所定の輝度閾値以下の輝度の領域を含む細胞質領域を形成して、細胞質領域を領域成長範囲の制約として利用することで、個々の細胞核領域に基づき細胞領域分割精度を上げながら、細胞質領域に基づく細胞領域形状の正確性を向上させることができる。

本実施形態においては、第２重複判定部５１が、領域記録部２９に記録されている過去に形成された細胞核領域と、第１領域位置設定部４１から送られてくる領域位置（細胞核領域の中心位置）とが重複するか否かを判定することとしてもよいし、領域記録部２９に記録されている過去に形成された細胞核領域の領域位置と、第１領域位置設定部４１から送られてくる領域位置に対応する第１領域形成部６７から送られてくる細胞核領域とが重複するか否かを判定することとしてもよい。

また、本実施形態においては、第１領域形成部６７による細胞核領域の形成と第１領域位置設定部４１による領域位置の特定とが、互いに異なるピーク画素位置に対して時間的に並列して行われることとしてもよい。同様に、領域統合処理部４７による細胞核領域の形成と第２領域位置設定部４９による領域位置の特定とが、互いに異なるピーク画素位置に対して時間的に並列して行われることとしてもよいし、第２領域形成部５３による細胞核領域の形成と第３領域位置設定部５５による領域位置の特定とが、互いに異なるピーク画素位置に対して時間的に並列して行われることとしてもよい。

また、上記各実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

１，６１細胞認識装置
３撮像装置（撮像部）
５画像処理装置
９伸張パラメータ設定部（設定部）
１３，６３領域作成部（細胞領域形成部）
１９ＬｏＧフィルタ部（特徴量算出部）
２１シード検出処理部（ピーク位置検出部）
２７シード記録部（ピーク位置記録部）
３５第１重複判定部（近接状態判定部）
３７細胞位置補正部（第１補正部）
３９第１領域形成部（細胞領域形成部、穴埋め処理部、破片領域除去部）
４１第１領域位置設定部（細胞領域位置特定部）
４５閾値処理部（近接状態判定部）
４７領域統合処理部（細胞領域形成部、第２補正部）
４９第２領域位置設定部（細胞領域位置特定部）
５１第２重複判定部（近接状態判定部）
５３第２領域形成部（細胞領域形成部、第３補正部）
５５第３領域位置設定部（細胞領域位置特定部）
６５領域成長部
６７第１領域形成部（細胞領域形成部、第１領域形成部、第２領域形成部）
６９細胞質領域記録部
ＳＡ３ＬｏＧフィルタ処理工程（特徴量算出工程）
ＳＡ５シード検出処理工程（ピーク位置記録工程）
ＳＡ８，ＳＡ８´ 細胞領域形成工程
ＳＢ１，ＳＢ７，ＳＢ１０近接状態判定工程
ＳＢ５，ＳＢ９，ＳＢ１２細胞領域位置特定工程
Ｃ細胞

Claims

複数の細胞からなる細胞集塊を撮影した細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出部と、
前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出するピーク位置検出部と、
該ピーク位置検出部により検出された前記ピーク位置を記録するピーク位置記録部と、
該ピーク位置記録部により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成部と、
該細胞領域形成部により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定部と、
前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成部により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定部とを備え、
前記細胞領域形成部が、前記近接状態判定部により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する画像処理装置。
前記細胞領域形成部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された場合に、前記細胞領域の形成を行わない第１補正部を備え、
前記ピーク位置記録部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された現在形成しようとしている前記細胞領域の前記ピーク位置を記録から削除する請求項１に記載の画像処理装置。
前記第１補正部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された場合に、現在形成しようとしている前記細胞領域の前記ピーク位置に基づいて、過去に形成された前記細胞領域の中心位置を補正する請求項２に記載の画像処理装置。
前記細胞領域形成部が、前記近接状態判定部により、現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値よりも離れているが、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域の前記中心位置との距離が前記所定のピーク閾値よりも大きい所定の中心位置間閾値以下と判定された場合に、これら２つの前記細胞領域を統合して新たな前記細胞領域を形成する第２補正部を備え、
前記細胞領域位置特定部が、前記第２補正部により新たに形成された前記細胞領域の中心位置を特定する請求項１から請求項３のいずれかに記載の画像処理装置。
前記中心位置間閾値が、前記細胞領域の対応する前記ピーク位置の前記特徴量に基づいて設定される請求項４に記載の画像処理装置。
前記細胞領域形成部が、前記近接状態判定部により、現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値よりも離れており、かつ、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域の前記中心位置との距離が前記所定のピーク閾値よりも大きい所定の中心位置間閾値よりも離れているが、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域とが重複する、または、現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域の前記中心位置とが重複すると判定された場合に、これら２つの前記細胞領域を互いに重複しないようにそれぞれ形成または再形成する第３補正部を備え、
前記細胞領域位置特定部が、前記第３補正部により形成または再形成された２つの前記細胞領域の中心位置をそれぞれ特定する請求項１から請求項５のいずれかに記載の画像処理装置。
前記第３補正部が、領域成長法を用いて２つの前記細胞領域を形成または再形成する請求項６に記載の画像処理装置。
前記ピーク位置検出部が、前記画素値が所定の画素閾値以下の前記ピーク位置を削除する請求項１から請求項７のいずれかに記載の画像処理装置。
前記所定の画素閾値が、前記細胞画像の前記画素値分布から推定される背景値に基づいて設定される請求項８に記載の画像処理装置。
前記背景値が、前記画素値分布に近似した２峰性のガウス分布により推定される請求項９に記載の画像処理装置。
前記ピーク位置記録部が、記録している複数の前記ピーク位置を前記特徴量に基づいて並べ替え、隣接する２つの前記ピーク位置の間の距離が所定の近接閾値以下の場合に、これら２つの前記ピーク位置のいずれか一方を記録から削除する請求項１から請求項１０のいずれかに記載の画像処理装置。
前記特徴量算出部が、前記細胞画像に対するＬｏＧ（Laplacian of Gaussian）フィルタ出力値を前記特徴量として算出する請求項１から請求項１１のいずれかに記載の画像処理装置。
前記細胞領域形成部が、前記ピーク位置の周辺領域に含まれる複数の画素の前記画素値分布に基づいて設定した画素値分布閾値により、複数の前記画素を二値化して前記細胞領域を形成する請求項１から請求項１２のいずれかに記載の画像処理装置。
前記細胞領域形成部が、前記ピーク位置の周辺領域に含まれる複数の前記画素を平滑化し、平滑化された複数の前記画素を二値化する請求項１３に記載の画像処理装置。
前記細胞領域形成部が、前記画素値分布に基づいて適応的な所定の二値化閾値を設定し、該二値化閾値に基づいて複数の前記画素を二値化する請求項１３または請求項１４に記載の画像処理装置。
前記所定の二値化閾値が、前記ピーク位置の周辺領域に含まれる複数の前記画素の画素値の最大値と比較して所定量以上小さい場合に設定し直される請求項１５に記載の画像処理装置。
前記細胞領域形成部が、前記ピーク位置の周辺領域の範囲を前記ピーク位置の前記特徴量に基づいて設定する請求項１から請求項１６のいずれかに記載の画像処理装置。
前記細胞領域形成部が、形成した前記細胞領域内に生じた空洞を穴埋めする穴埋め処理部を備える請求項１から請求項１７のいずれかに記載の画像処理装置。
前記細胞領域形成部が、前記細胞領域の境界を平滑化する請求項１から請求項１８のいずれかに記載の画像処理装置。
前記細胞領域形成部が、複数に分断された前記細胞領域が形成された場合に、対応する前記ピーク位置から最も近い前記細胞領域を残し、その他の前記細胞領域を除去する破片領域除去部を備える請求項１から請求項１９のいずれかに記載の画像処理装置。
前記細胞領域形成部による前記細胞領域の形成と前記細胞領域位置特定部による前記中心位置の特定とが、互いに異なる前記ピーク位置に対して時間的に並列して行われる請求項１から請求項２０のいずれかに記載の画像処理装置。
前記特徴量算出部が、前記細胞画像の撮影に用いた光学系の点拡がり関数に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出する請求項１から請求項２１のいずれかに記載の画像処理装置。
前記特徴量算出部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出する請求項１から請求項２１のいずれかに記載の画像処理装置。
前記細胞領域形成部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて前記ピーク位置の周辺領域の範囲を設定する請求項１から請求項２３のいずれかに記載の画像処理装置。
前記深さ方向の伸張率をユーザに設定させる設定部を備える請求項２４に記載の画像処理装置。
前記細胞領域形成部が、輝度分布に基づいて前記ピーク位置近傍の所定の輝度閾値よりも輝度が高い領域に限定して第１細胞領域を形成する第１領域形成部と、前記輝度分布に基づいて前記ピーク位置近傍に限定せずに前記所定の輝度閾値以下の輝度の領域を含む第２細胞領域を形成する第２領域形成部と、前記第１領域形成部により全ての前記ピーク位置に対して形成された個々の前記第１細胞領域を初期領域とするとともに、前記第２領域形成部により形成された前記第２細胞領域を領域成長範囲の制約として、前記初期領域を領域成長させる領域成長部とを備える請求項１から請求項２５のいずれかに記載の画像処理装置。
複数の細胞からなる細胞集塊を撮影して細胞画像を取得する撮像部と、
該撮像部により取得された前記細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出部と、
前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出するピーク位置検出部と、
該ピーク位置検出部により検出された前記ピーク位置を記録するピーク位置記録部と、
該ピーク位置記録部により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成部と、
該細胞領域形成部により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定部と、
前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成部により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定部とを備え、
前記細胞領域形成部が、前記近接状態判定部により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する細胞認識装置。
前記細胞領域形成部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された場合に、前記細胞領域の形成を行わない第１補正部を備え、
前記ピーク位置記録部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された現在形成しようとしている前記細胞領域の前記ピーク位置を記録から削除する請求項２７に記載の細胞認識装置。
前記第１補正部が、前記近接状態判定部により現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値以下と判定された場合に、現在形成しようとしている前記細胞領域の前記ピーク位置に基づいて、過去に形成された前記細胞領域の中心位置を補正する請求項２８に記載の細胞認識装置。
前記細胞領域形成部が、前記近接状態判定部により、現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値よりも離れているが、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域の前記中心位置との距離が前記所定のピーク閾値よりも大きい所定の中心位置間閾値以下と判定された場合に、これら２つの前記細胞領域を統合して新たな前記細胞領域を形成する第２補正部を備え、
前記細胞領域位置特定部が、前記第２補正部により新たに形成された前記細胞領域の中心位置を特定する請求項２７から請求項２９のいずれかに記載の細胞認識装置。
前記中心位置間閾値が、前記細胞領域の対応する前記ピーク位置の前記特徴量に基づいて設定される請求項３０に記載の細胞認識装置。
前記細胞領域形成部が、前記近接状態判定部により、現在形成しようとしている前記細胞領域の前記ピーク位置と過去に形成された前記細胞領域の前記ピーク位置との距離が所定のピーク閾値よりも離れており、かつ、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域の前記中心位置との距離が前記所定のピーク閾値よりも大きい所定の中心位置間閾値よりも離れているが、現在形成しようとしている前記細胞領域の前記中心位置と過去に形成された前記細胞領域とが重複する、または、現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域の前記中心位置とが重複すると判定された場合に、これら２つの前記細胞領域を互いに重複しないようにそれぞれ形成または再形成する第３補正部を備え、
前記細胞領域位置特定部が、前記第３補正部により形成または再形成された２つの前記細胞領域の中心位置をそれぞれ特定する請求項２７から請求項３１のいずれかに記載の細胞認識装置。
前記第３補正部が、領域成長法を用いて２つの前記細胞領域を形成または再形成する請求項３２に記載の細胞認識装置。
前記特徴量算出部が、前記細胞画像の撮影に用いた光学系の点拡がり関数に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出する請求項２７から請求項３３のいずれかに記載の細胞認識装置。
前記特徴量算出部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて設定した所定範囲の領域内に含まれる前記画素値から前記特徴量を算出する請求項２７から請求項３３のいずれかに記載の細胞認識装置。
前記細胞領域形成部が、前記細胞画像中の前記細胞の形態の見かけ上の深さ方向の伸張率に基づいて前記ピーク位置の周辺領域の範囲を設定する請求項２７から請求項３５のいずれかに記載の細胞認識装置。
前記深さ方向の伸張率をユーザに設定させる設定部を備える請求項３６に記載の細胞認識装置。
複数の細胞からなる細胞集塊を撮影した細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出工程と、
前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出して記録するピーク位置記録工程と、
該ピーク位置記録工程により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成工程と、
該細胞領域形成工程により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定工程と、
前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成工程により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定工程とを含み、
前記細胞領域形成工程が、前記近接状態判定工程により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する細胞認識方法。
前記細胞領域形成工程が、輝度分布に基づいて前記ピーク位置近傍の所定の輝度閾値よりも輝度が高い領域に限定して第１細胞領域を形成する第１領域形成工程と、前記輝度分布に基づいて前記ピーク位置近傍に限定せずに前記所定の輝度閾値以下の輝度の領域を含む第２細胞領域を形成する第２領域形成工程と、前記第１領域形成工程により全ての前記ピーク位置に対して形成された個々の前記第１細胞領域を初期領域とするとともに、前記第２領域形成工程により形成された前記第２細胞領域を領域成長範囲の制約として、前記初期領域を領域成長させる領域成長工程とを含む請求項３８に記載の細胞認識方法。
複数の細胞からなる細胞集塊を撮影した細胞画像中の各画素における画素値の極値らしさを表す特徴量を算出する特徴量算出工程と、
前記細胞画像において前記特徴量が所定の特徴量閾値よりも大きい画素位置をピーク位置として検出して記録するピーク位置記録工程と、
該ピーク位置記録工程により記録されている前記ピーク位置ごとに、前記細胞画像における前記ピーク位置の周辺領域に含まれる複数の画素の画素値分布に基づいて細胞領域を形成する細胞領域形成工程と、
該細胞領域形成工程により形成された各前記細胞領域の中心位置をそれぞれ特定する細胞領域位置特定工程と、
前記ピーク位置、前記細胞領域の形態および前記細胞領域の中心位置の少なくとも１つを用いて、前記細胞領域形成工程により現在形成しようとしている前記細胞領域と過去に形成された前記細胞領域との近接状態を判定する近接状態判定工程とをコンピュータに実行させ、
前記細胞領域形成工程が、前記近接状態判定工程により近接していると判定された場合に、現在形成しようとしている前記細胞領域および過去に形成された前記細胞領域の両方またはいずれか一方を修正する細胞認識プログラム。
前記細胞領域形成工程が、輝度分布に基づいて前記ピーク位置近傍の所定の輝度閾値よりも輝度が高い領域に限定して第１細胞領域を形成する第１領域形成工程と、前記輝度分布に基づいて前記ピーク位置近傍に限定せずに前記所定の輝度閾値以下の輝度の領域を含む第２細胞領域を形成する第２領域形成工程と、前記第１領域形成工程により全ての前記ピーク位置に対して形成された個々の前記第１細胞領域を初期領域とするとともに、前記第２領域形成工程により形成された前記第２細胞領域を領域成長範囲の制約として、前記初期領域を領域成長させる領域成長工程とを含む請求項４０に記載の細胞認識プログラム。