[go: up one dir, main page]

WO2020075635A1 - 画像処理装置、画像処理方法、プログラム、及び評価方法 - Google Patents

画像処理装置、画像処理方法、プログラム、及び評価方法 Download PDF

Info

Publication number
WO2020075635A1
WO2020075635A1 PCT/JP2019/039250 JP2019039250W WO2020075635A1 WO 2020075635 A1 WO2020075635 A1 WO 2020075635A1 JP 2019039250 W JP2019039250 W JP 2019039250W WO 2020075635 A1 WO2020075635 A1 WO 2020075635A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
extraction
colony
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/039250
Other languages
English (en)
French (fr)
Inventor
知朗 檀
宏昭 紀伊
魚住 孝之
泰次郎 清田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to EP19871996.5A priority Critical patent/EP3865565A4/en
Priority to JP2020551099A priority patent/JP7351311B2/ja
Priority to CN201980067104.5A priority patent/CN112889086B/zh
Publication of WO2020075635A1 publication Critical patent/WO2020075635A1/ja
Priority to US17/227,967 priority patent/US11953498B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5008Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
    • G01N33/5044Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics involving specific cell types
    • G01N33/5073Stem cells
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Definitions

  • one aspect of the present invention is a colony region extracting unit that extracts a colony region of the pluripotent stem cells from a microscope image by transmitted illumination, and a reference value among pixels that configure the microscope image.
  • a high-brightness region extraction unit that extracts a high-brightness region, which is a region based on a group of pixels having a large brightness value, the colony region extracted by the colony region extraction unit, and the high-brightness region extraction unit Based on the high-brightness region extracted by the extraction target region extraction unit that extracts an extraction target region from the microscope image, and outputs the extraction target region extracted by the extraction target region extraction unit as an extraction result
  • An image processing apparatus including an output unit.
  • transition state As an intermediate state between the immature state and the mature state of the colony.
  • the transitional state is a state in which pluripotent stem cells form colonies but are not sufficiently matured.
  • FIG. 5 is a diagram showing an example of the normal area mask NM according to the present embodiment.
  • the area other than the normal area NR in the phase difference image P1 is masked by the normal area mask NM.
  • Step S240 The dense / muscle mixed area extraction unit 12 adds an image (not shown) obtained by adding the dark spot image P22 generated in step S210 and the normalized image P24 generated in step S230, and a colony mask. Logical AND with CM. The dense / muscle mixed area extraction unit 12 generates a colony mask logical product image P25 as a result of the logical product.
  • FIG. 8 shows the rough mask PM generated as a result of the rough region extraction processing in step S150.
  • FIG. 8 is a diagram showing an example of the rough mask PM generated in the rough region extraction processing according to this embodiment.
  • step S150 the rough area extraction unit 13 replaces the normal area mask NM with the colony mask CM generated by the extraction unit 110 and the dense / muscle mixed area MSM generated by the dense / muscle mixed area extraction unit 12.
  • the rough region PR may be extracted based on
  • the rough area extraction unit 13 extracts the rough area PR based on the colony mask CM instead of the normal area mask NM, the rough area PR is extracted as compared to when the rough area PR is extracted based on the normal area mask NM. Accuracy may be reduced.
  • Step S300 The high brightness area extraction unit 140 performs background normalization processing on the phase difference image P1 acquired by the phase difference image acquisition unit 10.
  • the high-luminance region extraction unit 140 generates the background normalized image P31 as a result of the background normalization processing.
  • step S300 The background normalization process in step S300 may be omitted.
  • step S310 the high-luminance region extraction unit 140 is a region based on a group of pixels having a luminance value larger than the reference value out of the pixels forming the phase difference image P1 A region is extracted from the phase difference image P1.
  • the extraction target area is an area in which a striped pattern appears in the microscope image (transition illumination in this example, the phase difference image P0) by transmission illumination.
  • the image processing device 1 in addition to the rough region PR corresponding to the immature state of the colony and the dense region DR corresponding to the mature state of the colony, the immature state and the mature state
  • the muscle region SR corresponding to the transition state with the above state can be extracted from the microscope image by the transmitted illumination (the phase difference image P0 in this example). Improving the accuracy of the evaluation by evaluating the maturity of the pluripotent stem cell colony based on the muscle region SR, as compared with the case where the evaluation is based on only the rough region PR and the dense region DR. You can
  • the day 4 muscle area ratio SR14 and the day 7 muscle area ratio SR17 can be confirmed.
  • the muscle region ratios are still high on the 4th day and the 7th day, and it is determined that the “culture continues”.
  • the first graph G10 with respect to the normal region NR1 imaged in the phase difference image PT1, it is determined that “cultivation is continued” on the 4th day, but is determined to be “passage” on the 7th day.
  • the area ratio of the dense region DR is 60% or more
  • the colony is in a mature state and is determined as "passage”.
  • the determination result on the 7th day in FIG. 14 is “passage”, whereas the determination result on the 7th day in this embodiment is “continuation of culture”.
  • the accuracy of the evaluation result of the maturity degree of the colony is higher than that in the conventional case.
  • the normal region NR2 imaged in the phase difference image PT2 is determined to be “passage” on the 6th, 7th, and 8th days.
  • the determination results on the 6th and 7th days in FIG. 14 are “passage”, whereas the determination results on the 6th and 7th days in the present embodiment are “continuation of culture”.
  • the accuracy of the evaluation result of the degree of maturity of the colony is higher than in the conventional case.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • “computer-readable recording medium” means a program that dynamically holds a program for a short time, such as a communication line when transmitting the program through a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory inside the computer system that serves as a server or a client in which the program is held for a certain period of time may be included.
  • the above-mentioned program may be for realizing a part of the above-mentioned functions, and may be for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • part or all of the image processing devices 1 and 1a in the above-described embodiments may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the image processing devices 1 and 1a may be individually implemented as a processor, or part or all of the functional blocks may be integrated and implemented as a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an integrated circuit according to the technology may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Zoology (AREA)
  • Wood Science & Technology (AREA)
  • Biochemistry (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Analytical Chemistry (AREA)
  • Cell Biology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Toxicology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Medicinal Chemistry (AREA)
  • Developmental Biology & Embryology (AREA)
  • Food Science & Technology (AREA)
  • Sustainable Development (AREA)
  • Biophysics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

画像処理装置は、透過照明による顕微鏡画像から多能性幹細胞のコロニー領域を抽出するコロニー領域抽出部と、顕微鏡画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を顕微鏡画像から抽出する高輝度領域抽出部と、コロニー領域抽出部によって抽出されたコロニー領域と、高輝度領域抽出部によって抽出された高輝度領域とに基づいて、抽出対象領域を顕微鏡画像から抽出する抽出対象領域抽出部と、抽出対象領域抽出部によって抽出された抽出対象領域を抽出結果として出力する出力部と、を備える。

Description

画像処理装置、画像処理方法、プログラム、及び評価方法
 本発明は、画像処理装置、画像処理方法、プログラム、及び評価方法に関する。
 本願は、2018年10月12日に、日本に出願された特願2018-193814号に基づき優先権を主張し、その内容をここに援用する。
 人工多能性幹細胞(iPS細胞:induced pluripotent stem cell)等のコロニーを形成する細胞は、コロニーが未成熟な状態から、徐々に成熟した状態に変化していく。再生医療等では大量のiPS細胞が求められるため、細胞を増殖させて細胞数を増加させる工程が必要とされる。iPS細胞の数を増やす工程を拡大培養工程という。拡大培養工程では、コロニーの成熟度合に基づいて継代するタイミングの判定を行なう。従来、当該成熟度合は、作業者が目視でコロニー内の細胞の大きさを見て判断を行なっているが、作業者ごとにばらつきが生じることがある。
 継代培養のタイミングに関する作業者ごとのばらつきを抑制するために、拡大培養後に細胞を回収して細胞懸濁液を作り、細胞懸濁液の単位量あたりの細胞数を測定し、その測定結果に基づいて所望の細胞濃度まで希釈し、継代する作業を自動で行う装置が提案されている(特許文献1)。しかし、特許文献1に記載の装置は、細胞を培養容器から剥離させて回収バッグに回収してから細胞数を測定及び調整し、継代培養を行うので、コロニーの成熟が十分であるか否かは判断することができず、仮に不十分であった場合、培養を継続してコロニーを成熟させることはできない。接着培養されているコロニーのまま成熟度を判定できる方法が求められている。
国際公開第2016/013394号公報
 上記問題を解決するために、本発明の一態様は、透過照明による顕微鏡画像から当該多能性幹細胞のコロニー領域を抽出するコロニー領域抽出部と、前記顕微鏡画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記顕微鏡画像から抽出する高輝度領域抽出部と、前記コロニー領域抽出部によって抽出された前記コロニー領域と、前記高輝度領域抽出部によって抽出された前記高輝度領域とに基づいて、抽出対象領域を前記顕微鏡画像から抽出する抽出対象領域抽出部と、前記抽出対象領域抽出部によって抽出された前記抽出対象領域を抽出結果として出力する出力部と、を備える画像処理装置である。
 上記問題を解決するために、本発明の一態様は、透過照明による顕微鏡画像から多能性幹細胞のコロニー領域を抽出するコロニー領域抽出過程と、前記顕微鏡画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記顕微鏡画像から抽出する高輝度領域抽出過程と、前記コロニー領域抽出過程によって抽出された前記コロニー領域と、前記高輝度領域抽出過程によって抽出された前記高輝度領域とに基づいて、抽出対象領域を前記顕微鏡画像から抽出する抽出対象領域抽出過程と、前記抽出対象領域抽出過程によって抽出された前記抽出対象領域を抽出結果として出力する出力過程と、を有する画像処理方法である。
 上記問題を解決するために、本発明の一態様は、コンピュータに、透過照明による顕微鏡画像から多能性幹細胞のコロニー領域を抽出するコロニー領域抽出ステップと、前記顕微鏡画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記顕微鏡画像から抽出する高輝度領域抽出ステップと、前記コロニー領域抽出ステップによって抽出された前記コロニー領域と、前記高輝度領域抽出ステップによって抽出された前記高輝度領域とに基づいて、抽出対象領域を前記顕微鏡画像から抽出する抽出対象領域抽出ステップと、前記抽出対象領域抽出ステップによって抽出された前記抽出対象領域を抽出結果として出力する出力ステップと、を実行させるためのプログラムである。
 上記問題を解決するために、本発明の一態様は、多能性幹細胞のコロニーの成熟度を評価する評価方法であって、前記コロニーの位相差画像を取得する取得過程と、前記位相差画像において、高輝度の画素を含む筋状構造を検出する検出過程と、を含む評価方法である。
 上記問題を解決するために、本発明の一態様は、多能性幹細胞のコロニーの成熟度を評価する評価方法であって、時間を変えて前記コロニーが撮像された複数の位相差画像を取得する取得過程と、前記複数の位相差画像のそれぞれにおいて、高輝度の画素を含む筋状構造を検出し、筋状構造の時間変化を算出する算出過程と、を含む評価方法である。
本発明の第1の実施形態に係る画像処理装置の一例を示す図である。 本発明の第1の実施形態に係る画像処理装置の抽出対象領域の抽出処理の一例を示す図である。 本発明の第1の実施形態に係る位相差画像の一例を示す図である。 本発明の第1の実施形態に係るコロニーマスクの一例を示す図である。 本発明の第1の実施形態に係る正常領域マスクの一例を示す図である。 本発明の第1の実施形態に係る密・筋領域抽出処理の一例を示す図である。 本発明の第1の実施形態に係る密・筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。 本発明の第1の実施形態に係る粗領域抽出処理において生成される粗マスクの一例を示す図である。 本発明の第1の実施形態に係る筋領域抽出処理の一例を示す図である。 本発明の第1の実施形態に係る筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。 本発明の第2の実施形態に係る画像処理装置の構成を示す図である。 本発明の第2の実施形態に係る画像処理装置の培養指標の生成処理の一例を示す図である。 本発明の第2の実施形態に係るコロニー領域に占める粗領域、筋領域、及び密領域の面積割合の一例を示す図である。 従来のコロニー領域に占める粗領域、及び密領域の面積割合の一例を示す図である。 本発明の各実施形態に係る高輝度の画素を含む筋状構造の一例を示す図である。
(第1の実施形態)
 以下、図面を参照しながら本発明の実施形態について詳しく説明する。図1は、本実施形態に係る画像処理装置1の一例を示す図である。画像処理装置1は、多能性幹細胞が撮像された位相差画像P0から、抽出の対象となる領域である抽出対象領域を抽出する。ここで多能性幹細胞とは、内胚葉、中胚葉、外胚葉の三胚葉に属する細胞系列すべてに分化し得る能力を有する幹細胞をいい、例えば、iPS細胞や胚性幹細胞(ES細胞)が挙げられる。
 本実施形態において抽出対象領域とは、位相差画像P0のうち筋状の模様が現れている領域である。ここで当該筋状の模様について説明するために、iPS細胞である多能性幹細胞の培養過程について説明する。
 iPS細胞である多能性幹細胞のコロニーは、培養過程において、未形成状態から未成熟状態を経て、成熟状態へと変化する。
 コロニー未形成状態とは、多能性幹細胞が単一の細胞であり、コロニーを形成していない状態である。コロニー未成熟状態では、コロニーは形成されているが、一細胞あたりの面積が大きく細胞密度は低い。以下、細胞密度が低い領域を粗領域ともいう。
 成熟状態とは、例えば、コロニーが継代に適した状態をいう。成熟状態のコロニーでは、一細胞あたりの面積が小さくなり細胞密度が高くなる。以下、細胞密度が高い領域を密領域ともいう。成熟状態のコロニーでは、中央に密領域が形成され、当該密領域の周囲を取り囲むように粗領域が存在する。
 コロニーの未成熟状態と成熟状態との間の中間の状態として遷移状態がある。遷移状態とは、多能性幹細胞がコロニーを形成しているが十分に成熟していない状態である。
 遷移状態では、コロニーの位相差画像に筋領域がみられる。筋領域とは、位相差画像において細長い筋が複数見られる領域である。コロニーが成熟するにつれて多能性幹細胞同士が密になった結果、それら複数の多能性幹細胞の間隙のコントラストが高くなり、筋状に見えていると考えられる。
 遷移状態においてコロニーは、筋領域と、当該筋領域の周囲を取り囲む密領域と、当該密領域の周囲を取り囲む粗領域とを含む。
 画像処理装置1は、位相差画像取得部10と、コロニー領域抽出部11と、密・筋混合領域抽出部12と、粗領域抽出部13と、筋領域抽出部14と、密領域抽出部15と、出力部16とを備える。
 位相差画像取得部10は、位相差画像供給部2から供給される位相差画像P0を取得する。ここで位相差画像P0とは、透過照明による顕微鏡画像の一例である。位相差画像P0は、多能性幹細胞に照射された照明光の透過光の位相差が明暗差に変換されることによって当該多能性幹細胞が撮像された画像である。位相差画像P0は、例えば、位相差顕微鏡によって得られた多能性幹細胞の拡大像が撮像された画像である。
 透過照明による顕微鏡画像は、位相差画像以外に、例えば、微分干渉像、定量位相差像などであってもよい。
 コロニー領域抽出部11は、位相差画像取得部10によって取得された位相差画像P0から多能性幹細胞のコロニー領域CRを抽出する。ここでコロニー領域抽出部11は、抽出部110と、異常領域抽出部111と、正常領域抽出部112とを備える。
 抽出部110は、位相差画像P0から多能性幹細胞のコロニー領域CRを抽出し、コロニーマスクCMを生成する。コロニーマスクCMとは、位相差画像P0のうちコロニー領域CR以外の領域をマスクするマスク画像である。
 異常領域抽出部111は、抽出部110によって抽出されたコロニー領域CRから異常領域ARを抽出する。異常領域ARとは、コロニー領域CRのうち多能性幹細胞の状態から逸脱した異常な細胞によって形成される領域である。ここで多能性幹細胞の培養においては、多能性の状態を維持したまま培養することが重要であるが、培養の過程で多能性幹細胞の状態から逸脱した異常な細胞が出現してしまうことがある。
 正常領域抽出部112は、抽出部110によって抽出されたコロニー領域CRから、正常領域NRを抽出し正常領域マスクNMを生成する。正常領域NRとは、コロニー領域CRのうち多能性幹細胞の状態を維持した正常な細胞によって形成される領域である。正常領域マスクNMとは、位相差画像P0のうち正常領域NR以外の領域をマスクするマスク画像である。
 密・筋混合領域抽出部12は、位相差画像取得部10によって取得された位相差画像P0と、抽出部110によって生成されたコロニーマスクCMと、正常領域抽出部112によって生成された正常領域マスクNMとに基づいて、密・筋領域MSRを抽出し密・筋マスクMSMを生成する。ここで密・筋領域MSRとは、密領域DRと筋領域SRとを合わせた領域である。密・筋マスクMSMとは、位相差画像P0のうち密・筋領域MSR以外の領域をマスクするマスク画像である。
 粗領域抽出部13は、密・筋混合領域抽出部12によって生成された密・筋マスクMSMと、正常領域抽出部112によって生成された正常領域マスクNMとに基づいて、粗マスクPMを生成する。粗マスクPMとは、位相差画像P0のうち粗領域PR以外の領域をマスクするマスク画像である。
 筋領域抽出部14は、位相差画像取得部10によって取得された位相差画像P0と、密・筋混合領域抽出部12によって生成された密・筋マスクMSMとに基づいて、筋領域SRを抽出し筋マスクSMを生成する。筋マスクSMとは、位相差画像P0のうち筋領域SR以外の領域をマスクするマスク画像である。
 ここで筋領域抽出部14は、高輝度領域抽出部140と、抽出対象領域抽出部141とを備える。
 高輝度領域抽出部140は、位相差画像取得部10によって取得された位相差画像P0から高輝度領域HRを抽出する。ここで高輝度領域HRとは、位相差画像P0を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である。高輝度領域HRには、基準値よりも大きい輝度値の画素の集まりと、当該画素の集まりの周囲とが含まれる。
 抽出対象領域抽出部141は、密・筋混合領域抽出部12によって生成された密・筋マスクMSMに基づいて、高輝度領域抽出部140によって抽出された高輝度領域HRから抽出対象領域を抽出する。
 抽出対象領域とは、一例として、位相差画像P0における筋領域SRである。ここで筋領域SRとは、上述したように位相差画像P0において筋状の模様が現れている領域である。つまり、抽出対象領域とは、位相差画像P0において筋状の模様が現れている領域である。
 密領域抽出部15は、密・筋混合領域抽出部12によって生成された密・筋マスクMSMと、筋領域抽出部14によって生成された筋マスクSMとに基づいて密領域DRを抽出し密マスクDMを生成する。
 出力部16は、処理結果PPを提示部3に出力し、提示部3に処理結果PPを表示させる。処理結果PPとは、例えば、位相差画像P0において、筋領域抽出部14によって抽出された筋領域SRと、密領域抽出部15によって抽出された密領域DRと、粗領域抽出部13によって抽出された粗領域PRとがそれぞれ示された画像である。処理結果PPは、筋領域抽出部14によって抽出された筋領域SRを示す情報、密領域抽出部15によって抽出された密領域DRを示す情報、及び粗領域抽出部13によって抽出された粗領域PRを示す情報であってもよい。
 なお、出力部16は、提示部3以外の出力装置や、記憶装置などに処理結果PPを出力してもよい。
 位相差画像供給部2は、画像処理装置1に位相差画像P0を供給する。
 提示部3は、画像処理装置1から供給される処理結果PPを提示する。提示部3は、例えば、ディスプレイなどの表示装置である。
 図2は、本実施形態に係る画像処理装置1の抽出対象領域の抽出処理の一例を示す図である。
 以下の説明において、一方の画像に他方の画像を加算するとは、一方の画像の画素の輝度に他方の画像の当該画素に対応する画素の輝度を加算した結果の輝度の画素をもつ画像を生成することである。
 また、一方の画像に他方の画像を減算するとは、一方の画像の画素の輝度から他方の画像の当該画素に対応する画素の輝度を減算した結果の輝度の画素をもつ画像を生成することである。
 また、一方の画像と他方の画像の論理積が取られる場合、一方の画像の画素の輝度と、当該画素に対応する他方の画像の画素の輝度との両方がゼロでない場合のみ、論理積が取られた結果得られる画像の画素の輝度はゼロでない値をもつ。
ステップS100:位相差画像取得部10は、位相差画像供給部2から供給される位相差画像P1を取得する。位相差画像P1は、位相差画像P0の一例である。位相差画像取得部10は、取得した位相差画像P1をコロニー領域抽出部11、密・筋混合領域抽出部12、及び筋領域抽出部14に供給する。
 ここで図3を参照し、位相差画像P1について説明する。
 図3は、本実施形態に係る位相差画像P1の一例を示す図である。位相差画像P1は、多能性幹細胞のコロニーが撮像された画像である。
 図2に戻って画像処理装置1の抽出処理の説明を続ける。
ステップS110:コロニー領域抽出部11の抽出部110は、位相差画像取得部10によって取得された位相差画像P1から多能性幹細胞のコロニー領域CRを抽出する。
 ここで抽出部110は、多能性幹細胞のコロニー領域CRを抽出する前に、位相差画像P1から細胞が撮像されている領域である細胞領域を抽出する。抽出部110は、一例として公知のエッジ検出に基づいて、位相差画像P1から細胞領域を抽出する。
 抽出部110は、抽出した細胞領域からコロニー領域CRを抽出する。抽出部110は、例えば、所定の面積より広い細胞領域をコロニー領域CRとして抽出する。抽出部110は、抽出したコロニー領域CRに基づいてコロニーマスクCMを生成する。コロニー領域CRの抽出は、細胞領域の面積に基づいて行う方法に限定されず、公知の様々な方法により行うことができる。
 抽出部110は、生成したコロニーマスクCMを異常領域抽出部111と、正常領域抽出部112とに供給する。また抽出部110は、生成したコロニーマスクCMを密・筋混合領域抽出部12に供給する。
 ここで図4を参照し、コロニーマスクCMについて説明する。
 図4は、本実施形態に係るコロニーマスクCMの一例を示す図である。図4では、コロニーマスクCMよって、位相差画像P1のうちコロニー領域CR以外の領域がマスクされている。
 図2に戻って画像処理装置1の抽出処理の説明を続ける。
ステップS110:異常領域抽出部111は、抽出部110によって抽出されたコロニー領域CRから異常領域ARを抽出する。ここで異常領域抽出部111は、位相差画像取得部10によって取得された位相差画像P1と、抽出部110によって生成されたコロニーマスクCMとに基づいて異常領域ARを抽出する。異常領域抽出部111は、多能性幹細胞以外の異常な細胞を抽出する限りどのような方法で行ってもよいが、例えば、周囲のハロの有無に基づいてコロニー領域CRから異常領域ARを抽出することができる。
 ハロとは、位相差画像のうち、一方の領域と他方の領域との位相差が大きく、結果一方の領域と他方の領域との境界において周囲よりも輝度が高くなっている部分である。正常な多能性幹細胞のコロニーは、周囲にハロが多く見られ、異常細胞のコロニーは、周囲にハロがあまり見られない。
 したがって、正常領域NRは、コロニー領域CRのうち位相差が所定の値以上である部分を周囲に有する領域とすることができる。異常領域ARは、コロニー領域CRのうち位相差が所定の値以上である部分を周囲に有さない領域とすることができる。
 異常領域抽出部111は、コロニー領域CRのうち周囲にハロを有さない部分領域を異常領域ARとして抽出する。異常領域抽出部111は、抽出した異常領域ARを示す情報を正常領域抽出部112に供給する。
ステップS130:正常領域抽出部112は、抽出部110によって抽出されたコロニー領域CRから、正常領域NRを抽出し正常領域マスクNMを生成する。
 ここで正常領域抽出部112は、抽出部110によって生成されたコロニーマスクCMと、異常領域抽出部111によって抽出された異常領域ARを示す情報とに基づいて、抽出部110によって抽出されたコロニー領域CRから異常領域ARを除外する。正常領域抽出部112は、コロニーマスクCMから異常領域ARを除外して残った領域を正常領域NRとして抽出する。
 本実施形態においては、正常領域抽出部112は、コロニー領域抽出部11に備えられる。別の実施形態として、コロニー領域抽出部11は、異常領域ARを抽出する工程を行わずに、コロニー領域CRのうち位相差が所定の値以上である部分を周囲に有する領域を正常領域NRとして直接抽出してもよい。
 正常領域抽出部112は、正常領域NRを抽出した結果、正常領域マスクNMを生成する。正常領域抽出部112は、生成した正常領域マスクNMを、密・筋混合領域抽出部12及び粗領域抽出部13に供給する。
 ここで図5を参照し、正常領域マスクNMについて説明する。
 図5は、本実施形態に係る正常領域マスクNMの一例を示す図である。図5では、正常領域マスクNMによって、位相差画像P1のうち正常領域NR以外の領域がマスクされている。
 図2に戻って画像処理装置1の抽出処理の説明を続ける。
ステップS140:密・筋混合領域抽出部12は、位相差画像取得部10によって取得された位相差画像P1と、抽出部110によって生成されたコロニーマスクCMと、正常領域抽出部112によって生成された正常領域マスクNMとに基づいて、密・筋領域MSRを抽出する。
 ここで図6及び図7を参照し、密・筋混合領域抽出部12が密・筋領域MSRを抽出する処理である密・筋領域抽出処理について説明する。
 図6は、本実施形態に係る密・筋領域抽出処理の一例を示す図である。図6に示す密・筋領域抽出処理は、図2に示したステップS140に対応する。
 図7は、本実施形態に係る密・筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。
ステップS200:密・筋混合領域抽出部12は、位相差画像取得部10によって取得された位相差画像P1からダークスポットを除去する。密・筋混合領域抽出部12は、位相差画像P1からダークスポットを除去した結果、ダークスポット除去画像P21を生成する。ここでダークスポットとは、位相差画像P1のうち画素の輝度が所定の値より低い領域である。ダークスポットは、主に多能性幹細胞の核に対応する。
ステップS210:密・筋混合領域抽出部12は、位相差画像P1の各画素の輝度から、ステップS200において生成したダークスポット除去画像P21の各画素の輝度を減算し、正規化する。ここで位相差画像P1の各画素の輝度からダークスポット除去画像P21の各画素の輝度が減算されると、ダークスポットが残る。密・筋混合領域抽出部12は、残ったダークスポットの輝度を正規化することによりダークスポット画像P22を生成する。
ステップS220:密・筋混合領域抽出部12は、位相差画像取得部10によって取得された位相差画像P1にトップハット処理を行う。密・筋混合領域抽出部12は、位相差画像P1にトップハット処理を行った結果、トップハット処理画像P23を生成する。
 ここでトップハット処理とは、位相差画像P1のうち画素の輝度が相対的に高い領域を抽出する処理である。トップハット処理によって、位相差画像P1に撮像された多能性幹細胞の核の周囲の領域のうち密度の高い領域、及び筋領域SRが抽出される。
ステップS230:密・筋混合領域抽出部12は、ステップS220において生成したトップハット処理画像P23の各画素の輝度を正規化する。密・筋混合領域抽出部12は、正規化の結果、正規化画像P24を生成する。
ステップS240:密・筋混合領域抽出部12は、ステップS210において生成したダークスポット画像P22と、ステップS230において生成した正規化画像P24とを加算して得られる加算画像(不図示)と、コロニーマスクCMとの論理積を取る。密・筋混合領域抽出部12は、論理積を取った結果、コロニーマスク論理積画像P25を生成する。
 コロニーマスク論理積画像P25は、位相差画像P1から粗領域PRが除外された結果に対応する。粗領域PRは、密領域DRや筋領域SRに比べて輝度が低い。
 なお、密・筋混合領域抽出部12は、コロニーマスクCMに代えて、加算画像と、正常領域マスクNMとの論理積を取ってもよい。
ステップS250:密・筋混合領域抽出部12は、ステップS240において生成したコロニーマスク論理積画像P25に基づいてマスクP26を生成する。ここで密・筋混合領域抽出部12は、コロニーマスク論理積画像P25に対して公知の画像処理を行うことによりマスクP26を生成する。
 公知の画像処理とは、例えば、クロージング、オープニング、穴埋め、及びオブジェクト除去等である。公知の画像処理によって、コロニーマスク論理積画像P25において、例えば、筋領域SRの筋状の模様や密領域DRの細胞の隙間が埋められる。
ステップS260:密・筋混合領域抽出部12は、正常領域マスクNMと、ステップS250において生成したマスクP26との論理積を取る。密・筋混合領域抽出部12は、論理積を取った結果、密・筋マスクMSMを生成する。密・筋混合領域抽出部12は、生成した密・筋マスクMSMを粗領域抽出部13、筋領域抽出部14、及び密領域抽出部15に供給する。
 図2に戻って画像処理装置1の抽出処理の説明を続ける。
ステップS150:粗領域抽出部13は、密・筋混合領域抽出部12によって生成された密・筋マスクMSMと、正常領域抽出部112によって生成された正常領域マスクNMとに基づいて粗領域PRを抽出する。ここで粗領域抽出部13は、正常領域マスクNMから密・筋マスクMSMを減算することによって粗領域PRを抽出する。
 粗領域抽出部13は、粗領域PRを抽出した結果、粗マスクPMを生成する。粗領域抽出部13は、生成した粗マスクPMを出力部16に供給する。
 ここで図8にステップS150の粗領域抽出処理の結果生成される粗マスクPMを示す。
 図8は、本実施形態に係る粗領域抽出処理において生成される粗マスクPMの一例を示す図である。
 なお、ステップS150において粗領域抽出部13は、正常領域マスクNMに代えて、抽出部110によって生成されたコロニーマスクCMと、密・筋混合領域抽出部12によって生成された密・筋マスクMSMとに基づいて粗領域PRを抽出してもよい。粗領域抽出部13が正常領域マスクNMに代えてコロニーマスクCMに基づいて粗領域PRを抽出する場合、正常領域マスクNMに基づいて粗領域PRを抽出する場合に比べて、粗領域PRの抽出精度は下がる場合がある。
 図2に戻って画像処理装置1の抽出処理の説明を続ける。
ステップS160:筋領域抽出部14は、位相差画像取得部10によって取得された位相差画像P0と、密・筋混合領域抽出部12によって生成された密・筋マスクMSMとに基づいて、筋領域SRを抽出する。
 ここで図9及び図10を参照し、筋領域抽出部14が筋領域SRを抽出する処理である筋領域抽出処理について説明する。
 図9は、本実施形態に係る筋領域抽出処理の一例を示す図である。図9に示す筋領域抽出処理は、図2に示したステップS160に対応する。
 図10は、本実施形態に係る筋領域抽出処理に含まれる各処理において生成される画像の一例を示す図である。なお、図10には、図2のステップS170において生成される画像の一例も含まれる。
ステップS300:高輝度領域抽出部140は、位相差画像取得部10によって取得された位相差画像P1に対してバックグラウンド正規化の処理を行う。高輝度領域抽出部140は、バックグラウンド正規化の処理の結果、バックグラウンド正規化画像P31を生成する。
 ここでバックグラウンド正規化とは、位相差画像P1の各画素の輝度が所定の範囲に収まるように正規化する処理である。バックグラウンド正規化によって、位相差画像P1における筋領域SRが強調される。
ステップS310:高輝度領域抽出部140は、ステップS300において生成したバックグラウンド正規化画像P31から、高輝度領域HRを抽出する。高輝度領域抽出部140は、抽出した結果、高輝度画像P32を生成する。ここでバックグラウンド正規化画像P31における高輝度領域HRは、位相差画像P1における筋領域SRに対応する。
 高輝度領域抽出部140は、生成した高輝度画像P32を抽出対象領域抽出部141に供給する。
 なおステップS300におけるバックグラウンド正規化の処理は省略されてもよい。ステップS300の処理が省略される場合、ステップS310において、高輝度領域抽出部140は、位相差画像P1を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を位相差画像P1から抽出する。
ステップS320:抽出対象領域抽出部141は、密・筋混合領域抽出部12によって生成された密・筋マスクMSMと、高輝度領域抽出部140によって生成された高輝度画像P32との論理積を取る。抽出対象領域抽出部141は、論理積を取った結果、密・筋マスク論理積画像P33を生成する。
 ここで密・筋マスク論理積画像P33は、抽出対象領域である筋領域SRが位相差画像P1から抽出された結果に対応する。つまり、抽出対象領域抽出部141は、位相差画像P1から抽出対象領域を抽出する。
 抽出対象領域抽出部141が抽出対象領域の抽出に用いた密・筋マスクMSMは、上述したステップS140において正常領域マスクNMに基づいて生成された画像である。さらに正常領域マスクNMは、上述したステップS130においてコロニーマスクCMから生成された画像である。
 したがって、抽出対象領域抽出部141は、コロニー領域抽出部11によって抽出されたコロニー領域CRと、高輝度領域抽出部140によって抽出された高輝度領域HRとに基づいて、抽出対象領域を位相差画像P1から抽出する。
ステップS330:抽出対象領域抽出部141は、ステップS320において生成した密・筋マスク論理積画像P33に基づいて筋マスクSMを生成する。ここで抽出対象領域抽出部141は、密・筋マスク論理積画像P33に対して上述した公知の画像処理を行うことにより筋マスクSMを生成する。
 抽出対象領域抽出部141は、生成した筋マスクSMを、密領域抽出部15及び出力部16に供給する。
 図2に戻って画像処理装置1の抽出処理の説明を続ける。
ステップS170:密領域抽出部15は、密・筋混合領域抽出部12によって生成された密・筋マスクMSMから、筋領域抽出部14によって生成された筋マスクSMを減算することによって密領域DRを抽出する。密領域抽出部15は、密領域DRを抽出した結果、密マスクDMを生成する。密領域抽出部15は、生成した密マスクDMを出力部16に供給する。
 ここで密マスクDMの一例は、図10に示されている。
ステップS180:出力部16は、処理結果PP1を提示部3に供給し出力させる。処理結果PP1は、処理結果PPの一例であり、位相差画像取得部10によって取得された位相差画像P1において、筋領域抽出部14によって抽出された筋領域SRと、密領域抽出部15によって抽出された密領域DRと、粗領域抽出部13によって抽出された粗領域PRとがそれぞれ示された画像である。ここで筋領域SRは、筋マスクSMによって示される。密領域DRは、密マスクDMによって示される。粗領域PRは、粗マスクPMによって示される。
 ここで筋領域SRとは、抽出対象領域抽出部141によって抽出された抽出対象領域である。つまり、出力部16は、抽出対象領域抽出部141によって抽出された抽出対象領域を抽出結果として出力する。
 以上に説明したように、本実施形態に係る画像処理装置1は、コロニー領域抽出部11と、高輝度領域抽出部140と、抽出対象領域抽出部141とを備える。
 コロニー領域抽出部11は、透過照明による顕微鏡画像(この一例において、位相差画像P0)から多能性幹細胞のコロニー領域CRを抽出する。
 高輝度領域抽出部140は、透過照明による顕微鏡画像(この一例において、位相差画像P0)を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域HRを位相差画像P0から抽出する。
 抽出対象領域抽出部141は、コロニー領域抽出部11によって抽出されたコロニー領域CRと、高輝度領域抽出部140によって抽出された高輝度領域HRとに基づいて、抽出対象領域(この一例において、筋領域SR)を透過照明による顕微鏡画像(この一例において、位相差画像P0)から抽出する。
 この構成により、本実施形態に係る画像処理装置1では、抽出対象領域(この一例において、筋領域SR)を透過照明による顕微鏡画像(この一例において、位相差画像P0)から抽出できるため、多能性幹細胞のコロニーの成熟度合の評価結果の精度を、抽出対象領域(この一例において、筋領域SR)を考慮しない場合に比べて向上させることができる。
 ここで抽出対象領域(この一例において、筋領域SR)とは、透過照明による顕微鏡画像(この一例において、位相差画像P0)に含まれるコロニー領域CRのうち高輝度領域HRである領域である。
 また、本実施形態に係る画像処理装置1では、コロニー領域抽出部11は、コロニー領域CRのうち位相差が所定の値以上である部分を周囲に有する領域を正常領域NRとして抽出する。
 この構成により、本実施形態に係る画像処理装置1では、異常領域ARを除外して抽出対象領域(この一例において、筋領域SR)を抽出できるため、異常領域ARを除外しない場合に比べて、多能性幹細胞のコロニーの成熟度合の評価結果の精度を向上させることができる。
 また、本実施形態に係る画像処理装置1では、抽出対象領域とは、透過照明による顕微鏡画像(この一例において、位相差画像P0)において筋状の模様が現れている領域である。
 この構成により、本実施形態に係る画像処理装置1では、コロニーが未成熟な状態に対応する粗領域PRと、コロニーが成熟した状態に対応する密領域DRとに加え、未成熟な状態と成熟した状態との遷移状態に対応する筋領域SRを透過照明による顕微鏡画像(この一例において、位相差画像P0)から抽出できる。筋領域SRに基づいて多能性幹細胞のコロニーの成熟度合の評価をした方が、粗領域PRと密領域DRとのみに基づいて評価をする場合に比べて、当該評価の精度を向上させることができる。
 上述した第1の実施形態では、例えば「コロニーマスクCM」は、位相差画像P0のうちコロニー領域CR以外の領域をマスクするマスク画像とし、「正常領域マスクNM」は、位相差画像P0のうち正常領域NR以外の領域をマスクするマスク画像としたが、「コロニーマスクCM」を、コロニー領域CRのみをマスクするマスク画像とし、「正常領域マスクNM」を、正常領域NRのみをマスクするマスク画像としてもよい。
(第2の実施形態)
 以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
 上記第1の実施形態では、画像処理装置は、位相差画像から筋領域を抽出する場合について説明をした。本実施形態では、位相差画像がタイムラプス画像であり、画像処理装置が、筋領域の面積の時間変化に基づいて培養についての指標を提示する場合について説明をする。
 本実施形態に係る画像処理装置を画像処理装置1aという。本実施形態に係る位相差画像PTは、時間を変えて多能性幹細胞が撮像された複数の画像である。
 図11は、本実施形態に係る画像処理装置1aの構成を示す図である。本実施形態に係る画像処理装置1a(図11)と第1の実施形態に係る画像処理装置1(図1)とを比較すると、出力部16a、時間変化算出部17a、培養指標生成部18a、及び分析部19aが異なる。ここで、他の構成要素(位相差画像取得部10、コロニー領域抽出部11、密・筋混合領域抽出部12、粗領域抽出部13、筋領域抽出部14、及び密領域抽出部15)が持つ機能は第1の実施形態と同じである。第1の実施形態と同じ機能の説明は省略し、第2の実施形態では、第1の実施形態と異なる部分を中心に説明する。
 時間変化算出部17aは、コロニー領域において粗領域PR、筋領域SR、及び密領域DRの面積が占める割合の時間変化を算出する。本実施形態では、正常領域NRをコロニー領域の一例とする。ここで位相差画像PTには正常領域NRが1つ以上含まれる。
 培養指標生成部18aは、時間変化算出部17aによって算出された時間変化に基づいて培養についての指標を、正常領域NR毎に生成する。以下、培養についての指標を培養指標CIという。培養指標CIは、例えば、“継代”、“培養継続”、及び“廃棄”を示す。
 分析部19aは、培養指標生成部18aによって生成された培養指標CIに基づいて、位相差画像PTに含まれる正常領域NRを分析する。
 出力部16aは、分析部19aによる分析結果Aを提示部3に出力し、提示部3に分析結果Aを表示させる。
 図12は、本実施形態に係る画像処理装置1aの培養指標CIの生成処理の一例を示す図である。画像処理装置1aは、培養指標CIの生成処理(図12)を、第1実施形態の抽出処理(図2)が完了した後に実行する。
ステップS400:時間変化算出部17aは、正常領域NR毎に、正常領域NRにおける粗領域PR、筋領域SR、及び密領域DRのそれぞれの面積が占める割合を算出する。なお、時間変化算出部17aは、粗領域PR、筋領域SR、及び密領域DRの面積をそれぞれ算出してもよい。
ステップS410:時間変化算出部17aは、位相差画像PT0における粗領域PR、筋領域SR、及び密領域DRの上記面積割合の時間変化をそれぞれ、正常領域NR毎に算出する。時間変化算出部17aは、粗領域PR、筋領域SR、及び密領域DRの面積の時間変化をそれぞれ算出してもよい。
 ここで正常領域NRは、コロニー領域抽出部11の抽出部110によって抽出される。また、筋領域SRは、抽出対象領域抽出部141によって抽出された抽出対象領域である。
 つまり、時間変化算出部17aは、コロニー領域(正常領域NR)における抽出対象領域が占める面積の時間変化を算出する。
ステップS420:培養指標生成部18aは、ステップS410において算出された時間変化に基づいて培養指標CIを正常領域NR毎に生成する。
 つまり、培養指標生成部18aは、時間変化算出部17aによって算出された時間変化に基づいて培養についての指標を生成する。
 本発明者らは、多能性幹細胞のコロニーを未成熟状態から成熟状態まで培養すると、正常領域NR全体の面積に占める筋領域SRの面積の割合が、一旦増加し減少し、最終的には筋領域SRがほとんどなくなることを見出した。
 したがって、培養指標生成部18aは、例えば、筋領域SRの面積割合が所定の値より高い場合、“培養継続”を示す培養指標CIを生成してもよい。筋領域SRの面積割合が所定の値より高い場合、遷移状態であると考えられるため継代を行わず培養を継続することが好ましい。
 また、例えば、筋領域SRの面積割合が増加した後に減少に転じ、且つ所定の値より低くなった場合、培養指標生成部18aは、“継代”を示す培養指標CIを生成してもよい。このようなコロニーは、十分に成熟していると評価され、継代に供することが可能である。
 培養指標生成部18aは、例えば、筋領域SRの面積割合が所定の値以下であり、密領域DRの面積割合が粗領域PRの面積割合よりも高い場合、”継代”を示す培養指標CIを生成する。筋領域SRの面積割合が所定の値以下であり、密領域DRの面積割合が粗領域PRの面積割合よりも高いコロニーは、成熟状態であると考えられるため継代を行うことが好ましい。一方、コロニーから筋領域SRが抽出できなかった場合、コロニーが正常に成熟していないと考えられるため、培養指標生成部18aは、“廃棄”を示す培養指標CIを生成してもよい。
 ステップS430:分析部19aは、培養指標生成部18aによって生成された培養指標CIに基づいて、位相差画像PTに含まれる正常領域NRのそれぞれを分析する。分析部19aは、分析結果Aを出力部16に供給する。
 分析部19aは、例えば、培養指標CIが”継代”を示す正常領域NRを、継代が可能なコロニーとして抽出する。
 分析部19aは、例えば、位相差画像PTにおいて培養指標CIが“培養継続”を示す正常領域NRの割合が所定の割合以上である場合、位相差画像PTに撮像された多能性幹細胞が培養される容器について、“培養継続”と判定する。
 分析部19aは、例えば、位相差画像PTにおいて培養指標CIが廃棄を示す正常領域NRの割合が所定の割合以上である場合、位相差画像PTに撮像された多能性幹細胞が培養される容器について、“廃棄”と判定する。
ステップS440:出力部16aは、分析部19aによる分析結果Aを提示部3に供給し出力させる。出力部16aは、分析結果Aに基づいて、位相差画像PTのうちのある撮像時間に対応する1枚の画像において、継代が可能なコロニーを提示部3に提示させる。また、出力部16aは、分析結果Aに基づいて、位相差画像PTに撮像された多能性幹細胞が培養される容器について、“培養継続”、“破棄”などのメッセージを提示部3に提示させる。
 ここで図13を参照し、正常領域NRに占める粗領域PR、筋領域SR、及び密領域DRの面積割合の例について説明する。
 図13は、本実施形態に係る正常領域NRに占める粗領域PR、筋領域SR、及び密領域DRの面積割合の一例を示す図である。第1グラフG1は、ある時期に撮像された位相差画像PT1に含まれるある正常領域NR1について、正常領域NR1に占める粗領域PR、筋領域SR、及び密領域DRの面積割合の時間変化の一例を示す。第2グラフG2は、ある時期に撮像された位相差画像PT2に含まれるある正常領域NR2について、正常領域NR2に占める粗領域PR、筋領域SR、及び密領域DRの面積割合の時間変化の一例を示す。
 第1グラフG1では、4日目筋領域割合SR14と、7日目筋領域割合SR17とが確認できる。第1グラフG1では、位相差画像PT1に撮像された正常領域NR1について、4日目及び7日目それぞれ筋領域割合がまだ高く、“培養継続”と判定される。
 第2グラフG2では、4日目筋領域割合SR24と、5日目筋領域割合SR25と、6日目筋領域割合SR26とは、この順に大きくなり、7日目筋領域割合SR27は6日目筋領域割合SR26に比べて小さくなっていることが確認できる。8日目では、正常領域NR2のうち筋領域SRの割合はほぼゼロである。
 第2グラフG2では、位相差画像PT2に撮像された正常領域NR2について、例えば、6日目及び7日目それぞれ“培養継続”と判定され、8日目について”継代”と判定される。
 ここで本実施形態との比較のために、粗領域PRと密領域DRのみに基づいて正常領域NRを分析する場合について説明する。
 図14は、正常領域NRに占める粗領域PR、及び密領域DRの面積割合の一例を示す図である。筋領域は密領域DRの一部として含まれており、筋領域自体の面積割合は求められていない。第1グラフG10は、図13の第1グラフG1と同じ位相差画像PT1に含まれるある正常領域NR1について、正常領域NR1に占める粗領域PR、及び密領域DRの面積割合の時間変化の一例を示す。第2グラフG20は、図13の第2グラフG2と同じ位相差画像PT2に含まれるある正常領域NR2について、正常領域NR2に占める粗領域PR、及び密領域DRの面積割合の時間変化の一例を示す。
 第1グラフG10では、位相差画像PT1に撮像された正常領域NR1について、4日目は“培養継続”と判定されるが、7日目は”継代”と判定される。例えば、密領域DRの面積割合が60パーセント以上である場合、コロニーは成熟状態であり”継代”と判定される。
 図14の7日目の判定結果は”継代”であるのに対し、本実施形態の7日目の判定結果は“培養継続”である。本実施形態では、筋領域SR1の面積割合が評価されているため、従来に比べてコロニーの成熟度合の評価結果の精度が高い。
 第2グラフG20では、位相差画像PT2に撮像された正常領域NR2について、6日目、7日目、及び8日目について”継代”と判定される。
 図14の6日目、7日目の判定結果は”継代”であるのに対し、本実施形態の6日目、7日目の判定結果は“培養継続”である。本実施形態では、筋領域SR2の面積割合が評価されているため、従来に比べてコロニーの成熟度合の評価結果の精度が高い。
 以上に説明したように、本実施形態に係る画像処理装置1aでは、顕微鏡画像(この一例において、位相差画像PT)は、時間を変えて多能性幹細胞が撮像された複数の画像であり、本実施形態に係る画像処理装置1aは、時間変化算出部17aと、培養指標生成部18aとを備える。
 時間変化算出部17aは、コロニー領域(この一例において、正常領域NR)における抽出対象領域(この一例において、筋領域SR)が占める面積の時間変化を算出する。
 培養指標生成部18aは、時間変化算出部17aによって算出された時間変化に基づいて培養についての指標(この一例において、培養指標CI)を生成する。
 この構成により、本実施形態に係る画像処理装置1aでは、抽出対象領域(この一例において、筋領域SR)のコロニー領域(この一例において、正常領域NR)のうちに占める面積の撮像時間についての時間変化に基づいて培養についての指標(この一例において、培養指標CI)を生成できるため、抽出対象領域(この一例において、筋領域SR)のコロニー領域(この一例において、正常領域NR)のうちに占める面積の撮像時間についての時間変化に基づかない場合に比べてコロニーの成熟度合の評価結果の精度を向上させることができる。
 なお、上述した各実施形態では、画像処理装置1が抽出対象領域として筋状の模様が現れている領域を抽出する場合について説明したが、画像処理装置1は高輝度の画素を含む筋状構造を検出又は測定してもよい。
 ここで図15を参照し、高輝度の画素を含む筋状構造について説明する。
 図15は、各実施形態に係る高輝度の画素を含む筋状構造SSの一例を示す図である。位相差画像取得部10は、多能性幹細胞のコロニーの位相差画像P2を取得する。筋領域抽出部14は、位相差画像取得部10によって取得された位相差画像P2において、高輝度の画素を含む筋状構造SSを検出又は測定する。
 画像処理装置1は、検出又は測定した筋状構造SSに基づいて、多能性幹細胞のコロニーの成熟度を評価する。画像処理装置1は、例えば、筋状構造SSを検出又は測定した場合に、多能性幹細胞のコロニーの成熟度として遷移状態にあると判定する。
 つまり、多能性幹細胞のコロニーの成熟度を評価する評価方法は、コロニーの位相差画像P2を取得する取得過程と、位相差画像P2において、高輝度の画素を含む筋状構造SSを検出する検出過程とを含む。
 また、画像処理装置1は、高輝度の画素を含む筋状構造SSを検出し、筋状構造SSの時間変化を算出してもよい。
 位相差画像取得部10は、複数の位相差画像PT20を取得する。ここで複数の位相差画像PT20は、時間を変えて多能性幹細胞のコロニーが撮像された位相差画像である。筋領域抽出部14は、位相差画像取得部10によって取得された複数の位相差画像PT20のそれぞれにおいて、筋状構造SSを検出する。時間変化算出部17aは、筋領域抽出部14によって検出された筋状構造SSの時間変化を算出する。
 画像処理装置1は、算出した筋状構造SSの時間変化に基づいて、多能性幹細胞のコロニーの成熟度を評価する。
 つまり、多能性幹細胞のコロニーの成熟度を評価する評価方法は、時間を変えてコロニーが撮像された複数の位相差画像PT20を取得する取得過程と、複数の位相差画像PT20のそれぞれにおいて、高輝度の画素を含む筋状構造SSを検出し、筋状構造SSの時間変化を算出する算出過程と、を含む。
 なお、上述した実施形態における画像処理装置1、1aの一部、例えば、位相差画像取得部10、コロニー領域抽出部11、密・筋混合領域抽出部12、粗領域抽出部13、筋領域抽出部14、密領域抽出部15、出力部16、時間変化算出部17a、培養指標生成部18a、及び分析部19aをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像処理装置1、1aに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
 また、上述した実施形態における画像処理装置1、1aの一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。画像処理装置1、1aの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
 以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1、1a…画像処理装置、10…位相差画像取得部、11…コロニー領域抽出部、110…抽出部、111…異常領域抽出部、112…正常領域抽出部、12…密・筋混合領域抽出部、13…粗領域抽出部、14…筋領域抽出部、140…高輝度領域抽出部、141…抽出対象領域抽出部、15…密領域抽出部、16、16a…出力部、17a…時間変化算出部、18a…培養指標生成部、19a分析部、2…位相差画像供給部、3…提示部

Claims (8)

  1.  透過照明による顕微鏡画像から多能性幹細胞のコロニー領域を抽出するコロニー領域抽出部と、
     前記顕微鏡画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記顕微鏡画像から抽出する高輝度領域抽出部と、
     前記コロニー領域抽出部によって抽出された前記コロニー領域と、前記高輝度領域抽出部によって抽出された前記高輝度領域とに基づいて、抽出対象領域を前記顕微鏡画像から抽出する抽出対象領域抽出部と、
     前記抽出対象領域抽出部によって抽出された前記抽出対象領域を抽出結果として出力する出力部と、
     を備える画像処理装置。
  2.  前記コロニー領域抽出部は、前記コロニー領域のうち境界の輝度が所定の値以上である部分を周囲に有する領域を正常領域として抽出する
     請求項1に記載の画像処理装置。
  3.  前記抽出対象領域とは、前記顕微鏡画像において筋状の模様が現れている領域である
     請求項1または請求項2に記載の画像処理装置。
  4.  前記顕微鏡画像は、時間を変えて前記多能性幹細胞が撮像された複数の画像であり、
     前記コロニー領域における前記抽出対象領域が占める面積の時間変化を算出する時間変化算出部と、
     前記時間変化算出部によって算出された前記時間変化に基づいて培養についての指標を生成する培養指標生成部と、
     をさらに備える請求項1から請求項3のいずれか一項に記載の画像処理装置。
  5.  透過照明による顕微鏡画像から多能性幹細胞のコロニー領域を抽出するコロニー領域抽出過程と、
     前記顕微鏡画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記顕微鏡画像から抽出する高輝度領域抽出過程と、
     前記コロニー領域抽出過程によって抽出された前記コロニー領域と、前記高輝度領域抽出過程によって抽出された前記高輝度領域とに基づいて、抽出対象領域を前記顕微鏡画像から抽出する抽出対象領域抽出過程と、
     前記抽出対象領域抽出過程によって抽出された前記抽出対象領域を抽出結果として出力する出力過程と、
     を有する画像処理方法。
  6.  コンピュータに、
     透過照明による顕微鏡画像から多能性幹細胞のコロニー領域を抽出するコロニー領域抽出ステップと、
     前記顕微鏡画像を構成する画素のうち基準値よりも大きい輝度値の画素の集まりに基づく領域である高輝度領域を前記顕微鏡画像から抽出する高輝度領域抽出ステップと、
     前記コロニー領域抽出ステップによって抽出された前記コロニー領域と、前記高輝度領域抽出ステップによって抽出された前記高輝度領域とに基づいて、抽出対象領域を前記顕微鏡画像から抽出する抽出対象領域抽出ステップと、
     前記抽出対象領域抽出ステップによって抽出された前記抽出対象領域を抽出結果として出力する出力ステップと、
     を実行させるためのプログラム。
  7.  多能性幹細胞のコロニーの成熟度を評価する評価方法であって、
     前記コロニーの位相差画像を取得する取得過程と、
     前記位相差画像において、高輝度の画素を含む筋状構造を検出する検出過程と、
    を含む評価方法。
  8.  多能性幹細胞のコロニーの成熟度を評価する評価方法であって、
     時間を変えて前記コロニーが撮像された複数の位相差画像を取得する取得過程と、
     前記複数の位相差画像のそれぞれにおいて、高輝度の画素を含む筋状構造を検出し、筋状構造の時間変化を算出する算出過程と、
    を含む評価方法。
PCT/JP2019/039250 2018-10-12 2019-10-04 画像処理装置、画像処理方法、プログラム、及び評価方法 Ceased WO2020075635A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19871996.5A EP3865565A4 (en) 2018-10-12 2019-10-04 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND EVALUATION DEVICE
JP2020551099A JP7351311B2 (ja) 2018-10-12 2019-10-04 画像処理装置、画像処理方法、プログラム、及び評価方法
CN201980067104.5A CN112889086B (zh) 2018-10-12 2019-10-04 图像处理方法及图像处理装置
US17/227,967 US11953498B2 (en) 2018-10-12 2021-04-12 Image processing device, image processing method, program, and evaluation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018193814 2018-10-12
JP2018-193814 2018-10-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/227,967 Continuation US11953498B2 (en) 2018-10-12 2021-04-12 Image processing device, image processing method, program, and evaluation method

Publications (1)

Publication Number Publication Date
WO2020075635A1 true WO2020075635A1 (ja) 2020-04-16

Family

ID=70164557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039250 Ceased WO2020075635A1 (ja) 2018-10-12 2019-10-04 画像処理装置、画像処理方法、プログラム、及び評価方法

Country Status (5)

Country Link
US (1) US11953498B2 (ja)
EP (1) EP3865565A4 (ja)
JP (1) JP7351311B2 (ja)
CN (1) CN112889086B (ja)
WO (1) WO2020075635A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
WO2011043077A1 (ja) * 2009-10-09 2011-04-14 川崎重工業株式会社 未分化多能性幹細胞の識別方法及び装置並びに自動培養方法及び装置
WO2015193951A1 (ja) * 2014-06-16 2015-12-23 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
WO2016013394A1 (ja) 2014-07-22 2016-01-28 株式会社日立ハイテクノロジーズ 細胞数濃度調整装置およびそれを用いた自動継代培養システム
JP2018193814A (ja) 2017-05-19 2018-12-06 株式会社技研製作所 鋼管矢板の施工方法および改良方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
WO2012115153A1 (ja) * 2011-02-25 2012-08-30 株式会社ニコン 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム
JP5333570B2 (ja) * 2011-12-21 2013-11-06 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6066492B2 (ja) * 2013-08-22 2017-01-25 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
JP6312123B2 (ja) * 2013-11-19 2018-04-18 国立大学法人京都大学 細胞判定方法、細胞判定装置及び細胞判定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011010449A1 (ja) * 2009-07-21 2011-01-27 国立大学法人京都大学 画像処理装置、培養観察装置、及び画像処理方法
WO2011043077A1 (ja) * 2009-10-09 2011-04-14 川崎重工業株式会社 未分化多能性幹細胞の識別方法及び装置並びに自動培養方法及び装置
WO2015193951A1 (ja) * 2014-06-16 2015-12-23 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
WO2016013394A1 (ja) 2014-07-22 2016-01-28 株式会社日立ハイテクノロジーズ 細胞数濃度調整装置およびそれを用いた自動継代培養システム
JP2018193814A (ja) 2017-05-19 2018-12-06 株式会社技研製作所 鋼管矢板の施工方法および改良方法

Also Published As

Publication number Publication date
JP7351311B2 (ja) 2023-09-27
CN112889086A (zh) 2021-06-01
CN112889086B (zh) 2024-06-25
JPWO2020075635A1 (ja) 2021-10-14
EP3865565A1 (en) 2021-08-18
US20210301246A1 (en) 2021-09-30
EP3865565A4 (en) 2022-07-20
US11953498B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
TW202046242A (zh) 訓練生成對抗網路的方法、產生影像的方法及電腦可讀儲存媒體
JP5941674B2 (ja) 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム
TWI431549B (zh) Image processing apparatus and method and computer program product
WO2006063268B1 (en) Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
US20190204292A1 (en) Image Processing Device, Image Processing Method, and Recording Medium
US12378516B2 (en) Passage timing calculation device, passage timing calculation method, and recording medium for recording program
Mishra et al. Automatic lesion border selection in dermoscopy images using morphology and color features
CN104954772A (zh) 一种应用于自动白平衡算法的图像近灰色像素选取算法
CN111583175B (zh) 一种红细胞图像检测方法及设备、介质
JP5800234B2 (ja) 微細藻類濃度決定方法
CN114937032A (zh) 基于染色分离的病理切片颜色相关质量评估方法
CN110060223A (zh) 一种基于特征提取及去噪的图像分割方法
WO2020075635A1 (ja) 画像処理装置、画像処理方法、プログラム、及び評価方法
JP6819445B2 (ja) 情報処理装置、制御方法、及びプログラム
Azemin et al. Fibrovascular redness grading using Gaussian process regression with radial basis function kernel
JP5812719B2 (ja) 頭髪撮影画像のデータ処理方法およびデータ比較方法
CN109360189A (zh) 检测非制冷红外机芯图像像素缺陷点的方法
CN111083468B (zh) 一种基于图像梯度的短视频质量评价方法及系统
RU2420593C2 (ru) Способ анализа клеточных структур и их компонентов
US20240233089A1 (en) Image processing method and image processing apparatus
CN112819795B (zh) 基于多色荧光图片的细胞数量和面积的统计方法
Dong et al. Automatic segmentation for ovarian cancer immunohistochemical image based on yuv color space
CN110633065B (zh) 一种图像调整方法及装置、计算机可读存储介质
JPWO2020075635A5 (ja)
Verma et al. Underwater Vision Enhancement: Adaptive White Balancing Combined with Nature-Inspired Algorithm Mechanisms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19871996

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020551099

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019871996

Country of ref document: EP

Effective date: 20210512