WO2015146064A1 - 細胞認識装置および方法並びにプログラム - Google Patents
細胞認識装置および方法並びにプログラム Download PDFInfo
- Publication number
- WO2015146064A1 WO2015146064A1 PCT/JP2015/001458 JP2015001458W WO2015146064A1 WO 2015146064 A1 WO2015146064 A1 WO 2015146064A1 JP 2015001458 W JP2015001458 W JP 2015001458W WO 2015146064 A1 WO2015146064 A1 WO 2015146064A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cell
- nucleolus
- information indicating
- cells
- cell recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Definitions
- the present invention relates to a cell recognition apparatus, method, and program for recognizing individual cell regions in a cell image obtained by imaging a plurality of cells.
- pluripotent stem cells such as ES cells and iPS cells and differentiation-induced cells are cultured, imaged with a microscope, and the state of the cells is evaluated by capturing the characteristics of the images.
- Patent Document 1 proposes detecting the number of nucleolus from a cell image and determining the cell division cycle based on the number of nucleolus.
- an image of the stained cells may be captured, but it is important to observe unstained cells when evaluating the cells. In some cases, staining may adversely affect cells.
- the nucleus, nucleolus, and cytoplasm in the cell image can be partially observed, but each cell is accurately recognized. Have difficulty.
- the nucleolus of each cell appears as high-contrast black particles as shown by arrows in FIG. 5, but it is not clear which nucleolus belongs to which cell. It is difficult to accurately recognize the cell region. For example, when measuring the number of cells included in a cell image, even if only the nucleolus shown in FIG. 5 is recognized, the number of nucleolus possessed by one cell varies. It is not possible to accurately estimate the number of individual cells simply by measuring the number.
- Patent Document 1 discloses detecting nucleolus, but does not propose any method for accurately detecting individual cell regions.
- an object of the present invention is to provide a cell recognition apparatus, method, and program capable of accurately recognizing individual cells from a cell image obtained by imaging a plurality of cells.
- the cell recognition device of the present invention detects a nucleolus in a cell from a cell image obtained by imaging a plurality of cells, acquires information indicating the distance between the nucleolus, and based on the information indicating the distance, And a cell recognition unit for recognizing individual cells.
- the cell recognition unit acquires information indicating the size of the nucleolus and recognizes individual cells based on the information indicating the size and the information indicating the distance. be able to.
- the cell recognition unit obtains luminance information of the cell image, recognizes the boundary of each cell based on the luminance information, and identifies each cell based on the recognized boundary information and information indicating the distance. Can be recognized.
- a cell information acquisition unit that acquires the number of cells, the number of cells per unit area, or the cell density distribution based on individual cells recognized by the cell recognition unit can be provided.
- mapping unit for mapping the cell density distribution.
- a display control unit that superimposes and displays the mapped image on the cell image can be provided.
- the cell recognition unit can recognize a group of nucleoli whose distance between nucleoli is equal to or less than a threshold as belonging to the same cell.
- the cell recognition unit can change the threshold value according to the size of the nucleolus.
- the cell recognition unit can set a region centered on the center of gravity of the nucleolus recognized as belonging to the same cell, and can recognize the region of one cell based on the set region.
- the cell recognition method of the present invention detects a nucleolus in a cell from a cell image obtained by imaging a plurality of cells, acquires information indicating the distance between the nucleolus, and based on the information indicating the distance, It is characterized by recognizing individual cells.
- the cell recognition program of the present invention acquires information indicating a distance between a nucleolus detection unit and a nucleolus detection unit that detects a nucleolus in a cell from a cell image obtained by imaging a plurality of cells, and It is characterized by functioning as a cell recognition unit for recognizing individual cells based on information indicating the distance.
- a nucleolus in a cell is detected from a cell image obtained by imaging a plurality of cells, information indicating the distance between the nucleolus is obtained, and the distance is obtained. Recognize individual cells based on the information indicating that the nucleolus group belonging to the same cell can be determined with high accuracy, and thereby individual cell regions can be recognized with high accuracy. .
- the block diagram which shows schematic structure of the cell culture observation system using one Embodiment of the cell recognition apparatus of this invention.
- Diagram for explaining the nucleolus group that is expected to belong to the same cell Diagram for explaining how to recognize individual cell regions
- FIG. 1 is a block diagram showing a schematic configuration of a cell culture observation system.
- the cell culture observation system of the present embodiment includes a cell culture device 1, an imaging device 2, a cell recognition device 3, a display 4, and an input device 5, as shown in FIG.
- the cell culture device 1 is a device for culturing cells.
- Examples of cells to be cultured include pluripotent stem cells such as iPS cells and ES cells, cells such as nerves, skin, myocardium, and liver induced by differentiation from stem cells, and cancer cells.
- pluripotent stem cells such as iPS cells and ES cells
- cells such as nerves, skin, myocardium, and liver induced by differentiation from stem cells, and cancer cells.
- a plurality of culture containers in which cells to be cultured are seeded in a medium are accommodated.
- the cell culture device 1 includes a stage 10, a transport unit 11, and a control unit 12.
- the stage 10 is provided with a culture vessel to be imaged by the imaging device 2.
- the transport unit 11 selects a culture container to be imaged from among a plurality of culture containers accommodated at a predetermined position in the cell culture apparatus 1 and transports the selected culture container to the stage 10.
- the control unit 12 controls the entire cell culture apparatus 1, and in addition to the operations of the stage 10 and the transfer unit 11 described above, environmental conditions such as temperature, humidity, and CO 2 concentration in the cell culture apparatus 1 are controlled. It is something to control.
- the temperature, the configuration for adjusting the humidity and CO 2 concentration can be a known configuration.
- the imaging device 2 captures an image of a cell colony in a culture vessel installed on the stage 10.
- the imaging device 2 includes a phase contrast microscope 20 that images a cell colony and outputs a cell image, and a control unit 21 that controls the phase contrast microscope 20.
- the phase-contrast microscope 20 includes an imaging element such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (charge-coupled device) sensor, and a cell image obtained by imaging cells is output from the imaging element.
- an imaging element such as a CMOS (Complementary Metal-Oxide Semiconductor) sensor or a CCD (charge-coupled device) sensor
- CMOS Complementary Metal-Oxide Semiconductor
- CCD charge-coupled device
- the present invention is not limited to this. For example, a bright field microscope or a differential interference microscope may be used.
- the control unit 21 controls the entire imaging device 2. Specifically, the control unit 21 controls the optical magnification of the phase-contrast microscope 20, the exposure time and resolution of the image sensor, the exposure light amount of the illumination light source, and the like.
- the cell recognition device 3 is a computer in which an embodiment of the cell recognition program of the present invention is installed in a computer.
- the cell recognition device 3 includes a central processing unit, a semiconductor memory, a hard disk, and the like, and an embodiment of the cell recognition program of the present invention is installed on the hard disk.
- this program is executed by the central processing unit, an image acquisition unit 30, a nucleolus detection unit 31, a cell recognition unit 32, a cell information acquisition unit 33, a mapping unit 34, and display control as shown in FIG.
- the unit 35 operates.
- the image acquisition unit 30 acquires and stores a cell image of a cell colony imaged by the imaging device 2.
- a cell image obtained by setting the optical magnification of the phase-contrast microscope 20 to 4 to 20 times is acquired.
- optical magnification it is good also as a different optical magnification from the case where the cell image used when observing the external appearance of a cell colony is imaged when the cell image used in the case of the individual cell recognition mentioned later is imaged.
- the optical magnification when capturing a cell image used for cell recognition may be changed to a higher magnification.
- the optical magnification may be changed automatically or manually.
- the cell image may be one image obtained by imaging one cell colony or a plurality of image groups obtained by dividing one cell colony into a plurality of rectangular regions. A plurality of cell colonies may be included in one image.
- the image acquisition unit 30 stores identification information for identifying a cell colony and a cell image in association with each other. For example, when one cell colony is captured with one cell image, the identification information of the cell colony and the cell image are stored in a one-to-one correspondence. In addition, when one cell colony is captured with cell images of a plurality of regions, the identification information of the cell colonies and the cell image groups of the plurality of regions are stored in association with each other. Further, when a plurality of cell colonies are captured with one cell image, the identification information of each cell colony and one cell image are stored in association with each other.
- the cell associated with the identification information Images can be read and displayed immediately.
- the nucleolus detection unit 31 acquires the cell image read from the image acquisition unit 30 and detects the nucleolus in the cell image.
- a method for detecting a nucleolus for example, after converting a cell image into a binarized image, filter processing is performed to detect an edge of the nucleolus, and pattern matching is performed on the edge to detect it. do it.
- the present invention is not limited to this method, and the nucleolus is darker (blacker) than the surroundings in the cell image and appears as a high-contrast particle. Therefore, the nucleolus may be detected by performing threshold determination. Good.
- various other known methods can be used as a method for detecting a nucleolus.
- the cell recognition unit 32 acquires information indicating the distance between the nucleoli detected by the nucleolus detection unit 31, and based on the information indicating the distance, the area of each cell included in the cell image is obtained. Recognize.
- the cell recognition unit 32 first acquires information indicating the distance between nucleoli as described above.
- the information indicating the distance for example, the shortest distance connecting the nucleolus with a straight line may be acquired.
- information indicating the distance between the nucleolus and all nucleolus other than the nucleolus is acquired.
- the cell recognizing unit 32 determines whether or not the information indicating the distance acquired as described above is equal to or less than a preset threshold value, and the nucleolus whose information indicating the distance is equal to or less than the threshold value. Recognize a group as belonging to the same cell.
- FIG. 2 shows an example of a cell image, and a darker (black) part than the surroundings is a nucleolus.
- the nucleolus group that is expected to belong to the same cell is surrounded by a dotted circle.
- the threshold value may be changed based on the size of the nucleolus. That is, by acquiring information indicating the size of the nucleolus, setting the threshold based on the information indicating the size, and comparing the threshold and information indicating the distance, the nuclei belonging to the same cell are compared. You may make it recognize a body group.
- the maximum diameter of the nucleolus may be acquired and the maximum diameter may be set as the threshold value.
- the maximum diameter of the nucleolus is 5 ⁇ m
- the nucleolus whose distance from the nucleolus is 5 ⁇ m or less is defined as a nucleolus group belonging to the same cell
- the maximum diameter of the nucleolus is Is 1 ⁇ m
- a nucleolus whose distance from the nucleolus is 1 ⁇ m or less may be recognized as a nucleolus group belonging to the same cell.
- the size of the nucleolus is not limited to the maximum diameter described above, and for example, an average diameter or a minimum diameter may be used.
- the information indicating the size of the nucleolus such as the maximum diameter, the average diameter, or the minimum diameter may be automatically measured from the cell image, or may be input by the user using the input device 5. You may do it.
- the threshold value may be set based on the size of each nucleolus, and the average value, the maximum value, the minimum value, etc. of all the nucleolus sizes in the cell image may be used. A statistical value may be calculated, and one threshold may be set based on the statistical value.
- the distance between the other cells when viewed from one cell is equal to or less than the threshold value
- the distance of one cell is larger than the threshold when viewed from the other cell.
- the cells may be recognized as belonging to the same cell or may be recognized as not belonging to the same cell.
- the threshold value is changed according to the size of the nucleolus.
- the threshold value may be changed according to the optical magnification of the phase contrast microscope 20, for example.
- the threshold value may be increased as the optical magnification increases, and a table in which the optical magnification and the threshold value are associated may be set.
- the cell recognition unit 32 recognizes a region of one cell based on the nucleolus group recognized as belonging to the same cell. Specifically, for example, when the nucleolus group recognized as belonging to the same cell is the nucleolus N1 to N3 shown in FIG. 3, the centroid positions g1 to g3 of the nucleolus N1 to N3 are set. A circular area C1 to C3 is set as a center, and a circular area including the circular areas C1 to C3 and having the smallest diameter is recognized as an area of one cell.
- the center of gravity of each nucleolus is centered here, the present invention is not limited to this, and other points on the nucleolus may be centered.
- the circular area is set around the center of gravity, but an elliptical area or a rectangular area may be set instead of the circular area.
- a circular area is set for each nucleolus.
- the present invention is not limited to this.
- a surrounding image is searched and an area having the same contrast is set. It may be.
- a circular region including a region having the same contrast set for each nucleolus and having the smallest diameter may be recognized as a region of one cell.
- the range of contrast regarded as the same level may be set in advance. Further, since the contrast of the cell image varies depending on the optical magnification, the illumination light source, the exposure time, the type of the microscope, and the like, the contrast range regarded as the same level may be changed and set based on these imaging conditions. .
- the cell information acquisition unit 33 calculates the number of cells per unit area in the cell image, that is, the cell density, based on the area of each cell recognized by the cell recognition unit 32.
- the unit area may be, for example, one area obtained by dividing a cell colony into a plurality of rectangular areas, or may be one area obtained by dividing the entire imaging area into a plurality of rectangular areas.
- the size of one rectangular region may be, for example, 50 ⁇ m ⁇ 50 ⁇ m or 100 ⁇ m ⁇ 100 ⁇ m.
- the mapping unit 34 acquires a cell density distribution based on the cell density for each rectangular area of the unit area calculated by the cell information acquisition unit 33, and maps the cell density distribution to generate a cell density image.
- the cell density image may be, for example, an image in which different hues, saturations, or lightnesses are assigned to rectangular regions of each unit area depending on the cell density.
- the display control unit 35 acquires the cell image read from the image acquisition unit 30, acquires the cell density image generated in the mapping unit 34, and superimposes the cell image and the cell density image on the display 4. It is what is displayed.
- the cell density image on which the cell image is superimposed may be a translucent image that can be observed through the cell image, or the outline of the rectangular area of each unit area may be expressed in different hues as described above. It is good also as an image.
- the input device 5 includes a mouse, a keyboard, and the like, and accepts setting input by the user.
- the input device 5 can accept setting input such as imaging conditions such as optical magnification of the phase-contrast microscope 20 and information indicating the size of the nucleolus described above.
- the culture to be photographed is selected from the plurality of accommodated culture containers by the transport unit 11, and the selected culture container is placed on the stage 10 (S10).
- an image of a cell colony in the culture vessel is captured by the phase contrast microscope 20 of the imaging device 2, and the captured cell image is acquired by the image acquisition unit 30 of the cell recognition device 3 (S12).
- the cell image acquired by the image acquisition unit 30 is read by the nucleolus detection unit 31, and the nucleolus included in the cell image is detected by the nucleolus detection unit 31 (S14).
- the detection result of the nucleolus in the nucleolus detection unit 31 is output to the cell recognition unit 32, and the cell recognition unit 32 indicates information indicating the distance between the nucleolus based on the input detection result of the nucleolus. Is acquired (S16).
- the cell recognizing unit 32 recognizes a nucleolus group belonging to the same cell based on the information indicating the distance between the nucleolus as described above (S18), and each cell body based on the nucleolus group is recognized. A cell region is recognized (S20).
- Information of individual cell regions recognized by the cell recognition unit 32 is acquired by the cell information acquisition unit 33, and the cell information acquisition unit 33 performs unit area in the cell image based on the input information of the individual cell regions.
- the cell density for each rectangular area is calculated (S22).
- the cell density acquired in the cell information acquisition unit 33 is output to the mapping unit 34, and the mapping unit 34 maps the cell density distribution to generate a cell density image (S24).
- the cell image acquired by the image acquisition unit 30 and the cell density image generated by the mapping unit 34 are output to the display control unit 35, and the display control unit 35 superimposes the cell density image on the cell image. Display on the display 4 (S26).
- information indicating the distance between the nucleolus is obtained by detecting the nucleolus in the cell from the cell image obtained by imaging a plurality of cells, and the information indicating the distance Therefore, the nucleolus group belonging to the same cell can be determined with high accuracy, and thereby the individual cell region can also be recognized with high accuracy.
- a group of nucleoli whose distance between nucleoli is less than or equal to a threshold value is recognized as belonging to the same cell. If the nucleolus belongs to different cells, the distance between the nucleolus may be less than a threshold value and may be erroneously recognized.
- the nucleoli when acquiring luminance information of cell images, extracting a high luminance area such as halo appearing at the boundary between cells, and there is a high luminance boundary area on a straight line connecting nucleolus Alternatively, even if the distance between the nucleoli is less than or equal to the threshold value, the nucleoli may be recognized as belonging to different cells.
- Halo is a high-luminance artifact that occurs when illumination light passes between cells.
- the cell density is calculated based on the area of each cell recognized by the cell recognition unit 32, and the cell density distribution is mapped to generate a cell density image.
- the present invention is not limited to this, and the number of cells per unit area or the number of cells included in the cell image may be simply counted, and the number of cells may be displayed as text such as a numerical value.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【課題】複数の細胞を撮像した細胞画像から個々の細胞を高精度に認識する細胞認識装置および方法並びにプログラムを提供する。 【解決手段】複数の細胞を撮像した細胞画像から細胞内の核小体を検出する核小体検出部(31)と、核小体間の距離を示す情報を取得し、その距離を示す情報に基づいて、個々の細胞を認識する細胞認識部(32)とを備える。
Description
本発明は、複数の細胞を撮像した細胞画像内における個々の細胞の領域を認識する細胞認識装置および方法並びにプログラムに関するものである。
従来、ES細胞、iPS細胞などの多能性幹細胞や分化誘導された細胞などを培養して顕微鏡で撮像し、その画像の特徴を捉えることで細胞の状態を評価する方法が提案されている。
たとえば特許文献1においては、細胞画像から核小体の数を検出し、その核小体の数に基づいて細胞の分裂周期を判定することが提案されている。
ここで、上述したように培養された細胞を顕微鏡によって撮像する際、染色した細胞の画像を撮像する場合があるが、細胞を評価する上で、未染色の状態の細胞を観察することが重要な場合があったり、染色自体が細胞へ悪影響を及ぼす場合などがある。
また、細胞画像から細胞の状態を評価する際には、細胞画像に含まれる個々の細胞を正確に認識することが重要である。
しかしながら、たとえば位相差顕微鏡によって未染色な状態の細胞を撮像した場合、その細胞画像における核、核小体、細胞質を部分的に観察することはできるが、個々の細胞を正確に認識するのは困難である。
たとえば、細胞画像において個々の細胞の核小体は、図5において矢印で示すように高コントラストな黒い粒々として現れるが、どの核小体がどの細胞に属するものであるか明確ではないため、個々の細胞の領域を正確に認識することは困難である。また、たとえば細胞画像に含まれる細胞数を計測する場合、図5に示す核小体だけを認識したとしても、1つの細胞の核小体の保有数にはばらつきがあるため、核小体の数を計測するだけでは個々の細胞の数を正確に評価することができない。
なお、特許文献1においては、核小体を検出することは開示されているが、個々の細胞の領域を正確に検出する方法については何も提案されていない。
本発明は、上記の問題に鑑み、複数の細胞を撮像した細胞画像から個々の細胞を高精度に認識することができる細胞認識装置および方法並びにプログラムを提供することを目的とする。
本発明の細胞認識装置は、複数の細胞を撮像した細胞画像から細胞内の核小体を検出し、その核小体間の距離を示す情報を取得し、その距離を示す情報に基づいて、個々の細胞を認識する細胞認識部とを備えたことを特徴とする。
また、上記本発明の細胞認識装置において、細胞認識部は、核小体の大きさを示す情報を取得し、その大きさを示す情報および距離を示す情報に基づいて、個々の細胞を認識することができる。
また、細胞認識部は、細胞画像の輝度情報を取得し、その輝度情報に基づいて個々の細胞の境界を認識し、その認識した境界の情報および距離を示す情報に基づいて、個々の細胞を認識することができる。
また、細胞認識部によって認識された個々の細胞に基づいて、細胞画像内に含まれる細胞数、単位面積当たりの細胞数または細胞密度分布を取得する細胞情報取得部を備えることができる。
また、細胞密度分布をマッピングするマッピング部を備えることができる。
また、細胞画像に対して上記マッピングされた画像を重畳して表示させる表示制御部を備えることができる。
また、細胞認識部は、核小体間の距離が閾値以下の核小体群を同じ細胞に属するものとして認識することができる。
また、細胞認識部は、核小体の大きさに応じて上記閾値を変更することができる。
また、細胞認識部は、同じ細胞に属すると認識された核小体の重心位置を中心とした領域をそれぞれ設定し、その設定した領域に基づいて1つの細胞の領域を認識することができる。
本発明の細胞認識方法は、複数の細胞を撮像した細胞画像から細胞内の核小体を検出し、その核小体間の距離を示す情報を取得し、その距離を示す情報に基づいて、個々の細胞を認識することを特徴とする。
本発明の細胞認識プログラムは、コンピュータを、複数の細胞を撮像した細胞画像から細胞内の核小体を検出する核小体検出部と、核小体間の距離を示す情報を取得し、その距離を示す情報に基づいて、個々の細胞を認識する細胞認識部として機能させることを特徴とする。
本発明の細胞画像評価装置および方法並びにプログラムによれば、複数の細胞を撮像した細胞画像から細胞内の核小体を検出し、その核小体間の距離を示す情報を取得し、その距離を示す情報に基づいて個々の細胞を認識するようにしたので、同じ細胞に属する核小体群を高精度に判定することができ、これにより個々の細胞領域を高精度に認識することができる。
以下、本発明の細胞認識装置および方法並びにプログラムの一実施形態を用いた細胞培養観察システムについて、図面を参照しながら詳細に説明する。本発明は、細胞を撮像した細胞画像における個々の細胞の認識方法に特徴を有するものであるが、まず、本実施形態の細胞培養観察システムの全体構成について説明する。図1は、細胞培養観察システムの概略構成を示すブロック図である。
本実施形態の細胞培養観察システムは、図1に示すように、細胞培養装置1、撮像装置2と、細胞認識装置3と、ディスプレイ4と、入力装置5とを備えている。
細胞培養装置1は、細胞の培養を行うための装置である。培養対象の細胞としては、たとえばiPS細胞やES細胞といった多能性幹細胞や、幹細胞から分化誘導された神経、皮膚、心筋、肝臓などの細胞や、がん細胞などがある。細胞培養装置1内には、培養対象の細胞を培地に播種した培養容器が複数収容されている。そして、細胞培養装置1は、ステージ10と搬送部11と制御部12とを備えている。
ステージ10は、撮像装置2による撮像対象の培養容器が設置されるものである。また、搬送部11は、細胞培養装置1内の所定位置に収容されている複数の培養容器の中から撮像対象の培養容器を選択し、その選択した培養容器をステージ10まで搬送するものでる。また、制御部12は、細胞培養装置1全体を制御するものであり、上述したステージ10や搬送部11の動作以外に、細胞培養装置1内の温度、湿度およびCO2濃度などの環境条件を制御するものである。なお、温度、湿度およびCO2濃度を調整するための構成については、公知な構成を用いることができる。
撮像装置2は、ステージ10に設置された培養容器内における細胞コロニーの画像を撮像するものである。撮像装置2は、細胞コロニーを撮像して細胞画像を出力する位相差顕微鏡20と、位相差顕微鏡20を制御する制御部21とを備えている。
位相差顕微鏡20は、CMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(charge-coupled device)センサなどの撮像素子を備えており、この撮像素子から細胞を撮像した細胞画像が出力される。なお、本実施形態においては、位相差顕微鏡を用いるようにしたが、これに限らず、たとえば明視野顕微鏡や微分干渉顕微鏡などを用いるようにしてもよい。
制御部21は、撮像装置2全体を制御するものである。具体的には、制御部21は、位相差顕微鏡20の光学倍率、撮像素子の露光時間や解像度、照明光源の露光光量などを制御するものである。
細胞認識装置3は、コンピュータに対して本発明の細胞認識プログラムの一実施形態がインストールされたものである。
細胞認識装置3は、中央処理装置、半導体メモリおよびハードディスクなどを備えており、ハードディスクに本発明の細胞認識プログラムの一実施形態がインストールされている。そして、このプログラムが中央処理装置によって実行されることによって、図1に示すような画像取得部30、核小体検出部31、細胞認識部32、細胞情報取得部33、マッピング部34および表示制御部35が動作する。
画像取得部30は、撮像装置2によって撮像された細胞コロニーの細胞画像を取得して記憶するものである。本実施形態においては、位相差顕微鏡20の光学倍率を4倍~20倍として撮像した細胞画像を取得する。光学倍率については、後述する個々の細胞認識の際に用いられる細胞画像を撮像する場合と、細胞コロニーの外観を観察する際に用いられる細胞画像を撮像する場合と異なる光学倍率としてもよい。具体的には、細胞認識に用いられる細胞画像を撮像する場合の光学倍率の方を高倍率に変更するようにしてもよい。光学倍率の変更は自動的に行ってもよいし、手動で行うようにしてもよい。
細胞画像は、1つの細胞コロニーを撮像した1枚の画像でもよいし、1つの細胞コロニーを矩形の複数の領域で分割した複数の画像群でもよい。また、1枚の画像内に複数の細胞コロニーが含まれていてもよい。
画像取得部30は、細胞コロニーを識別するための識別情報と細胞画像とを対応づけて記憶するものである。たとえば、1つの細胞コロニーを1枚の細胞画像で撮像した場合には、その細胞コロニーの識別情報と細胞画像とが1対1で対応づけられて記憶される。また、1つの細胞コロニーを複数の領域の細胞画像で撮像した場合には、その細胞コロニーの識別情報と複数の領域の細胞画像群とが対応づけられて記憶される。また、複数の細胞コロニーを1枚の細胞画像で撮像した場合には、その各細胞コロニーの識別情報と1枚の細胞画像とが対応づけられて記憶される。
このように細胞コロニーの識別情報と細胞画像とを対応づけて記憶して管理することによって、たとえばユーザが入力装置5から細胞コロニーの識別情報を入力した際、その識別情報に対応づけられた細胞画像を即座に読み出して表示等することができる。
核小体検出部31は、画像取得部30から読み出された細胞画像を取得し、その細胞画像内における核小体を検出するものである。核小体の検出方法としては、たとえば細胞画像を2値化画像に変換した後、フィルタ処理を行って核小体のエッジを検出し、そのエッジに対してパターンマッチングを行って検出するようにすればよい。ただし、このような方法に限らず、核小体は細胞画像内では周囲よりも暗く(黒く)、高コントラストな粒として現れるので、閾値判定を行うことによって核小体を検出するようにしてもよい。また、核小体の検出方法としては、その他の種々の公知な方法を用いることができる。
細胞認識部32は、核小体検出部31において検出された核小体間の距離を示す情報を取得し、その距離を示す情報に基づいて、細胞画像内に含まれる個々の細胞の領域を認識するものである。
ここで、本実施形態の細胞認識部32における個々の細胞認識の方法について、詳細に説明する。
細胞認識部32は、まず、上述したように核小体間の距離を示す情報を取得する。距離を示す情報としては、たとえば核小体間を直線で結んだ最短距離を取得するようにすればよい。そして、核小体毎について、その核小体とその核小体以外の全ての核小体との距離を示す情報が取得される。
次に、細胞認識部32は、上記のようにして取得された距離を示す情報が、予め設定された閾値以下であるか否かを判定し、距離を示す情報が閾値以下である核小体群を同じ細胞に属するものとして認識する。図2は、細胞画像の一例を示すものであり、周囲よりも暗い(黒い)部分が核小体である。図2では、同じ細胞に属すると予想される核小体群を点線の円で囲んでいる。
なお、このとき、上記閾値は、核小体の大きさに基づいて変更するようにしてもよい。すなわち、核小体の大きさを示す情報を取得し、その大きさを示す情報に基づいて上記閾値を設定し、その閾値と距離を示す情報とを比較することによって、同じ細胞に属する核小体群を認識するようにしてもよい。
たとえば核小体の最大径を取得し、その最大径を上記閾値に設定するようにしてもよい。具体的には、核小体の最大径が5μmである場合には、その核小体との距離が5μm以下の核小体を同じ細胞に属する核小体群とし、核小体の最大径が1μmである場合には、その核小体との距離が1μm以下の核小体を同じ細胞に属する核小体群として認識するようにすればよい。核小体の大きさとしては、上述した最大径に限らず、たとえば平均径や最小径などを用いるようにしてもよい。
なお、これらの最大径、平均径または最小径などの核小体の大きさを示す情報は、細胞画像から自動的に計測するようにしてもよいし、ユーザが入力装置5を用いて入力するようにしてもよい。
また、核小体毎について、その大きさに基づいて上記閾値をそれぞれ設定するようにしてもよいし、細胞画像内における全ての核小体の大きさの平均値、最大値または最小値などの統計値を算出し、その統計値に基づいて1つの閾値を設定するようにしてもよい。
なお、核小体毎にその大きさに基づいて閾値を設定する場合、たとえば判定対象の2つの核小体の大きさが大きく異なる場合、一方の細胞から見て他方の細胞の距離が閾値以下であるが、逆に他方の細胞から見て一方の細胞の距離が閾値より大きい場合が生じる。この場合、同じ細胞に属するものとして認識するようにしてもよいし、同じ細胞に属さないものとして認識するようにしてもよい。
また、上記説明では、核小体の大きさに応じて閾値を変更するようにしたが、たとえば位相差顕微鏡20における光学倍率に応じて閾値を変更するようにしてもよい。たとえば、光学倍率が大きいほど閾値を大きくするようにすればよく、光学倍率と閾値とを対応付けたテーブルなどを設定してもよい。
次に、細胞認識部32は、同じ細胞に属すると認識された核小体群に基づいて、1つの細胞の領域を認識する。具体的には、たとえば同じ細胞に属すると認識された核小体群が、図3に示す核小体N1~N3である場合、その各核小体N1~N3のそれぞれ重心位置g1~g3を中心とした円領域C1~C3を設定し、この円領域C1~C3を含む円領域であって直径が最小の円領域を1つの細胞の領域として認識する。なお、ここでは各核小体の重心位置を中心としたが、これに限らず、核小体上のその他の点を中心としてもよい。また、ここでは重心位置を中心として円領域を設定するようにしたが、円領域に限らず楕円領域や矩形領域を設定するようにしてもよい。
また、上記説明では、各核小体について円領域を設定するようにしたが、これに限らず、各核小体について、周囲の画像を探索し、コントラストが同程度の領域をそれぞれ設定するようにしてもよい。そして、各核小体についてそれぞれ設定されたコントラストが同程度の領域を含む円領域であって直径が最小の円領域を1つの細胞の領域として認識するようにしてもよい。
なお、同程度とみなすコントラストの範囲については、予め設定するようにすればよい。また、細胞画像のコントラストは、光学倍率、照明光源、露光時間、顕微鏡の種類などによって異なるので、これらの撮像条件に基づいて同程度とみなすコントラストの範囲を変更して設定するようにしてもよい。
図1に戻り、細胞情報取得部33は、細胞認識部32において認識された個々の細胞の領域に基づいて、細胞画像内における単位面積当たりの細胞数、すなわち細胞密度を算出するものである。単位面積としては、たとえば細胞コロニーを複数の矩形領域に分割した1つの領域としてもよいし、撮像領域全体を複数の矩形領域に分割した1つの領域としてもよい。1つの矩形領域の大きさとしては、たとえば50μm×50μmや100μm×100μmとすればよい。
マッピング部34は、細胞情報取得部33において算出された単位面積の矩形領域毎の細胞密度に基づいて細胞密度分布を取得し、その細胞密度分布をマッピングして細胞密度画像を生成するものである。細胞密度画像としては、たとえば各単位面積の矩形領域に対して細胞密度の大きさに応じて異なる色相、彩度または明度を割り当てた画像とすればよい。
表示制御部35は、画像取得部30から読み出された細胞画像を取得するとともに、マッピング部34において生成された細胞密度画像を取得し、細胞画像と細胞密度画像とを重畳してディスプレイ4に表示させるものである。細胞画像の重畳される細胞密度画像としては、細胞画像を透過して観察できるような半透明の画像としてもよいし、各単位面積の矩形領域の輪郭を、上述したように異なる色相などで表した画像としてもよい。
入力装置5は、マウスやキーボードなどを備えたものであり、ユーザによる設定入力を受け付けるものである。たとえば、入力装置5は、位相差顕微鏡20の光学倍率などの撮像条件や、上述した核小体の大きさを示す情報などの設定入力を受け付け可能なものである。
次に、上述した細胞培養観察システムの作用について、図4に示すフローチャートを参照しながら説明する。
まず、細胞培養装置1において、搬送部11によって、収容されている複数の培養容器の中から撮影対象の培養が選択され、その選択された培養容器がステージ10に設置される(S10)。
そして、撮像装置2の位相差顕微鏡20によって培養容器内における細胞コロニーの画像が撮像され、その撮像された細胞画像は、細胞認識装置3の画像取得部30によって取得される(S12)。
次いで、画像取得部30によって取得された細胞画像が核小体検出部31によって読み出され、核小体検出部31によって細胞画像に含まれる核小体が検出される(S14)。
核小体検出部31における核小体の検出結果は細胞認識部32に出力され、細胞認識部32は、入力された核小体の検出結果に基づいて、核小体間の距離を示す情報を取得する(S16)。
そして、細胞認識部32は、上述したように核小体間の距離を示す情報に基づいて、同じ細胞に属する核小体群を認識し(S18)、その核小体群に基づいて個々の細胞領域を認識する(S20)。
細胞認識部32において認識された個々の細胞領域の情報は、細胞情報取得部33によって取得され、細胞情報取得部33は、入力された個々の細胞領域の情報に基づいて、細胞画像における単位面積の矩形領域毎の細胞密度を算出する(S22)。
細胞情報取得部33において取得された細胞密度はマッピング部34に出力され、マッピング部34は、細胞密度分布をマッピングして細胞密度画像を生成する(S24)。
そして、画像取得部30によって取得された細胞画像と、マッピング部34において生成された細胞密度画像が表示制御部35に出力され、表示制御部35は、細胞画像に対して細胞密度画像を重畳させてディスプレイ4に表示させる(S26)。
上記実施形態の細胞培養観察システムによれば、複数の細胞を撮像した細胞画像から細胞内の核小体を検出し、その核小体間の距離を示す情報を取得し、その距離を示す情報に基づいて、個々の細胞を認識するようにしたので、同じ細胞に属する核小体群を高精度に判定することができ、これにより個々の細胞領域も高精度に認識することができる。
また、上記実施形態の細胞培養観察システムにおいては、核小体間の距離が閾値以下の核小体群を同じ細胞に属するものとして認識するようにしたが、たとえば核小体が細胞内の中央ではなく周縁部分に位置している場合には、異なる細胞に属する核小体同士であっても、その核小体間の距離が閾値以下となって誤認識する可能性がある。
そこで、たとえば細胞画像の輝度情報を取得し、細胞間の境界に現れるハロのような輝度の高い領域を抽出し、核小体間を結んだ直線上にその輝度の高い境界領域が存在する場合には、その核小体間の距離が閾値以下であっても、その核小体体同士は異なる細胞に属するものであると認識するようにしてもよい。なお、ハロとは、照明光が細胞間を通過する際に生じる高輝度なアーチファクトのことである。
また、上記実施形態の細胞培養観察システムにおいては、細胞認識部32において認識された個々の細胞の領域に基づいて細胞密度を算出し、細胞密度分布をマッピングして細胞密度画像を生成するようにしたが、これに限らず、単に単位面積当たりの細胞数や細胞画像内に含まれる細胞数をカウントし、その細胞数を数値などのテキストで表示させるようにしてもよい。
Claims (11)
- 複数の細胞を撮像した細胞画像から前記細胞内の核小体を検出する核小体検出部と、
前記核小体間の距離を示す情報を取得し、該距離を示す情報に基づいて、個々の前記細胞を認識する細胞認識部とを備えたことを特徴とする細胞認識装置。 - 前記細胞認識部が、前記核小体の大きさを示す情報を取得し、該大きさを示す情報および前記距離を示す情報に基づいて、個々の前記細胞を認識するものである請求項1記載の細胞認識装置。
- 前記細胞認識部が、前記細胞画像の輝度情報を取得し、該輝度情報に基づいて個々の前記細胞の境界を認識し、該認識した境界の情報および前記距離を示す情報に基づいて、個々の前記細胞を認識するものである請求項1または2記載の細胞認識装置。
- 前記細胞認識部によって認識された個々の前記細胞に基づいて、前記細胞画像内に含まれる細胞数、単位面積当たりの細胞数または細胞密度分布を取得する細胞情報取得部を備えた請求項1から3いずれか1項記載の細胞認識装置。
- 前記細胞密度分布をマッピングするマッピング部を備えた請求項4記載の細胞認識装置。
- 前記細胞画像に対して前記マッピングされた画像を重畳して表示させる表示制御部を備えた請求項5記載の細胞認識装置。
- 前記細胞認識部が、前記核小体間の距離が閾値以下の核小体群を同じ細胞に属するものとして認識するものである請求項1から6いずれか1項記載の細胞認識装置。
- 前記細胞認識部が、前記核小体の大きさに応じて前記閾値を変更するものである請求項7記載の細胞認識装置。
- 前記細胞認識部が、同じ細胞に属すると認識された前記核小体の重心位置を中心とした領域をそれぞれ設定し、該設定した領域に基づいて1つの細胞の領域を認識するものである請求項1から8いずれか1項記載の細胞認識装置。
- 複数の細胞を撮像した細胞画像から前記細胞内の核小体を検出し、
前記核小体間の距離を示す情報を取得し、該距離を示す情報に基づいて、個々の前記細胞を認識することを特徴とする細胞認識方法。 - コンピュータを、複数の細胞を撮像した細胞画像から前記細胞内の核小体を検出する核小体検出部と、
前記核小体間の距離を示す情報を取得し、該距離を示す情報に基づいて、個々の前記細胞を認識する細胞認識部として機能させることを特徴とする細胞認識プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/273,789 US10192306B2 (en) | 2014-03-28 | 2016-09-23 | Cell recognition device, method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014067874A JP6145890B2 (ja) | 2014-03-28 | 2014-03-28 | 細胞認識装置および方法並びにプログラム |
| JP2014-067874 | 2014-03-28 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US15/273,789 Continuation US10192306B2 (en) | 2014-03-28 | 2016-09-23 | Cell recognition device, method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015146064A1 true WO2015146064A1 (ja) | 2015-10-01 |
Family
ID=54194615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/001458 Ceased WO2015146064A1 (ja) | 2014-03-28 | 2015-03-17 | 細胞認識装置および方法並びにプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10192306B2 (ja) |
| JP (1) | JP6145890B2 (ja) |
| WO (1) | WO2015146064A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017056945A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 細胞評価装置および方法 |
| WO2018105432A1 (ja) * | 2016-12-06 | 2018-06-14 | 富士フイルム株式会社 | 細胞画像評価装置および細胞画像評価制御プログラム |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6570434B2 (ja) * | 2015-11-26 | 2019-09-04 | オリンパス株式会社 | 顕微鏡システム |
| US20170294130A1 (en) * | 2016-04-08 | 2017-10-12 | Uber Technologies, Inc. | Rider-vehicle handshake |
| JP6746511B2 (ja) | 2017-01-31 | 2020-08-26 | 株式会社東芝 | 蒸気タービン弁駆動装置 |
| JP7274936B2 (ja) * | 2019-05-24 | 2023-05-17 | 富士フイルム株式会社 | 細胞画像圧縮装置、方法およびプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001269195A (ja) * | 2000-03-27 | 2001-10-02 | Olympus Optical Co Ltd | 細胞の画像解析方法,装置、及び記録媒体 |
| JP2006079196A (ja) * | 2004-09-07 | 2006-03-23 | Olympus Corp | 細胞画像解析方法 |
| US20070124085A1 (en) * | 2005-11-30 | 2007-05-31 | Geert Kalusche | Method of processing a biological image |
| JP2007192767A (ja) * | 2006-01-23 | 2007-08-02 | Juntendo | 染色組織標本の陽性細胞の可視化解析方法 |
| JP2012511906A (ja) * | 2008-12-12 | 2012-05-31 | モレキュラー デバイシーズ, エルエルシー | 多核細胞分類および微小核点数化 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3394018B2 (ja) | 2000-03-28 | 2003-04-07 | 株式会社東芝 | 相補型光配線回路 |
| JP2007327928A (ja) | 2006-06-09 | 2007-12-20 | Olympus Corp | 細胞周期弁別方法、その画像処理システム、及びそのプログラム |
| WO2008005426A2 (en) * | 2006-06-30 | 2008-01-10 | University Of South Florida | Computer-aided pathological diagnosis system |
-
2014
- 2014-03-28 JP JP2014067874A patent/JP6145890B2/ja active Active
-
2015
- 2015-03-17 WO PCT/JP2015/001458 patent/WO2015146064A1/ja not_active Ceased
-
2016
- 2016-09-23 US US15/273,789 patent/US10192306B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001269195A (ja) * | 2000-03-27 | 2001-10-02 | Olympus Optical Co Ltd | 細胞の画像解析方法,装置、及び記録媒体 |
| JP2006079196A (ja) * | 2004-09-07 | 2006-03-23 | Olympus Corp | 細胞画像解析方法 |
| US20070124085A1 (en) * | 2005-11-30 | 2007-05-31 | Geert Kalusche | Method of processing a biological image |
| JP2007192767A (ja) * | 2006-01-23 | 2007-08-02 | Juntendo | 染色組織標本の陽性細胞の可視化解析方法 |
| JP2012511906A (ja) * | 2008-12-12 | 2012-05-31 | モレキュラー デバイシーズ, エルエルシー | 多核細胞分類および微小核点数化 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017056945A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 細胞評価装置および方法 |
| US10704022B2 (en) | 2015-09-29 | 2020-07-07 | Fujifilm Corporation | Cell evaluation apparatus and cell evaluation method |
| WO2018105432A1 (ja) * | 2016-12-06 | 2018-06-14 | 富士フイルム株式会社 | 細胞画像評価装置および細胞画像評価制御プログラム |
| US11037292B2 (en) | 2016-12-06 | 2021-06-15 | Fujifilm Corporation | Cell image evaluation device and cell image evaluation control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6145890B2 (ja) | 2017-06-14 |
| JP2015190837A (ja) | 2015-11-02 |
| US10192306B2 (en) | 2019-01-29 |
| US20170011512A1 (en) | 2017-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6145890B2 (ja) | 細胞認識装置および方法並びにプログラム | |
| CN105612249B (zh) | 图像处理装置、程序、信息存储介质和图像处理方法 | |
| JP5333635B1 (ja) | 画像処理装置、プログラム及び画像処理システム | |
| JP6595156B2 (ja) | 細胞画像取得装置および方法並びにプログラム | |
| US10330907B2 (en) | Cell imaging control device, method, and program | |
| WO2011162213A1 (ja) | 微生物検出方法、微生物検出装置及びプログラム | |
| KR102431217B1 (ko) | 화상 해석 장치, 방법 및 프로그램 | |
| JP2015039342A (ja) | 幹細胞分化判定装置および方法並びにプログラム | |
| JP2014235494A (ja) | 画像処理装置及びプログラム | |
| JP6130801B2 (ja) | 細胞領域表示制御装置および方法並びにプログラム | |
| JPWO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US11756190B2 (en) | Cell image evaluation device, method, and program | |
| JP2015166829A (ja) | 細胞撮像制御装置および方法並びにプログラム | |
| US11169079B2 (en) | Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program | |
| US20190370973A1 (en) | Cell image evaluation device, method, and program | |
| EP4006524B1 (en) | Particle quantifying device | |
| JP2014082957A (ja) | 細胞計数装置及び細胞計数プログラム | |
| JP2019180264A (ja) | 細菌検査装置および細菌検査方法 | |
| EP4001890B1 (en) | Particle quantitative measurement device | |
| JP2016116461A (ja) | 細胞判定方法、細胞数計測方法 | |
| CN107208020A (zh) | 细胞解析装置和方法 | |
| JP2016158577A (ja) | 細胞コロニー検出装置および方法並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15769664 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase | ||
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15769664 Country of ref document: EP Kind code of ref document: A1 |