[go: up one dir, main page]

CN105408746A - 基于图像的人胚胎细胞分类的装置、方法和系统 - Google Patents

基于图像的人胚胎细胞分类的装置、方法和系统 Download PDF

Info

Publication number
CN105408746A
CN105408746A CN201480024119.0A CN201480024119A CN105408746A CN 105408746 A CN105408746 A CN 105408746A CN 201480024119 A CN201480024119 A CN 201480024119A CN 105408746 A CN105408746 A CN 105408746A
Authority
CN
China
Prior art keywords
images
embryos
image
embryo
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480024119.0A
Other languages
English (en)
Inventor
Y·王
F·莫萨维
P·洛伦岑
M·钱安
S·戈德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Progyny Inc
Original Assignee
Auxogyn Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auxogyn Inc filed Critical Auxogyn Inc
Publication of CN105408746A publication Critical patent/CN105408746A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Immunology (AREA)
  • Microbiology (AREA)
  • Pathology (AREA)
  • Biotechnology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Cell Biology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本文提供用于自动化细胞分类、胚胎评分和/或胚胎归类的设备、方法和系统。在一个实施方式中，设备包括分类模块，其设置成将分类器应用于一个或多个细胞的图像以确定各图像与各分类器相关的分类概率。各分类器与独特第一细胞数量相关，并设置成基于细胞特征确定各图像的分类概率，所述细胞特征包括一种或多种机器习得的细胞特征。分类概率表明所述独特第一细胞数量显示在各图像中的估计似然性。据此各图像具有与之相关的分类概率。

Description

基于图像的人胚胎细胞分类的装置、方法和系统
相关申请的交叉参考
本申请要求于2013年3月14日提交的题为“基于图像的人胚胎细胞分类的装置、方法和系统”的美国临时申请号61/785,170；2013年3月14日提交的题为“基于图像的人胚胎细胞结果确定的装置、方法和系统”的美国临时申请号61/785,216；2013年2月28日提交的题为“早期人胚胎发育的延时显微镜镜视频中的自动化胚胎阶段分类”的美国临时申请号61/771,000；2013年3月14日提交的题为“自动化非侵入性细胞活性追踪的设备、方法和系统”的美国临时申请号61/785,179；2013年3月14日提交的题为“基于对细胞活性评估的自动化置信度估计的用于人胚胎活力筛选的设备、方法和系统”的美国临时申请号61/785,199；以及2013年2月28日提交的题为“用于自动化人胚胎追踪的统一框架”的美国临时申请号61/770,998的优先权。上述申请各自的全部内容通过引用纳入本文。
技术领域
本发明通常涉及细胞分类和/或结果确定。更具体地，本发明涉及分类以确定与多潜能细胞相关的特性，诸如，但不限于，胚胎细胞、卵母细胞和/或等。此外或或者，本发明涉及基于从一系列或多系列具有已知结果的胚胎图像提取出的细胞特征信息，对具有未知结果的系列胚胎图像进行胚胎结果确定。此外或或者，本发明涉及自动化胚胎评分和/或归类。
发明背景
不育是影响10-15％育龄夫妇的常见健康问题。美国仅在2006年进行了大约140000轮次的体外受精(IVF)(cdc.gov/art)。这导致每年培养超过一百万个胚胎细胞，这些胚胎的移植和发育到出生的潜力不一且往往界定不明。每轮IVF之后的活产率仅为29％，同时平均30％的活产产生多胎妊娠(cdc.gov/art)。多胎妊娠对于母亲和胎儿都有充分记载的不良结果，如流产、早产和低出生率。IVF失败的潜在原因是多样化的；然而，自1978年引入IVF以来，主要的挑战之一是标识最适合移植并最可能导致足月妊娠的胚胎。
通常在IVF临床中，通过简单的形态观察来评价人胚胎存活，这些观察如存在均匀尺寸的单核卵裂球和细胞碎片化程度(RijindersPM,JansenCAM.(1998)HumReprod13:2869-73；MilkiAA等.(2002)FertilSteril77:1191-5)。在更近期，也已经使用其他方法，如对胚胎延长培养(在第5天至胚泡期)和通过移植前遗传诊断(PGD)的染色体状态分析来评价胚胎质量(MilkiA等.(2000)FertilSteril73:126-9；FragouliE,(2009)FertilSteril6月21日[印刷前电子出版]；El-ToukhyT等.(2009)HumReprod6:20；VannesteE等.(2009)NatMed15:577-83)。然而，这些方法的潜在风险也在于它们延长了培养周期并破坏了胚胎完整性(ManipalviratnS等.(2009)FertilSteril91:305-15；MastenbroekS等.(2007)NEnglJ.Med.357:9-17)。
最近已经显示延时成像可以是观察早期胚胎发育并将早期发育与潜在胚胎存活相关联的有用工具。一些方法已经使用延时成像来监测卵胞浆内单精子显微注射(ICSI)之后的人胚胎发育(Nagy等.(1994)HumanReproduction.9(9):1743-1748；Payne等.(1997)HumanReproduction.12:532-541)。分析极体排出和原核形成并与第3天的良好形态相关联。然而，没有参数与胚泡形成或妊娠结果相关联。其他方法已经着眼于以初次卵裂的发动作为指示物来预测人胚胎的存活(Fenwick等.(2002)HumanReproduction,17:407-412；Lundin等.(2001)HumanReproduction16:2652-2657)。然而，这些方法并没有认识到胞质分裂持续时间或早期分裂之间时间间隔的重要性。
其他方法已经使用延时成像来测量早期胚胎发育期间细胞分裂的时间和程度(WO/2007/144001)。然而，这些方法仅公开了针对牛胚胎延时成像的基础和一般方法，牛胚胎在发育潜力、形态性质、分子和表观遗传程序、以及移植相关参数和时间上与人胚胎明显不同。例如，与人胚胎相比，牛胚胎着床的时间明显更长(分别为9天和30天)。(Taft,(2008)Theriogenology69(1):10-16.此外，没有特定的成像参数或时间间隔被公开为可预测人胚胎存活。
虽然延时成像已经在对早期人胚胎发育的自动化分析中显示出希望，但是这些已存在的方法仍然没有解决显著的发育和/或性能障碍。早期人胚胎发育的性质、时间和其他基准向预测发育行为提供了挑战。这类挑战可包括通过图像处理来预测和/或另外确定发育期间的各时间点上细胞分裂的次数、细胞分裂的时间、和个体细胞和/或受精卵的健康情况。具体地，自动化追踪个体细胞(这是这些测定中每一项的基础)可能由于生物成像的固有噪音性质而很困难，这些噪音可能由于缺少独特的视觉特征、缺失和/或错误的细胞边界、由于细胞分裂和/或细胞移动改变细胞物质拓扑学、细胞形状形变等而产生。由这类自动化追踪得到的任何拓展推断可因而继承追踪错误。
例如，当通过自动化追踪得到的各图像中的细胞数量是估计细胞分裂事件时间的基础时，个体细胞追踪错误会被进一步扩大/放大。作为另一个示例，当使用估计的细胞数量和/或分裂时间信息来确定未来胚胎存活的似然性时，这种自动化测定也可能不正确，并且可导致错误的决定，如是否使用特定胚胎来进行IVF。此外，当胚胎具有相似性质，难以区分所述胚胎以确定例如植入哪些和冷冻哪些。
基于上述背景，需要开发装置、方法和系统用于基于图像的人胚胎细胞分类、基于图像的胚胎结果确定以及用于自动化胚胎评分和/或归类，本文提供这些装置、方法和系统。
发明内容
本文提供用于细胞分类、结果确定以及自动化胚胎评分和/或自动化胚胎归类的装置、方法和系统。
在一个实施方式中，自动化细胞分类的方法包括将多个第一分类器应用于一个或多个细胞的多个图像以确定各图像中与各第一分类器关联的第一分类概率。各第一分类器与独特第一细胞数量关联。分类器基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征。第一分类概率表明所述与各第一分类器关联的独特第一细胞数量显示在各图像中的第一评估似然性。多个图像中的各图像从而具有与之关联的多个第一分类概率。该方法还包括基于所述与各第一分类器关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类为显示第二细胞数量。
在一个实施方式中，自动化细胞分类设备包括分类模块。分类模块设置成将多个第一分类器应用于一个或多个细胞的多个图像中的每一个以确定各图像与各第一分类器相关的第一分类概率。各第一分类器与独特第一细胞数量关联，并设置成基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征。第一分类概率表明所述与各第一分类器关联的独特第一细胞数量显示在各图像中的第一评估似然性。多个图像中的各图像从而具有与之关联的多个第一分类概率。分类模块还设置成基于所述与各第一分类器关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类为显示第二细胞数量。在存储装置或处理装置中的至少一个中实施分类模块。
在一个实施方式中，自动化细胞分类系统包括设置用于自动化细胞分类的计算设备。计算设备设置成将多个第一分类器应用于一个或多个细胞的多个图像以确定各图像与各第一分类器相关的第一分类概率。各第一分类器与独特第一细胞数量关联，并设置成基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征。第一分类概率表明所述与各第一分类器关联的独特第一细胞数量显示在各图像中的第一评估似然性。多个图像中的各图像从而具有与之关联的多个第一分类概率。计算设备还设置成基于所述与各第一分类器关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类为显示第二细胞数量。
在一个实施方式中，基于图像的结果分类方法包括将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序序列图像的分类概率。该分类概率表示第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性。第一结果包括在与分类器相关的细胞发育的多个结果中。所述方法还包括基于多个与分类器和分类概率相关的结果将第一延时系列图像分类为显示第一结果。
在一个实施方式中，用于基于图像的结果确定设备包括分类模块。设置分类模块以将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序序列图像的分类概率。该分类概率表示第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性。第一结果包括在与分类器相关的细胞发育的多个结果中。分类模块还设置成基于多个与分类器和分类概率相关的结果将第一延时系列图像分类为显示第一结果。在存储装置或处理装置中的至少一个中实施分类模块。
在一个实施方式中，基于图像的结果确定系统包括设置用于基于图像进行结果确定的计算设备。计算设备设置成将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序序列图像的分类概率。该分类概率表示第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性。第一结果包括在与分类器相关的细胞发育的多个结果中。计算设备还设置成基于多个与分类器和分类概率相关的结果将第一延时系列图像分类为显示第一结果。
在一个实施方式中，自动化胚胎评分方法包括对包括在第一多种胚胎中的各胚胎的多个图像应用一个或多个分类器和神经网络以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值。所述方法还包括基于与包括在所述第一多种胚胎中的各胚胎关联的分值对包括在所述第一多种胚胎中的各胚胎评分。
在一个实施方式中，自动化胚胎评分设备包括分值确定模块，其设置成对包括在第一多种胚胎中的各胚胎的多个图像进行分类以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值。所述设备还包括评分模块，其设置为基于与包括在所述第一多种胚胎中的各胚胎关联的分值对包括在所述第一多种胚胎中的各胚胎评分。所述分值确定模块和评分模块在至少一个存储器或处理设备中实施。
在一个实施方式中，自动化胚胎归类方法包括对包括在第一多种胚胎中的各胚胎的多个图像应用一个或多个分类器和神经网络以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的评分。所述方法还包括基于与包括在所述第一多种胚胎中的各胚胎关联的分值将包括在所述第一多种胚胎中的各胚胎与包括在多种类别中的对应类别关联起来。
在一个实施方式中，自动化胚胎归类设备包括分值确定模块，其设置为对包括在第一多种胚胎中的各胚胎的多个图像进行分类以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值。所述设备还包括归类模块，其设置成基于与包括在所述第一多种胚胎中的各胚胎关联的分值将包括在所述第一多种胚胎中的各胚胎与包括在多种类别中的对应类别关联起来。所述分值确定模块和归类模块在至少一个存储器或处理设备中实施。
也考虑本发明的其他方面和实施方式。前述的内容和下面的详细说明并不旨在将本发明限于任意特定实施方式，但是仅是旨在描述本发明的一些实施方式。
附图说明
为了更好地理解本发明的本质和目的，参考以下与附图结合的详细说明，其中：
图1A显示按照本发明的一个实施方式的示例性的基于图像的细胞分类方法；
图1B显示按照本发明的一个实施方式的示例性训练图像；
图1C显示按照本发明的一个实施方式的多个图像中各自的特征向量；
图2显示按照本发明的实施方式由图1A的基于图像的细胞分类方法所得的示例性基于图像的细胞分类结果；
图3A显示按照本发明的一个实施方式使用图1A的1级图像分类器的基于图像的细胞分类方法；
图3B显示按照本发明的一个实施方式使用图1A和图3A的1级和2级图像分类器的基于图像的细胞分类方法；
图3C显示按照本发明的一个实施方式使用应用于图3B的2级图像分类器的输出的Viterbi分类器的基于图像的细胞分类细化方法；
图4显示按照本发明的一个实施方式的示例性的细胞发育结果确定方法；
图5显示按照本发明的一个实施方式的示例性的无监督学习方法；
图6显示按照本发明的一个实施方式的特征提取的示例性方法；
图7显示按照本发明的一个实施方式的结果确定的示例性方法；
图8显示按照本发明一个实施方式的用于基于图像的自动化细胞分类、基于图像的细胞发育结果确定、胚胎评分、和/或胚胎归类的系统；
图9显示按照本发明一个实施方式的图8的计算设备；
图10显示按照本发明的一个实施方式的用于基于图像的细胞发育结果确定的方法；
图11显示按照本发明的一个实施方式用于自动化基于图像的细胞分类的方法；
图12显示按照本发明的一个实施方式的基于图像的细胞分类的示例性方法；
图13A和13B显示按照一个示例的特征包，显示(a)从具有习得的码本的稀疏检测的描述符和致密取样的描述符生成的致密和稀疏出现直方图的示例；和(b)由k-均值聚类生成聚类(外观代码)的4个示例；
图14显示时间图像相似性的示例；
图15A显示按照本发明的一个实施方式从示例性的3级分类方法得到的细胞分裂检测的精确率随偏移容差变化的示例性结果；
图15B显示按照本发明的一个实施方式从示例性的3级分类方法得到的细胞分裂检测的召回率随偏移容差变化的示例性结果；
图16A显示按照本发明的实施方式向细胞发育如胚胎发育的图像施加自动化细胞追踪的非限制性实施例；
图16B显示按照本发明的一个实施方式的图16A中细胞边界段的放大图；
图17A显示按照本发明的一个实施方式的细胞追踪框架的非限制性实施例；
图17B显示按照本发明的另一个实施方式的细胞追踪框架的非限制性实施例；
图18A显示按照本发明的一个实施方式用于得到细胞边界特征信息的方法。
图18B显示按照本发明的一个实施方式用于生成细胞示意图至细胞边界特征信息的映射并细化各自包含一个或多个细胞的推导特征的假设；
图18C显示按照本发明的一个实施方式用于从图16A所示的假设中选择假设的方法；
图19A显示按照本发明的一个实施方式的就图16A的图像1602来选择假设1612的示例性方法；
图19B显示按照本发明的一个实施方式的就图16A的图像1602来选择假设1612的示例性方法；
图19C显示按照本发明的实施方式用于确定选择的假设(如图16A的选择假设1612)的置信度测量和应用这种置信度信息的示例性和非限制性方法；
图20显示按照本发明的一个实施方式用于对细胞活性进行自动化评价的方法；
图21显示按照本发明的一个实施方式用于对细胞活性进行自动化评价(包括可靠性确定)的方法；
图22显示按照本发明的一个实施方式，使用：(a)分类器和相似性测量(无追踪)，(b)DD-SMC最大边际(基于追踪)和(c)所有可观察的(合并)时(i)转变t1，(ii)转变t2，(iii)转变t3和(iv)所有3个的rmsd<dp+m的胚胎比率的示例性结果；
图23显示按照本发明实施方式的应用于胚胎图像的自动化胚胎评分和/或胚胎归类方法的非限制性示例；
图24显示按照本发明实施方式的显示自动化胚胎评分和胚胎归类的结果的显示器的非限制性示例；和
图25显示按照本发明实施方式的胚胎评分和/或胚胎归类的方法。
发明详述
在描述本发明的设备、系统和方法之前，应理解，本发明不限于所述的具体设备、系统或方法，因为它们当然可能变化。还应理解，本文所用术语的目的仅是描述具体实施方式，不用来构成限制，因为本发明的范围仅受所附权利要求书的限制。
提供数值范围时，也应视作具体公开了该范围的上限和下限之间以下限单位十分之一为间隔的各中间数值，除非上下文另有明确说明。本发明还包括设定范围内任何设定数值或中间数值和该设定范围内任何其它设定数值或中间数值之间的各较小范围。所述范围可独立地包含或排除这些较小范围的上限、下限，本发明也包括这些较小范围不包含限值、包含任一或两个限值的各范围，以设定范围内任何限值的明确排除为准。设定范围包含一个或两个限值时，本发明也包括排除所述限值之一个或两个的范围。
除非另有说明，本文所用的所有科技术语与本发明所属领域普通技术人员所理解的通常含义相同。虽然也可采用与本文所述类似或等同的任何方法和材料实施或测试本发明，但在此描述一些潜在和优选的方法和材料。本文提及的所有出版物均通过引用纳入本文，与所引用出版物相关联来公开和描述这些方法和/或材料。应理解，出现抵触时，用本发明公开内容代替任何本文所纳出版物的公开内容。
必须注意到，本文和所附权利要求书所用的单数形式“一个”、“一种”和“所述”包括复数含义，除非上下文另有明确说明。因此，例如，提及“计算机”包括多种本领域已知的计算机等。
应注意，如本文和权利要求所用，术语列举项目的“……中的一个或多个”，例如“A和B中的一个或多个”表示A(无B)、B(无A)、或A和B。因此，例如，“一个或多个分类器和神经网络”表示分类器、神经网络、或者分类器和神经网络。
提供本文讨论的任何出版物仅针对其在本申请提交日之前的公开。本文中所有内容均不应解释为承认本发明不能凭借在先发明而先于这些出版物。此外，所提供的出版日期可能与实际公开日期不同，这可能需要单独确认。
定义
本文所用术语“发育潜力”和“发育能力”指健康胚胎或多能细胞生长或发育的能力或性能。
本文使用术语“胚胎”指当两个单倍体配子细胞(例如，未受精的次级卵母细胞和精子细胞)合并以形成双倍体全能细胞(例如，受精卵)时形成的受精卵，并且指从即时后续细胞分裂(即胚胎分裂)中产生直至桑葚胚(即，16-细胞阶段和胚泡阶段(具有分化的滋养外胚层和内细胞群))的胚胎。
本文使用”多能细胞”来表示生物体中具有分化成多个类型的细胞的能力的任意细胞。多潜能细胞的示例包括干细胞、卵母细胞和1-细胞胚胎(即，受精卵)。
本文使用术语“干细胞”指细胞或细胞群，其：(a)具有自我更新的能力，并且(b)具有产生多种分化的细胞类型的潜力。通常，干细胞具有产生多个细胞系的潜力。如本文所用，干细胞可以是全能干细胞，例如，受精卵，其产生生物体的全部胚胎和胚胎外组织；多潜能干细胞，例如胚胎干细胞(ES)、胚胎生殖细胞(EG)或诱导的多潜能干细胞(iPS)，其产生生物体的全部胚胎组织，即内胚层、中胚层和外胚层系；多能干细胞，例如间充质干细胞，其产生至少两种生物体胚胎组织，即内胚层、中胚层和外胚层系中的至少两种，或者其可以是组织特异性干细胞，其产生特定组织的多种类型分化细胞。组织特异性干细胞包括组织特异性胚胎细胞，其产生特定组织的细胞和体干细胞，其存在于成人组织中并产生该组织的细胞，例如神经干细胞，其产生中枢神经系统的所有细胞，卫星细胞，其产生骨骼肌，以及造血干细胞，其产生造血系统的所有细胞。
本文使用术语“卵母细胞”指未受精的雌性生殖细胞或配子。本申请的卵母细胞可以是初级卵母细胞，该情况中它们定位于待经过或正在经过减数分裂I；或次级卵母细胞，该情况中它们定位于待经过或正在经过减数分裂II。
“减数分裂”表示导致配子产生的细胞循环事件。在第一次减数分裂细胞循环或减数分裂I中，细胞的染色体被复制并分配到两个子细胞中。然后这些子细胞在第二次减数分裂细胞循环或减数分裂II中分裂，其并不伴随着DNA合成，产生具有单倍体数量的染色体的配子。
“有丝分裂细胞循环”表示细胞中导致细胞染色体复制和这些染色体以及细胞质分裂到两个子细胞中的事件。有丝分裂细胞循环分为两个阶段：间期和有丝分裂期。在间期中，细胞生长并复制其DNA。在有丝分裂期，细胞启动并完成细胞分裂，首先分配其核物质，然后将其胞质和已经分配的核物质分裂(胞质分裂)成两个独立细胞。
“第一次减数分裂细胞循环”或“细胞循环1”表示从受精到完成第一次胞质分裂事件的事件间隔，即将受精的卵母细胞分裂成两个子细胞。在卵母细胞体外受精的情况中，注射人绒毛膜促性腺素(HCG)(通常在卵母细胞收回之前用药)至第一次胞质分裂事件完成的时间区间可用作替代时间区间。
“第二次有丝分裂细胞循环”或“细胞循环2”表示在胚胎中观察到的第二次细胞循环事件，通过有丝分裂从受精卵母细胞产生子细胞和从这些子细胞中的一个(“前导子细胞”或子细胞A)产生第一组孙细胞之间的时间间隔。在完成细胞循环2之后，胚胎由3个细胞组成。换而言之，细胞循环2可在视觉上标识为含有2-细胞的胚胎和含3-细胞的胚胎之间的时间。
“第三次有丝分裂细胞循环”或“细胞循环3”表示在胚胎中观察到的第三次细胞循环事件，通过有丝分裂从受精卵母细胞产生子细胞和从第二个子细胞中(“落后子细胞”或子细胞B)产生第二组孙细胞之间的时间间隔。在完成细胞循环3之后，胚胎由4个细胞组成。换而言之，细胞循环3可在视觉上标识为含有3-细胞的胚胎和含4-细胞的胚胎之间的时间。
“第一次卵裂事件”表示第一次分裂，即卵母细胞分裂成两个子细胞，即细胞循环1。在完成第一次卵裂事件之后，胚胎由2个细胞组成。
“第二次卵裂事件”表示第二组分裂，即领先子细胞分裂成两个孙细胞和落后子细胞分裂成两个孙细胞。换而言之，第二卵裂事件由细胞循环2和细胞循环3组成。在完成第二次卵裂之后，胚胎由4个细胞组成。
“第三次卵裂事件”表示第三组分裂，即所有孙细胞的分裂。在完成第三次卵裂事件之后，胚胎一般由8个细胞组成。
“胞质分裂”或“细胞分裂”表示细胞经过细胞分裂的减数分裂期。换而言之，其是细胞的已经分配的核材料及其胞质材料分裂以产生2个子细胞的有丝分裂阶段。胞质分裂的时间段可被鉴定为首先观察到细胞膜压缩(“卵裂沟”)和压缩事件解决(即生成2个子细胞)之间的时间段或窗口。卵裂沟的开始可在视觉上被标识为细胞膜的曲率从凸形(外鼓的圆形)变为凹形(向内弯曲压痕或凹进)的时间点。细胞伸长的发动也可用于标记胞质分裂的发动，该情况中胞质分裂的时间段被定义为细胞伸长发动和细胞分裂解决之间的时间段。
“第一胞质分裂”或“胞质分裂1”表示受精后的第一细胞分裂事件，即受精卵母细胞分裂产生两个子细胞。第一次胞质分裂通常出现在受精后一天。
“第二次胞质分裂”或“胞质分裂2”表示胚胎中观察到的第二次细胞分裂事件，即受精卵母细胞的子细胞(“领先子细胞”或子细胞A)分裂成第一组2个孙细胞。
“第三次胞质分裂”或“胞质分裂3”表示胚胎中观察到的第三次细胞分裂事件，即受精卵母细胞的另一个子细胞(“落后子细胞”或子细胞B)分裂成第二组2个孙细胞。
受精后，两个配子各给出一组染色体(单倍体内容)，各自包含在本文中称为“原核”(PN)的结构中。在正常的受精之后，各胚胎显示2个PN，一个表示父系遗传物质，一个表示母系遗传物质。本文使用的“配子配合”是指当两组染色体结合时PN的分解，其出现在第一次胞质分裂之前的几小时内。
具体实施方式
在本发明的方面，可使用一个或多个分类器操作基于图像的细胞分类和/或基于图像的细胞发育结果确定。在一些实施方式中，细胞分类和结果确定都可使用至少一个分类器。在其他实施方式中，可用于细胞分类的一种或多种分类器与可用于结果确定的一种或多种分类器不同。
在一些实施方式中，细胞分类可包括确定图像中的细胞数量。在一些实施方式中，细胞分类可包括确定图像含有预测细胞数量的分类概率；在一些实施方式中，细胞分类可包括将图像分为含有或不含预测数量的细胞的二元分类。
在一些实施方式中，一个或多个分类器可各自应用于一个或多个细胞的多个图像中的各图像。多个图像可以是时间顺序系列的图像，如延时系列的图像。多个图像中所示的细胞可以是任何感兴趣的细胞。在一些实施方式中，各图像中的细胞数量是感兴趣的，并且可通过本发明的方面确定。例如，该细胞可以是人胚胎，并且细胞的数量可代表处于单细胞期、双细胞期、三细胞期、四细胞期等中的一个或多个的胚胎。在一些实施方式中，四细胞期表示四个或更多个细胞。这类感兴趣细胞的其他示例包括但不限于卵母细胞和多潜能细胞。
可以采用任意合适的分类器。在一些实施方式中，分类器基于机器学习算法。分类器可以是AdaBoost(适应性加强)分类器或另一种分类器，如支持向量机(SVM)。在一些实施方式中，分类器基于细胞特征和/或模式识别。细胞特征是基于一个或多个细胞(如胚胎、卵母细胞或多潜能细胞)的一个或多个图像所得的特征，诸如但不限于，细胞形状、织构、边缘和/或类似的特征。细胞特征并不限于仅与单个细胞关联的特征，并且可指与多个细胞关联的特征和/或与一个或多个细胞以及显示这一个或多个细胞的图像的另一部分(如图像背景)关联的特征。在一些实施方式中，通过一种或多种有监督学习方法，如通过使用已标记图像来训练分类器。在一些实施方式中，通过一种或多种无监督学习方法来确定分类器所依据的细胞特征。这些无监督学习方法可使用未标记的图像。
在一些实施方式中，可采用多个分类器，各分类器与独特细胞数量关联。此外，在一些实施方式中，可采用多级图像分类器，在各级中，各分类器与独特细胞数量关联。简明起见，与细胞数量n关联的单个分类器将被定为细胞分类器，并且一组分类器(各自应用于某图像)将被称为图像分类器。在一些实施方式中，可向最终图像分类器的输出应用细化算法以进一步细化图像的分类。在一些实施方式中，细化算法基于图像的时间图像相似性量度来改进各图像的分类。在一些实施方式中，细化算法是用于寻找延时系列图像所包含图像的最可能分类的动态程序算法。在一些实施方式中，细化算法是Viterbi算法。
在一些实施方式中，结果确定可包括确定多个具有未知结果的细胞发育测试图像的几种可能结果的预测结果。在一些实施方式中，结果确定可包括对测试图像的二元分类，即确定测试图像的两种可能结果的结果。
在一些实施方式中，一个或多个分类器可各自应用于一个或多个细胞的多个测试图像以进行结果确定。测试图像可以是时间顺序系列图像，如延时系列图像。这些系列图像可包含在一个或多个细胞的视频，如延时视频中。测试图像中所示的细胞可以是任何感兴趣的细胞。例如，这些细胞可以是人胚胎，并且测试图像的可能结果是成胚(blast)(即，形成适于移植的胚泡)或停滞(即由于胚胎发育停滞而没有出现胚泡)。这类感兴趣细胞的其他示例包括但不限于卵母细胞和多潜能细胞。
在一些实施方式中，分类器被训练成基于细胞特征和/或模式识别来进行结果确定，所述识别例如但不限于对细胞形状、织构、边缘和/或类似模式的识别。
在一些实施方式中，通过一种或多种无监督学习方法来确定分类器所依据的细胞特征。这些无监督学习方法可使用未标记的图像。因此，在一些实施方式中，细胞特征可包括一种或多种机器习得的细胞特征。通常，出于在结果确定、细胞分类和/或类似过程中的后续用途的目的，机器习得的细胞特征可以是从学习图案中学到的任意细胞特征。在一些实施方式中，机器习得的细胞特征可基于通过分类器对多个未标记的学习图像的无监督学习，细胞特征在一些实施方式中被称为“特征包”。应理解未标记的学习图像可形成或不形成延时系列。在一些实施方式中，如上文简述和下文详述，可通过分类器将特征包应用于细胞分类。
在一些实施方式中，在无监督学习之后在至少一系列的已标记和/或与具体结果另行关联的训练图像上训练分类器，即，分类器经过有监督训练。在一些实施方式中，在多个系列的训练图像上用针对提供的各具体结果的至少一个系列的训练图像来训练分类器。在一些实施方式中，基于从相应的具体结果所关联的各训练图像系列提取的细胞特征和/或模式信息来训练分类器。通过这种方式，可将该分类器训练为识别与各具体结果关联的细胞特征信息，并且可随后应用以基于从测试图像中提取的细胞特征信息最相符的具体结果来对测试图像进行分类。
在一些实施方式中，该分类器可确定测试图像所示的一个或多个细胞的与各具体结果相关的分类概率，该结果表示测试图像所示的具体结果的估计似然性。分类概率可表示测试图像所示一个或多个细胞发育的具体结果的估计似然性。然后分类器可基于分类概率对测试图像进行分类，诸如，通过例如确定显示与最高分类概率关联的具体结果的测试图像。
图1A显示了按照本发明的一个实施方式的2级基于图像的细胞分类方法的非限制性示例，其采用各水平下的4个AdaBoost细胞分类器，这4个细胞分类器(即1-细胞分类器102-1、2-细胞分类器102-2、3-细胞分类器102-3和4-细胞(4或更多个细胞)分类器102-4)对分别显示一个细胞、两个细胞、三个细胞和四个细胞的输入图像进行分类。如图1A所示，并且如下文详述，1级图像分类器102的输出可被2级图像分类器104考虑作为附加特征。在一些实施方式中，例如，诸如Viterbi算法的细化算法应用于2级图像分类器104的输出。
在一些实施方式中，图像分类器的各细胞分类器可确定各图像与各细胞分类器关联的第一分类概率。各图像的第一分类概率可以是基于多个细胞特征。在一些实施方式中，细胞特征可包括一种或多种机器习得的细胞特征。通常，出于在细胞分类中后续使用的目的，机器习得的细胞特征可以是从学习图像中学到的任意细胞特征。在一些实施方式中，机器学习细胞特征可以依据分类器对具有未知细胞数量(也称作”特征包”)的多个未标记学习图像的无监督学习。在一些实施方式中，分类器以这种方式从多个未标记的图像中学习特征包，如上所述用于结果确定，并且如下文详述。
在一个实施方式中，特征包是基于关键点描述符，如尺度不变特征变换(SIFT)、加速稳健特征(SpeededUpRobustFeatures)(SURF)、快速视网膜关键点(FREAK)和二元稳健不变可扩展关键点(BinaryRobustInvariantScalableKeypoints)(BRISK)或本领域技术人员已知的其他合适描述符。
在一些实施方式中，细胞特征还可包括一种或多种手工细胞特征，其是人为设计而不是机器习得。手工细胞特征可包括区域性质、GLCM、LBP、Hessian特征、Gabor特征和/或细胞边界特征(参见表1)。
下表1显示了可用于前图像分类的6种类型的手工特征和特征包(通过无监督学习确定)的示例性列表。GLCM、LBP和Gabor特征是已知可用于分类的织构特征。Hessian特征是从强化细胞边缘的Hessian-过滤图像的第一本征值计算的统计数据。可从通过应用最短路径算法以在极坐标图像空间中提取胚胎边界所得的粗胚胎掩模来计算区域性质(面积、凸包点数量、坚固性、离心率和周长)。在其他实施方式中，可用替代的特征组和/或每个特征组不同数量的特征来代替表1所示的特征。例如，可用与特征包相似的其他机器习得特征(如基于无监督学习学到的特征)来代替表1中的手工特征。在另一个示例中，可使用不同数量的特征(诸如262个而非表1所示的369个)。在一个实施方式中，262个特征不包括表1所示的边界特征，并且特征包中包括200个特征而非300个特征。
表1：用于前图像细胞分类的自动学习或设计的细胞特征
特征组 特征数量 类型
区域属性(面积、充实度、偏心距等) 5 形状
GLCM(灰度共生矩阵) 22 织构
LBP(局部二进制模式特征) 10 织构
Hessian特征 15 边缘和织构
Gabor特征 10 织构
边界特征(平均角形评分、连续性等) 7 边缘
特征包(从胚胎图像习得的特征) 300 织构和习得
图1B显示了按照本发明的一个实施方式分别标记为显示1个细胞(附图标记108-1)、2个细胞(附图标记108-2)、3个细胞(附图标记108-3)和4个细胞(附图标记108-4)的训练图像108的非限制性示例，其可用于训练(例如)图1A的1级分类器102。在一个实施方式中，训练图像108-4可显示4个或更多个细胞。对分类器的训练可以是基于多个已标记图像(如训练图像108)的有监督学习，这些图像各自具有已知数量的细胞。
图1C显示了按照本发明的一个实施方式采用表1所列特征的分类器在多个图像上的示例性输出110。在图1C中，110-1至110-n的各排与单个图像相关(也称为图像的“特征向量”)。在该实施方式中，各特征向量110-1至110-n具有370列(图1C中未完全显示)，一个对于图像鉴定器110a而一个对于表1所示的369种特征中的每一种。图1C所示的代表性列条目110a-110h包括鉴定器110a和显示表1中所列的7个特征组中各自包含的特征的代表值的一个代表性条目(110b-110h)。这些包括与6个手工特征组(区域性质(RegionProp)、GLCM、LBP、Hessian特征、Gabor特征和边界特征)相关的代表性条目110b-110g以及与特征包相关的代表性条目110h。以这种方式，各特征向量110-1至110-n代表其相关图像中的特征信息。
细胞分类器一旦经过训练，它们就可应用于未标记的图像来进行前图像细胞分类，如图2的非限制性示例中广泛显示，并且如其中详述。在图2中，按照本发明的一个实施方式，通过图1A的1级和2级分类器102、104在前图像的基础上对发育胚胎的延时系列图像202进行分类。由细胞的预测数量对多个图像中各图像所关联的图像标识符(例如，如帧数或时间指示)作图的图形204A显示1级分类器102对图像202的各图像的输出，其中在X轴上提供图像标识符，并且在Y轴上提供与图像标识符关联的分类结果。图形204B显示2级分类器104以图像202以及1级分类结果作为输入对各图像的输出。通常，除非另外说明，本文所述的分类结果或应用细化算法的结果的图是预测细胞数对图像标识符的图，其中图像标识符基于该系列图像，并且可表示各图像相对于彼此拍摄的时间。
图3A显示了按照本发明的一个实施方式的前图像分类。一系列的测试和/或其他未标记的图像302用作1级图像分类器102的输入，该分类器包含1-细胞、2-细胞、3-细胞和4-细胞(或4个或更多个细胞)分类器(例如，与图1的细胞分类器102-1至102-4相似的“细胞分类器”)，并且还可包含其他细胞分类器(未显示)。在一些实施方式中，各分类器基于细胞特征确定各图像的分类概率，其中细胞特征可以是机器习得的特征和/或手工细胞特征，如上所述。在一些实施方式中，确定分类概率包括提取和/或另外确定各图像的特征向量(例如，与图1C的各排110-1至110-n相似)，并且基于特征向量确定分类概率。各分类概率可以是各图像显示与各细胞分类器(例如，1-细胞分类器)关联的独特细胞数量(例如，1个细胞)的估计似然性的指示。通过这种方式，图像302的各图像具有与之关联的多种分类概率304。在一些实施方式中，并且如图3A所示，多个分类概率304至少包括1-细胞可能性(附图标记304-1)、2-细胞可能性(附图标记304-2)、3-细胞可能性(附图标记304-3)和4-细胞可能性(附图标记304-4)，如图3A对各细胞分类器进行的合适作图。可由所有细胞分类器的输出的累积图306表示图像分类器102的输出(“1级输出”)。通常，除非另外说明，本文所述的图像分类器或细胞分类器的输出图是分类概率对图像标识符的图，其中图像标识符基于该系列图像，并且可表示各图像相对于彼此拍摄的时间。
本发明的方面还可设置用于将各图像分类为显示一定数量的细胞。在一些实施方式中，各图像可基于各细胞分类器所关联的独特细胞数和与之关联的分类概率进行分类。例如，在图3A中，图302的各图像可基于1级输出306分类为显示1个细胞、2个细胞、3个细胞或4个细胞(或4个或更多个细胞)，这提供了各图像中各细胞数量的可能性信息。任意图像的分类可以考虑该图像所关联的分类概率的任意合适方式来完成。在一些实施方式中，该图像被认为分类为显示该图像所关联的最高分类概率相关联的细胞数量。例如，图3A中的1级输出306表示图像302的图像指示符50(例如，表示相对于第50个图像的时间/时间戳)的最高分类概率来自1-细胞分类器102-1，并且图像302的图像指示符450的最高分类概率来自4-细胞分类器102-4。因此，并且如图3A的“1级细胞数分类结果”图308中最佳显示，图像指示符50被分类为显示1个细胞，而图像支持符450被分为类显示4个细胞。
在一些实施方式中，可使用细胞分类结果308来基于多个图像中所示细胞的一个或多个参数如细胞活性参数、时间参数、非时间参数和/或类似参数来推导生物活性。在一些实施方式中，可使用细胞分类结果308基于延时系列图像的连续图像中的细胞数量变化来推导细胞分裂事件。例如，可使用图3A的分类结果308来确定细胞活性参数。在一些实施方式中，该参数可包括细胞活性参数，并且对于分裂中的细胞如发育中胚胎内的细胞可以是以下参数中的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔(下表2中的t5)和从配子配合到第一次胞质分裂的时间间隔(下表2中的S)。
在一些实施方式中，所述参数可包括如表2中说明和/或引用的一种或多种参数和/或其他参数，其中下述文献通过引用全文纳入本文：国际申请日为2012年5月31日的PCT公开号WO2012/163363“基于卵裂和形态学的胚胎质量评估(EmbryoQualityAssessmentBasedonBlastomereCleavageandMorphology)”、国际申请日为2014年2月3日的PCT申请号PCT/US2014/014449的公开“用延时成像观察异常配子配合表型用于低发育潜力胚胎的早期鉴定(AbnormalSyngamyPhenotypesObservedWithTimeLapseImagingforEarlyIdentificationofEmbryosWithLowerDevelopmentPotential)”、国际申请日为2014年2月3日的PCT公开号PCT/US2014/014466“用时间和第一次胞质分裂表型参数来测量胚胎发育和着床潜能(MeasuringEmbryoDevelopmentandImplantationPotentialWithTimingandFirstCytokinesisPhenotypeParameters)”。
表2：参数列表
在一些实施方式中，可基于确定的细胞活性参数，例如但不限于对胚胎质量的测量(即，当图像是发育的胚胎时)对一个或多个细胞应用一种或多种预测标准。在一些实施方式中，还可采用预测标准来确定预测结果，例如，哪个(哪些)胚胎会达到胚泡，并且可以使用户能够确定哪个(哪些)胚胎具有用于人类移植的发育潜力。
在一些实施方式中，上述的前图像概率304-1至304-4和/或分类结果308可用于限定其他细胞特征，其可用作另一分类过程/方法的输入。图3B的示例性实施方式显示按照本发明的一个实施方式如何使用由图3A的细胞分类器(也称作“1级细胞分类器”、“第一细胞分类器”、“1级图像分类器”和/或“第一图像分类器”)确定的分类概率304-1至304-4来计算和/或另外确定其他细胞特征，可通过后续的2级细胞分类器104使用该特征来对图像302进行分类。如图3B所示，2级分类器104也包括与1级分类器的1-细胞、2-细胞、3-细胞和4-细胞分类器相关的1-细胞、2-细胞、3-细胞和4-细胞分类器。在一些实施方式中，可向特征向量添加各图像的其他细胞特征以生成增强的特征向量。例如，可向图1C所示的表110中添加各其他细胞特征另一列，使得各排(与单个图像相关)110-1至110-n具有各其他细胞特征的其他条目。在一些实施方式中，可对各图像基于该图像所关联的1级分类概率304-1至304-4并且基于至少一个其他图像所关联的1级分类概率来计算一个或多个其他细胞特征。例如，在一些实施方式中，对各图像可基于分别由1级细胞分类器就该图像确定的1-细胞、2-细胞、3-细胞和4-细胞分类概率304-1至304-4来向特征向量110-1至110-n中添加4个或更多个其他细胞特征。在一些实施方式中，对各图像添加至特征向量110-1至110-n中的4个或更多个其他细胞特征是基于分别对于该图像和多个图像中的至少另一图像的1-细胞、2-细胞、3-细胞和4-细胞分类概率304-1至304-4的平均值(平均)、中值、最大值、最小值、标准偏差和/或其他组合表示中的一个或多个。在一些实施方式中，平均图像在时间上互相邻接以促进降低1级分类概率中的噪音变化，如图2的照片204A所示的那些。换而言之，针对图像302，在图像302的顺序中，所平均的分类概率互相邻接。通过这种方式，分类信息可以顺序图像分类方案从一个分类器传递到下一个分类器。应理解，虽然图3B中显示了2个图像分类器102和104，本文所述的方法可扩展到任意其他顺序和/或平行执行的图像分类器。例如，在一些实施方式中，1级分类器的输出可平行地进入2个或更多个2级分类器，各2级分类器已分别在不同的学习和/或训练图像组中得到学习和/或训练。通过这种方式，本发明的方面可操作用于通过将各2级分类器的输出与各其他2级分类器的输出进行比较以接受对各2级分类器输出的独立互补验证。
仍然参考图3B，在一些实施方式中，基于在具有未知细胞数量的未标记学习图像上的无监督学习对各2级细胞分类器104-1至104-4进行设置。在一些实施方式中，用于2级细胞分类器104-1至104-4的无监督学习的未标记图像不同于至少一些(如果不是全部)用于1级细胞分类器的无监督学习的未标记图像。因此本发明的方面可设置为采用以顺序方式经独立训练的分类器，使得图像的各后续分类可受益于对相同图像的独立在先分类。
2级图像分类器104所作基于图像的细胞分类(也称为“第二分类”)的处理方式可类似于上文就1级图像分类器102所述。也就是说，2级细胞分类器104-1至104-4可应用于图像302的各图像来为各图像确定各2级细胞分类器关联的第二分类概率。在一些实施方式中，确定第二分类概率可包括如上所述提取和/或另行确定各图像的增强特征向量，并且基于该特征向量确定第二分类概率。各第二分类概率可以是各图像显示的与各细胞分类器(例如，1-细胞分类器)关联的独特细胞数量(例如，1个细胞)的估计似然性的指示。以这种方式，图像302的各图像具有与其关联的多种第二分类概率。在一些实施方式中，多个第二分类概率至少包括1-细胞概率、2-细胞概率、3-细胞概率和4-细胞概率。可由所有2级细胞分类器的输出的累积图310表示2级图像分类器的输出(“2级输出”图)。
本发明的方面还可设置用于将各图像分类为显示一定数量的细胞。在一些实施方式中，各图像可基于各2级细胞分类器所关联的独特细胞数和与之关联的第二分类概率进行分类。例如，在图3B中，可基于2级输出将图302的各图像分类为显示1个细胞、2个细胞、3个细胞或4个细胞，其提供了各图像中各细胞数的第二概率信息。对任意图像的第二分类可以说明该图像所关联的第二分类概率的任意合适方式完成。在一些实施方式中，该图像被认为分类为显示该图像所关联的最高第二分类概率相关联的细胞数量。
在一些实施方式中，可使用2级细胞分类结果312来推导多个图像中所示细胞的生物活性、细胞活性参数和/或类似。在一些实施方式中，可使用2级细胞分类结果312基于延时系列图像的连续图像中的细胞数量变化来推导细胞分裂事件。例如，可使用图3B的2级分类结果312来确定细胞活性参数，其包括用于分裂细胞的一个或多个以下参数：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔以及胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔以及从受精到具有5个细胞的胚胎的时间间隔(表2中的t5)。或者或另外，可使用图3B的2级分类结果312来确定表2中包含的任意细胞活性参数。
在一些示例性实施方式中，并且如图3C所示，使用Viterbi算法来改进图3B的2级分类结果312。2级分类器104或接受2级分类结果312的模块可实现Viterbi算法。可通过2级分类器104使用Viterbi算法以整合现有知识、加强数量不减少的细胞并融合信息如分类概率和时间图像相似性以在全局环境内生成最终的胚胎阶段分类结果。
在一些实施方式中，对于一个给定的图像，Viterbi算法考虑各在前图像。Viterbi算法可使后续图像具有不减少的数量的细胞，从而“平滑”2级分类结果，如3级结果314所示。通过这种方式，本发明的方面可提供图像302的单个最可能分类314。同样如图3B所示，Viterbi算法也可接受各图像的时间图像相似性评分316作为输入，如参考下文图14公开进行评价。
在一些实施方式中，可基于确定的细胞活性参数，诸如但不限于对胚胎质量的测量(即，当图像是发育的胚胎时)对一个或多个细胞应用一种或多种预测标准。在一些实施方式中，还可采用预测标准来确定假设结果，例如，哪个(哪些)胚胎会达到胚泡，并且可以使用户能够确定哪个(哪些)胚胎具有人类移植的发育潜力。
图4显示了按照本发明的一些实施方式的细胞发育如胚胎发育图像的结果确定方法的非限制性示例。在训练中，提供具有具体结果的N组训练图像402，本文中的各具体结果对应于“成胚”或“停滞”。例如，如图4所示，系列训练图像402-1与大量分裂结果相关，并且系列训练图像402-N与停滞结果相关。在一些实施方式中，训练图像402中的至少一个或多个可与训练图像108中的至少一个或多个相同。或者，所有的训练图像402可不同于训练图像108。
同样如图4所示，并且如下文中更详细的描述，可操作本发明的方面以从各系列训练图像402进行特征提取404。可采用提取的特征信息，如一种或多种特征向量及其关联结果来训练结果分类器406，虽然在一些实施方式中(未显示)，可在一些或全部系列的训练图像402上训练多个分类器。虽然图4显示分类器406是AdaBoost分类器，应理解可采用任意合适的分类器。
训练之后的分类器406可应用于一系列测试图像408的结果确定。如图4所示，可以与用于训练图像402的特征提取404的方式/方法相似的方式/方法通过特征提取410从测试图像408中提取特征信息。然后分类器406可基于提取的特征信息确定结果和/或将测试图像408分类为成胚或停滞的。在一些实施方式中，以及图4所示，其他相关的额外或可选结果/推导可通过分类器406确定，包括胚胎是否适于移植(“移植、非移植”)和胚胎移植是否可能发展为妊娠(“妊娠、非妊娠”)。
如上所述，在一些实施方式中，分类器经过在未标记学习图像上的无监督特征学习以“学习”细胞特征，也称为特征包。在一个实施方式中，特征包是基于关键点描述符，如尺度不变特征变换(SIFT)、加速稳健特征(SpeededUpRobustFeatures)(SURF)、快速视网膜关键点(FREAK)和二元稳健不变可扩展关键点(BinaryRobustInvariantScalableKeypoints)(BRISK)或本领域技术人员已知的其他合适描述符。
可采用生成表示学习图像的特征信息的任意合适学习方法。在一些实施方式中，对各学习图像内的区域进行分析以确定与学习图像的这些区域关联的多个局部特征信息(”局部特征信息”)。在一些实施方式中，通过在学习图像内的多个位置处对学习图像进行取样来确定局部特征信息。例如，各样品点处的颜色或强度可被确定为数值，并作为局部特征信息。在一些实施方式中，采用压缩传感技术，如稀疏取样，其考虑到在生物图像中典型的信息的稀疏性质。在一些实施方式中，采用额外步骤实现局部特征的检测和/或描述。例如，各样品点可进一步分为箱(bin)，并且进行多次量度对不同方向各自装箱以收集每个样品的多个局部特征描述符。
在一些实施方式中，可结合局部特征信息来得到整个学习图像的图像特征信息(“图像特征信息”)。例如，图像特征信息可具体为多维度矩阵，如二维矩阵。该矩阵具有至少对应于与局部特征信息的确定相关联的样品点数量的第一维度，以及至少对应于各样品点的其他检测/描述信息(如每个样品收集的局部特征描述符值的数量)的第二维度。例如，在一些实施方式中，与学习图像关联的特征描述符可表示为这种二维矩阵，其也可视作局部特征信息所关联的特征向量的集合。特征向量的数量可以是样品点的数量，并且各特征向量的长度可通过以下乘积确定：箱的数量x方向数量，如上所述用于各取样点。
在一些实施方式中，可合并所有学习图像的图像特征信息来得到整套/组学习图像的特征信息(“组特征信息”)。组特征信息可包括所有学习图像的所有局部特征信息。例如，组特征信息可具体为多维度矩阵，如三维矩阵。该矩阵具有至少对应于与学习图像数量的第一维度，至少对应于与局部特征信息的确定相关联的样品点数量的第二维度，以及至少对应于各样品点的其他检测/描述信息(如每个样品收集的局部特征描述符值的数量)的第三维度。通过这种方式，可以任意合适的方式依次考虑、积聚、互连和/或合并局部、图像和组水平上的特征信息以生成组特征信息，结果分类器最终可从中学习细胞特征。
在一些实施方式中，可采用数据挖掘方法来将生成的组特征信息分成相对和/或有用细胞特征信息的多个数据区或簇(“特征簇”)。在一些实施方式中，采用k-聚类算法，如k-平均聚类、k-中值聚类、k-中心点聚类和/或类似算法。在一些实施方式中，采用k-平均聚类将组特征信息分成多个特征簇，这些簇中各观察值属于具有最接近平均值的特征簇。组特征信息可以这种方式用任意合适数量的特征簇来表示。在一些实施方式中，各特征簇代表习得的细胞特征，并且可从以下特征类型中进行选择，包括但不限于形状类型、边缘类型和织构类型。可采用特征簇的任意合适表示，例如簇的质心和/或其他取样点周围的多种可视化。在一些实施方式中，可合并与各特征簇相关的质心或其他取样点(也称为码字)以生成特征簇的码本，其中特征簇的数量可以是码本尺寸。例如，码本可具体为多维矩阵，如具有对应于每个样品的簇的数量和局部特征描述符值的矩阵维度的二维矩阵。
图5显示用于从未标记的学习图像进行无监督学习的示例性和非限制性方法，并且显示用于确定各局部特征信息的实施方式，上述图像特征信息，组特征信息，多个簇，码字和码本。应理解可通过任意合适的方式确定各自这些信息，产生大范围的可能性/组合以生成码字作为无监督学习过程的结果。
图5显示了按照本发明的一个实施方式从学习图像组502开始的无监督学习。在一些实施方式中，学习图像502中的至少一个或多个与训练图像108中的至少一个或多个相同。或者，所有的训练图像502可不同于训练图像108。
对学习图像502中包括的各图像504进行取样以生成局部特征信息，并且因此，生成图像504的图像特征信息。由矩阵506表示学习图像502中包含的各图像504的图像特征信息。如前所述，矩阵506可具有至少对应于局部特征信息的确定所关联的样品点数量的第一维度，以及至少对应于各样品点的其他检测/描述信息(如每个样品收集的局部特征描述符值的数量)的第二维度。学习图像502的组的组特征信息可表示为多个矩阵506(图5显示了一个代表性矩阵506)，每个学习图像502有一个矩阵，和/或包含多个矩阵506的单个三维矩阵。
在508中，向矩阵506(组特征信息)应用K-平均值聚类以在128-维特征空间中(在该示例中)生成300个特征簇，每个簇表示一个习得的细胞特征。在510中，各特征簇围绕取样点呈现的，此处表示为各特征簇的10x10图像矩阵。在该示例中，各特征簇的质心是码字，并且然后可基于300个码字生成码本512，即该码本的尺寸是300(簇/码字的数量)x128(特征空间维度的数量)。码本512可用作结果分类器的输入，描述300个习得细胞特征用于从训练和/或测试图像中提取特征。
回到图4，在一些实施方式中，在无监督学习之后，可在训练图像402-1至402-N上训练分类器406的多个与之相关的结果。在一些实施方式中，训练分类器包括404处从各训练图像组中提取局部特征信息，并且通过将提取的局部特征信息与习得的码本进行比较将提取的特征信息和各组训练图像所关联的结果相关联以生成系列特征信息。通过这种方式，可将分类器406“训练”成基于对哪种特征信息看来像某具体结果的现有知识来识别测试图像408的具体结果和/或确定具体结果的概率。
在一些实施方式中，可如图6的示例性和非限制性方法所示操作用于提取训练特征信息的特征提取404。可由分类器406和/或可包含于或从分类器406中分离的学习模块940(参见图9)对具有具体结果的时间顺序系列训练图像602(例如，如训练图像402-1)进行分析以生成该系列训练图像的各图像604的图像特征信息。在一些实施方式中，训练图像602中的至少一个或多个可与训练图像108中的至少一个或多个相同。或者，所有的训练图像602可不同于训练图像108。在一些实施方式中，生成各图像604的局部特征信息的方式与上述无监督学习相似。
参考图4-6，以来自训练图像302的局部特征信息和码本作为输入，然后分类器406和/或学习模块940(参见图9)可确定各码字在各训练图像604的局部特征信息中出现的频率(其可被认为是图像特征信息)，并且还确定在所有训练图像602之间各码字的出现频率，如通过平均化和/或确定各训练图像602中的各码字的出现频率的中值。通过这种方式，可将所有训练图像602之间的码字频率分布(也称作系列特征信息)与所有训练图像602所关联的具体结果相关联。如图6中最佳显示，直方图606(图像特征信息)视觉上显示了将训练图像604中的局部特征信息与图5中生成的码本512比较的结果，并且是图像604中码本512的300个码字中各自出现频率的频率分布。在另一个方面，直方图608(系列特征信息)视觉化显示了a)为各训练图像602的各图像生成频率分布数据，和b)对训练图像602的所有图像中各码本的出现频率取平均和/或确定中值来为码本512中各码字产生代表出现频率的单个元素。由于训练图像602可以是延时系列图像，直方图608可相应代表延时信息。此外，由于训练图像602可与具体结果关联，直方图608可以相应表示具体结果，并且分类器406可被认为“受训”成识别所述具体结果(例如，成胚结果，对于训练图像402-1)。通过用具有不同结果(例如，停滞结果)的不同组的训练图像(例如，用402-N)来重复该过程，该分类器可被认为受训成区分两个结果。现在分类器可基于一系列未标记图像的码字频率分布来对该系列未标记图像(如测试图像108)进行分类。
一旦分类器406已经为系列测试图像408针对结果确定在可能结果组上经过训练，就可将该分类器应用于未知结果的测试图像408。结果确定可包括来自测试图像408的测试局部、图像和系列特征信息的特征提取410。在一些实施方式中，以与特征提取404相似的方式进行图像408的特征提取410，如图6所示各训练图像604并且如前所述。换而言之，确定各测试图像的测试局部特征信息，其可用于生成各测试图像的测试图像特征信息(即各测试图像的码字频率分布)，该信息进而可用于生成该系列测试图像408的测试系列特征信息(即整个系列的组合码字频率分布)。可通过将码本应用于各测试图像中的局部特征信息，并通过对由此得到的码字频率分布取平均化和/或确定中值来生成平均测试直方图。
使用系列测试图像(例如，测试图像408)的直方图(“测试直方图”)和各系列训练图像402-1至402-N的平均直方图608(“训练直方图”)，然后分类器406可通过基于具体结果的测试直方图和训练直方图对系列测试图像进行分类来确定各结果的分类概率。可以任意合适的方式进行分类，如通过AdaBoost(适应性加强)分类器或另一种分类器如支持向量机(SVM)。然后分类器106可基于各结果所关联的分类概率将测试图像分类为显示预测的结果。
图7显示了用于图4的结果112的结果确定的示例性和非限制性方法。训练直方图702-1至702-N分别表示训练图像402-1至402-N的相应系列的码字频率分布，并且还表示分别与相应系列训练图像402-1至402-N关联的具体结果-1至具体结果-N。各训练直方图702与表示图4的测试图像408的码字频率分布的测试直方图706相比较，并且确定分别对应于具体结果-1至具体结果-N的分类概率710-1至710-N。然后基于分类概率710-1至710-N来确定结果412。
在一些实施方式中，如当训练/测试图像中的细胞是胚胎时，可基于所确定的结果412来应用一个或多个预测标准，诸如但不限于胚胎是否适于移植、如果移植的胚胎是否会导致妊娠等。
参考图8，描述了按照本发明的实施方式的用于基于图像的自动化细胞分类的系统800的示意图。在其他实施方式中，系统800可用于基于图像的胚胎结果确定。系统800包括至少一个成像装置802、计算设备804、显示装置806和输入界面808。
成像装置802可为可设置为获得一个或多个细胞的图像的任何装置，所述图像如图像302、1级图像分类器的训练图像、2级图像分类器的训练图像和/或等等。也可将该成像装置502设置成获取第一时间顺序系列图像，如测试图像408并设置成获取一个或多个细胞的多个延时系列图像，如训练图像402-1至402-N。可设置计算设备804以从成像装置802接收图像。在一些实施方式中，成像装置802包含暗视场照明显微镜和/或亮视场照明显微镜，但不限于这些成像方式。显示装置806可以是用于向系统800的用户显示控制信息和/或数据的任意合适装置(例如，LCD显示器)，并且可任选地适用于接收用户输入(例如通过触屏面板)。在一些实施方式中，显示装置至少设置成显示由成像装置802获取的细胞的一个或多个图像，并且用于基于本文所述的图像分类展示细胞的特征。在一些实施方式中，显示装置806至少设置成呈现第一延时系列图像中一个或多个细胞的一个或多个特性，其显示依据是以下一个或多个：分类概率、分类和第一结果。在一些实施方式中，显示装置806还设置成基于特征信息展示多个延时系列图像中的一个或多个细胞的一个或多个特性。
在一些实施方式中，计算设备804、显示装置806和输入界面808可被整合入共用底架(如个人电脑、笔记本电脑和/或平板形式的因素)，并且可通过有线和/或无线网络连接到成像装置802。替代或补充地，可将成像装置802、计算设备804、显示装置806以及输入界面808整合入共用底架。
在一些实施方式中，计算设备804可设置用于基于图像的结果确定。在一些实施方式中，计算设备804将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序系列图像的分类概率。在一些实施方式中，第一时间顺序系列图像是延时系列图像。在一些实施方式中，该分类器是AdaBoost分类器。在一些实施方式中，一个或多个细胞选自下组：人胚胎、一或多个卵母细胞、和一或多个多潜能细胞。
在一些实施方式中，分类概率表示第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性。第一结果可包括在与分类器关联的细胞发育的多个结果中。还设置计算设备804以基于分类器和分类概率所关联的多个结果将第一延时系列图像分类为显示第一结果。在一些实施方式中，多个结果包括以下结果对中的一个或多个：成胚和停滞；移植和非移植；以及妊娠和非妊娠。
在一些实施方式中，可设置计算设备804以基于第一组训练图像设置多个第一分类器中的各分类器，这些训练图像显示与各第一分类器关联的独特第一细胞数量。在一些实施方式中，还可设置计算设备804以能够设置成将多个第一分类器应用于一个或多个细胞的多个图像中的各图像以确定各图像与各第一分类器相关的第一分类概率。多个细胞特征可包括一个或多个手工细胞特征。在一些实施方式中，多个细胞特征中的各特征可以是以下类型中的一种或多种：形状类型、织构类型和边缘类型。在一些实施方式中，多个第一分类器是设置成进行二元分类的AdaBoost分类器。
在一些实施方式中，各第一分类器与独特的第一细胞数量关联，并可设置计算设备804以基于多种细胞特征确定各图像的第一分类概率，这些细胞特征包括一种或多种机器习得的细胞特征。
在一些实施方式中，第一分类概率表示在各图像中显示与各第一分类器关联的独特第一细胞数量的第一估计似然性。多个图像中的各图像从而具有与之关联的多个第一分类概率。
在一些实施方式中，还可设置计算设备804以基于各第一分类器所关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类为显示第二细胞数量。
在一些实施方式中，还可设置计算设备804以将多个第二分类器应用于各图像以基于多个第一分类概率中的至少一个来确定各图像与各第二分类器关联的第二分类概率。在一些实施方式中，多个第一分类概率中的至少一个与各图像时间相邻的多个图像中的一个或多个相关联。在一些实施方式中，多个图像是延时系列图像。在一些实施方式中，第一分类概率中的至少一个和第二分类概率与相同的独特第一细胞数量关联。在一些实施方式中，多个图像是延时系列图像。
在一些实施方式中，可设置计算设备804以基于第二组训练图像设置多个第二分类器，该训练图像显示与各第二分类器关联的独特第三细胞数量。在一些实施方式中，第二组训练图像中的各图像不同于第一组训练图像中的所有图像。
在一些实施方式中，还可设置计算设备804以将多个第二分类器应用于各图像以确定各图像与各第二分类器相关的第二分类概率。在一些实施方式中，各第二分类器与独特第三细胞数量关联，并且各第二分类器确定各图像的第二分类概率，其依据是多个细胞特征，且进一步依据是多个第一分类概率中的一个或多个所关联的一个或多个其他细胞特征，这些第一分类概率与各图像时间相邻的多个图像中包含的一个或多个图像相关联。在一些实施方式中，第二分类概率表示在各图像中显示与各第二分类器关联的独特第三细胞数量的第二估计似然性。多个图像中的各图像从而具有与之关联的多个第二分类概率。在一些实施方式中，与各第二分类器关联的独特第三细胞数量选自下组：1个细胞、2个细胞、3个细胞和4个或更多个细胞。在一些实施方式中，与各第二分类器关联的独特第三细胞数量与多个第一分类器中的一个对应分类器所关联的独特第一细胞数量相同。
在一些实施方式中，还可设置计算设备804以基于各第二分类器所关联的独特第三细胞数量和与之关联的多种第二分类概率将各图像分类为显示第四细胞数量。在一些实施方式中，还可设置计算设备804以将细化算法应用于多个图像以基于多个图像来确定分类为显示第四细胞数量的多个图像中的一个或多个反而显示与第四细胞数量不同的第五细胞数量。
在一些实施方式中，还可设置计算设备804以基于各图像中的第四细胞数量确定一个或多个细胞的细胞活性参数。在一些实施方式中，确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔以及胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和配子配合与第一次胞质分裂之间的时间间隔。
在一些实施方式中，还可设置计算设备804以从第一时间顺序系列图像中提取系列特征信息并且基于系列特征信息将分类器应用于第一时间顺序系列图像。在一些实施方式中，系列特征信息表示第一结果并且与第一时间顺序系列图像的全部关联。在一些实施方式中，还可设置计算设备804以通过提取第一时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息并基于局部特征信息和多个码字确定系列特征信息来提取系列特征信息。
在一些实施方式中，还设置计算设备804以通过将局部特征信息与一个或多个簇关联来确定系列特征信息，一个或多个簇中的各簇与多个码字中的一个对应码字关联。还设置计算设备804以确定一个或多个码字在第一时间顺序系列图像中出现的频率，其中系列特征信息包括一个或多个码字在第一时间顺序系列图像中出现的频率。在一些实施方式中，多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
在一些实施方式中，还设置计算设备804以通过无监督学习从至少一个细胞的多个未标记图像中确定多个码字中的各码字。
在一些实施方式中，还设置计算设备804以基于系列特征信息训练分类器，该系列特征信息与多个时间顺序系列图像中的各图像关联，其中多个时间顺序系列图像中的各图像与多个结果中的一个关联。在一些实施方式中，还设置计算设备804以通过从多个时间顺序系列图像中的各图像提取系列特征信息来训练分类器。在一些实施方式中，与多个时间顺序系列图像中的一个相关联的系列特征信息表示多个结果中关联的一个，并且与多个时间顺序系列图像中的一个的全部关联。
在一些实施方式中，还可设置计算设备804以通过提取多个时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息并基于该局部特征信息和多个码字确定系列特征信息来提取系列特征信息，这些码字通过无监督学习从至少一个细胞的多个未标记图像中确定。在一些实施方式中，还设置计算设备804以通过将局部特征信息与一个或多个簇关联来确定系列特征信息，其中一个或多个簇中的各簇与多个码字中的一个对应码字关联。还设置计算设备804以确定一个或多个码字在多个时间顺序系列图像中一个或多个的各图像中的出现频率。系列特征信息包括一个或多个码字中的各码字在多个时间顺序系列图像中的一个或多个中的各图像中的出现频率。在一些实施方式中，多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。在一些实施方式中，还设置计算设备504以通过无监督学习从至少一个细胞的多个未标记图像中确定多个码字中的各码字。
图9显示根据本发明一个实施方式的计算设备804。计算设备804至少包括处理器912、存储器914、输入/输出模块(I/O)916和由总线(未显示)连接的连接接口918。在一些实施方式中，存储器914储存一组可用于实现计算设备804(用于自动化细胞分类)的可执行程序(未显示)。此外或或者，可使用处理器912来执行图8所示的用于自动化细胞分类计算设备804。处理器912可包括图9所示的模块的各种组合，如图像模块920、训练模块934、分类模块936、结果确定模块938、学习模块940和显示模块942。
可设置图像模块920以接收一个或多个细胞的多个图像。也可设置图像模块920以获取第一时间顺序系列图像，如测试图像408，并获取一个或多个细胞的多个时间顺序系列图像，如训练图像402-1至402-N。在一些实施方式中，图像模块520也获取学习图像。
可设置分类模块936以将多个第一分类器应用于一个或多个细胞的多个图像以确定各图像与各第一分类器关联的第一分类概率。各第一分类器可与独特第一细胞数量关联。还可设置分类模块936以基于多个细胞特征确定各图像的第一分类概率，这些细胞特征包括一个或多个机器习得的细胞特征。第一分类概率可表示在各图像中显示与各第一分类器关联的独特第一细胞数量的第一估计似然性。多个图像中的各图像从而具有与之关联的多个第一分类概率。
还可设置分类模块936以基于各第一分类器所关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类成显示第二细胞数量。各第二分类器可与独特第三细胞数量关联。各第二分类器可确定各图像的第二分类概率，其依据是多个细胞特征，并进一步依据多个第一分类概率中的一个或多个所关联的一个或多个补充细胞特征，这些第一分类概率与各图像时间相邻的多个图像中包含的一个或多个图像相关联。第二分类概率可表示各图像中显示与各第二分类器关联的独特第三细胞数量的第二估计似然性。多个图像中的各图像从而具有与之关联的多个第二分类概率。还可设置分类模块936以基于各第三分类器所关联的独特第四细胞数量和与之关联的所述多种第二分类概率将各图像分类为显示第四细胞数量。
还可设置分类模块936以将细化算法应用于多个图像以基于多个图像确定分类为显示第四细胞数量的多个图像中的一个或多个反而显示与第四细胞数量不同的第五细胞数量。
可设置计算设备936以将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序系列图像的分类概率。该分类概率表示第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性。第一结果包括在与分类器相关的细胞发育的多个结果中。还设置分类模块936以基于分类概率和分类器所关联的多个结果将第一延时系列图像分类为显示第一结果。可在所示的处理器912上实现分类模块936。补充或替代地，可在存储器914上实现分类模块936。
可设置训练模块934以基于第一组训练图像设置多个第一分类器中的各分类器，该训练图像显示与各第一分类器关联的独特第一细胞数量。在一些实施方式中，还可设置训练模块934以基于第二组训练图像设置多个第二分类器，这些训练图像显示与各第二分类器关联的独特第三细胞数量。
在一些实施方式中，还可设置训练模块934以从第一时间顺序系列图像中提取系列特征信息，其中还设置分类模块936以基于系列特征信息将分类器应用于第一时间顺序系列图像。在一些实施方式中，还设置训练模块934以通过将局部特征信息与一个或多个簇关联来确定系列特征信息，该一个或多个簇中的各簇与多个码字中的一个对应码字关联，并且设置学习模块940以通过无监督学习确定来自至少一个细胞的多个未标记图像的多个码字中的各码字。
在一些实施方式中，处理器912还可包括边界检测模块922、假设生成模块924、假设选择模块926、映射模块932、细胞活性参数确定模块933和图像相似性确定模块941，用于追踪细胞活性，如下述实施例2和3所详述。
在一些实施方式中，处理器912还可包括置信模块928和可靠性确定模块930用于人胚胎活力筛选，如下述实施例2和3所详述。
在一些实施方式中，所述处理器还包括选择模块944、分值确定模块948、评分模块950和归类模块952用于自动化胚胎评分和/或归类，如下进一步所述。
图10显示了按照本发明的一个实施方式的自动化基于图像的细胞分类的方法1000。在一些实施方式中，可具体通过计算设备804并通过分类模块932来进行方法1000的至少一部分。在步骤1010中，对一个或多个细胞的多个图像各自应用多个第一分类器，以确定各图像与各第一分类器关联的第一分类概率。各第一分类器与独特第一细胞数量关联，并基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征。第一分类概率可表示在各图像中显示与各第一分类器关联的独特第一细胞数量的第一估计似然性。多个图像中的各图像从而具有与之关联的多个第一分类概率。
在步骤1020中，基于与各第一分类器关联的独特第一细胞数量和与之关联的多种第一分类概率将各图像分类为显示第二细胞数量。
在步骤1030中，将多个第二分类器应用于各图像以确定各图像与各第二分类器关联的第二分类概率。各第二分类器与独特第三细胞数量关联并确定各图像的第二分类概率，这是基于多个细胞特征，并进一步基于多个第一分类概率中的一个或多个所关联的一个或多个其他细胞特征，这些第一分类概率与各图像时间相邻的多个图像中包含的一个或多个图像相关联。第二分类概率表示各图像中显示与各第二分类器关联的独特第三细胞数量的第二估计似然性，从而多个图像中的各图像具有与之关联的多个第二分类概率。
在步骤1040中，基于与各第二分类器关联的独特第三细胞数量和与之关联的多个第二分类概率将各图像分类为显示第四细胞数量。
在一些实施方式中，自动化细胞分类的方法包括将多个第一分类器应用于一个或多个细胞的多个图像中的每一个来确定各图像与各第一分类器关联的第一分类概率。各第一分类器与独特第一细胞数量关联，并基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征。所述第一分类概率表明所述与各第一分类器关联的独特第一细胞数量显示在各图像中的第一评估似然性，从而各所述多个图像具有与之关联的多种第一分类概率。
在一些实施方式中，自动化细胞分类的方法还包括基于各第一分类器所关联的独特第一细胞数量和与之关联的多个第一分类概率将各图像分类为显示第二细胞数量。
在一些实施方式中，与各第一分类器关联的独特第一细胞数量选自下组：1个细胞、2个细胞、3个细胞和4个或更多个细胞。
在一些实施方式中，基于第一组训练图像设置多个第一分类器中的各分类器，该组训练图像显示与各第一分类器关联的独特第一细胞数量。
在一些实施方式中，多个细胞特征包括一个或多个手工细胞特征。
在一些实施方式中，自动化细胞分类的方法还包括将多个第二分类器应用于各图像以基于多个第一分类概率中的至少一个确定各图像中与各第二分类器相关的第二分类概率。
在一些实施方式中，多个第一分类概率中的至少一个与各图像时间相邻的多个图像中的一个或多个关联。
在一些实施方式中，多个图像是延时系列图像。
在一些实施方式中，第一分类概率中的至少一个和第二分类概率与相同的独特第一细胞数量关联。
在一些实施方式中，自动化细胞分类的方法还包括将多个第二分类器应用于各图像以确定各图像中与各第二分类器关联的第二分类概率。各第二分类器与独特第三细胞数量关联。各第二分类器确定各图像的第二分类概率，这是基于多个细胞特征，并且进一步基于与多个第一分类概率中的一个或多个关联的一个或多个其他细胞特征，这些第一分类概率与各图像时间相邻的多个图像中包含的一个或多个图像相关联。第二分类概率表示各图像中显示与各第二分类器关联的独特第三细胞数量的第二估计似然性，从而多个图像中的各图像具有与之关联的多个第二分类概率。自动化细胞分类的方法还包括基于与各第二分类器关联的独特第三细胞数量和与之关联的多种第二分类概率将各图像分类为显示第四细胞数量。在一些实施方式中，多个图像是延时系列图像。
在一些实施方式中，与各第二分类器关联的独特第三细胞数量选自下组：1个细胞、2个细胞、3个细胞和4个或更多个细胞。
在一些实施方式中，基于第二组训练图像设置多个第二分类器中的各分类器，该训练图像显示与各第二分类器关联的独特第三细胞数量。
在一些实施方式中，第二组训练图像中的各图像不同于第一组训练图像中的所有图像。
在一些实施方式中，与各第二分类器相关的独特第三细胞数量与多个第一分类器中相应的一个相关的独特第一细胞数量相同。
在一些实施方式中，自动化细胞分类方法还包括基于各图像中的第四细胞数量确定一个或多个细胞的细胞活性参数。在一些实施方式中，确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和配子配合与第一次胞质分裂之间的时间间隔。
在一些实施方式中，自动化细胞分类的方法还包括将细化算法应用于多个图像以基于多个图像确定分类为显示第四细胞数量的一个或多个图像反而显示与第四细胞数量不同的第五细胞数量。
在一些实施方式中，细化算法是Viterbi算法。
在一些实施方式中，自动化细胞分类方法还包括基于各图像中的第二细胞数量确定一个或多个细胞的细胞活性参数。在一些实施方式中，基于各图像中第二细胞数量确定一个或多个细胞的细胞活性参数。
在一些实施方式中，自动化细胞分类的方法还包括基于确定的细胞活性参数将预测标准应用于一个或多个细胞以确定在多个具体结果中包含的预测结果。在一些实施方式中，多个图像中所示的一个或多个细胞选自下组：人胚胎、一个或多个卵母细胞、和一个或多个多潜能细胞。
在一些实施方式中，多个第一分类器是设置成进行二元分类的AdaBoost分类器。
在一些实施方式中，多个细胞特征中的各特征是一种或多种以下类型：形状类型、织构类型和边缘类型。
在一些实施方式中，一个或多个机器习得的细胞特征中的至少一个是通过从多个学习图像的无监督学习学到的。
图11显示了按照本发明的一个实施方式用于基于图像的胚胎结果确定的方法1100。
在步骤1110中，将分类器应用于一个或多个细胞的第一延时系列图像以确定第一延时系列图像的分类概率。该分类概率可表示第一延时系列图像所示的一个或多个细胞发育的第一结果的估计似然性。第一结果包括在与分类器相关的细胞发育的多个结果中。
在步骤1120中，基于与分类器和分类概率关联的多个结果可将第一延时系列图像分类为显示第一结果。
在一些实施方式中，该方法还可包括从第一延时系列图像中提取特征向量，其中特征向量是基于第一延时系列图像的各图像。该特征向量可包括一个元素，该元素是基于机器习得的细胞特征所关联的码字在各第一延时系列图像中的出现频率。
在一些实施方式中，该特征信息是基于从多个延时系列图像中的一个或多个提取的特征向量。从多个延时系列图像中的一个或多个提取的特征向量可基于包含在多个延时系列图像中的一个或多个中的各图像。
在一些实施方式中，从特征向量中提取与机器习得的细胞特征关联的码字，该特征向量从多个延时系列图像中的一个或多个中提取，并且其中特征信息包括该码字。在一些实施方式中，机器习得的细胞特征是以下类型中的一种或多种：边缘类型、织构类型和形状类型。在一些实施方式中，多个结果包括以下结果对中的一种或多种：胚泡和停滞；移植和非移植；以及妊娠和非妊娠。
在一些实施方式中，分类概率是第一分类概率，并且基于与多个延时系列图像中的各图像关联的特征信息进一步设置分类器以确定补充分类概率。在一些实施方式中，对第一延时系列图像进行分类还基于这些补充分类概率。在一些实施方式中，第一分类概率大于各补充分类概率。
在一些实施方式中，该分类器是AdaBoost分类器。在一些实施方式中，第一延时系列图像中的一个或多个细胞与多个延时系列图像中的各图像中的一个或多个细胞是相同细胞类型，所述细胞类型选自：人胚胎、一个或多个卵母细胞、和一个或多个多潜能细胞。
在一些实施方式中，基于图像的结果分类方法包括将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序序列图像的分类概率。该分类概率表示第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性。第一结果包括在与分类器相关的细胞发育的多个结果中。
在一些实施方式中，基于图像的结果确定方法还包括基于分类器和分类概率所关联的多个结果将第一延时系列图像分类为显示第一结果。
在一些实施方式中，基于图像的结果确定方法还包括从第一时间顺序系列图像中提取系列特征信息，其中基于系列特征信息将分类器应用于第一时间顺序系列图像。
在一些实施方式中，系列特征信息表示第一结果并且与第一时间顺序系列图像的全部关联。
在一些实施方式中，提取系列特征信息包括提取第一时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息并基于局部特征信息和多个码字确定系列特征信息。
在一些实施方式中，确定系列特征信息包括将局部特征信息与一个或多个簇关联，这一个或多个簇中的各簇与多个码字中的一个对应码字关联，并且确定这一个或多个码字在第一时间顺序系列图像中的出现频率。系列特征信息包括一个或多个码字中各码字在第一时间顺序系列图像中的出现频率。
在一些实施方式中，多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
在一些实施方式中，通过无监督学习从至少一个细胞的多个无标记图像中确定多个码字中的各码字。
在一些实施方式中，基于图像的结果确定方法还包括基于系列特征信息训练分类器，该系列特征信息与多个时间顺序系列图像中的各图像关联，多个时间顺序系列图像中的各图像与多个结果中的一个关联。在一些实施方式中，训练分类器包括从多个时间顺序系列图像中的各图像提取系列特征信息。在一些实施方式中，与多个时间顺序系列图像中的一个相关联的系列特征信息表示多个结果中有关联的一个，并且与多个时间顺序系列图像中的一个的全部关联。在一些实施方式中，提取系列特征信息包括提取与多个时间顺序系列图像中的一个或多个的一部分关联的局部特征信息并基于该局部特征信息和多个码字确定系列特征信息，该码字通过无监督学习从至少一个细胞的多个未标记图像中确定。
在一些实施方式中，确定系列特征信号包括将局部特征信息与一个或多个簇关联，一个或多个簇中的各簇与多个码字中的一个对应码字关联，并且确定一个或多个码字在多个时间顺序系列图像中的一个或多个中的各图像中的出现频率，其中该系列特征信息包括这一个或多个码字中的每一个在多个时间顺序系列图像中的一个或多个中的各图像中的出现频率。在一些实施方式中，多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。在一些实施方式中，通过无监督学习从至少一个细胞的多个无标记图像中确定多个码字中的各码字。
在一些实施方式中，第一时间顺序系列图像是延时系列图像。在一些实施方式中，多个结果包括以下结果对中的一个或多个：成胚和停滞；移植和非移植；以及妊娠和非妊娠。在一些实施方式中，该分类器是AdaBoost分类器。在一些实施方式中，一个或多个细胞选自下组：人胚胎、一或多个卵母细胞、和一或多个多潜能细胞。
实施例
实施例1
该实施例展示了多级胚胎阶段分类方法以估计在早期人胚胎发育的延时显微镜视频中多个时间点处的细胞数量。提出2级分类模型以在时空环境中分类胚胎阶段。采用一组丰富的区别性胚胎特征，这些特征是从胚胎图像手工或自动习得。然后Viterbi算法用细胞计数概率和时间图像相似性量度来进一步细化胚胎阶段。使用总共389个人胚胎视频对提出的方法进行定量评价，得到的总体胚胎阶段分类精确度为87.92％。
引言
已经确认从人胚胎的延时显微镜视频中测得的时间/形态-动态参数，如2细胞阶段和3细胞阶段的持续时间与人胚胎的质量相关联，并且因此可用于选择用于移植至IVF患者的具有高发育能力的胚胎。精确并客观地测量这些时间参数需要可标识延时成像过程期间的人胚胎的阶段(即，细胞数量)的自动化算法。本实施例聚焦于将人胚胎分成四个阶段，即，1-细胞、2-细胞、3-细胞和4-或更多细胞。由于胚胎形态变化、闭塞和成像限制，该问题可能有挑战性。
本实施例展示了在早期人胚胎发育的延时显微镜视频中分类胚胎阶段的3级方法。本研究使用机器学习技术进行人胚胎阶段分类，用于提取临床结果的预测参数。可易于将该分类方法和所习得的胚胎特征(即，特征包(BoF))适用于各种成像形式，包括其他细胞分类和有丝分裂检测问题。
方法
图12显示了按照本发明的一个实施方式的基于图像的细胞分类的示例性方法。考虑到用延时显微镜获取的人胚胎视频1210，从视频的各帧提取得一组丰富的62个标准手工特征和200个自动习得的特征包。1级Adaboost分类模型1220由4个Adaboost分类器组成，这些分类器经训练使用这262个特征将一个类别从其余类别中区分开。使用该分类模型对各帧独立地进行1级分类。2级Adaboost分类模型1230也由4个Adaboost分类器组成，这些分类器用包括262个特征和从1级分类概率计算出的补充特征的增强特征组进行训练。2级Adaboost设计成利用局部时域环境并细化1级分类结果。在3级下(见附图标记1240)，Viterbi算法整合现有知识，强化数量非减的细胞，并生成全局环境中的最终胚胎阶段分类结果。
胚胎特征
胚胎特征包括62个手工特征(22个灰度共生矩阵(GLCM)、10个Gabor特征和5个区域性质)以及200个从胚胎图像中自动习得的特征包。GLCM、LBP和Gabor特征是分类问题熟知的织构特征。Hessian特征是从强化细胞边缘的Hessian-过滤图像的第一本征值计算出的统计数据。从通过应用最短路径算法以在极坐标图像空间中提取胚胎边界得到的粗胚胎掩模来计算区域性质(面积、凸包点数量、坚固性、离心率和周长)。
图13A和13B显示了一个示例的特征包，显示(a)从具有已知码本的稀疏检测的描述符和致密取样的描述符生成的致密和稀疏出现直方图的示例；和(b)由k-均值聚类生成的聚类(外观码字)的4个示例。特征包(BoF)基于关键点描述符如SIFT。本实施例采用基础SIFT描述符来证明BoF的有效性。致密取样的描述符1310A和稀疏检测的描述符1310B都用于该方法中。采用K-平均聚类用来自SIFT描述符(128-维向量)的200个码字来建立码本，这些码字提取自训练胚胎图像。各簇1320A-1320D表示胚胎的固有织构图案，并且其质心保存为码字之一。对给定的测试图像，首先提取描述符，然后通过将各描述符硬分配至一个码字来量化。最终的BoF(1330A、1130B)是表示码字频率的出现直方图。
其他的2级特征是从1级Adaboost的分类条件概率输出计算的时域环境特征。在各帧中，计算其局部相邻帧(例如，5帧)的分类条件概率的均值、中值、最大、最小和标准偏差并加入原始特征组。
2级Adaboost分类模型
采用one-vs-all方案来用二元Adaboost分类器处理这种多类型分类问题。或者，也可使用AdaBoost.M1或Adaboost.M2，其为离散AdaBoost的多类别扩展。在2级Adaboost分类模型的各级有4个Adaboost分类器。各Adaboost分类器由一组基桩(basestump)分类器组成并训练成将一个类别与其他类别区分开。对于针对类别i∈{1,2,3,4}进行训练的Adaboost分类器，其图像帧输出是
P ( y t = i | x t ) = &Sigma; k = 1 N a i k h i k ( x t ) &Sigma; k = 1 N a i k ... ( 1 )
其中xt是提取的框架t的特征矢量，aik是基本分类器的权重t，hik∈{0,1}是基本分类器的输出，并且P(yt＝i|xt)是标准化为[0.1]的分类条件概率(图12)。
时间图像相似性
除了在提出的方法中的胚胎图像以外，BoF也用于计算时间图像相似性估量1250(图12)，该估量随后由Viterbi算法用来定义状态转换概率。给定2个连续胚胎帧的标准化BoF直方图，基于这两个直方图的Bhattacharyya距离来定义帧t处的时间图像相似性。时间图像相似性的一个示例示于图14。基于BoF的时间相似性量度是无配准的。图中的这些“下降”是阶段转变的良好指示。
全局胚胎阶段细化
在所提出方法的3级中，采用Viterbi算法在全局环境内细化胚胎阶段。问题是推导最大化后验概率P(Y|X)的胚胎最佳状态顺序：
Y ^ = arg m a x Y ( Y | X ) , ... ( 2 )
其中，Y＝{y1…,yr}是状态顺序，X＝{x1,.....xr}是表示胚胎图像的特征向量。
Viterbi算法递归搜索最可能的状态顺序的权重Vt,i，以时间t处的各阶段i结束。
V1，i＝P(x1|y1＝i)P(y1＝i)，…(3a)
V t , i = P ( x t | y t = i ) max j ( P ( y t = i | y t - 1 = j ) V t - 1 , j ) , t &NotEqual; 1.... ( 3 b )
其中P(y1＝i)表示第一帧处各类别的先验概率，P(xt|yt＝i)是观察概率，并且P(yt＝i|yt-1＝j)是转变概率。由于胚胎总是从1-细胞阶段开始，对于i＝1，P(y1＝i)设为1，而对于其他阶段，P(y1＝i)设为0。如果假定4阶段对于其余帧是同等概率的，则观察概率P(xt|yt＝i)简单地是2级Adaboost的分类条件概率输出。转变概率P(yt＝i|yt-1＝j)定义为帧依赖的状态。
自动化胚胎阶段分类
转移矩阵： A ( t ) = d ( t ) 1 - d ( t ) 0 0 0 d ( t ) 1 - d ( t ) 0 0 0 d ( t ) 1 - d ( t ) 0 0 0 1 …(4)
其中d(t)是之前的部分中定义的时间图像相似性。这种转移矩阵强化了数量非减的细胞并且整合了时间图像相似性量度。当两个连续帧几乎相同(即，d(t)接近1)时，转移矩阵倾向于没有胚胎状态变化。
实验研究
为了评价所提分类方法的性能，从多个临床点收集人胚胎视频并且基于分类精确度和细胞分裂检测率来评价分类。
数据组和真实情况
视频获取系统由一个倒置数字显微镜组成，其经改造用于暗视场照明。每5分钟获取胚胎图像持续最长达2天直至大部分的胚胎达到4-细胞阶段。保留各胚胎视频的前500帧用于分析并且各帧裁剪成151x151像素的尺寸。训练数据含有327个人胚胎视频(各类别分别有41741、38118、7343和69987个样品)并且我们在几个临床点获取的测试数据含有389个人胚胎视频(各类别分别有47063、48918、9386和89133个样品)由于3-细胞阶段通常非常短，使用的3-细胞训练样品比其他类别少。
两位真人专家来标注当第一细胞分裂、第二细胞分裂和第三细胞分裂发生时的帧。实际的分裂帧是这两位专家所作标注的平均。从细胞分裂实测转化各帧的胚胎阶段的实测。
评价结果
训练数据组分为两半，分别用于培训1级和2级Adaboost分类器。用桩(stump)作为基本分类器并且各Adaboost分类器含有100个桩。
在第一次评价中，将所提方法预测的胚胎阶段与实测进行比较。表3显示了方法各级的总体分类精确度和各类别分类精确度。最终分类结果的混淆矩阵示于表4。从结果中可以看出各级在前一级的基础上改善了总体分类精确度。在最终结果中正确分类超过90％的1-细胞和4-或更多细胞胚胎。由于3-细胞训练样品的缺少及其与2-细胞和4-或更多细胞胚胎的相似之处，1级Adaboost仅达到7.79％的准确度。精确度由2级Adaboost增加至10.71％并且由3级Viterbi算法进一步改善至20.86％。
表3.不同级的分类性能
１-细胞 2-细胞 3-细胞 4-或更多 总计
1级 87.96％ 77.45％ 7.79％ 85.03％ 80.10％
2级 88.04％ 72.05％ 10.71％ 92.94％ 82.53％
3级 91.95％ 85.58％ 20.86％ 94.14％ 87.92％
表4.最终分类结果的混淆矩阵
1-细胞 2-细胞 3-细胞 4-或更多
1-细胞 43276（91.95％) 3399(7.22％) 245(0.52％) 143(0.3％)
2-细胞 643(1.31％) 41866(85.58％) 2518(5.15％) 3891(7.95％)
3-细胞 5(0.05％) 4070(43.36％) 1958(20.86％) 3353(35.72％)
4-或更多 0(0％) 2620(2.94％) 2603(2.92％) 83910(94.14％)
在第二评价中，由分类检测到的3个分裂帧与3个实际胚胎分裂帧相比较。所估计的分裂帧如果与实测在一定容差内，则被认为是真阳性，否则被认为是假阳性。实测的分裂帧如果在某些容差内没有预测的分裂帧则被认为是假阴性。
图15显示了按照本发明的一个实施方式从示例性的3级分类方法得到的细胞分裂检测的(a)精确率和(b)召回率随偏移容差变化的示例性结果。针对三种子集特征生成精确回归曲线以评估其对分类性能的分别贡献。从图15中可以看出BoF胜过手工特征(针对表1所述，区域性质和GLCM+LBP+Hessian+Gabor)，并且BoF和手工特征的组合达到最高的性能。例如，在10-帧容差下，由组合的特征集实现84.58％的精确度和75.63％的召回率。
本实施例展示了在早期人胚胎发育的延时显微镜中有效分类胚胎阶段的分类方法。当应用于从多个临床点收集的大测试数据组时，所提出的方法实现总共87.92％的分类精确度。
实施例2
如前所述，本发明的一些方面还可针对细胞活性追踪进行操作。因此本发明的一些方面可操作用于自动化非侵入细胞活性追踪。在一些实施方式中，自动化非侵入细胞活性追踪用于不通过侵入性方法(如注射染料)确定一个或多个细胞的特性。细胞活性追踪可应用于一个或多个细胞的一个或多个图像。该图像可以是时间顺序系列的图像，如延时系列的图像。多个图像中所示的细胞可以是任何感兴趣的细胞。例如，该细胞可以是具有一个或多个细胞的人类胚胎。这类感兴趣细胞的其他示例包括但不限于卵母细胞和多潜能细胞。
在一些实施方式中，对各图像中数个细胞感兴趣，并且可通过本发明的一个实施方式确定。例如，细胞的数量可表示处于单细胞期、双细胞期、三细胞期、四细胞期等中的一个或多个时期的胚胎。在一些实施方式中，四细胞期表示四个或更多个细胞。替代或补充地，对各图像中细胞的几何形状感兴趣，并且可通过本发明的一个实施方式确定。细胞的几何形状可包括细胞的形状和/或细胞的排列。
在一些实施方式中，可通过每个图像选择多个假设中的一个来确定细胞的这些特性中的一个或多个。所选择的假设可以是在时间顺序系列图像中最可能的假设顺序，并且可包括最拟合细胞可观察到的几何特性(一个或多个图像中所示的几何特征)的一组形状。在一个实施方式中，几何特征可包括与一个或多个细胞中的各细胞关联的边界信息，如边界点和/或边界区段。可将各边界点和/或边界区段映射到具体细胞(或无细胞)。这种映射可以是明示的或暗示的。替代或补充地，形状可拟合与各细胞关联的边界点和/或边界区段。这些形状可以是椭圆形，或其他合适的形状，如B样条或其他光滑形状。应理解，在本说明书中，提及对与边界区段拟合的形状也指对与一个或多个细胞中的各细胞关联的边界点和/或其他几何特征拟合的形状。在一个实施例中，可基于多个假设推导来选择假设，如数据驱动的近似推导。
每个图像的多个假设各自包括细胞的推导的特性，如推导的细胞数量和/或推导的细胞几何形状。每个图像的多个假设可基于图像中所示细胞的几何特征。可能存在各细胞的表示到一个或多个与各细胞关联的边界点和/或边界区段的映射。这种映射可以是明示的或暗示的。替代或补充地，形状可与各细胞关联的边界点和/或边界区段拟合，而不产生细胞和与各细胞关联的边界点和/或边界区段之间的明示映射。在本说明书中，提及细胞的边界区段和涉及这些区段的操作(如映射、生成、合并等)是特定实施方式的示例，并且不将本发明的范围限制于涉及边界区段的实施方式。
在一个实施方式中，细胞边界区段是可基于细胞图像确定的可观察的几何信息的示例。另一个示例是细胞边界点。在一个实施方式中，每个图像的多个假设中的各假设可被视为通过细胞边界特征标签表示细胞的推导数量和/或推导几何形状，这些标签表示各细胞的表象到一个或多个与各细胞关联的边界区段的映射(由各假设推导)。细胞边界特征标签可以是细胞边界区段标签。优选地，每个图像跨多个假设的解空间覆盖细胞边界区段标记的离散组，这是可能表示细胞的特定类型形状的代表所有可能组的参数的连续组小得多的解空间。例如，为了追踪具有各自由5个连续参数(例如，长轴长度、短轴长度、椭圆中心的x-坐标，椭圆中心的y-坐标和偏转角)所限定椭圆的4个细胞，该解空间具有20个连续维度。相反，各K边界区段的标签可具有5个离散值中的一个(例如，0表示没有分配到细胞，或者1-4表示分配到4个细胞中具体的一个)，总共仅5K种可能的解。这通过利用来自图像的细胞边界区段信息显著缩小了解空间，使假设选择更易于处理和可靠。
在一些实施方式中，一旦细胞边界区段被标记，可将细胞边界区段组合在一起并拟合除椭圆以外的形状，如由大量的连续参数表示的更复杂形状。例如，胚胎内的卵裂球可明显偏离椭圆。优选地，覆盖细胞边界标签离散组的解空间的维数不变(在上述示例中，仍然5K种可能的解，其中存在K个边界区段)。这不同于覆盖表示可能代表细胞的特定类型形状的所有可能组的多参数连续组的解空间的维数，后者随限定形状的连续参数的数量增加而增加。
在一些实施方式中，通过对细胞边界区段标签求解(solving)，细胞边界区段可不分配至这些细胞中的一个。优选地，这可使对异常值和假阳性边界进行更稳健的处理，异常值和假阳性边界是与细胞边界数据处理相关的常见问题。
在一些实施方式中，根据基于每个图像的假设选择所确定的细胞的特性，可确定与胚胎健康和/或命运(结果，如胚胎是否期望达到胚泡和停滞)相关的参数。这些参数可包括但不限于以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和从配子配合到第一次胞质分裂之间的时间间隔。从一个或多个这些参数中，可以自动化非侵入方式确定胚胎植入女性对象中的发育能力的指示。
本发明的一些方面还可操作用于自动化非侵入细胞活性追踪与无追踪方法(如分类和/或帧间相似性确定)联用以增强对与胚胎健康和/或命运/结果相关的细胞/胚胎特性的确定。
图16显示了按照本发明的实施方式对细胞发育如胚胎发育的图像应用自动化细胞追踪的非限制性实施例。系列时间顺序图像16021至1602400(所示的16021、1602150、1602250和1602400)分别显示了图像16021、1602150、1602250和1602400中的各图像所示的一个或多个细胞16001/1、1600150/1发育成1600150/c……1600400/1发育成1600400/c(其中c是图像1602i中所示的细胞数量，并且对于各图像1602i，c可以是不同值)。在该实施例中，人胚胎中包含一个或多个细胞1600。下标1至400是与各单独图像1602i相关的标签，其中该标签可以是时间指示、帧数或另一种用于区分图像1602及其内容的合适标签。在该实施例中，对于图像16021，显示了一个细胞16001/1。对于图像1602150，显示两个细胞1600150/1至1600150/2。对于图像1602250，显示三个细胞1600250/1至1600250/3。对于图像1602400，显示四个细胞1600400/1至1600400/4。
在确定细胞边界区段之后，对于各图像16021、1602150、1602250和1602400分别显示鉴定的细胞边界区段16041/1、1604150/1至1604150/k、……1604400/1至1604400/k(其中k是确定在图像1602i中的细胞边界区段的数量，并且对于各图像1602i，k可以是不同的值)。为了清楚起见，细胞边界区段1604不覆盖于图像1602上，并且用不同的线性和厚度来显示相邻的细胞边界区段1604。
对图像16021、1602150、1602250和1602400分别显示每张图像的一个或多个假设16061/1、1606150/1至1606150/n、……1606400/1至1606400/n(其中n是图像1602i的假设数量，并且对于各图像1602i，n可以是不同的值)。在该实施例中，每张图像1602i的n个假设1606i/1至1606i/n中的每一个基于将各细胞1600i/c的表象映射到与该假设的各细胞1600i/c关联的边界区段1604i/1至1604i/k中的一个或多个。在其他实施方式中，假设1606中的各假设可基于其他类型的可观察几何信息，如边界点。在其他实施方式中，不需要细胞到边界点和/或边界区段的明示映射。在该实施例中，各假设1606包括一个或多个细胞1600的推导特性，其包括一个或多个细胞1602的推导数量和一个或多个细胞1600的推导几何形状。例如，与假设1606400/1关联的细胞1600的推导数量是4(与假设1606400/1关联的椭圆1610的数量)，并且用椭圆1610的形状和排列中的一个或多个来表示与假设1606400/1关联的一个或多个细胞1600的推导几何形状。在另一个实施例中，椭圆1610可以是另一种合适的形状，如B样条或其他光滑形状。注意到由于图像16021仅显示确定的一个细胞16001/1和一个细胞边界区段16041/1，可以只有一个与图像16021关联的假设：假设16061/1，将细胞16001/1映射到细胞边界区段16041/1。替代或补充地，可能存在与图像16021关联的第二假设：不将任何细胞映射到细胞边界区段16041/1的假设(未显示)。
在该实施例中，选择假设1612i/n(包括该实施例中的假设16061/1、1606150/2、1606250/2和1606400/1)。分别显示各图像16021、1602150、1602250和1602400与各所选假设16061/1、1606150/2、1606250/2和1606400/1关联的细胞1600的特性1608，包括与所选假设16061/1、1606150/2、1606250/2和1606400/1关联的细胞1600的数量和一个或多个细胞1600的几何形状。为了清楚起见，细胞特性1608未覆盖于图像1602上。
图16B显示按照本发明的一个实施方式的图16A中细胞边界区段1604的放大图。分别显示各图像16021、1602150、1602250和1602400的标识的细胞边界区段16041/1、1604150/1至1604150/k、……1604400/1至1604400/k。为了清楚起见，相邻细胞边界区段1604交叉画有不同图案。在该实施例中，用实心黑色填充显示的细胞边界的部分1610是细胞边界的封闭部分，其并不包含在细胞边界区段1604中。
图17A显示按照本发明的一个实施方式的细胞追踪框架1700的非限制性实施例。细胞追踪框架1700可与人胚胎发育关联。追踪框架1700可基于概率图模型(PGM)1702，其捕获相关的未知量，如细胞边界特征、表示将各细胞的表象映射到与各细胞关联的一个或多个边界区段的边界特征标记、细胞几何学(如细胞形状)、细胞分裂事件和/或细胞数量随时间变化。在一些实施方式中，并针对图16A，PGM1702是可跨越获取图像1602的时间间隔的链图，并且图中的各结点是变量。PGM1702可以是表示椭圆形细胞的随机演化的条件随机场(CRF)。PGM1702中两个变量之间的联系指出它们之间的直接统计学相关性。PGM202包括结点17021/o至1702400/o以及结点17021/i至1702400/i，结点17021/o至1702400/o分别表示可从图像16021至1602400观察到的信息(迹象)，以及结点17021/i至1702400/i分别表示待基于细胞追踪推导的与图像16021至1602400关联的变量。扩展PGM1702的代表性结点17023/i和17023/o以说明一个时间片内可包含在PGM1702中的示例性基础结点。
在一种实施方式中，与结点17023/i关联的可观察迹象可包括从图像16023观察到并由一个或多个区段结点1704表示的细胞边界区段特征。区段结点1704表示区段其中是点的集合，在各帧t处，存在Kt区段，各自具有点，k∈｛1...Kt｝。待推导的与结点17023/o关联的变量可包括由一个或多个标签结点1706表示的区段与细胞标签、由一个或多个椭圆描述符结点1708表示的形状描述符(在该实施例中，椭圆描述符)、由细胞结点1710的数量表示的细胞数量、和由一个或多个细胞分裂事件结点1712表示的细胞分裂事件。标签结点1706表示的标签将区段分配至细胞在该实施例中，Nmax＝4个细胞。椭圆描述符结点1708表示椭圆细胞结点1710的数量表示细胞数量Ｎ(t)∈{1，…Nmax｝。细胞分裂事件结点1712表示分裂事件d(t)∈｛0，１｝。各椭圆可与其母体关联。
PGM1702捕获至少三种类型的环境(context)：(1)将任何给定细胞的边界像素互相关联的胞内形状和几何相干性；(2)将胚胎内不同细胞的形状互相关联的胞间几何环境；和(3)将多个图像帧1602之间的形状和拓扑学关联的时域环境(参见图1A)。胞内形状和几何相干性是指属于一个细胞的边界点之间的关系，并且涉及，例如，区段生成和约束区段合并(参见图18A)。胞间几何环境是指不同细胞(如胚胎内)的形状的相互关系。例如，同一胚胎中不太可能含有非常大的细胞和非常小的细胞，并且含有非常大的细胞和非常小的细胞的假设可被排除(或得分低)。时域环境是指，例如，细胞形状随着时间和细胞分裂的形变。
下面的实施例3详细显示PGM202中表示的变量上的联合概率分布的数学形式的一个示例，在此不重复讨论。实施例3的式(8)显示式(7)(实施例)中显示的联合概率分布中包含的观察模型的示例。概括式(8)(实施例3)的示例性观察模型以包含可与细胞活性追踪联用的与无追踪方法关联的信息，如分类和/或帧间相似性确定。当使用不含无追踪方法的细胞活性追踪时，观察模型的示例示于下面的式(5)，与分类器关联的项设为零并且与帧间相似性关联的项δ(t)设为0.5(使得分裂事件在相邻图像1602之间是同样可能或不可能的(参见图16A))。φ2(d(t)，δ(t))从而成为常数并可从观察模型中降低。
Φ(e(t)，l(t)，Ｎ(t)，d(t)，s(t))＝φ0(e(t))(φ1(e(t)，l(t)，N(t)，s(t)))...(5)
在式(8)(实施例3)中，编码椭圆、区段和标签的相容性的项φ1(e(t)，l(t)，N(t)，s(t))捕获将区段s(t)与细胞相关的几何相干性和胞内形状。编码几何约束的项φ0(e(t))捕获胞间几何环境，其将胚胎内不同细胞的形状互相关联。式(7)和(11)(实施例3)中所示的运动(转换)模型Ψ(e(t-1：t)，N(t-1：t)，d(t))t＝2...T捕获将图像帧之间的形状和拓扑学相关联的时域环境。
图17B显示按照本发明的另一个实施方式的细胞追踪框架1720的非限制性实施例。在一个实施方式中，细胞追踪框架1720可与人胚胎发育关联。细胞追踪框架1720的多种方面与针对图17A描述的细胞追踪框架1700的方面相似，并且这些方面不在此重复。PGM1722在许多方面与针对图17A所述的PGM1702相似，只是PGM1722还包括额外的可观察信息。这种额外可观察信息可包括由一个或多个图像相似性估量结点1724表示的图像相似性估量δ(t)∈[0,1]，和/或由一个或多个分类器结点1726表示的细胞数量分类器图像相似性估量可与相邻图像1602之间出现一个或多个细胞分裂事件的似然性相关(参见图16A)。分类器可以是AdaBoost或支持向量机(SVM)分类器，可以是单级或多级，并且可以从手工和/或机器习得的一组有区别图像特征来估计细胞数量的后续概率(在一个实施方式中，以下式(8)(实施例3)中的)。该分类器可设置成进行如上所述的基于图像的细胞分类。
在一个实施方式中，如上针对图17B所述，细胞活性追踪的使用可联合无追踪方法，如分类和/或帧间相似性确定。下面的实施例3详细显示PGM222中表示的变量上的联合概率分布的数学形式的一个示例，并且在此不重复该讨论。
图18A显示按照本发明的一个实施方式用于得到细胞边界特征信息的方法300。该细胞边界特征信息可包括细胞边界区段1604(参见图1)。在一个实施方式中，细胞边界区段1604可以是人胚胎中包含的一个或多个细胞的边界区段。确定各图像1602(参见图16)的细胞边界点(方框1802)。然后基于细胞边界点生成细胞边界区段(方框1804)。然后一对或多对细胞边界区段可合并成细胞边界区段1604(方框1806)。区段合并旨在将生成的细胞边界区段(来自方框1804)组合成较小组的较长区段以降低将一个或多个细胞中各细胞的表象映射到与这一个或多个细胞中各细胞关联的一个或多个边界区段的组合总数。这些潜在的映射可将区段与由一个或多个标签结点1706表示的细胞标签(参见针对图17A的描述)关联，并且是来自图1602的可观察迹象，其可用作降低假设选择期间考虑的假设数量的部分(参见针对图18B的描述)。
对于细胞边界点的提取(方框1802)，在一个实施方式中，边界点的提取可使用Hessian算子(operator)，其为各图像1602的各像素提供边界强度和定向角(参见图16)。Hessian算子可表示为二阶偏导数的矩阵。可基于该矩阵的本征值来得到各图像1602各像素处的边界强度，并且可基于该矩阵的本征向量来得到各图像1602各像素处的定向角。在一个实施方式中，从将Hessian算子应用于各图像1602所得的Hessian图像可以被限定阈值(thresholded)。将Hessian算子应用于各图像1602随后进行阈值限定的效果可强化图像1602内的细胞边界点和其他像素之间的对比度，无论是细胞1600的内部或外部(参见图16)。在其他实施方式中，可使用用于边界点提取的其他方法，包括但不限于强度梯度(例如，Canny边缘检测和/或Sobel边缘检测)、织构梯度、基于区域的方法和/或计算机视觉领域的普通技术人员已知的其他合适方法。
对于边界区段的生成(方框1804)，在一个实施方式中，可通过定向局部检索已提取的一组细胞边界点中包含的相干边界像素来生成边界区段。如前文详述，边界区段生成是基于胞内形状和几何相干性，其将任意给定细胞的边界像素互相关联。例如，基本沿着椭圆形细胞边界并基本覆盖椭圆边界的边界点可被认为与该细胞是高度相干并相容的。在另一个方面，随机散射的点是非相干的并且不与任何具体细胞相容。这种情况中假设细胞形状是椭圆，但是也可假设其他合适的形状模型(例如但不限于B样条)。在一个实施方式中，以从下往上的方式发生边界区段的生成和将边界区段映射到细胞的表象。通过检索沿着或接近光滑曲线的点可确定边界区段。如果这些点持续沿着完整的椭圆，边界区段与椭圆相同。但是细胞边界也可以是打断和非连续的(如由于其他细胞的遮蔽)，因此在检测区段之后，通常将边界区段映射到细胞的表象。
在一个实施方式中，可将边界点按照以下两个竞争标准分成边界区段对象：(1)产生尽可能少的区段；和(2)将各区段与图像1602中至多一个细胞关联。换而言之，在一个实施方式中，生成边界区段的目标在于将初始边界点分成尽可能少的区段，但是当不确定它们是否代表相同的细胞时宁可分裂区段。随后的区段合并(方框1806)的目标在于解决这些模糊性。
在一个实施方式中，可通过脊搜索区段生成来生成边界区段。脊搜索寻找沿途出现连续峰的路径。脊搜索的类似方法是山脉的顶部漫步并沿着该山脉的方向寻找下一个峰。可在通过边界点提取(方框1802)从图像1602中生成的Hessian图像上进行这种检索。脊检索由发现Hessian图像中数值最强的像素作为脊的进入点开始。然后继续沿着从原始像素开始的轨线顺着通过边界点提取(方框1802)从图像1602对各像素生成的Hessian定向角前进。其沿着轨线搜索另一个高值像素，并重新开始。可重复这一过程直至在期望区域中没有高值像素，或者如果发现的高值像素具有的定向角度与现有的定向角差别过大，这可表示区段的终点。当完成一个区段的脊搜索时，开始新的脊搜索。持续该过程直至所有的高值Hessian图像像素已被覆盖。
在其他实施方式中，可使用用于边界区段生成的其他方法，包括但不限于在边界点上的广度优先搜索，在最小生成树上排序边界点然后在不连续的点上断开该树，和/或计算机视觉领域的普通技术人员已知的其他合适方法。
对于合并边界区段(方框1806)，区段合并的目标是将生成的边界区段(方框1804)合并成较小组的较长区段以减少将区段映射到细胞的组合总数。在一个实施方式中，对于任意两个区段，区段合并可基于以下四个标准中的一个或多个：(1)相对拟合误差；(2)终点的连续性；(3)角度的连续性；和(4)曲率一致性。相对拟合误差标准可包括拟合三条曲线，两个输入区段各一条，还有一条用于合并后区段。如果合并后区段的拟合误差优于个体输入区段的拟合误差，合并的可能性增加。终点的持续性标准考察如果待合并的两个区段延续则它们互相有多紧密。距离更紧密则合并更为可能。角度持续性标准基于类似的概念，不过是基于合并区段的结合点处的角度以及如果个体区段持续至结合点时它们各自的角度。这些角度互相越接近，越可能合并。曲率持续性标准可以是如果两个待合并区段的平均曲率互相接近，越可能合并。
在一个实施方式中，可基于分析所生成边界区段的几何性质(方框1806)以确定它们能够合并成较小组的较长区段的合并推导来合并区段(方框1804)。可将边界区段的合并阐述成图形上的图形分区，其顶点是区段，且边缘表示区段的合并，其中分区数量事先未知。
图18B显示了按照本发明的一个实施方式用于将细胞1600的表象(参见图16)映射到细胞边界特征信息并细化假设的方法1810，这些假设各自包含一个或多个细胞1600的推导特性。在一个实施方式中，细胞1600可包含于人胚胎。在各图像1602(参见图16)中，生成与胚胎发育关联的假设，各假设与细胞边界区段标签关联，这些标签将各细胞1600的表象映射到一个或多个细胞边界区段1604。在各图像1602i处，可使用从来自之前的图像1602i-1的就细胞1600i-1/n的假设1606i-1/n中选择的数个“本源”假设1811来确定与图像1602i关联的初步假设1813(方框1812)。可通过对与一个或多个本源假设1811关联的椭圆进行取样和扰动生成与图像1602i关联的初步假设1813中包含的一个或多个推导特性，如与初步假设1813中的各假设关联的椭圆相关的推导几何参数。在一个实施方式中，可能存在与可示于图1602i-1的各细胞数量(如1、2、3和4个细胞)关联的一个本源假设1811。或者，可存在与可示于图1602i-1的各细胞数量关联的更多或更少个本源假设1811。在一个实施方式中，可能存在1个、2个、3个或4个初步假设1813。或者，可能存在较大量的初步假设1813。在初始图像16021中，可通过发现对细胞16001/1而言最佳拟合边界区段的椭圆来生成初始假设。
在一个实施方式中，可有一个或多个测得区段未分配给细胞1600中任一个的表象。优选地，这可使对异常值和假阳性边界进行更稳健的处理，异常值和假阳性边界是与细胞边界数据处理相关的常见问题。
接着，可基于来自现有图像(图像1602i)的可观察几何信息从初步假设中生成假设1815(方框1814)。在一个实施方式中，可通过最大期望(EM)优化来生成假设1815(方框1814)以基于至少来自图像1602i的可观察几何信息得到数据驱动的细化假设。来自图像1602i的可观察几何信息可包括图像1602i中所示的细胞1600i/n的形状和排列中的一个或多个。可由多个形状参数表征细胞1600i/n的形状。例如，对于椭圆形状，形状参数可包括但不限于：长轴长度、短轴长度、椭圆中心的x-坐标，椭圆中心的y-坐标和偏转角。表征细胞1600i/n排列的参数可与以下一个或多个相关(但不限于此)：一个或多个细胞1600i/n之间的重叠、位置和取向。优选地，通过考虑到来自现有图像1602i以及过往图像16021至1602i-1的可观察几何信息，可细化假设1915以更紧密地追踪全组的可及的、可观察几何信息，从而使假设选择更易于处理和可靠。
在一个实施方式中，方框1814中的假设1915的生成可包括一个或多个方框1816、1818和1820。然后可在图像1602i处生成各细胞1600i/n的表象与边界区段1604i/k的映射(方框1816)，所述各细胞1600i/n的表象与各初步假设1813相关，所述边界区段1604i/k获自对图像1602i应用的区段合并(方框1806)。在一个实施方式中，可通过将各区段1604i/k分配至在各初步假设1813中包含的最接近形状(如椭圆)来得到该映射。例如，跨区段1604i/k中所有点的平均距离最小的椭圆可以是区段1604i/k的相应椭圆。可以由一个或多个标签结点1706表示的细胞标签来表示这些映射(参见图17)。
接着，然后可基于来自方框1813的映射来对初步假设1816进行细化以得到图像1602i处的细化假设1815(方框1818)。理想地，图像1602i中所示的各细胞1600i/n的完整边界将可见，因此映射到初步假设1813的边界区段1604i/k将覆盖各细胞1600i/n的完整边界。然而，在更典型情形中，图1602i中所示细胞1600i/n的一个或多个的边界部分可能是不可见的，并且可因此实际上有缺失。对于这些部分可能需要生成估计(如预期值)。在一个实施方式中，与各初步假设1813关联的每个椭圆的多个部分经鉴定没有任何与映射到各初步假设1813的边界区段1604i/k关联的邻近数据点。在一个实施方式中，可从与各初步假设1813关联的各椭圆的参数表示中生成多个等距分布的点(如50至100个，或任意其他合适的数量)。不具有与映射到初步假设1813的边界区段1604i/k关联的足够邻近数据点的这些点可各自作为估计的数据点包含在椭圆中。
然后对初步假设1813进行细化以在图像1602i处得到细化的假设1815(方框1818)可包括将形状(例如但不限于椭圆)与各组边界区段1604i/k拟合，该边界区段具有与细胞标签相同的区段(由一个或多个标签结点1706表示(参见图17))。各细化的假设1815包括这些新拟合的椭圆中的一个或多个，各椭圆与由细化的假设1815表征的关联细胞1600i/n关联。
接着，可基于来自图像1602i的可观察几何信息来对各细化的假设1815进行评分(方框1820)，这些几何信息包括但不限于从图像1602i所示的细胞1600i/n确定的边界区段1604i/k。在一个实施方式中，为了得到各细化的假设1815，可重复方框1816、1818和1820直至拟合质量(拟合误差)收敛或者达到最大数量的迭代次数。可在各图像1602i处生成多个细化的假设1815。例如，在给定图像1602i处生成的细化假设1815的数量的代表性值的范围为50至200，虽然可能生成更多或更少。
在一个实施方式中，给定帧的颗粒评分标准包括但不限于拟合质量(拟合误差)和覆盖率。拟合质量(其范围可以是0至1)和/或拟合误差(其范围可以是0至无穷)表明与由细化假设1815表征的各细胞1600i/n关联的细胞边界点(包括对于细胞边界的缺失部分生成的任何估计的数据点)将所拟合的形状(例如但不限于椭圆)与各细胞1600i/n拟合的良好程度。覆盖率表示由细化假设1815表征的与各细胞1600i/n关联的细胞边界点(包括对于细胞边界的缺失部分生成的任何估计的数据点)覆盖所拟合形状的边界的良好程度。在一个实施例中，与覆盖率关联的一个或多个参数的范围可以是0至1，其中0可表示没有覆盖，而1可表示完全覆盖，反之亦然。另外，与覆盖关联的其他参数可表征正常点(inlier)覆盖，其是由细化算法1815表征的与各细胞1600i/n关联的细胞边界点(包括从缺失部分的细胞边界生成的估计的数据点)被认为是所拟合形状的正常点的比率。例如，如果这些细胞边界点中的一个或多个离拟合的形状太远，则可排除它们。当其发生时，正常点覆盖会由此降低。
接着，可从细化假设1815中选择图像1602i+1的本源假设1817(方框1822)。在一个实施方式中，可能存在与可示于图1602i的各细胞数量(如1、2、3和4个细胞)关联的一个本源假设1817。或者，可存在与可示于图1602i的各细胞数量关联的更多或更少个本源假设1817。可使用细化假设1815的集合及其评分来大致估计细化假设1815上的分布，其然后边缘化(marginalize)以得到细胞数量的大致分布。然后可使用该边际分布来选择本源假设1817。例如，本源假设1817可根据基于图像16021至1602i确定的以下一个或多个来选择：各图像16021至1602i处细胞数量的大致最大边际估量值、各图像16021至1602i处细胞数量的大致联合分布、和/或各图像1021至102i处细胞数量的边际分布。针对图18C、19A和19B进一步描述了这些分布。
图18C显示了按照本发明的一个实施方式用于从假设1606(参见图16A)中选择假设1612的方法1830。图19A-19B显示了按照本发明的实施方式为图16A的图像1602选择假设1612的示例性方法。在一个实施方式中，假设1612的选择是对图17A的PGM1702的大致推导。或者，假设1612的选择是对图17B的PGM1722的大致推导。或者，假设1612的选择可以是对任意合适的概率图模型的大致推导。参考图18C、19A和19B，在一个实施方式中，可基于图像16021至1602N的细化假设1815(参见图18B)确定各图像16021至1602N处的细胞数量的大致最大边际估量1902(方框1832)。在该实施例中，大致最大边际估量1902针对1个细胞(1902A)、2个细胞(1902B)、3个细胞(1902C)和4个细胞(1902D)。将大致最大边际估量的值(y-轴)对图像帧数(1至400)作图。然后，可基于大致最大边际估量1902确定各图像16021至1602N的细胞数的大致联合分布(方框1834)。然后，在时间顺序图像16021至1602N之间确定假设1612的最可能顺序(方框1836)。在一个实施方式中，假设1612的最可能顺序表示为对各图像16021至1602N处的细胞数量的边际分布1904。可基于大致联合分布(方框1838)或以任意其他合适方式确定细胞数量的这些边际分布1904。选择的假设1612与细胞1600的特性1608关联，这些特性包括各图像16021至1602N(在图19A和19B所示的实施例中，N＝400)中所示的细胞1600i/n的估计数量，以及分别如各图像16021、1602150、1602250和1602400所示与各所选假设1612关联的一个或多个细胞1600的几何形状。可基于1个细胞(1904A)、2个细胞(1904B)、3个细胞(1906C)和4个细胞(1904D)的边界分布1904之间的交叉点确定各图像16021至1602N中所示的细胞1600i/n的估计数量1906。将边际分布值(y-轴)对图像帧数(1至400)作图。图像1602i之间的各边际分布1904的值表示基于所选假设1612，与边际分布1904关联的细胞数量示于图像1602i中的概率。也将细胞1600i/n(y-轴)的估计数量1906的值对图像帧数(1至400)作图。
下面的实施例3详细显示大致最大边际估量1602(参见实施例3等式(13)和(14))和各图像16021至1602N的细胞数量的大致联合分布(参见实施例3的式(15))的数学形式，并且本文中不再重复该讨论。概括实施例3的式(15)以包含可与细胞活性追踪联用的无追踪方法如分类和/或帧间相似性确定的关联信息。当使用细胞活性追踪而不含无追踪方法时，细胞数量的大致联合分布的示例示于下面的式(6)，与分类器关联的项设为零并且与帧间相似性关联的项δ(t)设为0.5(使得分裂事件在相邻图像1602之间的可能性或不可能性相同(参见图16A))。φ２（d(t)，δ(t))从而成为常数并可从大致联合分布中降低。
P ^ ( N ( t ) ) &Proportional; &Pi; &tau; = 2 t ( &Phi; ^ M ( N ( t ) ) ) &psi; 2 ( N ( t - 1 : t ) , d ( t ) ) ... ( 6 )
针对方框1836和1838，可使用置信传播(beliefpropagation)确定对各图像16021至1602N处的细胞数量的边际分布1904。可使用置信传播来整合现有知识、强化约束(如非减的细胞数量)并融合信息，如细胞追踪结果、分类概率和时间图像相似性以在全局环境(globalcontext)内生成胚胎阶段估计(如各图像16021至1602N所示的细胞1600i/n的估计数量1906)。在一个实施方式中，可使用和积(sumproduct)置信传播来提供各图像16021至1602N处的细胞数量的联合分布，以及各图像16021至1602N处的细胞数量的边际分布1904。可使用这组分布来确定推导的细胞分裂次数的置信度估量(参见针对图19C的描述)。
在一个实施方式中，由假设选择考虑的约束(方框1836)是以下之一：(1)与假设1606关联的一个或多个细胞1600的推导数量在时间顺序图像系列16021至1602N之间随着时间是非减的；(2)在一个或多个细胞1600的推导数量变化之后，一个或多个细胞1600的推导数量在时间顺序图像系列16021至1602N的第一子集中稳定一段时间；和/或(3)一个或多个细胞1600的推导数量在时间顺序图像系列16021至1602N的第二子集中随着时间减少不超过1个，然后在第二子集结束时增加。约束(2)可促使消除一些假设1606，如发生在预期生物时间段以外的细胞分裂事件。约束(3)可应用于人胚胎发育情况，其中一个或多个细胞1600分裂，然后重组，然后在之后再次分裂。
在一个实施方式中，上述对PGM1702和/或1722的大致推导(参见图17A和17B)可以从左到右的方式(从图像16021到图像1602N)发生，之后是事件推导(针对图18C描述)。替代或补充地，可发生另一次从右到左扫过图像1602(从图像1602N到图像16021)以细化假设1815并搜索其他未探索的假设。替代或补充地，可发生一次或多次扫过图像1602的一个或多个子集。
在一个实施方式中，可省略事件推导(针对图18C所述)。在该实施方式中，各图像16021至图像1602N的本源假设1817(参见图18B)可以是所选假设1612。
在图19A的实施方式中，使用细胞活性追踪而不使用无追踪方法。或者，在图19B的实施方式中，细胞活性追踪与分类和帧间相似性确定联用。图像相似性估量1905可与相邻图像1602之间一个或多个细胞分裂事件出现的可能性相关(参见图16A)。分类估量1903可包括细胞数量的估计后续概率(在一个实施方式中，的式(8)(实施例3)中的)，其可从一组手工和/或机器习得的可区分图像特征中确定。
在一些实施方式中，可使用与多个图像1602关联的所选假设1612来基于一个或多个参数如细胞活性参数、时间参数、非时间参数和/或类似参数来生物活性的表征作确定、说明和/或另行关联。例如，当多个图像1602是发育胚胎的延时图像时，各所选假设1612可与图像1602显示某细胞数量(例如但不限于1个细胞、2个细胞、3个细胞和/或4个细胞)的似然性关联，并且可用于推导细胞分裂时间/事件。在这类实施方式中，所选假设1612可反映约束，如针对图18C所述的那些。因此，可使用所选假设1612来对多个图像1602确定第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔(表2中的t5)、从配子配合到第一次胞质分裂的时间间隔(表2中的S)和/或其他合适参数(如表2中所示的其他参数)。
在一些实施方式中，所述参数可包括如表2中描述和/或引用的一种或多种参数，其中国际申请日为2012年5月31日的PCT公开号WO2012/163363“基于卵裂和形态学的胚胎质量评估(EmbryoQualityAssessmentBasedonBlastomereCleavageandMorphology)”通过引用全文纳入本文。
本发明的方面还可操作地用于确定各所选假设的置信度估量(例如假设1612(参见图16A))。各所选假设的置信度估量可基于所选假设的似然性估计。例如，如果由接近1的边界概率和可任选的1个细胞、2个细胞、3个细胞和/或4个细胞区域之间的边界分布1904中的急剧转变表示胚胎发育中的各时期(包括但不限于1细胞、2细胞、3细胞和4细胞期)，则与所选假设1612关联的细胞1600i/n的估计数量1906可被认为是可靠的并具有高置信度。可以任意合适的方式表示置信度估量，如概率(0和1之间)、百分比(0％和100％之间)和/或类似。
通过这种方式，本发明的方面还可操作地基于置信度估量确定所选假设是否是可靠的。例如，如果置信度估量达到或超过阈值，则所选假设可被认为是可靠的，否则被认为是不可靠的。换而言之，可靠性确定可以是二元选择标准，并且可用于自动或手工确定是否使用或放弃假设，和/或与假设关联的图像，和/或多个图像等。在一些实施方式中，可靠性确定可以是影响与所选假设关联的细胞活性参数的确定和/或交流的一个因素。例如，在一些实施方式中，如果所选假设中至少一个对于各不同细胞特性是可靠的，则可确定细胞活性参数。因此，例如，如果与1个细胞、2个细胞、3个细胞和4个细胞中中每一个所关联的至少一个所选假设1612被认为是可靠的，则将确定特性108的细胞活性参数(参见图16A、16B)。在一些实施方式中，如果至少最小数量的所选假设是可靠的，则可确定细胞活性参数。
在一些实施方式中，只有在至少一个所选假设对于各不同细胞数量(例如，1个细胞、2个细胞等)被认为是可靠时才显示细胞活性参数。在一些实施方式中，细胞活性参数的显示带有与所选假设关联的可靠性指示。通过这种方式，本发明的方面可操作地防止向用户显示低置信结果，和/或警告用户低可靠度结果。
在一些实施方式中，基于图像的可靠性确定，可对多个图像中显示的细胞应用选择标准。换而言之，可将基于图像的可靠性确定转化成对图像中所示细胞的生物确定。例如，选择标准可与细胞的发育能力关联，即，细胞如果移植是否会胚泡形成，是否会在雌性对象中着床、当在雌性对象中着床时是否会导致妊娠和/或类似能力。在一些实施方式中，如果至少一个假设被确定是不可靠的，则一个或多个细胞可被认为(例如)不适于移植。在一些实施方式中，可向用户传达应用这种选择标准的结果。通过这种方式，用户可基于本文所述的基于图像的选择标准确定来决定是否放弃或使用细胞。
图19C显示了按照本发明的实施方式用于确定所选假设(如图16A的所选假设1612)的置信度估量和应用这种置信度信息的示例性和非限制性方法。各图像16021至1602N中所示的细胞1600i/n的估计数量1906与所选假设1612(在该实施例中，针对1个细胞、2个细胞、3个细胞或4个细胞)关联，该假设具有在各图像1602i处的最高似然性。然后，确定各所选假设的置信度估量(方框1908)。置信度估量可代表一个或多个所选假设1612在图像16021至1602N之间的可靠性。例如，置信度估量可基于与边际分布1904B关联的最高概率(针对2个细胞；参见图19A和19B)，或另一种合适的估量。替代或补充地，置信度估量可基于由边际分布1904表示的1个细胞、2个细胞、3个细胞和/或4个细胞区域的转变清晰度。如果由接近1的边界概率和可任选的1个细胞、2个细胞、3个细胞和/或4个细胞区域之间的边界分布1904中的急剧转变表示胚胎发育中的各时期(包括但不限于1细胞、2细胞、3细胞和4细胞期)，则与所选假设1612关联的细胞1600i/n的估计数量1906可被认为是可靠的并具有高置信度。置信度估量可以是0和1之间的值，并且可表示0％和100％之间的置信度值百分比。
接着，可通过对置信度估量定阈值来确定所选假设1612的可靠性(方框1910)。例如，如果至少一个所选假设1612对各细胞数量的置信度估量至少为阈值，则所选假设1612可被认为总体可靠。阈值可以是0和1之间的任意合适值，诸如但不限于0.5、0.6、0.7、0.8、0.9或1.0。在一些实施方式中，如果所选假设1612被认为是不可靠的，则可显示假设1612的不可靠性的指示。
接着，如果所选假设1612被认为是可靠的，和/或如果由此指出不可靠结果，则可基于对参数(如细胞分裂事件，细胞分裂和/或生长的持续时间，和/或类似参数)的表征来确定细胞活性(方框1912)。接着，可应用选择标准来确定是否接受或排除图1602中所示的胚胎用于移植(方框1914)。可基于在方框1910处进行的划定阈值来确定选择标准，并且任选地基于方框1912处进行的参数特征。
在一个实施方式中，如果基于选择标准确定至少一个假设1612是不可靠的，则可显示排除胚胎用于植入女性对象。替代或补充地，可显示胚胎植入女性对象中的发育能力的指示，其中该指示是根据基于选择标准确定的至少一个假设1612的可靠性。发育能力的排除和/或指示可与基于置信度估量的至少一个假设1612的可靠性指示一起显示。
现参考图8，描述按照本发明的实施方式用于自动化细胞追踪和用于置信度估计的系统800。在一些实施方式中，还设置显示装置806以呈现多个假设的可靠性的指示。
在一些实施方式中，可设置计算设备804用于对细胞活性进行自动化评价。在一些实施方式中，可设置计算设备804以生成多个假设，所述多个假设表征图像中所示的一个或多个细胞，从而多个假设包括基于图像中所示的一个或多个细胞的几何特征得到的一个或多个细胞的推导特性。还可设置该计算设备以从与图像关联的多个假设中选择假设。还可设置计算设备804以基于与假设关联的推导特性确定一个或多个细胞的特性。所述一个或多个细胞可包含在多细胞胚胎中。一个或多个细胞可包含于人胚胎、一个或多个卵母细胞或一个或多个多潜能细胞。
在一些实施方式中，可设置计算设备804以基于推导特性与图像中所示的一个或多个细胞的几何特征的相容性来选择假设。几何特征可包括与一个或多个细胞中各细胞关联的边界信息。边界信息可包括一个或多个边界区段。还可设置计算设备以确定与一个或多个细胞中的各细胞关联的一个或多个边界区段。
在一些实施方式中，可设置计算设备804以将一个或多个细胞中各细胞的表象映射到一个或多个边界区段。在一些实施方式中，还可设置计算设备804以将第一边界区段映射到不与细胞关联的空标识符，边界区段包含映射到各细胞的关联的一个或多个边界区段和第一边界区段。
在一些实施方式中，可设置计算设备804以基于一个或多个细胞的特性确定以下的一个或多个：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和从配子配合到第一次胞质分裂的时间间隔。
在一些实施方式中，可设置计算设备804以生成表征图像中所示的一个或多个细胞的初步假设。还可设置计算设备804来改进初步假设以基于图像中所示的一个或多个细胞的关联几何特征得到多个假设中的一个或多个。可基于将一个或多个细胞中各细胞的表象到与一个或多个细胞中的各细胞关联的一个或多个边界区段的映射来细化初步假设。
在一些实施方式中，初步假设可包括多个第一形状，所述多个第一形状各自由第一形状参数值限定，由多个第一形状中有关联的一个来表征各细胞。设置成细化初步假设的计算设备包括设置成将多个第二形状各自拟合到图像中所示的一个或多个细胞的关联几何特征。多个第一形状中的各形状和多个第二形状中的各形状可以是椭圆。或者，多个第一形状中的各形状和多个第二形状中的各形状可以是B样条。
在一些实施方式中，还可设置计算设备804来从细胞的系列时间顺序图像确定与一个或多个细胞中每一个所关联的边界信息，所述图像是包含在时间顺序系列图像中的第一图像。还可设置计算设备804以通过修改之前所选假设来生成初步假设，该之前所选假设表征时间顺序系列图像中包含的第二图像中所示的细胞，该第二图像在第一图像之前。时间顺序系列图像可以是延时系列图像。
在一些实施方式中，该图像可以是第一图像；并且设置成从表征第一图像中所示细胞的多个假设中选择假设的计算设备504可包括被设置成确定在包括第一图像的系列图像中确定假设的最可能顺序。
在一些实施方式中，系列图像可以是时间顺序系列图像。设置成确定时间顺序系列图像中的假设的最可能顺序的计算设备804可包括被设置成考虑到限制细胞中一个或多个的推导特性在两个或多个时间顺序系列图像之间如何变化的约束。该约束可选自下组：(1)一个或多个细胞的推导数量在时间顺序图像系列图像中随着时间是非减的；(2)在一个或多个细胞的推导数量变化之后，一个或多个细胞的推导数量在时间顺序系列图像的第一子集子集中稳定一段时间；和(3)一个或多个细胞的推导数量在时间顺序系列图像的第二子集子集中随着时间减少不超过1个，然后在第二子集子集结束时增加。
在一些实施方式中，一个或多个细胞的推导特性可包括一个或多个细胞的推导数量和一个或多个细胞的推导几何形状中的至少一个。一个或多个细胞的特性可包括一个或多个细胞的数量和一个或多个细胞的几何形状中的至少一个。一个或多个细胞的推导几何形状可包括一个或多个细胞的推导形状和一个或多个细胞的推导排列。一个或多个细胞的几何形状可包括一个或多个细胞的形状和一个或多个细胞的排列。一个或多个细胞的数量可以与假设关联的推导数量相同。一个或多个细胞的几何形状可与假设关联的一个或多个细胞的推导几何形状相同。
在一些实施方式中，可设置计算设备804以基于多个假设中各自所关联的一个或多个细胞的推导几何形状以及图像中所示的一个或多个细胞的关联几何特征之间的差异而从多个假设中选择假设。在一些实施方式中，可设置计算设备804以基于多个假设中的各假设所关联的一个或多个细胞的推导几何形状和图像中所示的一个或多个细胞的关联几何特征之间的相容性而从多个假设中选择假设。
在一些实施方式中，还可设置计算设备804以确定与一个或多个细胞中的各细胞关联的一个或多个边界区段。在一些实施方式中，设置成确定一个或多个细胞中各细胞的一个或多个边界区段的计算设备可包括设置为进行区段生成的计算设备，例如但不限于脊搜索区段生成。在一些实施方式中，设置成确定一个或多个细胞中各细胞的一个或多个边界区段的计算设备804可包括被设置成将第一边界区段和第二边界区段合并成第三边界区段包含于在一个或多个细胞中至少一个的一个或多个边界区段中。
在一些实施方式中，可设置计算设备804以基于对多个假设中一个或多个的似然性估计确定与多个假设关联的置信度估量。多个假设中的每一个表征与多个图像中有关联的一个或多个所示的一个或多个细胞。在一些实施方式中，还可设置计算设备804以基于多个假设中的各假设所关联的一个或多个细胞各自的推导几何形状与从该一个或多个细胞的一个或多个图像中确定的一个或多个细胞各自的边界之间的差异来选择多个假设。在一些实施方式中，还可设置计算设备804以基于多个假设中的各假设所关联的一个或多个细胞各自的推导几何形状与从该一个或多个细胞的一个或多个图像中确定的一个或多个细胞各自的边界之间的相容性来选择多个假设。
在一些实施方式中，多个图像是延时系列图像，并且对多个假设中的一个或多个的似然性的估计考虑到如下约束：各时间顺序系列图像中所示的细胞数量随着时间是非减的。
还可设置该计算设备804以基于置信度估量确定多个假设的可靠性。在一些实施方式中，多个假设中的各假设是基于以下的一个或多个：对一个或多个细胞数量的估计、对一个或多个细胞中各细胞形状的估计、和对一个或多个细胞排列的估计。
在一些实施方式中，还可设置计算设备804以检测与多个图像中的各图像中的一个或多个细胞关联的边界。多个假设中的各假设可基于关联的一个或多个边界。在一些实施方式中，各边界包含一个或多个边界区段。
在一些实施方式中，多个假设与细胞活性的表征关联，该细胞活性与一个或多个细胞的发育潜力关联。在一些实施方式中，细胞活性的表征包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和从配子配合到第一次胞质分裂的时间间隔。
在一些实施方式中，可设置显示装置806以基于细胞中一个或多个的特性显示一个或多个细胞植入女性对象中的发育能力的指示。
在一些实施方式中，还可设置显示装置806以呈现多个假设可靠性的指示，并且还可设置输入界面808来响应显示装置806的呈现接收表示一个或多个细胞的发育能力的输入。在一些实施方式中，设置显示装置806以在只有确定多个假设中的至少一个可靠时才显示细胞活性的表征。在一些实施方式中，设置显示装置以显示细胞活性的表征以及与细胞活性的表征关联的多个假设中至少一个的可靠性指示。
在一些实施方式中，还可设置计算设备804以进行分类来加强对一个或多个细胞特性的确定。替代或补充地，还可设置计算设备804以进行相似性确定来加强对一个或多个细胞特性的确定。
在一些实施方式中，还可设置计算设备804以基于置信度估量将选择标准应用于一个或多个细胞，置信度估量是作为多个假设中至少一个的可靠性确定的一部分。在一些实施方式中，选择标准与一个或多个细胞植入女性对象中的发育能力关联。在一些实施方式中，选择标准是基于置信度估量的一个或多个阈值。在一些实施方式中，设置显示装置806以显示应用选择标准的结果。
在一些实施方式中，计算设备804还可设置成如果基于选择标准确定多个假设中的至少一个是不可靠时排除所述一个或多个细胞用于植入女性对象。在一些实施方式中，还可设置显示装置806以根据基于选择标准确定的多个假设中至少一个的可靠性显示一个或多个细胞植入女性对象中的发育能力的指示。
现参考图9，在一些实施方式中，所述处理器912还包括边界检测模块922，假设生成模块924，假设选择模块926，置信度模块928，可靠性确定模块930，映射模块，和细胞活性参数确定模块933。
在一些实施方式中，可设置假设选择模块926以从表征图像中所示的一个或多个细胞的多个假设中选择一个假设。多个假设中的各假设可包括基于图像中所示的一个或多个细胞的几何特征的一个或多个细胞的推导特性。还可设置假设选择模块926以基于与假设关联的推导特性确定一个或多个细胞的特性。可在存储装置或处理装置中的至少一个中实现假设选择模块926。所述一个或多个细胞可包含在多细胞胚胎中。一个或多个细胞可包含于人胚胎、一个或多个卵母细胞或一个或多个多潜能细胞。
在一些实施方式中，可设置假设选择模块926以基于图像中所示的一个或多个细胞的几何特征与推导特性的相容性来选择假设。几何特征可包括与一个或多个细胞中各细胞关联的边界信息。边界信息可包括一个或多个边界区段。还可设置计算设备以确定与一个或多个细胞中的各细胞关联的一个或多个边界区段。
在一些实施方式中，一个或多个细胞的推导特性可包括一个或多个细胞的推导数量和一个或多个细胞的推导几何形状中的至少一个。一个或多个细胞的特性可包括一个或多个细胞的数量和一个或多个细胞的几何形状中的至少一个。一个或多个细胞的数量可以与假设关联的推导数量相同。一个或多个细胞的几何形状可与假设关联的一个或多个细胞的推导几何形状相同。
在一些实施方式中，可设置假设选择模块926以基于多个假设中的各假设所关联的细胞中一个或多个的推导几何形状以及图像中所示的一个或多个细胞的关联几何特征之间的差异从多个假设中选择假设。可设置假设选择模块926以基于多个假设中的各假设所关联的细胞中一个或多个的推导几何形状和图像中所示的一个或多个细胞的关联几何特征之间的相容性从多个假设中选择假设。
在一些实施方式中，该图像是第一图像。可设置假设选择模块926以基于在包括第一图像的系列图像中确定假设的最可能顺序从表征第一图像中所示的细胞的多个假设中选择假设。
在一些实施方式中，系列图像是时间顺序系列图像。可设置假设选择模块926以确定时间顺序系列图像中的假设的最可能顺序，考虑到限制一个或多个细胞的推导特性在两个或多个时间顺序系列图像之间如何变化的约束。该约束可选自下组：(1)一个或多个细胞的推导数量在时间顺序图像系列图像中随着时间是非减的；(2)在一个或多个细胞的推导数量变化之后，一个或多个细胞的推导数量在时间顺序系列图像的第一子集子集中稳定一段时间；和(3)一个或多个细胞的推导数量在时间顺序系列图像的第二子集子集中随着时间减少不超过1个，然后在第二子集子集结束时增加。
在一些实施方式中，可设置假设生成模块924以基于图像中所示的一个或多个细胞的关联几何特征生成多个假设。基于图像中所示的一个或多个细胞的几何特征，可设置假设生成模块924以生成表征图像中所示细胞的初步假设，和或可设置该模块以细化初步假设以得到多个假设中的一个或多个。可设置假设生成模块924以基于一个或多个细胞的表象到初步假设表征的一个或多个边界区段的映射来细化初步假设。
在一些实施方式中，初步假设包括多个第一形状，多个第一形状各自由第一形状参数值限定，一个或多个细胞中的各细胞由多个第一形状中关联的一个来表征。可设置假设生成模块924以基于将多个第二形状各自拟合到图像中所示的一个或多个细胞的关联几何特征来细化初步假设。多个第一形状中的各形状和多个第二形状中的各形状可以是椭圆。或者，多个第一形状中的各形状和多个第二形状中的各形状可以是B样条。
在一些实施方式中，可设置边界检测模块922以基于图像确定与一个或多个细胞中的各细胞关联的边界信息。还可设置边界检测模块922以从细胞的时间顺序系列图像中确定边界信息。该图像可以是包含在时间顺序系列图像中的第一图像。还可设置假设生成模块924以通过修改之前所选假设来生成初步假设，该之前所选假设表征包含时间顺序系列图像中的第二图像中所示的细胞，该第二图像在第一图像之前。
在一些实施方式中，可设置边界检测模块922以基于图像确定与细胞中一个或多个的各细胞关联的一个或多个边界区段。还可设置边界检测模块922以进行区段生成，诸如但不限于脊搜索区段生成以确定一个或多个边界区段。
在一些实施方式中，可设置边界检测模块922以基于图像确定与细胞中一个或多个的各细胞关联的一个或多个边界区段。还可设置边界检测模块922以进行区段合并以确定一个或多个边界区段中的至少一个。例如，可设置边界检测模块922以将第一边界区段和第二边界区段合并成第三边界区段包含在一个或多个边界区段中。
在一些实施方式中，可设置细胞活性参数确定模块933以基于一个或多个细胞的特性确定以下的一个或多个：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和从配子配合到第一次胞质分裂的时间间隔。
在一些实施方式中，可设置映射模块932以将一个或多个细胞中的各细胞的表象映射到所关联的由多个假设中的各假设表征的一个或多个边界区段。在一些实施方式中，边界区段可包括一个或多个边界区段和第一边界区段。可设置映射模块以将第一边界区段映射到不与细胞关联的空标识符。
在一些实施方式中，可设置置信度模块928以基于对多个假设中一个或多个的似然性估计确定与多个假设关联的置信度估量。多个假设中的每一个表征与多个图像中关联的一个或多个所示的一个或多个细胞。
在一些实施方式中，可设置可靠性确定模块930以基于置信度估量确定多个假设中至少一个的可靠性。在一些实施方式中，还可设置可靠性确定模块930以基于置信度估量将选择标准应用于一个或多个细胞。在一些实施方式中，选择标准与一个或多个细胞植入女性对象中的发育能力关联。
在一些实施方式中，多个假设是第一组假设，并且可设置假设生成模块924以确定包括第一组假设的第二组假设。第二组假设中的各假设是基于以下的一个或多个：对一个或多个细胞数量的估计、对一个或多个细胞中各细胞形状的估计、和对一个或多个细胞排列的估计。
在一些实施方式中，可设置假设选择模块926以基于多个假设中的各假设所关联的一个或多个细胞各自的推导几何形状与从该一个或多个细胞的一个或多个图像中确定的一个或多个细胞各自的边界之间的差异来选择多个假设。在一些实施方式中，各边界包含一个或多个边界区段。在一些实施方式中，可设置假设选择模块926以基于多个假设中各假设所关联的一个或多个细胞各自的推导几何形状与从该一个或多个细胞的一个或多个图像中确定的一个或多个细胞各自的边界之间的相容性来选择多个假设。在一些实施方式中，各边界包含一个或多个边界区段。
在一些实施方式中，可设置边界检测模块922以检测与多个图像中的各图像中的一个或多个细胞关联的边界。多个假设中的各假设基于关联的一个或多个边界。在一些实施方式中，各边界包含一个或多个边界区段。
在一些实施方式中，显示模块942可设置为只有确定多个假设中的至少一个是可靠时才显示细胞活性的表征。在一些实施方式中，还可设置显示模块942以显示细胞活性的表征以及与细胞活性的表征关联的多个假设中至少一个的可靠性指示。在一些实施方式中，还可设置显示模块942以显示应用选择标准的结果。在一些实施方式中，还可设置显示模块942以基于一个或多个细胞的特性、和/或基于选择标准确定的多个假设中至少一个的可靠性来显示一个或多个细胞植入女性对象中的发育能力的指示。
在一些实施方式中，可设置分类模块936以增强通过假设选择模块926对一个或多个细胞特性的确定。
在一些实施方式中，所述处理器912还可包括如上所述的结果确定模块938。
在一些实施方式中，处理器912还可包括图像相似性确定模块941。可设置图像相似性确定模块941以增强通过假设选择模块926对一个或多个细胞的特性的确定。
图20显示了按照本发明的一个实施方式用于对细胞活性进行自动化评价的方法2000。生成多个假设来表征一个或多个细胞(方框2010)。可基于一个或多个细胞的几何特征来确定一个或多个细胞的推导特性(方框2012)。接着，从多个假设选择假设(方框2020)。接着，可基于与第一假设关联的推导特性确定一个或多个细胞的特性(方框2030)。
在一些实施方式中，自动化非侵入评价细胞活性的方法包括生成表征图像中所示的一个或多个细胞的多个假设，生成多个假设包括基于图像中所示的一个或多个细胞的几何特征确定一个或多个细胞的推导特性。自动化非侵入评价细胞活性的方法还包括从与图像关联的多个假设中选择假设。该方法可包括基于与假设关联的推导特性确定细胞中一个或多个的特性。
在一些实施方式中，该一个或多个细胞包含于多细胞胚胎。
在自动化非侵入评价细胞活性的方法的一些实施方式中，选择假设是基于图像中所示的一个或多个细胞的几何特征与推导特性的相容性。几何特征可包括与一个或多个细胞中各细胞关联的边界信息。边界信息可包括一个或多个边界区段。
在一些实施方式中，自动化非侵入评价细胞活性的方法还包括将一个或多个细胞中各细胞的表象映射到一个或多个边界区段。在一些实施方式中，自动化非侵入评价细胞活性的方法还包括将第一边界区段映射到不与细胞关联的空标识符，边界区段包含映射到一个或多个细胞的各细胞的关联的一个或多个边界区段和第一边界区段。
在一些实施方式中，自动化非侵入评价细胞活性的方法还包括进行分类以增强对一个或多个细胞的特性的确定。
在一些实施方式中，自动化非侵入评价细胞活性的方法还包括进行图像相似性确定以增强对一个或多个细胞的特性的确定。
在一些实施方式中，自动化非侵入评价细胞活性的方法还包括基于一个或多个细胞的特性确定以下的一个或多个：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和从配子配合到第一次胞质分裂的时间间隔。
在一些实施方式中，一个或多个细胞的推导特性包括一个或多个细胞的推导数量和一个或多个细胞的推导几何形状中至少其一，并且一个或多个细胞的特性包括一个或多个细胞的数量和一个或多个细胞的几何形状中至少其一。在一些实施方式中，一个或多个细胞的推导几何形状包括一个或多个细胞的推导形状和一个或多个细胞的推导排列。在一些实施方式中，一个或多个细胞的几何形状包括一个或多个细胞的形状和一个或多个细胞的排列。在一些实施方式中，一个或多个细胞的数量与假设所关联的推导数量相同。在一些实施方式中，一个或多个细胞的几何形状与假设所关联的一个或多个细胞的推导几何形状相同。在一些实施方式中，基于多个假设中的各假设所关联的一个或多个细胞的推导几何形状与图像中所示的一个或多个细胞的关联几何特征之间的差异从多个假设中选择假设。在一些实施方式中，基于多个假设中的各假设所关联的一个或多个细胞的推导几何形状与图像中所示的一个或多个细胞的关联几何特征之间的相容性从多个假设中选择假设。
在一些实施方式中，自动化非侵入评价细胞活性的方法还包括基于一个或多个细胞的特性显示一个或多个细胞植入女性对象中的发育能力的指示。
在一些实施方式中，自动化非侵入评价细胞活性的方法还包括确定与一个或多个细胞中各细胞关联的一个或多个边界区段。在一些实施方式中，确定与一个或多个细胞中各细胞的一个或多个边界区段包括进行区段生成，诸如但不限于脊搜索区段生成。在一些实施方式中，确定一个或多个细胞中各细胞的一个或多个边界区段包括将第一边界区段和第二边界区段合并成第三边界区段包含在一个或多个细胞中至少一个的一个或多个边界区段中。
在一些实施方式中，自动化非侵入评价细胞活性的方法还包括生成表征一个或多个细胞的初步假设，以及细化初步假设以基于图像中所示的一个或多个细胞的关联几何特征获得多个假设中的一个或多个。在一些实施方式中，初步假设包括多个第一形状，多个第一形状各自由第一形状参数值限定，各细胞由多个第一形状中相关联的一个来表征。在一些实施方式中，细化初步假设包括将多个第二形状各自拟合到图像中所示的一个或多个细胞的关联几何特征。在一些实施方式中，多个第一形状中的各形状和多个第二形状中的各形状是椭圆。在一些实施方式中，多个第一形状中的各形状和多个第二形状中的各形状是B样条。在一些实施方式中，自动化非侵入评价细胞活性的方法还包括从细胞的时间顺序系列图像中确定与一个或多个细胞中每一个所关联的边界信息，该图像是包含在时间顺序系列图像中的第一图像，并且通过修改之前生成的假设来生成初步假设，之前生成的假设表征第二图像中所示的细胞，该第二图像包含于时间顺序系列图像中，该第二图像在第一图像之前。在一些实施方式中，时间顺序系列图像是延时系列图像。
在一些实施方式中，该图像是第一图像，并且从表征第一图像中所示的一个或多个细胞的多个假设中选择假设包括确定在包括第一图像的系列图像中确定假设的最可能顺序。在一些实施方式中，系列图像是时间顺序系列图像，并且确定时间顺序系列图像中假设的最可能顺序，考虑到限制一个或多个细胞的推导特性在时间顺序系列图像中的两个或更多个之间可如何变化的约束。在一些实施方式中，该约束可选自下组：一个或多个细胞的推导数量在时间顺序图像系列图像中随着时间是非减的；在一个或多个细胞的推导数量变化之后，一个或多个细胞的推导数量在时间顺序系列图像的第一子集中稳定一段时间；和一个或多个细胞的推导数量在时间顺序系列图像的第二子集中随着时间减少不超过1个，然后在第二子集结束时增加。
在一些实施方式中，细胞包含于人胚胎、一个或多个卵母细胞或一个或多个多潜能细胞。
图21显示了按照本发明的一个实施方式用于对细胞活性进行自动化评价(包括可靠性确定)的方法2100。基于对多个假设中一个或多个的似然性的估计确定置信度估量，置信度估量与多个假设关联(方框2110)。多个假设中的每一个表征与多个图像中有关联的一个或多个所示的一个或多个细胞。基于置信度估量确定多个假设中至少一个的可靠性(方框2120)。
在一些实施方式中，自动化评价细胞活性的方法包括基于对多个假设中一个或多个的似然性估计确定与多个假设关联的置信度估量，多个假设各自表征在多个图像中有关联的一个或多个中显示的一个或多个细胞。自动化评价细胞活性的方法还包括基于置信度估量确定多个假设中至少一个的可靠性。
在一些实施方式中，一个或多个细胞可包含于人胚胎、一或多个卵母细胞或一或多个多潜能细胞。
在一些实施方式中，自动化评价细胞活性的方法还包括基于多个假设中的各假设所关联的一个或多个细胞各自的推导几何形状与从该一个或多个细胞的一个或多个图像中确定的一个或多个细胞各自的边界之间的差异来选择多个假设。在一些实施方式中，各边界包含一个或多个边界区段。
在一些实施方式中，通过暗视场照射显微镜来获取多个图像。
在一些实施方式中，多个假设中的各假设是基于以下的一个或多个：对一个或多个细胞数量的估计、对一个或多个细胞中各细胞形状的估计、和对一个或多个细胞排列的估计。
在一些实施方式中，自动化评价细胞活性的方法还包括在多个图像中的各图像中检测与一个或多个细胞关联的边界，其中多个假设中的各假设是基于边界中关联的一个或多个边界。在一些实施方式中，各边界包含一个或多个边界区段。
在一些实施方式中，多个假设与细胞活性的表征关联，该细胞活性与一个或多个细胞的发育潜力关联。在一些实施方式中，细胞活性的表征包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和从配子配合到第一次胞质分裂的时间间隔。在一些实施方式中，自动化评价细胞活性的方法还包括，只有确定多个假设中的至少一个是可靠的，才显示细胞活性的表征。在一些实施方式中，自动化评价细胞活性的方法还包括显示细胞活性的表征和与细胞活性的表征关联的多个假设中的至少一个的可靠性的指示。
在一些实施方式中，多个图像是延时系列图像，并且对多个假设中的一个或多个的似然性的估计考虑到如下约束：各时间顺序系列图像中所示的细胞数量随着时间是非减的。
在一些实施方式中，确定多个假设中至少一个的可靠性包括基于置信度估量向一个或多个细胞应用选择标准。在一些实施方式中，选择标准与一个或多个细胞植入女性对象中的发育能力关联。在一些实施方式中，选择标准是基于置信度估量的一个或多个阈值。在一些实施方式中，自动化评价细胞活性的方法还包括显示应用选择标准的结果。在一些实施方式中，自动化评价细胞活性的方法还包括如果基于选择标准确定多个假设中的至少一个是不可靠的，则排除所述一个或多个细胞用于植入女性对象。在一些实施方式中，自动化评价细胞活性的方法还包括基于多个假设中至少一个的可靠性显示一个或多个细胞植入女性对象中的发育能力的指示，这些假设是基于选择标准确定的。
实施例3
人胚胎追踪可能面临的挑战包括高维度搜索空间、弱特征、异常值、遮蔽、缺失数据、多重相互作用的可变目标、变化拓扑学和弱运动模型。本实施例通过使用一组丰富的区别性图像和空间和时间环境中的几何特征来解决这些挑战。在一种实施方式中，问题呈现为条件随机场(CRF)框架中增强的同时划分和分类，其组合了基于追踪的方法和无追踪方法。进行多通数据驱动的在CRF上的大致推导。在389个临床图像序列的65％中，发育最初48小时的分裂事件被估量至30分钟内，这比纯粹基于追踪或无追踪方法表现出19％的改善。
增强的同时划分和分类
增强的同时划分和分类利用基于追踪的方法和无追踪方法来估计分裂事件。提取两种类型的特征并添加至CRF中。然后进行大致推导。
特征提取
在一个实施方式中，用于追踪的图像特征是图16A所示的区段1604。较少的区段1604减少了追踪的次数。在本实施例中，使用Hessian算子来提取边界点，该算子提供了各像素的强度和取向角。使用这种信息用滞后阈值对相干的边界像素进行定向局部检索。后续合并推导将区段合并成较小组的较大区段。该步骤设置为图形上的图形划分，其顶点是区段并且边缘表示合并的区段。事先不知道划分的数量。
在一个实施方式中，框架的无追踪部分使用基于细胞数量受训的每帧分类器(如针对图1A所述的分类器102)和帧间相似性估量。在本实施例中，分类器使用一组丰富的262个手工和自动习得的区别性特征。相似性估量可以是标准化互相关(NCC)。
CRF模型
本实施例寻求随着时间估计胚胎中的细胞数量和形状，如图16A的细胞1600的特性1608所示。对具有图17B中的CRF的椭圆形细胞的随机发展建模。如之前针对图17A和17B所述，在各帧t上存在Kt区段，各自具有点，k∈｛1...Kt｝，并最多达Nmax个细胞。待推导的变量是将区段分配到细胞的标签；椭圆细胞数量N(t)∈｛1，...Nmax｝；和分裂事件d(t)∈｛0，１｝。各椭圆与其母体关联。观察到区段其中是点的集合，细胞数量的分类器和图像相似性估量δ(t)∈[0，１］。相容性函数是在以下变量上：(1)在一个时间片内(观察模型Φ)或(2)跨越相邻的时间片(运动模型Ψ)。CRF将所有变量上的联合概率分布编码成与所有相容性函数的积成比例：
其中T是顺序长度而ＺＴ是标准化常数。我们感兴趣的是顺序Ｎ（t)，其最大化边际分布P(N(t))。
观察模型Φ是3个相容性函数之积：
函数编码φ0对形状的限制。第二函数将分类器与φ1结合，其编码椭圆、区段和标签的相容性，
其中是椭圆覆盖项，是区段拟合误差，而cf和cr根据经验选择。
函数φ2将分裂与相邻图像的相似性δ(t)相关联。
转化模型Ψ掌控细胞形状变形和分裂：
函数Ψ1编码潜在的细胞变形和分裂过程，
在中，Λ是变形成本的对角矩阵，而h是从母细胞到子细胞形状的非仿射变换。
在该实施例中，函数Ψ2将细胞数量N(t)约束为非减。
大致推导
本实施例从CRF中寻求最可能的顺序N(t)。以三个阶段进行大致推导：细胞计数分类、大致最大边际推导和事件推导。
细胞计数分类是无追踪部分的一部分。在本实施例中，细胞计数分类使用多级AdaBoost分类器以从一组丰富的262个手动和自动习得的区别性图像特征中估计细胞数量(式(8)中的)的后验概率。
在本实施例中，最大边际推导是基于追踪的，并且从区段推导几何形状。其通过在排除和δ(t)的残缺子图上对时间t进行优化来估计其是N(t)的未标准化最大边际估量：
其中
＝E(t-1)φ0(e(t))φ1(e(t)，s(t)，l(t)，N(t))Ψ(e(t-1：t)，N(t-1：t))...(14)
本实施例用数据驱动的顺序蒙特卡洛(DD-SMC)使这种递归最大化。在时间和估量更新之间的数据驱动的细化阶段通过将初始质点细化至具有最大期望(EM)的不完整组的边界点来减少所需的质点数量。然后从质点中取大致最大边际估量402(参见式(13)和(14))的示例性结果示于图19A和19B。分类估量403和图像相似性估量1905的示例性结果示于图19B。
事件推导将与分类器和图像相似性δ(t)结合在一起以得到细胞数量的大致边际分布在另一个含N(t)，d(t)，δ（t)和的残缺子图上进行，并且估计最可能顺序本实施例用结点是N(t)的链图来近似该子图，并且其联合分布分解为一元项(式(8))和成对项(式(10，11))。
本实施例进行置信传播以寻找边际分布1904(参见图19A和19B)。将估计的细胞数1906的值对图像帧数进行作图(参见图19A和19B)，其中不同的估计细胞数1906之间的转换时间是基于不同细胞数(在该实施例中，1-细胞、2-细胞、3-细胞和4-细胞)的边际分布1904中的交叉点。
实验结果
本实施例将算法应用于从多个IVF诊所获取并跟踪至少3天的人胚胎图像序列。每5分钟用暗视场数字显微镜获取图像并裁剪成151x151像素。
追踪性能
在327个胚胎上训练该算法并在另一组389个胚胎上测试该算法。分别估量了第一次、第二次和第三次有丝分裂的时间t1、t2和t3。两位胚胎学专家估量了实测情况用于评价。估量rmsd：算法的估量值与两位测评者的估量值之间的rms偏差。
图22显示按照本发明的一个实施方式的胚胎比例的示例性结果，对于各转变(t1，t2，t3)和所有转变，结果与测评者的偏差都在测评者之间分歧的边际m以内(rmsd<dp+m)。这里显示了可观察值的3种组合：(a)分类器概率和相似性估量(无追踪)，(b)DD-SMC最大边际(基于追踪)，和(c)所有观察值(结合)。可以看出，有时一种方法比其他方法效果更好。例如，在t3转变(最难确定)中，由于事件更复杂并且可能未用简单形状和异常假设充分建模，无追踪方法可胜过基于追踪的方法。与此相反，在t2转变中，由基于追踪的形状模型对两个细胞情况的形状和结构建模可优于由无追踪方法中的特征包进行建模。但在所有情况中，结合两种方法产生显著的改善。以评测者间差异的30分钟内rmsd来估量转变的数据组的占比见表5所示，其中有各单独转变时间以及所有转变时间的占比数据。在该数据组上，使用组合方法，有65.3％的胚胎在全部三次转变被追踪，且rmsd都到在评测者间差异的30分钟内。该结果可与单独用无追踪方法和基于追踪的方法的相应rmsd相比较，其分别是54.5％和55.0％。对无追踪方法和基于追踪的方法的相对改善分为19.8％和18.7％。应注意到在这些情况中有超过21％其评测者间分歧超过30分钟。
这表明可结合基于追踪的方法和无追踪方法以实现对很大部分的临床数据的自动化追踪。
表5.就无追踪方法、基于追踪的方法和组合方法而言，评测者的30分钟内rmsd追踪结果的数据组占比
方法 t1 t2 t3 所有
无追踪 0.899 0.624 0.606 0.545
基于追踪 0.897 0.678 0.542 0.550
组合 0.933 0.722 0.673 0.653
结论
本实施例中展示的框架将多个特征及其环境组合在利用基于追踪的方法和无追踪方法的统一CRF框架中。证明了在65％的测试数据中的自动化追踪与人工专家估量值相当，并且还可在有更多已标记数据可用时通过利用和学习更多已标记数据以及通过扩展推导以探索更大部分的解空间来进一步增强自动化追踪。
自动化胚胎评分和/或归类
本发明方面还可操作地确定多个胚胎中包括的各胚胎的评分和/或归类。各胚胎的评分和/或归类可基于关联各胚胎发育潜力的分值，例如各胚胎的阳性繁殖结果(如胚胎移植后怀孕)的质量。所述分值可基于各种特征类型确定，例如但不限于：细胞形状、织构和/或边缘特征(参考表1所述)；时间特征(例如参考表2所述的各种时间参数)；生物特征(例如但不限于参考表2所述的各种其他参数，各胚胎相关的分裂度，基因缺陷可能性，非整倍性可能性)；和时空特征(例如但不限于时间特征和空间特征的组合，如下所述)。所述特征可与胚胎和/或胚胎内的单独细胞相关联。所述特征可为图像特征，其基于一个或多个图像中所示的胚胎和/或胚胎内的单独细胞的特性，和/或一个或多个图像的特性的其他性质，例如但不限于图像背景强度。在一个实施方式中，所述特征可为关联图像中所示胚胎的边界的图像特征，例如跨边界强度概况、跨边界织构概况、边界曲率、和边界皱褶。所述特征还可包括可由医学专业人员评估的形态和其他特征，其可提供作为自动化胚胎评分和/或归类的输入。所述分值可基于患者信息和/或临床相关信息，如下所述。所述分值还可基于关联时间特征的置信度测量来确定，如图19C所示。例如，基于参考图19C所述的置信度测量是否高于或低于阈值，一个或多个时间特征可包括在所述分值确定内或排除在外。
在一些实施方式中，所述分值可取任何大量数值，例如至少10,20,50,100,1000个或数量级大于1000(实际上无穷的)的数量的数值。分值可为实测值或整数值。所述分值可基本连续至计算分值的装置的精度限度。分值可就一范围例如[0,1]进行标准化，但这并非必须。较高分值可关联较高质量胚胎，或者较低分值可关联较高质量胚胎。
优选地，基于可设为任何大量数值的分值对胚胎进行评分和/或归类允许相似质量的胚胎发生分化。例如，患者可有多个胚胎，其通过基于结果的分类器和/或基于细胞的分类器(均如上所述)关联相同类别。或者或此外，患者可有多个胚胎，其具有通过细胞活性追踪确定的相似特征(也如上所述)。若(例如)所述类别和/或胚胎特征关联胚胎的良好发育潜力，可能需要进行自动化胚胎评分和/或归类以便于基于该评分和/或归类对用于移植的胚胎的子集进行选择。如上所述，胚胎自动化评分和/或归类可基于广泛的各种特征，并且因此可提供相比(例如)胚胎形态的视觉比较更精确的胚胎评分和/或归类。而且，可能需要对较大胚胎组内的患者胚胎进行评分和/或归类，例如来自群体的患者胚胎，所述群体例如单一临床群体、临床组群体或总体群体。这样，可获得个体患者的胚胎的实际质量的更可靠测量，这提供了关联仅个体患者胚胎的相对评分以外的信息。
此外，存在归类胚胎而非评分胚胎、或者归类胚胎以及评分胚胎有益的各种情况。例如，可能存在直接高精度比较胚胎分值不可靠的情况，例如来自不同临床的可能经历不同环境条件的胚胎之间的比较。出于上述原因及其他，在一个实施方式中，胚胎可关联相应类别。这些类别可为结果例如高质量成胚、成胚和停滞，并且可基于关联各类别的分值范围。或者或此外，这些类别可基于关联各类别的分值范围，所述类别不直接映射结果。在一个示例中，这些类别可为高、中和低。在其他示例中，这些类别可关联胚泡可能性，例如90％成胚的可能性、70％成胚的可能性、50％成胚的可能性、30％成胚的可能性、10％成胚的可能性。关联各类别的分值范围可基于关联胚胎群体中具体百分位的分值，所述群体例如单一临床群体、临床组群体或总体群体。在一个实施方式中，胚胎可关联相应类别，基于胚胎评分，例如单一患者胚胎内的胚胎评分和/或群体的胚胎内的评分。或者或其他，关联各类别的分值范围可基于关联被归类的胚胎的总分值范围变化。例如，如果所述类别是移植、冷冻和丢弃，关联移植的分值范围可变化从而至少一个胚胎被推荐用于移植入给定的患者。
图23显示按照本发明实施方式的应用于胚胎图像2308的自动化胚胎评分和/或胚胎归类方法的非限制性示例。训练中，提供N组训练图像2302，其具有至少一种标记信息(例如关联的胚胎质量和/或结果，参考图4所述)和特征信息。然后从各系列训练图像2302进行特征提取2304。可使用提取的特征信息和其关联的标记信息来进行评分和/或归类模块2306的训练2305。评分和/或归类模块2306可为分类器、神经网络、或设置成进行监督学习和/或无监督学习的任何其他合适的模块，如上参考实施例1。还从各系列训练图像2308进行特征提取2310。单一系列图像2308示于图23，但应理解特征提取2310和评分和/或归类2312在一种或多种系列图像2308上进行。评分和/或归类2312基于训练后的评分和/或归类模块2306，且设置成确定关联图像2308中所示胚胎的发育潜力的分值，并基于关联各胚胎的分值对图像2308中所示胚胎进行评分和/或归类。
在一个实施方式中，所述评分和/或归类模块2306可产生输出(其可设为任何大量数值)，例如基本连续的输出。所述输出可为实测值，或可经量子化或标准化为整数值。评分和/或归类模块2306可为神经网络或分类器，其可为Bayes,Adaboost、支持向量机(SVM)、Boosting、RandomForrest、或可产生基本连续预测分值的任何其他。
在一个实施方式中，所述图像2302可为顺序系列图像，例如胚胎发育视频。可从例如不同时间拍摄的胚胎图像获得时间特征。或者或此外，系列图像2302中的一个或多个图像可具有第一场深度，且系列图像2302中的一个或多个其他图像可具有不同的第二场深度。场深度可调节为聚焦于具体深度或深度范围的胚胎特征。或者或此外，系列图像2302中的一种或多个图像可具有第一形态，且系列图像2302中的一个或多个其他图像可具有不同的第二形态。形态可为例如便于视觉观察胚胎的亮视场，例如形态学级别，以及最小化胚胎暴露光照的暗视场。或者或其他，系列图像2302中的一个或多个图像可具有与胚胎相关的第一角度取向，系列图像2302中的一个或多个其他图像可具有与胚胎相关的不同的第二角度取向，以显示胚胎内的不同角度面。可从例如几乎相同时间但不同场深度、不同角度取向和/或用不同形态摄取的胚胎图像中获取空间特征。可从例如不同时间和不同场深度、不同角度取向和/或用不同形态摄取的胚胎图像中获取空间-时间特征。
如图23所示，可使用各种前述方法通过特征提取2304和特征提取2310分别从训练图像2302和图像2308中提取特征信息。例如特征信息如手工形状、织构、和/或边缘特征和如机器习得的特征(例如BoF)可如图1-15和实施例1(描述基于图像的细胞分类和基于结果的分类)所述提取。此外，特征信息例如细胞活性相关参数例如时机和生物参数(例如表2所描述的参数)可通过下述方法来确定：细胞活性追踪(如图16-22和实施例2和3所述)、分类方法(如图1-15和实施例1所述)、图像相似性测定(如图19B和实施例3所述)、和/或上述方法的组合。
如图23所示，评分和/或归类模块2306可如图1-15和实施例1(描述基于图像的细胞分类和基于结果的分类)所述进行训练。或者或此外，评分和/或归类模块2306可以本领域普通技术人员已知的任何合适方法进行训练，从而评分和/或归类模块2306可考虑前述各种特征类型。
在一个实施方式中，关联各胚胎发育潜力的分值可基于患者信息和/或临床相关信息确定。患者信息可关联各胚胎的一个或多个雄性亲本，和各胚胎的磁性亲本。患者信息包括下述一种或多种：年龄；种族；其他统计信息；生殖历史；辅助生殖历史；以及对于雄性亲本，雄性亲本提供的精子的活动力和关于精子的其他参数。临床相关信息可包括关联各胚胎发育潜力的环境参数，例如各胚胎生长的培养基类型、孵育期温度和孵育器中所用气体混合物。
在一个实施方式中，关联各胚胎发育潜力的分值可基于一种或多种下述因素确定：各胚胎达到胚泡阶段的可能性；各胚胎以一定质量水平达到胚泡阶段的可能性；各胚胎导致怀孕的可能性；各胚胎导致着床的可能性；各胚胎中基因缺陷的可能性；关联各胚胎的非整倍性可能性；关联各胚胎的分裂度；胚胎中的一个或多个是否冷冻的；胚胎中的一个或多个是否获自精子胞质内注射(ICSI)；第一多种胚胎的一个或多个是否获自传统体外受精；和与产生一种或多种胚胎的体外受精联用的药物。
在一个实施方式中，所述评分和/或归类模块2306的训练2305可基于关联各系列训练图像2302的标记信息和特征信息中的至少一种。各系列图像2302(例如图23中的系列图像2302-1和2302-N)可关联标记信息例如：就阳性繁殖结果的对应胚胎的质量的指示(例如高或低)；就对应胚胎的发育的多种结果之一的指示，例如成胚和停滞；着床和未着床；怀孕和未怀孕；或倍数性和非整倍性。结果可包括一组或多组的三个或更多结果，例如高质量成胚、成胚和停滞。
在一个实施方式中，各系列图像2302可为先前冷冻的胚胎。这可便于评分和/或归类模块2306的训练，用于先前冷冻的胚胎组的应用。或者，各系列图像2302可为先前未冷冻的胚胎。或者，一个或多个系列图像2302可为先前冷冻的胚胎，而一个或多个不同系列图像2302可为先前未冷冻的胚胎。
在一个实施方式中，待评分和/或归类的胚胎可选为较大胚胎组的子集。参考图8，较大胚胎组的选择可作为计算设备804的输入通过输入界面808接收。或者或此外，各胚胎的一方面的评估例如形态可作为计算设备804的输入通过输入界面808接收，并且较大组胚胎的选择可基于所述输入进行。
在一个实施方式中，待评分和/或归类的胚胎可选择为较大组胚胎的子集，其可通过下述方法确定：细胞活性追踪(如图16-22和实施例2和3所述)、分类方法(如图1-15和实施例1所述)、图像相似性测定(如图19B和实施例3所述)、和/或上述方法的组合。
在一个实施方式中，所述胚胎可在胚胎群体内评分和/或归类，所述胚胎群体基于通过输入界面808对计算设备804的输入来选择。例如，该输入可指示待评分和/或归类的胚胎先前经冷冻。该情况下，可对胚胎群体进行选择以仅包括先前冷冻的胚胎或包括先前冷冻的胚胎和先前未冷冻的胚胎。在另一示例中，该输入可指示待评分和/或归类的胚胎先前未经冷冻。该情况下，可对胚胎群体进行选择以仅包括先前未冷冻的胚胎或包括先前冷冻的胚胎和先前未冷冻的胚胎。在另一示例中，该输入可指定一种或多种群体内待评分和/或归类的胚胎，例如来自单一患者、单一临床、临床组、或全部群体的胚胎。
图24显示按照本发明实施方式的显示自动化胚胎评分和胚胎归类的结果的监视器2400的非限制性示例。显示器2400可显示一个或多个孔2404的每个的鉴定2402，和胚胎的一个或多个图像2406。显示器2400还可显示各胚胎的评分分值2408。在一个实施方式中，评分分值2408可相对于相同患者的其他胚胎而确定的患者内评分分值。例如，评分分值2408可标准化至范围[0,1]，从而例如患者的最高评分胚胎接收到的分值为1。或者或此外，评分分值2408可与群体的另一胚胎相关而确定，所述群体例如单一临床、临床组、或总体群体。显示器2400还可显示评分2409，例如患者内评分。补充或替代地，显示器2400还可显示群体内的评分，例如单一临床、临床组、或全部群体的胚胎。
在一个实施方式中，显示器2400可显示群体中评分的指示器2410。群体中的评分可相对于群体的其他胚胎而确定，胚胎来自例如单一临床、临床组、或全部群体。指示器2410可标准化至例如范围[0,1]。或者或此外，指示器2410可表示为范围[0％,100％]中的百分位指示器，从而例如群体的最高评分胚胎可接收分值100％。
在一个实施方式中，显示器2400可显示与各胚胎关联的类别信息2412。可作为类别信息2412显示的类别组的一个示例包括移植、冷冻和丢弃。其他示例包括高质量成胚、成胚和停滞。
参考图8，在一些实施方式中，成像装置802可经设置以获取图像2302、评分和/或归类模型2306的训练图像、和/或等等。成像装置802还可设置为获取图像2308。计算设备804设置成进行本文所述的胚胎自动化评分和/或归类。在一些实施方式中，显示装置806至少设置成显示由成像装置802获取的一个或多个细胞图像，并且用于基于本文所述的自动化评分和/或归类展示胚胎的评分和/或归类。在一些实施方式中，输入界面808经设置用于用户对计算设备804进行输入，如本文所述。
现在参考图9，在一些实施方式中，存储器914储存了一组用于执行用于自动化胚胎评分和/或归类的计算设备904的可执行程序(未显示)。补充或替代地，可使用处理器912来执行用于自动化胚胎评分和/或归类的计算设备904。在该实施方式中，处理器912可包括图9所示模块的各种组合，包括但不限于下述模块中一种或多种的各种组合：选择模块944、分值确定模块948、评分模块950、归类模块952、显示模块942,、图像模块920、训练模块934、分类模块936和假设选择模块926。
在一个实施方式中，自动化胚胎评分的设备904包括分值确定模块948和评分模块950，其中分值确定模块948设置成对第一多种胚胎中包括的各胚胎的多个图像进行分类以确定与第一多种胚胎中包括的各胚胎的发育潜力相关联的分值，评分模块950设置成基于该与第一多种胚胎中包括的各胚胎相关联的分值对第一多种胚胎中包括的各胚胎评分。所述分值确定模块948和评分模块950在至少一个存储器或处理设备中实施。
在一个实施方式中，所述设备904可用于自动化胚胎归类以及或替代自动化胚胎评分。在该实施方式中，设备904包括分值确定模块948和归类模块952，其中分值确定模块948设置成对第一多种胚胎中包括的各胚胎的多个图像进行分类以确定与第一多种胚胎中包括的各胚胎的发育潜力相关联的分值，评分模块952设置成基于该与第一多种胚胎中包括的各胚胎相关联的分值将第一多种胚胎中包括的各胚胎与第一多种类别中包括的对应类别关联起来。分值确定模块948和归类模块952在至少一个存储器或处理设备中实施。
在一个实施方式中，评分模块950设置成在与患者关联的第二多种胚胎内对第一多种胚胎中包括的各胚胎评分。或者或此外，评分模块950可设置成在与群体关联的第三多种胚胎内对第一多种胚胎中包括的各胚胎评分。自动化胚胎评分设备904还可包括显示模块942，其设置成显示与患者关联的第二多种胚胎内第一多种胚胎中包括的各胚胎的评分。或者或此外，显示模块942可设置成在与群体关联的第三多种胚胎内显示第一多种胚胎中包括的各胚胎的评分。
在一个实施方式中，评分模块950设置成在第二多种胚胎内对第一多种胚胎中包括的各胚胎评分。设备904还包括选择模块944，其设置成基于对设备904的输入选择第二多种胚胎。
在一个实施方式中，归类模块952设置成在第二多种胚胎内对第一多种胚胎中包括的各胚胎归类。设备904还包括选择模块944，其设置成基于对设备904的输入选择第二多种胚胎。
在用于胚胎评分和/或归类的设备904的一个实施方式中，输入表明第一胚胎先前被冷冻；并且响应该输入，选择模块944设置成选择第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前被冷冻。或者或此外，输入表明第一胚胎先前未被冷冻；并且响应该输入，选择模块944设置成选择第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前未被冷冻。或者或此外，响应该输入，选择模块944设置成选择第二多种胚胎，从而所述第二多种胚胎包括先前冷冻的胚胎以及先前未冷冻的胚胎。
在一个实施方式中，用于自动化胚胎评分的设备904还包括选择模块944，其设置成根据基于分值的所述第一多种胚胎中包括的各胚胎的评分来选择一种或多种第一多种胚胎用于移植入女性对象。或者或此外，所述选择模块944可设置成根据基于分值的所述第一多种胚胎中包括的各胚胎的评分来拒绝第一多种胚胎中的一个或多个用于移植入女性对象。
在自动化胚胎归类的设备904的一个实施方式中，多种类别中的每个关联分值范围。若关联各胚胎的分值在所述对应分值范围内，各胚胎可关联对应类别。在一个实施方式中，各胚胎可关联对应临床，且所述分值范围可基于关联对应临床的信息。关联对应临床的信息可包括但不限于关联各胚胎发育潜力的环境参数。所述环境参数可包括但不限于下述的一种或多种：培养基类型；孵育器温度；和孵育器中所用气体混合物。
在一个实施方式中，自动化胚胎归类的设备904还可包括显示模块942，其设置成显示各胚胎和对应类别的关联。
在一个实施方式中，用于自动化胚胎归类的设备904还包括选择模块944，其设置成基于第一多种胚胎中包括的各胚胎的对应类别来选择第一多种胚胎中的一个或多个用于移植入女性对象。或者或此外，选择模块944可设置成基于所述第一多种胚胎中包括的各胚胎的对应类别来拒绝第一多种胚胎中的一个或多个用于移植入女性对象。
在用于自动化胚胎评分和/或归类的设备904的一个实施方式中，分值确定模块948设置成基于对设备904的输入来确定分值，所述输入与第一多种胚胎中包括的至少一个胚胎相关联。对于所述至少一个胚胎来说，所述输入可关联下述一种或多种：形态评估；具有形状类型的图像特征；具有织构类型的图像特征；具有边缘类型的图像特征；机器习得的图像特征；生物特征；时机特征；空间-时间特征；患者信息；和临床相关信息。
在用于自动化胚胎评分和/或归类的设备904的一个实施方式中，分值可基本连续。所述分值确定模块948可为下述之一的分类器：Bayes、Adaboost、支持向量机(SVM)、Boosting,和RandomForrest。
在用于自动化胚胎评分和/或归类的设备904的一个实施方式中，分值确定模块948设置成基于与各胚胎的发育潜力关联的环境参数来确定分值。该环境参数可包括下述的一种或更多：培养基类型；孵育器温度；和孵育器中所用气体混合物。
在用于自动化胚胎评分和/或归类的设备904的一个实施方式中，分值确定模块948设置成基于与所述至少一个胚胎的雌性亲本和所述至少一个胚胎的雄性亲本中的一种或多种相关联的患者信息来确定第一多种胚胎中包括的至少一个胚胎的分值。患者信息可包括下述一种或多种：年龄；种族；其他统计信息；生殖历史；辅助生殖历史；以及对于雄性亲本，雄性亲本提供的精子的活动力和关于精子的其他参数。
在用于自动化胚胎评分和/或归类的设备904的一个实施方式中，分值确定模块948设置成基于一种或多种下述图像特征来确定分值，所述图像特征与第一多种胚胎中包括的一个或多个细胞相关联：形状类型、织构类型和边缘类型。或者或此外，所述分值确定模块948可设置成基于包括一个或多个机器习得的图像特征的多个图像特征来确定分值。或者或此外，所述分值确定模块948可设置成基于一种或多种下述的图像特征类型来确定分值，所述特征与第一多种胚胎中包括的胚胎的边界相关联：跨边界强度概况、跨边界织构概况、边界曲率、和边界皱褶。
在用于自动化胚胎评分和/或归类的设备904的一个实施方式中，分值确定模块948设置成基于一种或多种下述因素来确定分值：各胚胎达到胚泡阶段的可能性；各胚胎以一定质量水平达到胚泡阶段的可能性；各胚胎导致怀孕的可能性；各胚胎导致着床的可能性；各胚胎中基因缺陷的可能性；关联各胚胎的非整倍性可能性；关联各胚胎的分裂度；和所述第一多种胚胎中的一个或多个是否冷冻。
在用于自动化胚胎评分和/或归类的设备904的一个实施方式中，所述多个图像包括时间顺序系列图像。或者或此外，所述多个图像可包括：第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一场深度；和所述胚胎的第二图像，所述第二图像具有与第一场深度不同的第二场深度。或者或此外，所述多个图像可包括：第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有与所述胚胎相关的第一角度取向；和所述胚胎的第二图像，所述第二图像具有与所述胚胎相关的第二角度取向，所述第二角度取向与第一角度取向不同。或者或此外，所述多个图像可包括：第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一形态；和所述胚胎的第二图像，所述第二图像具有与第一形态不同的第二形态。在一个实施方式中，所述第一形态和第二形态各可选自亮视场和暗视场。
在一个实施方式中，用于自动化胚胎评分和/或归类的设备904还包括训练模块934，其设置成基于标记信息和特征信息中至少一种来训练所述分值确定模块948，所述标记信息和特征信息与第二多种胚胎中包括的各胚胎的多个图像中的一个或多个相关联。所述训练模块可设置成提取特征信息，其中所述特征信息包括一种或多种图像特征。所述特征信息可包括以下一种或多种：有形状类型的图像特征；具有织构类型的图像特征；和具有边缘类型的图像特征；和机器习得的图像特征。第二多种胚胎中包括的各胚胎可先前已被冷冻。在一个实施方式中，所述标记信息可包括以下一种或多种：对应胚胎的质量的指示；就对应胚胎的发育的多个结果之一的指示。在一个实施方式中，多个结果可包括以下结果对中的一个或多个：成胚和停滞；移植和非移植；妊娠和非妊娠；以及倍数性和非整倍性。或者或此外，多个结果可包括一组或多组的三种或更多结果。所述一组或多组的三个或更多结果可包括下组三种结果：高质量成胚、成胚和停滞。
在一个实施方式中，用于自动化胚胎评分和/或归类的设备904设置成确定与第一多种胚胎中包括的至少一个胚胎的发育相关联的时机特性，其中分值确定模块948设置成基于该时机特性确定分值。设备904还可包括假设选择模块926，其设置成从表征至少一个胚胎的多种假设中选择假设，所述多种假设的每个包括至少一个胚胎的推导特性，其基于所述至少一个胚胎对关联该至少一个胚胎的一种或多种边界区段的表象的映射，所述设备904设置成基于关联所述假设的推导特征来确定该时机特性。或者或此外，设备904可设置成对所述多个图像中每个应用多种分类器以确定各图像与各分类器关联的分类概率，其中：各分类器关联独特第一细胞数量，并基于多个图像特征确定各图像的分类概率；且所述分类概率指示与各分类器关联的该独特第一细胞数量显示在各图像中的评估似然性，所述多个图像中每个因此具有与其关联的多种分类概率。设备904还设置成基于所述与各分类器关联的独特第一细胞数量和与之关联的所述多种分类概率将各图像分类为显示第二细胞数量。
在一个实施方式中，用于自动化胚胎评分和/或归类的设备904还包括图像相似性确定模块941，其设置成确定多个图像中的两个或多个之间的图像相似性，其中所述设备设置成基于该图像相似性确定时机特性。
在一个实施方式中，所述用于自动化胚胎评分和/或归类的设备904还包括选择模块944，其设置成选择第二多种胚胎的子集作为第一多种胚胎。所述选择模块944可设置成基于对所述设备的输入选择第二多种胚胎的子集作为第一多种胚胎。在一个实施方式中，所述输入可与对应胚胎的形态评估关联。
在一个实施方式中，所述用于自动化胚胎评分和/或归类的设备904还包括分类模块936，其设置成确定所述第二多种胚胎的每个的时间顺序系列图像显示所述第二多种胚胎的每个的发育的多个结果之一的评估似然性。所述选择模块944可设置成基于关联所述第二多种胚胎的每个的评估似然性选择第二多种胚胎的子集作为第一多种胚胎。在一个实施方式中，多个结果可包括以下结果对中的一个或多个：成胚和停滞；移植和非移植；妊娠和非妊娠；以及倍数性和非整倍性。或者或此外，所述多种结果可包括一组或多组的三种或更多结果。所述一组或多组的三个或更多结果可包括下组三种结果：高质量成胚、成胚和停滞。
图25显示按照本发明实施方式的胚胎评分和/或胚胎归类的方法。所述方法包括对包括在第一多种胚胎中的各胚胎的多个图像应用一个或多个分类器和神经网络以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值(方框2530)。所述方法还包括基于与包括在所述第一多种胚胎中的各胚胎关联的分值对包括在所述第一多种胚胎中的各胚胎评分(方框2540)。或者或此外，所述方法可包括基于与包括在所述第一多种胚胎中的各胚胎关联的分值将包括在所述第一多种胚胎中的各胚胎与包括在多种类别中的对应类别关联起来(方框2550)。
在一个实施方式中，所述方法可包括选择用于评分和/或归类的胚胎的子集(方框2510)。所述方法可包括基于关联胚胎图像的特征信息和标记信息中的至少一种来训练所述一个或多个分类器和神经网络(方框2520)。
在一个实施方式中，所述方法包括在与患者关联的第二多种胚胎内对第一多种胚胎中包括的各胚胎评分。或者或此外，所述方法包括在与群体关联的第三多种胚胎内对第一多种胚胎中包括的各胚胎评分。所述方法还可包括显示与患者关联的第二多种胚胎内对第一多种胚胎中包括的各胚胎的评分。或者或此外，所述方法可包括显示与群体关联的第三多种胚胎内对第一多种胚胎中包括的各胚胎的评分。
在一个实施方式中，所述方法包括接收关联第一多种胚胎中包括的第一胚胎的输入，其中第一多种胚胎中包括的各胚胎的评分包括对第二多种胚胎内的第一胚胎评分。所述方法还可包括基于所述输入选择第二多种胚胎。
在一个实施方式中，所述方法包括接收关联第一多种胚胎中包括的第一胚胎的输入，其中第一多种胚胎中包括的各胚胎与对应类别的关联包括对第二多种胚胎内的各胚胎归类。所述方法还可包括基于所述输入选择第二多种胚胎。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，输入表明第一胚胎先前被冷冻；并且响应该输入选择第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前被冷冻。或者或此外，输入表明第一胚胎先前未被冷冻；并且响应该输入选择第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前未被冷冻。或者或此外，响应该输入选择第二多种胚胎，从而所述第二多种胚胎包括先前冷冻的胚胎以及先前未冷冻的胚胎。
在一个实施方式中，用于自动化胚胎评分的方法还包括根据基于分值的所述第一多种胚胎中包括的各胚胎的评分来选择第一多种胚胎中的一个或多个用于移植入女性对象。或者或此外，所述方法可包括根据基于分值的所述第一多种胚胎中包括的各胚胎的评分来拒绝第一多种胚胎中的一个或多个用于移植入女性对象。
在自动化胚胎归类的方法的一个实施方式中，多种类别中的每个关联分值范围。若关联各胚胎的分值在所述对应分值范围内，各胚胎可关联对应类别。在一个实施方式中，各胚胎可关联对应临床，且所述分值范围可基于关联对应临床的信息。关联对应临床的信息可包括但不限于关联各胚胎发育潜力的环境参数。所述环境参数可包括但不限于下述的一种或更多：培养基类型；孵育器温度；和孵育器中所用气体混合物。
在一个实施方式中，自动化胚胎归类的方法还可包括显示各胚胎和对应类别的关联。
在一个实施方式中，用于自动化胚胎归类的方法还包括根据所述第一多种胚胎中包括的各胚胎的对应类别来选择第一多种胚胎中的一个或多个用于移植入女性对象。或者或此外，所述方法可包括根据所述第一多种胚胎中包括的各胚胎的对应类别来拒绝第一多种胚胎中的一个或多个用于移植入女性对象。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，分值基本连续且通过分类器确定。所述分类器可为Bayes、Adaboost、支持向量机(SVM)、Boosting、RandomForrest之一，或任何其他合适的分类器。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，所述方法包括接收与第一多种胚胎中包括的至少一个胚胎相关联的输入，其中应用一个或多个分类器和神经网络包括基于该输入测定分值。对于所述至少一个胚胎来说，所述输入可关联下述一种或多种：形态评估；具有形状类型的图像特征；具有织构类型的图像特征；具有边缘类型的图像特征；机器习得的图像特征；生物特征；时机特征；空间-时间特征；患者信息；和临床相关信息。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，应用一个或多个分类器和神经网络包括基于与各胚胎的发育潜力关联的环境参数确定分值。所述环境参数可包括下述的一种或更多：培养基类型；孵育器温度；和孵育器中所用气体混合物。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，应用一个或多个分类器和神经网络包括基于与所述至少一个胚胎的雌性亲本和所述至少一个胚胎的雄性亲本的一种或多种相关联的患者信息来确定第一多种胚胎中包括的至少一种胚胎的分值。患者信息可包括下述一种或多种：年龄；种族；其他统计信息；生殖历史；辅助生殖历史；以及对于雄性亲本，雄性亲本提供的精子的活动力和关于精子的其他参数。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，应用一个或多个分类器和神经网络基于与第一多种胚胎中包括的一个或多个细胞相关联的一种或多种下述图像特征：形状类型、织构类型和边缘类型。或者或此外，应用一个或多个分类器和神经网络基于多个图像特征，包括一种或多种机器习得的图像特征。或者或此外，应用一个或多个分类器和神经网络基于与第一多种胚胎中包括的胚胎的边界相关联的一种或多种下述图像特征类型：跨边界强度概况、跨边界织构概况、边界曲率、和边界皱褶。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，应用一个或多个分类器和神经网络包括基于一种或多种下述因素确定分值：各胚胎达到胚泡阶段的可能性；各胚胎以一定质量水平达到胚泡阶段的可能性；各胚胎导致怀孕的可能性；各胚胎着床的可能性；各胚胎中基因缺陷的可能性；关联各胚胎的非整倍性可能性；关联各胚胎的分裂度；所述第一多种胚胎中的一个或多个是否冷冻；一个或多个胚胎是否获自精子胞质内注射；第一多种胚胎中的一个或多个是否获自传统体外受精；和与导致胚胎中的一个或多个的体外受精联用的药物。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，所述多个图像包括时间顺序系列图像。或者或此外，所述多个图像可包括：第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一场深度；和所述胚胎的第二图像，所述第二图像具有与第一场深度不同的第二场深度。或者或此外，所述多个图像可包括：第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有与胚胎相关的第一角度取向；和所述胚胎的第二图像，所述第二图像具有与所述胚胎相关的第二角度取向，所述第二角度取向与第一角度取向不同。或者或此外，所述多个图像可包括：第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一形态；和所述胚胎的第二图像，所述第二图像具有与第一形态不同的第二形态。在一个实施方式中，所述第一形态和第二形态各自可选自亮视场和暗视场。
在一个实施方式中，用于自动化胚胎评分的方法和/或自动化胚胎归类的方法还可包括基于标记信息和特征信息中的至少一种来训练所述一个或多个分类器和神经网络，所述标记信息和特征信息与第二多种胚胎中包括的各胚胎的多个图像中的一个或多个相关联。训练所述一个或多个分类器和神经网络可包括提取特征信息，其中所述特征信息包括一种或多个图像特征。所述特征信息可包括以下一种或多种：有形状类型的图像特征；具有织构类型的图像特征；和具有边缘类型的图像特征；和机器习得的图像特征。第二多种胚胎中包括的各胚胎可先前已被冷冻。在一个实施方式中，所述标记信息可包括以下一种或多种：对应胚胎的质量的指示；就对应胚胎的发育的多种结果之一的指示。在一个实施方式中，多个结果可包括以下结果对中的一个或多个：成胚和停滞；移植和非移植；妊娠和非妊娠；以及倍数性和非整倍性。或者或此外，所述多种结果可包括一组或多组的三种或更多结果。所述一组或多组的三个或更多结果可包括下组三种结果：高质量成胚、成胚和停滞。
在一个实施方式中，用于自动化胚胎评分的方法和/或自动化胚胎归类的方法还包括确定与第一多种胚胎中包括的至少一种胚胎相关联的时机特性，其中应用一个或多个分类器和神经网络包括基于该时机特性确定分值。所述确定时机特性可包括从表征至少一个胚胎的多种假设中选择假设，所述多种假设的每个包括至少一个胚胎的推导特性，其基于所述至少一个胚胎对关联该至少一个胚胎的一种或多种边界区段的表象的映射。确定时机特性还可包括基于关联所述假设的推导特性来确定该时机特性。所述确定时机特性可包括从表征至少一个胚胎的多种假设中选择假设，所述多种假设的每个包括至少一个胚胎的推导特性，其基于所述至少一个胚胎的几何特征。
或者或此外，用于自动化胚胎评分的方法和/或自动化胚胎归类的方法中，所述分类器可为第一分类器。所述方法还可包括对所述多个图像应用多种第二分类器以确定关联各第二分类器的各图像的分类概率，其中：各第二分类器关联独特第一细胞数量，并基于多个图像特征确定各图像的分类概率；且所述分类概率指示与各第二分类器关联的该独特第一细胞数量显示在各图像中的评估似然性，所述多个图像中每个因此具有与其关联的多种分类概率。所述方法还可包括基于所述与各第二分类器关联的独特第一细胞数量和与之关联的所述多种分类概率对显示第二细胞数量的各图像进行分类。
用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，确定时机特性可包括确定多个图像中两个或更多个之间的图像相似性。
在一个实施方式中，用于自动化胚胎评分的方法和/或自动化胚胎归类的方法包括接收详述第一多种胚胎的输入。
在一个实施方式中，用于自动化胚胎评分的方法和/或自动化胚胎归类的方法包括接收与第二多种胚胎中包括的各胚胎相关联的输入，并基于所述输入选择第二多种胚胎的子集作为第一多种胚胎。在一个实施方式中，对于各胚胎来说，所述输入可关联下述一种或多种：形态评估；具有形状类型的图像特征；具有织构类型的图像特征；具有边缘类型的图像特征；机器习得的图像特征；生物特征；时机特征；空间-时间特征；患者信息；和临床相关信息。
在用于自动化胚胎评分的方法和/或自动化胚胎归类的方法的一个实施方式中，选择所述子集包括确定所述第二多种胚胎的每个的时间顺序系列图像显示所述第二多种胚胎的每个的发育的多个结果之一的评估似然性，所述多种结果与所述分类器关联。所述方法还可包括基于关联所述第二多种胚胎的每个的评估似然性选择第二多种胚胎的子集作为第一多种胚胎。在一个实施方式中，多个结果可包括以下结果对中的一个或多个：成胚和停滞；移植和非移植；妊娠和非妊娠；以及倍数性和非整倍性。或者或此外，所述多种结果可包括一组或多组的三种或更多结果。所述一组或多组的三个或更多结果可包括下组三种结果：高质量成胚、成胚和停滞。
本发明的一个实施方式涉及具有计算机可读介质的计算机存储产品，该介质上有用于进行各种计算机执行操作的计算机代码。本文使用术语“计算机可读介质”包括能够储存或编码用于进行本文所述操作的指令序列或计算机代码的任意介质。介质和计算机代码可以是出于本发明目的经具体设计和构建的那些，或者可以是计算机软件领域技术人员熟知或可用的那些。计算机可读介质的示例包括但不限于：磁性介质，如硬盘、软盘和磁带；光学介质，如CD-ROM和全息装置；磁光介质，如光盘；和具体设置成存储和执行程序代码的硬件装置，如专用集成电路(“ASIC”)、程序逻辑装置(“PLD”)和ROM及RAM装置。计算机代码的示例包括机器代码，如由编译程序产生的代码，以及使用解释程序或编译程序由计算机执行的含有高级代码的文件。例如，可使用Java、C++或其他面向对象的编程语言和开发工具来实施本发明的一个实施方式。计算机代码的其他示例包括加密代码和压缩代码。此外，本发明的一个实施方式可下载为计算机程序产品，其可从远程计算器(例如，服务器计算机)通过传输通道转移至请求计算机(例如，客户端计算机或不同的服务器计算机)。本发明的另一个实施方式可在取代机器可执行软件指令或与之结合的硬件电路中实施。
本发明的一个实施方式可在硬件中实施，如现场可编程门阵列(FPGA)或ASIC。可由输入/输出装置设置FPGA/ASIC或FPGA/ASIC可向输入/输出装置提供输出。
前述内容只是说明本发明的原理。应理解，本领域技术人员能够设计各种安排，虽然本文没有明确描述或显示这些安排，但它们均体现本发明的原理并包含在本发明构思和范围内。各种图示未必按照比例绘制，并且生产容差可导致与本文的制品重现不同。本发明可以有未具体显示的的其他实施方式。因此，说明书和附图应认为是说明性的而非限制性的。另外，为了清楚起见，显示本发明的实施方式的附图可能聚焦于某些主要特性特征。而且，本文所述的所有实施例和条件语言主要旨在辅助读者理解本发明的原理和本发明对发展现有技术作出的贡献，且不对这些具体引用的实施例和条件构成限制。而且，本文有关本发明原理、方面、实施方式以及具体实施例的所有陈述都应包括其结构和功能等同物。此外，这些等同物应包括目前已知的等同物和将来开发的等同物，即新开发的具有相同功能的任何元件，无论其是何种结构。因此，本发明的范围不限于本文所示和所述的示例性实施方式。而是，本发明的范围和构思由所附权利要求书限定。另外，虽然已经针对以特定顺序进行的特定操作描述了本文所述的方法，但应理解这些操作可合并、细分和重排序以形成等同的方法而不偏离本发明的教导。因此，除非本文具体说明，操作的顺序和组合并不限制本发明。本文引用的所有参考文献通过引用全文纳入本文。

Claims (313)

1.一种自动化细胞分类的方法，所述方法包括：
对一个或多个细胞的多个图像各应用多种第一分类器，以确定就各图像而言与各第一分类器关联的第一分类概率，其中：
各第一分类器与独特第一细胞数量关联，并基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征；和
所述第一分类概率表明所述与各第一分类器关联的独特第一细胞数量显示在各图像中的第一评估似然性，从而各所述多个图像具有与之关联的多种第一分类概率；和
基于所述与各第一分类器关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类为显示第二细胞数量。
2.如权利要求1所述的方法，其中与各第一分类器关联的独特第一细胞数量选自下组：1个细胞、2个细胞、3个细胞和4个或更多个细胞。
3.如权利要求1所述的方法，其中基于第一多种训练图像设置各所述多种第一分类器，所述第一多种训练图像显示与各第一分类器关联的独特第一细胞数量。
4.如权利要求1所述的方法，其中多种细胞特征包括一种或多种手工细胞特征。
5.如权利要求1所述的方法，所述方法还包括将多个第二分类器应用于各图像以基于多个第一分类概率中的至少一个确定各图像中与各第二分类器相关的第二分类概率。
6.如权利要求5所述的方法，所述多个第一分类概率中的至少一个与各图像时间相邻的多个图像中的一个或多个相关联。
7.如权利要求6所述的方法，其中所述多个图像是延时系列图像。
8.如权利要求5所述的方法，其中第一分类概率中的至少一个和第二分类概率与相同的独特第一细胞数量关联。
9.如权利要求1所述的方法，所述方法还包括：
将多个第二分类器应用于各图像以确定各图像与各第二分类器关联的第二分类概率，其中：
各第二分类器与独特第三细胞数量关联；
各第二分类器确定各图像的第二分类概率，这是基于多种细胞特征，并且进一步基于与多个第一分类概率中的一个或多个关联的一种或多种其他细胞特征，这些第一分类概率与各图像时间相邻的多个图像中包含的一个或多个图像相关联；和
第二分类概率表示各图像中显示与各第二分类器关联的独特第三细胞数量的第二估计似然性，从而多个图像中的各图像具有与之关联的多个第二分类概率；和
基于所述与各第二分类器关联的不同第三细胞数量和与之关联的所述多种第二分类概率将各图像分类为显示第四细胞数量。
10.如权利要求9所述的方法，其中所述多个图像是延时系列图像。
11.如权利要求9所述的方法，其中与各第二分类器关联的独特第三细胞数量选自下组：1个细胞、2个细胞、3个细胞和4个或更多个细胞。
12.如权利要求9所述的方法，其中基于第二多种训练图像设置各所述多种第二分类器，所述第二多种训练图像显示与各第二分类器关联的独特第三细胞数量。
13.如权利要求12所述的方法，其中第二多种训练图像中的各图像不同于第一多种训练图像中的所有图像。
14.如权利要求9所述的方法，其中与各第二分类器关联的独特第三细胞数量与多个第一分类器中的一个对应分类器所关联的独特第一细胞数量相同。
15.如权利要求9所述的方法，所述方法还包括基于各图像中第四细胞数量确定一个或多个细胞的细胞活性参数。
16.如权利要求15所述的方法，其中所述确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和配子配合与第一次胞质分裂之间的时间间隔。
17.如权利要求9所述的方法，所述方法还包括将细化算法应用于多个图像以基于多个图像确定分类为显示第四细胞数量的多个图像中的一个或多个反而显示与第四细胞数量不同的第五细胞数量。
18.如权利要求17所述的方法，其中所述细化算法是Viterbi算法。
19.如权利要求1所述的方法，所述方法还包括基于各图像中第二细胞数量确定一个或多个细胞的细胞活性参数。
20.如权利要求19所述的方法，其中所述确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和配子配合与第一次胞质分裂之间的时间间隔。
21.如权利要求19所述的方法，所述方法还包括基于所述确定的细胞活性参数将预测标准应用于一个或多个细胞以确定在多个具体结果中包含的预测结果。
22.如权利要求19所述的方法，其中所述多个图像中所示的一个或多个细胞选自下组：人胚胎、一个或多个卵母细胞、和一个或多个多潜能细胞。
23.如权利要求1所述的方法，其中所述多个第一分类器为设置成进行二元分类的AdaBoost分类器。
24.如权利要求1所述的方法，其中所述多个细胞特征中的各特征是一种或多种以下类型：形状类型、织构类型和边缘类型。
25.如权利要求1所述的方法，其中一个或多个机器习得的细胞特征中的至少一个是通过从多个学习图像的无监督学习学到的。
26.一种用于自动化细胞分类的设备，包括如下设置的分类模块：
对一个或多个细胞的多个图像各应用多种第一分类器，以确定就各图像而言与各第一分类器关联的第一分类概率，其中：
各第一分类器与独特第一细胞数量关联，并设置成基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征；和
所述第一分类概率表明所述与各第一分类器关联的独特第一细胞数量显示在各图像中的第一评估似然性，从而各所述多个图像具有与之关联的多种第一分类概率；和
基于所述与各第一分类器关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类为显示第二细胞数量；
在存储装置或加工装置中的至少一个中实施所述分类模块。
27.如权利要求26所述的设备，其中所述设备还包含接收所述多个图像的图像模块。
28.如权利要求26所述的设备，所述设备还包含训练模块，其设置成基于第一多种训练图像设置多种第一分类器中的各分类器，所述训练图像显示与各第一分类器关联的独特第一细胞数量。
29.如权利要求26所述的设备，其中所述多种细胞特征包括一种或多种手工细胞特征。
30.如权利要求26所述的设备，其中所述分类模块还设置成将多种第二分类器应用于各图像以基于多种第一分类概率中的至少一个来确定各图像与各第二分类器关联的第二分类概率。
31.如权利要求30所述的设备，所述多个第一分类概率中的至少一个与各图像时间相邻的多个图像中的一个或多个相关联。
32.如权利要求31所述的设备，其中所述多个图像是延时系列图像。
33.如权利要求30所述的设备，其中第一分类概率中的至少一个和第二分类概率与相同的独特第一细胞数量关联。
34.如权利要求26所述的设备，其特征在于，所述分类模块还设置成：
将多个第二分类器应用于各图像以确定各图像与各第二分类器关联的第二分类概率，其中：
各第二分类器与独特第三细胞数量关联；
各第二分类器设置成确定各图像的第二分类概率，这是基于多种细胞特征，并且进一步基于与多种第一分类概率中的一个或多个关联的一种或多种其他细胞特征，这些第一分类概率与各图像时间相邻的多个图像中包含的一个或多个图像相关联；和
第二分类概率表示各图像中显示与各第二分类器关联的独特第三细胞数量的第二估计似然性，从而多个图像中的各图像具有与之关联的多个第二分类概率；和
基于所述与各第二分类器关联的独特第三细胞数量和与之关联的所述多个第二分类概率将各图像分类为显示第四细胞数量。
35.如权利要求34所述的设备，其中所述多个图像是延时系列图像。
36.如权利要求34所述的设备，其中与各第二分类器关联的独特第三细胞数量选自下组：1个细胞、2个细胞、3个细胞和4个或更多个细胞。
37.如权利要求34所述的设备，所述设备还包含训练模块，其设置成基于第二多种训练图像设置多种第二分类器，所述训练图像显示与各第二分类器关联的独特第三细胞数量。
38.如权利要求37所述的设备，其中第二多种训练图像中的各图像不同于第一多种训练图像中的所有图像。
39.如权利要求34所述的设备，其中与各第二分类器关联的独特第三细胞数量与多个第一分类器中的一个对应分类器所关联的独特第一细胞数量相同。
40.如权利要求34所述的设备，所述设备还包括结果确定模块，其设置成基于各图像中第四细胞数量确定一个或多个细胞的细胞活性参数。
41.如权利要求40所述的设备，其中所述确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和配子配合与第一次胞质分裂之间的时间间隔。
42.如权利要求34所述的设备，其中所述分类模块还设置成将细化算法应用于多个图像以基于多个图像来确定分类为显示第四细胞数量的多个图像中的一个或多个反而显示与第四细胞数量不同的第五细胞数量。
43.如权利要求42所述的设备，其中细化算法是Viterbi算法。
44.如权利要求26所述的设备，所述设备还包括结果确定模块，其设置成基于各图像中第二细胞数量确定一个或多个细胞的细胞活性参数。
45.如权利要求39所述的设备，其中所述确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和配子配合与第一次胞质分裂之间的时间间隔。
46.如权利要求44所述的设备，其中所述结果确定模块还设置成基于所述确定的细胞活性参数将预测标准应用于一个或多个细胞以确定在多个具体结果中包含的预测结果。
47.如权利要求44所述的设备，其中多个图像中所示的一个或多个细胞选自下组：人胚胎、一个或多个卵母细胞、和一个或多个多潜能细胞。
48.如权利要求26所述的设备，其中所述多个第一分类器为设置成进行二元分类的AdaBoost分类器。
49.如权利要求26所述的设备，其中所述多个细胞特征中的各特征是一种或多种以下类型：形状类型、织构类型和边缘类型。
50.如权利要求26所述的设备，其中一个或多个机器习得的细胞特征中的至少一个是通过从多个学习图像的无监督学习学到的。
51.一种用于自动化细胞分类的系统，包括设置用于自动化细胞分类的计算设备，所述计算设备设置成：
对一个或多个细胞的多个图像各应用多种第一分类器，以确定就各图像而言与各第一分类器关联的第一分类概率，其中：
各第一分类器与独特第一细胞数量关联，并设置成基于多种细胞特征确定各图像的第一分类概率，所述细胞特征包括一种或多种机器习得的细胞特征；和
所述第一分类概率表明所述与各第一分类器关联的独特第一细胞数量显示在各图像中的第一评估似然性，从而各所述多个图像具有与之关联的多种第一分类概率；和
基于所述与各第一分类器关联的独特第一细胞数量和与之关联的所述多种第一分类概率将各图像分类为显示第二细胞数量。
52.如权利要求51所述的系统，其中所述系统还包括设置成获取所述多个图像的成像装置，所述计算设备还设置成从所述成像装置接收所述多个图像。
53.如权利要求52所述的系统，其特征在于，所述成像装置是暗视场照射显微镜。
54.如权利要求51所述的系统，其特征在于，所述系统还包括显示装置，所述显示装置设置成：
显示所述多个图像中的一个或多个；并且
基于所述多个图像中分类为显示所述第二细胞数量的一个或多个图像来呈现所述一个或多个细胞的特征。
55.如权利要求51所述的系统，其中所述计算设备还设置成基于第一多种训练图像设置多种第一分类器中的各分类器，这些训练图像显示与各第一分类器关联的独特第一细胞数量。
56.如权利要求51所述的系统，其中多种细胞特征包括一种或多种手工细胞特征。
57.如权利要求51所述的系统，其中所述计算设备还设置成将多种第二分类器应用于各图像以基于多种第一分类概率中的至少一个来确定各图像与各第二分类器关联的第二分类概率。
58.如权利要求57所述的系统，所述多个第一分类概率中的至少一个与各图像时间相邻的多个图像中的一个或多个相关联。
59.如权利要求57所述的系统，其中所述多个图像是延时系列图像。
60.如权利要求57所述的系统，其中第一分类概率中的至少一个和第二分类概率与相同的独特第一细胞数量关联。
61.如权利要求52所述的系统，其特征在于，所述计算设备还设置成：
将多个第二分类器应用于各图像以确定各图像与各第二分类器关联的第二分类概率，其中：
各第二分类器与独特第三细胞数量关联；
各第二分类器设置成确定各图像的第二分类概率，这是基于多种细胞特征，并且进一步基于与多种第一分类概率中的一个或多个关联的一种或多种其他细胞特征，这些第一分类概率与各图像时间相邻的多个图像中包含的一个或多个图像相关联；和
第二分类概率表示各图像中显示与各第二分类器关联的独特第三细胞数量的第二估计似然性，从而多个图像中的各图像具有与之关联的多个第二分类概率；和
基于所述与各第二分类器关联的独特第三细胞数量和与之关联的所述多种第二分类概率将各图像分类为显示第四细胞数量。
62.如权利要求61所述的系统，其中所述多个图像是延时系列图像。
63.如权利要求61所述的系统，其中与各第二分类器关联的独特第三细胞数量选自下组：1个细胞、2个细胞、3个细胞和4个或更多个细胞。
64.如权利要求61所述的系统，其中所述计算设备还设置成基于第二多种训练图像设置多种第二分类器，所述训练图像显示与各第二分类器关联的独特第三细胞数量。
65.如权利要求64所述的系统，其中第二多种训练图像中的各图像不同于第一多种训练图像中的所有图像。
66.如权利要求61所述的系统，其中与各第二分类器关联的独特第三细胞数量与多个第一分类器中的一个对应分类器所关联的独特第一细胞数量相同。
67.如权利要求61所述的系统，其中所述计算设备还设置成基于各图像中第四细胞数量确定一个或多个细胞的细胞活性参数。
68.如权利要求67所述的系统，其中所述确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、和从受精到具有5个细胞的胚胎的时间间隔。
69.如权利要求61所述的系统，其中所述计算设备还设置成将细化算法应用于多个图像以基于多个图像来确定分类为显示第四细胞数量的多个图像中的一个或多个反而显示与第四细胞数量不同的第五细胞数量。
70.如权利要求69所述的系统，其中细化算法是Viterbi算法。
71.如权利要求51所述的系统，其中所述计算设备还设置成基于各图像中第二细胞数量确定一个或多个细胞的细胞活性参数。
72.如权利要求71所述的系统，其中所述确定的细胞活性参数包括以下的一种或多种：第一次胞质分裂的持续时间、胞质分裂1和胞质分裂2之间的时间间隔、胞质分裂2和胞质分裂3之间的时间间隔、第一次有丝分裂和第二次有丝分裂之间的时间间隔、第二次有丝分裂和第三次有丝分裂之间的时间间隔、从受精到具有5个细胞的胚胎的时间间隔和配子配合与第一次胞质分裂之间的时间间隔。
73.如权利要求71所述的系统，其中所述计算设备还设置成基于所述确定的细胞活性参数将预测标准应用于一个或多个细胞以确定在多个具体结果中包含的预测结果。
74.如权利要求71所述的系统，其中多个图像中所示的一个或多个细胞选自下组：人胚胎、一个或多个卵母细胞、和一个或多个多潜能细胞。
75.如权利要求51所述的系统，其中所述多个第一分类器为设置成进行二元分类的AdaBoost分类器。
76.如权利要求51所述的系统，其中所述多种细胞特征中的各特征是一种或多种以下类型：形状类型、织构类型和边缘类型。
77.如权利要求51所述的系统，其中机器习得的细胞特征中的至少一个是通过从多个学习图像的无监督学习学到的。
78.一种用于基于图像的结果确定的方法，包括：
将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序序列图像的分类概率，其中：
所述分类概率表示所述第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性；和
所述第一结果包括在与所述分类器相关的细胞发育的多个结果中；和
基于与所述分类器和所述分类概率相关的多个结果将所述第一延时系列图像分类为显示所述第一结果。
79.如权利要求78所述的方法，所述方法还包括从所述第一时间顺序系列图像中提取系列特征信息，其中将所述分类器应用于第一时间顺序系列图像是基于所述系列特征信息。
80.如权利要求79所述的方法，其中所述系列特征信息表示所述第一结果并且与所述第一时间顺序系列图像的全部关联。
81.如权利要求79所述的方法，其中提取所述系列特征信息包括：
提取所述第一时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息；和
基于所述局部特征信息和多个码字确定所述系列特征信息。
82.如权利要求81所述的方法，其中确定所述系列特征信息包括：
将所述局部特征信息与一个或多个簇关联，所述一个或多个簇中的各簇与所述多个码字中的一个对应码字关联；和
确定所述一个或多个码字在所述第一时间顺序系列图像中出现的频率，其中所述系列特征信息包括所述一个或多个码字各自在所述第一时间顺序系列图像中出现的频率。
83.如权利要求81所述的方法，其中所述多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
84.如权利要求81所述的方法，其中通过无监督学习从至少一个细胞的多个无标记图像中确定所述多个码字中的各码字。
85.如权利要求78所述的方法，所述方法还包括基于系列特征信息训练所述分类器，所述系列特征信息与多个时间顺序系列图像中的各图像关联，其中所述多个时间顺序系列图像中的各图像与所述多个结果中的一个关联。
86.如权利要求85所述的方法，其中训练所述分类器包括从所述多个时间顺序系列图像中的各图像提取所述系列特征信息。
87.如权利要求85所述的方法，其中与所述多个时间顺序系列图像中的一个相关联的系列特征信息表示多个结果中关联的一个，并且与所述多个时间顺序系列图像中的一个的全部关联。
88.如权利要求85所述的方法，其中提取所述系列特征信息包括：
提取所述多个时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息；和
基于所述局部特征信息和多个码字确定所述系列特征信息，所述码字通过无监督学习从至少一个细胞的多个未标记图像中确定。
89.如权利要求88所述的方法，其中确定所述系列特征信息包括：
将所述局部特征信息与一个或多个簇关联，所述一个或多个簇中的各簇与多个码字中的一个对应码字关联；和
确定一个或多个码字在多个时间顺序系列图像中的一个或多个的各图像中的出现频率，其中所述系列特征信息包括所述一个或多个码字中的每一个在所述多个时间顺序系列图像中的一个或多个的各图像中的出现频率。
90.如权利要求88所述的方法，其中所述多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
91.如权利要求88所述的方法，其中通过无监督学习从至少一个细胞的多个无标记图像中确定所述多个码字中的各码字。
92.如权利要求78所述的方法，其特征在于，所述第一时间顺序系列图像是延时系列图像。
93.如权利要求78所述的方法，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、以及妊娠和非妊娠。
94.如权利要求78所述的方法，其特征在于，所述分类器是AdaBoost分类器。
95.如权利要求78所述的方法，其中所述一个或多个细胞选自下组：人胚胎、一或多个卵母细胞、和一或多个多潜能细胞。
96.一种用于基于图像的结果确定的设备，包括如下设置的分类模块：
将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定所述第一时间顺序序列图像的分类概率，其中：
所述分类概率表示所述第一时间顺序系列图像所示的一个或多个细胞发育的第一结果的估计似然性；和
所述第一结果包括在与所述分类器关联的细胞发育的多个结果中；和
基于与所述分类器和所述分类概率相关的多个结果将所述第一延时系列图像分类为显示所述第一结果，
其中在存储装置或加工装置中的至少一个中实施所述分类模块。
97.如权利要求96所述的设备，所述设备还包括训练模块，所述训练模块设置成从所述第一时间顺序系列图像中提取系列特征信息，其中还设置所述分类模块以基于所述系列特征信息将所述分类器应用于所述第一时间顺序系列图像。
98.如权利要求97所述的设备，其中所述系列特征信息表示所述第一结果并且与所述第一时间顺序系列图像的全部关联。
99.如权利要求97所述的设备，其中所述训练模块还设置成通过下述方法提取所述系列特征信息：
提取所述第一时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息；和
基于所述局部特征信息和多个码字确定所述系列特征信息。
100.如权利要求99所述的设备，其中所述训练模块还设置成通过下述方法确定所述系列特征信息：
将所述局部特征信息与一个或多个簇关联，所述一个或多个簇中的各簇与所述多个码字中的一个对应码字关联；和
确定所述一个或多个码字在所述第一时间顺序系列图像中出现的频率，其中所述系列特征信息包括所述一个或多个码字各自在所述第一时间顺序系列图像中出现的频率。
101.如权利要求99所述的设备，其中所述多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
102.如权利要求99所述的设备，所述设备还包括学习模块，所述学习模块设置成通过无监督学习从至少一个细胞的多个未标记图像中确定所述多个码字中的各码字。
103.如权利要求96所述的设备，所述设备还包括训练模块，所述训练模块设置成基于系列特征信息训练所述分类器，所述系列特征信息与多个时间顺序系列图像中的各图像关联，其中所述多个时间顺序系列图像中的各图像与所述多个结果中的一个关联。
104.如权利要求103所述的方法，其中所述训练模块还设置成通过从多个时间顺序系列图像中的各图像提取所述系列特征信息来训练所述分类器。
105.如权利要求103所述的设备，其中与所述多个时间顺序系列图像中的一个相关联的系列特征信息表示多个结果中关联的一个，并且与所述多个时间顺序系列图像中的一个的全部关联。
106.如权利要求103所述的设备，其特征在于，所述训练模块还设置成：
通过提取所述多个时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息来提取所述系列特征信息；和
基于所述局部特征信息和多个码字确定所述系列特征信息，所述码字通过无监督学习从至少一个细胞的多个未标记图像中确定。
107.如权利要求106所述的设备，其特征在于，所述训练模块还设置成：
通过将所述局部特征信息与一个或多个簇关联来确定所述系列特征信息，所述一个或多个簇中的各簇与所述多个码字中的一个对应码字关联；和
确定所述一个或多个码字在所述多个时间顺序系列图像中的一个或多个的各图像中的出现频率，其中所述系列特征信息包括所述一个或多个码字中的每一个在多个时间顺序系列图像中的一个或多个的各图像中的出现频率。
108.如权利要求106所述的设备，其中所述多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
109.如权利要求106所述的设备，所述设备还包括学习模块，所述学习模块设置成通过无监督学习从至少一个细胞的多个未标记图像中确定所述多个码字中的各码字。
110.如权利要求96所述的设备，其特征在于，所述第一时间顺序系列图像是延时系列图像。
111.如权利要求96所述的设备，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、以及妊娠和非妊娠。
112.如权利要求96所述的设备，其特征在于，所述分类器是AdaBoost分类器。
113.如权利要求96所述的设备，其中所述一个或多个细胞选自下组：人胚胎、一或多个卵母细胞、和一或多个多潜能细胞。
114.一种用于基于图像的结果确定的系统，包括：
成像装置，其设置成获取一个或多个细胞的第一延时系列图像并获取多个延时系列图像；
输入界面，其设置成将所述第一延时系列图像和未知或不确定结果关联，多种延时系列图像的每个和多种结果的具体结果关联；
计算设备，其设置成用于基于图像的结果确定，所述计算设备设置成：
将分类器应用于一个或多个细胞的第一时间顺序系列图像以确定第一时间顺序序列图像的分类概率，其中：
所述分类概率表示所述第一时间顺序系列图像显示一个或多个细胞发育的第一结果的估计似然性；和
所述第一结果包括在与所述分类器关联的细胞发育的多个结果中；和
基于与所述分类器和所述分类概率关联的多个结果将所述第一延时系列图像分类为显示所述第一结果，
显示设备，其设置成：
显示一个或多个所述第一延时顺序系列图像和所述多个延时系列图像；和
呈现所述第一延时系列图像中一个或多个细胞的一个或多个特性，所述呈现基于以下一个或多个：分类概率、分类和第一结果；和
基于所述特征信息呈现所述多个延时系列图像中的一个或多个细胞的一个或多个特性。
115.如权利要求114所述的系统，其特征在于，所述计算设备还设置成：
从所述第一时间顺序系列图像中提取系列特征信息；并基于所述系列特征信息将所述分类器应用于所述第一时间顺序系列图像。
116.如权利要求115所述的系统，其中所述系列特征信息表示所述第一结果并且与所述第一时间顺序系列图像的全部关联。
117.如权利要求115所述的系统，其中所述计算设备还设置成通过下述方法提取所述系列特征信息：
提取所述第一时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息；和
基于所述局部特征信息和多个码字确定所述系列特征信息。
118.如权利要求117所述的系统，其中所述计算设备还设置成通过下述方法确定所述系列特征信息：
将所述局部特征信息与一个或多个簇关联，所述一个或多个簇中的各簇与多个码字中的一个对应码字关联；和
确定所述一个或多个码字在所述第一时间顺序系列图像中出现的频率，其中所述系列特征信息包括所述一个或多个码字各自在所述第一时间顺序系列图像中出现的频率。
119.如权利要求117所述的系统，其中所述多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
120.如权利要求117所述的系统，其中所述计算设备还设置成通过无监督学习从至少一个细胞的多个未标记图像中确定所述多个码字中的各码字。
121.如权利要求114所述的系统，其中所述计算设备还设置成基于系列特征信息训练所述分类器，所述系列特征信息与多个时间顺序系列图像中的各图像关联，其中所述多个时间顺序系列图像中的各图像与所述多个结果中的一个关联。
122.如权利要求121所述的系统，其中所述计算设备还设置成通过从所述多个时间顺序系列图像中的各图像提取所述系列特征信息来训练所述分类器。
123.如权利要求121所述的系统，其中与所述多个时间顺序系列图像中的一个相关联的系列特征信息表示多个结果中关联的一个，并且与所述多个时间顺序系列图像中的一个的全部关联。
124.如权利要求121所述的系统，其特征在于，所述计算设备还设置成：
通过提取所述多个时间顺序系列图像中的一个或多个的一部分所关联的局部特征信息来提取所述系列特征信息；和
基于所述局部特征信息和多个码字确定所述系列特征信息，所述码字通过无监督学习从至少一个细胞的多个未标记图像中确定。
125.如权利要求124所述的系统，其特征在于，所述计算设备还设置成：
通过将所述局部特征信息信息与一个或多个簇关联来确定所述系列特征信息，所述一个或多个簇中的各簇与所述多个码字中的一个对应码字关联；和
确定所述一个或多个码字在所述多个时间顺序系列图像中的一个或多个的各图像中的出现频率，其中所述系列特征信息包括所述一个或多个码字中的每一个在所述多个时间顺序系列图像中的一个或多个的各图像中的出现频率。
126.如权利要求124所述的系统，其中所述多个码字中的各码字与一种或多种以下的细胞特征关联：边缘类型、织构类型和形状类型。
127.如权利要求124所述的系统，其中所述计算设备还设置成通过无监督学习从至少一个细胞的多个未标记图像中确定所述多个码字中的各码字。
128.如权利要求114所述的系统，其特征在于，所述第一时间顺序系列图像是延时系列图像。
129.如权利要求114所述的系统，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、以及妊娠和非妊娠。
130.如权利要求114所述的系统，其特征在于，所述分类器是AdaBoost分类器。
131.如权利要求114所述的系统，其中所述一个或多个细胞选自下组：人胚胎、一个或多个卵母细胞、和一个或多个多潜能细胞。
132.一种自动化胚胎评分的方法，所述方法包括：
对包括在第一多种胚胎中的各胚胎的多个图像应用一个或多个分类器和神经网络以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值；和
基于与包括在所述第一多种胚胎中的各胚胎关联的分值对包括在所述第一多种胚胎中的各胚胎评分。
133.如权利要求132所述的方法，其中所述分值基本连续且通过所述分类器确定。
134.如权利要求133所述的方法，其中所述分类器是下述之一：Bayes、Adaboost、支持向量机(SVM)、Boosting,和RandomForrest。
135.如权利要求132所述的方法，所述方法还包括接受详述所述第一多种胚胎的输入。
136.如权利要求132所述的方法，所述方法还包括：
接收与第二多种胚胎中包括的各胚胎相关联的输入；和
基于所述输入选择所述第二多种胚胎的子集作为所述第一多种胚胎。
137.如权利要求136所述的方法，其中对于各胚胎来说，所述输入关联下述一种或多种：形态评估、具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、机器习得的图像特征、生物特征、时机特征、空间-时间特征、患者信息、和临床相关信息。
138.如权利要求132所述的方法，所述方法还包括以下的一种或多种：
根据基于所述分值的所述第一多种胚胎中包括的各胚胎的评分来选择所述第一多种胚胎中的一个或多个用于移植入女性对象；和
根据基于所述分值的所述第一多种胚胎中包括的各胚胎的评分来拒绝所述第一多种胚胎中的一个或多个用于移植入所述女性对象。
139.如权利要求132所述的方法，所述方法还包括接受与所述第一多种胚胎中包括的至少一个胚胎相关联的输入，其中应用一个或多个分类器和神经网络包括基于该输入测定所述分值。
140.如权利要求139所述的方法，其中对于至少一个胚胎来说，所述输入关联下述的一种或多种：形态评估、具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、机器习得的图像特征、生物特征、时机特征、空间-时间特征、患者信息、和临床相关信息。
141.如权利要求132所述的方法，其中所述应用一个或多个分类器和神经网络包括基于与各胚胎的发育潜力关联的环境参数确定所述分值。
142.如权利要求141所述的方法，其中所述环境参数包括下述的一种或多种：培养基类型、孵育器温度、和孵育器中所用气体混合物。
143.如权利要求132所述的方法，其中所述应用一个或多个分类器和神经网络包括基于患者信息来确定所述第一多种胚胎中包括的至少一个胚胎的分值，所述患者信息与下述的一种或多种相关联：
所述至少一个胚胎的雄性亲本；和
所述至少一个胚胎的雌性亲本。
144.如权利要求143所述的方法，其中所述患者信息包括下述一种或多种：年龄、种族、其他统计信息、生殖历史、辅助生殖历史、以及对于雄性亲本，雄性亲本提供的精子的活动力和关于精子的其他参数。
145.如权利要求132所述的方法，其中所述应用一个或多个分类器和神经网络基于与所述第一多种胚胎中包括的一个或多个细胞相关联的一种或多种下述图像特征类型：形状类型、织构类型和边缘类型。
146.如权利要求132所述的方法，其中所述应用一个或多个分类器和神经网络基于多种图像特征，包括一种或多种机器习得的图像特征。
147.如权利要求132所述的方法，其中所述应用一个或多个分类器和神经网络基于与所述第一多种胚胎中包括的胚胎的边界相关联的一种或多种下述图像特征类型：跨边界强度概况、跨边界织构概况、边界曲率、和边界皱褶。
148.如权利要求132所述的方法，其中所述应用一个或多个分类器和神经网络包括基于一种或多种下述因素来确定所述分值：各胚胎达到胚泡阶段的可能性、各胚胎以一定质量水平达到胚泡阶段的可能性、各胚胎导致怀孕的可能性、各胚胎着床的可能性、各胚胎中基因缺陷的可能性、关联各胚胎的非整倍性可能性、关联各胚胎的分裂度、所述第一多种胚胎的一个或多个是否冷冻、所述第一多种胚胎的一个或多个是否获自精子胞质内注射、所述第一多种胚胎的一个或多个是否获自传统体外受精、和与产生所述第一多种胚胎的一个或多个的体外受精联用的药物。
149.如权利要求132所述的方法，其中所述对所述第一多种胚胎中包括的各胚胎评分包括：
在与患者关联的第二多种胚胎内对所述第一多种胚胎中包括的各胚胎评分；和
在与群体关联的第三多种胚胎内对第一多种胚胎中包括的各胚胎评分。
150.如权利要求149所述的方法，所述方法还包括：
显示与所述患者关联的第二多种胚胎内对第一多种胚胎中包括的各胚胎的评分；和
显示与所述群体关联的第三多种胚胎内对第一多种胚胎中包括的各胚胎的评分。
151.如权利要求132所述的方法，所述方法还包括：
接受关联所述第一多种胚胎中包括的第一胚胎的输入，其中第一多种胚胎中包括的各胚胎的评分包括对第二多种胚胎内的第一胚胎评分；和
基于所述输入选择所述第二多种胚胎。
152.如权利要求151所述的方法，其特征在于：
所述输入表明所述第一胚胎先前被冷冻；和
响应所述输入选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前被冷冻。
153.如权利要求151所述的方法，其特征在于：
所述输入表明第一胚胎先前未被冷冻；和
响应所述输入选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前未被冷冻。
154.如权利要求151所述的方法，其中响应所述输入选择所述第二多种胚胎，从而所述第二多种胚胎包括先前被冷冻的胚胎以及先前未被冷冻的胚胎。
155.如权利要求132所述的方法，其中所述多个图像包括时间顺序系列图像。
156.如权利要求132所述的方法，其中所述多个图像包括
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一场深度；和
所述胚胎的第二图像，所述第二图像具有与所述第一场深度不同的第二场深度。
157.如权利要求132所述的方法，其中所述多个图像包括
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有与所述胚胎相关的第一角度取向；和
所述胚胎的第二图像，所述第二图像具有与所述胚胎相关的第二角度取向，所述第二角度取向与所述第一角度取向不同。
158.如权利要求132所述的方法，其中所述多个图像包括
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一形态；和
所述胚胎的第二图像，所述第二图像具有与所述第一形态不同的第二形态。
159.如权利要求158所述的方法，其中所述第一形态和所述第二形态各选自亮视场和暗视场。
160.如权利要求132所述的方法，所述方法还包括基于标记信息和特征信息中至少一种来训练所述一个或多个分类器和神经网络，所述标记信息和特征信息与第二多种胚胎中包括的各胚胎的多种图像的一个或多个相关联。
161.如权利要求160所述的方法，其中训练所述一个或多个分类器和神经网络包括提取所述特征信息，其中所述特征信息包括下述一种或多种：具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、和机器习得的图像特征。
162.如权利要求160所述的方法，其中所述第二多种胚胎中包括的各胚胎先前被冷冻。
163.如权利要求160所述的方法，其中所述标记信息包括以下一种或多种：对应胚胎的质量的指示；和就对应胚胎的发育的多种结果之一的指示。
164.如权利要求163所述的方法，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、妊娠和非妊娠、以及倍数性和非整倍性。
165.如权利要求163所述的方法，其中所述多种结果包括一组或多组的三个或更多结果。
166.如权利要求165所述的方法，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
167.如权利要求132所述的方法，所述方法还包括确定与所述第一多种胚胎的各胚胎的发育相关联的时机特性，其中应用所述一个或多个分类器和神经网络包括基于该时机特性确定分值。
168.如权利要求167所述的方法，其中确定所述确定时机特性包括：
从表征至少一个胚胎的多种假设中选择假设，所述多种假设的每个包括所述至少一个胚胎的推导特性，其基于所述至少一个胚胎的几何特征；和
基于关联所述假设的推导特性来确定所述时机特性。
169.如权利要求167所述的方法，其中所述分类器是第一分类器，且其中所述确定时机特性包括：
对所述多个图像的各图像应用多种第二分类器以确定就各图像而言的关联各第二分类器的分类概率，其中：
各第二分类器关联独特第一细胞数量，并基于多种图像特征确定各图像的分类概率；和
所述分类概率指示与各第二分类器关联的所述独特第一细胞数量显示在各图像中的评估似然性，所述多种图像中每个因此具有与其关联的多种分类概率；和
基于所述与各第二分类器关联的独特第一细胞数量和与之关联的所述多种分类概率将各图像分类为显示第二细胞数量。
170.如权利要求167所述的方法，其中所述确定时机特性包括确定所述多个图像中的两个或多个之间的图像相似性。
171.如权利要求132所述的方法，所述方法还包括选择第二多种胚胎的子集作为所述第一多种胚胎。
172.如权利要求171所述的方法，其特征在于，所述选择子集包括：
确定所述第二多种胚胎的每个的时间顺序系列图像显示所述第二多种胚胎的每个的发育的多个结果之一的评估似然性，所述多种结果与所述分类器关联；和
基于关联所述第二多种胚胎的每个的评估似然性确定所述第一多种胚胎。
173.如权利要求172所述的方法，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、妊娠和非妊娠、以及倍数性和非整倍性。
174.如权利要求172所述的方法，其中所述多种结果包括一组或多组的三个或更多结果。
175.如权利要求174所述的方法，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
176.一种自动化胚胎归类的方法，所述方法包括：
对包括在第一多种胚胎中的各胚胎的多个图像应用一个或多个分类器和神经网络以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值；和
基于与包括在所述第一多种胚胎中的各胚胎关联的分值将包括在所述第一多种胚胎中的各胚胎与包括在多种类别中的对应类别关联起来。
177.如权利要求176所述的方法，其中所述分值基本连续且由分类器确定。
178.如权利要求177所述的方法，其中所述分类器是下述之一：Bayes、Adaboost、支持向量机(SVM)、Boosting,和RandomForrest。
179.如权利要求176所述的方法，其特征在于：
所述多个类别中的每个关联分值范围；和
若关联各胚胎的分值在所述对应分值范围内，各胚胎关联对应类别。
180.如权利要求179所述的方法，其特征在于：
各胚胎关联对应临床；和
所述分值范围基于关联所述对应临床的信息。
181.如权利要求180所述的方法，其中关联所述对应临床的信息包括关联各胚胎发育潜力的环境参数。
182.如权利要求181所述的方法，其中所述环境参数包括下述的一种或多种：培养基类型、孵育器温度、和孵育器中所用气体混合物。
183.如权利要求176所述的方法，所述方法还包括显示各胚胎和所述对应类别的关联。
184.如权利要求176所述的方法，所述方法还包括接受详述所述第一多种胚胎的输入。
185.如权利要求176所述的方法，所述方法还包括：
接收与第二多种胚胎中包括的各胚胎相关联的输入；和
基于所述输入选择所述第二多种胚胎的子集作为所述第一多种胚胎。
186.如权利要求185所述的方法，其中对于各胚胎来说，所述输入关联下述一种或多种：形态评估；具有形状类型的图像特征；具有织构类型的图像特征；具有边缘类型的图像特征；机器习得的图像特征；生物特征；时机特征；空间-时间特征；患者信息；和临床相关信息。
187.如权利要求176所述的方法，所述方法还包括以下的一种或多种：
基于所述第一多种胚胎的一个或多个的对应类别来选择所述第一多种胚胎中的一个或多个用于移植入女性对象；和
基于所述第一多种胚胎的一个或多个的对应类别来拒绝所述第一多种胚胎中的一个或多个用于移植入所述女性对象。
188.如权利要求176所述的方法，所述方法还包括接受与所述第一多种胚胎中包括的至少一个胚胎相关联的输入，其中应用一个或多个分类器和神经网络包括基于所述输入确定分值。
189.如权利要求188所述的方法，其中对于至少一个胚胎来说，所述输入关联下述一种或多种：形态评估、具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、机器习得的图像特征、生物特征、时机特征、空间-时间特征、患者信息、和临床相关信息。
190.如权利要求176所述的方法，其中应用所述分类器包括基于与各胚胎的发育潜力关联的环境参数确定所述分值。
191.如权利要求190所述的方法，其中所述环境参数包括下述的一种或多种：培养基类型、孵育器温度、和孵育器中所用气体混合物。
192.如权利要求176所述的方法，其中应用一个或多个分类器和神经网络包括基于患者信息来确定所述第一多种胚胎中包括的至少一个胚胎的分值，所述患者信息与所述下述的一种或多种相关联：
所述至少一种胚胎的雄性亲本；和
所述至少一种胚胎的雌性亲本。
193.如权利要求192所述的方法，其中患者信息包括下述一种或多种：年龄、种族、其他统计信息、生殖历史、辅助生殖历史、以及对于雄性亲本，雄性亲本提供的精子的活动力和关于精子的其他参数。
194.如权利要求176所述的方法，其中所述应用一个或多个分类器和神经网络基于与所述第一多种胚胎中包括的胚胎中的一种或多种细胞相关联的一种或多种下述图像特征类型：形状类型、织构类型和边缘类型。
195.如权利要求176所述的方法，其中所述应用一个或多个分类器和神经网络基于多种图像特征，包括一种或多种机器习得的图像特征。
196.如权利要求176所述的方法，其中所述应用一个或多个分类器和神经网络基于与所述第一多种胚胎中包括的胚胎的边界相关联的一种或多种下述图像特征类型：跨边界强度概况、跨边界织构概况、边界曲率、和边界皱褶。
197.如权利要求176所述的方法，其中所述应用一个或多个分类器和神经网络包括基于一种或多种下述因素来确定所述分值：各胚胎达到胚泡阶段的可能性、各胚胎以一定质量水平达到胚泡阶段的可能性、各胚胎导致怀孕的可能性、各胚胎着床的可能性、各胚胎中基因缺陷的可能性、关联各胚胎的非整倍性可能性、关联各胚胎的分裂度、所述第一多种胚胎的一种或多种是否冷冻、所述第一多种胚胎的一种或多种是否获自精子胞质内注射、所述第一多种胚胎的一种或多种是否获自传统体外受精、和与产生所述第一多种胚胎的一个或多个的体外受精联用的药物。
198.如权利要求176所述的方法，所述方法还包括：
接受关联所述第一多种胚胎中包括的第一胚胎的输入，其中将所述第一多种胚胎中包括的各胚胎与所述对应类别关联包括对第二多种胚胎内的各胚胎归类；和
基于所述输入选择所述第二多种胚胎。
199.如权利要求198所述的方法，其特征在于：
所述输入表明所述第一胚胎先前被冷冻；和
响应所述输入选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前被冷冻。
200.如权利要求198所述的方法，其特征在于：
所述输入表明所述第一胚胎先前未被冷冻；和
响应所述输入选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前未被冷冻。
201.如权利要求198所述的方法，其中响应所述输入选择所述第二多种胚胎，从而所述第二多种胚胎包括先前被冷冻的胚胎以及先前未被冷冻的胚胎。
202.如权利要求176所述的方法，其中所述多个图像包括时间顺序系列图像。
203.如权利要求176所述的方法，其中所述多个图像包括
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一场深度；和
所述胚胎的第二图像，所述第二图像具有与所述第一场深度不同的第二场深度。
204.如权利要求176所述的方法，其中所述多个图像包括
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有相对于所述胚胎的第一角度取向；和
所述胚胎的第二图像，所述第二图像具有相对于所述胚胎的第二角度取向，所述第二角度取向与所述第一角度取向不同。
205.如权利要求176所述的方法，其中所述多个图像包括
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一形态；和
所述胚胎的第二图像，所述第二图像具有与所述第一形态不同的第二形态。
206.如权利要求205所述的方法，其中所述第一形态和所述第二形态各选自亮视场和暗视场。
207.如权利要求176所述的方法，所述方法还包括基于标记信息和特征信息中至少一种来训练所述一个或多个分类器和神经网络，所述标记信息和特征信息与第二多种胚胎中包括的各胚胎的多个图像的一个或多个相关联。
208.如权利要求207所述的方法，其中训练所述一个或多个分类器和神经网络包括提取所述特征信息，其中所述特征信息包括下述一种或多种：具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、和机器习得的图像特征。
209.如权利要求207所述的方法，其中所述第二多种胚胎中包括的各胚胎先前被冷冻。
210.如权利要求207所述的方法，其中所述标记信息包括以下一种或多种：对应胚胎的质量的指示、和就对应胚胎的发育的多种结果之一的指示。
211.如权利要求210所述的方法，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞；移植和非移植；妊娠和非妊娠；以及倍数性和非整倍性。
212.如权利要求210所述的方法，其中所述多种结果包括一组或多组的三个或更多结果。
213.如权利要求212所述的方法，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
214.如权利要求176所述的方法，所述方法还包括确定与所述第一多种胚胎中包括的至少一个胚胎的发育相关联的时机特性，其中应用一个或多个分类器和神经网络包括基于所述时机特性确定分值。
215.如权利要求214所述的方法，其中所述确定时机特性包括：
从表征所述至少一个胚胎的多种假设中选择假设，所述多种假设的每个包括至少一个胚胎的推导特性，其基于所述至少一个胚胎的几何特征；和
基于关联所述假设的推导特性来确定所述时机特性。
216.如权利要求214所述的方法，其中所述分类器是第一分类器，且其中所述确定时机特性包括：
对所述多个图像应用多种第二分类器以确定就各图像而言的关联各第二分类器的分类概率，其中：
各第二分类器关联独特第一细胞数量，并基于多种图像特征确定各图像的分类概率；和
所述分类概率指示与各第二分类器关联的所述独特第一细胞数量显示在各图像中的评估似然性，所述多种图像中每个因此具有与其关联的多种分类概率；和
基于所述与各第二分类器关联的独特第一细胞数量和与之关联的所述多种分类概率将各图像分类为显示第二细胞数量。
217.如权利要求214所述的方法，其中所述确定时机特性包括确定所述多个图像的两个或更多个之间的图像相似性。
218.如权利要求176所述的方法，所述方法还包括选择第二多种胚胎的子集作为所述第一多种胚胎。
219.如权利要求218所述的方法，其特征在于，所述选择子集包括：
确定所述第二多种胚胎的每个的时间顺序系列图像显示所述第二多种胚胎的每个的发育的多个结果之一的评估似然性，所述多种结果与所述分类器关联；和
基于关联所述第二多种胚胎的每个的评估似然性确定所述第一多种胚胎。
220.如权利要求219所述的方法，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、妊娠和非妊娠、以及倍数性和非整倍性。
221.如权利要求219所述的方法，其中所述多种结果包括一组或多组的三个或更多结果。
222.如权利要求221所述的方法，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
223.一种自动化胚胎评分的设备，包括：
分值确定模块，其设置成对包括在第一多种胚胎中的各胚胎的多种图像进行分类以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值；和
评分模块，其设置成基于与包括在所述第一多种胚胎中的各胚胎关联的分值对包括在所述第一多种胚胎中的各胚胎评分；
所述分值确定模块和所述评分模块在至少一个存储器或处理装置中实施。
224.如权利要求223所述的方法，其中所述分值基本连续。
225.如权利要求224所述的方法，其中所述分值确定模块是下述之一的分类器：Bayes、Adaboost、支持向量机(SVM)、Boosting,和RandomForrest。
226.如权利要求223所述的设备，所述设备还包括选择模块，其设置成根据基于所述分值的所述第一多种胚胎中包括的各胚胎的评分来选择所述第一多种胚胎中的一个或多个用于移植入女性对象。
227.如权利要求223所述的设备，所述设备还包括选择模块，其设置成根据基于所述分值的所述第一多种胚胎中包括的各胚胎的评分来拒绝所述第一多种胚胎中的一个或多个用于移植入女性对象。
228.如权利要求223所述的设备，其中所述分值确定模块设置成基于对所述设备的输入来确定分值，所述输入与所述第一多种胚胎中包括的至少一个胚胎相关联。
229.如权利要求228所述的设备，其中对于所述至少一个胚胎来说，所述输入关联下述一种或多种：形态评估、具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、机器习得的图像特征、生物特征、时机特征、空间-时间特征、患者信息、和临床相关信息。
230.如权利要求223所述的设备，其中所述分值确定模块设置成基于与各胚胎的发育潜力关联的环境参数确定所述分值。
231.如权利要求230所述的设备，其中所述环境参数包括下述的一种或多种：培养基类型、孵育器温度、和孵育器中所用气体混合物。
232.如权利要求223所述的设备，其中所述分值确定模块设置成基于患者信息确定所述第一多种胚胎中包括的至少一个胚胎的分值，所述患者信息关联下述一种或多种：
所述至少一个胚胎的雄性亲本；和
所述至少一个胚胎的雌性亲本。
233.如权利要求232所述的设备，其中所述患者信息包括下述一种或多种：年龄、种族、其他统计信息、生殖历史、辅助生殖历史、以及对于雄性亲本，雄性亲本提供的精子的活动力和关于精子的其他参数。
234.如权利要求223所述的设备，其中所述分值确定模块设置成基于与所述第一多种胚胎中包括的一个或多个细胞相关联的一种或多种下述图像特征类型来确定所述分值：形状类型、织构类型和边缘类型。
235.如权利要求223所述的设备，其中所述分值确定模块设置成基于包括一种或多种机器习得的图像特征的多种图像特征确定所述分值。
236.如权利要求223所述的设备，其中所述分值确定模块设置成基于一种或多种下述的图像特征类型来确定所述分值，所述特征与所述第一多种胚胎中包括的胚胎的边界相关联：跨边界强度概况、跨边界织构概况、边界曲率、和边界皱褶。
237.如权利要求223所述的设备，其中所述分值确定模块设置成基于一种或多种下述因素来确定所述分值：各胚胎达到胚泡阶段的可能性、各胚胎以一定质量水平达到胚泡阶段的可能性、各胚胎导致怀孕的可能性、各胚胎着床的可能性、各胚胎中基因缺陷的可能性、关联各胚胎的非整倍性可能性、关联各胚胎的分裂度、所述第一多种胚胎的一个或多个是否冷冻、所述第一多种胚胎的一个或多个是否获自精子胞质内注射；所述第一多种胚胎的一个或多个是否获自传统体外受精；和与产生所述第一多种胚胎的一个或多个的体外受精联用的药物。
238.如权利要求223所述的设备，其中所述评分模块设置成：
在与患者关联的第二多种胚胎内对所述第一多种胚胎中包括的各胚胎评分；和
在与群体关联的第三多种胚胎内对所述第一多种胚胎中包括的各胚胎评分。
239.如权利要求238所述的设备，所述设备还包括显示模块，其设置成：
显示在与所述患者关联的第二多种胚胎内对第一多种胚胎中包括的各胚胎的评分；和
显示与所述群体关联的第三多种胚胎内对第一多种胚胎中包括的各胚胎的评分。
240.如权利要求223所述的设备，其中所述评分模块设置成对第二多种胚胎内的所述第一胚胎评分，所述设备还包括选择模块，其设置成基于对所述设备的输入选择所述第二多种胚胎。
241.如权利要求240所述的设备，其特征在于：
所述输入表明所述第一胚胎先前被冷冻；和
响应所述输入，所述选择模块设置成选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前被冷冻。
242.如权利要求240所述的设备，其特征在于：
所述输入表明所述第一胚胎先前未被冷冻；和
响应所述输入，所述选择模块设置成选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前未被冷冻。
243.如权利要求240所述的设备，其中响应所述输入，所述选择模块设置成选择第二多种胚胎，从而所述第二多种胚胎包括先前冷冻的胚胎以及先前未冷冻的胚胎。
244.如权利要求223所述的设备，其中所述多个图像包括时间顺序系列图像。
245.如权利要求223所述的设备，其中所述多个图像包括：
所述第一多个胚胎中包括的胚胎的第一图像，所述第一图像具有第一场深度；和
所述胚胎的第二图像，所述第二图像具有与第一场深度不同的第二场深度。
246.如权利要求223所述的设备，其中所述多个图像包括：
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有相对于所述胚胎的第一角度取向；和
所述胚胎的第二图像，所述第二图像具有相对于所述胚胎的第二角度取向，所述第二角度取向与所述第一角度取向不同。
247.如权利要求223所述的设备，其中所述多个图像包括：
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一形态；和
所述胚胎的第二图像，所述第二图像具有与所述第一形态不同的第二形态。
248.如权利要求247所述的设备，其中所述第一形态和所述第二形态各选自亮视场和暗视场。
249.如权利要求223所述的设备，所述设备还包括训练模块，其设置成基于标记信息和特征信息中至少一种来训练所述分值确定模块，所述标记信息和特征信息与第二多种胚胎中包括的各胚胎的多个图像的一个或多个相关联。
250.如权利要求249所述的设备，其中所述训练模块设置成提取所述特征信息，其中所述特征信息包括下述一种或多种：具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、和机器习得的图像特征。
251.如权利要求249所述的设备，其中所述第二多种胚胎中包括的各胚胎先前被冷冻。
252.如权利要求249所述的设备，其中所述标记信息包括以下一种或多种：对应胚胎的质量的指示、和就对应胚胎的发育的多种结果之一的指示。
253.如权利要求252所述的设备，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、妊娠和非妊娠、以及倍数性和非整倍性。
254.如权利要求252所述的设备，其中所述多种结果包括一组或多组的三个或更多结果。
255.如权利要求254所述的设备，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
256.如权利要求223所述的设备，其中所述设备设置成确定与所述第一多种胚胎中包括的至少一个胚胎的发育相关联的时机特性，其中所述分值确定模块设置成基于所述时机特性确定所述分值。
257.如权利要求256所述的设备，其中所述设备还包括假设选择模块，其设置成从表征所述至少一个胚胎的多种假设中选择假设，所述多种假设的每个包括基于所述至少一个胚胎的几何特征的所述至少一个胚胎的推导特性，所述设备设置成基于关联所述假设的推导特性来确定所述时机特征。
258.如权利要求257所述的设备，其中所述设备设置成：
对所述多个图像应用多种分类器以确定就各图像而言的关联各分类器的分类概率，其中：
各分类器关联独特第一细胞数量，并基于多种图像特征确定各图像的分类概率；和
所述分类概率指示与各分类器关联的所述独特第一细胞数量显示在各图像中的评估似然性，所述多种图像中每个因此具有与其关联的多种分类概率；和
基于所述与各分类器关联的独特第一细胞数量和与之关联的所述多种分类概率将各图像分类为显示第二细胞数量。
259.如权利要求256所述的设备，所述设备还包括图像相似性确定模块，其设置成确定所述多个图像的两个或更多个之间的图像相似性，其中所述设备设置成基于该图像相似性确定所述时机特性。
260.如权利要求223所述的设备，所述设备还包括选择模块，其设置成选择第二多种胚胎的子集作为所述第一多种胚胎。
261.如权利要求260所述的设备，其中所述选择模块设置成基于对所述设备的输入选择所述第二多种胚胎的子集作为所述第一多种胚胎。
262.如权利要求261所述的设备，其中所述输入与对应胚胎的形态评估关联。
263.如权利要求260所述的设备，所述设备还包括分类模块，其设置成确定所述第二多种胚胎的每个的时间顺序系列图像显示所述第二多种胚胎的每个的发育的多个结果之一的评估似然性；
其中所述选择模块设置成基于关联所述第二多种胚胎的每个的评估似然性选择所述第二多种胚胎的子集作为所述第一多种胚胎。
264.如权利要求263所述的设备，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、妊娠和非妊娠、以及倍数性和非整倍性。
265.如权利要求263所述的设备，其中所述多种结果包括一组或多组的三个或更多结果。
266.如权利要求265所述的设备，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
267.一种自动化胚胎归类的设备，包括：
分值确定模块，其设置成对包括在第一多种胚胎中的各胚胎的多个图像进行分类以确定与包括在所述第一多种胚胎中的各胚胎的发育潜力关联的分值；
归类模块，其设置成基于与包括在所述第一多种胚胎中的各胚胎关联的分值将包括在所述第一多种胚胎中的各胚胎与包括在多种类别中的对应类别关联起来；
所述分值确定模块和所述归类模块在至少一个存储器或处理设备中实施。
268.如权利要求267所述的方法，其中所述分值基本连续。
269.如权利要求268所述的方法，其中所述分值确定模块是下述之一的分类器：Bayes、Adaboost、支持向量机(SVM)、Boosting,和RandomForrest。
270.如权利要求267所述的设备，其特征在于：
所述多个类别中的每个关联分值范围；和
若关联各胚胎的分值在所述对应分值范围内，各胚胎关联对应类别。
271.如权利要求270所述的设备，其特征在于：
各胚胎关联对应临床；和
所述分值范围基于关联所述对应临床的信息。
272.如权利要求271所述的设备，其中关联所述对应临床的信息包括关联各胚胎发育潜力的环境参数。
273.如权利要求272所述的设备，其中所述环境参数包括下述的一种或多种：培养基类型、孵育器温度、和孵育器中所用气体混合物。
274.如权利要求267所述的设备，所述设备还包括显示模块，其设置成显示各胚胎和所述对应类别的关联。
275.如权利要求267所述的设备，所述设备还包括选择模块，其设置成基于所述第一多种胚胎中包括的各胚胎的对应类别来选择所述第一多种胚胎中的一个或多个用于移植入女性对象。
276.如权利要求267所述的设备，所述设备还包括选择模块，其设置成基于所述第一多种胚胎中包括的各胚胎的对应类别来拒绝所述第一多种胚胎中的一个或多个用于移植入女性对象。
277.如权利要求267所述的设备，其中所述分值确定模块设置成基于对所述设备的输入来确定所述分值，所述输入与所述第一多种胚胎中包括的至少一个胚胎相关联。
278.如权利要求277所述的设备，其中对于所述至少一个胚胎来说，所述输入关联下述一种或多种：形态评估、具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、机器习得的图像特征、生物特征、时机特征、空间-时间特征、患者信息、和临床相关信息。
279.如权利要求267所述的设备，其中所述分值确定模块设置成基于与各胚胎的发育潜力关联的环境参数确定所述分值。
280.如权利要求279所述的设备，其中所述环境参数包括下述的一种或多种：培养基类型、孵育器温度、和孵育器中所用气体混合物。
281.如权利要求267所述的设备，其中所述分值确定模块设置成基于患者信息确定所述第一多种胚胎中包括的至少一个胚胎的分值，所述患者信息关联下述一种或多种：
所述至少一个胚胎的雄性亲本；和
所述至少一个胚胎的雌性亲本。
282.如权利要求281所述的设备，其中所述患者信息包括下述一种或多种：年龄、种族、其他统计信息、生殖历史、辅助生殖历史、以及对于雄性亲本，雄性亲本提供的精子的活动力和关于精子的其他参数。
283.如权利要求267所述的设备，其中所述分值确定模块设置成基于与所述第一多种胚胎中包括的胚胎中包括的一个或多个细胞相关联的一种或多种下述图像特征类型来确定所述分值：形状类型、织构类型和边缘类型。
284.如权利要求267所述的设备，其中所述分值确定模块设置成基于包括一个或多个机器习得的图像特征的多种图像特征确定所述分值。
285.如权利要求267所述的设备，其中所述分值确定模块设置成基于一种或多种下述的图像特征类型来确定所述分值，所述特征与所述第一多种胚胎中包括的胚胎的边界相关联：跨边界强度概况、跨边界织构概况、边界曲率、和边界皱褶。
286.如权利要求267所述的设备，其中所述分值确定模块设置成基于一种或多种下述因素来确定所述分值：各胚胎达到胚泡阶段的可能性、各胚胎以一定质量水平达到胚泡阶段的可能性、各胚胎导致怀孕的可能性、各胚胎着床的可能性、各胚胎中基因缺陷的可能性、关联各胚胎的非整倍性可能性、关联各胚胎的分裂度、所述第一多种胚胎的一种或多种是否冷冻、所述第一多种胚胎的一种或多种是否获自精子胞质内注射、所述第一多种胚胎的一种或多种是否获自传统体外受精、和与产生所述第一多种胚胎的一个或多个的体外受精联用的药物。
287.如权利要求267所述的设备，其中所述归类模块设置成在第二多种胚胎内对所述第一多种胚胎中包括的各胚胎归类，所述设备还包括选择模块，其设置成基于对所述设备的输入选择所述第二多种胚胎。
288.如权利要求287所述的设备，其特征在于：
所述输入表明第一胚胎先前被冷冻；和
响应所述输入，所述选择模块设置成选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前被冷冻。
289.如权利要求287所述的设备，其特征在于：
所述输入表明所述第一胚胎先前未被冷冻；和
响应所述输入，所述选择模块设置成选择所述第二多种胚胎，从而所述第二多种胚胎中包括的各胚胎先前未被冷冻。
290.如权利要求287所述的设备，其中响应所述输入，所述选择模块设置成选择所述第二多种胚胎，从而所述第二多种胚胎包括先前冷冻的胚胎以及先前未冷冻的胚胎。
291.如权利要求267所述的设备，其中所述多个图像包括时间顺序系列图像。
292.如权利要求267所述的设备，其中所述多个图像包括：
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一场深度；和
所述胚胎的第二图像，所述第二图像具有与所述第一场深度不同的第二场深度。
293.如权利要求267所述的设备，其中所述多个图像包括：
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有相对于所述胚胎的第一角度取向；和
所述胚胎的第二图像，所述第二图像具有相对于所述胚胎的第二角度取向，所述第二角度取向与所述第一角度取向不同。
294.如权利要求267所述的设备，其中所述多种图像包括：
所述第一多种胚胎中包括的胚胎的第一图像，所述第一图像具有第一形态；和
所述胚胎的第二图像，所述第二图像具有与所述第一形态不同的第二形态。
295.如权利要求294所述的设备，其中所述第一形态和所述第二形态各选自亮视场和暗视场。
296.如权利要求267所述的设备，所述设备还包括训练模块，其设置成基于标记信息和特征信息中至少一种来训练所述分值确定模块，所述标记信息和特征信息与第二多种胚胎中包括的各胚胎的多个图像的一个或多个相关联。
297.如权利要求296所述的设备，其中所述训练模块设置成提取所述特征信息，其中所述特征信息包括下述一种或多种：具有形状类型的图像特征、具有织构类型的图像特征、具有边缘类型的图像特征、和机器习得的图像特征。
298.如权利要求296所述的设备，其中所述第二多种胚胎中包括的各胚胎先前被冷冻。
299.如权利要求296所述的设备，其中所述标记信息包括以下一种或多种：对应胚胎的质量的指示、和就对应胚胎的发育的多种结果之一的指示。
300.如权利要求299所述的设备，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、妊娠和非妊娠、以及倍数性和非整倍性。
301.如权利要求299所述的设备，其中所述多种结果包括一组或多组的三个或更多结果。
302.如权利要求301所述的设备，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
303.如权利要求267所述的设备，其中所述设备设置成确定与所述第一多种胚胎中包括的至少一个胚胎的发育相关联的时机特性，其中所述分值确定模块设置成基于所述时机特性确定所述分值。
304.如权利要求303所述的设备，其中所述设备还包括假设选择模块，其设置成从表征所述至少一个胚胎的多种假设中选择假设，所述多种假设的每个包括基于所述至少一个胚胎的几何特征的所述至少一种胚胎的推导特性，所述设备设置成基于关联所述假设的推导特性来确定所述时机特性。
305.如权利要求303所述的设备，其中所述设备设置成：
对所述多个图像应用多种分类器以确定就各图像而言的关联各分类器的分类概率，其中：
各分类器关联独特第一细胞数量，并基于多种图像特征确定各图像的分类概率；和
所述分类概率指示与各分类器关联的所述独特第一细胞数量显示在各图像中的评估似然性，所述多个图像中每个因此具有与其关联的多种分类概率；和
基于所述与各分类器关联的独特第一细胞数量和与之关联的所述多种分类概率将各图像分类为显示第二细胞数量。
306.如权利要求303所述的设备，所述设备还包括图像相似性确定模块，其设置成确定所述多个图像的两个或更多个之间的图像相似性，其中所述设备设置成基于所述图像相似性确定时机特性。
307.如权利要求267所述的设备，所述设备还包括选择模块，其设置成选择第二多种胚胎的子集作为所述第一多种胚胎。
308.如权利要求307所述的设备，其中所述选择模块设置成基于对所述设备的输入选择所述第二多种胚胎的子集作为所述第一多种胚胎。
309.如权利要求308所述的设备，其中所述输入与对应胚胎的形态评估关联。
310.如权利要求309所述的设备，所述设备还包括分类模块，其设置成确定所述第二多种胚胎的每个的时间顺序系列图像显示所述第二多种胚胎的每个的发育的多个结果之一的评估似然性；
其中所述选择模块设置成基于关联所述第二多种胚胎的每个的评估似然性选择所述第二多种胚胎的子集作为所述第一多种胚胎。
311.如权利要求310所述的设备，其中所述多个结果包括以下结果对中的一个或多个：成胚和停滞、移植和非移植、妊娠和非妊娠、以及倍数性和非整倍性。
312.如权利要求311所述的设备，其中所述多种结果包括一组或多组的三个或更多结果。
313.如权利要求312所述的设备，其中所述一组或多组的三个或更多结果包括下组三种结果：高质量成胚、成胚和停滞。
CN201480024119.0A 2013-02-28 2014-02-28 基于图像的人胚胎细胞分类的装置、方法和系统 Pending CN105408746A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201361770998P 2013-02-28 2013-02-28
US201361771000P 2013-02-28 2013-02-28
US61/771,000 2013-02-28
US61/770,998 2013-02-28
US201361785170P 2013-03-14 2013-03-14
US201361785179P 2013-03-14 2013-03-14
US201361785199P 2013-03-14 2013-03-14
US201361785216P 2013-03-14 2013-03-14
US61/785,199 2013-03-14
US61/785,170 2013-03-14
US61/785,216 2013-03-14
US61/785,179 2013-03-14
PCT/US2014/019615 WO2014134550A1 (en) 2013-02-28 2014-02-28 Apparatus, method, and system for image-based human embryo cell classification

Publications (1)

Publication Number Publication Date
CN105408746A true CN105408746A (zh) 2016-03-16

Family

ID=51420965

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480019406.2A Pending CN105407819A (zh) 2013-02-28 2014-02-28 用于自动化非侵入细胞活性追踪的设备、方法和系统
CN201480024119.0A Pending CN105408746A (zh) 2013-02-28 2014-02-28 基于图像的人胚胎细胞分类的装置、方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480019406.2A Pending CN105407819A (zh) 2013-02-28 2014-02-28 用于自动化非侵入细胞活性追踪的设备、方法和系统

Country Status (8)

Country Link
US (3) US9542591B2 (zh)
EP (2) EP2962101A4 (zh)
JP (5) JP2016509845A (zh)
CN (2) CN105407819A (zh)
CA (3) CA3282566A1 (zh)
ES (1) ES2981412T3 (zh)
IL (3) IL240856B (zh)
WO (2) WO2014134550A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977684A (zh) * 2017-12-20 2018-05-01 杭州智微信息科技有限公司 一种快速修正骨髓有核细胞分类的交互方法
CN108823095A (zh) * 2018-06-08 2018-11-16 上海柏慧康生物科技有限公司 一种用于活细胞培养过程中的环境控制及观察分析系统
CN109190622A (zh) * 2018-09-11 2019-01-11 深圳辉煌耀强科技有限公司 基于强特征和神经网络的上皮细胞分类系统和方法
CN109952614A (zh) * 2016-08-22 2019-06-28 艾瑞斯国际有限公司 生物粒子的分类系统和方法
CN110363057A (zh) * 2018-12-29 2019-10-22 上海北昂医药科技股份有限公司 一种形态学图像中的精子识别及分类方法
CN110969616A (zh) * 2019-12-13 2020-04-07 北京推想科技有限公司 评价卵母细胞质量的方法及装置
CN111279421A (zh) * 2017-09-29 2020-06-12 布里格姆妇女医院 人类胚胎的自动评价
CN111315488A (zh) * 2018-08-06 2020-06-19 卡梅尔诊断有限公司 细胞组织分析的方法及装置
CN111339904A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 动物精子图像识别方法和装置
CN111652095A (zh) * 2020-05-21 2020-09-11 骏实生物科技(上海)有限公司 一种基于人工智能的ctc图像识别方法和系统
CN111787877A (zh) * 2017-12-15 2020-10-16 维特罗莱夫公司 用于估计胚胎活力的系统和方法
CN111886630A (zh) * 2018-02-20 2020-11-03 密歇根大学董事会 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析
CN111932510A (zh) * 2020-08-03 2020-11-13 深圳回收宝科技有限公司 一种图像清晰度的确定方法及装置
CN113177961A (zh) * 2021-06-07 2021-07-27 傲雄在线(重庆)科技有限公司 一种用于印章图文比对的多模态深度模型训练方法
US20210249135A1 (en) * 2018-06-28 2021-08-12 Vitrolife A/S Methods and apparatus for assessing embryo development
CN114549889A (zh) * 2020-11-26 2022-05-27 富泰华工业（深圳）有限公司 细胞密度分类方法及装置、电子装置及存储介质
CN114846507A (zh) * 2019-09-25 2022-08-02 普雷萨根私人有限公司 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
TWI794615B (zh) * 2019-07-26 2023-03-01 德商卡爾蔡司Ｓｍｔ有限公司 微加工裝置的自動運作控制
CN116402830A (zh) * 2022-02-02 2023-07-07 苏州博致医疗科技有限公司 一种体外受精高发育潜能胚胎的筛选方法及系统
CN117253228A (zh) * 2023-11-14 2023-12-19 山东大学 一种基于核像距离内编码的细胞团簇空间约束方法及系统
TWI845274B (zh) * 2023-04-24 2024-06-11 國立臺灣海洋大學 細胞品質預測系統、方法及其異常數據自動偵測方法

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542591B2 (en) 2013-02-28 2017-01-10 Progyny, Inc. Apparatus, method, and system for automated, non-invasive cell activity tracking
WO2015069824A2 (en) * 2013-11-06 2015-05-14 Lehigh University Diagnostic system and method for biological tissue analysis
JP6588444B2 (ja) * 2014-01-28 2019-10-09 ベンタナ メディカル システムズ， インコーポレイテッド 全スライド組織セグメント化のための適応分類
ES2837840T3 (es) 2014-03-20 2021-07-01 Ares Trading Sa Medida cuantitativa de la cinética de desarrollo de la morfología de mórula y blastocisto humanos
US20170052106A1 (en) * 2014-04-28 2017-02-23 The Broad Institute, Inc. Method for label-free image cytometry
WO2016103501A1 (ja) * 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
EP3268870A4 (en) * 2015-03-11 2018-12-05 Ayasdi, Inc. Systems and methods for predicting outcomes using a prediction learning model
US10699449B2 (en) 2015-03-17 2020-06-30 Hewlett-Packard Development Company, L.P. Pixel-based temporal plot of events according to multidimensional scaling values based on event similarities and weighted dimensions
GB201507454D0 (en) * 2015-04-30 2015-06-17 Phase Focus Ltd Method and apparatus for determining temporal behaviour of an object
JP2017023055A (ja) * 2015-07-22 2017-02-02 大日本印刷株式会社 細胞管理システム、プログラム、及び、細胞管理方法
US11494578B1 (en) * 2015-09-21 2022-11-08 Ares Trading S.A. Systems and methods for automated assessment of embryo quality using image based features
JP6475134B2 (ja) * 2015-09-29 2019-02-27 富士フイルム株式会社 細胞評価装置および方法
US10002410B2 (en) * 2015-09-30 2018-06-19 Konica Minolta Laboratory U.S.A, Inc. Method and system for enhancement of cell analysis
US20170213080A1 (en) * 2015-11-19 2017-07-27 Intelli-Vision Methods and systems for automatically and accurately detecting human bodies in videos and/or images
US10902334B2 (en) 2016-01-28 2021-01-26 Gerard Letterie Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos
WO2018003063A1 (ja) * 2016-06-30 2018-01-04 株式会社ニコン 解析装置、解析方法、解析プログラム及び表示装置
JP2018022216A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018061440A (ja) * 2016-10-11 2018-04-19 憲隆 福永 受精判定システム
WO2018083984A1 (ja) 2016-11-02 2018-05-11 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP6837493B2 (ja) 2016-12-06 2021-03-03 富士フイルム株式会社 細胞画像評価装置および細胞画像評価制御プログラム
CN107690659B (zh) * 2016-12-27 2021-08-10 达闼机器人有限公司 一种图像识别系统及图像识别方法
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US9738937B1 (en) * 2017-03-31 2017-08-22 Cellmax, Ltd. Identifying candidate cells using image analysis
JP6977293B2 (ja) * 2017-03-31 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
WO2018189875A1 (ja) * 2017-04-14 2018-10-18 株式会社日立ハイテクノロジーズ 撮像装置および形態特徴データ表示方法
US11450121B2 (en) * 2017-06-27 2022-09-20 The Regents Of The University Of California Label-free digital brightfield analysis of nucleic acid amplification
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
JP7164862B2 (ja) * 2017-07-31 2022-11-02 静岡県公立大学法人 心筋細胞型判定システム、心筋細胞型判定方法
JP6414310B1 (ja) * 2017-10-26 2018-10-31 ソニー株式会社 受精卵品質評価方法、プログラム及び情報処理装置
US10423819B2 (en) * 2017-10-31 2019-09-24 Chung Yuan Christian University Method and apparatus for image processing and visualization for analyzing cell kinematics in cell culture
US11977958B2 (en) 2017-11-22 2024-05-07 Amazon Technologies, Inc. Network-accessible machine learning model training and hosting system
US11257002B2 (en) * 2017-11-22 2022-02-22 Amazon Technologies, Inc. Dynamic accuracy-based deployment and monitoring of machine learning models in provider networks
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US10552957B2 (en) * 2018-03-24 2020-02-04 Dan Nayot Methods and systems for determining quality of an oocyte
EP3786277A4 (en) * 2018-05-25 2021-07-07 Sony Corporation CONTROL DEVICE, CONTROL METHOD AND PROGRAM
WO2019229151A2 (de) * 2018-05-30 2019-12-05 Carl Zeiss Microscopy Gmbh Verfahren zum scannen von teilbereichen einer probe mittels eines rastermikroskops, computerprogrammprodukt, computerlesbares medium und system zum scannen von teilbereichen einer probe mittels eines rastermikroskops
US11308152B2 (en) * 2018-06-07 2022-04-19 Canon Kabushiki Kaisha Quantization method for feature vector, search method, apparatus and storage medium
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
JPWO2020012616A1 (ja) * 2018-07-12 2021-08-02 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
EP3834128A1 (en) * 2018-08-07 2021-06-16 Cornell University System and method for selecting artificially fertilized embryos
US11815507B2 (en) 2018-08-15 2023-11-14 Deepcell, Inc. Systems and methods for particle analysis
US10611995B2 (en) 2018-08-15 2020-04-07 Deepcell, Inc. Systems and methods for particle analysis
WO2020043684A1 (en) * 2018-08-28 2020-03-05 Koninklijke Philips N.V. Advanced loop selection systems and methods for supporting efficient echo comparison
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
JP7592602B2 (ja) 2018-09-20 2024-12-02 エーアイブイエフ リミテッド 体外受精着床の成功の予測因子を識別するためのシステム及び方法
CA3115784A1 (en) 2018-10-11 2020-04-16 Matthew John COOPER Systems and methods for training machine models with augmented data
EP3640946A1 (en) * 2018-10-15 2020-04-22 Sartorius Stedim Data Analytics AB Multivariate approach for biological cell selection
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
CN109544512B (zh) * 2018-10-26 2020-09-18 浙江大学 一种基于多模态的胚胎妊娠结果预测装置
JP7489920B2 (ja) * 2018-10-31 2024-05-24 合同会社Ｈ．Ｕ．グループ中央研究所 プログラム、学習モデル、情報処理装置、情報処理方法、情報表示方法および学習モデルの製造方法
AU2019370476B2 (en) * 2018-11-01 2022-06-16 The Brigham And Women's Hospital, Inc. Automatic determination of a biological condition of a subject from ferning patterns
WO2020102565A2 (en) 2018-11-14 2020-05-22 Flagship Pioneering Innovations V, Inc. Systems and methods for nondestructive testing of gametes
JP7067444B2 (ja) * 2018-12-03 2022-05-16 ソニーグループ株式会社 受精卵解析システム、情報処理装置、情報処理方法及びプログラム
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US10824915B2 (en) * 2018-12-04 2020-11-03 Capital One Services, Llc Artificial intelligence system for inspecting image reliability
CN109710802B (zh) * 2018-12-20 2021-11-02 百度在线网络技术（北京）有限公司 视频分类方法及其装置
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
WO2020138279A1 (ja) 2018-12-28 2020-07-02 オリンパス株式会社 顕微鏡システム
KR102084682B1 (ko) * 2019-01-07 2020-03-04 기초과학연구원 인공신경망을 이용한 특수 현미경 영상 생성 방법 및 영상 처리 장치
KR102084683B1 (ko) * 2019-01-07 2020-03-04 기초과학연구원 인공신경망을 이용한 세포 영상 분석 방법 및 세포 영상 처리 장치
WO2020157761A1 (en) * 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP3943588A4 (en) * 2019-03-19 2022-05-25 FUJIFILM Corporation INFORMATION PROCESSING DEVICE, CELL CULTURE SYSTEM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
WO2020197785A1 (en) * 2019-03-27 2020-10-01 Becton, Dickinson And Company Systems for cell sorting based on frequency-encoded images and methods of use thereof
CN113906472A (zh) * 2019-04-04 2022-01-07 普雷萨根私人有限公司 用于选择胚胎的方法和系统
CN114072879B (zh) * 2019-05-16 2023-09-19 佩治人工智能公司 用于处理图像以对经处理的用于数字病理的图像进行分类的系统和方法
CN110135503B (zh) * 2019-05-19 2022-07-12 重庆理工大学 一种装配机器人零件深度学习识别方法
CN110222823B (zh) * 2019-05-31 2022-12-30 甘肃省祁连山水源涵养林研究院 一种水文流量波动情势识别方法及其系统
CN110363747B (zh) * 2019-06-14 2024-07-02 平安科技（深圳）有限公司 智能化异常细胞判断方法、装置及计算机可读存储介质
EP4636688A3 (en) * 2019-09-06 2026-01-21 The Brigham and Women's Hospital, Inc. Automated evaluation of quality assurance metrics for assisted reproduction procedures
JP2020005661A (ja) * 2019-10-16 2020-01-16 憲隆 福永 受精判定システム
WO2021125929A1 (es) 2019-12-20 2021-06-24 Chavez Badiola Alejandro Metodo basado en el acondicionamiento y pre-procesamiento de imágenes, para la clasificación de embrionares humanos
WO2021148962A1 (en) * 2020-01-21 2021-07-29 Fairtility Ltd. Methods and systems for determining optimal decision time related to embryonic implantation
JPWO2021177142A1 (zh) * 2020-03-05 2021-09-10
US11354547B2 (en) * 2020-03-31 2022-06-07 Toyota Research Institute, Inc. Systems and methods for clustering using a smart grid
AU2021300304B2 (en) * 2020-06-29 2024-05-30 The Brigham And Women's Hospital, Inc. Adaptive neural networks for analyzing medical images
US20220012873A1 (en) * 2020-07-10 2022-01-13 Embryonics LTD Predicting Embryo Implantation Probability
WO2022031765A1 (en) 2020-08-03 2022-02-10 Emgenisys, Inc. Embryo evaluation based on real-time video
US20230326165A1 (en) * 2020-09-11 2023-10-12 The Brigham And Women's Hospital, Inc. Determining locations in reproductive cellular structures
JP7771179B2 (ja) 2020-10-16 2025-11-17 ライフ テクノロジーズ コーポレーション 人工知能を使用したオートフォーカス及び自動細胞計数のためのシステム及び方法
US20220156922A1 (en) * 2020-11-17 2022-05-19 Alejandro Chávez Badiola System for real-time automatic quantitative evaluation, assessment and/or ranking of individual sperm, aimed for intracytoplasmic sperm injection (icsi), and other fertilization procedures, allowing the selection of a single sperm
TR202020705A1 (tr) * 2020-12-16 2022-08-22 Univ Istanbul Medipol Tüp bebek işleminde gebelik oluşturma potansiyeli en yüksek olan embriyonun seçimi için bir yöntem
CN117836820A (zh) * 2021-05-10 2024-04-05 张康 用于人ivf衍生胚胎的结果评价的系统和方法
CN113469958B (zh) * 2021-06-18 2023-08-04 中山大学附属第一医院 一种胚胎发育潜能预测方法、系统、设备及存储介质
JP7728528B2 (ja) * 2021-07-16 2025-08-25 株式会社ナリス化粧品 情報処理方法、プログラム、情報処理装置及び学習済みモデルの生成方法
EP4388510A1 (en) 2021-08-19 2024-06-26 Tesla, Inc. Vision-based system training with simulated content
US12462575B2 (en) 2021-08-19 2025-11-04 Tesla, Inc. Vision-based machine learning model for autonomous driving with adjustable virtual camera
EP4145389A1 (en) 2021-09-01 2023-03-08 SCREEN Holdings Co., Ltd. Image processing method, fertilized egg evaluation method, computer program and recording medium
WO2023059744A1 (en) * 2021-10-05 2023-04-13 Neumora Therapeutics, Inc. Machine learning systems for generating multi-modal data archetypes
TWI806220B (zh) * 2021-11-04 2023-06-21 財團法人資訊工業策進會 異常評估系統與異常評估方法
WO2023225121A1 (en) * 2022-05-17 2023-11-23 Overture Life, Inc. Methods, computer programs, and systems for automated microinjection
JP2024046836A (ja) * 2022-09-26 2024-04-05 株式会社Ｓｃｒｅｅｎホールディングス 分類方法およびコンピュータプログラム
JPWO2024161784A1 (zh) * 2023-01-30 2024-08-08
IT202300019245A1 (it) * 2023-09-19 2025-03-19 Menarini Silicon Biosystems Spa Metodo per rilevare la presenza di una cellula di interesse e/o di un frammento cellulare di interesse in un campione di fluido organico

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040072143A1 (en) * 1998-06-01 2004-04-15 Weyerhaeuser Company Methods for classification of somatic embryos
US6757423B1 (en) * 1999-02-19 2004-06-29 Barnes-Jewish Hospital Methods of processing tagged MRI data indicative of tissue motion including 4-D LV tissue tracking
US7907769B2 (en) 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
US8265357B2 (en) 2005-10-14 2012-09-11 Unisense Fertilitech A/S Determination of a change in a cell population
US20100041090A1 (en) * 2006-06-16 2010-02-18 Unisense Fertilitech A/S Embryo quality assessment based on blastomere division and movement
WO2009137866A1 (en) 2008-05-16 2009-11-19 Swinburne University Of Technology Method and system for automated cell function classification
EP2315826A1 (en) * 2008-07-23 2011-05-04 Mariposa Biotechnology, Inc. Automated system for cryopreservation of oocytes, embryos, or blastocysts
US20100055039A1 (en) * 2008-09-04 2010-03-04 Regis Doyonnas Non-invasive methods of monitoring engrafted stem cells and methods for isolation of skeletal muscle stem cells
ES2399711T3 (es) 2009-08-22 2013-04-02 The Board Of Trustees Of The University Of The Leland Stanford Junior University Obtención de imágenes y evaluación de embriones, ovocitos y células madre
US20120244567A1 (en) * 2009-09-04 2012-09-27 Buck Institute For Research On Aging Human embryonic stem cells for high throughout drug screening
US8396899B2 (en) * 2009-11-23 2013-03-12 Dell Products L.P. Efficient segment detection for deduplication
JP5807288B2 (ja) * 2010-06-30 2015-11-10 大日本印刷株式会社 体外培養による胚の製造方法、並びに胚を選別するための方法、装置、及びシステム
JP6007182B2 (ja) 2010-09-27 2016-10-12 プロジェニー， インコーポレイテッド 胚、卵母細胞および幹細胞の自動撮像および評価のための装置、手段およびシステム
GB2486398B (en) * 2010-11-17 2018-04-25 Room4 Group Ltd Cell classification and artefact rejection for cell nuclei
JP2014507664A (ja) * 2011-02-23 2014-03-27 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー ヒト胚における異数性の検出方法
CN103748216B (zh) 2011-05-31 2018-01-02 尤尼森斯繁殖技术公司 基于卵裂球的卵裂和形态的胚胎质量评估
AU2013269608B2 (en) 2012-05-31 2016-05-05 Unisense Fertilitech A/S Embryo quality assessment based on blastocyst development
US9177098B2 (en) 2012-10-17 2015-11-03 Celmatix Inc. Systems and methods for determining the probability of a pregnancy at a selected point in time
ES2755878T3 (es) 2013-02-01 2020-04-24 Ares Trading Sa Fenotipos anormales de singamia observados con obtención de imágenes a intervalos de tiempo preestablecidos para identificación precoz de embriones con potencial de desarrollo inferior
EP2951574B1 (en) * 2013-02-01 2019-03-27 Progyny, Inc. Measuring embryo development and implantation potential with timing and first cytokinesis phenotype parameters
US9542591B2 (en) 2013-02-28 2017-01-10 Progyny, Inc. Apparatus, method, and system for automated, non-invasive cell activity tracking

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109952614B (zh) * 2016-08-22 2023-11-10 艾瑞斯国际有限公司 生物粒子的分类系统和方法
CN109952614A (zh) * 2016-08-22 2019-06-28 艾瑞斯国际有限公司 生物粒子的分类系统和方法
CN111279421B (zh) * 2017-09-29 2024-04-09 布里格姆妇女医院 人类胚胎的自动评价
US11816753B2 (en) 2017-09-29 2023-11-14 The Brigham And Women's Hospital, Inc. Automated evaluation of human embryos
CN111279421A (zh) * 2017-09-29 2020-06-12 布里格姆妇女医院 人类胚胎的自动评价
US12243647B2 (en) 2017-12-15 2025-03-04 Vitrolife A/S Systems and methods for estimating embryo viability
CN111787877A (zh) * 2017-12-15 2020-10-16 维特罗莱夫公司 用于估计胚胎活力的系统和方法
CN107977684A (zh) * 2017-12-20 2018-05-01 杭州智微信息科技有限公司 一种快速修正骨髓有核细胞分类的交互方法
CN107977684B (zh) * 2017-12-20 2018-10-23 杭州智微信息科技有限公司 一种快速修正骨髓有核细胞分类的交互方法
CN111886630B (zh) * 2018-02-20 2025-03-04 密歇根大学董事会 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析
CN111886630A (zh) * 2018-02-20 2020-11-03 密歇根大学董事会 用于细胞和亚细胞形态学建模和分类的三维细胞和组织图像分析
CN108823095A (zh) * 2018-06-08 2018-11-16 上海柏慧康生物科技有限公司 一种用于活细胞培养过程中的环境控制及观察分析系统
US20210249135A1 (en) * 2018-06-28 2021-08-12 Vitrolife A/S Methods and apparatus for assessing embryo development
US11942220B2 (en) * 2018-06-28 2024-03-26 Vitrolife A/S Methods and apparatus for assessing embryo development
CN111315488A (zh) * 2018-08-06 2020-06-19 卡梅尔诊断有限公司 细胞组织分析的方法及装置
CN109190622A (zh) * 2018-09-11 2019-01-11 深圳辉煌耀强科技有限公司 基于强特征和神经网络的上皮细胞分类系统和方法
CN110363057A (zh) * 2018-12-29 2019-10-22 上海北昂医药科技股份有限公司 一种形态学图像中的精子识别及分类方法
TWI794615B (zh) * 2019-07-26 2023-03-01 德商卡爾蔡司Ｓｍｔ有限公司 微加工裝置的自動運作控制
US12176182B2 (en) 2019-07-26 2024-12-24 Carl Zeiss Smt Gmbh Automated operational control of micro-tooling devices
CN114846507B (zh) * 2019-09-25 2025-10-28 阿斯泰刻有限公司 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
CN114846507A (zh) * 2019-09-25 2022-08-02 普雷萨根私人有限公司 用于使用人工智能（ai）模型进行非侵入性基因检测的方法和系统
CN110969616A (zh) * 2019-12-13 2020-04-07 北京推想科技有限公司 评价卵母细胞质量的方法及装置
CN110969616B (zh) * 2019-12-13 2020-10-27 北京推想科技有限公司 评价卵母细胞质量的方法及装置
CN111339904A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 动物精子图像识别方法和装置
CN111339904B (zh) * 2020-02-21 2023-11-03 腾讯科技（深圳）有限公司 动物精子图像识别方法和装置
CN111652095A (zh) * 2020-05-21 2020-09-11 骏实生物科技(上海)有限公司 一种基于人工智能的ctc图像识别方法和系统
CN111932510B (zh) * 2020-08-03 2024-03-05 深圳回收宝科技有限公司 一种图像清晰度的确定方法及装置
CN111932510A (zh) * 2020-08-03 2020-11-13 深圳回收宝科技有限公司 一种图像清晰度的确定方法及装置
CN114549889A (zh) * 2020-11-26 2022-05-27 富泰华工业（深圳）有限公司 细胞密度分类方法及装置、电子装置及存储介质
CN113177961A (zh) * 2021-06-07 2021-07-27 傲雄在线(重庆)科技有限公司 一种用于印章图文比对的多模态深度模型训练方法
CN116402830A (zh) * 2022-02-02 2023-07-07 苏州博致医疗科技有限公司 一种体外受精高发育潜能胚胎的筛选方法及系统
TWI845274B (zh) * 2023-04-24 2024-06-11 國立臺灣海洋大學 細胞品質預測系統、方法及其異常數據自動偵測方法
CN117253228A (zh) * 2023-11-14 2023-12-19 山东大学 一种基于核像距离内编码的细胞团簇空间约束方法及系统
CN117253228B (zh) * 2023-11-14 2024-02-09 山东大学 一种基于核像距离内编码的细胞团簇空间约束方法及系统

Also Published As

Publication number Publication date
US9710696B2 (en) 2017-07-18
US9542591B2 (en) 2017-01-10
JP2024096236A (ja) 2024-07-12
IL263963A (en) 2019-01-31
EP2961336B1 (en) 2024-03-27
JP2020036625A (ja) 2020-03-12
JP2016509845A (ja) 2016-04-04
JP7071047B2 (ja) 2022-05-18
EP2961336A1 (en) 2016-01-06
WO2014134550A1 (en) 2014-09-04
JP2022087297A (ja) 2022-06-09
CA2901830A1 (en) 2014-09-04
CA2901833A1 (en) 2014-09-04
US20140247973A1 (en) 2014-09-04
CA2901833C (en) 2025-09-16
US20160078275A1 (en) 2016-03-17
ES2981412T3 (es) 2024-10-08
CA3282566A1 (en) 2025-10-30
EP2962101A4 (en) 2016-10-19
IL240856B (en) 2021-02-28
EP2962101A1 (en) 2016-01-06
IL263963B (en) 2021-06-30
US9177192B2 (en) 2015-11-03
CA2901830C (en) 2023-03-21
IL240855A0 (en) 2015-10-29
CN105407819A (zh) 2016-03-16
US20140247972A1 (en) 2014-09-04
IL240855B (en) 2019-01-31
IL240856A0 (en) 2015-10-29
EP2961336A4 (en) 2016-11-02
WO2014134527A1 (en) 2014-09-04
JP2016509844A (ja) 2016-04-04

Similar Documents

Publication Publication Date Title
JP2024096236A (ja) 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
JP7691744B2 (ja) 生殖補助技術における適応型画像処理方法およびシステム
US20240185567A1 (en) System and method for outcome evaluations on human ivf-derived embryos
US20200311916A1 (en) Systems and methods for estimating embryo viability
Corani et al. A Bayesian network model for predicting pregnancy after in vitro fertilization
CN112582022B (zh) 用于无创胚胎移植优先级评级的系统和方法
Kanakasabapathy et al. Deep learning mediated single time-point image-based prediction of embryo developmental outcome at the cleavage stage
Mapstone et al. Deep learning pipeline reveals key moments in human embryonic development predictive of live birth after in vitro fertilization
Moussavi et al. A unified graphical models framework for automated mitosis detection in human embryos
TW201913565A (zh) 胚胎影像評價方法及系統
Zabari et al. Delineating the heterogeneity of preimplantation development via unsupervised clustering of embryo candidates for transfer using automated, accurate and standardized morphokinetic annotation
US20250391501A1 (en) Integrated framework for human embryo ploidy prediction using artificial intelligence
Saraniya et al. Deep learning-based embryo quality assessment: a dual-branch CNN model integrating morphological and spatial features
Moussavi et al. A unified graphical models framework for automated human embryo tracking in time lapse microscopy
Yang Enhancing Clinical IVF Embryo Selection Through the Integration of Artificial Intelligence and Bayesian Statistics
Uyar et al. Bayesian Network Modeling of IVF Blastocyst Score Prediction
Zhao Zygote Morphokinetic Parameters as Early Predictors on Embryo Development in In Vitro Fertilization
Eswaran et al. CWRNNet: A deep learning approach for embryo development stage classification using microscopic images
Yin et al. Classification based on LBP and SVM for human embryo microscope images
CN121353709A (zh) 一种标识载荷疲劳断口自动判读方法
Ahmad et al. ML-Pred-CLL: Machine Learning based prediction of Chronic Lymphocytic Leukemia using protein sequential data
Student RCNN-based EmbryoIn Vitro Fertilization (IVF) Concept

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160316

WD01 Invention patent application deemed withdrawn after publication