CN111971688A - 具有用于检索复发患者的成像参数设置的人工神经网络的超声系统 - Google Patents

Abstract

用于超声成像的系统和方法可以涉及超声探头和处理器的使用，所述处理器被耦合到所述探头并且被耦合到先前采集的超声图像数据的源。所述处理器可以被配置为接收患者识别信息(例如，响应于用户输入和/或由诸如患者照片的额外信息补充)，确定患者识别信息是否识别复发患者，并且如果是的话，从先前采集的超声图像数据的源检索与所述复发患者相关联的先前超声图像。所述处理器可以还被配置为基于从探头接收的信号来生成当前超声图像，并且将神经网络应用于当前超声图像和先前超声图像以识别匹配的图像对，使得来自匹配的先前图像的成像设置可以被应用于所述系统以用于后续的成像。

Description

具有用于检索复发患者的成像参数设置的人工神经网络的超 声系统

技术领域

本公开涉及超声成像系统和方法，并且具体涉及用于复发患者的后续成像和使用人工神经网络检索图像采集的系统和方法。

背景技术

超声成像通常用来无创地对患者内部组织或器官进行成像，例如，用于诊断任何数量的不同疾病和其处置的进展或成功。为了使图像采集合适地适应于特定患者、器官或特定疾病，可能需要适当地设置成像系统的许多成像参数。这些参数与超声信号的发射和接收、采集的信号的处理、图像重建、图像显示和图像存储相关。它们包括诸如图像的深度、发射焦点的位置、聚焦区的数量、是使用B模式还是彩色多普勒模式、是使用谐频还是基频用于成像、图像分辨率、帧率等的操作参数。例如，在监测癌症处置的背景下，相同的超声扫描器可以用于多个患者，并且可以在患者之间改变设置。

针对每一次采集手动改变参数是耗费时间且易于出错的。因此，许多系统包括组织特异性预设置(TSP)，所述组织特异性预设置(TSP)是已经针对具体应用(例如肝脏的成像或颈动脉的成像)优化的成像参数值的集合。对于任何给定的超声换能器，制造商通常提供组织特异性预设置的选择，用户可以从所述组织特异性预设置中进行选择以针对具体成像任务快速地设置超声扫描器。通常，这些通用预设置需要被改变，并且被进一步适应于特定患者。提供一定水平的对患者特异性设置的自动化设置的现有系统不能提供足够鲁棒的解决方案，并且用于自动检索患者特异性成像参数设置的备选和/或改善的方法会是期望的。

发明内容

本公开描述了配备有被训练用于自动检索复发患者的成像参数设置的人工神经网络的超声成像系统。

根据一些实施例的超声成像系统可以包括超声探头和处理器，所述处理器被通信地耦合到所述超声探头并且耦合到先前采集的超声图像数据的源。先前采集的超声图像数据的源可以包括存储设备(例如，一个或多个硬盘驱动器、固态驱动器、或任何其他类型的合适存储设备(包括非易失性存储器))。所述系统的理器可以包括一个或多个处理单元(例如，一个或多个单或多核CPU、单个GPU或GPU集群、或者被配置例如用于并行处理的多个处理器的任何布置)，并且被唯一地配置为执行本文中描述的功能。在一些实施例中，所述处理器可以被配置为接收患者识别信息(例如，响应于用户输入和/或由诸如患者照片的额外信息补充)，确定患者识别信息是否识别复发患者，并且如果患者识别信息识别复发患者，从先前采集的超声图像数据的源检索与复发患者相关联的先前超声图像。所述处理器还被配置为生成当前超声图像，并且将神经网络应用于当前超声图像和先前超声图像以识别匹配的图像对。例如，所述处理器可以针对多幅先前超声图像中的每个超声图像向神经网络提供包括当前超声图像和多幅先前超声图像中的一幅的超声图像对，所述神经网络可以被训练为确定所述图像对是否表示通过复发患者的生物组织的相同成像平面。如果由神经网络作出所述图像对对应于匹配对的确定，所述处理器被配置为自动调整超声成像系统的一个或多个成像参数，使得它们对应于与所述对中的先前采集的图像相关联的成像参数设置，并且使用经调整的成像参数生成新的超声图像。

在一些实施例中，所述神经网络可以包括至少一个神经网络，所述至少一个神经网络可以被配置为将输入图像并且在一些情况下与对应的成像设置相组合转换为特征向量。例如，所述神经网络可以是包括一对分支的深度神经网络，每个分支包括神经网络(例如，卷积神经网络)，并且并行地操作以处理所述对中的图像中的每个图像并且输出描述所述对中的图像中的每个图像的特征向量。所述特征向量然后可以被比较(例如，通过计算距离度量)，以确定两个图像之间的相似度或匹配。在下面进一步描述了系统的其他范例，除了所描述的特定组合之外，其部件可以以与彼此的任何合适的组合方式被使用。

根据本文中的一些范例的方法可以涉及以下步骤：接收患者识别信息，确定所述患者识别信息是否识别复发患者，并且在确定所述患者识别信息识别复发患者之后，从先前采集的超声图像数据的源自动检索与所述复发患者相关联的多幅先前超声图像。所述方法可以还涉及生成复发患者的生物组织的当前超声图像，向神经网络提供所述当前超声图像和所述多幅先前超声图像以识别先前匹配图像，并且响应于对匹配的先前图像的识别，自动调整超声成像系统的一个或多个成像参数来对应于与匹配的先前图像相关联的成像参数设置并且利用经调整的成像参数来采集新的超声图像。在一些范例中，先前匹配图像的确定可以根据对复发患者的表示在与当前采集的超声图像的成像平面相同的成像平面处的生物组织的先前采集的图像的识别来作出。在一些实施例中，所方法可以还涉及正被匹配的两个图像的同时显示(例如，当前超声图像和在先前图像与当前图像的比较正被执行时遍历先前采集的图像中的每个图像的动态更新显示)。在下面进一步描述了方法的其他范例，除了所描述的特定范例之外，其过程方框或步骤可以以任何合适的顺序或与彼此的组合被使用。

本文中描述的方法或其步骤中的任一个可以被实施在非瞬态计算机可读介质中，所述非瞬态计算机可读介质包括可执行指令，所述可执行指令当被(例如，医学成像系统的)的处理器执行时，可以使所述处理器执行被实施在其中的方法或步骤。

附图说明

图1是根据本公开的原理的超声成像过程的流程图。

图2是根据本公开的一些范例的系统的方框图。

图3A示出了了根据本文中的一些范例的被训练为识别匹配视图对的人工神经网络的方框图。

图3B示出了图3A中的神经网络的一部分。

图4示出了根据本文中的一些范例的神经网络和其训练。

图5图示了具有通过根据本公开的神经网络计算的相似度得分的相同感兴趣区域的范例超声图像对。

图6示出了根据本公开的进一步范例的超声成像系统的方框图。

图7A和7B示出了利用不同成像参数设置采集的相同乳房病变的超声图像。

图8A和8B示出了利用相同采集设置在两个不同时间点处采集的相同乳房病变的超声图像。

图9示出了根据本文中的一些范例的用于超声成像的过程的流程图。

具体实施方式

对特定实施例的以下描述在本质上仅仅是示范性的，而完全不旨在限制本发明或其应用或使用。在对本系统和方法的实施例的以下详细描述中，参考附图，附图形成本说明的一部分，并且附图通过图示的方式来示出可以实践所描述的系统和方法的具体实施例的方式。以足够的细节描述这些实施例使得本领域技术人员能够实践当前公开的系统和方法，并且应当理解，可以利用其他实施例，并且可以做出结构和逻辑改变而不偏离本系统的精神和范围。此外，出于简洁的目的，当特定特征对于本领域技术人员而言是显而易见的时，将不再论述对这些特征的详细描述，以便不使对本系统的描述变得费解。以下详细描述因此并非出于限制性的意义，并且本系统的范围仅仅是由权利要求来限定的。

对于需要后续超声检查的患者，为了测量一致性，应当应用相同的成像参数设置(也被称为采集参数设置或被简称为成像设置或采集设置)，其可以包括系统采集状态和患者特异性调整。然而，在临床实践中，可能多个操作者会参与同一患者的系列检查，并且因此成像设置能够在一些情况下从先前检查到当前检查显著地改变。例如，相同感兴趣区域(例如，同一患者的乳房病变)可能非常不同地出现在使用采集设置采集的图像上，例如，如图7A和7B中示出的，后者是使用更高发射功率来产生图像而被采集的图像。测量准确性(例如，如通过分别通过图7A和7B中的测量标记412-a和412-b指示的，这可以表明可疑区域的收缩)和后续的诊断可以受这种变化不利地影响。相比之下，即使在时间上间隔开的检查期间被采集，ROI(例如，如图8A和8B中示出的乳房病变)的图像的变化也可以通过应用相同的采集设置而被极大地降低。为了降低操作者变异性并且因此降低诊断不准确性的风险并且为了简化成像工作流，在本文中描述了用于在纵向研究中检索图像采集设置的系统和方法。在本文中的一些实施例中，所述系统和方法可以在患者识别、设置检索、适当的视图采集和图像归档方面是完全自动化的。在本文中描述的范例中，所述系统可操作为应用不仅特异于具体患者而且特异于具体成像应用(例如，特异于正被成像的组织或器官和/或正被成像的组织或器官的具体视图)的成像设置。

现在参考图1，描述了用于超声检查患者的生物组织的操作情景以便于本发明的方面的理解。如在图1的方框102中示出的，最初，超声医师可以经由超声扫描器12的用户接口设备(例如，控制面板、键盘、触摸屏等)来输入患者识别信息。扫描器12可以是网络连接的系统10的一部分，网络连接的系统10可以包括扫描器12(例如，超声扫描器本身的一部分)共同定位或远程地定位(例如，在远程计算设备14(诸如云服务器)上)的一个或多个处理单元。患者识别信息可以包括可以用来识别患者的人员识别信息的组合，例如患者的名和/或姓、患者的ID号或任何其他类型的唯一医学记录识别符、患者的出生日期等。患者识别信息可以在超声检查开始的时候或之前被输入，并且可以被扫描器12、远程计算设备14或其组合用来确定患者是否是复发患者。

为了进行复发患者确定，系统10访问存储的患者识别信息，所述存储的患者识别信息可以被存储在患者数据库中。如所图示的，复发患者确定(例如，在方框104处)可以远程地进行(例如，由远程计算设备14，如方框104中示出的)、或在超声成像系统上本地地进行(例如，作为处理方框102的一部分)。在复发患者确定期间，新输入的患者识别信息可以被匹配到存储的患者识别信息以确定新输入的患者识别信息是否(精确地或近似地)匹配患者数据库内的患者记录中的任一个，并且因此关于患者是否是复发患者进行确定。在一些实施例中，基于规则的决策树(例如，一系列if-then根毛)可以被扫描器12或远程计算设备14的处理单元用来执行患者识别信息匹配。可以使用基于规则的决策树例如以近似地或精确地匹配一个或多个输入字段或输入字段的一定百分比(例如，输入字段的80％、90％，在一些情况下在匹配过程期间将更高优先权分配给某些输入字段，诸如唯一医学记录识别符和/或患者的姓)。在一些实施例中，适当训练的人工神经网络可以用来执行或帮助复发患者确定。

例如，当复发患者确定由远程计算设备14(例如，使用基于规则的方法或通过应用适当训练的机器学习模型)执行时，由扫描器12接收的患者识别信息可以被传输到远程计算设备14，如方框104中示出的，远程计算设备14然后访问存储的患者识别信息以执行匹配。在一些范例中，扫描器12可以额外地或替代地执行患者匹配(例如，使用基于规则的方法或通过应用适当训练的机器学习模型)。在此类范例中，在录入新的患者识别信息之后，扫描器12可以将请求传输到远程计算设备14，以检索存储的患者识别信息并且本地地执行患者匹配。

如果匹配的患者记录在患者数据库中被识别，由系统10作出患者是复发患者的确定，并且过程前进到方框118。替代地，如果作出患者不是复发患者的确定，则过程继续到方框116，其中，成像参缺省采集设置继续(或成像可以进一步被超声医师手动地调整)。在此情景下采集的超声图像连同对应的成像设置一起最初被本地地存储，如方框124中示出的，并且然后被归档，如方框108中示出的。如所描述的，在一些实施例中，对患者是否是复发的识别可以由超声扫描器12和/或与远程计算设备14相组合来执行。例如，远程计算设备14(其可以包括云服务器)可以包括存储患者数据库的数据存储设备，而扫描器12的处理器可以例如基于被存储在扫描器上的可执行指令(例如，源代码或经编译的代码)来执行患者是否是复发患者的实际确定。可执行指令可以实施一组预定规则(即决策逻辑)，或它们可以额外地或替代地实施适当训练的机器学习模型。在一些实施例中，对患者是否是复发患者的确定可以替代地由远程计算设备14执行，并且确定决策可以被供应给扫描器12(例如，用于显示对超声医师的通知)和/或被远程计算设备14用于检索与复发患者相关联的以前图像数据。

在一些情况下，患者识别信息可能是有噪声的(例如，信息可能是部分的，和/或包括上面提及的数据入口中的一个或多个中的排字上的错误)。系统10可以采用适当训练的机器学习模型(也被称为患者匹配模型)来解决患者识别输入数据中的错误或噪声。在一些范例中，除了可以由超声医师提供的任何文本输入之外，可以向系统100提供额外的患者识别信息(例如患者图像)。患者图像可以例如在检查开始的时候被图像捕获设备(例如，数字摄像机)自动捕获，所述图像捕获设备被定位为在其视场内包括患者的面部。在其他范例中，患者图像可以在检查的开始之前(例如在患者登记的时候)利用医学设施来捕获。患者图像可以从图像捕获设备或存储设备(经由有线或无线连接)被传送到执行复发患者确定的系统10的相关处理单元。系统可以采用任何目前已知的或以后研发的面部识别技术来将患者图像中的患者的面部匹配到(例如，来自以前检查的)之前患者图像中的患者的面部。在一些范例中，替代地或额外地，系统10可以被配置为接收确认的用户输入来完成复发患者确定过程。例如，系统10可以从患者数据库中的被确定为最可能匹配到当前患者的唯一患者记录的更大列表识别一小组患者(例如，三个或更多个)。系统10可以以小组方式向用户显示患者的列表，并且在前进到接下来的步骤(例如，通过视图匹配的受帮助的检查或未受帮助的检查)之前等待确认的输入(例如，对列表中的患者中的一个或没有一个的选择)。在一些此类实施例中，当显示最可能匹配的患者的列表时，系统10可以突出任何或部分非匹配信息，以增加操作者的差异的注意，并且潜在地促进由操作者作出的更容易的决策。

如所描述的，在更进一步的实施例中，系统10可以额外地或替代地采用用于确定患者是否是复发患者的神经网络。神经网络可以接收患者识别信息作为输入，所患者识别信息可以包括诸如姓名、医学记录识别符、出生日期等的识别信息、和/或一个或多个患者图像。神经网络可以被训练为执行面部识别(在当患者图像被包括在患者识别信息中时的情况下)和/或计算输入数据与存储的患者识别数据的个体记录之间的匹配的概率。神经网络可以输出匹配的概率，和/或，在一些范例中，当概率超过一定值(例如，80％，85％，90％或更高)时，可以自动作出患者是复发患者的确定。在一些范例中，神经网络可以输出最可能匹配的患者的列表(例如，与大于例如85％的匹配的概率相关联的那些患者的列表)，其中，响应于确认的用户输入而作出匹配(或不匹配)的最终确定。在一些范例中，最可能匹配的患者的列出可以以匹配概率的顺序被布置。

所述过程还涉及患者的超声图像并且特别是实时成像的采集。最初，成像系统(例如，扫描器12)加载缺省采集设置(如方框110中示出的)，所述缺省采集设置可以是(例如，通过优化和/或咨询专家用户)被确定为是用于具体成像模式(例如，B模式、M模式、多普勒等)和/或用于特定临床成像应用(例如，心脏、乳房、母体-胎儿成像等)的优选设置的采集参数设置的集合。在大多数成像系统上，缺省采集设置通常在检查之前或期间可由超声医师进一步配置。在一些实施例中，缺省采集设置可以额外地或替代地包括之前被超声医师保存在本地设备(例如，扫描器12)上的采集设置。在本情景中，如果系统10确定患者不是复发患者(如决策方框114处示出的)，则不执行采集设置的自动调整，并且成像阶段在缺省设置或被超声医师进一步手动调整的情况下继续(从方框112并且如方框116中进一步示出的)。在成像阶段期间采集并且本地保存(方框124)的图像随后可以被归档(如方框108中示出的)以便在未来的成像阶段中用于采集设置的自动检索。

如果由系统(在方框114处)作出患者是复发患者的确定，该过程继续到视图匹配过程(方框118)。如所图示的，扫描器12(例如，经由有线或无线连接)被连接到先前采集的图像数据的源。例如，先前采集的图像数据的源可以包括网络连接的存储设备(例如，远程设备14，其可以是医学设施的影像归档和通信系统(PACS)的一部分)。在将患者识别为复发患者之后，系统10从源(例如，设备14)检索复发患者的以前图像数据、以及用来采集以前图像数据的对应的图像采集设置，如方框106中示出的。在一些范例中，诸如当被归档到PACS时，图像使用标准格式(诸如DICOM)被存储，并且因此每个归档的图像或图像的序列(例如，电影回放)可以伴随有用来采集图像数据的对应的采集参数设置。在DICOM的情况下，这种信息可以被存储在DICOM文件的标题中。在一些特定范例中，所检索的以前图像数据(具有对应的采集设置)可以包括来自相同类型的复发患者的上一次检查(例如，上一次乳房检查或上一次肝脏检查)的归档的图像、或相同类型的复发患者的最近的检查的数量(2、3、4、5或更多)。

从源(例如，设备14)检索的图像数据文件被系统10的一个或多个处理器用来识别具有匹配当前图像的视图的以前图像，如在下面进一步描述的。如应意识到的，在任何给定图像中(具体地在2D成像中)示出的具体解剖结构将会取决于探头的图像平面(或扫描平面)与正被成像的组织如何相交，这将会取决于超声探头相对于患者的放置和/或超声波束的转向角度。视图匹配过程实际上确定任何给定的以前图像在以与当前图像的那些相同的方式探头被取向并且波束被指向组织的情况下被获取的概率，使得感兴趣区域的测量(例如病变的尺寸的测量)可以通过正在相同位置处被获取而随着时间被更准确地执行。此外，因为采集设置影响最终由系统产生的图像并且因此可能从该图像可获得的测量，相同或基本上相同的采集参数应当在纵向研究中被使用。因此，根据本公开，如果在前图像数据中发现匹配当前图像的视图(或图像)，与该以前匹配视图相关联的采集设置用来配置扫描器12并且采集更新的当前视图(如方框124中示出的)。在一些情况下，成像阶段可以通过成像协议进行，例如以获得视图的预定集合(例如，用于超声心动图或胎儿超声的标准视图)，并且在协议的每个步骤处(即对于每个视图(方框126))，系统10可以执行视图匹配和采集参数的自动设置检索，例如，如方框118中示出的。

在一些实施例中，视图匹配和应用所检索的设置的系统重新配置可以在该背景中发生(例如，无需操作者了解或参与)。在一些此类范例中，当系统识别匹配(例如，基于超过一定值的相似度得分)时，对所发现的匹配或适当的当前视图的采集的指示可以例如通过视觉(例如，光或光标的激活)或听觉(例如，发出哔哔声)指示符被提供给用户。在其他实施例中，系统10可以显示视觉匹配接口(如方框122中示出的)，以向超声医师提供反馈和/或在视图匹配过程期间接收进一步的输入。例如，扫描器12可以被配置为同时显示(例如，并排地)在任何给定时刻正被匹配视图对。在此类范例中，当扫描器采集当前(实时)图像时，与先前图像中的每一个同时地(例如，并排地)显示所述当前图像，因为它们正在对照当前图像被处理(例如，通过神经网络被分析用于相似度得分的计算)。在一些实施例中，两个显示的图像之间的相似度的亮度(例如，相似度得分)也可以连同正被匹配视图对一起被显示。通常，在视图匹配过程期间，超声医师将探头保持在相对于患者的相同位置中，以在当前图像中维持相同的视图，直至从以前图像发现匹配(或不匹配被确认)，并且具有所检索的以前设置的新的当前图像已经被捕获并被本地地存储(在方框124处)。如之前提及的，可以提供视觉或听觉指示符来通知超声医师已经发现匹配的视图和/或已经捕获更新的图像。在一些实施例中，可以在匹配视图已经被发现并且以前设置被应用于扫描器之后、但是在本地地存储具有更新的设置的新的图像之前提供指示符，使得超声医师可以有机会进一步调整图像采集设置。在此类范例中，在识别匹配视图之后，以前设置被检索并且被自动应用于扫描器，使得超声医师可以在更新的图像被存储之前预览并视觉地确认两个同时显示的图像是充分匹配的。在图像已经利用更新的设置被采集并且被本地地存储(按照方框124)之后，超声医师可以移动探头以采集另一视图(方框126)。

如所讨论的，在一些实施例中，系统10可以在匹配过程期间预期确认的操作者输入。例如，当已经针对当前图像发现匹配视图并且在调整设置和/或利用更新的设置采集进一步图像之前等待两个视图是充分匹配的确认的输入时，系统10可以进入冻结模式。这种确认的输入可以有利于在本文中进一步描述的视图匹配神经网络的后续训练。然而，在其他实施例中，系统可以不进入冻结模式，而是可以在识别匹配的以前视图之后自动存储当前图像。如在下面进一步描述的，神经网络可以被训练为使得考虑到作为输入的任何图像和设置对(I1、S1)和(I2、S2)，神经网络确定图像对是否来自相同视图，不管设置可能对图像对的可感知(通过人眼)的相似度的任何影响。定量测量可以在成像阶段期间的任何时候(例如在匹配视图已经被发现并且设置被更新之后)被执行，操作者可以在采集更新的当前图像之后进入冻结模式以对更新的图像执行测量。

本地存储的图像、识别的匹配图像对和由扫描器在给定成像阶段期间获得对应设置中的任一个可以被归档到网络连接的存储设备(例如，在远程计算设备14上)，例如用于在相同患者的纵向研究中和/或被系统采用的神经网络中的一个或多个的后续训练中使用。与要被归档的每个图像相关联的采集设置可以与图像数据一起被存储(例如，在标准文件格式(诸如DICOM)的标头中)或被存储在表或数据库(例如，表132和134)中。在一些范例中，将每个图像的采集设置与用于该图像的唯一识别符相关联的表可以被生成，并且被存储在设备14上。可以被包括在所存储的设置中的采集设置的类型可以包括例如发射设置(诸如发射功率、深度、焦点、频率选项、谐波、多普勒尺度、或任何其他发射设置)、接收设置(诸如2D增益、时间增益补偿(TGC)曲线、线密度、和其他接收设置)、信号和图像处理设置(诸如XRes设置、压缩动态范围、色图、或其他设置、或其任何组合)。在成像阶段结束的时候(或间歇地在成像阶段期间)，被本地地保存在扫描器12上的图像可以被传输到远程存储设备。新采集的图像和设置可以被类似地格式化到以前图像数据的数据库中的其余入口，因此它们能够被附加到其用于未来在后续成像阶段期间的扫描器12的自动配置中使用。此外，匹配视图的对，其每个包括当前和以前匹配视图图像，可以例如被保存在匹配视图数据库132中，匹配视图数据库132可以便于放射科医生在后续检查中的询问和/或视图匹配神经网络的额外训练。在一些范例中，匹配视图数据库中的入口可以以包含多列匹配视图对的表方式进行组织，其中，每一列与唯一匹配视图对相关联。

根据一些实施例的超声成像系统可以包括超声探头和处理器，所述处理器被通信地耦合到超声探头并且被耦合到先前采集的超声图像数据的源。图2示出了根据本发明的原理的系统200的方框图。超声系统200包括超声数据采集单元210。系统200的部件可以用来实施图1中的系统10的至少一部分，例如超声扫描器12。系统200包括超声数据采集单元210、设置检索引擎227，设置检索引擎227实施被训练为识别匹配图像对的神经网络228，并且被连接到先前采集的超声数据的源229。系统200的部件和图2中的其布置仅仅是图示性的，并且考虑了诸如组合、重新布置、添加或移除部件的变型。

超声数据采集单元210可以被配置为采集超声图像数据，并且实时显示超声图像数据(即，当图像数据正被采集时)。超声数据采集单元210可以包括典型超声扫描器的一些或所有部件。例如，超声数据采集单元210可以包括超声换能器或探头211，超声换能器或探头211包括被配置为朝向目标区域216(例如，对象的乳房组织、腹部或其他生物组织)发射超声214并且检测响应于超声的回波218的超声传感器阵列212。超声数据采集单元210可以还包括波束形成器220和信号处理器222，信号处理器222可以被配置为根据被阵列212检测到的回波218生成超声图像数据232，超声图像数据232可以以一个或多个超声图像帧方式被实时显示。波束形成器220可以包括一个或多个波束形成器(例如，超声系统基部中的结合主波束形成器的微波束形成器、或发射和接收微波束形成器和/或主波束形成器的组合)。波束形成器220可以被配置为控制超声的发射和回波信号的接收。在一些实施例中，波束形成器220可以包括微波束形成器，所述微波束形成器可以与超声阵列一起被共同定位在探头中，并且对多组传感器元件进行操作以便通过超声传感器阵列212的多组传感器元件进行发射和/或接收。

在一些范例中，信号处理器222可以与传感器阵列212一起被容纳，或者它可以与传感器阵列212物理地分开，但是(例如，经由有线或无线连接)被通信地耦合到传感器阵列212。超声数据采集单元210可以包括或被操作性地耦合到用户接口236，用户接口236可以被物理地连接到容纳信号处理器222的系统基部230。用户接口236可以包括用于显示响应于信号处理器222而被生成的超声图像数据232的显示器238。信号处理器222可以与传感器阵列212和/或波束形成器220通信地、操作性地和/或物理地耦合。在图2中示出的范例中，信号处理器222被包括作为数据采集单元210的一体部件，但是在其他范例中，信号处理器222可以是单独的部件。信号处理器222可以被配置为接收在传感器阵列212处接收的体现超声回波218的未滤波的且无组织的超声数据。当操作者超声扫描区域216时，信号处理器222可以从根据该数据例如实时生成超声图像数据232，超声图像数据232然后可以响应于显示处理器234而被显示在显示器238上。

超声数据采集单元210可以包括控制器224，控制器224可以被配置为设置系统200的成像参数，例如，以控制通过阵列212的信号的发射和接收、以及系统200的某些信号和图像处理功能。控制器224可以被通信地耦合到用于如本文中描述的成像参数的自动设置的设置检索引擎227。控制器224可以被配置为根据可以被存储在超声数据采集单元210的存储器中的预先存储的设置(也被称为预设)成像参数，并且可以还被配置为例如响应于用户输入或从设置检索引擎227提供的(一个或多个)输入而调整设置。

在一些范例中，系统200的成像参数可以由控制器224根据从先前采集的超声图像数据的源229检索的设置226来调整，这些设置226也被称为先前设置226。在一些情况下，先前设置226可以在条件发生(例如，当前与先前采集的图像之间的匹配的确定)之后被自动应用。被控制器224应用的设置可以由波束形成器220在控制用于通过阵列212的信号的发射和检测的阵列的元件的激励时使用。被控制器224应用的设置也可以影响所采集的超声数据的信号和图像处理，例如，通过控制用于图像的显示的压缩动态范围、或其他图像处理或显示设置。

数据采集单元210可以被通信地连接到至少一个处理器223，所述至少一个处理器223被配置为执行与成像设置的自动检索和应用相关联的功能中的一个或多个。处理器223可以包括设置检索引擎227，并且可以被耦合到先前采集的超声图像数据的源229。先前采集的超声图像数据的源229可以包括(经由有线或无线连接)被通信地连接到处理器223的存储设备(例如，一个或多个硬盘驱动器、固态驱动器、或任何其他类型的合适存储设备(包括非易失性存储器))。处理器223可以包括一个或多个处理单元(例如，一个或多个单或多核CPU、单个GPU或GPU集群、或例如被配置用于并行处理的多个处理器的任何布置)，并且被唯一地配置为执行本文中描述的功能。如参考图1描述的，处理器223可以被配置为接收患者识别信息(例如，响应于用户输入和/或由诸如患者照片的额外信息补充)，并且确定患者识别信息是否识别复发患者。在一些实施例中，处理器223可以被训练为确定患者识别信息(即使有噪声)是否对应于患者数据库内的另一患者记录并且因此作出患者是否是复发患者的确定的神经网络。处理器223可以还被配置为在患者识别信息识别复发患者的确定之后引起系统200从源229检索与复发患者相关联的先前采集的超声图像(也被称为先前图像)。

处理器223可以还被配置为生成当前超声图像，并且引起当前超声图像被显示。在一些范例中，系统200可以包括显示处理器234，显示处理器234控制被显示在显示器238上的信息。显示处理器234基于从信号处理器222接收的信息和从处理器和设置检索引擎227接收的信息生成图像和它们被显示的方式。显示处理器234可以生成与设置检索引擎227的操作唯一地相关联的图像显示，例如包括当前超声图像和先前采集的图像中的一个或多个的图像对的同时显示，先前采集的图像可以由设置检索引擎227对照当前图像针对可能的匹配进行分析。显示处理器234还可以生成各种各样的其他图形用户接口元素(包括可以与超声图像数据一起被显示的图形叠加(例如，信息、指示符等))和/或各种各样的交互式GUI元素(诸如输入方框、图标和其他类型的用户控制)。例如，显示处理器234可以生成匹配或相似度指示符，例如，其可以被提供为图像对的相似度得分的图形表示(字母数字、颜色编码或其他)(例如，参见图5)。

根据本公开的原理，处理器223可以将神经网络228应用于基于由阵列212检测到的回波产生的当前超声图像和从源229检索的先前超声图像以识别匹配的图像对。

为此目的，处理器223可以包括设置检索引擎227。设置检索引擎227可以以硬接线电路(例如，一个或多个专用集成电路ASIC)和软件(例如，可执行指令225，其可以由处理器228执行)的任何合适的组合方式被实施。可执行指令225可以被存储在系统200的存储器中(以源代码或编译的/机器代码的形式)，并且可以由处理器223执行以执行本文中描述的成像参数的自动检索和设置。设置检索引擎227可以被实施在单或多核CPU、单个GPU或GPU集群、或例如被配置用于并行处理的多个处理器的任何布置中，并且具体地通过可执行指令225被编程为执行根据本文中的范例的神经网络算法，例如，被训练为从先前采集并存储的超声图像的集合识别到由数据采集单元210(例如，实时)采集的任何新的/当前图像的匹配超声图像的神经网络228。

在操作中，处理器223可以针对从源229检索的多幅先前超声图像中每个超声图像向神经网络228提供包括当前超声图像和多幅先前超声图像中的一幅的超声图像对。如所描述的，尽管对象的相同成像视图可以在两个图像中通过不同的像素数据(例如，由于不同的成像设置)来表示，但是神经网络228可以被训练为不管像素数据的差异而辨别匹配，例如通过将图像数据(并且，一些情况下，相关联的成像设置)转换为然后针对相似度进行分析的一个或多个特征向量。多个已知的图像对和可选地设置可以用来训练神经网络以导出可以适合于确定图像对是否表示通过任何给定的患者的生物组织的相同成像视图或平面的描述性和/或相似度函数。

在一些范例中，并且如在下面进一步描述的，神经网络228可以被训练为针对多个输入图像对中的每个(例如，图5中示出的当前512和之前514图像的图像对)计算相似度得分(例如，参见图5中的图像对510-1至510-4以及对应的相似度得分516-1至516-4)。在一些实施例中，神经网络228可以包括一个或多个神经网络(或机器学习模型或算法)和/或被操作性地布置为确定输入图像是匹配还是不匹配的额外计算模块。在一些范例中，均具有相同或类似架构的多个神经网络可以用来实施神经网络228。神经网络228可以被训练为匹配各种各样的不同临床/成像应用(例如，心脏、胎儿、肺部或乳房超声)中的任一个中的图像。在其他范例中，专用的神经网络模型可以针对每个临床应用进行训练，并且基于数据采集单元210在给定时候进行成像的特定应用被智能地自动选择。

在一些实施例中，神经网络可以包括至少一个神经网络，所诉至少一个神经网络可以被配置为将输入图像并且在一些情况下结合对应的成像设置转换为特征向量。例如，神经网络可以是包括一对分支的深度神经网络，每个分支包括神经网络(例如，卷积神经网络)，并且并行地操作以处理所述对中的图像中的每个并且输出描述所述对中的图像中的每个的特征向量。特征向量然后可以被比较(例如，通过计算距离度量，如在下面进一步描述的)，以确定两个图像之间的相似度或匹配。如本文中使用的术语匹配旨在意指匹配视图的最终确定(不管是否基于计算的相似度)，而术语相似度一般用来指的是两个图像之间的相似度的一定形式的评价，不管是否最终被确定为构成匹配。例如，神经网络228可以针对任何给定的图像对输出相似度得分，和/或如果相似度得分超过一定值(例如，在0至1的归一化尺度上，相似度得分大于0.7)，可以额外地自动输出匹配的确定。在其他范例中，神经网络228可以不输出任何中间信息(例如，相似度得分)，而是可以被简单地配置为确定是存在匹配还是不匹配，并且如果发现匹配则前进到参数的自动设置，或如果未发现匹配则继续遍历先前图像的数据库。在其他范例中，设置检索引擎227可以接收图像对的集合和伴随的相似度得分作为输出。图像对的集合可以是来自通过神经网络228被分析并且被确定为构成最接近匹配对的全部多个图像对的小的子集(例如，3个、4个、5个或更多个)，其可以响应于来自处理器223的命令而连同其对应的相似度得分一起成对地被显示给用户(例如，如图5中示出的)。在确认的用户输入被系统200接收之后，控制器224然后可以前进到调整根据来自子集的图像对中的选定图像对和/或根据进一步的手动输入/调整来调整成像参数。

在给定图像对对应于匹配对的确定之后，处理器223或更具体地设置检索引擎227可以将给定对的与先前采集的图像相关联的成像设置(即用来采集图像的设置)自动传送到数据采集单元210或更具体地到控制器224，控制器224然后自动设置系统200的成像参数以对应于匹配的先前采集的图像的那些。传输先前设置并且将先前设置应用于系统的过程可以自动发生(例如，无需操作者了解或参与)，并且因此随后采集的图像可以自动反映相同的成像设置，并且因此可能更准确地表示后续的当前图像中的身体结构，促进更准确的测量和诊断。此外，检查工作流因此可以被改善在于超声医师不需要针对要被采集的每一个视图执行手动调整，因为系统200(在一些情况下基本上或在此背景中完全)自动执行成像参数的自动采集和设置。

由于(例如，PACS中或云存储设备中的)存储的医学图像数据的增加的体积，高质量临床图像的可用性正在增加，其可以被用来训练神经网络以从已知的匹配和非匹配图像对学习相似度函数。例如，深度神经网络(诸如卷积神经网络)可以被训练为从包括多个(数百个、经常数千个或甚至更多个)注释的/标记图像对的训练数据集(也被称为训练图像对)学习相似度函数。应理解，训练图像对不需要包括由成像系统产生的全部图像，而且可以包括相同目标生物组织或器官的图像的小片或部分。图3A和3B示出了根据本发明的原理的范例神经网络的架构的方面。图3A中的神经网络300是深度神经网络，并且更具体地包括至少一个卷积神经网络(CNN)。在一些实施例中，神经网络300可以包括一个、两个或更多个神经网络，其被布置为操作性地产生期望结果，在这种情况下作出输入图像对中的两个图像的视图是否匹配的确定。虽然在大多数情况下存在于每个图像中的图像数据的精确内容(例如，被显示为第一和第二图像的像素值的阵列)可能会不同，但是神经网络300被训练为作出每个图像中的视图(即，对象内的获取图像的扫描平面或位置)在两个图像中是否相同的确定。

在图3A的特定的图示的范例中，神经网络300包括第一子网络或部分310和第二子网络或部分310。第一部分310对作为输入的图像对进行操作，并且输出一对特征向量306，所述一对特征向量306可以被视为输入图像中的特征的描述符。第二部分320接收第一部分310的输出(例如，特征向量306-1和306-2)，并且计算两个特征向量之间的相似度和/或作出两个输入图像是否匹配的最终确定。神经网络300的输出308被超声成像系统用来控制进一步操作和/或触发超声成像系统的进一步处理步骤。第一部分310、第二部分320或两者可以个体地由互相连接的神经节点的一个或多个层构成，并且因此可以个体地被称为神经网络或子网络。本文中的背景下的术语相互连接不一定意指所有节点都被完全连接，而是简单地意指网络的给定层的一个或多个节点被连接到网络的另一层的一个或多个节点。在一些范例中，部分310和320中的至少一个或其部件的功能性可以由预先编程的计算模块(即，基于机器学习的算法)执行。该计算模块可以与至少一个神经网络进行组合来定义神经网络300。还应理解，图3A中的神经网络300的特定架构仅仅是示范性的，并且在其他范例中，层或部件的其他架构或布置可以被使用。

现在还参考图3B，神经网络300的第一部分310包括并行地操作的两个分支304-1和304-2。分支304-1和304-2中的每个本身可以构成深度神经网络(例如，CNN)。在特定范例中，在特定范例中分支304-1和304-2中的每个包括多个神经层，包括一个或多个卷积、池化和完全连接层。在该范例中，网络300的两个分支304-1和304-2中的每个具有相同的架构和权重。每个分支对输入图像对302的图像中的一个进行操作以产生输入图像的描述符(例如，M尺寸的特征向量306-1或306-2)，其随后被比较以确定两个输入图像(302-1和302-1)之间的相似度。如所描述的，在输入图像对302中包括第一图像302-1(其是先前采集的图像)和第二图像302-2(其是当前采集的图像(例如，由成像设备产生的实时图像))。网络300的范例二分支架构使得网络300同时对两个输入图像进行操作；然而，应意识到，在其他范例中，可以使用不同的架构，例如，输入图像被顺序地分析以获得对应的描述符并且描述符然后如本文中描述的那样被类似地比较的架构。

还参考图4，神经网络300可以通过为网络中的训练305提供训练数据303(例如，已知的图像对和其应用的设置)的多个集合(数十、数百、数千或更多)来进行训练(例如，经由训练过程301)。网络的第一部分通过训练描述符函数来学习并且当被训练时能够针对任何输入图像产生描述符(或特征向量)，而相似度部分学习相似度并且能够比较描述符对来确定其相似度。在这种并行模型架构中，两个分支例如通过标准反向传播被一起训练。即，在训练期间，两个分支的参数(例如，权重)被同时更新直至累积代价函数的收敛或充分最小化。如训练方框301中示出的，为了训练神经网络300，训练数据303可以被提供给训练305中的一个或多个神经网络(例如，用于患者检查的网络的以前部署)，但是在一些情况下，进一步的训练可以在网络300已经被部署在超声成像系统上之后发生。如所描述的，这种现场训练可以使用从一个或多个患者检查采集的图像数据和标记来执行。训练数据集的数量以及网络300的各种参数可以是不同的，并且依据任务的复杂性(例如，要被训练的不同特征的数量，如果训练网络来匹配图像并且因此学习与不同临床应用相关联的特征，所述数量则会是显著更大的)而被调整。训练可以是分批的(例如使用图像或成像区域的部分)或使用具体解剖侧的全部图像。训练可以涉及使用2D或3D图像数据。当网络300可以被通信地耦合到成像设备(扫描器12)并且基于特定临床应用被成像设备(扫描器12)适当地调用时，网络300可以针对多个临床应用(例如，心脏、乳房、肺部超声)或具有类似架构的多个个体网络被训练为确定相似度并且因此匹配图像。

如图3B中示出的，神经网络300的每个分支可以实施子网络，在这种情况下，卷积神经网络304。该范例的分支或子网络304包括多个层312、314、316，包括一个或多个卷积层(例如，在这种情况下N+n个卷积层)、池化层和完全连接层。在网络300的范例中，取决于任务的复杂性，子网络304可以包括任何数量的层。网络304的输入层312是卷积层，并且输出层316是完全连接层，其中，中间层314包括一系列卷积层，每个卷积层可以包括卷积、非线性正则化、批量归一化和空间池化层中的至少一个。到网络304的输入是图像和相关联的(或对应的)采集设置305。(例如，来自最后一个完全连接层的)网络304的输出306是M尺寸的特征向量。网络的参数(例如，层的总数量(N+n)和/或输出的尺寸)可以取决于任务的复杂性(例如，输入的尺寸、网络要被训练为学习的特征的数量)、可用的计算资源和其他设计参数。

在第一卷积层(Conv1)中，一个或多个滤波器被应用或卷积在输入图像302上(例如先前采集的图像302-1)以产生特征(或活动)图的堆叠，并且在空间池化操作之后，均具有小于原始(输入)图像的尺寸并且取决于滤波器的尺寸(或相应场)和池化操作的步长(或跨度)的尺寸。所述堆叠中的每个特征图可以通过值的2D阵列(在单信道输入的情况下，或在多信道的情况下3D阵列，例如RGB图像输入)来表示。来自Conv1层的该特征图的堆叠(或输出体积)然后例如在批量归一化、非线性正则化和池化之后被提供给第二卷积层(Conv2)，以产生特征图的另一集合，其再次被提供给下一卷积层(例如，在非线性正则化、批量归一化和池化之后)等等，直至期望尺寸的特征图(或输出体积)的集合由网络304的第一部分317的最后一个卷积层(ConvN层)产生(例如，如方框317-1中示出的)。

并行地，如方框317-2中示出的，网络304还接收与输入图像302相关联的参数设置305作为输入。这些参数设置305作为X维向量307输入被提供给网络304，所述X维向量307输入也被称为设置向量307，其包含X数量的值，每个值对应于用于多个唯一超声成像参数(例如，增益、TGC、焦区、频率、动态范围等)中的每个。设置向量307是与在N卷积层处产生的特征图的维度中的一个相同的尺寸，使得设置向量307可以被逐段添加到在层N处产生的每个特征图。方框317-1中的卷积的数量因此可以取决于在最后一个卷积层结束的时候的特征图的期望尺寸，其可以由第二输入(即，设置向量307)的尺寸驱动。

在一些范例中，设置向量307可以被空间地平铺，即，在层N处输出的特征图的其他空间维度上面复制它。即，空间平铺层获取X尺寸的向量，并且输出X乘Z阵列，其中，列Z中的每一个包含原始设置向量的相同值。方框317-1的输出(例如，在层N处产生的X乘Z特征图)和方框317-2的输出(由空间平铺向量307产生的X乘Z阵列)然后可以被组合(例如，通过逐元素地将在方框317-2处输出的阵列的值添加到在方框317-1处输出的特征图中的每一个的值)。求和方框的输出被提供给网络304的第二部分318的第一卷积层(ConvN+1)。特征图通过卷积层的另一集合来处理，所述卷积层中的每个可以包括非线性正则化、批量归一化和池化以产生特征图(或输出体积)的最终集合，其然后被提供给完全连接层用于计算M尺寸的特征向量306。

如之前描述的，网络304可以仅表示被用来确定输入图像对之间的相似度的更大神经网络的分支中的一个。因此，与网络304类似的网络可以被应用于另一个输入图像(例如，当前采集的图像302-2)以产生特征向量306-2。由网络300的分支中的每个分支输出的特征向量然后被比较，以确定输入图像之间的相似度(例如，计算相似度得分)。例如，特征向量对可以通过测量通过在某一度量空间处测量其距离(例如平方差、相关分析或其他统计度量)来进行比较。相似度得分表示这种距离度量。在训练期间，代价函数可以被最小化以训练系统来识别匹配和非匹配对。代价函数在以下原理上进行定义：对于匹配(或相同视图)图像，距离度量被最小化，而对于非匹配(或不同视图)图像，距离度量以朝向最大化距离度量的相反方向移动。经训练的网络300因此可以能够计算距离度量，并且据此确定与距离度量逆向关的相似度得分(即，距离度量越小，相似度得分越大)。阈值可以被用来确定对应于匹配对和非匹配对的距离度量(或相反，相似度得分)输出。

回来参考图3A，两个分支的输出(即，特征向量对312-1、312-2)被提供给相似度确定模块310，相似度确定模块310提供输出311。例如，相似度确定模块310比较特征向量，以输出二值确定(例如，对于匹配，计算1的值，而对于不匹配，计算0的值)或计算相似度得分(例如，0和1之间的某一非整数值)。模块310可以提供计算的值或匹配/不匹配的确定作为输出311，其可以用来生成超声系统的显示器上的一个或多个指示符，和/或触发如本文中描述的额外数据检索和/或处理步骤。

在一些范例中，相似度确定模块310可以使用距离函数(例如，欧式距离函数L²范数)来计算相似度得分。例如对于M维空间，欧式距离可以使用以下函数来计算：

其中，d是两个点p和q之间的欧式距离或在该范例中M尺寸的特征向量312-1与M尺寸的特征向量312-2的之间的距离。模块310可以被配置为如果计算的距离不超过预定值则输出匹配的确定(例如，为1的输出)，并且如果计算的距离等于或超过预定值则输出不匹配的确定(例如，为0的输出)。

在其他范例中，神经网络(例如，应用判别模型)可以被训练为执行匹配或不匹配的最终确定。即，在一些实施例中，相似度确定模块310可以应用被训练为导出相似度得分和/或作出二值确定(匹配或不匹配)的又一神经网络。该神经网络可以例如实施被训练为将特征向量对分类成相似度类别的判别模型，诸如对应于0和1的两个类别、或多个类别(例如，0、0.05、0.1、0.15、0.2等)、或0和1之间的任何数量的中间相似度得分。为了训练神经网络，已知的特征向量对可以作为训练数据被提供给网络。即，可以为神经网络提供训练数据，包括多个标记的输入集合(I(x,y),label)，其中，x和y是两个特征向量，并且label是已知的分类或类别(例如，用于训练二值分类的0或1的值、或0和1之间的某一非整数值)，使得网络可以学习概率函数，例如，条件概率分布p(label|I)，即，考虑到特征向量x和y的输入对的类别label的概率(例如，在二值情景中，0或1)。

图6示出了根据本公开的原理构建的超声成像系统的方框图。超声成像系统610的一些或所有部件可以用来实施根据本文中的范例中的任一个的超声成像系统，例如图2中的系统200。图6中的超声成像系统610包括超声探头612、换能器阵列614、波束形成器622以及任选地微波束形成器616、发射/接收(T/R)开关618、发射/接收控制器620、以及用于从被阵列614检测到的回波生成超声图像的一个或多个处理部件。例如，系统610可以包括信号处理器626、B模式处理器628、扫描转换器630、多平面重新格式化器632、体积绘制器634、图像处理器636和图形处理器640。系统还可以包括用户接口625，用户接口625可以包括一个或多个输入设备652和一个或多个输出设备638。图6中示出的部件仅仅是图示性的，并且包括省去部件、组合部件、重新布置部件和替换部件的其他变型都被考虑。

如图所示，超声成像系统610包括超声探头612，超声探头612包括用于发射超声波和接收回波信息的换能器阵列614。多种换能器阵列可以被使用，例如，线性阵列、弧形阵列或相控阵列。换能器阵列614例如能够包括例如能够在仰角和方位角维度上扫描用于2D和/或3D成像的换能器元件的二维阵列(如图所示)。换能器阵列614可以被耦合到微波束形成器616，微波束形成器616可以位于超声探头612中。微波束形成器616控制通过阵列614中的换能器元件的信号的发射和接收。在所图示的范例中，微波束形成器616被耦合到发射/接收(T/R)开关618，发射/接收(T/R)开关618在发射与接收之间切换并且保护主波束形成器622免受高能量发射信号伤害。在一些实施例中，例如在便携式超声系统中，T/R开关618和系统中的其他元件能够被包括在超声探头612中而非在单独的超声系统基部中。超声系统基部通常包括软件和硬件部件，其包括用于信号处理和图像数据生成的电路以及用于提供用户接口的可执行指令。在一些实施例中，超声探头612可以经由无线连接(例如，WiFi、Bluetooth)或经由有线连接(例如，探头线缆，其可以被配置用于平行或串行数据传输)被耦合到超声系统基部。

超声脉冲在微波束形成器616的控制下从换能器阵列614的发射可以由发射/接收控制器620进行引导，发射/接收控制器620可以被耦合到T/R开关618和波束形成器622，发射/接收控制器620可以接收来自用户接口625的用户操作的输入。用户接口625可以包括一个或多个输入设备652(例如，控制面板)，一个或多个输入设备652可以包括一个或多个机械控制装置(例如，按钮、编码器等)、触摸控制装置(例如，触控板、触摸屏等)和其他目前已知的和以后研发的输入设备(例如，非触控式/基于手势的接口)。用户接口652可以包括一个或多个输出设备(例如，显示器638)，所述一个或多个输出设备被配置为向用户提供反馈，包括超声图像的显示。

可以由控制器620控制的另一功能是波束被转向的方向。波束可以从换能器阵列614前面笔直地(正交于换能器阵列614的发射侧)或以用于更宽视场的不同角度被转向。由微波束形成器616产生的部分波束形成的信号被耦合到主波束形成器622，其中，来自换能器元件的个体贴片的部分波束形成的信号被组合成完全波束形成的信号。波束形成的信号被耦合到信号处理器626。

信号处理器626能够以各种方式处理接收的回波信号，诸如带通滤波、抽取、I和Q分量分离、以及谐波信号分离。信号处理器626也可以执行额外的信号增强，诸如纹波抑制、信号复合和噪声消除。经处理的信号可以被耦合到B模式处理器628用于产生B模式图像数据。B模式处理器能够采用振幅检测用于身体中的结构的成像。由B模式处理器628产生的信号可以被耦合到扫描转换器630和多平面重新格式化器632。扫描转换器630被配置为以它们以期望的图像格式被接收的空间关系布置回波信号。例如，扫描转换器630可以将回波信号布置成二维(2D)扇形格式、或锥体形或其他形状的三维(3D)格式。多平面重新格式化器632能够将从身体的体积区域中的共同平面中的点接收的回波转换成该平面的超声图像(例如，B模式图像)，例如，如在美国专利号6443896(Detmer)中描述的。体积绘制器634可以生成如从给定参考点观察到的3D数据集的图像，例如，如在美国专利号6530885(Entrekin等人)中描述的。

系统610还可以包括多普勒处理器(未示出)。来自信号处理器626的信号可以被耦合到多普勒处理器，所述多普勒处理器可以被配置为估计多普勒频移并且生成多普勒图像数据。多普勒图像数据可以包括彩色数据，所述彩色流动数据可以与用于显示的B模式(或灰度)图像数据叠加。多普勒处理器可以被配置为根据已知技术估计速度和功率。例如，多普勒处理器可以包括多普勒估计器，诸如自动关联器，其中，速度(多普勒频率)估计是基于滞后自相关函数的自变量，而多普勒功率估计是基于零滞后自相关函数的量值。运动也能够通过已知的相位域(例如，参数频率估计器，诸如MUSIC、ESPRIT等)或时域(例如，交叉关联)信号处理技术来估计。代替或除了速度估计器，与速度的时间或空间分布相关的其他估计器(诸如加速度或时间和/或空间速度导数的估计器)能够被使用。

来自扫描转换器630、多平面重新格式化器632和/或体积绘制器634的输出(例如，图像)可以被耦合到图像处理器636，以便在被显示在图像显示器638上之前进一步增强、缓存和暂时存储。显示器638可以包括使用各种已知的显示技术实施的显示设备，诸如LCD、LED、OLED或等离子显示技术。

根据本文中的范例，系统600可以包括处理器637，处理器637被配置为执行与系统600的采集参数的自动检索和配置相关联的功能。例如，处理器637可以实施(例如，在处理器中执行可执行指令)神经网络642。神经网络642可以包括被训练为分析超声图像对以确定图像是否在对匹配中的人工神经节点的至少一个多层网络。任何合适类型的算法(例如，生成、判别或其组合)和/或架构可以被用于神经网络642。在一些范例中，神经网络642可以实施深度神经网络，诸如被配置为对输入图像进行操作并且被连接到用于匹配的最终确定的顶部网络的分支卷积神经网络。

在本文中的实施例中的任一个中，所描述的多个处理器或所有处理器的一些或所有功能可以被组合成集成式处理电路(其操作可以被分散在并行操作的多个处理器之间)，而非参考这些部件中的每一个描述的特定功能由离散的处理单元执行。例如，尽管被描述为单独的处理器，但是应理解本文中描述的处理器(例如，处理器640、642、636等)中的任一个的功能可以被实施在单个处理器(例如，实施处理器637的功能性的CPU或GPU)或比在该范例中描述的更少数量的处理器中。更广泛地，本文中描述的处理部件(例如，处理器626、628、630、632、634、640、636等)中的任一个的一些或所有功能可以被组合成单个或更少数量的集成式处理电路而非被实施在仅与参考这些部件中的每一个描述的特定功能相关联的离散处理器中。

图9示出了根据本发明的实施例的范例方法的流程图。方法900包括接收患者识别信息(方框910)，确定患者识别信息是否识别复发患者(方框912)，并且在患者识别信息识别复发患者的确定之后，从先前采集的超声图像数据的源自动检索与复发患者相关联的多幅先前超声图像(方框914)。如果系统确定患者不是复发患者，在方框916处该过程终止。

患者识别信息的接收可以根据本文中的范例中的任一个来执行，并且包括本文中的范例中的任一个。例如，患者识别信息可以响应于用户输入(例如，用户录入患者的姓名、ID、出生日期等)而被接收，并且可以额外地包括其他识别信息，诸如患者照片。患者识别信息是否识别复发患者的确定可以根据本文中的范例中的任一个来执行，并且包括本文中的范例中的任一个。例如，确定可以由基于规则的算法、由适当训练的神经网络或两者的组合来执行，例如将算法应用于文本输入(例如，姓名、ID等)和将神经网络应用于患者照片以执行面部识别。

如图9中进一步示出的，方法900可以还包括生成复发患者的生物组织的当前超声图像(方框918)。当对患者进行超声扫描时，当前超声图像可以被实时生成。在一些范例中，当前超声图像可以包括被实时呈现给用户的图像数据的电影回放的帧。当前超声图像可以是2D图像或3D图像。如方框920中进一步示出的，当前超声图像和多幅先前超声图像可以被提供给神经网络用于匹配的先前图像的识别。在方框930处确定匹配的先前图像之后，该方法继续到方框932以自动调整超声成像系统的一个或多个成像参数来对应于与匹配的先前图像相关联的成像参数设置并且利用经调整的成像参数采集新的超声图像。例如，在表示在与当前采集的超声图像的成像平面相同的成像平面处的生物组织的复发患者的先前采集的图像的识别之后，可以作出先前匹配图像的确定。相比之下，如果在方框930处发现之前超声数据之间的不匹配，自动配置系统的过程系统可以在方框934处终止。在一些实施例中，该方法可以进一步涉及正被匹配的两个图像的同时显示(例如，当前超声图像和当先前图像与当前图像的比较正被执行时遍历先前采集的图像中的每一个的动态更新显示)，如方框922中示出的。

在更进一步的范例中，方法900可以包括训练神经网络，如方框936中示出的。神经网络的训练可以涉及为训练中的网络准备预先部署训练数据集并将预先部署训练数据集呈现给训练中的网络。此类训练数据集可以包括相同目标但是在不同视图处(例如，在通过给定组织的不同成像平面处)的多个已知图像对。在一些情况下，训练数据集还可以包括对应于所述对中的图像中的每一个的成像设置。训练输入被标记为匹配或非匹配(或如果训练网络来将图像分类成多于两个分类则利用多个分类中的一个来标记)。预先部署训练期间的训练数据可以通常被分成训练集和验证集。在预先部署训练期间，来自训练集的多批训练对被随机地选择并且作为输入被提供给网络。验证集用来在中间间隔处和/或在网络部署之前的训练结束时验证网络的性能。训练集和验证集中的图像对可以是截然不同的——即，两个集合中不存在精确相同的图像对。网络的权重可以例如在反向传输的情况下使用梯度下降来更新。在部署之前的训练(即为对未知的图像对进行操作)可以涉及参数更新的许多迭代次数，并且当验证集上的损失误差降至一定值之下时，预先部署训练被认为完成(例如，参见图4中的方框309)。在一些实施例中，神经网络可以现场利用之前未知的数据集被进一步训练。例如，成像系统可以被配置为接收用户输入(例如，确认的匹配的输入和/或用于在自动参数已经被应用之后调整参数的额外输入)，并且这种实况成像的结果然后可以被用于神经网络的后续(现场或后部署)训练。

尽管本文中参考超声图像数据描述了从稀疏采集的数据产生医学图像的范例，但是应理解本文中的范例同样可适用于训练神经网络来从任何成像模态(诸如磁共振成像(MRI)、计算机断层摄影(CT)、正电子发射断层摄影(PET)和实际上任何其他成像模态)的稀疏数据集产生图像。

在使用诸如基于计算机的系统或可编程逻辑的可编程器件来实现部件、系统和/或方法的各种实施例中，应该意识到，上述系统和方法可以使用诸如“C”、“C++”、“FORTRAN”、“Pascal”，“VHDL”等的各种已知或以后开发的编程语言来实现。相应地，可以准备各种存储介质，诸如磁性计算机盘、光盘、电子存储器等，其可以包含可以引导诸如计算机的设备以实现上述系统和/或方法的信息。一旦适当的设备访问存储介质上包含的信息和程序，存储介质就可以向设备提供信息和程序，从而使设备能够执行本文所述的系统和/或方法的功能。例如，如果向计算机提供包含适当材料(例如源文件、目标文件、可执行文件等)的计算机磁盘，则计算机可以接收该信息，适当地配置其自身并执行在上面的图表和流程图中概述的各种系统和方法的功能以实现各种功能。也就是说，计算机可以从磁盘接收涉及上述系统和/或方法的不同元件的信息的各个部分，实现个体系统和/或方法并协调以上所描述的个体系统和/或方法的功能。

鉴于本公开，要注意的是，本文描述的各种方法和设备可以以硬件、软件和固件来实现。此外，各种方法和参数仅通过范例而不是以任何限制意义被包括。鉴于本公开，本领域技术人员可以实现本教导以确定它们自己的技术和实现这些技术需要的设备，同时保持在本发明的范围内。本文中描述的处理器中的一个或多个的功能性可以被并入到更少数或单个处理单元(例如，CPU)内，并且可以使用被编程为响应于可执行指令而执行本文中描述的功能的专用集成电路(ASIC)或通用处理电路。

因此，本系统可用于获得和/或记录与肾脏、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾脏、心脏、动脉和血管系统有关(但不限于此)的图像信息，以及与超声引导的介入有关的其他成像应用。此外，本系统还可以包括可以与常规成像系统一起使用的一个或多个程序，使得它们可以提供本系统的特征和优点。在研究本公开内容后，本公开的某些额外优点和特征对本领域技术人员而言显而易见，或者可以由采用本公开的新颖系统和方法的人员体验。本系统和方法的另一优点可以是常规医学图像系统可以容易地升级以并入本系统、设备和方法的特征和优点。

当然，应该理解的是，本文描述的范例、实施例或过程中的任何一个可以与一个或多个其他范例、实施例和/或过程组合或分离，和/或根据本系统、设备和方法在分离的设备或设备部分中间执行。

最后，上述讨论仅仅旨在说明本系统，不应将其解释为将权利要求限制到任何特定实施例或实施例组。因此，虽然已经参考示范性实施例特别详细地描述了本系统，但是也应该意识到，本领域普通技术人员可以设计出众多修改和替代实施例，而不偏离如在权利要求中所阐述的本系统的更广泛的和想要的精神和范围。因此，说明书和附图应被认为是说明性的，而不是要限制权利要求书的范围。

Claims (24)

1.一种用于超声检查患者的生物组织的超声成像系统，所述系统包括：

超声探头；以及

处理器，其被通信地耦合到所述超声探头并且被耦合到先前采集的超声图像数据的源，其中，所述处理器被配置为：

提供所述患者的所述生物组织的当前超声图像；

从先前采集的超声图像数据的所述源中检索与所述患者相关联的先前超声图像；

向至少一个神经网络提供所述当前超声图像和多幅所述先前超声图像，其中，所述至少一个网络被训练为确定所述当前超声图像和至少一幅先前超声图像是否对应于通过所述患者的所述生物组织的相同成像平面；

经由所述至少一个神经网络识别对应于与所述当前超声图像相同的成像平面的至少一幅先前超声图像；

调整所述超声成像系统的一个或多个成像参数来对应于与所识别的先前图像相关联的成像参数设置；并且

利用经调整的成像参数来产生更新的超声图像。

2.根据权利要求1所述的超声成像系统，其中，所述处理器还被配置为识别所述患者是否是复发患者。

3.根据权利要求2所述的超声成像系统，其中，所述处理器被配置为基于由所述处理器接收的患者识别信息来将所述患者识别为复发患者。

4.根据权利要求3所述的超声成像系统，其中，所述患者识别信息包括包含所述患者的面部特征的图像，并且其中，所述处理器还被配置为至少部分地基于所述面部特征来确定所述患者识别信息是否识别了复发患者。

5.根据权利要求1所述的超声成像系统，其中，所述至少一个神经网络被训练为：将一对中的所述图像中的每幅图像转换为特征向量，并且比较所述特征向量以产生所述对中的所述图像之间的相似度得分。

6.根据权利要求1所述的超声成像系统，其中，所述至少一个神经网络包括被配置为并行地操作的多个神经网络分支。

7.根据权利要求6所述的超声成像系统，其中，所述多个神经网络分支中的每个分支被配置为接收包括所述对中的所述图像中的一幅图像的第一输入。

8.根据权利要求7所述的超声成像系统，其中，所述多个神经网络分支中的每个分支还被配置为接收包括与被提供为所述第一输入的所述图像相关联的所述成像参数设置的第二输入。

9.根据权利要求8所述的超声成像系统，其中，所述多个神经网络分支中的每个分支包括卷积神经网络，所述卷积神经网络被配置为针对所述第一输入和所述第二输入的每个对来输出特征向量。

10.根据权利要求1所述的超声成像系统，其中，所述至少一个神经网络包括第一部分和第二部分，所述第一部分包括被配置为输出与图像的所述对相关联的特征向量的对的至少一个神经网络，所述第二部分被配置为确定所述特征向量的对之间的相似度。

11.根据权利要求10所述的超声成像系统，其中，所述第二部分被配置为计算特征向量的所述对之间的距离度量。

12.根据权利要求11所述的超声成像系统，其中，所述第二部分包括被训练为将所述特征向量分类到多个相似度类别中的一个内的至少一个额外神经网络。

13.根据权利要求1所述的超声成像系统，其中，所述处理器还被配置为使用户接口同时显示所述图像对中的所述当前图像和所述先前图像，同时确定所述图像对是否对应于相同成像平面。

14.根据权利要求13所述的超声成像系统，其中，所述处理器还被配置为使所述用户接口显示相似度得分以及每对同时显示的当前图像和先前图像。

15.一种超声成像的方法，包括：

由超声成像系统的至少一个处理器接收对复发患者的指示；

响应于对所述复发患者的所述指示，从先前采集的超声图像数据的源中自动检索与所述复发患者相关联的多幅先前超声图像；

生成所述复发患者的生物组织的当前超声图像；

向神经网络提供所述当前超声图像和所述多幅先前超声图像以识别所述复发患者的匹配的先前图像；并且

响应于对所述匹配的先前图像的识别，自动调整所述超声成像系统的一个或多个成像参数来对应于与所述匹配的先前图像相关联的成像参数设置，并且利用经调整的成像参数来采集新的超声图像。

16.根据权利要求15所述的方法，还包括：

由所述至少一个处理器接收患者识别信息；

基于所述患者识别信息来确定所述患者是否是复发患者；并且

响应于确定所述患者识别出信息识别复发患者而生成对复发患者的所述指示。

17.根据权利要求16所述的方法，其中，所述接收患者识别信息包括接收包括所述患者的面部特征的图像。

18.根据权利要求15所述的方法，其中，为了识别所述匹配的先前图像，所述方法包括：向被训练为将输入图像转换为特征向量的至少一个卷积神经网络提供多个图像对，每个对包括所述当前超声图像和所述多幅所述先前超声图像中的一幅，并且比较与给定对中的图像相关联的所述特征向量以确定所述给定对中的所述图像之间的相似度。

19.根据权利要求18所述的方法，还包括：对于每个图像对，向所述至少一个卷积神经网络提供一对对应的成像参数设置。

20.根据权利要求18所述的方法，其中，所述至少一个卷积神经网络包括并行地操作的一对神经网络，并且其中，所述的向至少一个卷积神经网络提供所述多个图像对包括：向所述对中的所述神经网络中的一个提供所述当前图像，并且向所述对中的所述神经网络中的另一个提供所述图像对中的所述先前超声图像。

21.根据权利要求20所述的方法，其中，为了确定所述给定对中的所述图像之间的所述相似度，所述方法包括计算由神经网络的所述对中的每个神经网络输出的所述特征向量之间的距离度量。

22.根据权利要求15所述的方法，其中，识别所述匹配的先前图像包括，针对包括：所述当前超声图像和所述多幅所述先前超声图像中的一幅中的每个图像对确定所述对中的所述图像之间的相似度，并且在确定所述相似度时同时显示图像的所述对。

23.根据权利要求22所述的方法，还包括同时显示相似度得分与每个显示的图像的对。

24.一种包括可执行指令的非瞬态计算机可读介质，所述可执行指令当被执行时使医学成像系统的处理器执行根据权利要求15-23中的任一项所述的方法中的任一种方法。

Images