CN116468601A

CN116468601A - 超声心动图视频的超分辨率增强方法和装置、设备、介质

Info

Publication number: CN116468601A
Application number: CN202310206406.4A
Authority: CN
Inventors: 刘江; 匡浩玮; 林慧燕; 王槐堂; 叶海礼; 胡衍
Original assignee: Southern University of Science and Technology
Current assignee: Southern University of Science and Technology
Priority date: 2023-02-23
Filing date: 2023-02-23
Publication date: 2023-07-21

Abstract

本申请实施例提供了超声心动图视频的超分辨率增强方法和装置、设备、介质，涉及人工智能技术领域。该方法包括：将每一帧图像输入至第一特征提取模型进行特征提取，得到待增强图像特征；将参考超声心动图像输入至第二特征提取模型进行特征提取，得到参考图像特征；将待增强图像特征和参考图像特征输入至特征动态聚合模型进行特征聚合，得到初始帧特征，再进行特征帧级融合，得到本帧图像的融合帧特征；将融合帧特征输入至特征重建模型进行分辨率增强，得到重建超声心动图像；根据重建超声心动图像替换本帧图像，得到目标重建超声心动图视频。本实施例提高了超声心动图视频的分辨率。

Description

超声心动图视频的超分辨率增强方法和装置、设备、介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种超声心动图视频的超分辨率增强方法和装置、设备、介质。

背景技术

超声成像具有实时成像、对比度强等特点。超声心动图便是超声成像最广泛应用于医学成像的诊断工具之一。这种成像方式可以实时可视化心脏的大小和形状。

对心脏功能的检查需要仔细观察心肌和心脏瓣膜(如二尖瓣装置，包括二尖瓣、瓣叶、瓣膜下索和乳头肌)的运动、形变情况，以诊断二尖瓣反流、二尖瓣和三尖瓣脱垂、左心室心尖凝块等疾病。然而，由于超声波的不稳定性，大多数超声图像包含散斑噪声和模糊边界，造成图像的分辨率不足，使得部分心脏病变特征难以被观察，影响诊断质量。

发明内容

本申请实施例的主要目的在于提出超声心动图视频的超分辨率增强方法和装置、设备、介质，提高超声心动图视频的分辨率。

为实现上述目的，本申请实施例的第一方面提出了一种超声心动图视频的超分辨率增强方法，所述方法包括：

获取超声心动图视频，所述超声心动图视频包括帧图像；

获取参考超声心动图像；其中，所述参考超声心动图像的分辨率大于所述帧图像的分辨率；

将每一所述帧图像输入至预设的第一特征提取模型进行特征提取，得到每一所述帧图像的待增强图像特征；

将所述参考超声心动图像输入至预设的第二特征提取模型进行特征提取，得到参考图像特征；

将每一所述帧图像的待增强图像特征和所述参考图像特征输入至预设的特征动态聚合模型进行特征聚合，得到每一所述帧图像的初始帧特征；

将本帧图像的所述初始帧特征、前一帧图像的所述初始帧特征和前二帧图像的所述初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到所述本帧图像的融合帧特征；

将所述融合帧特征输入至预设的特征重建模型进行分辨率增强，得到重建超声心动图像；其中，所述重建超声心动图像的分辨率大于所述帧图像的分辨率；

根据所述重建超声心动图像替换所述本帧图像，得到目标重建超声心动图视频。

在一些实施例，所述待增强图像特征包括初始像素点的初始特征，所述参考图像特征包括参考像素点的原始参考特征，所述将每一所述帧图像的待增强图像特征和所述参考图像特征输入至预设的特征动态聚合模型进行特征聚合，得到每一所述帧图像的初始帧特征，包括：

根据所述初始像素点对所述参考像素点进行查找，得到选定参考像素点集；

对所述选定参考像素点集的所述原始参考特征进行特征聚合，得到聚合参考特征；

根据所述初始特征和所述聚合参考特征进行融合，得到所述初始像素点的聚合特征；

对所述初始像素点的聚合特征进行合并，得到所述帧图像的初始帧特征。

在一些实施例，根据所述初始像素点对所述参考像素点进行查找，得到选定参考像素点集，包括：

根据所述初始像素点在所述帧图像中所处的位置对每一所述参考像素点在所述参考超声心动图像的位置进行匹对，得到选定参考像素点；

根据所述选定参考像素点对所述参考超声心动图像划定预设图像区域；

将位于所述预设图像区域内的所述参考像素点进行合并，得到所述选定参考像素点集。

在一些实施例，所述第一特征提取模型包括第一上采样层、第一卷积层、第一归一化层和第一线性整流函数，将所述超声心动图像的每一所述帧图像输入至预设的第一特征提取模型进行特征提取，得到每一所述帧图像的待增强图像特征，包括：

通过所述第一上采样层对所述帧图像进行上采样处理，得到待处理帧图像；

通过所述第一卷积层对所述待处理帧图像进行卷积处理，得到第一图像特征；

通过所述第一归一化层对所述第一图像特征进行归一化处理，得到第二图像特征；

通过所述第一线性整流函数对所述第二图像特征进行激活处理，得到所述帧图像的待增强图像特征。

在一些实施例，所述特征传输模型包括光流对齐网络和多帧自注意力块，所述将本帧图像的所述初始帧特征、前一帧图像的所述初始帧特征和前二帧图像的所述初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到所述本帧图像的融合帧特征，包括：

通过所述光流对齐网络对任意两个帧图像的所述初始帧特征进行预测，得到两个帧图像间差值的光流图，并将所述初始帧特征分割为补丁块；

在每个所述补丁块内，计算光流图的平均值，并将补丁块内所有像素值以所述平均值进行位移对齐，得到本帧图像的对齐图像特征、前一帧图像的对齐图像特征和前二帧图像的对齐图像特征；

将所述本帧图像的对齐图像特征、所述前一帧图像的对齐图像特征和所述前二帧图像的对齐图像特征输入至所述多帧自注意力块进行帧间特征处理，得到所述本帧图像的融合图像特征。

在一些实施例，所述特征重建模型包括第二卷积层、第二归一化层和第二线性整流函数层，所述将所述融合帧特征输入至预设的特征重建模型进行分辨率增强，得到重建超声心动图像，包括：

通过所述第二卷积层对所述融合帧特征进行卷积处理，得到第一中间超声心动图像特征；

通过所述第二归一化层对所述第一中间超声心动图像特征进行归一化处理，得到第二中间超声心动图像特征；

通过所述第二线性整流函数层对所述第二中间超声心动图像特征进行激活处理，得到所述重建超声心动图像。

在一些实施例，所述第一特征提取模型、所述第二特征提取模型、所述特征动态聚合模型、所述特征传输模型和所述特征重建模型预先通过以下过程联合训练：

获取样本超声心动图像；

对所述样本超声心动图像进行分辨率降低处理，得到待增强超声心动图像；

通过所述第一特征提取模型获取所述待增强超声心动图像的特征，得到样本待增强图像特征；

通过所述第二特征提取模型获取所述样本超声心动图像的特征，得到样本参考图像特征；

通过所述特征动态聚合模型对所述样本待增强图像特征和所述样本参考图像特征进行特征聚合，得到所述待增强超声心动图像的待增强帧特征；

通过所述特征传输模型对至少两帧的所述待增强帧特征进行特征帧级融合，得到所述待增强超声心动图像的目标增强图像特征；

通过所述特征重建模型对所述目标增强图像特征进行分辨率增强，得到目标增强超声心动图像；

根据所述样本超声心动图像和所述目标增强超声心动图像构建平均绝对误差损失函数，得到第一损失数据，根据所述样本超声心动图像和所述目标增强超声心动图像构建相似度学习损失函数，得到第二损失数据，将所述第一损失数据和所述第二损失数据进行合并，得到目标损失数据；

根据所述目标损失数据调整所述第一特征提取模型、所述第二特征提取模型、所述特征动态聚合模型、所述特征传输模型、所述特征重建模型的参数。

为实现上述目的，本申请实施例的第二方面提出了一种超声心动图视频的超分辨率增强装置，所述装置包括：

视频获取模块，用于获取超声心动图视频，所述超声心动图视频包括帧图像；

参考图像获取模块，用于获取参考超声心动图像；其中，所述参考超声心动图像的分辨率大于所述帧图像的分辨率；

待增强图像特征提取模块，将每一所述帧图像输入至预设的特征提取模型进行特征提取，得到每一所述帧图像的待增强图像特征；

参考图像特征提取模块，用于将所述参考超声心动图像输入至所述特征提取模型进行特征提取，得到参考图像特征；

特征聚合模块，将每一所述帧图像的待增强图像特征和所述参考图像特征输入至预设的特征动态聚合模型进行特征聚合，得到每一所述帧图像的初始帧特征；

特征帧级融合模块，用于将本帧图像的所述初始帧特征、前一帧图像的所述初始帧特征和前二帧图像的所述初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到本帧图像的融合帧特征；

特征重建模块，用于将所述融合帧特征输入至预设的特征重建模型进行分辨率增强，得到重建超声心动图像；其中，所述重建超声心动图像的分辨率大于所述帧图像的分辨率；

图像合并模块，用于根据所述重建超声心动图像替换所述本帧图像，得到目标重建超声心动图视频。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请提出的一种超声心动图视频的超分辨率增强方法和装置、设备、介质，该方法通过引入高分辨率的参考超声心动图像，利用参考超声心动图像的纹理信息对超分辨率增强任务添加约束，减小超分辨率任务的不确定性，使得优化目标更加明确，综合提升超分辨率增强性能。

附图说明

图1是本申请实施例提供的超声心动图视频的超分辨率增强方法的一个整体框架示意图；

图2是本申请实施例提供的超声心动图视频的超分辨率增强方法的一个可选流程图；

图3A-C是本申请实施例提供的可视化图像示例图；

图4是本申请实施例提供的特征提取模型的结构示意图；

图5是本申请实施例提供的特征传输模型的结构示意图；

图6是本申请实施例提供的多帧自注意力块的结构示意图；

图7是本申请另一实施例提供的超声心动图视频的超分辨率增强方法的一个可选流程图；

图8为本申请实施例提供的超声心动图视频的超分辨率增强装置的结构示意图；

图9是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

超分辨率技术是从观测到的低分辨率图像中重建相应的高分辨率图像。传统的超分辨率图像增强方法可以分为三类。基于滤波的方法，使用多种滤波器对图像进行扫描，引入基于空间均匀性的图像先验知识来恢复未知的高分辨率图像信息。基于插值的方法，利用多表面拟合充分利用空间结构信息，通过最大后验融合这些信息进行重建。基于深度学习的方法，设计数据驱动的网络模型，在大型数据集上进行端到端的训练，推理时只需要低分辨率图像进行一次参数前传。

然而，超分辨率视频增强任务本质上是一个不适定问题，一组低分辨率的超声心动图视频数据可以与多组具有不同纹理信息的高分辨率数据相对应，这种优化目标的不确定性为准确而灵活的超分辨率增强任务造成了挑战。使用基于滤波和插值的方法容易造成生成图像的过于平滑，会造成超声图像对比度的进一步降低，不利于后续的医疗诊断。现有的深度学习方法也难以充分利用超声心动图的帧间时序信息和纹理高度稳定的先验知识，并难以推广到处理各种纹理的超声心动图数据中，造成重建性能不佳。因此，传统的超分辨率技术均很难应用到对于超声心动图的超分辨率增强任务中。

针对上述问题，本申请实施例的目的在于提供一种超声心动图视频的超分辨率增强方法，总框架如图1所示，通过引入高分辨率的参考图像，利用参考图像的纹理信息对超分辨率增强任务添加约束，减小超分辨率任务的不确定性，使得优化目标更加明确，综合提升超分辨率增强性能。进一步地，本申请实施例还通过引入了前后帧序列信息与块对齐的方法进一步提高了性能。

本申请实施例的超声心动图视频的超分辨率增强方法可以单独由服务器执行，也可以是终端单独执行，还可以是终端和服务器共同执行。另外，本申请实施例提供的超声心动图视频的超分辨率增强方法还可以是运行于服务器的软件。服务器可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现超声心动图视频的超分辨率增强方法的应用等，但并不局限于以上形式。

本申请实施例的超声心动图视频的超分辨率增强方法可用于众多通用或专用的计算机系统环境或配置中。例如：服务器计算机、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请实施例提供超声心动图视频的超分辨率增强方法、装置、电子设备、计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的超声心动图视频的超分辨率增强方法。

参阅图1、图2，根据本申请一个实施例的超声心动图视频的超分辨率增强方法包括：

步骤101，获取超声心动图视频，超声心动图视频包括帧图像；

步骤102，获取参考超声心动图像；其中，参考超声心动图像的分辨率大于帧图像的分辨率；

步骤103，将每一帧图像输入至预设的第一特征提取模型进行特征提取，得到每一帧图像的待增强图像特征；

步骤104，将参考超声心动图像输入至预设的第二特征提取模型进行特征提取，得到参考图像特征；

步骤105，将每一帧图像的待增强图像特征和参考图像特征输入至预设的特征动态聚合模型进行特征聚合，得到每一帧图像的初始帧特征；

步骤106，将本帧图像的初始帧特征、前一帧图像的初始帧特征和前二帧图像的初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到本帧图像的融合帧特征；

步骤107，将融合帧特征输入至预设的特征重建模型进行分辨率增强，得到重建超声心动图像；其中，重建超声心动图像的分辨率大于帧图像的分辨率；

步骤108，根据重建超声心动图像替换本帧图像，得到目标重建超声心动图视频。

请参阅图3A、图3B、图3C。图3A为本申请实施例提供的帧图像。图3B为本申请实施例提供的参考超声心动图像。图3C为本申请实施例提供的重建超声心动图像。从图3A和图3C中可以发现，在经过本申请实施例的分辨率增强之后，充分的将图3B中的高分辨率纹理信息移植到了图3A的低分辨率图像上，从而得到了图3C的高分辨率图像。

下面对步骤101-108进行详细描述。

在步骤101中，获取超声心动图视频。这里的超声心动图视频包括多个帧图像。

帧图像为一幅超声心动图像，是指应用超声短波测距原理，使得脉冲超声波透过胸壁、软组织测量其下各心壁、心室及瓣膜等结构的周期性活动,在显示器上显示为各结构相应的活动和时间之间的关系曲线,用记录仪记录这些曲线,即为超声心动图像。

其中，获取超声心动图像的方式可以有多种，比如，具体可以通过各超声图像采集设备(超声心动仪等)，对采集人体心脏进行图像采集，得到超声心动图像，进而得到超声心动图视频。又比如，可以从本地或者外部数据库中获取超声心动图视频，或者可以从网络中搜索超声心动图视频等等。

在步骤102中，获取参考超声心动图像。这里的参考超声心动图像的分辨率大于帧图像的分辨率。

参考超声心动图像与帧图像相似，也是一幅超声心动图像。但与帧图像不同的是，参考超声心动图像的分辨率大于帧图像的分辨率。在一示例中，在同一尺寸下，参考超声高分辨率图像的分辨率为448*448像素，低分辨率图像分辨率为112*112像素。在本申请实施例中，一张参考超声心动图像可对应超声心动图视频中不同的帧图像。

其中，获取参考超声心动图像的方式可以有多种，若使用超声采集设备获取到某一部位的帧图像，从而得到超声心动图视频，则可以使用更高分辨率的超声采集设备扫描相似部位，从而得到所需的参考超声心动图像。

在步骤103中，将每一帧图像输入至预设的第一特征提取模型进行特征提取，得到每一帧图像的待增强图像特征。这里的第一特征提取模型用于对帧图像进行特征提取，从而得到帧图像的待增强图像特征。

参照图4，第一特征提取模型包括上采样层和至少一个卷积块(例如包括5个卷积块)，每一卷积块包括卷积层、归一化层和线性整流函数。

其中，上采样层使用双线性插值的方式对图像进行上采样，每个卷积层跟随一个归一化层和线性整流函数(ReLU),每个卷积块的输入为上一个尺度的特征，并输出下一尺度的特征。下一个尺度的特征和上一个尺度的特征相比，在空间维度是是原来的一半，但在通道维度上是原来的两倍。

在上采样之后，帧图像的像素点与参考超声心动图像的像素点相同。在一示例中，对于同一场景内容的超声心动图，参考超声心动图像的分辨率为448*448像素，帧图像的分辨率为112*112像素。参考超声心动图像与帧图像分别输入特征提取模块后，先经过上采样层将其尺寸与需要重建的高分辨率图像尺寸对齐，在该实施例中即为对齐至448*448像素，之后传入卷积层进行处理。

线性整流函数(ReLU)是一种激活函数。为了兼顾计算的简单性、以及模型的灵活性，模型采用处理节点线性运算加激活函数非线性变换的方式。ReLU是一个分段线性函数，如果输入为正，它将直接输出，否则，它将输出为零。它的优点是使得模型更容易训练，并且通常能够获得更好的性能。

归一化层对特征执行归一化，以便输出到线性整流函数。一般来说，对于模型的输入通常会执行归一化处理，使得模型的输入遵循均值为u，方差为h的正态分布，这样能够加速模型的收敛。但是这个输入经过卷积层的卷积后，卷积后的结果可能就不满足上述正态分布了。此时，将卷积后的结果输入线性整流函数，很可能一些卷积后的结果落入线性整流函数的饱和区，导致模型训练的梯度消失。归一化的含义是指使卷积后的结果重新满足正态分布，再输入线性整流函数就不会导致梯度消失。

在一实施例中，步骤103具体包括：

通过第一上采样层对帧图像进行上采样处理，得到待处理帧图像；

通过第一卷积层对待处理帧图像进行卷积处理，得到第一图像特征；

通过第一归一化层对第一图像特征进行归一化处理，得到第二图像特征；

通过第一线性整流函数对第二图像特征进行激活处理，得到帧图像的待增强图像特征。

在步骤104中，将参考超声心动图像输入至预设的第二特征提取模型进行特征提取，得到参考图像特征。这里的第二特征提取模型用于对参考超声心动图像进行特征提取，从而得到参考图像特征。

与第一特征提取模型相似，第二特征提取模型也包括上采样层和至少一个卷积块，每一卷积块包括卷积层、归一化层和线性整流函数。

在一实施例中，步骤104具体包括：

通过第二上采样层对参考超声心动图像进行上采样处理，得到待处理参考图像；

通过第三卷积层对待处理参考图像进行卷积处理，得到第三图像特征；

通过第三归一化层对第三图像特征进行归一化处理，得到第四图像特征；

通过第三线性整流函数对第四图像特征进行激活处理，得到参考图像特征。

在步骤105中，将每一帧图像的待增强图像特征和参考图像特征输入至预设的特征动态聚合模型进行特征聚合，得到每一帧图像的初始帧特征。

具体地，在获得帧图像与参考超声心动图像的对应特征后，通过一个特征动态聚合模型来融合参考图像特征中的纹理。特征动态聚合模型具体可选用可形变卷积网络(Deformable Convolutional Networks)。

在一实施例中，待增强图像特征包括初始像素点的初始特征，参考图像特征包括参考像素点的原始参考特征，步骤105具体包括：

根据初始像素点对参考像素点进行查找，得到选定参考像素点集；

对选定参考像素点集的原始参考特征进行特征聚合，得到聚合参考特征；

根据初始特征和聚合参考特征进行融合，得到初始像素点的聚合特征；

对初始像素点的聚合特征进行合并，得到帧图像的初始帧特征。

进一步地，在另一实施例中，步骤根据初始像素点对参考像素点进行查找，得到选定参考像素点集，具体包括：

根据初始像素点在帧图像中所处的位置对每一参考像素点在参考超声心动图像的位置进行匹对，得到选定参考像素点；

根据选定参考像素点对参考超声心动图像划定预设图像区域；

将位于预设图像区域内的参考像素点进行合并，得到选定参考像素点集。

具体地，初始像素点的位置可为(x1，y1)，参考像素点的位置可为(x2，y2)。根据初始像素点的位置和参考像素点的位置进行距离计算，将距离值d最小的参考像素点作为选定参考像素点。预设图像区域可为以选定参考像素点为中心的九宫格。在一示例中，对于输入低分辨率图像中的每个像素点p，先得到p在参考超声心动图像中的对应点p’。再使用特征动态聚合模型来聚合p’周围的纹理特征信息。用p₀表示为位置p和p’之间的空间差，即p₀＝p’-p。pk的作用为枚举p像素“周围”的像素点，即(p+pk)的坐标即为以像素p为中心的九宫格坐标设原始参考特征为x，使用修改过的可形变卷积网络计算位置p处的聚合参考特征y如下：

其中,p_k∈{(-1,1),(-1,0),(-1,-1),(0,1),(0,0),(0,-1),(1,1),(1,0),

(1,-1)}，ω_k表示卷积核的权值，Δp_k表示可学习的偏移标量，Δm_k表示可学习的调制标量。

在步骤106中，将本帧图像的初始帧特征、前一帧图像的初始帧特征和前二帧图像的初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到本帧图像的融合帧特征。

在得到聚合参考图像特征y后，将超声心动图视频的每一帧图像与对应聚合参考图像特征y作为初始帧特征，传入特征传输模块。特征传输模型如图5所示，由多个特征传输块组成。

特征传输块包括光流对齐网络和多帧自注意力块，步骤106具体包括：

通过光流对齐网络对任意两个初始帧特征进行预测，得到两张帧图像间差值的光流图，并将初始帧特征分割为补丁块；其中，任意两个初始帧特征包括：本帧图像的初始帧特征和前一帧图像的初始帧特征、或者前一帧图像的初始帧特征和前二帧图像的初始帧特征、或者本帧图像的初始帧特征和前二帧图像的初始帧特征；

在每个补丁块内，计算光流图的平均值，并将补丁块内所有像素值以平均值进行位移对齐，得到本帧图像的对齐图像特征、前一帧图像的对齐图像特征和前二帧图像的对齐图像特征；

将本帧图像的对齐图像特征、前一帧图像的对齐图像特征和前二帧图像的对齐图像特征输入至多帧自注意力块进行帧间特征处理，得到本帧图像的融合图像特征。

具体地，每个特征传输块的输入为本帧图像的初始帧特征X^t，前一帧图像的初始帧特征X^t-1及前两帧图像的初始帧特征X^t-2。特征间两两通过预训练的光流对齐网络(SpyNet)预测两张帧图像之间差值的光流图，并将聚合参考图像特征分割为7*7的补丁块，在每个补丁块内计算光流的平均值并将补丁块内所有像素以此平均值进行位移对齐。对齐后的特征传入数个多帧自注意力块(Multi-Frame Self-Attention Block，MFSAB)中进行帧间特征计算提取，多帧自注意力块网络结构如图6所示。最终获得帧间信息融合后的特征，即得到本帧图像的融合图像特征。

参照图6，多帧自注意力块包括顺序连接的归一化层、多帧自注意力层、残差连接层、归一化层、多层感知器和残差连接层，步骤将本帧图像的对齐图像特征、前一帧图像的对齐图像特征和前二帧图像的对齐图像特征输入至多帧自注意力块进行帧间特征处理，得到本帧图像的融合图像特征，具体包括：

通过归一化层对本帧图像的对齐图像特征进行归一化处理，得到第一本帧级特征，通过归一化层对前一帧图像的对齐图像特征进行归一化处理，得到第一前一帧级特征，通过归一化层对前二帧图像的对齐图像特征进行归一化处理，得到第一前二帧级特征；

通过多帧自注意力层对第一本帧级特征、第一前一帧级特征进行注意力计算，得到第二本帧级特征；通过第一残差连接层对本帧图像的对齐图像特征和第二本帧级特征进行合并，得到第三本帧级特征；通过归一化层对第三本帧级特征进行归一化处理，得到第四本帧级特征；通过多层感知器对第四本帧级特征进行特征感知处理，得到第五本帧级特征；

通过多帧自注意力层对第一前一帧级特征、第一前二帧级特征进行注意力计算，得到第二前一帧级特征；通过第一残差连接层对前一帧图像的对齐图像特征和第二前一帧级特征进行合并，得到第三前一帧级特征；通过归一化层对第三前一帧级特征进行归一化处理，得到第四前一帧级特征；通过多层感知器对第四前一帧级特征进行特征感知处理，得到第五前一帧级特征；

通过多帧自注意力层对第一前二帧级特征、第一本帧级特征进行注意力计算，得到第二前二帧级特征；通过第一残差连接层对前二帧图像的对齐图像特征和第二前二帧级特征进行合并，得到第三前二帧级特征；通过归一化层对第三前二帧级特征进行归一化处理，得到第四前二帧级特征；通过多层感知器对第四前二帧级特征进行特征感知处理，得到第五前二帧级特征；

根据第五本帧级特征、第五前一帧级特征和第五前二帧级特征进行特征合并，得到本帧图像的融合图像特征。

在步骤107中，将融合帧特征输入至预设的特征重建模型进行分辨率增强，得到重建超声心动图像；其中，重建超声心动图像的分辨率大于帧图像的分辨率。

得到融合帧特征后，通过特征重建模型重建出高分辨率超声心动图结果，即可得到重建超声心动图像。其中，特征重建模型包含至少一个卷积块(例如包括5个卷积块)，其中每个卷积块包括卷积层、归一化层和线性整流函数(ReLU)。每个卷积块输入上一个尺度的特征，并输出下一尺度的特征。下一个尺度的特征和上一个尺度相比，在空间维度是是原来的两倍，但在通道维度上是原来的一半。

在一实施例中，特征重建模型包括第二卷积层、第二归一化层和第二线性整流函数层，步骤107具体包括：

通过第二卷积层对融合图像特征进行卷积处理，得到第一中间超声心动图像特征；

通过第二归一化层对第一中间超声心动图像特征进行归一化处理，得到第二中间超声心动图像特征；

通过第二线性整流函数层对第二中间超声心动图像特征进行激活处理，得到重建超声心动图像。

在步骤108中，根据重建超声心动图像替换本帧图像，得到目标重建超声心动图视频。

具体地，可以每当得到一个本帧图像所对应的重建超声心动图像后，就根据重建超声心动图像替换本帧图像，得到目标重建超声心动图视频，直至所有帧图像被替换完。又或者是，当得到所有帧图像所对应的重建超声心动图像后，根据重建超声心动图像合并得到目标超声心动图视频。

如图7所示，在一个实施例中，第一特征提取模型、第二特征提取模型、特征动态聚合模型、特征传输模型和特征重建模型预先通过以下过程联合训练：

步骤201，获取样本集，所述样本集包括样本超声心动图像；

步骤202，对样本超声心动图像进行分辨率降低处理，得到待增强超声心动图像；

步骤203，通过第一特征提取模型获取待增强超声心动图像的特征，得到样本待增强图像特征；

步骤204，通过第二特征提取模型获取样本超声心动图像的特征，得到样本参考图像特征；

步骤205，通过特征动态聚合模型对样本待增强图像特征和样本参考图像特征进行特征聚合，得到待增强超声心动图像的待增强帧特征；

步骤206，通过特征传输模型对至少两帧的待增强帧特征进行特征帧级融合，得到待增强超声心动图像的目标增强图像特征；

步骤207，通过特征重建模型对目标增强图像特征进行分辨率增强，得到目标增强超声心动图像；

步骤208，根据样本超声心动图像和目标增强超声心动图像构建平均绝对误差损失函数，得到第一损失数据，根据样本超声心动图像和目标增强超声心动图像构建相似度学习损失函数，得到第二损失数据，将第一损失数据和第二损失数据进行合并，得到目标损失数据；

步骤209，根据目标损失数据调整第一特征提取模型、第二特征提取模型、特征动态聚合模型、特征传输模型、特征重建模型的参数。

步骤201的样本集包括多个样本，每个样本包括样本超声心动图像。样本超声心动图像也为一幅超声心动图像。其中，获取样本超声心动图像的方式可以有多种，比如，具体可以通过各超声图像采集设备(超声心动仪等)，对采集人体心脏进行图像采集，得到样本超声心动图像。又比如，可以从本地或者外部数据库中获取样本超声心动图像，或者可以从网络中搜索样本超声心动图像等等。

步骤202中，需对样本超声心动图像进行分辨率降低处理，以便得到待增强超声心动图像。待增强超声心动图像的分辨率小于样本超声心动图像的分辨率。分辨率降低可以采用以下方式，例如缩小样本超声心动图像的尺寸，得到待增强超声心动图像。

步骤203至步骤207与步骤103至步骤107类似，在依次经过特征提取模型、特征动态聚合模型、特征传输模型和特征重建模型之后，得到目标增强超声心动图像。

在步骤208中，涉及两个损失函数，即平均绝对误差损失函数和感知图像块相似度学习损失函数。

第一损失数据L_rec为目标增强超声心动图像表示为I_SR，样本超声心动图像表示为I_HR下真实值间的平均绝对误差损失函数：

L_rec＝‖I_SR-I_HR‖ 公式(2)

第二损失数据L_LPIPS为感知图像块相似度学习损失函数：

这里计算使用的图像特征是采用ImageNet上预训练的VGG网络来提取的。通过将网络的输出结果I_SR和高分辨率的超声心动图I_HR分别输入预训练的VGG网络模型得到图像特征。其中φ_l(I)表示VGG网络提取的图像的第l层特征，H_l表示φ_l(I)的宽，W_l表示φ_l(I)的高。

目标损失数据为：

L＝L_rec+λ_LPIPSL_LPIPS 公式(4)

其中，λ_LPIPS是权重项，通常设置为1。模型的训练批大小为2，使用Adam优化器，初始学习速率为1×10^-4，优化器超参数设置为β₁＝0.9，β₂＝0.999，权重衰减参数为1×10^-4。此外，为了避免梯度爆炸，梯度反传中梯度值将被截断在区间[-0.1，0.1]中。训练过程中随机裁剪224×224像素的块并使用两阶段的训练策略。

请参阅图8，本申请实施例还提供超声心动图视频的超分辨率增强装置，可以实现上述超声心动图视频的超分辨率增强方法，图8为本申请实施例提供的超声心动图视频的超分辨率增强装置的模块结构框图，该装置包括：视频获取模块301、参考图像获取模块302、待增强图像特征提取模块303、参考图像特征提取模块304、特征聚合模块305、特征帧级融合模块306、特征重建模块307和图像合并模块308。其中，视频获取模块301，用于获取超声心动图视频，超声心动图视频包括帧图像；参考图像获取模块302，用于获取参考超声心动图像；其中，参考超声心动图像的分辨率大于帧图像的分辨率；待增强图像特征提取模块303，将每一帧图像输入至预设的特征提取模型进行特征提取，得到每一帧图像的待增强图像特征；参考图像特征提取模块304，用于将参考超声心动图像输入至特征提取模型进行特征提取，得到参考图像特征；特征聚合模块305，将每一帧图像的待增强图像特征和参考图像特征输入至预设的特征动态聚合模型进行特征聚合，得到每一帧图像的初始帧特征；特征帧级融合模块306，用于将本帧图像的初始帧特征、前一帧图像的初始帧特征和前二帧图像的初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到本帧图像的融合帧特征；特征重建模块307，用于将融合帧特征输入至预设的特征重建模型进行分辨率增强，得到重建超声心动图像；其中，重建超声心动图像的分辨率大于帧图像的分辨率；图像合并模块308，用于根据重建超声心动图像替换本帧图像，得到目标重建超声心动图视频。

需要说明的是，该超声心动图视频的超分辨率增强装置的具体实施方式与上述超声心动图视频的超分辨率增强方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述超声心动图视频的超分辨率增强方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器401，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器402，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器402可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器402中，并由处理器401来调用执行本申请实施例的超声心动图视频的超分辨率增强方法；

输入/输出接口403，用于实现信息输入及输出；

通信接口404，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线405，在设备的各个组件(例如处理器401、存储器402、输入/输出接口403和通信接口404)之间传输信息；

其中处理器401、存储器402、输入/输出接口403和通信接口404通过总线405实现彼此之间在设备内部的通信连接。

本申请实施例还提供了存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述超声心动图视频的超分辨率增强方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例提供的超声心动图视频的超分辨率增强方法、装置、电子设备、计算机可读存储介质，通过引入高分辨率的参考图像，利用参考图像的纹理信息对超分辨率增强任务添加约束，减小超分辨率任务的不确定性，使得优化目标更加明确，综合提升超分辨率增强性能。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图2和图7中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims

1.一种超声心动图视频的超分辨率增强方法，其特征在于，所述方法包括：

获取超声心动图视频，所述超声心动图视频包括帧图像；

2.根据权利要求1所述的方法，其特征在于，所述待增强图像特征包括初始像素点的初始特征，所述参考图像特征包括参考像素点的原始参考特征，所述将每一所述帧图像的待增强图像特征和所述参考图像特征输入至预设的特征动态聚合模型进行特征聚合，得到每一所述帧图像的初始帧特征，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述初始像素点对所述参考像素点进行查找，得到选定参考像素点集，包括：

4.根据权利要求1所述的方法，其特征在于，所述第一特征提取模型包括第一上采样层、第一卷积层、第一归一化层和第一线性整流函数，将所述超声心动图像的每一所述帧图像输入至预设的第一特征提取模型进行特征提取，得到每一所述帧图像的待增强图像特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述特征传输模型包括光流对齐网络和多帧自注意力块，所述将本帧图像的所述初始帧特征、前一帧图像的所述初始帧特征和前二帧图像的所述初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到所述本帧图像的融合帧特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述特征重建模型包括第二卷积层、第二归一化层和第二线性整流函数层，所述将所述融合帧特征输入至预设的特征重建模型进行分辨率增强，得到重建超声心动图像，包括：

7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一特征提取模型、所述第二特征提取模型、所述特征动态聚合模型、所述特征传输模型和所述特征重建模型预先通过以下过程联合训练：

获取样本超声心动图像；

8.一种超声心动图视频的超分辨率增强装置，其特征在于，所述装置包括：

特征帧级融合模块，用于将本帧图像的所述初始帧特征、前一帧图像的所述初始帧特征和前二帧图像的所述初始帧特征输入至预设的特征传输模型进行特征帧级融合，得到所述本帧图像的融合帧特征；

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。