CN112057074A - 呼吸速率测量方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本发明涉及一种呼吸速率测量方法、装置、电子设备及计算机存储介质，属于测量领域。在对被测者进行呼吸速率测量时，获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；然后对可见光视频流及热成像视频流进行配准；在配准后的可见光视频流中检测出所述被测者的口鼻区域移动信息；将口鼻区域移动信息映射到配准后的热成像视频流中，得到被测者的口鼻区域在配准后的热成像视频流中的温度变化信息；然后根据温度变化信息，确定被测者的呼吸速率。在整个测量过程中，无需与被测者直接接触，因此，可以降低传染性肺炎的感染概率。

Description

呼吸速率测量方法、装置、电子设备及计算机存储介质

技术领域

本申请属于测量领域，具体涉及一种呼吸速率测量方法、装置、电子设备及计算机存储介质。

背景技术

呼吸速率测量对于传感类肺炎疾病防控、健身运动状态监控等有着至关重要的作用，可以通过监测呼吸速率来筛查传染性肺炎，或者通过监控运动者的呼吸状态了解运动者的身体状态，从而给出运动强度推荐。

然而，当前已有的呼吸速率测量方法多为通过呼吸仪器对被测者的呼吸次数进行计数，从而确定被测者的呼吸速率。在测量期间，测量者与测量仪器基本都需要与被测者直接接触，无法实现无接触测量，无形当中加大肺炎的传染机会。

发明内容

有鉴于此，本申请的目的在于提供一种呼吸速率测量方法、装置、电子设备及计算机存储介质，可以实现无接触测量被测者的呼吸速率。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供一种呼吸速率测量方法，所述方法包括：

获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果；根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，以及得到所述被测者的口鼻区域在所述热成像视频流中的温度变化信息；根据所述温度变化信息，确定所述被测者的呼吸速率。在整个测量过程中，无需与被测者直接接触，因此，可以降低传染性肺炎的感染概率以及测量设备的污染概率，从一定程度上来说，还可以降低测量设备的损耗。此外，上述测量过程可以远距离地对被测者进行测量，也可以降低传染性肺炎的感染概率。再者，上述测量方式可以一次性对多个被测者进行测量，提高测量效率。

结合第一方面实施例，在一种可能的实施方式中，所述温度变化信息包括所述被测者的口鼻区域在所述热成像视频流所对应的各个时间点所对应的目标温度；所述根据所述温度变化信息，确定所述被测者的呼吸速率，包括：将所述温度变化信息中，所述目标温度处于两个峰值时所需要的最短时间间隔确定为一次呼吸所需的时间；根据所述一次呼吸所需的时间，计算得到所述被测者的呼吸速率。即可以通过温度变化信息来获取呼吸周期的方式来实现计算被测者的呼吸速率。

结合第一方面实施例，在一种可能的实施方式中，所述根据所述温度变化信息，确定所述被测者的呼吸速率，包括：将所述温度变化信息输入预先训练好的呼吸速率预测模型，得到所述被测者的呼吸速率。即可以通过将温度变化信息输入呼吸速率预测模型来预测被测者的呼吸速率。

结合第一方面实施例，在一种可能的实施方式中，在所述将所述温度变化信息输入预先训练好的呼吸速率预测模型之前，所述方法还包括：获取多个样本，每个样本为用户的口鼻区域的温度变化信息及所述用户在所述温度变化信息对应的时间段内的呼吸速率；将所述多个样本输入神经网络进行训练，得到以所述温度变化信息为输入，以所述呼吸速率为输出的所述呼吸速率预测模型。

结合第一方面实施例，在一种可能的实施方式中，所述在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果，包括：根据可见光人脸检测算法，确定出所述可见光视频流所包括的每帧图像上的与所述被测者对应的人脸框；根据IOU跟踪算法，确定出与所述被测者对应的人脸框在所述可见光视频流中的第一人脸框跟踪结果；根据人脸关键点检测算法，对所述第一人脸框跟踪结果所包括的每个人脸框进行检测，确定出所述第一人脸框跟踪结果所包括的每个人脸框上的口鼻区域，得到所述第一口鼻区域跟踪结果。

结合第一方面实施例，在一种可能的实施方式中，所述根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，包括：直接将所述第一口鼻区域跟踪结果在所述可见光视频流中所对应的区域映射到所述热成像视频流中，得到所述第二口鼻区域跟踪结果。

结合第一方面实施例，在一种可能的实施方式中，所述根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，包括：根据红外人脸检测算法，确定出所述热成像视频流所包括的每帧图像上所包括的每个人的人脸框；根据所述IOU跟踪算法对所述每个人的人脸框进行跟踪，确定出与每个人对应的人脸框跟踪结果；将所述第一人脸框跟踪结果与所述与每个人对应的人脸框跟踪结果进行匹配，从所述与每个人对应的人脸框跟踪结果中确定出与所述被测者对应的第二人脸框跟踪结果；将所述第一口鼻区域跟踪结果映射到所述第二人脸框跟踪结果中，得到所述第二口鼻区域跟踪结果。

结合第一方面实施例，在一种可能的实施方式中，所述将所述第一人脸框跟踪结果与所述与每个人对应的人脸框跟踪结果进行匹配，从所述与每个人对应的人脸框跟踪结果中确定出与所述被测者对应的第二人脸框跟踪结果，包括：根据IOU匹配算法和/或track轨迹匹配算法，将与每个人对应的人脸框跟踪结果中与所述第一人脸框跟踪结果最匹配的人脸框跟踪结果确定为所述第二人脸框跟踪结果。

结合第一方面实施例，在一种可能的实施方式中，在在所述可见光视频流中对所述被测者的口鼻区域进行跟踪之前，所述方法还包括：对所述可见光视频流及所述热成像视频流在时域和/或空域上进行配准；相应的，所述在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，包括：在配准后的可见光视频流中对所述被测者的口鼻区域进行跟踪。其中，在检测口鼻区域口鼻区域移动信息之前对两种视频流进行配准，可以增大后续测量结果的准确率。

结合第一方面实施例，在一种可能的实施方式中，所述对所述可见光视频流及所述热成像视频流在时域和/或空域上进行配准，包括：将所述可见光视频流的起始帧所对应的时间点与所述热成像视频流的起始帧所对应的时间点在时域上对齐，实现对所述可见光视频流及所述热成像视频流在时域上进行配准；和/或，将所述可见光视频流与所述热成像视频流内相对应的两帧图像中用于表征同一个对象的特征点进行仿射变换，实现对所述可见光视频流及所述热成像视频流在空域上进行配准。

第二方面，本申请实施例提供一种呼吸速率测量装置，所述装置包括：获取模块、跟踪模块以及确定模块。获取模块，用于获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；跟踪模块，用于在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果；所述获取模块，还用于根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，以及得到所述被测者的口鼻区域在所述热成像视频流中的温度变化信息；确定模块，用于根据所述温度变化信息，确定所述被测者的呼吸速率。

结合第二方面实施例，在一种可能的实施方式中，所述温度变化信息包括所述被测者的口鼻区域在所述热成像视频流所对应的各个时间点所对应的目标温度；所述确定模块，用于将所述温度变化信息中，所述目标温度处于两个峰值时所需要的最短时间间隔确定为一次呼吸所需的时间；根据所述一次呼吸所需的时间，计算得到所述被测者的呼吸速率。

结合第二方面实施例，在一种可能的实施方式中，所述确定模块，用于将所述温度变化信息输入预先训练好的呼吸速率预测模型，得到所述被测者的呼吸速率。

结合第二方面实施例，在一种可能的实施方式中，所述获取模块，还用于获取多个样本，每个样本为用户的口鼻区域的温度变化信息及所述用户在所述温度变化信息对应的时间段内的呼吸速率；所述装置还包括训练模块，用于将所述多个样本输入神经网络进行训练，得到以所述温度变化信息为输入，以所述呼吸速率为输出的所述呼吸速率预测模型。

结合第二方面实施例，在一种可能的实施方式中，所述跟踪模块，用于根据可见光人脸检测算法，确定出所述可见光视频流所包括的每帧图像上的与所述被测者对应的人脸框；根据IOU跟踪算法，确定出与所述被测者对应的人脸框在所述可见光视频流中的第一人脸框跟踪结果；根据人脸关键点检测算法，对所述第一人脸框跟踪结果所包括的每个人脸框进行检测，确定出所述第一人脸框跟踪结果所包括的每个人脸框上的口鼻区域，得到所述第一口鼻区域跟踪结果。

结合第二方面实施例，在一种可能的实施方式中，所述获取模块，用于直接将所述第一口鼻区域跟踪结果在所述可见光视频流中所对应的区域映射到所述热成像视频流中，得到所述第二口鼻区域跟踪结果。

结合第二方面实施例，在一种可能的实施方式中，所述获取模块，用于根据红外人脸检测算法，确定出所述热成像视频流所包括的每帧图像上所包括的每个人的人脸框；根据所述IOU跟踪算法对所述每个人的人脸框进行跟踪，确定出与每个人对应的人脸框跟踪结果；将所述第一人脸框跟踪结果与所述与每个人对应的人脸框跟踪结果进行匹配，从所述与每个人对应的人脸框跟踪结果中确定出与所述被测者对应的第二人脸框跟踪结果；将所述第一口鼻区域跟踪结果映射到所述第二人脸框跟踪结果中，得到所述第二口鼻区域跟踪结果。

结合第二方面实施例，在一种可能的实施方式中，所述获取模块，用于根据IOU匹配算法和/或track轨迹匹配算法，将与每个人对应的人脸框跟踪结果中与所述第一人脸框跟踪结果最匹配的人脸框跟踪结果确定为所述第二人脸框跟踪结果。

结合第二方面实施例，在一种可能的实施方式中，所述装置还可以包括配准模块，用于对所述可见光视频流及所述热成像视频流在时域和/或空域上进行配准。

相应的，所述跟踪模块，用于在配准后的可见光视频流中对所述被测者的口鼻区域进行跟踪。

结合第二方面实施例，在一种可能的实施方式中，所述配准模块，用于将所述可见光视频流的起始帧所对应的时间点与所述热成像视频流的起始帧所对应的时间点在时域上对齐，实现对所述可见光视频流及所述热成像视频流在时域上进行配准；和/或，

用于将所述可见光视频流与所述热成像视频流内相对应的两帧图像中用于表征同一个对象的特征点进行仿射变换，实现对所述可见光视频流及所述热成像视频流在空域上进行配准。

第三方面，本申请实施例还提供一种电子设备包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。

第四方面，本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称计算机存储介质)，其上存储有计算机程序，所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。

图1示出本申请实施例提供的一种电子设备的结构示意图。

图2示出本申请实施例提供的一种呼吸速率测量方法的流程图。

图3A示出本申请实施例提供的时域配置的示意图之一。

图3B示出本申请实施例提供的时域配置的示意图之二。

图4A示出本申请实施例提供的空域配置的示意图之一。

图4B示出本申请实施例提供的空域配置的示意图之二。

图5示出本申请实施例提供的一种呼吸速率测量装置的结构框图。

图标：100-电子设备；110-处理器；120-存储器；400-呼吸速率测量装置；410-获取模块；420-跟踪模块；430-确定模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

此外，针对现有技术中的呼吸速率测量仪器或者方法所存在的缺陷(无法实现无接触测量)是申请人在经过实践并仔细研究后得出的结果，因此，上述缺陷的发现过程以及在下文中本申请实施例针对上述缺陷所提出的解决方案，都应该被认定为申请人对本申请做出的贡献。

为了解决上述问题，本申请实施例提供一种呼吸速率测量方法、装置、电子设备及计算机存储介质，可以实现无接触测量被测者的呼吸速率。

该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本申请实施例进行详细介绍。

首先介绍用于实现本申请实施例的呼吸速率测量方法、装置的电子设备。

电子设备可以获取可见光相机所拍摄的可见光视频流以及获取热成像相机所拍摄的热成像视频流，并对可见光视频流以及热成像视频流进行处理。在这种实施方式中，电子设备可以是，但不限于个人电脑(Personal computer，PC)、智能手机、平板电脑、移动上网设备(Mobile Internet Device，MID)、个人数字助理、服务器等设备。

在一些实施方式中，电子设备自身可以是包括处理器以及与所述处理器通信连接的可见光相机、热成像相机的双模态相机。其中，处理器用于获取可见光相机所拍摄的可见光视频流以及获取热成像相机所拍摄的热成像视频流，并对可见光视频流以及热成像视频流进行处理。在这种实施方式中，可见光相机与热成像相机尽可能地靠近安装。

无论电子设备以上述何种形成存在，请参看图1，电子设备100均可以包括：处理器110、存储器120。

应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备100也可以具有其他组件和结构。例如，在一些情况下，电子设备100还可以包括可见光相机以及热成像相机。

处理器110、存储器120以及其他可能出现于电子设备100的组件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，处理器110、存储器120以及其他可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器120用于存储程序，例如存储有后文出现的呼吸速率测量方法对应的程序或者后文出现的呼吸速率测量装置。可选的，当存储器120内存储有呼吸速率测量装置时，呼吸速率测量装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。

可选的，呼吸速率测量装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system，OS)中。

处理器110用于执行存储器120中存储的可执行模块，例如呼吸速率测量装置包括的软件功能模块或计算机程序。当处理器110在接收到执行指令后，可以执行计算机程序，例如执行：获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果；根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，以及得到所述被测者的口鼻区域在所述热成像视频流中的温度变化信息；根据所述温度变化信息，确定所述被测者的呼吸速率。

当然，本申请任一实施例所揭示的方法都可以应用于处理器110中，或者由处理器110实现。

下面将针对本申请所提供的呼吸速率测量方法进行介绍。

请参阅图2，本申请实施例提供一种应用于上述电子设备100的呼吸速率测量方法。下面将结合图2对其所包含的步骤进行说明。

步骤S110：获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流。

内置于电子设备内的可见光相机及热成像相机或者外置于电子设备的可见光相机及热成像相机可以设置在一个固定的位置，并对经过其拍摄区域的行人进行无接触式同步拍摄，分别得到可见光视频流以及热成像视频流。

值得指出的是，无论是内置的可见光相机及热成像相机还是外置的可见光相机及热成像相机，在进行安装时应该尽量靠近安装，以减小由于两个相机的设置位置所引入的拍摄时间偏差。

在一种可选的实施方式中，为了进一步地减小两个相机的设置位置所引入的拍摄时间偏差，可以将两个相机安装在同一竖直面内的不同竖直高度处，以尽量保证同一个被测者在同一个时间点分别被可见光相机及热成像相机所拍摄到。

当某个被测者经过可见光相机及热成像相机的拍摄区域时，电子设备获取到针对被测者的可见光视频流以及热成像视频流。

其中，可见光视频流与热成像视频流均可以包括多帧图像。针对可见光视频流而言，其所包括的每帧图像为彩色图像，图像中包含图像信息；针对热成像视频流而言，其所包括的每帧图像为热成像图像，图像中包含图像信息以及图像所展示的区域的温度值。也就是说，可以通过热成像图像直接获取到热成像图像所展示出的区域的温度值。

至于图像信息，可以包括该帧图像的拍摄时间点以及该帧图像所展示出的像素点等。

虽然可见光视频流及热成像视频流是由两个相机同步对被测者进行拍摄而得到，但不可避免地，可见光视频流与热成像视频流之间存在偏差，例如存在时域上的偏差或者空域上的偏差。因此，在一些实施方式中，在对可见光视频流及热成像视频流做进一步处理之前，还可以对可见光视频流及热成像视频流进行配准操作。

配准操作包括对可见光视频流以及热成像视频流在时域和/或空域上进行配准。

其中，对可见光视频流以及热成像视频流在时域上进行配准，即是将可见光视频流所包括的图像帧与热成像视频流所包括的图像帧在时间点上尽可能地形成一一对应的关系。

前文提及，图像信息可以包括该帧图像的拍摄时间。电子设备可以分别提取可见光视频流以及热成像视频流的起始帧图像及其对应的拍摄时间点，并将可见光视频流的起始帧图像所对应的拍摄时间点与热成像视频流的起始帧图像所对应的拍摄时间点在时域上对齐。

例如，请参看图3A，假设可见光视频流为A，包括多帧图像A1、A2、A3、……、An，且多帧图像按照拍摄时间的先后顺序依次排列；假设热成像视频流为B，包括多帧图像B1、B2、B3、……、Bn，且多帧图像按照拍摄时间的先后顺序依次排列。当需要对可见光视频流A与热成像视频流B在时域上进行配准时，先分别获取A1的拍摄时间点T1以及B1的拍摄时间点B1，然后对T1与T2进行比较。若T1与T2不一致，则说明可见光视频流A与热成像视频流B在时域上未配准。假设T2相较于T1多20ms，说明B0的拍摄时间点晚于A0的拍摄时间点20ms，此时，需要如图3B所示的，将整个热成像视频流B所包括的每帧图像在时间轴上往前拖动20ms，使得A1的拍摄时间点T1与B1的拍摄时间点T2在时域上对齐，以弥补时间偏差。

对可见光视频流以及热成像视频流在空域上进行配准，即是将同一个对象在可见光视频流所包括的图像帧的呈现比例与在热成像视频流所包括的图像帧中的呈现比例尽可能地设置成一致。

为了实现上述效果，在本申请中，可以将可见光视频流与热成像视频流内相对应的两帧图像中用于表征同一个对象的特征点进行仿射变换，实现对可见光视频流及热成像视频流在空域上进行配准。

其中，对于可见光视频流与热成像视频流而言，相对应的两帧图像即为与同一个时间点相对应的图像帧。假设可见光视频流中的图像帧A1与热成像视频流中的B1相对应，电子设备可以通过预先保存的关键点检测算法分别对A1以及B1进行关键点检测，得到与A1对应的关键点以及与B1对应的关键点，如图4A所示。

针对与A1对应的关键点以及与B1对应的关键点，电子设备可以计算仿射变换矩阵(此部分为现有技术)，然后根据计算结果，按照图4B所示的，对与B1对应的关键点进行像素点位移，位移的基准为与A1对应的关键点的像素点，从而保证B1中位移后的关键点的像素点所形成的轮廓与A1中关键点的像素点所形成的轮廓大致一致。

当然，也可以根据计算结果对与A1对应的关键点进行像素点位移，位移的基准为与B1对应的关键点的像素点，从而保证A1中位移后的关键点的像素点所形成的轮廓与B1中关键点的像素点所形成的轮廓大致一致。

可以理解，对于可见光视频流与热成像视频流而言，每两个相对应的图像帧均可以按照上述A1与B1类似的过程进行空域配准，从而实现可见光视频流与热成像视频流在空域上进行配准，以保证拍摄到同一个对象的形状尽可能地保持一致。

值得指出的是，若是在进行配准时，既包括对时域的配准，又包括对空域的配准，那么可以在对时域进行配准后再对空域进行配准。

此外，值得指出的是，若在执行后续的步骤S120-140之前，电子设备进行过配准操作，那么相应的，步骤S120-140中所涉及到的可见光视频流及热成像视频流均为经过配准后的可见光视频流及经过配准后的热成像视频流。

步骤S120：在可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果。

在本申请实施例中，被测者所代表的对象可以为一个人，也可以为多个人，因此，有必要对视频流中所拍摄到的人进行区分。

针对可见光视频流而言，电子设备可以根据预先保存的可见光人脸检测算法，确定出可见光视频流所包括的每帧图像上的人脸框。其中，一个人脸框与一个人相对应。

在一些实施方式中，当一帧图像中包括多个人脸框时，电子设备可以将与多个人脸框对应的多个人均确定为被测者，此时，电子设备可以实现对多个人的呼吸速率进行测量。

当然，在一些实施方式中，可以预先确定出一个被测者，后续，电子设备可以主要锁定与被测者的特征匹配的人脸框。

在确定出被测者后，电子设备可以根据预先保存的IOU(Intersection OverUnion，交并比)跟踪算法，确定出与被测者对应的人脸框在可见光视频流所包括的每帧图像中的跟踪结果，此处为了便于与后文进行区分，称之为第一人脸框跟踪结果。在得到与被测者对应的人脸框在可见光视频流中的第一人脸框跟踪结果后，即确定出与同一个人对应的人脸框在可见光视频流所包括的各帧图像中的位置。

在确定出与被测者对应的人脸框在可见光视频流所包括的每帧图像中的第一人脸框跟踪结果后，电子设备再根据预先保存的人脸关键点检测算法，对第一人脸框跟踪结果所包括的每个人脸框进行检测，确定出与同一个被测者对应的每个人脸框上的与嘴巴以及鼻子对应的口鼻区域。

在得到每个与被测者对应的人脸框上的与嘴巴以及鼻子对应的口鼻区域后，即可得到被测者的口鼻区域在可见光视频流中的第一口鼻区域跟踪结果，从而确定出被测者的口鼻区域在可见光视频流所包括的各帧图像中的大概位置。

值得指出是，以上所涉及到的可见光人脸检测算法对人脸框的检测过程、IOU跟踪算法对人脸框的跟踪过程、以及人脸关键点检测算法对人脸框的关键点的检测过程均为较为常见的现有技术，此处不再赘述。

步骤S130：根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，以及得到所述被测者的口鼻区域在所述热成像视频流中的温度变化信息。

经过配准后，可见光视频流与热成像视频流基本可以保证一一对应，形成多个拍摄时间点相对应的可见光图像(来源于配准后的可见光视频流)以及热成像图像(来源于配准后的热成像视频流)对。

在获取到被测者的口鼻区域在配准后的可见光视频流中的第一口鼻区域跟踪结果后，可以将该第一口鼻区域跟踪结果映射到热成像视频流中，从而得到被测者的口鼻区域在配准后的热成像视频流中的第二口鼻区域跟踪结果。

其中，作为一种可选的实施方式，映射的过程可以是针对每个拍摄时间点相对应的可见光图像以及热成像图像对，直接将可见光图像中的被测者的口鼻区域的位置对应到热成像图像中，即在每个拍摄时间点相对应的可见光图像以及热成像图像对中，被测者的口鼻区域在可见光图像的位置与在对应的热成像图像中的位置相同。例如在T1时间点对应的可见光图像以及热成像图像对中，被测者的口鼻区域在可见光图像的左上角，相应的，被测者的口鼻区域也在热成像图像的左上角。

作为另一种可选的实施方式，映射的过程还可以是先在热成像图像中确定出与每个人对应的人脸框跟踪结果，然后再将与被测者对应的第一人脸框跟踪结果与由热成像图像中确定出的与每个人对应的人脸框跟踪结果进行匹配，从而找到被测者在热成像图像中的人脸框跟踪结果(即第二人脸框跟踪结果)。在找到第二人脸框跟踪结果后，再将第一口鼻区域跟踪结果在第一人脸框跟踪结果中的位置映射到第二人脸框跟踪结果中，得到基于第二人脸框跟踪结果的第二口鼻区域跟踪结果。

其中，与步骤S120类似的，可以先根据预先保存的红外人脸检测算法，确定出热成像视频流所包括的每帧图像上的人脸框。其中，在一帧图像中，一个人脸框与一个人相对应。

在确定出人脸框后，电子设备可以根据预先保存的IOU跟踪算法，确定出与同一个人对应的人脸框在热成像视频流所包括的每帧图像中的跟踪结果，从而得到在热成像视频流中与每个人对应的人脸框跟踪结果。

在得到多个人的人脸框跟踪结果后，为了从中得到与预先确定出的被测者在热成像视频流中对应的第二人脸框跟踪结果，可以将第一人脸框跟踪结果与上述得到的与每个人对应的人脸框跟踪结果进行匹配，并将匹配到的相似度最高的人脸框跟踪结果确定为与被测者对应的第二人脸框跟踪结果。

其中，在将第一人脸框跟踪结果与上述得到的与每个人对应的人脸框跟踪结果进行匹配时，为了减小可见光相机与热成像相机所拍摄的图像的景深差所带来的误差，可以基于预先保存的IOU匹配算法和/或track(跟踪信息)轨迹匹配算法来进行匹配。其中，track对应到本方案中，表征在不同图像帧中的属于同一个人的不同人脸框的总和。

在一种可选的实施方式中，在基于IOU匹配算法进行匹配时，是将第一人脸框跟踪结果分别跟与每个人对应的人脸框跟踪结果计算IOU，从而得到IOU计算结果。其中，IOU越大，说明相似度越高，为同一个人的概率越大，因此，可以将IOU计算结果最大时对应的人脸框跟踪结果判定为与第一人脸框跟踪结果相对应的同一个人，即被测者。相应的，该IOU最大时对应的人脸框跟踪结果即为第二人脸框跟踪结果。

其中，当基于IOU匹配算法针对两个人脸框跟踪结果计算IOU时，是将其中一个人脸框跟踪结果所包括的每个人脸框分别跟与另一个人脸框跟踪结果所包括的每个人脸框计算IOU。

在另一种可选的实施方式中，在基于track轨迹匹配算法进行匹配时，是将第一人脸框跟踪结果所表征的track分别跟与每个人对应的人脸框跟踪结果所表征的track计算距离。其中，距离越小，说明为同一个人的概率越大，因此，可以将距离计算结果最小时对应的人脸框跟踪结果判定为与第一人脸框跟踪结果相对应的同一个人，即被测者。相应的，该距离最小时对应的人脸框跟踪结果即为第二人脸框跟踪结果。

其中，当基于track轨迹匹配算法针对两个人脸框跟踪结果计算距离时，是将其中一个人脸框跟踪结果所表征的track中的每个人脸框的中心点计算在二维图像中的位移信息，然后再将另一个人脸框跟踪结果所表征的track中的每个人脸框的中心点计算在二维图像中的位移信息，然后利用欧式距离、曼哈顿距离等方式，将其中一个人脸框跟踪结果的位移信息与另一个人脸框跟踪结果的位移信息之间计算距离。

值得指出的是，在一些实施方式中，当电子设备既基于IOU匹配算法来实现匹配，又基于track轨迹匹配算法来实现匹配时，若两者的匹配结果不一致，电子设备确定基于IOU匹配算法所得到的匹配结果为最终的匹配结果。

经过上述的几种方式，即可以得到被测者在热成像视频流中的第二口鼻区域跟踪结果，从而确定出被测者的口鼻区域在热成像视频流所包括的各帧图像中的位置。前文提及，热成像图像包括温度值，此外，在每帧热成像图像中，口鼻区域为一个区域范围，那么，口鼻区域所对应的整体区域所包括的各个局部的温度值可能不同，对应到热成像图像中，不同的温度显示为不同的颜色。

在得到被测者的口鼻区域在热成像视频流中的第二口鼻区域跟踪结果后，电子设备可以根据第二口鼻区域跟踪结果，提取热成像视频流中的每帧热成像图像内的与被测者对应的口鼻区域的温度值，例如提取口鼻区域的平均温度、最高温度、最低温度、温度中位数等。在提取出每帧热成像图像内的与被测者对应的口鼻区域的温度值后，相当于得到与每帧包括被测者的口鼻区域的热成像图像所对应的时间点均包括与被测者的口鼻区域对应的温度值。再结合各个热成像图像的拍摄时间点，即可得到被测者的口鼻区域口鼻区域在热成像视频流中的温度变化信息。

在该温度变化信息中，与热成像视频流所对应的各个时间点对应的温度值包括电子设备针对该时间点的口鼻区域进行温度值提取时所提取的所有温度值。例如针对每个口鼻区域，电子设备均对最高温度和最低温度进行提取，那么形成的温度变化信息中与热成像视频流所对应的每个时间点对应的温度值均包括最高温度值以及最低温度值。

步骤S140：根据所述温度变化信息，确定所述被测者的呼吸速率。

在一种可选的实施方式中，可以通过温度变化信息估算被测者的一次呼吸所需的时间，即呼吸周期T。然后根据公式S＝60/T，计算得到被测者的呼吸速率。

其中，通过温度变化信息估算被测者的一次呼吸所需的时间时，可以将温度变化信息中，目标温度处于两个峰值时所需要的最短时间间隔确定为一次呼吸所需的时间，例如当目标温度为最高温度时，此时，温度变化信息包括被测者的口鼻区域在各个时间点所对应的最高温度。

当然，此处的目标温度还可以是最低温度、平均温度、中位数温度等。

由于口鼻区域的温度变化与呼吸速率之间的关系或许会有非线性关系存在，因此，在另一种可选的实施方式中，可以将温度变化信息输入预先训练好的呼吸速率预测模型，从而得到被测者的呼吸速率。此时，温度变化信息可以包括被测者的口鼻区域在热成像视频流所对应的各个时间点所对应的最高温度、最低温度、平均温度(属于同一帧的口鼻区域的所有温度点之和求平均)、温度中位数(属于同一帧的口鼻区域的所有温度点进行排序，取中间值)等。

值得指出的是，该呼吸速率预测模型以温度变化信息为输入，以呼吸速率为输出。

当然，在将温度变化信息输入呼吸速率预测模型之前，还需要对神经网络进行训练，从而得到呼吸速率预测模型。此处的神经网络可以为LSTM、RNN等常见的神经网络。

下面将针对训练呼吸速率预测模型的过程进行介绍。

先获取多个样本，每个样本为一个用户的口鼻区域的温度变化信息及该用户在温度变化信息对应的时间段内的呼吸速率，该呼吸速率由传统的呼吸速率测量方式测得。在得到多个样本后，将多个样本输入到神经网络进行训练直至收敛，从而得到以温度变化信息为输入，以呼吸速率为输出的所述呼吸速率预测模型。

本申请实施例所提供的一种呼吸速率测量方法，在对被测者进行呼吸速率测量时，获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；在可见光视频流中对被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果；根据第一口鼻区域跟踪结果，得到被测者的口鼻区域在热成像视频流中的第二口鼻区域跟踪结果，以及得到被测者的口鼻区域在热成像视频流中的温度变化信息；然后根据温度变化信息，确定被测者的呼吸速率。在整个测量过程中，无需与被测者直接接触，因此，可以降低传染性肺炎的感染概率以及测量设备的污染概率，从一定程度上来说，还可以降低测量设备的损耗。此外，上述测量过程可以远距离地对被测者进行测量，也可以降低传染性肺炎的感染概率。再者，上述测量方式可以一次性对多个被测者进行测量，提高测量效率。

如图5所示，本申请实施例还提供一种呼吸速率测量装置400，呼吸速率测量装置400可以包括：获取模块410、跟踪模块420以及确定模块430。

其中，获取模块410，用于获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；

跟踪模块420，用于在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果；

所述获取模块410，还用于根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，以及得到所述被测者的口鼻区域在所述热成像视频流中的温度变化信息；

确定模块430，用于根据所述温度变化信息，确定所述被测者的呼吸速率。

在一种可能的实施方式中，所述温度变化信息包括所述被测者的口鼻区域在所述热成像视频流所对应的各个时间点所对应的目标温度；所述确定模块430，用于将所述温度变化信息中，所述目标温度处于两个峰值时所需要的最短时间间隔确定为一次呼吸所需的时间；根据所述一次呼吸所需的时间，计算得到所述被测者的呼吸速率。

在一种可能的实施方式中，所述确定模块430，用于将所述温度变化信息输入预先训练好的呼吸速率预测模型，得到所述被测者的呼吸速率。

在一种可能的实施方式中，所述获取模块410，还用于获取多个样本，每个样本为用户的口鼻区域的温度变化信息及所述用户在所述温度变化信息对应的时间段内的呼吸速率；所述呼吸速率测量装置400还包括训练模块，用于将所述多个样本输入神经网络进行训练，得到以所述温度变化信息为输入，以所述呼吸速率为输出的所述呼吸速率预测模型。

在一种可能的实施方式中，所述跟踪模块420，用于根据可见光人脸检测算法，确定出所述可见光视频流所包括的每帧图像上的与所述被测者对应的人脸框；根据IOU跟踪算法，确定出与所述被测者对应的人脸框在所述可见光视频流中的第一人脸框跟踪结果；根据人脸关键点检测算法，对所述第一人脸框跟踪结果所包括的每个人脸框进行检测，确定出所述第一人脸框跟踪结果所包括的每个人脸框上的口鼻区域，得到所述第一口鼻区域跟踪结果。

在一种可能的实施方式中，所述获取模块410，用于直接将所述第一口鼻区域跟踪结果在所述可见光视频流中所对应的区域映射到所述热成像视频流中，得到所述第二口鼻区域跟踪结果。

在一种可能的实施方式中，所述获取模块410，用于根据红外人脸检测算法，确定出所述热成像视频流所包括的每帧图像上所包括的每个人的人脸框；根据所述IOU跟踪算法对所述每个人的人脸框进行跟踪，确定出与每个人对应的人脸框跟踪结果；将所述第一人脸框跟踪结果与所述与每个人对应的人脸框跟踪结果进行匹配，从所述与每个人对应的人脸框跟踪结果中确定出与所述被测者对应的第二人脸框跟踪结果；将所述第一口鼻区域跟踪结果映射到所述第二人脸框跟踪结果中，得到所述第二口鼻区域跟踪结果。

在一种可能的实施方式中，所述获取模块410，用于根据IOU匹配算法和/或track轨迹匹配算法，将与每个人对应的人脸框跟踪结果中与所述第一人脸框跟踪结果最匹配的人脸框跟踪结果确定为所述第二人脸框跟踪结果。

在一种可能的实施方式中，所述装置还可以包括配准模块，用于对所述可见光视频流及所述热成像视频流在时域和/或空域上进行配准。相应的，所述跟踪模块420，用于在配准后的可见光视频流中检测出所述被测者的口鼻区域移动信息。

在一种可能的实施方式中，所述配准模块，用于将所述可见光视频流的起始帧所对应的时间点与所述热成像视频流的起始帧所对应的时间点在时域上对齐，实现对所述可见光视频流及所述热成像视频流在时域上进行配准；和/或，

用于将所述可见光视频流与所述热成像视频流内相对应的两帧图像中用于表征同一个对象的特征点进行仿射变换，实现对所述可见光视频流及所述热成像视频流在空域上进行配准。

本申请实施例所提供的呼吸速率测量装置400，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

此外，本申请实施例还提供一种计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被计算机运行时，执行如上述的呼吸速率测量方法所包含的步骤。

综上所述，本发明实施例提出的呼吸速率测量方法、装置、电子设备及计算机存储介质，在对被测者进行呼吸速率测量时，获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；在可见光视频流中检测出所述被测者的口鼻区域移动信息；将口鼻区域移动信息映射到热成像视频流中，得到被测者的口鼻区域在热成像视频流中的温度变化信息；然后根据温度变化信息，确定被测者的呼吸速率。在整个测量过程中，无需与被测者直接接触，因此，可以降低传染性肺炎的感染概率以及测量设备的污染概率，从一定程度上来说，还可以降低测量设备的损耗。此外，上述测量过程可以远距离地对被测者进行测量，也可以降低传染性肺炎的感染概率。再者，上述测量方式可以一次性对多个被测者进行测量，提高测量效率。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (13)

1.一种呼吸速率测量方法，其特征在于，所述方法包括：

获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；

在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果；

根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，以及得到所述被测者的口鼻区域在所述热成像视频流中的温度变化信息；

根据所述温度变化信息，确定所述被测者的呼吸速率。

2.根据权利要求1所述的方法，其特征在于，所述温度变化信息包括所述被测者的口鼻区域在所述热成像视频流所对应的各个时间点所对应的目标温度；所述根据所述温度变化信息，确定所述被测者的呼吸速率，包括：

将所述温度变化信息中，所述目标温度处于两个峰值时所需要的最短时间间隔确定为一次呼吸所需的时间；

根据所述一次呼吸所需的时间，计算得到所述被测者的呼吸速率。

3.根据权利要求1所述的方法，其特征在于，所述根据所述温度变化信息，确定所述被测者的呼吸速率，包括：

将所述温度变化信息输入预先训练好的呼吸速率预测模型，得到所述被测者的呼吸速率。

4.根据权利要求3所述的方法，其特征在于，在所述将所述温度变化信息输入预先训练好的呼吸速率预测模型之前，所述方法还包括：

获取多个样本，每个样本为用户的口鼻区域的温度变化信息及所述用户在所述温度变化信息对应的时间段内的呼吸速率；

将所述多个样本输入神经网络进行训练，得到以所述温度变化信息为输入，以所述呼吸速率为输出的所述呼吸速率预测模型。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果，包括：

根据可见光人脸检测算法，确定出所述可见光视频流所包括的每帧图像上的与所述被测者对应的人脸框；

根据IOU跟踪算法，确定出与所述被测者对应的人脸框在所述可见光视频流中的第一人脸框跟踪结果；

根据人脸关键点检测算法，对所述第一人脸框跟踪结果所包括的每个人脸框进行检测，确定出所述第一人脸框跟踪结果所包括的每个人脸框上的口鼻区域，得到所述第一口鼻区域跟踪结果。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，包括：

直接将所述第一口鼻区域跟踪结果在所述可见光视频流中所对应的区域映射到所述热成像视频流中，得到所述第二口鼻区域跟踪结果。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，包括：

根据红外人脸检测算法，确定出所述热成像视频流所包括的每帧图像上所包括的每个人的人脸框；

根据IOU跟踪算法对所述每个人的人脸框进行跟踪，确定出与每个人对应的人脸框跟踪结果；

将第一人脸框跟踪结果与所述与每个人对应的人脸框跟踪结果进行匹配，从所述与每个人对应的人脸框跟踪结果中确定出与所述被测者对应的第二人脸框跟踪结果；

将所述第一口鼻区域跟踪结果映射到所述第二人脸框跟踪结果中，得到所述第二口鼻区域跟踪结果。

8.根据权利要求7所述的方法，其特征在于，所述将所述第一人脸框跟踪结果与所述与每个人对应的人脸框跟踪结果进行匹配，从所述与每个人对应的人脸框跟踪结果中确定出与所述被测者对应的第二人脸框跟踪结果，包括：

根据IOU匹配算法和/或track轨迹匹配算法，将与每个人对应的人脸框跟踪结果中与所述第一人脸框跟踪结果最匹配的人脸框跟踪结果确定为所述第二人脸框跟踪结果。

9.根据权利要求1-8中任一项所述的方法，其特征在于，在在所述可见光视频流中对所述被测者的口鼻区域进行跟踪之前，所述方法还包括：

对所述可见光视频流及所述热成像视频流在时域和/或空域上进行配准；

相应的，所述在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，包括：

在配准后的可见光视频流中对所述被测者的口鼻区域进行跟踪。

10.根据权利要求9所述的方法，其特征在于，所述对所述可见光视频流及所述热成像视频流在时域和/或空域上进行配准，包括：

将所述可见光视频流的起始帧所对应的时间点与所述热成像视频流的起始帧所对应的时间点在时域上对齐，实现对所述可见光视频流及所述热成像视频流在时域上进行配准；和/或，

将所述可见光视频流与所述热成像视频流内相对应的两帧图像中用于表征同一个对象的特征点进行仿射变换，实现对所述可见光视频流及所述热成像视频流在空域上进行配准。

11.一种呼吸速率测量装置，其特征在于，所述装置包括：

获取模块，用于获取可见光相机及热成像相机针对被测者所同步拍摄的可见光视频流及热成像视频流；

跟踪模块，用于在所述可见光视频流中对所述被测者的口鼻区域进行跟踪，得到第一口鼻区域跟踪结果；

所述获取模块，还用于根据所述第一口鼻区域跟踪结果，得到所述被测者的口鼻区域在所述热成像视频流中的第二口鼻区域跟踪结果，以及得到所述被测者的口鼻区域在所述热成像视频流中的温度变化信息；

确定模块，用于根据所述温度变化信息，确定所述被测者的呼吸速率。

12.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器连接；

所述存储器用于存储程序；

所述处理器调用存储于所述存储器中的程序，以执行如权利要求1-10中任一项所述的方法。

13.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-10中任一项所述的方法。

Images