CN111366252A

CN111366252A - 一种稳定红外人体表面温度快速筛检仪筛查结果的方法

Info

Publication number: CN111366252A
Application number: CN202010429268.2A
Authority: CN
Inventors: 吴永东; 张利平
Original assignee: Zhejiang Shuangshi Infrared Technology Co ltd
Current assignee: Zhejiang Shuangshi Infrared Technology Co ltd
Priority date: 2020-05-20
Filing date: 2020-05-20
Publication date: 2020-07-03

Abstract

本发明涉及视频处理领域，具体涉及一种具有温度信息的录像文件的处理方法；本发明在温度检测预警系统对红外热成像画面进行录像时，同步把录像时间段内的图像画面、所有全屏温度数据和测温规则信息保存下来。离线温度分析软件打开红外录像文件时，确定全屏温度数据和测温区域是否存在并打开；在播放红外录像文件时，通过当前播放的时间点定位全屏温度数据和测温规则的当前数据，通过对录制的全屏温度数据实时分析，计算测温规则当前的温度结果并显示在回放的视频画面上。本发明还涉及数据的远程传输过程，即将全量数据传输至中心服务器供监管人员处理，将分量数据传输至用户服务器，供指定用户查看，并通过中心服务器和用户服务器的交互确定数据的准确性；通过对用户服务器中存储区以及存储数据的设置，保证了数据的安全性，有效防止了数据的篡改。

Description

一种稳定红外人体表面温度快速筛检仪筛查结果的方法

技术领域

本发明属于图像和数据处理技术领域，涉及一种稳定红外人体表面温度快速筛检仪筛查结果的方法。

背景技术

红外人体表面温度快速筛检仪主要应用于人流量较多的快速通道,用于筛检携带病毒导致人体发烧的场所。通过红外测温方式对人体进行体温筛查是防疫工作的一项重要技防措施。

通过红外人体筛查仪实际应用的研究表明，采用红外人体表面温度快速筛检仪测量人体头面部裸露皮肤的体表温度进行筛查时，由于人体头面部裸露皮肤的温度受多种因素影响，导致测量结果会明显波动，在高帧率图像视频中表现为标注的人体温度不断的上下波动，影响筛查工作人员对人体温度值的正确读数。此外，目前市面上应用的红外人体筛查仪，可以对筛查区域内的人体标注出人脸识别框与体温值，并且在筛查区域内当一个或若干人体目标超过预置体温报警阈值（如37.3℃）时发出报警声音，但是这种仅仅按照报警阈值判断的报警方式会导致报警声音连续不断的产生，一直到发热目标全部离开筛查范围才会解除报警。这不仅影响筛检结果，而且持续的报警声音变成了噪音污染对筛查工作人员的身体健康也造成非常不良的影响。

而且，现在技术当发现异常时，需要人为的通知异常人员；当人数较多时，容易造成人员的丢失，导致无法准确的进行跟踪定位。在对数据的处理时，通常都是在本地进行处理后以周期或实时上报的方式直接上报至数据中心的服务器集群中，此时未考虑服务器集群中各个服务器的负载以及接入点的状态，无法保证数据传输的稳定性及可靠性，容易导致数据丢失。

发明内容

为解决现有技术中存在的问题，本发明提供了一种稳定红外人体表面温度快速筛检仪筛查结果的方法。

本发明解决其技术问题所采用的技术方案是：

所述方法，首先通过人脸识别与跟踪技术进行人体编号，其次通过人体编号将多帧温度测量值进行算数平均作为波动更小更加稳定的人体温度值，最后将带编号的人体温度与预置体温报警阈值一起应用于报警声音的控制算法，可以明显优化红外筛查仪的声音报警方式，改善用户体验，有效提升工作人员的筛查效率。

为实现上述目的，本发明采用以下技术方案，其处理步骤如下所示：

（1）可见光图像采集模块采集可见光图像视频流；

（2）红外数据采集与处理模块采集红外数据流，并进行红外数据校正及成像处理，获得红外测温数据流以及红外图像视频流；

（3）人脸识别与跟踪模块由人脸识别子模块、人脸跟踪子模块组成。人脸识别子模块在可见光图像视频流中获取每帧图像中所有的人脸位置、大小与特征，人脸跟踪子模块根据人脸识别子模块识别到人脸的前提下，在后续帧中继续捕获所有人脸位置、大小与特征，并根据人脸识别结果进行人体编号；

（4）红外与可见光图像配准模块将红外图像与可见光图像进行图像配准，将红外目标与可见光目标的位置一一对齐；

（5）红外测温模块计算并提供红外图像中全像素的温度值；

（6）人体温度计算与超温判决模块根据人体编号，计算连续多帧人体温度的算数平均值作为各编号人体的体温值，并根据人体编号与超温判决结果控制声音报警与显示报警；

（7）声音报警模块发出声音报警。

（8）显示报警模块在对应超温人体进行报警标注。

其中，根据人脸识别结果进行人体编号后，还包括根据人脸识别结果获取目标人员的用户终端信息以及对应的紧急联系人信息，并建立人脸图像、人体编号、终端信息与紧急联系人信息的对应关系表；在产生声音报警或显示报警时，将人脸图像、人体编号以及体温值发送至终端信息和/或紧急联系人信息对应的终端。

其中，将人脸图像、人体编号以及体温值发送至终端信息和/或紧急联系人信息对应的终端包括：当体温值超过报警阈值，且人体编号i连续出现的次数小于上限N次，则进一步识别目标人员的健康码信息以及年龄信息，当目标人员的健康码为他人代为提交时，首先将人脸图像、人体编号以及体温值发送至终端信息和紧急联系人信息对应的终端，然后利用呼叫机器人自动呼叫目标人员及其对应紧急联系人的终端，以语音呼叫的方式通知目标人员以及紧急联系人；

当目标人员的健康码为自己提交，且年龄大于等于上限阈值时，首先将人脸图像、人体编号以及体温值发送至终端信息对应的目标人员的终端，然后利用呼叫机器人自动呼叫目标人员的终端，以语音呼叫的方式通知目标人员；

当目标人员的健康码为自己提交，年龄小于上限阈值，大于下限阈值时，将人脸图像、人体编号以及体温值打包成一预警数据包，并在包头上设置一标识，然后发送至终端信息对应的目标人员的终端上，其中，上述标识用于指示该数据包的已读状态，即当所述预警数据包被目标人员查看时，将自动进行已读反馈，如果特定时间内未接收到已读反馈时，则利用呼叫机器人自动呼叫目标人员的终端，以语音呼叫的方式通知目标人员；

当年龄小于等于下限阈值时，将人脸图像、人体编号以及体温值打包成一预警数据包，并在包头上设置一标识，然后发送至终端信息对应的目标人员的紧急联系人的终端上，其中，上述标识用于指示该数据包的已读状态，当特定时间内未接收到已读反馈时，则利用呼叫机器人自动呼叫目标人员的紧急联系人的终端，以语音呼叫的方式通知目标人员；

其中，根据人脸识别结果获取终端信息、紧急联系人信息以及对应用户的健康码、轨迹码，将上述信息与人脸图像、人体编号以及体温值打包成一预警数据包，将其上传至数据中心；具体包括：

确定本地设备与多个接入点之间的网络状态信息，以及多个接入点分别与位于数据中心的服务器集群中的服务器的网络质量信息，根据所述网络状态信息和所述网络质量信息选择多条链路，将预警数据包传输至数据中心。

其中，根据所述网络状态信息和所述网络质量信息选择多条链路，将预警数据包传输至数据中心具体包括：

1）获取本地设备与多个接入点之间的网络状态信息，根据所述网络状态信息，确定数据包的传输速率以及丢包率确定传输的可靠性，选择可靠性最高的两个接入点（以两个为例，也可以是3个、4个）作为中转接入点；

2）所述两个中转接入点接收到预警数据包后，分别计算其与各个服务器之间的网络质量信息，以及中转质量信息，根据所述网络质量信息和中转质量信息确定数据的发送路径，以将预警数据包直接发送给对应的服务器或是经过相邻接入点将预警数据包发送给对应的服务器；其中，所述中转质量信息是根据中转接入点与其相邻接入点之间通信链路的可靠性（根据传输速率以及丢包率确定），以及其相邻接入点与各个服务器之间的网络质量信息进行确定；所述网络质量信息根据服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性进行确定。

本发明的有益效果是，本发明涉及的方法首先通过人脸识别与跟踪技术进行人脸定位与人体编号，其次将连续多帧图像中同一人体编号的多个体温值做算术平均作为该编号人体体温的最终测量结果，最后根据人体编号及其体温测量结果的超温情况进行综合判断，并做出正确恰当的报警处理，从而防止图像中标注的人体温度值上下快速跳动影响读数，以及防止超温异常时产生连续不断的报警噪音污染，影响筛查结果的正确性以及筛查效率。同时设置了针对不同人群的通知方式，有效提高了人员的追踪定位，同时对数据包的传输方式进行设置，保证了数据传输的稳定性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明红外筛查仪图像处理结构框图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

本发明涉及的方法首先通过人脸识别与跟踪技术进行人体编号，其次通过人体编号将多帧温度测量值进行算数平均作为波动更小更加稳定的人体温度值，最后将带编号的人体温度与预置体温报警阈值一起应用于报警声音的控制算法，可以明显优化红外筛查仪的声音报警方式，改善用户体验，有效提升工作人员的筛查效率。

如图1所示，本发明所述一种稳定红外人体表面温度快速筛检仪筛查结果的方法，其处理模块包括：1、可见光图像采集模块；2、红外数据采集与处理模块；3、人脸识别与跟踪模块；4、红外与可见光图像配准模块；5、红外测温模块；6、人体温度计算与超温判决模块；7、声音报警模块；8、显示报警模块；其中，上述处理模块可以位于本地设备中，也可以与本地设备连接，并将相应的数据传输至本地设备。

（1）可见光图像采集模块采集到一帧可见光图像表示为I(x1,y1),其中x1为可见光图像数据的横坐标，y1为可见光图像数据的纵坐标。

（2）红外数据采集与处理模块首先采集到一帧红外数据表示为AD1（x2，y2）。红外数据AD1（x2，y2）经过红外校正处理获得校正后红外数据AD2（x2，y2），校正后红外数据AD2（x2，y2）通过成像处理获得红外图像视频数据IR（x2，y2）,其中x2为红外数据的横坐标，y2为红外数据的纵坐标。

（3）在人脸识别与跟踪模块中，首先人脸识别子模块对采集的每帧可见光图像I(x1,y1)中的人脸目标进行检测与识别，获得人脸识别结果记为faces[i][j],表示第j帧中的第i张人脸检测结果，其中faces[i][j].x（框的横坐标），faces[i][j].y（框的纵坐标）,faces[i][j].width（框的宽度）,faces[i][j].height（框的高度）四个参数框出人脸位置，faces[i][j].encoding表示人脸特征向量编码。人脸跟踪子模块根据第j帧的人脸检测结果faces[][j]生成人体编码表，在检测第j+1帧人脸获得检测结果faces[][j+1]时，在已知人脸编码表中进行对比匹配，增加或删减人脸编码，进行人体编码表更新。人体i在j帧前连续出现次数记录为faces[i][j].n。

（4）红外与可见光图像配准模块通过红外图像与可见光图像之间的融合叠加，当二者完全融合正确是，计算红外图像坐标（x2，y2）在可见光图像坐标中的位置为（x2+Δx，y2+Δy）,记录Δx以及Δy值。

（5）红外测温模块将校正后红外数据AD2（x2，y2）通过标定计算获得红外图像全像素温度数据T（x2，y2）。

（6）在人体温度计算和超温判决模块中，根据以下步骤进行处理：

（a）根据可见光人脸检测结果faces以及红外与可见光图像配准信息Δx与Δy，获得红外人脸框位置信息，其计算方法为：

ir_faces[i][j].x = faces[i][j].x + Δx;

ir_faces[i][j].y = faces[i][j].y + Δy;

ir_faces[i][j].width = faces[i][j].width;

ir_faces[i][j].height = faces[i][j].height;

作为一可选实施例，ir_faces[i][j].x、ir_faces[i][j].y可以为人脸框的中心坐标，也可以为某一定点坐标，或是其他可选的方式实现。

（b）根据红外人脸框位置信息ir_faces[i][j].x、ir_faces[i][j].y、ir_faces[i][j].width、ir_faces[i][j].height以及红外图像全像素温度T（x2，y2），统计第i个红外人脸框内最高温度值作为第j帧第i个人体温度值记录为ir_faces[i][j].temperature，即faces[i][j].temperature。

（c）假设当前j帧之前连续若干帧中，人体编号i的连续出现faces[i][j].n次（n 次），则平均温度值faces[i][j].ave_temperature =

,该平均温度值记录为第j帧第i号人体体温值。

（d）设置超温报警阈值为Thigh，人体编号i连续出现次数上限为N，当j帧中所有编号人体中其中任一个人体满足以下条件：

faces[i][j].ave_temperature>Thigh，并且faces[i][j].n< N，则驱动声音报警，否则声音报警关闭。

（e）当j帧中所有编号人体中第i个人体满足以下条件：

faces[i][j].ave_temperature >Thigh，则第i人体超温显示报警。

（7）根据声音报警驱动信息，驱动声音报警。

（8）根据显示报警驱动信息，驱动显示报警。

其中，根据人脸识别结果进行人体编号后，还包括根据人脸识别结果获取目标人员的用户终端信息以及对应的紧急联系人信息，并建立人脸图像、人体编号、终端信息与紧急联系人信息的对应关系表；在产生声音报警或显示报警时，将人脸图像、人体编号以及体温值发送至终端信息和/或紧急联系人信息对应的终端。本发明在发送通知信息时，还包括了人脸图像，由此提高了人员的识别效率，同时也能够有效方式信息的错误，当通知信息的接收方发现可以人脸图像所对应的人物与其不相关时，可以直接通过反馈特定的信息告知本地设备，进行及时的纠错，以降低发生错误的概率。

当前由于在国内人群混杂，检测的目标涉及的人群也是多种多样，因此，在及时报警的通知还需要将相关信息及时的通知给目标人员以及相关人员，由此提高大家的关注点。但是由于目前国内目标人员涉及各类人员，如老人、小孩、中年、青年等各个年龄段，而不同的人员由于对智能设备（如手机）的熟悉程度不够，其可能无法及时的获取相应的通知，由此带来潜在的危险；因此，对于特定的目标人员还需要将相关的通知告知其监护人或紧急联系人，以使得及时发现异常。目前，国内较为统一的方式是对每个人均进行登记，且基本都具有健康码，其中，健康码又分为本人填写和他人代填；因此，为了提高各类信息的通知效率，防止疑似异常人员的统计缺失，可以对各类通知方式进行分别设置，具体如下：

将人脸图像、人体编号以及体温值发送至终端信息和/或紧急联系人信息对应的终端包括：当体温值超过报警阈值，且人体编号i连续出现的次数小于上限N次，则进一步识别目标人员的健康码信息以及年龄信息；

当目标人员的健康码为他人代为提交时，首先将人脸图像、人体编号以及体温值发送至目标人员和紧急联系人对应的终端，然后利用呼叫机器人自动呼叫目标人员及其对应紧急联系人的终端，以语音呼叫的方式通知目标人员以及紧急联系人；

其中，上述涉及的上限阈值和下限阈值可以根据本领域的经验进行设置。

上述过程中，本发明创造性的针对不同的人群设置不同的通信方式，并根据实际的人员特点设置是否使用自动呼叫机器人，以减少人工操作，提高通知的效率；同时确保了各类通知有效的通知到目标人员，提高了防范效率。

在本地获取到相关数据后，通常需要将数据上传至数据中心，而一般数据中心处具有多个服务器；即数据中心的服务器集群通常可以为分布式集群，其中的服务器可以在同一地方，也可以在不同的地方；由此，与服务器相连的接入点也存在多个，那么为了提高数据的传输效率，则需要基于本地设备与接入点、接入点与服务器之间的通信信息进行链路的选择；但是现有技术中，通常仅选择一条链路；而且，以便都是通过接入点直接传输至服务器，由此导致，如果接入点与服务器之间的链路突然出现异常，会导致数据的丢失。因此，本发明创造性的提出了一种数据传输策略，具体如下:

根据人脸识别结果获取终端信息、紧急联系人信息以及对应用户的健康码、轨迹码，将上述信息与人脸图像、人体编号以及体温值打包成一预警数据包，将其上传至数据中心；具体包括：

1）获取本地设备与多个接入点之间的网络状态信息，根据所述网络状态信息，确定数据包的传输速率以及丢包率确定传输的可靠性，选择可靠性最高的两个接入点作为中转接入点；其中，上述传输的可靠性的确定并不限于依赖传输速率和丢包率，其还可以包括干扰噪声、信号强度等；且上述可靠性可以以权重值的方式量化表示；获取的上述值将通过独立的链路传输至数据中心的各个服务器；同时将中转接入点对应的权重值添加到一个额外的数据包报头中。

2）所述两个中转接入点接收到预警数据包后，分别计算其与各个服务器之间的网络质量信息，以及中转质量信息，根据所述网络质量信息和中转质量信息确定数据的发送路径，以将预警数据包直接发送给对应的服务器或是经过相邻接入点将预警数据包发送给对应的服务器；其中，所述中转质量信息是根据中转接入点与其相邻接入点之间通信链路的可靠性（根据传输速率以及丢包率确定），以及其相邻接入点与各个服务器之间的网络质量信息进行确定；所述网络质量信息根据服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性进行确定。其中，上述通信链路的可靠性可以采用与传输的可靠性相同的方式进行计算，也可以采用不同的方式进行计算获得可靠性指标的值；网络质量信息，以及中转质量信息也可以以数值的方式进行量化表示；在获取到上述值后，都将通过独立的链路传输至数据中心的各个服务器；上述涉及的独立的传输链路是与预警数据包传输时所使用的冗余链路不同的链路。同时将参与转发的接入点对应的中转质量信息值添加到所述额外报头中。

在一可选实施例中，数据中心在接收到各个接入点对应的值后，根据链路的选择策略，确定中转接入点以及转发接入点对应的中转质量信息值；当数据中心的服务器接收到预警数据包后，根据上述值对数据包进行校验；以确定数据包的准确性；由于数据中心中至少有两个服务器接收到预警数据包，因此，两个服务器在分别进行验证数据包的准确性后，将其接收到的数据包再次进行比对，以验证数据包中数据的完整性。当验证不准确或是不完整时，则通知本地设备进行重传；其中，重传过程使用的冗余链路与原来的冗余链路完全不同，即不存在交集。

现有技术中，每个服务器通常会根据接入量设置其对应的接入比例，由此提高各类接入请求的处理效率；但是当服务器不是分布在同一区域时，很难保证服务器之间的负载均衡。因此，本发明链路选择时，就优先考虑这一情况，根据各个服务器的接入许可量，以及其历史信息估计其可能超载的情况，即在设置网络质量信息时考虑了服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性等信息，由此根据历史信息能够估计服务器的负载信息，有效的提高了处于不同区域内的服务器之间的负载均衡。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims

1.一种稳定红外人体表面温度快速筛检仪筛查结果的方法，其特征在于，所述方法包括：

（1）可见光图像采集模块采集可见光图像视频流；

（2）红外数据采集与处理模块采集红外数据流，并进行红外数据流校正及成像处理，获得红外测温数据流以及红外图像视频流；

（3）人脸识别子模块在可见光图像视频流中获取每帧图像中所有的人脸位置、大小与特征，人脸跟踪子模块在人脸识别子模块识别到人脸的前提下，在后续帧中继续捕获所有人脸位置、大小与特征，并根据人脸识别结果进行人体编号；

（5）红外测温模块计算并提供红外图像中全像素的温度值；

（7）声音报警模块发出声音报警；

（8）显示报警模块在对应超温人体进行报警标注。

2.如权利要求1所述的方法，其特征在于，

a）根据可见光人脸检测结果faces以及红外与可见光图像配准信息Δx与Δy，获得红外人脸框位置信息，其计算方法为：

ir_faces[i][j].x = faces[i][j].x + Δx;

ir_faces[i][j].y = faces[i][j].y + Δy;

ir_faces[i][j].width = faces[i][j].width;

ir_faces[i][j].height = faces[i][j].height;

b）根据红外人脸框位置信息ir_faces[i][j].x、ir_faces[i][j].y、ir_faces[i][j].width、ir_faces[i][j].height以及红外图像全像素温度T（x2，y2），统计第i个红外人脸框内最高温度值作为第j帧第i个人体温度值，记录为ir_faces[i][j].temperature，即faces[i][j].temperature；

c）假设当前j帧之前连续若干帧中，人体编号i的连续出现faces[i][j].n次，则平均温度值faces[i][j].ave_temperature =

,该平均温度值记录为第j帧第i号人体体温值；

d）设置超温报警阈值为Thigh，人体编号i连续出现次数上限为N，当j帧中所有编号人体中其中任一个人体满足以下条件：

faces[i][j].ave_temperature>Thigh，并且faces[i][j].n< N，则驱动声音报警；

e）当j帧中所有编号人体中第i个人体满足以下条件：

faces[i][j].ave_temperature >Thigh，则第i人体超温显示报警。

3.如权利要求1所述的方法，其特征在于，

根据人脸识别结果进行人体编号后，还包括根据人脸识别结果获取目标人员的用户终端信息以及对应的紧急联系人信息，并建立人脸图像、人体编号、终端信息与紧急联系人信息的对应关系表；在产生声音报警或显示报警时，将人脸图像、人体编号以及体温值发送至终端信息和/或紧急联系人信息对应的终端；

其中，将人脸图像、人体编号以及体温值发送至终端信息和/或紧急联系人信息对应的终端包括：

当体温值超过报警阈值时，则进一步识别目标人员的健康码信息以及年龄信息，当目标人员的健康码为他人代为提交时，首先将人脸图像、人体编号以及体温值发送至终端信息和紧急联系人信息对应的终端，然后利用呼叫机器人自动呼叫目标人员及其对应紧急联系人的终端，以语音呼叫的方式通知目标人员以及紧急联系人；

当年龄小于等于下限阈值时，将人脸图像、人体编号以及体温值打包成一预警数据包，并在包头上设置一标识，然后发送至终端信息对应的目标人员的紧急联系人的终端上，其中，上述标识用于指示该数据包的已读状态，当特定时间内未接收到已读反馈时，则利用呼叫机器人自动呼叫目标人员的紧急联系人的终端，以语音呼叫的方式通知目标人员。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

5.如权利要求4所述的方法，其特征在于，

根据所述网络状态信息和所述网络质量信息选择多条链路，将预警数据包传输至数据中心具体包括：

1）获取本地设备与多个接入点之间的网络状态信息，根据所述网络状态信息，确定数据包的传输速率以及丢包率确定传输的可靠性，选择可靠性最高的两个接入点作为中转接入点；

2）所述两个中转接入点接收到预警数据包后，分别计算其与各个服务器之间的网络质量信息，以及中转质量信息，根据所述网络质量信息和中转质量信息确定数据的发送路径，以将预警数据包直接发送给对应的服务器或是经过相邻接入点将预警数据包发送给对应的服务器；其中，所述中转质量信息是根据中转接入点与其相邻接入点之间通信链路的可靠性，以及其相邻接入点与各个服务器之间的网络质量信息进行确定；所述网络质量信息根据服务器当前的已接入量、接入许可量、根据历史信息估计的超载概率、以及通信链路的可靠性进行确定。