CN111166342B - 一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法 - Google Patents

Abstract

本发明提供一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法，包括跌倒检测传感器采集生理体征和身体姿态，应用服务器负责为跌倒检测传感器提供接入服务，还负责向移动端监护模块实时推送跌倒事件的现场情况和体征信息；所述的跌倒检测传感器包括可见光图像传感单元、毫米波雷达单元、机器学习推理单元和通信单元；可见光图像单元、毫米波雷达单元分别与机器学习推理单元连接，所述的机器学习推理单元和通信单元连接。本发明能自适应环境光判断跌倒状态，并且能在弱光和无光下正常工作。监测被监护人员无跌倒和跌倒时的呼吸、心率等生理体征和身体姿态，推送跌倒时图片和生理体征到终端。

Description

一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法

技术领域

本发明属于数字信号处理器应用技术领域，具体涉及一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法。

背景技术

跌倒检测分为接触式检测和非接触式检测两种方式。接触式检测一般采用佩戴穿戴式设备，通过加速度传感器运动特征判断跌倒状态，接触式设备的缺点是需要佩戴相关设备才能检测，需要定期充电，对老人等用户的易用性差。非接触式检测主要通过电磁波、光学传感器等方式，外加相关算法判断跌倒状态，优点是无需佩戴设备，没有束缚感，适合在用在特定区域的人员跌倒监测。

目前比较流行的方案之一是，使用可见光图像传感器通过采集区域图片，通过机器学习算法分析人员的运动姿态，可以判断人员的是否发生跌倒。该方法的优点是使用深度学习算法具有很高的准确率，并且具有可视化功能，跌倒的场景图片和视频可以推送给亲属手机应用程序。

缺点是由于采用可见光图像传感器，因此比较容易受到环境光影响。在弱光环境下成像效果差，导致人员检测率低，对应跌倒识别率低。甚至在无光环境下，完全无法工作。

采用红外图像传感器，可以弥补可见光传感器缺点，但是红外光成像效果较差，识别率较可见光更低。更重要的是红外图像传感器通常价格非常高，实用价值较低。

另外，采用毫米波雷达传感器可以检测到人体的多普勒位移，通过检测人体在垂直方向上的位置变化，可以判断人员的跌倒状态。其优点是成本相对较低，并且能在无光环境下正常工作。但是毫米波雷达传感器方案的缺点是技术难度大，无法直接观察现场情况。

发明内容

针对上述技术问题，本发明提供一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法，解决采用可见光传感器在弱光环境下识别率低，无光环境下无法工作等问题；解决采用红外图像传感器成像效果差，识别率低，成本高等问题；解决采用毫米波雷达无法进行可视化查看等缺点。

具体技术方案为：

一种毫米波雷达和摄像头融合跌倒检测装置，包括跌倒检测传感器、应用服务器、移动端监测模块；

跌倒检测传感器采集生理体征，应用服务器负责为跌倒检测传感器提供接入服务，还负责向移动端监测模块实时推送跌倒事件的现场情况和体征信息。

其中，所述的跌倒检测传感器包括可见光图像单元、毫米波雷达单元、机器学习推理单元和通信单元；

可见光图像单元、毫米波雷达单元分别与机器学习推理单元连接，所述的机器学习推理单元和通信单元连接。

优选的，可见光图像单元是集成式的SOC芯片。也可以是分立式芯片。

进一步的，所述的可见光图像单元包括可见光图像传感器和图像信号处理模块，负责可见光图像采集和预处理；

所述的可见光图像传感器，包括光学镜头、可见光图像传感器和传感器控制器；

所述的图像信号处理模块，负责图像信号前处理。

优选的，所述的毫米波雷达单元是集成式的SOC芯片。可以采用分立的射频前端芯片和数字后端芯片，降低成本。

进一步的，所述的毫米波雷达单元，包括毫米波传感器和数字信号处理单元，完成毫米波调制、解调、IQ信号处理、体征信号的计算功能。

所述的毫米波传感器，包括毫米波天线、射频处理前端、数模信号转化模块。

所述的数字信号处理单元，包括数字信号预处理、体征监测模块。

其中，所述的机器学习推理单元，包括用于机器学习推理的处理器，主要负责人员姿态检测，跌倒融合检测。

所述的通信单元，为用于接入网络的通信模块。

除此外，作为优选的设计，检测装置预留Flash存储芯片和SD卡插槽，用于存储一定周期内的关键帧压缩图片，存储空间满时按时间采用循环替换的方式。

上述的一种毫米波雷达和摄像头融合跌倒检测装置的检测方法，包括以下步骤：

毫米波雷单元采集射频信号，计算人体的参数：

垂直方向位移mm_dy

水平方向位移mm_dx

垂直方向位移速度mm_dvy

水平方向位移速度mm_dvx,

呼吸引起的胸腔位移mm_db

呼吸频率mm_br

心率mm_hr

(2)通过可见光图像单元采集：

人体重心高度img_dp

手臂力重心高度img_dh

腿部重心高度img_dl

检测出人体朝向img_theta

人脸血流变化计算得到的心率img_br；

(3)将(1)(2)中采集的参数作为跌倒检测输入,记为向量X＝(mm_dy,mm_dx,mm_dvy,mm_dvx,mm_db,mm_br,mm_hr,img_dp,img_dh,img_theta,img_dl,img_br)；将检测跌倒问题转化为一个二分类问题处理。

将X输入模型Y＝F(X)计算对应的输出，F是通过历史数据学习到的分类器模型，Y取值范围为{-1，1}，检测到跌倒表示为1，未检测到跌倒表示为-1；将X输入模型Y＝F(X)计算中间值，并归一化得跌倒概率P；

本发明采用机器学习融合算法，实现方法如下：

步骤1、利用跌倒检测传感器检测实验人员跌倒时体征发送至采集电脑；分布在强光、弱光、无光的光线环境下，采集传感器采集参数X，记录真实跌倒状态，跌倒记为1，未跌倒记为-1；

步骤2、重复步骤1，采集实验数据，作为训练、验证和测试数据集；

将数据按一定比例分为训练集、验证集和测试集

采用二分类算法作为模型，不限于逻辑斯谛回归、支持向量机、随机梯度下降、感知机、神经网络等模型，利用训练集数据训练上述二分模型，用验证集数据验证训练效果，用测试集数据观察模型实际效果；

步骤3、调整超参数优化模型参数；

步骤4、将训练好的模型，移植到跌倒检测机器学习推理单元，作为跌倒决策模型。

本发明提供一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法，与现有技术相比，具有的有益效果：

(1)本发明提供的毫米波雷达和摄像头融合跌倒检测装置及其检测方法能够自适应环境光判断跌倒状态。

(2)本发明提供的毫米波雷达和摄像头融合跌倒检测装置及其检测方法能够还能在弱光和无光下正常工作。

(3)本发明提供的毫米波雷达和摄像头融合跌倒检测装置及其检测方法能够检测人员无跌倒和跌倒时的呼吸、心率等生理体征。

(4)本发明提供的毫米波雷达和摄像头融合跌倒检测装置及其检测方法能够推送跌倒时图片和生理体征到亲属手机。

(5)本发明提供的毫米波雷达和摄像头融合跌倒检测装置及其检测方法亲属可以通过手机等移动设备上带鉴权功能的应用程序或客户端，查看指定设备的图片、视频和生理体征信息。

(6)本发明提供的毫米波雷达和摄像头融合跌倒检测装置及其检测方法设备可在设置后发现跌倒时，自动拨打设置的呼叫电话，如亲属电话或120等紧急电话。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的结构示意图；

图2为本发明的使用状态示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明提供的毫米波雷达和摄像头融合跌倒检测装置，结合现有技术的缺点和成本考量，采用可见光图像传感器和毫米波雷达传感器(不限于24GHz和77GHz)结合的方案作为跌倒检测传感器。

跌倒检测传感器、应用服务器程序和监护应用程序构成一套完整的毫米波雷达和摄像头融合跌倒检测装置，其中，跌倒检测传感器采集生理体征，应用服务器程序负责为跌倒检测传感器提供接入服务，还负责向监护应用程序实时推送跌倒事件的现场情况和体征信息。

具体的结构示意图如图1所示。

具体的，跌倒检测传感器由可见光图像单元、毫米波雷达单元、机器学习推理单元和通信单元组成。

可见光图像单元、毫米波雷达单元分别与机器学习推理单元连接，所述的机器学习推理单元和通信单元连接；

其中可见光图像单元可以是集成式的SOC芯片。可见光图像单元，包括可见光图像传感器和图像信号处理模块，负责可见光图像采集和预处理。可见光图像传感器包括了光学镜头、可见光图像传感器和传感器控制器。图像信号处理模块负责图像信号前处理。

其中毫米波雷达单元可以是集成式的SOC芯片。毫米波雷达单元，包括毫米波传感器和数字信号处理单元，完成毫米波调制、解调、IQ信号处理、体征信号的计算等功能。其中毫米波传感器包括毫米波天线、射频处理前端、数模信号转化等模块。数字信号处理单元包括数字信号预处理、体征监测等模块。

作为优选的，机器学习推理单元，包括用于机器学习推理的边缘处理器和云计算平台，不限于X86、ARM、DSP、NPU、GPU等计算架构的处理器，主要负责人员姿态检测，跌倒融合检测。

通信单元，不限于Zigbee、蓝牙、WIFI、GSM、WCDMA、LTE、5G、NB-IOT等可用于接入网络的通信模块。

除此外，检测装置预留Flash存储芯片和SD卡插槽用于存储一定周期内的关键帧压缩图片，存储空间满时按时间采用循环替换的方式。

本发明提供的毫米波雷达和摄像头融合跌倒检测装置的工作状态如图2所示，具体的流程如下：

毫米波雷单元根据多普勒原理计算采集垂直方向位移mm_dy，水平方向位移mm_dx，垂直方向位移速度mm_dvy，水平方向位移速度mm_dvx；通过提取障碍物区域和频率范围内的相位信息，对相位信息进行分离滤波，滤取0.1-0.6Hz频率的相位信息计算呼吸引起的胸腔位移mm_db、呼吸频率mm_br，滤去1.6-4.0Hz频率的相位信息用于提取心率mm_hr。

通过可见光摄像头姿态检测算法，姿态检测算法不限于提取特征的机器学习方法和神经网络，获得身体、手臂、腿部的关键特征点，通过三角关系计算人的身高、人的重心、手臂位置和腿部位置，估算得到人体重心高度img_dp、手臂力重心高度img_dh、腿部重心高度img_dl。

通过人体目标检测，检测图像中的存在的人员，根据像素分布情况，计算人员检测出人员朝向img_theta。

通过脉搏引起的人脸血流变化，可以检测人脸血流变化计算得到的心率img_br；

采集传感器输出X和对应疲劳状态y，y是Y的实例，对应的概率p,p是P的实例。将采集的数据集训练机器学习融合算法，得到模型F。

通过预先训练好的机器学习模型F移植到推理单元，讲新获取的传感器数据输入推理单元，可获得对应的跌倒状态和跌倒概率。

具体采用机器学习融合算法实现方法，详细如下：

步骤1、利用跌倒检测传感器检测实验人员跌倒时体征发送至采集电脑；分布在强光、弱光、无光的光线环境下，采集传感器采集参数X，记录真实跌倒状态，跌倒记为1，未跌倒记为-1；

步骤2、重复步骤1，采集实验数据，作为训练、验证和测试数据集；

步骤3、将数据按一定比例分为训练集、验证集和测试集；

采用二分算法作为模型，不限于不限于逻辑斯谛回归、支持向量机、随机梯度下降、感知机、神经网络等模型等，利用训练集数据训练网络，用验证集数据验证训练效果，用测试集数据观察模型实际效果；

步骤4、通过随机参数搜索、贝叶斯优化等方法，调整超参数优化模型参数；

步骤5、将训练好的模型，移植到跌倒检测机器学习推理单元，作为跌倒决策模型。

系统输出跌倒状态Y、跌倒概率P、传感器采集参数X实时更新至服务器；当检测到跌倒状态，会将跌倒状态Y、跌倒概率P、传感器采集参数X及跌倒时多张场景照片上传至服务器，并且产生推送消息推送给监测端应用程序。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (2)

1.一种毫米波雷达和摄像头融合跌倒检测装置的检测方法，所述的一种毫米波雷达和摄像头融合跌倒检测装置，包括跌倒检测传感器、应用服务器、移动端监护模块；

所述的跌倒检测传感器采集生理体征和人体姿态，所述的应用服务器，负责为跌倒检测传感器提供接入服务，还负责向移动端监护模块实时推送跌倒事件的现场情况和体征信息；

所述的跌倒检测传感器单元包括可见光图像单元、毫米波雷达单元、机器学习推理单元和通信单元；

可见光图像单元、毫米波雷达单元分别与机器学习推理单元连接，所述的机器学习推理单元和通信单元连接；

所述的可见光图像单元包括集成式的SOC芯片，分立的射频前端和数字后端组合的方案；

所述的可见光图像单元，包括可见光图像传感器和图像信号处理模块，负责可见光图像采集和预处理；

所述的可见光图像传感器，包括光学镜头、可见光图像传感器和传感器控制器；

所述的图像信号处理模块，负责图像信号前处理；

所述的毫米波雷达单元为是集成式的SOC芯片,或者为分立的射频前端芯片和数字后端芯片；

所述的毫米波雷达单元，包括毫米波传感器和数字信号处理单元，完成毫米波调制、解调、IQ信号处理、体征信号的计算功能；

所述的毫米波传感器，包括毫米波天线、射频处理前端、数模信号转化模块；

所述的数字信号处理单元，包括数字信号预处理、体征监测模块；

所述的机器学习推理单元，包括用于机器学习推理的边缘处理器和云端推理服务器，主要负责人员姿态检测、跌倒融合检测；

所述的通信单元，为用于接入网络的通信模块；

还包括预留Flash存储芯片和SD卡插槽，用于存储一定周期内的关键帧压缩图片，存储空间满时按时间采用循环替换的方式；

其特征在于，检测方法包括以下步骤：

(1)毫米波雷单元采集射频信号，计算人体的参数：

垂直方向位移mm_dy

水平方向位移mm_dx

垂直方向位移速度mm_dvy

水平方向位移速度mm_dvx,

呼吸引起的胸腔位移mm_db

呼吸频率mm_br

心率mm_hr

(2)通过可见光图像单元采集：

人体重心高度img_dp

手臂力重心高度img_dh

腿部重心高度img_dl

检测出人体朝向img_theta

人脸血流变化计算得到的心率img_br；

(3)将(1)(2)中采集的参数作为跌倒检测输入,记为向量X＝(mm_dy,mm_dx,mm_dvy,mm_dvx,mm_db,mm_br,mm_hr,img_dp,img_dh,img_theta,img_dl,img_br)；将检测跌倒问题转化为一个二分类问题处理；

将X输入模型Y＝F(X)计算对应的输出，F是通过历史数据学习到的分类器模型，Y取值范围为{-1，1}，检测到跌倒表示为1，未检测到跌倒表示为-1；将X输入模型Y＝F(X)计算中间值，并归一化得跌倒概率P；

(4)系统输出跌倒状态Y、跌倒概率P、传感器采集参数X实时更新至服务器；当检测到跌倒状态，会将跌倒状态Y、跌倒概率P、传感器采集参数X及跌倒时多张场景照片上传至服务器，并且产生推送消息推送给监测端应用程序。

2.根据权利要求1所述的一种毫米波雷达和摄像头融合跌倒检测装置的检测方法，其特征在于，采用机器学习融合算法，具体包括以下子步骤：

步骤1、利用跌倒检测传感器检测实验人员跌倒时体征发送至采集电脑；分布在强光、弱光、无光的光线环境下，采集传感器采集参数X，记录真实跌倒状态，跌倒记为1，未跌倒记为-1；

步骤2、重复步骤1，采集实验数据，作为训练、验证和测试数据集；

将数据按一定比例分为训练集、验证集和测试集

采用二分类算法作为模型，利用训练集数据训练二分类模型，用验证集数据验证训练效果，用测试集数据观察模型实际效果；

步骤3、调整超参数优化模型参数；

步骤4、将训练好的模型，移植到跌倒检测机器学习推理单元，作为跌倒决策模型。

Images