[go: up one dir, main page]

CN108416256A - 基于特征识别的家庭云智能监控系统和监控方法 - Google Patents

基于特征识别的家庭云智能监控系统和监控方法 Download PDF

Info

Publication number
CN108416256A
CN108416256A CN201810047714.6A CN201810047714A CN108416256A CN 108416256 A CN108416256 A CN 108416256A CN 201810047714 A CN201810047714 A CN 201810047714A CN 108416256 A CN108416256 A CN 108416256A
Authority
CN
China
Prior art keywords
image
server
gesture
family
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810047714.6A
Other languages
English (en)
Inventor
江斌
吕祖盛
任强
熊健
桂冠
杨洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810047714.6A priority Critical patent/CN108416256A/zh
Publication of CN108416256A publication Critical patent/CN108416256A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于特征识别的家庭云智能监控系统和监控方法,包括人脸识别门禁模块、室内监控模块和私有服务器模块。主要功能有:(1)24小时门禁监控,热释电传感器感知人体靠近,程序自动启动,识别并匹配来访者身份。存储陌生人来访照片,上传至内网服务器,并短信主人手机来访记录。(2)24小时室内监控,家里无人时自动对于室内环境静态训练,一旦识别到家中有非家庭成员出现,系统自动警报。(3)当家庭成员遇到危险情况,向摄像头比划特定手势,系统将自动报警。本发明结合树莓派和服务器的硬件平台,将机器学习和特征识别应用在监控系统上面,对提高家居生活的安全性和智能化具有重要的意义。

Description

基于特征识别的家庭云智能监控系统和监控方法
技术领域
本发明属于智能监控设备领域,尤其涉及一种基于特征识别的家庭云智能 监控系统和监控方法。
背景技术
随着人工智能技术的迅猛发展和视频监控设备的日益普及,智能监控以其 准确、及时和功能丰富而受到社会各界的广泛关注。目前,国内很多场合都布 有监控,视频监控已经成为继数字电视、视频会议之后的又一个重大视频应用, 而且日益成为“体量”最大的一个视频应用系统。家庭监控作为视频监控领域 的一个重要应用,常用于记录无人在家时的室内情况,为入室盗窃留下视频证 据。可面对视频监控功能单一,记录繁多,事件发生不能及时报警,只能事后 调取监控慢慢查找等诸多缺点,如何拓展视频监控的更多功能,如何解决室内 被盗时及时准确的告知主人以及突发状况及时报警等问题面临重大挑战。随着 未来安防系统性价比的不断提高和数字高清化、智能化等技术的发展,市场应 用空间将不断增长。
目前,视频监控关键处理算法包括自动曝光算法、自动白平衡算法、自动 聚焦算法、宽动态算法等。优良的处理算法可以实现更好的色彩还原,使所采 集的图像更加逼真,在低照度和光线变化较大的情况下使监控场景的视频有更 好的表现。而硬盘存储经常出现反复记录导致的硬盘碎片、突发掉电导致的硬 盘数据损坏、多个硬盘工作时带来的高热和振动等问题,由于安防行业的特殊 性,要求视音频数据存储全天24小时不间断稳定工作,应用场合较为复杂。
智能视频分析技术是监控技术第三个发展阶段“机器眼+机器脑”中的“机 器脑”部分,利用机器,将“人脑”对于视频画面的监控判断,进行数据分析 提炼特征形成算法植入机器,形成“机器脑”对视频画面自动检测分析,并作 出报警或其他动作。它借助计算机强大的数据处理能力过滤掉视频画面无用的 或干扰信息、自动分析、抽取视频源中的关键有用信息,从而使摄像机不但成 为人的眼睛,也使计算机成为人的大脑。
本发明所要解决的技术问题:
问题1:现有监控方案缺乏针对监控提取特征片段的研究,大都是实时记录 并保存在本地,而忽略了系统本身自动筛选有效特征片段的能力;
问题2:现有监控方案缺乏针对危险情况下监控系统自动安全检测问题的研 究,忽略了监控视野范围内出现危险情况及时反馈求救的能力;
问题3:现有监控方案缺乏针对公有云网盘的传输速度慢,空间有限的问题 的研究。
发明内容
本发明所要解决的技术问题是针对背景技术的不足提供了一种基于特征识 别的家庭云智能监控系统和监控方法,其能够将机器学习和特征识别相结合应 用于家庭监控,针对拓展家庭视频监控功能做出创新优化。
本发明为解决上述技术问题采用以下技术方案:
一种基于特征识别的家庭云智能监控方法,包括:
一、门禁处人脸识别匹配方案,其步骤如下:
步骤1-1,采集家庭成员的人脸图像并传入服务器中进行几何处理、灰度处 理和中值滤波处理;
步骤1-2,通过主成分分析算法对处理后的人脸图像进行提取建模,得到人 脸模型并存入服务器的数据库中;
步骤1-3,当热释电传感器感知室外有人体靠近,程序自动启动;
步骤1-4,室外监控设备采集门外访客的人脸图像并传入服务器中;
步骤1-5,服务器对人脸图像中的人脸特征进行提取建模并将其与服务器数 据库中的人脸模型进行匹配;如果匹配结果为家庭成员,门禁解锁;如果匹配 结果是陌生人,室外监控设备自动存储陌生人来访照片,上传至服务器并将来 访记录用短信发送至房主手机;
二、室内监控识别非家庭成员方案,其步骤如下:
步骤2-1,室内监控设备对室内环境做基于帧间差分法的静态学习并记录室 内环境;
步骤2-2,带有屏蔽区域的帧间差分法,其方式如下:
将常规运动的物体在一定时间内的运动路径叠加,然后将区域二值化,得 到一个图像蒙版,用这个蒙版来屏蔽常规周期运动的物体,从而避免对屋内常 规周期运动物体的误识别;
步骤2-3,当监控场景中出现异常物体运动时,帧与帧之间会出现明显的差 别,两帧相减,得到两帧图像亮度差的绝对值,判断该绝对值是否大于阈值来 分析视频或图像序列的运动特性,确定图像序列中有无物体运动;当室内监控 设备识别到家中有非家庭成员出现,系统自动警报,提取出含有外来者的视频 段,上传至服务器,并短信通知房主家中异常;
三、识别特殊手势安全检测方案,其步骤如下:
步骤3-1,采集手势信息并传入服务器并将手势信息作为手势模板存入服务 器的手势数据库中;
步骤3-2,当屋内发生险情,家庭成员向室内监控设备比划手势,监控设备 将该手势信息传入服务器,服务器利用帧间差分法识别到画面中的手势,然后 进行HOG特征提取,应用一个多分类的支持向量机分类器对手势进行分类,在所 建手势数据库中的手势模板进行手势比对,当识别到的手势与手势模板匹配, 则通过SIM模块报警。
进一步的,步骤1-1中的处理步骤如下:
步骤1a,几何处理,将家庭成员的人脸图像裁剪为统一尺寸的图片;
步骤1b,灰度处理,将彩图变成只包括亮度信息的灰度图,灰度值hk出现 的相对频数P(hk)为:
其中,hk是图像的第k个灰度级的值,g(hk)是某个灰度级的值hk的像素个数, N是图像中像素的总个数;
步骤1c,中值滤波处理,对某一图像某一像素值进行从小到大排序,取中 间像素值代替所有的像素点,得出所有像素点的集合M(x,y)为:
其中,M(x,y)是中间像素值,(x,y)是像素坐标,I(i,j)是图像的某一像素点灰 度值,W是滤波窗口,median{}是中值函数,e为一个窗口内的自然常量。
进一步的,步骤1-2中,对处理后的人脸图像进行提取建模,设n维向量w 为目标子空间的一个坐标轴方向,称为映射向量,最大化数据映射后的方差, 有:
其中m是数据实例的个数,xi是数据实例i的向量表达,是所有数据实例的 平均向量;定义W为包含所有映射向量为列向量的矩阵,经过线性代数变换, 可以得到如下优化目标函数:
min tr(WTAW),s.t.WTW=I (4)
其中,s.t.是subject to的缩写,受约束的意思;tr表示矩阵的 迹,A是数据协方差矩阵;
得出最优的W是由数据协方差矩阵前k(k∈N*)个最大的特征值对应的特征向 量作为列向量构成的;这些特征向量形成一组正交基并且保留数据中的信息。
进一步的,帧间差分法方式如下:
记视频序列中第n帧和第n-1帧图像为fn和fn-1,两帧对应像素点的灰度值 记为fn(x,y)和fn-1(x,y),按照式(5)将两帧图像对应像素点的灰度值进行相 减,并取其绝对值,得到差分图像Dn:
Dn(x,y)=|fn(x,y)-fn-1(x,y)| (5)
设定阈值T,按照式(6)对像素点逐个进行二值化处理,得到二值化图像Rn’; 其中,灰度值为255的点即为前景点,灰度值为0的点即为背景点;对图像Rn’ 进行连通性分析,最终可得到含有完整运动目标的图像Rn:
其中else表示Dn(x,y)≤T;
该类算法对时间上连续的两帧或三帧图像进行差分运算,不同帧对应的像 素点相减,判断灰度差的绝对值,当绝对值超过阈值时,即可判断为运动目标, 从而实现目标的检测功能。
进一步的,步骤2-2中,考虑到图像的24位图像每个通道都是无符号的8 位数据,图像做差会出现负值,从而导致动作区域存在概率不被识别风险,所 以提出了正蒙版和负蒙版的思想,然后将采样周期的均值图像与正蒙版或运算 就生成了正背景,与负蒙版与运算就生成了负背景;则,输出=(输入-正背景) &&(输入-负背景);获得相对稳定的带屏蔽的运动检测算法;当检测到静态环 境下存在运动物体时,调用之前训练好的特征模型进行模型匹配。
进一步的,HOG特征提取的步骤为:
将图片灰度化,然后采用Gamma校正法对输入图像进行颜色空间的归一化:
I(x,y)=I(x,y)gamma (7)
其中I(x,y)表示进行Gamma校正前的各像素点的灰度值;
然后计算图像每个像素的梯度,用[-1,0,1]梯度算子对原图像做卷积运算, 得到x方向的梯度分量gradscalx,其中x方向为水平方向,以向右为正方向, 然后用[1,0,-1]T梯度算子对原图像做卷积运算,得到y方向的梯度分量 gradscaly,其中y方向为竖直方向,以向上为正方向;然后再用公式(7)计 算该像素点的梯度大小和方向;然后为每个细胞单元构建梯度方向直方图,把 细胞单元组合成大的块,块内归一化梯度直方图;最后一步就是将检测窗口中 所有重叠的块进行HOG特征的收集,并将它们结合成最终的特征向量供分类使 用;而这里将使用SVM分类器进行分类,即将不同类样本在样本空间分隔的超 平面:
f(x)=β0Tx (8)
其中,f(x,y)表示超平面函数,β是权重向量,β0是偏置;最优超平面可以 有无数种表达方式,即通过任意的缩放β和β0;然后使用以下方式来表达最优超 平面:
0Tx|=1 (9)
式中x表示离超平面最近的那些点;这些点被称为支持向量机,即分类结 果的最优解;利用支持向量机分类器可以较好的对手势进行分类,当识别到的 手势与后台模型相匹配的时候,得知此时正处于危险情况,通过SIM模块进行 报警。
一种基于特征识别的家庭云智能监控系统,包括室内外监控设备、门禁设 备以及私有云服务器,均接入家用路由器的网络中,通过局域网传输数据。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1、本发明将机器学习和特征识别相结合应用于家庭监控,针对拓展家庭视 频监控功能做出创新优化。其中主要包括三个功能:第一,门禁处人脸识别匹 配;第二,室内监控识别非家庭成员并警报;第三,识别特殊手势安全检测并 报警。而以上所有的图片、视频和文字记录都将上传至家庭内部的私有服务器 上。这些功能拓展对提高家居生活的安全性和智能化都具有重要的意义。
2、本发明所提出的基于特征识别的家庭云智能监控系统,能够有效提高监 控系统的智能识别和安全检测能力。发明的主要创新点在于结合了OpenCV和机 器学习对人脸、人体和手势等特征进行建模匹配识别,并将特殊记录上传至家 庭内网服务器,及时通知家庭成员或报警。相比于传统监控方案,极大地提升 了监控系统的智能性和安全性。对于提升识别率和加快运行速率具有重要意义。 该发明可以应用于视频监控的多个场合,包括银行、商场、企业等。
附图说明
图1为本实施例的流程图;
图2为PCA特征匹配的坐标图;(图中圆圈表示二维平面中的一个个坐标 点,图2的表达意义在于通过图片表示利用PCA(主成分分析)算法找到二维平 面上点分布的主要趋势)
图3a为HOG-SVM手势检测示意图;(图中block表示图片中提取的一块区 域,单位是个数,z坐标表示概率)
图3b、图3c和图3d表示在任意一个含有坐标点的二维平面内,不同坐标 分布下利用SVM算法进行分类所得到的不同结果。(三幅图都是简单的二维平 面,x,y没有单位,各个点表示一个个单纯的坐标。Training表示训练集元素, classified表示分类集元素,support vector表示支持向量)
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明旨在提供一种基于特征识别的家庭云智能监控方法,如图1所示, 包括:
一、门禁处人脸识别匹配方案,其步骤如下:
步骤1-1,采集家庭成员的人脸图像并传入服务器中进行几何处理、灰度处 理和中值滤波处理,具体为:
步骤1a,几何处理,将家庭成员的人脸图像裁剪为统一尺寸的图片;
步骤1b,灰度处理,由于图像采集系统在采集人脸图像时会因为拍摄角度 等各种因素影响,家庭成员的人脸照片会有一定程度的几何失真。为了消除人 脸左右偏移对识别效果造成的影响,把图像中的所有点都按照一定的平移量进 行垂直或水平平移。由于彩色图像包含信息过多,后期识别过程过于复杂,所 以将彩图变成只包括亮度信息的灰度图,灰度值hk出现的相对频数P(hk)为:
其中,hk是图像的第k个灰度级的值,g(hk)是某个灰度级的值hk的像素个数, N是图像中像素的总个数;
步骤1c,中值滤波处理,中值滤波是一种非线性的图像平滑方法,可以消 除图像中的噪声,方法是对某一图像某一像素值进行从小到大排序,取中间像 素值代替所有的像素点。得出所有像素点的集合M(x,y)为:
其中,M(x,y)是中间像素值,(x,y)是像素坐标,I(i,j)是图像的某一像素点灰 度值,W是滤波窗口,median{}是中值函数,e为一个窗口内的自然常量。
步骤1-2,通过主成分分析算法对处理后的人脸图像进行提取建模,得到人 脸模型并存入服务器的数据库中,具体方式为:
当得到家庭成员归一化处理后的人脸图像,就可以作为数据集训练人脸模 型了。我们这里使用机器学习中的主成分分析算法Principal Component Analysis(PCA)对人脸特征值进行提取建模。将高维的数据映射到低维的空间中 表示,并期望在所投影的维度上数据的方差最大,以此使用较少的数据维度, 同时保留住较多的原数据点的特性。设n维向量w为目标子空间的一个坐标轴 方向(称为映射向量),最大化数据映射后的方差,有:
其中m是数据实例的个数,xi是数据实例i的向量表达,是所有数据实例 的平均向量;定义W为包含所有映射向量为列向量的矩阵,经过线性代数变换, 可以得到如下优化目标函数:
min trWTAW),s.t.WTW=I (4)
其中,s.t.是subject to的缩写,受约束的意思;tr表示矩阵的 迹,A是数据协方差矩阵;
得出最优的W是由数据协方差矩阵前k个最大的特征值对应的特征向量作为列 向量构成的;这些特征向量形成一组正交基并且保留数据中的信息。
步骤1-3,当热释电传感器感知室外有人体靠近,程序自动启动。
步骤1-4,室外监控设备采集门外访客的人脸图像并传入服务器中。
步骤1-5,服务器对人脸图像中的人脸特征进行提取建模并将其与服务器数 据库中的人脸模型进行匹配;如果匹配结果为家庭成员,门禁解锁;如果匹配 结果是陌生人,室外监控设备自动存储陌生人来访照片,上传至服务器并将来 访记录用短信发送至房主手机。
二、室内监控识别非家庭成员方案,其步骤如下:
步骤2-1,室内监控设备对室内环境做基于帧间差分法的静态学习并记录室 内环境;帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得 运动目标轮廓的方法,它可以很好地适用于存在多个运动目标和摄像机移动的 情况。当监控场景中出现异常物体运动时,帧与帧之间会出现较为明显的差别, 两帧相减,得到两帧图像亮度差的绝对值,判断它是否大于阈值来分析视频或 图像序列的运动特性,确定图像序列中有无物体运动。帧间差分法如下:
记视频序列中第n帧和第n-1帧图像为fn和fn-1,两帧对应像素点的灰度值 记为fn(x,y)和fn-1(x,y),按照式(5)将两帧图像对应像素点的灰度值进行相 减,并取其绝对值,得到差分图像Dn:
Dn(x,y)=|fn(x,y)-fn-1(x,y)| (5)
设定阈值T,按照式(6)对像素点逐个进行二值化处理,得到二值化图像Rn’; 其中,灰度值为255的点即为前景点,灰度值为0的点即为背景点;对图像Rn’ 进行连通性分析,最终可得到含有完整运动目标的图像Rn:
其中else表示Dn(x,y)≤T;
该类算法对时间上连续的两帧或三帧图像进行差分运算,不同帧对应的像 素点相减,判断灰度差的绝对值,当绝对值超过阈值时,即可判断为运动目标, 从而实现目标的检测功能。
步骤2-2,鉴于传统的帧差法在此场景下的不足,如可能会检测到转动的风 扇,频繁被风吹动的窗帘,正在放映的电视等。本发明又提出了带有屏蔽区域 的帧差法。将常规运动的物体在一定时间内的运动路径叠加,然后将区域二值 化,就可以得到一个图像蒙版,可以使用这个蒙版来屏蔽到常规周期运动的物 体,从而避免误识别。
考虑到图像的24位图像每个通道都是无符号的8位数据,图像做差会出现 负值,从而导致动作区域存在概率不被识别风险,所以本发明提出了正蒙版和 负蒙版的思想,然后将采样周期的均值图像与正蒙版或运算就生成了正背景, 与负蒙版与运算就生成了负背景。易知,输出=(输入-正背景)&&(输入-负背 景)。然后就可以获得相对稳定的带屏蔽的运动检测算法。当检测到静态环境 下存在运动物体,就可以调用之前训练好的特征模型进行模型匹配。
步骤2-3,当监控场景中出现异常物体运动时,帧与帧之间会出现明显的差 别,两帧相减,得到两帧图像亮度差的绝对值,判断该绝对值是否大于阈值来 分析视频或图像序列的运动特性,确定图像序列中有无物体运动;当室内监控 设备识别到家中有非家庭成员出现,系统自动警报,提取出含有外来者的视频 段,上传至服务器,并短信通知房主家中异常。
三、识别特殊手势安全检测方案,其步骤如下:
步骤3-1,采集手势信息并传入服务器;将手势信息作为手势模板存入服务 器的手势数据库中;
步骤3-2,利用帧间差分法识别到画面中的手势,然后进行HOG特征提取, 应用一个多分类的支持向量机分类器对手势进行分类,在所建手势数据库中的 手势模板进行手势比对,当识别到的手势与手势模板匹配,通过SIM模块报警。
HOG特征提取的步骤为:将图片灰度化,然后采用Gamma校正法对输入图 像进行颜色空间的归一化(此算法也应用在了摄像头根据环境亮度自动调光的 技术中):
I(x,y)=I(x,y)gamma (7)
其中I(x,y)表示进行Gamma校正前的各像素点的灰度值;
然后计算图像每个像素的梯度(包括大小和方向),用[-1,0,1]梯度算子 对原图像做卷积运算,得到x方向(水平方向,以向右为正方向)的梯度分量 gradscalx,然后用[1,0,-1]T梯度算子对原图像做卷积运算,得到y方向(竖 直方向,以向上为正方向)的梯度分量gradscaly。然后再用以上公式计算该像 素点的梯度大小和方向。然后为每个细胞单元构建梯度方向直方图,把细胞单 元组合成大的块(block),块内归一化梯度直方图。最后一步就是将检测窗口 中所有重叠的块进行HOG特征的收集,并将它们结合成最终的特征向量供分类 使用。而这里将使用SVM分类器进行分类,即将不同类样本在样本空间分隔的 超平面:
f(x)=β0Tx (8)
其中,f(x,y)表示超平面函数,β是权重向量,β0是偏置;最优超平面可以 有无数种表达方式,即通过任意的缩放β和β0;然后使用以下方式来表达最优超 平面:
0Tx|=1 (9)
式中x表示离超平面最近的那些点。这些点被称为支持向量机(SVM), 即分类结果的最优解。利用支持向量机(SVM)分类器可以较好的对手势进行分 类,当识别到的手势与后台模型相匹配的时候,就知道此时正处于危险情况, 就可以通过SIM模块进行报警。
本发明还提供一种基于特征识别的家庭云智能监控系统,包括室内外监控 设备、门禁设备以及私有云服务器,均接入家用路由器的网络中,通过局域网 传输数据。而对于需要从互联网中访问并浏览监控数据的需求,本发明可以在 公网架设一台同样的私有云服务器,定期自动同步两台私有云服务器之间的文 件。
具体的,在室内和门禁处安装监控摄像头,连接到树莓派上,共享服务器 的内网,主人离家后启动设备,待机:
1.当热释电传感器感知人体靠近,程序自动启动。
2.识别并匹配来访者身份。如果识别是家庭成员,门禁解锁。
3.如果匹配是陌生人,设备自动存储陌生人来访照片,上传至内网服务器, 并短信主人手机来访记录。
4.家里无人时自动对于室内环境静态训练。
5.一旦识别到家中有非家庭成员出现,系统自动警报,提取出含有外来者 的视频段,上传至内网服务器,并短信主人手机家中异常。
6.当家庭成员遇到危险情况,向摄像头比划特定手势,系统将自动报警。
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般 理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理 解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义, 不会用理想化或过于正式的含义来解释。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围, 凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入 本发明保护范围之内。上面对本发明的实施方式作了详细说明,但是本发明并 不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以再 不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.一种基于特征识别的家庭云智能监控方法,其特征在于:包括:
一、门禁处人脸识别匹配方案,其步骤如下:
步骤1-1,采集家庭成员的人脸图像并传入服务器中进行几何处理、灰度处理和中值滤波处理;
步骤1-2,通过主成分分析算法对处理后的人脸图像进行提取建模,得到人脸模型并存入服务器的数据库中;
步骤1-3,当热释电传感器感知室外有人体靠近,程序自动启动;
步骤1-4,室外监控设备采集门外访客的人脸图像并传入服务器中;
步骤1-5,服务器对人脸图像中的人脸特征进行提取建模并将其与服务器数据库中的人脸模型进行匹配;如果匹配结果为家庭成员,门禁解锁;如果匹配结果是陌生人,室外监控设备自动存储陌生人来访照片,上传至服务器并将来访记录用短信发送至房主手机;
二、室内监控识别非家庭成员方案,其步骤如下:
步骤2-1,室内监控设备对室内环境做基于帧间差分法的静态学习并记录室内环境;
步骤2-2,带有屏蔽区域的帧间差分法,其方式如下:
将常规运动的物体在一定时间内的运动路径叠加,然后将区域二值化,得到一个图像蒙版,用这个蒙版来屏蔽常规周期运动的物体,从而避免对屋内常规周期运动物体的误识别;
步骤2-3,当监控场景中出现异常物体运动时,帧与帧之间会出现明显的差别,两帧相减,得到两帧图像亮度差的绝对值,判断该绝对值是否大于阈值来分析视频或图像序列的运动特性,确定图像序列中有无物体运动;当室内监控设备识别到家中有非家庭成员出现,系统自动警报,提取出含有外来者的视频段,上传至服务器,并短信通知房主家中异常;
三、识别特殊手势安全检测方案,其步骤如下:
步骤3-1,采集手势信息并传入服务器并将手势信息作为手势模板存入服务器的手势数据库中;
步骤3-2,当屋内发生险情,家庭成员向室内监控设备比划手势,监控设备将该手势信息传入服务器,服务器利用帧间差分法识别到画面中的手势,然后进行HOG特征提取,应用一个多分类的支持向量机分类器对手势进行分类,在所建手势数据库中的手势模板进行手势比对,当识别到的手势与手势模板匹配,则通过SIM模块报警。
2.根据权利要求1所述的基于特征识别的家庭云智能监控方法,其特征在于:步骤1-1中的处理步骤如下:
步骤1a,几何处理,将家庭成员的人脸图像裁剪为统一尺寸的图片;
步骤1b,灰度处理,将彩图变成只包括亮度信息的灰度图,灰度值hk出现的相对频数P(hk)为:
其中,hk是图像的第k个灰度级的值,g(hk)是某个灰度级的值hk的像素个数,N是图像中像素的总个数;
步骤1c,中值滤波处理,对某一图像某一像素值进行从小到大排序,取中间像素值代替所有的像素点,得出所有像素点的集合M(x,y)为:
其中,M(x,y)是中间像素值,(x,y)是像素坐标,I(i,j)是图像的某一像素点灰度值,W是滤波窗口,median{}是中值函数,e为一个窗口内的自然常量。
3.根据权利要求1所述的基于特征识别的家庭云智能监控方法,其特征在于:步骤1-2中,对处理后的人脸图像进行提取建模,设n维向量w为目标子空间的一个坐标轴方向,称为映射向量,最大化数据映射后的方差,有:
其中m是数据实例的个数,xi是数据实例i的向量表达,是所有数据实例的平均向量;定义W为包含所有映射向量为列向量的矩阵,经过线性代数变换,可以得到如下优化目标函数:
min tr(WTAW),s.t.WTW=I (4)
其中,s.t.是subject to的缩写,受约束的意思;tr表示矩阵的迹,A是数据协方差矩阵;
得出最优的W是由数据协方差矩阵前k(k∈N*)个最大的特征值对应的特征向量作为列向量构成的;这些特征向量形成一组正交基并且保留数据中的信息。
4.根据权利要求1所述的基于特征识别的家庭云智能监控方法,其特征在于:帧间差分法方式如下:
记视频序列中第n帧和第n-1帧图像为fn和fn-1,两帧对应像素点的灰度值记为fn(x,y)和fn-1(x,y),按照式(5)将两帧图像对应像素点的灰度值进行相减,并取其绝对值,得到差分图像Dn:
Dn(x,y)=|fn(x,y)-fn-1(x,y)| (5)
设定阈值T,按照式(6)对像素点逐个进行二值化处理,得到二值化图像Rn’;其中,灰度值为255的点即为前景点,灰度值为0的点即为背景点;对图像Rn’进行连通性分析,最终可得到含有完整运动目标的图像Rn:
其中else表示Dn(x,y)≤T;
该类算法对时间上连续的两帧或三帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过阈值时,即可判断为运动目标,从而实现目标的检测功能。
5.根据权利要求1所述的基于特征识别的家庭云智能监控方法,其特征在于:步骤2-2中,考虑到图像的24位图像每个通道都是无符号的8位数据,图像做差会出现负值,从而导致动作区域存在概率不被识别风险,所以提出了正蒙版和负蒙版的思想,然后将采样周期的均值图像与正蒙版或运算就生成了正背景,与负蒙版与运算就生成了负背景;则,输出=(输入-正背景)&&(输入-负背景);获得相对稳定的带屏蔽的运动检测算法;当检测到静态环境下存在运动物体时,调用之前训练好的特征模型进行模型匹配。
6.根据权利要求1所述的基于特征识别的家庭云智能监控方法,其特征在于:HOG特征提取的步骤为:
将图片灰度化,然后采用Gamma校正法对输入图像进行颜色空间的归一化:
I(x,y)=I(x,y)gamma (7)
其中I(x,y)表示进行Gamma校正前的各像素点的灰度值;
然后计算图像每个像素的梯度,用[-1,0,1]梯度算子对原图像做卷积运算,得到x方向的梯度分量gradscalx,其中x方向为水平方向,以向右为正方向,然后用[1,0,-1]T梯度算子对原图像做卷积运算,得到y方向的梯度分量gradscaly,其中y方向为竖直方向,以向上为正方向;然后再用公式(7)计算该像素点的梯度大小和方向;然后为每个细胞单元构建梯度方向直方图,把细胞单元组合成大的块,块内归一化梯度直方图;最后一步就是将检测窗口中所有重叠的块进行HOG特征的收集,并将它们结合成最终的特征向量供分类使用;而这里将使用SVM分类器进行分类,即将不同类样本在样本空间分隔的超平面:
f(x)=β0Tx (8)
其中,f(x,y)表示超平面函数,β是权重向量,β0是偏置;最优超平面可以有无数种表达方式,即通过任意的缩放β和β0;然后使用以下方式来表达最优超平面:
0Tx|=1 (9)
式中x表示离超平面最近的那些点;这些点被称为支持向量机,即分类结果的最优解;利用支持向量机分类器可以较好的对手势进行分类,当识别到的手势与后台模型相匹配的时候,得知此时正处于危险情况,通过SIM模块进行报警。
7.一种基于特征识别的家庭云智能监控系统,其特征在于:包括室内外监控设备、门禁设备以及私有云服务器,均接入家用路由器的网络中,通过局域网传输数据。
CN201810047714.6A 2018-01-17 2018-01-17 基于特征识别的家庭云智能监控系统和监控方法 Pending CN108416256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810047714.6A CN108416256A (zh) 2018-01-17 2018-01-17 基于特征识别的家庭云智能监控系统和监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810047714.6A CN108416256A (zh) 2018-01-17 2018-01-17 基于特征识别的家庭云智能监控系统和监控方法

Publications (1)

Publication Number Publication Date
CN108416256A true CN108416256A (zh) 2018-08-17

Family

ID=63125953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810047714.6A Pending CN108416256A (zh) 2018-01-17 2018-01-17 基于特征识别的家庭云智能监控系统和监控方法

Country Status (1)

Country Link
CN (1) CN108416256A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377621A (zh) * 2018-11-13 2019-02-22 上海应用技术大学 一种基于核Fisherface人脸识别算法的安全锁
CN109409294A (zh) * 2018-10-29 2019-03-01 南京邮电大学 基于对象运动轨迹的停球事件的分类方法和系统
CN109522059A (zh) * 2018-11-28 2019-03-26 广东小天才科技有限公司 一种程序唤醒方法及系统
CN109636962A (zh) * 2018-11-27 2019-04-16 宿州新材云计算服务有限公司 一种基于人脸识别的智能门禁系统
CN110008818A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 一种手势识别方法、装置及计算机可读存储介质
CN111759216A (zh) * 2020-03-19 2020-10-13 广东蓝水花智能电子有限公司 一种自动门开合控制方法
CN111914748A (zh) * 2020-07-31 2020-11-10 平安科技(深圳)有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113204995A (zh) * 2021-03-31 2021-08-03 广州朗国电子科技有限公司 行为密码智慧门锁的识别方法、设备以及介质
CN113271502A (zh) * 2020-02-17 2021-08-17 上海哔哩哔哩科技有限公司 基于视频弹幕的数据显示方法、装置以及计算机设备
CN113449705A (zh) * 2021-08-31 2021-09-28 广州粤芯半导体技术有限公司 空间监控系统及方法、计算机可读存储介质
CN113854981A (zh) * 2021-09-24 2021-12-31 南京六季光电技术研究院有限公司 一种基于毫米波雷达的运动多人生命体征监测方法
WO2022095983A1 (zh) * 2020-11-06 2022-05-12 华为技术有限公司 一种防止手势误识别的方法及电子设备
CN115185195A (zh) * 2022-08-16 2022-10-14 亿慧云智能科技(深圳)股份有限公司 智能家庭感知和控制终端
CN118632407A (zh) * 2024-06-14 2024-09-10 山西大学 基于特征识别的智能家居照明系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635835A (zh) * 2008-07-25 2010-01-27 深圳市信义科技有限公司 智能视频监控方法及系统
CN105100724A (zh) * 2015-08-13 2015-11-25 电子科技大学 一种基于视觉分析的智能家居远程安全监控方法及装置
CN106204815A (zh) * 2016-06-23 2016-12-07 江西洪都航空工业集团有限责任公司 一种基于人脸检测和识别的门禁系统
CN107378967A (zh) * 2017-08-25 2017-11-24 安徽鑫美芝光电科技有限公司 一种智能机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635835A (zh) * 2008-07-25 2010-01-27 深圳市信义科技有限公司 智能视频监控方法及系统
CN105100724A (zh) * 2015-08-13 2015-11-25 电子科技大学 一种基于视觉分析的智能家居远程安全监控方法及装置
CN106204815A (zh) * 2016-06-23 2016-12-07 江西洪都航空工业集团有限责任公司 一种基于人脸检测和识别的门禁系统
CN107378967A (zh) * 2017-08-25 2017-11-24 安徽鑫美芝光电科技有限公司 一种智能机器人

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409294A (zh) * 2018-10-29 2019-03-01 南京邮电大学 基于对象运动轨迹的停球事件的分类方法和系统
CN109409294B (zh) * 2018-10-29 2021-06-22 南京邮电大学 基于对象运动轨迹的停球事件的分类方法和系统
CN109377621A (zh) * 2018-11-13 2019-02-22 上海应用技术大学 一种基于核Fisherface人脸识别算法的安全锁
CN109636962A (zh) * 2018-11-27 2019-04-16 宿州新材云计算服务有限公司 一种基于人脸识别的智能门禁系统
CN109522059A (zh) * 2018-11-28 2019-03-26 广东小天才科技有限公司 一种程序唤醒方法及系统
CN110008818A (zh) * 2019-01-29 2019-07-12 北京奇艺世纪科技有限公司 一种手势识别方法、装置及计算机可读存储介质
CN113271502A (zh) * 2020-02-17 2021-08-17 上海哔哩哔哩科技有限公司 基于视频弹幕的数据显示方法、装置以及计算机设备
CN111759216A (zh) * 2020-03-19 2020-10-13 广东蓝水花智能电子有限公司 一种自动门开合控制方法
CN111914748A (zh) * 2020-07-31 2020-11-10 平安科技(深圳)有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN111914748B (zh) * 2020-07-31 2023-10-27 平安科技(深圳)有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
WO2022095983A1 (zh) * 2020-11-06 2022-05-12 华为技术有限公司 一种防止手势误识别的方法及电子设备
CN113204995A (zh) * 2021-03-31 2021-08-03 广州朗国电子科技有限公司 行为密码智慧门锁的识别方法、设备以及介质
CN113449705A (zh) * 2021-08-31 2021-09-28 广州粤芯半导体技术有限公司 空间监控系统及方法、计算机可读存储介质
CN113854981A (zh) * 2021-09-24 2021-12-31 南京六季光电技术研究院有限公司 一种基于毫米波雷达的运动多人生命体征监测方法
CN115185195A (zh) * 2022-08-16 2022-10-14 亿慧云智能科技(深圳)股份有限公司 智能家庭感知和控制终端
CN118632407A (zh) * 2024-06-14 2024-09-10 山西大学 基于特征识别的智能家居照明系统

Similar Documents

Publication Publication Date Title
CN108416256A (zh) 基于特征识别的家庭云智能监控系统和监控方法
CN111832457B (zh) 基于云边协同的陌生人入侵检测方法
Yin et al. Recurrent convolutional network for video-based smoke detection
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别系统与方法
CN107292240B (zh) 一种基于人脸与人体识别的找人方法及系统
CN104091176B (zh) 人像比对在视频中的应用技术
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN102682303B (zh) 基于lbp加权社会力模型的人群异常事件检测方法
CN104123544B (zh) 基于视频分析的异常行为检测方法及系统
CN108229390A (zh) 基于深度学习的快速行人检测方法
WO2018113523A1 (zh) 一种图像处理方法及装置、存储介质
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN112001347A (zh) 一种基于人体骨架形态与检测目标的动作识别方法
Singh et al. A comprehensive survey on person re-identification approaches: various aspects
CN116994390A (zh) 基于物联网的安防监控系统及其方法
Usha Rani et al. Real-time human detection for intelligent video surveillance: an empirical research and in-depth review of its applications
CN105160297A (zh) 基于肤色特征的蒙面人事件自动检测方法
CN104156729B (zh) 一种教室人数统计方法
Zhu et al. A hybrid algorithm for automatic segmentation of slowly moving objects
CN210072642U (zh) 基于视频监控的人群异常行为检测系统
CN113243015A (zh) 一种视频监控系统和方法
CN103605993A (zh) 一种基于面向场景判别性分析的图像到视频人脸识别方法
CN108898098A (zh) 基于监控平台的早期视频烟雾检测方法
Tao et al. Real-time detection and tracking of moving object
CN110324589A (zh) 一种旅游景区的监控系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180817