CN107817899A - 一种用户观看内容实时分析方法 - Google Patents

Abstract

本发明涉及一种用户观看内容实时分析方法，所述方法包括：使用检测启动设备，设置在PDA设备的集成电路板上，用于在接收到PDA设备开机信号时，发出启动检测信号，还用于在接收到PDA设备关机信号时，发出关闭检测信号；使用超清摄像设备，设置在PDA设备的正面框架内，用于对PDA设备的用户的正面进行超清数据实时采集，以获得并输出用户正面图像；使用瞳孔识别设备，设置在PDA设备的集成电路板上，与所述超清摄像设备连接，用于接收所述用户正面图像，并基于预设基准瞳孔图案从所述用户正面图像中提取出用户瞳孔子图像；使用数据分析设备，设置在PDA设备的集成电路板上，与所述瞳孔识别设备连接，用于接收所述用户瞳孔子图像，并确定和输出所述用户瞳孔子图像的实时分辨率。

Description

一种用户观看内容实时分析方法

技术领域

本发明涉及智能分析领域，尤其涉及一种用户观看内容实时分析方法。

背景技术

PDA(Personal Digital Assistant)，又称为掌上电脑，可以帮助我们完成在移动中工作，学习，娱乐等。按使用来分类，分为工业级PDA和消费品PDA。工业级PDA主要应用在工业领域，常见的有条码扫描器、RFID读写器、POS机等都可以称作PDA；消费品PDA包括的比较多，智能手机、平板电脑、手持的游戏机等。

PDA(Personal Digital Assistant)，是个人数字助手的意思。顾名思义就是辅助个人工作的数字工具，主要提供记事、通讯录、名片交换及行程安排等功能。

当前，由于PDA设备的功能的多样性和丰富性，用户经常过长时间使用PDA设备而不自知，现有技术中对用户的疲劳程度的检测都是基于时间来粗糙计算的，没有考虑到不同显示内容对用户疲劳程度的累积效果是不同的，从而导致用户的疲劳程度的判断并不准确。

发明内容

为了解决上述问题，本发明提供了一种用户观看内容实时分析方法，能够在接收到启动检测信号时，启动超清摄像设备，并接收从相关性识别设备或非相关性识别设备输出的瞳孔反应的PDA设备显示界面中的内容类型，所述超清摄像设备基于时间顺序拍摄多幅用户正面图像，使用用户状态分析设备基于时间顺序接收内容类型，所述用户状态分析设备还基于当前时刻到接收到所述启动检测信号的时刻之间接收到的各种内容类型分别持续的时间，确定用户疲劳程度。

本发明至少具备以下几处重要的发明点：

(1)建立基于图像分辨率数值的图像识别设备选择机制，使得各种分辨率的图像都能获得相应的高效识别处理；

(2)对识别处理后的图像采取基于图像中对象复杂度的可控力度的形态学处理，提高了用于后续处理的图像的质量；

(3)建立了基于当前时刻到接收到所述启动检测信号的时刻之间接收到的各种内容类型分别持续的时间，确定用户疲劳程度的检测机制，提高了用户疲劳程度检测的精度。

根据本发明的一方面，提供了一种用户观看内容实时分析方法，所述方法包括：

使用检测启动设备，设置在PDA设备的集成电路板上，用于在接收到PDA设备开机信号时，发出启动检测信号，还用于在接收到PDA设备关机信号时，发出关闭检测信号；

使用超清摄像设备，设置在PDA设备的正面框架内，用于对PDA设备的用户的正面进行超清数据实时采集，以获得并输出用户正面图像；

使用瞳孔识别设备，设置在PDA设备的集成电路板上，与所述超清摄像设备连接，用于接收所述用户正面图像，并基于预设基准瞳孔图案从所述用户正面图像中提取出用户瞳孔子图像；

使用数据分析设备，设置在PDA设备的集成电路板上，与所述瞳孔识别设备连接，用于接收所述用户瞳孔子图像，并确定和输出所述用户瞳孔子图像的实时分辨率。

优选地，还包括：

使用腐蚀膨胀处理设备，设置在PDA设备的集成电路板上，与所述数据分析设备连接，用于接收所述用户瞳孔子图像，基于所述用户瞳孔子图像中的对象复杂度确定对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理的力度，对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理，以输出形态学图像，其中，所述用户瞳孔子图像中的对象复杂度越高，执行的先腐蚀处理后膨胀处理的力度越大；

使用相关性识别设备，设置在PDA设备的集成电路板上，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率超限时，启动对所述形态学图像的相关性识别处理，具体相关性识别处理如下：基于所述实时分辨率确定执行目标识别的深度神经网络的隐含层数量，所示实时分辨率越高，确定的隐含层数量越多；

其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层为一个或多个，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

使用非相关性识别设备，设置在PDA设备的集成电路板上，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率未超限时，启动对所述形态学图像的非相关性识别处理，非具体相关性识别处理如下：执行目标识别的深度神经网络的隐含层数量固定，其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层数量固定，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

其中，所述相关性识别设备和所述非相关性识别设备的深度神经网络的输出层输出的都是瞳孔反应的PDA设备显示界面中的内容类型；

使用用户状态分析设备，设置在PDA设备的集成电路板上，分别与所述检测启动设备、所述相关性识别设备和所述非相关性识别设备连接，用于在接收到所述启动检测信号时，启动所述超清摄像设备，并接收从所述相关性识别设备或所述非相关性识别设备输出的瞳孔反应的PDA设备显示界面中的内容类型，所述超清摄像设备基于时间顺序拍摄多幅用户正面图像，所述用户状态分析设备基于时间顺序接收内容类型，所述用户状态分析设备还基于当前时刻到接收到所述启动检测信号的时刻之间接收到的各种内容类型分别持续的时间，确定用户疲劳程度。

优选地，所述用户状态分析设备在接收到所述关闭检测信号时，关闭所述超清摄像设备，并对用户疲劳程度进行清零操作。

优选地，所述腐蚀膨胀处理设备中包括图像接收单元、对象分析单元和腐蚀处理单元和膨胀处理单元。

优选地，在所述腐蚀膨胀处理设备中，所述图像接收单元与所述数据分析设备连接，用于接收所述用户瞳孔子图像，所述对象分析单元分别与所述图像接收单元和所述腐蚀处理单元连接，用于确定所述用户瞳孔子图像中的对象复杂度，所述腐蚀处理单元还与所述膨胀处理单元连接，所述腐蚀处理单元和所述膨胀处理单元用于对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理。

附图说明

以下将结合附图对本发明的实施方案进行描述，其中：

图1为根据本发明实施方案示出的用户观看内容实时分析系统的用户状态分析设备的接口示意图。

图2为根据本发明实施方案示出的用户观看内容实时分析系统的结构方框图。

图3为根据本发明实施方案示出的用户观看内容实时分析方法的步骤流程图。

具体实施方式

下面将参照附图对本发明的用户观看内容实时分析方法的实施方案进行详细说明。

现有技术中的PDA用户的眼睛疲劳度判断缺乏基于观看内容的识别机制。为了克服上述不足，本发明搭建了一种用户观看内容实时分析系统及方法，具体实施方案如下。

图1为根据本发明实施方案示出的用户观看内容实时分析系统的用户状态分析设备的接口示意图。所述用户状态分析设备采用如图1所示的控制芯片来实现。

图2为根据本发明实施方案示出的用户观看内容实时分析系统的结构方框图，所述系统包括：

检测启动设备，设置在PDA设备的集成电路板上，用于在接收到PDA设备开机信号时，发出启动检测信号，还用于在接收到PDA设备关机信号时，发出关闭检测信号；

超清摄像设备，设置在PDA设备的正面框架内，用于对PDA设备的用户的正面进行超清数据实时采集，以获得并输出用户正面图像；

瞳孔识别设备，设置在PDA设备的集成电路板上，与所述超清摄像设备连接，用于接收所述用户正面图像，并基于预设基准瞳孔图案从所述用户正面图像中提取出用户瞳孔子图像；

数据分析设备，设置在PDA设备的集成电路板上，与所述瞳孔识别设备连接，用于接收所述用户瞳孔子图像，并确定和输出所述用户瞳孔子图像的实时分辨率。

接着，继续对本发明的用户观看内容实时分析系统的具体结构进行进一步的说明。

所述用户观看内容实时分析系统中还可以包括：

腐蚀膨胀处理设备，与所述数据分析设备连接，用于接收所述用户瞳孔子图像，基于所述用户瞳孔子图像中的对象复杂度确定对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理的力度，对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理，以输出形态学图像，其中，所述用户瞳孔子图像中的对象复杂度越高，执行的先腐蚀处理后膨胀处理的力度越大；

相关性识别设备，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率超限时，启动对所述形态学图像的相关性识别处理，具体相关性识别处理如下：基于所述实时分辨率确定执行目标识别的深度神经网络的隐含层数量，所示实时分辨率越高，确定的隐含层数量越多，其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层为一个或多个，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

非相关性识别设备，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率未超限时，启动对所述形态学图像的非相关性识别处理，非具体相关性识别处理如下：执行目标识别的深度神经网络的隐含层数量固定，其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层数量固定，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

其中，所述相关性识别设备和所述非相关性识别设备的深度神经网络的输出层输出的都是瞳孔反应的PDA设备显示界面中的内容类型；

用户状态分析设备，分别与所述检测启动设备、所述相关性识别设备和所述非相关性识别设备连接，用于在接收到所述启动检测信号时，启动所述超清摄像设备，并接收从所述相关性识别设备或所述非相关性识别设备输出的瞳孔反应的PDA设备显示界面中的内容类型，所述超清摄像设备基于时间顺序拍摄多幅用户正面图像，所述用户状态分析设备基于时间顺序接收内容类型，所述用户状态分析设备还基于当前时刻到接收到所述启动检测信号的时刻之间接收到的各种内容类型分别持续的时间，确定用户疲劳程度。

所述用户观看内容实时分析系统中：

所述用户状态分析设备在接收到所述关闭检测信号时，关闭所述超清摄像设备，并对用户疲劳程度进行清零操作。

所述用户观看内容实时分析系统中：

所述腐蚀膨胀处理设备中包括图像接收单元、对象分析单元和腐蚀处理单元和膨胀处理单元。

以及所述用户观看内容实时分析系统中：

在所述腐蚀膨胀处理设备中，所述图像接收单元与所述数据分析设备连接，用于接收所述用户瞳孔子图像，所述对象分析单元分别与所述图像接收单元和所述腐蚀处理单元连接，用于确定所述用户瞳孔子图像中的对象复杂度，所述腐蚀处理单元还与所述膨胀处理单元连接，所述腐蚀处理单元和所述膨胀处理单元用于对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理。

图3为根据本发明实施方案示出的用户观看内容实时分析方法的步骤流程图，所述方法包括：

使用检测启动设备，设置在PDA设备的集成电路板上，用于在接收到PDA设备开机信号时，发出启动检测信号，还用于在接收到PDA设备关机信号时，发出关闭检测信号；

使用超清摄像设备，设置在PDA设备的正面框架内，用于对PDA设备的用户的正面进行超清数据实时采集，以获得并输出用户正面图像；

使用瞳孔识别设备，设置在PDA设备的集成电路板上，与所述超清摄像设备连接，用于接收所述用户正面图像，并基于预设基准瞳孔图案从所述用户正面图像中提取出用户瞳孔子图像；

使用数据分析设备，设置在PDA设备的集成电路板上，与所述瞳孔识别设备连接，用于接收所述用户瞳孔子图像，并确定和输出所述用户瞳孔子图像的实时分辨率。

接着，继续对本发明的用户观看内容实时分析方法的具体步骤进行进一步的说明。

所述用户观看内容实时分析方法还可以包括：

使用腐蚀膨胀处理设备，设置在PDA设备的集成电路板上，与所述数据分析设备连接，用于接收所述用户瞳孔子图像，基于所述用户瞳孔子图像中的对象复杂度确定对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理的力度，对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理，以输出形态学图像，其中，所述用户瞳孔子图像中的对象复杂度越高，执行的先腐蚀处理后膨胀处理的力度越大；

使用相关性识别设备，设置在PDA设备的集成电路板上，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率超限时，启动对所述形态学图像的相关性识别处理，具体相关性识别处理如下：基于所述实时分辨率确定执行目标识别的深度神经网络的隐含层数量，所示实时分辨率越高，确定的隐含层数量越多，其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层为一个或多个，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

使用非相关性识别设备，设置在PDA设备的集成电路板上，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率未超限时，启动对所述形态学图像的非相关性识别处理，非具体相关性识别处理如下：执行目标识别的深度神经网络的隐含层数量固定，其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层数量固定，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

其中，所述相关性识别设备和所述非相关性识别设备的深度神经网络的输出层输出的都是瞳孔反应的PDA设备显示界面中的内容类型；

使用用户状态分析设备，设置在PDA设备的集成电路板上，分别与所述检测启动设备、所述相关性识别设备和所述非相关性识别设备连接，用于在接收到所述启动检测信号时，启动所述超清摄像设备，并接收从所述相关性识别设备或所述非相关性识别设备输出的瞳孔反应的PDA设备显示界面中的内容类型，所述超清摄像设备基于时间顺序拍摄多幅用户正面图像，所述用户状态分析设备基于时间顺序接收内容类型，所述用户状态分析设备还基于当前时刻到接收到所述启动检测信号的时刻之间接收到的各种内容类型分别持续的时间，确定用户疲劳程度。

所述用户观看内容实时分析方法中：

所述用户状态分析设备在接收到所述关闭检测信号时，关闭所述超清摄像设备，并对用户疲劳程度进行清零操作。

所述用户观看内容实时分析方法中：

所述腐蚀膨胀处理设备中包括图像接收单元、对象分析单元和腐蚀处理单元和膨胀处理单元。

所述用户观看内容实时分析方法中：

在所述腐蚀膨胀处理设备中，所述图像接收单元与所述数据分析设备连接，用于接收所述用户瞳孔子图像，所述对象分析单元分别与所述图像接收单元和所述腐蚀处理单元连接，用于确定所述用户瞳孔子图像中的对象复杂度，所述腐蚀处理单元还与所述膨胀处理单元连接，所述腐蚀处理单元和所述膨胀处理单元用于对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理。

另外，PDA即掌上电脑最大的特点是具有开放式的操作系统，支持软硬件升级，集信息的输入、存储、管理和传递于一体，具备常用的办公、娱乐、移动通信等强大功能。因此，PDA完全可以称作一个移动办公室。当然，并不是任何PDA都具备以上所有功能；即使具备，也可能由于缺乏相应的服务而不能实现。但可以预见，PDA发展的趋势和潮流就是计算、通信、网络、存储、娱乐、电子商务等多功能的融合。

其实对于掌上电脑也没有一个确切的定义，也有人把记事本称作掌上电脑，一般情况下掌上电脑是指带有PalmOS、WindowsCE或者其他开放式操作系统，具有网络功能，并且可以由用户自由进行软硬件升级。也就是说，用户除了扩展硬件以外，还可以加装软件，甚至可以自己开发程序在它上面运行。

在使用上，他比台式电脑操作简单、移动方便，功能实用，消除了台式电脑的五大限制，即：移动的限制性、使用的复杂性、移动联网的困难性、价格的昂贵性、用途的闲置性。

采用本发明的用户观看内容实时分析系统及方法，针对现有技术中缺乏基于观看内容的疲劳度判断机制的技术问题，通过对PDA设备的用户的正面进行超清数据实时采集，以获得并输出用户正面图像，基于深度神经网络识别出用户观看的PDA设备显示界面中的内容类型，并结合观看时间实现对用户疲劳度的判断，从而解决了上述技术问题。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (5)

1.一种用户观看内容实时分析方法，其特征在于，所述方法包括：

使用检测启动设备，设置在PDA设备的集成电路板上，用于在接收到PDA设备开机信号时，发出启动检测信号，还用于在接收到PDA设备关机信号时，发出关闭检测信号；

使用超清摄像设备，设置在PDA设备的正面框架内，用于对PDA设备的用户的正面进行超清数据实时采集，以获得并输出用户正面图像；

使用瞳孔识别设备，设置在PDA设备的集成电路板上，与所述超清摄像设备连接，用于接收所述用户正面图像，并基于预设基准瞳孔图案从所述用户正面图像中提取出用户瞳孔子图像；

使用数据分析设备，设置在PDA设备的集成电路板上，与所述瞳孔识别设备连接，用于接收所述用户瞳孔子图像，并确定和输出所述用户瞳孔子图像的实时分辨率。

2.如权利要求1所述的用户观看内容实时分析方法，其特征在于，还包括：

使用腐蚀膨胀处理设备，设置在PDA设备的集成电路板上，与所述数据分析设备连接，用于接收所述用户瞳孔子图像，基于所述用户瞳孔子图像中的对象复杂度确定对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理的力度，对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理，以输出形态学图像，其中，所述用户瞳孔子图像中的对象复杂度越高，执行的先腐蚀处理后膨胀处理的力度越大；

使用相关性识别设备，设置在PDA设备的集成电路板上，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率超限时，启动对所述形态学图像的相关性识别处理，具体相关性识别处理如下：基于所述实时分辨率确定执行目标识别的深度神经网络的隐含层数量，所示实时分辨率越高，确定的隐含层数量越多；

其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层为一个或多个，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

使用非相关性识别设备，设置在PDA设备的集成电路板上，与腐蚀膨胀处理设备连接，用于接收所述形态学图像，在所述实时分辨率未超限时，启动对所述形态学图像的非相关性识别处理，非具体相关性识别处理如下：执行目标识别的深度神经网络的隐含层数量固定，其中，所述深度神经网络由输入层、隐含层和输出层组成，输入层输入的是形态学图像，隐含层数量固定，用于逐层对输入层输入的形态学图像进行特征抽象，输出层与最后一个隐含层连接，用于将最后一个隐含层的进行特征抽象的结果输出；

其中，所述相关性识别设备和所述非相关性识别设备的深度神经网络的输出层输出的都是瞳孔反应的PDA设备显示界面中的内容类型；

使用用户状态分析设备，设置在PDA设备的集成电路板上，分别与所述检测启动设备、所述相关性识别设备和所述非相关性识别设备连接，用于在接收到所述启动检测信号时，启动所述超清摄像设备，并接收从所述相关性识别设备或所述非相关性识别设备输出的瞳孔反应的PDA设备显示界面中的内容类型，所述超清摄像设备基于时间顺序拍摄多幅用户正面图像，所述用户状态分析设备基于时间顺序接收内容类型，所述用户状态分析设备还基于当前时刻到接收到所述启动检测信号的时刻之间接收到的各种内容类型分别持续的时间，确定用户疲劳程度。

3.如权利要求2所述的用户观看内容实时分析方法，其特征在于：

所述用户状态分析设备在接收到所述关闭检测信号时，关闭所述超清摄像设备，并对用户疲劳程度进行清零操作。

4.如权利要求3所述的用户观看内容实时分析方法，其特征在于：

所述腐蚀膨胀处理设备中包括图像接收单元、对象分析单元和腐蚀处理单元和膨胀处理单元。

5.如权利要求4所述的用户观看内容实时分析方法，其特征在于：

在所述腐蚀膨胀处理设备中，所述图像接收单元与所述数据分析设备连接，用于接收所述用户瞳孔子图像，所述对象分析单元分别与所述图像接收单元和所述腐蚀处理单元连接，用于确定所述用户瞳孔子图像中的对象复杂度，所述腐蚀处理单元还与所述膨胀处理单元连接，所述腐蚀处理单元和所述膨胀处理单元用于对所述用户瞳孔子图像执行先腐蚀处理后膨胀处理。