CN107038203A

CN107038203A - 物联网感知数据“溯源‑矢量”的分层存储机制

Info

Publication number: CN107038203A
Application number: CN201611253924.8A
Authority: CN
Inventors: 丁治明; 曹阳; 段立娟; 才智; 陈军成; 任付杰
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2017-08-11

Abstract

本发明公开了物联网感知数据“溯源‑矢量”的分层存储机制，将物联网感知大数据的存储分为两层：溯源存储层和矢量存储层。在溯源存储层采用简单快速的存储方法实现原始采样数据的高效存储，并通过矢量拟合及更新策略，将矢量数据上传到矢量存储层。在矢量存储层，通过基于矢量序列的感知大数据存储模型及查询与分析方法，实现感知大数据的高效处理。其中“矢量”我们定义为被监控对象的状态变化模式，由于物联网监控对象的状态通常会按照某种规律持续较长时间，我们可以用矢量来刻画监控对象的较长时间的状态，从而在保证数据精度的同时，极大地降低矢量存储层的数据更新与存储的代价。

Description

物联网感知数据“溯源-矢量”的分层存储机制

技术领域

本发明属于大数据分析管理领域，涉及物联网感知数据的变速及分层存储的方法。

背景技术

随着物联网技术及其相关应用(如智慧城市、感知中国、智能交通、应急管理、智能安防等)的飞速发展，如何有效地存储、查询与分析海量的物联网感知数据成为了一个亟待解决的关键问题。物联网感知数据是指在物联网系统中，各种感知设备(包括各类传感器设备以及多媒体监控设备)所动态采集的采样数据。据权威机构IDC预测，2020年全球数据量将达到35ZB，是2009年的45倍。例如在智能交通监测方面，北京市目前用于GPS位置信息及道路实时监控的设备有60余万个，每天产生的交通感知数据在3PB左右。现有的物联网、大数据处理技术或产品仅聚焦在信号传输和原始数据存储方法，未能将这些具有极高隐含价值的感知大数据进行有效的分析和利用。

例如在智慧城市系统中，大量的传感器设备及多媒体监控设备(如交通摄像头及视频分析、城市安防摄像头、道路车辆抓拍设备等)在不断地采集相关的数据。如果将这些数据分散存储，则它们多数时候仅能满足个体分散查询的需要。反之，如果将这些数据集中存放在数据中心，则可对它们进行汇总查询与分析，不仅可以了解大面积感知设备反映出的总体态势信息，而且可以挖掘出更深层次的规律和模式，如交通流变化模式、污染带的地理分布及变化趋势等，进而实现有效的感知和控制。

然而，目前针对物联网感知大数据的研究极为有限。许多物联网应用系统直接采用现有的数据库管理方法，如关系数据库及数据库集群技术、云计算数据管理技术如Key-Value Store、列存储及Map/Reduce等。但是这些方法往往只能解决一时之需，不能真正有效地解决物联网感知大数据的存储与分析问题，在物联网感知数据的海量性、频繁数据更新、异构性、时空相关性、流式积累性、连续序列性方面对目前的数据处理技术形成了巨大的挑战：海量性的挑战。物联网感知数据是通过感知设备频繁采集获得的，这些数据的规模远远超出了关系数据库及其集群的数据规模。虽然关系数据库通过结构化的方法可以实现物联网数据的表示、查询及统计分析，然而受到关系数据库数据模型及事务处理机制的影响，关系数据库系统并不能很好地适用于海量的分布式计算环境。

现有的感知大数据存储模式也不适用于物联网感知大数据的处理，在现有大多数系统的感知采样数据采用是以单个采样值为基本记录单位的存储方式(称为“小记录”存储)，这就导致了很多冗余采样数据频繁的上传，即同样的数值或遵循某种发展趋势的数值频繁的上传到服务器，给存储系统带来了很多不必要的操作，例如服务器集群磁盘频繁寻址、简单的逻辑查询也需要调用全局的查询框架等。相反，如果以感知设备/监控对象为基本记录单位，将该感知设备/监控对象的所有采样数据按照时间序列组织在一起，形成该记录的一个属性(称这种方式为“大记录”)的存储方式，可以大幅提高系统在存储方面的效率。

在物联网系统中，感知数据是频繁采集并上传的，形成了繁重的数据计算与存储代价。然而，监控对象的物理状态大部分时间是保持不变或按照一定的模式匀速变化的。如果能够通过状态矢量来描述监控对象的物理状态，则可以大大地降低数据的规模。

基于上述思路，本发明提出了一种物联网感知大数据的分层、分布式数据存储机制，将物联网感知大数据的存储分为两层：溯源存储层和矢量存储层。其中溯源存储层对来自于感知设备的原始采样数据进行存储，并通过对原始采样数据转换的数值进行拟合、插值分析，形成状态矢量后上传到矢量存储层。矢量存储层通过基于矢量序列的感知大数据存储模型及查询与分析方法，实现感知大数据的高效处理。

此外，多媒体采样数据属于非结构化数据，本身对语义查询并没有太大的意义，只有通过多媒体分析提取出的语义信息才有价值。在物联网查询系统中只需要存储提取出的语义数据，从而大大地降低数据的计算及存储代价。

上述这种双层分工协同的存储方式的机理主要在于:在溯源存储层不用考虑复杂查询、索引、分析等操作，可以专注于采用简单高效的存储方式实现感知数据的快速存储处理；在矢量存储层，通过基于状态矢量(刻画采样数据状态特征)的大数据表示、查询和分析，不仅有效降低了矢量存储层中数据更新的速度，而且大大减少了数据查询与分析等操作所涉及的数据量。

发明内容

本发明采用的技术方案为物联网感知数据“溯源-矢量”的分层存储机制，该分层存储机制是一种物联网感知大数据的分层、分布式数据存储机制，将物联网感知大数据的存储分为两层：溯源存储层和矢量存储层。

在“溯源-矢量”分层方面，物联网系统中，感知数据是频繁采集并上传的，形成了繁重的数据计算与存储代价。然而，监控对象的物理状态大部分时间是保持不变或按照模式匀速变化的，例如移动对象在某条道路上基本匀速前进、油库温度大部分时间保持恒定等。将被监控对象的状态变化模式称之为“状态矢量”(或称为“矢量”)。与原始采样数据频繁变化不同，状态矢量的变化稀疏很多。如移动对象长时间以相对固定的速度在高速公路上行进，尽管采样数据不断上传，但是状态矢量并没有发生变化。因此，如果能够通过状态矢量来描述监控对象的物理状态，则大大地降低数据的规模和更新频率。

其中，溯源存储层对来自于感知设备的原始采样数据进行存储，并通过对原始采样数据的分析，提取出状态矢量，并将之上传到矢量存储层，原始采样数据包括传感器采样数据和多媒体监控数据。通过这种方式，使得绝大多数的数据被存放在溯源存储层，而仅有相对少量的矢量数据被存放在矢量存储层，不仅大大减少了矢量存储层进行数据查询与分析等操作所涉及的数据量，而且降低了矢量数据存储层中数据更新的频率。将上述机制定义为“数据变速”。

在物联网系统中，由于插值计算、矢量提取是最核心的基本操作，因此采用大记录的方式进行数据的表示，并通过设计矢量生成和匹配算法对状态矢量进行更新，如图1.1中的①一元函数、②对数曲线、③抛物线、④正弦函数四个状态矢量是逐渐匹配、替换更新而成。

此外，由于物联网感知数据属于高度动态的数据，表现为新的采样数据不断到来，而旧的过时数据需要逐渐被淘汰，因此数据写操作的性能瓶颈是一个核心问题。为此，引入内存与外存混合的数据存储方式，将频繁更新的最新矢量数据存放在内存，通过内外存数据交换机制、内外存数据协同查询机制等，支持高速流数据的同时，也最大限度地降低外存数据的写操作压力，通过“数据变速”、大粒度格栅索引等方式，降低矢量存储层数据更新的频率。

物联网感知大数据的查询、统计与分析等大部分操作均在矢量存储层进行。在矢量存储层，感知数据以监控对象为单位进行组织，每个监控对象对应于一条数据记录，其中该监控对象的历次状态矢量形成一个序列，作为该记录的一个属性。同时，该记录还包含有原始采样记录的存放地址，使得查询操作完成时，可以通过该地址在溯源存储层中获得原始采样数据，从而实现物联网数据的溯源查询。

在溯源层数据的存储表示和查询方面，在溯源存储层，传感器及监控设备的采样数据是以感知设备为单位进行组织。同一个感知设备的所有采样数据按照时间序列组织在一起，形成该设备的“采样数据序列”，并作为一个属性值存放在该感知设备的数据记录中。

各类感知设备的单个采样值SamplingValue分为两大类，即数值型采样值和多媒体采样值。通过无线传感网络汇总的数据、通过互联网数据分析导出的数据、通过人工系统录入的事件数据均视为感知采样数据。数值型采样值为温度传感器、GPS传感器、RFID传感器等所采集的数据；多媒体采样值为视频监控图像、高空及地质勘探遥感图像、音频监测信号。

感知采样数据统一地表示为如下格式(设TimeInstant、Point、String分别为时间点、空间点、字符串型数据的值域)：

SamplingValue＝(t,pos,schema,value) (1)

其中，t∈TimeInstant、pos∈Point分别是该采样数据所对应的采样时间和采样地点；schema∈String和value∈String分别是采样数据的“型”和“值”，其中“型”描述了采样数据的格式及数据类型，“值”是具体的采样数据值。

同一个感知设备的历次采样值按照采样时间顺序排列，形成该感知设备的采样数据序列SamplingSequence，表示为如下格式：

SamplingSequence＝(schema,((t_i,pos_i,value_i))) (2)

其中，schema∈String是采样序列中各采样值的“型”，ti∈TimeInstant、posi∈Point和value_i∈String分别是第i个采样值的采样时间、采样地点以及实际的采样数值。

每个感知设备对应一条数据记录DevRecord，表示为如下格式：

DevRecord＝(DevID,DevDescript,Samplings,addr) (3)

其中DevID∈String为感知设备的标识；DevDescript∈String为该设备的文本描述；Samplings∈SamplingSequence是一个SamplingSequence型的值，记录该设备在某段时间内(如三个月)的历次采样值；addr∈String是该设备的物理访问地理，用以直接对相关的监控设备进行访问。

溯源存储层包含由多个服务器组成的集群，感知设备所对应的数据记录按照DevID进行Hash并分布式地存放在服务器集群中。在每一个溯源存储服务器上，对感知设备数据记录的Samplings属性建立有时间戳索引，从而支持对任意感知设备在指定时间点附近的采样值的快速存取。

对溯源层的数据进行矢量提取，并存储在矢量层：

矢量vector表示为一个时间的函数f(t)，同时加上时间t_start与结束时间t_end,即vector＝(f(t),t_start,t_end,size,unitime)，对于每一个活动的感知设备的每个分量，其最后一个矢量为当前活动矢量，size为矢量函数f(t)的阶数，unitime为该矢量上的单位时间。

设状态矢量为vetror，s为一个传感器，c为其某个采样分量，则s的c分量的多个连续采样值可以构成VχT的二维超平面中的一条线段l，其中V和T分别为采样值和采样时间的值域。在进行矢量提取时，通过离散的点进行拟合，将采样值线段l拟合成一组VχT平面中的曲线段。以匀速运动的机动车为例，其longitude、latitude和时间time的状态矢量表示如图1.2所示。

当新的采样数据P(t,x,y)到来时，首先将新采样值与当前活动矢量进行比对，如果实际采样值与矢量计算值之间的差超出了规定的阈值，则需要重新计算并存储活动矢量。活动矢量使用矢量函数来表示，因此存储活动矢量只需存储矢量函数即可。提取出状态矢量后，将之上传到矢量存储层。新的采样数据P(t,x,y)中，t表示采样时间，x表示纬度，y表示经度，下文数据点表示格式相同。

综上，对物联网大数据进行分层存储，将原始数据采样数据存放在溯源层，对溯源层数据进行分析，提取出状态矢量，并将其存储在矢量层中。通过这种方式，一方面使得相对少量的矢量数据被存放在矢量存储层，这不仅大大减少了在矢量序列基础上对数据查询和分析等所涉及到的数据量，而且有效降低了矢量数据存储层中数据更新的频率；另一方面，这种存储方法生成的函数矢量对应的运动轨迹比完全线性连接方法较准确，提高了准确率。

附图说明

图1：物联网感知大数据的“溯源-矢量”分层存储机制示意图

图1.1物联网采样数据矢量提取及更新示意图；

图1.2状态矢量表示示意图，(a)基于(lng,lat)的采样值状态矢量，(b)基于(lng,lat,t)的采样值状态矢量

图2：数据存储流程图

图2.1矢量提取效果图

图2.2查找效果直观图

图3：矢量函数提取流程图

图4：数据查找流程图

图5：原始采样数据示例

图6：提取矢量数据示例

图7：部分系统结果图

具体实施方式

下面结合相关附图对本发明进行解释和阐述：

本发明以北京市出租车交通数据为例进行研究，原始采集数据如图2.1所示。

(1)存储效率测试

受贝塞尔曲线拟合算法的启发，设计存储轨迹数据的函数，对采样数据进行状态矢量提取，生成存储轨迹数据信息的矢量序列；

根据轨迹数据是以经纬度来标记车辆的位置，在保证准确度的情况下在这设阈值u＝0.0005，提取矢量活动，将所有轨迹数据信息存储在矢量序列中，统计采样数据总量和矢量活动更新数，得到结果如下表1和图2.1所示。

表1存储效率

数据总量(个)	存储函数总量(个)	未存储数据量(个)	减少更新频率(％)
				5933	2706	3227	54.4

此发明对原始数据进行矢量提取，存储状态矢量，减少了数据存储的更新频率。原始数据5933个数据点，正常存储需要更新5933次，而使用本技术只需要更新2706次，数据更新次数减少了大约54.4％，这在大数据平台下效果是非常显著的。

在矢量存储层，通过基于状态矢量的大数据表示、查询和分析，不仅有效降低了矢量存储层中数据更新的速度，而且能够大大减少数据查询和分析等操作所涉及的数据量。

(1)查找效率测试

在某监控对象的采样数据中获取时间段2012-12-100:19:26---2012-12-106:38:18，在这时间段内，共采集835个数据点，提取386个矢量函数。查询在这时间段内监控对象的位置信息，利用二分查找和顺序查找两种方法比较。

表2数据查找统计表

time	Binary search(ms)	Order search(ms)
			2012-12-100:58:23	0.125600	0.032255
2012-12-101:43:27	0.045940	0.051315
			2012-12-102:10:23	0.051804	0.079173
2012-12-102:4536	0.054736	0.067932
			2012-12-103:12:45	0.053759	0.138796
2012-12-103:56:45	0.052781	0.087969
			2012-12-104:34:21	0.042030	0.123157
2012-12-106:23:56	0.098721	0.317667
			2012-12-106:1:34	0.056202	0.402704
2012-12-105:48:12	0.053759	0.245825
			2012-12-105:34:56	0.063045	0.283945
2012-12-105:1:45	0.051315	0.338193
			2012-12-104:34:56	0.054248	0.155412
2012-12-104:1:34	0.048872	0.248757
			2012-12-103:45:23	0.059624	0.219923
2012-12-103:18:45	0.055714	0.195487
			2012-12-102:46:28	0.053759	0.077217
2012-12-102:23:51	0.051316	0.126577
			2012-12-101:58:34	0.054248	0.083082
2012-12-101:24:37	0.059624	0.076240
			2012-12-100:34:56	0.047895	0.050338
Average	0.058809	0.194673

如表所示，二分查找总时间Btime＝1.234992ms，顺序查找总时间为：Otime＝4.088124ms。效果直观图如图2.2所示。

基于矢量存储层对数据的查询，首先在查询数据量上大大减少，其次使用二分查找算法，查询效率大大提高。通过表2可以看出，基于矢量层的二分查找效率大约是顺序查找的四倍，在大数据平台下，效率更显著。

综合上述实验，利用状态矢量存储数据，一方面利用较少的矢量数据即可表示溯源层的原始数据，大大减少了在矢量序列基础上对数据查询和分析等所涉及的数据量，而且有效降低了矢量数据存储层中数据更新的频率；另一方面，利用矢量数据进行查询分析等操作，与全完原始数据的查询分析相比较，具有更好的准确性和高效性。

Claims

1.物联网感知数据“溯源-矢量”的分层存储机制，其特征在于：该分层存储机制是一种物联网感知大数据的分层、分布式数据存储机制，将物联网感知大数据的存储分为两层：溯源存储层和矢量存储层；

在“溯源-矢量”分层方面，物联网系统中，感知数据是频繁采集并上传的，形成了繁重的数据计算与存储代价；然而，监控对象的物理状态大部分时间是保持不变或按照模式匀速变化的，例如移动对象在某条道路上基本匀速前进、油库温度大部分时间保持恒定等；将被监控对象的状态变化模式称之为“状态矢量”或称为“矢量”；与原始采样数据频繁变化不同，状态矢量的变化稀疏很多；如移动对象长时间以相对固定的速度在高速公路上行进，尽管采样数据不断上传，但是状态矢量并没有发生变化；因此，如果能够通过状态矢量来描述监控对象的物理状态，则大大地降低数据的规模和更新频率；

其中，溯源存储层对来自于感知设备的原始采样数据进行存储，并通过对原始采样数据的分析，提取出状态矢量，并将之上传到矢量存储层，原始采样数据包括传感器采样数据和多媒体监控数据；通过这种方式，使得绝大多数的数据被存放在溯源存储层，而仅有相对少量的矢量数据被存放在矢量存储层，不仅大大减少了矢量存储层进行数据查询与分析等操作所涉及的数据量，而且降低了矢量数据存储层中数据更新的频率；将上述机制定义为“数据变速”；

在物联网系统中，由于插值计算、矢量提取是最核心的基本操作，因此采用大记录的方式进行数据的表示，并通过设计矢量生成和匹配算法对状态矢量进行更新；

此外，由于物联网感知数据属于高度动态的数据，表现为新的采样数据不断到来，而旧的过时数据需要逐渐被淘汰，因此数据写操作的性能瓶颈是一个核心问题；为此，引入内存与外存混合的数据存储方式，将频繁更新的最新矢量数据存放在内存，通过内外存数据交换机制、内外存数据协同查询机制等，支持高速流数据的同时，也最大限度地降低外存数据的写操作压力，通过“数据变速”、大粒度格栅索引等方式，降低矢量存储层数据更新的频率；

物联网感知大数据的查询、统计与分析等大部分操作均在矢量存储层进行；在矢量存储层，感知数据以监控对象为单位进行组织，每个监控对象对应于一条数据记录，其中该监控对象的历次状态矢量形成一个序列，作为该记录的一个属性；同时，该记录还包含有原始采样记录的存放地址，使得查询操作完成时，可以通过该地址在溯源存储层中获得原始采样数据，从而实现物联网数据的溯源查询；

在溯源层数据的存储表示和查询方面，在溯源存储层，传感器及监控设备的采样数据是以感知设备为单位进行组织；同一个感知设备的所有采样数据按照时间序列组织在一起，形成该设备的“采样数据序列”，并作为一个属性值存放在该感知设备的数据记录中；

各类感知设备的单个采样值SamplingValue分为两大类，即数值型采样值和多媒体采样值；通过无线传感网络汇总的数据、通过互联网数据分析导出的数据、通过人工系统录入的事件数据均视为感知采样数据；数值型采样值为温度传感器、GPS传感器、RFID传感器等所采集的数据；多媒体采样值为视频监控图像、高空及地质勘探遥感图像、音频监测信号；

感知采样数据统一地表示为如下格式：

SamplingValue＝(t,pos,schema,value)(1)设TimeInstant、Point、String分别为时间点、空间点、字符串型数据的值域；其中，t∈TimeInstant、pos∈Point分别是该采样数据所对应的采样时间和采样地点；schema∈String和value∈String分别是采样数据的“型”和“值”，其中“型”描述了采样数据的格式及数据类型，“值”是具体的采样数据值；

SamplingSequence＝(schema,((t_i,pos_i,value_i))) (2)

其中，schema∈String是采样序列中各采样值的“型”，ti∈TimeInstant、posi∈Point和value_i∈String分别是第i个采样值的采样时间、采样地点以及实际的采样数值；

每个感知设备对应一条数据记录DevRecord，表示为如下格式：

DevRecord＝(DevID,DevDescript,Samplings,addr) (3)

其中DevID∈String为感知设备的标识；DevDescript∈String为该设备的文本描述；Samplings∈SamplingSequence是一个SamplingSequence型的值，记录该设备在某段时间内的历次采样值；addr∈String是该设备的物理访问地理，用以直接对相关的监控设备进行访问；

溯源存储层包含由多个服务器组成的集群，感知设备所对应的数据记录按照DevID进行Hash并分布式地存放在服务器集群中；在每一个溯源存储服务器上，对感知设备数据记录的Samplings属性建立有时间戳索引，从而支持对任意感知设备在指定时间点附近的采样值的快速存取；

对溯源层的数据进行矢量提取，并存储在矢量层：

矢量vector表示为一个时间的函数f(t)，同时加上时间t_start与结束时间t_end,即vector＝(f(t),t_start,t_end,size,unitime)，对于每一个活动的感知设备的每个分量，其最后一个矢量为当前活动矢量，size为矢量函数f(t)的阶数，unitime为该矢量上的单位时间；

设状态矢量为vetror，s为一个传感器，c为其某个采样分量，则s的c分量的多个连续采样值可以构成V_χT的二维超平面中的一条线段l，其中V和T分别为采样值和采样时间的值域；在进行矢量提取时，通过离散的点进行拟合，将采样值线段l拟合成一组V_χT平面中的曲线段。

2.根据权利要求1所述的物联网感知数据“溯源-矢量”的分层存储机制，其特征在于：当新的采样数据P(t,x,y)到来时，首先将新采样值与当前活动矢量进行比对，如果实际采样值与矢量计算值之间的差超出了规定的阈值，则需要重新计算并存储活动矢量；活动矢量使用矢量函数来表示，因此存储活动矢量只需存储矢量函数即可；提取出状态矢量后，将之上传到矢量存储层；新的采样数据P(t,x,y)中，t表示采样时间，x表示纬度，y表示经度，数据点表示格式相同。

3.根据权利要求1所述的物联网感知数据“溯源-矢量”的分层存储机制，其特征在于：对物联网大数据进行分层存储，将原始数据采样数据存放在溯源层，对溯源层数据进行分析，提取出状态矢量，并将其存储在矢量层中；通过这种方式，一方面使得相对少量的矢量数据被存放在矢量存储层，这不仅大大减少了在矢量序列基础上对数据查询和分析等所涉及到的数据量，而且有效降低了矢量数据存储层中数据更新的频率；另一方面，这种存储方法生成的函数矢量对应的运动轨迹比完全线性连接方法较准确，提高了准确率。