CN102279711A - 基于插件的实时数据存储方法及装置 - Google Patents

Abstract

本发明提供一种基于插件的实时数据存储方法及装置。基于插件的实时数据存储方法，包括：根据通讯协议，获取源数据对应的格式类型、接收类型和目标类型；根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址；根据格式类型，确定源数据解析所需的第二插件，通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据；存储裸数据。通过基于插件的实时数据存储方法能够同时存储不同格式的数据，简化数据存储过程并减少存储设备的使用量；另外，由于删除了数据中的实时传送协议只存储裸数据，避免大量的实时传送协议占用较多的存储空间，有效的提高了存储空间的利用率。

Description

基于插件的实时数据存储方法及装置

技术领域

 本发明涉及数据存储技术领域，尤其涉及一种基于插件的实时数据存储方法及装置。

背景技术

目前，随着计算机技术的不断发展，数据的类型越来越多，例如：视频数据或音频数据，而视频数据或音频数据又有多种不同的数据格式。现有技术中的存储设备只能对单一格式的数据进行存储，而对不同格式的数据需要增加相对应的存储设备进行单独存储。由上可知，现有技术中存储设备只能存储单一格式的数据，而无法同时存储不同格式的数据，导致不同格式的数据存储过程复杂，需占用大量存储设备。

发明内容

本发明提供一种基于插件的实时数据存储方法及装置，用以解决现有技术中不同格式的数据存储过程复杂，需占用大量存储设备的缺陷，实现基于插件的实时数据存储方法能够同时存储不同格式的数据，简化数据存储过程并减少存储设备的使用量。

本发明提供一种基于插件的实时数据存储方法，包括：

根据通讯协议，获取源数据对应的格式类型、接收类型和目标类型；

根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址；

根据格式类型，确定源数据解析所需的第二插件，通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据；

存储裸数据。

本发明提供的基于插件的实时数据存储方法，通过根据通讯协议获取源数据对应的格式类型、接收类型和目标类型，第一插件将根据接收类型确定数据对应的接收地址，从而可以接收不同数据源发出的数据；第二插件根据格式类型将对接收到的数据进行处理删除数据中的实时传送协议形成裸数据，从而便可以将裸数据进行统一存储，实现了基于插件的实时数据存储方法能够同时存储不同格式的数据，简化数据存储过程并减少存储设备的使用量。另外，由于删除了数据中的实时传送协议只存储裸数据，避免大量的实时传送协议占用较多的存储空间，有效的提高了存储空间的利用率。

本发明还提供一种基于插件的实时数据存储装置，包括：

获取模块，用于根据通讯协议，获取源数据对应的格式类型、接收类型和目标类型；

第一处理模块，用于根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址；

第二处理模块，用于根据格式类型，确定源数据解析所需的第二插件，通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据；

存储模块，用于存储裸数据。

本发明提供的基于插件的实时数据存储装置，通过获取源数据对应的格式类型、接收类型和目标类型，第一插件将根据接收类型确定数据对应的接收地址，从而可以接收不同数据源发出的数据；第二插件根据格式类型将对接收到的数据进行处理删除数据中的实时传送协议形成裸数据，从而便可以将裸数据进行统一存储，实现了基于插件的实时数据存储方法能够同时存储不同格式的数据，简化数据存储过程并减少存储设备的使用量。另外，由于删除了数据中的实时传送协议只存储裸数据，避免大量的实时传送协议占用较多的存储空间，有效的提高了存储空间的利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于插件的实时数据存储方法实施例的流程图；

图2为本发明基于插件的实时数据存储装置实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明基于插件的实时数据存储方法实施例的流程图。如图1所示，本实施例基于插件的实时数据存储方法，包括：

步骤1、根据通讯协议，获取源数据对应的格式类型、接收类型和目标类型。具体的，步骤1根据通讯协议，便可以得知源数据对应的格式类型、接收类型和目标类型。其中，通讯协议指的是用户与程序之间的通讯，用户通过web来指定源数据的格式类型、接收类型、目标类型、是否同时有音视频等参数。

步骤2、根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址。具体的，根据步骤1获得数据对应的接收类型，确定源数据对应的第一插件，从而设置第一插件对应的接收地址。具体分为如下几种情况：若源数据的接收类型以组播接收或单播接收，则创建第一插件为用户数据包协议（User Datagram Protocol，以下简称：UDP）插件，并通过第一插件设置源数据的接收端口号或组播地址；若源数据的接收类型以实时流传输协议（Real Time Streaming Protocol，以下简称：RTSP）接收，则创建第一插件为实时流传输协议（User Datagram Protocol，以下简称：UDP）插件，并通过第一插件设置源数据的接收实时流传输协议地址；若源数据的接收类型以超文本传输协议(Hyper Text Transfer Protocol ，以下简称：HTTP)接收，则创建第一插件为超文本传输协议插件，并通过第一插件设置源数据的接收超文本传输协议地址。

步骤3、根据格式类型，确定源数据解析所需的第二插件，通过第二插件解析源数据以去掉源数据的实时传送协议（Real-time Transport Protocol，以下简称：RTP）形成裸数据。具体的，通过步骤2得知数据的接收地址后，便可以接收不同数据源输出的数据，然后步骤3通过第二插件对接收到的数据进行处理以删除数据中的RTP形成裸数据。例如：数据源为h264编码的，就创建rtph264depay插件；如果是数据源为aac编码的，就创建rtpmp4gdepay插件等；创建方法可以是利用gstreamer提供的API接口，例如：gst_element_factory_make("rtph264depay", strName)，这些第二插件的作用都是为了去掉不同格式数据的RTP。优选的，步骤3可以具体为：判断源数据中是否同时含有视频数据和音频数据；若是，则将源数据拆分成视频数据和音频数据，并通过第二插件分别解析视频数据和音频数据以去掉相对应的实时传送协议形成视频裸数据和音频裸数据，然后将视频裸数据和音频裸数据合并为裸数据；若否，则通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据。通过分析数据中是否同时包含视频数据和音频数据，实现对视频数据和音频数据分别去除RTP，确保裸数据的形成。

步骤4、存储裸数据。具体的，步骤3将数据处理成裸数据后，通过步骤4将裸数据进行存储。为了提高存储设备的稳定性，步骤4可以根据负载均衡的原则存储裸数据，例如：可以将裸数据存储到存储局域网络（Storage Area Network，以下简称SAN）上，具体为：创建用于按自定义格式将裸数据存储到存储局域网络上的第三插件，以通过第三插件将裸数据存储到存储局域网络中；其中，第三插件按自定义格式将裸数据存储到SAN上的具体过程为：每路数据源输出的数据在SAN上对应一个目标器，当该路数据源需要存储时，要先在目标器中分隔512字节的存储空间作为设备头，目标器中其余的存储空间分隔为多个存储页，每个存储页中包含有多个存储块，每个存储块能够存储一分钟时间的裸数据，设备头中指明了存储页的总数、当前操作的存储页的序号、当前写入操作地址的偏移量信息；存储页的页头中指明当前存储页的开始时间，存储块的块头指明了当前存储块的偏移及当前存储块的写入时间。当进行写入操作时，会首先从设备头中读取出当前的页序号，再读取出当前偏移量，根据该偏移量定位到相应位置，创建存储块，写入块头信息即当前时间及偏移量，再写入裸数据，一分钟后，就结束该存储块，再回填块头中的块大小信息，然后再写下一个存储块，直到写满一个存储页，存储页满后，再写下一个存储页。本实施例基于插件的实时数据存储方法自定义的存储方式，既提高了磁盘利用率，也提高了历史媒体数据的检索效率。

进一步的，本实施例基于插件的实时数据存储方法，在步骤4之前可以还包括：步骤4a、根据目标类型，判断裸数据是否需要进行基本数据流转成传输数据流；步骤4b、若是，则对裸数据进行基本数据流向传输数据流转化。具体的，通过步骤4a和4b对裸数据进行处理，使存储到SAN中的裸数据均以传输数据流的格式进行存储。

本实施例基于插件的实时数据存储方法，通过获取源数据对应的格式类型、接收类型和目标类型，第一插件将根据接收类型确定数据对应的接收地址，从而可以接收不同数据源发出的数据；第二插件根据格式类型将对接收到的数据进行处理删除数据中的实时传送协议形成裸数据，从而便可以将裸数据进行统一存储，实现了基于插件的实时数据存储方法能够同时存储不同格式的数据，简化数据存储过程并减少存储设备的使用量。另外，由于删除了数据中的实时传送协议只存储裸数据，避免大量的实时传送协议占用较多的存储空间，有效的提高了存储空间的利用率。

图2为本发明基于插件的实时数据存储装置实施例的结构示意图。如图2所示，本实施例基于插件的实时数据存储装置，包括：

获取模块1用于根据通讯协议，获取源数据对应的格式类型、接收类型和目标类型；

第一处理模块2用于根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址；

第二处理模块3用于根据格式类型，确定源数据解析所需的第二插件，通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据；

存储模块4用于存储裸数据。

具体而言，本实施例基于插件的实时数据存储装置中各个模块的工作过程可以参见本发明基于插件的实时数据存储方法实施例中的记载，在此不再赘述。

本实施例基于插件的实时数据存储装置，通过获取源数据对应的格式类型、接收类型和目标类型，第一插件将根据接收类型确定数据对应的接收地址，从而可以接收不同数据源发出的数据；第二插件根据格式类型将对接收到的数据进行处理删除数据中的实时传送协议形成裸数据，从而便可以将裸数据进行统一存储，实现了基于插件的实时数据存储方法能够同时存储不同格式的数据，简化数据存储过程并减少存储设备的使用量。另外，由于删除了数据中的实时传送协议只存储裸数据，避免大量的实时传送协议占用较多的存储空间，有效的提高了存储空间的利用率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.、一种基于插件的实时数据存储方法，其特征在于，包括：

根据通讯协议，获取源数据对应的格式类型、接收类型和目标类型；

根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址；

根据格式类型，确定源数据解析所需的第二插件，通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据；

存储裸数据。

2.根据权利要求1所述的基于插件的实时数据存储方法，其特征在于，在所述存储裸数据之前，还包括：

根据目标类型，判断裸数据是否需要进行基本数据流转成传输数据流；

若是，则对裸数据进行基本数据流向传输数据流转化。

3.根据权利要求2所述的基于插件的实时数据存储方法，其特征在于，所述通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据，具体为：

判断源数据中是否同时含有视频数据和音频数据；

若是，则将源数据拆分成视频数据和音频数据，并通过第二插件分别解析视频数据和音频数据以去掉相对应的实时传送协议形成视频裸数据和音频裸数据，然后将视频裸数据和音频裸数据合并为裸数据；

若否，则通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据。

4.根据权利要求1-3任一所述的基于插件的实时数据存储方法，其特征在于，所述存储裸数据，具体为：

根据负载均衡的原则存储裸数据。

5.根据权利要求4所述的基于插件的实时数据存储方法，其特征在于，所述根据负载均衡的原则存储裸数据，具体为：

根据负载均衡的原则，将裸数据存储到存储局域网络上。

6.根据权利要求5所述的基于插件的实时数据存储方法，其特征在于，所述将裸数据存储到存储局域网络上，具体为：

创建用于按自定义格式将裸数据存储到存储局域网络上的第三插件，以通过第三插件将裸数据存储到存储局域网络中；

其中，第三插件按自定义格式将裸数据存储到存储局域网络上的具体过程为：每路数据源输出的数据在存储局域网络上对应一个目标器，当该路数据源需要存储时，要先在目标器中分隔512字节的存储空间作为设备头，目标器中其余的存储空间分隔为多个存储页，每个存储页中包含有多个存储块，每个存储块能够存储一分钟时间的裸数据，

设备头中指明了存储页的总数、当前操作的存储页的序号、当前写入操作地址的偏移量信息；存储页的页头中指明当前存储页的开始时间，存储块的块头指明了当前存储块的偏移及当前存储块的写入时间。

7.根据权利要求1所述的基于插件的实时数据存储方法，其特征在于，所述根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址，具体为：

若源数据的接收类型以组播接收或单播接收，则创建第一插件为用户数据包协议插件，并通过第一插件设置源数据的接收端口号或组播地址；

若源数据的接收类型以实时流传输协议接收，则创建第一插件为实时流传输协议插件，并通过第一插件设置源数据的接收实时流传输协议地址；

若源数据的接收类型以超文本传输协议接收，则创建第一插件为超文本传输协议插件，并通过第一插件设置源数据的接收超文本传输协议地址。

8.一种基于插件的实时数据存储装置，其特征在于，包括：

获取模块，用于根据通讯协议，获取源数据对应的格式类型、接收类型和目标类型；

第一处理模块，用于根据接收类型，确定源数据对应的第一插件，以通过第一插件确定源数据的接收地址；

第二处理模块，用于根据格式类型，确定源数据解析所需的第二插件，通过第二插件解析源数据以去掉源数据的实时传送协议形成裸数据；

存储模块，用于存储裸数据。

Images