CN111865324A - 数据的压缩和解压方法、装置、系统和存储装置 - Google Patents
数据的压缩和解压方法、装置、系统和存储装置 Download PDFInfo
- Publication number
- CN111865324A CN111865324A CN201911143070.1A CN201911143070A CN111865324A CN 111865324 A CN111865324 A CN 111865324A CN 201911143070 A CN201911143070 A CN 201911143070A CN 111865324 A CN111865324 A CN 111865324A
- Authority
- CN
- China
- Prior art keywords
- data
- difference
- group
- processing
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6058—Saving memory space in the encoder or decoder
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种数据压缩和解压方法，包括：获取原始数据，其中，原始数据为时序连续性数据；按照时间轴对原始数据进行预设次数的逐差处理，并记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据；从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据；对预处理数据进行压缩，得到压缩数据。通过上述方式，在压缩与解压过程中增加预处理与后处理环节，在针对时序连续性数据的压缩过程中，可以实现信息大量复用，提高时序连续性数据的压缩比和压缩效率。
Description
技术领域
本发明涉及数据压缩的技术领域，特别是涉及一种数据的压缩与解压缩方法与相关装置。
背景技术
数据压缩，就是将原始数据用最少的数码进行表示，以减小其内存；如今，数字化的多媒体信息的数据量特别庞大，如果不对其进行有效的压缩就难以得到实际的应用，现如今，常用的压缩方式是通过压缩工具直接对原始数据进行压缩。
而现有的压缩方式在对大量小波动时序数据进行压缩时，采用的压缩方法与大波动数据的压缩方法相同，都是直接对小波动时序数据进行压缩。
当对运动传感器这样每时每刻都会产生大量小波动的时序数据的设备所产生的数据直接进行压缩时，其压缩后的压缩比(Compression Ratio)较小，压缩后的数据所占存储空间较大，压缩效率较低。
发明内容
本发明提供一种数据的压缩与解压缩方法与装置，以解决现有技术中对大量连续性小波动的时序数据进行压缩后，其压缩比较小的问题。
为了解决上述技术问题，本发明提供了一种数据压缩方法，包括:获取原始数据，其中，原始数据为时序连续性数据；按照时间轴对原始数据进行预设次数的逐差处理，并记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据；从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据；对预处理数据进行压缩，得到压缩数据。
其中，获取到原始数据的步骤之后，按照时间轴对原始数据进行预设次数的逐差处理，记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤之前还包括：判断原始数据的最大绝对值是否大于预设的缩放阈值；若是，则对原始数据进行数据缩放处理，得到原始数据对应的缩放数据；按照时间轴对原始数据进行预设次数的逐差处理包括：按照时间轴对缩放数据进行预设次数的逐差处理。
其中，对原始数据进行数据缩放处理，得到原始数据对应的缩放数据的步骤具体包括：将原始数据按照缩放比例2n进行缩放，得到缩放数据；其中，2n小于最大绝对值，且，2n +1大于最大绝对值，n为整数。
其中，按照时间轴对原始数据进行预设次数的逐差处理，并记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括：依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据，并将差值数据确定为下一个时间点的第一差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第一差值数据，并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据；判断逐差处理的次数是否达到预设次数；如果达到预设次数，执行从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据的步骤。
其中，从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据的步骤包括：从预设组差值数据中挑选出包含重复数据最多的一组差值数据确定为有效数据最少的一组差值数据，并作为原始数据对应的预处理数据。
其中，原始数据为多轴传感器数据，按照时间轴对原始数据进行预设次数的逐差处理，并记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括：按照时间轴对原始数据的每一轴传感器数据进行对应轴的预设次数的逐差处理，记录预设次数的逐差处理后得到的每一轴对应的预设组差值数据，每次逐差处理的数据为上一次对应轴逐差处理的差值数据；从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据的步骤包括：分别从原始数据的每一轴对应的预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为轴对应的预处理数据。
为解决上述技术问题，本发明还提供了一种数据解压方法，包括：获取到待解压数据；其中，待解压数据是按照时间轴对原始数据进行预设次数的逐差处理，记录预设次数的逐差处理后得到的预设组差值数据，从预设组差值数据中挑选出有效数据最少的一组差值数据，并对有效数据最少的一组差值数据压缩后得到的；对待解压数据进行解压，得到解压数据；按照时间轴利用解压数据进行预处理的逆规则对解压数据进行还原处理，得到原始数据。
为解决上述技术问题，本发明还提供了一种数据压缩装置，包括：获取模块、处理模块以及压缩模块，获取模块用于获取到原始数据，其中，原始数据为时序连续性数据；处理模块用于按照时间轴对原始数据进行预设次数的逐差处理，记录每次逐差处理后得到的预设组差值数据；从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据；压缩模块用于对预处理数据进行压缩，得到压缩数据。
为解决上述技术问题，本发明还提供了一种数据解压装置，包括：获取模块、解压模块以及还原模块，获取模块用于获取到待解压数据，其中，待解压数据是按照时间轴对原始数据进行预设次数的逐差处理，记录预设次数的逐差处理后得到的预设组差值数据，从预设组差值数据中挑选出有效数据最少的一组差值数据，并对有效数据最少的一组差值数据压缩后得到的；解压模块用于对待解压数据进行解压，得到解压数据；还原模块用于按照时间轴利用解压数据进行预处理的逆规则对解压数据进行还原处理，得到原始数据。
为解决上述技术问题，本发明还提供了一种数据压缩系统，包括：处理器和存储器，存储器中存储有程序数据，处理器用于执行上述技术方案的压缩与解压方法。
为解决上述技术问题，本发明还提供了一种存储装置，存储装置存储有程序数据，程序数据能够被执行以实现上述技术方案的压缩与解压方法。
本发明的有益效果是：区别于现有技术的压缩方式，本发明通过在现有压缩方法中添加对应可逆的预处理与后处理环节，在针对时序连续数据时，可以实现信息大量复用，以提高压缩比和压缩效率，进一步地，压缩后的数据所占存储空间更小，可以提升空间利用率以及加快压缩数据的传输。
附图说明
图1是本发明提供的数据压缩方法一实施例的流程示意图；
图2是本发明提供的数据压缩方法又一实施例的流程示意图；
图3是本发明提供的数据解压方法一实施例的流程示意图；
图4是本发明提供的数据压缩装置一实施例的结构示意图；
图5是本发明提供的数据解压装置一实施例的结构示意图；
图6是本发明提供的数据压缩系统一实施例的结构示意图；
图7是本发明提供的存储装置一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的数据压缩方法一实施例的流程示意图，本实施例的数据压缩方法包括以下步骤：
S11：获取原始数据，其中，原始数据为时序连续性数据。
时序数据是指时间序列数据，时间序列数据是统一指按时间顺序记录的数据列，而时序连续性数据则是指在一段时间内，按照一定频率持续产生的时序数据。
而近几年，随着各种运动传感器的飞速发展，将运动传感器作为智能手机或智能运动手环的基础传感器时，它们在一段时间内产生的数据越来越多，产生数据的频率也越来越高，以便于准确记录使用者的位置数据或身体数据；像这样按照时间顺序记录的连续性数据，就是时序连续性数据。
可选地，在其中的一个实施方式中，时序连续性数据可以为多媒体数据，例如：视频数据或图片数据。
可选地，时序连续性数据为多轴传感器数据，如：TAA传感器(三轴加速度计)或SAG传感器(六轴陀螺仪)；当TAA传感器以60HZ的频率持续产生数据时，其在极短时间1/60秒内便会产生一组数据，每一组数据都由X轴、Y轴和Z轴数据组成，且每一秒则会按照时间顺序产生60组数据，这60组数据便是连续产生的时序数据。
在本实施例中，先获取到多个时序连续性的原始数据。
S12：按照时间轴对原始数据进行预设次数的逐差处理，并记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据。
在获取了时序连续性的原始数据之后，对其按照时间轴进行预设次数的逐差处理，并记录下每次逐差处理后得到的预设组数原始数据的多组差值数据。
其中，逐差处理的具体规则为：设置迭代阈值N，也就是预设次数或预设组数；依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据，并将差值数据确定为下一个时间点的第一差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第一差值数据，并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据；再按照时间轴顺序分别计算下一个时间点的第一组差值数据与上一个时间点的第一组差值数据的差值数据，并将差值数据确定为下一个时间点的第二差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第二差值数据，并将第一个时间点的原始数据与每个时间点对应的第二差值数据确定为第二次逐差处理的第二组差值数据。
同时，判断逐差处理的次数是否达到迭代阈值N，若逐差处理的次数没有达到迭代阈值N，则逐差处理继续进行，若逐差处理的次数达到了迭代阈值N，则逐差处理停止进行，其中，记录下每次逐差处理后得到的每组差值数据。其中，迭代阈值N为大于等于1的整数，其具体取值取决于实际应用的系统的计算力，可选地，迭代阈值N为5次、10次和100次等，在此不做限定。迭代阈值用于控制逐差处理步骤进行的次数。
以第一次逐差处理为例，按照时间轴设n组原始数据为：H1、H2、H3...Hn；Hn为第n组原始数据，按照逐差规则对其进行预处理后的差值数据为：H1、S2-1、S3-2...S[n-(n-1)]；其中，H为原始数据，S为下一时间点与上一时间点之间的差值数据；H1为基础数据，不发生变化，S2-1为H2减去H1的差值；S[n-(n-1)]为Hn减去H(n-1)的差值。该过程在后续逐差处理中以上一次逐差处理所得到的差值数据为原始数据，进一步进行逐差处理。
S13：从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据。
从上一步骤中记录下来的预设组差值数据中挑选出有效数据最少的一组差值数据，优选地，挑选范围还包括原始数据；其中有效数据最少的一组数据也就是包含重复数据最多的一组数据，在本实施例中，采用信息比对其定义，其中信息比是通过目标数据中有效集合个数除以原始数据中有效集合个数计算得出，有效集合个数是指数值去重后的数量统计。例如：在一组5个数据中：五个数据分别为：1、2、3、3以及3，则该组数据中的有效集合个数为3。
从原始数据的预设组数的差值数据中，挑选出信息比最小的那组数据，将其作为各个原始数据的预处理数据。
S14：对预处理数据进行压缩，得到压缩数据。
将经过预处理的数据与迭代缩放信息进行压缩，其中，压缩工具可根据实际需求任意选择，例如：Winrar和Snappy等压缩工具。
将预处理数据进行压缩后得到压缩数据，可选地，将压缩数据进行存储、上传至云端数据库或通过网络进行发送。
通过逐差处理的处理方式对时序连续性数据进行预处理再进行压缩，所获得的预处理数据中信息量较少，部分信息可以大量复用，提高了压缩效率与压缩比，进一步地，压缩后的数据所占存储空间更小，可以提升空间利用率以及加快压缩数据的传输。
请进一步参阅图2，图2是本发明提供的数据压缩方法又一实施例的流程示意图。
S21：获取到原始数据，其中，原始数据为时序连续性数据。
时序数据是指时间序列数据，时间序列数据是统一指标按时间顺序记录的数据列，而时序连续性数据则是指在一段时间内，按照一定频率持续产生的时序数据。
而近几年，随着各种运动传感器的飞速发展，将运动传感器作为智能手机或智能运动手环的基础传感器时，它们在一段时间内产生的数据越来越多，产生数据的频率也越来越高，以便于准确记录使用者的位置数据或身体数据；像这样按照时间顺序记录的连续性数据，就是时序连续性数据。
可选地，在其中的一个实施方式中，时序连续性数据可以为多媒体数据，例如：视频数据或图片数据。
可选地，时序连续性数据为多轴传感器数据，如：TAA传感器(三轴加速度计)或SAG传感器(六轴陀螺仪)；当TAA传感器以60HZ的频率持续产生数据时，其在极短时间1/60秒内便会产生一组数据，每一组数据都由X轴、Y轴和Z轴数据组成，且每一秒则会按照时间顺序产生60组数据，这60组数据便是连续产生的时序数据。
在本实施例中，先获取到时序连续性的原始数据。
S22：利用预设缩放规则对原始数据进行数据缩放处理。
对原始数据进行一定比例的缩放，以将原始数据的数值的范围进行缩小；通过设置缩放阈值S对时序性的原始数据进行缩放，可选地，缩放阈值S为2到10的整数，在本实施例中缩放阈值的值取为2。
同时，由于本发明针对的是时序连续性数据，其原始数据中包括有时间轴数据以区分每一时间点的原始数据，时间轴数据在本步骤中不做任何处理，也就是说时间轴数据的缩放比例为1。计算出每组原始数据的最大绝对值，每组原始数据的最大绝对值就是将各个原始数据在数轴上所对应的点到原点0之间的距离最大的原始数据为最大绝对值，不考虑原始数据的符号，最大绝对值为非负值。
将最大绝对值与缩放阈值S进行比较，若最大绝对值小于或等于缩放阈值S，则该最大绝对值对应的那组原始数据不做处理，也就是缩放比例为1；若最大绝对值大于缩放阈值S，则该绝对值对应的那组原始数据需要进行缩放，缩放的比例为2n，其中2n小于最大绝对值，2n+1大于最大绝对值，且n为整数。其中，2n可以被所有有理数除尽，以避免缩放过程中出现无限不循环小数，导致后续解压步骤中无法将待解压的数据进行还原的情况发生。其中，将数据进行缩小还是放大根据实际应用中数据数值判断，例如：若数值为8、9.1之类的数值，则选择对数据进行缩小，若数值为10-7、2*10-5之类的数据，则需选择对数据进行放大，以缩小数据的数值范围。
在本发明的一个实施例中，以一般智能手机的TAA(三轴加速度计)传感器为例，该传感器持续产生时序连续性的原始数据，如下表所示：
表1
对表1的原始数据进行缩放处理，其中，时间轴数据不做任何处理，计算出X轴数据的最大绝对值，从表1中可以看出，X轴数据中的最大绝对值为0.4，则将X轴的最大绝对值0.4与缩放阈值2进行对比，0.4小于2，则X轴的数据不做任何处理，也就是，其缩放比例为1。
计算Y轴数据的最大绝对值，从表1中可以看出，Y轴数据中的最大绝对值为7,可以看出最大绝对值7大于缩放阈值2，则Y轴数据需要进行缩放，计算其缩放比例，2n小于7，且n为整数，取最大值，则n取2，2n＝22＝4，也就是Y轴数据的缩放比例为4，其中，为了缩小数据范围，在本实施例中，Y轴数据是缩小4倍也就是Y轴数据都除以4。
计算Z轴数据的最大绝对值，表1中可以看出，Z轴数据中的最大绝对值为1.5，可以看出最大绝对值1.5小于缩放阈值2，则Z轴的数据不做任何处理，也就是，其缩放比例为1。
将原始数据进行缩放后得到缩放后的原始数据，如表2所示：
表2
S23：按照时间轴对原始数据进行预设次数的逐差处理，并记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据。
在获取了多个时序连续性的经过缩放的原始数据之后，对其按照时间轴进行预设次数的逐差处理，并记录下每次逐差处理后得到的缩放后的原始数据的每组差值数据。
其中，针对缩放后的原始数据的逐差处理的具体规则为：设置迭代阈值N，也就是预设次数或预设组数；依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据，并将差值数据确定为下一个时间点的第一差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第一差值数据，并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据；再按照时间轴顺序分别计算下一个时间点的第一组差值数据与上一个时间点的第一组差值数据的差值数据，并将差值数据确定为下一个时间点的第二差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第二差值数据，并将第一个时间点的原始数据与每个时间点对应的第二差值数据确定为第二次逐差处理的第二组差值数据。
同时，判断逐差处理的次数是否达到迭代阈值N，若逐差处理的次数没有达到迭代阈值N，则逐差处理继续进行，若逐差处理的次数达到了迭代阈值N，则逐差处理停止进行，其中，记录下每次逐差处理后得到的差值数据。其中，迭代阈值N为大于等于1的整数，其具体取值取决于实际应用的系统的计算力，可选地，迭代阈值N为5次、10次和100次等，在此不做限定。迭代阈值用于控制逐差处理步骤进行的次数。
以第一次逐差处理为例，按照时间轴设n组原始数据为：H1、H2、H3...Hn；Hn为第n组缩放后的原始数据，按照逐差处理对其进行预处理后的差值数据为：H1、S2-1、S3- 2...S[n-(n-1)]；其中，H为缩放后的原始数据，S为下一时间点与上一时间点之间的差值数据；H1为基础数据，不发生变化，S2-1为H2减去H1的差值；S[n-(n-1)]为Hn减去H(n-1)的差值。该过程在后续逐差处理中以上一次逐差处理所得到的差值数据为原始数据，进一步进行逐差处理。
以上一步骤中所列举的数据进行举例，设迭代阈值N为2，则进行完2次逐差处理的差值数据如下表所示：
表3
表4
表3中的数据为第一次逐差处理后的第一组差值数据，表4中的数据为第二次逐差处理后的第二组差值数据。第二组差值数据是在第一组差值数据的基础上进行逐差处理得来的。
S24：从预设组差值数据中挑选出有效数据最少的一组差值数据，并将有效数据最少的一组差值数据确定为原始数据对应的预处理数据。
对所有的差值数据进行挑选，优选地，挑选范围包括缩放后的原始数据，其中有效数据最少的一组数据也就是包含重复数据最多的一组数据，在本实施例中，采用信息比对其进行定义，其中信息比是通过目标数据中有效集合个数除以原始数据中有效集合个数计算得出，有效集合个数是指数值去重后的数量统计。
以表2中的缩放后的原始数据为例计算信息比，由于目标数据为缩放后的原始数据，则该信息比的计算就是缩放后的原始数据的有效集合个数与缩放后的原始数据的有效集合个数的比值，时间轴X、Y和Z轴对应的有效数据个数下表5所示：
表5
| 数据维度 | 时间轴 | X | Y | Z |
| 有效集合个数 | 7 | 6 | 6 | 5 |
| 信息比 | 1 | 1 | 1 | 1 |
其中，以Z轴数据进行举例，表2中7个Z轴数据中有3个(-0.01)，也就是有两个数据是重复的，只计算不一样的数据，也就是其有效集合个数为5。
计算出缩放后的原始数据与每一组差值数据的信息比，挑选出每一轴信息比最小的那组数据，如果同一数据在不同迭代次数的信息比相同，则选择迭代次数最小的那组数据。例如：若缩放后的原始数据中X轴数据的信息比最小，而第一组差值数据与第二组差值数据中Y轴数据的信息比相同且最小，第三组差值数据中Z轴数据信息比最小，第一组差值数据中时间轴数据的信息比最小，则最终挑选出第一组差值数据的时间轴数据与Y轴数据、缩放后的原始数据中的X轴数据以及第三组差值数据中的Z轴数据，形成预处理数据。并结合上一步骤中的缩放比例建立迭代缩放信息，以方便后续还原步骤对上述数据进行还原。上述例子的迭代缩放信息如下表所示：
表6
| 数据维度 | 时间轴 | X | Y | Z |
| 最优迭代批次 | 1 | 0 | 1 | 3 |
| 缩放比例 | 1 | 1 | 4 | 1 |
表6中的数据表示：时间轴数据不缩放，差值迭代1次；X轴数据不缩放，差值迭代0次(指缩放后的原始数据)；Y轴缩放4倍，原始数据差值迭代1次；Z轴数据不缩放，差值迭代3次。
可以从上述实施例中看出，当针对时序连续性数据进行本步骤的预处理时，先对数据进行缩放，缩小数据数值范围，再进行多次逐差处理，并挑选出X轴、Y轴和Z轴信息比最小也就是信息复用最多的那组数据，以减少信息量，提高压缩效果，大大提高数据的压缩比。
S25：对预处理数据进行压缩，得到压缩数据。
将经过预处理的数据与迭代缩放信息进行压缩，其中，压缩工具可根据实际需求任意选择，例如：Winrar和Snappy等压缩工具。
将预处理数据进行压缩后得到压缩数据，可选地，将压缩数据进行存储、上传至云端数据库或通过网络进行发送。
通过数据缩放、逐差处理以及挑选信息比的处理方式对时序连续性数据进行预处理再进行压缩，所获得的预处理数据中信息量较少，部分信息可以大量复用，提高了压缩效率与压缩比，进一步地，压缩后的数据所占存储空间更小，可以提升空间利用率以及加快压缩数据的传输。
请进一步参阅图3，图3是本发明提供的数据解压方法一实施例的流程示意图。
S31：获取到待解压数据；其中，待解压数据是按照时间轴对原始数据进行预设次数的逐差处理，记录预设次数的逐差处理后得到的预设组差值数据，从预设组差值数据中挑选出有效数据最少的一组差值数据，并对有效数据最少的一组差值数据压缩后得到的。
具体的，先获取到待解压数据，该待解压数据是由上述实施例中，对原始数据进行缩放处理和预设次数的逐差处理后得到预设组数的差值数据，并从预设组数的差值数据中挑选出的有效数据最少的一组差值数据，将其确定为原始数据对应的预处理数据，并对预处理数据进行压缩得到的压缩数据，在此不再限定。
S32：对待解压数据进行解压，得到解压数据。
通过解压工具对待解压数据进行解压，其中，解压工具可根据实际需求任意选择，例如：Winrar和Snappy等解压工具，在此不作限定。
在本实施例中，解压数据与压缩前步骤中的预处理数据相同。
S33：按照时间轴利用解压数据进行预处理的逆规则对解压数据进行还原处理，得到原始数据。
以解压数据为基础，根据压缩步骤中的迭代缩放信息对解压数据分别依次进行还原，其中，先进行逐差处理的还原，其中，预设差值规则的逆规则为：当还原第n组数据时，以解压数据为基础，将第一组数据加上第n组解压数据之间所有的数据差值，以得到累加的第N组数据，用公式表示为：
Hn＝H1+S(2-1)+S(3-1)+...+S[n-(n-1)]；
其中，Hn表示第n组还原数据，S[n-(n-1)]表示还原数据对应的最近一组的第n组差值数据减去第n-1组差值数据的差值，也就是第n组压缩数据，同样，以上述实施例所举的对应的TAA(三轴加速度计)传感器数据为例进行还原说明，获取的第一解压数据，第一解压数据与压缩步骤中的预处理数据完全相同，先按照逐差处理的逆规则也就是Hn＝H1+S(2-1)+S(3-1)+...+S[n-(n-1)]公式对解压数据进行还原处理，得到还原的缩放后的原始数据，其中每一轴的数据的迭代次数可能不一样，根据其迭代缩放信息中的迭代次数对该轴数据进行对应次数的还原处理，例如上一实施例中迭代缩放信息中Z轴数据迭代了3次，侧还原处理中对Z轴数据进行3次累加后处理，而X轴数据迭代了0次，则对X轴数据进行0层累加后处理，也就是不处理。
将还原的缩放后的原始数据再进行缩放还原处理，压缩步骤中，缩小的数据在本步骤中得到同等比例的放大，放大的数据在本步骤中得到同等比例的缩小，将本实施例中的第一组差值数据按照压缩步骤中的缩放比例进行还原，例如上一实施例中Y轴数据缩小了4倍，则还原处理中将Y轴数据放大4倍，最终获得原始数据。
通过上述方式进行解压与后处理，可以将上述实施例中压缩方法进行压缩的压缩数据完全还原成原始数据，以完善本发明提供的数据压缩方法对应的解压方式。
请进一步参阅图4，图4是本发明提供的数据压缩装置的一实施例结构示意图。
数据压缩装置包括获取模块31、处理模块32以及压缩模块33。
其中，获取模块31用于获取到原始数据；其中，原始数据为时序连续性数据。
时序数据是指时间序列数据，时间序列数据是同一统一指标按时间顺序记录的数据列，而时序连续性数据则是指在一段时间内，按照一定频率持续产生的时序数据；而按照时间顺序产生的连续性数据，就是时序连续性数据。
可选地，时序连续性数据为多媒体数据，例如：视频数据或图片数据。
可选地，时序连续性数据为多轴传感器数据，例如TAA传感器(三轴加速度计)或SAG传感器(六轴陀螺仪)。
处理模块32用于对原始数据进行一定比例的缩放，以将原始数据的数值的范围进行缩小；并通过设置缩放阈值S对时序性的原始数据进行缩放。再按照时间轴进行预设次数的逐差处理，并记录下每次逐差处理后的到的预设组数的差值数据，并从预设组数的差值数据中挑选出有效信息最少的一组差值数据，并进行压缩。
将原始数据的最大绝对值与缩放阈值S进行比较，若最大绝对值小于或等于缩放阈值S，则该最大绝对值对应的那组原始数据不做处理，也就是缩放比例为1；若最大绝对值大于缩放阈值S，则该绝对值对应的那组原始数据需要进行缩放，缩放的比例为2n，其中2n小于最大绝对值，2n+1大于最大绝对值，且n为整数。
其中，逐差处理的具体规则为：设置迭代阈值N，也就是预设次数或预设组数；依次按照时间轴分别计算原始数据下一个时间点与上一个时间点的差值数据，并将差值数据确定为下一个时间点的第一差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第一差值数据，并将第一个时间点的原始数据与每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据；再按照时间轴顺序分别计算下一个时间点的第一组差值数据与上一个时间点的第一组差值数据的差值数据，并将差值数据确定为下一个时间点的第二差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第二差值数据，并将第一个时间点的原始数据与每个时间点对应的第二差值数据确定为第二次逐差处理的第二组差值数据。
同时，处理模块32判断逐差处理的次数是否达到迭代阈值N，若逐差处理的次数没有达到迭代阈值N，则逐差处理继续进行，若逐差处理的次数达到了迭代阈值N，则逐差处理停止进行，其中，记录下每次逐差处理后得到的差值数据。其中，迭代阈值N为大于等于1的整数，其具体取值取决于实际应用的系统的计算力，可选地，迭代阈值N为5次、10次和100次等，在此不做限定。迭代阈值用于控制逐差处理步骤进行的次数。
压缩模块33用于对预处理数据进行压缩，得到压缩数据。
将经过预处理的数据进行压缩，其中，压缩工具可根据实际需求任意选择，例如：Winrar和Snappy等压缩工具。
将预处理数据进行压缩后得到压缩数据，可选地，将压缩数据进行存储、上传至云端数据库或通过网络进行发送。
通过预设次数的逐差处理对时序连续性数据进行预处理再进行压缩的方式，所获得的预处理数据中信息量较少，部分信息可以大量复用，提高了压缩效率与压缩比，进一步地，压缩后的数据所占存储空间更小，可以提升空间利用率以及加快压缩数据的传输。
请进一步参阅图5，图5是本发明提供的数据解压装置一实施例的结构示意图。
数据解压装置包括获取模块41、解压模块42以及还原模块43。
其中，获取模块41用于获取到待解压数据；其中，待解压数据是对原始数据进行缩放处理，记录预设次数的逐差处理后得到的预设组差值数据，每次逐差处理的数据为上一次逐差处理得到的差值数据，从原始数据的多预设组数的差值数据中挑选出有效数据最少的一组差值数据，并对有效数据最少的一组差值数据进行压缩后得到的。
解压模块42用于对待解压数据进行解压，得到解压数据。
解压模块42通过解压工具对待解压数据进行解压，其中，解压工具可根据实际需求任意选择，例如：Winrar和Snappy等解压工具。
在本实施例中，解压数据与压缩前步骤中的预处理数据相同。
还原模块43用于按照时间轴利用缩放处理和预设次数的逐差处理的逆规则对解压数据进行还原处理，得到原始数据。
还原模块43按照时间轴利用预设次数的逐差处理的逆规则对解压数据进行还原处理，得到原始数据，其中，逐差处理的逆规则为：当还原第n组数据时，以第一组解压数据为基础，将第一组数据加上第n组解压数据之间所有的数据差值，以得到原始的第N组数据，用公式表示为：
Hn＝H1+S(2-1)+S(3-1)+...+S[n-(n-1)]；
其中，Hn表示第n组还原数据，S[n-(n-1)]表示还原数据对应的最近一组的第n组差值数据减去第n-1组差值数据的差值，也就是第n组压缩数据。
将经过累加后处理的数据在进行缩放处理的逆规则进行还原，而缩放处理的逆规则就是将再压缩步骤中进行缩小的数据进行同比放大，进行放大的数据进行同等缩小，以获得原始数据。
还原模块43通过上述方式对解压数据进行还原处理，以获得与原始数据相同的最终还原数据。
基于同样的发明构思，本发明还提出了一种数据压缩系统，该数据压缩系统能够被执行以实现上述任一实施例的数据压缩方法，请参阅图6，图6是本发明提供的数据压缩系统一实施例的结构示意图，数据压缩系统包括处理器51以及存储器52。
其中存储器52用于存储原始数据、预处理数据以及压缩数据。
处理器51用于对原始数据进行数据缩放预处理，得到原始数据对应的缩放后的原始数据；再对缩放后的原始数据进行预设次数逐差处理，每次逐差处理都得到缩放后的预设组数的差值数据，并从预设组数的差值数据中进行挑选，挑选出有效数据最少的一组差值数据，并确定为预处理数据；最后将预处理完毕的预处理数据进行压缩处理。
或，处理器51用于获取到待解压数据；其中，待解压数据是按照时间轴先利用预设规则对原始数据进行缩放处理、逐差处理以及挑选处理，并进行压缩后得到的；对待解压数据进行解压，得到解压数据；按照时间轴利用预设次数的逐差处理与缩放处理的逆规则对解压数据进行还原处理，得到原始数据。
基于同样的发明构思，本发明还提出了一种存储装置，请参阅图7，图7是本发明提供的存储装置一实施例的结构示意图。存储装置60中存储有程序数据61，程序数据61可以为程序或指令。
程序数据61能够执行获取原始时序连续性数据；按照时间轴对原始数据进行数据缩放、逐差处理和数据挑选的预处理，得到原始数据对应的预处理数据；对预处理数据进行压缩，得到压缩数据。
或，程序数据61能够执行获取到待解压数据；其中，待解压数据是对原始数据进行数据缩放、逐差处理和数据挑选的预处理并进行压缩后得到的；对待解压数据进行解压，得到解压数据；按照时间轴利用缩放处理与预设次数的逐差处理的逆规则对解压数据进行还原处理，得到原始数据。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据压缩方法，其特征在于，所述数据压缩方法包括：
获取原始数据，其中，所述原始数据为时序连续性数据；
按照时间轴对所述原始数据进行预设次数的逐差处理，并记录所述预设次数的逐差处理后得到的预设组差值数据，所述每次逐差处理的数据为上一次逐差处理得到的差值数据；
从所述预设组差值数据中挑选出有效数据最少的一组差值数据，并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据；
对所述预处理数据进行压缩，得到压缩数据。
2.根据权利要求1所述的数据压缩方法，其特征在于，所述获取到原始数据的步骤之后，所述按照时间轴对所述原始数据进行预设次数的逐差处理，记录所述预设次数的逐差处理后得到的预设组差值数据，所述每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤之前还包括：
判断所述原始数据的最大绝对值是否大于预设的缩放阈值；
若是，则对所述原始数据进行数据缩放处理，得到所述原始数据对应的缩放数据；
所述按照时间轴对所述原始数据进行预设次数的逐差处理包括：
按照时间轴对所述缩放数据进行预设次数的逐差处理。
3.根据权利要求2所述数据压缩方法，其特征在于，所述对所述原始数据进行数据缩放处理，得到所述原始数据对应的缩放数据的步骤具体包括：
将所述原始数据按照缩放比例2n进行缩放，得到所述缩放数据；其中，2n小于所述最大绝对值，且，2n+1大于所述最大绝对值，n为整数。
4.根据权利要求1所述的数据压缩方法，其特征在于，所述按照时间轴对所述原始数据进行预设次数的逐差处理，并记录所述预设次数的逐差处理后得到的预设组差值数据，所述每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括：
依次按照所述时间轴分别计算所述原始数据下一个时间点与上一个时间点的差值数据，并将所述差值数据确定为所述下一个时间点的第一差值数据，以第一个时间点的原始数据为基础，记录每个时间点对应的第一差值数据，并将所述第一个时间点的原始数据与所述每个时间点对应的第一差值数据确定为第一次逐差处理的第一组差值数据；
判断所述逐差处理的次数是否达到所述预设次数；
如果达到所述预设次数，执行所述从所述预设组差值数据中挑选出有效数据最少的一组差值数据，并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据的步骤。
5.根据权利要求1所述的数据压缩方法，其特征在于，所述从所述预设组差值数据中挑选出有效数据最少的一组差值数据，并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据的步骤包括：
从所述预设组差值数据中挑选出包含重复数据最多的一组差值数据确定为所述有效数据最少的一组差值数据，并作为所述原始数据对应的预处理数据。
6.根据权利要求1～5任一项所述的数据压缩方法，其特征在于，所述原始数据为多轴传感器数据，
所述按照时间轴对所述原始数据进行预设次数的逐差处理，并记录所述预设次数的逐差处理后得到的预设组差值数据，所述每次逐差处理的数据为上一次逐差处理得到的差值数据的步骤包括：
所述按照时间轴对所述原始数据的每一轴传感器数据进行对应轴的预设次数的逐差处理，记录所述预设次数的逐差处理后得到的每一轴对应的预设组差值数据，每次逐差处理的数据为上一次对应轴逐差处理的差值数据；
所述从所述预设组差值数据中挑选出有效数据最少的一组差值数据，并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据的步骤包括：
分别从所述原始数据的每一轴对应的预设组差值数据中挑选出有效数据最少的一组差值数据，并将所述有效数据最少的一组差值数据确定为所述轴对应的预处理数据。
7.一种数据解压方法，其特征在于，所述数据解压方法包括：
获取到待解压数据；其中，所述待解压数据是按照时间轴对原始数据进行预设次数的逐差处理，记录所述预设次数的逐差处理后得到的预设组差值数据，从所述预设组差值数据中挑选出有效数据最少的一组差值数据，并对所述有效数据最少的一组差值数据压缩后得到的；
对所述待解压数据进行解压，得到解压数据；
按照时间轴利用所述解压数据进行预处理的逆规则对所述解压数据进行还原处理，得到所述原始数据。
8.一种数据压缩装置，其特征在于，所述压缩装置包括：获取模块、处理模块以及压缩模块，
所述获取模块用于获取到原始数据，其中，原始数据为时序连续性数据；
所述处理模块用于按照时间轴对所述原始数据进行预设次数的逐差处理，记录每次逐差处理后得到的预设组差值数据；从所述预设组差值数据中挑选出有效数据最少的一组差值数据，并将所述有效数据最少的一组差值数据确定为所述原始数据对应的预处理数据；
所述压缩模块用于对所述预处理数据进行压缩，得到压缩数据。
9.一种数据压缩系统，其特征在于，所述数据压缩系统包括：处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行如权利要求1-6任一项所述的压缩方法或权利要求7所述的数据解压方法。
10.一种存储装置，其特征在于，所述存储装置存储有程序数据，所述程序数据能够被执行以实现如权利要求1-6任一项所述的压缩方法或权利要求7所述的数据解压方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911143070.1A CN111865324B (zh) | 2019-11-20 | 2019-11-20 | 数据的压缩和解压方法、装置、系统和存储装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911143070.1A CN111865324B (zh) | 2019-11-20 | 2019-11-20 | 数据的压缩和解压方法、装置、系统和存储装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111865324A true CN111865324A (zh) | 2020-10-30 |
| CN111865324B CN111865324B (zh) | 2021-08-24 |
Family
ID=72970889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911143070.1A Active CN111865324B (zh) | 2019-11-20 | 2019-11-20 | 数据的压缩和解压方法、装置、系统和存储装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111865324B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614519A (zh) * | 2021-01-05 | 2021-04-06 | 中国人民解放军国防科技大学 | 基于时序逻辑的大数据压缩方法及复盘播放方法 |
| CN113613289A (zh) * | 2021-08-02 | 2021-11-05 | 尧米(重庆)智能科技有限公司 | 一种蓝牙数据传输方法、系统及通信设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140236005A1 (en) * | 2011-08-26 | 2014-08-21 | University Of Pittsburgh-Of The Commonwealth Systems Of Higher Education | Contrast assisted intravascular ultrasound imaging |
| CN105530013A (zh) * | 2015-12-03 | 2016-04-27 | 四川中光防雷科技股份有限公司 | 一种波形数据压缩方法与系统 |
| CN109581502A (zh) * | 2018-10-26 | 2019-04-05 | 中国石油天然气集团有限公司 | 地震勘探数据压缩方法、装置以及压缩存储结构 |
| US10277247B1 (en) * | 2018-04-11 | 2019-04-30 | Bae Systems Information And Electronic Systems Integration Inc. | Stateful compression scheme for efficient packing of kinematic data |
-
2019
- 2019-11-20 CN CN201911143070.1A patent/CN111865324B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140236005A1 (en) * | 2011-08-26 | 2014-08-21 | University Of Pittsburgh-Of The Commonwealth Systems Of Higher Education | Contrast assisted intravascular ultrasound imaging |
| CN105530013A (zh) * | 2015-12-03 | 2016-04-27 | 四川中光防雷科技股份有限公司 | 一种波形数据压缩方法与系统 |
| US10277247B1 (en) * | 2018-04-11 | 2019-04-30 | Bae Systems Information And Electronic Systems Integration Inc. | Stateful compression scheme for efficient packing of kinematic data |
| CN109581502A (zh) * | 2018-10-26 | 2019-04-05 | 中国石油天然气集团有限公司 | 地震勘探数据压缩方法、装置以及压缩存储结构 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614519A (zh) * | 2021-01-05 | 2021-04-06 | 中国人民解放军国防科技大学 | 基于时序逻辑的大数据压缩方法及复盘播放方法 |
| CN113613289A (zh) * | 2021-08-02 | 2021-11-05 | 尧米(重庆)智能科技有限公司 | 一种蓝牙数据传输方法、系统及通信设备 |
| CN113613289B (zh) * | 2021-08-02 | 2024-03-22 | 重庆优米工业自动化设备有限公司 | 一种蓝牙数据传输方法、系统及通信设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111865324B (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113132723B (zh) | 一种图像压缩方法及装置 | |
| KR102793134B1 (ko) | 컨볼루션 신경망의 가지-치기 및 재훈련 방법 | |
| CN113222855B (zh) | 一种图像恢复方法、装置和设备 | |
| CN111105375B (zh) | 图像生成方法及其模型训练方法、装置及电子设备 | |
| US20180046898A1 (en) | Zero Coefficient Skipping Convolution Neural Network Engine | |
| AU2017239592B2 (en) | Deep temporal preserving recurrent neural network for video representation learning | |
| CN107480770A (zh) | 可调节量化位宽的神经网络量化与压缩的方法及装置 | |
| JP6554253B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| CN112219210B (zh) | 信号处理装置和信号处理方法 | |
| US11822900B2 (en) | Filter processing device and method of performing convolution operation at filter processing device | |
| CN111985617A (zh) | 3d卷积神经网络在神经网络处理器上的处理方法和装置 | |
| CN111865324A (zh) | 数据的压缩和解压方法、装置、系统和存储装置 | |
| CN118245206A (zh) | 稀疏稠密矩阵数据的并行处理方法与系统 | |
| CN116304677B (zh) | 模型的通道剪枝方法、装置、计算机设备和存储介质 | |
| CN111985618A (zh) | 3d卷积神经网络在神经网络处理器上的处理方法和装置 | |
| CN113516506B (zh) | 一种数据处理方法、装置及电子设备 | |
| WO2023006170A1 (en) | Devices and methods for providing computationally efficient neural networks | |
| CN111651623B (zh) | 高精度人脸表情库的构建方法、装置、设备及存储介质 | |
| CN113486939A (zh) | 一种处理图片的方法、装置、终端及存储介质 | |
| CN103238175B (zh) | 图像处理装置、图像处理方法 | |
| CN115034351B (zh) | 数据处理方法、卷积神经网络训练方法、装置和fpga | |
| JP2021144428A (ja) | データ処理装置、データ処理方法 | |
| CN104837027B (zh) | 一种分像素的运动估计方法和装置 | |
| CN111773700B (zh) | 一种动画数据的处理方法和装置 | |
| Lee et al. | Fast on-device learning framework for single-image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201030 Assignee: Yan Meng Assignor: Mashang Consumer Finance Co.,Ltd. Contract record no.: X2025980014736 Denomination of invention: Data compression and decompression methods, devices, systems, and storage devices Granted publication date: 20210824 License type: Open License Record date: 20250725 |
|
| EE01 | Entry into force of recordation of patent licensing contract |