CN109769002A - 一种基于区块链技术的分布式协同物联网异常检测方法 - Google Patents
一种基于区块链技术的分布式协同物联网异常检测方法 Download PDFInfo
- Publication number
- CN109769002A CN109769002A CN201910217249.0A CN201910217249A CN109769002A CN 109769002 A CN109769002 A CN 109769002A CN 201910217249 A CN201910217249 A CN 201910217249A CN 109769002 A CN109769002 A CN 109769002A
- Authority
- CN
- China
- Prior art keywords
- chain
- local
- internet
- anomaly detection
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 7
- 230000007704 transition Effects 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 abstract description 49
- 238000000034 method Methods 0.000 abstract description 18
- 238000007689 inspection Methods 0.000 abstract description 2
- 230000003542 behavioural effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
Abstract
一种基于区块链技术的分布式协同物联网异常检测方法，属于互联网底层技术领域。方法包括：创建模型：物联网设备创建本地异常检测模型；收集情报：物联网设备收集本地应用程序并利用本地异常检测模型检测本地应用程序是否有异常，若未发出警报，则更新本地异常检测模型；发送情报：物联网设备向链的部分区块添加ML，并广播给区块链网络的其他物联网设备；接收情报：其他物联网设备验证添加ML的链符合接收条件，其他物联网设备的链中的块被添加ML的链的块全部替换；共享情报：物联网设备将更新的本地链的报告广播给其他物联网设备。本发明使用区块链协议在相同类型的设备之间协作，并基于本地观察到的行为训练各自的异常检测模型，避免异常误报。
Description
技术领域
本发明涉及互联网底层技术领域，尤其涉及一种基于区块链技术的分布式协同物联网异常检测方法。
背景技术
物联网（IOT）设备已成为日常生活的核心，但是往往有许多漏洞可以被攻击者利用。无监督技术（例如异常检测）虽然可以帮助我们保护物联网设备，但必须长时间训练异常检测模型以捕获所有良性行为。而且这种方法容易受到对抗性攻击，因为在训练异常检测模型时，所有观察都被认为是良性的。如果异常检测模型仅针对少数设备的观察进行训练，则可能会出现误报。如发明专利申请CN201711032284.2“基于one-hot编码机制的无监督异常访问检测方法及装置”存在上述问题。
基于上述背景，提出了一个轻量级、可拓展的框架，基于区块链技术再资源有限的物联网设备上执行分布式和协作异常检测方法。所有相同类型的物联网设备同时开始基于他们自己的本地观察到的行为来训练他们自己的异常检测模型。
发明内容
本发明针对现有技术存在的问题，提出了一种基于区块链技术的分布式协同物联网异常检测方法，使用区块链协议在相同类型的设备之间协作，通过将本地训练的模型合并为单个全局模型来创建可信异常检测模型。数据块是来自不同设备的一组本地训练的模型，每个设备通过合并模型和执行自我证明来验证正在进行的数据块的完整性。
本发明是通过以下技术方案得以实现的：
本发明一种基于区块链技术的分布式协同物联网异常检测方法，包括：
创建模型：物联网设备创建本地异常检测模型ML；
收集情报：物联网设备收集本地应用程序并利用本地异常检测模型ML检测本地应用程序是否有异常，若本地异常检测模型ML未发出警报，则更新本地异常检测模型；
发送情报：物联网设备向链的部分区块添加ML，将添加ML的链发送到区块链网络，以广播方式广播给区块链网络的其他物联网设备；
接收情报：其他物联网设备在验证添加ML的链符合接收条件时，则其他物联网设备的链中的块被发送来添加ML的链的块全部替换，否则其他物联网设备的链中的块被发送来添加ML的链的部分块局部替换；
共享情报：物联网设备将更新的本地链的报告以广播方式广播给区块链网络的其他物联网设备。
作为优选，所述收集情报步骤还包括：检测本地异常检测模型ML是否为从链中下载的组合模型，若是则执行本地异常检测模型ML，否则对本地异常检测模型ML进行训练，在训练一定时间后执行本地异常检测模型ML。
作为优选，所述发送情报步骤中广播由物联网设备的私钥签名后广播给其他物联网设备；所述接收情报步骤通过公钥解密接收的情报。
作为优选，所述接收情报步骤具体包括：
其他物联网设备接收到链时，检查接收到的链是否长于本地链，并且是否包含有效签名，若上述接收条件均符合是，则本地链的块被接收到的链的块替换，并且最后完成的块用于形成替换本地异常检测模型ML的组合模型，否则，本地链的块被接收到的链的部分块替换。
作为优选，所述接收情报步骤还包括：如果本地链的部分块具有完成报告，则将此作为已完成的块关闭；物联网设备将替换本地异常检测模型ML为最新闭合块中包含的组合模型。
作为优选，方法还包括：本地异常检测模型ML跟踪本地应用程序的常规内存跳转序列，检测Mij小于Pth时，本地应用程序发生异常，否则异步递增Nij；Mij为在任何给定时间t从状态i转换为状态j的概率，Pth为用户定义的概率，Nij为从状态i到状态j发生的转变数量，等待发生控制流事件。
作为优选，应用程序的控制流由硬件计数器异步捕获。
本发明具有以下有益效果：
本发明一种基于区块链技术的分布式协同物联网异常检测方法，基于区块链技术在资源有限的物联网设备上执行分布式和协作异常检测。所有相同类型的物联网设备同时开始基于他们自己的本地观察到的行为来训练他们自己的异常检测模型。
附图说明
图1为本发明一种基于区块链技术的分布式系统物联网异常检测方法的流程图；
图2为代理应用程序协调异步处理示意图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如图1，本发明一种基于区块链技术的分布式协同物联网异常检测方法，包括创建模型、收集情报、发送情报、接收情报、共享情报。
所述创建模型步骤包括：物联网设备创建本地异常检测模型ML。每个物联网设备都有一个代理，该代理维护一个本地异常检测模型ML，用于检测特定应用程序中的恶意行为。本地异常检测模型ML可利用现有的异常检测算法构建，如首先用正态分布拟合数据集（当数据集的数据来自计算机的监控数据，则其包括延迟和吞吐量两个特征），数据集包括3个key：X，Xval，Yval；X是训练数据；Xval是验证集；Yval中的数据均为01，对应Xval中的数据是否异常，异常为1，正常为0。当拟合后的数据集符合正态分布，不用进行其他处理。之后，计算样本的联合概率密度，即得到延迟和吞吐量两个特征的概率密度。接着，找到合适的阈值，通过验证集得到。最后，通过阈值进行异常检测。
所述收集情报步骤包括：物联网设备收集本地应用程序并利用本地异常检测模型ML检测本地应用程序是否有异常，若本地异常检测模型ML未发出警报，则更新本地异常检测模型。例如，物联网设备收集英特尔（Intel）本地应用程序，并使用本地异常检测模型ML持续检测英特尔中的一场，如果ML未发出警报，则设备会更新ML以支持新的Intel。考虑到本地异常检测模型ML存在多种可能，包括本地异常检测模型ML为从链中下载的组合模型或不是从链中下载的组合模型而是一个新模型。此种情况下，所述收集情报步骤还包括：检测本地异常检测模型ML是否为从链中下载的组合模型，若是则执行本地异常检测模型ML，否则对本地异常检测模型ML进行训练，在训练一定时间后执行本地异常检测模型ML。在这种情况下，ML将无条件地从所有英特尔进行短暂的培训。如果被感染，这个短暂的时期不会影响其他代理商，因为只有经过大多数代理商的物联网设备验证才能接受广播信息。
所述发送情报步骤包括：物联网设备向链的部分区块添加ML，将添加ML的链发送到区块链网络，以广播方式广播给区块链网络的其他物联网设备。所述发送情报步骤中广播由物联网设备的私钥签名后广播给其他物联网设备。后续，所述接收情报步骤通过公钥解密接收的情报。
所述接收情报步骤包括：其他物联网设备在验证添加ML的链符合接收条件时，则其他物联网设备的链中的块被发送来添加ML的链的块全部替换，否则其他物联网设备的链中的块被发送来添加ML的链的部分块局部替换。具体地，其他物联网设备接收到链时，检查接收到的链是否长于本地链，并且是否包含有效签名，若上述接收条件均符合是，则本地链的块被接收到的链的块替换，并且最后完成的块用于形成替换本地异常检测模型ML的组合模型，否则，本地链的块被接收到的链的部分块替换。例如，当本地代理A（本地物联网设备）从代理B（其他物联网设备）接收链CB时，A检查CB是否长于CA并且包含有效签名。如果这些条件成立，则CA中的块被CB中的块替换，并且最后完成的块用于形成替换ML的组合模型。如果不成立，则使用来自CB的部分块更新CA。在验证过程中，一方面需要验证链的长度，另一方面需要验证签名，该签名通过公钥解密后验证。为了确保广播确实来自特定的代理人，记录广播信息由私钥签名并用相应公钥进行验证。另外，所述接收情报步骤还包括：如果本地链的部分块具有完成报告，则将此作为已完成的块关闭；物联网设备将替换本地异常检测模型ML为最新闭合块中包含的组合模型。
所述共享情报步骤包括：物联网设备将更新的本地链的报告以广播方式广播给区块链网络的其他物联网设备。代理每隔T时间过去一次，代理在本地存储链的部分块中更新其报告。然后，代理将整个本地存储的链广播到所有相邻代理。
如图2，本发明方法还包括：本地异常检测模型ML跟踪本地应用程序的常规内存跳转序列，检测Mij小于Pth时，本地应用程序发生异常，否则异步递增Nij；Mij为在任何给定时间t从状态i转换为状态j的概率，Pth为用户定义的概率，Nij为从状态i到状态j发生的转换次数，等待发生控制流事件。
异常检测模型跟踪程序的常规内存跳转序列，可以逐步更新并与其他模型合并。异常检测模型是无记忆过程，即在时间t的转变概率仅取决于时间t的状态而不是导致该状态的任何状态的过程。通常，MC被表示为相邻矩阵M，使得Mij存储在任何给定时间t从状态i转换到状态j的概率。MC使用硬件计数器异步捕获应用程序的控制流。为了限制MC的大小，MC的状态是应用程序存储器中的区域（地址范围）。最后，转换是程序从区域i跳到区域j的概率。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (7)
1.一种基于区块链技术的分布式协同物联网异常检测方法，其特征在于，包括：
创建模型：物联网设备创建本地异常检测模型ML；
收集情报：物联网设备收集本地应用程序并利用本地异常检测模型ML检测本地应用程序是否有异常，若本地异常检测模型ML未发出警报，则更新本地异常检测模型；
发送情报：物联网设备向链的部分区块添加ML，将添加ML的链发送到区块链网络，以广播方式广播给区块链网络的其他物联网设备；
接收情报：其他物联网设备在验证添加ML的链符合接收条件时，则其他物联网设备的链中的块被发送来添加ML的链的块全部替换，否则其他物联网设备的链中的块被发送来添加ML的链的部分块局部替换；
共享情报：物联网设备将更新的本地链的报告以广播方式广播给区块链网络的其他物联网设备。
2.根据权利要求1所述的一种基于区块链技术的分布式协同物联网异常检测方法，其特征在于，所述收集情报步骤还包括：检测本地异常检测模型ML是否为从链中下载的组合模型，若是则执行本地异常检测模型ML，否则对本地异常检测模型ML进行训练，在训练一定时间后执行本地异常检测模型ML。
3.根据权利要求1所述的一种基于区块链技术的分布式协同物联网异常检测方法，其特征在于，所述发送情报步骤中广播由物联网设备的私钥签名后广播给其他物联网设备；所述接收情报步骤通过公钥解密接收的情报。
4.根据权利要求1所述的一种基于区块链技术的分布式协同物联网异常检测方法，其特征在于，所述接收情报步骤具体包括：
其他物联网设备接收到链时，检查接收到的链是否长于本地链，并且是否包含有效签名，若上述接收条件均符合是，则本地链的块被接收到的链的块替换，并且最后完成的块用于形成替换本地异常检测模型ML的组合模型，否则，本地链的块被接收到的链的部分块替换。
5.根据权利要求4所述的一种基于区块链技术的分布式协同物联网异常检测方法，其特征在于，所述接收情报步骤还包括：如果本地链的部分块具有完成报告，则将此作为已完成的块关闭；物联网设备将替换本地异常检测模型ML为最新闭合块中包含的组合模型。
6.根据权利要求1所述的一种基于区块链技术的分布式协同物联网异常检测方法，其特征在于，还包括：本地异常检测模型ML跟踪本地应用程序的常规内存跳转序列，检测Mij小于Pth时，本地应用程序发生异常，否则异步递增Nij；Mij为在任何给定时间t从状态i转换为状态j的概率，Pth为用户定义的概率，Nij为从状态i到状态j发生的转变数量，等待发生控制流事件。
7.根据权利要求6所述的一种基于区块链技术的分布式协同物联网异常检测方法，其特征在于，应用程序的控制流由硬件计数器异步捕获。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910217249.0A CN109769002A (zh) | 2019-03-21 | 2019-03-21 | 一种基于区块链技术的分布式协同物联网异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910217249.0A CN109769002A (zh) | 2019-03-21 | 2019-03-21 | 一种基于区块链技术的分布式协同物联网异常检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109769002A true CN109769002A (zh) | 2019-05-17 |
Family
ID=66458481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910217249.0A Pending CN109769002A (zh) | 2019-03-21 | 2019-03-21 | 一种基于区块链技术的分布式协同物联网异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109769002A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110474868A (zh) * | 2019-06-27 | 2019-11-19 | 山东安畅物联网科技有限公司 | 基于区块链激励机制的物联网环境安全检测方法及系统 |
| CN111967968A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 基于区块链的漏洞处理方法及装置 |
| CN112052137A (zh) * | 2020-08-24 | 2020-12-08 | 深圳区块大陆科技有限公司 | 区块链应用的监控以及告警的实现 |
| CN112910873A (zh) * | 2021-01-27 | 2021-06-04 | 广东工业大学 | 用于区块链事务异常检测的有用工作量证明方法及系统 |
| CN112995111A (zh) * | 2019-12-17 | 2021-06-18 | 中国移动通信集团河南有限公司 | 基于区块链的物联网安全检测方法、设备、系统和介质 |
| CN113055392A (zh) * | 2021-03-26 | 2021-06-29 | 浙江工商大学 | 一种基于区块链的统一身份认证方法 |
| CN114760077A (zh) * | 2022-06-14 | 2022-07-15 | 天聚地合(苏州)科技股份有限公司 | 基于区块链的异常数据检测方法、装置、存储介质及网关 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108173805A (zh) * | 2017-11-24 | 2018-06-15 | 西安电子科技大学 | 基于区块链的具有隐私保持的分布式匿名区协同构造方法 |
| CN108616534A (zh) * | 2018-04-28 | 2018-10-02 | 中国科学院信息工程研究所 | 一种基于区块链防护物联网设备DDoS攻击的方法及系统 |
| US20180337820A1 (en) * | 2017-05-16 | 2018-11-22 | Wistron Corporation | Monitoring method based on internet of things, fog computing terminal and internet of things system |
-
2019
- 2019-03-21 CN CN201910217249.0A patent/CN109769002A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180337820A1 (en) * | 2017-05-16 | 2018-11-22 | Wistron Corporation | Monitoring method based on internet of things, fog computing terminal and internet of things system |
| CN108173805A (zh) * | 2017-11-24 | 2018-06-15 | 西安电子科技大学 | 基于区块链的具有隐私保持的分布式匿名区协同构造方法 |
| CN108616534A (zh) * | 2018-04-28 | 2018-10-02 | 中国科学院信息工程研究所 | 一种基于区块链防护物联网设备DDoS攻击的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTOFFER BRAX: "Evaluating Precise and Imprecise State-Based Anomaly Detectors for Maritime Surveillance", 《2010 13TH INTERNATIONAL CONFERENCE ON INFORMATION FUSION 》 * |
| TOMER GOLOMB,ETC: "CIoTA : Collaborative IoT Anomaly Detection via Blockchain", 《HTTPS://DX.DOI.ORG/10.14722/DISS.2018.23003》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110474868A (zh) * | 2019-06-27 | 2019-11-19 | 山东安畅物联网科技有限公司 | 基于区块链激励机制的物联网环境安全检测方法及系统 |
| CN110474868B (zh) * | 2019-06-27 | 2022-12-16 | 山东安畅物联网科技有限公司 | 基于区块链激励机制的物联网环境安全检测方法及系统 |
| CN112995111A (zh) * | 2019-12-17 | 2021-06-18 | 中国移动通信集团河南有限公司 | 基于区块链的物联网安全检测方法、设备、系统和介质 |
| CN111967968A (zh) * | 2020-08-18 | 2020-11-20 | 中国银行股份有限公司 | 基于区块链的漏洞处理方法及装置 |
| CN111967968B (zh) * | 2020-08-18 | 2023-10-24 | 中国银行股份有限公司 | 基于区块链的漏洞处理方法及装置 |
| CN112052137A (zh) * | 2020-08-24 | 2020-12-08 | 深圳区块大陆科技有限公司 | 区块链应用的监控以及告警的实现 |
| CN112910873A (zh) * | 2021-01-27 | 2021-06-04 | 广东工业大学 | 用于区块链事务异常检测的有用工作量证明方法及系统 |
| CN113055392A (zh) * | 2021-03-26 | 2021-06-29 | 浙江工商大学 | 一种基于区块链的统一身份认证方法 |
| CN114760077A (zh) * | 2022-06-14 | 2022-07-15 | 天聚地合(苏州)科技股份有限公司 | 基于区块链的异常数据检测方法、装置、存储介质及网关 |
| CN114760077B (zh) * | 2022-06-14 | 2022-08-26 | 天聚地合(苏州)科技股份有限公司 | 基于区块链的异常数据检测方法、装置、存储介质及网关 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109769002A (zh) | 一种基于区块链技术的分布式协同物联网异常检测方法 | |
| Moore et al. | IoT reliability: a review leading to 5 key research directions | |
| Protogerou et al. | A graph neural network method for distributed anomaly detection in IoT: A. Protogerou et al. | |
| Chen et al. | A cloud computing based network monitoring and threat detection system for critical infrastructures | |
| Bennacer et al. | Self-diagnosis technique for virtual private networks combining Bayesian networks and case-based reasoning | |
| CN111475804A (zh) | 一种告警预测方法及系统 | |
| CN104869581A (zh) | 经由无线传感器网络内的标签传播确定故障节点 | |
| Karthik et al. | A hybrid trust management scheme for wireless sensor networks | |
| Ghosh et al. | Agent-based distributed intrusion alert system | |
| Kavousi et al. | A Bayesian network‐based approach for learning attack strategies from intrusion alerts | |
| CN114900362B (zh) | 一种基于行为图和Weisfeiler Lehman算法的可扩展网络攻击检测方法 | |
| CN118802353A (zh) | 一种基于动态感知攻击图的蜜阵模型构建方法 | |
| Kaliappan et al. | Advancing IoT security: a comprehensive AI-based trust framework for intrusion detection | |
| Chen et al. | Event-based trust framework model in wireless sensor networks | |
| CN108248641A (zh) | 一种城市轨道交通数据处理方法及装置 | |
| You et al. | A novel fault diagnosis mechanism for wireless sensor networks | |
| Huang et al. | AILL-IDS: An automatic incremental lifetime learning intrusion detection system for vehicular ad hoc networks | |
| Yang et al. | Mitigating epidemic spread in complex networks based on deep reinforcement learning | |
| Herrero et al. | Multiagent systems for network intrusion detection: A review | |
| Sen | An agent-based intrusion detection system for local area networks | |
| Rezaul Karim et al. | An efficient collaborative intrusion detection system for MANET using Bayesian Approach | |
| Krari et al. | Securing IoT networks: A deep learning strategy against RPL selective forwarding attacks | |
| Pereira et al. | Abnormal Signaling SIP Dialogs Detection based on Deep Learning | |
| CN116488847A (zh) | 一种网络信息溯源方法、装置及介质 | |
| Ramasamy | Causal Inference and Graph-Based AI Models for Root Cause Analysis in Telecom and Networking Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190517 |