[go: up one dir, main page]

CN116156217A - 基于智能识别对视频内容进行一致性校验的方法 - Google Patents

基于智能识别对视频内容进行一致性校验的方法 Download PDF

Info

Publication number
CN116156217A
CN116156217A CN202211627029.3A CN202211627029A CN116156217A CN 116156217 A CN116156217 A CN 116156217A CN 202211627029 A CN202211627029 A CN 202211627029A CN 116156217 A CN116156217 A CN 116156217A
Authority
CN
China
Prior art keywords
video
recognition
feature
video content
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211627029.3A
Other languages
English (en)
Inventor
纪亭
郑菲
谭博群
吴奕刚
孙伟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202211627029.3A priority Critical patent/CN116156217A/zh
Publication of CN116156217A publication Critical patent/CN116156217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于智能识别对视频内容进行一致性校验的方法，包括以下步骤：在服务器端，对原始视频文件进行特征标记识别处理，通过数字视频增强信息叠加将检测识别到的特征序列标记增加到视频增强信息中，并叠加到推送视频流中；在接收推送视频流的播放设备上，先通过延时播出系统完成本地播放的适量延时，在播放端对视频流进行解码播放的同时，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别，当前的识别结果再和视频增强信息中附带的特征序列标记进行比对，当播放端监测到视频流被篡改的情况，触发告警，并在延时播出系统的阈值范围内，对当前播放视频流介入后续处理流程。本发明用于提高直播应用场景中的可靠性和安全性。

Description

基于智能识别对视频内容进行一致性校验的方法
技术领域
本发明属于视频处理技术领域，具体涉及一种基于智能识别对视频内容进行一致性校验的方法。
背景技术
视觉是人类获取外部信息的重要手段，人类接受的信息有80％以上来自于视觉。而当今高度发展的信息社会中，视频图像自然成为人类视觉系统的主要输入媒体，也是承载外部资讯的重要载体。在这个“眼见为实”、“有图有真相”的时代，视频图像的篡改操作使得图像和视频的完整性、真实性和可靠性受到质疑。数字媒体编辑软件工具的操作便利性，使得即使非专业人员也可以借助软件工具对图像和视频进行篡改。经过篡改的图像和视频表达不真实的语义信息，通过互联网传播可能会扰乱正常的公众秩序，甚至还会威胁社会的和谐稳定。
按照在原始素材中是否需要添加辅助数据，可以将面向篡改检测的视频检验方式分为主动方式和被动方式两类。主动方式就是在数字媒体内容中添加辅助数据，也就是嵌入数字水印或数字签名，通过检测嵌入信息的完整性来判定数字媒体是否被篡改，这是一种常见的应用方式。而被动方式则不需要依赖嵌入额外的辅助数据，而是仅凭数字视频本身潜在特征的分析和提取，判别其是否经过视频帧(时域)篡改、多重压缩(频域)篡改、视频区域(空域)篡改等操作。主动检测方式对设备本身有一定的要求，必须具备嵌入验证信息的功能，这些设备一般比较高端，价格也比较昂贵，大部分普通设备不具备这些功能，这就使得主动认证在应用上大大受限，而且目前多媒体数据的来源极其复杂，往往很难获得验证信息，这种情况下主动认证将会失效。而且常规使用数字水印或者数字签名主动方式，往往需要和第三方的数字水印，数字签名的验证服务器进行数据交换，并不适用于实时推送的视频内容的验证。
发明内容
鉴于以上存在的问题，本发明提供一种基于智能识别对视频内容进行一致性校验的方法，提高直播应用场景中的可靠性和安全性。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于智能识别对视频内容进行一致性校验的方法，包括以下步骤：
在服务器端，对原始视频文件进行特征标记识别处理，通过数字视频增强信息叠加将检测识别到的特征序列标记增加到视频增强信息中，并叠加到推送视频流中；
在接收推送视频流的播放设备上，先通过延时播出系统完成本地播放的适量延时，在播放端对视频流进行解码播放的同时，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别，当前的识别结果再和视频增强信息中附带的特征序列标记进行比对，当播放端监测到视频流被篡改的情况，触发告警，并在延时播出系统的阈值范围内，对当前播放视频流介入后续处理流程。
一种可能的设计中，对原始视频文件进行特征标记识别处理包括：采用场景切换识别系统进行基于场景切换生成场景切换序列特征标记识别。
一种可能的设计中，对原始视频文件进行特征标记识别处理包括：采用声纹识别系统进行基于声音的变换生成声纹特征序列识别。
一种可能的设计中，对原始视频文件进行特征标记识别处理包括：采用人脸识别系统进行基于视频内容中识别到的人脸生成人脸特征序列标记识别。
一种可能的设计中，延时播出系统的延时播出时间为2-5秒。
一种可能的设计中，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别：采用场景切换识别系统进行基于场景切换生成场景切换序列特征标记识别。
一种可能的设计中，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别：采用声纹识别系统进行基于声音的变换生成声纹特征序列识别。
一种可能的设计中，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别：采用人脸识别系统进行基于视频内容中识别到的人脸生成人脸特征序列标记识别。
一种可能的设计中，对当前播放视频流介入后续处理流程包括：使用备播链路的视频流播放。
一种可能的设计中，对当前播放视频流介入后续处理流程包括：使用垫片播放。
采用本发明具有如下的有益效果：使用本方法是对原有常规数字签名等防篡改方式的一种补充，特别是针对直播的应用场景，通过服务端在编码推流过程中，在不影响原有视频画面的情况下，引入特征序列标记，并在播出端进行匹配识别验证，增加的校验机制，也增加视频播出的防篡改能力，提升了篡改的难度，更重要的是可以在直播的使用场景中进行实时的监测并在出现异常后及时的介入处理，规避了播出事故，大大提高了直播业务的可靠性和安全性。
附图说明
图1为本发明实施例的基于智能识别对视频内容进行一致性校验的方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，所示为本发明实施例的基于智能识别对视频内容进行一致性校验的方法的步骤流程图，包括以下步骤：
S10，在服务器端，对原始视频文件进行特征标记识别处理，通过数字视频5增强信息叠加系统将检测识别到的特征序列标记增加到视频增强信息中，并叠加到推送视频流中；
在常规的业务流中，制作团队会将制作好的用来播出的节目素材文件，提交给中心服务节点(即服务器端)，经过各层级审核后，在计划的时间内，使用
该原始视频文件，通过编转码系统，推送视频流到各个播出节点(即播放设备)。0中心服务节点和播出的节点本身都会进行安全管理，但是连接两者间的链路可能存在被不法者利用的可能。通过在中心服务节点，对原始视频文件进行智能识别，通过成熟的智能识别技术，对视频内容涉及的场景切换，声纹识别，人脸识别等内容进行监测处理，并生成针对当前视频文件特征标记，在实际编转
码系统推送视频流的同时，通过现有的视频流叠加增强信息协议，将当前视频5文件特征标记附加到视频流中，并和视频流一起提前推送到各个播出节点，能提高视频播放的安全性。
S20，在接收推送视频流的播放设备上，先通过延时播出系统完成本地播放的适量延时，一般可以设定为2-5秒，同时在播放端中将视频内容进行匹配识
别，在播放端对视频流进行解码播放的同时，后台调用特征序列识别程序，对0当前播放的内容在本地再一次进行识别，当前的识别结果再和视频增强信息中附带的特征序列标记进行比对，当播放端监测到视频流被篡改的情况，触发告警，并在延时播出系统的阈值范围内，对当前播放视频流介入后续处理流程。
本发明一实施例中，对原始视频文件进行特征标记识别处理包括：采用场景切换识别系统进行基于场景切换生成场景切换序列特征标记识别；采用声纹5识别系统进行基于声音的变换生成声纹特征序列识别；采用人脸识别系统进行基于视频内容中识别到的人脸生成人脸特征序列标记识别。
本发明一实施例中，数字视频增强信息叠加时使用了视频编码的补充增强信息(SupplementalEnhancementInformation，SEI)附加数据的功能。以常见H.264编码为例，它提供了向视频码流中加入额外信息的方法，是H.264视频压缩标准的特性之一。在视频内容的生成端和传输过程中插入SEI信息，SEI和视频内容一同经过传输链路到达播放设备上，播放设备通过解析NAL获取对应的SEI信息，并执行相应的操作。在本方法中，就是将视频内容智能识别子系统中的场景切换，声纹变化，人脸特征等序列标记，使用SEI的方式，附加到原有视频文件中。
本发明一实施中，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别：采用场景切换识别系统进行基于场景切换生成场景切换序列特征标记识别，采用声纹识别系统进行基于声音的变换生成声纹特征序列识别，采用人脸识别系统进行基于视频内容中识别到的人脸生成人脸特征序列标记识别。
本发明一实施例中，识别的结果和视频本身附带的特征序列标记进行比对包括：如果素材没有发生篡改的情况，那么所有的特征序列标记和当前匹配监测的时间节点一一对应。反之，如果视频本身在网络中出现了篡改的情况，那么视频流本身内容自然会发生改变，而这些改变是在视频内容智能识别监测系统后发生的，自然会发现视频流中，匹配识别到的标记，在视频流内容没有对应的特征标记，或者特征标记不符，发生偏移的情况。当播放端监测到视频流被篡改的情况，那么就会触发告警，并在延时播出系统的阈值范围内，对当前播放视频流介入后续处理流程。常见的方式使用备播链路的视频流，或者使用垫片。
使用本方法是对原有常规数字签名等防篡改方式的一种补充，特别是针对直播的应用场景，通过服务器端在编码推流过程中，在不影响原有视频画面的情况下，引入特征序列标记，并在播出端进行匹配识别验证，增加的校验机制，也增加视频播出的防篡改能力，提升了篡改的难度，更重要的是可以在直播的使用场景中进行实时的监测并在出现异常后及时的介入处理，规避了播出事故，大大提高了直播业务的可靠性和安全性。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (10)

1.一种基于智能识别对视频内容进行一致性校验的方法，其特征在于，包括以下步骤：
在服务器端，对原始视频文件进行特征标记识别处理，通过数字视频增强信息叠加将检测识别到的特征序列标记增加到视频增强信息中，并叠加到推送视频流中；
在接收推送视频流的播放设备上，先通过延时播出系统完成本地播放的适量延时，在播放端对视频流进行解码播放的同时，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别，当前的识别结果再和视频增强信息中附带的特征序列标记进行比对，当播放端监测到视频流被篡改的情况，触发告警，并在延时播出系统的阈值范围内，对当前播放视频流介入后续处理流程。
2.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，对原始视频文件进行特征标记识别处理包括：采用场景切换识别系统进行基于场景切换生成场景切换序列特征标记识别。
3.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，对原始视频文件进行特征标记识别处理包括：采用声纹识别系统进行基于声音的变换生成声纹特征序列识别。
4.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，对原始视频文件进行特征标记识别处理包括：采用人脸识别系统进行基于视频内容中识别到的人脸生成人脸特征序列标记识别。
5.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，延时播出系统的延时播出时间为2-5秒。
6.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别：采用场景切换识别系统进行基于场景切换生成场景切换序列特征标记识别。
7.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别：采用声纹识别系统进行基于声音的变换生成声纹特征序列识别。
8.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，后台调用特征序列识别程序，对当前播放的内容在本地再一次进行识别：采用人脸识别系统进行基于视频内容中识别到的人脸生成人脸特征序列标记识别。
9.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，对当前播放视频流介入后续处理流程包括：使用备播链路的视频流播放。
10.如权利要求1所述的基于智能识别对视频内容进行一致性校验的方法，其特征在于，对当前播放视频流介入后续处理流程包括：使用垫片播放。
CN202211627029.3A 2022-12-16 2022-12-16 基于智能识别对视频内容进行一致性校验的方法 Pending CN116156217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211627029.3A CN116156217A (zh) 2022-12-16 2022-12-16 基于智能识别对视频内容进行一致性校验的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211627029.3A CN116156217A (zh) 2022-12-16 2022-12-16 基于智能识别对视频内容进行一致性校验的方法

Publications (1)

Publication Number Publication Date
CN116156217A true CN116156217A (zh) 2023-05-23

Family

ID=86338092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211627029.3A Pending CN116156217A (zh) 2022-12-16 2022-12-16 基于智能识别对视频内容进行一致性校验的方法

Country Status (1)

Country Link
CN (1) CN116156217A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591332A (zh) * 2024-01-03 2024-02-23 深圳市华磊迅拓科技有限公司 一种基于mom系统的视频追溯应用的追朔方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512690A (zh) * 2002-12-27 2004-07-14 北京牡丹视源电子有限责任公司 电视信号内容传输安全监测系统
WO2014042514A2 (en) * 2012-09-12 2014-03-20 Mimos Berhad A surveillance system and a method for tampering detection and correction
CN107995384A (zh) * 2017-11-23 2018-05-04 晨星半导体股份有限公司 视频防篡改方法、视频拍摄设备及视频验证方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512690A (zh) * 2002-12-27 2004-07-14 北京牡丹视源电子有限责任公司 电视信号内容传输安全监测系统
WO2014042514A2 (en) * 2012-09-12 2014-03-20 Mimos Berhad A surveillance system and a method for tampering detection and correction
CN107995384A (zh) * 2017-11-23 2018-05-04 晨星半导体股份有限公司 视频防篡改方法、视频拍摄设备及视频验证方法
CN113660389A (zh) * 2017-11-23 2021-11-16 星宸科技股份有限公司 视频防篡改方法及视频验证方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591332A (zh) * 2024-01-03 2024-02-23 深圳市华磊迅拓科技有限公司 一种基于mom系统的视频追溯应用的追朔方法和系统

Similar Documents

Publication Publication Date Title
Korshunov et al. Deepfakes: a new threat to face recognition? assessment and detection
US9704211B2 (en) Signal continuity assessment using embedded watermarks
JP2005521173A (ja) ディジタル・オブジェクトにディジタル署名によって透かしを入れる方法及び装置
CN103392204A (zh) 具有多个媒体处理节点的自适应处理
CN111586361A (zh) 一种图像的处理方法及相关装置
CN101516025B (zh) 使用数字签名技术的可信视频系统
CN102307301A (zh) 一种基于关键帧的影音指纹生成方法
CN106604023A (zh) 一种视频流真实性验证方法及系统
CN112579992B (zh) 基于隐形水印的电子签章防伪装置及其制章、鉴定方法
Korshunov et al. Vulnerability of face recognition to deep morphing
CN101860744B (zh) 基于h.264标准的实时数字视频水印方法
Sawant et al. A review of video forgery and its detection
CN116156217A (zh) 基于智能识别对视频内容进行一致性校验的方法
CN101860743B (zh) 基于mpeg-2标准的实时数字视频水印方法
Bozkurt et al. Detection and localization of frame duplication using binary image template
Maung et al. Authentication of mp4 file by perceptual hash and data hiding
CN113259621B (zh) 一种云会议分步录制方法及系统
US20110261997A1 (en) Forensic mark insertion apparatus and method
US12229293B2 (en) Secure client watermark
CN112203117A (zh) 基于视频编/解码器的视频溯源和防篡改方法
Zhang et al. SepVAMark: Deep Separable Visual-Audio Fusion Watermarking for Source Tracing and Deepfake Detection
CN117336570A (zh) 基于数字水印的视频防篡改系统、方法、电子设备及介质
US20220300481A1 (en) Method and system for content editing recognition
CN201378857Y (zh) 使用数字签名技术的可信视频系统
CN118250494B (zh) 视频版权保护方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230523