CN112203142A - 视频的处理方法、装置、电子装置和存储介质 - Google Patents
视频的处理方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN112203142A CN112203142A CN202011398523.8A CN202011398523A CN112203142A CN 112203142 A CN112203142 A CN 112203142A CN 202011398523 A CN202011398523 A CN 202011398523A CN 112203142 A CN112203142 A CN 112203142A
- Authority
- CN
- China
- Prior art keywords
- image frame
- sequence
- video
- image
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000001815 facial effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请涉及一种视频的处理方法、装置、电子装置和存储介质。其中,该视频的处理方法包括:获取待处理视频的图像帧序列;确定图像帧序列中每帧图像的人脸特征信息;将图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配;在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端。通过本申请,解决了相关技术中视频处理效率低的问题,提高了视频处理效率。
Description
技术领域
本申请涉及视频处理领域,特别是涉及视频的处理方法、装置、电子装置和存储介质。
背景技术
随着互联网科技的迅速发展,网络视频(例如电影、电视剧、综艺等)内容充斥在大众生活中。但是当视频中出现特定人物需要被屏蔽时,此时工作人员需要花费大量的人力和时间,从相关的视频中一秒一秒的观看视频,然后人工记录特定人物出现的时间戳和次数,然后再拿视频编辑工具,将相关的特定人物出现的镜头一个个的删除掉。例如,从一部120分钟的视频中将相关的特定人物进行删除,工作人员需要花费至少两小时的工作时间去在视频内容中查看人物出现的镜头,然后再处理,导致了视频处理效率低的问题。
目前针对相关技术中视频处理效率低的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种视频的处理方法、装置、电子装置和存储介质,以至少解决相关技术中视频处理效率低的问题。
第一方面,本申请实施例提供了一种视频的处理方法,包括:
获取待处理视频的图像帧序列;
确定所述图像帧序列中每帧图像的人脸特征信息;
将所述图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配;
在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端。
在其中一些实施例中,确定所述图像帧序列中每帧图像的人脸特征信息包括:
通过预设人脸识别模型对所述图像帧序列中每帧图像进行识别,得到所述图像帧序列中每帧图像的人脸特征信息。
在其中一些实施例中,将所述图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配之前,所述方法还包括:
获取所述用户终端发送的人脸图像;
确定所述人脸图像的人脸特征信息;
将所述人脸图像的人脸特征信息作为所述预设人脸特征信息。
在其中一些实施例中,获取待处理视频的图像帧序列包括:
将所述待处理视频进行解析,获取所述待处理视频的图像帧序列,并确定所述图像帧序列中每帧图像对应的时间戳;
根据所述每帧图像对应的时间戳的先后顺序,确定所述每帧图像在所述图像帧序列中的序号;
保存所述每帧图像在所述图像帧序列中的序号。
在其中一些实施例中,在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端包括:
获取目标图像帧在所述图像帧序列中的序号;
根据所述目标图像帧在所述图像帧序列中的序号,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端。
在其中一些实施例中,在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,所述方法还包括:
获取所述目标图像帧在所述图像帧序列中的序号;
根据所述目标图像帧在所述图像帧序列中的序号,确定所述目标图像帧在所述待处理视频中的时间戳;
将所述目标图像帧在所述待处理视频中的时间戳进行标记,并将进行标记之后的待处理视频发送给用户终端。
在其中一些实施例中,在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,所述方法还包括:
确定多个所述目标图像帧在所述图像帧序列中的序号;
按照多个所述目标图像帧在所述图像帧序列中的序号的先后顺序进行排列;
将排列之后的多个所述目标图像帧发送给用户终端。
第二方面,本申请实施例还提供了一种视频的处理装置,包括:
第一获取模块,用于获取待处理视频的图像帧序列;
第一确定模块,用于确定所述图像帧序列中每帧图像的人脸特征信息;
匹配模块,用于将所述图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配;
删除模块,用于在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的视频的处理方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的视频的处理方法。
相比于相关技术,本申请实施例提供的视频的处理方法、装置、电子装置和存储介质,通过获取待处理视频的图像帧序列;确定图像帧序列中每帧图像的人脸特征信息;将图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配;在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端的方式,解决了相关技术中视频处理效率低的问题,提高了视频处理效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的视频的处理方法的终端的硬件结构框图;
图2是根据本申请实施例的视频的处理方法的流程图;
图3是根据本申请优选实施例的视频的处理装置的结构示意图;
图4是根据本申请优选实施例的视频的处理方法的流程图;
图5是根据本申请实施例的视频的处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图1是根据本申请实施例的视频的处理方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的视频的处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例提供了一种视频的处理方法,图2是根据本申请实施例的视频的处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取待处理视频的图像帧序列。
在本步骤中,待处理视频是由用户终端发送的,也可以是从缓存有待处理视频的数据库中获取到的。
需要说明的是,可以预先设置预设格式,该预设格式可以是处理待处理视频的设备所能处理的视频格式。在一些施例中,还可以通过将待处理视频处理成预设格式的方式,使得待处理视频能够满足处理待处理视频的设备所能处理的视频格式,以便于处理待处理视频的设备获取该待处理视频的图像帧序列。
在一些实施例中,在获取待处理视频的图像帧序列时,可以记录每帧图像在待处理视频中的时间戳,同时还可以按照每帧图像的时间戳的先后顺序对每帧图像标记序号,通过上述方式,以便于步骤S204中根据该记录的每帧图像在待处理视频中的时间戳和标记序号,自适应的查询到目标图像帧在图像帧序列,避免了相关技术中通过人工进行查询的方式,而导致视频处理效率低的问题。
步骤S202,确定图像帧序列中每帧图像的人脸特征信息。
在本步骤中,可以通过人脸识别模型来提取每帧图像的人脸特征信息,该人脸识别模型可以是方向梯度直方图(Histogram of Oriented Gridients,简写为HOG)特征提取模型,也可以是卷积神经网络模型等等,还可以是相关技术中其他能够实现人脸特征信息提取的其他方式,本申请实施例中不作限定。
步骤S203,将图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配。
在本步骤中,预设人脸特征信息可以是用户在线实时配置的;也可以是预先保存在缓存中的。
步骤S204,在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端。
需要说明的是,与预设人脸特征信息匹配成功的目标图像帧的判定条件可以是指预设人脸特征信息与每帧图像的人特征信息的匹配相似度大于用户的预设值,则可以认为该预设人脸特征信息与目标图像帧匹配成功。
基于上述步骤S201至步骤S204,通过获取待处理视频中的图像帧序列,并确定每帧图像的人脸特征信息,然后再根据预设人脸特征信息去匹配每帧图像的人脸特征信息,并在匹配成功的情况下,将匹配成功的目标图像帧进行删除,最后将目标图像帧之后的图像帧序列组合成视频发送给用户终端的方式,无需人工对视频进行相应的删除操作,解决了相关技术中视频处理效率低的问题,提高了视频处理效率。
在其中一些实施例中,步骤S202中确定图像帧序列中每帧图像的人脸特征信息可以包括:通过预设人脸识别模型对图像帧序列中每帧图像进行识别,得到图像帧序列中每帧图像的人脸特征信息。
需要说明的是,可以将用户提供的指定人脸图像作为一个训练样本。为了提高对人脸识别模型训练结果的准确性,针对用户提供的指定人脸图像,可以获取该指定人脸图像的大于预设数量的训练样本,来对人脸识别模型进行训练,得到训练完备的预设人脸识别模型。可选的,预设数量可以为100张。以上仅仅是本申请实施例提供的预设数量的方式,用户也可以根据自己的需求任意设置预设数量的具体内容,在此不作限定。
在本实施例中,通过上述训练完备的预设人脸识别模型,可以实现对图像帧序列中每帧图像的人脸特征信息的提取,同时还可以提高人脸特征信息提取的准确率。
在其中一些实施例中,将图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配之前,还可以获取用户终端发送的人脸图像;确定人脸图像的人脸特征信息;将人脸图像的人脸特征信息作为预设人脸特征信息。
在本实施例中,通过将用户终端发送的人脸图像的人脸特征信息作为预设人脸特征信息的方式,可以实现根据用户的感兴趣人脸进行匹配,增强了用户体验感。
在一些实施例中,还可以从存储有预设人脸特征信息的本地缓存中获取该预设人脸特征信息,该人脸特征信息可以是预先配置好并保存在本地缓存中的,通过该方式,简化了待处理视频的处理流程。
在其他一些实施例中,人脸图像也可以是用户通过配置模块在线配置的,例如,在用户需要在待处理视频中查询某个特定人物时,可以在配置模块中输入该特定人物对应的人脸图像,然后将该人脸图像的人脸特征信息作为预设特征信息。通过该方式,提高了人机操作交互的便利性,同时还可以实现根据用户的感兴趣人物进行匹配,增强了用户体验感。
在其中一些实施例中,步骤S201中获取待处理视频的图像帧序列可以包括:将待处理视频进行解析,获取待处理视频的图像帧序列,并确定图像帧序列中每帧图像对应的时间戳;根据每帧图像对应的时间戳的先后顺序,确定每帧图像在图像帧序列中的序号;保存每帧图像在图像帧序列中的序号。
在本实施例中,通过解析待处理视频的方式,实现了对图像帧序列的获取,同时,再通过确定图像帧序列中每帧图像对应的时间戳,并根据每帧图像对应的时间戳的先后顺序,对每帧图像进行序号标记,以及保存每帧图像在图像帧序列中的序号的方式,可以便于后续根据图像帧在图像帧序列中对应的序号查询对应的图像帧,并进行相应的处理操作,例如,删除待处理视频中的目标图像帧或将多个目标图像帧组合成视频等。
在其中一些实施例中,在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端可以包括:获取目标图像帧在图像帧序列中的序号;根据目标图像帧在图像帧序列中的序号,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端。
在本实施例中,可以通过获取上述实施例中保存的每帧图像的序号,来确定目标图像帧在图像帧序列中的序号,进而根据该序号来实现对目标图像帧的删除,无需人工进行相应的删除操作,简化了图像帧处理过程,进而提高了视频处理的效率。
例如,图像帧序列中有100个图像帧,则可以按照每个图像帧在待处理视频中的时间戳的先后顺序,对每个图像帧进行序号标记,标记为图像帧1、图像帧2、……、图像帧100。则当确定目标图像帧的序号为55时,则可以根据该序号将图像帧序列中第55个图像帧进行删除,并将删除图像帧55之后的图像帧序列组合成新的视频发送给用户终端,以实现对待处理视频帧的目标图像帧的删除。本实施例中的数值仅仅是用于举例,本申请的技术方案并不局限该实施例中数值。
需要说明的是,目标图像帧可以有一个或者多个,在一些实施例中,也可能没有。
在其中一些实施例中,在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,还可以获取目标图像帧在图像帧序列中的序号;根据目标图像帧在图像帧序列中的序号,确定目标图像帧在待处理视频中的时间戳;将目标图像帧在待处理视频中的时间戳进行标记,并将进行标记之后的待处理视频发送给用户终端。
在本实施例中,通过将目标图像帧在待处理视频中进行标记,并将标记之后的待处理视频发送给用户终端的方式,可以便于根据标记之后的待处理视频对删除的目标图像帧进行验证,进而提高删除目标图像帧的准确率。
在其中一些实施例中,在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,还可以确定多个目标图像帧在图像帧序列中的序号;按照多个目标图像帧在图像帧序列中的序号的先后顺序进行排列;将排列之后的多个目标图像帧发送给用户终端。
在本实施例中,通过将多个目标图像帧按照在待处理视频中的时间戳的先后顺序,依次发送给用户终端的方式,可以便于根据目标图像帧的在图像帧序列中顺序以及在待处理视频中的时间戳,从待处理视频中查找到对应的目标图像帧进行相应的操作,无需人工对目标图像帧进行查询,进一步提高了视频处理效率。同时还可以便于根据标记之后的待处理视频对删除的目标图像帧进行验证,进而提高删除目标图像帧的准确率。
需要说明的是,将排列之后的多个目标图像帧发送给用户终端方式,可以是按照先后顺序逐一发送给用户终端,也可以是将多个目标图像帧按照先后顺序组合成新的视频发送用户终端等,上述发送方式可以根据用户的设定自行选择,本申请不作限定。
下面通过优选实施例对本申请实施例进行描述和说明。
图3是根据本申请优选实施例的视频的处理装置的结构示意图,上述视频处理方法可以应用于该装置中,如图3所示,该装置包括:
配置模块31,可以用于配置待处理视频的视频信息、人脸图像的人脸特征信息;该配置模块31中上传具体的人脸图像可以用于指定人物,还可以用于配置视频文件的上述路径,以及还可以用于将上传的视频文件作为待处理视频;
视频解析模块32,用于解析待处理视频,解析出待处理视频中的每帧图像的人脸特征信息,按照每帧图像在待处理视频中的时间戳顺序进行排序记录以及记录每帧图像对应在待处理视频中的时间戳。
人脸识别模块33,用于来识别待处理视频中每帧图像中是否包含指定的人脸图像对应的人脸特征信息,以及用于将包含指定的人脸图像的人脸特征信息的目标图像帧的序号和该目标图像帧在待处理视频中的时间戳信息按顺序记录下来并保存在记录模块34中。其中,该人脸识别模块33可以使用opencv图片人脸识别工具包,也可以使用人脸识别模型等等。
需要说明的是,opencv是一个基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库,可以运行在Linux、Windows、Android和MacOS操作系统上。
记录模块34,用于保存待处理视频中包含指定脸图像的人脸特征信息的目标图像帧的序号和该目标图像帧所在待处理视频中的时间戳信息。通过该记录模块34,可以便于视频处理模块35进行视频处理,以及将包含指定脸图像的人脸特征信息的目标图像帧的时间戳信息返回给相关人员(用户终端)。
视频处理模块35,用于根据记录模块34中保存的包含指定脸图像的人脸特征信息的目标图像帧的序号和时间戳信息,将对应的目标图像帧从待处理视频中删除,并在删除所有包含指定脸图像的人脸特征信息的目标图像帧之后,导出给相关人员(用户终端)。
图4是根据本申请优选实施例的视频的处理方法的流程图。该方法也可以应用于图3中的装置中,如图4所示,该方法流程包括如下步骤:
步骤S401,通过配置模块31获取待处理视频和人脸图像的人脸特征信息。
在本实施例中,可以通过配置模块31选择或上传一个具体的视频文件用于待处理。以及获取一张待处理的人脸图像,用于指定特定人物,以便于后续步骤中根据该人脸图像对应的人脸特征信息去待处理视频中查询相应人脸特征新信息镜头。
步骤S402,通过视频解析模块32对上传的待处理视频进行解析,提取出待处理视频的每帧图像对应的人脸特征信息,并提取每帧图像在待处理视频中的序号信息和时间戳信息。以便于步骤S403记录和定位相应镜头或目标图像帧的具体序号信息和时间戳。
步骤S403,根据S402中解析出的每帧图像,并将人脸图像的人脸特征信息与每帧图像对应的人脸特征信息进行匹配,将包含指定脸图像的人脸特征信息的目标图像帧的序号信息以及时间戳信息记录保存,以及将待处理视频中所有目标图像帧组合成一个包含定脸图像的人脸特征信息的目标图像帧的序号信息集合。以便于步骤S404做视频处理,例如删除目标图像帧等。
步骤S404,根据S403中的包含指定脸图像的人脸特征信息的目标图像帧的序号信息集合,依次删除待处理视频中对应位置的目标图像帧,并删除完目标图像帧之后,生成一个新的视频文件。以便于步骤S405导出给用户终端。
步骤S405,将S404中生成的新的视频文件导出给用户终端。
在其他一些实施例中,还可以将包含指定脸图像的人脸特征信息的目标图像帧在待处理视频中的时间戳信息按时间先后顺序一起导出或呈现给用户终端。便于用户进行验证。
通过上述实施例,实现了自动化的在待处理视频中识别出指定人脸图像的人脸特征信息的功能,并且自动记录该人脸图像的人脸特征信息在待处理视频中出现镜头的时间戳,还可以自动将出现目标图像帧给删除,最终返回一部处理完成的、无该人脸图像的人脸特征信息的视频给工作人员,解决了相关技术中视频处理效率低的问题,提高了视频处理效率。同时本申请实施例也可用于,检验一部视频中是否出现包含指定脸图像的人脸特征信息的目标图像帧。同时还可以便于相关人员根据包含指定脸图像的人脸特征信息的目标图像帧的时间戳信息进行人工审核验证,提高了处理视频的效率,代替了大量的人工工作。
本实施例还提供了一种视频的处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的视频的处理装置的结构框图,如图5所示,该装置包括:
第一获取模块51,用于获取待处理视频的图像帧序列;
第一确定模块52,耦合至第一获取模块51,用于确定图像帧序列中每帧图像的人脸特征信息;
匹配模块53,耦合至第一确定模块52,用于将图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配;
删除模块54,耦合至匹配模块53,用于在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端。
在其中一些实施例中,第一确定模块52包括:识别单元,用于通过预设人脸识别模型对图像帧序列中每帧图像进行识别,得到图像帧序列中每帧图像的人脸特征信息。
在其中一些实施例中,该装置还包括:第二获取模块,用于获取用户终端发送的人脸图像;第二确定模块,用于确定人脸图像的人脸特征信息;处理模块,用于将人脸图像的人脸特征信息作为预设人脸特征信息。
在其中一些实施例中,第一获取模块51包括:第一获取单元,用于将待处理视频进行解析,获取待处理视频的图像帧序列,并确定图像帧序列中每帧图像对应的时间戳;第一确定单元,用于根据每帧图像对应的时间戳的先后顺序,确定每帧图像在图像帧序列中的序号;保存单元,用于保存每帧图像在图像帧序列中的序号。
在其中一些实施例中,删除模块54包括:第二获取单元,用于获取目标图像帧在图像帧序列中的序号;删除单元,用于根据目标图像帧在图像帧序列中的序号,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端。
在其中一些实施例中,该装置还包括:第三获取模块,用于获取目标图像帧在图像帧序列中的序号;第三确定模块,用于根据目标图像帧在图像帧序列中的序号,确定目标图像帧在待处理视频中的时间戳;标记模块,用于将目标图像帧在待处理视频中的时间戳进行标记,并将进行标记之后的待处理视频发送给用户终端。
在其中一些实施例中,该装置还包括:第四确定模块,用于确定多个目标图像帧在图像帧序列中的序号;排序模块,用于按照多个目标图像帧在图像帧序列中的序号的先后顺序进行排列;发送模块,用于将排列之后的多个目标图像帧发送给用户终端。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
步骤S201,获取待处理视频的图像帧序列。
步骤S202,确定图像帧序列中每帧图像的人脸特征信息。
步骤S203,将图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配。
步骤S204,在图像帧序列中存在与预设人脸特征信息匹配成功的目标图像帧的情况下,将目标图像帧从图像帧序列中删除,并将删除目标图像帧之后的图像帧序列组合成视频发送给用户终端。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的视频的处理方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种视频的处理方法。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频的处理方法,其特征在于,包括:
获取待处理视频的图像帧序列;
确定所述图像帧序列中每帧图像的人脸特征信息;
将所述图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配;
在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端。
2.根据权利要求1所述的视频的处理方法,其特征在于,确定所述图像帧序列中每帧图像的人脸特征信息包括:
通过预设人脸识别模型对所述图像帧序列中每帧图像进行识别,得到所述图像帧序列中每帧图像的人脸特征信息。
3.根据权利要求1所述的视频的处理方法,其特征在于,将所述图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配之前,所述方法还包括:
获取所述用户终端发送的人脸图像;
确定所述人脸图像的人脸特征信息;
将所述人脸图像的人脸特征信息作为所述预设人脸特征信息。
4.根据权利要求1所述的视频的处理方法,其特征在于,获取待处理视频的图像帧序列包括:
将所述待处理视频进行解析,获取所述待处理视频的图像帧序列,并确定所述图像帧序列中每帧图像对应的时间戳;
根据所述每帧图像对应的时间戳的先后顺序,确定所述每帧图像在所述图像帧序列中的序号;
保存所述每帧图像在所述图像帧序列中的序号。
5.根据权利要求4所述的视频的处理方法,其特征在于,在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端包括:
获取目标图像帧在所述图像帧序列中的序号;
根据所述目标图像帧在所述图像帧序列中的序号,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端。
6.根据权利要求4所述的视频的处理方法,其特征在于,在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,所述方法还包括:
获取所述目标图像帧在所述图像帧序列中的序号;
根据所述目标图像帧在所述图像帧序列中的序号,确定所述目标图像帧在所述待处理视频中的时间戳;
将所述目标图像帧在所述待处理视频中的时间戳进行标记,并将进行标记之后的待处理视频发送给用户终端。
7.根据权利要求4所述的视频的处理方法,其特征在于,在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,所述方法还包括:
确定多个所述目标图像帧在所述图像帧序列中的序号;
按照多个所述目标图像帧在所述图像帧序列中的序号的先后顺序进行排列;
将排列之后的多个所述目标图像帧发送给用户终端。
8.一种视频的处理装置,其特征在于,包括:
第一获取模块,用于获取待处理视频的图像帧序列;
第一确定模块,用于确定所述图像帧序列中每帧图像的人脸特征信息;
匹配模块,用于将所述图像帧序列中每帧图像的人脸特征信息与预设人脸特征信息进行匹配;
删除模块,用于在所述图像帧序列中存在与所述预设人脸特征信息匹配成功的目标图像帧的情况下,将所述目标图像帧从所述图像帧序列中删除,并将删除所述目标图像帧之后的图像帧序列组合成视频发送给用户终端。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的视频的处理方法。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的视频的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011398523.8A CN112203142A (zh) | 2020-12-03 | 2020-12-03 | 视频的处理方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011398523.8A CN112203142A (zh) | 2020-12-03 | 2020-12-03 | 视频的处理方法、装置、电子装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112203142A true CN112203142A (zh) | 2021-01-08 |
Family
ID=74033765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011398523.8A Pending CN112203142A (zh) | 2020-12-03 | 2020-12-03 | 视频的处理方法、装置、电子装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112203142A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818172A (zh) * | 2021-01-18 | 2021-05-18 | 浙江大华技术股份有限公司 | 视频检索方法、电子装置和存储介质 |
| CN113315691A (zh) * | 2021-05-20 | 2021-08-27 | 维沃移动通信有限公司 | 视频处理方法、装置及电子设备 |
| CN113408475A (zh) * | 2021-07-06 | 2021-09-17 | 深圳市道通科技股份有限公司 | 指示信号识别方法、设备以及计算机存储介质 |
| CN113691729A (zh) * | 2021-08-27 | 2021-11-23 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| CN113850183A (zh) * | 2021-09-23 | 2021-12-28 | 安徽数据堂科技有限公司 | 一种基于人工智能技术判断视频中行为的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018092384A1 (ja) * | 2016-11-21 | 2018-05-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN109120994A (zh) * | 2017-06-22 | 2019-01-01 | 中兴通讯股份有限公司 | 一种视频文件自动剪辑方法、装置及计算机可读介质 |
| CN109241345A (zh) * | 2018-10-10 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 基于人脸识别的视频定位方法和装置 |
| CN110996112A (zh) * | 2019-12-05 | 2020-04-10 | 成都市喜爱科技有限公司 | 视频编辑方法、装置、服务器及存储介质 |
-
2020
- 2020-12-03 CN CN202011398523.8A patent/CN112203142A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018092384A1 (ja) * | 2016-11-21 | 2018-05-24 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN109120994A (zh) * | 2017-06-22 | 2019-01-01 | 中兴通讯股份有限公司 | 一种视频文件自动剪辑方法、装置及计算机可读介质 |
| CN109241345A (zh) * | 2018-10-10 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 基于人脸识别的视频定位方法和装置 |
| CN110996112A (zh) * | 2019-12-05 | 2020-04-10 | 成都市喜爱科技有限公司 | 视频编辑方法、装置、服务器及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818172A (zh) * | 2021-01-18 | 2021-05-18 | 浙江大华技术股份有限公司 | 视频检索方法、电子装置和存储介质 |
| CN113315691A (zh) * | 2021-05-20 | 2021-08-27 | 维沃移动通信有限公司 | 视频处理方法、装置及电子设备 |
| CN113315691B (zh) * | 2021-05-20 | 2023-02-24 | 维沃移动通信有限公司 | 视频处理方法、装置及电子设备 |
| CN113408475A (zh) * | 2021-07-06 | 2021-09-17 | 深圳市道通科技股份有限公司 | 指示信号识别方法、设备以及计算机存储介质 |
| CN113691729A (zh) * | 2021-08-27 | 2021-11-23 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| CN113691729B (zh) * | 2021-08-27 | 2023-08-22 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| CN113850183A (zh) * | 2021-09-23 | 2021-12-28 | 安徽数据堂科技有限公司 | 一种基于人工智能技术判断视频中行为的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112203142A (zh) | 视频的处理方法、装置、电子装置和存储介质 | |
| US11605226B2 (en) | Video data processing method and apparatus, and readable storage medium | |
| CN106557747B (zh) | 识别保险单号码的方法及装置 | |
| CN110222791A (zh) | 样本标注信息的审核方法及装置 | |
| CN107223246A (zh) | 图像标注方法、装置及电子设备 | |
| WO2018191401A1 (en) | Inmate tracking system in a controlled environment | |
| CN109684978A (zh) | 员工情绪监控方法、装置、计算机设备和存储介质 | |
| CN108881813A (zh) | 一种视频数据处理方法及装置、监控系统 | |
| CN112036262A (zh) | 一种人脸识别处理方法及装置 | |
| CN107103029B (zh) | 一种用于机器人的图像数据处理方法 | |
| CN109067883B (zh) | 信息推送方法及装置 | |
| CN112434049A (zh) | 表格数据存储方法、装置、存储介质及电子装置 | |
| CN111291595A (zh) | 一种信息关联性处理方法、装置及系统 | |
| CN112667510A (zh) | 测试方法、装置、电子设备及存储介质 | |
| CN112686744A (zh) | 外访业务监控方法、装置、电子设备及存储介质 | |
| JP2017010276A (ja) | 映像解析装置及び映像解析方法 | |
| CN111145212A (zh) | 一种目标追踪处理方法及装置 | |
| CN107666573A (zh) | 摄像头场景下对象视频的录制方法及装置、计算设备 | |
| CN110414322B (zh) | 提取图片的方法、装置、设备及存储介质 | |
| CN111008304B (zh) | 关键词的生成方法和装置、存储介质及电子装置 | |
| CN114329063A (zh) | 视频片段检测方法、装置以及设备 | |
| WO2019242156A1 (zh) | 终端中的应用控制方法和装置及计算机可读存储介质 | |
| CN113986823A (zh) | 一种通信机房的图片归档方法、装置、介质及设备 | |
| CN110895555B (zh) | 数据检索方法和装置、存储介质及电子装置 | |
| CN111259198A (zh) | 一种拍摄素材的管理方法、装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210108 |
|
| RJ01 | Rejection of invention patent application after publication |