CN115175005A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115175005A CN115175005A CN202210647595.4A CN202210647595A CN115175005A CN 115175005 A CN115175005 A CN 115175005A CN 202210647595 A CN202210647595 A CN 202210647595A CN 115175005 A CN115175005 A CN 115175005A
- Authority
- CN
- China
- Prior art keywords
- video data
- live video
- special effect
- information
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000003860 storage Methods 0.000 title claims description 13
- 230000000694 effects Effects 0.000 claims abstract description 162
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000013136 deep learning model Methods 0.000 claims abstract description 25
- 230000003190 augmentative effect Effects 0.000 claims description 21
- 238000009877 rendering Methods 0.000 claims description 15
- 230000036316 preload Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000037147 athletic performance Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 9
- 238000003780 insertion Methods 0.000 abstract 1
- 230000037431 insertion Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- 238000004806 packaging method and process Methods 0.000 description 13
- 230000000386 athletic effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000001550 time effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供的由第一系统执行的视频处理方法包括：根据第二系统提供的加载指令，预先加载素材数据；接收第一直播视频数据，其中，直播视频数据包括一个或多个第一视频帧；利用深度学习模型从第一视频帧提取第一目标对象的轮廓信息以及运动轨迹信息；根据轮廓信息、运动轨迹信息和/或素材数据，生成时间切片特效；其中，时间切片特效，用于供第二系统插播在第一直播视频数据和第二直播视频数据之间。这里，根据深度学习模型可以快速智能地生成时间切片特效。在直播视频中插播时间切片特效可以使观众更清楚直观地看到目标对象的运动轨迹、运动状态和/或轮廓信息等，从而提升直播视频过程中画面播放效果。
Description
技术领域
本发明涉及电视广播技术领域但不限于电视广播技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
在视频直播过程中，很多直播画面观众来不及看清楚，从而导致直播视频的画面播放效果差。
例如，在直播体育赛事的直播过程中，关于复杂多变的运动瞬间，直接播放无法使观众看清，目前往往靠解说讲解，以慢放和镜头跟随进行回放。
这样，运动过程呈现方式较为单一，在视觉方面缺少对整体运动关键时刻直观全面的表现手段，造成观众无法快速理解运动员动作技巧，降低普通观众对于比赛的兴趣。
发明内容
有鉴于此，本发明实施例发明了一种视频处理方法、装置、电子设备及存储介质。
本发明的技术方案是这样实现的：
第一方面，本发明实施例提供一种视频处理方法，由第一系统执行，所述方法包括：
根据第二系统提供的加载指令，预先加载素材数据；
接收第一直播视频数据，其中，所述直播视频数据包括一个或多个第一视频帧；
利用深度学习模型从所述第一视频帧提取第一目标对象的轮廓信息以及运动轨迹信息；
根据所述轮廓信息，所述运动轨迹信息和/或素材数据，生成时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；
其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
在一个实施例中，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成多个图层；对多个所述图层进行分层渲染，得到所述第二视频帧。
在一个实施例中，所述多个图层包括：根据所述第一直播视频数据生成的视频层；所述多个图层还包括以下之一：根据运动轨迹信息生成的运行轨迹层，其中，所述运动轨迹层叠加在所述视频层上；根据所述轮廓信息以及素材数据，生成的特效动画层；其中，所述关键帧动画层叠加在所述运动轨迹层上；增强现实层，叠加在所述运动轨迹层和/或所述关键帧动画层上。
在一个实施例中，所述运动轨迹层，包括：根据所述运动轨迹信息生成的运动轨迹的包络；和/或，所述增强现实层，包括以下至少之一：所述第一目标对象的身份信息；所述第一目标对象的运动成绩；所述第一目标对象的运动特点信息；所述第一目标对象的脸部增强图像。
在一个实施例中，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：使用硬解码器根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
在一个实施例中，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：在所述第一直播视频数据播放时，根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
第二方面，本发明实施例提供一种视频处理方法，由第二系统执行，所述方法包括：
预先生成加载指令；
接收第一直播视频数据；其中，所述直播视频数据包括一个或多个对第一目标对象拍摄的第一视频帧；
将所述加载指令及所述第一直播视频数据发送给第一系统；所述加载指令，用于供所述第一系统预先加载素材数据，并触发所述第一系统基于所述第一直播视频数据生成针对第一目标对象的时间切片特效；
其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；
其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
在一个实施例中，所述方法还包括：在接收到所述时间切片特效之后，进入到时间切片特效播放的就绪状态；所述在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述时间切片特效，包括：当检测到播放触发事件时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，生成所述时间切片特效的插播指令。
在一个实施例中，所述方法还包括：在进入到所述就绪状态之后，显示就绪图标；当检测到作用于所述就绪图标的操作指令时，确定检测到播放触发事件。
在一个实施例中，所述预先生成加载指令，包括：
根据拍摄场景的进度表信息，预先生成所述加载指令。
在一个实施例中，所述方法还包括：
预先获取预设特效；
当所述时间切片特效异常时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述预定特效。
第三方面，本发明实施例提供一种视频处理装置，所述装置包括：
加载模块，用于：根据第二系统提供的加载指令，预先加载素材数据；
接收模块，用于：接收第一直播视频数据，其中，所述直播视频数据包括一个或多个第一视频帧；
提取模块，用于：利用深度学习模型从所述第一视频帧提取第一目标对象的轮廓信息以及运动轨迹信息；
生成模块，用于根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
第四方面，本发明实施例提供一种视频处理装置，所述装置包括：
生成模块，用于预先生成加载指令；
接收模块，用于接收第一直播视频数据；其中，所述直播视频数据包括一个或多个对第一目标对象拍摄的第一视频帧；
发送模块，用于将所述加载指令及所述第一直播视频数据发送给第一系统；所述加载指令，用于供所述第一系统预先加载素材数据，并触发所述第一系统基于所述第一直播视频数据生成针对第一目标对象的时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
第五方面，本发明实施例提供一种电子设备，所述电子设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器运行所述计算机程序时，执行前述一个或多个技术方案所述方法的步骤。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述一个或多个技术方案所述方法。
本发明实施例提供的视频处理方法，第一系统会根据加载指令，预先加载生成时间切片特效的素材数据，然后在接收到需要生成时间切片特效的第一直播视频数据时，使用深度学习模型快速提取第一目标对象的轮廓信息以及运动轨迹信息，从而具有足够的时间，和预先加载的素材数据，快速生成插入直播视频中的时间切片特效。如此在直播视频中也可以通过一个或多个时间切片特效的插播，使得观众重新观看第一目标对象的运动轨迹、运动状态和/或轮廓信息等，从而提升直播视频过程中画面播放效果。
第二系统可以将所述加载指令及所述第一直播视频数据发送给第一系统；所述加载指令，用于供所述第一系统预先加载素材数据，并触发所述第一系统基于所述第一直播视频数据生成针对第一目标对象的时间切片特效；通过所述加载指令可以实现控制第一系统生成时间切片特效的功能，第二系统可以根据多种情况判断控制第一系统，提高了生成时间切片特效的灵活性。
附图说明
图1为本发明实施例提供的一种视频处理方法的流程示意图。
图2为本发明实施例提供的一种视频处理方法的流程示意图。
图3为本发明实施例提供的一种视频处理方法的流程示意图。
图4为本发明实施例提供的一种多个图层的结构示意图。
图5为本发明实施例提供的一种视频帧的示意图。
图6为本发明实施例提供的一种视频处理方法的流程示意图。
图7为本发明实施例提供的一种视频处理方法的流程示意图。
图8为本发明实施例提供的一种视频处理装置的结构示意图。
图9为本发明实施例提供的一种视频处理装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
如图1所示，本发明实施例提供一种视频处理方法，由第一系统执行，所述方法包括：
步骤S110：根据第二系统提供的加载指令，预先加载素材数据；
步骤S120：接收第一直播视频数据，其中，所述直播视频数据包括一个或多个第一视频帧；
步骤S130：利用深度学习模型从所述第一视频帧提取第一目标对象的轮廓信息以及运动轨迹信息；
步骤S140：根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
在一个实施例中，所述视频处理方法可以包括应用于体育赛事或者用户的运动视频直播等。其中，所述时间切片特效可以应用于多种运动动作姿态的直播，所述运动动作姿态包括但不限于滑雪、滑冰、体操和/或游泳比赛中的多种高难度的跳跃动作和/或旋转动作等动作。
在一个实施例中，所述第一系统可以用于生成时间切片特效，该第一系统可以称为在线包装系统，主要用于在生成视频的同时，生成时间切片特效。
该第一系统内运行有深度学习模型。
在一个实施例中，所述素材数据可以包括场景素材数据、赛事数据和/或目标对象数据等。
其中，所述场景素材数据可以用于第一视频帧的背景。所述场景素材数据可以包括虚拟场景和/或常用场景的图片素材、视频素材或者3D模型素材。
所述赛事数据可以包括赛程信息和比赛成绩信息等。
所述目标对象数据可以包括目标对象的目标对象的身份信息、运动成绩、运动特点信息和/或脸部增强图像等。
在一个实施例中，所述时间切片特效包括多个视频帧，该视频帧即为前述第二视频帧。
所述时间切片特效中相邻显示的两个所述第二视频帧，将呈现所述第一目标对象不同时间点的运动状态，可以呈现出运动视觉暂留的视觉效果，使观众可以看清高速运动状态中目标对象的运动状态。
在一个实施例中，所述深度学习模型可以包括：卷积神经网络(CNN，Convolutional Neural Networks)模型、深度神经网络(DNN，Deep Neural Networks)模型、循环神经网络(RNN，Recurrent Neural Networks)模型和/或模糊神经网络(FNN，FuzzyNeural Network)模型等。
在一个实施例中，所述步骤S130可以包括：根据深度学习模型提取第一直播视频帧图像中第一目标对象的轮廓信息；根据深度学习模型将第一目标对象与背景分割，获得第一目标对象的图像；根据深度学习模型计算第一目标对象在视频数据中的运动轨迹；根据视频数据坐标与现实物理坐标系的映射关系，获得目标对象实际的运动轨迹、运动高度坐标和运动速度等运动轨迹信息。所述步骤还可以包括：通过深度学习模型对运动轨迹进行平滑处理，获得更连贯的运动轨迹信息。
在一个实施例中，所述步骤S120可以包括：接收图像采集设备采集的第一直播视频数据；对所述接收的直播视频数据进行编码处理。其中，所述编码处理可以包括：格式转换和/或预定格式的编码等。
在一个实施例中，由于素材数据预先加载且用于深度学习模型进行轮廓信息和运动轨迹的提取，因而在生成时间切片特效时，可以对第二视频帧进行4K编码。
在对第二视频帧编码时，可包括：
将接收的YUV格式的视频数据转换为RGB格式。RGB格式更适用于算法处理，可以提高算法处理的速度。
示例性的，接收4K图像采集设备采集的第一直播视频数据，对所述第一视频帧进行4K编码，获得4K第一直播视频数据，根据所述4K第一视频帧提取的第一目标对象的轮廓信息、运动轨迹信息和素材数据，对所述第二视频帧进行4K编码，获得4K时间切片特效，实现了在播放4K直播视频时，制作和插播4K时间切片特效，达到了4K标准的直播。
在一个实施例中，所述直播视频数据的分辨率可以包括：4K超高清、全高清1080p和/或720p高清等。
在一个实施例中，所述4K编码方式可以包括：H.264编码、H.265编码、VP9编码和/或XAVC编码等。其中，对直播视频数据进行4K编码之后，对视频数据进行压缩，在保留4K清晰度的同时避免处理过程中4K视频文件过大过多带来的负担，提高处理4K视频文件的效率。
在一个实施例中，可以包括通过预定的编码方式和预定的编码参数集进行4K编码，其中，所述编码参数集可以包括：视频帧格式、平均码率、帧率、采样格式、量化深度和/或封装格式等。
示例性的，可以采用XAVC-I 4K Intra Class 300的编码方式，预测模式为帧内预测(Intra)，采样格式为YUV422，量化深度为10bit，封装格式为XMF，平均码率为500Mbps，视频帧格式为全I帧，帧率为50p，获得的视频4K分辨率可以是4096×2160。其中，根据预定的编码方式和预定的编码参数集，相较于其它的编码方式和参数集，全I帧对视频压缩程度更低，使画质保持清晰，播放更加稳定，根据预定的参数集获得的4K视频数据在制作和播放的过程中更加稳定，并且符合广电级4K标准，可以直接应用于广播电视系统。
在一个实施例中，所述第一系统可以对所述素材数据、所述第一直播视频数据、所述时间切片特效等数据使用内存映射的方法进行数据读写操作，提高了数据的处理速度，提高了生成时间切片特效的速度。
如图2所示，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：
步骤S210：根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成多个图层；
步骤S220：对多个所述图层进行分层渲染，得到所述第二视频帧。
在一个实施例中，所述步骤S220可以包括：对多个图层并行进行分层渲染，得到所述第二视频帧。进一步地，对多个图层同步进行分层渲染，得到所述第二视频帧。通过上述并行甚至同步分层渲染，可以减少时间切片特效制作过程中的渲染所需时长，从而实现时间切片特效的快速制作。
在一个实施例中，所述步骤S220可以包括：在同一时间坐标轴中不同的预定时刻对多个不同图层进行分层渲染，将渲染后的不同图层叠加获得第二视频帧。
在一个实施例中，参考图4所示，所述多个图层包括：根据所述第一直播视频数据生成的视频层。
该视频层可为第二视频帧的底层或基层。
进一步地，所述多个图层还包括以下至少之一：
根据运动轨迹信息生成的运动轨迹层，其中，所述运动轨迹层叠加在所述视频层上；
根据所述轮廓信息以及素材数据，生成的特效动画层；其中，所述关键帧动画层叠加在所述运动轨迹层上；
增强现实层，叠加在所述运动轨迹层和/或所述关键帧动画层上。
在一个实施例中，在分层制作完各个第二视频帧的图层之后，将这多个图层按照预定顺序叠加在一起，得到完整的第二视频帧。
在一个实施例中，所述运动轨迹层可以包括根据所述运动轨迹信息生成的运动轨迹线。
在一个实施例中，所述增强现实层包括：根据赛事数据、运动数据和/或目标对象数据等生成显示在视频数据上的文字数据或图像数据。其中所述赛事数据可以包括比赛项目名称、比赛项目进度信息和/或比赛成绩信息等，所述目标对象数据可以包括目标对象的目标对象的身份信息、运动成绩、运动特点信息和/或脸部增强图像等，所述运动数据可以包括目标对象运动的速度、高度和/或距离等。
在一个实施例中，所述特效动画层可以用于将深度学习模型提取的视频帧以序列帧图像的形式保存到内存中；根据关键帧生成动画帧。
其中，所述关键帧可以包括以下至少之一：
根据间隔帧数确定关键帧；其中，所述根据间隔帧数确定关键帧可以包括从第一视频帧的预定帧开始，每隔间隔帧数抽一帧作为关键帧；示例性的，可以从第一视频帧的第一帧开始，每间隔10帧，抽一帧作为关键帧；
根据时间间隔确定关键帧；其中，所述根据时间间隔确定关键帧可以包括从第一视频帧的的预定帧开始，每间隔预定的时间间隔抽一帧作为关键帧；示例性的，可以从第一视频帧的的第一帧开始，每间隔600ms抽一帧作为关键帧；
根据深度学习模型确定关键帧；其中，所述根据深度学习模型确定关键帧可以包括：根据深度学习模型确定预定姿态动作的帧图像、标准动作的帧图像和/或极限动作姿态的帧图像；示例性的，可以根据深度学习模型确定滑雪项目中将起跳、后空翻、转体、落地等姿态确定的帧图像生成不同姿态的动画帧。
在一个实施例中，所述特效动画层还用于显示序列帧图像，检测序列帧图像是否成功保存到内存中，这样可以防止系统优化导致的没有实际将序列帧图像保存到内存的情况。
在一个实施例中，可以包括对多个图层同时开始渲染，且在多个图层叠加成第二视频帧之前，对渲染后的多个图层进行叠加预览。通过预览减少制作后的第二视频帧画质异常的现象。
在一个实施例中，将所述特效动画层与视频层叠加，特效动画层可以包括没有背景图像的目标对象的运动动作图像，将特效动画层与视频层叠加，特效动画层目标对象的运动动作可以覆盖视频层中第一直播视频数据中目标对象的运动动作，从而更好地生成时间切片特效。
在一个实施例中，可以设置在多个图层同步渲染，在渲染完成后的预定时间设置同时叠加播放视频层、特效动画层、运动轨迹层和增强现实层，实现了实时同步播放时间切片特效动画、运动轨迹和增强现实信息，根据叠加播放后的第二视频帧生成时间切片特效，相较于对多个图层的数据进行剪切拼接合成的第二视频帧生成的时间切片特效，多层渲染大大减少了视频渲染的时间，提高了生成时间切片特效的效率。
在一个实施例中，所述运动轨迹层，包括：
根据所述运动轨迹信息生成的运动轨迹的包络。
所述运动轨迹的包络可以是跟多条运动轨迹曲线的每条线都有至少一点相切的曲线，可以更清楚地显示多条运动轨迹的曲线。
在一个实施例中，所述增强现实层，包括以下至少之一：
所述第一目标对象的身份信息；
所述第一目标对象的运动成绩；
所述第一目标对象的运动特点信息；
所述第一目标对象的脸部增强图像。
在一个实施例中，经过所述增强现实层和运动轨迹层渲染后的第二视频帧可以如图5所示。
在一个实施例中，所述身份信息可以包括国籍、姓名、生理年龄和/或运动年龄等信息。所述运动成绩可以包括第一目标对象的本次比赛成绩、历史比赛成绩和/或本比赛项目中第一目标对象的比赛成绩排名。所述运动特点信息可以包括第一目标对象的擅长动作、第一目标对象的稳定性和/或第一目标对象本次比赛中亮点动作等。所述脸部增强图像可以包括脸部放大图和/或脸部特写等，便于观众和解说员认清第一目标对象，更好地区分目标对象。
在一个实施例中，所述运动轨迹层可以包括：
根据深度学习模型通过跟踪算法计算目标对象在视频数据中的运动轨迹；根据视频数据坐标标注所述运动轨迹的坐标点；
根据深度学习模型通过拟合算法对运动轨迹的坐标点进行平滑处理，将折点等坐标点处理的更连贯平滑，获得运动轨迹的包络。
在一个实施例中，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：
使用硬解码器根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
在一个实施例中，可以通过硬解码器对4K编码视频进行解码播放。通过硬解码器解码可以实现对第一直播视频和特效动画同步播放和暂停，并使第一直播视频和特效动画的同步误差保持在20ms的帧精度内，还可以避免软解码播放4K视频文件时出现卡顿、残影和背景视频无法同步的问题。示例性的，所述硬解码器可以包括迈创Matrox M264硬解码器。
在一个实施例中，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：
在所述第一直播视频数据播放时，根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
在一个实施例中，在所述第一直播视频数据开始时，同步根据所述轮廓信息和/或素材数据，实时生成时间切片特效，在时间切片特效生成后实时插播在所述第一直播视频数据之后和第二直播视频数据之前，可以实现对于时间切片特效的实时制作和实时播放。
如图3所示，本发明实施例提供一种视频处理方法，由第二系统执行，所述方法包括：
步骤S310：预先生成加载指令；
步骤S320：接收第一直播视频数据；其中，所述直播视频数据包括一个或多个对第一目标对象拍摄的第一视频帧；
步骤S330：将所述加载指令及所述第一直播视频数据发送给第一系统；所述加载指令，用于供所述第一系统预先加载素材数据，并触发所述第一系统基于所述第一直播视频数据生成针对第一目标对象的时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
在一个实施例中，所述方法可以包括：由第二系统自动完成或者由操作人员控制所述第二系统完成所述预先生成加载指令、所述加载指令发送给第一系统、接收所述时间切片特效和/或插播所述时间切片特效等动作。
在一个实施例中，所述方法可以包括：第二系统根据第一直播视频数据或拍摄场景的进度表信息确定赛程信息和目标对象，确定目标对象的身份信息、历史运动成绩和/或赛程信息等增强现实信息；第二系统还可以根据赛程信息对目标对象信息进行分类打包排序，在第一直播视频数据中第一目标对象不符合赛程信息的错误状态时及时提取第一目标对象信息并重新排列。其中，第二系统自动确认赛程信息与目标对象信息，相较于人工选择，减少了处理时间，提高了播放视频和制作时间切片特效的效率。第二系统还可以及时处理错误状态，提高了播放视频和制作时间切片特效的准确性。
在一个实施例中，所述步骤S330可以包括：在预先生成加载指令后立即将加载指令发送给第一系统；根据预定时间将加载指令发送给第一系统；在确定增强现实信息后将增强现实信息与加载指令一同发送给第一系统。
在一个实施例中，所述步骤S330还可以包括发送加载指令给控制脚本，开始运行控制脚本，所述控制脚本可以用于控制第一系统进行加载素材数据、根据深度学习模型生成时间切片特效。
在一个实施例中，所述方法可以包括第二系统检测到第一系统生成的时间切片特效，控制第一系统将时间切片特效发送第二系统，并接收所述时间切片特效。
在一个实施例中，所述第二系统可以包括键盘控制功能，可以将常用的控制动作设置为不同的快捷键，方便操作人员快速控制第二系统，节省了操作时间。
在一个实施例中，所述第二系统可以包括通过浏览器、计算机和/或移动应用的控制所述第二系统。在一个实施例中，所述第二系统可以通过浏览器控制，所述第一系统和所述第二系统通过双向通信(websocket)协议进行通信，所述websocket协议可以使数据响应时间控制在20ms内，即数据拉取延时控制在帧级别内。
在一个实施例中，所述方法可以包括：接收第一直播视频数据；接收所述第一直播视频数据时预先生成加载指令；播放所述第一直播视频数据并将所述加载指令发送给第一系统；接收所述时间切片特效；在播放所述第一直播视频数据之后插播所述时间切片特效；接收第二直播视频数据并准备播放。这里，通过第二系统在播放时向第一系统发送加载指令，使第一系统加载素材数据并生成时间切片特效，通过第二系统与第一系统并行工作，提高了处理效率，可以实现时间切片特效的实时制作与直播。
在一个实施例中，所述方法可以包括：控制所述插播所述时间切片特效，包括控制是否播放所述时间切片特效，播放所述时间切片特效的时间，控制所述时间切片特效中特效动画、运动轨迹信息与增强现实信息是否播放、播放时间和/或特效内动画元素和增强现实信息元素的播放。这样，可以实时控制直播，及时处理直播中数据异常的情况。
在一个实施例中，所述方法还包括：
在接收到所述时间切片特效之后，进入到时间切片特效播放的就绪状态；
所述在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述时间切片特效，包括：
当检测到播放触发事件时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述时间切片特效。
在一个实施例中，所述播放触发事件可以包括：检测到时间切片特效播放的就绪状态后确定预定播放时间进行播放或根据导播口令由操作人员给出的插播指令进行播放等。
在一个实施例中，所述方法还包括：
在进入到所述就绪状态之后，显示就绪图标；
当检测到作用于所述就绪图标的操作指令时，确定检测到播放触发事件。
在一个实施例中，所述当检测到作用于所述就绪图标的操作指令可以包括当检测到点击所述就绪图标的操作指令，确定检测到播放触发事件，插播所述时间切片特效。
在一个实施例中，所述预先生成加载指令，包括：
根据拍摄场景的进度表信息，预先生成所述加载指令。
在一个实施例中，所述拍摄场景的进度表信息可以包括体育赛事的赛程进度表信息。所述拍摄场景可以包括不同体育比赛场馆，可以根据不同体育比赛场地的进度表信息进行切换，预先生成与进度表信息对应的目标对象的加载指令。
在一个实施例中，所述方法还包括：
预先获取预设特效；
当所述时间切片特效异常时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述预定特效。
在一个实施例中，所述预设特效可以包括转场特效、视频特效、增强现实信息特效和/或目标对象信息特效等。示例性的，所述转场特效可以包括根据比赛的名称和/或标志(logo)信息生成的转场特效等。所述视频特效可以包括慢放特效、自由视角播放特效和/或子弹时间特效等时间切片特效之外的特效。所述增强现实信息特效可以包括根据当前比赛的所有目标对象或目标对象团体的实时成绩和/或目标对象的身份信息和历史成绩生成的增强现实信息特效。
在一个实施例中，如图6所示，一种在线包装系统和播控系统交互进行视频处理的步骤可以包括：
步骤1、播控系统选择选手；其中，所述选手可以是根据接收的第一直播视频数据中的第一目标对象。
步骤2、播控系统向在线包装系统发送加载指令；
步骤3、在线包装系统根据加载指令加载资源；其中，所述资源可以包括素材数据、接收的第一直播视频数据、利用深度学习模型从所述第一视频帧提取的第一目标对象的轮廓信息的视频帧以及运动轨迹信息、根据所述轮廓信息、所述运动轨迹信息和/或素材数据生成的时间切片特效动画；所述加载资源可以包括加载素材数据、图片数据、视频数据和/或运动轨迹数据以及编排序列帧动画特效。
步骤4、在线包装系统在加载资源完成后显示就绪图标，等待触发播放事件；
步骤5、播控系统向在线包装系统发送播放指令；其中，可以包括播控人员根据导播口令操作播控系统发送播放指令；其中，可以包括在确认在线包装系统加载就绪和确认播放参数正常后发送所述播放指令；
步骤6、在线包装系统根据接收到的播放指令进行多层渲染；所述多层渲染可以包括播放特效动画层的特效动画、视频层的底片视频和增强现实层的人名条信息，在特效动画层播放完成后播放运动轨迹和高度数据；所述多层渲染可以由播控系统控制；所述多层渲染可以由播控系统控制；
步骤7、在线包装系统输出获得时间切片特效，所述在线包装系统输出时间切片特效可以由播控系统控制。
在一个实施例中，如图7所示，根据算法服务器和包装播控服务器进行视频处理的步骤可以包括：
步骤a、根据摄像机和采集卡获得视频数据，所述视频数据可以是第一直播视频数据；
步骤b、根据算法服务器对所述视频数据进行格式转换，所述格式转换可以包括将YUV422格式的视频转换为RGB24格式，所述RGB24格式便于算法处理；
步骤c、根据算法服务器对所述格式转换后的视频数据进行算法处理；
步骤d、根据算法服务器在算法处理的时刻同步进行落盘编码录制，获得视频文件，所述落盘编码录制可以包括对采集的YUV422格式的视频数据进行4K编码；
所述步骤c中所述算法处理包括：
c1、通过跟踪算法进行运动轨迹识别；
c2、对所述运动轨迹进行转换，所述转换包括将运动轨迹从屏幕坐标转换映射到物理坐标系；
c3、根据运动轨迹和坐标数据获得轨迹数据；
c4、通过跟踪算法确定目标对象所在区域；
c5、通过抽帧确定待处理的视频帧；
c6、根据图像分割算法将待处理的视频帧的目标对象和背景分割，获得目标对象的抠像图片和视频帧数据；
步骤e、包装播控服务器可以通过播控服务根据控制脚本控制在线包装加载所述抠像图片、图片帧数据和轨迹数据；其中，所述播控服务可以通过浏览器控制；
步骤f、包装播控服务器可以通过控制脚本和采集卡对落盘编码录制获得的视频文件进行解码播放；
如图8所示，本发明实施例提供一种视频处理装置，所述装置包括：
加载模块10，用于：根据第二系统提供的加载指令，预先加载素材数据；
接收模块20，用于：接收第一直播视频数据，其中，所述直播视频数据包括一个或多个第一视频帧；
提取模块30，用于：利用深度学习模型从所述第一视频帧提取第一目标对象的轮廓信息以及运动轨迹信息；
生成模块40，用于：根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
在一个实施例中，所述生成模块40还用于：根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成多个图层；对多个所述图层进行分层渲染，得到所述第二视频帧。
在一个实施例中，所述多个图层包括：根据所述第一直播视频数据生成的视频层；所述多个图层还包括以下至少之一：根据运动轨迹信息生成的运动轨迹层，其中，所述运动轨迹层叠加在所述视频层上；根据所述轮廓信息以及素材数据，生成的特效动画层；其中，所述关键帧动画层叠加在所述运动轨迹层上；增强现实层，叠加在所述运动轨迹层和/或所述关键帧动画层上。
在一个实施例中，所述运动轨迹层，包括：根据所述运动轨迹信息生成的运动轨迹的包络；和/或，所述增强现实层，包括以下至少之一：所述第一目标对象的身份信息；所述第一目标对象的历史运动成绩；所述第一目标对象的运动特点信息；所述第一目标对象的脸部增强图像。
在一个实施例中，所述生成模块40还用于：使用硬解码器根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
在一个实施例中，所述生成模块40还用于：在所述第一直播视频数据播放时，根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
如图9所示，本发明实施例提供一种视频处理装置，所述装置包括：
生成模块100，用于预先生成加载指令；
接收模块110，用于接收第一直播视频数据；其中，所述直播视频数据包括一个或多个对第一目标对象拍摄的第一视频帧；
发送模块130，用于将所述加载指令及所述第一直播视频数据发送给第一系统；所述加载指令，用于供所述第一系统预先加载素材数据，并触发所述第一系统基于所述第一直播视频数据生成针对第一目标对象的时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
在一个实施例中，所述装置还包括进入模块140，用于在接收到所述时间切片特效之后，进入到时间切片特效播放的就绪状态；
播放模块150，用于当检测到播放触发事件时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述时间切片特效。
在一个实施例中，所述装置还包括：显示模块160，用于在进入到所述就绪状态之后，显示就绪图标；
确定模块170，用于当检测到作用于所述就绪图标的操作指令时，确定检测到播放触发事件。
在一个实施例中，所述生成模块100，还用于根据拍摄场景的进度表信息，预先生成所述加载指令。
在一个实施例中，所述装置还包括：获取模块180，用于预先获取预设特效；
所述播放模块150，还用于：当所述时间切片特效异常时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述预定特效。
需要说明的是，本领域内技术人员可以理解，本发明实施例提供的方法，可以被单独执行，也可以与本发明实施例中一些方法或相关技术中的一些方法一起被执行。
本发明实施例还提供一种电子设备，所述电子设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，处理器运行所述计算机程序时，执行前述一个或多个技术方案所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，计算机可执行指令被处理器执行后，能够实现前述一个或多个技术方案所述方法。
本实施例提供的计算机存储介质可为非瞬间存储介质。在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
在一些情况下，上述任一两个技术特征不冲突的情况下，可以组合成新的方法技术方案。
在一些情况下，上述任一两个技术特征不冲突的情况下，可以组合成新的设备技术方案。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (15)
1.一种视频处理方法，其特征在于，由第一系统执行，所述方法包括：
根据第二系统提供的加载指令，预先加载素材数据；
接收第一直播视频数据，其中，所述直播视频数据包括一个或多个第一视频帧；
利用深度学习模型从所述第一视频帧提取第一目标对象的轮廓信息以及运动轨迹信息；
根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；
其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
2.根据权利要求1所述的视频处理方法，其特征在于，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：
根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成多个图层；
对多个所述图层进行分层渲染，得到所述第二视频帧。
3.根据权利要求2所述的的方法，其特征在于，所述多个图层包括：根据所述第一直播视频数据生成的视频层；
所述多个图层还包括以下至少之一：
根据运动轨迹信息生成的运动轨迹层，其中，所述运动轨迹层叠加在所述视频层上；
根据所述轮廓信息以及素材数据，生成的特效动画层；其中，所述关键帧动画层叠加在所述运动轨迹层上；
增强现实层，叠加在所述运动轨迹层和/或所述关键帧动画层上。
4.根据权利要求3所述的方法，其特征在于，所述运动轨迹层，包括：
根据所述运动轨迹信息生成的运动轨迹的包络；
和/或，
所述增强现实层，包括以下至少之一：
所述第一目标对象的身份信息；
所述第一目标对象的运动成绩；
所述第一目标对象的运动特点信息；
所述第一目标对象的脸部增强图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：
使用硬解码器根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效，包括：
在所述第一直播视频数据播放时，根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效。
7.一种视频处理方法，其特征在于，由第二系统执行，所述方法包括：
预先生成加载指令；
接收第一直播视频数据；其中，所述直播视频数据包括一个或多个对第一目标对象拍摄的第一视频帧；
将所述加载指令及所述第一直播视频数据发送给第一系统；所述加载指令，用于供所述第一系统预先加载素材数据，并触发所述第一系统基于所述第一直播视频数据生成针对第一目标对象的时间切片特效；
其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；
其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
在接收到所述时间切片特效之后，进入到时间切片特效播放的就绪状态；
所述在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述时间切片特效，包括：
当检测到播放触发事件时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，生成所述时间切片特效的插播指令。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
在进入到所述就绪状态之后，显示就绪图标；
当检测到作用于所述就绪图标的操作指令时，确定检测到播放触发事件。
10.根据权利要求7至9任一项所述的方法，其特征在于，所述预先生成加载指令，包括：
根据拍摄场景的进度表信息，预先生成所述加载指令。
11.根据权利要求7至9任一项所述的方法，其特征在于，所述方法还包括：
预先获取预设特效；
当所述时间切片特效异常时，在播放所述第一直播视频数据之后且在播放第二直播视频数据之前，插播所述预定特效。
12.一种视频处理装置，其特征在于，所述装置包括：
加载模块，用于：根据第二系统提供的加载指令，预先加载素材数据；
接收模块，用于：接收第一直播视频数据，其中，所述直播视频数据包括一个或多个第一视频帧；
提取模块，用于：利用深度学习模型从所述第一视频帧提取第一目标对象的轮廓信息以及运动轨迹信息；
生成模块，用于：根据所述轮廓信息、所述运动轨迹信息和/或素材数据，生成时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
13.一种视频处理装置，其特征在于，所述装置包括：
生成模块，用于预先生成加载指令；
接收模块，用于接收第一直播视频数据；其中，所述直播视频数据包括一个或多个对第一目标对象拍摄的第一视频帧；
发送模块，用于将所述加载指令及所述第一直播视频数据发送给第一系统；所述加载指令，用于供所述第一系统预先加载素材数据，并触发所述第一系统基于所述第一直播视频数据生成针对第一目标对象的时间切片特效；其中，所述时间切片特效包括：多个第二视频帧，其中，相邻显示的两个所述第二视频帧呈现所述第一目标对象不同时间点的运动状态；其中，所述时间切片特效，用于供所述第二系统插播在所述第一直播视频数据和第二直播视频数据之间；其中，所述第二直播视频数据为第二目标对象的直播视频数据。
14.一种电子设备，其特征在于，所述电子设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器运行计算机程序时，执行权利要求1至11任一项视频处理方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现如权利要求1至11任一项所述视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210647595.4A CN115175005A (zh) | 2022-06-08 | 2022-06-08 | 视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210647595.4A CN115175005A (zh) | 2022-06-08 | 2022-06-08 | 视频处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115175005A true CN115175005A (zh) | 2022-10-11 |
Family
ID=83484474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210647595.4A Pending CN115175005A (zh) | 2022-06-08 | 2022-06-08 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115175005A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116761011A (zh) * | 2023-08-21 | 2023-09-15 | 浙江印象软件有限公司 | 直播虚拟物品特效数据的实时加载方法及系统 |
| US20250078413A1 (en) * | 2023-09-06 | 2025-03-06 | Snap Inc. | System and method for augmented reality broadcast integration |
| WO2025054457A1 (en) * | 2023-09-06 | 2025-03-13 | Snap Inc. | System and method for augmented reality broadcast integration |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040017504A1 (en) * | 2000-04-07 | 2004-01-29 | Inmotion Technologies Ltd. | Automated stroboscoping of video sequences |
| US6833849B1 (en) * | 1999-07-23 | 2004-12-21 | International Business Machines Corporation | Video contents access method that uses trajectories of objects and apparatus therefor |
| JP2005123824A (ja) * | 2003-10-15 | 2005-05-12 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
| US20090015678A1 (en) * | 2007-07-09 | 2009-01-15 | Hoogs Anthony J | Method and system for automatic pose and trajectory tracking in video |
| CN101930779A (zh) * | 2010-07-29 | 2010-12-29 | 华为终端有限公司 | 一种视频批注方法及视频播放器 |
| CN104159033A (zh) * | 2014-08-21 | 2014-11-19 | 深圳市中兴移动通信有限公司 | 一种拍摄效果的优化方法及装置 |
| WO2017011818A1 (en) * | 2015-07-16 | 2017-01-19 | Blast Motion Inc. | Sensor and media event detection and tagging system |
| WO2018053257A1 (en) * | 2016-09-16 | 2018-03-22 | Second Spectrum, Inc. | Methods and systems of spatiotemporal pattern recognition for video content development |
| US20190089923A1 (en) * | 2017-09-21 | 2019-03-21 | Canon Kabushiki Kaisha | Video processing apparatus for displaying a plurality of video images in superimposed manner and method thereof |
| CN111598134A (zh) * | 2020-04-24 | 2020-08-28 | 山东体育学院 | 一种体操运动数据监控的测试分析方法 |
| CN112154658A (zh) * | 2018-05-29 | 2020-12-29 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| US20210133987A1 (en) * | 2019-11-05 | 2021-05-06 | Tensor Consulting Co. Ltd. | Motion analysis system, motion analysis method, and computer-readable storage medium |
| CN113810587A (zh) * | 2020-05-29 | 2021-12-17 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN114584681A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 目标对象的运动展示方法、装置、电子设备及存储介质 |
-
2022
- 2022-06-08 CN CN202210647595.4A patent/CN115175005A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6833849B1 (en) * | 1999-07-23 | 2004-12-21 | International Business Machines Corporation | Video contents access method that uses trajectories of objects and apparatus therefor |
| US20040017504A1 (en) * | 2000-04-07 | 2004-01-29 | Inmotion Technologies Ltd. | Automated stroboscoping of video sequences |
| JP2005123824A (ja) * | 2003-10-15 | 2005-05-12 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム |
| US20090015678A1 (en) * | 2007-07-09 | 2009-01-15 | Hoogs Anthony J | Method and system for automatic pose and trajectory tracking in video |
| CN101930779A (zh) * | 2010-07-29 | 2010-12-29 | 华为终端有限公司 | 一种视频批注方法及视频播放器 |
| CN104159033A (zh) * | 2014-08-21 | 2014-11-19 | 深圳市中兴移动通信有限公司 | 一种拍摄效果的优化方法及装置 |
| WO2017011818A1 (en) * | 2015-07-16 | 2017-01-19 | Blast Motion Inc. | Sensor and media event detection and tagging system |
| WO2018053257A1 (en) * | 2016-09-16 | 2018-03-22 | Second Spectrum, Inc. | Methods and systems of spatiotemporal pattern recognition for video content development |
| US20190089923A1 (en) * | 2017-09-21 | 2019-03-21 | Canon Kabushiki Kaisha | Video processing apparatus for displaying a plurality of video images in superimposed manner and method thereof |
| CN112154658A (zh) * | 2018-05-29 | 2020-12-29 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| US20210133987A1 (en) * | 2019-11-05 | 2021-05-06 | Tensor Consulting Co. Ltd. | Motion analysis system, motion analysis method, and computer-readable storage medium |
| CN111598134A (zh) * | 2020-04-24 | 2020-08-28 | 山东体育学院 | 一种体操运动数据监控的测试分析方法 |
| CN113810587A (zh) * | 2020-05-29 | 2021-12-17 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN114584681A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 目标对象的运动展示方法、装置、电子设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116761011A (zh) * | 2023-08-21 | 2023-09-15 | 浙江印象软件有限公司 | 直播虚拟物品特效数据的实时加载方法及系统 |
| CN116761011B (zh) * | 2023-08-21 | 2023-11-14 | 浙江印象软件有限公司 | 直播虚拟物品特效数据的实时加载方法及系统 |
| US20250078413A1 (en) * | 2023-09-06 | 2025-03-06 | Snap Inc. | System and method for augmented reality broadcast integration |
| WO2025054457A1 (en) * | 2023-09-06 | 2025-03-13 | Snap Inc. | System and method for augmented reality broadcast integration |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113784148B (zh) | 数据处理方法、系统、相关设备和存储介质 | |
| US10182270B2 (en) | Methods and apparatus for content interaction | |
| CN111540055B (zh) | 三维模型驱动方法、装置、电子设备及存储介质 | |
| US11748870B2 (en) | Video quality measurement for virtual cameras in volumetric immersive media | |
| US10210907B2 (en) | Systems and methods for adding content to video/multimedia based on metadata | |
| CN115175005A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN112509148B (zh) | 一种基于多特征识别的交互方法、装置及计算机设备 | |
| US20160205341A1 (en) | System and method for real-time processing of ultra-high resolution digital video | |
| CN110557625A (zh) | 虚拟形象直播方法、终端、计算机设备及存储介质 | |
| US20130278727A1 (en) | Method and system for creating three-dimensional viewable video from a single video stream | |
| CN107529091B (zh) | 视频剪辑方法及装置 | |
| Chen et al. | An autonomous framework to produce and distribute personalized team-sport video summaries: A basketball case study | |
| CN110868554B (zh) | 直播中实时换脸的方法、装置、设备及存储介质 | |
| CN101807393A (zh) | Ktv系统及其实现方法、电视机 | |
| JPH0993588A (ja) | 動画像処理方法 | |
| US11622099B2 (en) | Information-processing apparatus, method of processing information, and program | |
| EP3876543A1 (en) | Video playback method and apparatus | |
| CN114697741B (zh) | 多媒体信息的播放控制方法及相关设备 | |
| US20170225077A1 (en) | Special video generation system for game play situation | |
| CN117197308A (zh) | 数字人驱动方法、数字人驱动设备及存储介质 | |
| CN114302234A (zh) | 一种空中技巧快速包装方法 | |
| KR102572935B1 (ko) | 스크린키를 이용하여 스크린상의 영화영상에 연동되도록 동작기기를 제어하는 4d 체험 제어장치 및 그 제어방법 | |
| EP4243411A1 (en) | Image processing system, image processing method, and storage medium | |
| WO2023157005A1 (en) | An augmented reality interface for watching live sport games | |
| JP2020127150A (ja) | システム、画像処理装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221011 |
|
| RJ01 | Rejection of invention patent application after publication |