CN116385916A - 视频处理方法、电子设备及计算机存储介质 - Google Patents

Abstract

本申请实施例提供了一种视频处理方法、电子设备及计算机存储介质，其中的方法包括：确定在应用程序中启动的基于视频流的检索任务，即可获取运行所述应用程序时基于生成的包含有目标主体的视频流，进而直接基于产生的视频流进行主体识别，无需手动触发视频拍摄功能才能进入视频拍摄状态以生成视频流，即可快速地识别出目标主体，进一步基于所述目标主体检索与其关联的数据，从而缩短了检测方案的耗时，提高了交互的流畅性，提高了用户体验。

Description

视频处理方法、电子设备及计算机存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种视频处理方法、电子设备及计算机存储介质。

背景技术

在目标主体的检测方案中，启动摄像设备后需要手动触发视频拍摄功能才能进入视频拍摄状态，进而得到视频流，再对该视频流进行图像处理，以检测视频流中的目标主体。为此，当在一些场景中应用时，由于需要手动触发视频拍摄功能才能进入视频拍摄状态，导致整个检测方案的耗时较长，交互的流畅性受到影响，从而降低了用户体验。

发明内容

有鉴于此，本申请实施例提供一种视频处理方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种视频处理方法，包括：

确定在应用程序中启动的基于视频流的检索任务，并获取运行所述应用程序时基于生成的包含有所述目标主体的视频流；

针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体；

基于从所述视频流中识别出的所述目标主体，执行所述检索任务，以检索与所述目标主体关联的数据，所述数据包括与所述目标主体相似的的推荐对象，和/或所述推荐对象的属性描述数据。

根据本申请实施例的第二方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。

根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

根据本申请实施例的第四方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行如第一方面所述的方法对应的操作。

根据本申请实施例提供的视频处理方案，确定在应用程序中启动的基于视频流的检索任务，即可获取运行所述应用程序时基于生成的包含有所述目标主体的视频流，进而直接基于产生的视频流进行主体识别，无需手动触发视频拍摄功能才能进入视频拍摄状态以生成视频流，即可快速地识别出目标主体，进一步基于所述目标主体检索与其关联的数据，从而缩短了检测方案的耗时，提高了交互的流畅性，提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了一种适用本申请实施例的视频处理方法的示例性系统。

图2A示出了一种视频处理方法的流程示意图。

图2B示出了一种主体识别处理的流程示意图。

图3A示出了本申请实施例一种视频处理方法的应用场景。

图3B示出了本申请实施例一种基于多线程控制视频处理方法的应用场景。

图4示出了根据本申请的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

本申请实施例提供的技术方案中，由于是直接依据运行所述应用程序时基于生成的包含有所述目标主体的视频流进行目标主体的识别处理，无需手动触发视频拍摄功能进入视频拍摄状态以生成视频流，同时，在获取到基于生成的包含有所述目标主体的视频流，即可执行识别目标主体的操作，从而简化了检测方案的流程，缩短了检测方案的耗时，提高了交互的流畅性，提高了用户体验，可以达到所见即所搜的效果。

图1示出了一种适用本申请实施例的视频处理方法的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。

云服务端102可以是用于存储信息、数据、应用程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。在一些实施例中，可以将本申请下述实施例提供的视频处理方法集成在应用程序中，并存储在云服务端102上。

在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。

用户设备106通过通信网络将应用程序下载到本地，以在所述用户设备本地执行本申请下述实施例提供的视频处理方法。

在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、游戏控制台、媒体播放器、车辆娱乐系统和/或任何其他合适类型的用户设备。

参考上述系统，本申请实施例提供了一种视频处理方法，以下通过多个实施例进行说明。

当然，此处需要说明的是，图1实施例中，是以在用户设备本地执行视频处理方法为例进行说明，但是，并非唯一性限定只能在用户设备本地执行。实际上，在一些应用场景中，也可以在云服务端执行，再将执行的结果推送给用户设备。

基于上述系统，本申请实施例提供了一种视频处理方法，以下通过多个实施例进行说明。

图2A示出了一种视频处理方法的流程示意图。如图2A所示，本实施例中，所述视频处理方法包括如下步骤S201-S203：

S201、确定在应用程序中启动的基于视频流的检索任务，并获取运行所述应用程序时基于生成的包含有所述目标主体的视频流。

在一些示例中，所述应用程序不做特别限定，可以包括集成了基于视频流进行检索的任意应用程序，比如提供消费类服务的应用程序等。

在一些示例中，如前所述，所述应用程序运行在电子设备上，而该电子设备上可以配置有相机，为此，所述视频流具体可以由该相机来拍摄。

在一些示例中，为了拍摄所述视频流，具体可以启动电子设备的主线程来完成相机的初始化，并启动相机配置线程开启摄像头，再启动相机回调线程控制相机对准目标主体以生成所述视频流。此处，需要说明的是，通过相机对准目标主体，即实时生成对应的视频流，无需手动操作相机，比如点击视频拍摄按钮。

在一些示例中，满足在应用程序中启动基于视频流的检索任务的条件可以根据应用场景的需求设定，并不做唯一性限定，只要是具备了运行本申请实施例的视频处理方法的条件即可。

S202、针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体。

在一些示例中，步骤S202可以由配置的主体识别处理线程来启动，其具体可以在上述相机回调线程成功完成了所述视频流的生成之后执行。

在一些示例中，步骤S202中在针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体，可以包括：以视频帧为单位，针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体。以视频帧为单位进行主体识别处理，相当于对主体识别处理的任务进行分割，从而可以对视频流中可能出现的目标主体进行实时识别处理，即视频流是实时生成的，而主体识别处理也是伴随着所述视频流的实时生成而实时进行的，或者又称之为在线识别处理。

在一些示例中，如图2B所示，示出了一种主体识别处理的流程示意图。其中，所述针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体，包括：

S212、以视频帧为单位，对每一帧视频进行转换处理，以生成对应的视频帧图像。

S222、针对所述视频流进行主体识别处理，以识别出其中的所述目标主体。

所述转换处理包括图片的缩放和/或翻转，通过图片的缩放，可以减小视频帧图像的尺寸，降低后续参与主体识别处理的数据量，提高了主体识别处理的效率。而对于图片旋转来说，比如，对准目标主体时相机处于竖屏拍摄状态，视频帧图像为竖屏显示方向，而对于主体识别处理来说，是要求视频帧图像是横屏显示方向，因此，通过图片旋转，将视频帧图像从竖屏转换为横屏。

当然，在一些示例中，如果视频帧图像刚刚好满足主体识别处理对视频帧图像的要求，比如尺寸、显示方向等，则可以省去上述转换处理的过程。

此处，需要说明的是，上述竖屏、横屏的转换仅仅是示例，并非唯一性限定。

当然，在其他一些示例中，也可以在对准所述目标主体一段时间后生成一段视频流之后，再对该整段的视频流整体执行上述主体识别处理。与上述实时处理的方式不同的是，这种方式在生成视频流时并不进行主体识别处理，对所述视频流的主体识别处理相当于是离线识别处理。

为此，也可以参考上述处理，将整段的视频流直接转换为一系列视频帧图像，对该一系列视频帧图像执行上述主体识别处理，以识别出所述视频流中的目标主体。

在一些示例中，所述针对所述视频流进行主体识别处理，以识别出其中的所述目标主体，包括：基于完成初始化的第一主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体；若所述第一主体识别模型的初始化未完成，则基于备用的第二主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体。

在一些示例中，所述第一主体识别模型比如可以为已训练完成的神经网络模型。其具体可以通过事先收集的样本图片进行训练，以达到在本申请实施例应用的要求即可。

在一些示例中，所述第二主体识别模型比如可以为轻量化的图片识别模型。

在一些示例中，可以在视频帧为单位，针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体之前，判断所述第一主体识别模型是否完成初始化；若完成初始化，则以视频帧为单位，对每一帧视频进行转换处理，以生成对应的视频帧图像，再基于完成初始化的第一主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体；否则，切换到备用的第二主体识别模型，以视频帧为单位，对每一帧视频进行转换处理，以生成对应的视频帧图像，再基于第二主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体针对所述视频流进行主体识别处理，以识别出其中的所述目标主体。

在一些示例中，可以通过配置适配层A/B开关，在上述第一主体识别模型未完成初始化时，切换到第二主体识别模型进行主体识别处理，从而保证仍然可以识别出目标主体。示例性地，当所述第一主体识别模型的初始化未完成时，可以通过兜底链路切换到第二主体识别模型进行主体识别处理。

在一些示例中，对相邻两个视频帧进行转换处理时的间隔为第一帧间间隔。该步骤可以在步骤S201和步骤S202之间执行。

所述第一帧间间隔的大小可以根据所述转换处理的要求来确定，比如在一些实施例中，可以为0.05s，只要是可以满足逐帧对视频流进行转换处理，使得针对一帧视频完成了转换处理后，再针对下一帧视频进行转换处理，避免对连续两个视频帧进行转换处理时，发生转换处理的冲突。

在一些示例中，所述的方法还包括：对相邻两个视频帧对应的视频帧图像进行所述主体识别处理的间隔为第二帧间间隔。

所述第二帧间间隔的大小可以根据所述主体识别处理的要求来确定，比如在一些示例中，可以为2s，只要是可以满足逐帧对视频流对应的视频帧图像进行主体识别处理，使得针对一帧视频的视频帧图像完成了主体识别处理后，再针对下一帧视频对应的视频帧图像进行主体识别处理，避免对连续两个视频帧的视频帧图像进行主体识别处理时，发生主体识别处理的冲突。

S203、基于从所述视频流中识别出的所述目标主体，执行所述检索任务，以检索与所述目标主体关联的数据。

在一些示例中，可以建立有检索数据库，所述数据库中包括有若干数据，比如与所述目标主体具有相同或者属性的推荐对象的图片，或者，推荐对象的属性描述数据。

在一些示例中，可以通过关联度计算的方式，计算所述目标主体与数据库中数据的关联度，比如相似度，将其中关联度最大的数据作为与所述目标主体关联的数据。所述关联可以根据应用场景来定义。

在一些示例中，所述的方法，还包括：根据检索结果，生成检索结果状态码；根据所述检索结果状态码，生成检索结果操作码，所述检索结果状态码用于对所述检索结果的效用分类，所述检索结果操作码用于对所述检索结果进行操作分类。

所述检索结果的效用分类比如包括：所述视频流的清晰度符合要求，但是并未检索到有效的数据；所述视频流的清晰度不符合要求，但是检索到了有效的数据等，诸如此类等等。示例性地，可以通过不同的数字编码来表示不同的检索结果状态码。

在一些示例中，可以通过对所述检索结果状态码表征的检索结果进行统计分析，并通过数字编码进行赋值表示，以生成检索结果操作码。比如，检索结果操作码分为三类：视频流的清晰度满足要求，且检索到了有效数据；视频流的清晰度不满足要求，和/或，未检索到有效数据；视频流的清晰度满足要求，但不确定是否检索到了有效数据。

进一步，示例性地，可以根据所述检索结果操作码执行下一步操作，比如重新进行主体识别处理，或者，忽略检索结果等，或者，展示检索结果。

为此，所述的方法还可以包括：响应于所述检索结果操作码，根据关联与所述目标主体的数据，生成检索结果展现卡片。

如果基于视频帧进行目标主体识别的话，当视频帧的清晰度满足要求，且检索到了有效数据，则将关联与所述目标主体的推荐对象的属性描述数据，加载在检索结果展现卡片进行展示。比如，目标主体的价格，产地等。

当生成的检索结果展现卡片有多个时，可以在视频流的内容界面上不同位置展现不同的检索结果展现卡片，同时，展现检索到的数据的置信度。

在一些示例中，所述的方法，还包括：响应于所述检索结果操作码根据拉起的检索结果页任务，获取根据关联与所述目标主体的数据生成的检索结果并进行展示。

示例性地，比如，在云服务端对关联与所述目标主体的数据进行统计分析生成检索结果，并基于所述检索结果页任务的调用，在电子设备上展现所述检索结果。所述统计分析比如包括对目标主体进行类别汇总、目标主体的价格区间划分等。

在一些示例中，在上述实施例的基础上，还可以包括：进行预定的预检测，以判断是否满足在应用程序中启动基于视频流的检索任务，所述预检测包括多个检测项，所述检测项包括场景类检测、状态类检测、视频流稳定性检测、资源占用类检测中至少其一。该步骤比如在步骤S201执行。

比如，通过监控所述相机回调线程来实现上述预检测。当检测结果满足要求时，跳转到主体识别处理线程。

通过进行预定的预检测，可以保证只有满足了启动基于视频流的检索任务时，才启动本申请实施例的视频处理方法，或者，换言之，相当于有效过滤掉脏数据，有效地保证了后续视频处理方案的顺畅执行，提高了检索的效率。

在一些示例中，所述场景类检测，包括：检测所述应用程序的弹窗业务是否处理完毕，以及，运行所述应用程序时是否对准所述目标主体；若两者的判断结果均为是，则判定当前场景满足在应用程序中启动基于视频流的检索任务。所述弹窗业务比如是应用程序的使用说明。如果运行所述应用程序时，触发了相机的拍照功能，或者，从电子设备本地选择图片的话，则可以执行直接执行常规的基于图片进行目标主体检索的方案。而对准所述目标主体时，相机即可进行视频流生成。

在一些示例中，所述状态类检测，包括：检测所述多个检测项是否按照预定的检测顺序执行完毕；若是，则判定当前状态满足在应用程序中启动基于视频流的检索任务。

示例地，所述检测项的检测顺序可以根据应用场景来确定。通过检测顺序的制定，只有在监控相机回调线程，确定检测项都满足在应用程序中启动基于视频流的检索任务的条件时，才跳转到主体识别处理线程以执行针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体。

示例性地，可以通过状态机来实现上述检测项的检测。

在一些示例中，所述视频流稳定性检测，包括：检测所述视频流的清晰度是否满足清晰度要求，所述视频流的光照是否满足光照强度要求，运行所述应用程序的电子设备是否满足硬件要求；若三者的判断的结果均为是，则判定所述视频流的稳定性满足在应用程序中启动基于视频流的检索任务。

示例性地，比如可以通过逐帧检测的方式，来检测所述视频流的清晰度是否满足清晰度要求，比如与设定的清晰度阈值进行比对，大于的话，则视为满足清晰度要求，否则，视为不满足清晰度要求。或者，在其他一些示例中，通过计算相邻两个视频帧运动数据的哈希值之差，如果差值小于设定的哈希值阈值，则视为满足清晰度要求，否则，视为不满足清晰度要求。

在一些示例中，所述资源占用类检测，包括：检测所述视频流是否未参与其他非主体识别处理，运行所述应用程序的电子设备的剩余内存是否满足进行所述主体识别处理的要求；若两者的判断结果均为是，则判定所述资源占用的满足在应用程序中启动基于视频流的检索任务。

通过检测视频流是否未参与其他非主体识别处理，相当于实现了对视频流消费的优先级设置，当所述视频流未参与其他非主体识别处理时，所述视频流才可以参与本申请实施例的主体识别处理；另外，通过检测剩余内存，在剩余内存支持主体识别处理时运行，从而避免了内存溢出。

此处，需要说明的是，上述本申请的实施例，视频帧可以基于YUV色彩空间和RGB色彩空间，为此，其具体格式可以根据应用场景的需求确定。

图3A示出了本申请实施例一种视频处理方法的应用场景。如图3A所示，本实施例中，目标主体为书包，通过电子设备上的相机对准该目标物体即可产生视频流。在电子设备上提醒用户保持手机稳定，同时对准商品。以视频帧为单位，针对所述视频流进行主体识别处理，以识别出所述视频流中的书包，基于识别出的是书包在检索数据库进行检索，得到关联所述书包的属性描述数据，比如名称、评价、价格等，以卡片的形式在所述视频帧中显示所述属性描述数据。同时，检索到与作为目标主体的所述书包具有一定相似度若干书包。

图3B示出了本申请实施例一种基于多线程控制视频处理方法的应用场景。对应上述图3A，为了实现图3A的视频处理方法，配置了多线程控制。具体地，通过电子设备的主线程初始化相机，再调用相机配置线程开启相机。进入相机回调线程执行上述实施例中记载的预检测，当预检测通过之后，对相机对准书包产生的视频流进行帧回调，此时，判断是否触发相机拍照，如果是的话，则跳转到图片处理，以直接对拍摄的图片进行主体识别处理，如果否的话，则对视频流进行视频帧的检测，进一步生成对应的视频帧图像，并启动调用主体识别处理的流程，进入主体识别线程回调，回调主体识别处理，即对每一帧视频对应的视频帧图像执行主体识别处理，检索与所述目标主体关联的数据，如书包属性描述数据、与所述书包具有一定相似度的类似书包，进一步判断是否开启调试模式，如果开启，则进行调试处理，比如，保存当前视频帧对应的视频帧图像、主体识别处理的上下文信息等，以便于对主体识别处理进行调试。如果未开启，则跳转到通过随机子线程来获取主体识别处理的结果，并通过主线程拉起检索结果页以显示根据关联与所述目标主体的数据生成的检索结果并进行展示。

本申请实施例还提供一种视频处理装置，包括：

数据获取单元，用于确定在应用程序中启动的基于视频流的检索任务，并获取运行所述应用程序时基于生成的包含有目标主体的视频流；

识别单元，用于针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体；

任务执行单元，用于基于从所述视频流中识别出的所述目标主体，执行所述检索任务，以检索与所述目标主体关联的数据，所述数据包括与所述目标主体相似的的推荐对象，和/或所述推荐对象的属性描述数据。

示例性地，所述识别单元进一步用于：基于完成初始化的第一主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体；

若所述第一主体识别模型的初始化未完成，则基于备用的第二主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体。

示例性地，所述识别单元进一步用于：以视频帧为单位，对每一帧视频进行转换处理，以生成对应的视频帧图像；

针对所述视频帧图像进行主体识别处理，以识别出其对应的视频帧中的所述目标主体，其中，对相邻两个视频帧进行转换处理的时间间隔为第一帧间间隔。

示例性地，所述识别单元进一步用于：针对所述视频流中的视频帧进行主体识别处理，以识别出所述视频帧中的目标主体，其中，对相邻两个视频帧进行所述主体识别处理的时间间隔为第二帧间间隔。

示例性地，所述的装置还包括检索结果处理单元，用于：

根据检索结果，生成检索结果状态码，所述检索结果状态码用于对所述检索结果的效用分类；以及

根据所述检索结果状态码，生成检索结果操作码，所述检索结果操作码用于对所述检索结果进行操作分类。

示例性地，所述检索结果处理单元还用于响应于所述检索结果操作码，则根据关联与所述目标主体的数据，生成检索结果展现卡片。

示例性地，所述检索结果处理单元还用于响应于所述检索结果操作码，根据拉起的检索结果页任务，获取根据关联与所述目标主体的数据生成的检索结果并进行展示。

示例性地，所述的装置还包括：预检测单元，用于进行预定的预检测，以判断是否满足在应用程序中启动基于视频流的检索任务，所述预检测包括多个检测项，所述检测项包括场景类检测、状态类检测、视频流稳定性检测、资源占用类检测中至少其一。

示例性地，所述场景类检测，包括：检测所述应用程序的弹窗业务是否处理完毕，以及，运行所述应用程序时是否对准所述目标主体；若两者的判断结果均为是，则判定当前场景满足在应用程序中启动基于视频流的检索任务。

示例性地，所述状态类检测，包括：检测所述多个检测项是否按照预定的检测顺序执行完毕；若是，则判定当前状态满足在应用程序中启动基于视频流的检索任务。

示例性地，所述视频流稳定性检测，包括：检测所述视频流的清晰度是否满足清晰度要求，所述视频流的光照是否满足光照强度要求，运行所述应用程序的电子设备是否满足硬件要求；若三者的判断的结果均为是，则判定所述视频流的稳定性满足在应用程序中启动基于视频流的检索任务。

示例性地，所述资源占用类检测，包括：检测所述视频流是否未参与其他非主体识别处理，运行所述应用程序的电子设备的剩余内存是否满足进行所述主体识别处理的要求；若两者的判断结果均为是，则判定所述资源占用的满足在应用程序中启动基于视频流的检索任务。

参照图4，示出了根据本申请的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图4所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它电子设备或服务器进行通信。

处理器402，用于执行程序410，具体可以执行上述视频处理方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行前述多个方法实施例中任一实施例所描述的视频处理对应的操作。

程序410中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一视频处理方法对应的操作。

本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述多个方法实施例中的任一视频处理方法。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (15)

1.一种视频处理方法，包括：

确定在应用程序中启动的基于视频流的检索任务，并获取运行所述应用程序时基于生成的包含有目标主体的视频流；

针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体；

基于从所述视频流中识别出的所述目标主体，执行所述检索任务，以检索与所述目标主体关联的数据，所述数据包括与所述目标主体相似的的推荐对象，和/或所述推荐对象的属性描述数据。

2.根据权利要求1所述的方法，其中，所述针对所述视频帧图像进行主体识别处理，以识别出其对应的视频帧中的所述目标主体，包括：基于完成初始化的第一主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体；

若所述第一主体识别模型的初始化未完成，则基于备用的第二主体识别模型，针对所述视频流进行主体识别处理，以识别出其中的所述目标主体。

3.根据权利要求1所述的方法，其中，所述针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体，包括：

以视频帧为单位，对每一帧视频进行转换处理，以生成对应的视频帧图像；

针对所述视频帧图像进行主体识别处理，以识别出其对应的视频帧中的所述目标主体，其中，对相邻两个视频帧进行转换处理的时间间隔为第一帧间间隔。

4.根据权利要求1所述的方法，其中，所述针对所述视频流进行主体识别处理，以识别出所述视频流中的目标主体，包括：针对所述视频流中的视频帧进行主体识别处理，以识别出所述视频帧中的目标主体，其中，对相邻两个视频帧进行所述主体识别处理的时间间隔为第二帧间间隔。

5.根据权利要求1所述的方法，其中，所述的方法，还包括：

根据检索结果，生成检索结果状态码，所述检索结果状态码用于对所述检索结果的效用分类；

根据所述检索结果状态码，生成检索结果操作码，所述检索结果操作码用于对所述检索结果进行操作分类。

6.根据权利要求5所述的方法，其中，所述的方法，还包括：响应于所述检索结果操作码，则根据关联与所述目标主体的数据，生成检索结果展现卡片。

7.根据权利要求6所述的方法，其中，所述的方法，还包括：响应于所述检索结果操作码，根据拉起的检索结果页任务，获取根据关联与所述目标主体的数据生成的检索结果并进行展示。

8.根据权利要求1-7任一项所述的方法，其中，所述的方法还包括：进行预定的预检测，以判断是否满足在应用程序中启动基于视频流的检索任务，所述预检测包括多个检测项，所述检测项包括场景类检测、状态类检测、视频流稳定性检测、资源占用类检测中至少其一。

9.根据权利要求8所述的方法，其中，所述场景类检测，包括：检测所述应用程序的弹窗业务是否处理完毕，以及，运行所述应用程序时是否对准所述目标主体；若两者的判断结果均为是，则判定当前场景满足在应用程序中启动基于视频流的检索任务。

10.根据权利要求8所述的方法，其中，所述状态类检测，包括：检测所述多个检测项是否按照预定的检测顺序执行完毕；若是，则判定当前状态满足在应用程序中启动基于视频流的检索任务。

11.根据权利要求8所述的方法，其中，所述视频流稳定性检测，包括：检测所述视频流的清晰度是否满足清晰度要求，所述视频流的光照是否满足光照强度要求，运行所述应用程序的电子设备是否满足硬件要求；若三者的判断的结果均为是，则判定所述视频流的稳定性满足在应用程序中启动基于视频流的检索任务。

12.根据权利要求8所述的方法，其中，所述资源占用类检测，包括：检测所述视频流是否未参与其他非主体识别处理，运行所述应用程序的电子设备的剩余内存是否满足进行所述主体识别处理的要求；若两者的判断结果均为是，则判定所述资源占用的满足在应用程序中启动基于视频流的检索任务。

13.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-12中任一项所述的方法对应的操作。

14.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-12中任一所述的方法。

15.一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的1-12中任一所述的方法对应的操作。

Images