CN112166594A - 视频的处理方法和装置 - Google Patents

Abstract

一种视频的处理方法和装置，所述方法包括：获取可移动目标的第一位置信息和第二位置信息，其中第一位置信息为通过可移动目标上的位置检测传感器检测获得，第二位置信息为基于不同角度拍摄的可移动目标的场地图像确定；根据第一位置信息和第二位置信息，确定可移动目标的三维场地位置信息；获取当前待播放的视频流以及采集视频流的拍摄装置的拍摄参数；根据三维场地位置信息和拍摄参数，确定可移动目标在视频流中的第一图像位置信息；根据第一图像位置信息，在视频流中对可移动目标进行特效模拟。本发明采用传感器定位技术和多角度图像定位技术的融合，定位精度高、干扰少、延迟，有利于在视频流中对可移动目标进行更多元素的展示。

Description

视频的处理方法和装置

技术领域

本发明涉及视频处理领域，尤其涉及一种视频的处理方法和装置。

背景技术

比赛视频、录制视频、节目等视频流，为提高观赏性，会在视频流上为可移动目标如机器人增加一些动态特效，这就需要准确定位视频流中的可移动目标。目前，由于视频流局限于2D信息，故大都使用2D视觉定位技术来定位视频流中的可移动目标，导致很多遮挡、重叠的可移动目标较难检测到，漏检率较大。当物体很小、而画面很大时，2D视觉定位技术漏检率和误检率也相应增大。

另外，可以固定拍摄装置的位姿、角度和焦距，对所拍的画面进行场景建模，然后按一定的比例与场地的地图进行匹配，但镜头画面单一且计算资源消耗大，无法达到实时输出和精准定位。

发明内容

本发明提供一种视频的处理方法和装置。

具体地，本发明是通过如下技术方案实现的：

根据本发明的第一方面，提供一种视频的处理方法，所述方法包括：

获取机器人的第一位置信息和第二位置信息，其中所述第一位置信息为通过机器人上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述机器人的场地图像确定；

根据所述第一位置信息和所述第二位置信息，确定所述机器人的三维场地位置信息；

获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；

根据所述三维场地位置信息和所述拍摄参数，确定所述机器人在所述视频流中的第一图像位置信息；

根据所述第一图像位置信息，在所述视频流中对所述机器人进行特效模拟。

根据本发明的第二方面，提供一种视频的处理装置，所述装置包括：

存储装置，用于存储程序指令；

一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：

获取机器人的第一位置信息和第二位置信息，其中所述第一位置信息为通过机器人上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述机器人的场地图像确定；

根据所述第一位置信息和所述第二位置信息，确定所述机器人的三维场地位置信息；

获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；

根据所述三维场地位置信息和所述拍摄参数，确定所述机器人在所述视频流中的第一图像位置信息；

根据所述第一图像位置信息，在所述视频流中对所述机器人进行特效模拟。

由以上本发明实施例提供的技术方案可见，本发明采用传感器定位技术和多角度图像定位技术的融合，传感器定位信息和多角度图像定位信息冗余，能够极大克服采集多角度图像的拍摄装置的参数误差与外界光线变化对定位带来的影响，定位精度高、干扰少、延迟小，可以定位出可移动目标与场地物体和多个可移动目标之间的前后位置关系，从而有效解决场地物体对可移动目标的遮挡、多个可移动目标之间的相互遮挡和重叠等导致的漏检和误检问题，能够适用于多目标和复杂场景；同时，将可移动目标的三维场地位置信息投射到当前待播放的视频流，得到可移动目标在视频流中的第一图像位置信息，再根据可移动目标在视频流中的第一图像位置信息对可移动目标进行特效模拟，有利于在视频流中对可移动目标进行更多元素的展示，丰富视频流呈现和观看体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中的视频的处理方法的应用场景示意图；

图2是本发明一实施例中的视频的处理方法的方法流程示意图；

图3是本发明另一实施例中的视频的处理方法的方法流程示意图；

图4是本发明另一实施例中的视频的处理方法的方法流程示意图；

图5是本发明另一实施例中的视频的处理装置的结构示意图。

具体实施方式

目前，使用2D视觉定位技术来定位视频流中的可移动目标，以根据定位结果在视频流中对可移动目标进行一些特效模拟。由于2D视觉定位技术不能够定位出可移动目标与场地物体或多个可移动目标之间的前后位置关系，因此该方式难以检测到遮挡、重叠的可移动目标，漏检率较大。当物体很小、而画面很大时，2D视觉定位技术漏检率和误检率也相应增大。

为了克服现有2D视觉定位技术定位视频流中的可移动目标存在的误检率和漏检率大的问题，本发明实施例采用传感器定位技术和多角度图像定位技术的融合，传感器定位信息和多角度图像定位信息冗余，能够极大克服采集多角度图像的拍摄装置的参数误差与外界光线变化对定位带来的影响，定位精度高、干扰少、延迟小，可以定位出可移动目标与场地物体和多个可移动目标之间的前后位置关系，从而有效解决场地物体对可移动目标的遮挡、多个可移动目标之间的相互遮挡和重叠等导致的漏检和误检问题，能够适用于多目标和复杂场景；同时，将可移动目标的三维场地位置信息投射到当前待播放的视频流，得到可移动目标在视频流中的第一图像位置信息，再根据可移动目标在视频流中的第一图像位置信息对可移动目标进行特效模拟，有利于在视频流中对可移动目标进行更多元素的展示，丰富视频流呈现和观看体验。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

本发明实施例的视频的处理方法可以应用在现实场景中的比赛，如具有真实的竞技对象、真实的竞技选手(可控制竞技对象)的比赛，或者无竞技对象，但包括真实的竞技选手的比赛(如拳击)。竞技比赛还可为虚拟竞技比赛(如MOBA)，竞技对象为虚拟的竞技对象，竞技选手为真实的竞技选手。可移动目标可以包括比赛场地上各种可移动目标，如竞技对象(如机器人、无人机、移动小车等)和/或竞技选手。

本发明实施例的视频的处理方法还可以应用在非比赛状态下的实时视频录制、节目等。

本发明实施例以现实场景中的机器人比赛为例进行说明，其中，可移动目标为机器人，待播放的视频流为直播视频流；应当理解，该比赛也可以为其他类型的比赛，待播放的视频流也可以为非直播视频流。

请参见图1，机器人比赛系统可以包括机器人、比赛服务器、导播台和讯道机，其中，机器人可以包括多个，各机器人与比赛服务器通信，比赛服务器能够获取各机器人的实时状态(如血量状态、生命状态或其他)以及各机器人上的传感器的数据。讯道机可以包括一个或多个，本实施例的讯道机包括多个，多个讯道机可以从不同的角度进行拍摄，以获得不同角度的比赛画面。导播台与比赛服务器、讯道机分别通信，可以通过导播台进行比赛画面的切换，选择其中一个角度的比赛画面作为当前待播放的视频流。客户端可以从比赛服务器获取到当前待播放的视频流，以供用户观看。

图2是本发明一实施例中的视频的处理方法的方法流程示意图；本发明实施例的视频的处理方法的执行主体可以为比赛服务器，也可以为其他能够进行数据处理的设备，本发明以比赛服务器作为执行主体为例。请参见图2，本发明实施例的视频的处理方法可以包括S201～S205。

其中，在S201中，获取机器人的第一位置信息和第二位置信息，其中第一位置信息为通过机器人上的位置检测传感器检测获得，第二位置信息为基于不同角度拍摄的机器人的场地图像确定。

本实施例的第一位置信息为3D位置信息，第二位置信息可以为2D位置信息，也可以为3D位置信息。

在本实施例中，比赛中的每个机器人上设有位置检测传感器，请参见图3，该位置检测传感器可以包括UWB基站，通过UWB基站定位对应机器人的第一位置信息，并传输给比赛服务器。可以理解地，位置检测传感器还可以包括其他定位装置，如蓝牙定位装置、GPS定位装置。

本实施例基于机器视觉技术对同一时刻、不同角度拍摄的机器人的场地图像进行目标检测，从而获得机器人在该时刻的第二位置信息。由于机器人在不同角度的场地图像中的成像位置不同，可以结合对应拍摄装置(即采集不同角度的场地图像的各拍摄装置)的姿态信息，还原出机器人在场地上的3D位置信息。其中，基于机器视觉技术对同一时刻、不同角度拍摄的机器人的场地图像进行目标检测的实现方式为现有技术，本发明对此不作具体说明。

通常，对待播放的视频流的质量要求较高，而对进行定位的场地图像的质量要求较低。待播放的视频流由比赛场地上的讯道机采集，若场地图像也使用讯道机采集的比赛画面，则会对讯道机造成负担，并可能影响待播放的视频流的流畅度。因此，本实施例中，场地图像和视频流视频流通过不同的图像采集设备采集。请参见图1，场地图像的图像采集设备可以包括：设于场地四周的多个场边定位相机，多个场边定位相机能够覆盖比赛场地内的所有视角，从而确保监控到所有机器人，通过多个场边定位相机获取不同角度的场地图像。视频流的图像采集设备可以包括：设于场地的讯道机，本实施例的讯道机包括多个，通过多个讯道机拍摄不同角度的比赛图像，可以在导播台选择作为待播放的视频流的比赛图像。

在S202中，根据第一位置信息和第二位置信息，确定机器人的三维场地位置信息。

本实施例中，对同一时刻获取的第一位置信息和第二位置信息进行融合，确定机器人的三维场地位置信息。第一位置信息精度低、延时较大，若直接将第一位置信息定位到待播放的视频流，定位的精度较差。第二位置信息精度高、延时小，但不能反映出机器人与场地物体(如比赛场地中的障碍物、游戏设备等一些固定物)以及多个机器人之间的前后位置关系，而第一位置信息能够反映出机器人与场地物体以及多个机器人之间的前后位置关系，故而，将第一位置信息和第二位置信息进行融合，定位精度高、干扰少、延迟小，且能够定位出机器人与场地物体以及多个机器人之间的前后位置关系，对于场地物体对机器人的遮挡、多个机器人之间的相互遮挡和重叠等情况也能精确定位。其中，多个位置信息融合的方式可以选择现有融合方式，本实施例对此不作说明。

在S203中，获取当前待播放的视频流以及采集视频流的拍摄装置的拍摄参数。

S203中的拍摄装置即为讯道机。请参见图1，导播台确认当前待播放的视频流(用户在导播台上选择采集待播放的视频流对应的讯道机的身份信息，如编号)后，会从对应的讯道机获取视频流以及该讯道机的拍摄参数，并将获取到的视频流和拍摄参数发送至比赛服务器。

其中，拍摄参数至少包括讯道机的外参和讯道机的内参。其中，外参可以包括讯道机的位姿、旋转矩阵、平移矩阵等，内参可以包括内参矩阵。另外，拍摄参数还可以包括畸变参数或其他。

上述拍摄参数需要对讯道机进行标定得到，可以利用在线标定方式或离线标定方式来标定讯道机的拍摄参数，例如，在一些实施例中，拍摄参数通过拍摄装置在线标定，在线标定方式适用于讯道机为变焦相机的情形。其中，在线标定讯道机的拍摄参数时，可以使用比赛场地内的某些线条、物体作为特征点进行在线标定。在线标定的过程可以由讯道机执行，也可以由外部设备执行，通过外部设备执行在线标定，减小讯道机的工作压力。例如，可选地，讯道机搭载在云台上，拍摄参数可以由云台检测。可以采用虚拟跟踪云台来搭载讯道机，虚拟跟踪云台能够适配多种类型的讯道机，适用性强；同时，虚拟跟踪云台可以快速地获取讯道机的拍摄参数、讯道机拍摄的视频流等，并将获取到的数据及时传输给导播台，达到了实时数据输出的效果，拍摄参数、视频流的传输延时小，能达到直播的实时要求。

在另外一些实施例中，拍摄参数通过离线标定确定，离线标定方式适用于讯道机的内参和拍摄视角固定的情形。

在S204中，根据三维场地位置信息和拍摄参数，确定机器人在视频流中的第一图像位置信息。

根据三维场地位置信息和拍摄参数，确定机器人在视频流中的第一图像位置信息的实现过程可以包括但不限于如下步骤：

(1)、根据三维场地位置信息和讯道机的外参，确定机器人在讯道机的机体坐标系下的第三位置信息；

在一些实施例中，三维场地位置信息为世界坐标系下的位置信息，根据旋转矩阵和平移矩阵，即可将机器人在世界坐标系下的三维场地位置信息转成成机器人在机体坐标系下的第三位置信息，具体转换过程为现有技术，本实施例对此不作具体说明。

在另外一些实施例中，三维场地位置信息为自定义坐标系下的位置信息，需要根据自定义坐标系与世界坐标系的转换关系，将自定义坐标系下的三维场地位置信息转换成世界坐标系下的三维场地位置信息，再基于讯道机的外参，将世界坐标系下的三维场地位置信息转换成机体坐标系下的第三位置信息。

(2)、根据第三位置信息和讯道机的内参，确定机器人在视频流中的第一图像位置信息。

其中，Q(X,Y,Z)为机体坐标系中的一点，该点被光线投影到视频流平面(即图像平面)上的q(x,y,f)点，图像平面与讯道机的光轴垂直，和投影中心的距离为f(f是讯道机的焦距)。按照三角比例关系可以得出：

即

将Q点投影至q点的变换公式如下：

q＝MQ (2)

其中，

M为讯道机的内参矩阵，

代入公式(2)，得到：

通过公式(3)，即可将机体坐标系下的坐标转换到图像坐标系，即(X,Y,Z)->(x,y)。

可以根据三维场地位置信息和拍摄参数，确定机器人在视频流中每一帧图像中的第一位置信息，即根据三维场地位置信息和拍摄参数，逐帧检测机器人在视频流中的第一图像位置信息，但该方式的计算量较大，会占用比赛服务器中大量的硬件资源。为了节约比赛服务器的硬件资源，本实施例中，请再次参见图3，在根据三维场地位置信息和拍摄参数，确定机器人在视频流中的第一图像位置信息时，具体地，先根据三维场地位置信息和拍摄参数，确定机器人在视频流中部分图像帧中的第一图像位置信息；再根据视频流中部分图像帧中的第一图像位置信息，确定视频流中其他图像帧中的第一图像位置信息。在确定出机器人在部分图像帧的第一图像位置信息后，通过插补方式确定机器人在其他图像帧中的第一图像位置信息，不仅能够节约比赛服务器的硬件资源，还能够克服比赛服务器的性能差异导致的检测不稳定的问题。

可以利用不同的策略来确定机器人在视频流中部分图像帧中的第一图像位置信息，例如，可以根据三维场地位置信息和拍摄参数，隔帧检测机器人在视频流中的第一图像位置信息，示例性的，视频流包括按照时间先后连续采集的图像帧1、图像帧2、图像帧3、图像帧4、图像帧5和图像帧6，本实施例是根据三维场地位置信息和拍摄参数，检测机器人在图像帧1、图像帧3和图像帧5中的第一图像位置信息。应当理解的是，也可以采用非隔帧方式检测机器人在视频流中部分图像帧的第一图像位置信息，示例性的，沿用上述实施例，根据三维场地位置信息和拍摄参数，检测机器人在图像帧1、图像帧2和图像帧5、图像帧6中的第一图像位置信息。

进一步地，在根据机器人在视频流中部分图像帧中的第一图像位置信息，确定机器人在视频流中其他图像帧中的第一图像位置信息时，可选地，根据机器人在当前图像帧的前一帧图像帧的第一图像位置信息和预设模型，确定机器人在当前图像帧的第一图像位置信息。例如，在根据三维场地位置信息和拍摄参数，隔帧检测机器人在视频流中的第一图像位置信息的实施例中，对于图像帧2，可以根据机器人在图像帧1中的第一图像位置信息和预设模型，确定机器人在图像帧2中的第一图像位置信息。预设模型可以为速度不变模型，也可以为加速度不变模型。其中，速度不变模型用于指示机器人由当前图像帧的前一帧图像帧中的位置移动至当前图像帧中的位置对应的速度小于或等于预设速度阈值，加速度不变模型用于指示机器人由当前图像帧的前一帧图像帧中的位置移动至当前图像帧中的位置对应的加速度小于或等于预设加速度阈值，预设速度阈值、预设加速度阈值的大小可以根据需要设定。基于速度不变模型或加速度不变模型，可以确保机器人在连续采集的多帧图像帧中的位置的连贯性，避免了机器人在连续采集的多帧图像帧中的位置出现跳跃。应当理解的是，预设模型还可以为其他运动轨迹模型，本领域普通技术人员可以根据需求来设计预设模型。

当然，根据机器人在视频流中部分图像帧中的第一图像位置信息，确定机器人在视频流中其他图像帧中的第一图像位置信息的实现方式不限于上述实施例，也可以选择其他方式实现。

在S205中，根据第一图像位置信息，在视频流中对机器人进行特效模拟。

由于第一图像位置信息融合了机器人的3D位置信息，因此，根据第一图像位置信息，在视频流中对机器人进行特效模拟时，特效模拟的显示效果上可以增加更多的设计，如3D特性模拟，丰富了视频流的显示效果，尤其丰富了视频流的AR效果。

本实施例中，在确定了机器人在视频流各图像帧中的第一图像位置信息后，即可以在机器人的周围进行特效模拟，以对机器人进行更多元素的展示，丰富视频流呈现和观看体验。例如，在其中一些实施例中，请再次参见图3，在根据第一图像位置信息，在视频流中对机器人进行特效模拟时，具体地，获取机器人的实时状态；根据第一图像位置信息，在视频流中将实时状态显示在对应机器人的周围。该实时状态可以包括血量状态和/或生命状态，其中，血量状态可以采用血条来表征，用于指示机器人的实时血量大小，当机器人的血量降到0时，可以通过特效方式模拟血条破碎的情形，再例如，在机器人的血量减少时，当满足回血条件后，显示回血效果，回血效果可参考一般网游中环绕人物四周的效果，在本实施例中可以在机器人的周围显示环绕机器人的回血效果，从而展示3D回血特效。生命状态可以用于指示机器人当前是处于死亡状态，还是复活状态，当机器人进入死亡状态或进入复活状态时，可以通过特效方式模拟死亡或复活瞬间。应当理解地，实时状态也可以包括机器人的其他状态信息。

本实施例的实时状态为外部设备根据实时的采集数据分析确定，采集数据包括机器人的传感设备的采集数据和/或场地上的场地传感设备的采集数据。其中，机器人上的传感设备可获取该机器人的身份数据，还可检测该机器人在比赛过程中的状态数据，如血量数据、操作信息(如该机器人处于攻击状态或防守状态等)等采集数据，场地传感设备可采集到如弹丸补给机构的补给给当前机器人的弹丸数量数据，视觉游戏机构的当前状态信息等采集数据，并将当前采集数据发送至外部设备。外部设备可以与比赛服务器通信，并将分析确定的当前机器人的实时状态发送给比赛服务器，由比赛服务器根据接收到的当前机器人的实时状态，并结合当前机器人的第一图像位置信息，在视频流中对当前机器人进行特效模拟。外部设备可以包括比赛裁判系统，也可以为其他。

可以理解地，除机器人的实时状态之外，也可以将机器人的一些其他信息通过特效模拟显示在对应机器人的周围，如机器人的身份信息等。

本实施例中，可以根据第一图像位置信息，通过2D或3D方式在视频流中将实时状态显示在对应机器人的周围。本实施例中，由于第一图像位置信息融合了机器人的3D位置信息，因此，能够很好地对机器人进行3D特性模拟。其中，3D特效模拟的画面可以采用U3D(Universal 3D)格式，也可以采用其他格式。

此外，在一些实施例中，结合图3和图4，在根据第一图像位置信息，在视频流中对机器人进行特效模拟之前，所述视频的处理还可以包括如下步骤：

S401：基于AR图像检测算法检测机器人在视频流中的第二图像位置信息；

其中，AR图像检测算法采用现有的AR图像识别算法，对视频流中的机器人进行识别，得到机器人在视频流中的第二图像位置信息，本实施例对AR图像检测算法不作具体说明。

S402：根据第二图像位置信息，对第一图像位置信息进行矫正。

采用位置矫正方式，避免了机器人在前后两帧图像帧中的位置产生跳跃，保证了高帧率视频流中机器人的实时检测准确率。

本实施例的视频流包括多个图像帧，示例性的，在根据第二图像位置信息，对第一图像位置信息进行矫正时，根据机器人在当前图像帧的前一帧图像帧中的第一位置信息和机器人在当前图像帧中的第一位置信息，确定第一位置偏移量；根据机器人在当前图像帧的前一帧图像帧中的第一位置信息和机器人在当前图像帧中的第二位置信息，确定第二位置偏移量；若第一位置偏移量大于第二位置偏移量，则将当前图像帧中的第一位置信息替换成当前图像帧中的第二位置信息。例如，机器人在当前图像帧的前一帧图像帧中的第一位置信息为A1，在当前图像帧中的第一位置信息为A2，在当前图像帧中的第二位置信息为A3，第一位置偏移量为：|A1-A2|，第二位置偏移量为：|A1-A3|，若|A1-A2|>|A1-A3|，则机器人在当前图像帧中的图像位置信息为A3；否则，机器人在当前图像帧中的图像位置信息为A1。

当然，也可以采用其他方式来实现根据第二图像位置信息，对第一图像位置信息进行矫正，例如，根据机器人在当前图像帧中的第一位置信息和机器人在当前图像帧中的第二位置信息，确定平均位置信息；将平均位置信息作为机器人在当前图像帧中的图像位置信息。

对应于上述实施例的视频的处理方法，本发明实施例还提供一种视频的处理装置，请参见图5，所述视频的处理装置包括存储装置和处理器，

其中，存储装置用于存储程序指令。

处理器包括一个或多个，一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：获取机器人的第一位置信息和第二位置信息，其中所述第一位置信息为通过机器人上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述机器人的场地图像确定；根据所述第一位置信息和所述第二位置信息，确定所述机器人的三维场地位置信息；获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；根据所述三维场地位置信息和所述拍摄参数，确定所述机器人在所述视频流中的第一图像位置信息；根据所述第一图像位置信息，在所述视频流中对所述机器人进行特效模拟。

处理器的实现过程和工作原理可参见上述实施例的视频的处理方法的描述，此处不再赘述。

本实施例的处理器可以是中央处理器(central processing unit，CPU)。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(genericarray logic，GAL)或其任意组合。

此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的视频的处理方法的步骤。

所述计算机可读存储介质可以是前述任一实施例所述的视频的处理装置的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是视频的处理装置的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括视频的处理装置的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述视频的处理装置所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (40)

1.一种视频的处理方法，其特征在于，所述方法包括：

获取可移动目标的第一位置信息和第二位置信息，其中所述第一位置信息为通过可移动目标上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述可移动目标的场地图像确定；

根据所述第一位置信息和所述第二位置信息，确定所述可移动目标的三维场地位置信息；

获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；

根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息；

根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟。

2.根据权利要求1所述的方法，其特征在于，所述位置检测传感器包括：UWB基站。

3.根据权利要求1所述的方法，其特征在于，所述场地图像和所述视频流视频流通过不同的图像采集设备采集。

4.根据权利要求3所述的方法，其特征在于，所述场地图像的图像采集设备包括：设于场地四周的多个场边定位相机。

5.根据权利要求3所述的方法，其特征在于，所述视频流的图像采集设备包括：设于场地的讯道机，所述讯道机与导播台通信。

6.根据权利要求1所述的方法，其特征在于，所述拍摄参数至少包括：拍摄装置的外参和拍摄装置的内参。

7.根据权利要求6所述的方法，其特征在于，所述拍摄参数通过所述拍摄装置在线标定；或者，

所述拍摄参数通过离线标定确定。

8.根据权利要求7所述的方法，其特征在于，所述拍摄装置搭载在云台上，所述拍摄参数由所述云台检测。

9.根据权利要求6所述的方法，其特征在于，所述拍摄参数还包括：畸变参数。

10.根据权利要求6所述的方法，其特征在于，所述根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息，包括：

根据所述三维场地位置信息和所述拍摄装置的外参，确定所述可移动目标在所述拍摄装置的机体坐标系下的第三位置信息；

根据所述第三位置信息和所述拍摄装置的内参，确定所述可移动目标在所述待播放的画面中的第一图像位置信息。

11.根据权利要求1所述的方法，其特征在于，所述根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息，包括：

根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息；

根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息。

12.根据权利要求11所述的方法，其特征在于，所述根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，包括：

根据所述三维场地位置信息和所述拍摄参数，隔帧检测所述可移动目标在所述视频流中的第一图像位置信息。

13.根据权利要求11所述的方法，其特征在于，所述根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息，包括：

根据所述可移动目标在当前图像帧的前一帧图像帧中的第一图像位置信息和预设模型，确定所述可移动目标在所述当前图像帧中的第一图像位置信息。

14.根据权利要求13所述的方法，其特征在于，所述预设模型为速度不变模型或加速度不变模型；

其中，所述速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的速度小于或等于预设速度阈值；

所述加速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的加速度小于或等于预设加速度阈值。

15.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟之前，还包括：

基于AR图像检测算法检测所述可移动目标在所述视频流中的第二图像位置信息；

根据所述第二图像位置信息，对所述第一图像位置信息进行矫正。

16.根据权利要求15所述的方法，其特征在于，所述视频流包括多个图像帧；

所述根据所述第二图像位置信息，对所述第一图像位置信息进行矫正，包括：

根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第一位置信息，确定第一位置偏移量；

根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第二位置信息，确定第二位置偏移量；

若所述第一位置偏移量大于所述第二位置偏移量，则将所述当前图像帧中的第一位置信息替换成所述当前图像帧中的第二位置信息。

17.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟，包括：

获取所述可移动目标的实时状态；

根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动目标的周围。

18.根据权利要求17所述的方法，其特征在于，所述根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动目标的周围，包括：

根据所述第一图像位置信息，通过3D方式在所述视频流中将所述实时状态显示在对应可移动目标的周围。

19.根据权利要求17所述的方法，其特征在于，所述实时状态包括：血量状态、生命状态。

20.根据权利要求17所述的方法，其特征在于，所述实时状态为：外部设备根据实时的采集数据分析确定，所述采集数据包括所述可移动目标的传感设备的采集数据和/或场地上的场地传感设备的采集数据。

21.一种视频的处理装置，其特征在于，所述装置包括：

存储装置，用于存储程序指令；

一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：

获取可移动目标的第一位置信息和第二位置信息，其中所述第一位置信息为通过可移动目标上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述可移动目标的场地图像确定；

根据所述第一位置信息和所述第二位置信息，确定所述可移动目标的三维场地位置信息；

获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；

根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息；

根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟。

22.根据权利要求21所述的装置，其特征在于，所述位置检测传感器包括：UWB基站。

23.根据权利要求21所述的装置，其特征在于，所述场地图像和所述视频流视频流通过不同的图像采集设备采集。

24.根据权利要求23所述的装置，其特征在于，所述场地图像的图像采集设备包括：设于场地四周的多个场边定位相机。

25.根据权利要求23所述的装置，其特征在于，所述视频流的图像采集设备包括：设于场地的讯道机，所述讯道机与导播台通信。

26.根据权利要求21所述的装置，其特征在于，所述拍摄参数至少包括：拍摄装置的外参和拍摄装置的内参。

27.根据权利要求26所述的装置，其特征在于，所述拍摄参数通过所述拍摄装置在线标定；或者，

所述拍摄参数通过离线标定确定。

28.根据权利要求27所述的装置，其特征在于，所述拍摄装置搭载在云台上，所述拍摄参数由所述云台检测。

29.根据权利要求26所述的装置，其特征在于，所述拍摄参数还包括：畸变参数。

30.根据权利要求26所述的装置，其特征在于，所述一个或多个处理器在根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：

根据所述三维场地位置信息和所述拍摄装置的外参，确定所述可移动目标在所述拍摄装置的机体坐标系下的第三位置信息；

根据所述第三位置信息和所述拍摄装置的内参，确定所述可移动目标在所述视频流中的第一图像位置信息。

31.根据权利要求21所述的装置，其特征在于，所述一个或多个处理器在根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：

根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息；

根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息。

32.根据权利要求31所述的装置，其特征在于，所述一个或多个处理器在根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：

根据所述三维场地位置信息和所述拍摄参数，隔帧检测所述可移动目标在所述视频流中的第一图像位置信息。

33.根据权利要求31所述的装置，其特征在于，所述一个或多个处理器在根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：

根据当前图像帧的前一帧图像帧的第一图像位置信息和预设模型，确定所述当前图像帧的第一图像位置信息。

34.根据权利要求33所述的装置，其特征在于，所述预设模型为速度不变模型或加速度不变模型；

其中，所述速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的速度小于或等于预设速度阈值；

所述加速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的加速度小于或等于预设加速度阈值。

35.根据权利要求21所述的装置，其特征在于，所述一个或多个处理器在根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟之前，单独地或共同地被进一步配置成用于实施如下操作：

基于AR图像检测算法检测所述可移动目标在所述视频流中的第二图像位置信息；

根据所述第二图像位置信息，对所述第一图像位置信息进行矫正。

36.根据权利要求35所述的装置，其特征在于，所述视频流包括多个图像帧；

所述一个或多个处理器在根据所述第二图像位置信息，对所述第一图像位置信息进行矫正时，单独地或共同地被进一步配置成用于实施如下操作：

根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第一位置信息，确定第一位置偏移量；

根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第二位置信息，确定第二位置偏移量；

若所述第一位置偏移量大于所述第二位置偏移量，则将所述当前图像帧中的第一位置信息替换成所述当前图像帧中的第二位置信息。

37.根据权利要求21所述的装置，其特征在于，所述一个或多个处理器在根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟时，单独地或共同地被进一步配置成用于实施如下操作：

获取所述可移动目标的实时状态；

根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动目标的周围。

38.根据权利要求37所述的装置，其特征在于，所述一个或多个处理器子啊根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动目标的周围时，单独地或共同地被进一步配置成用于实施如下操作：

根据所述第一图像位置信息，通过3D方式在所述视频流中将所述实时状态显示在对应可移动目标的周围。

39.根据权利要求37所述的装置，其特征在于，所述实时状态包括：血量状态、生命状态。

40.根据权利要求37所述的装置，其特征在于，所述实时状态为：外部设备根据实时的采集数据分析确定，所述采集数据包括所述可移动目标的传感设备的采集数据和/或场地上的场地传感设备的采集数据。

Images