CN120219162A - 基于物体跟踪的视频拼接方法及系统 - Google Patents

Abstract

本发明提供一种基于物体跟踪的视频拼接方法及系统，涉及视频拼接技术领域，包括：获取待处理视频文件，通过解码器将所述待处理视频文件转换为带有时间戳的帧序列，基于关键帧识别算法计算特征差异和运动矢量，确定帧序列中的特征帧；对特征帧进行灰度转换生成灰度帧和灰度帧对应的频谱图，去除频谱图中的图像噪声并进行色彩矫正，得到标准图像，根据标准图像，通过光流跟踪算法对标准图像中的物体进行跟踪，生成图像分析结果；根据图像分析结果，确定标准图像中每个像素点对应的海森矩阵，根据海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像。

Description

基于物体跟踪的视频拼接方法及系统

技术领域

本发明涉及视频拼接技术领域，尤其涉及一种基于物体跟踪的视频拼接方法及系统。

背景技术

随着数字视频技术的不断发展，视频的数字化处理变得更加容易，视频拼接可以将多个视频片段或帧序列拼接成一个连续的视频，创造更为自然、流畅的视觉体验，也可以用于修复视频中的缺陷、填补遮挡区域或处理损坏的帧，随着AR和VR应用的兴起，对于视频无缝拼接的需求也在日益增加。

现有技术中，CN114723607A公开了一种图像拼接方法及系统，包括获取包含移动物体的视频的一帧视频图像；基于当前获取的所述视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的所述视频图像进行目标跟踪；如果否，则基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像；如果是，则对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像；以及，对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。

综上，现有技术虽然能够实现通过对图片或视频中的物体进行跟踪，并根据物体位置进行视频或图像拼接，但都是基于像素点位置，对于物体的运动轨迹考虑不多，可能会出现意料外的误差，因此需要一种方案解决现有技术中存在的问题。

发明内容

本发明实施例提供一种基于物体跟踪的视频拼接方法及系统，用于根据视频图像中物体运动轨迹对视频图像进行拼接。

本发明实施例的第一方面，基于物体跟踪的视频拼接方法，包括：

获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列，基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧；

对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像，根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果；

根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像。

在一种可选的实施方式中，

所述获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列包括：

获取所述待处理视频文件并识别格式，根据所述待处理视频文件的格式选择对应的解码器，设置所述解码器的分辨率、帧率和色彩空间；

根据设置好的解码器，逐帧解码所述待处理视频文件，将所述待处理视频文件中的编码数据转换为可视化像素数据，生成帧图像，为所述帧图像添加对应的时间戳，根据所述时间戳排列对应的帧图像，生成帧序列。

在一种可选的实施方式中，

所述基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧包括：

随机选择所述帧序列中的一个帧图像，记为当前图像，将所述当前图像的上一帧对应的帧图像记为历史图像，根据所述当前图像和所述历史图像，基于颜色、纹理和边缘计算特征差异；

通过所述关键帧识别算法计算所述当前图像和所述历史图像对应的帧间的运动矢量；

根据所述运动矢量和所述特征差异，计算所述当前图像和所述历史图像的关联概率值；

对于所述帧序列中的每个帧图像，计算帧图像与对应的历史图像的关联概率值，选择与数值最大的关联概率值对应的当前图像作为特征帧。

在一种可选的实施方式中，

所述根据所述运动矢量和所述特征差异，计算所述当前图像和所述历史图像的关联概率值如下公式所示：

；

其中，表示关联概率值，表示初始关联概率值，表示运动矢量，表示在初始关联概率值下的运动矢量的标准差，表示在初始关联概率值下的运动矢量的均值，表示特征差异，表示在初始关联概率值下的特征差异的标准差，表示在初始关联概率值下的特征差异的均值。

在一种可选的实施方式中，

所述对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像包括：

获取所述特征帧，对所述特征帧进行灰度转换，生成灰度帧；

对所述灰度帧应用快速傅里叶变换算法，将所述灰度帧从空间域转换到频域，生成所述灰度帧对应的频谱图；

根据所述频谱图，通过计算不同频率区域中的能量并与已知噪声类型的典型频谱特征对比，判断噪声类型，根据所述噪声类型去除所述频谱图中对应的噪声，生成第一优化图像；

根据所述第一优化图像，分析所述第一优化图像的色彩分布和对应的色彩失衡，根据所述色彩分布和所述色彩失衡的分析结果，对所述第一优化图像进行白平衡调整并应用色彩矫正滤镜，使用曲线工具调整所述第一优化图像的对比度，得到标准图像。

在一种可选的实施方式中，

所述根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果包括：

获取所述标准图像，初始化光流跟踪算法参数，重置窗口大小和金字塔层数；

通过所述光流跟踪算法读取所述标准图像，根据角点检测方法提取所述标准图像中物体的特征点，逐帧读取所述帧序列中的每个帧图像，通过计算光流预测每个特征点在下一帧的位置；

根据所述每个特征点在下一帧的位置绘制光流，得到物体运动轨迹，根据所述物体运动轨迹评估运动的连续性和一致性，生成图像分析结。

在一种可选的实施方式中，

所述根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像包括：

根据所述图像分析结果初始化所述加速稳定特征算法，对于所述标准图像中的每个像素点，计算对应的海森矩阵；

根据所述海森矩阵，通过在不同尺度上对所述标准图像进行平滑操作，计算每个像素点在不同尺度上的海森矩阵，并生成尺度空间；

根据所述尺度空间，确定关键点，并生成用于描述所述关键点周围图像信息的特征描述符；

基于所述特征描述符，通过匹配图像中对应的关键点对图像进行匹配，得到匹配对，对于每个匹配对，计算对应的关键点间的距离，将距离最小的匹配对作为最优匹配对，并根据所述最优匹配对，结合所述图像缝合算法进行拼接，得到拼接图像。

本发明实施例的第二方面，提供一种基于物体跟踪的视频拼接系统，包括：

第一单元，用于获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列，基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧；

第二单元，用于对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像，根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果；

第三单元，用于根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像。

本发明实施例的第三方面，

提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

本发明实施例的第四方面，

提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

本发明中，通过多阶段处理，提高了对视频中物体运动识别的准确性和稳定性，通过生成频谱图和色彩矫正有助于减少图像噪声，提高标准图像的质量，利用加速稳定特征算法，有效地进行关键点检测和图像匹配，提高了算法的速度和准确性，图像拼接算法结合最优匹配对，实现了对视频序列的平滑拼接，减少了拼接处的视觉不连续性，生成了自然、连贯的拼接图像，综上，本发明在物体跟踪、特征提取和图像拼接方面取得了显著的效果，实现了对视频拼接的高效处理。

附图说明

图1为本发明实施例基于物体跟踪的视频拼接方法的流程示意图；

图2为本发明实施例基于物体跟踪的视频拼接系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例基于物体跟踪的视频拼接方法的流程示意图，如图1所示，所述方法包括：

S1.获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列，基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧；

所述解码器是视频处理中的一个组件，其作用是将经过压缩编码的视频数据还原为原始的、可识别的图像或帧序列，在视频传输和存储中，通常会对视频进行压缩以减小文件大小或传输带宽，解码器则用于还原被压缩的视频数据，所述关键帧识别算法用于确定在视频序列中哪些帧是关键帧，所述特征差异是指不同帧之间的特征变化，所述运动矢量描述了相邻帧之间的运动信息，指示了一个像素或一组像素在时间上的位移。

在一种可选的实施方式中，

所述获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列包括：

获取所述待处理视频文件并识别格式，根据所述待处理视频文件的格式选择对应的解码器，设置所述解码器的分辨率、帧率和色彩空间；

根据设置好的解码器，逐帧解码所述待处理视频文件，将所述待处理视频文件中的编码数据转换为可视化像素数据，生成帧图像，为所述帧图像添加对应的时间戳，根据所述时间戳排列对应的帧图像，生成帧序列。

所述可视化像素数据指的是图像在计算机中以像素为基本单位的可视化表示，在数字图像中，图像被划分为一个个小的方块，每个方块称为像素，每个像素代表图像中的最小可显示单元，包含了图像在该位置的颜色信息，所述色彩空间是指将颜色以数学方式表示的模型，色彩空间定义了一组颜色的数学模型，以便在计算机或其他设备上准确地表示和处理颜色信息，不同的色彩空间使用不同的坐标系来表示颜色，通过不同的方式来描述颜色的亮度、饱和度和色调。

使用视频处理库或工具读取视频文件的头部信息，以确定其格式，根据确定的视频格式选择适当的解码器，针对所选择的解码器，根据具体的需求和目标应用设置解码器的参数，包括分辨率、帧率和色彩空间；

使用所选择的解码器，逐帧解码待处理的视频文件，将编码数据转换为可视化的像素数据，对每一帧图像添加对应的时间戳信息，标识每一帧在整个视频序列中的时间位置，将带有时间戳的帧图像按照时间顺序排列，形成视频的帧序列，将生成的帧序列保存为视频文件或者以图像序列的形式存储。

本实施例中，通过合理选择解码器和设置参数，可以保留关键的运动信息和外观特征，使得物体跟踪算法能够更好地捕捉和维护物体的连续性。帧图像的时间戳信息和正确的排列则确保了拼接后的视频具有良好的时间同步性，不会出现断裂或混乱，综上，本实施例为视频拼接提供了技术保障，使得拼接的效果更为自然和准确。

在一种可选的实施方式中，

所述基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧包括：

随机选择所述帧序列中的一个帧图像，记为当前图像，将所述当前图像的上一帧对应的帧图像记为历史图像，根据所述当前图像和所述历史图像，基于颜色、纹理和边缘计算特征差异；

通过所述关键帧识别算法计算所述当前图像和所述历史图像对应的帧间的运动矢量；

根据所述运动矢量和所述特征差异，计算所述当前图像和所述历史图像的关联概率值；

对于所述帧序列中的每个帧图像，计算帧图像与对应的历史图像的关联概率值，选择与数值最大的关联概率值对应的当前图像作为特征帧。

所述特征帧指的是在视频序列中具有特殊特征或显著变化的帧图像。这些特征可以涉及颜色、纹理、边缘等方面，或者是由于物体的运动、出现或消失引起的。

从帧序列中随机选择一个帧图像作为当前图像，并将其上一帧对应的帧图像作为历史图像，使用颜色、纹理和边缘特征提取方法，通过直方图比较、纹理描述子计算和边缘检测技术分别计算当前图像和历史图像之间的特征差异，利用关键帧识别算法，计算当前图像和历史图像之间的帧间运动矢量；

结合运动矢量和特征差异，计算当前图像和历史图像的关联概率值，针对帧序列中的每个帧图像，重复执行上述步骤，计算其与对应的历史图像的关联概率值，对于每个帧图像，选择与之关联概率值最大的历史图像，这个关联概率值最大的帧图像被选为特征帧，重复操作，直至所有帧图像都经过处理，即可得到整个帧序列中的特征帧。

本实施例中，通过随机选择帧序列中的一个帧图像并计算与上一帧的特征差异，有助于捕捉视频中的显著变化，通过关键帧识别算法计算当前图像和历史图像之间的帧间运动矢量，可以更好地了解物体的运动情况，有助于准确地跟踪物体，并确定关键的时刻，通过计算关联概率值，结合运动矢量和特征差异，该方法在选择特征帧时进行了权衡，确保了选择的特征帧不仅与历史图像关联紧密，而且在运动上也能够更好地对应，提高了视频拼接的连续性和流畅性。

在一种可选的实施方式中，

所述根据所述运动矢量和所述特征差异，计算所述当前图像和所述历史图像的关联概率值如下公式所示：

；

其中，表示关联概率值，表示初始关联概率值，表示运动矢量，表示在初始关联概率值下的运动矢量的标准差，表示在初始关联概率值下的运动矢量的均值，表示特征差异，表示在初始关联概率值下的特征差异的标准差，表示在初始关联概率值下的特征差异的均值。

本函数中，通过同时考虑运动矢量和特征差异，在多维度上融合了不同的信息，更全面地描述物体在视频中的状态变化，高斯分布的形状允许更好地适应不同类型的运动和特征变化，提高了算法的鲁棒性，综上，本函数提高了对物体运动和外观特征的关联性计算的精确性和鲁棒性，从而更好地指导特征帧的选择，提高了视频拼接的准确性和连续性。

S2.对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像，根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果；

所述灰度帧是指将彩色图像转换为灰度图像的图像帧。在灰度图像中，每个像素只包含亮度信息，而不包含颜色信息，将原始图像转换为灰度图像可以简化图像处理任务，减少数据量，并保留原始图像的主要结构和特征，所述频谱图是信号在频率域上的表示，对于图像而言，是图像在频率空间中的表示，通过对图像进行傅里叶变换，可以将图像从空间域转换到频率域，得到频谱图，通常用于分析图像中不同频率成分的分布情况，对图像进行滤波和增强等操作，所述图像噪声是指图像中不希望出现的随机干扰，它可能是由于传感器噪声、信号传输干扰、环境光照变化等原因引起的，所述色彩矫正是指通过调整图像的颜色来使其更接近真实场景或符合特定的色彩标准，所述光流跟踪算法通常基于图像中像素灰度值的变化来推测运动方向和速度，光流跟踪是指通过观察图像序列中像素的运动来估计场景中物体的运动。

在一种可选的实施方式中，

所述对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像包括：

获取所述特征帧，对所述特征帧进行灰度转换，生成灰度帧；

对所述灰度帧应用快速傅里叶变换算法，将所述灰度帧从空间域转换到频域，生成所述灰度帧对应的频谱图；

根据所述频谱图，通过计算不同频率区域中的能量并与已知噪声类型的典型频谱特征对比，判断噪声类型，根据所述噪声类型去除所述频谱图中对应的噪声，生成第一优化图像；

根据所述第一优化图像，分析所述第一优化图像的色彩分布和对应的色彩失衡，根据所述色彩分布和所述色彩失衡的分析结果，对所述第一优化图像进行白平衡调整并应用色彩矫正滤镜，使用曲线工具调整所述第一优化图像的对比度，得到标准图像。

所述典型频谱特征指的是特定噪声类型在频率域上的表现。不同类型的噪声在频谱图上有独特的能量分布模式。例如，高斯噪声可能在所有频率上均匀分布，而周期性噪声可能在频谱中显示出特定的周期性成分。判断典型频谱特征的方法可以包括统计分析、频谱分析等。所述色彩失衡结果用于描述图像中不同颜色通道的分布不均匀或颜色偏离自然状态的情况，所述曲线工具是一种图像处理工具，用于调整图像的对比度、亮度和色彩平衡。

对每个特征帧进行灰度转换，将其从彩色图像转换为灰度帧，对每个灰度帧应用快速傅里叶变换算法，将其从空间域转换到频域，同时产生频谱图，包含图像在不同频率上的能量分布；

通过计算频谱图中不同频率区域的能量，并与已知噪声类型的典型频谱特征进行比较，判断可能存在的噪声类型，根据噪声类型，采取对应的去噪措施，生成第一优化图像；

分析第一优化图像的色彩分布和色彩失衡情况，根据分析结果，进行白平衡调整，确保颜色在整个图像中均衡，并应用色彩矫正滤镜，使得图像颜色更加贴近现实，使用曲线工具调整第一优化图像的对比度，以提高图像的视觉效果，最终得到所述标准图像。

本实施例中，通过对特征帧进行灰度转换和频谱图生成，能够更好地捕捉图像的基本特征，有助于提高视频的整体质量，使其更加清晰和易于处理，通过分析第一优化图像的色彩分布和失衡，能够检测到可能存在的色彩问题，并进行相应的调整，白平衡调整和色彩矫正滤镜的应用有助于使图像的颜色更加真实和自然，从而提高视频的观感质量，使用曲线工具调整第一优化图像的对比度，能够使图像中的细节更为清晰，并增强物体的边缘，综上，本实施例通过对视频进行多层次的优化处理为视频拼接提供了更优质的输入，从而提高了整体系统的性能和效果。

在一种可选的实施方式中，

所述根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果包括：

获取所述标准图像，初始化光流跟踪算法参数，重置窗口大小和金字塔层数；

通过所述光流跟踪算法读取所述标准图像，根据角点检测方法提取所述标准图像中物体的特征点，逐帧读取所述帧序列中的每个帧图像，通过计算光流预测每个特征点在下一帧的位置；

根据所述每个特征点在下一帧的位置绘制光流，得到物体运动轨迹，根据所述物体运动轨迹评估运动的连续性和一致性，生成图像分析结果。

从前述处理中得到的标准图像作为光流跟踪算法的初始输入，设定光流跟踪算法的初始参数，包括窗口大小和金字塔层数，在处理每一帧图像之前，可能需要根据当前帧的情况，动态地重置窗口大小和金字塔层数，以适应场景中物体的尺度变化和运动范围，使用标准图像对光流跟踪算法进行初始化，通过角点检测方法提取标准图像中的特征点，这些特征点将用于后续的光流跟踪；

逐帧读取帧序列中的每个帧图像，利用光流跟踪算法，通过计算特征点在当前帧和下一帧之间的位移，预测每个特征点在下一帧的位置，根据预测的特征点位置，在当前帧上绘制光流，形成物体运动的轨迹，分析得到的物体运动轨迹，通过计算物体的平均速度、检测运动中的中断或异常，评估运动的连续性和一致性，根据运动轨迹的分析结果，生成图像分析结果，其中，所述图像分析结果包括物体的运动方向、速度、可能的中断点等信息。

本实施例中，通过使用光流跟踪算法，能够在视频图像中有效地跟踪物体的运动，捕捉其轨迹和变化，评估运动的连续性和一致性有助于提高跟踪的稳定性，减少由于误差或干扰引起的不准确性，将图像分析结果用于视频拼接，将不同帧中物体的位置和运动进行有效整合，创造出平滑连贯的视频拼接效果。

S3.根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像。

所述海森矩阵是一个包含二阶偏导数的矩阵，用于描述多变量函数的局部曲率，所述尺度空间是指在不同的尺度下观察图像或信号，所述特征描述符是对图像或图像中的局部特征进行数值描述的方法，用于表示特征点周围的图像结构，以便进行匹配或识别，所述加速稳定特征算法是指对传统的稳定特征算法进行优化和改进，以提高算法的执行速度，同时仍能有效地检测和跟踪图像或视频中的关键特征点，更适用于大规模图像数据或实时图像处理的场景，所述加速稳定特征算法对输入图像进行金字塔分层处理，构建不同尺度的图像序列，在每一层图像中，采用快速角点检测方法，通过设定自适应阈值快速筛选潜在的特征点候选区域，在候选区域内使用并行计算策略，同时对多个特征点进行局部极值检测，通过简化的差分算子代替传统的高斯差分，减少计算量的同时保持特征的稳定性，对于检测到的特征点，使用主方向快速估计方法确定其方向信息，通过二进制描述符，将特征点周围的像素信息编码为二进制串，在描述符计算过程中，采用查找表技术预存储常用的计算结果，使用快速最近邻搜索方法，结合哈希索引结构，实现特征点的快速匹配，结合并行匹配策略，多线程同时处理不同区域的特征匹配任务，得到尺度空间。

在一种可选的实施方式中，

所述根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像包括：

根据所述图像分析结果初始化所述加速稳定特征算法，对于所述标准图像中的每个像素点，计算对应的海森矩阵；

根据所述海森矩阵，通过在不同尺度上对所述标准图像进行平滑操作，计算每个像素点在不同尺度上的海森矩阵，并生成尺度空间；

根据所述尺度空间，确定关键点，并生成用于描述所述关键点周围图像信息的特征描述符；

基于所述特征描述符，通过匹配图像中对应的关键点对图像进行匹配，得到匹配对，对于每个匹配对，计算对应的关键点间的距离，将距离最小的匹配对作为最优匹配对，并根据所述最优匹配对，结合所述图像缝合算法进行拼接，得到拼接图像。

根据之前的图像分析结果，初始化所述加速稳定特征算法，包括设定特征检测的参数，如阈值和尺度等参数，对于标准图像中的每个像素点，通过对图像进行高斯滤波，然后计算梯度和梯度的协方差矩阵，计算其对应的海森矩阵，利用计算得到的海森矩阵，在不同尺度上对标准图像进行平滑操作，通过通过构建高斯金字塔或拉普拉斯金字塔，将不同尺度的图像组织成一个图像金字塔，最终得到尺度空间；

通过对尺度空间进行分析，使用经典的特征检测算法确定关键点，对于每个检测到的关键点，生成用于描述其周围图像信息的特征描述符，包括梯度方向直方图、SIFT描述符；

使用生成的特征描述符，对图像中对应的关键点进行匹配，对于每个关键点，在另一幅图像中找到与之最相似的关键点，得到匹配对，对于每个匹配对，计算对应的关键点间的距离，基于最优匹配对，结合图像缝合算法，通过计算单应性矩阵来调整图像的位置，然后使用图像融合技术进行拼接进行拼接，得到拼接图像。

本实施例中，通过初始化加速稳定特征算法，能够更高效地检测图像中的关键点，提高算法的速度，尺度空间的生成有助于在不同尺度下对图像进行分析，提高算法对尺度变化的适应性，特征描述符的使用提高了关键点的区分度，使得匹配更为准确和可靠，最优匹配对的选择以及结合图像拼接算法，能够实现在视频拼接过程中更自然和平滑的过渡效果，减少拼接处的视觉不连续性。

图2为本发明实施例基于物体跟踪的视频拼接系统的结构示意图，如图2所示，所述系统包括：

第一单元，用于获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列，基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧；

第二单元，用于对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像，根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果；

第三单元，用于根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像。

本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.基于物体跟踪的视频拼接方法，其特征在于，包括：

获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列，基于关键帧识别算法通过计算特征差异和运动矢量，计算关联概率值并确定所述帧序列中的特征帧；

对所述特征帧进行灰度转换生成灰度帧，通过快速傅里叶变换算法生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像，根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果；

根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列包括：

获取所述待处理视频文件并识别格式，根据所述待处理视频文件的格式选择对应的解码器，设置所述解码器的分辨率、帧率和色彩空间；

根据设置好的解码器，逐帧解码所述待处理视频文件，将所述待处理视频文件中的编码数据转换为可视化像素数据，生成帧图像，为所述帧图像添加对应的时间戳，根据所述时间戳排列对应的帧图像，生成帧序列。

3.根据权利要求1所述的方法，其特征在于，所述基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧包括：

随机选择所述帧序列中的一个帧图像，记为当前图像，将所述当前图像的上一帧对应的帧图像记为历史图像，根据所述当前图像和所述历史图像，基于颜色、纹理和边缘计算特征差异；

通过所述关键帧识别算法计算所述当前图像和所述历史图像对应的帧间的运动矢量；

根据所述运动矢量和所述特征差异，计算所述当前图像和所述历史图像的关联概率值；

对于所述帧序列中的每个帧图像，计算帧图像与对应的历史图像的关联概率值，选择与数值最大的关联概率值对应的当前图像作为特征帧。

4.根据权利要求3所述的方法，其特征在于，所述根据所述运动矢量和所述特征差异，计算所述当前图像和所述历史图像的关联概率值如下公式所示：

；

其中，表示关联概率值，表示初始关联概率值，表示运动矢量，表示在初始关联概率值下的运动矢量的标准差，表示在初始关联概率值下的运动矢量的均值，表示特征差异，表示在初始关联概率值下的特征差异的标准差，表示在初始关联概率值下的特征差异的均值。

5.根据权利要求1所述的方法，其特征在于，所述对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像包括：

获取所述特征帧，对所述特征帧进行灰度转换，生成灰度帧；

对所述灰度帧应用快速傅里叶变换算法，将所述灰度帧从空间域转换到频域，生成所述灰度帧对应的频谱图；

根据所述频谱图，通过计算不同频率区域中的能量并与已知噪声类型的典型频谱特征对比，判断噪声类型，根据所述噪声类型去除所述频谱图中对应的噪声，生成第一优化图像；

根据所述第一优化图像，分析所述第一优化图像的色彩分布和对应的色彩失衡，根据所述色彩分布和所述色彩失衡的分析结果，对所述第一优化图像进行白平衡调整并应用色彩矫正滤镜，使用曲线工具调整所述第一优化图像的对比度，得到标准图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果包括：

获取所述标准图像，初始化光流跟踪算法参数，重置窗口大小和金字塔层数；

通过所述光流跟踪算法读取所述标准图像，根据角点检测方法提取所述标准图像中物体的特征点，逐帧读取所述帧序列中的每个帧图像，通过计算光流预测每个特征点在下一帧的位置；

根据所述每个特征点在下一帧的位置绘制光流，得到物体运动轨迹，根据所述物体运动轨迹评估运动的连续性和一致性，生成图像分析结果。

7.根据权利要求1所述的方法，其特征在于，所述根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像包括：

根据所述图像分析结果初始化所述加速稳定特征算法，对于所述标准图像中的每个像素点，计算对应的海森矩阵；

根据所述海森矩阵，通过在不同尺度上对所述标准图像进行平滑操作，计算每个像素点在不同尺度上的海森矩阵，并生成尺度空间；

根据所述尺度空间，确定关键点，并生成用于描述所述关键点周围图像信息的特征描述符；

基于所述特征描述符，通过匹配图像中对应的关键点对图像进行匹配，得到匹配对，对于每个匹配对，计算对应的关键点间的距离，将距离最小的匹配对作为最优匹配对，并根据所述最优匹配对，结合所述图像缝合算法进行拼接，得到拼接图像。

8.基于物体跟踪的视频拼接系统，其特征在于，包括：

第一单元，用于获取待处理视频文件，通过预先选择的解码器将所述待处理视频文件转换为带有时间戳的帧序列，基于关键帧识别算法通过计算特征差异和运动矢量，确定所述帧序列中的特征帧；

第二单元，用于对所述特征帧进行灰度转换生成灰度帧，生成所述灰度帧对应的频谱图，去除所述频谱图中的图像噪声并进行色彩矫正，得到标准图像，根据所述标准图像，通过光流跟踪算法对所述标准图像中的物体进行跟踪，生成图像分析结果；

第三单元，用于根据所述图像分析结果，通过预设的加速稳定特征算法确定所述标准图像中每个像素点对应的海森矩阵，根据所述海森矩阵构建尺度空间，确定关键点并生成特征描述符，根据所述特征描述符进行图像匹配，选择最优匹配对并根据图像缝合算法进行图像拼接，得到拼接图像。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。