CN114332236A - 视觉系统的云台标定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例所公开的一种视觉系统的云台标定方法、装置、电子设备及存储介质，其中，视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。通过对多个靶标进行采样，可以规避相机视场角对云台可转动角度的限制，覆盖云台的全部转角范围。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。可以对可动视觉系统的所有自由度结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。

Description

视觉系统的云台标定方法、装置、电子设备及存储介质

技术领域

本发明涉及计算视觉技术领域，尤其涉及一种视觉系统的云台标定方法、装置、电子设备及存储介质。

背景技术

随着计算视觉技术和机器人技术的应用与发展，越来越多的机器人将视觉传感器作为其三维感知的重要设备。尤其是在物体抓取和操作、导航路径规划和目标三维重建等基础任务中，视觉感知是获取信息最重要的来源之一。然而，现有视觉感知技术存在诸多问题，如感知范围受限于视觉传感器视场范围，感知图像质量容易受到视觉传感器载体震动而不佳，感知目标的运动轨迹容易离开感知传感器视野。

可动视觉系统通过主动控制视觉传感器的运动，可以弥补视觉传感器视场范围的不足，可以抵消载体震动对感知图像质量的影响，可以主动追踪动态目标。然而，现有由单个可动视觉传感器或多个可动视觉传感器构成的可动视觉系统，在使用过程中，视觉传感器对应的坐标系和可动视觉系统对应的基座坐标系间的相对位姿关系会随着机械形态的变化而发生变化。如何将视觉传感器在可动视觉系统不同机械形态下的感知结果精确地转换和融合至基座坐标系，是可动视觉系统必须要解决的一大核心难题，其涉及对于内部结构参数的合理估计，即转轴标定。

目前，大部分可精确控制的可动视觉系统是基于串联式结构来实现视觉传感器的二自由旋转或者三自由旋转。转轴标定的意义在于确定各个旋转轴对应的坐标系与视觉传感器对应的坐标系之间的几何关系，从而可以达到通过少量矩阵运算即可实时计算可动视觉系统在任意机械形态下视觉传感器的位姿。然而，现有转轴标定方法未能综合地将二维平面图像之间的约束信息和可动视觉系统末端视觉传感器之间内在的转轴参数约束信息利用起来。并且，现有标定方法基于的几何模型的精度有待提高，一方面，现有标定方法只能依次对单个转轴进行旋转轴估计，缺少全面包含多个转轴耦合转动在内的几何制约关系，另一方面，现有标定方法在标定过程中允许的转轴转动范围受限于视觉传感器视角大小，导致标定结果在未覆盖的转轴转角范围内的误差变得不可控制。

发明内容

本申请实施例提供了一种视觉系统的云台标定方法、装置、电子设备及存储介质，通过对多个靶标进行采样，可以规避相机视场角对云台可转动角度的限制，覆盖云台的全部转角范围。通过采集云台对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。通过建立预设目标函数确定靶标集合中所有内角点重投影差的加权累加合，可以完成对串联式可动视觉系统的高精度标定，可以对可动视觉系统的所有自由度结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。

本申请实施例提供了一种视觉系统的云台标定方法，该视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合；

该视觉系统的云台标定方法包括：

当云台处于标定位置时，获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集；

当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；

确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；

根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；

根据参考位置数据集和预测位置数据集，确定目标标定数据集。

进一步地，第一坐标系变换数据集包括相机的标定相机坐标系与云台中每个自由度的标定自由度坐标系间的坐标系变换数据；

第二坐标系变换数据集包括靶标集合中每个靶标的靶标坐标系与标定相机坐标系间的坐标系变换数据；

第三坐标系变换数据集包括每个自由度的转动自由度坐标系与对应的标定自由度坐标系间的坐标系变换数据。

进一步地，根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，包括：

根据第一坐标系变换数据集和第三坐标系变换数据集，确定相机对应的第四坐标系变换数据集；第四坐标系变换数据集包括相机的旋转相机坐标系与标定相机坐标间的坐标系变换数据；

根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集。

进一步地，根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集之前，还包括：

从图像集中确定目标图像集；目标图像集中的图像数量小于等于图像集中的图像数量；

根据目标图像集确定相机对应的内参数据和畸变数据。

进一步地，根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，包括：

根据第二坐标系变换数据集和靶标位置数据集，确定靶标集合在标定相机坐标系中的候选位置数据集；

根据第四坐标系变换数据集和候选位置数据集，确定靶标集合在旋转相机坐标系中的待映射位置数据集；

根据内参数据、畸变数据和待映射位置数据集，确定靶标集合在图像集中的预测位置数据集。

进一步地，根据参考位置数据集和预测位置数据集，确定目标标定数据集，包括：

基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值；

对第一坐标系变换数据集和第二坐标系变换数据集进行更新处理，重复步骤：当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；

确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；

根据更新后的第一坐标系变换数据集、第二坐标系变换数据集以及第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；

基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，得到损失值集合；

将损失值集合中最小值对应的第一坐标系变换数据集和第二坐标系变换数据集确定为目标标定数据集。

进一步地，基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，包括：

根据靶标集合中每个靶标对应的参考位置数据和预测位置数据，确定每个靶标对应的误差数据；

根据每个标靶对应的误差数据，确定靶标集合对应损失值。

相应地，本申请实施例提供了一种视觉系统的云台标定装置，视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合；

该视觉系统的云台标定装置包括：

第一获取模块，用于当云台处于标定位置时，获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集；

第二获取模块，用于当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；

第一确定模块，用于确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；

第二确定模块，用于根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；

第三确定模块，用于根据参考位置数据集和预测位置数据集，确定目标标定数据集。

进一步地，第一坐标系变换数据集包括相机的标定相机坐标系与云台中每个自由度的标定自由度坐标系间的坐标系变换数据；

第二坐标系变换数据集包括靶标集合中每个靶标的靶标坐标系与标定相机坐标系间的坐标系变换数据；

第三坐标系变换数据集包括每个自由度的转动自由度坐标系与对应的标定自由度坐标系间的坐标系变换数据。

进一步地，第二确定模块，包括：

第一确定子模块，用于根据第一坐标系变换数据集和第三坐标系变换数据集，确定相机对应的第四坐标系变换数据集；第四坐标系变换数据集包括相机的旋转相机坐标系与标定相机坐标间的坐标系变换数据；

第二确定子模块，用于根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集。

进一步地，第二确定模块，还包括：

第三确定子模块，用于在根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集之前，

从图像集中确定目标图像集；目标图像集中的图像数量小于等于图像集中的图像数量；

根据目标图像集确定相机对应的内参数据和畸变数据。

进一步地，第二确定子模块，包括：

第一确定子单元，用于根据第二坐标系变换数据集和靶标位置数据集，确定靶标集合在标定相机坐标系中的候选位置数据集；

第二确定子单元，用于根据第四坐标系变换数据集和候选位置数据集，确定靶标集合在旋转相机坐标系中的待映射位置数据集；

第三确定子单元，用于根据内参数据、畸变数据和待映射位置数据集，确定靶标集合在图像集中的预测位置数据集。

进一步地，第三确定模块，包括：

第四确定子模块，用于基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值；

重复子模块，用于对第一坐标系变换数据集和第二坐标系变换数据集进行更新处理，重复步骤：当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；

第五确定子模块，用于确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；

第六确定子模块，用于根据更新后的第一坐标系变换数据集、第二坐标系变换数据集以及第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；

第七确定子模块，用于基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，得到损失值集合；

第八确定子模块，用于将损失值集合中最小值对应的第一坐标系变换数据集和第二坐标系变换数据集确定为目标标定数据集。

进一步地，第七确定子模块，包括：

第四确定子单元，用于根据靶标集合中每个靶标对应的参考位置数据和预测位置数据，确定每个靶标对应的误差数据；

第五确定子单元，用于根据每个标靶对应的误差数据，确定靶标集合对应损失值。

相应地，本申请实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述视觉系统的云台标定方法。

相应地，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述视觉系统的云台标定方法。

本申请实施例具有如下有益效果：

本申请实施例所公开的一种视觉系统的云台标定方法、装置、电子设备及存储介质，该可动视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。该视觉系统的云台标定方法包括当云台处于标定位置时，获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集，当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集，确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集，进而根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，并根据参考位置数据集和预测位置数据集，确定目标标定数据集。基于本申请实施例，通过对多个靶标进行采样，可以规避相机视场角对云台可转动角度的限制，覆盖云台的全部转角范围。通过采集云台对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。通过建立预设目标函数确定靶标集合中所有内角点重投影差的加权累加合，可以完成对串联式可动视觉系统的高精度标定，可以对可动视觉系统的所有自由度结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例所提供的一种应用环境的示意图；

图2是本申请实施例提供的一种视觉系统的云台标定方法的流程示意图；

图3是本申请实施例提供的一种转动标定的示意图；

图4是本申请实施例提供的一种图像集的示意图；

图5是本申请实施例提供的一种基于机械图纸的转轴参数与本申请中的目标标定数据标定黑白棋格内角点的对比图；

图6是本申请实施例提供的一种视觉系统的云台标定装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例作进一步地详细描述。显然，所描述的实施例仅仅是本申请一个实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

此处所称的“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”和“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”和“第三”等的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”和“第三”等等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够以除了在这里图示或描述以外的顺序实施。此外，术语“包括”和“为”以及他们的任何变形，意图在于覆盖不排他的包含。

请参阅图1，其所示为本申请实施例所提供的一种应用环境的示意图，包括：可动视觉系统101和处理器103，该可动视觉系统101可以包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。该视觉系统的云台标定方法包括当云台处于标定位置时，处理器103获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集，当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集，确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集，进而根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，并根据参考位置数据集和预测位置数据集，确定目标标定数据集。

本申请实施例，通过对多个靶标进行采样，可以规避相机视场角对云台可转动角度的限制，覆盖云台的全部转角范围。通过采集云台对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。通过建立预设目标函数确定靶标集合中所有内角点重投影差的加权累加合，可以完成对串联式可动视觉系统的高精度标定，可以对可动视觉系统的所有自由度结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。

下面介绍本申请一种视觉系统的云台标定方法的具体实施例，图2是本申请实施例提供的一种视觉系统的云台标定方法的流程示意图，图3是本申请实施例提供的一种转动标定的示意图。本说明书提供了如实施例或流程图所示的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多执行顺序中的一种方式，不代表唯一的执行顺序，在实际执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本申请实施例中，视觉系统的云台标定方法可以应用于可动视觉系统，该可动视觉系统可以包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。可选地，该可动视觉系统可以包括串联式的多个转轴、设置在串联式的多个转轴末端的相机和设置在串联式的多个转轴外且相对于串联式的多个转轴静止的靶标集合。例如，串联式的多个转轴可以包括M个转轴，每个转轴的下标m＝1,2,...,M顺序遵循结构上的串联顺序，即m＝1对应基座转轴，m＝M对应末端转轴，转轴m可以对应编码器值θ_m，相机可以直接与末端转轴作刚体连接。需要说明的是，云台可以是串联式的多个转轴，也可以是并联式的多个连接组件，还可以是其他连接关系的结构，本申请实施例不作具体限定，并且自由度的表现形式不限于编码器值对应的转动角度，还可以是移动距离，本申请实施例也不作具体限定。此外，末端转轴上也可以设置多个相机、或者多个雷达，或者多个其他视觉感知设备。

在一种可选的实施方式中，可动视觉系统可以包括机械臂和设置在机械臂末端的可动视觉传感器。该可动视觉系统可以在预先设定好的电机指令下运动。在具体的实施过程中，可以控制可动视觉系统按照预先设定好的“弓”字形作往返运动，使得每个靶标尽量覆盖相机拍摄的图像中大部分像素。具体地，可动视觉系统可以包括二自由度云台，该二自由度云台可以包括两个转轴串联构成的机械臂，该可动视觉系统还可以包括设置在机械臂末端转轴上的像素为2048×1536的工业相机。可动视觉系统也可以包括三自由度云台，该三自由度云台可以包括三个转轴串联构成的机械臂，可动视觉系统还可以包括设置在机械臂末端转轴上的像素为2048×1536的工业相机。靶标可以是内角点为4×3排布的黑白棋格标定板，也可以是内角点为4×4排布的黑白棋格标定板，还可以是其他含有对象的标定器件，本说明书不作具体限定。

为了便于说明，本申请实施例以可动视觉系统包括串联式的三个转轴、设置在串联式的三个转轴末端的一个相机和设置在串联式的三个转轴外且相对于串联式的三个转轴静止的三个靶标为例进行说明。

具体如图2所示，该方法可以包括：

S201：当云台处于标定位置时，获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集。

本申请实施例中，第一坐标系变换数据集可以包括相机的标定相机坐标系与云台中每个自由度的标定自由度坐标系间的坐标系变换数据。第二坐标系变换数据集可以包括靶标集合中每个靶标的靶标坐标系与标定相机坐标系间的坐标系变换数据。

在一种可选的实施方式中，可以将靶标集合固定放置于可动视觉系统所处的空间中，且靶标集合相对于云台静止。当云台均处于零点状态即每个自由度对应的编码器值均为零时，云台所处的位置可以定义为标定位置。此时，可以定义每个自由度对应的坐标系为每个自由度的标定自由度坐标系。可以定义相机对应的坐标系为相机标定坐标系，也可以称之为世界坐标系，该相机标定坐标系可以是以相机光心为基准的三维笛卡尔坐标系，该相机标定坐标系即世界坐标系到各个处于零点状态的自由度的标定自由度坐标系的齐次变换矩阵可以定义为第一坐标系变换数据集。可以定义靶标集合中每个靶标对应的坐标系为每个靶标的靶标坐标系。每个靶标的靶标坐标系到相机标定坐标系即世界坐标系的变换矩阵可以定义为第二坐标系变换数据集。此外，可以定义靶标集合对应的坐标系为靶标坐标系，如靶标集合所在的空间坐标系为靶标坐标系，也可以定义相机与靶标集合所处空间坐标系为靶标坐标系，具体的定义方式包括但不限于以上几种，其他定义方式在本申请实施例中不再列举。

可选地，第一坐标系变换数据和第二坐标系变换数据均可以为4×4的矩阵。例如，图3中X1、X2和X3可以表示相机标定相机坐标系与每个转轴的标定转轴坐标系间的第一坐标系变换数据，L1、L2和L3可以表示每个靶标的靶标坐标系与标定相机坐标系间的第二坐标系变换数据。

如图3所示，可动视觉系统可以包括第一转轴m₁、第二转轴m₂、第三转轴m₃以及设置在第三转轴m₃上的相机，第一转轴与第二转轴连接，第二转轴与第三转轴连接，空间中固定放置第一靶标J₁、第二靶标J₂和第三靶标J₃，即三块内角点为4×4排布的黑白棋格标定板。当第一转轴、第二转轴和第三转轴均处于标定位置时，相机的标定相机坐标系与第一转轴的第一转轴标定坐标系间的第一坐标系变换数据为X₁，相机的标定相机坐标系与第二转轴的第二转轴标定坐标系间的第一坐标系变换数据为X₂，相机的标定相机坐标系与第二转轴的第二转轴标定坐标系间的第一坐标系变换数据为X₃，相机的标定相机坐标系与第一靶标的第一靶标坐标系间的第二坐标系变换数据为L₁，相机的标定相机坐标系与第二靶标的第二靶标坐标系间的第二坐标系变换数据为L₂，相机的标定相机坐标系与第三靶标的第三靶标坐标系间的第二坐标系变换数据为L₃。

在一种可选的实施方式中，相机的标定相机坐标系与每个自由度的标定自由度坐标系间的第一坐标系变换数据集可以本申请实施例中待优化求解的变量，其初始信息可以根据机械设计图纸获取。

S203：当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集。

本申请实施例中，在可动视觉系统按照预先设定好的指令作往返运动的过程中，至少存在两个转轴之间的关节会发生转动，进而可以带动至少一个转轴转动，在至少一个转轴转动的过程中，若转轴发生正角度旋转，可以带动标定转轴坐标系的原正x轴向原正y轴转动。转动的至少一个转轴所对应的编码器也会相应地改变，若其绕标定转轴坐标系的原正z轴方向旋转θ°，其对应编码器值也将有θ_m＝0改变为θ_m＝θ。此时，至少一个转轴m的转动转轴坐标系可以定义为绕正z轴方向旋转θ_m后得到的坐标系。并且，当多个转轴轴的至少一个转轴转动时，将带动末端的相机运动。如图3所示，第一转轴m₁可以转动至m₁’位置，第二转轴m₂可以转动至m₂’位置，第三转轴m₃可以转动至m₃’位置。也即是，当云台中的至少一个自由度变化时，每个自由度的转动自由度坐标系与对应的标定自由度坐标系的坐标系变换数据可以为第三坐标系变换数据集。第三坐标系变换数据可以采用如下表示方式：

其中，Rod(θ_m,e_z)可以表示由旋转单位矢量和旋转角度对应的三维旋转矩阵，e_z可以表示z轴坐标基矢量。

在获取云台对应的第三坐标系变换数据集的同时，还可以获取时刻t_i相机拍摄的包含靶标集合的图像集，即平面靶标图像Fⁱ。即可以在时刻t_i获取相机在当前位姿下拍摄靶标集合得到的I帧图像以及I个标定数据组，该标定数据组可以包括时刻t_i时每个转轴对应的编码器值θ₁ ⁱ、θ₂ ⁱ...θ_M ⁱ和平面靶标图像，即平面靶标图像Fⁱ。

图4是本申请实施例提供的一种图像集的示意图。基于上文中列举的例子继续进行说明。假设，在时刻t_i，第一转轴与第二转轴之间的关节转动，带动第一转轴转动θ₁第二转轴转动θ₂，第三转轴转动θ₂，其对应的编码器值为θ₁ ⁱ、θ₂ ⁱ、θ₃ ⁱ，相机拍摄第一靶标得到图像F_J1 ⁱ，拍摄第二靶标得到图像得到图像F_J2 ⁱ，拍摄第二靶标得到图像得到图像F_J3 ⁱ。此时，m₁与m₁’间第三坐标系变换数据可以表示为A₁(θ₁)，m₂与m₂’间第三坐标系变换数据可以表示为A₂(θ₂)，此时，m₃与m₃’间第三坐标系变换数据可以表示为A₃(θ₃)。

本申请实施例，通过对多个靶标进行采样，可以规避相机视场角对转轴可转动角度的限制，覆盖每个转轴的全部转角范围。并且，通过采集多个转轴对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。此外，通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。

S205：确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集。

本申请实施例中，当定义靶标集合中每个靶标对应的坐标系为每个靶标的靶标坐标系时，可以确定靶标集合中每个靶标在对应的靶标坐标系中的靶标位置数据。例如，可以分别确定第一靶标、第二靶标和第三靶标即三块黑白棋格标定板中每个内角点j在对应的靶标坐标系中的靶标位置数据。具体如，可以确定第一靶标中的16个内角点j＝1,2...16在第一靶标坐标系中的靶标位置数据，即确定每个内角点j在自身坐标系下的三维坐标数据P_j。同时，可以确定每个内角点在对应的图像中的参考位置数据，即每个内角点j在图像对应的图像坐标系下的二维坐标数据，即在图像对应的图像坐标系下的图像点P_j’。

可选地，可以采用图像角点检测法，确定靶标集合在靶标坐标系集中对应的靶标位置数据集以及靶标集合在图像集中的参考位置数据集，即靶标集合的每个靶标中的全部内角点在自身坐标系下的三维坐标数据，以及在对应的图像Fⁱ中的实际图像点。

S207：根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集。

本申请实施例中，可以根据相机标定坐标系与每个自由度的标定自由度坐标系间第一坐标系变换数据集、每个靶标的靶标坐标系与标定相机坐标系间的第二坐标系变换数据集、每个自由度的转动自由度坐标系与对应的标定自由度坐标系的第三坐标系变换数据集以及每个靶标在对应的靶标坐标系中的靶标位置数据集，确定靶标集合在图像集中的预测位置数据集。

在一种具体的实施方式中，可以从时刻t_i时相机拍摄的图像集中确定目标图像集，该目标图像集中的图像数量小于等于目标图像集中的图像数量。换句话说，可以将图像集中的全部图像作为目标图像集。也可以将图像集中的部分图像作为目标图像集，目标图像集尽可能的覆盖相机的视场，即从I帧图像中确定尽可能的覆盖相机视场的部分图像。例如，可以从图像数量为555帧的图像集中确定55帧目标图像作为目标图像集。在得到目标图像集之后，可以根据目标图像确定相机对应的内参数据和畸变数据，可选地，可以采用张氏标定法、张正友单目标定法等其他标定方法得到相机的内参K和畸变参数D，继而可以得到相机的投影模型π：R³→R²，即三维坐标数据去畸变归一在图像坐标系的映射函数。

在一种可选的实施方式中，可以根据第一坐标系变换数据集和第三坐标系变换数据集，确定相机对应的第四坐标系变换数据集，该第四坐标系变换数据集可以包括相机的旋转相机坐标系与标定相机坐标间的坐标系变换数据，即相机的当前坐标系相对于可动视觉系统中所有自由度均处于零点状态时下的标定相机坐标系的理论位姿变换数据。具体可以采用如下公式确定相机的第四坐标系变换数据：

B_i＝X_m ^-1A_m(θ_m)X_m

其中，X_m可以表示标定自由度坐标系与标定相机坐标系间的坐标系变换数据，A_m(θ_m)可以表示转动自由度坐标系与对应的标定自由度坐标系的坐标系变换数据。

基于上文中列举的例子，当第一转轴、第二转轴和第三转轴转动后，相机的旋转相机坐标系即当前相机坐标系与标定相机坐标系即世界坐标系间的坐标系变化数据可以表示为：

B_i＝X₁ ^-1A₁(θ₁)X₁X₂ ^-1A₂(θ₂)X₂X₃ ^-1A₃(θ₃)X₃

这里，当前相机坐标系可以为旋转后的相机坐标系到标定相机坐标系的齐次变换矩阵。

然后，可以根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集。也即是，可以根据每个内角点在自身坐标系下的三维位置坐标P_j，确定其去畸变归一在图像坐标系下的图像点P_j”。

可选地，可以根据第二坐标系变换数据集和靶标位置数据集，确定靶标集合在标定相机坐标系中的候选位置数据集，继而可以根据第四坐标系变换数据集和候选位置数据集，确定靶标集合在旋转相机坐标系中的待映射位置数据集，即在相机当前位姿下的三维坐标数据，再根据内参数据、畸变数据和待映射位置数据集，确定靶标集合在图像集中的预测位置数据集。具体可以采用如下公式确定靶标集合在图像集中的预测位置数据P_j”：

P_j”＝π(B_i ^-1L_jP_j)

其中，B_i可以表示第i帧图像对应的旋转相机坐标系，L_j可以表示内角点j对应的靶标坐标系与标定相机坐标系间的第二坐标系变换数据，P_j可以表示每个内角点j在自身坐标系下的三维位置坐标。

本申请实施例中，上文中描述的每个靶标的靶标坐标系与标定相机坐标系间的第二坐标系变换数据可以采用如下步骤得到：

步骤一：选取任一标定数据组；

步骤二：基于三维-二维特征点匹配规则确定靶标在标定数据组对应的旋转相机坐标系下的位置数据；

步骤三：基于任一标定数据组对应的旋转相机坐标系与标定相机坐标系间的第四坐标系变换数据集，确定靶标坐标系与标定相机坐标系间的第二坐标系变换数据。具体公式如下：

L_J＝B_iT_i

其中，B_i可以表示任一标定数据组对应的旋转相机坐标系与标定相机坐标系间的第四坐标系变换数据，T_i可以表示靶标在标定数据组对应的旋转相机坐标系下的位置数据。

S209：根据参考位置数据集和预测位置数据集，确定目标标定数据集。

本申请实施例中，可以基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，并对第一坐标系变换数据集和第二坐标系变换数据集进行更新处理，且重复步骤：当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集，确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集，根据更新后的第一坐标系变换数据集、第二坐标系变换数据集以及第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，得到损失值集合，将损失值集合中最小值对应的第一坐标系变换数据集和第二坐标系变换数据集确定为目标标定数据集。上述预设目标函数可以采用如下表示方式：

其中，V_j可以表示可以完整观测到的内角点，N_j可以表示全部内角点，θ_m ⁱ可以表示时刻t_i每个自由度对应的编码器值，X₁,...X_M可以表示相机的标定相机坐标系与自由度的自由度标定坐标系间的第一坐标系变换数据，L₁,...L_J可以表示相机的标定相机坐标系与靶标坐标系间的第二坐标系变换数据，X_m和L_j均为三维欧几里得群SE(3)的元素，α可以表示为R³→R²的鲁棒权重函数，可选地，α_o’(x)＝x²/(x²+o’²)可以表示为类Huber棒鲁权重函数，o’可以表示离群点，可选地，o’可以设定为对应相机分辨率下1.5个像素，∑可以表示2×2的协方差矩阵。

可选地，可以根据靶标集合中每个靶标对应的参考位置数据和预测位置数据，确定每个靶标对应的误差数据，其中，误差数据可以是重投影误差，也可以是叉乘形式，进而可以根据每个标靶对应的误差数据，确定靶标集合对应损失值。具体可以采用如下公式确定每个标靶对应的误差数据e：

e＝p”-p’

图5是本申请实施例提供的一种基于机械图纸的转轴参数与本申请中的目标标定数据标定黑白棋格内角点的对比图。其中，第一行的投影结果是基于机械图纸的转轴参数标定的内角点，第二行是基于本申请中的目标标定数据标定的内角点，第一行中的内角点的标定半径为20像素，第二行中的内角点的标定半径为10像素。

采用本申请实施例所提供的视觉系统的云台标定方法，通过对多个靶标进行采样，可以规避相机视场角对转轴可转动角度的限制，覆盖每个转轴的全部转角范围。通过采集多个转轴对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。通过建立预设目标函数确定靶标集合中所有内角点重投影差的加权累加合，可以完成对串联式可动视觉系统的高精度标定，可以对可动视觉系统的所有转轴结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。

本申请实施例还提供的一种视觉系统的云台标定装置，图6是本申请实施例提供的一种视觉系统的云台标定装置的结构示意图，其中，动视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。

如图6所示，该装置可以包括：

第一获取模块601可以用于当云台处于标定位置时，获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集；

第二获取模块603可以用于当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；

第一确定模块605可以用于确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；

第二确定模块607可以用于根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；

第三确定模块609可以用于根据参考位置数据集和预测位置数据集，确定目标标定数据集。

本申请实施例中，第一坐标系变换数据集可以包括相机的标定相机坐标系与云台中每个自由度的标定自由度坐标系间的坐标系变换数据；

第二坐标系变换数据集可以包括靶标集合中每个靶标的靶标坐标系与标定相机坐标系间的坐标系变换数据；

第三坐标系变换数据集可以包括每个自由度的转动自由度坐标系与对应的标定自由度坐标系间的坐标系变换数据。

本申请实施例中，第二确定模块607可以包括：

第一确定子模块可以用于根据第一坐标系变换数据集和第三坐标系变换数据集，确定相机对应的第四坐标系变换数据集；第四坐标系变换数据集包括相机的旋转相机坐标系与标定相机坐标间的坐标系变换数据；

第二确定子模块可以用于根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集。

本申请实施例中，第二确定模块607还可以包括：

第三确定子模块可以用于在根据第二坐标系变换数据集、第四坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集之前，

从图像集中确定目标图像集；目标图像集中的图像数量小于等于图像集中的图像数量；

根据目标图像集确定相机对应的内参数据和畸变数据。

本申请实施例中，第二确定子模块可以包括：

第一确定子单元可以用于根据第二坐标系变换数据集和靶标位置数据集，确定靶标集合在标定相机坐标系中的候选位置数据集；

第二确定子单元可以用于根据第四坐标系变换数据集和候选位置数据集，确定靶标集合在旋转相机坐标系中的待映射位置数据集；

第三确定子单元可以用于根据内参数据、畸变数据和待映射位置数据集，确定靶标集合在图像集中的预测位置数据集。

本申请实施例中，第三确定模块609可以包括：

第四确定子模块可以用于基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值；

重复子模块可以用于对第一坐标系变换数据集和第二坐标系变换数据集进行更新处理，重复步骤：当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集；

第五确定子模块可以用于确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集；

第六确定子模块可以用于根据更新后的第一坐标系变换数据集、第二坐标系变换数据集以及第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集；

第七确定子模块可以用于基于预设目标函数、参考位置数据集和预测位置数据集，确定靶标集合对应的损失值，得到损失值集合；

第八确定子模块可以用于将损失值集合中最小值对应的第一坐标系变换数据集和第二坐标系变换数据集确定为目标标定数据集。

本申请实施例中，第七确定子模块可以包括：

第四确定子单元可以用于根据靶标集合中每个靶标对应的参考位置数据和预测位置数据，确定每个靶标对应的误差数据；

第五确定子单元可以用于根据每个标靶对应的误差数据，确定靶标集合对应损失值。

本申请实施例中的装置与方法实施例基于同样的申请构思。

采用本申请实施例提供的视觉系统的云台标定装置，通过对多个靶标进行采用，可以规避相机视场角对转轴可转动角度的限制，覆盖每个转轴的全部转角范围。通过采集多个转轴对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。通过建立预设目标函数确定靶标集合中所有内角点重投影差的加权累加合，可以完成对串联式可动视觉系统的高精度标定，可以对可动视觉系统的所有转轴结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。

本申请实施例还提供的一种电子设备，电子设备可设置于服务器之中以保存用于实现方法实施例中的一种视觉系统的云台标定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该存储器加载并执行以实现上述的视觉系统的云台标定方法。

本申请实施例还提供的一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种视觉系统的云台标定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述视觉系统的云台标定方法。

可选的，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于包括：U盘、只读存储器(ROM，Read-only Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的视觉系统的云台标定方法、装置、电子设备或存储介质的实施例可见，其中，可动视觉系统包括具有多个自由度的云台、设置在云台上的相机和设置在云台外且相对于云台静止的靶标集合。该视觉系统的云台标定方法包括当云台处于标定位置时，获取相机与云台对应的第一坐标系变换数据集，以及靶标集合与相机对应的第二坐标系变换数据集，当云台中的至少一个自由度变化时，获取云台对应的第三坐标系变换数据集，以及相机拍摄靶标集合得到的图像集，确定靶标集合在靶标坐标系集中对应的靶标位置数据集，以及靶标集合在图像集中的参考位置数据集，进而根据第一坐标系变换数据集、第二坐标系变换数据集、第三坐标系变换数据集和靶标位置数据集，确定靶标集合在图像集中的预测位置数据集，并根据参考位置数据集和预测位置数据集，确定目标标定数据集。基于本申请实施例，通过对多个靶标进行采样，可以规避相机视场角对转轴可转动角度的限制，覆盖每个转轴的全部转角范围。通过采集多个转轴对应的第三坐标系变换数据集以及相机拍摄靶标集合得到的图像集，可以考虑多轴耦合转动时产的组合误差。通过确定每个靶标与相机标定坐标系间的坐标系变换数据，可以保证全部靶标集合的全局自洽。通过将靶标投影误差作为约束进行优化，可以减小二次误差传递。通过建立预设目标函数确定靶标集合中所有内角点重投影差的加权累加合，可以完成对串联式可动视觉系统的高精度标定，可以对可动视觉系统的所有转轴结构在各种旋转角度下采样的数据进行全局的标定，可以扩大应用场景，此外可以减小可动视觉系统在运动状态下对相机位姿的预测误差。

在本发明中，除非另有明确的规定和限定，术语“相连”、“连接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的相连或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是：上述本申请实施例的先后顺序仅仅为了描述，不代表实施例的优劣，且上述本说明书对特定的实施例进行了描述，其他实施例也在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或者步骤可以按照不同的实施例中的顺序来执行并且能够实现预期的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者而连接顺序才能够实现期望的结果，在某些实施方式中，多任务并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的均为与其他实施例的不同之处。尤其，对于装置的实施例而言，由于其基于相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种视觉系统的云台标定方法，其特征在于，所述视觉系统包括具有多个自由度的云台、设置在所述云台上的相机和设置在所述云台外且相对于所述云台静止的靶标集合；

所述方法包括：

当所述云台处于标定位置时，获取所述相机与所述云台对应的第一坐标系变换数据集，以及所述靶标集合与所述相机对应的第二坐标系变换数据集；

当所述云台中的至少一个自由度变化时，获取所述云台对应的第三坐标系变换数据集，以及所述相机拍摄所述靶标集合得到的图像集；

确定所述靶标集合在靶标坐标系集中对应的靶标位置数据集，以及所述靶标集合在所述图像集中的参考位置数据集；

根据所述第一坐标系变换数据集、所述第二坐标系变换数据集、所述第三坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集；

根据所述参考位置数据集和所述预测位置数据集，确定目标标定数据集。

2.根据权利要求1所述的方法，其特征在于，

所述第一坐标系变换数据集包括所述相机的标定相机坐标系与所述云台中每个自由度的标定自由度坐标系间的坐标系变换数据；

所述第二坐标系变换数据集包括所述靶标集合中每个靶标的靶标坐标系与所述标定相机坐标系间的坐标系变换数据；

所述第三坐标系变换数据集包括所述每个自由度的转动自由度坐标系与对应的标定自由度坐标系间的坐标系变换数据。

3.根据权利要求1-2任一所述的方法，其特征在于，所述根据所述第一坐标系变换数据集、所述第二坐标系变换数据集、所述第三坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集，包括：

根据所述第一坐标系变换数据集和所述第三坐标系变换数据集，确定所述相机对应的第四坐标系变换数据集；所述第四坐标系变换数据集包括所述相机的旋转相机坐标系与所述标定相机坐标间的坐标系变换数据；

根据所述第二坐标系变换数据集、所述第四坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第二坐标系变换数据集、所述第四坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集之前，还包括：

从所述图像集中确定目标图像集；所述目标图像集中的图像数量小于等于所述图像集中的图像数量；

根据所述目标图像集确定所述相机对应的内参数据和畸变数据。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第二坐标系变换数据集、所述第四坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集，包括：

根据所述第二坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述标定相机坐标系中的候选位置数据集；

根据所述第四坐标系变换数据集和所述候选位置数据集，确定所述靶标集合在所述旋转相机坐标系中的待映射位置数据集；

根据所述内参数据、所述畸变数据和所述待映射位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集。

6.根据权利要求1-5任一所述的方法，其特征在于，所述根据所述参考位置数据集和所述预测位置数据集，确定目标标定数据集，包括：

基于预设目标函数、所述参考位置数据集和所述预测位置数据集，确定所述靶标集合对应的损失值；

对所述第一坐标系变换数据集和所述第二坐标系变换数据集进行更新处理，重复步骤：当所述云台中的至少一个自由度变化时，获取所述云台对应的第三坐标系变换数据集，以及所述相机拍摄所述靶标集合得到的图像集；

确定所述靶标集合在靶标坐标系集中对应的靶标位置数据集，以及所述靶标集合在所述图像集中的参考位置数据集；

根据更新后的所述第一坐标系变换数据集、所述第二坐标系变换数据集以及所述第三坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集；

基于预设目标函数、所述参考位置数据集和所述预测位置数据集，确定所述靶标集合对应的损失值，得到损失值集合；

将所述损失值集合中最小值对应的第一坐标系变换数据集和第二坐标系变换数据集确定为所述目标标定数据集。

7.根据权利要求6所述的方法，其特征在于，所述基于预设目标函数、所述参考位置数据集和所述预测位置数据集，确定所述靶标集合对应的损失值，包括：

根据所述靶标集合中每个靶标对应的参考位置数据和预测位置数据，确定所述每个靶标对应的误差数据；

根据所述每个标靶对应的误差数据，确定所述靶标集合对应损失值。

8.一种视觉系统的云台标定装置，其特征在于，所述视觉系统包括具有多个自由度的云台、设置在所述云台上的相机和设置在所述云台外且相对于所述云台静止的靶标集合；

所述装置包括：

第一获取模块，用于当所述云台处于标定位置时，获取所述相机与所述云台对应的第一坐标系变换数据集，以及所述靶标集合与所述相机对应的第二坐标系变换数据集；

第二获取模块，用于当所述云台中的至少一个自由度变化时，获取所述云台对应的第三坐标系变换数据集，以及所述相机拍摄所述靶标集合得到的图像集；

第一确定模块，用于确定所述靶标集合在靶标坐标系集中对应的靶标位置数据集，以及所述靶标集合在所述图像集中的参考位置数据集；

第二确定模块，用于根据所述第一坐标系变换数据集、所述第二坐标系变换数据集、所述第三坐标系变换数据集和所述靶标位置数据集，确定所述靶标集合在所述图像集中的预测位置数据集；

第三确定模块，用于根据所述参考位置数据集和所述预测位置数据集，确定目标标定数据集。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1-7任意一项所述的视觉系统的云台标定方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任意一项所述的视觉系统的云台标定方法。

Images