CN102354400A

CN102354400A - 刚体运动和结构参数测量的多点约束单目轨迹交会方法

Info

Publication number: CN102354400A
Application number: CN2011101971485A
Authority: CN
Inventors: 尚洋; 刘肖琳; 孙晓亮; 于起峰; 周剑
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2011-07-14
Filing date: 2011-07-14
Publication date: 2012-02-15

Abstract

本发明公开了一种刚体运动和结构参数测量的多点约束单目轨迹交会方法，其步骤为：基于单台运动摄像机对运动刚体目标序列成像，在刚体目标上各特征点间相对位置关系不变的约束条件下，将像机观察目标上多个特征点的系列视线与各特征点的参数化运动轨迹进行交会和优化求解，测量得到该刚体目标的运动参数和结构参数，包括结构参数已知的合作目标各个特征点的三维运动轨迹、速度、加速度，以及结构参数未知的非合作目标各个特征点的三维运动轨迹、速度、加速度和各个特征点之间的相对距离。本发明具有原理简单、可靠性好、适用范围广、测量精度高等优点。

Description

刚体运动和结构参数测量的多点约束单目轨迹交会方法

技术领域

本发明主要涉及到摄影测量、计算机视觉中合作和非合作目标运动参数测量、非合作目标三维结构重建等技术领域，特指一种基于单台运动摄像机对运动刚体目标序列成像，测量解算该刚体目标的运动参数和结构参数的方法。

背景技术

基于成像分析测量目标的运动参数和结构参数是计算机视觉领域的基本问题。对于不发生变形的刚体目标，根据图像分析测量中提取的目标表面各特征之间的关系是否为已知，可将待测目标分为合作目标和非合作目标两种：表面各特征之间的相互关系已知的为合作目标，否则为非合作目标。对于合作目标，待分析测量的包括目标位置、姿态等运动参数；对于非合作目标，待分析测量的既包括目标位置、姿态等运动参数，还包括目标表面各特征间相对位置关系等结构参数。

合作目标位置参数、非合作目标位置和结构参数的成像测量方法有很多种。根据构成测量系统的摄像机台数，可分为仅用一台摄像机的单目测量方法和采用多台摄像机的多目测量方法。

多目测量方法各摄像机间的安装关系经过精确标定，可以根据三角交会测量原理，在图像上提取目标表面特征后，解算各时刻合作目标的位置姿态参数以及非合作目标的位置姿态和结构参数，并可结合时间序列图像的拍摄时间信息，进一步分析计算目标速度、加速度等运动参数。

单目测量方法对于合作目标，在图像上提取目标表面特征后，可以解算目标各时刻的位置姿态参数，并可结合时间序列图像的拍摄时间信息，进一步分析计算目标速度、加速度等运动参数。单目测量方法对于非合作目标，在图像上提取目标表面特征后，基于对目标序列图像的分析，可以重建目标的结构参数和解算目标各时刻的位置姿态参数，并可结合时间序列图像的拍摄时间信息，进一步分析计算目标速度、加速度等运动参数。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、可靠性好、适用范围广、测量精度高的刚体运动和结构参数测量的多点约束单目轨迹交会方法。

为解决上述技术问题，本发明采用以下技术方案：

一种刚体运动和结构参数测量的多点约束单目轨迹交会方法，具体步骤为：

(1)单台摄像机在运动过程中拍摄运动刚体目标的序列图像，并在各个图像上提取目标表面若干特征点；

(2)根据已知的摄像机参数和上述序列图像中目标各特征点的提取结果，得到描述目标各特征点运动轨迹时间多项式各系数的初值；

(3)得到目标各特征点运动轨迹方程；

(4)计算目标运动参数：将图像拍摄时刻代入目标各特征点运动轨迹方程，得到该时刻目标各特征点的空间位置；将目标各特征点运动轨迹方程在该时刻对时间求一次导数，得到该时刻目标各特征点的速度；将目标各特征点运动轨迹方程在该时刻对时间求二次导数，得到该时刻目标各特征点的加速度；各时刻目标各特征点位置、速度、加速度即为测量得到的刚体目标的运动参数；对于非合作目标，取任意时刻目标各特征点空间位置坐标结果代入目标特征点间距计算式，得到目标特征点两两之间相对距离，目标各特征点间相对距离即为测量得到的非合作目标的结构参数。

作为本发明的进一步改进：

所述步骤(2)的流程为：根据已知的摄像机参数和上述序列图像中目标各特征点的提取结果，计算各个时刻对目标各特征点观察视线方程；将各个时刻对目标各特征点观察视线方程代入描述目标各特征点运动轨迹的时间多项式，并整理得到关于描述目标各特征点运动轨迹时间多项式各系数的线性方程组；求解该线性方程组，得到描述目标各特征点运动轨迹时间多项式各系数的初值。

所述步骤(3)的流程为：

(3.1)对于合作目标，列出各时刻目标特征点空间坐标与特征点两两间距关系式，作为约束方程；将步骤(2)中得到的关于描述目标各特征点运动轨迹时间多项式各系数的线性方程组作为观测方程；对描述目标各特征点运动轨迹时间多项式的各个系数进行优化求解，得到目标各特征点运动轨迹方程；

(3.2)对于非合作目标，列出目标两两特征点之间间距在各时刻保持不变的关系式，作为约束方程；将步骤(2)中得到的关于描述目标各特征点运动轨迹时间多项式各系数的线性方程组作为观测方程；对描述目标各特征点运动轨迹时间多项式的各个系数进行优化求解，得到目标各特征点运动轨迹方程。

与现有技术相比，本发明的优点在于：本发明方法实现了基于运动平台单像机对刚体目标运动参数和结构参数的测量，可应用于基于各种车载、机载、舰载、星载成像观测平台对各种合作目标运动参数的测量，和对非合作目标运动参数和结构参数的测量。相对于传统从单目序列图像测量目标运动参数并重建非合作目标三维结构的方法，本方法由于采用观察视线与目标运动轨迹交会，增加了对目标运动形式的约束，对于可用时间的多项式形式描述目标特征点运动轨迹的连续运动刚体目标，利于得到更加可靠和精确的测量结果；本方法对非合作目标结构参数测量计算复杂程度较低，并且只需提取两个以上目标特征点，而传统的单目序列图像重建非合作目标三维结构需要提取目标上至少6个或7个特征点。

附图说明

图1是本发明的流程示意图；

图2是本发明应用实例的示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的刚体运动和结构参数测量的多点约束单目轨迹交会方法的具体步骤为：

(1)单台摄像机在运动过程中拍摄运动刚体目标的序列图像，并在各个图像上提取目标表面若干特征点。其中，目标特征点的提取可根据特征点类型采用多种提取方法：例如矩方法、模板相关法、多种角点提取算子等等。

(2)根据已知的摄像机参数和上述序列图像中目标各特征点的提取结果，计算各个时刻对目标各特征点观察视线方程；将各个时刻对目标各特征点观察视线方程代入描述目标各特征点运动轨迹的时间多项式，并整理得到关于描述目标各特征点运动轨迹时间多项式各系数的线性方程组；求解该线性方程组，得到描述目标各特征点运动轨迹时间多项式各系数的初值。

(3.1)对于合作目标，列出各时刻目标特征点空间坐标与特征点两两间距关系式，作为约束方程；将步骤(2)中得到的关于描述目标各特征点运动轨迹时间多项式各系数的线性方程组作为观测方程；对描述目标各特征点运动轨迹时间多项式的各个系数用光束法平差等方法进行优化求解，得到其精确值，即得到目标各特征点运动轨迹方程。

(3.2)对于非合作目标，列出目标两两特征点之间间距在各时刻保持不变的关系式，作为约束方程；将步骤(2)中得到的关于描述目标各特征点运动轨迹时间多项式各系数的线性方程组作为观测方程；对描述目标各特征点运动轨迹时间多项式的各个系数用光束法平差等方法进行优化求解，得到其精确值，即得到目标各特征点运动轨迹方程。

(4)计算目标运动参数：将图像拍摄时刻代入目标各特征点运动轨迹方程，得到该时刻目标各特征点的空间位置；将目标各特征点运动轨迹方程在该时刻对时间求一次导数，得到该时刻目标各特征点的速度；将目标各特征点运动轨迹方程在该时刻对时间求二次导数，得到该时刻目标各特征点的加速度。各时刻目标各特征点位置、速度、加速度即为测量得到的刚体目标的运动参数。对于非合作目标，取任意时刻目标各特征点空间位置坐标结果代入目标特征点间距计算式，得到目标特征点两两之间相对距离。目标各特征点间相对距离即为测量得到的非合作目标的结构参数。

参见图2，以一个具体应用实例为例，对本发明的处理过程做进一步详细描述。

图2中，对应摄像机拍摄目标图像的m个时刻中第k个时刻t_k(k＝1，2，…，m)，摄像机位置为C_k；刚体目标表面可观测n个特征点中第i个特征点为P_i(i＝1，2，…，n)，其中第i个特征点与第j个特征点之间间距为d_i，j(i，j＝1，2，…，n；i≠j)；t_k时刻目标特征点P_i所处的空间位置为P_i，k(i＝1，2，…，n)，摄像机观察目标特征点P_i的视线为l_i，k。本发明中，摄像机位置C_k为已知；在图像上提取目标特征点P_i，k的像点后，结合已知的摄像机内外参数可确定视线l_i，k，可根据目标特征点类型采用矩方法、模板相关法、多种角点提取算子等进行目标特征点像点的提取，并根据透视成像模型计算视线方程，该过程是摄影测量、计算机视觉领域的成熟技术，不作为本发明内容，本发明中l_i，k为已知；由于目标为刚体，目标特征点两两之间间距d_i，j不随时间发生变化；对于合作目标，d_i，j为已知；对于非合作目标，d_i，j为未知。

对于合作目标，本发明的多点约束单目轨迹交会方法是要在已知C_k、l_i，k、d_i，j的条件下，测量解算作为目标运动参数的各时刻目标上各特征点的位置P_i，k以及速度v_i，k、加速度a_i，k；对于非合作目标，本发明的多点约束单目轨迹交会方法是要在已知C_k、l_i，k的条件下，测量解算作为目标运动参数的各时刻目标上各特征点的位置P_i，k、速度v_i，k、加速度a_i，k，以及作为目标结构参数的目标特征点两两之间间距d_i，j。

根据目标一般做连续运动的特性，在较短的时间段内，可将目标上各个特征点的运动轨迹用时间的多项式描述，即t_k(k＝1，2，…，m)时刻目标特征点P_i处的空间位置P_i，k的X、Y、Z坐标分量分别为：

(\begin{matrix} X_{Pi, k} = Σ_{q_{X} = 0}^{w_{i, X}} u_{i, q_{X}} t_{k}^{q_{X}} & Y_{Pi, k} = Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{k}^{q_{Y}} & Z_{Pi, k} = Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{k}^{q_{Z}} \end{matrix}) - - - (1)

其中，w_i，X、w_i，Y、w_i，Z分别为X、Y、Z分量时间多项式形式运动轨迹的阶次，可根据目标运动复杂程度进行取值；u_i，qX、u_i，qY、u_i，qZ分别为X、Y、Z分量运动轨迹时间多项式形式的系数，是本发明多点约束单目轨迹交会方法的待求解参数。

t_k时刻摄像机位置C_k的坐标为(X_Ck，Y_Ck，Z_Ck)，观察目标特征点P_i的视线l_i，k的方向矢量为[l_Xi，k，l_Yi，k，l_Zi，k]^T，因而视线l_i，k的方程为：

(X-X_Ck)/l_Xi，k＝(Y-Y_Ck)/l_Yi，k＝(Z-Z_Ck)/l_Zi，k (2)

目标各特征点的位置在对应的观察视线上，即：

(X_Pi，k-X_Ck)/l_Xi，k＝(Y_Pi，k-Y_Ck)/l_Yi，k＝(Z_Pi，k-Z_Ck)/l_Zi，k (3)

将(1)式代入(3)式，得：

(Σ_{q_{X} = 0}^{W_{i, X}} u_{i, q_{X}} t_{k}^{q_{X}} - X_{Ck}) / l_{Xi, k} = (Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{k}^{q_{Y}} - Y_{Ck}) / l_{Yi, k} = (Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{k}^{q_{Z}} - Z_{Ck}) / l_{Zik} - - - (4)

这就是观察视线与目标各特征点运动轨迹进行交会的关系式，可将其化为关于目标各特征点运动轨迹时间多项式各系数u_i，qX、u_i，qY、u_i，qZ(i＝1，2，…，n；q_X＝0，1，…，w_i，X；q_Y＝0，1，…，w_i，Y；q_Z＝0，1，…，w_i，Z)的线性方程组：

\{\begin{matrix} Σ_{q_{X} = 0}^{w_{i, X}} l_{Zi, k} t_{k}^{q_{X}} u_{i, q_{X}} - Σ_{q_{Z} = 0}^{w_{i, Z}} l_{Xi, k} t_{k}^{q_{Z}} u_{i, q_{Z}} = l_{Zi, k} X_{Ck} - l_{Xi, k} Z_{Ck} \\ Σ_{q_{X} = 0}^{w_{i, X}} l_{Zi, k} t_{k}^{q_{X}} u_{i, q_{X}} - Σ_{q_{Z} = 0}^{w_{i, Z}} l_{Xi, k} t_{k}^{q_{Z}} u_{i, q_{Z}} = l_{Zi, k} X_{Ck} - l_{Xi, k} Z_{Ck} \end{matrix} - - - (5)

将各个时刻的式(5)联立，组成线性方程组，即可求解描述目标各特征点运动轨迹的时间多项式各系数，即得到用时间多项式描述的目标各特征点运动轨迹。本发明中将该结果作为求解目标各特征点运动轨迹的初值。

刚体目标特征点两两之间间距不随时间发生变化，因而对各个时刻t_k(k＝1，2，…，m)，目标特征点P_i、P_j(i，j＝1，2，…，n；i≠j)之间的间距值都为d_i，j，即：

(X_Pi，k-X_Pj，k)²+(Y_Pi，k-Y_Pj，k)²+(Z_Pi，k-Z_Pj，k)²＝d_i，j ² (6)

将(1)式代入(6)式得：

{(Σ_{q_{X} = 0}^{w_{i, X}} u_{i, q_{X}} t_{k}^{q_{X}} - Σ_{q_{X} = 0}^{w_{j, X}} u_{j, q_{X}} t_{k}^{q_{X}})}^{2} +

{(Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{k}^{q_{Y}} - Σ_{q_{Y} = 0}^{w_{j, Y}} u_{j, q_{Y}} t_{k}^{q_{Y}})}^{2} + - - - (7)

{(Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{k}^{q_{Z}} - Σ_{q_{Z} = 0}^{w_{j, Z}} u_{j, q_{Z}} t_{k}^{q_{Z}})}^{2} = {d_{i, j}}^{2}

对于合作目标，d_i，j为已知。将u_i，qX、u_i，qY、u_i，qZ(i＝1，2，…，n；q_X＝0，1，…，w_i，X；q_Y＝0，1，…，w_i，Y；q_Z＝0，1，…，w_i，Z)作为平差参数，将式(5)作为观测方程，将式(7)作为约束条件方程，采用光束法平差优化求解描述目标各特征点运动轨迹的时间多项式各系数u_i，qX、u_i，qY、u_i，qZ(i＝1，2，…，n；q_X＝0，1，…，w_i，X；q_Y＝0，1，…，w_i，Y；q_Z＝0，1，…，w_i，Z)的精确解。也可以采用其他优化算法进行优化求解。

对于非合作目标，d_i，j为未知。将各个时刻两两特征点间的式(7)联立，得到：

{(Σ_{q_{X} = 0}^{w_{i, X}} u_{i, q_{X}} t_{1}^{q_{X}} - Σ_{q_{X} = 0}^{w_{j, X}} u_{j, q_{X}} t_{1}^{q_{X}})}^{2} + {(Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{1}^{q_{Y}} - Σ_{q_{Y} = 0}^{w_{j, Y}} u_{j, q_{Y}} t_{1}^{q_{Y}})}^{2} +

{(Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{1}^{q_{Z}} - Σ_{q_{Z} = 0}^{w_{j, Z}} u_{j, q_{Z}} t_{1}^{q_{Z}})}^{2} =

{(Σ_{q_{X} = 0}^{w_{i, X}} u_{i, q_{X}} t_{2}^{q_{X}} - Σ_{q_{X} = 0}^{w_{j, X}} u_{j, q_{X}} t_{2}^{q_{X}})}^{2} + {(Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{2}^{q_{Y}} - Σ_{q_{Y} = 0}^{w_{j, Y}} u_{j, q_{Y}} t_{2}^{q_{Y}})}^{2} +

{(Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{2}^{q_{Z}} - Σ_{q_{Z} = 0}^{w_{k, Z}} u_{j, q_{Z}} t_{2}^{q_{Z}})}^{2} = \cdot \cdot \cdot \cdot \cdot \cdot =

{(Σ_{q_{X} = 0}^{w_{i, X}} u_{i, q_{X}} t_{m}^{q_{X}} - Σ_{q_{X} = 0}^{w_{j, X}} u_{j, q_{X}} t_{m}^{q_{X}})}^{2} + {(Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{m}^{q_{Y}} - Σ_{q_{Y} = 0}^{w_{j, Y}} u_{j, q_{Y}} t_{m}^{q_{Y}})}^{2} + - - - (8)

{(Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{m}^{q_{Z}} - Σ_{q_{Z} = 0}^{w_{j, Z}} u_{j, q_{Z}} t_{m}^{q_{Z}})}^{2} = {d_{i, j}}^{2}

i, j = 1,2, \cdot \cdot \cdot, n; i &NotEqual; j

消去d_i，j，得到关于u_i，qX、u_i，qY、u_i，qZ(i＝1，2，…，n；q_X＝0，1，…，w_i，X；q_Y＝0，1，…，w_i，Y；q_Z＝0，1，…，w_i，Z)的方程组：

{(Σ_{q_{X} = 0}^{w_{i, X}} u_{i, q_{X}} t_{1}^{q_{X}} - Σ_{q_{X} = 0}^{w_{j, X}} u_{j, q_{X}} t_{1}^{q_{X}})}^{2} + {(Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{1}^{q_{Y}} - Σ_{q_{Y} = 0}^{w_{j, Y}} u_{j, q_{Y}} t_{1}^{q_{Y}})}^{2} +

{(Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{1}^{q_{Z}} - \overset{w_{j, Z}}{\underset{q_{Z} = 0}{Σ}} u_{j, q_{Z}} t_{1}^{q_{Z}})}^{2} = {(Σ_{q_{X} = 0}^{w_{i, X}} u_{i, q_{X}} t_{k}^{q_{X}} - Σ_{q_{X} = 0}^{w_{j, X}} u_{j, q_{X}} t_{k}^{q_{X}})}^{2} + - - - (9)

{(Σ_{q_{Y} = 0}^{w_{i, Y}} u_{i, q_{Y}} t_{k}^{q_{Y}} - Σ_{q_{Y} = 0}^{w_{j, Y}} u_{j, q_{Y}} t_{k}^{q_{Y}})}^{2} + {(Σ_{q_{Z} = 0}^{w_{i, Z}} u_{i, q_{Z}} t_{k}^{q_{Z}} - Σ_{q_{Z} = 0}^{w_{j, Z}} u_{j, q_{Z}} t_{k}^{q_{Z}})}^{2}

k = 2,3, \cdot \cdot \cdot, m; i = 1,2, \cdot \cdot \cdot, n

将u_i，qX、u_i，qY、u_i，qZ(i＝1，2，…，n；q_X＝0，1，…，w_i，X；q_Y＝0，1，…，w_i，Y；q_Z＝0，1，…，w_i，Z)作为平差参数，将式(5)作为观测方程，将式(9)作为约束条件方程，采用光束法平差优化求解描述目标各特征点运动轨迹的时间多项式各系数u_i，qX、u_i，qY、u_i，qZ(i＝1，2，…，n；q_X＝0，1，…，w_i，X；q_Y＝0，1，…，w_i，Y；q_Z＝0，1，…，w_i，Z)的精确解。也可以采用其他优化算法进行优化求解。光束法平差等优化算法是摄影测量、计算机视觉、数学规划等领域中的成熟方法，不作为本发明内容。

上述得到描述目标各特征点运动轨迹的时间多项式系数即得到了目标各特征点运动轨迹方程式(1)。将时刻t_k(k＝1，2，…，m)代入式(1)，即得到该时刻目标各特征点的空间位置；将式(1)在时刻t_k对时间求一次导数，即得到该时刻目标各特征点的速度v_i，k(k＝1，2，…，m；i＝1，2，…，n)；将式(2)在时刻t_k(k＝1，2，…，m)对时间求二次导数，即得到该时刻目标各特征点的加速度a_i，k(i＝1，2，…，n；k＝1，2，…，m)。

对于非合作目标，取任意时刻t_k0目标各特征点空间位置坐标结果计算目标特征点两两之间间距d_i，j(i，j＝1，2，…，n；i≠j)：

(X_Pi，k0-X_Pj，k0)²+(Y_Pi，k0-Y_Pj，k0)²+(Z_Pi，k0-Z_Pj，k0)²＝d_i，j ² (10)

至此即测量得到了刚体目标的运动参数(目标各特征点位置、速度、加速度)，并得到了非合作目标的结构参数(目标各特征点间相对距离)。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims

1.一种刚体运动和结构参数测量的多点约束单目轨迹交会方法，其特征在于，具体步骤为：

(3)得到目标各特征点运动轨迹方程；

2.根据权利要求1所述的刚体运动和结构参数测量的多点约束单目轨迹交会方法，其特征在于，所述步骤(2)的流程为：根据已知的摄像机参数和上述序列图像中目标各特征点的提取结果，计算各个时刻对目标各特征点观察视线方程；将各个时刻对目标各特征点观察视线方程代入描述目标各特征点运动轨迹的时间多项式，并整理得到关于描述目标各特征点运动轨迹时间多项式各系数的线性方程组；求解该线性方程组，得到描述目标各特征点运动轨迹时间多项式各系数的初值。

3.根据权利要求2所述的刚体运动和结构参数测量的多点约束单目轨迹交会方法，其特征在于，所述步骤(3)的流程为：