CN1271574C - 基于标记点的人肢体三维建模方法 - Google Patents

Abstract

一种基于标记点的人肢体三维建模方法，首先采用双目立体视觉系统拍摄人肢体摆姿势的图像序列并从中提取、匹配标记点，确定各个时刻左、右图像标记点对应的空间三维坐标，据此求出各个时刻各段肢体骨架的空间三维位置信息，把各段肢体上标记点的三维坐标值带入所属的旋转圆锥曲面方程组求出变形参数，最后使用圆球体和旋转圆锥曲面绘制人肢体模型。本发明方法简单、实现容易，建立的人肢体三维模型分为骨架层和皮肤层，骨架层代表人肢体的骨架结构，由关节点和连接这些关节点的线段组成，皮肤层用旋转圆锥曲面表示，每段肢体只需调整一个变形参数就能反映出人肢体皮肤变形，解决了人体三维模型代表皮肤变形参数过多的问题。

Description

基于标记点的人肢体三维建模方法

技术领域

本发明涉及一种基于标记点的人肢体三维建模方法，用于感知接口，运动分析和虚拟现实等应用领域，在医学图像、生物医学、手势识别、视频会议、视频游戏、自动新闻播放、电影制作、材料变形、图象压缩等方面都有实际应用价值。属于计算机视觉和计算机图形学领域。

背景技术

运动分析领域的研究对象主要分为刚性物体、连接刚体和非刚性物体等。计算机视觉中的运动分析研究均主要集中在对刚体运动的研究，且学者们已取得了一系列的成果，并建立了较为完善的理论框架，但是，在现实世界中大多是非刚体运动。人体属于非刚体。

在过去的十几年中，可变形的人体建模已经取得了一些成绩。Nahas等使用了B样条曲面表示人身体和脸部的柔软的运动。Petland等介绍了一种基于有限元的方法模型。Terzopoulos等介绍了表达成一个超椭球形式的全局形状参数和样条形式的局部自由度相结合的可变形的超二次曲面的模型。Min等使用三种基本软体来对各种形状的人体上肢和肩部肌肉建模，一个点基元产生一个椭圆体，一组连接的线段产生一个圆柱体，一个三角网格产生一个复杂的形状。Sminchisescu等提出了一种人体模形，它由运动骨架和肌肉构成，连接的节点构成的骨架由节点的角度参数控制，并覆盖了包含辅助锥化和弯曲参数的超二次椭圆面构成的肌肉。模型包含30个节点参数和8个内部比例参数，并且每个肢体又包含9个变形参数。Plankers等把一种称为元球或软体的隐式曲面附在人体的连接骨架上并按照解剖学的近似程度来排列这些元球。这个人体模型共使用了230个元球，并使用B样条曲面片进行蒙皮。还可以用blobby分子、软体、卷积曲面等各种隐式曲面进行人体建模。但这些方法都采用较为复杂的非刚体运动模型，控制参数较多，不能很好的满足轮廓表示的评价标准：即表示的简洁性和适合于后处理阶段的计算。所以这些模型在表示人体轮廓方面缺乏实用性。

发明内容

本发明的目的在于针对现有人体三维模型代表皮肤变形的参数过多的不足，提出一种基于标记点的人肢体三维建模方法，简单而实现容易，建立的模型使用非常少的参数就可以代表人肢体皮肤的变形，降低运动分析的计算量，适合于各种弹性连接刚体的建模。

为实现这样的目的，本发明建立的人肢体三维模型分为两层：骨架层和皮肤层。骨架层代表了人肢体的骨架结构，由关节点和连接这些关节点的线段组成。皮肤层用一种新的旋转圆锥曲面表示，每段肢体只需调整一个变形参数就能反映出皮肤的变形。首先使用双目立体视觉系统拍摄人肢体摆姿势的图像序列，从双目图像序列中提取、匹配标记点，通过双目立体视觉方法确定图像标记点的空间三维坐标，再根据标记点三维坐标和先验知识求出骨架的空间三维位置信息。把各段肢体上标记点的三维坐标值代入所属的旋转圆锥曲面方程组求出各段肢体的变形参数。最后使用圆球体和旋转圆锥曲面绘制人肢体模型。

本发明的建模方法主要包括以下几个步骤：

1.从图像中提取、匹配标记点，求出标记点对应的空间三维坐标。

分别在人肢体的上、下两段上各设置三个标记点，采用双目立体视觉系统拍摄得到人肢体摆姿势的图像序列，提取各个时刻左、右图像中这些标记点的图像平面二维坐标，并得出左侧摄像机图像与右侧摄像机图像上标记点之间的对应关系。通过摄像机标定技术求出左、右摄像机图像上平面二维坐标与世界坐标系空间三维坐标的对应关系，由得到的各个时刻左、右图像上标记点二维坐标求出对应的空间三维坐标。

因每段肢体只需要3个特征点就能求出其变形参数，本发明方法在每个人肢体皮肤上贴了六个纸标记点，其中三个在肢体上段、三个在肢体下段。

2.提取人肢体骨架位置信息。

根据各段肢体三个标记点中两端的两个标记点A、B的三维坐标和事先测量得到的标记点A、B处肢体半径，求出各个时刻骨架端点的空间三维坐标，由此获得骨架的空间三维位置信息；

3.求出变形参数

在肢体的两个标记点A、B形成的直线上方设定空间一点C，经过三点A、B、C的平面外设定一点D，四点A、B、C、D形成三个平面ACD、BCD、ABD，根据这三个平面确定经过点A、B且与直线AC、BC相切的圆锥曲面方程，此圆锥曲面与经过A、B、C三点的平面的交线形成圆锥曲线，把圆锥曲线绕骨架直线旋转形成旋转圆锥曲面，建立旋转圆锥曲面方程组，把得到的各段肢体上标记点的空间三维坐标值代入所属的旋转圆锥曲面方程组求解，得到各个时刻各段肢体的旋转圆锥曲面的变形参数ρ。

4.模型绘制

本发明使用OpenGL程序采用平行投影方法绘制三维人肢体模型，使用三个圆球体代表肢体的三个关节点，采用求得的两个旋转圆锥曲面方程绘制出的曲面来代表上、下两段肢体皮肤，连接这三个圆球体和两个曲面构成人肢体模型。

本发明方法简单，实现容易。建立的模型使用非常少的参数就可以代表人肢体皮肤的变形，每段肢体只需一个变形参数，具有高层次描述和预测遮挡的能力。本发明方法适合于许多弹性连接刚体的模型建立。实验采用便宜、容易安装的视频摄像头来采集数据，不需要附加设备，代表皮肤变形的旋转圆锥曲面方程组和求解算法简单，大大降低了运动分析的计算复杂性。

附图说明

图1为本发明采用的圆锥曲线。

图1中，A，B，C为三个顶点，通过这三个顶点坐标确定圆锥曲线方程。

图2为人肢体的骨架结构。

图2中，j1、j2、j3是关节点，一个手臂有上下两段肢体，大臂和小臂。

图3为本发明的旋转圆锥曲面结构示意图。

图3中，L是代表人肢体骨架的线段，S是圆锥曲线，S绕L旋转一周形成旋转圆锥曲面。P₀是线段L上的一点，e是线段L的方向向量，P是旋转圆锥曲面上任意一点，过P点做与线段L垂直的平面，此平面与圆锥曲线S的交点为P_s，此平面与线段L的交点为O，A、B是圆锥曲线S的两个端点，A_L、B_L是线段L的两个端点。

图4为本发明基于图像标记点建模的实验结果。

图4中，第一行是左侧摄像机拍摄的图像序列，第二行是对应于第一行图像的反映人肢体运动和皮肤变形的三维模型表达。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步的详细描述。实施例具体针对附图4左侧第一幅图像(第一时刻左侧摄像机拍摄)进行人肢体建模过程的描述。

1.从图像中提取、匹配标记点并求出标记点对应的空间三维坐标。如图4左侧第一幅图像，因每段肢体只需要3个特征点就能求出其变形参数，在人体的手臂皮肤上贴了六个纸标记点，其中三个标记点在手臂大臂、三个在手臂小臂。使用双目立体视觉系统拍摄人肢体摆姿势的图像序列。提取手臂大臂标记点A、B、P的图像平面二维像素坐标，左侧摄像机图像上标记点的像素坐标分别为A₁(365，266)，B₁(519，190)，P₁(444，218)；右侧摄像机图像上标记点的像素坐标分别为A₂(552，289)，B₂(700，209)，P₂(627，241)。通过摄像机标定技术求出左右图像像素坐标与世界坐标系空间三维坐标的关系：

$Z_{C1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}997.9595& 0& 372.7276& 0\\ 0& 994.4506& 301.4770& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$

$Z_{C2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}990.5091& 0& 361.3816& 0\\ 0& 986.1246& 310.2779& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}0.9097& -0.0053& 0.4150& -190.4981\\ 0.0005& 0.9999& 0.0117& 1.9943\\ -0.4150& -0.0104& 0.9097& 41.1533\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cc}x& \\ y& \\ z& \\ 1& \end{array}\right]$

其中(u₁，v₁)为左侧摄像机图像上二维像素坐标，(u₂，v₂)为右侧摄像机图像上二维像素坐标，(x，y，z)为空间三维坐标。

把标记点A、B、P在左、右图像的像素坐标带入上述方程求出这些标记点对应的空间三维坐标A(-6.5983，30.516，-853.52)，B(115.99，86.684，-791.21)，P(58.9288，67.4501，-824.7681)。

2.提取人肢体骨架位置信息。人肢体骨架模型包含关节点j1、j2、j3和连接这些关节点的线段(上段肢体、下段肢体)，如图2所示。因为图4中所示手臂大臂三个标记点中两端的标记点A、B处肢体半径几乎不改变，由事先测量得出标记点A处肢体半径是40，标记点B处肢体半径是49，由标记点A、B的坐标和标记点A、B处肢体半径可求出骨架端点的空间三维坐标A_L(x_LA，y_LA，z_LA)＝(6.3824，-6.0572，-847.1456)、B_L(x_LB，y_LB，z_LB)＝(132.3959，41.6061，-782.6021)。就可得骨架的空间三维位置信息。骨架的方向向量是e(m，n，p)，其中m＝x_LB-x_LA＝126.0135，n＝y_LB-y_LA＝47.6633，p＝z_LB-z_LA＝64.5435。

3.求出变形参数。在肢体两端的标记点A、B形成的直线上方设定空间一点C(-6.5983，30.516，-853.52)，如图1所示。经过三点A、B、C的平面方程为：f_ABC(x，y，z)＝-0.5937·x-0.0087·y+1.1759·z+1000＝0。在平面f_ABC(x，y，z)外设定一点D(10，10，10)，四点A、B、C、D形成三个平面ACD、BCD、ABD，这三个平面的方程分别为：

平面ACD：a₀+a₁·x+a₂·y+a₃·z＝1000-0.2333·x-91.024·y-8.7428·z＝0

平面BCD：b₀+b₁·x+b₂·y+b₃·z＝1000-9365.3·x+8874.4·y+390.9·z＝0

平面ABD：u₀+u₁·x+u₂·y+u₃·z＝1000+85.1095·x-179.2157·y-5.8939·z＝0

根据这三个平面确定经过点A、B且与直线AC、BC相切的圆锥曲面方程是：(a₀+a₁·x+a₂·y+a₃·z)(b₀+b₁·x+b₂·y+b₃·z)-ρ(u₀+u₁·x+u₂·y+u₃·z)＝(1000-0.2333·x-91.024·y-8.7428·z)·(1000-9365.3·x+8874.4·y+390.9·z)-ρ(1000+85.1095·x-179.2157·y-5.8939·z)＝0

建立旋转圆锥曲面方程组：

$\left\{\begin{array}{c}m(x-x_S)+n(y-y_S)+p(z-z_S)=0\\ {(x-x_L)}^2+{(y-y_L)}^2+{(z-z_L)}^2={(x_S-x_L)}^2+{(y_S-y_L)}^2+{(z_S-z_L)}^2\\ (a_0+a_1{x}_S+a_2{y}_S+a_3{z}_S)(b_0+b_1{x}_S+b_2{y}_S+b_3{z}_S)={\mathrm{\ρ}(u_0+u_1{x}_S+u_2{y}_S+u_3{z}_S)}^2\\ f_{\mathrm{ABC}}(x_S,y_S,z_S)=0\end{array}\right.$

其中

$\left\{\begin{array}{c}{x}_L=x_{\mathrm{LA}}+m\·(-\frac{m(x_{\mathrm{LA}}-x_S)+n(y_{\mathrm{LA}}-y_S)+p(z_{\mathrm{LA}}-z_S)}{m^2+n^2+p^2})\\ y_L=y_{\mathrm{LA}}+n\·(-\frac{m(x_{\mathrm{LA}}-x_S)+n(y_{\mathrm{LA}}-y_S)+p(z_{\mathrm{LA}}-z_S)}{m^2+n^2+p^2})\\ z_L=z_{\mathrm{LA}}+p\·(-\frac{m(x_{\mathrm{LA}}-x_S)+n(y_{\mathrm{LA}}-y_S)+p(z_{\mathrm{LA}}-z_S)}{m^2+n^2+p^2})\end{array}\right.$

把前面求得的A_L(x_LA，y_LA，z_LA)，e(m，n，p)，(a₀，a₁，a₂，a₃，b₀，b₁，b₂，b₃，u₀，u₁，u₂，u₃)，f_ABC(x，y，z)的值代入上述非线性方程组，把P(x_P，y_P，z_P)值代入上述方程组中的(x，y，z)，采用非线性最小二乘法求出未知参数P_s(x_S，y_S，z_S)和ρ＝-412.2517，ρ是此时刻手臂大臂旋转圆锥曲面的变形参数。

采用同样的方法可求得代表手臂小臂皮肤的旋转圆锥曲面方程。

4.模型绘制。如图4第2行，使用OpenGL程序采用平行投影方法绘制得到的三维右臂模型，使用三个半径分别为50、40、30的圆球体代表j1、j2、j3三个关节点，采用代表手臂大臂、小臂皮肤的旋转圆锥曲面方程绘制出曲面，连接这三个关节点和两个曲面构成人肢体模型。

Claims (1)

1、一种基于标记点的人肢体三维建模方法，其特征在于包括如下具体步骤：

1)分别在人肢体的上、下两段上各设置三个标记点，采用双目立体视觉系统拍摄得到人肢体摆姿势的图像序列，提取各个时刻左、右图像中这些标记点的图像平面二维坐标，并得出左侧摄像机图像与右侧摄像机图像上标记点之间的对应关系，通过摄像机标定技术求出左、右摄像机图像上平面二维坐标与世界坐标系空间三维坐标的对应关系，由得到的各个时刻左、右图像上标记点二维坐标求出对应的空间三维坐标；

2)根据各段肢体三个标记点中两端的两个标记点A、B的三维坐标和事先测量得到的标记点A、B处肢体半径，求出各个时刻骨架端点的空间三维坐标，由此获得骨架的空间三维位置信息；

3)在肢体的两个标记点A、B形成的直线上方设定空间一点C，经过三点A、B、C的平面外设定一点D，四点A、B、C、D形成三个平面ACD、BCD、ABD，根据这三个平面确定经过点A、B且与直线AC、BC相切的圆锥曲面方程，此圆锥曲面与经过A、B、C三点的平面的交线形成圆锥曲线，把圆锥曲线绕骨架直线旋转形成旋转圆锥曲面，并建立旋转圆锥曲面方程组，把得到的各段肢体上标记点的空间三维坐标值代入所属的旋转圆锥曲面方程组求解，得到各个时刻各段肢体的旋转圆锥曲面的变形参数；

4)使用OpenGL程序采用平行投影方法绘制三维人肢体模型，使用三个圆球体代表肢体的三个关节点，采用求得的两个旋转圆锥曲面方程绘制出的曲面来代表上、下两段肢体皮肤，连接这三个圆球体和两个曲面构成人肢体模型。

Images