CN102098524A

CN102098524A - 跟踪式立体显示设备及跟踪式立体显示方法

Info

Publication number: CN102098524A
Application number: CN2010105943244A
Authority: CN
Inventors: 简培云; 李得俊
Original assignee: Shenzhen Super Perfect Optics Ltd
Current assignee: SuperD Co Ltd
Priority date: 2010-12-17
Filing date: 2010-12-17
Publication date: 2011-06-15
Anticipated expiration: 2030-12-17
Also published as: CN102098524B; US20120154376A1; US8717352B2

Abstract

本发明提供了一种跟踪式立体显示设备，包括跟踪设备，用于获取观看者的空间位置；索引模块，用于根据所述空间位置获取索引因子，以及根据所述索引因子生成索引表；次像素排列模块，用于根据所述索引表排列次像素；立体显示器，用于显示根据所述索引表排列次像素。本发明进一步提供了一种跟踪式立体显示方法。通过上述方式，可调整立体显示区域，将立体图像投射到观看者的左右眼中，避免由于观看者移动之后不在立体图像的观看范围内时，所产生的反视、重影、失真等影响立体显示效果的情况。

Description

跟踪式立体显示设备及跟踪式立体显示方法

【技术领域】

本发明涉及一种立体显示技术，特别涉及一种跟踪式立体显示设备及跟踪式立体显示方法。

【背景技术】

立体显示设备是利用人眼的视差特征，在人眼裸视或者佩戴某种辅助设备的条件下，呈现出具有空间深度信息的逼真立体影像。立体显示设备通常是将具有视差的多个视图通过像素排列算法合成后输出到立体显示器上。这种视差图直接传递到观看者的左眼及右眼，进而合成立体图像。立体显示设备使人更加真实、自然及有效的感知空间深度，获得景物的三维信息。

观看者能否观察到逼真的三维场景，不但与立体显示设备有关，而且还与观看者双眼的空间位置有关。目前的裸眼立体显示技术中的立体显示区域比较固定，观看者只能在立体观看区域内才能观看到比较合适的立体图像。当观看者不在该观看区域内时，将会出现反视、重影、失真等情况，严重影响立体显示效果。

【发明内容】

本发明解决的技术问题是提供一种跟踪式立体显示设备以及方法，以根据观看者的空间位置调整立体观看区域。

本发明提供一种跟踪式立体显示设备，包括：跟踪设备，用于获取观看者的空间位置；索引模块，用于根据所述空间位置获取索引因子，以及根据所述索引因子生成索引表；次像素排列模块，用于根据所述索引表排列次像素；立体显示器，用于显示根据所述索引表排列的次像素。

进一步的，上述跟踪设备包括：图像采集装置，用于采集含观看者的跟踪图像；图像处理装置，用于从所述跟踪图像中获取人脸图像，并根据所述人脸图像的面积与标准人脸面积确定所述观看者相对所述图像采集装置的距离。

进一步的，上述图像处理装置通过模版匹配获得与所述人脸图像相匹配的人脸模版，并根据所述人脸模版确定所述人脸图像的面积。

进一步的，上述图像处理装置根据所述人脸模版确定所述人脸图像的高度及宽度，再根据所述人脸图像的高度及宽度确定所述人脸图像的面积。

进一步的，上述图像处理装置根据如下公式确定所述观看者相对所述图像采集装置的距离：

其中Z为所述观看者的人脸与所述图像采集装置的成像系统光学中心之间的距离，f为所述图像采集装置的成像面与所述成像系统光学中心之间的距离，s为所述人脸图像的面积，S为所述标准人脸面积。

进一步的，上述索引因子至少包括次像素排列周期及偏移值。

进一步的，上述索引表包括多个索引值，所述索引值为浮点索引值或者整数索引值。

进一步的，上述索引表的分辨率等于所述立体显示器的分辨率。

进一步的，上述的跟踪式立体显示设备，根据公式T_C＝(Z_C×P)/(Z_C-S_C)获取次像素排列周期T_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，Z_C为观看者双眼连线的中心在Z轴上的坐标值。

进一步的，上述的跟踪式立体显示设备，根据公式offset_C＝P_C-P_A及公式P_C＝((P/2-X_C)×S_C)/(Z_C-S_C)+P/2，获取偏移值offset_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，X_C及Z_C为观看者双眼连线的中心在X轴及Z轴上的坐标值，P_A、P_C分别为T_A、T_C的起始位置。

进一步的，当观看者移动时，次像素排列周期的起始位置在X轴上的移动方向与观看者移动的方向相反，并且偏移值的终点在X轴上的移动方向与观看者移动的方向相反。

本发明还提供一种跟踪式立体显示方法，包括：获取观看者的空间位置；根据所述空间位置获取索引因子；根据所述索引因子生成索引表，并根据所述索引表进行次像素排列；显示根据所述索引表排列的次像素。

进一步的，上述获取观看者的空间位置的步骤具体包括：获取含观看者的跟踪图像；从所述跟踪图像中获取人脸图像；根据所述人脸图像的面积与标准人脸面积确定所述观看者相对图像采集位置的距离。

进一步的，上述的跟踪式立体显示方法，根据如下公式确定所述观看者相对所述图像采集装置的距离：

进一步的，上述获取所述人脸图像包括：通过初步定位确定所述人脸图像的位置；通过模版匹配获得与所述人脸图像相匹配的人脸模版，并根据所述人脸模版确定所述人脸图像的高度及宽度；根据所述人脸图像的高度及宽度确定所述人脸图像的面积。

进一步的，上述跟踪式立体显示方法，根据公式T_C＝(Z_C×P)/(Z_C-S_C)获取次像素排列周期T_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，Z_C为观看者双眼连线的中心在Z轴上的坐标值。

进一步的，上述的跟踪式立体显示方法，根据公式offset_C＝P_C-P_A及公式P_C＝((P/2-X_C)×S_C)/(Z_C-S_C)+P/2，获取偏移值offset_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，X_C及Z_C为观看者双眼连线的中心在X轴及Z轴上的坐标值，P_A、P_C分别为T_A、T_C的起始位置。

进一步的，上述的跟踪式立体显示方法，当观看者移动时，次像素排列周期的起始位置在X轴上的移动方向与观看者移动的方向相反，并且偏移值的终点在X轴上的移动方向与观看者移动的方向相反。

本发明可根据该位置信息获得与观看者的位置对应的索引因子，并根据该索引因子生成索引表；最后根据该索引表结合透镜的物理属性将左眼视图及右眼视图的次像素交错排列在立体显示器的显示面板上，以调整立体显示区域，将立体图像投射到观看者的左右眼中，避免由于观看者移动之后不在立体图像的观看范围内时，所产生的反视、重影、失真等影响立体显示效果的情况。

【附图说明】

图1是本发明一优选实施例的跟踪式立体显示设备的示意框图。

图2是图1中的图像采集装置的成像示意图。

图3所示为观看者移动时的投影示意图。

图4所示为图3中A点对应的索引表的示意图。

图5所示为图4中C点对应的索引表的示意图。

图6所示为本发明一种跟踪式立体显示方法的流程图。

图7所示为本发明一实施例中的获取观看者的位置的流程图。

【具体实施方式】

下面结合附图和实施例对本发明进行详细说明。

如图1所示，图1是根据本发明一优选实施例的跟踪式立体显示设备的示意框图。本实施例的跟踪式立体显示设备100包括立体显示器104、跟踪设备101、索引模块102、次像素排列模块103。跟踪设备101，用于获取观看者的空间位置。索引模块102，用于根据空间位置获取索引因子，以及根据索引因子生成索引表。次像素排列模块103，用于根据索引表排列次像素。立体显示器104，用于显示根据索引表排列次像素。

具体而言，立体显示器104用于显示立体图像，并通过适当方式将立体图像中的左眼视差图像及右眼视差图像分别传递到观看者的左眼及右眼，由此并由人脑合成立体图像。

跟踪设备101还可以包括图像采集装置和图像处理装置。图像采集装置用于采集含观看者的跟踪图像，并将跟踪图像传递到图像处理装置进行图像处理。图像处理装置在接收到跟踪图像后，从跟踪图像中获取人脸图像，并根据人脸图像的面积与标准人脸面积确定观看者相对图像采集装置的距离。

在发明中，图像采集装置可以为单个摄像头，也可以为两个摄像头。在本实施例中，该图像采集装置为单个摄像头。具体而言，当图像处理装置为单个摄像头时，首先通过肤色或边缘检测等方法初步定位人脸图像的位置。然后通过模版匹配进行精确定位，进而获得与人脸图像相匹配的人脸模版。然后，根据人脸模版确定人脸图像的高度及宽度，在进一步由人脸图像的高度及宽度确定人脸图像面积。

如图2所示，图2是图1中的图像采集装置的成像示意图。在图2中，观看者的人脸与图像采集装置的成像系统光学中心O之间的距离Z，图像采集装置的成像面(例如，CCD阵列表面)与成像系统光学中心O之间的距离为f，观看者的人脸宽度为W，人脸在成像面上形成的人脸图像的宽度为w，则有公式：

W/Z＝w/f (1)

同理，当观看者的人脸高度为H，人脸图像的高度h时，有公式：

H/Z＝h/t (2)

式(1)×式(2)可得：

(W×H)/(Z×Z)＝(w×h)/(f×f) (3)

即：S/(Z×Z)＝s/(f×f) (4)

也就是，

其中，s为人脸图像的面积，而S为观看者的实际人脸面积，并在本发明中预先设定为标准人脸面积。

图像处理装置通过上述公式在通过模版匹配方式获取人脸图像的面积s后，可根据已知的f和S确定出观看者的人脸与图像采集装置的成像系统光学中心O之间的距离Z。

当获取到上述距离Z之后，可根据人双眼的位置、间距，结合摄像头的标定参数和摄像头投影模型则可以计算得到用户双眼的空间位置(x，y，z)。

在本发明的其他实施例中，图像采集装置及图像处理装置可单独集成，作为一个跟踪设备101使用。此外，跟踪设备101还可进一步集成环境亮度检测装置以及辅助照明装置。环境亮度检测装置和辅助照明装置用于在图像采集装置周围环境亮度不足的情况下提供辅助照明。具体来说，环境亮度检测装置用于检测周围的环境亮度，而在环境亮度低于预定值的时候，由辅助照明装置提供辅助照明。环境亮度检测装置与辅助照明装置可集成在图像采集装置上。环境亮度检测装置可由光敏电阻或其他光敏元件实现，而辅助照明装置可由红外灯或其他照明装置实现。

索引因子至少包括次像素排列周期及偏移值，该次像素排列周期及偏移值与观看者所处的观看位置有关，当观看者处于不同的位置时，次像素排列周期及偏移值则相应的发生变化，具体请参阅图3。

图3所示为观看者移动时的投影示意图。P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，A、B、C代表观看者处于三个不同位置时的投影中心，该投影中心为立体观看区域的中点，也为观看者双眼连线的中心。A与B位于与显示面板平行的同一条水平线(即X轴)上，B与C位于与显示面板垂直的同一条垂直线(即Z轴)上。当观看者由A点移动到C点时，其在X轴及Z轴上的位移变化，等于首先X轴从A点移动至B点，再沿Z轴从B点移动到C点。此时，与C点对应的次像素排列周期T_C可由下列公式(6)得出：

T_C＝(Z_C×P)/(Z_C-S_C) (6)；

由公式(1)可知次像素排列周期T_C只跟P、S_C以及Z_C有关，Z_C为C点的在Z轴上的坐标值；

与C点对应的偏移值offset_C可将下列公式(8)代入公式(7)后得出：

offset_C＝P_C-P_A (7)

P_C＝((P/2-X_C)×S_C)/(Z_C-S_C)+P/2 (8)

由公式(8)及公式(7)可知，偏移值offset_C跟P_A、P、S_C以及X_C，Z_C有关，Z_C为C点的在Z轴上的坐标值，X_C为C点的在X轴上的坐标值；其中，P_A、P_C为T_A、T_C的起始位置。由于P_A、P_C都是相对起始位置，本实施例设定与P_A的偏移值为0，则C点的偏移值为该点的起始位置P_C相对于P_A的位移。因此当计算出C点的offset_C与T_C后，即可重新生成索引表，根据该重新生成的索引表排列次像素可动态调整观看区域，并在透镜的光学参数所允许的范围内调整投影中心，使得观看者的双眼中心与投影中心重合，观看到比较合理的立体效果。

请参阅图4及图5，图4所示为图3中A点对应的索引表的示意图，图5所示为图4中C点对应的索引表的示意图。图4及图5所示的索引表，斜线301的倾斜方向为透镜倾斜放置的方向。网格302为RG B次像素，网格302内的数值为索引值，该索引值可以为浮点索引值也可以为整数索引值，本发明对此不作限定。次像素的排列顺序是R、G、B三个次像素在水平方向上以从左至右的顺序进行排列，即每行的第一个像素点均为R次像素，第二个像素点均为G次像素，第三个像素点均为B次像素。在其他实施例中，也可以以B、G、R或B、R、G的顺序进行排列，本发明对此不作限定。

图4中的offset_A为与观看者所处于的A点对应的偏移值，T_A为A点对应的次像素排列周期，P_A为T_A的起始位置。图5中的offset_C为与观看者所处于的C点对应的偏移值，T_C为C点对应的次像素排列周期，P_C为T_C的起始位置。当观看者从A点移到C点时，跟踪设备101首先获取C点的空间位置，并输出给索引模块102，索引模块102根据C点的空间位置获取索引因子offset_C及T_C以，以及根据offset_C及T_C生成图5所示的索引表。次像素排列模块103根据图5所示的索引表排列次像素，立体显示器104再根据图5所示的索引表，结合透镜的物理属性将左眼视图及右眼视图的次像素交错排列在立体显示器104的显示面板上，并通过透镜对出射光进行折射之后，分别导向观看者的左眼及右眼，从而调整立体观看区域。需要指出的是图4及图5所示的索引表所包括的次像素的数量等于立体显示器104所包括的次像素的数量，换而言之，索引表的分辨率等于立体显示器104的分辨率。在其它实施方式中，该索引因子可以仅为次像素排列周期，或者仅为偏移值，也可以为次像素排列周期与偏移值的组合。并且由图4及图5可看出，当观看者从A点移动到C点时，T_C的起始位置P_C相对于T_A的起始位置P_A的也相应的发生移动，且次像素排列周期的起始位置在X轴上的移动方向与观看者移动的方向相反；同时，偏移值的终点在X轴上的移动方向与观看者移动的方向相反，换而言之，offset_C也比offset_A要小(即偏移值要变小)。

如图6所示，本发明进一步提供一种跟踪式立体显示方法，该跟踪式立体显示方法包括如下步骤：

步骤S401，获取观看者的空间位置。获取的具体过程请参阅图7。

步骤S402，根据空间位置获取索引因子。本实施例是通过索引模块102获取索引因子，索引因子至少包括次像素排列周期及偏移值，该次像素排列周期及偏移值与观看者所处的观看位置有关，当观看者处于不同的位置时，次像素排列周期及偏移值均会发生变化，具体请参阅图3。

图3所示为观看者移动时的投影示意图。P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，A、B、C代表观看者处于三个不同位置时的投影中心，该投影中心为立体观看区域的中点，也为观看者双眼连线的中心。A与B位于与显示面板平行的同一条水平线(即X轴)上，B与C位于与显示面板垂直的同一条垂直线(即Z轴)上。当观看者由A点移动到C点时，等于首先X轴从A点移动至B点，再沿Z轴从B点移动到C点。此时，与C点对应的次像素排列周期T_C可由下列公式(6)得出：

T_C＝(Z_C×P)/(Z_C-S_C) (6)；

offset_C＝P_C-P_A (7)

P_C＝((P/2-X_C)×S_C)/(Z_C-S_C)+P/2 (8)

步骤S403，根据索引因子生成索引表。本实施例是通过索引模块102获取索引表，请参阅图4及图5，图4所示为图3中A点对应的索引表的示意图，图5所示为图4中C点对应的索引表的示意图。图4及图5所示的索引表，斜线301的倾斜方向为透镜倾斜放置的方向。网格302为RGB次像素，网格302内的数值为索引值，该索引值可以为浮点索引值也可以为整数索引值，本发明对此不作限定。次像素的排列顺序是以R、G、B三个次像素在水平方向上以从左至右的顺序进行排列，即每行的第一个像素点均为R次像素，第二个像素点均为G次像素，第三个像素点均为B次像素。在其他实施例中，也可以以B、G、R或B、R、G的顺序进行排列，本发明对此不作限定。

步骤S404，根据索引表排列次像素。本实施例是通过次像素排列模块103根据步骤403所生成的索引表排列次像素。

步骤S405，显示根据所述索引表排列的次像素。

本实施例中，通过立体显示器104的透镜将出射光进行折射之后，分别导向观看者的左眼及右眼，从而实现立体成像。

图7所示为本发明一实施例中的获取观看者的位置的流程图。在步骤S501中，获取含观看者的跟踪图像，例如利用图像采集装置采集跟踪图像，并传输到图像处理装置。此时，优选在采集跟踪图像前检测周围的环境亮度，并在环境亮度低于预定值时提供辅助照明。此外，跟踪图像还可以通过其他方式获取，并以有线或无线方式进行传输。在步骤S502中，从跟踪图像中获取人脸图像。其中，首先，利用人脸识别技术，通过肤色或边缘进行人脸的初步定位。人脸的初步定位的目的是为了减少不必要的计算量，快速的检测出人脸图像的位置。随后。对人脸进行精确定位，具体为通过模版匹配获得与人脸图像相匹配的人脸模版，并根据人脸模版确定所述人脸图像的高度及宽度。最后，根据人脸图像的高度及宽度确定人脸图像的面积。在步骤S503中，利用上文描述的公式及方法根据人脸图像面积与标准人脸面积确定观看者的人脸相对图像采集位置的距离。

本发明通过上述方式，首先获取观看者相对立体显示器104的空间位置；然后根据该位置信息获得与观看者的位置对应的索引因子，并根据该索引因子生成索引表；最后根据该索引表结合透镜的物理属性将左眼视图及右眼视图的次像素交错排列在立体显示器104的显示面板上，以调整立体显示区域，将立体图像投射到观看者的左右眼中，避免由于观看者移动之后不在立体图像的观看范围内时，所产生的反视、重影、失真等影响立体显示效果的情况。

在上述实施例中，仅对本发明进行了示范性描述，但是本领域技术人员在阅读本专利申请后可以在不脱离本发明的精神和范围的情况下对本发明进行各种修改。

Claims

1.一种跟踪式立体显示设备，其特征在于，包括：

跟踪设备，用于获取观看者的空间位置；

索引模块，用于根据所述空间位置获取索引因子，以及根据所述索引因子生成索引表；

次像素排列模块，用于根据所述索引表排列次像素；

立体显示器，用于显示根据所述索引表排列的次像素。

2.根据权利要求1所述的跟踪式立体显示设备，其特征在于，所述跟踪设备包括：

图像采集装置，用于采集含观看者的跟踪图像；

图像处理装置，用于从所述跟踪图像中获取人脸图像，并根据所述人脸图像的面积与标准人脸面积确定所述观看者相对所述图像采集装置的距离。

3.根据权利要求1所述的跟踪式立体显示设备，其特征在于，所述图像处理装置通过模版匹配获得与所述人脸图像相匹配的人脸模版，并根据所述人脸模版确定所述人脸图像的面积。

4.根据权利要求2所述的跟踪式立体显示设备，其特征在于，所述图像处理装置根据所述人脸模版确定所述人脸图像的高度及宽度，再根据所述人脸图像的高度及宽度确定所述人脸图像的面积。

5.根据权利要求2所述的跟踪式立体显示设备，其特征在于，所述图像处理装置根据如下公式确定所述观看者相对所述图像采集装置的距离：

6.根据权利要求1所述的跟踪式立体显示设备，其特征在于，所述索引因子至少包括次像素排列周期及偏移值。

7.根据权利要求1所述的跟踪式立体显示设备，其特征在于，所述索引表包括多个索引值，所述索引值为浮点索引值或者整数索引值。

8.根据权利要求1所述的跟踪式立体显示设备，其特征在于，所述索引表的分辨率等于所述立体显示器的分辨率。

9.根据权利要求1所述的跟踪式立体显示设备，其特征在于，根据公式T_C＝(Z_C×P)/(Z_C-S_C)获取次像素排列周期T_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，Z_C为观看者双眼连线的中心在Z轴上的坐标值。

10.根据权利要求9所述的跟踪式立体显示设备，其特征在于，根据公式offset_C＝P_C-P_A及公式P_C＝((P/2-X_C)×S_C)/(Z_C-S_C)+P/2，获取偏移值offset_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，X_C及Z_C为观看者双眼连线的中心在X轴及Z轴上的坐标值，P_A、P_C分别为T_A、T_C的起始位置。

11.根据权利要求10所述的跟踪式立体显示设备，其特征在于，当观看者移动时，次像素排列周期的起始位置在X轴上的移动方向与观看者移动的方向相反，并且偏移值的终点在X轴上的移动方向与观看者移动的方向相反。

12.一种跟踪式立体显示方法，其特征在于，包括：

获取观看者的空间位置；

根据所述空间位置获取索引因子；

根据所述索引因子生成索引表，并根据所述索引表进行次像素排列；

显示根据所述索引表排列的次像素。

13.根据权利要求12所述的跟踪式立体显示方法，其特征在于，所述获取观看者的空间位置的步骤具体包括：

获取含观看者的跟踪图像；

从所述跟踪图像中获取人脸图像；

根据所述人脸图像的面积与标准人脸面积确定所述观看者相对图像采集位置的距离。

14.根据权利要求13所述的跟踪式立体显示方法，其特征在于，根据如下公式确定所述观看者相对所述图像采集装置的距离：

15.根据权利要求14所述的跟踪式立体显示方法，其特征在于，获取所述人脸图像包括：

通过初步定位确定所述人脸图像的位置；

通过模版匹配获得与所述人脸图像相匹配的人脸模版，并根据所述人脸模版确定所述人脸图像的高度及宽度；

根据所述人脸图像的高度及宽度确定所述人脸图像的面积。

16.根据权利要求12所述的跟踪式立体显示方法，其特征在于，所述索引因子至少包括次像素排列周期及偏移值。

17.根据权利要求12所述的跟踪式立体显示方法，其特征在于，所述索引表包括多个索引值，所述索引值为浮点索引值或者整数索引值。

18.根据权利要求12所述的跟踪式立体显示方法，其特征在于，所述索引表的分辨率等于所述立体显示器的分辨率。

19.根据权利要求12所述的跟踪式立体显示方法，其特征在于，根据公式T_C＝(Z_C×P)/(Z_C-S_C)获取次像素排列周期T_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，Z_C为观看者双眼连线的中心在Z轴上的坐标值。

20.根据权利要求19所述的跟踪式立体显示方法，其特征在于，根据公式offset_C＝P_C-P_A及公式P_C＝((P/2-X_C)×S_C)/(Z_C-S_C)+P/2，获取偏移值offset_C，其中，P为相邻的透镜之间的中心距，S_C为透镜与显示面板的间距，X_C及Z_C为观看者双眼连线的中心在X轴及Z轴上的坐标值，P_A、P_C分别为T_A、T_C的起始位置。

21.根据权利要求20所述的跟踪式立体显示方法，其特征在于，当观看者移动时，次像素排列周期的起始位置在X轴上的移动方向与观看者移动的方向相反，并且偏移值的终点在X轴上的移动方向与观看者移动的方向相反。