CN113099203A - 显示系统校准方法及系统 - Google Patents

Abstract

本发明提供一种显示系统校准方法及系统，包括：对预设眼球摄像机进行参数校准；基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示系统之间的位置关系，并将眼球摄像机固定在待校准显示系统上；将预设校准图案按照预设规则虚拟场景渲染至待校准显示系统上；控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息；对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能。利用上述发明能够通过模仿人眼的眼球摄像机，实现显示系统的确定性和可量化的校准和评估。

Description

显示系统校准方法及系统

技术领域

本发明涉及虚拟显示显示系统技术领域，更为具体地，涉及一种显示系统校准方法及系统。

背景技术

现代计算和显示技术促进了所谓的“虚拟现实”或者“增强现实”体验系统的开发，其主要用于将数字生成的图像或其部分在可穿戴设备中以看起来或可能被认为是真实的方式呈现给用户。虚拟现实或VR场景通常涉及数字或虚拟图像信息的呈现，而对其他真实世界的视觉输入没有透明度；目前，增强现实或AR场景通常包括以数字或虚拟图像信息的呈现，作为对用户周围实际世界可视化的增强。

目前，对于虚拟现实或者增强现实的显示系统的显示性能、显示质量等指标，比如显示系统的光学显示畸变，显示的色彩饱和度，显示的色散性能等，很难用比较客观的系统来评价，现有的主要手段就是通过多人的体验、测试和使用，评估虚拟现实或者增强现实的显示系统的显示性能。可知，这种方式主观性太强，在某种程度上很难有比较好的客观评价结果；此外，由于人类的视觉感知系统非常复杂，基于目前的评价方法，想生产一种VR、AR或MR技术来促进舒适、自然的感觉，并在其他虚拟或现实世界的图像元素中丰富地呈现虚拟图像元素是一项挑战。

发明内容

鉴于上述问题，本发明的目的是提供一种显示系统校准方法及系统，以解决现有对显示系统的性能，无法实现标准性、可量化校准的问题。

本发明提供的显示系统校准方法，包括对预设眼球摄像机进行参数校准；基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示系统之间的位置关系，并将眼球摄像机固定在待校准显示系统上；将预设校准图案按照预设规则虚拟场景渲染至待校准显示系统上；控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息；对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能。

此外，可选的技术方案是，眼球摄像机包括成对设置的左眼球摄像机和右眼摄像机，待校准显示系统包括左眼显示屏幕和右眼显示屏幕；调整眼球摄像机和待校准显示系统之间的位置关系的过程包括：将左眼球摄像机的光轴位置对准左眼显示屏幕的中心位置，将右眼球摄像机的光轴位置对准右眼显示屏幕的中心位置。

此外，可选的技术方案是，校准参数信息包括内参数、固有参数或外在参数；内参数包括眼球摄像机坐标至眼球摄像机拍摄的二维图像坐标的投影变换参数；固有参数包括焦距、主点、光学畸变参数；外在参数包括左眼球摄像机和右眼摄像机之间的旋转矩阵和平移向量。

此外，可选的技术方案是，控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息的过程包括：控制待校准显示系统及眼球摄像机进行预设方式的转动；通过左眼球摄像机按照第一预设帧率实时拍摄左眼屏幕呈现的第一图像信息；同时，通过右眼球摄像机按照第一预设帧率实时拍摄右眼屏幕呈现的第二图像信息。

此外，可选的技术方案是，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能的过程包括：分别获取第一图像信息和第二图像信息在左上、右上、左下、右下和中间区域的特征的特征值；特征包括色调、饱和度和对比度；对比第一图像信息的特征值与左眼显示屏幕的对应位置处的特征值，获取第一对比结果，对比第二图像信息的特征值与右眼显示屏的对应位置处的特征值，获取第二对比结果；基于第一对比结果判断左眼显示屏幕是否符合参数要求，如果不能满足，则基于第一图像信息的特征值，对左眼显示屏幕的对应位置的特征进行调整；并循环执行以上步骤；同时，基于第二对比结果判断右眼显示屏幕是否符合参数要求，如果不能满足，则基于第二图像信息的特征值，对右眼显示屏幕的对应位置的特征进行调整，并循环执行以上步骤。

此外，可选的技术方案是，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能的过程，还包括：对第一图像信息和第二图像信息进行共线性、曲率、长度、宽度、添加标记、丢失标记、数字、形状、大小、空间分组或空间方向的分析，并基于分析的结果校准待校准显示系统的光学性能。

此外，可选的技术方案是，第一预设帧率的范围为30Hz～60Hz。

此外，可选的技术方案是，眼球摄像机的分辨率不小于待校准显示系统的分辨率；并且，眼球摄像机的属性包括仿真角膜位置、仿真角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离以及凝视方向。

此外，可选的技术方案是，对预设眼球摄像机进行参数校准的过程包括：在相对眼球摄像机预设距离和预设角度处，通过样本屏幕显示预设大小的样本图像；通过眼球摄像机拍摄样本图像，获取对应的拍摄图像；基于拍摄图像及张正友标定法，对眼球摄像机的参数进行校准。

根据本发明的另一方面，提供一种显示系统校准系统，包括：参数校准单元，用于对预设眼球摄像机进行参数校准；位置确定单元，用于基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示系统之间的位置关系，并将眼球摄像机固定在待校准显示系统上；校准图案渲染单元，用于将预设校准图案按照预设规则虚拟场景渲染至待校准显示系统上；图像信息拍摄单元，用于控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息；光学性能校准单元，用于对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能。

利用上述显示系统校准方法及系统，基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示系统之间的位置关系，并将眼球摄像机固定在待校准显示系统上；将预设校准图案按照预设规则虚拟场景渲染至待校准显示系统上；控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息；对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能，能够在确定性和可量化的条件下，校准和评估虚拟和真实世界的显示性能，有助于有效地将虚拟世界和现实世界无缝地融合在一起。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的显示系统校准方法的流程图；

图2为根据本发明实施例的显示系统校准系统的逻辑框图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

为详细描述本发明的显示系统校准方法及系统，以下将结合附图对本发明的具体实施例进行详细描述。

图1示出了根据本发明实施例的显示系统校准方法的流程。

如图1所示，本发明实施例的显示系统校准方法，包括以下步骤：

S110：对预设眼球摄像机进行参数校准。

S120：基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示系统之间的位置关系，并将眼球摄像机固定在待校准显示系统上:。

S130：将预设校准图案按照预设规则虚拟场景渲染至待校准显示系统上。

S140：控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息:。

S150：对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能。

然后，以下分别对上述各步骤进行详细阐述。

在上述步骤S110中，预设的眼球摄像机的校准参数信息包括内参数、固有参数或外在参数；内参数包括眼球摄像机坐标至眼球摄像机拍摄的二维图像坐标的投影变换参数；固有参数包括焦距、主点、光学畸变参数；外在参数包括左眼球摄像机和右眼摄像机之间的旋转矩阵和平移向量。

其中，外在参数表示从世界坐标系到眼球摄像机坐标系的转换，外部参数包括左眼球摄像机和右眼球摄像机之间的旋转矩阵和平移向量，通过外部参数能够有助于确定眼球摄像机中心位置和眼球摄像机在世界坐标系中的航向。因此，眼球摄像的参数校准可用于校正镜头失真、以世界三维测量对象的大小或在三维场景重建中确定眼球摄像机在场景中的位置。

具体地，在对预设眼球摄像机进行参数校准的过程包括：在相对所述眼球摄像机预设距离和预设角度处，通过样本屏幕显示预设大小的样本图像；通过所述眼球摄像机拍摄所述样本图像，获取对应的拍摄图像；基于拍摄图像及张正友标定法，对眼球摄像机的参数进行校准。

可知，预设的眼球摄像机包括成对设置的左眼球摄像机和右眼摄像机，待校准显示系统包括左眼显示屏幕和右眼显示屏幕；调整眼球摄像机和待校准显示系统之间的位置关系的过程包括：将左眼球摄像机的光轴位置对准左眼显示屏幕的中心位置，将右眼球摄像机的光轴位置对准右眼显示屏幕的中心位置，待左眼球摄像机和右眼球摄像机的位置确定后，可通过一定的固定件或固定方式对眼球摄像机和待监测显示系统进行固定，确保二者在运功过程中的相对位置稳定，不发生位置偏移。

进而待眼球摄像机的位置确定后，可通过待校准显示系统对预先设计的校准图案进行渲染显示，校准图案可设计为具有一定位置分布、色彩分布的规则图案，使其按照预设的规则进行虚拟场景渲染，然后显示在待校准显示系统的屏幕上，此处预设的规则可包括：设置渲染的分辨率、渲染的帧率等参数进行渲染。然后，通过眼球摄像机拍摄屏幕上显示的图案信息。

需要说明的是，在通过眼球摄像机进行拍摄的过程中，可通过外部装置控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息，外部装置可以为机械臂，机械臂可以按照预先设定的运动规则，让待校准形式系统及其上的眼球摄像机按照一定的方式进行。其中，运动规则可以根据待校准显示系统的应用场景或者校准需求进行设定，并不进行具体限定，通过设置不同的旋转角度和不同的转动速度，能够显示对应的运动方式下的待校准显示屏幕的显示内容的变化，比如是否在该运动方式下，发现显示内容的对比度有一定的误差等现象，进而确保显示系统的光学性能的校准准确度。

具体地，通过外部装置控制待校准显示系统及眼球摄像机进行转动，并通过眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息的过程包括：控制待校准显示系统及眼球摄像机进行预设方式的转动；通过左眼球摄像机按照第一预设帧率实时拍摄左眼屏幕呈现的第一图像信息；同时，通过右眼球摄像机按照第一预设帧率实时拍摄右眼屏幕呈现的第二图像信息。其中预设方式即上述设定的运动规则，在本发明的显示系统校准方法中，并不具体进行限定。

最后，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能的过程包括：分别获取第一图像信息和第二图像信息在左上、右上、左下、右下和中间区域的特征的特征值；特征包括色调、饱和度和对比度；对比第一图像信息的特征值与左眼显示屏幕的对应位置处的特征值，获取第一对比结果，对比第二图像信息的特征值与右眼显示屏的对应位置处的特征值，获取第二对比结果；基于第一对比结果判断左眼显示屏幕是否符合参数要求，如果不能满足，则基于第一图像信息的特征值，对左眼显示屏幕的对应位置的特征进行调整；并循环执行以上步骤，直至左眼显示屏幕的参数符合设定的参数要求；同理，基于第二对比结果判断右眼显示屏幕是否符合参数要求，如果不能满足，则基于第二图像信息的特征值，对右眼显示屏幕的对应位置的特征进行调整，并循环执行以上步骤，直至右眼显示屏幕的参数符合设定的参数要求。

在本发明的一个具体实施方式中，为进一步对待校准显示系统进行校准，提高其光学性能，对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能的过程，还可以包括：对第一图像信息和第二图像信息的共线性、曲率、长度、宽度、添加标记、丢失标记、数字、形状、大小、空间分组或空间方向等关键特征信息进行分析，并基于分析的结果校准待校准显示系统的光学性能，比附光学畸变率、光学色散率等，进而可据此对显示性能进行调整和优化，提高整体的光学显示质量。

需要说明的是，上述第一预设帧率的范围可设施为30Hz～60Hz。

在本发明的另一具体实施方式中，眼球摄像机的分辨率设置为不小于待校准显示系统的分辨率；并且，眼球摄像机的属性包括仿真角膜位置、仿真角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离以及凝视方向等，通过眼球摄像机模拟用于人眼的显示位置和方向，在应用过程中，左眼球摄像机和右眼球摄像机的拍摄帧率在物理上严格同步，能够通过在几何、光学性能和/或运动方面模仿人眼的设计，采用与人眼相同的角膜和瞳孔几何形状，虹膜和瞳孔配置有多种纹理、颜色或直径选项，也包括眼球摄像机的分辨率设计，利用眼球摄像机，根据瞳孔位置、注视点等人眼条件，对感知到的虚拟世界和现实世界进行标定和评估。

与上述显示系统校准方法相对应，本发明还提供一种显示系统校准系统，具体地，图2示出了根据本发明实施例的显示系统校准系统的示意逻辑。

如图2所示，本发明实施例的显示系统校准系统200，主要包括：

参数校准单元210，用于对预设眼球摄像机进行参数校准；

位置确定单元220，用于基于眼球摄像机的校准参数信息，调整眼球摄像机和待校准显示系统之间的位置关系，并将所述眼球摄像机固定在待校准显示系统上；

校准图案渲染单元230，用于将预设校准图案按照预设规则虚拟场景渲染至待校准显示系统上；

图像信息拍摄单元240，用于控制待校准显示系统及眼球摄像机进行转动，并通过所述眼球摄像机按照预设帧率实时拍摄待校准显示系统呈现的图像信息；

光学性能校准单元250，用于对图像信息进行特征信息分析，并基于特征信息分析的结果校准待校准显示系统的光学性能。

需要说明的是，上述显示系统校准系统的实施例，具体可参考显示系统校准方法实施例中的描述，此处不再一一赘述。

根据上述本发明提供的显示系统校准方法及系统，能够通过模仿人眼的眼球摄像机，对显示系统进行量性的参数评估及校准，确保显示系统校准的统一性和通用性，进而优化显示系统的显示性能，确保VR、AR或MR技术的舒适度和自然度以及可用户的体验度。

如上参照图1和图2以示例的方式描述根据本发明的显示系统校准方法及系统。但是，本领域技术人员应当理解，对于上述本发明所提出的显示系统校准方法及系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种显示系统校准方法，其特征在于，包括：

对预设眼球摄像机进行参数校准；

基于所述眼球摄像机的校准参数信息，调整所述眼球摄像机和待校准显示系统之间的位置关系，并将所述眼球摄像机固定在所述待校准显示系统上；

将预设校准图案按照预设规则虚拟场景渲染至所述待校准显示系统上；

控制所述待校准显示系统及所述眼球摄像机进行转动，并通过所述眼球摄像机按照预设帧率实时拍摄所述待校准显示系统呈现的图像信息；

对所述图像信息进行特征信息分析，并基于所述特征信息分析的结果校准所述待校准显示系统的光学性能。

2.如权利要求1所述的显示系统校准方法，其特征在于，

所述眼球摄像机包括成对设置的左眼球摄像机和右眼摄像机，所述待校准显示系统包括左眼显示屏幕和右眼显示屏幕；

所述调整眼球摄像机和所述待校准显示系统之间的位置关系的过程包括：

将所述左眼球摄像机的光轴位置对准所述左眼显示屏幕的中心位置，将所述右眼球摄像机的光轴位置对准所述右眼显示屏幕的中心位置。

3.如权利要求2所述的显示系统校准方法，其特征在于，

所述校准参数信息包括内参数、固有参数或外在参数；

所述内参数包括所述眼球摄像机坐标至所述眼球摄像机拍摄的二维图像坐标的投影变换参数；

所述固有参数包括焦距、主点、光学畸变参数；

所述外在参数包括所述左眼球摄像机和所述右眼摄像机之间的旋转矩阵和平移向量。

4.如权利要求2所述的显示系统校准方法，其特征在于，所述控制所述待校准显示系统及所述眼球摄像机进行转动，并通过所述眼球摄像机按照预设帧率实时拍摄所述待校准显示系统呈现的图像信息的过程包括：

控制所述待校准显示系统及所述眼球摄像机进行预设方式的转动；

通过所述左眼球摄像机按照第一预设帧率实时拍摄所述左眼屏幕呈现的第一图像信息；同时，

通过所述右眼球摄像机按照所述第一预设帧率实时拍摄所述右眼屏幕呈现的第二图像信息。

5.如权利要求4所述的显示系统校准方法，其特征在于，对所述图像信息进行特征信息分析，并基于特征信息分析的结果校准所述待校准显示系统的光学性能的过程包括：

分别获取第一图像信息和所述第二图像信息在左上、右上、左下、右下和中间区域的特征的特征值；所述特征包括色调、饱和度和对比度；

对比所述第一图像信息的特征值与所述左眼显示屏幕的对应位置处的特征值，获取第一对比结果，对比所述第二图像信息的特征值与所述右眼显示屏的对应位置处的特征值，获取第二对比结果；

基于所述第一对比结果判断所述左眼显示屏幕是否符合参数要求，如果不能满足，则基于所述第一图像信息的特征值，对所述左眼显示屏幕的对应位置的特征进行调整；并循环执行以上步骤；同时，

基于所述第二对比结果判断所述右眼显示屏幕是否符合参数要求，如果不能满足，则基于所述第二图像信息的特征值，对所述右眼显示屏幕的对应位置的特征进行调整，并循环执行以上步骤。

6.如权利要求5所述的显示系统校准方法，其特征在于，对所述图像信息进行特征信息分析，并基于特征信息分析的结果校准所述待校准显示系统的光学性能的过程，还包括：

对所述第一图像信息和所述第二图像信息进行共线性、曲率、长度、宽度、添加标记、丢失标记、数字、形状、大小、空间分组或空间方向的分析，并基于分析的结果校准所述待校准显示系统的光学性能。

7.如权利要求4所述的显示系统校准方法，其特征在于，

所述第一预设帧率的范围为30Hz～60Hz。

8.如权利要求1所述的显示系统校准方法，其特征在于，

所述眼球摄像机的分辨率不小于所述待校准显示系统的分辨率；并且，

所述眼球摄像机的属性包括仿真角膜位置、仿真角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离以及凝视方向。

9.如权利要求1所述的显示系统校准方法，其特征在于，对预设眼球摄像机进行参数校准的过程包括：

在相对所述眼球摄像机预设距离和预设角度处，通过样本屏幕显示预设大小的样本图像；

通过所述眼球摄像机拍摄所述样本图像，获取对应的拍摄图像；

基于所述拍摄图像及张正友标定法，对所述眼球摄像机的参数进行校准。

10.一种显示系统校准系统，其特征在于，包括：

参数校准单元，用于对预设眼球摄像机进行参数校准；

位置确定单元，用于基于所述眼球摄像机的校准参数信息，调整所述眼球摄像机和所述待校准显示系统之间的位置关系，并将所述眼球摄像机固定在待校准显示系统上；

校准图案渲染单元，用于将预设校准图案按照预设规则虚拟场景渲染至所述待校准显示系统上；

图像信息拍摄单元，用于控制所述待校准显示系统及所述眼球摄像机进行转动，并通过所述眼球摄像机按照预设帧率实时拍摄所述待校准显示系统呈现的图像信息；

光学性能校准单元，用于对所述图像信息进行特征信息分析，并基于特征信息分析的结果校准所述待校准显示系统的光学性能。

Images