[go: up one dir, main page]

CN120112877A - 包括眼动追踪传感器的头戴式显示器装置和用于头戴式显示器装置的操作方法 - Google Patents

包括眼动追踪传感器的头戴式显示器装置和用于头戴式显示器装置的操作方法 Download PDF

Info

Publication number
CN120112877A
CN120112877A CN202380075104.6A CN202380075104A CN120112877A CN 120112877 A CN120112877 A CN 120112877A CN 202380075104 A CN202380075104 A CN 202380075104A CN 120112877 A CN120112877 A CN 120112877A
Authority
CN
China
Prior art keywords
display
eye
user
present disclosure
tracking sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380075104.6A
Other languages
English (en)
Inventor
崔钟喆
具本坤
李相铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220189637A external-priority patent/KR20240106658A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN120112877A publication Critical patent/CN120112877A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)

Abstract

本公开提供了一种头戴式显示器(HMD)装置以及用于所述头戴式显示器的操作方法,其中,所述装置包括:显示器;光学透镜,与所述显示器第一侧邻近地设置;至少一个光源,发射光;以及至少一个眼动追踪传感器,与所述显示器的第二侧邻近地设置,并接收光以获取用户的视线信息,其中,所述光已经从所述至少一个光源输出并且由用户的眼睛反射,其中,所述显示器包括与设置有所述至少一个眼动追踪传感器的位置对应的第二显示区域以及除了第二显示区域之外的第一显示区域,并且包括在第一显示区域中的每单位面积的像素数量比包括在第二显示区域中的每单位面积的像素数量多。

Description

包括眼动追踪传感器的头戴式显示器装置和用于头戴式显示 器装置的操作方法
技术领域
本公开涉及头戴式显示器(HMD)设备和HMD设备的操作方法。
背景技术
随着技术的进步,已经开发了在被佩戴在用户的头部上的同时经由靠近用户的眼睛定位的显示器向用户提供图像的头戴式显示器(HMD)装置。
包括在HMD装置中的显示器可包括光学透视显示器或者视频透视显示器,其中,光学透视显示器用于将虚拟图像覆盖在真实世界物理环境空间或真实世界对象上以将它们一起显示,视频透视显示器用于显示作为通过使用相机等捕捉的真实世界物理环境空间的图像的图像并将该图像呈现给用户。
近来,已经开发了感测佩戴HMD装置的用户的视线方向,基于感测到的视线方向校正在显示器上显示的图像,并将图像呈现给用户的技术。
发明内容
技术方案
在本公开的实施例中,提供了一种包括显示器和与显示器的第一侧邻近地定位的光学透镜的头戴式显示器(HMD)设备。所述HMD设备可包括至少一个光源。所述HMD设备可包括至少一个眼动追踪传感器,其中,所述至少一个眼动追踪传感器与所述显示器的第二侧邻近地设置,并且被配置为通过接收反射光来获得关于用户的视线信息,其中,所述反射光是在从所述至少一个光源发射的光从所述用户的眼睛被反射时获得的。所述显示器可包括与设置有所述至少一个眼动追踪传感器的位置对应的第二显示区以及除了第二显示区之外的第一显示区。第一显示区的每单位面积的像素数量可比第二显示区的每单位面积的像素数量多。
在本公开的实施例中,还提供了一种包括显示器和与显示器的第一侧邻近地设置的光学透镜的HMD设备。所述HMD设备可包括至少一个光源。所述HMD设备可包括至少一个眼动追踪传感器,其中,所述至少一个眼动追踪传感器与所述显示器的第二侧邻近地设置,并且被配置为接收反射光,其中,所述反射光是在从所述至少一个光源发射的光从所述用户的眼睛被反射时获得的。所述HMD设备可包括存储至少一个指令的存储器以及被配置为执行存储在所述存储器中的所述至少一个指令的至少一个处理器。所述至少一个处理器可被配置为基于由所述至少一个眼动追踪传感器接收的所述反射光来获得关于用户的视线信息。所述显示器可包括与设置有所述至少一个眼动追踪传感器对应的位置的第二显示区以及除了第二显示区之外的第一显示区。第一显示区的每单位面积的像素数量可比第二显示区的每单位面积的像素数量多。
在本公开的实施例中,还提供了一种HMD设备的操作方法,其中,所述HMD设备包括显示器和与显示器的第一侧邻近地设置的光学透镜。所述HMD设备的操作方法可包括通过使用至少一个光源朝向用户的眼睛发射光。所述HMD设备的操作方法可包括通过使用与所述显示器的第二侧邻近地设置的至少一个眼动追踪传感器来接收反射光,其中,所述反射光是在光从至少一个光源发射并从用户的眼睛被反射时获得的。所述HMD设备的操作方法可包括基于接收的所述反射光获得关于所述用户的视线信息。所述显示器可包括与设置有所述至少一个眼动追踪传感器的位置对应的第二显示区以及除了第二显示区之外的第一显示区。第一显示区的每单位面积的像素数量可比第二显示区的每单位面积的像素数量多。
附图说明
从以下结合附图的描述中将容易地理解本公开,在附图中,附图标号表示结构元件。
图1是示出根据本公开的实施例的头戴式显示器(HMD)设备的概念图。
图2是示出根据本公开的实施例的HMD设备的配置的平面图。
图3是用于描述根据本公开的实施例的HMD设备以及HMD设备的操作方法的框图。
图4是示出根据本公开的实施例的HMD设备的操作的流程图。
图5是示出根据本公开的实施例的眼动追踪传感器被设置在显示器的显示区内且眼动追踪光源被设置在显示器的显示区外的概念图。
图6是示出根据本公开的实施例的眼动追踪传感器被设置在显示器的显示区内且眼动追踪光源被设置在显示器的显示区外的放大视图。
图7是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源中的每一个被设置在显示区内的概念图。
图8是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源中的每一个被设置在显示区内的放大视图。
图9是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。
图10是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。
图11是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。
图12是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。
具体实施方式
现在将简要描述本公开中使用的术语,并且将详细描述本公开的实施例。
作为本文使用的术语,当前广泛使用的一般术语通过考虑本公开中的功能被选择,但可根据本领域普通技术人员的意图、先例、新技术的出现等而改变。此外,特定术语可由申请人任意选择,并且在这种情况下,将在本公开的对应实施例的详细描述中详细描述所选术语的含义。因此,本文使用的术语不应通过其简单的称谓来限定,而是基于术语的含义以及本公开的整体描述来限定。
除非上下文另有明确说明,否则本文使用的单数表述也旨在包括复数表述。本文使用的所有术语(包括技术术语或科学术语)可具有与本公开的领域的普通技术人员通常理解的含义相同的含义。
在整个公开中,当部件“包括”或“包含”元件时,除非存在与其相反的特定描述,否则该部件还可包括其他元件,而不排除其他元件。此外,本文使用的诸如“部分”、“模块”等术语指示用于处理至少一个功能或操作的单元,并且可实施为硬件或软件或者硬件和软件的组合。
根据上下文,本公开中使用的表述“被配置为(或被设置为)”可与例如表述“适合于”、“具有……的能力”、“被设计为”、“适配为”、“被制造为”或“能够”互换使用。术语“被配置为(或被设置为)”可能不一定仅意味着在硬件方面“被专门设计为”。作为替代,表述“被配置为……的系统”在一些上下文中可意味着该系统与其他装置或组件一起“能够”。例如,表述“被配置为(或设置为)执行A、B和C的处理器”可意味着用于执行对应操作的专用处理器(例如,嵌入式处理器)或者能够通过运行存储在存储器中的一个或更多个软件程序来执行对应操作的通用处理器(例如,中央处理器(CPU)或应用处理器(AP))。
此外,在本公开中,应当理解,当组件被称为“连接”或“结合”到另一组件时,除非存在与之相反的特定描述,否则所述组件可直接连接或结合到所述另一组件,但也可经由所述组件与所述另一组件之间的另一中间组件连接或结合到所述另一组件。
如本文所使用的,“电子装置”可以是头戴式显示器(HMD)设备。然而,本公开不限于此,并且“电子装置”可被实现为各种形式的电子装置,诸如,TV、移动装置、智能电话、膝上型计算机、台式机、平板PC、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、可穿戴装置等。
在本公开中,“中心视觉”可指当观察用户的视线聚焦在其上的区域时所使用的视场。中心视觉可指用于观察设置在用户视野中心的区域的视场。
如本文所使用的,“周边视觉”可指当观察用户的视线聚焦在其上的区域周围的区域时所使用的视场。周边视觉可指用于观察与用户的视野的中心邻近的区域的视场。
如本文所使用的,“参考角度”可以是与基于人类因素确定为最大角度的角度对应地设置的角度,其中,在该最大角度处,当通过使用HMD设备观看图像的用户将用户的视线聚焦在显示在显示器上的图像上时,用户移动他或她的眼睛以改变聚焦区域,而无需将头部从用户的视线最初聚焦在其上的显示器的区域转动。
如本文所使用的,“感兴趣区”是用户能够通过仅移动用户的眼睛来以中心视觉观察在显示器上显示的图像而无需移动头部的区域。
在下文中将参照附图更全面地描述本公开的实施例,使得本领域普通技术人员可容易地实现该实施例。然而,本公开的实施例可以以不同的形式实现,并且不应被解释为限于本文阐述的本公开的实施例。另外,省略了与描述无关的部分以在附图中清楚地解释本公开的实施例,并且相同的附图标号始终表示相同的元件。
在下文中,参照附图详细描述本公开的实施例。
图1是用于描述根据本公开的实施例的HMD设备的概念图。
参照图1,根据本公开的实施例的电子装置可将内容提供给佩戴电子装置的用户150。在本公开的实施例中,电子装置是能够将内容提供给用户150的装置,并且可以是HMD设备100。在本公开的实施例中,图1示出了具有类似于眼镜的形状的电子装置,包括横跨用户150的面部的支撑部分。然而,本公开不限于此,并且电子装置可包括横跨用户150的面部和头部的支撑部分。此外,在本公开的实施例中,电子装置不限于HMD设备,而是可实现为各种形式的电子装置,诸如,TV、移动装置、智能电话、膝上型计算机、台式机、平板PC、电子书终端、数字广播终端、PDA、PMP、可穿戴装置等。以下,为了便于描述,将电子装置描述为HMD设备100。
在本公开的实施例中,HMD设备100可包括显示图像的显示器110和光学透镜120。由显示器110提供的图像可通过光学透镜120折射、反射或散射并被提供给用户150。
在本公开的实施例中,HMD设备100可在显示器110上显示基于外部提供的数据或预先存储在HMD设备100中的数据产生的图像,并将该图像提供给用户150。在本公开的实施例中,HMD设备100可从外部电子装置接收包括关于将在显示器110上显示的图像的信息的数据。
然而,本公开不限于此。HMD设备100可以是视频透视电子装置,其中,视频透视电子装置获得通过使用相机捕捉的用户150的视线指向的物理环境空间的图像,然后经由显示器110将获得的图像提供给用户150。
在本公开的实施例中,HMD设备100可包括至少一个光源130。至少一个光源130可朝向佩戴HMD设备100的用户150的眼睛151发射光160。在本公开的实施例中,由至少一个光源130提供的光160可通过光学透镜120折射、反射或散射以照射用户的眼睛151。
在本公开的实施例中,HMD设备100可包括至少一个眼动追踪传感器140。至少一个眼动追踪传感器140可接收在从至少一个光源130发射的光从用户的眼睛151被反射时获得的反射光170。至少一个眼动追踪传感器140可接收在由用于眼动追踪的至少一个光源130提供的光从用户的眼睛151被反射时获得的反射光170。在本公开的实施例中,至少一个眼动追踪传感器140可接收通过光学透镜120折射、反射或散射的反射光170。
在本公开的实施例中,HMD设备100可通过使用至少一个光源130和至少一个眼动追踪传感器140来获得用户150的视线信息。在本公开的实施例中,HMD设备100可通过使用至少一个光源130和至少一个眼动追踪传感器140来获得关于用户150的生物特征信息。在本公开的实施例中,用户150的视线信息可包括用户150的视线的方向、用户的眼睛151与光学透镜120之间的距离、用户150的视线与光学透镜120相交的视点、以及用户150的视线与显示器110相交的视点。在本公开的实施例中,HMD设备100可通过使用至少一个眼动追踪传感器140来获得用户的眼睛151的虹膜图案或用户150的眼球的图像。HMD设备100可基于用户的眼睛151的虹膜图案或用户150的眼球的图像来获得关于用户150的生物特征信息。在本公开的实施例中,关于用户150的生物特征信息可包括用户的眼睛151的虹膜的图像、用户的眼睛151的视网膜的图像、用户的眼睛151内的静脉图案、用户的眼睛151的视敏度、关于用户的眼睛151中存在的疾病的信息等。
为了便于描述,至少一个光源130在下文中被称为至少一个眼动追踪光源130。
在本公开的实施例中,HMD设备100可追踪用户150的视线并获得关于用户150的视线的方向的信息。
在本公开的实施例中,HMD设备100可通过使用至少一个眼动追踪光源130和至少一个眼动追踪传感器140来计算用户的眼睛151与光学透镜120之间的距离或者用户的眼睛151与显示器110之间的距离中的至少一个。
在本公开的实施例中,HMD设备100可基于获得的关于用户150的视线的方向的信息和用户的眼睛151与光学透镜120之间的距离,识别用户150的视线与光学透镜120相交的视点。HMD设备100可基于获得的关于用户150的视线的方向的信息和用户的眼睛151与显示器110之间的距离,识别用户150的视线与显示器110相交的视点。
在图1和以下附图中,示出了第一方向轴10、第二方向轴20和第三方向轴30,并且如本公开中描述的由第一方向轴10、第二方向轴20和第三方向轴30指示的方向是相对概念,并且可改变为其他方向。另外,由第一方向轴10、第二方向轴20、第三方向轴30分别指示的方向分别描述为第一方向、第二方向、第三方向。在本公开中,第一方向轴10和第二方向轴20是彼此正交的方向,并且第三方向轴30可以是垂直于由第一方向轴10和第二方向轴20限定的平面的方向。
在本公开中,HMD设备100的前方(或顶部)和后方(或底部)可基于第一方向轴10来限定。如本文所用,“重叠”可意味着相对于第一方向轴10重叠。如本文所用,“包括在…内”可意味着包括在相对于第一方向轴10的对应区域内。另外,如本文所用,“设置”或“布置”可意味着相对于第一方向轴10设置或布置。然而,本公开不限于此,并且在必要时可针对组件相对于第二方向轴20或第三方向轴30重叠或布置的情况进行描述。
在本公开的实施例中,光学透镜120与用户的眼睛151之间沿着第一方向轴10的第一距离可比显示器110与用户的眼睛151之间沿着第一方向轴10的第二距离小。下面参照图9和图10描述光学透镜120与显示器110之间的布置关系。
在本公开的实施例中,图1示出了至少一个眼动追踪光源130被布置在沿着第二方向轴20与显示器110间隔开的位置处。沿着第二方向轴20布置在与显示器110间隔开的位置处的至少一个眼动追踪光源130可以不与显示器110重叠。至少一个眼动追踪光源130可被布置在第一显示区111和第二显示区112外部。然而,本公开不限于此。至少一个眼动追踪光源130可被布置在沿着第一方向轴10与显示器110间隔开的位置处。沿着第一方向轴10和显示器110布置在与显示器110间隔开的位置处的至少一个眼动追踪光源130可与显示器110重叠。至少一个眼动追踪光源130可被包括在第二显示区112内。
在本公开的实施例中,至少一个眼动追踪光源130可与光学透镜120重叠。
将在以下参照图5至图10的描述中描述至少一个眼动追踪光源130、显示器110和光学透镜120之间的布置关系。
在本公开的实施例中,至少一个眼动追踪传感器140可被布置在沿着第一方向轴10与显示器110间隔开的位置处。相对于第一方向轴10,至少一个眼动追踪传感器140与用户的眼睛151之间的第三距离可比显示器110与用户的眼睛151之间的第二距离大。
在本公开的实施例中,在显示器110上显示图像的显示区可包括第一显示区111和第二显示区112。第一显示区111的分辨率可比第二显示区112的分辨率大。第一显示区111的每单位面积的像素数量可比第二显示区112的每单位面积的像素数量多。
至少一个眼动追踪传感器140可相对于第一方向轴10与显示器110的第二显示区112重叠。至少一个眼动追踪传感器140可布置在显示器110的第二显示区112的内部上。在本公开的实施例中,第二显示区112的内部是指由第二方向轴20与第三方向轴30限定的平面中的包括在第二显示区112中的区域。在本公开的实施例中,第二显示区112可以是与至少一个眼动追踪传感器140所定位的位置对应的区。第一显示区111可相对于显示器110的第一方向轴10不与至少一个眼动追踪传感器140重叠。至少一个眼动追踪传感器140可布置在第一显示区111外部。在本公开的实施例中,第一显示区111可以是除了第二显示区112之外的区域。在本公开的实施例中,至少一个眼动追踪传感器140和光学透镜120可相对于第一方向轴10重叠。
稍后在参照图5至图10的描述中描述至少一个眼动追踪传感器140、显示器110和光学透镜120之间的布置关系。
本公开的HMD设备100可具有至少一个眼动追踪传感器140,其中,至少一个眼动追踪传感器140被布置为相对于第一方向轴10被包括在显示器110的第二显示区112内,使得至少一个眼动追踪传感器140在由第二方向轴20和第三方向轴30限定的平面上在距离上靠近用户的眼睛151。根据本公开,即使当用户150移动用户的眼睛151以观察在显示器110上显示的图像(例如,在远离至少一个眼动追踪传感器140所布置的位置的方向上移动眼睛151)时,至少一个眼动追踪传感器140也可接收作为从用户的眼睛151反射的光的反射光170。因此,可改善至少一个眼动追踪传感器140的光接收性能。
此外,在本公开的HMD设备100中,如稍后所述,具有比第一显示区111的每单位面积的像素数量少的每单位面积的像素数量的第二显示区112可布置在感兴趣区(图5的550)外部,以改善至少一个眼动追踪传感器140的光接收性能,从而防止用户150在视觉上感知到由于第二显示区112的较低分辨率而导致的图像质量差异。
图2是示出根据本公开的实施例的HMD设备的配置的平面图。在下文中,将相同的附图标号分配给与参照图1描述的组件相同的组件,并且将省略上面已经提供的描述。
参照图2,HMD设备100可包括显示器110、光学透镜120、至少一个眼动追踪光源130、至少一个眼动追踪传感器140、框架181、镜腿(temple)182、鼻支撑件(nose support)183、鼻梁件(nose bridge)184、至少一个处理器191、存储器192和电池193。在本公开的实施例中,在图2中仅示出了用于描述HMD设备100的结构的组件,并且包括在HMD设备100中的组件不限于图2中所示的那些组件。在本公开的实施例中,HMD设备100可包括用于捕捉真实世界中的物理环境空间的图像的相机等。
在本公开的实施例中,显示器110和光学透镜120可各自设置在框架181上。框架181可具有与一般眼镜结构的框架的形状类似的形状。框架181可包括围绕显示器110和光学透镜120的镜框。
在本公开的实施例中,显示器110可包括与用户的左眼151_1对应的第一显示器110_1以及与用户的右眼151_2对应的第二显示器110_2。
在本公开的实施例中,光学透镜120可包括与用户的左眼151_1对应的第一光学透镜120_1以及与用户的右眼151_2对应的第二光学透镜120_2。第一光学透镜120_1可与第一显示器110_1对应,第二光学透镜120_2可与第二显示器110_2对应。
在本公开的实施例中,至少一个眼动追踪光源130可包括与用户的左眼151_1对应的第一眼动追踪光源130_1以及与用户的右眼151_2对应的第二眼动追踪光源130_2。第一眼动追踪光源130_1可与第一显示器110_1对应,第二眼动追踪光源130_2可与第二显示器110_2对应。
在本公开的实施例中,至少一个眼动追踪传感器140可包括与用户的左眼151_1对应的第一眼动追踪传感器140_1以及与用户的右眼151_2对应的第二眼动追踪传感器140_2。第一眼动追踪传感器140_1可与第一显示器110_1对应,并且第二眼动追踪传感器140_2可与第二显示器110_2对应。
在本公开的实施例中,框架181可包括与用户的左眼151_1对应的第一框架181_1以及用户的右眼151_2对应的第二框架181_2。第一框架181_1可包括围绕第一显示器110_1和第一光学透镜120_1的镜框。第二框架181_2可包括围绕第二显示器110_2和第二光学透镜120_2的镜框。
在本公开的实施例中,第一显示器110_1、第一光学透镜120_1、第一眼动追踪光源130_1、以及第一眼动追踪传感器140_1可设置在第一框架181_1上。在本公开的实施例中,第二显示器110_2、第二光学透镜120_2、第二眼动追踪光源130_2、以及第二眼动追踪传感器140_2可设置在第二框架181_2上。
然而,本公开不限于此。第一显示器110_1和第二显示器110_2可一体地形成并设置在框架181上。第一光学透镜120_1与第二光学透镜120_2可一体地形成并设置在框架181上。
在本公开的实施例中,镜腿182可连接到框架181。镜腿182是当用户150佩戴HMD设备100时通过搁置在用户150的耳朵上来支撑HMD设备100的部分。在本公开的实施例中,镜腿182可包括连接到第一框架181_1的第一镜腿182_1以及连接到第二框架181_2的第二镜腿182_2。
在本公开的实施例中,包括在HMD设备100中的至少一个处理器191、存储器192和电池193可嵌入在镜腿182中。尽管图2示出了至少一个处理器191、存储器192和电池193嵌入在第一镜腿182_1中,但这仅仅是示例性结构,并且本公开不限于图2所示的结构。
在本公开的实施例中,鼻支撑件183可连接到框架181。鼻支撑件183是当用户150佩戴HMD设备100时通过搁置在用户150的鼻子上来支撑HMD设备100的部分。在本公开的实施例中,鼻支撑件183可包括桥接件(bridge)和鼻托(nose pad)。此外,桥接件和鼻托可一体地形成,但不限于此。在本公开的实施例中,鼻支撑件183可与框架181集成。
在本公开的实施例中,鼻梁件184是将第一框架181_1连接到第二框架181_2的支撑件。鼻梁件184可连接到鼻支撑件183。然而,当第一框架181_1和第二框架181_2一体地形成时,HMD设备100可以不包括鼻梁件184。
在本公开的实施例中,至少一个眼动追踪光源130可通过光学透镜120朝向佩戴HMD设备100的用户的眼睛151发射光160。参照图3详细描述至少一个眼动追踪光源130的配置、操作和功能。
在本公开的实施例中,至少一个眼动追踪传感器140可接收通过光学透镜120的反射光170,其中,反射光170是从佩戴HMD设备100的用户的眼睛151反射的光。参照图3详细描述至少一个眼动追踪传感器140的配置、操作和功能。
在本公开的实施例中,电池193可电连接和/或物理连接到至少一个眼动追踪光源130、至少一个眼动追踪传感器140、至少一个处理器191和存储器192。电池193可根据至少一个处理器191的控制向至少一个眼动追踪光源130和至少一个眼动追踪传感器140供应驱动电力。
在本公开的实施例中,电池193可包括由可再充电的蓄电池组成的至少一个电池模块。电池193可包括例如锂(Li)离子电池、Li离子聚合物电池(LIPB)、镍(Ni)镉(Cd)电池、Ni金属氢化物(MH)电池等,但不限于此。
参照图3详细描述处理器191和存储器192的具体配置、操作和功能。
图3是用于描述根据本公开的实施例的HMD设备和HMD设备的操作方法的框图。在下文中,将相同的附图标号分配给与参照图1和图2描述的组件相同的组件,并且将省略上面已经提供的描述。
参照图1至图3,HMD设备100可包括显示器110、光学透镜120、至少一个眼动追踪光源130、至少一个眼动追踪传感器140、至少一个处理器191、存储至少一个指令的存储器192、以及通信接口194。然而,图3中所示的所有组件不是必要组件。HMD设备100可用比图3中所示的组件更多或更少的组件来实现。在本公开的实施例中,HMD设备100还可包括用于拍摄用户150的视线指向的真实世界空间的相机或者用于向显示器110、至少一个眼动追踪光源130、至少一个眼动追踪传感器140和至少一个处理器191中的每一个供应驱动电力的电池193中的至少一个。
在本公开的实施例中,显示器110、光学透镜120、至少一个眼动追踪光源130、至少一个眼动追踪传感器140、至少一个处理器191、存储器192和通信接口194可彼此电连接和/或物理连接。
在本公开的实施例中,显示器110可包括有机发光二极管(OLED)显示器和无机LED显示器中的一个。然而,本公开不限于此,并且显示器110可包括能够向用户提供内容的其他类型的显示器。
在本公开的实施例中,光学透镜120可包括玻璃和包括液晶分子的电可调谐液晶透镜中的一种。然而,本公开不限于此,并且光学透镜120可包括能够通过折射、反射或散射改变入射在光学透镜120上的光的光学特性的材料等。此外,虽然图1示出光学透镜120包括单个透镜,但本公开不限于此。光学透镜120可包括多个透镜,并且在这种情况下,多个透镜中的每一个可具有不同的形状、尺寸、折射率等。
在本公开的实施例中,至少一个眼动追踪光源130可被配置为朝向佩戴HMD设备100的用户的眼睛151发射光160。在本公开的实施例中,从至少一个眼动追踪光源130朝向用户的眼睛151发射的光160可以是红外(IR)射线。
在本公开的实施例中,当至少一个眼动追踪光源130包括发射IR射线的IR发光二极管(LED)时,至少一个眼动追踪光源130可朝向用户的眼睛151发射呈平面光形式的IR射线。
在本公开的实施例中,当至少一个眼动追踪光源130包括发射IR光的IR扫描仪(例如,微机电系统(MEMS)扫描仪)时,至少一个眼动追踪光源130可朝向用户的眼睛151发射呈点光或线光形式的IR射线。至少一个眼动追踪光源130可发射IR射线,同时改变其发射方向以覆盖用户的眼睛151所处的空间。
在本公开的实施例中,至少一个眼动追踪传感器140可被配置为接收反射光170,其中,反射光170是从用户的眼睛151反射的光。在本公开的实施例中,来自用户的眼睛151的反射光170可以是IR光。至少一个眼动追踪传感器140可包括能够接收IR光的IR检测器(例如,光电二极管)。
在本公开的实施例中,至少一个眼动追踪传感器140可包括IR相机。至少一个眼动追踪传感器140可通过经由IR相机捕捉用户的眼睛151的图像来获得眼睛图像,并且从眼睛图像获得用户150的视线信息。
在本公开的实施例中,存储器192可包括至少一种类型的存储介质,即,闪存型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如,SD卡或XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、PROM、掩模ROM、闪存ROM、硬盘驱动器(HDD)或固态驱动器(SSD)中的至少一个。存储器192可存储用于执行HMD设备100的功能或操作的至少一个指令或程序代码。存储在存储器192中的至少一个指令、算法、数据结构、程序代码和应用程序可以以诸如C、C++、Java、汇编程序等的编程或脚本语言来实现。
在本公开的实施例中,眼睛感测模块192_3和图像显示模块192_4可存储在存储器192中。然而,图3中所示的所有模块不是必要模块。存储器192可存储比图3中所示的模块更多或更少的模块。
包括在存储器192中的“模块”可指用于处理由至少一个处理器191执行的功能或操作的单元。包括在存储器192中的“模块”可被实现为诸如至少一个指令、算法、数据结构或程序代码的软件。
在本公开的实施例中,眼睛感测模块192_3可包括与以下操作或功能相关的指令或程序代码:基于经由至少一个眼动追踪传感器140获得的反射光170,获得用户150的视线信息或者关于用户150的生物特征信息中的至少一个。
在本公开的实施例中,眼睛感测模块192_3可包括与以下操作或功能相关的指令或程序代码:基于经由至少一个眼动追踪传感器140获得的反射光170,获得关于用户150的视线的方向的信息。眼睛感测模块192_3可包括与以下操作或功能有关的指令或程序代码:通过检测例如作为从用户的眼睛151反射的光的反射光170的方向或强度,获得关于用户150的视线的方向的信息。在本公开的实施例中,眼睛感测模块192_3可包括与以下操作或功能相关的指令或程序代码:通过从经由至少一个眼动追踪传感器140获得的眼睛图像中检测眼球或瞳孔的图像,获得关于用户150的视线的方向的信息。在本公开的实施例中,眼睛感测模块192_3可包括与以下操作或功能有关的指令或程序代码:通过从经由至少一个眼动追踪传感器140获得的眼睛图像中检测眼球或瞳孔的图像,获得关于用户150的生物特征信息,其中生物特征信息包括用户的每只眼睛151的虹膜图案、用户的每只眼睛151的虹膜的图像、用户的每只眼睛151的视网膜的图像、用户的眼睛151内的静脉图案、用户的眼睛151的视敏度、关于用户的眼睛151中存在的疾病的信息等。
在本公开的实施例中,至少一个处理器191可执行眼睛感测模块192_3的指令或程序代码,以基于经由至少一个眼动追踪传感器140获得的反射光170来获得用户150的视线的方向。
在本公开的实施例中,眼睛感测模块192_3可包括与以下操作或功能相关的指令或程序代码:基于经由至少一个眼动追踪传感器140获得的反射光170,计算用户的眼睛151与光学透镜120之间的距离或者用户的眼睛151与显示器110之间的距离中的至少一个。
在本公开的实施例中,至少一个处理器191可执行眼睛感测模块192_3的指令或程序代码,以基于经由至少一个眼动追踪传感器140获得的反射光170来计算用户的眼睛151与光学透镜120之间的距离或者用户的眼睛151与显示器110之间的距离中的至少一个。
在本公开的实施例中,眼睛感测模块192_3可包括与以下操作或功能相关的指令或程序代码:基于获得的用户150的视线的方向以及用户的眼睛151与光学透镜120之间的距离,识别用户150的视线与光学透镜120相交的视点。
在本公开的实施例中,至少一个处理器191可执行眼睛感测模块192_3的指令或程序代码,以基于用户150的视线的方向以及用户的眼睛151与光学透镜120之间的距离来识别用户150的视线与光学透镜120相交的视点。
在本公开的实施例中,眼睛感测模块192_3可包括与以下操作或功能有关的指令或程序代码:基于获得的用户150的视线的方向以及用户的眼睛151与显示器110之间的距离,识别用户150的视线与显示器110相交的视点。
在本公开的实施例中,至少一个处理器191可执行眼睛感测模块192_3的指令或程序代码,以基于用户150的视线的方向以及用户的眼睛151与显示器110之间的距离来识别用户150的视线与显示器110相交的视点。
在本公开的实施例中,图像显示模块192_4可包括与以下操作或功能相关的指令或程序代码:在显示器110上显示图像。在本公开的实施例中,图像显示模块192_4可包括与以下操作或功能相关的指令或程序代码:与识别的用户150的视线与光学透镜120相交的视点或者识别的用户150的视线与显示器110相交的视点中的至少一个对应地改变显示器110上显示的图像,并然后在显示器110上显示改变的图像。
在本公开的实施例中,图像显示模块192_4可包括关于显示图像的操作或功能的指令或程序代码,其中,该图像与多个图像之中的识别的用户150的视线与光学透镜120相交的视点或者识别的用户150的视线与显示器110相交的视点中的至少一个视点对应,使得分辨率、亮度或对比度中的至少一个比不对应于所述至少一个视点的其余图像的分辨率、亮度或对比度中的至少一个高。
在本公开的实施例中,至少一个处理器191可执行图像显示模块192_4的指令或程序代码,以在显示器110上显示图像并将图像提供给佩戴HMD设备100的用户150。
在本公开的实施例中,至少一个处理器191可包括但不限于CPU、微处理器、图形处理单元(GPU)、专用集成电路(ASIC)AP、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、神经处理单元(NPU)或者设计有专用于训练和处理人工智能(AI)模型的硬件结构的专用AI处理器中的至少一个。
在本公开的实施例中,至少一个处理器191可控制至少一个眼动追踪光源130朝向佩戴HMD设备100的用户的眼睛151发射光160。在这种情况下,从至少一个眼动追踪光源130发射的光可以是IR射线。
在本公开的实施例中,至少一个处理器191可控制至少一个眼动追踪传感器140接收反射光170,其中,反射光170是从佩戴HMD设备100的用户的眼睛151反射的光。在这种情况下,经由至少一个眼动追踪传感器140接收的反射光170可以是IR射线。
在本公开的实施例中,通信接口194可根据至少一个处理器191的控制与外部服务器(未示出)执行数据通信。此外,通信接口194可与其他附近的电子装置以及外部服务器执行数据通信。
在本公开的实施例中,通信接口194可通过使用包括例如有线局域网(LAN)、无线LAN、Wi-Fi、蓝牙、ZigBee、Wi-Fi直连(WFD)、红外数据协会(IrDA)、蓝牙低功耗(BLE)、近场通信(NFC)、无线宽带互联网(WiBro)、全球微波接入互操作性(WiMAX)、共享无线接入协议(SWAP)、无线千兆联盟(WiGig)和射频(RF)通信的数据通信方法中的至少一种来与服务器或其他附近的电子装置执行数据通信。
在本公开的实施例中,通信接口194可从服务器或其他附近的电子装置接收包括在显示器110上显示的图像的数据。至少一个处理器191可基于接收的数据在显示器110上显示图像。
图4是示出根据本公开的实施例的HMD设备的操作的流程图。
参照图1和图4,在本公开的实施例中,HMD设备100的操作方法可包括通过使用至少一个眼动追踪光源130朝向用户的眼睛151发射光160(S100)。在本公开的实施例中,在朝向用户的眼睛151发射光160的操作S100中,至少一个处理器(图3的191)可经由至少一个眼动追踪光源130朝向用户的眼睛151发射光160。
在本公开的实施例中,HMD设备100的操作方法可包括通过使用至少一个眼动追踪传感器140来接收反射光170,其中,反射光170是从用户的眼睛151反射的光(S200)。在本公开的实施例中,至少一个眼动追踪传感器140可与显示器110的第二侧(图9的115)邻近地定位,其中,该第二侧与显示器110的第一侧(图9的114)相对。在本公开的实施例中,在接收作为从用户的眼睛151反射的光的反射光170的操作S200中,至少一个处理器191可经由至少一个眼动追踪传感器140接收在从至少一个眼动追踪光源130发射的光从用户的眼睛151被反射时获得的反射光170。
在本公开的实施例中,HMD设备100的操作方法可包括基于接收的反射光170获得关于用户150的视线信息(S300)。在本公开的实施例中,在获得关于用户150的视线信息的操作S300中,至少一个处理器191可获得包括以下项中的至少一个的视线信息:用户150的视线的方向、用户的眼睛151与光学透镜120之间的距离、用户150的视线与光学透镜120相交的视点、或者用户150的视线与显示器110相交的视点。然而,本公开不限于此,并且在基于接收的反射光170获得关于用户150的视线信息的操作S300中,还可获得用户150的生物特征信息。在本公开的实施例中,在获得关于用户150的视线信息或生物特征信息的操作S300中,至少一个处理器191可获得用户的眼睛151的虹膜图案或用户150的眼球的图像。HMD设备100可基于用户的眼睛151的虹膜图案或用户150的眼球的图像来获得关于用户150的生物特征信息。在本公开的实施例中,关于用户150的生物特征信息可包括用户的每只眼睛151的虹膜的图像、用户的每只眼睛151的视网膜的图像、用户的眼睛151内的静脉图案、用户的眼睛151的视敏度、关于用户的眼睛151中存在的疾病的信息等。
在本公开的实施例中,在基于接收的反射光170获得关于用户150的视线信息或生物特征信息的操作S300中,至少一个处理器191可基于接收的反射光170获得用户150的视线信息或关于用户150的生物特征信息中的至少一个。
在本公开的实施例中,HMD设备100的操作方法还可包括在显示器110上显示图像。在显示器110上显示图像的操作中,可基于获得的关于用户150的视线信息来确定在显示器110上显示的图像的分辨率、亮度或对比度中的至少一个。
在本公开的实施例中,操作HMD设备100的操作方法还可包括将获得的关于用户150的生物特征信息提供给用户150。
图5是示出根据本公开的实施例的眼动追踪传感器被设置在显示器的显示区内且眼动追踪光源被设置在显示器的显示区外的概念图。
参照图1和图5,示出了用户的眼睛151、显示器110和光学透镜120以示出至少一个眼动追踪光源510和至少一个眼动追踪传感器520的布置。在下文中,为了便于描述,图5至图12示出了显示器110、光学透镜120、至少一个眼动追踪光源510和至少一个眼动追踪传感器520,它们各自对应于用户150的两只眼睛中的一只眼睛。然而,本公开不限于此,并且各自对应于用户150的另一只眼睛的显示器、光学透镜、至少一个眼动追踪光源和至少一个眼动追踪传感器可具有与图5至图12所示相同的形状和布置。
在本公开的实施例中,光学透镜120可相对于第一方向轴10设置在显示器110上。显示器110的与用户的眼睛151邻近的一侧可被限定为第一侧114,并且与第一侧114相对的一侧可被限定为第二侧115。光学透镜120可与显示器110的第一侧114邻近地设置。在本公开的实施例中,相对于第一方向轴10,光学透镜120与用户的眼睛151之间的第一距离540可比显示器110与用户的眼睛151之间的第二距离小。
在本公开的实施例中,在由第二方向轴20和第三方向轴30限定的平面中,光学透镜120的横截面面积可大于或等于显示器110的横截面面积。显示器110的整个区域可相对于第一方向轴210与光学透镜120重叠。在本公开的实施例中,光学透镜120的孔径光阑的横截面面积可大于或等于显示器110的显示区的横截面面积。在本公开的实施例中,光学透镜120的孔径光阑可以内接(inscribe)在显示器110的显示区中。
在本公开的实施例中,用户150的视野包括中心视觉和周边视觉。“中心视觉”可指当观察用户150的视线聚焦在其上的区域时所使用的视场。中心视觉可指用于观察设置在用户的视野中心中的区域的视场。在本公开的实施例中,用户150可使用中心视觉来观察在显示器110的用户150的视线聚焦在其上的区域中显示的图像。
“周边视觉”可指当观察用户150的视线聚焦在其上的区域周围的区域时所使用的视场。周边视觉可指用于观察与用户的视野的中心邻近的区域的视场。在本公开的实施例中,用户150可使用周边视觉来观察在显示器110的与用户150的视线聚焦在其上的区域邻近的区域中显示的图像。
在这种情况下,用户在通过使用中心视觉观察图像时的视敏度比用户在通过使用周边视觉观察图像时的视敏度高。因此,为了清楚地观看在显示器110上显示的图像,用户150可通过改变显示器110上的聚焦区域来观看在显示器110上显示的图像。
在本公开的实施例中,在显示器110上显示的图像可通过光学透镜120折射、反射或散射,并然后被提供给用户150。用户的眼睛151与在显示器110上显示的图像在通过光学透镜120折射、反射或散射之后形成的区域之间的距离可小于或等于光学透镜120与用户的眼睛151之间的第一距离。在下文中,为了便于描述,描述了用户的眼睛151与形成通过光学透镜120折射、反射或散射的图像的区域之间的距离等于第一距离。
在本公开的实施例中,用户150可通过观察通过光学透镜120折射、反射或散射的图像来识别出由HMD设备100提供的图像。
在本公开的实施例中,感兴趣区550是在形成通过光学透镜120折射、反射或散射的图像的多个区域之中的用户150可通过仅移动用户的眼睛151来以中心视觉观察图像而无需移动头部的区域。
在本公开的实施例中,可基于第一距离540和预先确定的参考角度530来确定感兴趣区550,其中,第一距离540是用户的眼睛151与光学透镜120之间的距离。
在本公开的实施例中,可基于根据本公开的HMD设备100的结构和形状以及诸如用户150的骨架的身体特征来确定第一距离540。在本公开的实施例中,第一距离540可以是基于根据本公开的HMD设备100的结构和形状以及预期使用HMD设备100的多个用户的不同身体特征而计算的多个第一距离的平均值。
在本公开的实施例中,参考角度530可以是被设置为与基于人类因素确定为最大角度的角度对应的角度,其中,在该最大角度处,当通过使用HMD设备100观看图像的用户150将他或她的视线聚焦在形成通过光学透镜120折射、反射或散射的图像的区域上时,用户150移动用户的眼睛151以改变聚焦区域,而无需将头部从用户的视线最初聚焦的区域移动。在本公开的实施例中,参考角度530可以是基于光学透镜120的中心(图9的931)设置的角度。
在本公开的实施例中,当光学透镜120的中心931对应于显示器110的用户150最初将用户的视线聚焦在其上的区域时,参考角度530可被设置为相对于光学透镜120的中心931至少10°但不大于40°的角度。在本公开的实施例中,参考角度530可被设置为30°。
在本公开的实施例中,当用户150试图将焦点区域从用户的视线最初聚焦在其上的区域改变为另一区域以观察图像,并且用户的视线最初聚焦在其上的该区域与该另一区域相对于用户的眼睛151的角度小于或等于参考角度530时,用户150可通过移动用户的眼睛151来改变焦点区域,而无需移动用户150的头部。
在本公开的实施例中,当用户150试图将焦点区域从用户的视线最初聚焦在其上的区域改变为另一区域以观察图像,并且用户的视线最初聚焦在其上的该区域与该另一区域相对于用户的眼睛151的角度大于参考角度530时,用户150可通过转动用户150的头部来改变焦点区域。
在本公开的实施例中,当观察与感兴趣区550对应的图像时,用户150可通过仅移动用户的眼睛151来观察图像。在这种情况下,与除了感兴趣区550之外的区域对应并且使用用户150的周边视觉观察的图像的清晰度(sharpness)可比与感兴趣区550对应的图像的清晰度低。
在本公开的实施例中,当观察在显示器110内除了感兴趣区550之外的区域中显示的图像时,用户150可通过移动头部或者移动用户150的头部和眼睛151来观察显示器110上显示的图像。
在这种情况下,因为本公开的HMD设备100被佩戴在用户150的头部上,所以HMD设备100也响应于用户150移动他的头部而移动。因此,即使当用户150移动头部时,光学透镜120的与显示器110的用户150最初将用户的视线聚焦在其上的区域对应的中心可与用户150移动他或她的头部之前的光学透镜120的中心931相同。此外,当用户150移动他或她的头部时包括在显示器110中的感兴趣区550的位置也可与在用户150移动他或她的头部之前包括在显示器110中的感兴趣区550的位置相同。
在本公开的实施例中,当至少一个处理器(图3的191)经由眼睛感测模块192_3识别用户150的头部正在移动时,至少一个处理器191可响应于用户150的头部的移动而改变显示器110上显示的图像,使得用户150可观察在用户150移动他或她的头部之前在除了感兴趣区550之外的区域中显示的图像。详细地,当识别出用户150的头部正在移动时,至少一个处理器191可响应于用户150的头部的移动来改变感兴趣区550中显示的图像,从而再现与根据用户150的头部的移动而从广视角观察图像相同的效果。
在这种情况下,即使当用户150移动头部时,也使用周边视觉观察除了感兴趣区550之外的区域,因此,在除了由用户150识别出的感兴趣区550之外的区域中显示的图像的清晰度可较低。
在本公开的实施例中,至少一个眼动追踪光源510可相对于第一方向轴10设置在第一显示区111和第二显示区112外部。至少一个眼动追踪光源510可相对于第一方向轴10与光学透镜120重叠。由至少一个眼动追踪光源510发射的光160可通过光学透镜120照射到用户的眼睛151上。然而,本公开不限于此。即使当至少一个眼动追踪光源510和光学透镜120相对于第一方向轴10不重叠时,由至少一个眼动追踪光源510提供的光160也可通过光学透镜120发射到用户的眼睛151上。
在本公开的实施例中,至少一个眼动追踪传感器520可相对于第一方向轴10设置在第二显示区112内部。至少一个眼动追踪传感器520可与显示器110的第二侧115邻近地设置。相对于第一方向轴10,至少一个眼动追踪传感器520与用户的眼睛151之间的第三距离可比光学透镜120与用户的眼睛151之间的第一距离大。
在本公开的实施例中,相对于第一方向轴10,至少一个眼动追踪传感器520可设置在感兴趣区550外部。至少一个眼动追踪传感器520可相对于第一方向轴10与光学透镜120重叠。至少一个眼动追踪传感器520可接收通过光学透镜120的反射光170,其中,反射光170是从用户的眼睛151反射的光。然而,本公开不限于此。即使当至少一个眼动追踪传感器520和光学透镜120相对于第一方向轴10不重叠时,至少一个眼动追踪传感器520也可接收通过光学透镜120的从用户的眼睛151反射的反射光170。
当至少一个眼动追踪传感器520不相对于第一方向轴10设置在显示区内并且相对于第二方向轴20或第三方向轴30中的至少一个与显示器110间隔开时,至少一个眼动追踪传感器520的反射光接收性能可能降低。详细地,为了观察显示器110上显示的图像,用户150可在远离设置有至少一个眼动追踪传感器520的位置的方向上移动用户的眼睛151。在这种情况下,由于在由第二方向轴20和第三方向轴30限定的平面上的用户的眼睛151与至少一个眼动追踪传感器520之间的距离大,所以由至少一个眼动追踪传感器520接收的来自用户的眼睛151的反射光170的量可能不足,因此,至少一个眼动追踪传感器520的光接收性能可能劣化。
另一方面,当如本公开的HMD设备100中的至少一个眼动追踪传感器520相对于第一方向轴10设置在第二显示区(图6的612)内时,即使用户150将用户的眼睛151从设置有至少一个眼动追踪传感器520的位置移开以观察显示器110上显示的图像,由于在由第二方向轴20和第三方向轴30限定的平面中的用户的眼睛151与至少一个眼动追踪传感器520之间的距离很近,因此也可改善至少一个眼动追踪传感器520的光接收性能。
图6是示出根据本公开的实施例的眼动追踪传感器被设置在显示器的显示区内且眼动追踪光源被设置在显示器的显示区外的放大视图。
图6是图5中所示的区域560的放大视图。
在本公开的实施例中,显示器600可包括基板630、设置在基板630上的电路层620、以及布置在电路层620上的多个像素610。
在本公开的实施例中,基板630可以是提供电路层620设置在其上的基础表面的构件。基板630可以是包括塑料基板、绝缘膜、玻璃或多个绝缘层的堆叠结构。
在本公开的实施例中,电路层620可设置在基板630上。电路层620可包括绝缘层、半导体图案、导电图案和信号线。在本公开的实施例中,电路层620可包括在基板630上的薄膜晶体管和多个绝缘层。电路层620还可包括形成为穿透多个绝缘层的多个连接电极单元。
在本公开的实施例中,多个像素610可设置在电路层620上。多个像素610中的每一个可产生光。在本公开的实施例中,多个像素610中的每一个可包括产生不同颜色的光的OLED或无机LED。然而,本公开不限于此,并且多个像素610中的每一个可包括生成相同颜色的光的OLED或无机LED,并且显示器600还可包括滤色器层,其中,滤色器层包括具有不同颜色的多个滤色器。在本公开的实施例中,多个像素610中的每一个可包括量子点LED(QLED)。
在本公开的实施例中,多个像素610可电连接到包括在电路层620中的半导体图案、导电图案或信号线中的至少一个。
在本公开的实施例中,多个像素610中的每一个可包括用于产生光的发射层以及用于向发射层施加电压的电极层(诸如,阴极和阳极)。从外部照射到多个像素610中的光的一部分可被多个像素610中的每一个中包括的发射层或电极层中的至少一个折射、反射等。因此,布置有多个像素610的区域的透射率可比未布置有多个像素610的区域的透射率低。
在本公开的实施例中,显示器600可包括用于显示图像的第一显示区611和第二显示区612。在本公开的实施例中,多个像素610可包括第一显示区611中包括的多个第一像素613和第二显示区612中包括的多个第二像素614。
在本公开的实施例中,第一显示区611的分辨率可比第二显示区612的分辨率高。第一显示区611的每单位面积的多个第一像素613的数量可比第二显示区612的每单位面积的多个第二像素614的数量多。在本公开的实施例中,第一像素613中的每一个的尺寸可等于第二像素614中的每一个的尺寸。在本公开的实施例中,多个第一像素613之中的邻近第一像素之间的间隔可比多个第二像素614之中的邻近第二像素之间的间隔小。
在本公开的实施例中,单位面积的像素数量较少的第二显示区612的透射率可比单位面积的像素数量较多的第一显示区611的透射率高。
然而,本公开不限于此。在本公开的实施例中,多个第二像素614中的每一个的尺寸可比多个第一像素613中的每一个的尺寸大,并且多个第一像素613之中的邻近第一像素之间的间隔可比多个第二像素614之中的邻近第二像素之间的间隔小。即使在这种情况下,在本公开的实施例中,每单位面积的像素的数量较少的第二显示区612的透射率也可比每单位面积的像素的数量较多的第一显示区611的透射率高。
在本公开的实施例中,显示器600的第一侧(图5的114)可以是与多个像素610邻近的一侧。显示器600的第一侧114可指多个像素610的顶表面。
在本公开的实施例中,显示器600的第二侧(图5的115)可以是与基板630邻近的一侧。显示器600的第二侧115可指基板630的底表面。
在本公开的实施例中,基板630可设置在至少一个眼动追踪传感器640上方。在本公开的实施例中,至少一个眼动追踪传感器640可设置在显示器600下方,并且可相对于第一方向轴10设置在第二显示区612内。在本公开的实施例中,至少一个眼动追踪传感器640可相对于第一方向轴10设置在第一显示区611外部。第一显示区611相对于第一方向轴10不与至少一个眼动追踪传感器640重叠。在本公开的实施例中,至少一个眼动追踪传感器640可设置为与基板630的对应于第二显示区612的区域重叠。至少一个眼动追踪传感器640可设置在基板630的包括在第二显示区612中的区域下方。
在本公开的实施例中,至少一个眼动追踪传感器640可设置在与第一显示区611相比具有相对高的透射率的第二显示区612内部,以接收反射光(图5的170),其中,反射光是从用户的眼睛(图5的151)反射的光。
本公开的HMD设备(图1的100)可具有至少一个眼动追踪传感器640,其中,至少一个眼动追踪传感器640被布置为在由第二方向轴20和第三方向轴30限定的平面中靠近用户的眼睛151,并且被包括在显示器600中的具有高透射率的第二显示区612中,从而改善至少一个眼动追踪传感器640的光接收性能。
图7是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源中的每一个被设置在显示区内的概念图。在下文中,将相同的附图标号分配给与参照图5描述的组件相同的组件,并且将省略上面已经提供的描述。
参照图1和图7,示出了用户的眼睛151、显示器110和光学透镜120以示出至少一个眼动追踪光源710和至少一个眼动追踪传感器720的布置。
在本公开的实施例中,光学透镜120可相对于第一方向轴10设置在显示器110上。光学透镜120可与显示器110的第一侧114邻近地设置。在本公开的实施例中,相对于第一方向轴10,光学透镜120与用户的眼睛151之间的第一距离740可比显示器110与用户的眼睛151之间的第二距离小。
在本公开的实施例中,在由第二方向轴20和第三方向轴30限定的平面中,光学透镜120的横截面面积可大于或等于显示器110的横截面面积。光学透镜120的孔径光阑的横截面面积可大于或等于显示器110的显示区的横截面面积。相对于第一方向轴10,显示器110的整个区域可与光学透镜120重叠。光学透镜120的孔径光阑可内接在显示器110的显示区中。
在本公开的实施例中,可基于第一距离740和预先确定的参考角度730来确定感兴趣区750,其中,第一距离740是用户的眼睛151与光学透镜120之间的距离。
在本公开的实施例中,感兴趣区750是用户150可通过仅移动用户的眼睛151来以中心视觉观察图像而无需移动头部的区域。在本公开的实施例中,当观察与感兴趣区750对应的图像时,用户150可通过仅移动用户的眼睛151来观察图像。在这种情况下,与除了感兴趣区750之外的区域对应并且使用用户150的周边视觉观察的图像的清晰度可比与感兴趣区750对应的图像的清晰度低。
在本公开的实施例中,至少一个眼动追踪光源710可相对于第一方向轴10设置在第二显示区112内部。至少一个眼动追踪光源710可与显示器110的第二侧115邻近地设置。相对于第一方向轴10,至少一个眼动追踪光源710与用户的眼睛151之间的第四距离可比光学透镜120与用户的眼睛151之间的第一距离740大。
至少一个眼动追踪光源710可相对于第一方向轴10与光学透镜120重叠。由至少一个眼动追踪光源710发射的光160可穿过显示器110并通过光学透镜120照射到用户的眼睛151上。然而,本公开不限于此。即使当至少一个眼动追踪光源710和光学透镜120相对于第一方向轴10不重叠时,由至少一个眼动追踪光源710提供的光160也可通过光学透镜120发射到用户的眼睛151上。
在本公开的实施例中,至少一个眼动追踪光源710可相对于第一方向轴10设置在感兴趣区750外部。
在本公开的实施例中,至少一个眼动追踪传感器720可相对于第一方向轴10设置在第二显示区112内部。至少一个眼动追踪传感器720可与显示器110的第二侧115邻近地设置。
在本公开的实施例中,相对于第一方向轴10,至少一个眼动追踪传感器720可设置在感兴趣区750之外。至少一个眼动追踪传感器520可相对于第一方向轴10与光学透镜120重叠。至少一个眼动追踪传感器720可接收通过光学透镜120的反射光170,反射光170是从用户的眼睛151反射的光。然而,本公开不限于此。即使当至少一个眼动追踪传感器720和光学透镜120相对于第一方向轴10不重叠时,至少一个眼动追踪传感器720也可接收通过光学透镜120的从用户的眼睛151反射的反射光170。
图8是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源中的每一个与显示区重叠的放大视图。在下文中,将相同的附图标号分配给与参照图6描述的组件相同的组件,并且将省略上面已经提供的描述。
参照图7和图8,图8是图7中所示的区域760的放大视图。在本公开的实施例中,显示器800可包括基板830、设置在基板630上的电路层820和布置在电路层820上的多个像素810。
在本公开的实施例中,显示器800可包括用于显示图像的第一显示区811和第二显示区812。在本公开的实施例中,多个像素810可包括第一显示区811中包括的多个第一像素813和第二显示区812中包括的多个第二像素814。
在本公开的实施例中,第一显示区811的分辨率可比第二显示区812的分辨率高。第一显示区811的每单位面积的多个第一像素813的数量可比第二显示区812的每单位面积的多个第二像素814的数量多。在本公开的实施例中,每单位面积的像素的数量较少的第二显示区812的透射率可比每单位面积的像素的数量较多的第一显示区811的透射率高。
在本公开的实施例中,第二显示区812可包括相对于第一方向轴与至少一个眼动追踪光源840重叠的第一子显示区812_1以及相对于第一方向轴与至少一个眼动追踪传感器850重叠的第二子显示区812_2。
在本公开的实施例中,至少一个眼动追踪光源840可设置在显示器800下方,并且可相对于第一方向轴10设置在第一子显示区812_1内部。至少一个眼动追踪光源840可相对于第一方向轴10设置在第一显示区811外部。至少一个眼动追踪光源840可设置在基板830的包括在第一子显示区812_1中的区域下方。
在本公开的实施例中,至少一个眼动追踪光源840可设置在第一子显示区812_1内部,以朝向用户的眼睛151发射光160,其中,第一子显示区812_1与第一显示区811相比具有相对高的透射率。第一子显示区812_1的每单位面积的多个第二像素814_1的数量可比与第一子显示区812_1邻近的第一显示区811的每单位面积的多个第一像素813的数量少。因此,可改善通过第一子显示区812_1向用户的眼睛151提供光160的至少一个眼动追踪光源840的发射性能。
在本公开的实施例中,至少一个眼动追踪传感器850可设置在显示器800下方,并且可相对于第一方向轴10设置在第二子显示区812_2内部。至少一个眼动追踪传感器850可相对于第一方向轴10设置第一显示区811外部。至少一个眼动追踪光源850可设置在基板830的包括在第二子显示区812_2中的区域下方。
在本公开的实施例中,至少一个眼动追踪传感器850可设置在与第一显示区811相比具有相对高的透射率的第二子显示区812_2内,以接收反射光170,反射光170是从用户的眼睛151反射的光。可使第二子显示区812_2的每单位面积的多个第二像素814_2的数量比与第二子显示区812_2邻近的第一显示区811的每单位面积的多个第一像素813的数量少,从而可改善通过第二子显示区812_2接收反射光170的至少一个眼动追踪传感器850的光接收性能。
参照图8,第一子显示区812_1和第二子显示区812_2彼此间隔开。第一子显示区812_1和第二子显示区812_2可各自由第一显示区811围绕。第一子显示区812_1和第二子显示区812_2可在由第二方向轴20和第三方向轴30限定的平面中彼此间隔开的同时被包括在显示器110中。然而,本公开不限于此,并且第一子显示区812_1和第二子显示区812_2可彼此接触并且集成在显示器110中作为单个区。
多个第二像素814可包括第一子显示区812_1中包括的多个第一子像素814_1和第二子显示区812_2中包括的多个第二子像素814_2。参照图8,每单位面积的多个第一子像素814_1的数量等于每单位面积的多个第二子像素814_2的数量。然而,本公开不限于此,并且每单位面积的第一子像素814_1的数量可与每单位面积的第二子像素814_2的数量不同。
图9是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。在下文中,将相同的附图标号分配给与参照图5至图8描述的组件相同的组件,并且将省略上面已经提供的描述。
图9示出了从第一方向轴10观看的显示器110、光学透镜120、至少一个眼动追踪光源910和至少一个眼动追踪传感器920。
在本公开的实施例中,光学透镜120可相对于第一方向轴10设置在显示器110上。在本公开的实施例中,光学透镜120可在由第二方向轴20和第三方向轴30限定的平面中具有圆形形状。在本公开的实施例中,显示器110可在由第二方向轴20和第三方向轴30限定的平面中具有矩形形状。
在本公开的实施例中,显示器110在由第二方向轴20和第三方向轴30限定的平面中的整个横截面可与光学透镜120在由第二方向轴20和第三方向轴30限定的平面中的横截面重叠。在本公开的实施例中,显示器110在由第二方向轴20和第三方向轴30限定的平面中的横截面面积可比光学透镜120在由第二方向轴20和第三方向轴30限定的平面中的横截面面积小。显示器110的第一显示区111和第二显示区112在由第二方向轴20和第三方向轴30限定的平面中的横截面面积可比光学透镜120的孔径光阑的横截面面积小。光学透镜120在由第二方向轴20和第三方向轴30限定的平面中的孔径光阑可内接在显示器110的第一显示区111和第二显示区112中。
在本公开的实施例中,显示器110可包括第一显示区111和第二显示区112。第一显示区111可对应于显示器110的中心部分。第二显示区112可与第一显示区111邻近。在本公开的实施例中,第二显示区112可被第一显示区111围绕。然而,本公开不限于此,并且第二显示区112的边界中的一些边界可接触第一显示区111,并且第二显示区112的其余边界可以不接触第一显示区111。
在本公开的实施例中,至少一个眼动追踪光源910可设置在光学透镜120下方,并且相对于第一方向轴10与光学透镜120重叠。至少一个眼动追踪光源910可相对于第一方向轴10不与显示器110重叠。至少一个眼动追踪光源910可设置在第一显示区111和第二显示区112外部。然而,本公开不限于此,并且当显示器110包括不显示图像的非显示区(例如,边框)时,至少一个眼动追踪光源910可设置在第一显示区111和第二显示区112外部,并且还可设置在非显示区内部。
在本公开的实施例中,至少一个眼动追踪传感器920可设置在显示器110下方,并且可相对于第一方向轴10设置在显示器110的第二显示区112内部。在本公开的实施例中,至少一个眼动追踪传感器920可设置在显示器110的第一显示区111外部。
参照图5和图9,可基于光学透镜120的中心931限定具有参考半径932的感兴趣区930。可基于预先确定的参考角度530和第一距离540来设置参考半径932。在本公开的实施例中,感兴趣区930可以是显示器110上显示的图像在通过光学透镜120折射、反射或散射之后形成的区域。用户150可基于在感兴趣区930中形成的图像来识别出经由HMD设备100提供的图像。在本公开的实施例中,至少一个处理器(图3的191)可识别用户150的视线与感兴趣区930相交的视点,并且基于识别的视点来控制在显示器110上显示的图像和HMD设备100的操作。尽管图5示出了人类眼睛151与感兴趣区550之间的距离等于用户的眼睛151与光学透镜120之间的第一距离540,但本公开不限于此。基于光学透镜120的形状、配置和折射率,用户的眼睛151与感兴趣区550之间的距离可比用户的眼睛151与光学透镜120之间的第一距离540小。
在本公开的实施例中,由第二方向轴20和第三方向轴30限定的平面中的感兴趣区930可不同于显示器110的由第二方向轴20和第三方向轴30限定的横截面。
在本公开的实施例中,用户150可通过使用与周边视觉相比具有相对高的视敏度的中心视觉来移动他或她的眼睛以观看在与感兴趣区930对应的区域中显示的图像。因此,在与感兴趣区930对应的区域中显示的图像可被用户150清楚地观看。
另一方面,用户150可通过使用与中心视觉相比具有相对低的视敏度的周边视觉来观看在除了与感兴趣区930对应的区域之外的区域中显示的图像。因此,在除了与感兴趣区930对应的区域之外的区域中显示的图像对用户150来说可看起来模糊。
在本公开的实施例中,第一显示区111可对应于感兴趣区930。第一显示区111可相对于第一方向轴10与感兴趣区930重叠。第一显示区111的一部分可与感兴趣区930重叠,并且第一显示区111的一部分可以不与感兴趣区930重叠。
在本公开的实施例中,第二显示区112可设置在感兴趣区930外部。第二显示区112可相对于第一方向轴10不与感兴趣区930重叠。因为在第二显示区112中显示的图像是在显示器110的除了与感兴趣区930对应的区域之外的区域中显示的图像,所以对用户150来说图像可看起来模糊。因此,即使当第二显示区112的分辨率比第一显示区111的分辨率低时,也可防止用户150感知到第二显示区112中显示的图像的质量与第一显示区111中显示的图像的质量之间的差异。
因此,本公开的HMD设备100可将至少一个眼动追踪传感器920设置为在由第二方向轴20和第三方向轴30限定的平面中靠近用户的眼睛151,并且被包括在显示器110中具有高透射率的第二显示区112中,从而在防止用户150感知到由于第二显示区112而导致的图像质量差异的同时改善至少一个眼动追踪传感器920的光接收性能。
图10是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。在下文中,将相同的附图标号分配给与参照图9描述的组件相同的组件,并且将省略上面已经提供的描述。
图10示出了从第一方向轴10观看的显示器110、光学透镜120、至少一个眼动追踪光源1010和至少一个眼动追踪传感器1020。
在本公开的实施例中,光学透镜120可相对于第一方向轴10设置在显示器110上。在本公开的实施例中,光学透镜120可在由第二方向轴20和第三方向轴30限定的平面中具有圆形形状。在本公开的实施例中,显示器110可在由第二方向轴20和第三方向轴30限定的平面中具有矩形形状。
在本公开的实施例中,至少一个眼动追踪光源1010可设置在光学透镜120下方并且相对于第一方向轴10与光学透镜120重叠。至少一个眼动追踪光源1010可设置在第一显示区111和第二显示区112外部。
尽管图10示出了HMD设备(图1的100)包括四个眼动追踪光源1010,但本公开不限于此。HMD设备100可包括三个或更少的眼动追踪光源,或者五个或更多的眼动追踪光源。另外,尽管图10示出了四个眼动追踪光源1010在光学透镜120的顶部、底部、左侧和右侧上彼此间隔开,但本公开不限于此。包括在HMD设备100中的至少一个眼动追踪光源1010的布置可根据来自用户的眼睛(图1的151)的将被测量的反射光的图案而变化。
在本公开的实施例中,至少一个眼动追踪传感器1020可设置在显示器110下方,并且可相对于第一方向轴10设置在显示器110的第二显示区112内部。在本公开的实施例中,至少一个眼动追踪传感器1020可设置在显示器110的第一显示区111外部。在本公开的实施例中,至少一个眼动追踪传感器1020可设置在感兴趣区930外部。
在本公开的实施例中,图10示出了HMD设备100包括两个眼动追踪传感器1020。两个眼动追踪传感器1020可各自设置在第二显示区112内部。然而,本公开不限于此。HMD设备100可包括一个眼动追踪传感器或者三个或更多个眼动追踪传感器。另外,尽管图10示出了两个眼动追踪传感器1020彼此间隔开,但本公开不限于此。包括在HMD设备100中的两个或更多个眼动追踪传感器可彼此邻近地布置并且与共同的第二显示区重叠。
图11是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。在下文中,将相同的附图标号分配给与参照图9和图10描述的组件相同的组件,并且将省略上面已经提供的描述。
图11示出了从第一方向轴10观看的显示器110、光学透镜120、至少一个眼动追踪光源1110和至少一个眼动追踪传感器1120。
在本公开的实施例中,光学透镜120可相对于第一方向轴10设置在显示器110上。在本公开的实施例中,光学透镜120可在由第二方向轴20和第三方向轴30限定的平面中具有圆形形状。在本公开的实施例中,显示器110可在由第二方向轴20和第三方向轴30限定的平面中具有矩形形状。
在本公开的实施例中,至少一个眼动追踪光源1110可设置在显示器110下方,因此至少一个眼动追踪光源1110可相对于第一方向轴10设置在显示器110的第二显示区112内部。至少一个眼动追踪光源1110可设置在显示器110的第一显示区111外部。在本公开的实施例中,至少一个眼动追踪光源1110可设置在感兴趣区930外部。至少一个眼动追踪光源1110可相对于第一方向轴10与光学透镜120重叠。
图11示出了HMD设备100包括三个眼动追踪光源1110。第二显示区112可包括分别与三个眼动追踪光源1110重叠的三个第一子显示区112_1。尽管图11示出了三个眼动追踪光源1110和三个第一子显示区112_1被布置为彼此间隔开,但本公开不限于此。三个眼动追踪光源1110可彼此邻近地布置,并且可设置在一个共同的第一子显示区112内。
在本公开的实施例中,至少一个眼动追踪传感器1120可设置在显示器110下方,因此至少一个眼动追踪传感器1120可相对于第一方向轴10设置在显示器110的第二显示区112内部。至少一个眼动追踪传感器1120可设置在感兴趣区930外部。
图11示出了HMD设备包括一个眼动追踪传感器1120。第二显示区112可包括与一个眼动追踪传感器1120重叠的一个第二子显示区112_2。尽管图11示出了一个眼动追踪传感器1120和三个眼动追踪光源1110彼此间隔开,但本公开不限于此。一个眼动追踪传感器1120和三个眼动追踪光源1110可彼此邻近地布置,并且可设置在一个共同的第二显示区112内部。
图12是示出根据本公开的实施例的眼动追踪传感器和眼动追踪光源的布置的平面图。在下文中,将相同的附图标号分配给与参照图9至图11描述的组件相同的组件,并且将省略上面已经提供的描述。
图12示出了从第一方向轴10观看的显示器110、光学透镜120、至少一个眼动追踪光源1210和至少一个眼动追踪传感器1220。
在本公开的实施例中,光学透镜120可相对于第一方向轴10设置在显示器110上。在本公开的实施例中,光学透镜120可在由第二方向轴20和第三方向轴30限定的平面中具有圆形形状。在本公开的实施例中,显示器110可在由第二方向轴20和第三方向轴30限定的平面中具有圆形形状。然而,本公开不限于此,光学透镜120和显示器110可具有其他形状,诸如四边形形状。
在本公开的实施例中,至少一个眼动追踪光源1210可设置在光学透镜120下方并且相对于第一方向轴10与光学透镜120重叠。至少一个眼动追踪光源1210可相对于第一方向轴10设置在第一显示区111和第二显示区112外部。
在本公开的实施例中,至少一个眼动追踪传感器1220可设置在显示器110下方,并且可相对于第一方向轴10设置在显示器110的第二显示区112内部。在本公开的实施例中,至少一个眼动追踪传感器1220可设置在显示器110的第一显示区111外部。在本公开的实施例中,至少一个眼动追踪传感器1220可设置在感兴趣区1230外部,其中,感兴趣区1230具有基于光学透镜120的中心1231的参考半径1232。
为了解决上述问题,根据本公开的实施例,提供了一种包括显示器以及与显示器的第一侧邻近地设置的光学透镜的HMD设备。HMD设备可包括至少一个光源。HMD设备可包括至少一个眼动追踪传感器,其中,至少一个眼动追踪传感器与显示器的第二侧邻近地设置,并且被配置为通过接收反射光来获得关于用户的视线信息,其中,反射光是在从至少一个光源发射的光从用户的眼睛被反射时获得的。显示器可包括与设置有至少一个眼动追踪传感器的位置对应的第二显示区以及除了第二显示区之外的第一显示区。第一显示区的每单位面积的像素数量可比第二显示区的每单位面积的像素数量多。
在本公开的实施例中,第一显示区可与感兴趣区对应,其中,感兴趣区是具有与参考角度对应的参考半径的区,其中,参考角度是基于光学透镜的中心以及用户的眼睛与光学透镜之间的距离被预先确定的。第二显示区可与第一显示区邻近并且可设置在感兴趣区外部。
在本公开的实施例中,预先确定的参考角度可设置为至少10°但不大于40°的角度。
在本公开的实施例中,显示器的横截面面积可比光学透镜的横截面面积小。在本公开的实施例中,光学透镜的孔径光阑的横截面面积可大于或等于显示器的显示区的横截面面积。在本公开的实施例中,光学透镜的孔径光阑可内接在显示器的显示区中。
在本公开的实施例中,至少一个眼动追踪传感器可通过接收反射光来获得关于用户的生物特征信息,其中,反射光是在从至少一个光源发射的光从用户的眼睛被反射时获得的。
在本公开的实施例中,显示器可包括基板、设置在基板上的电路层以及设置在电路层上的多个像素,其中,显示器的第一侧是与多个像素邻近的一侧,并且显示器的第二侧是与基板邻近的一侧。
在本公开的实施例中,所述基板可设置在至少一个眼动追踪传感器上方,并且至少一个眼动追踪传感器可设置为与基板的与第一显示区的外部对应的区域重叠。
在本公开的实施例中,第二显示区可包括第一子显示区和第二子显示区,其中,至少一个眼动追踪传感器被设置在第一子显示区中,至少一个光源被设置在第二子显示区中。
在本公开的实施例中,用户的眼睛与光学透镜之间的第一距离可比用户的眼睛与显示器之间的第二距离小。
在本公开的实施例中,显示器可包括与用户的左眼对应的第一显示器和与用户的右眼对应的第二显示器。光学透镜可包括与第一显示器对应的第一光学透镜和与第二显示器对应的第二光学透镜。至少一个眼动追踪传感器可包括与第一显示器对应的至少一个第一眼动追踪传感器和与第二显示器对应的至少一个第二眼动追踪传感器。
在本公开的实施例中,至少一个光源可包括与第一显示器对应的至少一个第一眼动追踪光源和与第二显示器对应的至少一个第二眼动追踪光源。
在本公开的实施例中,第二显示区的透射率可比第一显示区的透射率大。
在本公开的实施例中,所述多个像素中的每一个可包含OLED。
为了解决上述问题,根据本公开的实施例,还提供了一种包括显示器以及与显示器的第一侧邻近地设置的光学透镜的HMD设备。HMD设备可包括至少一个光源。HMD设备可包括至少一个眼动追踪传感器,其中,至少一个眼动追踪传感器与显示器的第二侧邻近地设置并且被配置为接收反射光,其中,反射光是在从至少一个光源发射的光从用户的眼睛被反射时获得的。HMD设备可包括存储至少一个指令的存储器以及被配置为执行存储在存储器中的至少一个指令的至少一个处理器。至少一个处理器可被配置为基于由至少一个眼动追踪传感器接收的反射光来获得关于用户的视线信息。显示器可包括与设置有至少一个眼动追踪传感器的位置对应的第二显示区以及除了第二显示区之外的第一显示区。第一显示区的每单位面积的像素数量可比第二显示区的每单位面积的像素数量多。
在本公开的实施例中,第一显示区可与感兴趣区对应,其中,感兴趣区是具有与参考角度对应的参考半径的区,其中,参考角度是基于光学透镜的中心以及用户的眼睛与光学透镜之间的距离被预先确定的,并且第二显示区可与第一显示区邻近并且可设置在感兴趣区外部。预先确定的参考角度可设置为至少10°但不大于40°的角度。
在本公开的实施例中,显示器可包括与用户的左眼对应的第一显示器和与用户的右眼对应的第二显示器。光学透镜可包括与第一显示器对应的第一光学透镜和与第二显示器对应的第二光学透镜。至少一个眼动追踪传感器可包括与第一显示器对应的至少一个第一眼动追踪传感器和与第二显示器对应的至少一个第二眼动追踪传感器。至少一个光源可包括与第一显示器对应的至少一个第一眼动追踪光源和与第二显示器对应的至少一个第二眼动追踪光源。
为了解决上述问题,根据本公开的实施例,还提供了一种HMD设备的操作方法,其中,HMD设备包括显示器和与显示器的第一侧邻近地设置的光学透镜。HMD设备的操作方法可包括通过使用至少一个光源朝向用户的眼睛发射光。HMD设备的操作方法可包括通过使用与显示器的第二侧邻近地设置的至少一个眼动追踪传感器来接收反射光,其中,反射光是在光从至少一个光源被发射并从用户的眼睛被反射时获得的。HMD设备的操作方法可包括基于接收的反射光获得关于用户的视线信息。显示器可包括与设置有至少一个眼动追踪传感器的位置对应的第二显示区以及除了第二显示区之外的第一显示区。第一显示区的每单位面积的像素数量可比第二显示区的每单位面积的像素数量大。
在本公开的实施例中,第一显示区可与感兴趣区对应,其中,感兴趣区是具有与参考角度对应的参考半径的区,其中,参考角度是基于光学透镜的中心以及用户的眼睛与光学透镜之间的距离被预先确定的,并且第二显示区可与第一显示区邻近并且可设置在感兴趣区外部。预先确定的参考角度可设置为至少10°但不大于40°的角度。
在本公开的实施例中,显示器可包括与用户的左眼对应的第一显示器和与用户的右眼对应的第二显示器。光学透镜可包括与第一显示器对应的第一光学透镜和与第二显示器对应的第二光学透镜。至少一个眼动追踪传感器可包括与第一显示器对应的至少一个第一眼动追踪传感器和与第二显示器对应的至少一个第二眼动追踪传感器。至少一个光源可包括与第一显示器对应的至少一个第一眼动追踪光源和与第二显示器对应的至少一个第二眼动追踪光源。
在本公开的实施例中,提供了一种在其上记录有程序的计算机可读记录介质,其中,程序用于在计算机上执行根据本公开的实施例的HMD设备100的操作方法中的至少一个。
由本说明书中描述的HMD设备100执行的程序可被实现为硬件组件、软件组件以及/或者硬件组件和软件组件的组合。程序可由能够执行计算机可读指令的任何系统执行。
软件可包括计算机程序、一段代码、指令或者它们的一个或更多个的组合,并且将处理装置配置为根据需要操作或独立地或共同地指示处理装置。
软件可被实现为包括存储在计算机可读存储介质中的指令的计算机程序。计算机可读记录介质的示例包括磁存储介质(例如,ROM、RAM、软盘、硬盘等)、光记录介质(例如,光盘(CD)-ROM、数字通用光盘(DVD)等)等。计算机可读记录介质可分布在通过网络连接的计算机系统上,使得计算机可读代码可以以分布式方式存储和执行。记录介质可由计算机读取,存储在存储器中,并且由处理器执行。
可以以非暂时性存储介质的形式提供计算机可读存储介质。在这方面,术语“非暂时性”仅意味着存储介质不包括信号(例如,电磁波)并且是有形装置,并且该术语不区分数据被半永久地存储在存储介质中和数据被临时存储在存储介质中。例如,“非暂时性存储介质”可包括临时存储数据的缓冲器。
此外,当提供时,根据本说明书中阐述的本公开的实施例的程序可被包括在计算机程序产品中。计算机程序产品可作为产品在卖方与买方之间交易。
计算机程序产品可包括软件程序和其上存储有软件程序的计算机可读存储介质。例如,计算机程序产品可包括由HMD设备100的制造商或通过电子市场(例如,三星盖乐世商店TM)电子分发的软件程序形式的产品(例如,可下载的应用)。对于这种电子分发,软件程序的至少一部分可存储在存储介质中或者可以临时产生。在这种情况下,存储介质可以是HMD设备100的制造商的服务器、电子市场的服务器或用于临时存储软件程序的中继服务器的存储介质。

Claims (15)

1.一种头戴式显示器(HMD)设备(100),包括:
显示器(110);
光学透镜(120),与显示器(110)的第一侧邻近地设置;
至少一个光源(130),被配置为发射光;以及
至少一个眼动追踪传感器(140),与显示器(110)的第二侧邻近,并且被配置为通过接收反射光来获得关于用户的视线信息,其中,所述反射光是从至少一个光源(130)发射并且从所述用户的眼睛反射的光的至少一部分,
其中,显示器(110)包括与至少一个眼动追踪传感器(140)的位置对应的第二显示区以及除了第二显示区之外的第一显示区,以及
其中,第一显示区的每单位面积的像素数量比第二显示区的每单位面积的像素数量多。
2.如权利要求1所述的HMD设备(100),其中,
第一显示区与具有与参考角度对应的参考半径的感兴趣区对应,其中,所述参考角度是基于光学透镜(120)的中心以及所述用户的眼睛与光学透镜(120)之间的距离被预先确定的,
其中,第二显示区与第一显示区邻近并且在所述感兴趣区外部。
3.如权利要求2所述的HMD设备(100),其中,所述参考角度被设置为在10°至40°的范围内的角度。
4.如权利要求1至3中任一项所述的HMD设备(100),其中,显示器(110)的横截面面积比光学透镜(120)的横截面面积小。
5.如权利要求1至4中任一项所述的HMD设备(100),其中,至少一个眼动追踪传感器(140)还被配置为通过所述接收反射光来获得关于所述用户的生物特征信息,其中,所述反射光是在从至少一个光源(130)发射的光从所述用户的眼睛被反射时获得的。
6.如权利要求1至5中任一项所述的HMD设备(100),其中,
显示器(100)包括:
基板;
所述基板上的电路层;以及
所述电路层上的多个像素,
其中,显示器的第一侧与所述多个像素邻近,以及
显示器的第二侧与所述基板邻近。
7.如权利要求6所述的HMD设备(100),其中,
所述基板在至少一个眼动追踪传感器(140)上方,以及
其中,至少一个眼动追踪传感器(140)与所述基板的与第一显示区的外部对应的区域重叠。
8.如权利要求6和7中任一项所述的HMD设备(100),其中,
所述基板在至少一个光源(130)上方,以及
其中,至少一个光源(130)与所述基板的与第二显示区对应的区域重叠。
9.如权利要求8所述的HMD设备(100),其中,第二显示区包括设置有至少一个眼动追踪传感器(140)的第一子显示区和设置有至少一个光源(130)的第二子显示区。
10.如权利要求1至9中任一项所述的HMD设备(100),其中,
所述用户的眼睛与光学透镜(120)之间的第一距离比所述用户的眼睛与显示器(110)之间的第二距离小。
11.如权利要求1至10中任一项所述的HMD设备(100),其中,
显示器(110)包括与所述用户的左眼对应的第一显示器和与所述用户的右眼对应的第二显示器,
光学透镜(120)包括与第一显示器对应的第一光学透镜和与第二显示器对应的第二光学透镜,
至少一个眼动追踪传感器(140)包括与第一显示器对应的至少一个第一眼动追踪传感器和与第二显示器对应的至少一个第二眼动追踪传感器。
12.如权利要求11所述的HMD设备(100),其中,至少一个光源(130)包括与第一显示器对应的至少一个第一眼动追踪光源和与第二显示器对应的至少一个第二眼动追踪光源。
13.如权利要求1至12中任一项所述的HMD设备(100),其中,第二显示区的透射率比第一显示区的透射率大。
14.一种头戴式显示器(HMD)设备(100),包括:
显示器(110);
光学透镜(120),与显示器的第一侧邻近;
至少一个光源(130),被配置为发射光;
至少一个眼动追踪传感器(140),与显示器的第二侧邻近并且被配置为接收反射光,其中,所述反射光是从至少一个光源(130)发射并且从用户的眼睛反射的光;
存储器(192),存储至少一个指令;以及
至少一个处理器(191),被配置为执行存储在存储器(192)中的所述至少一个指令,以基于由至少一个眼动追踪传感器(140)接收的所述反射光获得关于所述用户的视线信息,
其中,所述显示器包括与至少一个眼动追踪传感器(140)的位置对应的第二显示区以及除了第二显示区之外的第一显示区,以及
第一显示区的每单位面积的像素数量比第二显示区的每单位面积的像素数量多。
15.一种头戴式显示器(HMD)设备(100)的操作方法,其中,HMD设备(100)包括显示器(110)和与显示器(110)的第一侧邻近地设置的光学透镜(120),所述操作方法包括:
由至少一个光源(130)朝向用户的眼睛发射光(S100);
由与显示器的第二侧邻近的至少一个眼动追踪传感器(140)接收反射光,其中,所述反射光是从至少一个光源(130)发射并从所述用户的眼睛反射的光(S200);以及
基于接收的所述反射光获得关于所述用户的视线信息(S300),
其中,显示器(110)包括与设置有至少一个眼动追踪传感器(140)的位置对应的第二显示区以及除了第二显示区之外的第一显示区,以及
其中,第一显示区的每单位面积的像素数量比第二显示区的每单位面积的像素数量多。
CN202380075104.6A 2022-12-29 2023-12-29 包括眼动追踪传感器的头戴式显示器装置和用于头戴式显示器装置的操作方法 Pending CN120112877A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020220189637A KR20240106658A (ko) 2022-12-29 2022-12-29 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법
KR10-2022-0189637 2022-12-29
PCT/KR2023/021990 WO2024144353A1 (ko) 2022-12-29 2023-12-29 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법

Publications (1)

Publication Number Publication Date
CN120112877A true CN120112877A (zh) 2025-06-06

Family

ID=91666489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380075104.6A Pending CN120112877A (zh) 2022-12-29 2023-12-29 包括眼动追踪传感器的头戴式显示器装置和用于头戴式显示器装置的操作方法

Country Status (3)

Country Link
US (1) US12493345B2 (zh)
EP (1) EP4542343A4 (zh)
CN (1) CN120112877A (zh)

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
BR112014018154A8 (pt) 2012-01-24 2017-07-11 Univ Arizona Visor de monitoramento ocular montado na cabeça
JP5867186B2 (ja) 2012-03-09 2016-02-24 セイコーエプソン株式会社 虚像表示装置
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
EP2958074A1 (en) 2014-06-17 2015-12-23 Thomson Licensing A method and a display device with pixel repartition optimization
CN104914575B (zh) * 2014-09-29 2017-11-14 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
US9684172B2 (en) * 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
KR20180057668A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
KR102458645B1 (ko) * 2015-12-28 2022-10-25 엘지디스플레이 주식회사 표시장치와 그 구동 방법
KR102570950B1 (ko) * 2015-12-28 2023-08-25 엘지디스플레이 주식회사 개인 몰입형 장치의 표시장치
US10095307B2 (en) * 2016-05-13 2018-10-09 Google Llc Eye tracking systems and methods for virtual reality environments
US10877556B2 (en) 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
CN110520825B (zh) 2017-04-17 2024-02-20 阿科尼亚全息有限责任公司 斜交镜辅助成像
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
US10546518B2 (en) * 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
US10345600B1 (en) 2017-06-08 2019-07-09 Facebook Technologies, Llc Dynamic control of optical axis location in head-mounted displays
KR102617230B1 (ko) * 2017-11-28 2023-12-21 엘지디스플레이 주식회사 개인 몰입형 장치 및 그 표시장치
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
US11157077B2 (en) * 2018-04-16 2021-10-26 Google Llc Method and system for dual mode eye tracking on wearable heads-up display
US10936056B2 (en) * 2018-04-16 2021-03-02 Google Llc Method and system of eye tracking with glint drift correction on wearable heads-up display
US10606349B1 (en) 2018-06-22 2020-03-31 Facebook Technologies, Llc Infrared transparent backlight device for eye tracking applications
US20200204715A1 (en) * 2018-12-25 2020-06-25 Incoflex Semiconductor Technology Co., Ltd. Electronic apparatus and terminal equipment
CN109645955B (zh) 2019-01-31 2023-11-21 北京大学第三医院(北京大学第三临床医学院) 基于vr和眼动追踪的多功能视觉功能检测装置及方法
KR20200109438A (ko) 2019-03-12 2020-09-23 삼성디스플레이 주식회사 가상 영상 표시장치 및 헤드 마운트 장치
US11650426B2 (en) * 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
CN110688004A (zh) 2019-09-10 2020-01-14 武汉华星光电半导体显示技术有限公司 显示面板和电子装置以及电子装置的操作方法
CN110581160B (zh) 2019-09-19 2022-06-21 合肥京东方卓印科技有限公司 一种显示基板及其制备方法、显示装置
TW202133456A (zh) 2020-02-13 2021-09-01 日商索尼半導體解決方案公司 顯示裝置、電子機器及顯示裝置之製造方法
US11543666B2 (en) * 2020-05-22 2023-01-03 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization in at least one waveguide
CN111462637B (zh) * 2020-05-29 2022-07-01 上海天马微电子有限公司 一种显示面板和显示装置
JP7576938B2 (ja) * 2020-07-22 2024-11-01 武漢天馬微電子有限公司 表示装置
KR20220100741A (ko) * 2021-01-08 2022-07-18 삼성디스플레이 주식회사 표시 패널, 표시 장치 및 표시 장치 제어 방법
KR20220105194A (ko) * 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
KR20220105698A (ko) 2021-01-20 2022-07-28 삼성전자주식회사 증강현실 안경 렌즈, 이를 포함하는 증강현실 안경 및 시스템
US12052411B2 (en) * 2021-07-30 2024-07-30 Samsung Electronics Co., Ltd. Adjustment device and method of operating the same
US20230144296A1 (en) * 2021-11-08 2023-05-11 Meta Platforms Technologies, Llc Fresnel lenses with reduced optical artifacts
KR20240124477A (ko) * 2023-02-08 2024-08-19 삼성디스플레이 주식회사 헤드 마운트 디스플레이

Also Published As

Publication number Publication date
EP4542343A1 (en) 2025-04-23
US20240220008A1 (en) 2024-07-04
US12493345B2 (en) 2025-12-09
EP4542343A4 (en) 2025-11-19

Similar Documents

Publication Publication Date Title
US12279033B2 (en) Augmented reality device including variable focus lenses and operating method thereof
JP7710586B2 (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
US11868524B2 (en) Augmented reality device and operating method thereof
US10852817B1 (en) Eye tracking combiner having multiple perspectives
US11314323B2 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
US10725302B1 (en) Stereo imaging with Fresnel facets and Fresnel reflections
KR20250138154A (ko) 사용자의 시선 방향에 따라 초점 영역을 조절하는 증강 현실 디바이스 및 그 동작 방법
JP2021532405A (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
US20170123488A1 (en) Tracking of wearer's eyes relative to wearable device
US11656471B2 (en) Eyewear including a push-pull lens set
KR20220170336A (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법
US12510758B2 (en) Eye reflections using IR light sources on a transparent substrate
US11435583B1 (en) Electronic device with back-to-back displays
EP4542343A1 (en) Head-mounted display device including eye tracking sensor and operation method for head-mounted display device
US12216380B2 (en) Gradient-index liquid crystal lens having a plurality of independently-operable driving zones
US20230341812A1 (en) Multi-layered polarization volume hologram
KR20240106658A (ko) 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법
CN117355786A (zh) 护目镜表面温度评估

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination