TW201809800A

TW201809800A - 頭戴式顯示器及使用其之視線檢測系統

Info

Publication number: TW201809800A
Application number: TW106119892A
Authority: TW
Inventors: 洛克藍威爾森; 瀬古圭一
Original assignee: Fove股份有限公司
Priority date: 2016-06-14
Filing date: 2017-06-14
Publication date: 2018-03-16
Also published as: KR20170141140A; CN107505707A; US20180003980A1; JP2017224942A; US10191285B2

Abstract

本發明涉及一種頭戴式顯示器，適於裝戴於用戶的頭部。頭戴式顯示器包括發射部、顯示屏、拍攝裝置以及輸出部。發射部用於向用戶的眼睛發射不可見光。顯示屏具有透射可見光並反射不可見光的顯示用玻璃，用於顯示向用戶顯示的圖像。拍攝裝置可以拍攝基於不可見光的圖像。輸出部輸出拍攝裝置所拍攝的圖像作為視線檢測用圖像。拍攝裝置透過從發射部發射並被用戶的眼睛反射後被顯示用玻璃反射的不可見光來拍攝用戶的眼睛。

Description

頭戴式顯示器及使用其之視線檢測系統

本發明係關於一種頭戴式顯示器。

以往，實行著在頭戴式顯示器顯示多種影像，並向用戶顯示的方式。例如，可以顯示視差圖像來顯示出立體影像。在這種頭戴式顯示器中，檢測用戶的視線來特別指定收看所顯示的影像的哪一處，或者根據這種特定來執行利用視線的輸入。

例如，參照專利文獻1（日本專利特開公報第11-73274號）中，向用戶的眼睛發射紅外線，來對發射有紅外線的用戶的眼睛進行拍攝，並根據這種拍攝圖像中的紅外線和用戶的瞳孔的位置來檢測用戶的視線方向。

但是，由於需要裝戴於用戶的頭部來使用，因此，需要使頭戴式顯示器的重量盡可能輕便，並且，需要盡可能緊凑的尺寸。由此，在上述專利文獻1中，為了實現用戶的視線檢測，使得用於拍攝用戶眼睛的攝影機的拍攝方向朝向顯示屏側後，配置於用戶側。而且，在用戶的眼睛和顯示屏之間配置用於反射不可見光並透射可見光的熱反射鏡，從而拍攝透過熱反射鏡反射的圖像，來實現用戶的視線檢測。

但是，透過配置該熱反射鏡，頭戴式顯示器與此相對應地增加重量，並在頭戴式顯示器中需要用於配置熱反射鏡的間隔，在這一點上，存在頭戴式顯示器的框體本身變大的問題。

因此，本發明考慮到上述問題而形成，本發明的目的在於，提供比以往輕且緊凑的頭戴式顯示器及利用頭戴式顯示器的視線檢測系統。

為了解决上述問題，本發明的一實施方式提供一種裝戴於用戶的頭部來使用的頭戴式顯示器，包括：發射部，用於向用戶的眼睛發射不可見光；顯示器，使發出包含不可見光的光的發光組件發光，來顯示用於向用戶顯示的圖像；拍攝裝置，可拍攝基於不可見光的圖像；以及輸出部，輸出拍攝裝置所拍攝的圖像作為視線檢測用圖像，顯示器的表面具有透射可見光並反射不可見光的覆蓋面，覆蓋面抑制從顯示器發出的不可見光到達拍攝裝置，拍攝裝置透過不可見光來拍攝用戶的眼睛，上述不可見光從發射部發射，透過用戶的眼睛來反射，並透過覆蓋面來得到反射。

並且，覆蓋面可在覆蓋顯示器的表面的透明板以蒸鍍金屬膜或電解質膜而成，以能夠透射可見光並反射不可見光。

並且，覆蓋面可為附著於顯示器的表面的能透射可見光並反射不可見光的不可見光反射膜。

並且，拍攝裝置可為以全域快門方式進行拍攝的拍攝裝置，當開啓全域快門時，發射部可發射不可見光，當關閉全域快門時，發射部可不發射不可見光。

並且，拍攝裝置可在消隱區域中執行拍攝，在上述消隱區域形成用於在顯示器顯示圖像的掃描。

並且，不可見光可為近紅外線，頭戴式顯示器還可包括生成部，上述生成部從拍攝裝置所拍攝的圖像中生成在顯示於顯示器的圖像中濾波與紅色的像素相對應的位置的紅色後的圖像，輸出部輸出生成部所生成的圖像。

並且，可使顯示器朝向拍攝裝置傾斜，使得顯示器所形成的平面和拍攝裝置的拍攝光軸所形成的角度接近90度。

並且，作為包括裝戴於用戶的頭部來使用的頭戴式顯示器和用於檢測用戶視線的視線檢測裝置的視線檢測系統，頭戴式顯示器包括：發射部，用於向用戶的眼睛發射不可見光；顯示器，使發出包含不可見光的光的發光組件發光，來顯示用於向用戶顯示的圖像；拍攝裝置，可拍攝基於不可見光的圖像；以及輸出部，輸出拍攝裝置所拍攝的圖像作為視線檢測用圖像，視線檢測裝置包括視線檢測部，上述視線檢測部根據輸出部所輸出的圖像來檢測用戶的視線方向，顯示器的表面具有透射可見光並反射不可見光的覆蓋面，覆蓋面抑制從顯示器發出的不可見光到達拍攝裝置，拍攝裝置透過從發射部發射並被用戶的眼睛反射後被覆蓋面反射的不可見光來拍攝用戶的眼睛。

並且，不可見光為近紅外線，針對從輸出部輸出的圖像，視線檢測部執行在顯示於顯示器的圖像中抑制與紅色系的像素相對應的位置的紅色的彩度的濾波，並根據所生成的圖像來執行視線檢測。

並且，在以上結構要素的任意組合、本發明的表達方法、裝置、系統、計算機程序、數據結構、記錄介質等之間進行轉換的內容同樣作為本發明的實施方式而有效。

為讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文列舉實施例，並配合所附圖式，詳細說明如下。

圖1為以示意性的方式表示實施方式的視線檢測系統1的概况的圖。實施方式的視線檢測系統1包括頭戴式顯示器100和視線檢測裝置200。如圖1所示，頭戴式顯示器100裝戴於用戶300的頭部來使用。

視線檢測裝置200對裝戴有頭戴式顯示器100的用戶的右眼及左眼的視線方向進行檢測，從而對用戶的焦點，即，用戶在顯示於頭戴式顯示器的三維圖像中所凝視的位置進行確認。並且，視線檢測裝置200還起到影像生成裝置的功能，上述影像生成裝置用於生成頭戴式顯示器100所顯示的影像。雖然未作限定，但作為一例，視線檢測裝置200為可以再生支架式游戲機、便携式游戲機、個人計算機（PC）、平板、智能手機、平板手機、放像機、電視機等的影像的裝置。視線檢測裝置200以無線或有線方式與頭戴式顯示器100相連接。在圖1所示的例中，視線檢測裝置200以無線方式與頭戴式顯示器100相連接。視線檢測裝置200可以利用如現有的無線保真（Wi-Fi）（註冊商標）或藍牙（Bluetooth，註冊商標）等無線通信技術來實現頭戴式顯示器100的無線連接。雖然未作限定，但作為一例，頭戴式顯示器100和視線檢測裝置200之間的影像的傳輸以Miracast（或WiGig（商標）、WHDI（商標））等的規格為准來執行。

並且，圖1表示頭戴式顯示器100和視線檢測裝置200為不同裝置的情况的例。但是，視線檢測裝置200也可以內置於頭戴式顯示器100。

頭戴式顯示器100包括框體150、裝戴件160及頭戴式耳機170。框體150收容用於圖像顯示組件等向用戶300提示影像的圖像指示器或未圖示的無線保真模塊或藍牙（註冊商標）模塊等無線傳輸模塊。裝戴件160在用戶300的頭部裝戴頭戴式顯示器100。裝戴件160可以透過如帶子或伸縮性的帶等來實現。若用戶300利用裝戴件160來裝戴頭戴式顯示器100，則框體150配置於覆蓋用戶300的眼睛的位置。由此，若用戶300裝戴頭戴式顯示器100，則用戶300的視野被框體150遮擋。

頭戴式耳機170輸出視線檢測裝置200所再生的影像的聲音。頭戴式耳機170也可以無需固定於頭戴式顯示器100。即使成為利用裝戴件160來裝戴了頭戴式顯示器100的狀態，用戶300也可以自由地佩戴和脫去頭戴式耳機170。

圖2為以示意性的方式表示實施方式的頭戴式顯示器100的圖像指示器130的概况的立體圖。更具體地，圖2為表示在實施方式的框體150中，當裝戴頭戴式顯示器100時，與用戶300的眼角膜302相向的區域的圖。

如圖2所示，當用戶300裝戴了頭戴式顯示器100時，左眼用凸透鏡114a被配置成為與用戶300的左眼的眼角膜302a相向的位置。同樣，當用戶300裝戴了頭戴式顯示器100時，右眼用凸透鏡114b被配置成為與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a和右眼用凸透鏡114b分別被左眼用透鏡支撑部152a和右眼用透鏡支撑部152b把持。

在以下的本說明書中，除了特意區分左眼用凸透鏡114a和右眼用凸透鏡114b的情况之外，簡單記載為“凸透鏡114”。同樣，除了特意區分用戶300的左眼的眼角膜302a和用戶300的右眼的眼角膜302b的情况之外，簡單記載為“眼角膜302”。除了特意區分的情况之外，左眼用透鏡支撑部152a和右眼用透鏡支撑部152b均被記載為“透鏡支撑部152”。

在透鏡支撑部152設置有多個紅外線光源103。為了避免變得繁雜，在圖2中，將對用戶300的左眼的眼角膜302a發射紅外線的紅外線光源統稱為紅外線光源103a，將對用戶300的右眼的眼角膜302b發射紅外線的紅外線光源統稱為紅外線光源103b。以下，除了特意區分的情况之外，記載紅外線光源103a和紅外線光源103b被記載為“紅外線光源103”。在圖2所示的例中，左眼用透鏡支撑部152a具有6個紅外線光源103a。同樣，右眼用透鏡支撑部152b也具有6個紅外線光源103b。像這樣，透過不直接在凸透鏡114配置紅外線光源103而在把持凸透鏡114的透鏡支撑部152配置紅外線光源103，使紅外線光源103的裝戴變得容易。這是因為，在一般情况下，由於透鏡支撑部152由樹脂等構成，因此，與由玻璃等構成的凸透鏡114相比，用於裝戴紅外線光源103的加工變得容易。

如上所述，透鏡支撑部152為把持凸透鏡114的部件。因此，設置於透鏡支撑部152的紅外線光源103被配置於凸透鏡114的周圍。並且，在此，雖然設置6個分別對眼睛發射紅外線的紅外線光源103，但這數量並不局限於此，而是與各個眼睛相對應，只要具有一個即可，優選地，配置有2個以上。

圖3為以示意性的方式表示實施方式的框體150所收容的圖像指示器130的光學結構的圖，是從左眼側的側面觀察圖2所示的框體150的情况的圖。圖像指示器130包括紅外線光源103、圖像顯示組件108、凸透鏡114、攝影機116及第一通信部118。

紅外線光源103為可以發射近紅外（700nm～2500nm程度）的波段的光的光源。近紅外線為通常無法用用戶300的肉眼觀測到的不可見光的波段的光。並且，在此所利用的近紅外線使用不會對用戶有害的波段的近紅外線。

圖像顯示組件108顯示用於向用戶300進行提示的圖像。圖像顯示組件108所顯示的圖像由視線檢測裝置200內的影像輸出部222生成。對於影像輸出部222，將進行後述。圖像顯示組件108可以利用如現有的液晶顯示器（LCD，Liquid Crystal Display）或有機電致發光顯示器（Organic Electro Luminescence Display）來實現。圖像顯示組件108的表面，即，至少用戶的眼睛側由被覆蓋面覆蓋的玻璃或透明樹脂覆蓋。該覆蓋面是為了透射可見光並反射不可見光而形成的面，例如，透過被蒸鍍的金屬膜或電解質膜（電解質多層膜）來實現。若是金屬膜，則為如鋁（Al）、金（Au）、鉑金（Pt）、鉻（Cr）、鈦（Ti）、鎳（Ni）、鉬（Mo）、銅（Cu）、銀（Ag）或其合金膜。並且，若是電解質膜，則利用如二氧化鈦（TiO8）、氧化矽（SiO2）、氧化鈮（Nb2O5）、五氧化二鉭（Ta2O5）、氟化鎂（MgF2）中的至少一種。即，在圖像顯示組件108的表面形成有金屬膜塗敷或電解質膜塗敷，從而實現透射可見光並反射不可見光的結構。由此，攝影機116可以不妨礙顯示於用戶的圖像顯示組件108的圖像的可視性，並可以透過圖像顯示組件108的反射來拍攝發射有紅外線的用戶的眼睛的圖像。

但是，圖像顯示組件108由多個像素形成，以便於顯示用於向用戶300進行提示的圖像，各像素由用於發出各顔色的發光組件（例如，發光二極體（LED））形成。雖然該發光組件基本上發出用戶300可視的可見光，但該發光組件也包含不可見光區域的頻率的光成分。因此，在圖像顯示組件108的表面不具有覆蓋面的狀態下，從發光組件發出的不可見光（近紅外線）有可能成為針對從基於攝影機116的紅外線光源103發射的紅外線的噪聲。但是，本實施方式的圖像顯示組件108可以在其表面設置用於透射可見光並反射不可見光的覆蓋面，從而可以反射從圖像顯示組件108發出的不可見光。因此，頭戴式顯示器100在攝影機116中具有用於抑制從圖像顯示組件108發出的不可見光的結構。並且，在玻璃和樹脂中，樹脂不僅具有可以比玻璃更為輕便地構成頭戴式顯示器100的優點，而且具有容易加工樹脂的表面的凹凸，且容易調整光的反射特性的優點。

並且，優選地，在圖像顯示組件108中，圖像顯示組件108所形成的平面相對於攝影機116的拍攝光軸盡可能以接近90度的方式傾斜。但那時，需要以用戶看見描繪於圖像顯示組件108的圖像的狀態下不會産生違和感的程度使圖像顯示組件108傾斜。透過使圖像顯示組件108傾斜，可以盡可能防止透過攝影機116的拍攝來獲得的圖像發生歪斜。

如圖3所示，當用戶300裝戴頭戴式顯示器100時，凸透鏡114配置於圖像顯示組件108和用戶300的眼角膜302之間。即，當頭戴式顯示器100裝戴於用戶300時，凸透鏡114配置於與用戶300的眼角膜302相向的位置。

凸透鏡114彙聚穿過圖像顯示組件108的圖像顯示光。由此，凸透鏡114起到對圖像顯示組件108所生成的圖像進行放大，並向用戶300進行提示的圖像放大部的功能。並且，為了說明的方便，雖然在圖2中只表示一個凸透鏡114，但凸透鏡114既可以為由多個透鏡組合而成的透鏡組，又可以為一側具有曲率，另一側為平面的單凸透鏡。

多個紅外線光源103配置於凸透鏡114的周圍。紅外線光源103朝向用戶300的眼角膜302發射紅外線。

雖然未圖示，但實施方式的頭戴式顯示器100的圖像指示器130具有2個圖像顯示組件108，因而可以獨立生成用於向用戶300的右側眼睛進行提示的圖像和用於向用戶300的左眼進行提示的圖像。由此，實施方式的頭戴式顯示器100可分別向用戶300的右眼和左眼提示右眼用視差圖像和左眼用視差圖像。由此，實施方式的頭戴式顯示器100可以對用戶300提示具有層次感的立體影像。

如上所述，圖像顯示組件108將可見光透射到覆蓋其表面的玻璃或透明樹脂並反射近紅外線。因此，圖像顯示組件108所發射的圖像光透射玻璃或透明樹脂，並到達至用戶300的眼角膜302。並且，從紅外線光源103發射，並到達用戶300的眼角膜302。

到達用戶300的眼角膜302的紅外線在用戶300的眼角膜302中得到反射，並重新朝向凸透鏡114的方向。上述紅外線透射凸透鏡114，並在圖像顯示組件108的表面得到反射。攝影機116具有用於阻隔可見光的濾波器，並對在圖像顯示組件108的表面得到反射的近紅外線進行拍攝。即，如圖3的單點劃線所示，攝影機116為對從紅外線光源103發射，並在用戶300的眼睛得到眼角膜反射的近紅外線進行拍攝的近紅外攝影機。

並且，雖然未圖示，但實施方式的頭戴式顯示器100的圖像指示器130具有2個攝影機116，即，對包含右眼睛所反射的紅外線的圖像進行拍攝的拍攝部和對包含左眼睛所反射的紅外線的圖像進行拍攝的拍攝部。由此，可以取得用於檢測用戶300的右眼及左眼雙方的視線方向的圖像。

第一通信部118向用於檢測用戶300的視線方向的視線檢測裝置200輸出攝影機116所拍攝的圖像。具體地，第一通信部118向視線檢測裝置200發送攝影機116所拍攝的圖像。對於起到視線方向檢測部的功能的視線檢測部221，將在後述內容中進行詳細說明，而透過視線檢測裝置200的中央處理器（CPU，Central Processing Unit）所執行的視線檢測程序來實現。並且，在頭戴式顯示器100具有中央處理器或存儲器等計算資源的情况下，頭戴式顯示器100的中央處理器也可執行實現視線方向檢測部的程序。

雖然詳細內容將進行後述，但在攝影機116所拍攝的圖像中，拍攝有包含源於用戶300的眼角膜302所反射的近紅外線的亮點和在近紅外的波段觀察到的用戶300的眼角膜302的眼睛的圖像。

圖4為視線檢測系統1的頭戴式顯示器100和視線檢測裝置200的框圖。如圖4所示，如上所述，視線檢測系統1包括相互執行通信的頭戴式顯示器100和視線檢測裝置200。

如圖4所示，頭戴式顯示器100包括第一通信部118、顯示部121、紅外線發射部122、圖像處理部123及拍攝部124。

第一通信部118為具有與視線檢測裝置200的第二通信部220執行通信的功能的通信界面。如上所述，第一通信部118透過有線通信或無線通信來與第二通信部220執行通信。可使用的通信規格的例如同上述。第一通信部118向第二通信部220發送從拍攝部124或圖像處理部123傳輸的用於視線檢測的圖像數據。並且，第一通信部118向顯示部121傳輸從視線檢測裝置200發送的三維圖像數據。

顯示部121具有向圖像顯示組件108顯示基於從第一通信部118傳輸的二維圖像數據或三維圖像數據的圖像的功能。三維圖像數據包含右眼用視差圖像和左眼用視差圖像，而它們成為視差圖像對。

紅外線發射部122控制紅外線光源103，並向用戶的右眼或左眼發射紅外線。紅外線發射部122根據從拍攝部124傳輸的攝影機116的全域快門的開閉時機來發射紅外線。即，當開啓攝影機116的全域快門時，發射紅外線，當關閉攝影機116的全域快門時，停止紅外線的發射。

根據需要，圖像處理部123對攝影機116所拍攝的圖像執行圖像處理，並向第一通信部118進行傳輸。

拍攝部124利用攝影機116來對包含各個眼睛所反射的近紅外線的圖像進行拍攝。拍攝部124向第一通信部118或圖像處理部123傳輸透過拍攝來獲得的圖像。拍攝部124向紅外線發射部122傳輸攝影機116的全域快門的開閉時機。

如圖4所示，視線檢測裝置200包括第二通信部220、視線檢測部221、影像輸出部222及存儲部225。

第二通信部220為具有與頭戴式顯示器100的第一通信部118執行通信的功能的通信接口。如上所述，第二通信部220透過有線通信或無線通信來與第一通信部118執行通信。

視線檢測部221從第二通信部220接收用戶的右眼的視線檢測用圖像數據，並檢測用戶的視線方向。視線檢測部221利用後述的方法來計算出用戶的視線方向。

影像輸出部222透過頭戴式顯示器100的顯示部121來生成顯示於圖像顯示組件108的三維圖像數據，並向第二通信部220進行傳輸。並且，影像輸出部222生成利用於實現視線檢測的標準的標記圖像數據，並向第二通信部220進行傳輸。影像輸出部222擁有包含用於表示所輸出的三維圖像的坐標系及該坐標系中所顯示的對象的三維位置坐標的信息。

存儲部225為用於存儲視線檢測裝置200在動作上所需的各種程序或數據的記錄介質。

然後，對實施方式的視線方向的檢測進行說明。

圖5為對用於進行實施方式的視線方向的檢測的標準進行說明的示意圖。透過由視線檢測裝置200內的視線檢測部221分析攝影機116所拍攝，且第一通信部118向視線檢測裝置200輸出的影像來實現用戶300的視線方向。

影像輸出部222生成圖5所示的點Q1～Q9等9個點（標記圖像），並顯示於頭戴式顯示器100的圖像顯示組件108。直到到達點Q1～點Q9為止，視線檢測裝置200依次使用戶300進行凝視。此時，用戶300無需移動脖子而僅透過最大限度地移動眼球來凝視各點。攝影機116對包括用戶300凝視Q1～Q9等9個點時的用戶300的眼角膜302的圖像進行拍攝。

圖6為對用戶300的眼角膜302的位置坐標進行說明的示意圖。視線檢測裝置200內的視線檢測部221對攝影機116所拍攝的圖像進行分析，並檢測源自紅外線的亮點105。當用戶300僅透過眼球的移動來凝視各點時，即使在用戶凝視任意點的情况下，也認為亮點105的位置不移動。因此，視線檢測部221依據所檢測的亮點105來在攝影機116所拍攝的圖像中設定二維坐標系306。

視線檢測部221透過對攝影機116所拍攝的圖像進行分析來檢測用戶300的眼角膜302的中心P。這可以利用如半轉換或邊緣提取處理等已知的圖像處理來實現。由此，視線檢測部221可以取得所設定的二維坐標系306中的用戶300的眼角膜302的中心P的坐標。

在圖5中，將設定於圖像顯示組件108所顯示的顯示畫面的二維坐標系中的點Q1～點Q9的坐標分別定為Q1（x1，y1）T、Q2（x2，y2）T……、Q9（x9，x9）T。各坐標成為如位於各點的中心的像素的編號。並且，將用戶300凝視點Q1～點Q9的用戶300的眼角膜302的中心P分別定為點P1～P9。此時，將二維坐標系306中的點P1～P9的坐標分別定為P1（X1，Y1）T、P2（X2，Y2）T、……、P9（Z9，Y9）T。並且，T表示向量或矩陣的轉置。

在此，如同以下的公式（1）定義2×2大小的矩陣M。公式1

此時，若矩陣M滿足以下的公式（2），則矩陣M成為將用戶300的視線方向投影到圖像顯示組件108所顯示的圖像面的矩陣。 P_N =MQ_N （N=1，……，9）（2）

如果詳細地寫出上述公式（2），將如以下公式（3）。公式2

如果改變公式（3）的型態的話，則可得到以下的公式（4）。公式3

在此，如果進行以下的替換，公式4

則可得到以下公式（5）。 y=Ax （5）

在公式（5）中，由於向量 y 的元素為視線檢測部221使圖像顯示組件108所顯示的點Q1～Q9的坐標，因此，就可以知道。並且，由於矩陣A的元素為用戶300的眼角膜302的頂點P的坐標，因而可以取得。因此，視線檢測部221可以取得向量y及矩陣A。並且，作為將轉換矩陣M的元素羅列而成的向量的向量x為未知。因此，推定矩陣M的問題成為已知向量y和矩陣A時求得未知的向量x的問題。

若公式的數（即，當視線檢測部221標準時，向用戶300提示的點Q的數）大於未知數的數（即，向量x的元素數4），則公式（5）成為超定（overdetermined）問題。由於在公式（5）所示的例中，公式的數為9個，因而屬於超定問題。

將向量y和向量Ax的誤差向量作為向量e。即，e=y-Ax。此時，在將向量e的元素的平方和作為最小的意義上，透過以下的公式（6）求得最佳的向量xopt。 x_opt =（A^T A）^-1 A^T y （6）

在此，“-1”表示逆矩陣。

視線檢測部221利用所求得的向量xopt的元素來構成公式（1）的矩陣M。由此，視線檢測部221可利用用戶300眼角膜302的頂點P的坐標和矩陣M，並根據公式（2）來在二維範圍內推定用戶300的眼睛凝視圖像顯示組件108所顯示的動畫影像上的哪一處。

以這種方式推定的視線方向可以利用如顯示於圖像顯示組件108的對象的輸入位置，或者可以反映於裝戴頭戴式顯示器100的用戶的網絡上的虛擬形象的表情。

＜動作＞

利用圖7來說明本實施方式的視線檢測系統1的動作。圖7為表示本實施方式的視線檢測系統1的動作的流程圖。

如圖7所示，視線檢測系統1的拍攝部124開啓攝影機116的全域快門（步驟S701）。

若開啓攝影機116的全域快門，則紅外線發射部122向用戶300的眼睛發射紅外線（步驟S702）。

若向用戶的眼睛發射紅外線，則拍攝部124拍攝被用戶300的眼角膜反射並被作為顯示屏的圖像顯示組件108反射的紅外線（步驟S703）。拍攝部124向圖像處理部123或第一通信部118傳輸透過拍攝來獲得的圖像。第一通信部118向視線檢測裝置200發送透過圖像處理部123來實施規定的圖像處理的圖像或透過拍攝部124來拍攝的本來的圖像。

第二通信部220接收從頭戴式顯示器100發送的圖像數據，並向視線檢測部221進行傳輸。視線檢測部221在所接收的圖像數據中，透過攝影機116，並在該圖像數據被拍攝盜的時機中，根據與攝影機116的拍攝方向、景深、圖像顯示組件108之間的配置關係，來在攝影機116的拍攝範圍中，從顯示於圖像顯示組件108的圖像的像素數據中對發光為紅色的像素位置進行特定。即，在所接收的圖像中，透過顯示於圖像顯示組件108的圖像來對顯色為紅色的位置進行特定。由於從影像輸出部222輸出圖像顯示組件108所顯示的圖像，因此，視線檢測裝置200可以對該位置進行特定。而且，視線檢測部221對圖像數據中的特定位置的紅色進行掩蓋處理（步驟S704）。由此，可以降低視線檢測部221混淆基於圖像顯示組件108的紅色的顯色和基於近紅外線的顯色的可能性。

視線檢測部221根據掩蓋後的圖像數據來執行用戶300的視線檢測處理，並檢測用戶300的視線方向（步驟S705）。

在執行步驟S703的拍攝後，拍攝部124關閉攝影機116的全域快門（步驟S706）。

而且，若關閉全域快門，則紅外線發射部122停止紅外線的發射（步驟S707），並結束處理。

總結

透過上述所述的處理，本實施方式的頭戴式顯示器既可以在無需搭載以往所搭載的熱反射鏡的情况下透射可見光，也可以反射不可見光（近紅外線），從而實現拍攝向用戶的眼睛發射的紅外線的結構。由於未搭載熱反射鏡，因此，不僅可以相對應地使頭戴式顯示器實現輕量化，而且可以使其間隔變得緊凑。

補充

本發明的視線檢測系統並不局限於上述實施方式，也可以透過用於實現本發明的思想的其他方法來實現。

在上述實施方式中，在覆蓋圖像顯示組件108的表面的玻璃或透明樹脂中封入銀微細粒子，從而實現透射可見光並反射不可見光的結構，但本發明並不局限於此。也可以透過在凸透鏡114側附著透射可見光並反射不可見光的膜作為圖像顯示組件108的表面來實現。作為這種膜的一種，可以利用如所謂的熱屏蔽薄膜。作為這種不可見光反射膜的一例，只要是圖8所示的具有光學特性的膜就可以。圖8所示的圖表在橫軸中表示頻率，在縱軸中采用透射率來表示不可見光反射膜的頻率特性800，而透射率越高，越表示透射其頻率的光。因此，在具有圖8所示的頻率特性800的不可見光反射膜的情况下，不透射紅外線區域（約700nm以上，1200nm以下的頻帶）的光而透射可見光區域（約300nm以上，700nm以下的頻帶）的光。

並且，在上述實施方式中，攝影機116使用以全域快門方式進行拍攝的攝影機來在開啓全域快門的時機中發射紅外線並進行拍攝，但規定紅外線的發射時機的方法並不局限於此。例如，就圖像顯示組件108而言，當顯示圖像時，也可以發射掃描中所謂的消隱區間的紅外線，來執行基於攝影機116的拍攝。在圖像顯示組件108的消隱區間中執行基於攝影機116的拍攝意味著只在幀和幀之間的變暗的時間中透過不可見光（近紅外線）使攝影機116執行拍攝。因此，可在圖像顯示組件108中未顯示任何圖像的時機中執行基於向用戶的眼睛發射的近紅外線的拍攝，由此可以執行抑制基於在圖像顯示組件108顯示圖像的情况下進行發光的發光二極體的紅色的干涉的拍攝。因此，可以獲得更加鮮明地發射於用戶的眼睛的不可見光（近紅外線）和根據近紅外線來所拍攝的用戶的眼睛的圖像，從而可以進一步提高視線檢測的精密度。

並且，在上述實施方式中，步驟S701的處理和步驟S702的處理順序也可以相反，並且可以同時執行。同樣，步驟S706的處理和步驟S707的處理順序也可以相反，並且可以同時執行。並且，步驟S704和步驟S705的處理，以及步驟S706和步驟S707的處理也可以並行。並且，在上述實施方式中，雖然視線檢測裝置200的處理器以視線檢測方法執行視線檢測程序等，從而對用戶所凝視的位置進行確認，但這也可以在視線檢測裝置200中透過形成於集成電路（IC, Integrated Circuit）芯片、大規模集成電路（LSI, Large Scale Integration））等的邏輯電路（硬件）或專用電路來實現。並且，這種電路既可以透過一個或多個集成電路來實現，又可以透過一個集成電路來實現上述實施方式所示的多個功能部的功能。根據集成度的差異，大規模集成電路也可被稱之為超大規模集成電路（VLSI, Very Large Scale integration）、甚超大規模集成電路（ULSI, Ultra Large Scale integration）等。

並且，上述視線檢測程序可以記錄於處理器可讀取的記錄介質，而作為記錄介質，可以使用“非臨時性類型的介質”，例如，磁帶、光盤、卡片、半導體存儲器、可編程的邏輯電路等。並且，上述視線檢測程序也可以透過可傳輸上述檢索程序的任意的傳輸介質（通信網或廣播波等）來向上述處理器供給該檢索程序。本發明也能夠以透過上述視線檢測程序為電子的傳輸來體現的，載波所包含的數據信號的形態來實現。

並且，上述視線檢測程序可以利用如ActionScript、JavaScript（註冊商標）等的腳本語言、Objective-C、Java（註冊商標）等對象目標程序語言、HTML5等標記語言等來裝戴。

雖然本發明已用具體實施例揭露如上，但應瞭解的是：在不脫離本發明之精神和後附之申請專利範圍所界定範圍內，本發明所屬技術領域中具有通常知識者，當可對本發明作各種之更動與潤飾。

1‧‧‧視線檢測系統

100‧‧‧頭戴式顯示器

103a、103b‧‧‧紅外線光源

105‧‧‧亮點

108‧‧‧圖像顯示組件

114、114a、114b‧‧‧凸透鏡

116‧‧‧攝影機（第一拍攝部、第二拍攝部）

118‧‧‧第一通信部

121‧‧‧顯示部

122‧‧‧紅外線發射部

123‧‧‧圖像處理部

124‧‧‧拍攝部

130‧‧‧圖像指示器

150‧‧‧框體

152a、152b‧‧‧透鏡支撑部

160‧‧‧裝戴件

170‧‧‧頭戴式耳機

200‧‧‧視線檢測裝置

220‧‧‧第二通信部

221‧‧‧視線檢測部

222‧‧‧影像輸出部

225‧‧‧存儲部

圖1為表示用戶裝戴實施方式的頭戴式顯示器的狀態的外觀圖。圖2為以示意性的方式表示實施方式的頭戴式顯示器的圖像指示器的概况的立體圖。圖3為以示意性的方式表示實施方式的頭戴式顯示器的圖像指示器的光學結構的圖。圖4為表示實施方式的頭戴式顯示器系統的結構的框圖。圖5為對用於進行實施方式的視線方向的檢測的標準進行說明的示意圖。圖6為對用戶的眼角膜的位置坐標進行說明的示意圖。圖7為表示實施方式的影像系統1的動作的流程圖。圖8為以示意性的方式表示與圖像顯示組件的覆蓋面的光的透射率相關的頻率特性的圖表。

Claims

一種頭戴式顯示器，裝戴於用戶的頭部來使用，其特徵在於，包括：發射部，用於向用戶的眼睛發射不可見光；顯示器，使發出包含不可見光的光的發光組件發光，來顯示用於向上述用戶顯示的圖像；拍攝裝置，用以拍攝基於不可見光的圖像；以及輸出部，輸出上述拍攝裝置所拍攝的圖像作為視線檢測用圖像，上述顯示器的表面具有透射可見光並反射不可見光的覆蓋面，上述覆蓋面抑制從上述顯示器發出的不可見光到達上述拍攝裝置，上述拍攝裝置透過從上述發射部發射並被上述用戶的眼睛反射後被上述覆蓋面反射的不可見光來拍攝上述用戶的眼睛。
如申請專利範圍第1項所述的頭戴式顯示器，其中上述覆蓋面在覆蓋上述顯示器的表面的透明板以蒸鍍金屬膜或電解質膜而成，以透射可見光並反射不可見光。
如申請專利範圍第1項所述的頭戴式顯示器，其中上述覆蓋面為附著於上述顯示器的表面的用以透射可見光並反射不可見光的不可見光反射膜。
如申請專利範圍第1至3項中任一項所述的頭戴式顯示器，其中上述拍攝裝置為以全域快門方式進行拍攝的拍攝裝置，當開啓上述全域快門時，上述發射部發射上述不可見光，當關閉上述全域快門時，上述發射部不發射上述不可見光。
如申請專利範圍第1至3中任一項所述的頭戴式顯示器，其中上述拍攝裝置在消隱區域中執行拍攝，在上述消隱區域形成用於在上述顯示器顯示上述圖像的掃描。
如申請專利範圍第1至3中任一項所述的頭戴式顯示器，其中上述不可見光為近紅外線，上述頭戴式顯示器還包括生成部，上述生成部從上述拍攝裝置所拍攝的圖像中生成在顯示於上述顯示器的圖像中對與紅色的像素相對應的位置的紅色進行濾波後的圖像，上述輸出部輸出上述生成部所生成的圖像。
如申請專利範圍第1至6中任一項所述的頭戴式顯示器，其中使上述顯示器朝向上述拍攝裝置傾斜，使得上述顯示器所形成的平面和上述拍攝裝置的拍攝光軸所形成的角度接近90度。
一種視線檢測系統，包括頭戴式顯示器和視線檢測裝置，上述頭戴式顯示器裝戴於用戶的頭部來使用，上述視線檢測裝置用於檢測用戶的視線，上述視線檢測系統的特徵在於，上述頭戴式顯示器包括：發射部，用於向用戶的眼睛發射不可見光；顯示器，使發出包含不可見光的光的發光組件發光，來顯示用於向上述用戶顯示的圖像；拍攝裝置，用以拍攝基於不可見光的圖像；以及輸出部，輸出上述拍攝裝置所拍攝的圖像作為視線檢測用圖像，上述視線檢測裝置包括視線檢測部，上述視線檢測部根據上述輸出部所輸出的圖像來檢測用戶的視線方向，上述顯示器的表面具有用以透射可見光並反射不可見光的覆蓋面，上述覆蓋面抑制從上述顯示器發出的不可見光到達上述拍攝裝置，上述拍攝裝置透過從上述發射部發射並被上述用戶的眼睛反射後被上述覆蓋面反射的不可見光來拍攝上述用戶的眼睛。
如申請專利範圍第8所述的視線檢測系統，其中上述覆蓋面在覆蓋上述顯示器的表面的透明板以蒸鍍金屬膜或電解質膜而成，以透射可見光並反射不可見光。
如申請專利範圍第8所述的視線檢測系統，其中上述覆蓋面為附著於上述顯示器的表面的用以透射可見光並反射不可見光的不可見光反射膜。
如申請專利範圍第8所述的視線檢測系統，其中上述拍攝裝置為以全域快門方式進行拍攝的拍攝裝置，當開啓上述全域快門時，上述發射部發射上述不可見光，當關閉上述全域快門時，上述發射部不發射上述不可見光。
如申請專利範圍第8至10中任一項所述的視線檢測系統，其中上述拍攝裝置在消隱區域中執行拍攝，在上述消隱區域形成用於在上述顯示器顯示上述圖像的掃描。
如申請專利範圍第8至10中任一項所述的視線檢測系統，其中上述不可見光為近紅外線，針對從上述輸出部輸出的圖像，上述視線檢測部執行在顯示於上述顯示器的圖像中抑制與紅色系的像素相對應的位置的紅色的彩度的濾波，並根據所生成的圖像來執行視線檢測。
如申請專利範圍第8至13中任一項所述的視線檢測系統，其中使上述顯示器朝向上述拍攝裝置傾斜，使得上述顯示器所形成的平面和上述拍攝裝置的拍攝光軸所形成的角度接近90度。