TW201915711A - 圖像顯示系統、圖像顯示方法及圖像顯示程式 - Google Patents
圖像顯示系統、圖像顯示方法及圖像顯示程式 Download PDFInfo
- Publication number
- TW201915711A TW201915711A TW107127050A TW107127050A TW201915711A TW 201915711 A TW201915711 A TW 201915711A TW 107127050 A TW107127050 A TW 107127050A TW 107127050 A TW107127050 A TW 107127050A TW 201915711 A TW201915711 A TW 201915711A
- Authority
- TW
- Taiwan
- Prior art keywords
- user
- moving image
- image
- display
- switching
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
- H04N1/212—Motion video recording combined with still video recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Position Input By Displaying (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一種圖像顯示系統、圖像顯示方法及圖像顯示程式,根據情況來切換情節的發展時,自然地切換動態圖像。圖像顯示系統具有:顯示部,用於顯示動態圖像;獲取部,用於獲取察看顯示部所顯示的動態圖像的用戶的動作;判定部,用於判定由獲取部獲取的用戶的動作是否滿足如下的規定的切換條件,即使將顯示部顯示的動態圖像從第一動態圖像數據切換為不同於第一動態圖像的第二動態圖像數據,用戶也未識別圖像的切換;以及切換部,當由判定部判定為滿足切換條件時,將顯示部顯示的動態圖像從第一動態圖像數據切換為第二動態圖像數據。
Description
本發明涉及圖像顯示系統、圖像顯示方法及圖像顯示程式,尤其涉及利用頭戴式顯示器的圖像顯示系統、圖像顯示方法及圖像顯示程式。
近年來,隨著動態圖像的拍攝技術或儲存介質的發展,還對其再生方法也要求有靈活性。還開發出了用於抑制例如,當記錄多個情節或場景的數據時,從主幹情節的分支部分分支出多個分支場景時的再生影像的中斷或干擾的技術(參照專利文獻1、2)。
但是,通過預先準備多個場景的影像,並根據用戶的觀察情況切換情節的發展,用戶可欣賞適合自己的情節。其中,在切換情節的發展時動態圖像的切換自然的情況下,用戶能識別動態圖像被切換。若用戶識別動態圖像被切換,用戶則無法充分欣賞如對情節的不集中等。
現有技術文獻 專利文獻 專利文獻1:日本特開平10-27461號公報; 專利文獻2:日本特開平10-255443號公報。
本發明鑒於上述問題而提出,其目的在於,當預先準備多個場景的影像,並根據情況切換情節的發展時,自然地切換動態圖像。
為了解決上述技術問題,本發明的圖像顯示系統具有:顯示部,用於顯示動態圖像;獲取部,用於獲取察看顯示部所顯示的動態圖像的用戶的動作;判定部,用於判定由獲取部所獲取的用戶的動作是否滿足如下的規定的切換條件:即使將顯示部顯示的動態圖像從第一動態圖像數據切換為不同於第一動態圖像的第二動態圖像數據,用戶也未識別圖像的切換;以及切換部,當由判定部判定為滿足切換條件時,將顯示部顯示的動態圖像從第一動態圖像數據切換為第二動態圖像數據。
根據本發明,當根據情況切換情節的發展時,可自然地切換動態圖像。
結構
圖1為示意性地示出圖像顯示系統1的大致外觀的圖。圖像顯示系統1包括頭戴式顯示器100及視線檢測裝置200。如圖1所示,頭戴式顯示器100通過裝戴於用戶300的頭部來使用。
視線檢測裝置200用於檢測裝戴了頭戴式顯示器100的用戶的右眼及左眼的至少一方的視線方向,並且確認用戶的焦點,即,顯示在頭戴式顯示器的三維圖像中的用戶所凝視的位置。並且,視線檢測裝置200還用作生成頭戴式顯示器100所顯示的影像的影像生成裝置來發揮功能。雖然沒有限制,但作為一例,視線檢測裝置200為桌上型的遊戲機、便攜式遊戲機、PC、平板電腦、智能手機、平板手機、視頻播放器、電視機等能夠再生影像的裝置。視線檢測裝置200以無線或有線的方法與頭戴式顯示器100相連接。在圖1所示的例子中,視線檢測裝置200以無線的方式與頭戴式顯示器100相連接。視線檢測裝置200與頭戴式顯示器100之間的無線連接可利用例如已知的Wi-Fi(註冊商標)或藍牙(Bluetooth,註冊商標)等無線通信技術實現。雖然沒有限制,但作為一例,頭戴式顯示器100與視線檢測裝置200之間的影像的傳輸依據Miracast(商標)或WiGig(商標)、WHDI(商標)等標準執行。
此外,圖1示出了頭戴式顯示器100與視線檢測裝置200為不同裝置的情況時的例。然而,視線檢測裝置200可內置於頭戴式顯示器100。
頭戴式顯示器100包括框體150、裝戴件160及頭戴式耳機170。框體150用於收納圖像顯示組件等用於提供給用戶300影像的圖像顯示系統或未圖示的Wi-Fi模塊或藍牙(Bluetooth,註冊商標)模塊等無線傳輸模塊。裝戴件160用於將頭戴式顯示器100裝戴在用戶300的頭部。裝戴件160例如由帶子、有伸縮性的帶等實現。若用戶300利用裝戴件160裝戴頭戴式顯示器100,框體150則配置於覆蓋用戶300的眼睛的位置。因此,若用戶300裝戴頭戴式顯示器100,則用戶300的視界被框體150遮擋。
頭戴式耳機170用於輸出視線檢測裝置200所再生的影像的聲音。頭戴式耳機170可以不固定於頭戴式顯示器100。即使在用戶300利用裝戴件160裝戴了頭戴式顯示器100的狀態下,也能夠自由裝卸頭戴式耳機170。
圖2為示意性地示出頭戴式顯示器100的圖像顯示系統130的大致外觀的立體圖。更為具體地,圖2為表示在框體150中的與裝戴了頭戴式顯示器100時的用戶300的眼角膜302相向的區域的圖。
如圖2所示,當用戶300裝戴了頭戴式顯示器100時,左眼用凸透鏡114a將處於與用戶300的左眼的眼角膜302a相向的位置。同樣,當用戶300裝戴了頭戴式顯示器100時,右眼用凸透鏡114b將處於與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a和右眼用凸透鏡114b分別由左眼用透鏡支持部152a和右眼用透鏡支持部152b夾持。
以下說明書中,除了要特別區分左眼用凸透鏡114a和右眼用凸透鏡114b的情況之外,皆簡單地表示成「凸透鏡114」。同樣,除了要特別區分用戶300的左眼的眼角膜302a和用戶300的右眼的眼角膜302b的情況之外,皆簡單地表示成「眼角膜302」。左眼用透鏡支持部152a和右眼用透鏡支持部152b也是一樣地,除了要特別區分的情況之外,皆表示成「透鏡支持部152」。
在透鏡支持部152設有多個紅外線光源103。為了避免說明複雜,在圖2中,將對用戶300的左眼的眼角膜302a照射紅外線的紅外線光源統稱為紅外線光源103a,將對用戶300的右眼的眼角膜302b照射紅外線的紅外線光源統稱為紅外線光源103b。下面,除了要特別區分紅外線光源103a和紅外線光源103b的情況之外,皆簡單地表示成「紅外線光源103」。在圖2所示的例子中,左眼用透鏡支持部152a具有6個紅外線光源103a。同樣,右眼用透鏡支持部152b也具有6個紅外線光源103b。像這樣,通過將紅外線光源103配置於用於夾持凸透鏡114的透鏡支持部152,而不是直接配置於凸透鏡114,更容易裝戴紅外線光源103。由於透鏡支持部152通常由樹脂等構成,因而比由玻璃等構成的凸透鏡114更容易進行用於裝戴紅外線光源103的加工。
如上所述,透鏡支持部152是一種用於夾持凸透鏡114的部件。因此,設在透鏡支持部152的紅外線光源103配置於凸透鏡114的周圍。此外,在這裡說明的是對每隻眼睛照射紅外線的紅外線光源103為6個,但並不僅限於此數量,只要有至少一個對應於各眼睛的紅外線光源即可,設置兩個以上會更好。
圖3為示意性地示出框體150所收容的圖像顯示系統130的光學結構的圖,是從左眼側的側面所看到的圖2中示出的框體150的情況的圖。圖像顯示系統130包括紅外線光源103、圖像顯示組件108、熱反射鏡112、凸透鏡114、攝影機116及第一通信部118。
紅外線光源103為可照射近紅外(700nm~2500nm程度)的波長譜帶的光的光源。一般而言,近紅外線為用用戶300的肉眼無法察覺的不可見光的波長譜帶的光。
圖像顯示組件108顯示用於提示給用戶300的圖像。圖像顯示組件108所顯示的圖像由視線檢測裝置200提供。圖像顯示組件108可利用例如已知的液晶顯示器(LCD:Liquid Crystal Display)或有機電致發光顯示器(OELD:Organic Electro Luminescence Display)等來實現。
當用戶300裝戴了頭戴式顯示器100時,熱反射鏡112配置於圖像顯示組件108與用戶300的眼角膜302之間。熱反射鏡112包括穿過圖像顯示組件108所生成的可見光而將近紅外線則反射的性質。
相對於熱反射鏡112,凸透鏡114配置於圖像顯示組件108的相反側。換言之,當用戶300裝戴了頭戴式顯示器100時,凸透鏡114配置於熱反射鏡112與用戶300的眼角膜302之間。即,當用戶300裝戴了頭戴式顯示器100時,凸透鏡114配置於與用戶300的眼角膜302相向的位置。
凸透鏡114匯聚穿過熱反射鏡112的圖像顯示光。為此,凸透鏡114具有當作將圖像顯示組件108所生成的圖像放大後提供給用戶300的圖像放大部的功能。此外,為了方便說明,在圖2中僅示出了一個凸透鏡114,但凸透鏡114也可以是結合各種透鏡所組成的透鏡組,或者,也可以是一面為曲面、而另一面為平面的單凸透鏡。
多個紅外線光源103配置於凸透鏡114的周圍。紅外線光源103向用戶300的眼角膜302照射紅外線。
雖然未圖示,頭戴式顯示器100的圖像顯示系統130具有兩個圖像顯示組件108,而能夠獨立地生成用於提供給用戶300的右眼的圖像和用於提供給左眼的圖像。因此,頭戴式顯示器100能夠分別提供右眼用視差圖像和左眼用視差圖像給用戶300的右眼和左眼。由此,頭戴式顯示器100能夠對用戶300提示具有層次感的立體影像。
到達用戶300的眼角膜302的紅外線被用戶300的眼角膜302反射而再度射向凸透鏡114的方向。此紅外線穿過凸透鏡114,而被熱反射鏡112反射。攝影機116具有用以濾除可見光的濾光片,而拍攝被熱反射鏡112反射的近紅外線。即,攝影機116為近紅外攝影機,其對由紅外線光源103所照射而在用戶300的眼睛處被眼角膜反射的近紅外線進行拍攝。
此外,雖然未圖示,實施方式的頭戴式顯示器100的圖像顯示系統130可具有兩個攝影機116,即,用於拍攝包含被右眼反射的紅外線的圖像的第一拍攝部和用於拍攝包含被左眼反射的紅外線的圖像的第二拍攝部。由此,能夠取得用於檢測出用戶300的右眼和左眼雙眼的視線方向的圖像。
第一通信部118將攝影機116所拍攝的圖像輸出到用於檢測用戶300的視線方向的視線檢測裝置200。具體地,第一通信部118將攝影機116所拍攝的圖像傳輸給視線檢測裝置200。發揮作為視線方向檢測部的功能的視線檢測部202將在下文中進行詳細說明,可通過視線檢測裝置200的中央處理器(CPU,Central Processing Unit)所執行的圖像顯示程式實現。此外,頭戴式顯示器100具有中央處理器或儲存器等運算資源的情況下,頭戴式顯示器100的中央處理器也可執行用於實現視線方向檢測部的程式。
雖然以下將詳細說明,在攝影機116所拍攝到的圖像中,由在用戶300的眼角膜302處被反射的近紅外線而來的亮點以及包含以近紅外線的波長譜帶所觀測到的用戶300的眼角膜302的眼睛的影像將被拍到。
如上所述,在圖像顯示系統130之中,雖然主要就用以提供給用戶300的左眼的影像的結構加以說明,但用以提供給用戶300的右眼的影像的結構也與上述相同。
圖4為根據圖像顯示系統1的頭戴式顯示器100及視線檢測裝置200之間的框圖。如圖4所示,並且,如上所述,圖像顯示系統1包括相互進行通信的頭戴式顯示器100及視線檢測裝置200。
如圖4所示,頭戴式顯示器100包括第一通信部118、顯示部121、紅外線照射部122、圖像處理部123、拍攝部124、動作傳感器125及位置傳感器126。
第一通信部118為具有與視線檢測裝置200的第二通信部22進行通信的功能的通信界面。如上所述,第一通信部118通過有線通信或無線通信來與第二通信部22進行通信。可使用的通信標準的例為如上所述。第一通信部118將從拍攝部124或圖像處理部123傳輸的用於視線檢測的圖像數據發送給第二通信部22。並且,第一通信部118將從視線檢測裝置200發送的圖像數據或標記圖像傳輸給顯示部121。作為一例,圖像數據為具有情節的動態圖像數據。例如,可以為如電影等的動態圖像,也可以為如視頻遊戲等的動態圖像,還可以為如風景影像等的動態圖像。並且,圖像數據可包括用於顯示三維圖像的由右眼用視差圖像與左眼用視差圖像形成的視差圖像對。進而,圖像數據還可以為360°的半球面圖像的動態圖像數據。
顯示部121具有將從第一通信部118傳輸的圖像數據顯示於圖像顯示組件108的功能。並且,顯示部121將從顯示處理部201輸出的標記圖像顯示於圖像顯示組件108的指定的座標。
紅外線照射部122用於控制紅外線光源103,並將紅外線照射到用戶的右眼或左眼。
根據需要,圖像處理部123對拍攝部124所拍攝的圖像進行圖像處理並傳輸給第一通信部118。
拍攝部124利用攝影機116拍攝包含利用各隻眼睛反射的近紅外線的圖像。並且,拍攝部124拍攝包含凝視顯示於圖像顯示組件108中的標記圖像的用戶的眼睛的圖像。拍攝部124將拍攝所得的圖像傳輸給第一通信部118或圖像處理部123。
動作傳感器125為用於檢測頭戴式顯示器100的傾斜度,即,用戶的頭部的傾斜度的傳感器。動作傳感器125通過例如加速度傳感器或陀螺儀傳感器來實現。動作傳感器125依次檢測頭戴式顯示器100的傾斜度,並傳輸給第一通信部118。例如,當動作傳感器125為陀螺儀傳感器的情況下,動作傳感器125將頭戴式顯示器100的旋轉角度(側傾、俯仰、偏航)傳輸給第一通信部118。此外,通過第一通信部118,旋轉角度發送給視線檢測裝置200。
位置傳感器126為用於檢測頭戴式顯示器100的位置,即,裝戴頭戴式顯示器100的用戶的頭部的位置的傳感器。作為頭戴式顯示器100的位置,位置傳感器126依次檢測三維座標(x、y、z),並傳輸給第一通信部118。此外,三維座標通過第一通信部118來發送給視線檢測裝置200。
以上為頭戴式顯示器100的結構的說明。
如圖4所示,視線檢測裝置200具有中央處理裝置(CPU)20、儲存裝置21、第二通信部22、輸入裝置23、輸出裝置24。
儲存裝置21為儲存視線檢測裝置200運行中所需的各種程式和數據的儲存介質。具體地,儲存裝置21用於儲存提供給頭戴式顯示器100的圖像數據211、是否執行用於圖像切換的判定的判定條件數據212、作為圖像的切換條件的切換條件數據213、實現視線檢測裝置200的圖像顯示程式P。
在儲存裝置21中儲存有與切換條件建立關聯的多模式情節的圖像數據211。並且,通過儲存於儲存裝置21中的圖像顯示程式P進行讀取並執行,中央處理裝置20執行作為顯示處理部201、視線檢測部202、判定部203、切換部204及差分運算部205的處理。此外,儲存裝置21通過例如,硬碟驅動器(HDD:Hard Disc Drive)、固態硬碟(SSD:Solid State Drive)等來實現。
接著,對視線方向的檢測進行說明。
圖5為說明用於視線方向的檢測的校準的示意圖。用戶300的視線方向通過視線檢測裝置200內的視線檢測部202對攝影機116拍攝且從第一通信部118向視線檢測裝置200輸出的影像進行分析來實現。
顯示處理部201將如圖5所示的點Q1~點Q9的9個點(標記圖像)顯示於頭戴式顯示器100的圖像顯示組件108中。視線檢測裝置200以點Q1~點Q9的順序使用戶300凝視各點。此時,用戶300被要求保持脖子不動而儘可能地僅藉助眼球的移動去凝視各點。攝影機116對包含用戶300凝視著點Q1~Q9的9個點時的用戶300的眼角膜302的圖像進行拍攝。
圖6為說明用戶300的眼角膜302的位置座標的示意圖。視線檢測裝置200內的視線檢測部202通過分析攝影機116所拍攝的圖像來檢測源自紅外線的亮點105。當用戶300僅藉助眼球的移動來凝視各點時,無論用戶凝視著任一點的情況,都認為亮點105的位置不移動。因此,基於檢測的亮點105,視線檢測部202在攝影機116所拍攝的圖像中設定二維座標系306。
視線檢測部202還通過分析攝影機116所拍攝的圖像,來檢測用戶300的眼角膜302的中心P。這可通過利用例如霍夫變換或邊緣提取處理等已知的圖像處理來實現。由此,視線檢測部202可獲取在所設定的二維座標系306中的用戶300的眼角膜302的中心P的座標。
在圖5中,將設定在圖像顯示組件108所顯示的顯示畫面中的二維座標系中的點Q1~點Q9的座標分別設為Q1(x1,y1)T、Q2(x2,y2)T…、Q9(x9,y9)T。例如,各座標為位於各點的中心的像素的編號。並且,將用戶300在凝視點Q1~點Q9時的用戶300眼角膜302的中心P分別設為點P1~點P9。此時,將二維座標系306中的點P1~P9的座標分別設為P1(X1,Y1)T、P2(X2,Y2)T、…、P9(X9,Y9)T。此外,T表示向量或矩陣的轉置。
現在,將大小為2×2的矩陣M定義成以下的式(1)。 數學式1(1)
此時,若矩陣M滿足下式(2),則矩陣M為將用戶300的視線方向射影到圖像顯示組件108顯示的圖像面上的矩陣。 QN=MPN(N=1,…,9) (2) 當具體寫出上述式(2)時如下式(3)。 數學式2(3) 當改變式(3)時,取得下式(4)。 數學式3(4) 其中, 數學式4則取得下式(5)。 y=Ax (5)
在式(5)中,由於視線檢測部202為使顯示在圖像顯示組件108中的點Q1~Q9的座標,因而向量y的要素是已知的。由於矩陣A的要素為用戶300的眼角膜302的頂點P的座標,因而可獲取。因此,視線檢測部202可獲取向量y及矩陣A。此外,作為排列了變換矩陣M的要素的向量的向量x為未知的。因此,大概向量y與矩陣A為已知時,推定矩陣M問題為求出未知向量x的問題。
當與未知數的數量(即,向量x的要素數量為4)相比,式的數量(即,視線檢測部202在校準時向用戶300提示的點Q的數量)更多時,式(5)成為超定(overdetermined)問題。在式(5)中示出的例如,式的數量為9個,因而為超定問題。
將向量e設為向量y與向量Ax的誤差向量。即,e=y-Ax。此時,在向量e的要素的平方和為最小的意義上的最佳的向量xopt由下式(6)求得。 xopt=(ATA)-1ATy (6) 其中“-1”為反矩陣。
視線檢測部202通過利用求得的向量xopt的要素來構成式(1)的矩陣M。由此,視線檢測部202可通過利用用戶300的眼角膜302的頂點P的座標與矩陣M,並根據式(2),來推定用戶300的右眼在圖像顯示組件108中所顯示的動態圖像上的凝視點。其中,視線檢測部202進一步從頭戴式顯示器100接收用戶的眼睛與圖像顯示組件108之間的距離信息,並根據其距離信息來修改所推定出的用戶正在凝視的座標值。此外,根據用戶的眼睛與圖像顯示組件108之間的距離的凝視位置的推定的偏差可作為誤差的範圍來忽視。由此,視線檢測部202可運算出用於鏈接圖像顯示組件108上的右眼的凝視點與用戶的右眼的眼角膜的頂點的右眼視線向量。相同地,視線檢測部202可運算出用於鏈接圖像顯示組件108上的左眼的凝視點與用戶的左眼的眼角膜的頂點的左眼視線向量。此外,可僅用一隻眼睛的視線向量來確定二維平面上的用戶的凝視點,並且還可通過取得兩眼的視線向量來運算用戶的凝視點的深度方向的信息。視線檢測裝置200能夠以這種方式來確定用戶的凝視點。此外,這裡所示的凝視點的特定方法為一例,還可利用除上述以外的方法來確定用戶的凝視點。
判定部203用於判斷從頭戴式顯示器100藉助第二通信部22獲取的用戶的動作是否滿足如下的規定的「切換條件」:即使將顯示部121中顯示的動態圖像從第一動態圖像數據切換為不同於第一動態圖像且來自第一動態圖像的情節發展的第二動態圖像數據,用戶也未識別圖像的切換。所謂「情節發展」,在這裡是指動態圖像的故事的發展變更為不同的情節。
其中,判定部203還可在滿足規定的「判定條件」的情況下,判定是否滿足「切換條件」。當用戶察看顯示部121所顯示的動態圖像中的特定位置時,判定部203假設滿足用於開始判定處理的「判定條件」,並判定是否滿足「切換條件」。例如,在連續地觀察特定位置規定時間以上的情況下或在一定時間以內觀察特定位置總規定時間以上的情況下,稱為滿足「判定條件」。所謂「特定位置」為利用座標或多個座標識別的範圍。
圖7的(a)部分為關於判定條件的判定條件數據212的一例。例如,在圖像顯示系統1中,當顯示部121正在顯示一種第一動態圖像數據且用戶充足於所謂「觀察區域A」的條件時,隨後切換為圖像A來作為第二動態圖像數據。並且,在圖像顯示系統1中,當顯示部121正在顯示第一動態圖像數據且用戶充足於所謂「觀察區域B」的條件時,隨後切換為圖像B來作為第二動態圖像數據。此外,在圖7的(a)部分中,具有切換為動態圖像A來作為第二動態圖像的情況及切換為動態圖像B的情況的兩種模式,但不限定於此。例如,被切換的第二動態圖像可以為僅僅為動態圖像A的一種模式,進一步還可以為多個模式。
並且,在圖像顯示系統1中,並不是在觀察區域A或區域B之後立即切換為第二動態圖像數據,在判定為滿足用於判定即使從第一動態圖像數據切換為第二動態圖像數據,用戶也未識別到該圖像的切換的「切換條件」的時間點上,從第一動態圖像數據切換為第二動態圖像數據。
另一方面,雖然在圖7的(a)部分中未示出,但還可在滿足多個條件的情況下來判定滿足「切換條件」。例如,在圖像顯示系統1中,用戶在觀察區域A的同時觀察區域B的情況下,可隨後切換為動態圖像C。在這種情況下,就圖像顯示系統1而言,在觀察區域A之後觀察區域B的情況下,切換為動態圖像C,但觀察區域B之後觀察區域A的情況下還可切換為動態圖像D。
例如,判定部203用於判定在視線檢測部202中檢測的視線的動作是否滿足「切換條件」。即,用戶在凝視一點的情況下,易於注意到圖像已被切換。另一方面,用戶在未確定視線的位置的情況下,難以注意到圖像已被切換。因此,視線檢測裝置200根據用戶的視線的動作的程度來判定是否切換圖像。
因此,例如,「切換條件」為如下的條件:用於判定當根據在規定時間內的視線檢測部202檢測出的用戶的視線的動作的總移動距離為規定值以上時或當檢測到用戶的視線在規定時間內察看分開規定距離以上的多個地方時,將顯示部121中顯示的動態圖像從第一動態圖像數據切換為第二動態圖像數據。
具體地,就視線檢測裝置200而言,
(1)在某時間t0,當檢測用戶在動態圖像中凝視的座標時,儲存該座標C0。
(2)從t0至規定時間之後的某t1,當檢測用戶在動態圖像中凝視的新的座標時,儲存該座標C1。
(3)通過求出從座標C0至座標C1的移動量M,並利用t0與t1的差分時間(t1-t0),如下式來求出用戶的視線的移動的移動速度S[°/秒鐘]。 數學式5 S=2atan()/(t1-t0) 其中,L為顯示器與眼球之間的光學上距離。
(4)在速度S超過規定值的情況下,將t1-t0的時間作為移動時間Ti來加給加算值Ta,在未超過的情況下,將移動時間Ti清算為0。
(5)作為進行場景變更的期間來預先確定的規定的「切換期間」中重複(1)~(4),當移動時間Ti的加算值Ta超過規定的閾值的情況下,視為用戶的視線未確定,並進行場景變更。即,切換動態圖像。
例如,考慮到當視線以60°/秒鐘的速度移動時運動物體的視野非常窄,在該速度以連續0.5秒持續的時間點切換動態圖像。當將切換期間設為3.3秒鐘且用戶的凝視座標的檢測設為能夠以60Hz進行時,大致可採樣200次(3.3秒鐘/(1/60Hz)=198次)。該採樣時,視線速度以S≥60°/秒鐘且30次連續檢測(0.5秒鐘/(1/60Hz)=30次)時,移動時間的總和Ta為0.5,則可判定充分滿足作為滿足本條件的切換條件。
並且,例如,判定部203當從頭戴式顯示器100藉助第二通信部22獲取在動作傳感器125檢測出的用戶的頭部的動作時,判定用戶的頭部的動作是否滿足「切換條件」。即,當用戶在自身為靜止時,容易注意到圖像已被切換。另一方面,用戶在自身的動作激烈到某種程度上時,難以注意到圖像已被切換。因此,視線檢測裝置200根據頭戴式顯示器100中可檢測的用戶的頭部的動作來判定是否切換圖像。
因此,例如,「切換條件」為如下的條件:用於判定在規定時間內的用戶的移動量,即,用戶頭部的動作超過規定值時,將顯示部121中顯示的動態圖像從第一動態圖像數據切換至第二動態圖像數據。
具體地,就視線檢測裝置200而言,
(1)在某時間t0,當從頭戴式顯示器100輸入利用動作傳感器125檢測出的作為裝戴於用戶的頭部的頭戴式顯示器100的姿勢的旋轉角度(側傾、俯仰、偏航)時,儲存其姿勢R0。R0為三維向量的量。
(2)在從t0到規定時間之後的某t1,當從頭戴式顯示器100輸入頭戴式顯示器100的新的姿勢時,儲存該姿勢R1。R1為三維的向量的量。
(3)從姿勢R0求出作為姿勢R1的移動量的三維向量M,並利用t0與t1的差分時間(t1-t0)來進行去除運算,從而求出裝戴在用戶的頭戴式顯示器100的旋轉的角速度S(M/(t1-t0))。或者在頭戴式顯示器100中設置有陀螺儀傳感器的情況下,可將從陀螺儀傳感器獲取的角速度直接作為S的值。
(4)利用L2範數||S||等將角速度向量S的大小設為一維的量,當其值超過規定值時,將t1-t0的時間設為移動時間Ti來加在加算值Ta中,當未超過時,將移動時間Ti清算為0。
(5)將(1)~(4)在規定的「切換期間」中重複,當移動時間Ti的加算值Ta超過規定的閾值時,視為用戶的視線不確定,並進行場景變更。即,切換動態圖像。
例如,考慮到在以60°/秒鐘的速度移動用戶的頭部的情況下,運動物體的視野非常窄,在該速度以連續0.5秒持續的時間點切換動態圖像。當將切換期間設為3.3秒鐘來以60Hz進行頭戴式顯示器100的角速度的檢測時,大致可採樣200次(3.3秒鐘/(1/60Hz)=198次)。該採樣時,角速度的大小以||S||≥60°/秒鐘與30次連續檢測(0.5秒鐘/(1/60Hz)=30次),移動時間的總和Ta為0.5,則可判定充分滿足作為滿足本條件的切換條件。其中,||S||可作為分別對側傾、俯仰、偏航的角速度進行平方之後,取平方根的值來進行運算。
進而,例如,判定部203判定當從頭戴式顯示器100藉助第二通信部22獲取在位置傳感器126檢測出的用戶的頭部的位置時,判定用戶的頭部的位置是否滿足「切換條件」。即,如上所述,即,當用戶在自身為靜止時,容易注意到圖像已被切換。另一方面,用戶在自身的動作激烈到某種程度上時,難以注意到圖像已被切換。因此,視線檢測裝置200根據頭戴式顯示器100中可檢測的用戶的頭部的動作來判定是否切換圖像。
因此,例如,「切換條件」為如下的條件:用於判定在規定時間內的用戶的移動量,即,用戶頭部的動作超過規定值時,將顯示部121中顯示的動態圖像從第一動態圖像數據切換至第二動態圖像數據。
具體地,就視線檢測裝置200而言,
(1)在某時間t0,當從頭戴式顯示器100輸入利用位置傳感器126檢測出的作為裝戴於用戶的頭部的頭戴式顯示器100的位置的三維座標位置(x,y,z)時,儲存其座標位置R0。R0為三維的向量的量。
(2)在從t0到規定時間之後的某t1,當從頭戴式顯示器100輸入頭戴式顯示器100的新的位置時,儲存其座標位置R1。R1為三維的向量的量。
(3)從座標位置R0求出座標位置R1的移動量M,並利用t0與t1的差分時間(t1-t0)來進行去除運算,從而求出裝戴在用戶的頭戴式顯示器100的位置的移動速度的三維向量S(M/(t1-t0))。
(4)利用L2範數||S||等將移動速度S的大小設為一維的量,當其值超過規定值時,將t1-t0的時間設為移動時間Ti來加在加算值Ta中,當未超過時,將移動時間Ti清算為0。
(5)將(1)~(4)在規定的「切換期間」中重複,當移動時間Ti的加算值Ta超過規定的閾值時,視為用戶的視線不確定,並進行場景變更。即,切換動態圖像。
例如,考慮到在以10cm/秒鐘的速度移動用戶的頭部的情況下,運動物體的視野非常窄,在該速度以連續0.5秒持續的時間點切換動態圖像。當將切換期間設為3.3秒鐘來以60Hz進行頭戴式顯示器100的角速度的檢測時,大致可採樣200次(3.3秒鐘/(1/60Hz)=198次)。該採樣時,速度的大小||S||≥10cm/秒鐘與30次連續檢測(0.5秒鐘/(1/60Hz)=30次),移動時間的總和Ta為0.5,則可判定充分滿足作為滿足本條件的切換條件。其中,||S||可作為將三維座標空間中的(x,y,z)的每個速度進行平方之後,取平方根的值來進行運算。
此時,判定部203判定顯示部121中顯示的動態圖像的場景為規定的「切換期間」的情況下,是否滿足「切換條件」。即,從第一動態圖像數據可切換為第二動態圖像數據的時間點可根據其情節預先確定。因此,判定部203無需時常判定「切換條件」,而是僅在作為可從第一動態圖像數據切換為第二動態圖像數據的時間點的「切換期間」判定「切換條件」即可。
當在判定部203判定出滿足「切換條件」時,切換部204將顯示部121中顯示的動態圖像從第一動態圖像數據切換為第二動態圖像數據。此時,在切換部204中,從儲存於儲存裝置21中的圖像數據211切換為與在判定部203所判定的判定結果建立關聯的模式的動態圖像。
差分運算部205用於求出第一動態圖像數據與第二動態圖像數據的差分。其中,就差分運算部205而言,在可從第一動態圖像數據切換為第二動態圖像數據期間,求出第一動態圖像數據與第二動態圖像數據的差分。
其中,當通過判定部203判定為充分滿足「判定條件」時,顯示處理部201在後台開始進行第二動態圖像數據的再生。因此,差分運算部205通過比較頭戴式顯示器100中顯示中的第一動態圖像數據與在後台再生中的第二動態圖像數據來求出差分。
判定部203判定由差分運算部205運算出的差分是否與如下的「切換條件」相一致,即,即使將顯示部121中顯示的動態圖像從第一動態圖像數據切換為不同於該第一動態圖像的第二動態圖像數據,該用戶也未識別圖像的切換。在差分為規定的範圍的情況下,即使將第一動態圖像切換為第二動態圖像,用戶也難以察覺,此時的「切換條件」為判定為切換圖像的條件。例如,在動態圖像的變化在某種程度上小的情況下,用戶不是凝視一定的位置,而是視為視線移動來切換動態圖像。並且,在動態圖像的變化在某種程度上大的情況下,用戶不是凝視一定的位置,而是視為視線根據變化而激烈移動來切換動態圖像。
具體地,就視線檢測裝置200而言,
(1)運算第一動態圖像的特徵量與第二動態圖像的特徵量。在特徵量的運算方法中,例如可利用如下的方法:(a)對於第一動態圖像與第二動態圖像,使某時間t0的圖像與規定時間之後的某t1的圖像的輝度值加在一起,(b)對於第一動態圖像與第二動態圖像,利用ORB(Oriented FAST and Rotated BRIEF)、AKAZE(AcceleratedKAZE)等的算法求出特徵點,從某時間t0的圖像至規定時間之後的某t1的特徵點的移動量的平方平均平方根的總和,(c)對於第一動態圖像與第二動態圖像,從某時間t0至規定時間之後的某時間t1的光流量求出移動量等。
(2)當求出的值V未超過規定值的情況下,將t1-t0的時間作為移動時間Ti來加給加算值Ta,當超過的情況下,將Ti清算。
(3)將(1)~(2)在規定的「切換期間」中重複,當移動時間Ti的加算值Ta超過規定的上限閾值時,或者低於下限閾值時變更場景。即,切換動態圖像。在超過上限閾值的情況下,動態圖像內的對象的變化處於非常大的狀態,意味著在對象激烈變化得難以追蹤用戶的眼睛的程度時,即使進行切換,用戶也難以掌握。並且,當低於下限閾值時,意味著動態圖像內的對象的變化處於小的狀態,對象幾乎處於靜止。
例如,考慮在以0.5秒連續性地影像變化非常大的時間點上切換動態圖像的情況。當將切換期間設為3.3秒鐘來以60Hz進行特徵量的運算時,在切換期間中可實現大致200次的運算(3.3秒鐘/(1/60Hz)=198次)。在此期間中,若檢測為特徵量的變化量為30次連續性地超過閾值(0.5秒鐘/(1/60Hz)=30次),且移動時間的總和Ta為0.5,則可判定為充分滿足作為滿足本條件的切換條件。
例如,上述切換條件為如圖7的(b)部分中示出的一例的作為切換條件數據213來儲存於儲存裝置21中。具體地,切換條件數據213包括可切換的「時間點」及作為切換條件來使用的「閾值」。在圖7的(b)部分中示出的例中,可切換的時間點為「期間α」。並且,作為切換條件,具有利用與視線檢測部202中檢測的視線的動作的判定的「第一閾值」、從由動作傳感器125檢測出的用戶的頭部的動作或由位置傳感器126檢測出的位置求出的利用於頭部的動作的判定的「第二閾值」及由差分運算部205求出的利用於圖像變化量的判定的「第三閾值」。
如上所述,在視線檢測裝置200中,作為「切換條件」,可定為「1.在用戶的視線的動作或頭部的動作激烈的情況下切換」,「2.動態圖像的差分非常大或小的情況下切換」等。並且,在視線檢測裝置200中,可將「切換條件」定為「3.根據上述條件的1及2的組合來切換」。
工作
以下,利用圖8所示的流程圖,來說明圖像顯示系統1的工作。在圖像顯示系統1中,首先,再生顯示第一動態圖像(步驟S01)。
在第一動態圖像數據的再生當中,判定部203判定是否充分滿足判定條件(步驟S02)。例如,在圖7的(a)部分中示出的判定條件數據212的例中,動態圖像的某時間範圍內,判定當「觀察區域A」時,或者當「觀察區域B」時充分滿足條件。在圖9的(a)部分中,示出顯示部121中顯示的動態圖像的一例。在圖9的(a)部分的例中,門的上側的區域設定為區域A,門的下側區域設定為區域B。在圖7的(a)部分的判定條件數據212及圖9的(a)部分的動態圖像數據的例中,當用戶觀察門的上側區域(區域A)時,動態圖像A被選為第二動態圖像數據。另一方面,當用戶觀察門的下側區域(區域B)時,動態圖像B被選為第二動態圖像數據。
就圖像顯示系統1而言,當判定為充分滿足判定條件時(在步驟S02為「是」),在後台開始第二動態圖像的再生(步驟S03)。具體地,就圖像顯示系統1而言,如圖10的(a)部分的時序圖所示,隨著切換期間的開始,在後台開始第二動態圖像的再生。在利用圖7的(a)部分及圖9的(a)部分的上述的例中,當用戶觀察區域A時,將動態圖像A作為第二動態圖像來開始後台再生。另一方面,當用戶觀察區域B時,將動態圖像B作為第二動態圖像來在後台再生。切換期間被儲存於例如切換條件數據213中。在圖7的(b)部分中示出的切換條件數據213的例中,期間α設定為切換期間。
並且,就圖像顯示系統1而言,當切換期間開始時(在步驟S04中為「是」),通過設定是否充分滿足切換條件,來判定是否為用戶的視線的動作為閾值以上或用戶的頭部的動作為閾值以上(步驟S05)。
用戶的視線的動作不為閾值以上且用戶的頭部的動作也不為閾值以上的情況下,圖像顯示系統1通過是否滿足切換條件來判定第一動態圖像與第二動態圖像的差分是否為閾值的範圍外(步驟S06)。
在用戶的視線的動作為閾值以上的情況下且用戶的頭部的動作為閾值以上的情況下,或者第一動態圖像與第二動態圖像的差分為閾值的範圍外的情況下(在步驟S05中「是」或在S06中「是」),將向顯示部121的顯示從第一動態圖像切換為第二動態圖像,並停止第一動態圖像的再生(步驟S07)。例如,在圖7的(a)部分及圖9的(a)部分所示的例中,當動態圖像A被選為第二圖像時,如圖9(b)所示的動態圖像A作為第二圖像來被顯示。並且,作為第二圖像,動態圖像B被選擇的情況下,如圖9的(c)部分所示的動態圖像B作為第二圖像來被顯示。
此外,在第一動態圖像與第二動態圖像為閾值的範圍內的情況下(在步驟S07中「否」),直到切換期間結束,重複步驟S05~S06的處理。
並且,圖7的(c)部分的切換條件數據213及圖10的(b)部分的時序圖為第一切換期間(期間α)與第二切換期間(期間β)的2次被設定的例。像這樣,切換期間被設定為多個的情況下,重複步驟S04~S06的處理。在切換期間被設定為多次的情況下,如圖10的(b)部分所示,即使在第一切換期間未充分滿足切換條件的情況下,在第二切換期間充分滿足切換條件的情況下,則在第二切換期間圖像被切換。
此外,在上述的例中,視線的動作為閾值以上時或頭部的動作為閾值以上時,通過將第二動態圖像切換為顯示中,並使第一動態圖像的再生停止來進行了說明。其中,優選地,例如,可對於用於檢測視線的不具有拍攝部124的頭戴式顯示器100,或對於用於檢測動作的動作傳感器125或不具有位置傳感器126的頭戴式顯示器100來實現。因此,判定部203中的判定為根據頭戴式顯示器100的結構來確定。即,圖像顯示系統1在無法進行視線檢測的情況下,視線的動作無法利用於判定。並且,圖像顯示系統1在無法進行動作檢測或位置檢測的情況下,頭部的動作無法利用於判定。
像這樣,在根據是實施方式的圖像顯示系統1中,根據用戶的情況,選自於多模式情節的情節進行展開。由此,用戶可享受適合於用戶的情節。並且,在情節被切換時,根據用戶的視線的狀態、頭部的動作的狀態、圖像的狀態等,以用戶不會察覺圖像的切換的方式進行切換。由此,用戶不會感到圖像的切換所帶來的煩惱,而集中於圖像顯示系統1中所顯示的動態圖像並進行欣賞。
補充
圖像顯示系統1不限定於如上所述的結構等,還可根據用於實現本發明的思想的其他方法來實現,這是不言而論的。以下,對於其他的可作為本發明的思想來包含的實施例進行說明。
(1)圖像顯示組件108為1個,但不限定於此。在頭戴式顯示器100中具有對應於用戶300的左眼的圖像顯示組件及對應於用戶300的右眼的圖像顯示組件的兩個圖像顯示組件,還可使每個組件分別驅動。由此,可進行如根據用戶300的左右眼睛的視力的焦點調節等的細微的控制。
(2)為了檢測用戶300的視線,作為拍攝用戶300的眼睛的方法,對被熱反射鏡112反射的影像進行了拍攝,但這可以不通過熱反射鏡112而直接拍攝用戶300的眼睛。
(3)視線檢測的方法為一例,根據上述頭戴式顯示器100及視線檢測裝置200的視線檢測方法不限於此。
首先,示出設置多個用於照射作為不可見光的近紅外線的紅外線光源的例,但向用戶的眼睛照射近紅外線的方法不限定於此。例如,對於構成頭戴式顯示器100的圖像顯示組件108的像素,可做成設置具有發射近紅外線的子像素的像素的結構,還可做成使發射那些近紅外線的子像素選擇性地發射,並向用戶的眼睛照射近紅外線。並且,或者可以為如下的結構:換做圖像顯示組件108,在頭戴式顯示器100中設置視網膜投影顯示器的同時顯示在該視網膜投影顯示器中,使得在投影於用戶的視網膜的圖像中包含以近紅外線色發射的像素,從而實現近紅外線的照射。不管是圖像顯示組件108,還是視網膜投影顯示器,使近紅外線發射的子像素可定期性地變更。
並且,上述的視線檢測的算法也不限定於上述的方法,只要是能夠實現視線檢測,就可使用其他的算法。
(4)並且,將顯示在頭戴式顯示器100中的廣告的變更通過頭戴式顯示器100及視線檢測裝置200的處理器執行圖像顯示程式P等來實現,但這視線檢測裝置200藉助形成於積體電路(IC(Integrated Circuit)晶片、大規模積體電路(LSI:Large Scale Integration)等的邏輯電路(硬碟)或專用電路來實現。並且,這些電路可由1或多個積體電路來實現,也可由1個積體電路實現上述的多個功能部的功能。LSI根據積體度的不同而可分別稱為VLSI、超級LSI、特級LSI等。即,如圖11所示,頭戴式顯示器100可包括第一通信電路110a、通信控制電路118a、顯示電路121a、紅外線照射電路122a、圖像處理電路123a、拍攝電路124a、動作檢測電路125a、位置檢測電路126a,各個功能與上述的具有相同名稱的各個部分相同。並且,視線檢測裝置200可包括第二通信電路22a、輸入電路23a、輸出電路24a、顯示處理電路201a、視線檢測電路202a、判定電路203a、切換電路204a、差分運算電路205a,各個功能與上述的具有相同名稱的各個部分相同。
並且,圖像顯示程式P可儲存在處理器可讀取的儲存介質,作為儲存介質可使用「非暫時性的有形的介質」,例如,磁帶、磁盤、卡、半導體儲存器、可程式化的邏輯電路等。並且,圖像顯示程式P可通過能夠傳輸圖像顯示程式P的任意的傳輸介質(通信網絡或廣播波等)來供給給上述處理器。本發明還能夠以圖像顯示程式P由電子傳輸來被體現的嵌埋於載波中的數據信號的形態來得以實現。
此外,圖像顯示程式P可使用例如ActionScript語言、JavaScript(註冊商標)、Python、Ruby等的腳本語言、C語言、C++、C#、Objective-C、Java(註冊商標)等的編譯語言等來進行安裝。
(5)可適當組合上述的各結構以及各(補充)。
產業上的可利用性
本發明具有可提供適合於用戶的情節發展的動態圖像的效果,並且可利用於各種圖像顯示裝置或頭戴式顯示器等。
1‧‧‧圖像顯示系統
100‧‧‧頭戴式顯示器
110‧‧‧第一通信部
110a‧‧‧第一通信電路
118‧‧‧通信控制部
118a‧‧‧通信控制電路
121‧‧‧顯示部
121a‧‧‧顯示電路
122‧‧‧紅外線照射部
122a‧‧‧紅外線照射電路
123‧‧‧圖像處理部
123a‧‧‧圖像處理電路
124‧‧‧拍攝部
124a‧‧‧拍攝電路
125‧‧‧動作傳感器
125a‧‧‧動作檢測電路
126‧‧‧位置傳感器
126a‧‧‧位置檢測電路
200‧‧‧視線檢測裝置
20‧‧‧中央處理裝置
20a‧‧‧控制電路
201‧‧‧顯示處理部
201a‧‧‧顯示處理電路
202‧‧‧視線檢測部
202a‧‧‧視線檢測電路
203‧‧‧判定部
203a‧‧‧判定電路
204‧‧‧切換部
204a‧‧‧切換電路
205‧‧‧差分運算部
205a‧‧‧差分運算電路
21‧‧‧儲存裝置
211‧‧‧圖像數據
212‧‧‧判定條件數據
213‧‧‧切換條件數據
22‧‧‧第二通信部
22a‧‧‧第二通信電路
23‧‧‧輸入裝置
23a‧‧‧輸入電路
24‧‧‧輸出裝置
24a‧‧‧輸出電路
P‧‧‧圖像顯示程式
S01~S08‧‧‧流程步驟
圖1為示出用戶裝戴頭戴式顯示器的狀態的外觀圖。 圖2為示意性地示出頭戴式顯示器的圖像顯示系統的大致外觀的立體圖。 圖3為示意性地示出頭戴式顯示器的圖像顯示系統的光學結構的圖。 圖4為示出圖像顯示系統的結構的框圖。 圖5為說明用於檢測視線方向的校準的示意圖。 圖6為說明用戶的眼角膜的位置座標的示意圖。 圖7為說明在圖像顯示系統中所利用的數據的結構的數據結構圖。 圖8為示出圖像顯示系統的工作的流程圖。 圖9為用於說明在圖像顯示系統中顯示的圖像的圖像例。 圖10用於說明圖像顯示系統中的動態圖像的切換時間點的時序圖。 圖11為示出圖像顯示系統的電路結構的電路圖。
Claims (11)
- 一種圖像顯示系統,包括: 一顯示部,用於顯示一動態圖像; 一獲取部,用於獲取察看該顯示部所顯示的該動態圖像的一用戶的動作; 一判定部,用於判定由該獲取部獲取的該用戶的動作是否滿足如下的規定的一切換條件:即使將該顯示部顯示的該動態圖像從一第一動態圖像數據切換為不同於該第一動態圖像的一第二動態圖像數據,該用戶也未識別圖像的切換;以及 一切換部,當由該判定部判定為滿足該切換條件時,將該顯示部顯示的該動態圖像從該第一動態圖像數據切換為該第二動態圖像數據。
- 如申請專利範圍第1項所述之圖像顯示系統,還包括: 一拍攝部,用於拍攝察看該顯示部所顯示的該動態圖像的該用戶的眼睛的圖像;以及 一視線檢測部,當該獲取部獲取由該拍攝部獲取的所拍攝的該用戶的眼睛的圖像時,檢測該用戶的視線來作為該用戶的動作,該判定部判定由該視線檢測部檢測出的視線的動作是否滿足該切換條件。
- 如申請專利範圍第2項所述之圖像顯示系統,若該用戶察看該第一動態圖像中的特定位置,該判定部則判定是否滿足該切換條件。
- 如申請專利範圍第1至3項中任一項所述之圖像顯示系統,還包括用於檢測該用戶的頭部的動作的一動作傳感器,若該獲取部獲取由該動作傳感器檢測出的該用戶的頭部的動作,該判定部則判定該用戶的頭部的動作是否滿足該切換條件。
- 如申請專利範圍第1項所述之圖像顯示系統,還包括一位置傳感器,用於檢測該用戶的頭部的位置,若該獲取部獲取由該位置傳感器檢測出的該用戶的頭部的位置,該判定部則判定該用戶的頭部的位置是否滿足該切換條件。
- 如申請專利範圍第1項所述之圖像顯示系統,還包括一差分運算部,用於求出該第一動態圖像數據與該第二動態圖像數據之間的差分,該判定部判定由該差分運算部所運算的差分是否與如下的規定的該切換條件一致:即使將該顯示部中顯示的該動態圖像從該第一動態圖像數據切換為不同於該第一動態圖像的該第二動態圖像數據,該用戶也未識別圖像的切換。
- 如申請專利範圍第1項所述之圖像顯示系統,還包括一動態圖像儲存部,用於儲存與一判定條件建立關聯的多模式情節的動態圖像數據,該判定部在該顯示部所顯示的動態圖像的場景為規定期間的範圍的情況下,判定是否滿足該判定條件,該切換部從儲存於該動態圖像儲存部中的動態圖像數據,切換為與由該判定部所判定的該判定條件,建立關聯的模式的動態圖像。
- 如申請專利範圍第2項所述之圖像顯示系統,該切換條件為當在規定時間內由該用戶的視線的動作引起的總移動距離為規定值以上時,或當檢測到在規定時間內,該用戶的視線察看以規定距離分開的多個地方時,判定切換的條件。
- 如申請專利範圍第4項所述之圖像顯示系統,該切換條件為當規定時間內的該用戶的移動量超過規定值時,判定切換的條件。
- 一種圖像顯示方法,具有: 一顯示步驟,在一顯示部顯示一動態圖像; 一獲取步驟,獲取察看該顯示步驟中顯示的該動態圖像的一用戶的動作; 一判定步驟,判定在該獲取步驟中所獲取的該用戶的動作是否滿足如下的規定的一切換條件:即使將該顯示部顯示的該動態圖像從一第一動態圖像數據切換為不同於一第一動態圖像的一第二動態圖像數據,該用戶也未識別圖像的切換;以及 一切換步驟,當由該判定步驟判定為滿足該切換條件時,將該顯示部顯示的該動態圖像從該第一動態圖像數據切換為該第二動態圖像數據。
- 一種圖像顯示程式,使得計算機用於實現如下功能: 一顯示功能,在一顯示部顯示動態圖像; 一獲取功能,獲取察看通過該顯示功能來顯示的動態圖像的一用戶的動作; 一判定功能,判定由該獲取功能所獲取的用戶的動作是否滿足如下的規定的一切換條件:即使將該顯示部顯示的動態圖像從一第一動態圖像數據切換為不同於該第一動態圖像的第二動態圖像數據,該用戶也未識別圖像的切換; 一切換功能,當由該判定功能判定為滿足該切換條件時,將該顯示部顯示的動態圖像從第一動態圖像數據切換為第二動態圖像數據。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-190591 | 2017-09-29 | ||
| JP2017190591A JP2019066618A (ja) | 2017-09-29 | 2017-09-29 | 画像表示システム、画像表示方法及び画像表示プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201915711A true TW201915711A (zh) | 2019-04-16 |
Family
ID=65896979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107127050A TW201915711A (zh) | 2017-09-29 | 2018-08-03 | 圖像顯示系統、圖像顯示方法及圖像顯示程式 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10735620B2 (zh) |
| JP (1) | JP2019066618A (zh) |
| KR (1) | KR20190038296A (zh) |
| CN (1) | CN109587471A (zh) |
| TW (1) | TW201915711A (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6713591B1 (ja) * | 2019-04-17 | 2020-06-24 | 楽天株式会社 | 表示制御装置、表示制御方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 |
| ES3044908T3 (en) * | 2020-02-18 | 2025-11-27 | Univ Miyazaki | Weight estimation device and program |
| CN113325586A (zh) * | 2021-05-28 | 2021-08-31 | 维沃移动通信有限公司 | 头戴设备、显示控制方法和显示控制装置 |
| KR102380025B1 (ko) | 2021-06-18 | 2022-03-29 | 마수미 | 인체 조직의 안전 보존 용기 |
| TWI844813B (zh) * | 2022-01-20 | 2024-06-11 | 黃鈞鼎 | 穿戴裝置及投影方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2857119B2 (ja) | 1996-01-08 | 1999-02-10 | 株式会社東芝 | ディスク再生装置及び方法 |
| JP2857123B2 (ja) | 1997-01-07 | 1999-02-10 | 株式会社東芝 | 情報記録媒体 |
| JP2011035592A (ja) * | 2009-07-31 | 2011-02-17 | Nintendo Co Ltd | 表示制御プログラムおよび情報処理システム |
| CN103765346B (zh) * | 2011-09-08 | 2018-01-26 | 英特尔公司 | 基于眼睛凝视的用于音频视觉回放的位置选择 |
| KR102208114B1 (ko) * | 2014-02-27 | 2021-01-27 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US9342147B2 (en) * | 2014-04-10 | 2016-05-17 | Microsoft Technology Licensing, Llc | Non-visual feedback of visual change |
| US10775882B2 (en) * | 2016-01-21 | 2020-09-15 | Microsoft Technology Licensing, Llc | Implicitly adaptive eye-tracking user interface |
| KR102739220B1 (ko) * | 2016-12-23 | 2024-12-05 | 삼성전자주식회사 | 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치 |
-
2017
- 2017-09-29 JP JP2017190591A patent/JP2019066618A/ja active Pending
-
2018
- 2018-07-09 CN CN201810744389.9A patent/CN109587471A/zh active Pending
- 2018-07-18 US US16/038,302 patent/US10735620B2/en active Active
- 2018-08-02 KR KR1020180090113A patent/KR20190038296A/ko not_active Withdrawn
- 2018-08-03 TW TW107127050A patent/TW201915711A/zh unknown
-
2020
- 2020-03-12 US US16/817,200 patent/US12177404B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US10735620B2 (en) | 2020-08-04 |
| US20190104231A1 (en) | 2019-04-04 |
| CN109587471A (zh) | 2019-04-05 |
| US12177404B2 (en) | 2024-12-24 |
| JP2019066618A (ja) | 2019-04-25 |
| KR20190038296A (ko) | 2019-04-08 |
| US20200213467A1 (en) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114647318B (zh) | 跟踪设备的位置的方法 | |
| JP6845982B2 (ja) | 表情認識システム、表情認識方法及び表情認識プログラム | |
| CN107562184A (zh) | 影像显示系统、影像显示方法、影像显示程序 | |
| KR102544062B1 (ko) | 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치 | |
| CN107547796A (zh) | 外部拍摄系统、外部拍摄方法及外部拍摄程序 | |
| JP6112583B2 (ja) | ヘッドマウントディスプレイ | |
| US12177404B2 (en) | Image display system, image display method, and image display program | |
| US20170344112A1 (en) | Gaze detection device | |
| US12058300B2 (en) | Input parameter based image waves | |
| WO2017090203A1 (ja) | 視線検出システム、注視点特定方法及び注視点特定プログラム | |
| JP6485819B2 (ja) | 視線検出システム、ずれ検出方法、ずれ検出プログラム | |
| KR20220070485A (ko) | 자동화된 비디오 캡처 및 합성 시스템 | |
| TW201802642A (zh) | 視線檢測系統 | |
| US20170371408A1 (en) | Video display device system, heartbeat specifying method, heartbeat specifying program | |
| CN108604015B (zh) | 图像显示方法和头戴显示设备 | |
| US20180032134A1 (en) | Information processing system, operation method, and operation program | |
| CN108259886A (zh) | 推定系统、推定方法及推定程序 | |
| US20260010971A1 (en) | Simultaneous Passthrough and Recording Capabilities on a Head-Mounted Device | |
| JP2017045068A (ja) | ヘッドマウントディスプレイ |