[go: up one dir, main page]

TW201812432A - 外部拍攝系統、外部拍攝方法及外部拍攝程式 - Google Patents

外部拍攝系統、外部拍攝方法及外部拍攝程式 Download PDF

Info

Publication number
TW201812432A
TW201812432A TW106121671A TW106121671A TW201812432A TW 201812432 A TW201812432 A TW 201812432A TW 106121671 A TW106121671 A TW 106121671A TW 106121671 A TW106121671 A TW 106121671A TW 201812432 A TW201812432 A TW 201812432A
Authority
TW
Taiwan
Prior art keywords
line
image
external
sight
user
Prior art date
Application number
TW106121671A
Other languages
English (en)
Inventor
瀬古圭一
Original Assignee
Fove股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove股份有限公司 filed Critical Fove股份有限公司
Publication of TW201812432A publication Critical patent/TW201812432A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供通過簡單地操作外部拍攝用攝像頭來進行拍攝的外部拍攝系統。外部拍攝系統包括頭戴式顯示器及視線檢測裝置，頭戴式顯示器包括：拍攝部，借助不可見光來對包含被不可見光發射的使用者眼睛在內的圖像進行拍攝；第一發送部，發送被拍攝的拍攝圖像和用於表示拍攝時間的拍攝時間資訊；第一接收部，接收與使用者的視線方向有關的資訊；顯示部，對基於被拍攝的影像的圖像進行顯示；以及控制部，用於控制外部拍攝用攝像頭，視線檢測裝置包括：視線檢測部，從拍攝圖像和拍攝時間資訊檢測使用者的視線方向；以及第二發送部，用於將與檢測到的視線方向有關的資訊和拍攝時間建立關聯來發送，控制部根據與使用者的凝視位置有關的凝視時間來控制外部拍攝用攝像頭。

Description

外部拍攝系統、外部拍攝方法及外部拍攝程式
本發明涉及外部拍攝系統、其外部拍攝方法以及外部拍攝程式，尤其，涉及利用頭戴式顯示器的影像顯示技術。
從以往就開始開發利用如頭戴式顯示器等通過裝戴於頭部來使用的穿戴式終端的外部拍攝系統。
作為這種頭戴式顯示器的一例，專利文獻1還開發了如下的技術，即，在頭戴式顯示裝置中，借助齒輪馬達來以可向上下左右方向旋轉的方式裝戴攝像頭，從而可根據使用者的視線方向變更攝像頭的拍攝方向（例如，參照專利文獻1）。
現有技術文獻
專利文獻
專利文獻1：日本公開專利公報2002-32212號
但是，在上述專利文獻1中，雖然可根據視線方向變更攝像頭的拍攝方向，但存在其拍攝單一的問題。
本發明考慮到上述問題而提出，本發明的目的在於，提供在頭戴式顯示器上安裝用於拍攝外部的攝像頭，從而具有豐富的可用性的外部拍攝系統、外部拍攝方法及外部拍攝程式。
本發明一實施方式的外部拍攝系統包括頭戴式顯示器及視線檢測裝置，上述頭戴式顯示器包括：發射部，用於向用戶的眼睛發射不可見光；拍攝部，借助不可見光來對包含被發射部發射的使用者的眼睛在內的圖像進行拍攝；第一發送部，用於向視線檢測裝置發送由拍攝部拍攝的拍攝圖像和用於表示拍攝拍攝圖像的拍攝時間的拍攝時間資訊；第一接收部，用於從視線檢測裝置接收與使用者的視線方向有關的資訊；連接部，與外部拍攝用攝像頭相連接；顯示部，用於對基於由外部拍攝用攝像頭拍攝的影像的圖像進行顯示；以及控制部，用於控制外部拍攝用攝像頭，視線檢測裝置包括：第二接收部，用於接收拍攝圖像和拍攝時間資訊；視線檢測部，通過分析拍攝圖像來檢測使用者的視線方向；以及第二發送部，用於將與檢測到的視線方向有關的資訊和用於檢測視線方向的拍攝圖像的拍攝時間建立關聯來向頭戴式顯示器發送，控制部根據多個與視線方向有關的資訊及從與視線方向關聯的拍攝時間計算出的用戶的凝視時間，來進行基於外部拍攝用攝像頭的拍攝的控制。
並且，在上述外部拍攝系統中，控制部在檢測出對顯示於顯示部的特定物件凝視規定時間（t1）以上的情況下，能夠控制外部拍攝用攝像頭使得對焦於特定物件。
並且，在上述外部拍攝系統中，控制部在檢測出對顯示於顯示部的特定物件凝視規定時間（t2）以上的情況下，能夠控制外部拍攝用攝像頭使得放大上述特定物件。
並且，在上述外部拍攝系統中，外部拍攝系統還可包括錄影部，上述錄影部在檢測出對顯示於顯示部的特定物件凝視規定時間（t3）以上的情況下，對由外部拍攝用攝像頭拍攝的影像進行錄影。
並且，在上述外部拍攝系統中，控制部在通過與視線方向有關的資訊來表示的視線方向表示從特定物件變遠的情況下，能夠控制外部拍攝用攝像頭使得縮小特定物件。
並且，在上述外部拍攝系統中，外部拍攝系統還可包括生成部，上述生成部在從由拍攝部拍攝的影像中檢測出使用者在規定時間內合上2次眼皮的情況下，根據由外部拍攝用攝像頭拍攝的影像來生成靜止圖像。
並且，本發明一實施方式的外部拍攝方法通過外部拍攝系統來拍攝外部影像，上述外部拍攝系統包括：頭戴式顯示器，以能夠裝拆的方式與用於拍攝外部的外部拍攝用攝像頭相連接；以及視線檢測裝置，上述外部拍攝方法包括：顯示步驟，在顯示部顯示基於由外部拍攝用攝像頭拍攝的影像的圖像；發射步驟，頭戴式顯示器向用戶的眼睛發射不可見光；拍攝步驟，頭戴式顯示器借助不可見光來對包含被不可見光發射的使用者的眼睛在內的圖像進行拍攝；第一發送步驟，頭戴式顯示器向視線檢測裝置發送所拍攝的拍攝圖像和用於表示拍攝拍攝圖像的拍攝時間的拍攝時間資訊；第一接收步驟，視線檢測裝置接收拍攝圖像和拍攝時間資訊；視線檢測步驟，視線檢測裝置通過分析拍攝圖像來檢測使用者的視線方向；第二發送步驟，視線檢測裝置將與檢測到的視線方向有關的資訊和用於檢測視線方向的拍攝圖像的拍攝時間建立關聯來向頭戴式顯示器發送；以及控制步驟，頭戴式顯示器根據多個與上述視線方向有關的資訊及從與視線方向關聯的拍攝時間計算出的用戶的凝視時間，來控制由外部拍攝用攝像頭的拍攝。
並且，本發明一實施方式的外部拍攝程式用於使外部拍攝系統的頭戴式顯示器拍攝外部影像，上述外部拍攝系統包括：頭戴式顯示器，以能夠裝拆的方式與用於拍攝外部的外部拍攝用攝像頭相連接；以及視線檢測裝置，外部拍攝程式在頭戴式顯示器的電腦上實現如下功能：顯示功能，在顯示部顯示基於由外部拍攝用攝像頭拍攝的影像的圖像；發射功能，使頭戴式顯示器向用戶的眼睛發射不可見光；拍攝功能，借助不可見光來對包含被不可見光發射的使用者的眼睛在內的圖像進行拍攝；發送功能，向視線檢測裝置發送所拍攝的拍攝圖像和用於表示拍攝拍攝圖像的拍攝時間的拍攝時間資訊；接收功能，從視線檢測裝置接收由視線檢測裝置根據拍攝圖像檢測出的與視線方向有關的資訊以及對用於檢測的圖像進行拍攝的拍攝時間；以及控制功能，根據多個與視線方向有關的資訊及從與視線方向關聯的拍攝時間計算出的用戶的凝視時間，來進行基於外部拍攝用攝像頭的拍攝的控制。
根據本發明，外部拍攝系統可根據裝戴有頭戴式顯示器的使用者的視線方向來控制與頭戴式顯示器相連接的外部拍攝用攝像頭，從而進行多種拍攝。
實施方式
＜結構＞
圖1為示意性示出實施方式的外部拍攝系統1的大致外觀的圖。實施方式的外部拍攝系統1包括頭戴式顯示器100及視線檢測裝置200。如圖1所示，頭戴式顯示器100通過裝戴在用戶300的頭部來使用。
視線檢測裝置200用於檢測裝戴了頭戴式顯示器100的用戶的右眼及左眼中的至少一側的視線方向，並且特定使用者的焦點，即，顯示在頭戴式顯示器的三維圖像中的使用者所凝視的位置。並且，視線檢測裝置200還起到生成頭戴式顯示器100所顯示的影像的影像生成裝置的功能。雖然沒有限制，但舉例而言，視線檢測裝置200為桌上型的遊戲機、可擕式遊戲機、PC、平板電腦、智慧手機、平板手機、視頻播放機、電視機等能夠播放影像的裝置。視線檢測裝置200以無線或有線的方法與頭戴式顯示器100相連接。在圖1所示的例子中，視線檢測裝置200以無線的方式與頭戴式顯示器100相連接。視線檢測裝置200與頭戴式顯示器100之間的無線連接可利用例如已知的Wi-Fi（注冊商標）或藍牙（Bluetooth，注冊商標）等無線通訊技術實現。雖然沒有限制，但舉例而言，頭戴式顯示器100與視線檢測裝置200之間的影像的傳輸根據Miracast（商標）或WiGig（商標）、WHDI（商標）等標準執行。
此外，圖1示出了頭戴式顯示器100與視線檢測裝置200為不同裝置的情況時的例。然而，視線檢測裝置200可內置於頭戴式顯示器100。
頭戴式顯示器100包括框體150、裝戴件160、頭戴式耳機170及外部拍攝用攝像頭190。框體150用於收容圖像顯示元件等用於提供給使用者300影像的圖像顯示系統或未圖示的Wi-Fi模組或藍牙（Bluetooth，注冊商標）模組等無線傳輸模組。裝戴件160用於將頭戴式顯示器100裝戴在用戶300的頭部。裝戴件160例如由帶子、有伸縮性的帶等實現。若用戶300利用裝戴件160裝戴頭戴式顯示器100，框體150則配置於覆蓋使用者300的眼睛的位置。因此，若用戶300裝戴頭戴式顯示器100，則用戶300的視界被框體150遮擋。外部拍攝用攝像頭190通過裝戴在頭戴式顯示器100來對裝戴頭戴式顯示器100的用戶無法直接看到的外部狀態進行拍攝。外部拍攝用攝像頭190能夠以可裝卸的方式裝戴于頭戴式顯示器100。若外部拍攝用攝像頭190裝戴于頭戴式顯示器100，則與頭戴式顯示器100的控制系統電連接，從而可向頭戴式顯示器100傳輸利用外部拍攝用攝像頭190拍攝的影像，同時受到頭戴式顯示器100的控制。
頭戴式耳機170用於輸出視線檢測裝置200所播放的影像的聲音。頭戴式耳機170可以不固定于頭戴式顯示器100。即使在用戶300利用裝戴件160裝戴了頭戴式顯示器100的狀態下，也能夠自由裝卸頭戴式耳機170。
圖2為示意性地示出實施方式的頭戴式顯示器100的圖像顯示系統130的大致外觀的立體圖。更為具體地，圖2為表示在實施方式的框體150之中的與裝戴了頭戴式顯示器100時的用戶300的眼角膜302相向的區域的圖。
如圖2所示，當用戶300裝戴了頭戴式顯示器100時，左眼用凸透鏡114a將處於與用戶300的左眼的眼角膜302a相向的位置。同樣，當用戶300裝戴了頭戴式顯示器100時，右眼用凸透鏡114b將處於與用戶300的右眼的眼角膜302b相向的位置。左眼用凸透鏡114a和右眼用凸透鏡114b分別由左眼用透鏡支持部152a和右眼用透鏡支持部152b夾持。
以下說明書中，除了要特別區分左眼用凸透鏡114a和右眼用凸透鏡114b的情況之外，皆簡單地表示成“凸透鏡114”。同樣，除了要特別區分用戶300的左眼的眼角膜302a和用戶300的右眼的眼角膜302b的情況之外，皆簡單地表示成“眼角膜302”。左眼用透鏡支持部152a和右眼用透鏡支持部152b也是一樣地，除了要特別區分的情況之外，皆表示成“透鏡支持部152”。
在透鏡支持部152設有多個紅外線光源103。為了避免說明複雜，在圖2中，將對用戶300的左眼的眼角膜302a發射紅外線的紅外線光源統稱為紅外線光源103a，將對用戶300的右眼的眼角膜302b發射紅外線的紅外線光源統稱為紅外線光源103b。下面，除了要特別區分紅外線光源103a和紅外線光源103b的情況之外，皆簡單地表示成“紅外線光源103”。在圖2所示的例子中，左眼用透鏡支援部152a具有6個紅外線光源103a。同樣，右眼用透鏡支持部152b也具有6個紅外線光源103b。像這樣，通過將紅外線光源103配置於用於夾持凸透鏡114的透鏡支持部152，而不是直接配置於凸透鏡114，更容易裝戴紅外線光源103。由於透鏡支持部152通常由樹脂等構成，因而比由玻璃等構成的凸透鏡114更容易進行用於裝戴紅外線光源103的加工。
如上所述，透鏡支持部152是一種用於夾持凸透鏡114的部件。因此，設在透鏡支持部152的紅外線光源103配置於凸透鏡114的周圍。此外，在這裡說明的是對每只眼睛發射紅外線的紅外線光源103為6個，但並不僅限於此數目，只要有至少一個對應於各眼睛的紅外線光源即可，設置兩個以上會更好。
圖3為示意性地示出實施方式的框體150所收納的圖像顯示系統130的光學結構，是從左眼側的側面所看到的圖2中示出的框體150的情況的圖。圖像顯示系統130包括紅外線光源103、圖像顯示元件108、熱反射鏡112、凸透鏡114、攝影機116及第一通信部118。
紅外線光源103可發射近紅外（700nm～2500nm程度）的波長譜帶的光的光源。一般而言，近紅外線為用戶300 的肉眼無法察覺的不可見光的波長譜帶的光。
圖像顯示元件108顯示用於提供給使用者300的圖像。圖像顯示元件108所顯示的圖像由視線檢測裝置200內的影像生成部222生成。關於影像生成部222將在下文中進行說明。圖像顯示元件108，例如可由已知的液晶顯示器（LCD，Liquid Crystal Display）或有機電致發光顯示器（Organic Electro Luminescence Display）來實現。
當用戶300裝戴了頭戴式顯示器100時，熱反射鏡112配置於圖像顯示元件108與使用者300的眼角膜302之間。熱反射鏡112具有穿過圖像顯示元件108所生成的可見光而將近紅外線則反射的性質。
相對於熱反射鏡112，凸透鏡114配置於圖像顯示元件108的相反側。換言之，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於熱反射鏡112與用戶300的眼角膜302之間。即，當用戶300裝戴了頭戴式顯示器100時，凸透鏡114配置於與使用者300的眼角膜302相向的位置。
凸透鏡114彙聚穿過熱反射鏡112的圖像顯示光。為此，凸透鏡114具有當作將圖像顯示元件108所生成的圖像放大後提供給使用者300的圖像放大部的功能。此外，為了方便說明，在圖2中僅示出了一個凸透鏡114，但凸透鏡114也可以是結合各種透鏡所組成的透鏡組，或者，也可以是一面為曲面、而另一面為平面的單凸透鏡。
多個紅外線光源103配置於凸透鏡114的周圍。紅外線光源103向用戶300的眼角膜302發射紅外線。
雖然未圖示，實施方式的頭戴式顯示器100的圖像顯示系統130具有兩個圖像顯示元件108，而能夠獨立地生成用於提供給用戶300的右眼的圖像和用於提供給左眼的圖像。因此，實施方式的頭戴式顯示器100能夠分別提供右眼用視差圖像和左眼用視差圖像給使用者300的右眼和左眼。由此，實施方式的頭戴式顯示器100能夠對使用者300提示具有層次感的立體影像。
如上所述，熱反射鏡112可讓可見光穿過，而將近紅外線加以反射。因此，圖像顯示元件108所發射的圖像光穿過熱反射鏡112而到達至用戶300的眼角膜302。並且，由紅外線光源103所發射而在凸透鏡114的內部的反射區域被反射的紅外線到達至用戶300的眼角膜302。
到達用戶300的眼角膜302的紅外線被用戶300的眼角膜302反射而再度射向凸透鏡114的方向。此紅外線穿過凸透鏡114，而被熱反射鏡112反射。攝影機116具有用以濾除可見光的濾光片，而拍攝被熱反射鏡112反射的近紅外線。即，攝影機116為近紅外攝影機，其對由紅外線光源103所發射而在用戶300的眼睛處被眼角膜反射的近紅外線進行拍攝。
此外，雖然未圖示，實施方式的頭戴式顯示器100的圖像顯示系統130可具有兩個攝影機116，即，用於拍攝包含被右眼反射的紅外線的圖像的第一拍攝部和用於拍攝包含被左眼反射的紅外線的圖像的第二拍攝部。由此，用於檢測出用戶300的右眼和左眼雙眼的視線方向的圖像。
第一通信部118將攝影機116拍攝的圖像輸出到用於檢測使用者300的視線方向的視線檢測裝置200。具體地，第一通信部118將攝影機116拍攝的圖像傳輸給視線檢測裝置200。至於具有當作視線方向檢測部的功能的視線檢測部221，將在下文中進行詳細說明，可通過視線檢測裝置200的中央處理器（CPU，Central Processing Unit）所運行的外部拍攝程式實現。此外，頭戴式顯示器100具有中央處理器或記憶體等計算資源的情況下，頭戴式顯示器100的中央處理器也可運行用於實現視線方向檢測部的程式。
雖然以下將詳細說明，在由攝影機116拍攝到的圖像中，由在使用者300的眼角膜302 處被反射的近紅外線而來的亮點以及包含以近紅外線的波長譜帶所觀測到的用戶300 的眼角膜302 的眼睛的影像將被拍到。
如上所述，在實施方式的圖像顯示系統130之中，雖然主要就用以提供給用戶300 的左眼的影像的結構加以說明，但用以提供給用戶300 的右眼的影像的結構也與上述相同。
圖4為根據視線檢測系統1的頭戴式顯示器100及視線檢測裝置200之間的框圖。如圖4所示，並且，如上所述，視線檢測系統1包括相互進行通信的頭戴式顯示器100及視線檢測裝置200。
如圖4所示，頭戴式顯示器100包括第一通信部118、顯示部121、紅外線發射部122、影像處理部123、拍攝部124、連接部125及控制部126。
第一通信部118為具有與視線檢測裝置200的第二通信部220進行通信的功能的通信介面。如上所述，第一通信部118通過有線通信或無線通訊來與第二通信部220進行通信。可使用的通信標準的例為如上所述。第一通信部118將從拍攝部124或影像處理部123傳輸的用於視線檢測的圖像資料發送給第二通信部220。並且，第一通信部118將從視線檢測裝置200發送的三維圖像資料或標記圖像傳輸給顯示部121。作為圖像資料的一例為基於由外部拍攝用攝像頭190拍攝的影像的圖像。並且，圖像資料也可以為由用於顯示三維圖像的右眼用視差圖像和左眼用視差圖像形成的視差圖像對。並且，第一通信部118向控制部126傳遞從視線檢測裝置200發送的有關視線方向的時間資訊和相關聯的拍攝時間資訊。並且，第一通信部118向視線檢測裝置200傳遞借助從連接部125傳遞的由外部拍攝用攝像頭190拍攝的外部影像。
顯示部121具有將從第一通信部118傳遞的圖像資料顯示於圖像顯示元件108的功能。顯示部121將基於由外部拍攝用攝像頭190拍攝的影像的圖像作為圖像資料來顯示。上述圖像資料可以為由外部拍攝用攝像頭190拍攝的影像本身的圖像，也可以為在相應影像中追加某種影像處理的圖像。並且，顯示部121將從影像生成部222輸出的標記圖像顯示於圖像顯示元件108的指定的座標。
紅外線發射部122控制紅外線光源103，向用戶的右眼或左眼發射紅外線。
影像處理部123根據需要對拍攝部124拍攝的圖像進行影像處理並傳輸給第一通信部118。
拍攝部124利用攝影機116拍攝包含被各只眼睛反射的近紅外線的圖像。即，攝像頭116借助不可見光進行拍攝。並且，拍攝部124拍攝包含凝視圖像顯示元件108中所顯示的標記圖像的使用者的眼睛的圖像。拍攝部124將拍攝到的圖像以與進行拍攝的拍攝時間相關聯地傳輸給第一通信部118或影像處理部123。
連接部125為具有連接外部拍攝用攝像頭190功能的介面。連接部125若檢測出已連接外部拍攝用攝像頭190，則向控制部126傳遞連接有外部拍攝用攝像頭190的情況。並且，連接部125向第一通信部118或顯示部121傳遞由外部拍攝用攝像頭190拍攝的影像。並且，連接部125向外部拍攝用攝像頭190傳遞從控制部126發送的控制信號。
控制部126根據與從第一通信部118傳遞的視線方向有關的資訊和相關聯的拍攝時間，生成用於進行基於外部拍攝用攝像頭190的拍攝的控制的控制信號，並向連接部125傳遞。與視線方向有關的資訊和相關聯的拍攝時間依次被控制部126傳遞。
具體地，控制部126根據多個與連續的視線方向有關的資訊和與其相關聯的拍攝時間來檢測凝視時間，從而檢測基於與連續的視線方向有關的資訊的使用者的凝視點是否與在相關聯的拍攝時間內顯示於顯示部121的特定物件的顯示位置相重疊。
並且，控制部126在檢測出對特定物件凝視t1（例如，1秒）時間以上的情況下，生成用於對焦於上述特定物件的控制信號，並向連接部125傳遞。
並且，控制部126在檢測出對特定物件凝視t2（例如，3秒）時間以上的情況下，生成用於以慢慢放大上述特定物件的方式控制外部拍攝用攝像頭190的控制信號，並向連接部125傳遞。
並且，控制部126在檢測出對特定物件凝視t3（例如，5秒）時間以上的情況下，將基於顯示在顯示部121的三維（3D）視頻的二維（2D）視頻錄影于頭戴式顯示器100的記憶體（未圖示）。
其中，t1、t2、t3時間只要是互不相同的時間即可，其時間長度不存在上下關係。即，能夠以t1時間為4秒、t2時間為2秒等方式設定。但是，凝視時間越長，則越表示使用者對特定物件的興趣度高，因而凝視時間越長，越優選以使使用者可進一步理解特定物件的方式控制拍攝。並且，在本實施方式中，滿足t3＞t2＞t1。
並且，控制部126在檢測出使用者對特定物件凝視規定時間以上的情況之後，當檢測出凝視點從上述特定物件分離（根據與視線方向有關的資訊來特定的凝視點和特定物件的顯示位置不重複）的情況時，生成以慢慢縮小的方式控制外部拍攝用攝像頭190的控制信號，並向連接部125傳遞。此時，控制部126在進行特定物件的錄影的情況下，則凝視上述錄影。
並且，控制部126根據從拍攝部124傳遞的拍攝圖像來對使用者的眼睛的移動進行識別。具體地，在根據拍攝圖像來檢測出使用者在規定時間內（例如，1秒之內）合上眼皮規定次數（例如，2次）的情況下，控制部126將由顯示部121顯示中的三維影像作為二維圖像來記錄于頭戴式顯示器100的記憶體（未圖示）。三維影像由右眼用圖像和左眼用圖像形成，因而控制部126僅將右眼用圖像和左眼用圖像中的一側作為二維圖像來記錄。
以上為對頭戴式顯示器100的結構的說明。
如圖4所示，視線檢測裝置200包括第二通信部220、視線檢測部221、影像生成部222及存儲部223。
第二通信部220為具有與頭戴式顯示器100的第一通信部118進行通信的功能的通信介面。如上所述，第二通信部220通過有線通信或無線通訊來與第一通信部118進行通信。第二通信部220向頭戴式顯示器100發送用於顯示從影像生成部222傳遞的虛擬空間圖像的圖像資料或為了校準而利用的標記圖像等。並且，向視線檢測部221傳遞包括對從頭戴式顯示器100傳遞的由拍攝部124拍攝的標記圖像進行凝視的使用者眼睛在內的圖像或對凝視根據由影像生成部222輸出的圖像資料來顯示的圖像的使用者眼睛進行拍攝的圖像。並且，第二通信部220向影像生成部222傳遞由外部拍攝用攝像頭190拍攝的影像。
視線檢測部221從第二通信部220接收使用者的右眼的視線檢測用圖像資料，對使用者的右眼的視線方向進行檢測。視線檢測部221利用後述的方法，計算出表示使用者的右眼的視線方向的右眼視線向量。同樣，通過從第二通信部220接收使用者左眼的視線檢測用圖像資料來計算出表示用戶300的左眼的視線方向的左眼視線向量。並且，利用計算出的視線向量，特定使用者所凝視的圖像顯示元件108中顯示的圖像的位置。並且，視線檢測部221將計算出的視線向量作為與視線方向有關的資訊，並與用於計算出上述視線向量的拍攝圖像相關聯的拍攝時間資訊一同，通過第二通信部220向頭戴式顯示器100發送。並且，與視線方向有關的資訊也可以為由視線檢測部221特定的凝視點的資訊。
影像生成部222生成顯示于頭戴式顯示器100的顯示部121的圖像資料，並向第二通信部220傳遞。影像生成部222生成用於顯示例如虛擬空間圖像的圖像資料。或者影像生成部222通過對從第二通信部220傳遞的由外部拍攝用攝像頭190拍攝的外部影像進行加工來生成圖像資料。並且，影像生成部222通過生成用於視線檢測的校準的標記圖像來與其顯示座標位置一同向第二通信部220傳遞，並向頭戴式顯示器100發送。
存儲部223為對視線檢測裝置200在進行動作的過程中所需的各種程式或資料進行記錄的記錄介質。存儲部223可通過例如硬碟驅動器（HDD，Hard Disc Drive）、固態硬碟（SSD，Solid State Drive）等來實現。
然後，對實施方式中的視線方向的檢測進行說明。
圖5為說明用於實施方式的視線方向的檢測的校準的示意圖。使用者300的視線方向通過視線檢測裝置200內的視線檢測部221對攝影機116拍攝且從第一通信部118向各視線檢測裝置200輸出的影像進行分析來實現。
影像生成部222生成如圖5所示的點Q1 至點Q9 的9個點（標記圖像），並顯示于頭戴式顯示器100的圖像顯示元件108。視線檢測裝置200依照點Q1 至點Q9 的順序讓使用者300凝視各點。此時，用戶300 被要求保持脖子不動而盡可能地僅借助眼球的移動去凝視各點。攝影機116對包含用戶300凝視著點Q1 至點Q9 這9個點時的用戶300的眼角膜302的圖像進行拍攝。
圖6為說明用戶300的眼角膜302的位置座標的示意圖。視線檢測裝置200內的視線檢測部221分析攝影機116拍攝的圖像來檢測出源於紅外線的亮點。當用戶300僅借助眼球的移動而凝視著各點時，則即使用戶凝視著任一點的情況時，亮點105 的位置被認為並不會變動。如此一來，視線檢測部221會以檢測出的亮點105為基準在攝影機116拍攝的圖像中設定出二維坐標系306。
視線檢測部221再通過分析攝影機116拍攝的圖像來檢測出使用者300的眼角膜302的中心P。這可通過例如霍夫變換、邊緣抽取處理等已知的影像處理技術而得以實現。由此，視線檢測部221能夠取得所設定的二維坐標系306中的用戶300的眼角膜302的中心P的座標。
在圖5中，圖像顯示元件108所顯示的顯示畫面之中設定的二維坐標系中的點Q1 至點Q9 的座標分別顯示為Q1 （x1 、y1 ）T 、Q2 （x2 、y2 ）T ……，Q9 （x9 、y9 ）T 。各座標是以例如位在各點的中心的圖元為編號。此外，將用戶300凝視著點Q1 至點Q9 時的用戶300眼角膜302的中心P分別顯示為點P1 至點P9 。此時，分別將二維坐標系306之中的點P1 至點P9 的座標顯示為P1 （X1 、Y1 ）T 、P2 （X2 、Y2 ）T 、……、P9 （X9 、Y9 ）T 。此外，T表示向量或矩陣的轉置。現在，將大小為2×2的矩陣Ｍ定義成以下的公式（1） [公式1]
此時，如果矩陣Ｍ滿足以下公式（2），則矩陣Ｍ為使用者300的視線方向投影到圖像顯示元件108所顯示的圖像面的矩陣。
PN =MQN （N＝1，……，9） （2）。
如果詳細地寫出上述公式（2），將如以下公式（3）。 [公式2]
如果改變公式（3）的型態的話，則可得到以下的公式（4）。 [公式3]
在此，如果進行以下的替換， [公式4]
則可得到以下公式（5）。 y＝Ax　　（5）
公式（5）中，因為向量y的元素是視線檢測部221使圖像顯示元件108所顯示點Q1 至點Q9 的座標，故為已知。並且，因為矩陣A的元素是使用者300的眼角膜302的頂點P的座標，因此也能夠取得。由此，視線檢測部221能夠取得向量y及矩陣A。此外，將轉換矩陣M 的元素排列而成的向量的向量x 為未知。因此，在向量y與矩陣A 為已知時，推算矩陣M 的問題為求出未知的向量x的問題。
如果公式的數目（即，視線檢測部221在校準時提供給用戶300的點Q的數目）比未知數的數目（即向量x的元素數4）多的話，則公式（5）成為超定（overdetermined）問題。在公式（5）所示的例子中，因為公式的數目為9個，因而屬於超定問題 。
將向量y和向量Ax的誤差向量作為向量e。即，e＝y-Ax。此時，代表向量e 的元素的平方和為最小的意義的最佳的向量Xop t可由以下公式（6）求得。 Xopt ＝（AT A）-1 AT y （6）
其中，“-1”表示反矩陣。
視線檢測部221利用所求得的向量Xopt 的元素來構成公式（1）的矩陣Ｍ。由此，視線檢測部221利用使用者300的眼角膜302的頂點P的座標的矩陣Ｍ，並根據公式（2）來可推算出用戶300的右眼凝視圖像顯示元件108所顯示的動態圖像上的何處。其中，視線檢測部221還從頭戴式顯示器100接收使用者的眼睛與圖像顯示元件108之間的距離資訊，並根據上述距離資訊對推算出的使用者所凝視的座標值進行修改。並且，基於使用者的眼睛與圖像顯示元件108之間的距離的凝視位置的推定不一致屬於誤差的範圍，可以無視。由此，視線檢測部221能夠計算出連結圖像顯示元件108上的右眼的凝視點和用戶的右眼的眼角膜的頂點的右眼視線向量。同樣地，視線檢測部221能夠計算出連結圖像顯示元件108上的左眼的凝視點和用戶的左眼的眼角膜的頂點的左眼視線向量。並且，可以僅通過一隻眼睛的視線向量來確認二維平面上的用戶的凝視點，可通過獲得兩隻眼睛的視線向量來計算出使用者的凝視點的深度方向資訊。由此，視線檢測裝置200可特定使用者的凝視點。並且，在此表示的凝視點特定方法為一例，也可利用本實施方式所表示的方法之外的其他方法來特定用戶的凝視點。
＜動作＞
以下，對本實施方式的外部拍攝系統1的動作進行說明。圖7為示出外部拍攝系統1的動作的流程圖，示出借助與頭戴式顯示器100相連接的外部拍攝用攝像頭190來進行的拍攝控制的處理的流程圖。
頭戴式顯示器100及時（例如，每0.1秒）向視線檢測裝置200發送對用於檢測使用者的視線方向的使用者的眼睛進行拍攝的拍攝圖像，視線檢測裝置200根據接收到的拍攝圖像檢測視線方向，並向頭戴式顯示器100發送上述資訊。
頭戴式顯示器100的顯示部121對由視線檢測裝置200的影像生成部222生成，且基於由外部拍攝用攝像頭190拍攝的影像的圖像進行顯示（步驟S701）。
控制部126根據與從第一通信部118傳遞的視線方向有關的資訊，對顯示於使用者的顯示部121的圖像的凝視點進行特定（步驟S702）。
控制部126根據與連續傳遞的視線方向有關的資訊，對使用者所凝視的座標進行特定。並且，控制部126根據與有關視線方向的資訊相關聯的拍攝時間資訊，判斷使用者是否對特定物件凝視規定時間t1以上（步驟S703）。在未對特定物件凝視規定時間t1以上的情況下（步驟S703的“否”），則執行步驟S711。
在判斷為使用者對特定物件凝視規定時間t1以上的情況下（步驟S703的 “是”），控制部126生成用於使外部拍攝用攝像頭190聚焦於特定物件的控制信號，即，用於對焦的控制信號，並向連接部125傳遞。由此，借助與連接部125相連接的外部拍攝用攝像頭190的拍攝成為對焦於上述特定物件的拍攝（步驟S703）。
控制部126判斷使用者是否凝視特定物件並經過規定時間t2（步驟S705）。在判斷為使用者未對特定物件凝視規定時間t2以上的情況下（步驟S705的“否”），則執行步驟S709。
另一方面，在判斷為使用者對特定物件凝視規定時間t2以上的情況下（步驟S705的“是”），則控制部126生成用於放大使用者所凝視的特定物件的控制信號，並向連接部125傳遞。由此，借助與連接部125相連接的外部拍攝用攝像頭190以慢慢放大特定物件的方式進行拍攝（步驟S706）。
然後，控制部126判斷使用者是否對特定物件凝視規定時間t3以上（步驟S707）。在判斷為使用者未對特定物件凝視規定時間t3以上的情況下（步驟S707），則執行步驟S709。
在判斷未使用者對特定物件凝視規定時間t3以上的情況下（步驟S707的“是”），控制部126將顯示於顯示部121的三維視頻作為二維視頻來開始進行錄影處理（步驟S708）。
然後，控制部126對用戶的凝視點是否從特定物件變遠進行判斷（步驟S709）。在判斷為使用者的凝視點從特定物件變遠的情況下（步驟S709的“是”），當錄影二維視頻時，控制部126在結束錄影的同時生成用於使借助外部拍攝用攝像頭190進行慢慢從特定物件縮小的拍攝的控制信號，並向連接部125傳遞（步驟S710）。由此，外部拍攝用攝像頭190以慢慢從特定物件縮小的方式進行拍攝。並且，執行步驟S713。
在步驟S703中，在判斷為使用者未對特定物件凝視規定時間t1以上的情況下（步驟S703的“否”），控制部126根據由拍攝部124拍攝的圖像來判斷使用者是否在規定時間內合上2次眼皮（步驟S711）。在判斷為未在規定時間內合上2次眼皮的情況下（步驟S711的 “否”），執行步驟S713的處理。
在判斷為未在規定時間內合上2次眼皮的情況下（步驟S711的“是”），控制部126基於顯示在顯示部121的三維視頻生成二維靜止圖像，並存儲於記憶體。
控制部126判斷用戶是否進行向頭戴式顯示器100的顯示部121的結束顯示的輸入（步驟S713）。在未收到結束顯示的輸入的情況下（步驟S713的“否”），返回步驟S701，在收到結束顯示的輸入的情況下（步驟S713的“是”），結束處理。
由此，外部拍攝系統1可根據使用者的視線，通過控制外部拍攝用攝像頭190來進行拍攝。
＜總結＞如上所述，本發明的外部拍攝系統1可根據使用者的視線方向和凝視時間來對與頭戴式顯示器100相連接的外部拍攝用攝像頭190的拍攝進行控制。例如，在用於對特定物件凝視規定時間以上的情況下，可進行自動聚焦於其物件的控制。因此，使用者可以僅通過視線對拍攝進行控制，從而可提高使用頭戴式顯示器100來操作的自由度。
＜補充＞
本發明的外部拍攝系統並不局限於上述實施方式，當然也可通過用於實現其發明的其他方法來實現。以下，除上述之外，對可包含于本發明思想的實施例進行說明。
（1）在上述實施方式中所描述的外部拍攝用攝像頭190的控制方法為一例，只要控制部126根據使用者的視線方向以及其凝視時間來進行基於外部拍攝用攝像頭190的拍攝的控制，就還可進行除此之外的控制。
（2）雖然未在上述實施方式中特別記載，外部拍攝系統1還可追加裝戴可使用戶進行操作的控制器，從而與使用者的視線方向進行組合來對外部拍攝用攝像頭190進行更加細緻的控制。
（3）上述實施方式中的視線檢測方法為一例，通過上述頭戴式顯示器100及視線檢測裝置200進行的視線檢測方法並不局限於此。
首先，在上述實施方式中，描述設置有多個作為不可見光來發射近紅外線的紅外線光源的例，但向用戶的眼睛發射近紅外線的方法並不局限於此。例如，對於構成頭戴式顯示器100的圖像顯示元件108的圖元，也可設置具有發出近紅外線的子圖元的圖元，並使發出這種近紅外線的子圖元選擇性發光，從而向用戶的眼睛發射近紅外線。並且，或者代替圖像顯示元件108，在頭戴式顯示器100設置視網膜投影顯示器的同時顯示於視網膜投影顯示器，從而使投影於使用者的視網膜的圖像內包含發出近紅外線的圖元，由此發射近紅外線。無論在圖像顯示元件108的情況下或在視網膜投影顯示器的情況下，發出近紅外線的子圖元可以定期變更。並且，在作為子圖元來在圖像顯示元件108設置發出近紅外線的子圖元的情況下或使視網膜投影顯示器包含近紅外線的圖元的情況下，無需上述實施方式中的熱反射鏡112。
並且，在上述實施方式中表示的視線檢測的演算法也並不局限於在上述實施方式中所表示的方法，只要可進行視線檢測，就可利用其它演算法。
（4）在上述實施方式中，在步驟S708中錄影的二維視頻或在步驟S710中拍攝的靜止圖像可向視線檢測裝置200發送，並記錄在視線檢測裝置200的存儲部223。
（5）在上述實施方式中，外部拍攝用攝像頭190可借助齒輪馬達以可向上下左右方向轉動的方式裝戴于頭戴式顯示器100。並且，控制部126可根據使用者的視線方向對外部拍攝用攝像頭190的拍攝方向進行控制。
（6）並且，在上述實施方式中，頭戴式顯示器100及視線檢測裝置200的處理器通過運行外部拍攝程式來對與頭戴式顯示器100相連接的外部拍攝用攝像頭進行控制，但這也可以由視線檢測裝置200借助形成於積體電路（IC；Integrated Circuit）晶片、大型積體電路（LSI，Large Scale Integration）等的邏輯電路（hardware）或專用電路來實現。並且，這些電路可由一個或多個積體電路實現，也可由一個積體電路實現上述實施方式中示出的多個功能部的功能。LSI根據集成度的不同而可分別稱為VLSI、超級LSI、特級LSI等。即，如圖8所示，頭戴式顯示器100可包括第一通信電路118a、第一顯示電路121a、紅外線發射電路122a、影像處理電路123a、拍攝電路124a、連接電路125a及控制電路126a，各自的功能與在上述實施方式中示出的名稱相同的各個部分相同。並且，視線檢測裝置200可以包括第二通信電路220a、視線檢測電路221a、影像生成電路222a及記錄電路223a，各自的功能與在上述實施方式中示出的名稱相同的各個部分相同。
並且，上述外部拍攝程式可被記錄在處理器可讀取的記錄介質，作為記錄介質，可利用“非暫時性的有形的介質”，例如磁帶、磁片、半導體記憶體、可程式化的邏輯電路等。並且，上述外部拍攝程式可經由能夠傳輸上述外部拍攝程式的任意的傳輸介質（通信網路或播放信號等）向上述處理器供給。在本發明中，上述外部拍攝程式還可由電子格式的傳送來體現的載波所包含的資料信號的方式得以實現。
並且，上述視線檢測程式可以利用例如ActionScript、JavaScript（注冊商標）、Python、Ruby等指令碼語言、C語言、C++、C#、Objective-C、Java（注冊商標）等編譯語言來進行安裝。
（7）可以對在上述實施方式中所描述的結構及各種（補充）進行適當的組合。
產業上的可利用性
本發明可利用于頭戴式顯示器。
1‧‧‧外部拍攝系統
100‧‧‧頭戴式顯示器
103a‧‧‧紅外線光源（第二紅外線發射部）
103b‧‧‧紅外線光源（第一紅外線發射部）
105‧‧‧亮點
108‧‧‧圖像顯示元件
112‧‧‧熱反射鏡
114、114a、114b‧‧‧凸透鏡
116‧‧‧攝像頭
118‧‧‧第一通信部
121‧‧‧顯示部
122‧‧‧紅外線發射部
123‧‧‧影像處理部
124‧‧‧拍攝部
125‧‧‧連接部
126‧‧‧控制部
130‧‧‧圖像顯示系統
150‧‧‧框體
152a、152b‧‧‧透鏡支持部
160‧‧‧裝戴件
170‧‧‧頭戴式耳機
200‧‧‧視線檢測裝置
220‧‧‧第二通信部
221‧‧‧視線檢測部
222‧‧‧影像生成部
223‧‧‧存儲部
圖1為示出使用者裝戴實施方式的頭戴式顯示器的狀態的外觀圖。 圖2為示意性示出實施方式的頭戴式顯示器的圖像顯示系統的大致外觀的立體圖。 圖3為示意性示出實施方式的頭戴式顯示器的圖像顯示系統的光學結構的圖。 圖4為示出實施方式的外部拍攝系統的結構的框圖。 圖5為說明用於實施方式的視線方向的檢測的校準的示意圖。 圖6為說明用戶的眼角膜的位置座標的示意圖。 圖7為示出實施方式的外部拍攝系統的動作的流程圖。 圖8為示出外部拍攝系統的電路結構的框圖。

Claims (8)

  1. 一種外部拍攝系統，包括頭戴式顯示器及視線檢測裝置： 上述頭戴式顯示器包括： 發射部，用於向用戶的眼睛發射不可見光； 拍攝部，借助不可見光來對包含被上述發射部發射的使用者的眼睛在內的圖像進行拍攝； 第一發送部，用於向上述視線檢測裝置發送由上述拍攝部拍攝的拍攝圖像和用於表示拍攝上述拍攝圖像的拍攝時間的拍攝時間資訊； 第一接收部，用於從上述視線檢測裝置接收與使用者的視線方向有關的資訊； 連接部，與外部拍攝用攝像頭相連接； 顯示部，用於對基於由上述外部拍攝用攝像頭拍攝的影像的圖像進行顯示；以及 控制部，用於控制上述外部拍攝用攝像頭； 上述視線檢測裝置包括： 第二接收部，用於接收上述拍攝圖像和上述拍攝時間資訊； 視線檢測部，通過分析上述拍攝圖像來檢測上述使用者的視線方向；以及 第二發送部，用於將與檢測到的視線方向有關的資訊和用於檢測上述視線方向的拍攝圖像的拍攝時間建立關聯來向上述頭戴式顯示器發送； 上述控制部根據多個與上述視線方向有關的資訊及從與上述視線方向關聯的拍攝時間計算出的用戶的凝視時間，來進行基於上述外部拍攝用攝像頭的拍攝的控制。
  2. 根據請求項第1項所述的外部拍攝系統其中，上述控制部在檢測出對顯示於上述顯示部的特定物件凝視規定時間（t1）以上的情況下，控制上述外部拍攝用攝像頭使得對焦於上述特定物件。
  3. 根據請求項第1或2項所述的外部拍攝系統，其中，上述控制部在檢測出對顯示於上述顯示部的特定物件凝視規定時間（t2）以上的情況下，控制上述外部拍攝用攝像頭使得放大上述特定物件。
  4. 根據請求項第1至3中任一項所述的外部拍攝系統，其中，上述外部拍攝系統還包括錄影部，上述錄影部在檢測出對顯示於上述顯示部的特定物件凝視規定時間（t3）以上的情況下，對由上述外部拍攝用攝像頭拍攝的影像進行錄影。
  5. 根據請求項第2至4中任一項所述的外部拍攝系統，其中，上述控制部在通過與上述視線方向有關的資訊來表示的視線方向表示從上述特定物件變遠的情況下，控制上述外部拍攝用攝像頭使得縮小上述特定物件。
  6. 根據請求項第1至5中任一項所述的外部拍攝系統，其中，上述外部拍攝系統還包括生成部，上述生成部在從由上述拍攝部拍攝的影像中檢測出使用者在規定時間內合上2次眼皮的情況下，根據由上述外部拍攝用攝像頭拍攝的影像來生成靜止圖像。
  7. 一種外部拍攝方法，通過外部拍攝系統來拍攝外部影像，上述外部拍攝系統包括：頭戴式顯示器，以能夠裝拆的方式與用於拍攝外部的外部拍攝用攝像頭相連接；以及視線檢測裝置，上述外部拍攝方法包括： 顯示步驟，在顯示部顯示基於由上述外部拍攝用攝像頭拍攝的影像的圖像； 發射步驟，上述頭戴式顯示器向用戶的眼睛發射不可見光； 拍攝步驟，上述頭戴式顯示器借助不可見光來對包含被上述不可見光發射的使用者的眼睛在內的圖像進行拍攝； 第一發送步驟，上述頭戴式顯示器向上述視線檢測裝置發送所拍攝的拍攝圖像和用於表示拍攝上述拍攝圖像的拍攝時間的拍攝時間資訊； 第一接收步驟，上述視線檢測裝置接收上述拍攝圖像和上述拍攝時間資訊； 視線檢測步驟，上述視線檢測裝置通過分析上述拍攝圖像來檢測上述使用者的視線方向； 第二發送步驟，上述視線檢測裝置將與檢測到的視線方向有關的資訊和用於檢測上述視線方向的拍攝圖像的拍攝時間建立關聯來向上述頭戴式顯示器發送；以及 控制步驟，上述頭戴式顯示器根據多個與上述視線方向有關的資訊及從與上述視線方向關聯的拍攝時間計算出的用戶的凝視時間，進行基於上述外部拍攝用攝像頭的拍攝的控制。
  8. 一種外部拍攝程式，用於使外部拍攝系統的頭戴式顯示器拍攝外部影像，上述外部拍攝系統包括：頭戴式顯示器，以能夠裝拆的方式與用於拍攝外部的外部拍攝用攝像頭相連接；以及視線檢測裝置，上述外部拍攝程式在上述頭戴式顯示器的電腦上實現如下功能： 顯示功能，在顯示部顯示基於由上述外部拍攝用攝像頭拍攝的影像的圖像； 發射功能，使上述頭戴式顯示器向用戶的眼睛發射不可見光； 拍攝功能，借助不可見光來對包含被上述不可見光發射的使用者的眼睛在內的圖像進行拍攝； 發送功能，向上述視線檢測裝置發送所拍攝的拍攝圖像和用於表示拍攝上述拍攝圖像的拍攝時間的拍攝時間資訊； 接收功能，從上述視線檢測裝置接收由上述視線檢測裝置根據拍攝圖像檢測出的與視線方向有關的資訊以及對用於上述檢測的圖像進行拍攝的拍攝時間；以及 控制功能，根據多個與上述視線方向有關的資訊及從與上述視線方向關聯的拍攝時間計算出的用戶的凝視時間，進行基於上述外部拍攝用攝像頭的拍攝的控制。
TW106121671A 2016-06-29 2017-06-28 外部拍攝系統、外部拍攝方法及外部拍攝程式 TW201812432A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-129177 2016-06-29
JP2016129177A JP2018006914A (ja) 2016-06-29 2016-06-29 外部撮像システム、外部撮像方法、外部撮像プログラム

Publications (1)

Publication Number Publication Date
TW201812432A true TW201812432A (zh) 2018-04-01

Family

ID=60808026

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106121671A TW201812432A (zh) 2016-06-29 2017-06-28 外部拍攝系統、外部拍攝方法及外部拍攝程式

Country Status (5)

Country Link
US (1) US20180007258A1 (zh)
JP (1) JP2018006914A (zh)
KR (1) KR20180002534A (zh)
CN (1) CN107547796A (zh)
TW (1) TW201812432A (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102739585B1 (ko) * 2016-12-23 2024-12-06 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US10679306B2 (en) * 2017-11-21 2020-06-09 International Business Machines Corporation Focus-object-determined communities for augmented reality users
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
US10616565B2 (en) 2018-08-21 2020-04-07 The Boeing Company System and method for foveated simulation
CN109164555B (zh) * 2018-09-30 2021-11-12 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
KR102293291B1 (ko) * 2018-12-31 2021-08-24 주식회사 도구공간 Hmd 장비를 이용한 로봇 제어 방법
JP7286469B2 (ja) * 2019-08-09 2023-06-05 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体
CN110381261B (zh) * 2019-08-29 2020-11-03 重庆紫光华山智安科技有限公司 聚焦方法、装置、计算机可读存储介质及电子设备
CN117176937A (zh) * 2019-09-27 2023-12-05 苹果公司 基于注视的曝光
US11792531B2 (en) * 2019-09-27 2023-10-17 Apple Inc. Gaze-based exposure
CN111475247B (zh) 2020-04-10 2023-09-26 维沃移动通信有限公司 显示方法及电子设备
KR20220019963A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법
KR20220099827A (ko) * 2021-01-07 2022-07-14 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7646374B2 (ja) * 2021-01-27 2025-03-17 キヤノン株式会社 撮像システム、表示装置、端末装置および撮像システムの制御方法
JP2023113484A (ja) 2022-02-03 2023-08-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2024190457A1 (ja) * 2023-03-10 2024-09-19 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6133944A (en) * 1995-12-18 2000-10-17 Telcordia Technologies, Inc. Head mounted displays linked to networked electronic panning cameras
US6090051A (en) * 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
US20130258089A1 (en) * 2011-11-03 2013-10-03 Intel Corporation Eye Gaze Based Image Capture
CN105229516A (zh) * 2013-05-02 2016-01-06 索尼公司 隐形眼镜和记录介质

Also Published As

Publication number Publication date
JP2018006914A (ja) 2018-01-11
KR20180002534A (ko) 2018-01-08
US20180007258A1 (en) 2018-01-04
CN107547796A (zh) 2018-01-05

Similar Documents

Publication Publication Date Title
TW201812432A (zh) 外部拍攝系統、外部拍攝方法及外部拍攝程式
CN107562184A (zh) 影像显示系统、影像显示方法、影像显示程序
KR101862499B1 (ko) 시선 검출 시스템, 주시점 특정 방법 및 주시점 특정 프로그램
TW201921028A (zh) 影像顯示系統、影像顯示方法及影像顯示程式
US10409368B2 (en) Eye-gaze detection system, displacement detection method, and displacement detection program
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
TW201732499A (zh) 表情辨識系統、表情辨識方法及表情辨識程式
US20170344112A1 (en) Gaze detection device
TW201802642A (zh) 視線檢測系統
JP6485819B2 (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
TW201809800A (zh) 頭戴式顯示器及使用其之視線檢測系統
US20200213467A1 (en) Image display system, image display method, and image display program
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
KR20180122797A (ko) 가상 현실 컨텐츠를 제공하기 위한 헤드 마운티드 디스플레이를 포함하는 시스템 및 제어 방법
TW201823802A (zh) 信息處理系統、操作方法及操作程序
TW201807540A (zh) 信息處理系統、操作方法及操作程序
EP4387220A1 (en) Head-mounted electronic device with display recording capability
EP4679852A1 (en) Simultaneous passthrough and recording capabilities on a head-mounted device
CN118210148A (zh) 具有显示记录能力的头戴式电子设备