JP2015191124A - Non-transmission type head-mounted display and program - Google Patents
Non-transmission type head-mounted display and program Download PDFInfo
- Publication number
- JP2015191124A JP2015191124A JP2014068685A JP2014068685A JP2015191124A JP 2015191124 A JP2015191124 A JP 2015191124A JP 2014068685 A JP2014068685 A JP 2014068685A JP 2014068685 A JP2014068685 A JP 2014068685A JP 2015191124 A JP2015191124 A JP 2015191124A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- video content
- mounted display
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、非透過型ヘッドマウントディスプレイ及びプログラムに関する。 The present invention relates to a non-transmissive head mounted display and a program.
装着者の眼前にディスプレイが配置され、視界を覆ってディスプレイ画面のみを装着者に視認させる非透過型ヘッドマウントディスプレイが知られている。（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−０４７８６６号公報
There is known a non-transmissive head-mounted display in which a display is disposed in front of the wearer's eyes and covers the field of view so that the wearer can view only the display screen. (For example, refer to Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2011-047866
非透過型ヘッドマウントディスプレイは没入感が高いため、非透過型ヘッドマウントディスプレイで映像コンテンツを閲覧している場合等に、非透過型ヘッドマウントディスプレイの装着者は周囲の状況を把握しにくい場合があった。 Non-transparent head-mounted displays are highly immersive, so it may be difficult for the wearer of a non-transparent head-mounted display to understand the surroundings when viewing video content on a non-transparent head-mounted display. there were.
本発明の第１の態様においては、外部映像を撮像する撮像部と、前記撮像部が撮像した外部映像を取得する外部映像取得部と、映像コンテンツを取得する映像コンテンツ取得部と、前記外部映像取得部が取得した前記外部映像及び前記映像コンテンツ取得部が取得した前記映像コンテンツの少なくともいずれかを表示する表示部と、物体の接近を検出する接近検出部と、前記表示部に前記映像コンテンツが表示されている間に物体の接近が検出された場合、前記撮像部が撮像した外部映像と前記映像コンテンツとの両方を視認可能とするべく前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させる表示制御部とを備える非透過型ヘッドマウントディスプレイが提供される。 In the first aspect of the present invention, an imaging unit that captures an external video, an external video acquisition unit that acquires an external video captured by the imaging unit, a video content acquisition unit that acquires video content, and the external video A display unit that displays at least one of the external video acquired by the acquisition unit and the video content acquired by the video content acquisition unit, an approach detection unit that detects the approach of an object, and the video content on the display unit When an approach of an object is detected while being displayed, a superimposed image in which the external video and the video content are superimposed so that both the external video captured by the imaging unit and the video content can be visually recognized There is provided a non-transmissive head-mounted display including a display control unit that displays the image on the display unit.
上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記外部映像の重畳比率を段階的に高くした前記外部映像と前記映像コンテンツとの重畳画像を前記表示部に順次表示させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記表示部に前記重畳画像を表示させている間に予め定められた条件が満たされた場合、前記外部映像を前記表示部に表示させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記表示部に前記重畳画像を表示させている間に、前記物体との距離が予め定められた距離よりも短くなった場合、前記外部映像を前記表示部に表示させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記表示部に前記重畳画像を表示させている間に、前記映像コンテンツの表示に対して停止又は一時停止がなされた場合に、前記外部映像を前記表示部に表示させてよい。 In the non-transmissive head mounted display, the display control unit may cause the display unit to sequentially display a superimposed image of the external video and the video content in which the superposition ratio of the external video is increased stepwise. In the non-transmissive head mounted display, the display control unit causes the display unit to display the external image when a predetermined condition is satisfied while the superimposed image is displayed on the display unit. It's okay. In the non-transmissive head mounted display, the display control unit is configured to display the external image when the distance from the object is shorter than a predetermined distance while displaying the superimposed image on the display unit. An image may be displayed on the display unit. In the non-transmissive head-mounted display, the display control unit is configured to display the external content when the display of the video content is stopped or temporarily stopped while the superimposed image is displayed on the display unit. An image may be displayed on the display unit.
上記非透過型ヘッドマウントディスプレイにおいて、前記表示制御部は、前記物体の接近の度合が大きいほど前記外部映像の重畳比率を高くして前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させてよい。上記非透過型ヘッドマウントディスプレイは、音声出力部と、前記表示部が前記映像コンテンツを表示している間、前記映像コンテンツに含まれる音声を予め定められた音量で前記音声出力部に出力させる音声出力制御部とをさらに備えてよく、前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記映像コンテンツに含まれる音声の出力音量を、前記予め定められた音量よりも小さくしてよい。上記非透過型ヘッドマウントディスプレイにおいて、音声出力制御部は、前記物体の接近の度合が大きいほど、前記音声の出力音量を小さくしてよい。上記非透過型ヘッドマウントディスプレイは、集音部をさらに備えてよく、前記音声出力制御部は、前記表示部が前記外部映像を表示している間、前記集音部が集音した音声を予め定められた音量で前記音声出力部に出力させてよく、前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記集音部が集音した音声を前記予め定められた音量よりも大きい音量で前記音声出力部に出力させてよい。上記非透過型ヘッドマウントディスプレイにおいて、前記音声出力制御部は、前記物体の接近の度合が大きいほど、前記集音部が集音した音声の出力音量を大きくしてよい。 In the non-transmissive head-mounted display, the display control unit increases a superposition ratio of the external video as the degree of approach of the object increases, and displays a superimposed image in which the external video and the video content are superimposed. You may display on a display part. The non-transparent head-mounted display includes an audio output unit and audio that causes the audio output unit to output audio included in the video content at a predetermined volume while the display unit displays the video content. The audio output control unit may further include an output control unit, and when the display control unit displays the superimposed image on the display unit, an output volume of audio included in the video content is determined in advance. It may be lower than the volume. In the non-transmissive head mounted display, the sound output control unit may decrease the sound output volume as the degree of approach of the object increases. The non-transmissive head-mounted display may further include a sound collection unit, and the sound output control unit preliminarily outputs the sound collected by the sound collection unit while the display unit displays the external video. The sound output unit may output the sound at a predetermined volume, and the sound output control unit may be configured to output the sound collected by the sound collection unit when the display control unit displays the superimposed image on the display unit. You may make it output to the said audio | voice output part with a volume larger than a predetermined volume. In the non-transmissive head-mounted display, the sound output control unit may increase the output volume of the sound collected by the sound collecting unit as the degree of approach of the object increases.
上記非透過型ヘッドマウントディスプレイは、撮像装置と無線通信する無線通信部をさらに備えてよく、前記映像コンテンツ取得部は、前記無線通信部が受信した前記撮像装置により撮像された映像を前記映像コンテンツとして取得してよい。上記非透過型ヘッドマウントディスプレイは、前記非透過型ヘッドマウントディスプレイを装着する装着者の頭部を保護する頭部保護部をさらに備えてよい。 The non-transmissive head-mounted display may further include a wireless communication unit that wirelessly communicates with an imaging device, and the video content acquisition unit displays video captured by the imaging device received by the wireless communication unit as the video content. You may get as. The non-transmissive head-mounted display may further include a head protecting unit that protects a head of a wearer wearing the non-transmissive head-mounted display.
本発明の第２の態様においては、コンピュータを上記非透過型ヘッドマウントディスプレイとして機能させるためのプログラムが提供される。 In a second aspect of the present invention, a program for causing a computer to function as the non-transmissive head mounted display is provided.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、本実施形態に係るヘッドマウントディスプレイ１００の外観の一例を概略的に示す。本実施形態に係るヘッドマウントディスプレイ１００は、非透過型及び没入型等と呼称される、装着者の視界を覆うタイプのヘッドマウントディスプレイである。 FIG. 1 schematically shows an example of the appearance of a head mounted display 100 according to the present embodiment. The head mounted display 100 according to the present embodiment is a type of head mounted display that covers the field of view of the wearer and is referred to as a non-transmissive type and an immersive type.
ヘッドマウントディスプレイ１００は、本体１０２、ヘッドバンド１０４、及びヘッドパッド１０６を備える。ヘッドバンド１０４及びヘッドパッド１０６は、ヘッドマウントディスプレイ１００を装着する装着者の頭部に対して、ヘッドマウントディスプレイ１００を固定する。 The head mounted display 100 includes a main body 102, a head band 104, and a head pad 106. The headband 104 and the head pad 106 fix the head mounted display 100 to the head of the wearer wearing the head mounted display 100.
本体１０２は、前方カメラ１１０、後方カメラ１１６、ディスプレイ１２０、右側マイク１３２、左側マイク１３４、イヤホン端子１３６、及び内蔵アンテナ１４０を有する。前方カメラ１１０は、右眼用カメラ１１２及び左眼用カメラ１１４を有する。ディスプレイ１２０は、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４を有する。 The main body 102 includes a front camera 110, a rear camera 116, a display 120, a right microphone 132, a left microphone 134, an earphone terminal 136, and a built-in antenna 140. The front camera 110 includes a right eye camera 112 and a left eye camera 114. The display 120 includes a right eye display 122 and a left eye display 124.
右眼用カメラ１１２及び左眼用カメラ１１４は、ヘッドマウントディスプレイ１００を装着する装着者の前方の外部映像を撮像する。右眼用カメラ１１２は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に装着者の右眼の視野を撮像できる位置に配置される。左眼用カメラ１１４は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に装着者の左眼の視野を撮像できる位置に配置される。 The right eye camera 112 and the left eye camera 114 capture an external image in front of the wearer wearing the head mounted display 100. For example, when the wearer wears the head-mounted display 100, the right-eye camera 112 is disposed at a position where the right-eye field of view of the wearer can be captured. For example, when the wearer wears the head-mounted display 100, the left-eye camera 114 is disposed at a position where the visual field of the wearer's left eye can be imaged.
後方カメラ１１６は、装着者の後方の外部映像を撮像する。後方カメラ１１６は、装着者の後方の外部映像を撮像できれば、ヘッドマウントディスプレイ１００のどの位置に配置されてもよい。右眼用カメラ１１２、左眼用カメラ１１４、及び後方カメラ１１６は、撮像部の一例である。 The rear camera 116 captures an external image behind the wearer. The rear camera 116 may be disposed at any position on the head mounted display 100 as long as it can capture an external image behind the wearer. The right-eye camera 112, the left-eye camera 114, and the rear camera 116 are examples of an imaging unit.
右眼用ディスプレイ１２２は、右眼用カメラ１１２によって撮像された外部映像を表示する。左眼用ディスプレイ１２４は、左眼用カメラ１１４によって撮像された外部映像を表示する。右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４のそれぞれは、表示部の一例である。右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４は、後方カメラ１１６によって撮像された外部映像を表示してもよい。 The right eye display 122 displays an external video imaged by the right eye camera 112. The left-eye display 124 displays an external image captured by the left-eye camera 114. Each of the right-eye display 122 and the left-eye display 124 is an example of a display unit. The right eye display 122 and the left eye display 124 may display an external image captured by the rear camera 116.
右側マイク１３２は、本体１０２の右側に配置される。右側マイク１３２は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に、装着者の右耳の近傍に位置する場所に配置される。左側マイク１３４は、本体１０２の左側に配置される。左側マイク１３４は、例えば、装着者がヘッドマウントディスプレイ１００を装着した場合に、装着者の左耳の近傍に位置する場所に配置される。右側マイク１３２及び左側マイク１３４のそれぞれは、集音部の一例である。 The right microphone 132 is disposed on the right side of the main body 102. For example, when the wearer wears the head-mounted display 100, the right microphone 132 is disposed at a location located in the vicinity of the wearer's right ear. The left microphone 134 is disposed on the left side of the main body 102. For example, when the wearer wears the head-mounted display 100, the left microphone 134 is disposed at a location located in the vicinity of the wearer's left ear. Each of the right microphone 132 and the left microphone 134 is an example of a sound collection unit.
イヤホン端子１３６には、イヤホン及びヘッドホン等の音声出力機器が接続される。ヘッドマウントディスプレイ１００は、右側マイク１３２及び左側マイク１３４によって集音した音声を、イヤホン端子１３６に接続された音声出力機器に音声出力させてよい。 Audio output devices such as earphones and headphones are connected to the earphone terminal 136. The head mounted display 100 may output the sound collected by the right microphone 132 and the left microphone 134 to a sound output device connected to the earphone terminal 136.
ディスプレイ１２０に表示された外部映像と音声出力機器により出力された音声とによって、ヘッドマウントディスプレイ１００の装着者は、ヘッドマウントディスプレイ１００を装着していないときと同様に周囲の情報を取得できる。これにより、例えば、装着者は、ヘッドマウントディスプレイ１００を装着したまま日常生活を送ることができる。 From the external video displayed on the display 120 and the sound output from the sound output device, the wearer of the head mounted display 100 can acquire the surrounding information in the same manner as when the head mounted display 100 is not worn. Thereby, for example, the wearer can lead daily life while wearing the head mounted display 100.
ヘッドマウントディスプレイ１００は、ディスプレイ１２０に外部映像を表示している間、外部映像の内容に関連する付加情報を併せてディスプレイ１２０に表示させてよい。例えば、ヘッドマウントディスプレイ１００は、外部映像に含まれる人物の近傍に、当該人物の名前等の付加情報を表示させてよい。このように、ディスプレイ１２０に外部映像及び付加情報を表示する表示モードをオーグメンテッドモードと呼ぶ場合がある。なお、ヘッドマウントディスプレイ１００は、外部映像に含まれる人物の名前等の付加情報を、イヤホン端子１３６に接続された音声出力機器に音声出力させてもよい。 The head mounted display 100 may cause the display 120 to display additional information related to the content of the external video while displaying the external video on the display 120. For example, the head mounted display 100 may display additional information such as the name of the person in the vicinity of the person included in the external video. As described above, the display mode for displaying the external video and the additional information on the display 120 may be referred to as an augmented mode. The head mounted display 100 may output additional information such as the name of a person included in the external video to a sound output device connected to the earphone terminal 136.
内蔵アンテナ１４０は、他の機器との無線通信を実現する。ヘッドマウントディスプレイ１００は、内蔵アンテナ１４０を介して、他の機器から映像コンテンツを受信してよい。映像コンテンツとは、画像及び音声を含むコンテンツである。映像コンテンツは、画像及び音声を含むコンテンツであればどのようなコンテンツであってもよいが、例えば、映画、テレビ番組、及びゲーム等である。 The built-in antenna 140 realizes wireless communication with other devices. The head mounted display 100 may receive video content from other devices via the built-in antenna 140. Video content is content including images and audio. The video content may be any content as long as the content includes an image and sound, and is, for example, a movie, a television program, a game, or the like.
ヘッドマウントディスプレイ１００は、受信した映像コンテンツを、内蔵メモリ１４２に格納してよい。ヘッドマウントディスプレイ１００は、メモリーカード等の外付けの記憶装置から読み出した映像コンテンツを内蔵メモリ１４２に格納してもよい。また、ヘッドマウントディスプレイ１００は、有線ケーブルを介して他の機器から受信した映像コンテンツを内蔵メモリ１４２に格納してもよい。 The head mounted display 100 may store the received video content in the internal memory 142. The head mounted display 100 may store video content read from an external storage device such as a memory card in the internal memory 142. The head mounted display 100 may store video content received from another device via a wired cable in the built-in memory 142.
右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４は、内蔵メモリ１４２に格納された映像コンテンツを表示してよい。また、ヘッドマウントディスプレイ１００は、内蔵メモリ１４２に格納された映像コンテンツに含まれる音声を、イヤホン端子１３６に接続された音声出力機器に音声出力させてよい。このように、ディスプレイ１２０に映像コンテンツを表示する表示モードをＶＲモードと呼ぶ場合がある。 The right eye display 122 and the left eye display 124 may display video content stored in the internal memory 142. The head mounted display 100 may output audio included in the video content stored in the built-in memory 142 to an audio output device connected to the earphone terminal 136. Thus, a display mode for displaying video content on the display 120 may be referred to as a VR mode.
本実施形態において、ヘッドマウントディスプレイ１００は、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４に映像コンテンツを表示している間に人物等の物体の接近を検出した場合に、外部映像と映像コンテンツとの両方を視認可能とするべく表示を制御する。例えば、ヘッドマウントディスプレイ１００は、映像コンテンツを半透明化させて、外部映像上に表示する。すなわち、ヘッドマウントディスプレイ１００は、外部映像と映像コンテンツとを重畳させた重畳画像を生成して、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４に表示させてよい。 In this embodiment, the head-mounted display 100 detects external video and video content when detecting the approach of an object such as a person while displaying video content on the right-eye display 122 and the left-eye display 124. The display is controlled to make both of them visible. For example, the head mounted display 100 makes video content translucent and displays it on an external video. That is, the head mounted display 100 may generate a superimposed image in which an external video and video content are superimposed and display the superimposed image on the right eye display 122 and the left eye display 124.
これにより、映像コンテンツを視聴中であって、人物の接近に気づいていない装着者に、人物が接近していることを気づかせることができる。なお、このように、映像コンテンツ表示中に物体の接近を検出した場合に映像コンテンツを半透明化して外部映像上に表示することをジャックアウトと呼ぶ場合があり、このような表示モードをエマージェンシーモードと呼ぶ場合がある。 Accordingly, it is possible to make the wearer who is viewing the video content and not aware of the approach of the person know that the person is approaching. In this way, when the approach of an object is detected during video content display, displaying video content semi-transparently and displaying it on an external video is sometimes called jack-out. Such a display mode is called emergency mode. Sometimes called.
図２は、ヘッドマウントディスプレイ１００の機能構成の一例を概略的に示す。ヘッドマウントディスプレイ１００は、前方撮像部１５２、後方撮像部１５４、外部映像取得部１５６、付加情報取得部１５８、表示制御部１６０、表示部１６２、集音部１６４、外部音声取得部１６６、音声出力制御部１６８、音声出力部１７０、映像コンテンツ取得部１７２、映像コンテンツ格納部１７４、無線通信部１７６、接近検出部１７８、及び距離取得部１８０を備える。ヘッドマウントディスプレイ１００がこれらすべての構成を備えることは必須であるとは限らない。 FIG. 2 schematically shows an example of a functional configuration of the head mounted display 100. The head mounted display 100 includes a front imaging unit 152, a rear imaging unit 154, an external video acquisition unit 156, an additional information acquisition unit 158, a display control unit 160, a display unit 162, a sound collection unit 164, an external audio acquisition unit 166, and an audio output. A control unit 168, an audio output unit 170, a video content acquisition unit 172, a video content storage unit 174, a wireless communication unit 176, an approach detection unit 178, and a distance acquisition unit 180 are provided. It is not essential that the head mounted display 100 has all these configurations.
前方撮像部１５２は、ヘッドマウントディスプレイ１００の前方の外部映像を撮像する。前方撮像部１５２は、右眼用と左眼用の２つのカメラを有してよい。前方撮像部１５２は、右眼用カメラ１１２及び左眼用カメラ１１４であってよい。また、前方撮像部１５２は、ヘッドマウントディスプレイ１００の前方を撮像できる位置に配置された一のカメラであってもよい。 The front imaging unit 152 captures an external image in front of the head mounted display 100. The front imaging unit 152 may include two cameras for the right eye and the left eye. The front imaging unit 152 may be the right eye camera 112 and the left eye camera 114. Further, the front imaging unit 152 may be one camera arranged at a position where the front of the head mounted display 100 can be imaged.
後方撮像部１５４は、ヘッドマウントディスプレイ１００の後方の外部映像を撮像する。後方撮像部１５４は、後方カメラ１１６であってよい。 The rear imaging unit 154 captures an external video behind the head mounted display 100. The rear imaging unit 154 may be the rear camera 116.
外部映像取得部１５６は、前方撮像部１５２によって撮像された外部映像を取得する。また、外部映像取得部１５６は、後方撮像部１５４によって撮像された外部映像を取得する。 The external video acquisition unit 156 acquires an external video captured by the front imaging unit 152. The external video acquisition unit 156 acquires the external video captured by the rear imaging unit 154.
付加情報取得部１５８は、外部映像取得部１５６が取得した外部映像に基づいて、外部映像に付加する付加情報を取得する。付加情報は、例えば、外部映像に含まれるオブジェクトの属性情報であり、オブジェクトの名前等である。付加情報取得部１５８は、例えば、人物の特徴量と人物の属性情報とを対応付けた対応付けデータを用いて、外部映像に対して人物認識処理を実行することにより外部映像に含まれる人物を特定して、当該人物の名前等を付加情報として取得する。 The additional information acquisition unit 158 acquires additional information to be added to the external video based on the external video acquired by the external video acquisition unit 156. The additional information is, for example, attribute information of an object included in the external video, such as an object name. For example, the additional information acquisition unit 158 uses the association data in which the feature amount of the person and the attribute information of the person are associated to perform person recognition processing on the external video, thereby identifying the person included in the external video. In particular, the name of the person is acquired as additional information.
表示制御部１６０は、外部映像取得部１５６が取得した外部映像を表示部１６２に表示させる。表示制御部１６０は、表示部１６２に、付加情報取得部１５８が取得した付加情報を、外部映像取得部１５６が取得した外部映像にスーパーインポーズさせてよい。 The display control unit 160 causes the display unit 162 to display the external video acquired by the external video acquisition unit 156. The display control unit 160 may cause the display unit 162 to superimpose the additional information acquired by the additional information acquisition unit 158 on the external video acquired by the external video acquisition unit 156.
表示部１６２は、液晶ディスプレイ、プラズマディスプレイ、及び有機ＥＬディスプレイ等のディスプレイである。表示部１６２は、右眼用ディスプレイ１２２及び左眼用ディスプレイ１２４であってよい。 The display unit 162 is a display such as a liquid crystal display, a plasma display, and an organic EL display. The display unit 162 may be a right eye display 122 and a left eye display 124.
集音部１６４は、ヘッドマウントディスプレイ１００の周囲の外部音声を集音する。集音部１６４は、右側マイク１３２及び左側マイク１３４であってよい。外部音声取得部１６６は、集音部１６４が集音した外部音声を取得する。 The sound collection unit 164 collects external sound around the head mounted display 100. The sound collection unit 164 may be the right microphone 132 and the left microphone 134. The external sound acquisition unit 166 acquires the external sound collected by the sound collection unit 164.
音声出力制御部１６８は、外部音声取得部１６６が取得した外部音声を音声出力部１７０に出力させる。音声出力部１７０は、例えば、イヤホン端子１３６である。音声出力制御部１６８は、イヤホン端子１３６を介して、イヤホン端子１３６に接続された音声出力機器に外部音声を音声出力させてよい。 The audio output control unit 168 causes the audio output unit 170 to output the external audio acquired by the external audio acquisition unit 166. The audio output unit 170 is, for example, an earphone terminal 136. The audio output control unit 168 may output external audio to the audio output device connected to the earphone terminal 136 via the earphone terminal 136.
映像コンテンツ取得部１７２は、映像コンテンツを取得する。映像コンテンツ取得部１７２は、映像コンテンツ格納部１７４に格納された映像コンテンツを取得してよい。映像コンテンツ格納部１７４は、無線通信部１７６による無線通信を介して受信した映像コンテンツを格納してよい。また、映像コンテンツ格納部１７４は、メモリーカード等の外付けの記憶装置からヘッドマウントディスプレイ１００が読み出した映像コンテンツを格納してよい。また、映像コンテンツ格納部１７４は、有線ケーブルを介してヘッドマウントディスプレイ１００が受信した映像コンテンツを格納してもよい。映像コンテンツ格納部１７４は、内蔵メモリ１４２であってよい。 The video content acquisition unit 172 acquires video content. The video content acquisition unit 172 may acquire the video content stored in the video content storage unit 174. The video content storage unit 174 may store video content received via wireless communication by the wireless communication unit 176. The video content storage unit 174 may store the video content read by the head mounted display 100 from an external storage device such as a memory card. The video content storage unit 174 may store video content received by the head mounted display 100 via a wired cable. The video content storage unit 174 may be the built-in memory 142.
無線通信部１７６は、他の機器との無線通信を実行する。無線通信部１７６は、内蔵アンテナ１４０を介して、他の機器との無線通信を実行してよい。無線通信の通信規格としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、ＺｉｇＢｅｅ（登録商標）、及び赤外線通信等が例示できる。 The wireless communication unit 176 performs wireless communication with other devices. The wireless communication unit 176 may perform wireless communication with other devices via the built-in antenna 140. Examples of wireless communication standards include Bluetooth (registered trademark), wireless LAN, ZigBee (registered trademark), and infrared communication.
無線通信部１７６は、例えば、映像コンテンツを提供するＢＤレコーダー、ＢＤプレーヤー、ＤＶＤディスクレコーダー、ＤＶＤディスクプレイヤー、ＨＤＤレコーダー、テレビ、及びゲーム機等と無線通信する。映像コンテンツ格納部１７４は、ＢＤレコーダー等から無線通信部１７６を介して映像コンテンツを取得してよい。映像コンテンツ格納部１７４はＢＤレコーダー等から、映像信号として映像コンテンツを取得してよく、また、動画ファイルとして映像コンテンツを取得してもよい。 The wireless communication unit 176 wirelessly communicates with, for example, a BD recorder, a BD player, a DVD disk recorder, a DVD disk player, an HDD recorder, a television, a game machine, and the like that provide video content. The video content storage unit 174 may acquire video content from the BD recorder or the like via the wireless communication unit 176. The video content storage unit 174 may acquire video content as a video signal from a BD recorder or the like, or may acquire video content as a video file.
ヘッドマウントディスプレイ１００は、無線通信部１７６を介して他の機器と制御信号を送受信してもよい。例えば、ヘッドマウントディスプレイ１００は、無線通信部１７６を介して、ＢＤレコーダー等に対して、映像コンテンツの再生、一時停止及び停止等の制御信号を送信する。 The head mounted display 100 may transmit / receive control signals to / from other devices via the wireless communication unit 176. For example, the head mounted display 100 transmits control signals such as reproduction, pause, and stop of video content to a BD recorder or the like via the wireless communication unit 176.
また、無線通信部１７６は、携帯電話等の無線通信端末と無線通信してもよい。無線通信部１７６は、無線通信端末から、映像コンテンツの表示に対する制御信号を受信してよい。 Further, the wireless communication unit 176 may perform wireless communication with a wireless communication terminal such as a mobile phone. The wireless communication unit 176 may receive a control signal for displaying video content from the wireless communication terminal.
例えば、無線通信部１７６が、無線通信端末から映像コンテンツを再生する制御信号を受信した場合、表示制御部１６０は、当該制御信号に従って、映像コンテンツ格納部１７４に格納された映像コンテンツを表示部１６２に再生表示させてよい。また、無線通信部１７６が、無線通信端末から映像コンテンツを一時停止する制御信号を受信した場合、表示制御部１６０は、表示部１６２に表示させている映像コンテンツを一時停止させてよい。なお、ヘッドマウントディスプレイ１００は、操作部を備えることによって、映像コンテンツの表示に対する制御指示を、装着者から直接受け付けてもよい。 For example, when the wireless communication unit 176 receives a control signal for reproducing video content from the wireless communication terminal, the display control unit 160 displays the video content stored in the video content storage unit 174 in accordance with the control signal. May be displayed for playback. In addition, when the wireless communication unit 176 receives a control signal for temporarily stopping video content from the wireless communication terminal, the display control unit 160 may temporarily stop the video content displayed on the display unit 162. In addition, the head mounted display 100 may receive a control instruction for displaying video content directly from the wearer by including an operation unit.
接近検出部１７８は、外部映像取得部１５６によって前方撮像部１５２又は後方撮像部１５４から取得された外部映像に基づいて、ヘッドマウントディスプレイ１００に対する物体の接近を検出してよい。接近検出部１７８は、例えば、外部映像に含まれる物体の画像領域を時系列の外部映像から抽出した特徴点のオプティカルフローに基づいて認識する技術及び背景差分法等を用いて、物体の接近を検出する。 The approach detection unit 178 may detect the approach of the object to the head mounted display 100 based on the external video acquired from the front imaging unit 152 or the rear imaging unit 154 by the external video acquisition unit 156. The approach detection unit 178 uses, for example, a technique for recognizing an image area of an object included in an external video based on an optical flow of feature points extracted from a time-series external video, a background subtraction method, and the like. To detect.
接近検出部１７８は、物体の一例として、人物の接近を検出してよい。例えば、接近検出部１７８は、人間の特徴を表す特徴量と、外部映像とを比較することにより、外部映像中に人物が含まれているか否かを判定する。人間の特徴を表す特徴量は予め登録されていてよい。そして、接近検出部１７８は外部映像中に人物が含まれていると判定した場合に、その人物が接近しているか否かを判定する。例えば、接近検出部１７８は、外部映像中における人物の大きさが、時系列に沿って大きくなっている場合に、当該人物が近づいていることを検出する。 The approach detection unit 178 may detect the approach of a person as an example of an object. For example, the approach detection unit 178 determines whether or not a person is included in the external video by comparing a feature amount representing human characteristics with the external video. A feature amount representing a human feature may be registered in advance. Then, when it is determined that the person is included in the external video, the approach detection unit 178 determines whether or not the person is approaching. For example, the approach detection unit 178 detects that the person is approaching when the size of the person in the external video increases in time series.
接近検出部１７８は、外部音声取得部１６６が取得した外部音声に基づいて、物体の接近を検出してもよい。例えば、接近検出部１７８は、外部音声の音量の変化を監視して、音量が大きくなっていくことを検出した場合に、物体が接近していることを検出してもよい。 The approach detection unit 178 may detect the approach of the object based on the external sound acquired by the external sound acquisition unit 166. For example, the approach detection unit 178 may detect that the object is approaching when monitoring the change in the volume of the external sound and detecting that the volume is increasing.
距離取得部１８０は、ヘッドマウントディスプレイ１００に対して接近している物体とヘッドマウントディスプレイ１００との間の距離を取得する。距離取得部１８０は、例えば、測距センサを有することにより、当該測距センサによって測距した物体とヘッドマウントディスプレイ１００との間の距離を取得する。距離取得部１８０は、前方撮像部１５２及び後方撮像部１５４におけるレンズの焦点距離等の情報に基づいて、物体とヘッドマウントディスプレイ１００との間の距離を算出してもよい。 The distance acquisition unit 180 acquires a distance between an object approaching the head mounted display 100 and the head mounted display 100. For example, the distance acquisition unit 180 includes a distance measuring sensor, and acquires the distance between the object measured by the distance measuring sensor and the head mounted display 100. The distance acquisition unit 180 may calculate the distance between the object and the head mounted display 100 based on information such as the focal length of the lenses in the front imaging unit 152 and the rear imaging unit 154.
表示制御部１６０は、映像コンテンツを表示部１６２に表示させている間に、接近検出部１７８が物体の接近を検出した場合、映像コンテンツと外部映像との両方を視認可能とするべく、外部映像と映像コンテンツとを重畳させた重畳画像を表示部１６２に表示させる。これにより、装着者に、映像コンテンツを閲覧させたまま、物体の接近を通知することができる。 When the approach detection unit 178 detects the approach of an object while the video content is displayed on the display unit 162, the display control unit 160 can display both the video content and the external video in order to be visible. And the video image content are superimposed on the display unit 162. Thereby, the approach of the object can be notified to the wearer while browsing the video content.
なお、表示制御部１６０は、前方撮像部１５２により撮像された外部映像に基づいて物体の接近が検出された場合、前方撮像部１５２により撮像された外部映像と映像コンテンツとを重畳させた重畳画像を表示部１６２に表示させてよい。また、表示制御部１６０は、後方撮像部１５４により撮像された外部映像に基づいて物体の接近が検出された場合、後方撮像部１５４により撮像された外部映像と映像コンテンツとを重畳させた重畳画像を表示部１６２に表示させてよい。 In addition, when the approach of an object is detected based on the external video imaged by the front imaging unit 152, the display control unit 160 superimposes the external video imaged by the front imaging unit 152 and the video content. May be displayed on the display unit 162. In addition, when the approach of an object is detected based on the external video captured by the rear imaging unit 154, the display control unit 160 superimposes the external video captured by the rear imaging unit 154 and the video content. May be displayed on the display unit 162.
表示制御部１６０は、外部映像の重畳比率を段階的に高くした、外部映像と映像コンテンツとの重畳画像を表示部１６２に順次表示させてよい。例えば、表示制御部１６０は、数秒の間に、外部映像の重畳比率を数段階高くした重畳画像を本体１０２に順次表示させる。これにより、外部映像から重畳画像へと突然切り替わってしまう感覚を装着者に抱かせてしまうことを防止できる。 The display control unit 160 may cause the display unit 162 to sequentially display superimposed images of the external video and the video content in which the external video superposition ratio is increased stepwise. For example, the display control unit 160 causes the main body 102 to sequentially display superimposed images in which the overlapping ratio of the external video is increased by several steps within a few seconds. Thereby, it is possible to prevent the wearer from having a feeling of suddenly switching from the external video to the superimposed image.
表示制御部１６０は、表示部１６２に重畳画像を表示させている間に予め定められた条件が満たされた場合、表示部１６２に、重畳画像の表示を停止させ、外部映像を表示させてよい。例えば、表示制御部１６０は、接近検出部１７８により物体の離脱が検出された場合、表示部１６２に重畳画像の表示を停止させ、外部映像を表示させる。また、例えば、表示制御部１６０は、表示部１６２に重畳画像を表示させている場合に、距離取得部１８０により取得された物体との距離が予め定められた距離よりも短い場合、重畳画像の表示を停止させて、外部映像を表示させる。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、まずは重畳画像を表示することによって、装着者に対して家族の接近に気付かせることができ、さらに家族が装着者に近づいて直接のコミュニケーションをとる可能性が高い場合に、外部映像のみを表示させることで、映像コンテンツによって直接のコミュニケーションが妨害されてしまうことを防止できる。 When a predetermined condition is satisfied while displaying the superimposed image on the display unit 162, the display control unit 160 may cause the display unit 162 to stop displaying the superimposed image and display an external video. . For example, when the approach detection unit 178 detects the detachment of the object, the display control unit 160 causes the display unit 162 to stop displaying the superimposed image and display an external video. In addition, for example, when the superimposed image is displayed on the display unit 162 and the distance from the object acquired by the distance acquisition unit 180 is shorter than a predetermined distance, the display control unit 160 displays the superimposed image. Stop the display and display the external video. Thereby, for example, when a person such as a family approaches the wearer who is browsing the video content, it is possible to make the wearer aware of the approach of the family by first displaying a superimposed image. Furthermore, when there is a high possibility that the family approaches the wearer and performs direct communication, it is possible to prevent direct communication from being interrupted by the video content by displaying only the external video.
また、表示制御部１６０は、表示部１６２に重畳画像を表示させている間に、映像コンテンツの表示に対して停止又は一時停止がなされた場合に、表示部１６２に重畳画像の表示を停止させて、外部映像を表示させてよい。例えば、無線通信部１７６を介してＢＤレコーダー等から受信している映像コンテンツと外部映像との重畳画像を表示部１６２に表示させている間に、当該ＢＤレコーダーに対して表示を一時停止する指示がなされた場合、表示制御部１６０は、表示部１６２に、重畳画像の表示を停止させて、外部映像を表示させてよい。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、まずは重畳画像を表示することによって、装着者に対して家族の接近に気付かせることができ、装着者が映像コンテンツの表示を停止又は一時停止した場合に、外部映像のみを表示させることで、映像コンテンツによって直接のコミュニケーションが妨害されてしまうことを防止できる。 In addition, the display control unit 160 causes the display unit 162 to stop displaying the superimposed image when the display of the video content is stopped or paused while the display unit 162 displays the superimposed image. The external video may be displayed. For example, while displaying the superimposed image of the video content received from the BD recorder or the like via the wireless communication unit 176 and the external video on the display unit 162, the instruction to pause the display to the BD recorder In the case where the display is performed, the display control unit 160 may cause the display unit 162 to stop displaying the superimposed image and display the external video. Thereby, for example, when a person such as a family approaches the wearer who is browsing the video content, it is possible to make the wearer aware of the approach of the family by first displaying a superimposed image. When the wearer stops or pauses the display of the video content, by displaying only the external video, it is possible to prevent direct communication from being interrupted by the video content.
音声出力制御部１６８は、表示部１６２が映像コンテンツを表示している間、映像コンテンツに含まれる音声を予め定められた音量で音声出力部１７０に音声出力させてよく、表示制御部１６０が重畳画像を表示部１６２に表示している間、映像コンテンツに含まれる音声の出力音量を、予め定められた音量より小さくしてよい。これにより、接近検出部１７８が物体の接近を検出したのに応じて、表示制御部１６０が映像コンテンツ表示から、重畳画像の表示へと切り替えた場合に、音声出力部１７０が出力する音量を小さくでき、装着者が周囲の状況を音で確認することを支援できる。予め定められた音量は、装着者によって設定可能であってよい。 While the display unit 162 displays the video content, the audio output control unit 168 may output the audio included in the video content to the audio output unit 170 at a predetermined volume, and the display control unit 160 is superimposed. While the image is displayed on the display unit 162, the output volume of the audio included in the video content may be lower than a predetermined volume. As a result, the volume output from the audio output unit 170 is reduced when the display control unit 160 switches from video content display to superimposed image display in response to the approach detection unit 178 detecting the approach of the object. It can support the wearer to confirm the surrounding situation with sound. The predetermined volume may be settable by the wearer.
なお、音声出力制御部１６８は、物体の接近の度合が大きいほど、映像コンテンツに含まれる音声の出力音量を小さくしてよい。例えば、音声出力制御部１６８は、距離取得部１８０により取得されたヘッドマウントディスプレイ１００から物体までの距離が短いほど、音声の出力音量を小さくする。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、家族が接近するほど映像コンテンツの出力音量を下げることができ、家族の呼びかけに気づきやすくさせることができる。 Note that the audio output control unit 168 may decrease the output volume of the audio included in the video content as the degree of approach of the object increases. For example, the audio output control unit 168 decreases the audio output volume as the distance from the head mounted display 100 acquired by the distance acquisition unit 180 to the object is shorter. Thereby, for example, when a person such as a family approaches the wearer who is browsing the video content, the output volume of the video content can be lowered as the family approaches, making it easier to notice the family call. be able to.
また、音声出力制御部１６８は、表示部１６２が外部映像を出力している間、集音部１６４が集音した音声を予め定められた音量で音声出力部１７０に音声出力させてよく、表示制御部１６０が重畳画像を表示部１６２に表示させている間、集音部１６４が集音した音声を予め定められた音量よりも大きい音量で音声出力部１７０に音声出力させてよい。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきて、装着者に呼びかけた場合に、家族の呼びかけに気づきやすくさせることができる。 In addition, the audio output control unit 168 may cause the audio output unit 170 to output the audio collected by the sound collection unit 164 at a predetermined volume while the display unit 162 outputs an external image. While the control unit 160 displays the superimposed image on the display unit 162, the sound output by the sound collection unit 164 may be output to the audio output unit 170 at a volume higher than a predetermined volume. Thereby, for example, when a person such as a family approaches the wearer who is browsing the video content and calls the wearer, the call to the family can be easily noticed.
なお、音声出力制御部１６８は、物体の接近の度合が大きいほど、集音部１６４が集音した音声の出力音量を大きくしてよい。例えば、音声出力制御部１６８は、距離取得部１８０により取得されたヘッドマウントディスプレイ１００から物体までの距離が短いほど、集音部１６４が集音した音声の出力音量を大きくする。これにより、例えば、映像コンテンツを閲覧中の装着者に対して家族等の人物が接近してきた場合に、家族が接近するほど集音部１６４が集音した音声の出力音量を上げることができ、家族の呼びかけに気づきやすくさせることができる。 Note that the sound output control unit 168 may increase the output volume of the sound collected by the sound collection unit 164 as the degree of approach of the object increases. For example, the sound output control unit 168 increases the output volume of the sound collected by the sound collection unit 164 as the distance from the head mounted display 100 acquired by the distance acquisition unit 180 to the object is shorter. Thereby, for example, when a person such as a family approaches a wearer who is browsing video content, the output volume of the sound collected by the sound collecting unit 164 can be increased as the family approaches, This makes it easier to notice family calls.
図３は、重畳画像２３０の一例を概略的に示す。図３は、表示制御部１６０が、映像コンテンツ２１０と外部映像２２０とを重畳させた場合を例示している。図３に示すように、表示制御部１６０が、外部映像２２０上に、半透明化した映像コンテンツ２１０を表示することによって、装着者に外部映像２２０及び映像コンテンツ２１０を視認させることができる。 FIG. 3 schematically shows an example of the superimposed image 230. FIG. 3 illustrates a case where the display control unit 160 superimposes the video content 210 and the external video 220. As shown in FIG. 3, the display control unit 160 displays the translucent video content 210 on the external video 220, thereby allowing the wearer to visually recognize the external video 220 and the video content 210.
表示制御部１６０及び音声出力制御部１６８は、映像コンテンツのカテゴリに応じた出力制御を実行してもよい。映像コンテンツのカテゴリは、例えば、ゲーム、映画、及び音楽番組等を含む。映像コンテンツのカテゴリは、映像コンテンツ取得部１７２によって取得されてよい。例えば、映像コンテンツ取得部１７２は、無線通信部１７６を介して映像コンテンツをヘッドマウントディスプレイ１００に送信したＢＤレコーダー等から、映像コンテンツのカテゴリを受信する。また、映像コンテンツ取得部１７２は、映像コンテンツにカテゴリを示すデータが含まれている場合には、当該データを参照することによって、映像コンテンツのカテゴリを取得してよい。 The display control unit 160 and the audio output control unit 168 may execute output control corresponding to the category of the video content. The video content category includes, for example, games, movies, music programs, and the like. The video content category may be acquired by the video content acquisition unit 172. For example, the video content acquisition unit 172 receives the video content category from a BD recorder or the like that has transmitted the video content to the head mounted display 100 via the wireless communication unit 176. In addition, when the video content includes data indicating a category, the video content acquisition unit 172 may acquire the category of the video content by referring to the data.
例えば、表示部１６２及び音声出力部１７０が音楽番組を出力している間に物体の接近が検出された場合において、表示制御部１６０が重畳画像を表示部１６２に表示されている間、音声出力制御部１６８は、映像コンテンツに含まれる音声の出力音量を低下させない。これにより、装着者が聴いている音楽を阻害することなく、物体の接近を装着者に通知できる。 For example, when the approach of an object is detected while the display unit 162 and the audio output unit 170 output a music program, the audio output is performed while the display control unit 160 displays the superimposed image on the display unit 162. The control unit 168 does not decrease the output volume of the audio included in the video content. Thereby, the approach of the object can be notified to the wearer without obstructing the music the wearer is listening to.
また、表示部１６２及び音声出力部１７０がゲームを出力している間に物体の接近が検出された場合、表示制御部１６０は、他のカテゴリが出力されている場合に比べて、映像コンテンツの重畳比率を高くした重畳画像を表示部１６２に表示させてよい。また、このように出力している映像コンテンツのカテゴリがゲームの場合、表示制御部１６０は、物体の接近が検出されても、表示部１６２に重畳画像を表示させることなく、映像コンテンツの表示を継続させ、音声出力制御部１６８が、物体の接近を音声出力によって装着者に通知してもよい。これにより、ゲームを行っている装着者を、視覚的に邪魔することなく、物体の接近を装着者に通知できる。 In addition, when the approach of an object is detected while the display unit 162 and the audio output unit 170 output a game, the display control unit 160 displays video content as compared to the case where other categories are output. A superimposed image with a high superposition ratio may be displayed on the display unit 162. When the category of the video content that is output in this way is a game, the display control unit 160 displays the video content without causing the display unit 162 to display a superimposed image even when the approach of an object is detected. The voice output control unit 168 may notify the wearer of the approach of the object by voice output. Thereby, the wearer who is playing the game can be notified of the approach of the object to the wearer without visually disturbing the wearer.
映像コンテンツの出力中、外部映像の出力中、又は重畳画像の出力中に、ヘッドマウントディスプレイ１００の装着が解除されたことが検出された場合、表示制御部１６０及び音声出力制御部１６８は、出力を停止してよい。これにより、装着者がヘッドマウントディスプレイ１００を装着していないにもかかわらず、映像コンテンツの出力が継続してしまうことを防止できる。ヘッドマウントディスプレイ１００は、例えば、装着者によって装着された場合に、装着者と接する部分に配置された接触センサからの出力を監視することによって、装着が解除されたか否かを判定してよい。接触センサは、例えば、ヘッドパッド１０６に設置される。なお、ヘッドマウントディスプレイ１００の装着が解除されたときの、表示制御部１６０及び音声出力制御部１６８の制御内容は、設定によって変更可能であってよい。 When it is detected that the head mounted display 100 is released during the output of the video content, the output of the external video, or the output of the superimposed image, the display control unit 160 and the audio output control unit 168 You may stop. Accordingly, it is possible to prevent the output of the video content from being continued even though the wearer does not wear the head mounted display 100. For example, when the head mounted display 100 is worn by the wearer, the head mounted display 100 may determine whether or not the wearing is released by monitoring an output from a contact sensor arranged in a portion in contact with the wearer. The contact sensor is installed on the head pad 106, for example. Note that the control contents of the display control unit 160 and the audio output control unit 168 when the mounting of the head mounted display 100 is released may be changeable by setting.
図４は、ヘッドマウントディスプレイ１００による処理の流れの一例を概略的に示す。図４に示す処理は、ヘッドマウントディスプレイ１００が備える制御部が主体となって実行されてよい。ここでは、ヘッドマウントディスプレイ１００が、オーグメンテッドモード中に映像コンテンツの出力指示を受け付けた場合の処理の流れについて説明する。 FIG. 4 schematically shows an example of the flow of processing by the head mounted display 100. The process illustrated in FIG. 4 may be executed mainly by a control unit included in the head mounted display 100. Here, the flow of processing when the head mounted display 100 receives an instruction to output video content during the augmented mode will be described.
ステップ７０２（ステップをＳと省略して表記する場合がある。）では、表示制御部１６０及び音声出力制御部１６８が映像コンテンツを表示部１６２及び音声出力部１７０に出力させる。 In step 702 (step may be abbreviated as S), the display control unit 160 and the audio output control unit 168 cause the display unit 162 and the audio output unit 170 to output the video content.
Ｓ７０４では、映像コンテンツの出力停止指示を受け付けたか否かを判定する。出力停止指示を受け付けていない場合、Ｓ７０６に進み、出力停止指示を受け付けていた場合、Ｓ７１８に進む。 In step S704, it is determined whether an instruction to stop outputting video content has been received. If an output stop instruction has not been received, the process proceeds to S706. If an output stop instruction has been received, the process proceeds to S718.
Ｓ７０６では、接近検出部１７８によって、物体の接近が検出されたか否かを判定する。物体の接近が検出されたと判定された場合、Ｓ７０８に進み、物体の接近が検出されていないと判定された場合、Ｓ７０２に戻る。 In step S706, the approach detection unit 178 determines whether the approach of the object is detected. If it is determined that the approach of the object is detected, the process proceeds to S708. If it is determined that the approach of the object is not detected, the process returns to S702.
Ｓ７０８では、表示制御部１６０が、出力している映像コンテンツと、外部映像取得部１５６が取得した外部映像と重畳させた重畳画像を、表示部１６２に表示させる。このとき、音声出力制御部１６８は、映像コンテンツを出力していた時に比べて出力音量を小さくしてよい。 In step S <b> 708, the display control unit 160 causes the display unit 162 to display the superimposed image superimposed on the output video content and the external video acquired by the external video acquisition unit 156. At this time, the audio output control unit 168 may reduce the output volume compared to when the video content is being output.
Ｓ７１０では、重畳画像の出力停止指示を受け付けたか否かを判定する。出力停止指示を受け付けていない場合、Ｓ７１２に進み、受け付けていた場合、Ｓ７１４に進む。 In step S710, it is determined whether an instruction to stop outputting the superimposed image has been received. If an output stop instruction has not been received, the process proceeds to S712. If it has been received, the process proceeds to S714.
Ｓ７１２では、距離取得部１８０が取得した距離が予め定められた閾値よりも短いか否かを判定する。距離取得部１８０が取得した距離が閾値よりも短いと判定した場合、Ｓ７１４に進み、短いと判定しなかった場合、Ｓ７０８に戻る。 In S712, it is determined whether the distance acquired by the distance acquisition unit 180 is shorter than a predetermined threshold. If it is determined that the distance acquired by the distance acquisition unit 180 is shorter than the threshold, the process proceeds to S714. If it is not determined that the distance is shorter, the process returns to S708.
Ｓ７１４では、表示制御部１６０が表示部１６２に重畳画像の出力を停止させる。そして、Ｓ７１６で、表示制御部１６０が表示部１６２に外部映像を出力させる。このとき、音声出力制御部１６８は、外部音声取得部１６６が取得した外部音声を音声出力部１７０に音声出力させる。 In S714, the display control unit 160 causes the display unit 162 to stop outputting the superimposed image. In step S716, the display control unit 160 causes the display unit 162 to output an external video. At this time, the audio output control unit 168 causes the audio output unit 170 to output the external audio acquired by the external audio acquisition unit 166.
Ｓ７０４で、出力停止指示を受領したと判定した場合、Ｓ７１８に進む。Ｓ７１８では、表示制御部１６０及び音声出力制御部１６８が表示部１６２及び音声出力部１７０に映像コンテンツの出力を停止させる。そして、Ｓ７１６で、表示制御部１６０が表示部１６２に外部映像を出力させる。このとき、音声出力制御部１６８は、外部音声取得部１６６が取得した外部音声を音声出力部１７０に音声出力させる。 If it is determined in step S704 that an output stop instruction has been received, the process advances to step S718. In S718, the display control unit 160 and the audio output control unit 168 cause the display unit 162 and the audio output unit 170 to stop outputting the video content. In step S716, the display control unit 160 causes the display unit 162 to output an external video. At this time, the audio output control unit 168 causes the audio output unit 170 to output the external audio acquired by the external audio acquisition unit 166.
ヘッドマウントディスプレイ１００が上述した処理を実行することにより、映像コンテンツを出力中に物体の接近が検出された場合には、重畳画像が出力されることによって、装着者は、物体の接近に気付くことができる。そして、さらに物体が接近した場合には、外部映像が出力される。これにより、装着者に対して、接近してきた物体への対応をさせやすくできる。 When the head-mounted display 100 executes the above-described processing, when the approach of an object is detected while outputting video content, the superimposed image is output so that the wearer notices the approach of the object. Can do. When an object further approaches, an external video is output. Thereby, it can be made easy for the wearer to deal with an approaching object.
図５は、ヘッドマウントディスプレイ１００の外観の変形例を概略的に示す。図５に示すヘッドマウントディスプレイ１００は、頭部保護部１９０を備えること以外は、図１に示すヘッドマウントディスプレイ１００と同一であってよい。頭部保護部１９０は、高強度の外側面と、緩衝材を有する内側面とを備えてよい。ヘッドマウントディスプレイ１００が頭部保護部１９０を備えることによって、装着者は、ヘッドマウントディスプレイ１００を装着したままバイクなどを運転できる。また、装着者は、ヘッドマウントディスプレイ１００を装着したままバイクの後部座席に搭乗できる。 FIG. 5 schematically shows a modification of the appearance of the head mounted display 100. The head mounted display 100 shown in FIG. 5 may be the same as the head mounted display 100 shown in FIG. 1 except that the head mounted display 190 is provided. The head protection unit 190 may include a high-strength outer surface and an inner surface having a cushioning material. Since the head mounted display 100 includes the head protection unit 190, the wearer can drive a motorcycle or the like while wearing the head mounted display 100. In addition, the wearer can get on the rear seat of the motorcycle while wearing the head mounted display 100.
例えば、ヘッドマウントディスプレイ１００を装着した装着者がバイクを運転する場合、ヘッドマウントディスプレイ１００はオーグメンテッドモードに設定されてよく、外部映像に付加情報を表示させることによって、装着者の運転を支援してよい。ヘッドマウントディスプレイ１００は、装着者が運転中は、ジャックアウトをさせないようにしてよい。すなわち、装着者が運転中に物体の接近が検出されても、表示制御部１６０は、重畳画像を表示部１６２に表示させることなく、外部映像の表示を継続させてよい。装着者が運転をしているか否かは、装着者によって設定されてよい。また、ヘッドマウントディスプレイ１００が加速度センサ等を備えることによって、バイクが走行中であるか否かを判定してもよい。 For example, when a wearer wearing the head-mounted display 100 drives a motorcycle, the head-mounted display 100 may be set to the augmented mode, and assists the wearer by driving additional information on an external image. You can do it. The head mounted display 100 may be prevented from being jacked out while the wearer is driving. That is, even if the approach of the wearer is detected while the wearer is driving, the display control unit 160 may continue displaying the external video without causing the display unit 162 to display the superimposed image. Whether or not the wearer is driving may be set by the wearer. Further, the head mounted display 100 may include an acceleration sensor or the like to determine whether or not the motorcycle is running.
ヘッドマウントディスプレイ１００を装着した装着者がバイクの後部座席に座っている場合、映像コンテンツ取得部１７２は、無線通信部１７６を介して、バイクの運転者が装着しているヘッドマウントディスプレイ１００の前方撮像部１５２により撮像された外部映像を、映像コンテンツとして受信してよい。映像コンテンツ取得部１７２は、無線通信部１７６を介して、バイクに搭載されたカメラによって撮像された外部映像を、映像コンテンツとして受信してもよい。これにより、後部座席に座っている装着者は、運転者の視界及びバイクからの視界を、映像コンテンツとして閲覧できる。 When the wearer wearing the head-mounted display 100 is sitting on the back seat of the motorcycle, the video content acquisition unit 172 is connected to the front of the head-mounted display 100 worn by the motorcycle driver via the wireless communication unit 176. An external video imaged by the imaging unit 152 may be received as video content. The video content acquisition unit 172 may receive an external video captured by a camera mounted on a motorcycle as video content via the wireless communication unit 176. As a result, the wearer sitting on the rear seat can view the driver's field of view and the field of view from the motorcycle as video content.
図６は、ヘッドマウントディスプレイ１００の通信環境の一例を概略的に示す。図６に示すように、ヘッドマウントディスプレイ１００は、ホームセキュリティシステム３００と無線通信してよい。ホームセキュリティシステム３００は、各種センサを備えて、家庭内等の安全管理を行うシステムであってよい。なお、ホームセキュリティシステム３００は、家庭内に限らず、オフィス等に設置されてもよい。 FIG. 6 schematically shows an example of a communication environment of the head mounted display 100. As shown in FIG. 6, the head mounted display 100 may wirelessly communicate with the home security system 300. The home security system 300 may be a system that includes various sensors and performs safety management in the home or the like. Note that the home security system 300 may be installed not only in the home but also in an office or the like.
外部映像取得部１５６は、ホームセキュリティシステム３００が備える撮像装置３０２によって撮像された外部映像を、無線通信部１７６を介して取得してよい。接近検出部１７８は、撮像装置３０２によって撮像された外部映像に基づいて、ヘッドマウントディスプレイ１００に対する物体の接近を検出してよい。例えば、撮像装置３０２の画角にヘッドマウントディスプレイ１００が含まれるように予め設定しておくことによって、接近検出部１７８は、撮像装置３０２による外部映像に基づいてヘッドマウントディスプレイ１００に対する人物の接近を検出できる。 The external video acquisition unit 156 may acquire the external video captured by the imaging device 302 included in the home security system 300 via the wireless communication unit 176. The approach detection unit 178 may detect the approach of the object to the head mounted display 100 based on the external video imaged by the imaging device 302. For example, by setting in advance such that the head mounted display 100 is included in the angle of view of the imaging device 302, the approach detection unit 178 detects the approach of a person to the head mounted display 100 based on an external image from the imaging device 302. It can be detected.
表示制御部１６０は、表示部１６２に映像コンテンツを表示させている間に物体の接近が検出された場合、撮像装置３０２による外部映像と映像コンテンツとの重畳画像を表示部１６２に表示させてよい。これにより、装着者は、客観的な視点から、人物等の物体が接近していることを確認することができる。 When the approach of the object is detected while displaying the video content on the display unit 162, the display control unit 160 may cause the display unit 162 to display a superimposed image of the external video and the video content by the imaging device 302. . Accordingly, the wearer can confirm that an object such as a person is approaching from an objective viewpoint.
以上の説明において、ヘッドマウントディスプレイ１００が備える外部映像取得部１５６、付加情報取得部１５８、表示制御部１６０、外部音声取得部１６６、音声出力制御部１６８、映像コンテンツ取得部１７２、映像コンテンツ格納部１７４、無線通信部１７６、接近検出部１７８、及び距離取得部１８０は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。例えば、ヘッドマウントディスプレイ１００上でプログラムが実行されることにより、コンピュータが、ヘッドマウントディスプレイ１００の一部として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。 In the above description, the external video acquisition unit 156, the additional information acquisition unit 158, the display control unit 160, the external audio acquisition unit 166, the audio output control unit 168, the video content acquisition unit 172, and the video content storage unit that the head mounted display 100 includes. 174, wireless communication unit 176, approach detection unit 178, and distance acquisition unit 180 may be implemented by hardware or software. Further, it may be realized by a combination of hardware and software. For example, the computer may function as a part of the head mounted display 100 by executing a program on the head mounted display 100. The program may be stored in a computer-readable medium, or may be stored in a storage device connected to a network.
コンピュータにインストールされ、コンピュータを本実施形態に係るヘッドマウントディスプレイ１００の一部として機能させるプログラムは、ヘッドマウントディスプレイ１００の各部の動作を規定したモジュールを備える。これらのプログラム又はモジュールは、ＣＰＵ等に働きかけて、コンピュータを、ヘッドマウントディスプレイ１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有のヘッドマウントディスプレイ１００を構築することができる。 A program that is installed in a computer and causes the computer to function as a part of the head mounted display 100 according to the present embodiment includes a module that defines the operation of each unit of the head mounted display 100. These programs or modules work on the CPU or the like to cause the computer to function as each part of the head mounted display 100. Information processing described in these programs functions as a specific means in which software and the various hardware resources described above cooperate with each other by being read by a computer. And the specific head mounted display 100 according to the use purpose can be constructed | assembled by implement | achieving the calculation or processing of the information according to the use purpose of the computer in this embodiment by these specific means.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first,” “next,” etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１００ ヘッドマウントディスプレイ、１０２ 本体、１０４ ヘッドバンド、１０６ ヘッドパッド、１１０ 前方カメラ、１１２ 右眼用カメラ、１１４ 左眼用カメラ、１１６ 後方カメラ、１２０ ディスプレイ、１２２ 右眼用ディスプレイ、１２４ 左眼用ディスプレイ、１３２ 右側マイク、１３４ 左側マイク、１３６ イヤホン端子、１４０ 内蔵アンテナ、１４２ 内蔵メモリ、１５２ 前方撮像部、１５４ 後方撮像部、１５６ 外部映像取得部、１５８ 付加情報取得部、１６０ 表示制御部、１６２ 表示部、１６４ 集音部、１６６ 外部音声取得部、１６８ 音声出力制御部、１７０ 音声出力部、１７２ 映像コンテンツ取得部、１７４ 映像コンテンツ格納部、１７６ 無線通信部、１７８ 接近検出部、１８０ 距離取得部、１９０ 頭部保護部、２１０ 映像コンテンツ、２２０ 外部映像、２３０ 重畳画像、３００ ホームセキュリティシステム、３０２ 撮像装置 100 Head Mount Display, 102 Main Body, 104 Headband, 106 Head Pad, 110 Front Camera, 112 Right Eye Camera, 114 Left Eye Camera, 116 Rear Camera, 120 Display, 122 Right Eye Display, 124 Left Eye Display 132 Right microphone, 134 Left microphone, 136 Earphone terminal, 140 Built-in antenna, 142 Built-in memory, 152 Front imaging unit, 154 Rear imaging unit, 156 External video acquisition unit, 158 Additional information acquisition unit, 160 Display control unit, 162 display Unit, 164 sound collection unit, 166 external audio acquisition unit, 168 audio output control unit, 170 audio output unit, 172 video content acquisition unit, 174 video content storage unit, 176 wireless communication unit, 178 approach detection unit, 180 distance acquisition unit 190 head protection section, 210 video content 220 external video, 230 superimposed image, 300 home security system, 302 an imaging device
Claims (13)
前記撮像部が撮像した外部映像を取得する外部映像取得部と、
映像コンテンツを取得する映像コンテンツ取得部と、
前記外部映像取得部が取得した前記外部映像及び前記映像コンテンツ取得部が取得した前記映像コンテンツの少なくともいずれかを表示する表示部と、
物体の接近を検出する接近検出部と、
前記表示部に前記映像コンテンツが表示されている間に物体の接近が検出された場合、前記撮像部が撮像した外部映像と前記映像コンテンツとの両方を視認可能とするべく前記外部映像と前記映像コンテンツとを重畳させた重畳画像を前記表示部に表示させる表示制御部と
を備える非透過型ヘッドマウントディスプレイ。 An imaging unit for imaging an external video;
An external video acquisition unit that acquires an external video captured by the imaging unit;
A video content acquisition unit for acquiring video content;
A display unit that displays at least one of the external video acquired by the external video acquisition unit and the video content acquired by the video content acquisition unit;
An approach detection unit for detecting the approach of an object;
When an approach of an object is detected while the video content is displayed on the display unit, the external video and the video are set so that both the external video captured by the imaging unit and the video content are visible. A non-transmissive head-mounted display comprising: a display control unit that displays a superimposed image on which content is superimposed on the display unit.
前記表示部が前記映像コンテンツを表示している間、前記映像コンテンツに含まれる音声を予め定められた音量で前記音声出力部に出力させる音声出力制御部と
をさらに備え、
前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記映像コンテンツに含まれる音声の出力音量を、前記予め定められた音量よりも小さくする、請求項１から６のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。 An audio output unit;
An audio output control unit that causes the audio output unit to output audio included in the video content at a predetermined volume while the display unit displays the video content;
The audio output control unit, when the display control unit displays the superimposed image on the display unit, makes an audio output volume included in the video content smaller than the predetermined volume. The non-transmissive head mounted display according to any one of claims 1 to 6.
をさらに備え、
前記音声出力制御部は、前記表示部が前記外部映像を表示している間、前記集音部が集音した音声を予め定められた音量で前記音声出力部に出力させ、
前記音声出力制御部は、前記表示制御部が前記重畳画像を前記表示部に表示させる場合、前記集音部が集音した音声を前記予め定められた音量よりも大きい音量で前記音声出力部に出力させる、請求項７又は８に記載の非透過型ヘッドマウントディスプレイ。 A sound collecting part,
The sound output control unit causes the sound output unit to output the sound collected by the sound collection unit at a predetermined volume while the display unit displays the external video,
When the display control unit displays the superimposed image on the display unit, the audio output control unit outputs the sound collected by the sound collection unit to the audio output unit at a volume higher than the predetermined volume. The non-transmissive head mounted display according to claim 7 or 8, wherein the non-transmissive head mounted display is output.
をさらに備え、
前記映像コンテンツ取得部は、前記無線通信部が受信した前記撮像装置により撮像された映像を前記映像コンテンツとして取得する、請求項１から１０のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。 A wireless communication unit that wirelessly communicates with the imaging device;
The non-transmissive head mounted display according to any one of claims 1 to 10, wherein the video content acquisition unit acquires video captured by the imaging device received by the wireless communication unit as the video content.
をさらに備える、請求項１から１１のいずれか一項に記載の非透過型ヘッドマウントディスプレイ。 The non-transmissive head-mounted display according to claim 1, further comprising a head protection unit that protects a head of a wearer wearing the non-transmissive head-mounted display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014068685A JP5851544B2 (en) | 2014-03-28 | 2014-03-28 | Non-transmissive head mounted display and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014068685A JP5851544B2 (en) | 2014-03-28 | 2014-03-28 | Non-transmissive head mounted display and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015191124A true JP2015191124A (en) | 2015-11-02 |
| JP5851544B2 JP5851544B2 (en) | 2016-02-03 |
Family
ID=54425654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014068685A Active JP5851544B2 (en) | 2014-03-28 | 2014-03-28 | Non-transmissive head mounted display and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5851544B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016163183A1 (en) * | 2015-04-08 | 2016-10-13 | 株式会社コロプラ | Head-mounted display system and computer program for presenting real space surrounding environment of user in immersive virtual space |
| WO2017022769A1 (en) * | 2015-08-04 | 2017-02-09 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display, display control method and program |
| JP2017094450A (en) * | 2015-11-25 | 2017-06-01 | 株式会社デンソーウェーブ | Robot safety system |
| CN106808496A (en) * | 2015-11-25 | 2017-06-09 | 电装波动株式会社 | Robot security's system |
| JP2018005610A (en) * | 2016-07-04 | 2018-01-11 | 株式会社コロプラ | Display control method and program for causing computer to execute the method |
| WO2018105552A1 (en) * | 2016-12-09 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | Sound control device, sound control method, and program |
| JP2018124826A (en) * | 2017-02-01 | 2018-08-09 | 株式会社コロプラ | Information processing method, apparatus, and program causing computer to execute information processing method |
| JP2020536305A (en) * | 2017-09-29 | 2020-12-10 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Physical boundary monitor |
| US11842449B2 (en) | 2019-09-26 | 2023-12-12 | Apple Inc. | Presenting an environment based on user movement |
| WO2024053271A1 (en) * | 2022-09-09 | 2024-03-14 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, program, and information processing method |
| DE102014018054B4 (en) | 2014-12-05 | 2024-08-01 | Audi Ag | Method for operating virtual reality glasses and display device |
| DE102014018056B4 (en) | 2014-12-05 | 2024-08-14 | Audi Ag | Method for operating virtual reality glasses and virtual reality glasses |
| WO2024201656A1 (en) * | 2023-03-27 | 2024-10-03 | マクセル株式会社 | Portable information terminal and display control method for portable information terminal |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0226870U (en) * | 1988-08-04 | 1990-02-21 | ||
| JPH05304646A (en) * | 1992-04-24 | 1993-11-16 | Sony Corp | Video display device |
| JPH10504917A (en) * | 1995-05-25 | 1998-05-12 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | Collision warning system for head mounted display |
| JP2004109995A (en) * | 2003-08-12 | 2004-04-08 | Toshiba Corp | Wearable information presenting apparatus and method, and storage medium |
| JP2010145436A (en) * | 2008-12-16 | 2010-07-01 | Brother Ind Ltd | Head-mounted display |
| JP2011203446A (en) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | Head-mounted display device |
| JP2012114755A (en) * | 2010-11-25 | 2012-06-14 | Brother Ind Ltd | Head-mounted display and computer program |
| JP2012249067A (en) * | 2011-05-27 | 2012-12-13 | Suzuki Motor Corp | Image display unit |
-
2014
- 2014-03-28 JP JP2014068685A patent/JP5851544B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0226870U (en) * | 1988-08-04 | 1990-02-21 | ||
| JPH05304646A (en) * | 1992-04-24 | 1993-11-16 | Sony Corp | Video display device |
| JPH10504917A (en) * | 1995-05-25 | 1998-05-12 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | Collision warning system for head mounted display |
| JP2004109995A (en) * | 2003-08-12 | 2004-04-08 | Toshiba Corp | Wearable information presenting apparatus and method, and storage medium |
| JP2010145436A (en) * | 2008-12-16 | 2010-07-01 | Brother Ind Ltd | Head-mounted display |
| JP2011203446A (en) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | Head-mounted display device |
| JP2012114755A (en) * | 2010-11-25 | 2012-06-14 | Brother Ind Ltd | Head-mounted display and computer program |
| JP2012249067A (en) * | 2011-05-27 | 2012-12-13 | Suzuki Motor Corp | Image display unit |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014018056B4 (en) | 2014-12-05 | 2024-08-14 | Audi Ag | Method for operating virtual reality glasses and virtual reality glasses |
| DE102014018054B4 (en) | 2014-12-05 | 2024-08-01 | Audi Ag | Method for operating virtual reality glasses and display device |
| WO2016163183A1 (en) * | 2015-04-08 | 2016-10-13 | 株式会社コロプラ | Head-mounted display system and computer program for presenting real space surrounding environment of user in immersive virtual space |
| US11417126B2 (en) | 2015-08-04 | 2022-08-16 | Sony Interactive Entertainment Inc. | Head-mounted display, display control method, and program |
| WO2017022769A1 (en) * | 2015-08-04 | 2017-02-09 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display, display control method and program |
| US12175776B2 (en) | 2015-08-04 | 2024-12-24 | Sony Interactive Entertainment Inc. | Head-mounted display, display control method, and program |
| US10685211B2 (en) | 2015-08-04 | 2020-06-16 | Sony Interactive Entertainment Inc. | Head-mounted display, display control method, and program |
| US11763578B2 (en) | 2015-08-04 | 2023-09-19 | Sony Interactive Entertainment Inc. | Head-mounted display, display control method, and program |
| JP2017094450A (en) * | 2015-11-25 | 2017-06-01 | 株式会社デンソーウェーブ | Robot safety system |
| CN106808496A (en) * | 2015-11-25 | 2017-06-09 | 电装波动株式会社 | Robot security's system |
| JP2018005610A (en) * | 2016-07-04 | 2018-01-11 | 株式会社コロプラ | Display control method and program for causing computer to execute the method |
| WO2018105552A1 (en) * | 2016-12-09 | 2018-06-14 | 株式会社ソニー・インタラクティブエンタテインメント | Sound control device, sound control method, and program |
| US10691405B2 (en) | 2016-12-09 | 2020-06-23 | Sony Interactive Entertainment Inc. | Sound control apparatus, sound control method, and program |
| JPWO2018105552A1 (en) * | 2016-12-09 | 2019-06-24 | 株式会社ソニー・インタラクティブエンタテインメント | Voice control device, voice control method and program |
| JP2018124826A (en) * | 2017-02-01 | 2018-08-09 | 株式会社コロプラ | Information processing method, apparatus, and program causing computer to execute information processing method |
| JP7029526B2 (en) | 2017-09-29 | 2022-03-03 | アップル インコーポレイテッド | Physical boundary monitor |
| US11127182B2 (en) | 2017-09-29 | 2021-09-21 | Apple Inc. | Detecting physical boundaries |
| US11734867B2 (en) | 2017-09-29 | 2023-08-22 | Apple Inc. | Detecting physical boundaries |
| JP2020536305A (en) * | 2017-09-29 | 2020-12-10 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | Physical boundary monitor |
| US11842449B2 (en) | 2019-09-26 | 2023-12-12 | Apple Inc. | Presenting an environment based on user movement |
| WO2024053271A1 (en) * | 2022-09-09 | 2024-03-14 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, program, and information processing method |
| WO2024201656A1 (en) * | 2023-03-27 | 2024-10-03 | マクセル株式会社 | Portable information terminal and display control method for portable information terminal |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5851544B2 (en) | 2016-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5851544B2 (en) | Non-transmissive head mounted display and program | |
| US10712998B2 (en) | Information processing device, information processing method, and program | |
| JP6743691B2 (en) | Display control device, display control method, and computer program | |
| EP2862049B1 (en) | Reactive user interface for head-mounted display | |
| US10219571B1 (en) | In helmet sensors providing blind spot awareness | |
| EP3029551B1 (en) | Virtual reality system and method for controlling operation modes of virtual reality system | |
| US10142618B2 (en) | Imaging apparatus and imaging method | |
| EP3029552B1 (en) | Virtual reality system and method for controlling operation modes of virtual reality system | |
| CN105026984B (en) | Head mounted display | |
| EP2981070B1 (en) | Information processing device, notification state control method, and program | |
| CN111723602B (en) | Method, device, equipment and storage medium for identifying driver behavior | |
| US9542958B2 (en) | Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device | |
| US10359839B2 (en) | Performing output control based on user behaviour | |
| CN104473717A (en) | Wearable guide apparatus for totally blind people | |
| CN105700676A (en) | Wearable glasses, control method thereof, and vehicle control system | |
| WO2022262313A1 (en) | Picture-in-picture-based image processing method, device, storage medium, and program product | |
| KR20200041848A (en) | Smart Helmet including Head Up Display and Blackbox of 360-degree Video and Image | |
| US11037519B2 (en) | Display device having display based on detection value, program, and method of controlling device | |
| KR20200051591A (en) | Information processing apparatus, information processing method, and program | |
| US10257413B2 (en) | Display control apparatus to perform predetermined process on captured image | |
| US12175776B2 (en) | Head-mounted display, display control method, and program | |
| WO2020012955A1 (en) | Information processing device, information processing method, and program | |
| CN111830712A (en) | Smart glasses, assembled glasses, control method and computer storage medium | |
| WO2014108675A1 (en) | Head-mounteable apparatus detecting cable tangle | |
| JP2017028348A (en) | Imaging apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5851544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |