JP2001285676A - Display device - Google Patents
Display deviceInfo
- Publication number
- JP2001285676A JP2001285676A JP2000094668A JP2000094668A JP2001285676A JP 2001285676 A JP2001285676 A JP 2001285676A JP 2000094668 A JP2000094668 A JP 2000094668A JP 2000094668 A JP2000094668 A JP 2000094668A JP 2001285676 A JP2001285676 A JP 2001285676A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- camera
- user
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 210000005252 bulbus oculi Anatomy 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 27
- 210000003128 head Anatomy 0.000 claims description 4
- 210000000695 crystalline len Anatomy 0.000 description 47
- 238000010586 diagram Methods 0.000 description 43
- 210000001508 eye Anatomy 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 15
- 238000000034 method Methods 0.000 description 11
- 102100031083 Uteroglobin Human genes 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 101100507312 Invertebrate iridescent virus 6 EF1 gene Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 108090000203 Uteroglobin Proteins 0.000 description 1
- 101000872823 Xenopus laevis Probable histone deacetylase 1-A Proteins 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Studio Devices (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Accessories Of Cameras (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】この発明は表示装置に関し、
特にユーザにとって見やすい画像の表示を行なうことの
できる表示装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device,
In particular, the present invention relates to a display device capable of displaying an image that is easy for a user to see.
【0002】[0002]
【従来の技術】従来より、ヘッドマウントディスプレイ
(HMD)などに代表される、ユーザの頭部に装着可能
な表示装置が知られている。2. Description of the Related Art Conventionally, a display device typified by a head mounted display (HMD) or the like which can be mounted on a user's head has been known.
【0003】[0003]
【発明が解決しようとする課題】この発明は、ユーザに
とって見やすい表示を行なうことができる表示装置を提
供することを目的としている。SUMMARY OF THE INVENTION An object of the present invention is to provide a display device capable of providing a display which is easy for a user to see.
【0004】[0004]
【課題を解決するための手段】上記目的を達成するため
この発明のある局面に従うと、表示装置は、撮影方向が
可変な撮像装置と、複数の表示位置を備えた表示部とを
備え、撮像装置の撮像方向に応じた表示位置に撮像装置
による画像を表示することを特徴とする。According to one aspect of the present invention, there is provided a display apparatus comprising: an image pickup device having a variable photographing direction; and a display unit having a plurality of display positions. It is characterized in that an image by the imaging device is displayed at a display position corresponding to the imaging direction of the device.
【0005】この発明の他の局面に従うと、表示装置
は、撮像装置と、複数の表示位置を備えた表示部と、ユ
ーザの視線の検出を行なう視線検出部とを備え、表示部
は、視線検出部により検出された視線方向に応じた表示
位置に撮像装置による画像を表示することを特徴とす
る。According to another aspect of the present invention, a display device includes an imaging device, a display unit having a plurality of display positions, and a line-of-sight detecting unit that detects a line of sight of a user. The image by the imaging device is displayed at a display position corresponding to the gaze direction detected by the detection unit.
【0006】この発明のさらに他の局面に従うと、表示
装置は、複数の撮像装置と、複数の表示位置を備えた表
示部と、ユーザの視線の検出を行なう視線検出部とを備
え、視線検出部により検出された視線方向に応じた表示
位置を選択し、選択された表示位置に、対応する撮像装
置の画像を表示することを特徴とする。According to still another aspect of the present invention, a display device includes a plurality of imaging devices, a display unit having a plurality of display positions, and a gaze detection unit for detecting a gaze of a user. A display position corresponding to the line-of-sight direction detected by the section is selected, and an image of the corresponding imaging device is displayed at the selected display position.
【0007】この発明のさらに他の局面に従うと、表示
装置は、焦点距離可変の撮像装置と、表示部と、ユーザ
の眼球の状態を検出する眼球状態検出部とを備え、眼球
状態検出部で検出された眼球の状態に応じて、撮像装置
の焦点距離を変更し、それにより得られた画像を表示部
に表示することを特徴とする。According to still another aspect of the present invention, a display device includes an imaging device with a variable focal length, a display unit, and an eyeball state detection unit that detects a state of a user's eyeball. The focal length of the imaging device is changed according to the detected state of the eyeball, and an image obtained thereby is displayed on a display unit.
【0008】好ましくは表示装置は、頭部または眼球の
前に装着可能であるように構成される。[0008] Preferably, the display device is configured to be wearable in front of the head or eyeball.
【0009】[0009]
【発明の実施の形態】以下、本発明の実施の形態におけ
る光学装置を用いた画像記録装置について図面を参照し
ながら説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS An image recording apparatus using an optical device according to an embodiment of the present invention will be described below with reference to the drawings.
【0010】[第1の実施の形態]図1は、本発明の第
1の実施の形態における画像記録装置の斜視図である。FIG. 1 is a perspective view of an image recording apparatus according to a first embodiment of the present invention.
【0011】図を参照して、画像記録装置は、焦点距離
が可変であり、かつ焦点調節機能を備えたレンズを持つ
カメラ部100と、カメラ部100がとらえた画像など
を表示する表示部200と、スイッチ類300とを備え
ている。Referring to the drawings, an image recording apparatus has a camera unit 100 having a lens with a variable focal length and a focus adjusting function, and a display unit 200 for displaying images captured by the camera unit 100 and the like. And switches 300.
【0012】画像記録装置は、図2に示されるように、
人間の片目に装着される。画像記録装置が装着された側
の眼球の視線方向などが検知され、これに基づきカメラ
部100の回動制御、自動焦点調節、ズーム変更が行な
われる。なお、この実施の形態においては人間の左目は
表示部200により覆われているため、ユーザは左目に
より外界を直接見ることができない。ユーザは右目を用
いることにより視野を確認する。そして、右目に追従す
る左目から、眼球の視線方向や水晶体の厚みの変化が検
出され、これに基づきカメラ部100の制御が行なわれ
る。カメラ部100により撮影された画像は、左目に装
着された表示部200の画像によって確認することがで
きる。[0012] The image recording apparatus, as shown in FIG.
It is attached to one human eye. The direction of the line of sight of the eyeball on which the image recording device is mounted is detected, and based on this, rotation control, automatic focus adjustment, and zoom change of the camera unit 100 are performed. In this embodiment, since the left eye of the human is covered by the display unit 200, the user cannot directly see the outside world with the left eye. The user confirms the visual field by using the right eye. Then, from the left eye following the right eye, changes in the line of sight of the eyeball and the thickness of the crystalline lens are detected, and the camera unit 100 is controlled based on this. The image captured by the camera unit 100 can be confirmed by the image on the display unit 200 attached to the left eye.
【0013】図3は、画像記録装置の構成を示すブロッ
ク図である。図を参照して、画像記録装置は上述のカメ
ラ部100と、表示部200と、表示部200の近くに
設けられる視線検知センサ401と、同じく表示部20
0の近くに設けられる水晶体検知センサ403と、装置
全体の制御を行なうコントロール部405と、画像処理
を行なう画像処理部407と、画像の記録を行なう記録
部409とを備えている。FIG. 3 is a block diagram showing the configuration of the image recording apparatus. Referring to the figure, the image recording apparatus includes the above-described camera unit 100, display unit 200, visual axis detection sensor 401 provided near display unit 200, and display unit 20.
A lens detection sensor 403 provided near 0, a control unit 405 for controlling the entire apparatus, an image processing unit 407 for performing image processing, and a recording unit 409 for recording an image are provided.
【0014】また、カメラ部100は、レンズのズーム
制御(焦点距離の制御)を行なうズーム制御部101
と、焦点調節制御を行なうAF制御部103と、カメラ
部100の光軸方向の変更(レンズの回動)を行なうレ
ンズ回動制御部105と、画像を電気信号に変換するC
CD107とを含んでいる。A camera unit 100 includes a zoom control unit 101 for performing zoom control of a lens (control of a focal length).
An AF control unit 103 that performs focus adjustment control, a lens rotation control unit 105 that changes the optical axis direction of the camera unit 100 (the rotation of the lens), and a C that converts an image into an electric signal.
CD 107.
【0015】図4は、本実施の形態における画像記録装
置の動作を説明するための図である。FIG. 4 is a diagram for explaining the operation of the image recording apparatus according to the present embodiment.
【0016】図を参照して、視線検知センサ401およ
び水晶体検知センサ403は眼球の状態を検出する眼球
センサとして動作する。また、カメラ部100はレンズ
回動制御部105により光軸方向を変更することが(光
軸を回動させることが)可能である。記録部409は、
カメラ部100に備えられたCCD107から送られて
きた画像データを記録する。コントロール部405は、
眼球Eの視線方向に応じて、カメラ100の光軸を変更
する。Referring to FIG. 1, a visual axis detection sensor 401 and a crystalline lens detection sensor 403 operate as an eyeball sensor for detecting the state of an eyeball. The camera unit 100 can change the optical axis direction (rotate the optical axis) by the lens rotation control unit 105. The recording unit 409
The image data sent from the CCD 107 provided in the camera unit 100 is recorded. The control unit 405
The optical axis of the camera 100 is changed according to the line of sight of the eyeball E.
【0017】また、水晶体検知センサ403は、眼球E
の水晶体Lの変化(厚み)を検知するセンサである。コ
ントロール部405は検知された水晶体の変化(厚み)
に応じてレンズ111の状態を変化させることでズーム
制御を行なったり、焦点調節制御を行なったりする。The lens detecting sensor 403 is connected to the eyeball E
Is a sensor for detecting a change (thickness) of the crystalline lens L. The control unit 405 detects the change (thickness) of the crystalline lens.
The zoom control or the focus adjustment control is performed by changing the state of the lens 111 in accordance with the conditions.
【0018】なお、視線方向の検出にはリンバストラッ
キング法や角膜反射法などを用いることができる。この
うち、角膜反射法を用いれば視線方向の検出と水晶体の
状態の検出とを同時に行なうことができる。このとき、
視線方向の検出には第1プルキンエ像を、水晶体状態の
検出には第3および第4プルキンエ像を用いることがで
きる。The gaze direction can be detected by a limbus tracking method or a corneal reflection method. If the corneal reflection method is used, detection of the line of sight and detection of the state of the crystalline lens can be performed simultaneously. At this time,
The first Purkinje image can be used to detect the line of sight, and the third and fourth Purkinje images can be used to detect the crystalline state.
【0019】図5は、水晶体検知センサ403の具体的
な構成を示す図である。水晶体は遠くの像にピントを合
せているときには薄くなり、近くの像にピントを合せて
いるときには厚くなるという性質を有している。FIG. 5 is a diagram showing a specific configuration of the crystalline lens detection sensor 403. The crystalline lens has the property of becoming thinner when focusing on a distant image and becoming thicker when focusing on a nearer image.
【0020】水晶体検知センサ403は、赤外光を発光
させる発光素子4031と、ハーフミラー4035と、
水晶体Lからの反射光を受光する受光素子4033とか
ら構成されている。The lens detecting sensor 403 includes a light emitting element 4031 for emitting infrared light, a half mirror 4035,
And a light receiving element 4033 for receiving the reflected light from the crystalline lens L.
【0021】発光素子4031から照射された赤外光
は、ハーフミラー4035を透過した後水晶体Lに到達
する。水晶体Lからの反射光はハーフミラー4035に
より反射され、受光素子4033に入射される。受光素
子4033上に映し出される水晶体Lの像は、水晶体L
が近くの像にピントを合せているときには大きく、遠く
の像にピントを合せているときには小さくなる。The infrared light emitted from the light emitting element 4031 reaches the crystalline lens L after passing through the half mirror 4035. Light reflected from the crystalline lens L is reflected by the half mirror 4035 and enters the light receiving element 4033. The image of the crystalline lens L projected on the light receiving element 4033 is the crystalline lens L
Is large when focusing on a near image, and small when focusing on a distant image.
【0022】このような構成により、水晶体の状態が検
出され、眼球がどの位置にピントを合せているのかを知
ることができる。With such a configuration, the state of the crystalline lens is detected, and it is possible to know which position the eyeball is in focus.
【0023】このようにして本実施の形態においては、
ユーザが見ている方向と同じ方向にカメラ部100の光
軸方向を合せる制御を行ない、かつユーザの水晶体の状
態に応じて焦点調節やズーム制御を行なう。これによ
り、ユーザ(撮影者)が実際の目で見ている画像と同じ
画像をカメラ部100により撮影し、画像処理部407
で画像処理を行ない、記録部409で記録を行なうこと
ができる。このような制御を行なうことで、ユーザの所
望とする画像を容易に撮像することができる光学装置を
備えた撮像装置を提供することが可能となっている。As described above, in the present embodiment,
Control is performed to adjust the optical axis direction of the camera unit 100 to the same direction as the direction in which the user is looking, and focus adjustment and zoom control are performed according to the state of the crystalline lens of the user. As a result, the same image as the image that the user (photographer) sees with the actual eyes is taken by the camera unit 100, and the image processing unit 407
To perform image processing, and the recording unit 409 can perform recording. By performing such control, it is possible to provide an imaging device including an optical device that can easily capture an image desired by a user.
【0024】なお、上述の実施の形態においてはカメラ
部100の光軸方向の制御を行なうこととしたが、この
制御を行なわず、ズーム制御、焦点調節制御の少なくと
も一方を行なうようにしてもよい。In the above embodiment, the control of the camera unit 100 in the optical axis direction is performed. However, this control is not performed, and at least one of the zoom control and the focus adjustment control may be performed. .
【0025】すなわち、図6に示されるようにカメラ部
100からレンズ回動制御部105を除去し、コントロ
ール部405によりズーム制御および焦点調節制御のい
ずれか一方のみを行なうことにしてもよい。このとき、
視線検知センサ401も不要であり、水晶体検知センサ
403のみを装置に設け、水晶体検知センサ403から
の信号に基づき、焦点調節およびズーム制御を行なえば
よい。That is, as shown in FIG. 6, the lens rotation control unit 105 may be removed from the camera unit 100, and only one of the zoom control and the focus adjustment control may be performed by the control unit 405. At this time,
The line-of-sight detection sensor 401 is also unnecessary, and only the lens detection sensor 403 may be provided in the apparatus, and focus adjustment and zoom control may be performed based on a signal from the lens detection sensor 403.
【0026】[第2の実施の形態]図7は、本発明の第
2の実施の形態における画像記録装置の斜視図である。[Second Embodiment] FIG. 7 is a perspective view of an image recording apparatus according to a second embodiment of the present invention.
【0027】図を参照して、本実施の形態における画像
記録装置は頭部に装着することができるゴーグル形状を
している。また、この撮像装置には複数のディスプレイ
が設けられており、画像記録装置はヘッドマウントディ
スプレイとしての機能も有する。Referring to the drawings, the image recording apparatus according to the present embodiment has a goggle shape that can be worn on the head. Further, the imaging apparatus is provided with a plurality of displays, and the image recording apparatus also has a function as a head mounted display.
【0028】画像記録装置は、撮影者の両眼の眼球の状
態を検出する視線検知センサ401および水晶体検知セ
ンサ403と、カメラ部100と、透過型の表示部D1
〜D3とを備えている。The image recording apparatus includes a gaze detecting sensor 401 and a crystalline lens detecting sensor 403 for detecting the state of the eyes of both eyes of the photographer, a camera unit 100, and a transmissive display unit D1.
To D3.
【0029】カメラ部100は、第1の実施の形態と同
様に光軸方向が変更可能であり、撮影者の視線の方向に
応じてその光軸を変化させる。また、視線検知センサ4
01および水晶体検知センサ403からの信号に基づき
焦点調節やズーム制御を行なう点も第1の実施の形態と
同様である。As in the first embodiment, the camera unit 100 can change the direction of the optical axis, and changes the optical axis according to the direction of the line of sight of the photographer. In addition, the line-of-sight detection sensor 4
As in the first embodiment, focus adjustment and zoom control are performed based on signals from the lens 01 and the lens detection sensor 403.
【0030】なお、本実施の形態においてはカメラ部1
00からの信号は画像記録装置のゴーグル部分を固定す
るためのバンド部を通して図示しないコントロール部に
送られ、図示しない記録部に記録される。このような構
成を採用することで、ゴーグル部分の大きさや重量を軽
減させることが可能である。In this embodiment, the camera unit 1
The signal from 00 is sent to a control section (not shown) through a band section for fixing a goggle portion of the image recording apparatus, and is recorded in a recording section (not shown). By employing such a configuration, the size and weight of the goggles can be reduced.
【0031】なお、撮影者の眼前に設置された表示部D
1,D2には、記録された画像を再生して確認するとき
にその画像を表示するようにし、カメラ部100により
撮影が行なわれているときには、カメラ部100により
とらえられた画像を視野の隅に設けられた表示部D3に
表示すると、撮影中は画像の表示が邪魔にならず、また
画像の再生時においては大きな画像の表示を行なうこと
ができ、好都合である。A display unit D installed in front of the photographer's eyes
1 and D2, the recorded image is displayed when the image is reproduced and confirmed. When the camera unit 100 is taking an image, the image captured by the camera unit 100 is displayed at the corner of the field of view. When the image is displayed on the display unit D3 provided during the shooting, the display of the image does not become a hindrance during shooting, and a large image can be displayed during the reproduction of the image, which is convenient.
【0032】[第3の実施の形態]図8は、本発明の第
3の実施の形態における画像記録装置の斜視図である。
図を参照して、本実施の形態における画像記録装置は第
2の実施の形態におけるそれと比較して、カメラ部10
0が撮影者の左右の眼球のそれぞれに対応する2つのカ
メラ100R,100Lを備えていることを特徴として
いる。そして、撮影者の左右それぞれの目に対応して視
線検知センサ401R,401Lと水晶体検知センサ4
03R,403Lとが設けられている。これにより、左
右それぞれの眼球の状態の検出結果に応じて、対応する
カメラ100R,100Lの制御を行なうことができ
る。[Third Embodiment] FIG. 8 is a perspective view of an image recording apparatus according to a third embodiment of the present invention.
Referring to the figure, the image recording apparatus of the present embodiment is different from that of the second embodiment in that
0 is provided with two cameras 100R and 100L corresponding to the left and right eyeballs of the photographer, respectively. The eye-gaze detecting sensors 401R and 401L and the crystalline lens detecting sensor 4 correspond to the left and right eyes of the photographer.
03R and 403L are provided. Thereby, the corresponding cameras 100R and 100L can be controlled according to the detection results of the left and right eyeball states.
【0033】図9は、第3の実施の形態における画像記
録装置の制御方法を説明するための図である。FIG. 9 is a diagram for explaining a control method of the image recording apparatus according to the third embodiment.
【0034】図を参照して、視線検知センサ401R,
401Lと水晶体検知センサ403R,403Lとから
なる眼球センサは、撮影者の両眼球の視線方向と、水晶
体の変化とを検知する。カメラ100R,100Lは1
対のカメラであり、それぞれ、ズーム制御と焦点調節制
御と光軸方向の変更を可能としている。Referring to the figure, the line-of-sight detection sensors 401R,
An eyeball sensor including the lens 401L and the lens detection sensors 403R and 403L detects a line-of-sight direction of both eyes of the photographer and a change in the lens. Cameras 100R and 100L are 1
A pair of cameras, which enable zoom control, focus adjustment control, and change in the optical axis direction, respectively.
【0035】また、コントロール部405は左右の眼球
ER,ELの状態に応じて、左右のカメラ100R,1
00Lを独立して制御することができる。さらに、記録
部も左右のカメラ100R,100Lに対応して2つ設
けられており、左右それぞれのカメラの画像を独立して
記憶する。The control unit 405 also controls the left and right cameras 100R, 100R according to the state of the left and right eyeballs ER, EL.
00L can be controlled independently. Further, two recording units are provided corresponding to the left and right cameras 100R and 100L, respectively, and independently store the images of the left and right cameras.
【0036】なお、図9の例では2つの記録部409
R,409Lに左右のカメラのそれぞれの画像を記録す
ることとしたが、図10のようにコントロール部と記録
部とを1つにし、1つのコントロール部および記録部4
11により左右のカメラ100R,100Lの制御と画
像の記録とを行なうようにしてもよい。In the example of FIG. 9, two recording units 409 are provided.
R and 409L are recorded with the respective images of the left and right cameras. However, as shown in FIG.
11, the control of the left and right cameras 100R and 100L and the recording of images may be performed.
【0037】なお、水晶体の厚みを検出することにより
眼球が焦点を合せている対象物体までの距離を算出する
場合には、撮影者ごとにキャリブレーションを行ない、
水晶体の厚みを記憶しておくことが望ましい。When calculating the distance to the object to which the eyeball is focused by detecting the thickness of the crystalline lens, calibration is performed for each photographer,
It is desirable to memorize the thickness of the crystalline lens.
【0038】たとえば、図7および図8のディスプレイ
D1,D2に、2m先に結像するキャリブレーション用
の映像を表示する。そしてその映像を撮影者に注視さ
せ、その状態における水晶体の厚みを測定する。次に、
撮影者が遠景を見ているときの水晶体の厚みを測定す
る。For example, a calibration image to be formed 2 m ahead is displayed on the displays D1 and D2 shown in FIGS. Then, the image is watched by the photographer, and the thickness of the crystalline lens in that state is measured. next,
Measure the thickness of the crystalline lens when the photographer is looking at a distant view.
【0039】この2点における水晶体の厚みの測定結果
を用いて、水晶体の厚みと眼球が焦点を合せている対象
物体までの距離との関係を求め、焦点調節やズーム制御
に用いることができる。Using the measurement results of the thickness of the crystalline lens at these two points, the relationship between the thickness of the crystalline lens and the distance to the target object to which the eyeball is focused can be obtained and used for focus adjustment and zoom control.
【0040】また、図8〜図10に示されるような撮像
装置により両眼の状態を測定するのであれば、両眼の光
軸(視線方向)を延長した直線の交わる角度である輻輳
角により、眼球が焦点を合せている物体までの距離を求
めることもできる。If the state of both eyes is measured by an imaging device as shown in FIGS. 8 to 10, the convergence angle, which is the angle at which a straight line extending the optical axis (the line of sight) of both eyes intersects, is used. It is also possible to determine the distance to the object on which the eyeball is focused.
【0041】図11〜図15は、輻輳角θを求めるため
の処理を説明するための図である。輻輳角θは、両眼の
視線方向をもとに算出される。視線方向はたとえば、特
開昭61−172552号公報や、特許第289470
1号に示される方法で検出することができる。FIGS. 11 to 15 are diagrams for explaining a process for obtaining the convergence angle θ. The convergence angle θ is calculated based on the gaze directions of both eyes. The line of sight is, for example, disclosed in JP-A-61-172552 and Japanese Patent No. 289470.
No. 1 can be detected.
【0042】視線の検出には、ユーザごとにキャリブレ
ーションが必要である。したがって、撮影前に撮影者ご
との視線データを記憶しておくことが望ましい。これ
は、前述のようにディスプレイに映像を映し、それを撮
影者に注視させることでキャリブレーションの入力を行
ない、それを設定することができる。In order to detect the line of sight, calibration is required for each user. Therefore, it is desirable to store gaze data for each photographer before photographing. In this method, an image is projected on a display as described above, and the photographer is gazed at the image, thereby performing calibration input and setting.
【0043】図11は、撮影者が正面方向に距離Lだけ
離れた物体を見ているときの左眼球ELと右眼球ERと
輻輳角θとの関係を示す図である。FIG. 11 is a diagram showing the relationship between the left eyeball EL, the right eyeball ER, and the convergence angle θ when the photographer is looking at an object at a distance L in the front direction.
【0044】また、図12は撮影者が正面方向の無限大
の距離にある物体を見ているときの状態を、図13は撮
影者が左方向の無限大の距離にある物体を見ているとき
の状態を示す図である。輻輳角θが大きければ対象物が
近くにあり、小さければ遠くにあることがわかる。FIG. 12 shows a state in which the photographer is looking at an object at an infinite distance in the front direction, and FIG. 13 shows a state in which the photographer is looking at an object at an infinite distance in the left direction. It is a figure showing a state at the time. When the convergence angle θ is large, it is understood that the target is near, and when the angle is small, it is far.
【0045】なお、図14に示されるように、左眼球E
Lの正面方向FLと、左眼球ELの視線方向とのなす角
をθ1とし、右眼球ERの正面方向FRと右眼球ERの
視線方向とのなす角をθ2とすると、輻輳角θは、θ=
θ1+θ2で表わすことができる(物体が左眼球ELの
正面方向FLと右眼球ERの正面方向FRとの間にある
場合)。As shown in FIG. 14, the left eyeball E
Assuming that the angle between the front direction FL of L and the line of sight of the left eyeball EL is θ1, and the angle between the front direction FR of the right eyeball ER and the line of sight of the right eyeball ER is θ2, the convergence angle θ is θ =
θ1 + θ2 (when the object is between the front direction FL of the left eyeball EL and the front direction FR of the right eyeball ER).
【0046】また、図15に示されるように、物体が左
眼球ELの正面方向FLよりも左にある場合において
は、輻輳角θは、θ=|θ1−θ2|で表わすことがで
きる。Further, as shown in FIG. 15, when the object is on the left side of the front direction FL of the left eyeball EL, the convergence angle θ can be represented by θ = | θ1−θ2 |.
【0047】また、以上に示したθ1とθ2との関係
(符号や絶対値)から、対象物の方向を知ることができ
る。なお、図11〜図15においては物体が平面方向に
ある例を挙げて説明しているが、物体が上下方向にある
場合、および斜め方向にある場合についても同様に対象
物の方向を知ることができる。The direction of the object can be known from the relationship (sign or absolute value) between θ1 and θ2 described above. In addition, in FIGS. 11 to 15, an example in which the object is in the plane direction is described. However, when the object is in the vertical direction and in the oblique direction, the direction of the target object is similarly known. Can be.
【0048】左眼球ELと右眼球ERとの間の幅をdと
すると、焦点を合せている対象物体までの距離Lは、 L=d/(tan(θ1)+tan(θ2)) (θ
1とθ2との符号が逆のとき;図14) L=d/|tan(θ1)−tan(θ2)| (θ
1とθ2との符号が同じとき;図15) として表わされる。Assuming that the width between the left eyeball EL and the right eyeball ER is d, the distance L to the focused object is L = d / (tan (θ1) + tan (θ2)) (θ
When the signs of 1 and θ2 are opposite; FIG. 14) L = d / | tan (θ1) −tan (θ2) | (θ
When the signs of 1 and θ2 are the same;
【0049】すなわち、θ1≒θ2であれば、撮影者が
無限遠の対象物体をにらんでいることになる。That is, if θ1 ≒ θ2, the photographer is looking at the target object at infinity.
【0050】なお、カメラの光軸方向の制御を以下のよ
うに行なってもよい。すなわち、視線方向によりカメラ
の光軸方向(撮影方向)を変更するのであるが、たとえ
ば、ユーザが右方向を見た場合、その状態が所定時間継
続されれば、カメラを右方向にパンニングし、視線方向
に移動させた時点で停止させる。The control in the optical axis direction of the camera may be performed as follows. That is, the optical axis direction (shooting direction) of the camera is changed depending on the line of sight. For example, when the user looks rightward, if the state is continued for a predetermined time, the camera is panned rightward, It stops when it is moved in the line of sight.
【0051】また、視線が正面に戻った場合にはカメラ
をパンニングせずに右方向のまま停止させておいてもよ
いし、または正面に復帰させてもよい。また、どちらか
のモードをユーザに選択できるように切換制御を行なっ
てもよい。Further, when the line of sight returns to the front, the camera may be stopped in the right direction without panning, or may be returned to the front. Switching control may be performed so that the user can select one of the modes.
【0052】すなわち、ユーザが正面を向きながら右側
の画像を記録するためには、まず右を注視することでカ
メラを右側にパンさせて停止および固定する。ここで、
停止をトリガとして画像記録を開始するといったカメラ
の操作を行なうことも可能である。That is, in order for the user to record an image on the right while facing the front, the user first gazes at the right, pans the camera to the right, and stops and fixes the camera. here,
It is also possible to perform a camera operation such as starting image recording triggered by stopping.
【0053】なお、輻輳角の情報と水晶体の情報とを合
せて、対象物までの距離を推定および算出するようにし
てもよい。The distance to the object may be estimated and calculated by combining the information on the convergence angle and the information on the crystalline lens.
【0054】以上に説明したような実施の形態において
は、使用者がカメラの操作を手動で行なわなくても、カ
メラのズーミングを行なったり、パンニングを行なった
りすることが可能となる。たとえば、撮影開始時におい
ては、レンズの焦点距離は初期位置(たとえばワイドに
近い側)に設定しておき、視線の検出を開始し、視線が
特定の方向に所定時間(T1)停止した場合、その方向
にある対象物を注視していると判断し、焦点距離をテレ
側に変更(ズームアップ)することができる。In the above-described embodiment, zooming and panning of the camera can be performed without the user manually operating the camera. For example, when photographing is started, the focal length of the lens is set to an initial position (for example, a side close to wide), detection of the line of sight is started, and the line of sight stops in a specific direction for a predetermined time (T1) It is determined that the user is gazing at an object in that direction, and the focal length can be changed to the telephoto side (zoom up).
【0055】このとき、輻輳角θを算出し、θが所定の
値より小さい場合(対象物が遠距離にある場合)にの
み、ズームアップを行なってもよい。また、θの大小に
より、ズームの要/不要を切換えるモードを備えるよう
にしてもよい。At this time, the convergence angle θ is calculated, and the zoom-in may be performed only when θ is smaller than a predetermined value (when the object is at a long distance). Further, a mode may be provided for switching between the necessity / unnecessity of zooming depending on the magnitude of θ.
【0056】視線方向がカメラの撮影方向でない方向
(左右方向や上下方向)に移動した場合には、カメラの
焦点距離をワイド側に移動して、使用者が撮影したい方
向の被写体をとらえる。このときも視線方向が変化し、
その方向での注視時間が所定時間(T2)経過したので
あれば、焦点距離をワイド側にズームアウトする。ただ
し、撮りたい対象物がカメラの画角から消える時間を短
くするために、ズームアップするための所定時間(T
1)よりもT2は短くすることが望ましい(すなわちT
2<T1)。When the line of sight moves in a direction other than the photographing direction of the camera (horizontal direction or vertical direction), the focal length of the camera is moved to the wide side to capture the subject in the direction in which the user wants to photograph. The gaze direction also changes at this time,
If the gaze time in that direction has passed a predetermined time (T2), the focal length is zoomed out to the wide side. However, in order to reduce the time for the object to be taken to disappear from the angle of view of the camera, a predetermined time (T
It is desirable to make T2 shorter than 1) (that is, T2).
2 <T1).
【0057】また、眼球は、撮影者の意思にかかわらず
細かく動く場合がある。したがって、視線の動きに対し
てはある程度の許容幅を持たせて、細かい眼球の動きは
無視し、細かい眼球の動きがあっても視線方向の物体を
注視しているものと判断することが望ましい。すなわ
ち、眼球の動きが所定の範囲を超えない場合を注視状態
と判断するのである。The eyeball may move finely regardless of the photographer's intention. Therefore, it is desirable to give a certain allowance to the movement of the line of sight, ignore the movement of the fine eyeball, and judge that the user is gazing at the object in the line of sight even with the movement of the fine eyeball. . That is, when the movement of the eyeball does not exceed the predetermined range, it is determined to be the gaze state.
【0058】カメラがズームアップを開始した直後、視
線が動いてもカメラは目的の位置を目指して焦点距離の
移動を続け、焦点距離の移動が終了するまで撮影を継続
するようにしてもよい。こうして焦点距離の移動中に撮
影者が視線を外している間の画像を取込み、後に撮影画
像を確認させることもできる。すなわち、1回の注視に
追随してズームアップを実行するが、その実行後はその
機能を解除することも可能としてもよい。また、このよ
うな機能をユーザに選択可能とさせてもよい。Immediately after the camera starts zooming up, the camera may continue to move the focal length toward the target position even if the line of sight moves, and may continue shooting until the movement of the focal length ends. In this way, it is possible to capture an image while the photographer is not looking while the focal length is moving, and to confirm the photographed image later. That is, the zoom-up is executed following one gaze, but after the execution, the function may be released. Further, such a function may be made selectable by the user.
【0059】なお、図7および図8の表示部D1〜D3
の表示は以下のように行なうことが望ましい。The display units D1 to D3 shown in FIGS.
Is desirably displayed as follows.
【0060】図16は、画像撮影時の表示を説明するた
めの図である。画像撮影時には、図16に示すように撮
影により得られる画像(撮影画像)を撮影者の視野の周
辺部に設けられたディスプレイD3に表示する。なお、
表示部D1,D2は光透過型のディスプレイである。FIG. 16 is a diagram for explaining a display at the time of photographing an image. At the time of image capturing, as shown in FIG. 16, an image (photographed image) obtained by image capturing is displayed on a display D3 provided in the periphery of the field of view of the photographer. In addition,
The display units D1 and D2 are light transmission type displays.
【0061】図16に示されるように、撮影者が表示部
D1,D2を介して撮影対象物を見ているときには、視
線検知センサ401および水晶体検知センサ403によ
り視線の動きに合せてカメラ部100の方向を変化させ
る。また、眼球Eの状態に合せて焦点調節とズーム制御
も行なう。As shown in FIG. 16, when the photographer is looking at the object to be photographed through the display units D1 and D2, the visual axis detection sensor 401 and the crystalline lens detection sensor 403 adjust the camera unit 100 according to the movement of the visual axis. To change the direction. Further, focus adjustment and zoom control are also performed according to the state of the eyeball E.
【0062】図17に示されるように、撮影者が表示部
D3を注視したことが検知されると、カメラ部100の
回動を停止させ、撮影者が表示部D3を見る前に見てい
た方向の画像が記録されるように制御が行なわれる。As shown in FIG. 17, when it is detected that the photographer gazes at the display unit D3, the rotation of the camera unit 100 is stopped, and the photographer watches the display unit D3 before looking at the display unit D3. Control is performed so that images in the directions are recorded.
【0063】すなわち、表示部D3が注視されていると
きには、眼球の状態の検出による焦点距離の変更とレン
ズの光軸方向の変更とズーム制御とが禁止される。これ
により、撮影者は撮影方向などを撮影対象に固定させた
まま、表示部D3により撮影画像を見ることができる。That is, when the display unit D3 is gazing, change of the focal length, change of the optical axis direction of the lens, and zoom control by detecting the state of the eyeball are prohibited. Accordingly, the photographer can view the photographed image on the display unit D3 while fixing the photographing direction and the like to the photographing target.
【0064】なお、注視しているか否かは、視線方向と
水晶体の厚みの変化との両方の検出結果に基づき判定す
ることが望ましい。It is desirable to determine whether or not the user is gazing based on the results of detection of both the direction of the line of sight and the change in the thickness of the crystalline lens.
【0065】図18は、記録部409に記録された記録
画像を表示する処理を説明するための図である。記録画
像は、視野の正面部に設けられたディスプレイD1,D
2に表示される。また、記録画像の再生中にはカメラ部
100の制御および眼球の状態の検出は行なわれない。FIG. 18 is a diagram for explaining a process of displaying a recorded image recorded in the recording unit 409. The recorded images are displayed on displays D1 and D provided in front of the visual field.
2 is displayed. During the reproduction of the recorded image, the control of the camera unit 100 and the detection of the state of the eyeball are not performed.
【0066】[第4の実施の形態]図19は、第4の実
施の形態における画像表示装置を真上から見た図であ
る。本実施の形態における画像表示装置は、ヘルメット
Hと、複数のカメラC(L),C(UP),C(R)
と、ヘッドマウントディスプレイHMDとから構成され
る。[Fourth Embodiment] FIG. 19 is a diagram of an image display device according to a fourth embodiment as viewed from directly above. The image display device according to the present embodiment includes a helmet H, a plurality of cameras C (L), C (UP), and C (R).
And a head mounted display HMD.
【0067】カメラC(L)は、ヘルメットHの左側に
取付けられ、ヘルメットHの左後方向の画像を撮影す
る。カメラC(UP)は、ヘルメットHの真上に取付け
られ、ヘルメットHの後方向の画像を撮影する。カメラ
C(R)は、ヘルメットHの右側に取付けられ、ヘルメ
ットHの右後方向の画像を撮影する。The camera C (L) is attached to the left side of the helmet H, and captures an image of the helmet H in the rear left direction. The camera C (UP) is mounted right above the helmet H and captures an image of the helmet H in the rear direction. The camera C (R) is attached to the right side of the helmet H, and captures an image of the helmet H in the right rear direction.
【0068】図20は、図19のヘッドマウントディス
プレイHMDの表示を示す図である。ヘッドマウントデ
ィスプレイHMDは、図20に示されるような透過型の
表示部UP1,UP2,R1,R2,L1,L2を有し
ている。FIG. 20 is a diagram showing a display on the head mounted display HMD of FIG. The head mounted display HMD has transmissive display units UP1, UP2, R1, R2, L1, L2 as shown in FIG.
【0069】図21に示されるように、ヘルメットHを
かぶっている者の視線の方向が第1〜第3の実施の形態
と同様に検出され、ユーザがヘッドマウントディスプレ
イHMDを介して正面を見ていると判定されるときに
は、表示部UP1,UP2,R1,R2,L1,L2に
は何も表示が行なわれない。As shown in FIG. 21, the direction of the line of sight of the person wearing the helmet H is detected in the same manner as in the first to third embodiments, and the user looks at the front through the head mounted display HMD. When it is determined that there is no display, nothing is displayed on the display units UP1, UP2, R1, R2, L1, and L2.
【0070】図22に示されるように、ユーザが右方向
を見たことが検出されると、表示部R1,R2にカメラ
C(R)の画像が表示される。As shown in FIG. 22, when it is detected that the user has looked in the right direction, an image of the camera C (R) is displayed on the display units R1 and R2.
【0071】また、図23に示されるようにユーザが前
方上方を見た場合には、表示部UP1,UP2にカメラ
C(UP)からの画像が左右反転して表示される。When the user looks upward and forward as shown in FIG. 23, the image from the camera C (UP) is displayed on the display units UP1 and UP2 with the left and right reversed.
【0072】なお、図24に示されるようにユーザがま
ばたきをした場合でも、各表示部への表示は継続して行
なわれる。Note that, even when the user blinks as shown in FIG. 24, the display on each display unit is continuously performed.
【0073】このように、本実施の形態においてはヘッ
ドマウントディスプレイHMDに複数の表示位置が設け
られ、かつ画像表示装置に複数の撮像装置(カメラ)が
設けられる。ユーザの視線方向の検出がなされ、その視
線方向に応じた表示位置が選択され、選択された表示位
置に対応する撮像装置の画像が表示される。これによ
り、ユーザは見たい画像が表示される位置に視線を移す
だけで、その画像を見ることができる。As described above, in the present embodiment, a plurality of display positions are provided on the head mounted display HMD, and a plurality of image pickup devices (cameras) are provided on the image display device. A gaze direction of the user is detected, a display position corresponding to the gaze direction is selected, and an image of the imaging device corresponding to the selected display position is displayed. Thereby, the user can see the image only by moving his / her gaze to the position where the image to be seen is displayed.
【0074】[第5の実施の形態]図25は、本発明の
第5の実施の形態における画像表示装置の構成を示す図
である。図を参照して、画像表示装置は車両に設置され
るカメラを備えている。カメラとして、車両の前方を撮
影するカメラFRと、車両の左斜め後方向を撮影するカ
メラLと、車両の右斜め後方向を撮影するカメラRと、
車両の上部に設けられ車両上部の右後方向および左後方
向を撮影するカメラUP1,UP2と、車両の下部に取
付けられ、車両下部の右方向および左方向を撮影するカ
メラUN1,UN2とを含んでいる。[Fifth Embodiment] FIG. 25 is a diagram showing a configuration of an image display device according to a fifth embodiment of the present invention. Referring to the drawing, the image display device includes a camera installed in a vehicle. As a camera, a camera FR for photographing the front of the vehicle, a camera L for photographing the vehicle diagonally rearward left, and a camera R for photographing the vehicle diagonally right rearward,
Cameras UP1 and UP2 provided at the upper part of the vehicle and photographing the rear right and left directions of the upper part of the vehicle, and cameras UN1 and UN2 mounted at the lower part of the vehicle and photographing the right and left directions of the lower part of the vehicle. In.
【0075】図26は、本実施の形態において用いられ
る画像表示装置の表示部を示す図である。図に示される
ように、画像表示部はユーザの左目および右目のそれぞ
れに対応する部分を備えている。ユーザが右方向を向い
た場合には、表示部R1,R2にカメラRからの画像が
表示される。一方、ユーザが左方向に視線を向けたとき
には表示部L1,L2にカメラLからの画像が表示され
る。FIG. 26 is a diagram showing a display section of the image display device used in the present embodiment. As shown in the figure, the image display unit has portions corresponding to the left eye and the right eye of the user. When the user turns right, an image from the camera R is displayed on the display units R1 and R2. On the other hand, when the user turns his or her eyes to the left, an image from the camera L is displayed on the display units L1 and L2.
【0076】ユーザが上方向に視線を向けたときには、
表示部UP1には、カメラUP1からの画像が、表示部
UP2にはカメラUP2からの画像が表示される。When the user turns his gaze upward,
The display unit UP1 displays an image from the camera UP1, and the display unit UP2 displays an image from the camera UP2.
【0077】また、ユーザが下方向に視線を向けたとき
には表示部UN1にはカメラUN1からの画像が、表示
部UN2にはカメラUN2からの画像が表示される。When the user turns his or her gaze downward, an image from the camera UN1 is displayed on the display unit UN1, and an image from the camera UN2 is displayed on the display unit UN2.
【0078】このように、本実施の形態においてはユー
ザの左右の目のそれぞれに対応したカメラを設け、左右
の目のそれぞれに対応した表示部に左右のカメラからの
画像を表示させることで、ユーザによる立体視を可能と
している。As described above, in the present embodiment, the cameras provided for the left and right eyes of the user are provided, and the images from the left and right cameras are displayed on the display units corresponding to the left and right eyes. It enables stereoscopic viewing by the user.
【0079】なお、本実施の形態において表示部を透過
型のものとし、ユーザが前方の景色を直接見ることがで
きるようにしてもよいし、表示部にカメラFRからの画
像を表示させ、必要に応じてカメラFRのズーム制御な
どを行なうようにしてもよい。In this embodiment, the display unit may be of a transmission type so that the user can directly see the scene in front, or an image from the camera FR may be displayed on the display unit. , The zoom control of the camera FR may be performed.
【0080】また、カメラを図27に示すように車両に
とりつけてもよい。[第6の実施の形態]図28は、第
6の実施の形態における画像表示装置の正面図と側面図
である。本実施の形態における画素表示装置もヘルメッ
ト形状をしており、その左右の部分にユーザの視線に合
せてその撮影方向を変えるカメラCが取付けられてい
る。カメラCからの画像は透過型の表示部Dに表示され
る。The camera may be mounted on a vehicle as shown in FIG. Sixth Embodiment FIG. 28 is a front view and a side view of an image display device according to a sixth embodiment. The pixel display device according to the present embodiment also has a helmet shape, and a camera C that changes the shooting direction according to the user's line of sight is attached to the left and right portions. The image from the camera C is displayed on the transmissive display unit D.
【0081】また、カメラCの撮影方向は、第1〜第3
の実施の形態に示されるようにユーザの視線方向が検出
され、その検出方向に対応した画像が撮影されるように
制御が行なわれる。The photographing directions of the camera C are first to third.
As shown in the embodiment, the direction of the user's line of sight is detected, and control is performed so that an image corresponding to the detected direction is captured.
【0082】図29は、ユーザが前方に視線を向けてい
るときのカメラCの向きを示す図である。FIG. 29 is a diagram showing the orientation of the camera C when the user is looking ahead.
【0083】図に示されるように、この状態においては
カメラは前方に向けられており、ユーザの視線方向の画
像を撮影する。撮影された画像は、表示部Dに表示され
る。As shown in the figure, in this state, the camera is directed forward, and captures an image in the user's line of sight. The captured image is displayed on the display unit D.
【0084】図30は、ユーザが前方上部に視線を移し
たときのカメラの方向を示す図である。図に示されるよ
うに、ユーザの視線に合せてカメラの向きも前方上部を
向き、前方上部からの画像が撮影され、表示部Dに表示
される。FIG. 30 is a diagram showing the direction of the camera when the user shifts his / her line of sight to the upper front part. As shown in the figure, the camera also faces the upper front in accordance with the user's line of sight, and an image from the upper front is captured and displayed on the display unit D.
【0085】図31は、ユーザがさらに上部に視線を向
けたときのカメラCの方向を示す図である。このとき、
カメラCは後方上部を撮影し、その画像が表示部Dに表
示される。これにより、ユーザは後方上部からの画像を
見ることができる。FIG. 31 is a diagram showing the direction of the camera C when the user turns his / her gaze further upward. At this time,
The camera C takes an image of the upper rear portion, and the image is displayed on the display unit D. Thereby, the user can see the image from the upper rear.
【0086】また、ユーザが特定の場所に視線を移した
ときには図32に示されるように、カメラCが後方を向
き、後方からの画像が表示部Dに表示される。これによ
り、ユーザは後方からの画像を確認することができる。When the user turns his / her gaze to a specific place, the camera C faces backward, and an image from behind is displayed on the display unit D, as shown in FIG. This allows the user to check the image from behind.
【0087】このように、本実施の形態においてはカメ
ラCが回転部に設けられ、ユーザの視線の動きに対応し
た方向の画像が撮影される。これにより、ユーザがさま
ざまな方向を見ることができる画像表示装置を提供する
ことが可能となる。As described above, in the present embodiment, the camera C is provided in the rotating section, and an image in a direction corresponding to the movement of the user's line of sight is captured. This makes it possible to provide an image display device that allows the user to see various directions.
【0088】なお、本実施の形態においても第4および
第5の実施の形態と同様に、表示部Dに複数の表示位置
を設け、カメラCの撮像方向に対応した表示位置に画像
を表示することが望ましい。In this embodiment, as in the fourth and fifth embodiments, a plurality of display positions are provided on the display section D, and an image is displayed at a display position corresponding to the imaging direction of the camera C. It is desirable.
【0089】なお、上述の実施の形態においては車両な
どにカメラを取付ける例を挙げて説明したが、カメラは
オートバイ、自転車、建設機械などに設置することがで
きる。また、カメラと表示部との間の画像のやり取りは
無線などの通信により行なうことが好ましい。Although the above embodiment has been described with reference to an example in which a camera is mounted on a vehicle or the like, the camera can be installed on a motorcycle, a bicycle, a construction machine, or the like. Further, it is preferable that the exchange of images between the camera and the display unit is performed by communication such as wireless communication.
【0090】また、ユーザが表示部を注視している時間
に応じて、表示画面のサイズを変更するようにしてもよ
い。The size of the display screen may be changed according to the time during which the user is watching the display unit.
【0091】また、上述の実施の形態においては視線が
表示部に向けられたとき、その表示部に画像を表示する
ことにしたが、画像は常時表示するようにしてもよい。Further, in the above embodiment, when the line of sight is directed to the display unit, an image is displayed on the display unit. However, the image may be displayed at all times.
【0092】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
【図1】 本発明の第1の実施の形態における画像記録
装置の斜視図である。FIG. 1 is a perspective view of an image recording apparatus according to a first embodiment of the present invention.
【図2】 図1の撮像装置の使用方法を説明するための
図である。FIG. 2 is a diagram for explaining a method of using the imaging device of FIG. 1;
【図3】 図1の撮像装置の構成を示すブロック図であ
る。FIG. 3 is a block diagram illustrating a configuration of the imaging device in FIG. 1;
【図4】 図1の撮像装置の動作を示す図である。FIG. 4 is a diagram illustrating an operation of the imaging device of FIG. 1;
【図5】 水晶体の状態の検出方法を説明するための図
である。FIG. 5 is a diagram for explaining a method of detecting a state of a crystalline lens.
【図6】 図4の装置の変形例を示す図である。FIG. 6 is a diagram showing a modification of the apparatus of FIG.
【図7】 第2の実施の形態における画像記録装置の斜
視図である。FIG. 7 is a perspective view of an image recording apparatus according to a second embodiment.
【図8】 第3の実施の形態における画像撮影装置の斜
視図である。FIG. 8 is a perspective view of an image photographing apparatus according to a third embodiment.
【図9】 図8の装置の構成を示すブロック図である。FIG. 9 is a block diagram showing a configuration of the device of FIG.
【図10】 図9の装置の変形例を示すブロック図であ
る。FIG. 10 is a block diagram showing a modification of the device shown in FIG. 9;
【図11】 距離Lにある物体を見るときの眼球の状態
を示す図である。FIG. 11 is a diagram illustrating a state of an eyeball when viewing an object at a distance L.
【図12】 無限大の距離にある物体を見るときの眼球
の状態を示す図である。FIG. 12 is a diagram illustrating a state of an eyeball when viewing an object at an infinite distance.
【図13】 左側の無限距離にある物体を見るときの眼
球の状態を示す図である。FIG. 13 is a diagram illustrating a state of an eyeball when viewing an object at an infinite distance on the left side.
【図14】 輻輳角の算出方法を示す図である。FIG. 14 is a diagram illustrating a method of calculating a convergence angle.
【図15】 輻輳角の算出方法を示す図である。FIG. 15 is a diagram illustrating a method of calculating a convergence angle.
【図16】 撮影時の画像の表示例を示す図である。FIG. 16 is a diagram illustrating a display example of an image at the time of shooting.
【図17】 撮影時においてユーザが表示部を注視して
いる場合の装置の制御方法を示す図である。FIG. 17 is a diagram illustrating a control method of the apparatus when the user is gazing at the display unit during shooting.
【図18】 画像再生時の表示方法を示す図である。FIG. 18 is a diagram illustrating a display method during image reproduction.
【図19】 第4の実施の形態における画像表示装置の
平面図である。FIG. 19 is a plan view of an image display device according to a fourth embodiment.
【図20】 図19のヘッドマウントディスプレイHM
Dの表示内容を示す図である。20 is a diagram showing a head-mounted display HM shown in FIG.
It is a figure which shows the display content of D.
【図21】 ユーザが正面を見ているときの表示を示す
図である。FIG. 21 is a diagram showing a display when the user looks at the front.
【図22】 ユーザが右方向を見たときの表示を示す図
である。FIG. 22 is a diagram showing a display when the user looks rightward.
【図23】 ユーザが前方上方を見た場合の表示を示す
図である。FIG. 23 is a diagram showing a display when the user looks upward and forward.
【図24】 ユーザがまばたきをした場合の表示を示す
図である。FIG. 24 is a diagram showing a display when the user blinks.
【図25】 第5の実施の形態における画像表示装置の
構成を示す図である。FIG. 25 is a diagram illustrating a configuration of an image display device according to a fifth embodiment.
【図26】 第5の実施の形態における表示部を示す図
である。FIG. 26 is a diagram illustrating a display unit according to a fifth embodiment.
【図27】 画像表示装置の他の構成を示す図である。FIG. 27 is a diagram illustrating another configuration of the image display device.
【図28】 第6の実施の形態における画像表示装置の
構成を示す図である。FIG. 28 is a diagram illustrating a configuration of an image display device according to a sixth embodiment.
【図29】 ユーザが前方を見ているときのカメラの方
向を示す図である。FIG. 29 is a diagram illustrating a direction of a camera when a user looks forward.
【図30】 ユーザが前方上部を見ているときのカメラ
の方向を示す図である。FIG. 30 is a diagram showing the direction of the camera when the user is looking at the upper front.
【図31】 カメラが後方上部を撮影しているときの状
態を示す図である。FIG. 31 is a diagram illustrating a state in which the camera is shooting an upper rear portion.
【図32】 カメラが後方を撮影しているときの状態を
示す図である。FIG. 32 is a diagram illustrating a state in which the camera is capturing an image of the rear.
100 カメラ部、101 ズーム制御部、103 オ
ートフォーカス制御部、105 レンズ回動制御部、1
07 CCD、200 表示部、401 視線検知セン
サ、403 水晶体検知センサ、405 コントロール
部、407 画像処理部、409 記録部。Reference Signs List 100 camera unit, 101 zoom control unit, 103 autofocus control unit, 105 lens rotation control unit, 1
07 CCD, 200 display unit, 401 gaze detection sensor, 403 crystalline lens detection sensor, 405 control unit, 407 image processing unit, 409 recording unit.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09F 9/00 357 G09F 9/00 357 5G435 366 366G G09G 3/20 680 G09G 3/20 680V 680A H04N 5/232 H04N 5/232 A C 5/64 511 5/64 511A (72)発明者 湯淺 智行 大阪市中央区安土町二丁目3番13号大阪国 際ビル ミノルタ株式会社内 (72)発明者 新家 聡 大阪市中央区安土町二丁目3番13号大阪国 際ビル ミノルタ株式会社内 Fターム(参考) 2H020 MA07 MD16 MD17 2H100 AA32 AA33 BB09 CC07 2H105 AA47 5C022 AA04 AB02 AB21 AB62 AB63 AB66 AC00 AC01 AC08 AC27 AC42 AC69 AC79 5C080 AA10 BB05 CC10 DD21 EE17 GG07 JJ02 JJ06 5G435 AA01 BB17 DD01 GG09 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G09F 9/00 357 G09F 9/00 357 5G435 366 366G G09G 3/20 680 G09G 3/20 680V 680A H04N 5 / 232 H04N 5/232 AC 5/64 511 5/64 511A (72) Inventor Tomoyuki Yuasa 2-3-1-13 Azuchicho, Chuo-ku, Osaka City International Building in Minolta Co., Ltd. (72) Inventor Satoshi Shinya Osaka 2-3-13 Azuchicho, Chuo-ku, Osaka F-term in Osaka International Building Minolta Co., Ltd. (reference) 2H020 MA07 MD16 MD17 2H100 AA32 AA33 BB09 CC07 2H105 AA47 5C022 AA04 AB02 AB21 AB62 AB63 AB66 AC00 AC01 AC08 AC27 AC42 AC69 AC79 5C080 AA10 BB05 CC10 DD21 EE17 GG07 JJ02 JJ06 5G435 AA01 BB17 DD01 GG09
Claims (5)
置による画像を表示することを特徴とする、表示装置。1. An imaging device having a variable imaging direction, and a display unit having a plurality of display positions, wherein an image by the imaging device is displayed at a display position corresponding to an imaging direction of the imaging device. Display device.
向に応じた表示位置に前記撮像装置による画像を表示す
ることを特徴とする、表示装置。2. An imaging apparatus, comprising: a display unit having a plurality of display positions; and a line-of-sight detection unit that detects a line of sight of a user, wherein the display unit is configured to detect a line-of-sight direction detected by the line-of-sight detection unit. A display device, wherein an image from the imaging device is displayed at a corresponding display position.
位置を選択し、選択された表示位置に、対応する撮像装
置の画像を表示することを特徴とする、表示装置。3. A display according to a gaze direction detected by the gaze detection unit, comprising: a plurality of imaging devices; a display unit having a plurality of display positions; A display device, wherein a position is selected, and an image of a corresponding imaging device is displayed at the selected display position.
え、 前記眼球状態検出部で検出された眼球の状態に応じて、
前記撮像装置の焦点距離を変更し、それにより得られた
画像を前記表示部に表示することを特徴とする、表示装
置。4. An imaging device having a variable focal length, a display unit, and an eyeball state detection unit that detects a state of a user's eyeball, and according to the state of the eyeball detected by the eyeball state detection unit,
A display device, wherein a focal length of the imaging device is changed, and an image obtained thereby is displayed on the display unit.
であることを特徴とする、請求項1〜4のいずれかに記
載の表示装置。5. The display device according to claim 1, wherein the display device can be worn in front of a user's head or an eyeball.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000094668A JP2001285676A (en) | 2000-03-30 | 2000-03-30 | Display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000094668A JP2001285676A (en) | 2000-03-30 | 2000-03-30 | Display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001285676A true JP2001285676A (en) | 2001-10-12 |
Family
ID=18609690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000094668A Withdrawn JP2001285676A (en) | 2000-03-30 | 2000-03-30 | Display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001285676A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006015009A (en) * | 2004-07-02 | 2006-01-19 | Konica Minolta Photo Imaging Inc | Visual assisting device |
| JP2007123953A (en) * | 2005-10-24 | 2007-05-17 | Sony Corp | Imaging apparatus and imaging method |
| JP2008185609A (en) * | 2007-01-26 | 2008-08-14 | Sony Corp | Display device and display method |
| JP2010161655A (en) * | 2009-01-08 | 2010-07-22 | Sony Ericsson Mobile Communications Ab | Imaging apparatus, and imaging method |
| JP2010199789A (en) * | 2009-02-24 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
| JP2010199788A (en) * | 2009-02-24 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
| JP2012008290A (en) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | Spectacle type display device and server |
| JP2015087581A (en) * | 2013-10-31 | 2015-05-07 | 株式会社東芝 | Display device |
| WO2015111986A1 (en) * | 2014-01-27 | 2015-07-30 | 주식회사 이베이코리아 | System for registering product review image in electronic commerce by using smartphone and method therefor |
| JP2015215619A (en) * | 2015-06-10 | 2015-12-03 | ソニー株式会社 | Display device, display method, and program |
| JP2016138971A (en) * | 2015-01-27 | 2016-08-04 | セイコーエプソン株式会社 | Head-mounted type display device, control method of head-mounted type display device, and computer program |
-
2000
- 2000-03-30 JP JP2000094668A patent/JP2001285676A/en not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006015009A (en) * | 2004-07-02 | 2006-01-19 | Konica Minolta Photo Imaging Inc | Visual assisting device |
| JP2007123953A (en) * | 2005-10-24 | 2007-05-17 | Sony Corp | Imaging apparatus and imaging method |
| JP2008185609A (en) * | 2007-01-26 | 2008-08-14 | Sony Corp | Display device and display method |
| JP2010161655A (en) * | 2009-01-08 | 2010-07-22 | Sony Ericsson Mobile Communications Ab | Imaging apparatus, and imaging method |
| JP2010199789A (en) * | 2009-02-24 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
| JP2010199788A (en) * | 2009-02-24 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
| JP2012008290A (en) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | Spectacle type display device and server |
| JP2015087581A (en) * | 2013-10-31 | 2015-05-07 | 株式会社東芝 | Display device |
| WO2015111986A1 (en) * | 2014-01-27 | 2015-07-30 | 주식회사 이베이코리아 | System for registering product review image in electronic commerce by using smartphone and method therefor |
| JP2016138971A (en) * | 2015-01-27 | 2016-08-04 | セイコーエプソン株式会社 | Head-mounted type display device, control method of head-mounted type display device, and computer program |
| JP2015215619A (en) * | 2015-06-10 | 2015-12-03 | ソニー株式会社 | Display device, display method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001281520A (en) | Optical device | |
| TWI440960B (en) | Stereoscopic image pickup device | |
| TWI569040B (en) | Autofocus head mounted display device | |
| EP0921694A2 (en) | Stereoscopic image pick-up apparatus | |
| US20130113894A1 (en) | Variable 3-d camera assembly for still photography | |
| JPH11164324A (en) | Stereoscopic image photographing/reproducing system | |
| JPH09505906A (en) | Stereoscope image mechanism and visual mechanism | |
| JP2002508636A (en) | Wearable camera system with viewfinder means | |
| GB2494940A (en) | Head-mounted display with display orientation lock-on | |
| US20170299842A1 (en) | Electronic binoculars | |
| JPH08194274A (en) | Stereoscopic image pickup device | |
| JP2001285676A (en) | Display device | |
| JP2010004465A (en) | Stereoscopic image photographing system | |
| JPH08201940A (en) | Stereoscopic image pickup device | |
| JPH01190177A (en) | Automatic focus device | |
| JPH08205200A (en) | Three-dimensional image pickup device | |
| WO2011086890A1 (en) | Lens barrel adapter, lens barrel and imaging device | |
| JPH10145649A (en) | Compound eye imaging device | |
| KR100651225B1 (en) | 3D Imaging Apparatus and Method Using Center Point Correction | |
| JPH08211332A (en) | Stereoscopic video reproducing device | |
| JPH07264633A (en) | Stereoscopic video camera | |
| US20240406562A1 (en) | Control apparatus, optical apparatus, and imaging apparatus | |
| JP7446780B2 (en) | display device | |
| JPH08280003A (en) | Stereoscopic photographing device | |
| JP3761978B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070605 |