JP2018182570A - Line-of-sight information sharing method and line-of-sight information sharing system - Google Patents
Line-of-sight information sharing method and line-of-sight information sharing system Download PDFInfo
- Publication number
- JP2018182570A JP2018182570A JP2017080751A JP2017080751A JP2018182570A JP 2018182570 A JP2018182570 A JP 2018182570A JP 2017080751 A JP2017080751 A JP 2017080751A JP 2017080751 A JP2017080751 A JP 2017080751A JP 2018182570 A JP2018182570 A JP 2018182570A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- image
- display
- worker
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 239000003550 marker Substances 0.000 claims abstract description 131
- 238000003384 imaging method Methods 0.000 claims abstract description 110
- 238000004891 communication Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims description 155
- 230000008859 change Effects 0.000 claims description 111
- 230000033001 locomotion Effects 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000002834 transmittance Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 5
- 206010034719 Personality change Diseases 0.000 claims 1
- 201000003152 motion sickness Diseases 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 49
- 230000000007 visual effect Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 39
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 36
- 230000008569 process Effects 0.000 description 26
- 230000001133 acceleration Effects 0.000 description 18
- 210000001747 pupil Anatomy 0.000 description 16
- 238000012790 confirmation Methods 0.000 description 15
- 101100191768 Caenorhabditis elegans pbs-4 gene Proteins 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000010287 polarization Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 206010025482 malaise Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- AGBSXNCBIWWLHD-FQEVSTJZSA-N siremadlin Chemical compound COC1=NC(OC)=NC=C1C(N1C(C)C)=NC2=C1[C@H](C=1C=CC(Cl)=CC=1)N(C=1C(N(C)C=C(Cl)C=1)=O)C2=O AGBSXNCBIWWLHD-FQEVSTJZSA-N 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、通信回線を介して接続される複数の情報入出力端末間で、使用者の視線情報を共有する視線情報共有方法および視線情報共有システムに関する。 The present invention relates to a line-of-sight information sharing method and a line-of-sight information sharing system for sharing user's line-of-sight information among a plurality of information input / output terminals connected via a communication line.
従来から、シースルーＨＭＤ（Head Mounted Display；ヘッドマウントディスプレイ）と呼ばれる頭部装着型のシースルー情報表示装置が知られている。このシースルーＨＭＤは、外界観察時に所望の情報を映像として付加して装着者に提供できる装置であり、大別すると、ビデオシースルー型と、光学シースルー型とがある。 BACKGROUND Conventionally, a head-mounted see-through information display device called a see-through HMD (Head Mounted Display) has been known. The see-through HMD is a device that can add desired information as an image at the time of external observation and provide the image to the wearer, and can be roughly classified into a video see-through type and an optical see-through type.
ビデオシースルー型は、遮蔽型（クローズ型）の表示装置に、装着者の前方視界を撮像するカメラを付加し、装着者の前方の視界を撮像した画像に所望の映像を重ね、これらを一体的な画像として装着者に視認させる装置である。一方、光学シースルー型は、外界からの光と映像光とを重ねるコンバイナを用い、コンバイナによってこれらの光を装着者の瞳に導くことにより、装着者に映像とともに外界を直接視認させる装置である。 In the video see-through type, a camera that captures the front view of the wearer is added to a shielded (closed) display device, a desired image is superimposed on an image obtained by capturing the front view of the wearer, and these are integrated. Device that allows the wearer to visually recognize it as an image. On the other hand, the optical see-through type is a device that allows the wearer to directly view the outside world together with the image by using a combiner that superimposes light from the outside world with the image light and guiding the light to the wearer's pupil by the combiner.
上記いずれのタイプのシースルーＨＭＤについても、視認される外界の像（以下、外界像とも称する）に所望の映像を重畳することによって、装着者の作業を補完して助ける活用提案がある。ＨＭＤの持つハンズフリー性と合わせて外界を観察可能とすることで、装着者に通常の作業を妨げることがなく、さらに必要な情報（例えば作業指示やマニュアル）を外界像に重畳して表示して、装着者の作業性を向上させることができる。 With regard to any of the above types of see-through HMDs, there is an application proposal that complements and assists the work of the wearer by superimposing a desired image on an image of the visible external world (hereinafter, also referred to as an external world image). By making it possible to observe the outside world in combination with the hands-free nature of the HMD, the wearer is not disturbed by normal work, and further necessary information (for example, work instruction and manual) is displayed superimposed on the outside world image. Thus, the workability of the wearer can be improved.
ＨＭＤを用いて装着者の作業を補完する例については、例えば特許文献１で提案されている。特許文献１では、作業者および指示者がビデオシースルー型のＨＭＤを装着し、作業者の前方の外界をカメラで撮像し、撮影によって取得された現実空間の画像に仮想空間の画像を合成した複合現実空間画像を遠隔地の指示者に送信して共有する。そして、表示画像に対して指示者が付加情報を追加することで、作業者に指示を伝達し、協働作業を行う。付加情報を追加する手段としては、手に持つタイプ（手持ち型、ハンディ型）の入力装置が用いられる。
About the example which supplements a wearer's operation | work using HMD, it is proposed by
しかし、特許文献１のように、付加情報を追加する手段として、手持ち型の入力装置を用いる場合、入力装置によって手がふさがるため、本来のＨＭＤが持つハンズフリー性が損なわれる。このため、ＨＭＤを用い、例えば、対象物のネジを実際に締める、部品を取り外すなど、手による作業が必要な場合には、その作業性が悪化する。
However, when a hand-held input device is used as a means for adding additional information as in
その他、上記のような複数人での協働作業や、指示者からの指示を受けて作業者が実作業を行う活用においては、音声や、音声入力による表示（音声を活字に変換して表示する手法）での意思疎通も考えられる。しかし、実際の対象物に対する作業箇所を特定するにあたって、「これ」、「あれ」、「そこ」などの曖昧な音声や表示による指示では、作業箇所を特定しにくい。また、詳細に意思疎通を行おうとすると、例えば、特定のボルトに対する作業を指示する際に、「右から３列目で上から２番目のボルト」、などのように、指示内容が長くなったり複雑化する。このため、音声または音声入力による表示のみで意思疎通を的確に行うことは困難である。 In addition, in the case where the above-mentioned collaborative work by a plurality of persons or the worker performs an actual work in response to an instruction from the instructor, the display by speech or speech input (conversion of speech into print and display) Communication can be considered. However, when specifying the work location for the actual object, it is difficult to specify the work location by an instruction such as “this”, “that”, “there” or the like that is vague voice or display. In addition, when trying to communicate in detail, for example, when instructing work on a specific bolt, the instruction content may become long, such as "the third column from the right and the second bolt from the top". Be complicated. For this reason, it is difficult to accurately communicate only by displaying by voice or voice input.
したがって、ＨＭＤを活用した複数人での協働・連携作業においては、ＨＭＤの有用性であるハンズフリー性を損なわずに、意思疎通を的確に行うことができる手段が求められる。 Therefore, in collaboration and cooperation work by a plurality of people utilizing the HMD, a means is needed which can properly communicate without impairing the hands-freeness which is the usefulness of the HMD.
また、ＨＭＤを装着した作業者は、作業対象物に対して常に静止した状態で作業するとは限らず、作業中に横に移動したり、頭部が動くこともある。このような作業者の動きに追従して撮影された画像を指示者側の端末に送り、そこで表示するシステムを仮定したとき、表示画像としては、作業者の動きに追従して作業対象物が動く画像が表示される。特に、作業者の動きが速い場合には、表示画像中の作業対象物の動きも速くなる。この場合、指示者は、指示のために表示画像中の同一箇所（例えば作業対象物において締める指示を出したいネジ）を注視し続けることが困難となり、無理に注視し続けようとすると、注視点の移動が激しくなって映像酔いを起こしやすくなる。これでは、指示者が表示画像を見ながら作業者に的確な指示を出すことができなくなる。また、ＨＭＤを装着した作業者にとっては、作業中に動きながらでも、指示者側からの指示を的確に把握できるようにすることが望まれる。 In addition, a worker wearing the HMD does not always work with the work object stationary at all times, and may move sideways or move his head during work. Assuming a system in which an image captured following such a worker's movement is sent to the terminal on the side of the instructor and displayed there, the work target object follows the movement of the worker as the display image. A moving image is displayed. In particular, when the movement of the worker is fast, the movement of the work object in the display image is also fast. In this case, it becomes difficult for the instructor to keep an eye on the same part in the display image (for example, a screw that wants to give an instruction to tighten the work object) for the instruction. The movement of the subject becomes intense and it is easy to cause video sickness. In this case, the instructor can not give an accurate instruction to the operator while viewing the display image. In addition, it is desirable for the operator wearing the HMD to be able to accurately grasp the instruction from the instructor while moving during the operation.
本発明は、上記の問題点を解決するためになされたもので、その目的は、ＨＭＤのハンズフリー性を損なわずに意思疎通を的確に行うとともに、他の端末の使用者が表示画像の注視による映像酔いを起こさずに指示を的確に出すことができ、また、ＨＭＤの使用者が動きながらでも、他の端末の使用者からの指示を的確に把握することができる視線情報共有方法および視線情報共有システムを提供することにある。 The present invention has been made to solve the above problems, and its object is to accurately communicate without losing the hands-free nature of the HMD, and to allow the user of another terminal to gaze at the displayed image. The gaze information sharing method and the gaze information which can accurately give instructions without causing video sickness due to the HMD, and can accurately grasp the instructions from the users of other terminals while the HMD user is moving. To provide an information sharing system.
本発明の一側面に係る視線情報共有方法は、通信回線を介して接続される複数の情報入出力端末を含むシステムにおける視線情報共有方法であって、前記複数の情報入出力端末は、外界を撮影して画像を取得可能なシースルー型のヘッドマウントディスプレイである第１端末と、情報の表示および使用者の視線方向の検出が可能な第２端末とを含み、該視線情報共有方法は、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する工程と、前記第１端末での撮影によって動画を取得する工程と、前記第１端末で取得された前記動画から、前記基準画像に対応する領域を検出する工程と、前記第２端末において、検出された前記領域を表す画像を表示する工程と、前記第２端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、前記第１端末において、算出された前記表示位置に前記マーカーを表示する工程とを含む。 A line-of-sight information sharing method according to an aspect of the present invention is a line-of-sight information sharing method in a system including a plurality of information input / output terminals connected via a communication line, wherein the plurality of information input / output terminals The gaze information sharing method includes the first terminal being a see-through head mounted display capable of photographing and acquiring an image, and the second terminal capable of displaying information and detecting a gaze direction of a user, the gaze information sharing method comprising: A step of holding, as a reference image, a part of a still image acquired in advance by photographing with the first terminal while the user of the first terminal stands still, and moving pictures by photographing with the first terminal Acquiring, detecting an area corresponding to the reference image from the moving image acquired by the first terminal, and displaying an image representing the detected area in the second terminal; Previous Detecting a gaze position by detecting a gaze direction of the user with respect to the display image in the second terminal; detecting the area; detecting the gaze position of the user of the second terminal; and capturing an image of the first terminal Calculating the display position of the marker indicating the gaze position at the first terminal based on the characteristic and the display characteristic; and displaying the marker at the calculated display position at the first terminal; including.
本発明の他の側面に係る視線情報共有システムは、通信回線を介して接続される複数の情報入出力端末を含む視線情報共有システムであって、前記複数の情報入出力端末は、第１端末および第２端末を含み、前記第１端末は、外界を撮影して画像を取得する撮像装置を含むシースルー型のヘッドマウントディスプレイであり、前記第２端末は、情報を表示する表示装置と、前記表示装置によって表示された情報に対する使用者の視線方向を検出する視線検出装置とを含み、前記複数の情報入出力端末のいずれかは、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する保持部と、前記第１端末での撮影によって動画が取得されたときに、前記動画から、前記基準画像に対応する領域を検出する領域検出部と、前記領域検出部によって検出された前記領域を表す画像が前記第２端末で表示され、前記視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する演算部とを有し、前記第１端末は、前記演算部によって算出された前記表示位置に前記マーカーを表示する。 A line-of-sight information sharing system according to another aspect of the present invention is a line-of-sight information sharing system including a plurality of information input / output terminals connected via a communication line, the plurality of information input / output terminals being a first terminal And a second terminal, wherein the first terminal is a see-through head mounted display including an imaging device for capturing an image by capturing the outside world, and the second terminal is a display device for displaying information; A visual axis detection device for detecting the visual axis direction of the user with respect to the information displayed by the display device, and any one of the plurality of information input / output terminals can be used in the state where the user of the first terminal is stationary; When the moving image is acquired by the holding unit that holds a part of the still image acquired in advance by photographing with one terminal as a reference image, and the moving image is acquired by photographing by the first terminal, the reference from the moving image An area detection unit for detecting an area corresponding to an image, and an image representing the area detected by the area detection unit are displayed on the second terminal, and the gaze detection apparatus detects the gaze direction of the user with respect to the display image When the gaze position is determined, based on the detection result of the area by the area detection unit, the gaze position of the user of the second terminal, and the imaging characteristic and display characteristic of the first terminal. A calculation unit configured to calculate a display position of a marker indicating the gaze position in the first terminal, wherein the first terminal displays the marker at the display position calculated by the calculation unit.
第１端末では、第２端末の使用者の注視位置を示すマーカーが表示されるため、第１端末の使用者は、表示される上記マーカーを見て、第２端末の使用者の意思（例えば作業箇所の指定）を把握し、それに基づいて両手で作業を行うことが可能となる。したがって、ＨＭＤで構成される第１端末のハンズフリー性を損なわずに、意思疎通を的確に行うことができる。しかも、第１端末では、第２端末の使用者の注視位置（視線方向）をマーカーという明確に視認可能な形態で示すため、音声のみで意思疎通を行う場合のように指示が曖昧となることがなく、意思疎通を的確に行うことができる。 In the first terminal, a marker indicating the gaze position of the user of the second terminal is displayed, so that the user of the first terminal sees the displayed marker and determines the intention of the user of the second terminal (for example, It becomes possible to grasp the designation of the work location and to work with both hands based on it. Therefore, communication can be properly performed without impairing the hands-free property of the first terminal configured by the HMD. Moreover, in the first terminal, since the gaze position (line-of-sight direction) of the user of the second terminal is indicated in a clearly visible form called a marker, the instruction becomes ambiguous as in the case of communicating only with voice. Can communicate properly.
また、第１端末の使用者が作業中に動き、それに伴って、撮影によって取得される動画中で撮影対象（例えば作業対象物）の位置が動く場合でも、第２端末では、第１端末で取得された動画のうちで、基準画像に対応する所定の領域の画像が表示される。つまり、表示画像としては、撮影対象の位置がほとんど変化しない上記領域の画像が表示される。これにより、表示画像を観察する第２端末の使用者は、映像酔いを起こしにくくなり、表示画像に基づいて、視線による指示を的確に出すことが可能となる。 In addition, even if the user of the first terminal moves while working, and the position of the object to be photographed (for example, a work object) moves in the moving image acquired by photographing along with it, in the second terminal, the first terminal Among the acquired moving images, an image of a predetermined area corresponding to the reference image is displayed. That is, as the display image, an image of the above-described area in which the position of the imaging target hardly changes is displayed. As a result, the user of the second terminal who observes the display image is less likely to cause video sickness, and it is possible to accurately issue an instruction by the line of sight based on the display image.
また、第１端末では、基準画像に対応する領域の検出結果と、第２端末の使用者の注視位置と、第１端末の撮像特性および表示特性とに基づいて算出される位置に、上記注視位置を示すマーカーが表示されるため、第１端末の使用者が作業中に動いても、第１端末の画像の表示領域内で、第２端末で使用者が注視する位置と対応する位置（例えば作業対象物に対して同じ位置）に、上記マーカーを表示させ続けることができる。これにより、第１端末の使用者は、作業中に動きながらでも、表示されたマーカーを見て、第２端末の使用者からの視線による指示（例えば作業箇所の指定）を的確に把握して、作業を行うことが可能となる。 In the first terminal, the gaze at the position calculated based on the detection result of the region corresponding to the reference image, the gaze position of the user of the second terminal, and the imaging characteristic and display characteristic of the first terminal Since the marker indicating the position is displayed, even if the user of the first terminal moves while working, the position corresponding to the position at which the user gazes at the second terminal within the display area of the image of the first terminal For example, the marker can be kept displayed at the same position with respect to the work object. Thereby, the user of the first terminal looks at the displayed marker while moving during work, and accurately grasps an instruction from the user of the second terminal (for example, designation of a work location) It will be possible to work.
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるものではない。 It will be as follows if one embodiment of the present invention is described based on a drawing. The present invention is not limited to the following contents.
（１．視線情報共有システムの構成）
図１は、本実施形態の視線情報共有システム１００の概略の構成を示す説明図である。視線情報共有システム１００は、複数の情報入出力端末２００を、通信回線３００を介して通信可能に（情報連携可能に）接続して構成されている。通信回線３００は、例えばＷｉ−Ｆｉ（登録商標）などの無線通信環境によって実現されているが、光ファイバーなどのケーブルを用いた有線の通信回線であってもよい。
(1. Configuration of gaze information sharing system)
FIG. 1 is an explanatory view showing a schematic configuration of a line-of-sight
複数の情報入出力端末２００は、相互に情報を入出力（送受信）することが可能である。入出力の対象となる情報には、例えば、各情報入出力端末２００で取得される撮像画像の情報（画像データ）や、各情報入出力端末２００の使用者の視線方向や視線の位置（注視位置）に関する情報（以下、単に視線情報とも称する）が含まれる。これにより、複数の情報入出力端末２００間で、使用者の視線情報を共有して、後述するように使用者の視線に基づく意思疎通が可能となる。
The plurality of information input /
複数の情報入出力端末２００は、シースルー型のヘッドマウントディスプレイ（ＨＭＤ）と、管理サーバー４００（図５参照）とを含んで構成されている。ＨＭＤは、使用者の頭部に装着され、映像を虚像として使用者に視認可能に表示する頭部装着型端末である。管理サーバー４００は、ＨＭＤにて取得される情報を管理する端末である。なお、管理サーバー４００の機能をいずれかのＨＭＤに持たせて、管理サーバー４００を省略することも可能である。まず、ＨＭＤの詳細について以下に説明する。
The plurality of information input /
（２．ＨＭＤの構成）
図２は、本実施形態の情報入出力端末２００の一例であるＨＭＤ２０１の概略の構成を示す正面図である。ＨＭＤ２０１は、使用者に映像を提示する映像表示装置２０２と、支持部材２０３とを含んで構成されている。支持部材２０３は、映像表示装置２０２を観察者（ＨＭＤ２０１の使用者）の眼前（例えば右眼ＥＲの前）で支持する部材であり、眼鏡のフレームやテンプルに相当する支持部２０３ａと、支持部２０３ａに取り付けられて、装着時に使用者の鼻と当接する鼻当て２０３ｂとを含む。
(2. Configuration of HMD)
FIG. 2 is a front view showing a schematic configuration of the
なお、ＨＭＤ２０１は、さらに、右眼用レンズや左眼用レンズを含み、これらが支持部材２０３で支持される構成であってもよい。また、ＨＭＤ２０１は、映像表示装置２０２を２個有し、支持部材２０３によって各映像表示装置２０２を使用者の右眼および左眼の眼前で支持する構成であってもよい。さらに、ＨＭＤ２０１は、映像表示装置２０２の位置（例えば左右方向、上下方向の各位置）や取付角度（アオリ角）を調整する位置調整機構を有していてもよい。
The
映像表示装置２０２は、使用者が映像とともに外界を直接観察可能な光学シースルー型ディスプレイである。すなわち、映像表示装置２０２は、外界からの光を使用者の瞳に導くことにより、使用者に外界を観察させるとともに、使用者の視野の一部に映像を虚像として表示して提供する表示光学系である。以下、映像表示装置２０２の光学構成について説明する。
The
図３は、映像表示装置２０２の光学構成を示す断面図である。映像表示装置２０２は、照明光学系２と、偏光板３と、偏光ビームスプリッタ（ＰＢＳ）４と、表示素子５と、接眼光学系６とを有している。照明光学系２、偏光板３、ＰＢＳ４、表示素子５、および接眼光学系６の上端部は、図２で示した筐体２０２ａ内に位置している。
FIG. 3 is a cross-sectional view showing an optical configuration of the
なお、以下での説明の便宜上、各方向を以下のように定義しておく。図３において、接眼光学系６によって形成される光学瞳Ｐの中心（映像観察時の使用者の瞳中心）と表示素子５の表示面の中心とを光学的に結ぶ軸およびその軸の延長線を光軸（観察中心軸）とする。そして、接眼光学系６のＨＯＥ（Holographic Optical Element；ホログラフィック光学素子）２３の光軸平面に垂直な方向をＸ方向とする。なお、ＨＯＥ２３の光軸平面とは、上記光軸と一致する光線がＨＯＥ２３に入射するときの、入射光線と反射光線とを含む平面を指す。また、各光学部材の上記光軸との交点における、面法線と垂直な面内で、Ｘ方向に垂直な方向をＹ方向とする。そして、Ｘ方向およびＹ方向に垂直な方向をＺ方向とする。このような定義を用いると、例えば、表示素子５の法線と接眼光学系６の後述する２つの平行な面２１ｂ・２１ｃの法線とを含み、かつ、表示素子５の表示面の中心を含む断面は、ＹＺ断面となる。
In addition, each direction is defined as follows for convenience of explanation below. In FIG. 3, an axis optically connecting the center of the optical pupil P formed by the eyepiece optical system 6 (the center of the user's pupil at the time of image observation) and the center of the display surface of the
照明光学系２は、表示素子５を照明するものであり、光源１１と、照明ミラー１２と、拡散板１３とを有している。
The illumination
光源１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する光を出射するＲＧＢ一体型のＬＥＤで構成されている。複数の発光点（ＲＧＢの各発光点）は、水平方向（Ｘ方向）に略直線状に並んでいる。光源１１から出射される光の波長は、例えば、光強度のピーク波長および光強度半値の波長幅で、４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）である。なお、光源１１は、レーザ光源であってもよい。
The
照明ミラー１２は、光源１１から出射された光（照明光）を拡散板１３に向けて反射させるとともに、Ｙ方向に関して、光学瞳Ｐと光源１１とが略共役となるように、照明光を曲げる光学素子である。
The
拡散板１３は、光源１１の複数の発光点が並ぶＸ方向に入射光を例えば４０°拡散し、Ｙ方向には入射光を拡散しない一方向拡散板である。拡散板１３は、偏光板３の表面に保持されている。
The
偏光板３は、拡散板１３を介して入射する光のうち、所定の偏光方向の光を透過させてＰＢＳ４に導く。
The
ＰＢＳ４は、偏光板３を透過した光を反射型の表示素子５の方向に反射させる一方、表示素子５にて反射された光のうち、画像信号オンに対応する光（偏光板３を透過した光とは偏光方向が直交する光）を透過させる平板状の偏光分離素子であり、接眼光学系６の後述する接眼プリズム２１の光入射面２１ａに貼り付けられている。
The
表示素子５は、照明光学系２からの光を変調して映像を表示する表示素子であり、本実施形態では、反射型の液晶表示素子で構成されている。表示素子５はカラーフィルタを有する構成であってもよいし、光源１１のＲＧＢごとの時分割発光に同期して、発光色に対応するＲＧＢの画像が表示されるように、時分割で駆動される構成であってもよい。
The
表示素子５は、ＰＢＳ４からほぼ垂直に入射する光がほぼ垂直に反射されてＰＢＳ４に向かうように配置されている。これにより、反射型の表示素子に対して大きな入射角で光を入射させる構成に比べて、解像度を増大させるような光学設計が容易となる。表示素子５の表示面は長方形となっており、表示面の長手方向がＸ方向となり、短手方向がＹ方向となるように配置されている。
The
接眼光学系６は、表示素子５からの映像光を使用者の瞳（光学瞳Ｐ）に導くための光学系であり、非軸対称（非回転対称）な正の光学パワーを有している。この接眼光学系６は、接眼プリズム２１と、偏向プリズム２２と、ＨＯＥ２３とを有している。
The eyepiece
接眼プリズム２１は、表示素子５からＰＢＳ４を介して入射する映像光を内部で導光する一方、外界からの光（外光）を透過させるものであり、平行平板の上端部を上端に向かうほど厚くし、下端部を下端に向かうほど薄くした形状で構成されている。
The
接眼プリズム２１において、ＰＢＳ４が貼り付けられる面は、表示素子５からの映像光が入射する光入射面２１ａであり、光学瞳Ｐとほぼ平行に位置して互いに対向する２つの面２１ｂ・２１ｃは、映像光を全反射によって導光する全反射面となっている。そのうち、光学瞳Ｐ側の面２１ｂは、ＨＯＥ２３で回折反射される映像光の出射面を兼ねている。
In the
接眼プリズム２１は、その下端部に配置されるＨＯＥ２３を挟むように偏向プリズム２２と接着剤で接合されている。本実施形態では、接眼プリズム２１を構成する面のうち、ＨＯＥ２３が接する面２１ｄ以外で映像光が透過する面（光入射面２１ａ、面２１ｂ）は、平面となっている。接眼プリズム２１において、ＨＯＥ２３が接する面２１ｄは、平面であってもよいし、曲面であってもよいし、平面と曲面とを組み合わせた面であってもよい。
The
偏向プリズム２２は、接眼プリズム２１とＨＯＥ２３を介して貼り合わされて略平行平板を形成している。偏向プリズム２２を接眼プリズム２１と貼り合わせることで、外光が接眼プリズム２１の楔状の下端部を透過するときの屈折を偏向プリズム２２でキャンセルすることができ、外界として観察（視認）される像（外界像）に歪みが生じるのを防止することができる。
The
ＨＯＥ２３は、接眼プリズム２１に接して設けられ、接眼プリズム２１内部で導光された映像光を回折反射する体積位相型で反射型のホログラフィック光学素子である。ＨＯＥ２３は、回折効率のピーク波長および回折効率半値の波長幅で、例えば４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させる。すなわち、ＨＯＥ２３のＲＧＢの回折波長は、ＲＧＢの映像光の波長（光源１１の発光波長）とほぼ対応している。
The
上記の構成において、照明光学系２の光源１１から出射された光は、照明ミラー１２で反射され、拡散板１３にてＸ方向にのみ拡散された後、所定の偏光方向の光のみが偏光板３を透過する。そして、偏光板３を透過した光は、ＰＢＳ４で反射され、表示素子５に入射する。
In the above configuration, light emitted from the
表示素子５では、入射光が画像信号に応じて変調される。このとき、画像信号オンに対応する映像光は、表示素子５にて入射光とは偏光方向が直交する光に変換されて出射されるため、ＰＢＳ４を透過して接眼プリズム２１の内部に光入射面２１ａから入射する。一方、画像信号オフに対応する映像光は、表示素子５にて偏光方向が変換されずに出射されるため、ＰＢＳ４で遮断され、接眼プリズム２１の内部に入射しない。
In the
接眼プリズム２１では、入射した映像光が接眼プリズム２１の対向する２つの面２１ｃ・２１ｂでそれぞれ１回ずつ全反射された後、ＨＯＥ２３に入射し、そこで回折反射されて面２１ｂから出射され、光学瞳Ｐに達する。したがって、この光学瞳Ｐの位置では、使用者は、表示素子５に表示された映像を虚像として観察することができる。
In the
一方、接眼プリズム２１、偏向プリズム２２およびＨＯＥ２３は、外光をほとんど全て透過させるので、使用者は外界をシースルーで観察することができる。したがって、表示素子５に表示された映像の虚像は、使用者の視野（視界）内で、外界の一部に重なって観察されることになる。
On the other hand, since the
なお、本実施形態では、表示素子５として、反射型の映像表示素子を用いているが、透過型の液晶表示素子を用い、それに応じた光学設計で映像表示装置２０２を構成してもよい。また、接眼光学系６は、ＨＭＤ２０１の右眼用レンズまたは左眼用レンズと一体的に構成されてもよいし、別体で構成されてもよい。
In the present embodiment, a reflective image display element is used as the
（３．ＨＭＤの詳細な構成）
図４は、ＨＭＤ２０１の詳細な構成を示すブロック図である。ＨＭＤ２０１は、上記した映像表示装置２０２および支持部材２０３に加えて、撮像装置３１、視線検出装置３２、画像処理部３３、通信部３４、記憶部３５、音声入力装置３６、音声出力装置３７、加速度センサ３８、操作部３９および制御部４０をさらに備えている。制御部４０は、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、映像表示装置２０２を含むＨＭＤ２０１の各部の動作を制御する。したがって、制御部４０の制御には、例えば、映像表示装置２０２の光源１１の点灯／消灯の切り替えや、表示素子５における情報の表示に関する制御も含まれる。
(3. Detailed configuration of HMD)
FIG. 4 is a block diagram showing the detailed configuration of the
撮像装置３１は、外界を撮影して画像（静止画、動画）を取得可能なカメラ（デジタルカメラ、デジタルビデオカメラ）で構成されている。この撮像装置３１は、例えば図２で示した筐体２０２ａの外面に設けられているが、筐体２０２ａの内部に設けられてもよい。後者の場合、撮像装置３１の前方に、筐体２０２ａを貫通する開口部または透明な窓が設けられ、これによって撮像装置３１による前方の撮影が可能となる。
The
また、図２に示すように、撮像装置３１の撮像中心Ｃｏ（撮像光軸と撮像素子との交点）は、映像表示装置２０２の観察中心Ｖｏ（瞳中心）のほぼ真上に位置しており、映像表示装置２０２に対する撮像装置３１の相対位置が固定されている。また、撮像装置３１の撮像光軸は、無限遠を観察するときの使用者の視線方向と略一致している。これにより、撮像装置３１は、使用者の通常視界（前方の外界）を撮像することができる。
Further, as shown in FIG. 2, the imaging center Co (the intersection of the imaging optical axis and the imaging element) of the
視線検出装置３２は、使用者の観察視線（視線方向）を検出するセンサである。視線検出装置３２は、赤外線ＬＥＤとカメラとを含んで構成されており、例えば図２で示すように、接眼光学系６の左右の縁部に設けられている。視線検出装置３２は、赤外線ＬＥＤから使用者の瞳または網膜に向けて安全な光線（例えば赤外線）を照射し、その反射光をカメラで計測することにより、使用者の視線方向を直接検知する。より具体的には、赤外線ＬＥＤで使用者の顔を照らしたときに、使用者の角膜上で赤外光が反射される位置（角膜反射の位置）を基準点とし、この角膜反射の位置に対する瞳孔の位置をカメラで（赤外線を受光して）検知することにより、使用者の視線方向を検知する。例えば、右眼の角膜反射の位置よりも瞳孔が目じり側にあれば、使用者は右側を見ており（使用者の視線が右方向を向いており）、角膜反射の位置よりも瞳孔が目頭側にあれば、使用者は左側を見ている（使用者の視線が左方向を向いている）ことを検出できる。
The line-of-
視線検出装置３２の数は、１個であってもよいし、複数個であってもよいが、複数個であるほうが、複数の情報に基づいて視線検知を行うことができ、検知精度が向上するため望ましい。このため、本実施形態では、図２に示すように、接眼光学系６の左右の縁部（計２か所）に視線検出装置３２を設けて、視線検出を行うようにしている。
The number of sight
なお、トビーテクノロジー社からは、複数の赤外光源で照明された瞳を、複数のカメラで撮像することによって視線を検知するメガネ型の視線検出装置が提案されているが、本実施形態の視線検出装置３２はこれに類する構成とすることができる。
In addition, although the eyeglasses type gaze detection apparatus which detects a gaze by imaging a pupil illuminated with a plurality of infrared light sources with a plurality of cameras has been proposed by Toby Technology, Inc., the gaze of this embodiment. The
画像処理部３３は、表示素子５に表示させる映像を画像処理によって生成する処理部であり、例えばＡＳＩＣ（application specific integrated circuit）のような特定の演算処理回路で構成される。上記の画像処理には、通常の画像処理（色補正、拡大／縮小、エッジ強調などの画像処理）のほか、後述する使用者の視線位置を示す指標（マーカー）や、他の端末から入力される撮像画像を個別に、または合成して表示素子５に表示させるための画像処理なども含まれる。
The
通信部３４は、ＨＭＤ２０１と他の情報入出力端末２００との間で情報の入出力を行うためのインターフェースであり、送信回路、受信回路、アンテナなどを含んで構成される。記憶部３５は、例えばフラッシュメモリなどの不揮発性メモリで構成され、他の端末から出力された各種の情報（撮像画像の情報（画像データ）、視線位置を示す情報を含む）や、制御部４０の動作プログラムなどを記憶する。
The
音声入力装置３６は、例えばマイクなどで構成される音声情報の入力装置である。音声入力装置３６に入力された音声情報は、通信部３４を介して他の端末に出力される。音声出力装置３７は、例えばスピーカーやイヤホンなどで構成される音声情報の出力装置である。他の端末から通信部３４を介して入力された音声情報は、音声出力装置３７から出力される。加速度センサ３８は、ＨＭＤ２０１の使用者の姿勢変化を検出するセンサ（検出器）である。加速度センサ３８のタイプとしては、静電容量型、圧電型、抵抗型などがあるが、いずれのタイプであってもよい。
The voice input device 36 is a voice information input device configured by, for example, a microphone. The voice information input to the voice input device 36 is output to another terminal via the
操作部３９は、ＨＭＤ２０１の各種設定や指示（例えば後述する範囲確認用マーカーＦ・Ｆ’（図２８、図２９参照）の表示の拡大／縮小の設定、後述する基準画像の更新指示など）を入力するための入力部である。このような操作部３９は、例えばＨＭＤ２０１の支持部材２０３（図２参照）に取り付けられる入力ボタンで構成されてもよいし、ＨＭＤ２０１と有線接続されるか、無線通信が可能な外付けの入力部で構成されてもよい。なお、操作部３９は、基本的に、ＨＭＤ２０１の各種設定等を行うときのみ、使用者によって操作されるものであり、使用者の作業時にハンズフリー性が損なわれるほどの操作が必要とされるものではない。
The
なお、複数の情報入出力端末２００は、頭部装着型以外の情報入出力端末を含んでいてもよい。例えば、複数の情報入出力端末２００は、室内に設置の表示装置（例えば液晶表示装置や有機ＥＬ（Electro-Luminescence）表示装置）に、上記の視線検出装置３２などを組み合わせた情報入出力端末を含んでいてもよい。
The plurality of information input /
（４．管理サーバーについて）
次に、管理サーバー４００の詳細について説明する。図５は、情報入出力端末２００としての管理サーバー４００の概略の構成を示すブロック図である。管理サーバー４００は、保持部４０１と、領域検出部４０２と、演算部４０３と、通信部４０４と、制御部４０５とを含んで構成されている。制御部４０５は、例えばＣＰＵで構成されており、管理サーバー４００の各部の動作を制御する。このような管理サーバー４００は、例えば汎用のパーソナルコンピュータで構成することができる。
(4. Management server)
Next, details of the
保持部４０１は、例えばハードディスクで構成され、領域検出部４０２および演算部４０３で取得された情報、他の端末から出力された各種の情報（撮像画像の情報（画像データ）、視線位置を示す情報を含む）、制御部４０５の動作プログラムなどを記憶する大容量のメモリである。特に、保持部４０１は、後述する実施例で示すように、ＨＭＤ２０１の使用者（装着者）が静止した状態で、ＨＤＭ２０１での撮影によって事前に取得された静止画の一部を、基準画像として保持する。
The holding
領域検出部４０２は、ＨＭＤ２０１（特に撮像装置３１）での撮影によって動画が取得されたときに、その動画から、上記基準画像に対応する領域を検出するブロックであり、例えばＣＰＵまたはＧＰＵ（Graphics Processing Unit）などの演算処理装置で構成される。なお、制御部４０５が領域検出部４０２の機能を兼ねていてもよい。上記領域の検出は、例えばパターンマッチング処理によって行われる。パターンマッチング処理としては、ＮＣＣ（Normalized Cross Correlation；正規化相互相関係数）、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）などの従来の公知の方法を使用することができる。
The
演算部４０３は、ＨＭＤ２０１に表示するマーカー（後述する）の位置を算出するブロックであり、領域検出部４０２と同様に、例えばＣＰＵまたはＧＰＵなどの演算処理装置で構成される。なお、制御部４０５が演算部４０３の機能を兼ねていてもよい。また、領域検出部４０２および演算部４０３は、制御部４０５とは別個で、一体的に（１つの演算処理装置で）実現されてもよく、制御部４０５とともに一体的に実現されてもよい。
The
通信部４０４は、管理サーバー４００と他の情報入出力端末２００との間で情報の入出力を行うためのインターフェースであり、送信回路、受信回路、アンテナなどを含んで構成される。
The
（５．視線情報共有システムの活用例について）
次に、上記した視線情報共有システム１００の活用例について説明する。なお、ここでは、説明を簡単にするため、２台のＨＭＤ２０１Ａ・２０１Ｂが上述の管理サーバー４００を介さずに、情報を直接やり取りする例について説明する。また、ここでは、作業中に、ＨＭＤ２０１Ａ・２０１Ｂを使用する使用者の移動（すなわち、ＨＭＤ２０１Ａ・２０１Ｂの移動）はないものとする。
(5. Application example of gaze information sharing system)
Next, an application example of the line-of-sight
＜活用例１＞
図６は、作業者ＰＡと指示監督者ＰＢとがそれぞれＨＭＤ２０１Ａ・２０１Ｂを頭部に装着して協働作業を行う様子を模式的に示している。作業者ＰＡおよび指示監督者ＰＢは、それぞれＨＭＤ２０１Ａ・２０１Ｂの使用者である。なお、ＨＭＤ２０１Ａ・２０１Ｂの構成は、上述したＨＭＤ２０１と全く同じである。また、ＨＭＤ２０１Ａ・２０１Ｂに含まれる各構成要素を互いに区別する場合は、例えば映像表示装置２０２Ａ・２０２Ｂのように、各構成要素の符号の後に「Ａ」または「Ｂ」の記号を付す。
<Example 1>
FIG. 6 schematically shows how the worker PA and the instruction supervisor PB wear the
ここでは、例として、テーブルＴ上に載置された対象物であるデバイスＯＢに対して、メンテナンスのためにカバーを外す作業を想定する。また、テーブルＴの周囲三方（作業者ＰＡから見て奥側、左側、右側）は、作り付けの壁Ｗで囲まれており、作業者ＰＡがテーブルＴの前に立ち、デバイスＯＢに対して作業を行う状況では、作業者ＰＡの背後に立つ指示監督者ＰＢからは、デバイスＯＢへの直接のアクセスや視認が困難であるとする。 Here, as an example, with respect to the device OB which is an object placed on the table T, an operation of removing the cover for maintenance is assumed. In addition, the three sides around the table T (the far side, the left side, the right side as viewed from the worker PA) are surrounded by the built-in wall W, and the worker PA stands in front of the table T and works on the device OB In the situation where it does, from direct supervisory supervisor PB who stands behind worker PA, direct access to device OB and visual recognition are difficult.
また、ＨＭＤ２０１Ａ・２０１Ｂは、相互に情報連携が可能なように通信状態下（例えばＷｉ−Ｆｉ（登録商標）によって通信可能な状態）にあり、相互の情報を送受信可能である。このとき、ＨＭＤ２０１Ａ・２０１Ｂ間の通信は、それぞれの制御部４０の制御のもとで、それぞれの通信部３４を介して行われるものとする。
In addition, the
図７は、本実施形態の視線情報共有システム１００における動作の流れの一例を示すフローチャートである。以下、このフローチャートを参照しながら説明する。
FIG. 7 is a flow chart showing an example of the flow of operations in the line-of-sight
まず、作業者ＰＡのＨＭＤ２０１Ａ（第１端末）は、ＨＭＤ２０１Ａの視線カメラである撮像装置３１にて取得される撮像画像の情報を、ＨＭＤ２０１Ａの通信部３４を介して指示監督者ＰＢのＨＭＤ２０１Ｂ（第２端末）に出力する（Ｓ１；第１の工程）。
First, the
図８は、作業者ＰＡの視界のイメージを示している。破線で示した矩形の領域ＩＭ（２０１Ａ）は、作業者ＰＡが装着したＨＭＤ２０１Ａの撮像装置３１の撮像範囲を示している。作業者ＰＡには、デバイスＯＢ、作業者ＰＡの手（右手ＲＨ（ＰＡ）、左手ＬＨ（ＰＡ））、作業者ＰＡの手に持たれた工具（ドライバＤＲ（ＰＡ））が見えており、作業者ＰＡの前方の視界がＨＭＤ２０１Ａの撮像装置３１によって撮像されている。ＨＭＤ２０１Ａは、このような作業者ＰＡの視点から見た撮像装置３１の撮像画像の情報（画像データ）を、ＨＭＤ２０１Ｂに出力する。
FIG. 8 shows an image of the field of view of the worker PA. A rectangular area IM (201A) indicated by a broken line indicates the imaging range of the
続いて、ＨＭＤ２０１Ｂは、映像表示装置２０２Ｂにより、ＨＭＤ２０１Ａから入力された撮像画像の情報に基づいて、上記撮像画像を指示監督者ＰＢに視認可能に表示する（Ｓ２；第２の工程）。
Subsequently, the
図９は、指示監督者ＰＢのＨＭＤ２０１Ｂの映像表示装置２０２Ｂによって表示された映像（虚像）Ｖ（２０２Ｂ）を、指示監督者ＰＢが観察している様子を示している。指示監督者ＰＢは、図６で示したように、デバイスＯＢに向かって実作業をしている作業者ＰＡの背後に立っているため、上述のように、実際の作業者ＰＡの作業やデバイスＯＢを直接観察することが困難である。しかし、ＨＭＤ２０１Ａで撮像され、ＨＭＤ２０１Ｂに送信されて表示された映像Ｖ（２０２Ｂ）を指示監督者ＰＢが観察することにより、指示監督者ＰＢは作業者ＰＡの実際の作業を確認することができる。
FIG. 9 shows that the instruction supervisor PB is observing the video (virtual image) V (202B) displayed by the
次に、映像表示装置２０２Ｂによって表示された撮像画像（映像Ｖ（２０２Ｂ））に対する指示監督者ＰＢの視線方向を、ＨＭＤ２０１Ｂの視線検出装置３２によって検出する（Ｓ３；第３の工程）。
Next, the gaze
視線検出装置３２は、図２で示したように、映像表示装置２０２（接眼光学系６）に取り付けられており、映像表示装置２０２に対する相対位置が固定されている。このため、ＨＭＤ２０１Ｂの視線検出装置３２は、映像表示装置２０２Ｂにて表示された映像Ｖ（２０２Ｂ）のどの部分を指示監督者ＰＢが見ているのかを検出することができる。
The visual
次に、ＨＭＤ２０１Ｂは、上記視線検出装置３２によって検出された指示監督者ＰＢの視線方向に関する視線情報を、ＨＭＤ２０１Ｂの通信部３４を介してＨＭＤ２０１Ａに出力する（Ｓ４；第４の工程）。そして、ＨＭＤ２０１Ａは、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｂから入力された視線情報に基づいて、指示監督者ＰＢの視線の位置を、ＨＭＤ２０１Ａによる映像の表示領域内で対応する位置に、作業者ＰＡに視認可能に表示する（Ｓ５；第５の工程）。
Next, the
作業者ＰＡのＨＭＤ２０１Ａでは、撮像装置３１は映像表示装置２０２に対して相対位置が固定されており、指示監督者ＰＢのＨＭＤ２０１Ｂで表示された撮像画像（映像Ｖ（２０２Ｂ））は、元々作業者ＰＡのＨＭＤ２０１Ａで取得された撮像画像である。このため、ＨＭＤ２０１Ｂで表示された撮像画像に対する指示監督者ＰＢの注視点（指示監督者ＰＢの視線方向の先にある点）は、作業者ＰＡのＨＭＤ２０１Ａにおいて、撮像装置３１と相対位置が既知である映像表示装置２０２Ａの映像（虚像）の表示領域全体における任意の位置と対応関係を持つ。したがって、作業者ＰＡのＨＭＤ２０１Ａにて、指示監督者ＰＢの視線の位置を、映像表示装置２０２Ａの表示領域内の所定の位置（指示監督者ＰＢの注視点と対応する位置）に即座に表示することが可能となる。
In the
図１０は、作業者ＰＡがＨＭＤ２０１Ａを介して外界を見ているときの、作業者ＰＡの視界のイメージを示す。ＨＭＤ２０１Ａでは、指示監督者ＰＢの視線の位置を示すマーカーＭＢを表示することにより、指示監督者ＰＢがデバイスＯＢのどの部分を見ているかを作業者ＰＡに提示することができる。作業者ＰＡは、表示されたマーカーＭＢ（指示監督者ＰＢの視線の位置）を見て、マーカーＭＢが示すネジを緩める作業を行うことができる。このように、指示監督者ＰＢの視線の位置をＨＭＤ２０１Ａにて表示することで、作業者ＰＡと指示監督者ＰＢとで視線に基づく意思疎通を行うことができ、作業を的確かつ効率よく行うことが可能となる。
FIG. 10 shows an image of the field of view of the worker PA when the worker PA looks at the outside through the
このとき、作業者ＰＡおよび指示監督者ＰＢは隣接しているため（図６参照）、例えば指示監督者ＰＢは、「このネジを緩めろ！」などの音声を発するようにしてもよい。これにより、作業者ＰＡは、ＨＭＤ２０１Ａで表示されたマーカーＭＢを見ながら、「このネジを緩めればよい」ということを容易に認識することができる。つまり、指示監督者ＰＢは、視線と音声とにより、正確な指示を作業者ＰＡに与えることができ、この指示に基づいて作業者ＰＡは作業を正確に行うことができる。
At this time, since the worker PA and the instruction supervisor PB are adjacent to each other (see FIG. 6), for example, the instruction supervisor PB may emit a voice such as “Loose this screw!”. As a result, the worker PA can easily recognize that "this screw should be loosened" while looking at the marker MB displayed on the
以上のように、本実施形態では、作業者ＰＡのＨＭＤ２０１Ａの視界を示す撮像画像を指示監督者ＰＢのＨＭＤ２０１Ｂに出力し、ＨＭＤ２０１Ｂにてその撮像画像を表示し、その撮像画像に対する指示監督者ＰＢの視線を検出してその視線情報をＨＭＤ２０１Ａに出力する。これにより、ＨＭＤ２０１Ａは、撮像画像に対する指示監督者ＰＢの視線の位置とＨＭＤ２０１Ａの表示映像で対応する位置に、指示監督者ＰＢの視線の位置をマーカーＭＢで即座に表示することができる。したがって、複数のＨＭＤ２０１Ａ・２０１Ｂを用いた協働作業において、作業者ＰＡおよび指示監督者ＰＢの相互の空間位置の把握や、視線情報の変換（位置座標の変換）などの複雑な処理を必要とすることなく、簡便な方法で、視線に基づく意思疎通を行うことが可能となる。
As described above, in the present embodiment, the captured image indicating the field of vision of the
また、指示監督者ＰＢがデバイスＯＢを直接視認できない状況であっても、指示監督者ＰＢは、作業者ＰＡのＨＭＤ２０１Ａから出力された撮像画像（表示された映像Ｖ（２０２Ｂ））に基づいてデバイスＯＢを把握することができる。このため、撮像画像に対する指示監督者ＰＢの視線情報を作業者ＰＡのＨＭＤ２０１Ａに出力し、ＨＭＤ２０１Ａにて指示監督者ＰＢの視線の位置を表示させることにより、作業者ＰＡは、表示された視線位置に基づいてデバイスＯＢに対して的確に作業を行うことが可能となる。つまり、指示監督者ＰＢがデバイスＯＢを視認できないような状況であっても、視線に基づく的確な意思疎通および作業が可能となる。
In addition, even in a situation where the instruction supervisor PB can not directly view the device OB, the instruction supervisor PB is a device based on the captured image (displayed video V (202 B)) output from the
図１１は、上記の視線情報共有システム１００における動作の流れの他の例を示すフローチャートである。ＨＭＤ２０１Ａは、作業者ＰＡ自身の視線方向を、ＨＭＤ２０１Ａの視線検出装置３２によって検出してよい（Ｓ６；第６の工程）。そして、上記したＳ５の工程では、ＨＭＤ２０１Ａにて、指示監督者ＰＢの視線の位置と合わせて、Ｓ６での検出結果に基づく作業者ＰＡの視線の位置を表示してもよい。
FIG. 11 is a flowchart showing another example of the flow of the operation in the gaze
図１２は、ＨＭＤ２０１Ａにて、作業者ＰＡおよび指示監督者ＰＢの両者の視線の位置が表示されたときの、作業者ＰＡの視界のイメージを示している。図１２では、作業者ＰＡの視線の位置をマーカーＭＡで示し、指示監督者ＰＢの視線の位置をマーカーＭＢで示している。ただし、マーカーＭＡ・ＭＢを互いに区別するために、ここでは、マーカーＭＡ・ＭＢの形状を互いに異ならせている。より具体的には、自己（作業者ＰＡ）の視線を示すマーカーＭＡを四角形で表示し、他者（指示監督者ＰＢ）の視線を示すマーカーＭＢを円形で表示している。なお、マーカーＭＡ・ＭＢの表示方法はこれに限定されず、例えば互いに色を異ならせたり、互いに線種（実線、破線など）を異ならせたり、「指示監督者」、「作業者」などの文字をマーカーに並記したり、形状、線種、色、文字のいずれかを組み合わせるなどにより、マーカーＭＡ・ＭＢを互いに区別して表示してもよい。
FIG. 12 shows an image of the field of view of the worker PA when the positions of the eyes of the worker PA and the instruction supervisor PB are displayed in the
このように、作業者ＰＡのＨＭＤ２０１Ａにおいて、指示監督者ＰＢの視線の位置（マーカーＭＢ）と合わせて、作業者ＰＡの視線の位置（マーカーＭＡ）を表示することにより、作業者ＰＡは、デバイスＯＢに対して自分が見ている箇所（作業を行おうとする箇所）と指示監督者ＰＢが見ている箇所（作業を指示する箇所）とを同時に把握して、これらの一致／不一致を即座に把握することができる。そして、不一致の場合、作業者ＰＡは、音声を発して確認するなど、適切な措置をとることが可能となる。したがって、作業者ＰＡは、指示監督者ＰＢとの間で、意思疎通をより正確に行うことが可能となる。
In this manner, the worker PA displays the position of the sight line of the worker PA (marker MA) in combination with the position of the sight line of the instruction supervisor PB (marker MB) in the
図１３は、上記の視線情報共有システム１００における動作の流れのさらに他の例を示すフローチャートである。ＨＭＤ２０１Ａは、Ｓ６の工程で検出した作業者ＰＡの視線情報を、指示監督者ＰＢのＨＭＤ２０１Ｂに出力してもよい（Ｓ７；第７の工程）。そして、ＨＭＤ２０１Ｂでは、ＨＭＤ２０１Ａから出力された撮像画像に、Ｓ７の工程で取得された作業者ＰＡの視線の位置と、Ｓ３の工程での検出結果に基づく指示監督者ＰＢの視線の位置とを合わせて表示してもよい（Ｓ８；第８の工程）。
FIG. 13 is a flowchart showing still another example of the flow of the operation in the above-described line-of-sight
図１４は、ＨＭＤ２０１Ｂにて、作業者ＰＡおよび指示監督者ＰＢの両者の視線の位置が表示されたときの、指示監督者ＰＢの視界のイメージを示している。なお、図１４では、自己（指示監督者ＰＢ）の視線を示すマーカーＭＢを四角形で表示し、他者（作業者ＰＡ）の視線を示すマーカーＭＢを円形で表示している。図１２と図１４とでは、映像を見る主体が作業者ＰＡと指示監督者ＰＢとで異なるため、例えば同じ作業者ＰＡの視線位置を示すマーカーＭＡであっても、その形状は図１２と図１４とで異なっている。しかし、映像を見る主体に対応するマーカーを四角形で表示し、他者のマーカーを円形で表示している点では、図１２と図１４とは共通している。
FIG. 14 shows an image of the visual field of the directing supervisor PB when the positions of the eyes of the worker PA and the directing supervisor PB are displayed in the
このように、指示監督者ＰＢのＨＭＤ２０１Ｂにおいて、作業者ＰＡのＨＭＤ２０１Ａから出力される撮像画像に、作業者ＰＡの視線の位置（マーカーＭＡ）と、指示監督者ＰＢの視線の位置（マーカーＭＢ）とを合わせて表示することにより、指示監督者ＰＢは、デバイスＯＢに対して自分が見ている箇所（作業を指示したい箇所）と作業者ＰＡが見ている箇所（作業を行おうとする箇所）とを同時に把握して、これらの一致／不一致を即座に把握することができる。そして、不一致の場合、指示監督者ＰＢは、音声を発して指示を追加するなど、適切な措置をとることが可能となる。したがって、指示監督者ＰＢは、作業者ＰＡとの間で意思疎通をより正確に行うことが可能となる。また、指示監督者ＰＢは、マーカーＭＢを見て、デバイスＯＢに対して作業を指定したい箇所を自身で確認しながら、作業者ＰＡに対して視線による指示を正確に出すことができる。
Thus, in the
また、図１２に示すように、作業者ＰＡのＨＭＤ２０１Ａにおいて、作業者ＰＡの視線の位置と、指示監督者ＰＢの視線の位置とは、異なるパターン（マーカーＭＡ・ＭＢ）で表示される。同様に、図１４に示すように、指示監督者ＰＢのＨＭＤ２０１Ｂにおいても、作業者ＰＡの視線の位置と、指示監督者ＰＢの視線の位置とは、異なるパターン（マーカーＭＡ・ＭＢ）で表示される。このような表示により、作業者ＰＡおよび指示監督者ＰＢは、それぞれのＨＭＤ２１０Ａ・２０１Ｂにおいて、相互の視線位置を容易に区別して把握することができ、これによって迅速な意思疎通が可能となる。
Further, as shown in FIG. 12, in the
なお、以上では、指示監督者ＰＢのＨＭＤ２０１Ｂは、光学シースルー型の映像表示装置２０２を用いて構成されているが、指示監督者ＰＢは作業者ＰＡの背後に立ち、デバイスＯＢを直接視認することが困難であるため、光学的にシースルーである必要はない。したがって、ＨＭＤ２０１Ｂは、ビデオシースルー型の映像表示装置２０２を用いて構成されていてもよい。ビデオシースルー型の映像表示装置２０２は、遮蔽型ディスプレイを用い、撮像装置３１によって撮像される外界の像（撮像画像）を映像と一体的に使用者に視認可能に表示する表示装置である。上記の遮蔽型ディスプレイは、上述した接眼光学系６の外界側に遮蔽板を配置することによって実現できる。
In the above, the
以上では、図６で示したように、作業者ＰＡおよび指示監督者ＰＢが近距離に位置している場合を想定したが、図１５に示すように、作業者ＰＡおよび指示監督者ＰＢが遠距離に位置していてもよい。例えば、指示監督者ＰＢから数百キロ離れた場所で作業者ＰＡが作業を行う場合でも、本実施形態のシステムを適用して作業者ＰＡが指示監督者ＰＢから視線情報に基づく指示を、通信回線３００（図１参照）を介して受けることにより、本実施形態と同様の効果を得ることができる。 In the above, as shown in FIG. 6, it is assumed that worker PA and designated supervisor PB are located at a short distance, but as shown in FIG. 15, worker PA and designated supervisor PB are far from each other. It may be located at a distance. For example, even when the worker PA works at a place several hundred kilometers away from the command supervisor PB, the system of the present embodiment is applied and the worker PA communicates commands based on line-of-sight information from the command supervisor PB By receiving via the line 300 (see FIG. 1), the same effect as that of the present embodiment can be obtained.
このとき、ＨＭＤ２０１Ａ・２０１Ｂ間で、図４で示した音声入力装置３６および音声出力装置３７により、「これ」、「あれ」、「このネジを緩めろ！」、「了解しました！」などの音声情報が入出力されてもよい。この場合、指示監督者ＰＢの視線情報に加えて、音声情報を用いた意思疎通が可能となるため、意思疎通がさらに簡便となる。また、視線情報の内容を音声情報で補足できるため、意思疎通の精度もさらに向上する。
At this time, between the
以上では、撮像画像の出力が、ＨＭＤ２０１ＡからＨＭＤ２０１Ｂへの一方向である場合について説明したが、双方向である場合も、本実施形態の構成を適用して同様の効果を得ることができる。以下、その具体例について、活用例２として説明する。
Although the case where the output of the captured image is one direction from the
＜活用例２＞
図１６は、作業者ＰＡと作業者ＰＣとがそれぞれＨＭＤ２０１Ａ・２０１Ｃを頭部に装着して協働作業を行う様子を模式的に示している。作業者ＰＡおよび作業者ＰＣは、それぞれＨＭＤ２０１Ａ・２０１Ｃの使用者である。なお、ＨＭＤ２０１Ａ・２０１Ｃの構成は、活用例１で説明したＨＭＤ２０１（図２〜図４等参照）と全く同じである。また、ＨＭＤ２０１Ａ・２０１Ｃに含まれる各構成要素を互いに区別する場合は、例えば映像表示装置２０２Ａ・２０２Ｃのように、各構成要素の符号の後に「Ａ」または「Ｃ」の記号を付す。
<Example 2 of application>
FIG. 16 schematically shows how the worker PA and the worker PC wear the
ここでは、例として、工作室の中央のテーブルＴ上に、対象物であるデバイスＯＢが載置されており、このデバイスＯＢに対して、複数の作業者である作業者ＰＡおよび作業者ＰＣがメンテナンスを実行する場合を想定する。 Here, as an example, a device OB which is an object is placed on a table T at the center of the work room, and for this device OB, workers PA and workers PC who are a plurality of workers are Assume that maintenance is to be performed.
また、ＨＭＤ２０１Ａ・２０１Ｃは、相互に情報連携が可能なように通信状態下（例えばＷｉ−Ｆｉ（登録商標）によって通信可能な状態）にあり、相互の情報を送受信可能である。このとき、ＨＭＤ２０１Ａ・２０１Ｃ間の通信は、それぞれの制御部４０の制御のもとで、それぞれの通信部３４を介して行われるものとする。
Further, the
活用例２では、図７で示したＳ１〜Ｓ５の工程を、作業者ＰＡのＨＭＤ２０１Ａと作業者ＰＣのＨＭＤ２０１Ｃとの間で相互に行う。以下、より具体的に説明する。
In Utilization Example 2, the steps S1 to S5 shown in FIG. 7 are performed mutually between the
《撮像画像の情報の出力》
一の情報入出力端末であるＨＭＤ２０１Ａは、ＨＭＤ２０１Ａの撮像装置３１にて取得される撮像画像の情報を、他の情報入出力端末であるＨＭＤ２０１Ｃに出力する。同様に、ＨＭＤ２０１Ｃは、ＨＭＤ２０１Ｃの撮像装置３１にて取得される撮像画像の情報を、ＨＭＤ２０１Ａに出力する。
<< Output of information of captured image >>
The
図１７は、作業者ＰＡの視界のイメージを示している。破線で示した矩形の領域ＩＭ（２０１Ａ）は、作業者ＰＡが装着したＨＭＤ２０１Ａの撮像装置３１の撮像範囲を示している。作業者ＰＡには、デバイスＯＢ、作業者ＰＡの手（右手ＲＨ（ＰＡ）、左手ＬＨ（ＰＡ））、作業者ＰＡの手に持たれた工具（ドライバＤＲ（ＰＡ））、作業者ＰＣの手（右手ＲＨ（ＰＣ）、左手ＬＨ（ＰＣ））が見えており、作業者ＰＡの視界がＨＭＤ２０１Ａの撮像装置３１によって撮像されている。ＨＭＤ２０１Ａは、このような作業者ＰＡの視点から見た撮像装置３１の撮像画像の情報（画像データ）を、ＨＭＤ２０１Ａの通信部３４を介してＨＭＤ２０１Ｃに出力する。
FIG. 17 shows an image of the field of view of the worker PA. A rectangular area IM (201A) indicated by a broken line indicates the imaging range of the
一方、図１８は、作業者ＰＣの視界のイメージを示している。破線で示した矩形の領域ＩＭ（２０１Ｃ）は、作業者ＰＣが装着したＨＭＤ２０１Ｃの撮像装置３１の撮像範囲を示している。作業者ＰＣには、デバイスＯＢ、作業者ＰＡの手（右手ＲＨ（ＰＡ）、左手ＬＨ（ＰＡ））、作業者ＰＡの手に持たれた工具（ドライバＤＲ（ＰＡ））、作業者ＰＣの手（右手ＲＨ（ＰＣ）、左手ＬＨ（ＰＣ））が見えており、作業者ＰＣの視界がＨＭＤ２０１Ｃの撮像装置３１によって撮像されている。ＨＭＤ２０１Ｃは、このような作業者ＰＣの視点から見た撮像装置３１の撮像画像の情報（画像データ）を、ＨＭＤ２０１Ｃの通信部３４を介してＨＭＤ２０１Ａに出力する。
On the other hand, FIG. 18 shows an image of the field of view of the worker PC. A rectangular area IM (201C) indicated by a broken line indicates the imaging range of the
《撮像画像の表示》
ＨＭＤ２０１Ｃは、映像表示装置２０２Ｃにより、ＨＭＤ２０１Ａから入力された撮像画像の情報に基づいて、上記撮像画像をＨＭＤ２０１Ｃの作業者ＰＣに視認可能に表示する。同様に、ＨＭＤ２０１Ａは、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃから入力された撮像画像の情報に基づいて、上記撮像画像をＨＭＤ２０１Ａの作業者ＰＡに視認可能に表示する。
<< Display of captured image >>
The
図１９は、作業者ＰＣのＨＭＤ２０１Ｃで撮像されて出力された画像（視界画像）を、作業者ＰＡのＨＭＤ２０１Ａの映像表示装置２０２Ａにて、映像（虚像）Ｖ（２０２Ａ）として表示したときの作業者ＰＡの視界を示している。また、図２０は、作業者ＰＡのＨＭＤ２０１Ａで撮像されて出力された画像（視界画像）を、作業者ＰＣのＨＭＤ２０１Ｃの映像表示装置２０２Ｃにて、映像（虚像）Ｖ（２０２Ｃ）として表示したときの作業者ＰＣの視界を示している。このように、ＨＭＤ２０１Ａ・２０１Ｃでは、各々の撮像装置３１で撮像された視界画像を相互に入出力し、入力された視界画像を映像（虚像）として表示する。これにより、作業者ＰＡは、自身が装着しているＨＭＤ２０１Ａにて、作業者ＰＣの視界画像を観察することができ、また、作業者ＰＣは、自身が装着しているＨＭＤ２０１Ｃにて、作業者ＰＡの視界画像を観察することができる。
FIG. 19 shows an operation when an image (visual field image) captured and output by the
特に、図１９で示したように、デバイスＯＢ、作業者ＰＡの手、ドライバＤＲ（ＰＡ）、作業者ＰＣの手は、作業者ＰＡの実際の視界内のリアルな物体である。また、図２０で示したように、デバイスＯＢ、作業者ＰＡの手、ドライバＤＲ（ＰＡ）、作業者ＰＣの手も、作業者ＰＣの実際の視界内のリアルな物体である。このような視界画像をＨＭＤ２０１Ａ・２０１Ｃの相互間で入出力して表示することにより、作業者ＰＡおよび作業者ＰＣは、各々の視界（視線方向の視野）を相互に共有して、各々の視界内のリアルな物体を視認することができる。
In particular, as shown in FIG. 19, the device OB, the hand of the worker PA, the driver DR (PA), and the hand of the worker PC are realistic objects within the actual view of the worker PA. Further, as shown in FIG. 20, the device OB, the hand of the worker PA, the driver DR (PA), and the hand of the worker PC are also realistic objects within the actual view of the worker PC. By displaying and outputting such visibility images between the
なお、ＨＭＤ２０１Ａで表示される映像Ｖ（２０２Ａ）は、映像表示装置２０２Ａによって虚像として表示可能な領域の一部であって、上記領域の中央以外に表示される（表示素子５では、表示素子５の表示面の一部であって、上記表示面の中央以外に映像が表示される）。作業者ＰＡがデバイスＯＢに対して作業を行うとき、作業者ＰＡは視界の中央にデバイスＯＢを位置させて作業を行うのが通常と考えられる。したがって、作業者ＰＡの作業時に、映像Ｖ（２０２Ａ）とデバイスＯＢとが重なって視認されて、デバイスＯＢに対する作業性が低下する（作業がしにくくなる）のを回避することができる。同様の観点から、ＨＭＤ２０１Ｃで表示される映像Ｖ（２０２Ｃ）も、映像表示装置２０２Ｃによって虚像として表示可能な領域の一部であって、上記領域の中央以外に表示される。
The video V (202A) displayed by the
《撮像画像に対する視線方向の検出》
ＨＭＤ２０２Ｃは、映像表示装置２０２Ｃによって表示された撮像画像（映像Ｖ（２０２Ｃ））に対する作業者ＰＣの視線方向を、ＨＭＤ２０２Ｃの視線検出装置３２によって検出する。同様に、ＨＭＤ２０２Ａは、映像表示装置２０２Ａによって表示された撮像画像（映像Ｖ（２０２Ａ））に対する作業者ＰＡの視線方向を、ＨＭＤ２０２Ａの視線検出装置３２によって検出する。
<< Detection of gaze direction for captured image >>
The
視線検出装置３２は、図２で示したように、映像表示装置２０２（接眼光学系６）に取り付けられており、映像表示装置２０２に対する相対位置が固定されている。このため、ＨＭＤ２０１Ｃの視線検出装置３２は、映像表示装置２０２Ｃにて表示された映像Ｖ（２０２Ｃ）のどの部分を作業者ＰＣが見ているのかを検出することができる。同様に、ＨＭＤ２０１Ａの視線検出装置３２は、映像表示装置２０２Ａにて表示された映像Ｖ（２０２Ａ）のどの部分を作業者ＰＡが見ているのかを検出することができる。
The visual
《視線情報の出力、視線の位置の表示》
ＨＭＤ２０１Ｃは、検出した作業者ＰＣの視線方向に関する視線情報を、ＨＭＤ２０１Ｃの通信部３４を介してＨＭＤ２０１Ａに出力する。そして、ＨＭＤ２０１Ａは、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃから入力された視線情報に基づいて、作業者ＰＣの視線の位置を、作業者ＰＡに視認可能に表示する。同様に、ＨＭＤ２０１Ａは、検出した作業者ＰＡの視線方向に関する視線情報を、ＨＭＤ２０１Ａの通信部３４を介してＨＭＤ２０１Ｃに出力する。そして、ＨＭＤ２０１Ｃは、映像表示装置２０２Ｃにより、ＨＭＤ２０１Ａから入力された視線情報に基づいて、作業者ＰＡの視線の位置を、作業者ＰＣに視認可能に表示する。
Output of eye gaze information, display of eye gaze position
The
作業者ＰＡのＨＭＤ２０１Ａでは、撮像装置３１は映像表示装置２０２に対して相対位置が固定されており、作業者ＰＣのＨＭＤ２０１Ｃで表示された撮像画像（映像Ｖ（２０２Ｃ））は、元々作業者ＰＡのＨＭＤ２０１Ａで取得された撮像画像である。このため、ＨＭＤ２０１Ｃで表示されたＨＭＤ２０１Ａの撮像画像に対する作業者ＰＣの注視点（作業者ＰＣの視線方向の先にある点）は、作業者ＰＡのＨＭＤ２０１Ａにおいて、撮像装置３１と相対位置が既知である映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲とほぼ等しい）における任意の位置と対応関係を持つ。したがって、作業者ＰＡのＨＭＤ２０１Ａにて、作業者ＰＣの視線の位置を、映像表示装置２０２Ａの表示領域内の所定の位置（作業者ＰＣの注視点と対応する位置）に即座に表示することが可能となる。
In the
同様に、作業者ＰＣのＨＭＤ２０１Ｃでは、撮像装置３１は映像表示装置２０２に対して相対位置が固定されており、作業者ＰＡのＨＭＤ２０１Ａで表示された撮像画像（映像Ｖ（２０２Ａ））は、元々作業者ＰＣのＨＭＤ２０１Ｃで取得された撮像画像である。このため、ＨＭＤ２０１Ａで表示された撮像画像に対する作業者ＰＡの注視点（作業者ＰＡの視線方向の先にある点）は、作業者ＰＣのＨＭＤ２０１Ｃにおいて、撮像装置３１と相対位置が既知である映像表示装置２０２Ｃの表示領域全体（作業者ＰＣの視界範囲とほぼ等しい）における任意の位置と対応関係を持つ。したがって、作業者ＰＣのＨＭＤ２０１Ｃにて、作業者ＰＡの視線の位置を、映像表示装置２０２Ｃの表示領域内の所定の位置（作業者ＰＡの注視点と対応する位置）に即座に表示することが可能となる。
Similarly, in the
図２１は、作業者ＰＡがＨＭＤ２０１Ａを介して外界を見ているときの、作業者ＰＡの視界のイメージを示す。ＨＭＤ２０１Ａでは、作業者ＰＣの視線の位置を示すマーカーＭＣを表示することにより、作業者ＰＣがデバイスＯＢのどの部分を見ているかを作業者ＰＡに提示することができる。また、図２２は、作業者ＰＣがＨＭＤ２０１Ｃを介して外界を見ているときの、作業者ＰＣの視界のイメージを示す。ＨＭＤ２０１Ｃでは、作業者ＰＡの視線の位置を示すマーカーＭＡを表示することにより、作業者ＰＡがデバイスＯＢのどの部分を見ているかを作業者ＰＣに提示することができる。
FIG. 21 shows an image of the field of view of the worker PA when the worker PA is looking at the outside through the
このとき、作業者ＰＡおよび作業者ＰＣは隣接しているため（図１６参照）、例えば作業者ＰＣがデバイスＯＢの筐体を両手で支えているなど、作業者ＰＣの手がふさがっている場合に、意図するデバイスＯＢの部分を注視しながら、「このネジを緩めろ！」などの音声を発するようにしてもよい。これにより、作業者ＰＡは、ＨＭＤ２０１Ａで表示されたマーカーＭＣ（図２１参照）を見ながら、「このネジを緩めればよい」ということを容易に認識して、作業を正確に行うことができる。また、作業者ＰＣは、視線と音声とにより、手作業を損なわず正確に、指示を作業者ＰＡに伝達することができる。以下、視線と音声とによる作業者ＰＡおよび作業者ＰＣの協働作業の具体例について説明する。
At this time, since the worker PA and the worker PC are adjacent to each other (see FIG. 16), for example, when the worker PC holds the case of the device OB with both hands, the hand of the worker PC is closed It is also possible to emit an audio such as "Loose this screw!" While gazing at a portion of the intended device OB. As a result, the worker PA can easily recognize that "this screw should be loosened" while looking at the marker MC (see FIG. 21) displayed on the
なお、図２１および図２２において、マーカーＭＡ・ＭＣの近傍に付した（１）〜（４）の番号は、マーカーの表示順序を示す。また、ここでは、マーカーＭＡ・ＭＣを互いに区別するため、自機で表示される自分の視線位置を示すマーカーを四角形で表し、自機で表示される他の作業者の視線位置を示すマーカーを円形で表す。 In FIGS. 21 and 22, the numbers (1) to (4) attached near the markers MA and MC indicate the display order of the markers. Here, in order to distinguish the markers MA and MC from each other, the marker indicating the own eye position displayed on the own machine is represented by a square, and the marker indicating the eye position of another worker displayed on the own machine Represent in a circle.
まず、作業者ＰＡのＨＭＤ２０１Ａから出力された撮像画像が、ＨＭＤ２０１Ｃの映像表示装置２０２Ｃにて映像Ｖ（２０２Ｃ）として表示されると、作業者ＰＣは、その映像Ｖ（２０２Ｃ）中で、緩める対象となるネジを見ながら、「このネジを緩めろ！」という音声指示を出す。映像Ｖ（２０２Ｃ）に対する作業者ＰＣの視線方向は、ＨＭＤ２０１Ｃの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｃにより、映像Ｖ（２０２Ｃ）において、ＨＭＤ２０１Ａの撮像画像と合わせて、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２２の（１）参照）。これにより、どのネジを緩めるべきかが明確に同定される。
First, when the captured image output from the
次に、ＨＭＤ２０１Ｃで検出された作業者ＰＣの視線位置を示す視線情報、およびＨＭＤ２０１Ｃで取得された撮像画像の情報が、ＨＭＤ２０１Ａに出力される。そして、ＨＭＤ２０１Ａの映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲に対応）における、上記の映像Ｖ（２０２Ｃ）に対する作業者ＰＣの注視点と対応する位置に、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２１の（２）参照）。また、ＨＭＤ２０１Ｃで取得された撮像画像が、ＨＭＤ２０１Ａの映像表示装置２０２Ａにより、映像Ｖ（２０２Ａ）として表示される。
Next, line-of-sight information indicating the line-of-sight position of the worker PC detected by the
作業者ＰＡは、自身のＨＭＤ２０１Ａで表示されたマーカーＭＣを視認することで、作業者ＰＣが指示するネジ（緩める対象となるネジ）を把握し、そのネジを緩める作業を行うことになる。このとき、例えば、緩める対象となるネジが止められている筐体カバーを安全のために保持してほしいなど、作業者ＰＣに対して補助を要求したい場合には、作業者ＰＡは、映像Ｖ（２０２Ａ）中で、保持してほしい箇所を見ながら、「このカバーを支えてください！」という要求を音声で発する。映像Ｖ（２０２Ａ）に対する作業者ＰＡの視線方向は、ＨＭＤ２０１Ａの視線検出装置３２によって検出される。そして、映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃの撮像画像と合わせて、作業者ＰＡの視線位置を示すマーカーＭＡが映像Ｖ（２０２Ａ）として表示される（図２１の（３）参照）。これにより、作業者ＰＡがどのカバーを支えて欲しいのかが明確に同定される。
By visually recognizing the marker MC displayed by the
その後、ＨＭＤ２０１Ａで検出された作業者ＰＡの視線位置を示す視線情報が、ＨＭＤ２０１Ｃに出力される。そして、ＨＭＤ２０１Ｃの映像表示装置２０２Ｃの映像の表示領域全体（作業者ＰＣの視界範囲に対応）における、上記の映像Ｖ（２０２Ａ）に対する作業者ＰＡの注視点と対応する位置に、作業者ＰＡの視線位置を示すマーカーＭＡが表示される（図２２の（４）参照）。これにより、作業者ＰＣは、マーカーＭＡを見て、支えるべきカバーを即座に把握し、作業者ＰＡの作業を的確に補助することができる。
Thereafter, line-of-sight information indicating the line-of-sight position of the worker PA detected by the
以上のように、撮像画像の情報の出力、撮像画像の表示、撮像画像に対する視線方向の検出、視線情報の出力、視線の位置の表示、の各工程を、ＨＭＤ２０１Ａ・２０１Ｃの相互間で行うことにより、各々のＨＭＤ２０１Ａ・２０１Ｃで作業者ＰＡおよび作業者ＰＣの視線情報を相互に共有して、協働作業を行うことができる。また、「これ」、「あれ」という場所や対象物があいまいな音声指示を、視線位置を示すマーカーＭＡ・ＭＣを用いて視覚的に示すことで、手作業を損なうことなく、意思疎通が良好で、効率的な協働作業を行うことが可能となる。特に、複数のＨＭＤ２０１Ａ・２０１Ｃ間で視線情報を共有することにより、ＨＭＤに特有のハンズフリー性を活かした協働作業が可能となる。また、視線情報に加えて音声情報を用いることにより、より正確な意思疎通が可能となる。
As described above, the processes of outputting captured image information, displaying a captured image, detecting a gaze direction with respect to a captured image, outputting gaze information, displaying a position of gaze are performed between the
＜活用例３＞
上述の活用例２では、作業者ＰＡと作業者ＰＣの２人で連携して作業を行う例について説明したが、活用例３では、３人で連携して作業を行う場合について説明する。ここでは、活用例２のシステムにおいて、作業者ＰＡおよび作業者ＰＣに、遠方の離れた場所にいる指示監督者ＰＤが加わって作業（作業の指示および支援を含む）を行う例について説明する。
<Example 3 of application>
In the above-described utilization example 2, an example in which the worker PA and the worker PC work in cooperation with each other has been described, but in utilization example 3, a case in which three persons cooperate with each other will be described. Here, in the system of utilization example 2, an example will be described in which the instruction supervisor PD at a distant place is added to the worker PA and the worker PC to perform work (including work instruction and support).
図２３は、作業者ＰＡおよび作業者ＰＣがそれぞれＨＭＤ２０１Ａ・２０１Ｃを頭部に装着し、遠方の指示監督者ＰＤがＨＭＤ２０１Ｄを装着し、ＨＭＤ２０１Ａ・２０１ＣからＨＭＤ２０１Ｄに送られて表示された映像を、指示監督者ＰＤが観察している様子を模式的に示している。作業者ＰＡおよび作業者ＰＣは、それぞれＨＭＤ２０１Ａ・２０１Ｃの使用者であり、指示監督者ＰＤは、ＨＭＤ２０１Ｄの使用者である。ＨＭＤ２０１Ｄは、通信回線３００（図１参照）を介して、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｃと通信可能な情報入出力端末である。なお、ＨＭＤ２０１Ａ・２０１Ｃ・２０１Ｄの構成は、前述のＨＭＤ２０１（図２〜図４等参照）と全く同じである。以下での説明において、ＨＭＤ２０１Ａ・２０１Ｃ・２０１Ｄに含まれる各構成要素を互いに区別する場合は、例えば映像表示装置２０２Ａ・２０２Ｃ・２０２Ｄのように、各構成要素の符号の後に「Ａ」、「Ｃ」または「Ｄ」の記号を付す。
In FIG. 23, the worker PA and the worker PC respectively wear the
ＨＭＤ２０１ＡとＨＭＤ２０１Ｃとの間での情報の入出力は、活用例２と同様である。以下、ＨＭＤ２０１ＡとＨＭＤ２０１Ｄとの間、およびＨＭＤ２０１ＣとＨＭＤ２０１Ｄとの間での情報の入出力について説明する。
The input / output of information between the
まず、ＨＭＤ２０１Ａ・２０１Ｃにて取得された撮像画像の情報は、それぞれの通信部３４を介してＨＭＤ２０１Ｄに出力される。そして、ＨＭＤ２０１Ｄでは、ＨＭＤ２０１Ａ・２０１Ｃの各撮像画像が、映像Ｖ（２０２Ｄ）−Ａおよび映像Ｖ（２０２Ｄ）−Ｃとして表示される。
First, the information of the captured image acquired by the
ＨＭＤ２０１Ｄにて、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ａを観察している場合、そのときの指示監督者ＰＤの視線方向が、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、検出した視線方向に関する視線情報が、ＨＭＤ２０１Ｄから通信部３４を介してＨＭＤ２０１Ａに出力される。その後、ＨＭＤ２０１Ａでは、上記視線情報に基づいて、映像表示装置２０２Ａの表示映像全体における所定位置に、指示監督者ＰＤの視線の位置が表示される。
In the
一方、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ｃを観察している場合、そのときの指示監督者ＰＤの視線方向が、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、検出した視線方向に関する視線情報が、ＨＭＤ２０１Ｄから通信部３４を介してＨＭＤ２０１Ｃに出力される。その後、ＨＭＤ２０１Ｃでは、上記視線情報に基づいて、映像表示装置２０２Ｃの表示映像全体における所定位置に、指示監督者ＰＤの視線の位置が表示される。
On the other hand, when the instruction supervisor PD observes the image V (202D) -C, the gaze direction of the instruction supervisor PD at that time is detected by the
図２４は、作業者ＰＡがＨＭＤ２０１Ａを介して外界を見ているときの、作業者ＰＡの視界のイメージを示す。ＨＭＤ２０１Ａでは、作業者ＰＣの視線の位置を示すマーカーＭＣに加えて、指示監督者ＰＤの視線の位置を示すマーカーＰＤを表示することにより、作業者ＰＣおよび指示監督者ＰＤがデバイスＯＢのどの部分を見ているかを作業者ＰＡに提示することができる。また、図２５は、作業者ＰＣがＨＭＤ２０１Ｃを介して外界を見ているときの、作業者ＰＣの視界のイメージを示す。ＨＭＤ２０１Ｃでは、作業者ＰＡの視線の位置を示すマーカーＭＡに加えて、指示監督者ＰＤの視線の位置を示すマーカーＰＤを表示することにより、作業者ＰＡおよび指示監督者ＰＤがデバイスＯＢのどの部分を見ているかを作業者ＰＣに提示することができる。
FIG. 24 shows an image of the field of view of the worker PA when the worker PA looks at the outside through the
このように、ＨＭＤ２０１Ａ・２０１Ｃにて、作業者ＰＡ、作業者ＰＣ、指示監督者ＰＤの３者の視線位置をそれぞれ表示させることにより、３者間で意思疎通を行って作業を行うことが可能となる。以下、作業者ＰＡ、作業者ＰＣおよび指示監督者ＰＤによる作業の具体例について説明する。
As described above, by displaying the sight line positions of the worker PA, the worker PC, and the instruction supervisor PD on the
なお、図２３〜図２５において、マーカーＭＡ・ＭＣ・ＭＤの近傍に付した（１）〜（１０）の番号は、マーカーの表示順序を示す。また、ここでは、マーカーＭＡ・ＭＣ・ＭＤを互いに区別するため、自機で表示される自分の視線位置を示すマーカーを四角形で表し、自機で表示される他の作業者の視線位置を示すマーカーを円形で表す。また、図２４および図２５では、指示監督者ＰＤの視線位置を示すマーカーを三角形で表す。 In addition, in FIGS. 23-25, the number of (1)-(10) attached | subjected to the marker MA * MC * MD shows the display order of a marker. Here, in order to distinguish the markers MA, MC, and MD from each other, the markers indicating the line-of-sight position displayed on the own machine are represented by squares, and the line-of-sight positions of other workers displayed on the own machine are indicated. The markers are represented by circles. Moreover, in FIG. 24 and FIG. 25, the marker which shows the gaze position of instruction | indication supervisor PD is represented by a triangle.
まず、作業者ＰＡのＨＭＤ２０１Ａにて取得された撮像画像の情報は、ＨＭＤ２０１Ｃ・ＨＭＤ２０１Ｄに出力され、ＨＭＤ２０１Ｃ・ＨＭＤ２０１Ｄにて、上記撮像画像が映像Ｖ（２０２Ｃ）・Ｖ（２０２Ｄ）−Ａとしてそれぞれ表示される（図２５、図２３参照）。
First, information on the captured image acquired by the
作業者ＰＣは、ＨＭＤ２０１Ｃで表示された映像Ｖ（２０２Ｃ）中で、緩める対象となるネジを見ながら、「このネジを緩めろ！」という音声指示を出す。映像Ｖ（２０２Ｃ）に対する作業者ＰＣの視線方向は、ＨＭＤ２０１Ｃの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｃにより、映像Ｖ（２０２Ｃ）において、ＨＭＤ２０１Ａの撮像画像と合わせて、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２５の（１）参照）。
The worker PC issues an audio instruction of "Loose this screw!" While looking at the screw to be loosened in the image V (202C) displayed on the
次に、ＨＭＤ２０１Ｃで検出された作業者ＰＣの視線位置を示す視線情報、およびＨＭＤ２０１Ｃで取得された撮像画像の情報は、ＨＭＤ２０１Ａに出力される。そして、ＨＭＤ２０１Ａの映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲に対応）における、上記の映像Ｖ（２０２Ｃ）に対する作業者ＰＣの注視点と対応する位置に、作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２４の（２）参照）。また、ＨＭＤ２０１Ａの映像表示装置２０２Ａにより、ＨＭＤ２０１Ｃで取得された撮像画像が、映像Ｖ（２０２Ａ）として表示される（図２４参照）。
Next, line-of-sight information indicating the line-of-sight position of the worker PC detected by the
また、ＨＭＤ２０１Ｃで検出された作業者ＰＣの視線位置を示す視線情報は、ＨＭＤ２０１Ｄにも出力される。これにより、ＨＭＤ２０１Ｄでは、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ａ中に作業者ＰＣの視線位置を示すマーカーＭＣが表示される（図２３の（３）参照）。なお、映像Ｖ（２０２Ｃ）および映像Ｖ（２０２Ｄ）−Ａは、どちらも、ＨＭＤ２０１Ａで撮像された画像であるため、映像Ｖ（２０２Ｄ）−Ａにおいて、映像Ｖ（２０２Ｃ）に対する作業者ＰＣの注視点と対応する位置に、作業者ＰＣの視線位置を示すマーカーＭＣを表示することは容易に実現できる。
The line-of-sight information indicating the line-of-sight position of the worker PC detected by the
指示監督者ＰＤは、映像Ｖ（２０２Ｄ）−Ａ中のマーカーＭＣを見て、作業者ＰＣの指示が誤っていると判断した場合、映像Ｖ（２０２Ｄ）−Ａ中で、緩める対象となるネジを見ながら、「いや、最初にこのネジから緩めた方がよい！」という音声指示を出す。映像Ｖ（２０２Ｄ）−Ａに対する指示監督者ＰＤの視線方向は、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ａにおいて、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２３の（４）参照）。
When the instruction supervisor PD looks at the marker MC in the image V (202D) -A and determines that the instruction of the worker PC is incorrect, a screw to be loosened in the image V (202D) -A While watching the voice instruction "No, it is better to loosen from this screw first!" The gaze direction of the instruction supervisor PD with respect to the image V (202D) -A is detected by the
指示監督者ＰＤの視線方向に関する視線情報は、ＨＭＤ２０１Ａに出力される。これにより、ＨＭＤ２０１Ａでは、映像表示装置２０２Ａの映像の表示領域全体（作業者ＰＡの視界範囲に対応）における、上記の映像Ｖ（２０２Ｄ）−Ａに対する指示監督者ＰＤの注視点と対応する位置に、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２４の（５）参照）。なお、指示監督者ＰＤが、映像Ｖ（２０２Ｄ）−Ａを見ているか、映像Ｖ（２０２Ｄ）−Ｃを見ているかは、ＨＭＤ２０１Ｄの視線検出装置３２での視線検出結果に基づいて判断できる。したがって、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ａを見ている場合には、映像Ｖ（２０２Ｄ）−Ａの提供元となるＨＭＤ２０１Ａに、指示監督者ＰＤの視線情報を出力することができる。
The line-of-sight information on the line-of-sight direction of the instruction supervision PD is output to the
作業者ＰＡは、自身のＨＭＤ２０１Ａで表示されたマーカーＭＤを視認することで、作業者ＰＣが指示するネジではなく、指示監督者ＰＤが指示するネジを緩める作業を行うことになる。このとき、作業者ＰＡは、映像Ｖ（２０２Ａ）中で、保持してほしい箇所を見ながら、「このカバーを支えてください！」という要求を音声で発する。映像Ｖ（２０２Ａ）に対する作業者ＰＡの視線方向は、ＨＭＤ２０１Ａの視線検出装置３２によって検出される。そして、映像表示装置２０２Ａにより、作業者ＰＡの視線位置を示すマーカーＭＡが、ＨＭＤ２０１Ｃの撮像画像と合わせて映像Ｖ（２０２Ａ）として表示される（図２４の（６）参照）。
By visually recognizing the marker MD displayed on the
その後、ＨＭＤ２０１Ａで検出された作業者ＰＡの視線位置を示す視線情報が、ＨＭＤ２０１Ｃに出力される。そして、ＨＭＤ２０１Ｃの映像表示装置２０２Ｃの映像の表示領域全体（作業者ＰＣの視界範囲に対応）における、上記の映像Ｖ（２０２Ａ）に対する作業者ＰＡの注視点と対応する位置に、作業者ＰＡの視線位置を示すマーカーＭＡが表示される（図２５の（７）参照）。
Thereafter, line-of-sight information indicating the line-of-sight position of the worker PA detected by the
また、ＨＭＤ２０１Ａで検出された作業者ＰＡの視線位置を示す視線情報は、ＨＭＤ２０１Ｄにも出力される。これにより、ＨＭＤ２０１Ｄでは、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ｃ中に作業者ＰＡの視線位置を示すマーカーＭＡが表示される（図２３の（８）参照）。なお、映像Ｖ（２０２Ａ）および映像Ｖ（２０２Ｄ）−Ｃは、どちらも、ＨＭＤ２０１Ｃで撮像された画像であるため、映像Ｖ（２０２Ｄ）−Ｃにおいて、映像Ｖ（２０２Ａ）に対する作業者ＰＡの注視点と対応する位置に、作業者ＰＡの視線位置を示すマーカーＭＡを表示することは容易に実現できる。
The line-of-sight information indicating the line-of-sight position of the worker PA detected by the
指示監督者ＰＤは、映像Ｖ（２０２Ｄ）−Ｃ中のマーカーＭＡを見て、作業者ＰＡの指示が誤っていると判断した場合、映像Ｖ（２０２Ｄ）−Ｃ中で、保持すべきカバーを見ながら、「いや、そのカバーだけでなく、このカバーを保持しろ！」という音声指示を出す。映像Ｖ（２０２Ｄ）−Ｃに対する指示監督者ＰＤの視線方向は、ＨＭＤ２０１Ｄの視線検出装置３２によって検出される。そして、映像表示装置２０２Ｄにより、映像Ｖ（２０２Ｄ）−Ｃにおいて、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２３の（９）参照）。
When the instruction supervisor PD looks at the marker MA in the image V (202D) -C and determines that the instruction of the worker PA is incorrect, the cover to be held in the image V (202D) -C is While watching, I give an audio command saying "No, not only the cover but hold this cover!". The gaze direction of the instruction supervisor PD with respect to the image V (202D) -C is detected by the
指示監督者ＰＤの視線方向に関する視線情報は、ＨＭＤ２０１Ｃに出力される。これにより、ＨＭＤ２０１Ｃでは、映像表示装置２０２Ｃの映像の表示領域全体（作業者ＰＣの視界範囲に対応）における、上記の映像Ｖ（２０２Ｄ）−Ｃに対する指示監督者ＰＤの注視点と対応する位置に、指示監督者ＰＤの視線位置を示すマーカーＭＤが表示される（図２５の（１０）参照）。これにより、作業者ＰＣは、マーカーＭＤで指定されたカバーを保持し、ネジを緩める作業者ＰＡの作業を適切に補助することが可能となる。なお、上述のように、指示監督者ＰＤが、映像Ｖ（２０２Ｄ）−Ａを見ているか、映像Ｖ（２０２Ｄ）−Ｃを見ているかは、ＨＭＤ２０１Ｄの視線検出装置３２での視線検出結果に基づいて判断できるので、指示監督者ＰＤが映像Ｖ（２０２Ｄ）−Ｃを見ている場合には、映像Ｖ（２０２Ｄ）−Ｃの提供元となるＨＭＤ２０１Ｃに指示監督者ＰＤの視線情報を出力することができる。
The line-of-sight information on the line-of-sight direction of the directing supervisor PD is output to the
以上のように、ＨＭＤ２０１Ａ・２０１Ｃ・２０１Ｄの３つの情報入出力端末間で、作業者ＰＡ、作業者ＰＣおよび指示監督者ＰＤの視線情報を相互に共有することにより、手作業を損なうことなく、意思疎通が良好で、協働作業を効率的に行うことが可能となる。特に、視線情報に加えて音声情報をさらに活用することにより、さらに正確な意思疎通が可能となり、その意思疎通に基づいてさらに効率的な作業が可能となる。
As described above, by sharing the line-of-sight information of the worker PA, the worker PC, and the instructing supervisor PD among the three information input / output terminals of the
ところで、以上では、指示監督者ＰＤが使用する情報入出力端末２００として、頭部に装着可能なＨＭＤ２０１Ｄを用いる例について説明したが、指示監督者ＰＤが特段ハンズフリーやモビリティを必要としない場合には、情報入出力端末２００は別の形態であっても構わない。
By the way, although the example using HMD201D which can be put on a head is explained above as information input-
図２６は、情報入出力端末２００の他の構成を示す説明図である。同図のように、情報入出力端末２００は、少なくとも、表示装置２００ａと、表示装置２００ａに固定される視線検出装置３２とを有して構成されていてもよい。表示装置２００ａは、部屋に設置されるテレビなどの直視型ディスプレイ（モニター）である。視線検出装置３２は、表示装置２００ａにて表示される映像Ｖ（２００）−Ａおよび映像Ｖ（２００）−Ｃを観察する指示監督者ＰＤの視線方向を検出する。視線検出装置３２は、表示装置２００ａに対して位置が同定されている。このような形態の視線検出装置３２については、先のトビーテクノロジー社からも提案されており、これを使用することができる。なお、映像Ｖ（２００）−Ａは、作業者ＰＡのＨＭＤ２０１Ａにて取得され、情報入出力端末２００に入力されて表示されたＨＭＤ２０１Ａの撮像画像である。また、映像Ｖ（２００）−Ｃは、作業者ＰＣのＨＭＤ２０１Ｃにて取得され、情報入出力端末２００に入力されて表示されたＨＭＤ２０１Ｃの撮像画像である。
FIG. 26 is an explanatory view showing another configuration of the information input /
活用例３のように、指示監督者ＰＤが、作業者ＰＡおよび作業者ＰＣに指示を与えるだけの場合（指示監督者ＰＤが実際にデバイスＯＢに対して手作業を行わない場合）、上記構成の情報入出力装置２００にて他者の視線映像を表示し、その表示映像に対する指示監督者ＰＤの観察視線を検出し、その視線情報を他者に出力することで、図２３〜図２５と同様に、視線に基づく意思疎通が可能である。したがって、指示監督者ＰＤの情報入出力装置２００は、必ずしもＨＭＤである必要はない。
In the case where the instruction supervisor PD only gives instructions to the worker PA and the worker PC as in the example 3 of use (when the instruction supervisor PD does not actually perform manual operation on the device OB), the above configuration The line-of-sight image of the other person is displayed on the information input /
なお、以上の活用例では、最大３人で連携して作業を行う例について説明したが、４人以上で作業を行う場合でも、各活用例で説明したシステム、構成、方法を適用して、相互に視線情報を共有し、連携して作業を行うことは勿論可能である。 In the above examples, up to three people cooperate to work, but even when four or more people work, the system, configuration, and method described in each example are applied. Of course, it is possible to mutually share line-of-sight information and work in cooperation.
また、本実施形態の情報入出力端末は、作業者の作業状態や作業環境を把握して、作業性向上を図る観点から、ＧＰＳ（Global Positioning System）センサ、地磁気センサ、温度センサなどの複数のセンサを備えていてもよい。例えばＧＰＳセンサは、作業者の位置情報を取得する。地磁気センサは、作業者が向いている方向を検知する。温度センサは、作業環境の温度または作業者自身の体温を検知する。これらのセンサで取得された情報を、通信部３４を介して外部の入出力端末に送信することより、外部では、作業の指示監督者が作業環境を把握し、必要に応じて適切な指示（例えば作業の中止等）を作業者（ＨＭＤ）に出すことが可能となる。
Further, the information input / output terminal of the present embodiment grasps the work state and work environment of the worker, and from the viewpoint of improving the workability, a plurality of GPS (Global Positioning System) sensors, geomagnetic sensors, temperature sensors, etc. A sensor may be provided. For example, the GPS sensor acquires position information of the worker. The geomagnetic sensor detects the direction in which the operator is facing. The temperature sensor detects the temperature of the work environment or the temperature of the worker himself. By transmitting the information acquired by these sensors to an external input / output terminal via the
（６．作業者が動く場合の指示者側端末および作業者側端末での表示について）
本実施形態では、上述した活用例１〜３において、ＨＭＤ２０１Ａを装着した作業者ＰＡがデバイスＯＢに対する作業中に動き、これによってＨＭＤ２０１Ａの撮像装置３１の撮像範囲が変化する場合でも、ＨＭＤ２０１Ａの撮像範囲に含まれるデバイスＯＢの画像を切り出し、指示者側の情報入出力端末（ＨＭＤや、表示装置＋視線検出装置の構成）にて静止画または動画として表示するようにしている。一方、作業者ＰＡ側のＨＭＤ２０１Ａでは、指示者側の端末での表示画像に対する視線検出結果を利用して、作業者ＰＡが動いても、作業者ＰＡの視界の中で、指示者が作業を指示する位置（デバイスＯＢの同一箇所）をマーカーで表示し続けるようにしている。以下、この点について、実施例１〜６として、より詳細に説明する。
(6. Display on the instructor terminal and the operator terminal when the operator moves)
In the present embodiment, in the above-described application examples 1 to 3, even when the worker PA wearing the
なお、上記の「指示者」とは、作業者ＰＡに対して作業の指示を出すものを指し、活用例１〜３では、指示監督者ＰＢ、作業者ＰＣ、指示監督者ＰＤのいずれかがこれに相当する。以下では、例として、活用例２で示した協働作業において、作業者ＰＡが作業中に動く場合の各端末での表示制御について説明するが、他の活用例においても以下の表示制御を適用することができる。 The above-mentioned "instructor" refers to one that issues an instruction for work to the worker PA, and in Practical Examples 1 to 3, any one of the instruction supervisor PB, the operator PC, and the instruction supervisor PD It corresponds to this. In the following, as an example, display control at each terminal when worker PA moves during work in cooperative work shown in utilization example 2 will be described, but the following display control is applied also in other utilization examples can do.
＜実施例１＞
≪基準画像の取得≫
図２７は、実施例１における基準画像取得処理の流れを示すフローチャートである。本実施例では、作業者ＰＡがデバイスＯＢに対してネジを締める、または外す等の作業を開始する前に、デバイスＯＢの画像を基準画像として事前に取得するようにしている。すなわち、本実施例では、まず、作業者ＰＡが静止した状態で、第１端末としてのＨＭＤ２０１Ａ（撮像装置３１）での撮影によって、デバイスＯＢを含む外界を撮影し、画像を取得する（Ｓ１１；予備撮影工程）。そして、上記画像から、該画像の一部の領域（デバイスＯＢの画像を含む）を切り出し、これを静止画の基準画像として取得する（Ｓ１２；基準画像取得工程）。その後、取得した基準画像を保持する（Ｓ１３；保持工程）。より具体的に説明すると、以下の通りである。
Example 1
Acquisition of reference image
FIG. 27 is a flowchart of the reference image acquisition process according to the first embodiment. In this embodiment, before the worker PA starts an operation such as tightening or removing a screw on the device OB, an image of the device OB is acquired in advance as a reference image. That is, in the present embodiment, first, with the worker PA stationary, the outside including the device OB is photographed by photographing with the
図２８は、基準画像取得時の作業者ＰＡの視界のイメージを示している。作業者ＰＡが装着しているＨＭＤ２０１Ａの映像表示領域には、範囲確認用マーカーＦが表示されており、作業者ＰＡは、デバイスＯＢをシースルーで観察しながら、表示された範囲確認用マーカーＦを観察することができる。なお、同図では、範囲確認用マーカーＦは、矩形の四隅のみを示す形状で表示されているが、矩形形状（一続きの枠）で表示されてもよい。また、範囲確認用マーカーＦは、視認しやすいように色つきであってもよく、その線種も実線には限定されない（例えば破線で表示されてもよい）。
FIG. 28 shows an image of the field of view of the worker PA when acquiring a reference image. A marker F for range confirmation is displayed in the image display area of the
図２９は、基準画像取得時の指示者（ここでは作業者ＰＣ）の視界のイメージを示している。作業者ＰＣが装着しているＨＭＤ２０１Ｃ（第２端末）には、ＨＭＤ２０１Ａにおける作業者ＰＡの視界映像（ＨＭＤ２０１Ａの撮像装置３１の撮影によって取得され、ＨＭＤ２０１Ｃに出力された画像）と、ＨＭＤ２０１Ａで表示されている範囲確認用マーカーＦに対応する範囲確認用マーカーＦ’が映像Ｖ（２０２Ｃ）として表示されている。なお、範囲確認用マーカーＦ・Ｆ’の表示サイズ（縦横比）は揃えてあり、映像Ｖ（２０２Ｃ）自体は、範囲確認用マーカーＦ’の表示のために、図２０（活用例２）で示した範囲よりも少し広めに表示されている。
FIG. 29 shows an image of the field of view of the instructor (here, worker PC) at the time of acquiring the reference image. The
作業者ＰＣは、ＨＭＤ２０１Ｃにて表示される範囲確認用マーカーＦ’の位置や大きさをＨＭＤ２０１Ｃの操作部３９によって微調整する。このような範囲確認用マーカーＦ’の微調整に関する情報は、通信部３４を介してＨＭＤ２０１Ａに出力され、この情報に基づいて、ＨＭＤ２０１Ａに表示されている範囲確認用マーカーＦの位置や大きさも微調整される。そして、作業者ＰＣは、ＨＭＤ２０１Ｃにて表示される映像Ｖ（２０２Ｃ）を見ながら、範囲確認用マーカーＦ’内にデバイスＯＢが位置するように、例えば音声により、作業者ＰＡに対して上下左右前後の移動（平行移動および回動を含む）を指示する。このような指示のもとで、作業者ＰＡは、上下方向の移動等によって自身の姿勢を変えて、デバイスＯＢが撮像装置３１の撮像範囲の中央付近（範囲確認用マーカーＦ内）に位置するようにする。
The worker PC finely adjusts the position and the size of the range check marker F ′ displayed on the
この状態で作業者ＰＡが静止し、ＨＭＤ２０１Ａの撮像装置３１によって外界を撮影すると、ＨＭＤ２０１Ａの画像処理部３３は、得られた画像（例えば静止画）から、該画像の一部、すなわち、範囲確認用マーカーＦ内の画像（デバイスＯＢの画像）を画像処理によって切り出し、これによってデバイスＯＢの画像を基準画像（静止画）として取得する。ＨＭＤ２０１Ａにて取得された基準画像の情報（画像データ）は、例えば、管理サーバー４００に出力されて保持部４０１に記憶される。これにより、管理サーバー４００では、上記基準画像の情報を用いて種々の処理（例えばパターンマッチング処理）を行うことが可能となる。なお、ＨＭＤ２０１Ａで取得された基準画像の情報は、ＨＭＤ２０１Ａの記憶部３５に記憶され、保持されてもよいし、ＨＭＤ２０１Ａから指示者側のＨＭＤ２０１Ｃに出力されて、ＨＭＤ２０１Ｃの記憶部３５に記憶されてもよい。
In this state, when the worker PA stands still and the outside world is photographed by the
また、基準画像を切り出す処理は、指示者側のＨＭＤ２０１Ｃで行われてもよい。すなわち、図２９で示したように、ＨＭＤ２０１Ｃには、ＨＭＤ２０１Ａによる撮影画像（例えば動画）と範囲確認用マーカーＦ’とが映像Ｖ（２０２Ｃ）として表示されている。作業者ＰＣは、作業者ＰＡの姿勢変化によってデバイスＯＢの画像が範囲確認用マーカーＦ’内に位置するときに、ＨＭＤ２０１Ｃの操作部３９を操作することで、ＨＭＤ２０１Ｃの画像処理部３３に対して、デバイスＯＢを含む撮影画像から範囲確認用マーカーＦ’内の画像を切り抜く指示を与える。この指示に基づき、ＨＭＤ２０１Ｃの画像処理部３３が画像処理を行うことで上記基準画像を取得できる。取得した基準画像の情報は、例えば管理サーバー４００に出力されて保持部４０１に保持されるが、ＨＭＤ２０１Ｃの記憶部３５に記憶されてもよいし、ＨＭＤ２０１Ａに出力されてＨＭＤ２０１Ａの記憶部３５に記憶されてもよい。
Further, the process of cutting out the reference image may be performed by the
また、撮影画像から基準画像を切り出す処理は、管理サーバー４００で行われてもよい。例えば、作業者ＰＡが静止状態で撮像装置３１によって撮影された画像と範囲確認用マーカーＦとを合成した画像のデータを管理サーバー４００に出力し、管理サーバー４００の領域検出部４０２にて基準画像を切り出す処理を行ってもよい。切り出した基準画像の情報は、例えば保持部４０１に保持される。
Further, the process of cutting out the reference image from the photographed image may be performed by the
上記した基準画像の情報が、例えば作業者ＰＣのＨＭＤ２０１Ｃに出力されると、ＨＭＤ２０１Ｃでは、上記基準画像を映像Ｖ（２０２Ｃ）として表示させることが可能となる。このとき、作業者ＰＣは、操作部３９の操作によって映像Ｖ（２０２Ｃ）の表示位置を調整してもよい。作業者ＰＣは、ＨＭＤ２０１Ｃにて実空間のデバイスＯＢをシースルーで観察したり、表示された映像Ｖ（２０２Ｃ）のどこかを注視して指示を出したりする必要があるため、シースルーで観察されるデバイスＯＢに映像Ｖ（２０２Ｃ）が重ならないようにすることが望ましい。上記した映像Ｖ（２０２Ｃ）の表示位置の調整により、シースルーで観察されるデバイスＯＢから少しだけ離れた位置に映像Ｖ（２０２Ｃ）を表示させることができるため、作業者ＰＣは両者（デバイスＯＢおよび映像Ｖ（２０２Ｃ））を支障なく観察することが可能となる。
For example, when the information on the reference image described above is output to the
≪指示者側端末および作業者側端末での表示≫
図３０は、本実施例の視線情報管理システムにおいて、指示者側端末および作業者側端末での画像表示に係る処理の流れを示すフローチャートである。本実施例では、上記のようにして基準画像を取得した後、その基準画像を利用して以下の処理が行われる。なお、ここでは、上記基準画像の情報（画像データ）は、ＨＭＤ２０１Ａから管理サーバー４００に出力されて、保持部４０１に記憶されているものとする。
«Display on the instructor terminal and the worker terminal»
FIG. 30 is a flowchart showing a flow of processing relating to image display on the instructor terminal and the worker terminal in the line-of-sight information management system of the present embodiment. In the present embodiment, after acquiring the reference image as described above, the following processing is performed using the reference image. Here, it is assumed that the information (image data) of the reference image is output from the
〈指示者側端末での表示〉
まず、作業者ＰＡのＨＭＤ２０１Ａにおいて、撮像装置３１の撮影によって動画を取得する（Ｓ２１；動画取得工程）。作業者ＰＡがデバイスＯＢに対して作業する場合、そのデバイスＯＢに対する作業の様子が撮像装置３１によって動画撮影される。動画撮影によって取得される情報（動画の画像データ）は、ＨＭＤ２０１Ａの通信部３４を介して管理サーバー４００に出力され、保持部４０１にて記憶される。
<Display on the instructor's terminal>
First, in the
管理サーバー４００では、領域検出部４０２がパターンマッチング処理を行うことにより、ＨＭＤ２０１Ａにて撮影された動画の中で基準画像に対応する領域を検出する（Ｓ２２；領域検出工程）。なお、上記のパターンマッチング処理は、時間的に異なるタイミングで定期的に行われるものとする（後述する図３７のＳ２２−１、Ｓ２２−３参照）。また、以下では、撮影された動画の中で基準画像に対応する領域のことを、「注目領域」とも称する。領域検出部４０２によって検出された注目領域の情報（画像データ）は、通信部４０４を介して作業者ＰＣのＨＭＤ２０１Ｃに出力される。これにより、ＨＭＤ２０１Ｃでは、検出された注目領域を表す画像、すなわち、デバイスＯＢの画像が表示される（Ｓ２３；画像表示工程）。
In the
ここで、Ｓ２２およびＳ２３についてさらに詳しく説明する。図３１は、保持部４０１に記憶されている基準画像ＩＭを複数の領域Ｄに分割した状態を示している。基準画像ＩＭの分割数（領域Ｄの数）は予め設定されており、同図では、分割数が６×６＝３６個である場合を示している。なお、上記分割数は、例えば作業者ＰＣがＨＭＤ２０１Ｃの操作部３９を操作し、管理サーバー４００に対して指示を送ることによって変更することもできる。
Here, S22 and S23 will be described in more detail. FIG. 31 shows a state in which the reference image IM stored in the
ここでは、分割した各領域Ｄの少なくともいずれかを、パターンマッチングの計算（処理）を行うときのキー（テンプレート）として使用する。このときのパターンマッチングの手法としては、前述したように、ＮＣＣ、ＳＡＤ、ＳＳＤなどの公知の手法を採用することができる。また、パターンマッチングの精度を確保する上では、分割した各領域Ｄのうち、特徴的な構造やテクスチャーを含む領域だけを、パターンマッチングのキーとして使用することが望ましい。つまり、どの領域Ｄをパターンマッチングに使用するかは、その領域をキーとして基準画像に対してパターンマッチングの計算をしたときに、パターンとマッチングする位置（領域）を正しく特定できるかどうかで判断する。また、例えば作業者ＰＣがＨＭＤ２０１Ｃの操作部３９を操作し、管理サーバー４００に対して指示を送ることにより、パターンマッチングのキーとして使用する領域Ｄを選別しなおすこともできる。
Here, at least one of the divided regions D is used as a key (template) when performing pattern matching calculation (processing). As the pattern matching method at this time, as described above, known methods such as NCC, SAD, and SSD can be adopted. Further, in order to secure the accuracy of pattern matching, it is desirable to use only the region including the characteristic structure or texture among the divided regions D as a key of pattern matching. That is, which region D is used for pattern matching is determined by whether or not the position (region) to be matched with the pattern can be correctly identified when the pattern matching is calculated with respect to the reference image using that region as a key. . Further, for example, when the worker PC operates the
ここで、作業者ＰＡが姿勢を変えたとき、ＨＭＤ２０１Ａの撮像装置３１によって取得される画像は、上記姿勢に応じて変化する。例えば、図３２は、基準画像と、その基準画像の取得時の位置よりも作業者ＰＡがデバイスＯＢに近づいた状態で撮像装置３１によって撮影された画像を模式的に示している。なお、作業者ＰＡの姿勢変化後に取得される画像のことを、パターンマッチングの対象となる画像という意味で、以下では、便宜的に「対象画像」とも称する。
Here, when the worker PA changes the posture, the image acquired by the
作業者ＰＡがデバイスＯＢに近づくと、撮影されるデバイスＯＢの画像は大きくなる。このため、対象画像において、基準画像の各領域のパターンとマッチングする領域は、互いに遠ざかるように移動する。このことは、図３２において、基準画像の中で互いに離間した領域Ｄ１・Ｄ２が、対象画像において領域Ｄ１’・Ｄ２’とマッチングする場合に、領域Ｄ１・Ｄ２間の距離よりも、領域Ｄ１’・Ｄ２’間の距離が長くなっていることからも容易に理解できる。逆に、作業者ＰＡがデバイスＯＢから遠ざかれば、姿勢変化後の対象画像において、基準画像の各領域のパターンとマッチングする領域は、互いに近づくように移動する。 When the worker PA approaches the device OB, the image of the device OB to be captured becomes large. Therefore, in the target image, the regions matching the pattern of each region of the reference image move away from each other. This is because, in FIG. 32, when the regions D1 and D2 separated from each other in the reference image match the regions D1 'and D2' in the target image, the region D1 'is larger than the distance between the regions D1 and D2. -It can be easily understood from the fact that the distance between D2 'is long. Conversely, when the worker PA moves away from the device OB, in the target image after the posture change, the regions matching the patterns of the regions of the reference image move closer to each other.
また、実空間内での撮像装置３１の位置が変化しないように、撮像装置３１の角度だけを上下左右に動かした場合、角度が大きくなければ、撮影される画像の中でデバイスＯＢの位置が移動する。このため、対象画像において、基準画像の各領域のパターンとマッチングする各領域は、それぞれ同じ方向に同じ量だけ移動する。また、角度変化が大きくなれば、撮像装置３１の光学系の射影特性に応じてデバイスＯＢが角度変更方向に伸び縮みする。このため、対象画像において、基準画像の各領域のパターンとマッチングする各領域も不均等に近寄ったり離れたりする。作業者ＰＡがデバイスＯＢに対して横方向に移動した場合は、画像の中での移動量が均等ではなく、デバイスＯＢにおいて作業者ＰＡとの距離の近い部分ほど、撮影した画像の中では大きく移動する。
Also, if only the angle of the
このように、対象画像において、基準画像の各領域のパターンとマッチングする各領域の情報から、作業者ＰＡのデバイスＯＢに対する相対的な位置の変化を検出することができる。したがって、Ｓ２１で取得した動画から、基準画像に対応する領域（デバイスＯＢの部分）を切り抜き、切り抜いた動画を、該動画に含まれる撮影対象（デバイスＯＢ）が所望の形状となるように、パターンマッチングによって取得される情報（作業者ＰＡの相対的な位置の変化の情報）を利用して変形（拡大、縮小、回転などを含む）することにより、基準画像に近い画像（注目領域の画像）を得ることができる。本実施例では、変形後の注目領域の画像に透明度（透過率）を予め設定しておき、Ｓ２３にて、ＨＭＤ２０１Ｃの映像表示領域において、基準画像と対応する位置に、基準画像と重ね合わせて注目領域の画像（例えば動画）を表示する。これにより、作業者ＰＣは、基準画像（静止画）と注目領域の画像とを同時に視認することが可能となる。図３３は、ＨＭＤ２０１Ｃにて、基準画像Ｒと注目領域の画像Ｔとが重なって表示されている状態を模式的に示している。なお、図３３では、基準画像Ｒと注目領域の画像Ｔとを図面上で区別する目的で、これらをずらして位置させ、かつ、基準画像Ｒを破線で示しているが、実際にはこれらの画像は重なっているものとする。
As described above, in the target image, the change in the relative position of the worker PA with respect to the device OB can be detected from the information of each area matching the pattern of each area of the reference image. Therefore, from the moving image acquired in S21, an area (portion of the device OB) corresponding to the reference image is cut out, and the cut out moving image is patterned so that the imaging target (device OB) included in the moving image has a desired shape. An image (an image of a region of interest) close to the reference image by performing deformation (including enlargement, reduction, rotation, etc.) using information obtained by matching (information of change in relative position of worker PA) You can get In this embodiment, transparency (transmittance) is set in advance in the image of the attention area after deformation, and in S23, the reference image is superimposed on the position corresponding to the reference image in the image display area of the
また、作業者ＰＡのＨＭＤ２０１Ａは、加速度センサ３８（図４参照）を搭載している。このため、加速度センサ３８の検出結果に基づき、作業者ＰＡの姿勢変化に伴ってデバイスＯＢが撮像装置３１の撮影画像上で動く方向および量をある程度予測することができる。しかし、作業者ＰＡが動いた場合に、画像上でデバイスＯＢが動く量は、撮像装置３１からデバイスＯＢまでの距離に依存するため、画像上でのデバイスＯＢの動きを正確に予測するには距離関係を正確に把握することが必要となり、難易度が高い。
In addition, the
本実施例では、画像の動き、つまり、画像上でのデバイスＯＢの動きを抑制することが目的であるため、デバイスＯＢの画像そのものを使ってパターンマッチングを行うことで、画像上でのデバイスＯＢの動きをより簡便にかつ効果的に抑制することができる。すなわち、加速度センサ３８の情報に基づいて作業者ＰＡが動いた量が小さいと判断できる場合、撮影された画像の中で、作業者ＰＡが動く直前のデバイスＯＢの検出位置の近傍のみ（前回パターンマッチングを行った範囲またはその近傍のみ）でパターンマッチングを行う。図３４は、作業者ＰＡの動きが小さい場合の、パターンマッチングを行う範囲のイメージを示す。図中、５０１は、作業者ＰＡが動く直前のデバイスＯＢの位置を示し、５０２は、パターンマッチングを行う範囲を示す。範囲５０２の大きさは、前回パターンマッチングを行った範囲とほとんど変わらず、範囲５０２の位置もほとんど同じである。
In the present embodiment, the object is to suppress the movement of the image, that is, the movement of the device OB on the image, so that the device OB on the image can be obtained by performing pattern matching using the image of the device OB itself. Motion can be suppressed more simply and effectively. That is, when it can be determined that the amount of movement of the worker PA is small based on the information of the
一方、図３５は、作業者ＰＡの動きが大きい場合の、パターンマッチングを行う範囲５０２のイメージを示す。加速度センサ３８の情報に基づいて作業者ＰＡが動いた量が大きいと判断できる場合、パターンマッチングを行う範囲５０２の中心を、作業者ＰＡの動きに伴ってデバイスＯＢが相対的に動く方向にずらすことに加えて、範囲５０２を、前回パターンマッチングを行った範囲よりも広げる。これにより、パターンマッチングの対象となる箇所が計算範囲外に出てしまって、基準画像に対応する注目領域を検出できなくなる事態を回避することができる。
On the other hand, FIG. 35 shows an image of a
以上では、図３１で示したように、基準画像ＩＭを複数の領域Ｄに分割し、分割した各領域Ｄの少なくともいずれかを、パターンマッチングを行うときのキーとして使用する例について説明したが、図３６に示すように、基準画像ＩＭを分割せずに、基準画像ＩＭそのものをキーとして用いてパターンマッチングを行ってもよい。 In the above, as shown in FIG. 31, the reference image IM is divided into a plurality of areas D, and at least one of the divided areas D is used as a key when performing pattern matching. As shown in FIG. 36, without dividing the reference image IM, pattern matching may be performed using the reference image IM itself as a key.
〈作業者側端末での表示〉
図３０に戻って説明を続ける。Ｓ２３にて、指示者側のＨＭＤ２０１Ｃで注目領域の画像が表示されると、ＨＭＤ２０１Ｃでは、視線検出装置３２により、表示画像（注目領域の画像）に対する作業者ＰＣの視線方向を検出して注視位置を求める（Ｓ２４；視線検出工程）。検出した視線方向に関する情報が管理サーバー４００に出力されると、演算部４０３は、領域検出部４０２による注目領域の検出結果と、ＨＭＤ２０１Ｃの作業者ＰＣの上記注視位置と、ＨＭＤ２０１Ａの撮像特性および表示特性とに基づいて、ＨＭＤ２０１Ａにおける、上記注視位置を示すマーカーの表示位置を算出する（Ｓ２５）。Ｓ２５にて、算出されたマーカーの表示位置の情報は、管理サーバー４００からＨＭＤ２０１Ａに出力され、ＨＭＤ２０１Ａは、演算部４０３にて算出された上記表示位置に、作業者ＰＣの視線位置を示すマーカーを表示する（Ｓ２６）。
<Display on worker terminal>
Returning to FIG. 30, the description will be continued. In S23, when the
ここで、図３７は、管理サーバー４００での処理の詳細な流れを示すフローチャートである。なお、管理サーバー４００では、Ｓ２５の工程に先立ち、上記したＳ２２の領域検出工程が行われているが、Ｓ２２では、上述したように、領域検出部４０２により、時間的に異なるタイミングでパターンマッチング処理が行われている（Ｓ２２−１、Ｓ２２−３参照）。そして、次に（例えばＳ２２−３で）パターンマッチングを行う際に、加速度センサ３８での姿勢検出結果に基づき、前回のパターンマッチングを行う範囲に対して、次にパターンマッチングを行う範囲の位置や大きさをどうするか、決定している（Ｓ２２−２参照）。この点は、図３４および図３５に基づいて説明した通りである。
Here, FIG. 37 is a flowchart showing a detailed flow of processing in the
上記したＳ２５の工程は、位置変化量検出工程（Ｓ２５−１）と、表示位置決定工程（Ｓ２５−２）とを含む。Ｓ２５−１では、演算部４０３は、時間的にずれて行われる各パターンマッチングの結果に基づいて、ＨＭＤ２０１Ａでの撮影（Ｓ２１）によって取得された動画上での（撮像画像全体に対する）、Ｓ２２にて検出された注目領域の位置の変化量を検出する。そして、Ｓ２５−２では、Ｓ２５−１で検出された上記変化量と、Ｓ２４で取得された、ＨＭＤ２０１Ｃの作業者ＰＣの注視位置と、ＨＭＤ２０１Ａの撮像特性および表示特性とに基づいて、ＨＭＤ２０１Ａにおけるマーカーの表示位置を決定する。ここで、ＨＭＤ２０１Ａが、外界を撮影する撮像装置３１（カメラ）と、作業者ＰＡに観察可能な画像（虚像）を提示する映像表示装置２０２Ａとを含む構成では、上記撮像特性は、上記撮像装置３１の撮像特性（例えば焦点距離（撮影画角、解像度（撮像素子の画素数））であり、上記表示特性は、上記映像表示装置２０２Ａの表示特性（例えば焦点距離（表示画角、解像度（表示素子５（図３参照）の画素数））である。なお、これらの撮像特性および表示特性は、ＨＭＤ２０１Ａに固有の情報であり、予めわかっている情報である。
The process of S25 described above includes a position change detection process (S25-1) and a display position determination process (S25-2). In S25-1, on the basis of the result of each pattern matching performed in a temporally shifted manner, the
Ｓ２５−１にて、動画上での上記注目領域の位置の変化量がわかると、撮像装置３１の焦点距離の情報を使えば、上記変化量を、撮像装置３１から見た方向（縦方向および横方向の角度（画角））の変化量に換算することができる。さらに、映像表示装置２０２Ａの焦点距離の情報を使えば、注目領域の位置の変化後の「撮像装置３１から見た方向」が、映像表示装置２０２Ａにおいて表示素子５上のどの画素に対応するかがわかる。
If the amount of change in the position of the attention area on the moving image is known in S25-1, the information on the focal length of the
したがって、Ｓ２６にて、表示素子５の上記画素を中心とする範囲にマーカーを表示することにより、作業者ＰＡの向きに関係なく（作業者ＰＡがどの方向を向いていても）、作業者ＰＡから見てデバイスＯＢ上の同じに位置にマーカーを表示させ続けることができる。
Therefore, by displaying a marker in a range centered on the above-mentioned pixel of the
以上のように、作業者ＰＡが作業中に動き、それに伴って、撮影によって取得される動画中で撮影対象（デバイスＯＢ）の位置が動く場合でも、ＨＭＤ２０１Ｃでは、ＨＭＤ２０１Ａで取得された動画のうちで、基準画像に対応する注目領域の画像、つまり、撮影対象の位置がほとんど変化しない画像が表示される。これにより、作業者ＰＣは、表示画像を注視しても映像酔いを起こしにくくなり、表示画像に基づいて、視線による指示を的確に出すことが可能となる。
As described above, even if the worker PA moves while working and the position of the object to be photographed (device OB) moves in the moving image acquired by photographing along with it, in the
また、ＨＭＤ２０１Ａでは、注目領域の検出結果と、作業者ＰＣの表示画像に対する注視位置と、ＨＭＤ２０１Ａの撮像特性および表示特性とに基づいて算出される位置に、上記注視位置を示すマーカーＭＣが表示されるため、作業者ＰＡの姿勢が作業中に変化しても、ＨＭＤ２０１Ａの表示領域内で、作業者ＰＣの注視位置と対応する適切な位置に（デバイスＯＢに対してほとんど同じ位置に）、マーカーＭＣを表示させ続けることができる。これにより、作業者ＰＡは、作業中に動きながらでも、表示されたマーカーＭＣを見て、作業者ＰＣからの視線による指示を的確に把握して、デバイスＯＢに対して作業を行うことが可能となる。
Further, in the
特に、マーカーＭＣの表示位置を算出するＳ２５の工程は、位置変化量検出工程（Ｓ２５−１）と、表示位置決定工程（Ｓ２５−２）とを含んでいるため、ＨＭＤ２０１ＡでのマーカーＭＣの正しい表示位置を確実に算出することができる。
In particular, since the process of S25 for calculating the display position of the marker MC includes the position change detection process (S25-1) and the display position determination process (S25-2), the marker MC in the
なお、ＨＭＤ２０１Ａの映像表示装置２０２Ａは、表示素子５（例えば液晶表示素子）とＨＯＥ２３とを用いて使用者に観察可能な虚像を提示する表示装置で構成されているが、ＭＥＭＳ（Micro Electro Mechanical Systems）スキャナを用いた網膜走査式の表示装置で構成されていてもよい。後者の場合、映像表示装置の表示特性としては、上記スキャナの特性（例えば走査速度）を考えればよい。
In addition, although the
また、ＨＭＤ２０１Ｃの表示画像は動画を含み、上記動画は、ＨＭＤ２０１Ａで取得した動画から、基準画像に対応する注目領域を切り抜き、変形することによって、予め設定された透過率で基準画像（静止画）と重ね合わせて表示される。作業者ＰＣは、表示された動画を見ることで、作業者ＰＡの作業をリアルタイムで把握することができる。また、動画が所定の透過率で基準画像と重ね合わされて表示されるため、作業者ＰＡの手や工具などで撮影対象（例えばデバイスＯＢ）が遮蔽される状態であっても、作業者ＰＣには基準画像が透けて見える。これにより、作業者ＰＣは、基準画像をもとに視線による指示を出し続けることができる。さらに、ＨＭＤ２０１Ａで取得される動画において、基準画像に対応する範囲が、作業者ＰＡの作業中の動き（例えばデバイスＯＢに対して近づく／遠ざかる動き）に応じて変化（例えば拡大または縮小）する場合でも、作業者ＰＣは、基準画像と重ね合わされて表示される変形後（例えば縮小後または拡大後）の動画を見て、視線による的確な指示を出すことが可能となる。
In addition, the display image of the
また、Ｓ２２の領域検出工程では、ＨＭＤ２０１Ａで取得した動画に対して、基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって注目領域を検出するとともに、個々の分割画像のパターンマッチングの結果に応じて、検出した注目領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形する（図３１、図３２参照）。複数の分割画像を用いたパターンマッチングにより、注目領域を迅速に検出することができる。また、個々の分割画像のパターンマッチングの結果に応じて、検出した注目領域の動画を変形するため、作業者ＰＡが作業中に動いて、ＨＭＤ２０１Ａと撮影対象（デバイスＯＢ）との位置関係（例えば距離）が変動しても、撮影対象が所望の形状となる注目領域を取得することができる。
Further, in the area detection step of S22, a notable area is detected by performing pattern matching on the moving image acquired by the
また、Ｓ２２の領域検出工程では、ＨＭＤ２０１Ａで取得した動画に対して、基準画像をキーとしたパターンマッチングを行うことによって注目領域を検出してもよい（図３６参照）。この場合は、基準画像そのものを用いたパターンマッチングにより、注目領域を検出することができる。
Further, in the area detection step of S22, the attention area may be detected by performing pattern matching on the moving image acquired by the
また、ＨＭＤ２０１Ａは、作業者ＰＡの姿勢変化を検出する第１端末側検出器としての加速度センサ３８を含み、Ｓ２２の領域検出工程では、加速度センサ３８による姿勢変化の検出結果に応じて、ＨＭＤ２０１Ａで取得した動画中で、パターンマッチングを行う範囲を変化させる（図３４、図３５参照）。例えば、図３４のように、作業者ＰＡの姿勢変化が遅い場合には（移動量が少ない場合には）、ＨＭＤ２０１Ａで取得した動画中でパターンマッチングを行う範囲５０２を狭めることで、パターンマッチングの計算量を減らして迅速な処理を行うことが可能となる。逆に、図３５のように、作業者ＰＡの姿勢変化が速い場合には（移動量が多い場合には）、動画中でパターンマッチングを行う範囲５０２を広げることで、動画の広範囲から基準画像に対応する注目領域を検出することが可能となる。つまり、作業者ＰＡの姿勢変化が速い場合に、パターンマッチングの範囲が狭いと、その範囲内に基準画像に対応する注目領域が入っていない可能性があるが、パターンマッチングの範囲５０２を広げることで、そのような事態を回避することができる。
In addition, the
また、複数の情報入出力端末２００は、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂにて取得される情報を管理する管理サーバー４００を含み、管理サーバー４００（特に保持部４０１）が、ＨＭＤ２０１Ａで取得した静止画の一部を基準画像として保持する。この場合、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂにおいて、基準画像を保持する大容量のメモリを設けなくても済み、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂの製造コストを低減できる。
In addition, the plurality of information input /
また、管理サーバー４００（特に領域検出部４０２、演算部４０３）が、基準画像に対応する注目領域を検出するとともに、マーカーＭＣの表示位置を算出する。この場合、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂで上記の各処理を行わなくても済み、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂの処理負担を軽減できる。また、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂにおいて、上記各処理を行うための高性能な処理部が不要であるため、ＨＭＤ２０１ＡおよびＨＭＤ２０１Ｂの製造コストのさらなる低減が可能となり、また、これらの端末の大型化および重量化も回避することが可能となる。
Further, the management server 400 (in particular, the
また、ＨＭＤ２０１Ｃは、シースルー型のＨＭＤであるため、作業者ＰＣは、ＨＭＤ２０１Ｃを装着して外界をシースルーで観察し、作業者ＰＡと協働して作業を行いながら、視線による指示を出すことができる。
In addition, since the
なお、作業者ＰＡの作業中には、作業者ＰＡの手や工具が撮影画像に映り込む。また、手や工具によってデバイスＯＢの一部が遮られた状態で、デバイスＯＢが撮影される。このような撮影画像が取得されると、基準画像とのパターンマッチングの計算が正しくできない領域が生じる。パターンマッチングの計算の結果、基準画像とのマッチングがベストな位置でも、相関が低い領域（パターンマッチングの計算が正しくできない領域）については計算結果を破棄し、パターンマッチングの計算ができた領域の情報と、上記相関が低い領域について、その前の時刻に撮影された画像中で対応する領域との相対位置関係の情報とを使って補完してもよい。 During the work of the worker PA, the hands and tools of the worker PA are reflected in the photographed image. Also, the device OB is photographed in a state in which a part of the device OB is blocked by a hand or a tool. When such a photographed image is acquired, an area in which the calculation of pattern matching with the reference image can not be correctly generated. As a result of the pattern matching calculation, even in the position where the matching with the reference image is the best, the calculation result is discarded for the area where the correlation is low (the area where the pattern matching calculation can not be correctly performed). And the above-mentioned area with low correlation may be complemented using information of relative positional relationship with the corresponding area in the image captured at the previous time.
また、手や工具によってデバイスＯＢが一時的に遮蔽される以外に、作業によってデバイスＯＢの状態が変化することによっても、パターンマッチングの計算が正しくない領域が生じる。なお、上記デバイスＯＢの状態の変化は、例えばデバイスＯＢからネジを取り外したり、逆にネジを取り付けたりする作業によって起こり得る。パターンマッチングの計算が正しく検出できる領域が減った場合、例えば管理サーバー４００は作業者ＰＣのＨＭＤ２０１Ｃに注意を表示させる指示を出し、作業者ＰＣに基準画像の更新を促す。作業者ＰＣはこの注意を見て、きりの良いところで協働作業を中断する。そして、作業開始時と同様の手順で、基準画像が再取得される。
In addition to temporary shielding of the device OB by a hand or a tool, a change in the state of the device OB due to work also causes an area where the pattern matching calculation is not correct. Note that the change in the state of the device OB can occur, for example, by an operation of removing a screw from the device OB or attaching a screw. If the area in which the pattern matching calculation can be correctly detected decreases, for example, the
以上では、基準画像とのパターンマッチングによる注目領域の検出処理、およびＨＭＤ２０１Ａにおけるマーカーの表示位置の算出処理を、管理サーバー４００（領域検出部４０２、演算部４０３）で行うようにしているが、作業者ＰＡ側のＨＭＤ２０１Ａまたは指示者（作業者ＰＣ）側のＨＭＤ２０１Ｃの画像処理部３３にて行ってもよい。ただし、処理が重たくなってＨＭＤ２０１Ａ・２０１Ｃでの表示が遅延したり、高機能の画像処理部３３の搭載によるＨＭＤ２０１Ａ・２０１Ｃの大型化やコストアップを防ぐ意味では、本実施例のように上記の各処理を管理サーバー４００で行うことが望ましい。
In the above, the management server 400 (
＜実施例２＞
図３８は、本実施例におけるＨＭＤ２０１Ｃの表示画像を示している。本実施例では、ＨＭＤ２０１Ｃに表示する画像を静止画とした以外は、実施例１と同様である。上記画像（静止画）は、同図に示すように、基準画像Ｒそのものであってもよいし、基準画像Ｒを所定の時間間隔で更新した画像であってもよいし、作業者ＰＣの操作部３９の操作によって更新される画像であってもよい。
Example 2
FIG. 38 shows a display image of the
本実施例では、作業者ＰＡの作業中に、ＨＭＤ２０１Ａの撮像装置３１によって撮影されるリアルタイム映像（動画）は、どこにも表示されないが、ＨＭＤ２０１Ａでの動画の取得と、パターンマッチングによる注目領域の検出は行って、マーカー表示位置の計算に使用する。
In the present embodiment, the real-time video (moving image) captured by the
このようにＨＭＤ２０１Ｃでの表示画像が静止画（例えば基準画像Ｒ）であっても、作業者ＰＣは、表示された静止画を見て、視線による指示を出すことができる。また、表示画像が、基準画像の更新画像（所定の時間間隔で更新または手動で更新される画像）であれば、撮影対象であるデバイスＯＢに対する作業が進んでデバイスＯＢの状態が初期と変化する場合でも（例えばネジが外される、ネジが取り付けられるなど）、作業者ＰＣは、更新画像を見て、作業状況に合った的確な指示を出すことができる。
As described above, even if the display image on the
なお、基準画像を更新する場合にも、実施例１と同様のパターンマッチングを利用して初期と同じ範囲（デバイスＯＢ）が見え続けるようにする。このとき、基準画像に一時的な遮蔽物（作業者ＰＡの手や工具）が映り込んでしまうこともあるが、この場合には、例えば、作業者ＰＣが必要に応じてＨＭＤ２０１Ｃの操作部３９を操作して、例えばＨＭＤ２０１Ａに指示を出すことで、ＨＭＤ２０１Ａにて改めて基準画像を取得（更新）することが可能である。
Even when the reference image is updated, the same range (device OB) as the initial state is kept visible by using the pattern matching similar to that of the first embodiment. At this time, a temporary shield (the hand or tool of the operator PA) may be reflected in the reference image. In this case, for example, the operator PC operates the
＜実施例３＞
図３９は、本実施例におけるＨＭＤ２０１Ｃの表示画像を示している。本実施例では、作業者ＰＣのＨＭＤ２０１Ｃに動画が表示されるが、この表示画像（動画）が、ＨＭＤ２０１Ａで取得した動画から、基準画像に対応する注目領域を切り抜き、該動画に含まれる撮影対象（デバイスＯＢ）が所望の形状となるように変形することによって、予め設定されたサイズで基準画像と対応する位置に表示される点で、実施例１とは異なっている。すなわち、本実施例では、実施例１で基準画像Ｒと重ね合わせる注目領域の画像Ｔの透明度をゼロとした場合と同じであり、これによって注目領域の画像Ｔのみ（動画のみ）が表示される（基準画像Ｒが注目領域の画像Ｔで隠れて見えなくなる）。
Example 3
FIG. 39 shows a display image of the
ＨＭＤ２０１Ｃにて上記のように注目領域の画像Ｔを動画で表示することにより、作業者ＰＣは、動画（画像Ｔ）に含まれるデバイスＯＢに対する作業者ＰＡの作業をリアルタイムで把握することができる。また、ＨＭＤ２０１Ｃにおける表示画像は、ＨＭＤ２０１Ａで取得した動画から基準画像に対応する範囲を切り抜き、変形することによって、予め設定されたサイズで表示されるため、ＨＭＤ２０１Ａで取得される動画において、基準画像に対応する範囲が作業者ＰＡの作業中の動き（例えばデバイスＯＢに対して近づく／遠ざかる動き）に応じて変化（例えば拡大または縮小）する場合でも、作業者ＰＣは、表示される変形後（例えば縮小後または拡大後）の動画を見て、視線による的確な指示を出すことが可能となる。
By displaying the image T of the attention area as a moving image in the
＜実施例４＞
実施例１では、作業者ＰＣのＨＭＤ２０１Ｃに映像Ｖ（２０２Ｃ）を表示する位置は、初期に調整した位置から変化しないが、本実施例では、作業者ＰＣが姿勢（向き）を変えると、それに応じて、映像Ｖ（２０２Ｃ）の表示位置（特に注目領域の画像の表示位置）を変えるようにしている。
Example 4
In the first embodiment, the position at which the image V (202C) is displayed on the
例えば図４０および図４１は、作業者ＰＣがデバイスＯＢに近づいたときの作業者ＰＣの視界であって、図４０は、注目領域の画像Ｔの表示位置が初期から変化しない場合を示し、図４１は、上記表示位置を変化させた場合を示している。作業者ＰＣがデバイスＯＢに近づくと、作業者ＰＣの視界中では、デバイスＯＢが大きく視認されるため、注目領域の画像Ｔの表示位置が固定されていると、図４０のように、視認されるデバイスＯＢと、表示される注目領域の画像Ｔとで重なる部分が生じ、作業者ＰＣはこの重なり部分を視認することが困難となる。 For example, FIG. 40 and FIG. 41 show the visual field of the worker PC when the worker PC approaches the device OB, and FIG. 40 shows a case where the display position of the image T of the attention area does not change from the beginning. 41 shows the case where the display position is changed. When the worker PC approaches the device OB, the device OB is greatly viewed in the field of view of the worker PC. Therefore, if the display position of the image T of the attention area is fixed, it is viewed as shown in FIG. The overlapping portion occurs between the device OB and the image T of the displayed attention area, and it becomes difficult for the worker PC to visually recognize this overlapping portion.
本実施例では、ＨＭＤ２０１Ｃにおいて、加速度センサ３８（第２端末側検出器）によって作業者ＰＣの姿勢変化が検出されたときに、制御部４０が、図４１に示すように、ＨＭＤ２０１Ｃで表示される注目領域の画像Ｔが、作業者ＰＣから見て空間中の同じ位置に見えるように、加速度センサ３８の検出結果に応じて、注目領域の画像Ｔの表示位置を移動させる。これにより、作業者ＰＣの姿勢が変化した場合でも、作業者ＰＣの視界内の撮影対象（デバイスＯＢ）に対して表示画像（注目領域の画像Ｔ）を離して表示させることができ、視界内でデバイスＯＢと表示画像とが重なって作業者ＰＣが視認困難となる事態を回避することができる。なお、この場合のＨＭＤ２０１Ｃの制御部４０は、映像表示装置２０２Ｃでの情報の表示を制御する表示制御部として機能している。
In the present embodiment, when a change in posture of the worker PC is detected by the acceleration sensor 38 (second terminal detector) in the
なお、作業者ＰＣから表示される画像（虚像）までの距離を予め設定しておけば、加速度センサの情報（検出結果）と設定した上記距離とに基づいて、注目領域の画像Ｔの表示位置を、視界内のデバイスＯＢとは重ならない適切な位置に移動させることができる。このとき、作業者ＰＣからデバイスＯＢまでの距離と、作業者ＰＣから表示画像までの距離とで、設定に大きな差異が生じると、実物（デバイスＯＢ）と表示画像との、作業者ＰＣの視界内での相対的な位置関係を維持することができなくなる。このため、差異が大きくならないように上記各距離を設定しておくことが必要である。 If the distance from the worker PC to the image (virtual image) displayed is set in advance, the display position of the image T of the attention area based on the information (detection result) of the acceleration sensor and the set distance. Can be moved to an appropriate position that does not overlap with the device OB in view. At this time, if a large difference occurs in the setting between the distance from the worker PC to the device OB and the distance from the worker PC to the display image, the visual field of the worker PC between the real thing (device OB) and the display image It becomes impossible to maintain the relative positional relationship within. For this reason, it is necessary to set each of the above distances so that the difference does not increase.
また、加速度センサ３８の情報にノイズが含まれると、画像の表示位置が小刻みに動いて（表示位置が急激に変化して）見づらくなる。表示位置の急激な変化を避けるために、加速度センサ３８が検出した動きに対して、表示位置の移動を遅延させ、また、その前後の時間の姿勢情報を平均して均すことによって、小刻みな動きを抑制することが望ましい。表示位置の変化率や変化量が大きいときには、予め決めた変化率や変化量の上限値を超える分について、次の時間で表示位置を動かすようにすれば、表示位置の急激な変化が起こらないようにすることができる。
In addition, when noise is included in the information of the
つまり、ＨＭＤ２０１Ｃでは、制御部４０が、注目領域の画像の表示位置を変化させる前後での上記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、表示位置の移動を制御することが望ましい。なお、上記の変化率とは、所定時間内での表示位置の変化の割合（表示位置の変化量／所定時間）のことである。上記の表示制御により、表示画像の急激な移動（小刻みな動き）を抑えて、表示画像が見にくくなる事態を低減することができる。
That is, in the
＜実施例５＞
本実施例では、作業者ＰＣの姿勢の変化に応じて、作業者ＰＡのＨＭＤ２０１Ａで取得される動画から切り抜く領域を変えて、ＨＭＤ２０１Ｃに表示させるようにしている。
Example 5
In the present embodiment, according to the change of the posture of the worker PC, the region to be cut out from the moving image acquired by the
例えば、図４２は、姿勢変化前の作業者ＰＣの視界を示しており、図４３は、図４２において映像Ｖ（２０２Ｃ）として表示される領域に加え、映像として表示されない非表示部分を参考のために破線で示したものである。本実施例では、基準画像がデバイスＯＢの一部となっており、ＨＭＤ２０１Ｃには、映像Ｖ（２０２Ｃ）として、基準画像に対応する注目領域の画像（ここでは作業者ＰＡから見てデバイスＯＢの左上の部分）が表示されている。
For example, FIG. 42 shows the field of view of the worker PC before the posture change, and FIG. 43 shows the non-display part not displayed as a video in addition to the area displayed as a video V (202C) in FIG. For the sake of clarity. In the present embodiment, the reference image is a part of the device OB, and the
図４４は、作業者ＰＣが右上方向に顔を向けたときの作業者ＰＣの視界を示しており、図４５は、図４４において映像Ｖ（２０２Ｃ）’として表示される領域に加え、映像として表示されない非表示部分を参考のために破線で示したものである。作業者ＰＣが図４２の表示画像（映像Ｖ（２０２Ｃ））の少し外側を確認したい場合、見たい方向（ここでは右上方向）に顔を向ける。すると、ＨＭＤ２０１Ｃの加速度センサ３８は、このような作業者ＰＣの姿勢変化を検出する。そして、ＨＭＤ２０１Ｃの制御部４０は、加速度センサ３８による姿勢変化の検出結果と、作業者ＰＡのＨＭＤ２０１Ａで取得された動画からの注目領域の検出結果とに基づき、ＨＭＤ２０１Ａで取得された上記動画内で基準画像に対応する注目領域から、作業者ＰＣの姿勢変化量と対応する量だけずれた範囲の動画を、映像表示装置２０２Ｃにおいて、図４２で示した上記注目領域の画像の表示位置から上記姿勢変化量と対応する量だけずれた位置に映像（Ｖ２０２Ｃ’）として表示させる。
FIG. 44 shows the visual field of the worker PC when the worker PC turns the face in the upper right direction, and FIG. 45 is added as an image to the area displayed as the image V (202C) 'in FIG. The non-displayed parts which are not displayed are shown by broken lines for reference. When the worker PC wants to confirm a little outside of the display image (image V (202C)) of FIG. 42, the face is turned in the direction to be viewed (here, the upper right direction). Then, the
このように作業者ＰＣのＨＭＤ２０１Ｃでは、作業者ＰＣの姿勢変化に応じて、基準画像に対応する注目領域からずれた範囲の動画が映像（Ｖ２０２Ｃ’）として表示されるため、作業者ＰＣは、基準画像に対応する注目領域以外の動画を観察することが可能となる。言い換えれば、作業者ＰＣの姿勢変化により、画像として見える範囲を変更することができる。
As described above, in the
なお、本実施例においても、実施例４と同様の表示制御を行ってもよい。つまり、ＨＭＤ２０１Ｃでは、制御部４０が、画像の表示位置を移動させる前後での上記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、上記表示位置の移動を制御してもよい。この場合、作業者ＰＣの姿勢変化による表示画像の急激な移動を抑えて、表示画像が見にくくなる事態を低減することができる。
Also in the present embodiment, display control similar to that of the fourth embodiment may be performed. That is, in the
なお、基準画像に対応する注目領域から外れた位置では、作業者ＰＡの姿勢変化に応じて映像を歪ませる情報が存在しないので、歪みの情報のうち一律な倍率変化のみを与えた状態で表示を行うことによって、基準画像がある範囲（注目領域）とその外側とで画像の不連続性が発生しないようにする。その代わりに、作業者ＰＡの姿勢変化による映像の歪みは、作業者ＰＣの見ている映像で発生してしまうことになるが、領域が固定されている分、リアルタイム映像をそのまま表示する場合に比べれば、注視はしやすくなっている。 At a position outside the attention area corresponding to the reference image, there is no information for distorting the image according to the change in posture of the worker PA, so display is performed with only a uniform change in magnification among distortion information. To prevent image discontinuities from occurring in the area where the reference image is (the area of interest) and outside the area. Instead, the distortion of the image due to the posture change of the worker PA will occur in the image viewed by the worker PC, but when the area is fixed, the real time image is displayed as it is In comparison, it is easier to look at.
＜実施例６＞
本実施例では、上述したＨＭＤ２０１Ｃでの注目領域の画像の表示方法を、ＨＭＤ２０１Ａにも適用し、また、ＨＭＤ２０１Ａでのマーカーの表示方法を、ＨＭＤ２０１Ｃにも適用した例について説明する。
Example 6
In the present embodiment, an example will be described in which the method of displaying an image of a region of interest in the
本実施例では、まず、作業者ＰＣの静止状態で基準画像（第２端末側基準画像）を取得する処理が行われる。この処理の流れは、図２７と同様である。すなわち、作業者ＰＣが静止した状態で、ＨＭＤ２０１Ｃ（撮像装置３１）での撮影によって、デバイスＯＢを含む外界を撮影し、画像を取得する（Ｓ１１）。そして、上記画像から、該画像の一部の領域（デバイスＯＢの画像を含む）を切り出し、これを静止画の基準画像（第２端末側基準画像）として取得する（Ｓ１２）。その後、取得した基準画像を管理サーバー４００（保持部４０１）にて保持する（Ｓ１３）。
In the present embodiment, first, a process of acquiring a reference image (second terminal-side reference image) is performed in a stationary state of the worker PC. The flow of this process is the same as that of FIG. That is, in a state where the worker PC stands still, the outside including the device OB is photographed by photographing with the
図４６は、本実施例の視線情報管理システムにおいて、指示者側端末および作業者側端末での画像表示に係る処理の流れを示すフローチャートである。まず、作業者ＰＣのＨＭＤ２０１Ｃにおいて、撮像装置３１の撮影によって動画を取得する（Ｓ３１；動画取得工程）。作業者ＰＣがデバイスＯＢに対して作業する場合、そのデバイスＯＢに対する作業の様子が撮像装置３１によって動画撮影される。動画撮影によって取得される情報（動画の画像データ）は、ＨＭＤ２０１Ｃの通信部３４を介して管理サーバー４００に出力され、保持部４０１にて記憶される。
FIG. 46 is a flowchart showing a flow of processing relating to image display in the instructor terminal and the worker terminal in the line-of-sight information management system of the present embodiment. First, in the
管理サーバー４００では、領域検出部４０２がパターンマッチング処理を行うことにより、ＨＭＤ２０１Ｃにて撮影された動画の中で基準画像に対応する注目領域を検出する（Ｓ３２；領域検出工程）。領域検出部４０２によって検出された注目領域の情報（画像データ）は、通信部４０４を介して作業者ＰＡのＨＭＤ２０１Ａに出力される。これにより、ＨＭＤ２０１Ａでは、検出された注目領域を表す画像、すなわち、ＨＭＤ２０１Ｃ側から見たデバイスＯＢの画像が表示される（Ｓ３３；画像表示工程）。
In the
続いて、ＨＭＤ２０１Ａでは、視線検出装置３２により、表示画像（注目領域の画像）に対する作業者ＰＡの視線方向を検出して注視位置を求める（Ｓ３４；視線検出工程）。検出した視線方向に関する情報が管理サーバー４００に出力されると、演算部４０３は、Ｓ３２での領域検出部４０２による注目領域の検出結果と、ＨＭＤ２０１Ａの作業者ＰＡの上記注視位置と、ＨＭＤ２０１Ｃの撮像装置３１の撮像特性および映像表示装置２０１Ｃの表示特性とに基づいて、ＨＭＤ２０１Ｃにおける、上記注視位置を示すマーカーＭＡ（図２２参照）の表示位置を算出する（Ｓ３５）。算出されたマーカーＭＡの表示位置の情報は、管理サーバー４００からＨＭＤ２０１Ｃに出力され、ＨＭＤ２０１Ｃは、演算部４０３にて算出された上記表示位置に、作業者ＰＡの視線位置を示すマーカーＭＡを表示する（Ｓ３６）。
Subsequently, in the
以上のように、ＨＭＤ２０１Ａでは、ＨＭＤ２０１Ｃで取得された動画のうちで、第２端末側基準画像に対応する所定の領域の画像が表示されるため、作業者ＰＣが作業中に動いたとしても、上記領域に含まれる撮影対象（デバイスＯＢ）を、その表示位置をほとんど変えずに表示させることができる。これにより、作業者ＰＡは、表示画像の注視による映像酔いを起こしにくくなる。
As described above, in the
また、作業者ＰＣの姿勢が作業中に変化しても、ＨＭＤ２０１Ｃの表示領域内で、作業者ＰＡの注視位置と対応する適切な位置に（デバイスＯＢに対してほとんど同じ位置に）、マーカーＭＡを表示させ続けることができるので、作業者ＰＣは、作業中に動きながらでも、表示されたマーカーＭＡを見て、作業者ＰＡからの視線による指示や応答を的確に把握し、必要に応じて視線による追加の指示を作業者ＰＡに出すことが可能となる。
Also, even if the posture of the worker PC changes during work, the marker MA is placed at an appropriate position corresponding to the gaze position of the worker PA (at almost the same position with respect to the device OB) within the display area of the
以上のことから、本実施形態で説明した視線情報共有方法は、以下のように表現することができる。また、上記視線情報共有方法を使用する本実施形態のシステムは、以下の視線情報検出システムとして表現することができる。 From the above, the gaze information sharing method described in the present embodiment can be expressed as follows. In addition, the system of the present embodiment using the above-described gaze information sharing method can be expressed as the following gaze information detection system.
本実施形態の視線情報共有方法は、通信回線を介して接続される複数の情報入出力端末を含むシステムにおける視線情報共有方法であって、前記複数の情報入出力端末は、外界を撮影して画像を取得可能なシースルー型のヘッドマウントディスプレイである第１端末と、情報の表示および使用者の視線方向の検出が可能な第２端末とを含み、該視線情報共有方法は、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する工程と、前記第１端末での撮影によって動画を取得する工程と、前記第１端末で取得された前記動画から、前記基準画像に対応する領域を検出する工程と、前記第２端末において、検出された前記領域を表す画像を表示する工程と、前記第２端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、前記第１端末において、算出された前記表示位置に前記マーカーを表示する工程とを含む。 The line-of-sight information sharing method of the present embodiment is a line-of-sight information sharing method in a system including a plurality of information input / output terminals connected via a communication line, wherein the plurality of information input / output terminals The first terminal is a see-through head mount display capable of acquiring an image, and a second terminal capable of displaying information and detecting a gaze direction of a user, wherein the gaze information sharing method comprises: Holding a part of the still image acquired in advance by photographing with the first terminal as a reference image, and acquiring a moving image by photographing with the first terminal in a state where the user of A step of detecting an area corresponding to the reference image from the moving image acquired by the first terminal; a step of displaying an image representing the detected area by the second terminal; end Detecting the gaze direction of the user with respect to the display image to obtain the gaze position, the detection result of the area, the gaze position of the user of the second terminal, and the imaging characteristic and display of the first terminal And calculating the display position of the marker indicating the gaze position in the first terminal based on the characteristic, and displaying the marker at the calculated display position in the first terminal.
上記の視線情報共有方法において、前記第２端末で表示される前記画像は、動画を含み、前記動画は、前記第１端末で取得した動画から、前記基準画像に対応する前記領域を切り抜き、変形することによって、予め設定された透過率で前記基準画像と重ね合わせて表示されてもよい。 In the gaze information sharing method described above, the image displayed on the second terminal includes a moving image, and the moving image cuts out the area corresponding to the reference image from the moving image acquired on the first terminal, By doing this, the image may be displayed superimposed on the reference image with a preset transmittance.
上記の視線情報共有方法において、前記第２端末で表示される前記画像は、静止画であり、前記基準画像そのもの、もしくは、前記基準画像を所定の時間間隔で更新した画像、または前記第２端末の使用者の操作によって更新される画像であってもよい。 In the gaze information sharing method described above, the image displayed on the second terminal is a still image, and the reference image itself, or an image obtained by updating the reference image at predetermined time intervals, or the second terminal The image may be updated by the user's operation of
上記の視線情報共有方法において、前記第２端末で表示される前記画像は、動画であり、前記第１端末で取得した動画から、前記基準画像に対応する前記領域を切り抜き、変形することによって、予め設定されたサイズで前記基準画像と対応する位置に表示されてもよい。 In the gaze information sharing method described above, the image displayed on the second terminal is a moving image, and the region corresponding to the reference image is cut out and deformed from the moving image acquired on the first terminal. It may be displayed at a position corresponding to the reference image in a preset size.
上記の視線情報共有方法において、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器を含み、前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、表示される前記画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させてもよい。 In the line-of-sight information sharing method described above, the second terminal includes a second terminal-side detector that detects a change in posture of the user, and the second terminal-side detector changes the posture of the user in the second terminal. According to the detection result of the second terminal side detector so that the displayed image appears to the same position in the space as seen by the user of the second terminal when The display position of may be moved.
上記の視線情報共有方法において、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器を含み、前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示してもよい。 In the line-of-sight information sharing method described above, the second terminal includes a second terminal-side detector that detects a change in posture of the user, and the second terminal-side detector changes the posture of the user in the second terminal. Within the moving image acquired by the first terminal based on the detection result of the posture change and the detection result of the area from the moving image acquired by the first terminal when Even if a moving image in a range deviated from the area corresponding to the reference image by an amount corresponding to the posture change amount of the user is displayed at a position deviated from the display position of the image of the area by an amount corresponding to the posture change amount. Good.
上記の視線情報共有方法において、前記第２端末では、画像の表示位置を移動させる前後での前記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、前記表示位置の移動を制御してもよい。 In the line-of-sight information sharing method, in the second terminal, the change rate or change amount of the display position before and after moving the display position of the image becomes equal to or less than a preset change rate or change amount. The movement of the display position may be controlled.
上記の視線情報共有方法において、前記基準画像に対応する領域を検出する工程では、前記第１端末で取得した前記動画に対して、前記基準画像をキーとしたパターンマッチングを行うことによって前記領域を検出してもよい。 In the line-of-sight information sharing method described above, in the step of detecting the area corresponding to the reference image, pattern matching is performed on the moving image acquired by the first terminal by using the reference image as a key. It may be detected.
上記の視線情報共有方法において、前記基準画像に対応する領域を検出する工程では、前記第１端末で取得した前記動画に対して、前記基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって前記領域を検出するとともに、個々の前記分割画像のパターンマッチングの結果に応じて、検出した前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形してもよい。 In the line-of-sight information sharing method described above, in the step of detecting the region corresponding to the reference image, pattern matching using a plurality of divided images included in the reference image as a key to the moving image acquired by the first terminal Detects the region, and deforms the moving image of the detected region according to the result of pattern matching of the individual divided images such that the shooting target included in the moving image has a desired shape. May be
上記の視線情報共有方法において、前記第１端末は、外界を撮影する撮像装置と、使用者に観察可能な画像を提示する表示装置とを含み、前記マーカーの表示位置を算出する工程は、時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出する工程と、上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定する工程とを含んでいてもよい。 In the line-of-sight information sharing method described above, the first terminal includes an imaging device that captures the outside world, and a display device that presents an image that can be observed to the user, and calculating the display position of the marker Detecting the amount of change in position of the detected area on the moving image acquired by photographing at the first terminal based on the result of each pattern matching performed in an offset manner; Display of the marker at the first terminal based on the amount, the gaze position of the user of the second terminal, the imaging characteristic of the imaging device of the first terminal and the display characteristic of the display device Determining the position may be included.
上記の視線情報共有方法において、前記第１端末は、使用者の姿勢変化を検出する第１端末側検出器を含み、前記基準画像に対応する領域を検出する工程では、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得した前記動画中で、パターンマッチングを行う範囲を変化させてもよい。 In the line-of-sight information sharing method described above, the first terminal includes a first terminal-side detector that detects a change in posture of a user, and in the step of detecting an area corresponding to the reference image, the first terminal-side detection The range in which pattern matching is performed in the moving image acquired by the first terminal may be changed according to the detection result of the posture change by the device.
上記の視線情報共有方法において、前記複数の情報入出力端末は、前記第１端末および前記第２端末にて取得される情報を管理する管理サーバーを含み、前記管理サーバーが、前記第１端末で取得した前記静止画の一部を前記基準画像として保持することが望ましい。 In the line-of-sight information sharing method described above, the plurality of information input / output terminals include a management server that manages information acquired by the first terminal and the second terminal, and the management server is the first terminal. It is desirable to hold a part of the acquired still image as the reference image.
上記の視線情報共有方法において、前記管理サーバーが、前記基準画像に対応する前記領域を検出するとともに、前記マーカーの表示位置を算出することが望ましい。 In the gaze information sharing method described above, it is preferable that the management server detect the area corresponding to the reference image and calculate the display position of the marker.
上記の視線情報共有方法において、前記第２端末は、シースルー型のヘッドマウントディスプレイであってもよい。 In the above gaze information sharing method, the second terminal may be a see-through head mounted display.
上記の視線情報共有方法において、前記第２端末は、外界を撮影して画像を取得可能であり、該視線情報共有方法は、前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持する工程と、前記第２端末での撮影によって動画を取得する工程と、前記第２端末で取得された前記動画から、前記第２端末側基準画像に対応する領域を検出する工程と、前記第１端末において、検出された前記領域を表す画像を表示する工程とをさらに含んでいてもよい。 In the line-of-sight information sharing method described above, the second terminal is capable of capturing an image by photographing the outside world, and the line-of-sight information sharing method relates to the second terminal while the user of the second terminal is stationary. Step of holding a part of the still image previously acquired by photographing in step as a second terminal-side reference image, step of acquiring a moving image by photographing in the second terminal, and acquiring in the second terminal The method may further include the steps of: detecting an area corresponding to the second terminal-side reference image from the moving image; and displaying an image representing the detected area in the first terminal.
上記の視線情報共有方法において、第１端末は、情報の表示および使用者の視線方向の検出が可能であり、該視線情報共有方法は、前記第１端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、前記第２端末で取得された前記動画からの前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、前記第２端末において、算出された前記表示位置に前記マーカーを表示する工程とをさらに含んでいてもよい。 In the line-of-sight information sharing method described above, the first terminal can display information and detect the line-of-sight direction of the user, and the line-of-sight information sharing method relates to the line-of-sight direction of the user with respect to the display image in the first terminal. Detecting the gaze position, detecting the region from the moving image acquired by the second terminal, the gaze position of the user of the first terminal, and the imaging characteristic of the second terminal Calculating the display position of the marker indicating the gaze position in the second terminal based on the display characteristic and the display characteristic, and displaying the marker at the calculated display position in the second terminal; It may further be included.
本実施形態の視線情報共有システムは、通信回線を介して接続される複数の情報入出力端末を含む視線情報共有システムであって、前記複数の情報入出力端末は、第１端末および第２端末を含み、前記第１端末は、外界を撮影して画像を取得する撮像装置を含むシースルー型のヘッドマウントディスプレイであり、前記第２端末は、情報を表示する表示装置と、前記表示装置によって表示された情報に対する使用者の視線方向を検出する視線検出装置とを含み、前記複数の情報入出力端末のいずれかは、前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する保持部と、前記第１端末での撮影によって動画が取得されたときに、前記動画から、前記基準画像に対応する領域を検出する領域検出部と、前記領域検出部によって検出された前記領域を表す画像が前記第２端末で表示され、前記視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する演算部とを有し、前記第１端末は、前記演算部によって算出された前記表示位置に前記マーカーを表示する。 The line-of-sight information sharing system according to the present embodiment is a line-of-sight information sharing system including a plurality of information input / output terminals connected via a communication line, wherein the plurality of information input / output terminals are a first terminal and a second terminal. And the first terminal is a see-through head mounted display including an imaging device for capturing an image by capturing the outside world, and the second terminal is a display device for displaying information and a display by the display device. A gaze detection apparatus for detecting a gaze direction of the user with respect to the stored information, and any one of the plurality of information input / output terminals is received by the first terminal while the user of the first terminal is stationary. A holding unit that holds a part of a still image acquired in advance by shooting as a reference image, and a moving image corresponding to the reference image from the moving image when the moving image is acquired by shooting with the first terminal An area detection unit for detecting an area, and an image representing the area detected by the area detection unit are displayed on the second terminal, and the gaze detection apparatus detects the gaze direction of the user with respect to the display image When the position is determined, the second detection result based on the detection result of the area by the area detection unit, the gaze position of the user of the second terminal, and the imaging characteristic and the display characteristic of the first terminal. And a calculation unit for calculating a display position of the marker indicating the gaze position in one terminal, and the first terminal displays the marker at the display position calculated by the calculation unit.
上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画から、前記基準画像に対応する前記領域を切り抜き、切り抜いた前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形し、前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定された透過率で前記基準画像と重ね合わせて表示してもよい。 In the line-of-sight information sharing system described above, the area detection unit cuts out the area corresponding to the reference image from the moving image acquired by the first terminal, and the moving image of the area cut out is included in the moving image. The display target of the second terminal displays the moving image after the deformation by the area detection unit so as to overlap the reference image with a preset transmittance, displaying the desired shape. May be
上記の視線情報共有システムにおいて、前記第２端末の前記表示装置は、前記領域検出部によって検出された前記領域を表す画像を静止画で表示し、前記静止画は、前記基準画像そのもの、もしくは、前記基準画像を所定の時間間隔で更新した画像、または前記第２端末の使用者の操作によって更新される画像であってもよい。 In the line-of-sight information sharing system described above, the display device of the second terminal displays an image representing the area detected by the area detection unit as a still image, and the still image is the reference image itself or The reference image may be an image updated at predetermined time intervals, or an image updated by an operation of the user of the second terminal.
上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画から、前記基準画像に対応する前記領域を切り抜き、切り抜いた前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形し、前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定されたサイズで前記基準画像と対応する位置に表示してもよい。 In the line-of-sight information sharing system described above, the area detection unit cuts out the area corresponding to the reference image from the moving image acquired by the first terminal, and the moving image of the area cut out is included in the moving image. The display target of the second terminal displays the moving image after deformation by the area detection unit at a position corresponding to the reference image in a preset size. May be
上記の視線情報共有システムにおいて、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器と、前記表示装置による表示を制御する表示制御部とを含み、前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記表示装置で表示される画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させてもよい。 In the line-of-sight information sharing system described above, the second terminal includes a second terminal-side detector that detects a change in posture of the user, and a display control unit that controls display by the display device. When the second terminal side detector detects a change in posture of the user, the image displayed on the display device looks like the user of the second terminal in the same position in the space. The display position of the image may be moved according to the detection result of the second terminal detector.
上記の視線情報共有システムにおいて、前記第２端末は、使用者の姿勢変化を検出する第２端末側検出器と、前記表示装置による表示を制御する表示制御部とを含み、前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記表示装置において、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示させてもよい。 In the line-of-sight information sharing system described above, the second terminal includes a second terminal-side detector that detects a change in posture of the user, and a display control unit that controls display by the display device. When the second terminal side detector detects a change in posture of the user, based on the detection result of the posture change and the detection result of the area from the moving image acquired by the first terminal Displaying the image of the area on the display device in a moving image in a range corresponding to the user's posture change amount from the area corresponding to the reference image in the moving image acquired by the first terminal; It may be displayed at a position deviated from the position by an amount corresponding to the posture change amount.
上記の視線情報共有システムにおいて、前記表示制御部は、画像の表示位置を移動させる前後での前記表示位置の変化率または変化量が、予め設定した変化率または変化量以下となるように、前記表示位置の移動を制御してもよい。 In the line-of-sight information sharing system described above, the display control unit causes the change rate or change amount of the display position before and after moving the display position of the image to be equal to or less than a preset change rate or change amount. The movement of the display position may be controlled.
上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画に対して、前記基準画像をキーとしたパターンマッチングを行うことによって前記領域を検出してもよい。 In the gaze information sharing system described above, the area detection unit may detect the area by performing pattern matching on the moving image acquired by the first terminal using the reference image as a key.
上記の視線情報共有システムにおいて、前記領域検出部は、前記第１端末で取得された前記動画に対して、前記基準画像に含まれる複数の分割画像をキーとしたパターンマッチングを行うことによって前記領域を検出するとともに、個々の前記分割画像のパターンマッチングの結果に応じて、検出した前記領域の動画を、該動画に含まれる撮影対象が所望の形状となるように変形してもよい。 In the line-of-sight information sharing system described above, the area detection unit performs pattern matching on the moving image acquired by the first terminal by using a plurality of divided images included in the reference image as keys. According to the result of pattern matching of each of the divided images, the moving image of the detected area may be deformed such that the object to be photographed included in the moving image has a desired shape.
上記の視線情報共有システムにおいて、前記第１端末は、使用者に観察可能な画像を提示する表示装置とを含み、前記演算部は、時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出し、上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定してもよい。 In the line-of-sight information sharing system described above, the first terminal includes a display device that presents an image that can be observed to the user, and the operation unit is based on the result of each pattern matching performed with a time shift. And detecting the amount of change in position of the detected area on the moving image acquired by photographing with the first terminal, and the amount of change, and the gaze position of the user of the second terminal. The display position of the marker on the first terminal may be determined based on the imaging characteristic of the imaging device of the first terminal and the display characteristic of the display device.
上記の視線情報共有システムにおいて、前記第１端末は、使用者の姿勢変化を検出する第１端末側検出器を含み、前記領域検出部は、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得された前記動画中で、パターンマッチングを行う範囲を変化させてもよい。 In the line-of-sight information sharing system described above, the first terminal includes a first terminal-side detector that detects a change in posture of the user, and the area detection unit detects a change in posture by the first terminal-side detector. In accordance with the above, the range in which pattern matching is performed may be changed in the moving image acquired by the first terminal.
上記の視線情報共有システムにおいて、前記複数の情報入出力端末は、前記第１端末および前記第２端末にて取得される情報を管理する管理サーバーを含み、前記管理サーバーが、前記保持部を含むことが望ましい。 In the line-of-sight information sharing system described above, the plurality of information input / output terminals include a management server that manages information acquired by the first terminal and the second terminal, and the management server includes the storage unit. Is desirable.
上記の視線情報共有システムにおいて、前記管理サーバーが、前記領域検出部および前記演算部を含むことが望ましい。 In the above-described gaze information sharing system, it is preferable that the management server includes the area detection unit and the calculation unit.
上記の視線情報共有システムにおいて、前記第２端末は、シースルー型のヘッドマウントディスプレイであってもよい。 In the above-described gaze information sharing system, the second terminal may be a see-through head mounted display.
上記の視線情報共有システムにおいて、前記第２端末は、外界を撮影して画像を取得する第２端末側撮像装置をさらに含み、前記保持部は、前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持し、前記領域検出部は、前記第２端末での撮影によって動画が取得されたときに、前記動画から、前記第２端末側基準画像に対応する領域を検出し、前記第１端末は、前記領域検出部にて検出された前記領域を表す画像を表示してもよい。 In the line-of-sight information sharing system described above, the second terminal further includes a second terminal-side imaging device that captures an image by capturing an outside world, and the holding unit is in a state where a user of the second terminal stands still. A part of a still image acquired in advance by shooting at the second terminal is held as a second terminal-side reference image, and the area detection unit acquires a moving image by shooting at the second terminal At the same time, an area corresponding to the second terminal-side reference image may be detected from the moving image, and the first terminal may display an image representing the area detected by the area detection unit.
上記の視線情報共有システムにおいて、前記第１端末は、第１端末側表示装置と、前記第１端末側表示装置によって表示された画像に対する使用者の視線方向を検出して注視位置を求める第１端末側視線検出装置とを含み、前記演算部は、前記領域検出部によって検出された前記領域を表す画像が前記第１端末で表示され、前記第１端末側視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出し、前記第２端末の前記表示装置は、算出された前記表示位置に前記マーカーを表示してもよい。 In the above-described gaze information sharing system, the first terminal detects a gaze direction of a user with respect to a first terminal display device and an image displayed by the first terminal display device to obtain a gaze position. A terminal side visual axis detection device, and the operation unit displays an image representing the area detected by the area detection unit on the first terminal, and a user of the display image by the first terminal visual axis detection device When the gaze position is determined by detecting the gaze direction of the object, the detection result of the area by the area detection unit, the gaze position of the user of the first terminal, and the imaging characteristic and display of the second terminal The display position of the marker indicating the gaze position in the second terminal is calculated based on the characteristic, and the display device of the second terminal displays the marker at the calculated display position. It may be.
本発明は、通信回線を介して接続される複数の情報入出力端末間で、使用者の視線情報を共有するシステムに利用可能である。 The present invention is applicable to a system that shares the user's line of sight information among a plurality of information input / output terminals connected via a communication line.
３１ 撮像装置（第２端末側撮像装置）
３２ 視線検出装置（第１端末側視線検出装置、第２端末側視線検出装置）
３８ 加速度センサ（第１端末側検出器、第２端末側検出器）
１００ 視線情報共有システム
２００ 情報入出力端末
２０１Ａ ＨＭＤ（情報入出力端末、第１端末）
２０１Ｃ ＨＭＤ（情報入出力端末、第２端末）
２０２Ａ 映像表示装置（表示装置、第１端末側表示装置）
２０２Ｃ 映像表示装置（表示装置、第２端末側表示装置）
３００ 通信回線
４００ 管理サーバー
４０１ 保持部
４０２ 領域検出部
４０３ 演算部
31 Imaging device (second terminal side imaging device)
32 Line-of-sight detector (first terminal-side line-of-sight detector, second terminal-side line-of-sight detector)
38 Acceleration sensor (1st terminal side detector, 2nd terminal side detector)
100 Line of sight
201C HMD (Information input / output terminal, 2nd terminal)
202A Video Display Device (Display Device, First Terminal Display Device)
202C Video Display Device (Display Device, Second Terminal Display Device)
300
Claims (32)
前記複数の情報入出力端末は、
外界を撮影して画像を取得可能なシースルー型のヘッドマウントディスプレイである第１端末と、
情報の表示および使用者の視線方向の検出が可能な第２端末とを含み、
該視線情報共有方法は、
前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する工程と、
前記第１端末での撮影によって動画を取得する工程と、
前記第１端末で取得された前記動画から、前記基準画像に対応する領域を検出する工程と、
前記第２端末において、検出された前記領域を表す画像を表示する工程と、
前記第２端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、
前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、
前記第１端末において、算出された前記表示位置に前記マーカーを表示する工程とを含むことを特徴とする視線情報共有方法。 A line-of-sight information sharing method in a system including a plurality of information input / output terminals connected via a communication line, comprising:
The plurality of information input / output terminals are
A first terminal which is a see-through head mounted display capable of capturing an image by capturing the outside world;
And a second terminal capable of displaying information and detecting the gaze direction of the user,
The gaze information sharing method is
Holding, as a reference image, a part of a still image acquired in advance by photographing with the first terminal while the user of the first terminal stands still;
Acquiring a moving image by photographing at the first terminal;
Detecting an area corresponding to the reference image from the moving image acquired by the first terminal;
Displaying at the second terminal an image representing the detected area;
Detecting a gaze direction of the user with respect to the display image in the second terminal to obtain a gaze position;
The display position of the marker indicating the gaze position in the first terminal based on the detection result of the area, the gaze position of the user of the second terminal, and the imaging characteristic and display characteristic of the first terminal Calculating the
Displaying the marker at the calculated display position in the first terminal.
前記動画は、前記第１端末で取得した動画から、前記基準画像に対応する前記領域を切り抜き、変形することによって、予め設定された透過率で前記基準画像と重ね合わせて表示されることを特徴とする請求項１に記載の視線情報共有方法。 The image displayed on the second terminal includes a moving image,
The moving image is displayed by being superimposed on the reference image with a preset transmittance by cutting out and deforming the region corresponding to the reference image from the moving image acquired by the first terminal. The gaze information sharing method according to claim 1.
前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、表示される前記画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させることを特徴とする請求項１から４のいずれかに記載の視線情報共有方法。 The second terminal includes a second terminal side detector that detects a change in posture of the user,
In the second terminal, when a change in the user's posture is detected by the second terminal detector, the displayed image is seen at the same position in the space as viewed from the user of the second terminal. The gaze information sharing method according to any one of claims 1 to 4, wherein the display position of the image is moved according to the detection result of the second terminal detector.
前記第２端末では、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示することを特徴とする請求項１に記載の視線情報共有方法。 The second terminal includes a second terminal side detector that detects a change in posture of the user,
In the second terminal, when the second terminal detector detects a change in posture of the user, the detection result of the change in posture and the detection of the area from the moving image acquired by the first terminal Based on the result, in the moving image acquired by the first terminal, a moving image in a range shifted from the region corresponding to the reference image by an amount corresponding to the user's posture change amount is displayed as the image of the region 2. The method according to claim 1, wherein display is performed at a position shifted from the position by an amount corresponding to the amount of change in posture.
前記マーカーの表示位置を算出する工程は、
時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出する工程と、
上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定する工程とを含むことを特徴とする請求項８または９に記載の視線情報検出方法。 The first terminal includes an imaging device that captures the outside world, and a display device that presents an image that can be observed to the user.
In the step of calculating the display position of the marker,
Detecting the amount of change in position of the detected area on the moving image acquired by imaging at the first terminal based on the result of each pattern matching performed temporally offset;
The marker in the first terminal based on the variation, the gaze position of the user of the second terminal, the imaging characteristic of the imaging device of the first terminal, and the display characteristic of the display device 10. The method according to claim 8, further comprising the step of: determining the display position of the image.
前記基準画像に対応する領域を検出する工程では、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得した前記動画中で、パターンマッチングを行う範囲を変化させることを特徴とする請求項８から１０のいずれかに記載の視線情報共有方法。 The first terminal includes a first terminal detector that detects a change in posture of a user,
In the step of detecting the region corresponding to the reference image, the range for performing pattern matching is changed in the moving image acquired by the first terminal according to the detection result of the posture change by the first terminal detector. The gaze information sharing method according to any one of claims 8 to 10, characterized in that:
前記管理サーバーが、前記第１端末で取得した前記静止画の一部を前記基準画像として保持することを特徴とする請求項１から１１のいずれかに記載の視線情報共有方法。 The plurality of information input / output terminals include a management server that manages information acquired by the first terminal and the second terminal,
The line-of-sight information sharing method according to any one of claims 1 to 11, wherein the management server holds a part of the still image acquired by the first terminal as the reference image.
該視線情報共有方法は、
前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持する工程と、
前記第２端末での撮影によって動画を取得する工程と、
前記第２端末で取得された前記動画から、前記第２端末側基準画像に対応する領域を検出する工程と、
前記第１端末において、検出された前記領域を表す画像を表示する工程とをさらに含むことを特徴とする請求項１４に記載の視線情報共有方法。 The second terminal can capture an image by capturing the outside world,
The gaze information sharing method is
Holding, as a second terminal-side reference image, a part of a still image acquired in advance by photographing with the second terminal while the user of the second terminal stands still;
Acquiring a moving image by photographing at the second terminal;
Detecting an area corresponding to the second terminal-side reference image from the moving image acquired by the second terminal;
The gaze information sharing method according to claim 14, further comprising the step of displaying an image representing the detected area in the first terminal.
該視線情報共有方法は、
前記第１端末において、表示画像に対する使用者の視線方向を検出して注視位置を求める工程と、
前記第２端末で取得された前記動画からの前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出する工程と、
前記第２端末において、算出された前記表示位置に前記マーカーを表示する工程とをさらに含むことを特徴とする請求項１５に記載の視線情報共有方法。 The first terminal is capable of displaying information and detecting the gaze direction of the user,
The gaze information sharing method is
Detecting a gaze direction of a user with respect to a display image in the first terminal to obtain a gaze position;
The second detection result based on the detection result of the area from the moving image acquired by the second terminal, the gaze position of the user of the first terminal, and the imaging characteristic and the display characteristic of the second terminal. Calculating a display position of the marker indicating the gaze position in the terminal;
The method according to claim 15, further comprising the step of displaying the marker at the calculated display position in the second terminal.
前記複数の情報入出力端末は、第１端末および第２端末を含み、
前記第１端末は、外界を撮影して画像を取得する撮像装置を含むシースルー型のヘッドマウントディスプレイであり、
前記第２端末は、情報を表示する表示装置と、前記表示装置によって表示された情報に対する使用者の視線方向を検出する視線検出装置とを含み、
前記複数の情報入出力端末のいずれかは、
前記第１端末の使用者が静止した状態で、前記第１端末での撮影によって事前に取得された静止画の一部を、基準画像として保持する保持部と、
前記第１端末での撮影によって動画が取得されたときに、前記動画から、前記基準画像に対応する領域を検出する領域検出部と、
前記領域検出部によって検出された前記領域を表す画像が前記第２端末で表示され、前記視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第２端末の使用者の前記注視位置と、前記第１端末の撮像特性および表示特性とに基づいて、前記第１端末における、前記注視位置を示すマーカーの表示位置を算出する演算部とを有し、
前記第１端末は、前記演算部によって算出された前記表示位置に前記マーカーを表示することを特徴とする視線情報共有システム。 A line-of-sight information sharing system including a plurality of information input / output terminals connected via a communication line,
The plurality of information input / output terminals include a first terminal and a second terminal,
The first terminal is a see-through head mounted display including an imaging device that captures an outside world and acquires an image;
The second terminal includes a display device for displaying information, and a gaze detection device for detecting a gaze direction of a user with respect to the information displayed by the display device.
One of the plurality of information input / output terminals is
A holding unit which holds, as a reference image, a part of a still image acquired in advance by photographing with the first terminal while the user of the first terminal stands still;
An area detection unit which detects an area corresponding to the reference image from the moving image when the moving image is acquired by shooting at the first terminal;
When the image representing the area detected by the area detection unit is displayed on the second terminal and the gaze position is determined by detecting the gaze direction of the user with respect to the display image by the gaze detection apparatus, the area A marker indicating the gaze position at the first terminal based on the detection result of the area by the detection unit, the gaze position of the user of the second terminal, and the imaging characteristic and display characteristic of the first terminal Operation unit for calculating the display position of
The line-of-sight information sharing system according to claim 1, wherein the first terminal displays the marker at the display position calculated by the calculation unit.
前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定された透過率で前記基準画像と重ね合わせて表示することを特徴とする請求項１７に記載の視線情報共有システム。 The area detection unit cuts out the area corresponding to the reference image from the moving image acquired by the first terminal, and the moving image of the area cut out has a desired shape as a photographing target included in the moving image. And so on
The line-of-sight information according to claim 17, wherein the display device of the second terminal displays the moving image after deformation by the area detection unit so as to overlap the reference image with a preset transmittance. Shared system.
前記静止画は、前記基準画像そのもの、もしくは、前記基準画像を所定の時間間隔で更新した画像、または前記第２端末の使用者の操作によって更新される画像であることを特徴とする請求項１７に記載の視線情報共有システム。 The display device of the second terminal displays an image representing the area detected by the area detection unit as a still image;
The still image may be the reference image itself, an image obtained by updating the reference image at a predetermined time interval, or an image updated by an operation of a user of the second terminal. The gaze information sharing system described in.
前記第２端末の前記表示装置は、前記領域検出部による変形後の動画を、予め設定されたサイズで前記基準画像と対応する位置に表示することを特徴とする請求項１７に記載の視線情報共有システム。 The area detection unit cuts out the area corresponding to the reference image from the moving image acquired by the first terminal, and the moving image of the area cut out has a desired shape as a photographing target included in the moving image. And so on
The line-of-sight information according to claim 17, wherein the display device of the second terminal displays the moving image after deformation by the area detection unit at a position corresponding to the reference image at a preset size. Shared system.
前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記表示装置で表示される画像が、前記第２端末の使用者から見て空間中の同じ位置に見えるように、前記第２端末側検出器の検出結果に応じて、前記画像の表示位置を移動させることを特徴とする請求項１７から２０のいずれかに記載の視線情報共有システム。 The second terminal includes a second terminal detector that detects a change in posture of the user, and a display control unit that controls display by the display device.
The display control unit is configured such that when the second terminal detector detects a change in posture of the user, the image displayed on the display device is the same in space as viewed from the user of the second terminal. The line-of-sight information sharing system according to any one of claims 17 to 20, wherein the display position of the image is moved according to the detection result of the second terminal side detector so that the user can see the position.
前記表示制御部は、前記第２端末側検出器によって使用者の姿勢変化が検出されたときに、前記姿勢変化の検出結果と、前記第１端末で取得された前記動画からの前記領域の検出結果とに基づいて、前記第１端末で取得された前記動画内で前記基準画像に対応する領域から使用者の姿勢変化量と対応する量だけずれた範囲の動画を、前記表示装置において、前記領域の画像の表示位置から前記姿勢変化量と対応する量だけずれた位置に表示させることを特徴とする請求項１７に記載の視線情報共有システム。 The second terminal includes a second terminal detector that detects a change in posture of the user, and a display control unit that controls display by the display device.
The display control unit detects the region from the detection result of the posture change and the moving image acquired by the first terminal when the second terminal side detector detects the posture change of the user. Based on the result, in the display device, a moving image within a range corresponding to the user's posture change amount from an area corresponding to the reference image within the moving image acquired by the first terminal, The line-of-sight information sharing system according to claim 17, wherein the line-of-sight information sharing system according to claim 17 is displayed at a position deviated from the display position of the image of the area by the amount corresponding to the posture change amount.
前記演算部は、時間的にずれて行われる各パターンマッチングの結果に基づいて、前記第１端末での撮影によって取得された前記動画上での、検出された前記領域の位置の変化量を検出し、上記変化量と、前記第２端末の使用者の前記注視位置と、前記第１端末の前記撮像装置の前記撮像特性および前記表示装置の前記表示特性とに基づいて、前記第１端末における前記マーカーの表示位置を決定することを特徴とする請求項２４または２５に記載の視線情報検出システム。 The first terminal includes a display device for presenting an observable image to a user;
The calculation unit detects the amount of change in the position of the detected area on the moving image acquired by photographing at the first terminal based on the result of each pattern matching performed with a time shift. In the first terminal based on the variation amount, the gaze position of the user of the second terminal, the imaging characteristic of the imaging device of the first terminal, and the display characteristic of the display device. The gaze information detection system according to claim 24 or 25, wherein the display position of the marker is determined.
前記領域検出部は、前記第１端末側検出器による姿勢変化の検出結果に応じて、前記第１端末で取得された前記動画中で、パターンマッチングを行う範囲を変化させることを特徴とする請求項２４から２６のいずれかに記載の視線情報共有システム。 The first terminal includes a first terminal detector that detects a change in posture of a user,
The area detection unit changes a range in which pattern matching is performed in the moving image acquired by the first terminal, in accordance with a detection result of an attitude change by the first terminal detector. The gaze information sharing system according to any one of items 24 to 26.
前記管理サーバーが、前記保持部を含むことを特徴とする請求項１７から２７のいずれかに記載の視線情報共有システム。 The plurality of information input / output terminals include a management server that manages information acquired by the first terminal and the second terminal,
The line-of-sight information sharing system according to any one of claims 17 to 27, wherein the management server includes the holding unit.
前記保持部は、前記第２端末の使用者が静止した状態で、前記第２端末での撮影によって事前に取得された静止画の一部を、第２端末側基準画像として保持し、
前記領域検出部は、前記第２端末での撮影によって動画が取得されたときに、前記動画から、前記第２端末側基準画像に対応する領域を検出し、
前記第１端末は、前記領域検出部にて検出された前記領域を表す画像を表示することを特徴とする請求項３０に記載の視線情報共有システム。 The second terminal further includes a second terminal-side imaging device that captures the outside world and acquires an image;
The holding unit holds, as a second terminal-side reference image, a part of a still image acquired in advance by photographing with the second terminal while the user of the second terminal stands still,
The area detection unit detects an area corresponding to the second terminal-side reference image from the moving image when the moving image is acquired by shooting with the second terminal.
31. The line-of-sight information sharing system according to claim 30, wherein the first terminal displays an image representing the area detected by the area detection unit.
前記演算部は、前記領域検出部によって検出された前記領域を表す画像が前記第１端末で表示され、前記第１端末側視線検出装置によって表示画像に対する使用者の視線方向を検出して注視位置が求められたときに、前記領域検出部による前記領域の検出結果と、前記第１端末の使用者の前記注視位置と、前記第２端末の撮像特性および表示特性とに基づいて、前記第２端末における、前記注視位置を示すマーカーの表示位置を算出し、
前記第２端末の前記表示装置は、算出された前記表示位置に前記マーカーを表示することを特徴とする請求項３１に記載の視線情報共有システム。 The first terminal includes a first terminal-side display device, and a first terminal-side line-of-sight detection device for detecting a gaze direction of a user with respect to an image displayed by the first terminal-side display device to obtain a gaze position. ,
The calculation unit displays an image representing the area detected by the area detection unit on the first terminal, and detects a gaze direction of the user with respect to the display image by the first terminal side gaze detection apparatus, and a gaze position Is determined based on the detection result of the area by the area detection unit, the gaze position of the user of the first terminal, and the imaging characteristic and display characteristic of the second terminal. Calculating a display position of the marker indicating the gaze position on the terminal;
The gaze information sharing system according to claim 31, wherein the display device of the second terminal displays the marker at the calculated display position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017080751A JP2018182570A (en) | 2017-04-14 | 2017-04-14 | Line-of-sight information sharing method and line-of-sight information sharing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017080751A JP2018182570A (en) | 2017-04-14 | 2017-04-14 | Line-of-sight information sharing method and line-of-sight information sharing system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018182570A true JP2018182570A (en) | 2018-11-15 |
Family
ID=64276188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017080751A Withdrawn JP2018182570A (en) | 2017-04-14 | 2017-04-14 | Line-of-sight information sharing method and line-of-sight information sharing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018182570A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021010101A (en) * | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | Remote work support system |
| WO2021090625A1 (en) * | 2019-11-08 | 2021-05-14 | 株式会社日立エルジーデータストレージ | Video display device and video display system |
| KR20210142492A (en) * | 2020-05-18 | 2021-11-25 | 주식회사 피앤씨솔루션 | Head mounted display device with projector mode |
| JP2022142517A (en) * | 2021-03-16 | 2022-09-30 | 日産自動車株式会社 | Image display control device, image display control system and image display control method |
| JP2023056918A (en) * | 2021-10-08 | 2023-04-20 | 株式会社日本ブレーン | Display device and display system |
| JP2024017145A (en) * | 2022-07-27 | 2024-02-08 | レノボ・シンガポール・プライベート・リミテッド | Educational support system, educational support method, and educational support program |
| WO2024057783A1 (en) * | 2022-09-16 | 2024-03-21 | ソニーグループ株式会社 | Information processing device provided with 360-degree image viewpoint position identification unit |
| WO2024201814A1 (en) * | 2023-03-29 | 2024-10-03 | マクセル株式会社 | Video sharing system and video sharing method |
| WO2025126667A1 (en) * | 2023-12-12 | 2025-06-19 | ソニーグループ株式会社 | Information processing method, information processing device, and program |
-
2017
- 2017-04-14 JP JP2017080751A patent/JP2018182570A/en not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7372061B2 (en) | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | Remote work support system |
| JP2021010101A (en) * | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | Remote work support system |
| WO2021090625A1 (en) * | 2019-11-08 | 2021-05-14 | 株式会社日立エルジーデータストレージ | Video display device and video display system |
| US12306427B2 (en) | 2019-11-08 | 2025-05-20 | Hitachi-Lg Data Storage, Inc. | Video display device and video display system |
| KR102410872B1 (en) | 2020-05-18 | 2022-06-21 | 주식회사 피앤씨솔루션 | Head mounted display device with projector mode |
| KR20210142492A (en) * | 2020-05-18 | 2021-11-25 | 주식회사 피앤씨솔루션 | Head mounted display device with projector mode |
| JP2022142517A (en) * | 2021-03-16 | 2022-09-30 | 日産自動車株式会社 | Image display control device, image display control system and image display control method |
| JP7646403B2 (en) | 2021-03-16 | 2025-03-17 | 日産自動車株式会社 | IMAGE DISPLAY CONTROL DEVICE, IMAGE DISPLAY CONTROL SYSTEM, AND IMAGE DISPLAY CONTROL METHOD |
| JP2023056918A (en) * | 2021-10-08 | 2023-04-20 | 株式会社日本ブレーン | Display device and display system |
| JP7464933B2 (en) | 2021-10-08 | 2024-04-10 | 株式会社日本ブレーン | Display device and display system |
| JP2024017145A (en) * | 2022-07-27 | 2024-02-08 | レノボ・シンガポール・プライベート・リミテッド | Educational support system, educational support method, and educational support program |
| JP7500664B2 (en) | 2022-07-27 | 2024-06-17 | レノボ・シンガポール・プライベート・リミテッド | Educational support system, educational support method, and educational support program |
| WO2024057783A1 (en) * | 2022-09-16 | 2024-03-21 | ソニーグループ株式会社 | Information processing device provided with 360-degree image viewpoint position identification unit |
| WO2024201814A1 (en) * | 2023-03-29 | 2024-10-03 | マクセル株式会社 | Video sharing system and video sharing method |
| WO2025126667A1 (en) * | 2023-12-12 | 2025-06-19 | ソニーグループ株式会社 | Information processing method, information processing device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11231897B2 (en) | Display system, display device, information display method, and program | |
| JP2018182570A (en) | Line-of-sight information sharing method and line-of-sight information sharing system | |
| US9898868B2 (en) | Display device, method of controlling the same, and program | |
| US10564919B2 (en) | Display system, display apparatus, method for controlling display apparatus, and program | |
| US10162412B2 (en) | Display, control method of display, and program | |
| JP6089705B2 (en) | Display device and control method of display device | |
| JP7087481B2 (en) | Head-mounted display device, display control method, and computer program | |
| US10874284B2 (en) | Display control device, display device, surgical endoscopic system and display control system | |
| US10445573B2 (en) | Gaze detection device | |
| TWI615631B (en) | Head wearing type display device and control method of head wearing type display device | |
| CN108508603B (en) | Head-mounted display device, control method therefor, and recording medium | |
| JP6492531B2 (en) | Display device and control method of display device | |
| JP6590050B2 (en) | Display device, display system, display device control method, and program | |
| JP2017102768A (en) | Information processor, display device, information processing method, and program | |
| JP2016224086A (en) | Display device, display device control method, and program | |
| JP6554948B2 (en) | Display device, display device control method, and program | |
| US20160021360A1 (en) | Display device, method of controlling display device, and program | |
| JP2018170554A (en) | Head mounted display | |
| JP2017134575A (en) | Display device, display device control method, and program | |
| US11635625B2 (en) | Virtual image display device and optical unit | |
| WO2016101861A1 (en) | Head-worn display device | |
| JP6540426B2 (en) | Display system, display device, information display method, and program | |
| WO2018147084A1 (en) | Line-of-sight information sharing method and line-of-sight information sharing system | |
| JP2016090853A (en) | Display device, display device control method, and program | |
| JP2016031373A (en) | Display device, display method, display system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20200930 |