JP2025180069A - 情報表示装置 - Google Patents

Abstract

【課題】視覚情報を装着者の視野外の位置に表示し、装着者の視野を遮らず、装着者の作業が妨げられるのを防ぐ情報表示装置を提供する。
【解決手段】装着者の頭部に装着された状態で、装着者の視界に視覚情報を表示可能である透明ディスプレイ１１を有する表示器本体１０と、装着者の視線を検出可能な視線検出センサ３１と、検出された視線に基づき、視覚情報を透明ディスプレイ１１に表示する位置を決定する演算部２２と、を備える。演算部２２は、視線に基づき装着者の視野を決定し、視野外であってかつ装着者の視界内の位置を、視覚情報を透明ディスプレイ１１に表示する位置に決定する。
【選択図】図３

Description

本発明は、ユーザが装着可能な情報表示装置に関する。

ユーザが頭部に表示器本体を装着した状態で、表示器本体が必要な各種情報を表示する情報表示装置が知られている。

特許文献１は、仮想空間を生成し、ユーザの基準視線を特定し、複数の表示オブジェクトの中からメイン画面を特定し、基準視線に関連付けて仮想空間に表示し、ヘッドマウントディスプレイに出力するプログラムを開示している。

特許文献２は、ディスプレイにおける表示位置に応じた視覚情報の表示方向が規定された複数の表示モードの何れかを設定し、設定された表示モードによって取得された位置情報に応じた方向で、視覚情報をディスプレイに表示する表示制御装置を開示している。具体的には、全天球画像をディスプレイに３次元表示し、位置を調整する。

特開２０１７－４５２９４号公報 国際公開第２０２２／１９０７３５号

ユーザが表示器本体を装着した状態で用いる情報表示装置は、装着者が何らかの作業をするのに補助となるような情報を表示するために利用されることがある。すなわち、このような情報表示装置は、いわゆる拡張現実において用いられ、実際の空間に情報を重ねて表示する。しかし、上記特許文献に記載の様な従来の技術は、実際の空間に情報を重ねて表示する際に、作業対象物を視認しているユーザの視野に視覚情報を表示するため、視覚情報が作業対象物を遮るように表示されてしまい、作業を妨げてしまうおそれがある。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、表示器本体を装着した装着者の作業が妨げられるのを防ぐことが可能な情報表示装置を提供することにある。

前述した目的を達成するために、本発明に係る情報表示装置は、下記を特徴としている。
装着者の頭部に装着された状態で、前記装着者の視界に視覚情報を表示可能である表示部を有する表示器本体と、
前記装着者の視線を検出可能な視線検出部と、
検出された視線に基づき、前記視覚情報を前記表示部に表示する位置を決定する演算部と、を備え、
前記演算部は、前記視線に基づき前記装着者の視野を決定し、前記視野外であってかつ前記装着者の視界内の位置を、前記視覚情報を前記表示部に表示する位置に決定する、
情報表示装置。

本発明によれば、視覚情報が装着者の視野外の位置に表示されるので、装着者の視野を遮らず、装着者の作業が妨げられるのを防ぐことができる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、実施形態に係る情報表示装置であるウェアラブル機器の概略構成を表す模式図である。 図２は、実施形態に係るウェアラブル機器の概略構成を表すブロック図である。 図３は、透明ディスプレイに表示する視覚情報の位置を示す模式図である。

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

図１は、実施形態に係る情報表示装置であるウェアラブル機器１の概略構成を表す模式図である。本実施形態のウェアラブル機器１は、人体の頭部に装着され、装着者の視界に種々の情報を表示するスマートグラスを構成するものであり、情報表示装置を実現する。本実施形態のウェアラブル機器１は、視線検出機能、音声認識機能、情報表示機能等を有し、装着者の視線を検出し、視線に基づいて、装着者の視界内に対応するスマートグラスの表面に画像、文字、図形、動画等による視覚情報を表示させる。

具体的には、ウェアラブル機器１は、図１に示すように、表示器本体１０と、処理部２０と、視線検出センサ３１と、加速度センサ３２と、マイク３３と、移動物体検出センサ３４と、通信部３５とを備える。

表示器本体１０は、人体の頭部に装着可能なヘッドマウントディスプレイ（ＨＭＤ）方式のメガネ型表示デバイスである。表示器本体１０は、人体の頭部に装着された状態で、装着者の視界に情報を表示可能である。具体的に、表示器本体１０は、透明ディスプレイ１１、及び、フレーム１２を含んで構成される。

透明ディスプレイ１１は、視覚情報を表示可能であり、ウェアラブル機器１における視覚情報の表示部を構成する。透明ディスプレイ１１は、当該透明ディスプレイ１１越しに背景を視認可能な程度に高い透明性を有している。透明ディスプレイ１１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等によって構成される。ここでは、透明ディスプレイ１１は、装着者の右の眼球に対応した右ディスプレイ１１Ｒ、及び、装着者の左の眼球に対応した左ディスプレイ１１Ｌを含んで構成される。なお、透明ディスプレイ１１は、半透明であってもよく、着色されていてもよい。

フレーム１２は、人体の頭部に装着され、透明ディスプレイ１１を装着者の視界に支持する構造体であり、弦や枠等を含んで構成される。フレーム１２は、右ディスプレイ１１Ｒを装着者の右の眼球と対向する位置に支持し、左ディスプレイ１１Ｌを装着者の左の眼球と対向する位置に支持する。フレーム１２には、ウェアラブル機器１を構成する処理部２０、視線検出センサ３１、加速度センサ３２、マイク３３、移動物体検出センサ３４等の各部が組み付けられる。

上記構成により、表示器本体１０は、フレーム１２が人体の頭部に装着された状態で、透明ディスプレイ１１越しの背景に重畳させて当該透明ディスプレイ１１上に視覚情報を表示することで、当該視覚情報を装着者の視界に表示可能である。透明ディスプレイ１１によって装着者の視界に表示する視覚情報は、例えば、画像、文字、テキスト等を含む。なお、透明ディスプレイ１１は、上記に限らず、例えば、網膜投射型のディスプレイ等によって構成されてもよい。

処理部２０は、ウェアラブル機器１における各種処理機能を実現する処理回路である。処理部２０は、例えばＣＰＵ（Central Processing Unit）等の演算処理装置であるプロセッサによって実現される。処理部２０の詳細は後述する。

視線検出センサ３１は、装着者の視線を検出可能な視線検出部を構成する。視線検出センサ３１は、例えば、フレーム１２の中央の弦部分に設けられる。視線検出センサ３１は、例えば、装着者側の方を撮影可能なカメラ、Ｌｉｄａｒ（Light Detection And Ranging）等によって構成される。

視線検出センサ３１は、例えば、装着者の眼球の瞳孔とプルキニエ像（角膜表面における反射光）を検出することで、瞳孔－角膜反射法により装着者の視線検出を可能とする。また、視線検出センサ３１は、装着者の両眼球の瞳孔の向きを検出し、両瞳孔の向きの交わる所を視線として算出してもよい。また、視線検出センサ３１は、フレーム１２の中央の弦部分に内蔵され眼球運動に伴う目の周りの電位差を検出することで、装着者の視線検出を行う眼電位センサによって構成されてもよい。なお、ウェアラブル機器１を室内の限られた空間で用いる場合には、視線検出センサ３１は、フレーム１２ではなく室内に設置されていてもよい。

加速度センサ３２は、表示器本体１０の動きに伴い、表示器本体１０に作用する加速度を検出する加速度検出部を構成する。本例では、加速度センサ３２は、もっぱら装着者が頭部の向きを変えることに連動した表示器本体１０の動きに伴い、発生する加速度を検出する。

マイク３３は、装着者等の音声を入力可能な音声入力部を構成する。マイク３３は、集音方向、及び、指向角を変更可能な指向性マイクである。ここで、指向角とは、集音可能な角度範囲を表し、小さいほど当該角度範囲が狭いことを表し、大きいほど当該角度範囲が広いことを表す。マイク３３は、例えば、２チャンネル話者追尾型マイクロホンアレーを用いることができる。

移動物体検出センサ３４は、物体の移動を検出可能な移動物体検出部を構成する。本例では、物体は視覚情報の位置や大きさの変更を指示するための装着者の指、器具、道具等を含み、特定の形状、向き、色、光、移動にかかる時間、距離の変化を検出する。

通信部３５は、外部の通信端末４０からデータを受信可能に構成される。通信部３５は、通信端末４０にデータを送信してもよい。通信端末４０は、携帯電話、スマートフォン、タブレット、パーソナルコンピュータ等の一般的な電子機器であってよく、ウェアラブル機器１を操作可能にするアプリケーションをインストールしてもよい。通信端末４０は、ウェアラブル機器１専用のコントローラ等であってもよい。

カメラ機器３６は、映像・画像入力装置を構成しており、装着者の視野及び視界を含む、当該装着者の目線範囲に重なる映像又は画像を入力する。演算部２２は、カメラ機器３６に入力された情報に基づき、視覚情報の表示位置及び大きさの少なくとも一方を調整してもよい。

次に、図２を参照して処理部２０について説明する。図２は、実施形態に係るウェアラブル機器１の概略構成を表すブロック図である。図２に示す様に、処理部２０は、制御部２１と、演算部２２と、記憶部２３とを備える。制御部２１は、処理部２０において、ウェアラブル機器１における各種処理機能を実現する主たる処理回路である。演算部２２は、視線検出センサ３１によって検出された装着者の視線に基づき、視覚情報を透明ディスプレイ１１に表示する位置を決定する演算装置である。演算部２２の機能は、制御部２１によって実現されてもよい。演算部２２の詳細は後述する。

記憶部２３は、各種データ（情報）を記憶する記憶回路である。記憶部２３は、例えば、ウェアラブル機器１が各種の機能を実現するためのプログラムを記憶する。また、記憶部２３は、処理部２０での各種処理に必要なデータ、透明ディスプレイ１１で表示するデータ等の各種データを記憶する。記憶部２３内の各種データは、制御部２１等によって必要に応じて読み出される。なお、記憶部２３は、ネットワークを介してウェアラブル機器１に接続されたクラウドサーバ等により実現されてもよい。

図３は、透明ディスプレイ１１に表示する視覚情報の位置を示す模式図である。本実施形態において、演算部２２は、視線検出センサ３１により検出された視線に基づき、装着者の視野を決定し、視野外であってかつ装着者の視界内の位置を、視覚情報を透明ディスプレイ１１に表示する位置に決定する。視野は装着者が視線を向けて注視している位置（範囲）であり、視界は装着者が見える範囲である。すなわち、視界は視野よりも広い。

視線に基づく視野の範囲は、例えば、検出された視線から予め定められた所定の角度範囲に設定することができるし、他の手法により決定してもよい。

図３に示す様に、演算部２２は、視野外であってかつ装着者の視界内の位置を、視覚情報を表示する位置に決定し、当該位置に基づき制御部２１は視覚情報を表示する。これにより、視覚情報は、装着者の視野に被らない位置に表示される。

装着者は、表示器本体１０を装着したまま各種の作業を行う。ここで装着者は、透明ディスプレイ１１越しに、現実の空間に存在する作業対象を注視しながら作業を行うが、透明ディスプレイ１１が、作業を補助する視覚情報を表示することにより、作業の効率化が図られる。作業を補助する視覚情報は、作業対象の処理手順、作業手順の良否判定等を含む。

視覚情報が視野内に表示されてしまうと、装着者の視線から処理対象を遮ってしまい、作業の妨げになってしまうおそれが生ずる。本実施形態のウェアラブル機器１によれば、視覚情報が装着者の視野外であって視界内の位置に表示されるので、装着者の視野を遮らず、装着者の作業が妨げられるのを防ぐことができる。

なお、視覚情報が視野の外で表示される場合、視覚情報は細かな文字情報ではなく、簡単な図形、色等であってよい。例えば、ウェアラブル機器１は、映像・画像入力装置からの入力に基づいて組立て手順を検証する装置と連動し、作業対象の組立て手順が正しければ青マーク、間違っていたら赤マークを表示する。

演算部２２は、視線検出センサ３１が視線の移動を検出した場合、図３の矢印で示す様に、視覚情報の位置及び大きさの少なくともいずれかを決定してもよい。視線が移動すれば視野も移動するので、演算部２２は、基本的に視覚情報の位置を改めて決定し、視覚情報の位置を変更する。また、演算部２２は、装着者が、極端に上方向又は下方向に視線を意図的に移動させた場合、視覚情報の大きさを改めて決定し、視覚情報の大きさを変更してもよい。

例えば、装着者が視線を上側に大きくずらした場合、視覚情報を拡大し、視線を下側に大きくずらした場合、視覚情報を縮小してもよい。また、装着者が視線を左右に大きくずらした場合、視覚情報を視界の端部から、視野を遮らない中央寄りの任意の位置に移動させてもよい。これにより、装着者は視線の移動を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

演算部２２は、加速度センサ３２が検出した表示器本体１０の動きに基づき、視覚情報の位置及び大きさの少なくともいずれかを決定してもよい。具体的には、演算部２２は、装着者が頭部の向きを変えることに連動した表示器本体１０の動きに基づき、視覚情報の位置及び大きさの少なくともいずれかを決定することができる。

例えば、装着者が頭部を上側に向けた場合、視覚情報を拡大し、頭部を下側に向けた場合、視覚情報を縮小してもよい。また、装着者が頭部を左右に大きくずらした場合、視覚情報を視界の左右端部から、視野を遮らない中央寄りの任意の位置に移動させてもよい。また、装着者が頭部を上下に大きくずらした場合、視覚情報を視界の上下端部から、視野を遮らない中央寄りの任意の位置に移動させてもよい。これにより、装着者は頭部の移動を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

演算部２２は、マイク３３に入力した音声に基づき、視覚情報の位置及び大きさの少なくともいずれかを決定してもよい。例えば、装着者等が、「左」、「右」、「上」、「下」等の音声を入力することにより、演算部２２は視覚情報の位置を改めて決定し、視覚情報の位置を変更する。例えば、装着者等が、「拡大」、「縮小」、「大きく」、「小さく」等の音声を入力することにより、演算部２２は視覚情報の大きさを改めて決定し、視覚情報の大きさを変更する。これにより、装着者は、自ら又は他の音声を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

演算部２２は、移動物体検出センサ３４が検出した物体の動きに基づき、視覚情報の位置及び大きさの少なくともいずれかを決定してもよい。例えば、移動物体検出センサ３４が、視覚情報の位置又は大きさの変更を指示する装着者の指等の物体を検出すると、演算部２２は、改めて、視覚情報の位置及び大きさの少なくともいずれかを決定することができる。これにより、装着者は、自らの指やその他の指示体を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

演算部２２は、通信端末４０から受信したデータに基づき、視覚情報の位置及び大きさの少なくともいずれかを決定してもよい。例えば操作者が、通信端末４０に、視覚情報の位置又は大きさを変更する操作を入力すると、通信部３５が、この操作入力に対応したデータを受信し、演算部２２は、改めて、視覚情報の位置及び大きさの少なくともいずれかを決定することができる。これにより、装着者は、通信端末４０を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

視線検出センサ３１は視線距離を検出可能に構成されてもよい。この場合、演算部２２は、視線検出センサ３１が検出した視線距離に基づき、視覚情報の位置及び大きさの少なくともいずれかを決定してもよい。これにより、装着者は、視覚情報の位置及び大きさの少なくともいずれかを、視線距離に合わせて変更することができる。視線検出センサ３１がＬｉＤＡＲである場合、視線距離は容易に検出可能である。

なお、処理部２０は、必ずしも表示器本体１０に設けられる必要はなく、例えば通信端末４０等の外部の機器に設けられてもよい。通信端末４０が処理部２０を有する場合、通信端末４０が視覚情報を操作する機能を有してもよい。例えば、視覚情報が図３の様に適切な位置に表示されない場合、装着者は、通信端末４０を操作して、視覚情報の位置、大きさ等を変更してもよい。

また、演算部２２は、視覚情報を装着者の視野内に表示してもよい。演算部２２は、例えば装着者による作業が行われていない時や、所定の操作が入力された時等において、視覚情報を視野に被る様に表示してもよい。

また、二つ以上の視覚情報が透明ディスプレイ１１に表示されてもよい。この場合には、一方の視覚情報が、拡大、縮小等のボタンを表示し、視線によりボタンを選択できるようにし、他方の視覚情報の大きさを調節できるようにしてもよい。

以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。

ここで、上述した本発明に係る情報表示装置の実施形態の特徴をそれぞれ以下［１］～［８］に簡潔に纏めて列記する。

［１］ 装着者の頭部に装着された状態で、前記装着者の視界に視覚情報を表示可能である表示部（透明ディスプレイ１１）を有する表示器本体（１０）と、
前記装着者の視線を検出可能な視線検出部（視線検出センサ３１）と、
検出された視線に基づき、前記視覚情報を前記表示部に表示する位置を決定する演算部（２２）と、を備え、
前記演算部は、前記視線に基づき前記装着者の視野を決定し、前記視野外であってかつ前記装着者の視界内の位置を、前記視覚情報を前記表示部に表示する位置に決定する、
情報表示装置。

上記［１］の構成の情報表示装置によれば、視覚情報が装着者の視野外の位置に表示されるので、装着者の視野を遮らず、装着者の作業が妨げられるのを防ぐことができる。

［２］ 前記演算部は、前記視線検出部が前記視線の移動を検出した場合、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
上記［１］に記載の情報表示装置。

上記［２］の構成の情報表示装置によれば、装着者は視線の移動を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

［３］ 前記表示器本体の動きを検出可能な加速度検出部（加速度センサ３２）を更に備え、
前記演算部は、前記加速度検出部が検出した前記表示器本体の動きに基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
上記［１］に記載の情報表示装置。

上記［３］の構成の情報表示装置によれば、装着者は、例えば頭部の移動を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

［４］ 音声を入力可能な音声入力部（マイク３３）を更に備え、
前記演算部は、前記音声入力部に入力した音声に基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
上記［１］に記載の情報表示装置。

上記［４］の構成の情報表示装置によれば、装着者は、自ら又は他の音声を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

［５］ 物体の動きを検出可能な移動物体検出部（移動物体検出センサ３４）を更に備え、
前記演算部は、前記移動物体検出部が検出した物体の動きに基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
上記［１］に記載の情報表示装置。

上記［５］の構成の情報表示装置によれば、装着者は、自らの指やその他の指示体を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

［６］ 外部の通信端末からデータを受信可能な通信部（３５）を更に備え、
前記演算部は、前記通信端末から受信したデータに基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
上記［１］に記載の情報表示装置。

上記［６］の構成の情報表示装置によれば、装着者は、通信端末を利用し、視覚情報の位置及び大きさの少なくともいずれかを状況に合わせて変更することができる。

［７］ 前記視線検出部が視線距離を検出可能であり、
前記演算部は、前記視線検出部が検出した視線距離に基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
上記［１］に記載の情報表示装置。

上記［７］の構成の情報表示装置によれば、装着者は、視覚情報の位置及び大きさの少なくともいずれかを、視線距離に合わせて変更することができる。

［８］ 前記装着者の視野及び視界を含む、当該装着者の目線範囲に重なる映像又は画像を入力する映像・画像入力装置（カメラ機器３６）を備え、
前記演算部（２２）は、前記映像・画像入力装置に入力された情報に基づき、前記視覚情報の表示位置及び大きさの少なくとも一方を調整する、
上記［１］に記載の情報表示装置。

１ ウェアラブル機器（情報表示装置）
１０ 表示器本体
１１ 透明ディスプレイ（表示部）
２０ 処理部
２１ 制御部
２２ 演算部
２３ 記憶部
３１ 視線検出センサ（視線検出部）
３２ 加速度センサ（加速度検出部）
３３ マイク（音声入力部）
３４ 移動物体検出部（移動物体検出センサ）
３５ 通信部
３６ カメラ機器（映像・画像入力装置）
４０ 通信端末

Claims (8)

1. 人体の頭部に装着された状態で、装着者の視界に視覚情報を表示可能である表示部を有する表示器本体と、
   前記装着者の視線を検出可能な視線検出部と、
   検出された視線に基づき、前記視覚情報を前記表示部に表示する位置を決定する演算部と、を備え、
   前記演算部は、前記視線に基づき前記装着者の視野を決定し、前記視野外であってかつ前記装着者の視界内の位置を、前記視覚情報を前記表示部に表示する位置に決定する、
   情報表示装置。
2. 前記演算部は、前記視線検出部が前記視線の移動を検出した場合、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
   請求項１に記載の情報表示装置。
3. 前記表示器本体の動きを検出可能な加速度検出部を更に備え、
   前記演算部は、前記加速度検出部が検出した前記表示器本体の動きに基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
   請求項１に記載の情報表示装置。
4. 音声を入力可能な音声入力部を更に備え、
   前記演算部は、前記音声入力部に入力した音声に基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
   請求項１に記載の情報表示装置。
5. 物体の動きを検出可能な移動物体検出部を更に備え、
   前記演算部は、前記移動物体検出部が検出した物体の動きに基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
   請求項１に記載の情報表示装置。
6. 外部の通信端末からデータを受信可能な通信部を更に備え、
   前記演算部は、前記通信端末から受信したデータに基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
   請求項１に記載の情報表示装置。
7. 前記視線検出部が視線距離を検出可能であり、
   前記演算部は、前記視線検出部が検出した視線距離に基づき、前記視覚情報の位置及び大きさの少なくともいずれかを決定する、
   請求項１に記載の情報表示装置。
8. 前記装着者の視野及び視界を含む、当該装着者の目線範囲に重なる映像又は画像を入力する映像・画像入力装置を備え、
   前記演算部は、前記映像・画像入力装置に入力された情報に基づき、前記視覚情報の表示位置及び大きさの少なくとも一方を調整する、
   請求項１に記載の情報表示装置。