JP2024041678A - 生体活動量に応じてユーザの視界を制御するデバイス、プログラム及び表示方法 - Google Patents

Abstract

【課題】視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させるデバイス、プログラム及び表示方法を提供する。
【解決手段】ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、ユーザの生体活動量を取得する生体活動量取得手段と、生体活動量が、所定条件を満たすか否かを判定する判定手段と、判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段とを有する。生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する。
【選択図】図２

Description

本発明は、拡張現実(Augmented Reality)に基づくスマートグラスの技術に関する。

スマートグラスは、ユーザの視界前方に眼鏡のように装着され、カメラと網膜投射型レンズディスプレイとを搭載する。ユーザの視界には、現実空間に対して、仮想現実(Virtual Reality)の非現実空間が重畳的に映し出される。

従来、聴衆の面前におけるプレゼンテーションについて、ユーザが、次にどの方向を向けばよいかを練習することができる技術がある（例えば特許文献１参照）。この技術によれば、ユーザの頭部に装着されたデバイスから当該ユーザの頭の向きを検出し、その向きに対応した方向の視野画像を表示する。そして、頭部の向きを示す視野画像上の位置とは異なる視野画像上の位置を、レンズディスプレイに表示させる。ユーザは、その位置を向けばよいと認識することができる。

また、ユーザの視界前方の人々の表情を笑顔に見せるスマートグラスの技術もある（例えば非特許文献１参照）。この技術によれば、スマートグラスを通した周囲の人々の表情を、笑顔となるように画像補正する。笑顔への補正は、人物の顔面の口角を上げるようにする。笑顔には、ストレス緩和に有効なポジティブ感情を喚起する効果があり、隣人や友人の表情は伝播するとされている。周囲の人物の表情が笑顔に見えるような状況を作り出すことによって、デバイスを装着したユーザに対して笑顔及びポジティブ感情を引き起こすことができる。

尚、近年、「デジタル・セラピューティクス(Digital Therapeutics)」と称され、特定の病状を予防、管理、治療するために臨床的に検証されたデジタルデバイスの開発が注目されている（例えば非特許文献７参照）。例えば、心理的疾患を持つユーザにとっては、視覚的に映り込む人に対して、恐怖感や不安が襲う場合もある。そのような、対人関係に基づくメンタルヘルスを改善することは、重要な課題となっている。

特開２０１８－１８０５０３号公報

村田百葉、山本祐輔、「Smile Glasses: 笑顔形成を促進するARメガネ」、静岡大学情報学部、データ工学と情報マネジメントに関するフォーラム、DEIM2020 A1-4 (day1 p2)、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://proceedings-of-deim.github.io/DEIM2020/papers/A1-4.pdf＞ 株式会社KDDI総合研究所、「マスク着用時の表情認識AI技術を開発」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.kddi-research.jp/newsrelease/2021/022401.html＞ KDDI株式会社、株式会社KDDI総合研究所、株式会社アクロディア、「5G時代を見据えた先端テクノロジー スポーツ行動認識AI×IoT」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://news.kddi.com/kddi/corporate/newsrelease/2019/10/07/4060.html＞ 秋元@サイボウズラボ・プログラマー・ブログ、「消すAR－画面を通すとそこにあるものが見えなくなるDiminished Reality」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://labs.cybozu.co.jp/blog/akky/2010/10/ar-diminished/＞ アナログデバイセズ、「心電センサを使ってストレスを可視化するヘルスケアIoTを作ろう！」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.analog.com/jp/education/landing-pages/003/iot_lectureship/content_08.html＞ 株式会社KDDI総合研究所、「31種類のトレーニング動作や姿勢を認識する宅内行動認識AIを開発」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.kddi-research.jp/newsrelease/2018/100901.html＞ 「DTx（デジタルセラピューティクス）とは何か。デジタル治療の市場、サービス、課題は」、[online]、［令和４年８月２８日検索］、インターネット＜URL:https://www.sbbit.jp/article/cont1/52514＞

ユーザは、聴衆を面前にしたプレゼンテーションの際に、聴衆に意識が強く向けられ、緊張を強いられることが多い。このとき、ユーザは、スムーズなプレゼンテーションができなくなることもある。
ユーザによっては、聴衆が多くなるほど、心理状態に強いストレスがかかる場合がある。また、聴衆の個々の顔表情を見過ぎてしまうことによって、ネガティブな心理状態になりやすい場合もある。これらの場合、ユーザは、あえて聴衆から目を逸らせることによって、気持ちを落ち着かせてプレゼンテーションを進めようとする。

特許文献１によれば、プレゼンテーションの際におけるユーザの心理状況に影響を与えるものではない。一方で、非特許文献１によれば、デバイスを装着したユーザに、聴衆の笑顔の顔表情を強制的に見せることによって、ポジティブな心理状態が作り出されるかもしれない。

しかしながら、視界に映る状況によって、ストレスを受けてネガティブな心理状態になる度合いは、ユーザによって全く異なる。
これに対し、本願の発明者らは、視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができないか、と考えた。例えば、デジタルセラピューティックスとして、ユーザの視界を制御することによって、ユーザにおける対人関係に基づくメンタルヘルスの改善に役立つのではないか、と考えた。

そこで、本発明は、視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができるデバイス、プログラム及び表示方法を提供することを目的とする。

本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
を有することを特徴とする。

本発明のデバイスにおける他の実施形態によれば、
当該デバイスは、ユーザの頭部の目の前に装着される眼鏡状のものであり、
拡張現実画像生成手段は、ユーザの視界に映る映像の中から、所定対象物の画像領域を隠蔽する拡張現実映像を生成する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
生体活動量は、心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであり、
判定手段は、生体活動量からストレスレベルを推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、所定対象物として、複数の人物を検出する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
拡張現実画像生成手段は、ユーザの視界に映る映像における人数が所定割合で減少するように、人物の画像領域を隠蔽するべく拡張現実画像を生成する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
判定手段は、ストレスレベルに応じて、ユーザの視界に映る映像における人数を減少させる割合を設定する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、人物の画像領域から顔表情を認識し、当該顔表情が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、顔表情が、所定条件としてネガティブと認識された人物のみを、所定対象物として検出する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、所定属性となる人物のみを、所定対象物として検出する
ことも好ましい。

本発明のデバイスにおける他の実施形態によれば、
物体認識手段は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する
ことも好ましい。

本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスに搭載されたコンピュータを機能させるプログラムにおいて、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
ユーザの生体活動量を取得する生体活動量取得手段と、
生体活動量が、所定条件を満たすか否かを判定する判定手段と、
判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスの表示方法において、
デバイスは、
カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する第１のステップと、
ユーザの生体活動量を取得する第２のステップと、
生体活動量が、所定条件を満たすか否かを判定する第３のステップと、
第３のステップによって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する第４のステップと
を実行することを特徴とする。

本発明におけるデバイス、プログラム及び表示方法によれば、ユーザの生体活動量に応じて視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができる。

スマートグラム及びスマートウォッチが接続されたシステム構成図である。 本発明におけるスマートグラスの機能構成図である。 本発明のスマートグラスにおける第１の実施形態のフローチャートである。 本発明のスマートグラスにおける第２の実施形態のフローチャートである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

図１は、スマートグラム及びスマートウォッチが接続されたシステム構成図である。

＜スマートグラス１＞
スマートグラス１は、ユーザの頭部の目の前に装着されるシースルー型の眼鏡状のものである。
図１によれば、スマートグラス１は、ハードウェアとして、レンズディスプレイ１０１と、カメラ１０２と、無線通信部１０３とを有する。
レンズディスプレイ１０１は、拡張現実画像をユーザの視界に映し出す。
カメラ１０２は、ユーザの視界から見える映像を撮影する。例えばプレゼンテーションの場合、ユーザの面前の聴衆が映像に映り込むこととなる。
無線通信部１０３は、例えばBluetooth（登録商標）であって、スマートウォッチやウェアラブルデバイスのような他のデバイスと無線で通信する。

ここで、本発明の実施形態として、デバイスとしては、スマートグラスのような透過型（シースルー）であるとして説明するが、ヘッドマウントレンズディスプレイのような非透過型であってもよい。
透過型デバイスである場合、カメラ１０２の映像に対して周囲の画素値から補間処理を施した拡張現実画像を、ユーザに視界に映し出す。
非透過型デバイスである場合、カメラ１０２の映像に対して画像加工を施した画像を、ユーザの視界に映し出す。
いずれのデバイスであっても、ユーザの頭部の向きに応じた映像に対して画像補間や画像加工をする、

＜スマートウォッチ２＞
スマートウォッチ２は、ユーザの腕に装着されるウェアラブルデバイスである。
スマートウォッチ２は、１つ以上の生体センサを搭載し、ユーザの「生体活動量」を計測することができる。生体センサとしては、例えば心拍数センサ、血中酸素濃度センサ、皮膚温センサ、血圧センサ、気圧センサ、環境マイクなどがある。

「心拍数センサ」は、スマートウォッチ２の背面から腕の皮膚に接触し、ユーザの「心拍数」を計測する。例えば光学式の場合、ＬＥＤ(Light Emitting Diode)から光を照射し、血流によって反射される散乱光の量を感知し、血中のヘモグロビンの動態変化によって心拍数を計測する。
「血中酸素濃度センサ」は、皮膚に光をあてた動脈血成分の光の減衰から「血中酸素濃度（SpO2）」を測定する。
「皮膚温センサ」は、スマートウォッチ２の背面における皮膚に接触し、その「皮膚温」を検知する。
「血圧センサ」は、心拍数と血流量との組み合わせによって、「血圧」を計測する。
「気圧センサ」は、周囲の「気圧」を計測する。
「環境マイク」は、周囲の「環境音」を検知する。
生体活動量は、これら計測値（心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音）のいずれか又はそれらの組み合わせであってもよい。

尚、図１によれば、スマートグラス１とスマートウォッチ２との間に、スマートフォン３が介在するものであってもよい。
スマートフォン３は、Bluetooth（登録商標）を介してスマートウォッチ２とペアリングされる。そして、スマートフォン３は、スマートウォッチ２から生体活動量を常時受信し、所定のアプリで処理する。
また、スマートフォン３は、Bluetoothを介してスマートグラス１とも、スマートフォン１とペアリングされる。そして、スマートフォン３は、所定のアプリから、スマートグラス１を制御することができる。

図２は、本発明におけるスマートグラスの機能構成図である。

図２によれば、スマートグラス１は、物体認識部１１と、生体活動量取得部１２と、判定部１３と、拡張現実画像生成部１４とを有する。これら機能構成部は、スマートグラスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これらの機能構成部の処理の流れは、スマートグラスの表示方法としても理解できる。
尚、図２で説明するスマートグラス１のソフトウェア的な処理を、スマートフォン１の所定のアプリで実行するものであってもよい。

［物体認識部１１］
物体認識部１１は、カメラ１０２によって撮影された映像から、物体認識によって「所定対象物」の画像領域を検出する。
物体認識部１１の処理機能として、領域切り出し機能と、特徴検出機能とを有する。

＜領域切り出し機能＞
物体認識部１１は、カメラ１０２によって撮影された映像フレームの画像から、所定対象物の画像領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の画像領域を、畳み込みニューラルネットワークの特徴と組み合わせて、所定対象物のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させることができる。

＜特徴検出機能＞
物体認識部１１は、バウンディングボックスの画像領域から、所定対象物を特定する。
検出される「所定対象物」としては、人物であってもよいし、それに限らない物体であってもよい。
例えばプレゼンテーションを想定する場合、ユーザが心理的にストレスを受けるような物体の特徴を予め設定しておく。一般的に、ユーザが心理的にストレスを受ける物体が聴衆である場合、人物の特徴を予め設定しておくことによって、ユーザの視界に映り込む映像から、人物のみを検出することができる。

物体認識部１１は、小型ＩｏＴデバイスに実装できるように、学習モデルが軽量化されている。学習済みモデルの中間層特徴の選別（レイヤの削除）と、軽量化アーキテクチャの置換とによって、計算量を大幅に削減している。具体的には、Ｃ＋＋Nativeライブラリを用いて、スマートグラスのような小型デバイスであっても、１万人を１秒で識別可能となっている。

［生体活動量取得部１２］
生体活動量取得部１２は、ユーザの「生体活動量」を取得する。
生体活動量取得部１２は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する。図１によれば、スマートウォッチ２から、生体活動量を受信する。
前述したように、生体活動量としては、例えば心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであってもよい。

［判定部１３］
判定部１３は、生体活動量が、所定条件を満たすか否かを判定する。
具体的には、判定部１３は、生体活動量からユーザの「ストレスレベル」を推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する。

一般的に、人体における自律神経系は、血液循環・呼吸・体温調節など、意識の介在なしに制御するシステムであって、「交感神経系」と「副交感神経系」とがある（例えば非特許文献５参照）。「交感神経系」は、身体の活動レベルや運動能力を高める方向に働き、「副交感神経系」は、心身の鎮静化・エネルギーの消費抑制と蓄えの方向に働く。心拍数（HRV）は、交感神経と副交感神経の両方に影響を与える。
ここで、以下のようなアルゴリズムで、ストレスレベルを判定する。
（Ｓ１）単位時間当たりの心拍数から、心拍間の時間(RRI)を計測する。
（Ｓ２）線形補間によって、再サンプリングを実行する。
（Ｓ３）周波数解析（フーリエ変換）によって、パワースペクトラムに変換する。
（Ｓ４）ＬＦ(Low Frequency)成分0.05Hz～0.15Hzと、ＨＦ(High Frequency)成分0.15Hz～0.40Hzとに区分する。
ＬＦ成分は、交感神経又は副交感神経が活性化しているときに増加する。
ＨＦ成分は、副交感神経が活性化している場合のみ増加する。
（Ｓ５）ＨＦ成分に対するＬＦ成分の計測比率（ＬＦ／ＨＦ）が、高い場合はストレスがあり、低い場合はリラックスしているといえる。即ち、閾値比率を予め設定し、計測比率が閾値以上であれば、そのユーザのストレスが高いと判定することができる。

［拡張現実画像生成部１４］
拡張現実画像生成部１４は、判定部１３によって真と判定された際に、ユーザの視界に映る映像における「所定対象物の画像領域」を加工した拡張現実画像を生成する。

ここで、拡張現実画像における加工として、所定対象物の画像領域を消滅させることがある。即ち、所定対象物の画像領域における視覚的な色を、周囲と同色にして、ユーザの視界から隠蔽する（例えば非特許文献４参照）。最も簡単には、所定対象物の画像領域の周囲の色で、その画像領域を重畳的に塗りつぶすものであってよい。

そして、拡張現実画像生成部１４は、画像現実画像を、レンズディスプレイ１０１へ出出力する。
例えばシースルー型のスマートグラスの場合、拡張現実画像生成部１４が生成する拡張現実画像は、所定対象物の画像領域と同じ視覚的位置に、塗りつぶした色範囲だけのものとなる。これによって、ユーザの視界から、所定対象物が消滅したように見える。

本発明によれば、ユーザの視界から消滅される所定対象物が「人物」であるとして、例えば以下のような実施形態がある。ユーザにとって、視界に映る人に対するストレスが緩和され、デジタルセラピューティックスとして機能する。
＜第１の実施形態＞
ユーザの視界に映る人物の人数を削減させる。
＜第２の実施形態＞
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。
＜第３の実施形態＞
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
＜第４の実施形態＞
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。

＜第１の実施形態＞
ユーザの視界に映る人物の人数を削減させる。

図３は、本発明のスマートグラスにおける第１の実施形態のフローチャートである。
図３によれば、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆（人物）が見えているとする。このとき、ユーザは、聴衆が多いと緊張し、不安を抱きやすい性格であるとする。

物体認識部１１は、ユーザの視界に映る映像から、多数の人物を認識する。
次に、生体活動量取得部１２は、プレゼンテーションをしているユーザの生体活動量を取得する。
次に、判定部１３は、ユーザの生体活動量から、ストレスレベルが所定閾値以上であるか否かを判定する。
そして、拡張現実画像生成部１４は、判定部１３で真と判定された場合、ユーザの視界に映る人物の人数を、所定割合（％）で削減する。偽と判定された場合、拡張現実画像生成部１４は機能しないようにする。

ここで、判定部１３及び拡張現実画像生成部１４は、ストレスレベル（ＬＦ／ＨＦ×α）に応じて、ユーザの視界に映る人物の人数の削除割合を決定するものであってもよい。即ち、ストレスレベルが高いほど、削除割合を高く決定し、削除される人数も多くなる。一方で、ストレスレベルが低いほど、削除割合を低く決定し、削除される人数も少なくなる。
勿論、ストレスレベルや、そのストレスレベルに応じた削除割合は、ユーザ自身で予め設定可能なものであってもよい。

＜第２の実施形態＞
ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させる。

図４は、本発明のスマートグラスにおける第２の実施形態のフローチャートである。
図４も、図３と同様に、ユーザがプレゼンテーションをしている際を想定している。ユーザの視界には多数の聴衆（人物）が見えているとする。このとき、ユーザは、ネガティブな顔表情の人を見ると、不安を抱きやすい性格であるとする。

物体認識部１１は、ユーザの視界に映る映像から、多数の人物を認識する。
ここで、物体認識部１１は、人物の顔表情の検出し、その人物の顔特徴から顔表情を認識するものであってもよい（例えば非特許文献２参照）。
切り出された人物領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。顔領域から得られる特徴量としては、目の周辺領域の特徴量（例えば目を閉じている、眉間にシワを寄せている）に限らず、例えば、鼻・口・頬・顔面の筋肉の領域も検出する。これによって、ポジティブ／ネガティブ／ニュートラルの３つの表情を判定することができる。勿論、「目を閉じている」「眉間にシワを寄せている」のような顔表情そのものを認識するものであってもよい。
顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。

次に、生体活動量取得部１２は、プレゼンテーションをしているユーザの生体活動量を取得する。

次に、判定部１３は、ユーザの生体活動量から、ストレスレベルが所定閾値以上であるか否かを判定する。

そして、拡張現実画像生成部１４は、判定部１３で真と判定された場合、ユーザの視界に映る人物の中で、予め設定された顔表情の人物を消滅させた拡張現実画像を生成する。例えば、「ネガティブ」を顔表情として予め設定することによって、ネガティブと認識された人物を消滅させる。勿論、「目を閉じている」「眉間にシワを寄せている」のような顔表情毎に、その人物を消滅させるか否かを予め設定したものであってもよい。

尚、他の実施形態として、例えば「ネガティブ」と認識された人物について、非特許文献１の技術を用いて、その人物の顔表情を「笑顔」に変換した拡張現実画像を生成するものであってもよい。ネガティブと認識された人物を笑顔に変換するか否かについても、ユーザ自ら予め設定しておくことができる。

これによって、ユーザは、プレゼンテーションをしている際に、好意的な顔表情をした聴衆しか見えないため、ストレスを緩和することができる。

＜第３の実施形態＞
ユーザの視界に映る人物の中で、予め設定された属性の人物を消滅させる。
物体認識部１１は、所定属性となる人物のみを、所定対象物として検出する。所定属性としては、例えば性別、年代であってもよい。例えば５０歳以上の男性のみや、３０歳以下の女性のみを、認識するものであってもよい。
これによって、ユーザは、プレゼンテーションの場面に限らず、自ら苦手とする属性の人物が視界に映らないため、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい容姿の人が視界に映り込んだ場合であっても、メンタルヘルスを改善することができる。

＜第４の実施形態＞
ユーザの視界に映る人物の中で、予め設定された姿勢の人物を消滅させる。
物体認識部１１は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する。例えば、姿勢が「下を向いている」「寝ている」「腕を組んでいる」「身体を揺っている」「隣の人と話をしている」などの行動認識のＡＩエンジンを用いることもできる（例えば非特許文献６参照）。
これによって、ユーザは、プレゼンテーションの場面に限らず、好意的でない行動の人物が視界に映らないために、ストレスが緩和される。ユーザにとって恐怖感や不安を抱きやすい姿勢の人が視界に映り込んだ場合であっても、メンタルヘルスを維持することができる。

以上、詳細に説明したように、本発明におけるデバイス、プログラム及び表示方法によれば、ユーザの生体活動量に応じて視界に入る物体の映り込みを制御することによって、そのユーザの心理的なストレスを低減させることができる。

尚、これにより、例えば「ユーザの心理的なストレスを低減させる」ことから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標８「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」に貢献することが可能となる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ スマートグラス
１０１ レンズディスプレイ
１０２ カメラ
１０３ 無線通信部
１１ 物体認識部
１２ 生体活動量取得部
１３ 判定部
１４ 拡張現実画像生成部
２ スマートウォッチ、ウェアラブルデバイス
３ スマートフォン

Claims (13)

1. ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスにおいて、
   カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
   ユーザの生体活動量を取得する生体活動量取得手段と、
   生体活動量が、所定条件を満たすか否かを判定する判定手段と、
   判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
   を有することを特徴とするデバイス。
2. 当該デバイスは、ユーザの頭部の目の前に装着される眼鏡状のものであり、
   拡張現実画像生成手段は、ユーザの視界に映る映像の中から、所定対象物の画像領域を隠蔽する拡張現実映像を生成する
   ことを特徴とする請求項１に記載のデバイス。
3. 生体活動量取得手段は、ユーザの身体に装着されたウェアラブルデバイス、又は、ユーザの身体に接着するセンサから、生体活動量を取得する
   ことを特徴とする請求項１に記載のデバイス。
4. 生体活動量は、心拍数、血中酸素濃度、皮膚温、血圧、脈拍、発汗量、気圧、環境音のいずれか又はそれらの組み合わせであり、
   判定手段は、生体活動量からストレスレベルを推定し、当該ストレスレベルが所定閾値を超えた際に、真と判定する
   ことを特徴とする請求項３に記載のデバイス。
5. 物体認識手段は、所定対象物として、複数の人物を検出する
   ことを特徴とする請求項１に記載のデバイス。
6. 拡張現実画像生成手段は、ユーザの視界に映る映像における人数が所定割合で減少するように、人物の画像領域を隠蔽するべく拡張現実画像を生成する
   ことを特徴とする請求項５に記載のデバイス。
7. 判定手段は、ストレスレベルに応じて、ユーザの視界に映る映像における人数を減少させる割合を設定する
   ことを特徴とする請求項６に記載のデバイス。
8. 物体認識手段は、人物の画像領域から顔表情を認識し、当該顔表情が所定条件を満たす人物のみを、所定対象物として検出する
   ことを特徴とする請求項５に記載のデバイス。
9. 物体認識手段は、顔表情が、所定条件としてネガティブと認識された人物のみを、所定対象物として検出する
   ことを特徴とする請求項６に記載のデバイス。
10. 物体認識手段は、所定属性となる人物のみを、所定対象物として検出する
    ことを特徴とする請求項５に記載のデバイス。
11. 物体認識手段は、人物の画像領域から姿勢を認識し、当該姿勢が所定条件を満たす人物のみを、所定対象物として検出する
    ことを特徴とする請求項５に記載のデバイス。
12. ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスに搭載されたコンピュータを機能させるプログラムにおいて、
    カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する物体認識手段と、
    ユーザの生体活動量を取得する生体活動量取得手段と、
    生体活動量が、所定条件を満たすか否かを判定する判定手段と、
    判定手段によって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する拡張現実画像生成手段と
    してコンピュータを機能させることを特徴とするプログラム。
13. ユーザの視界から見える映像を撮影するカメラと、拡張現実画像をユーザの視界に映し出すレンズディスプレイとを有するデバイスの表示方法において、
    デバイスは、
    カメラによって撮影された映像から、物体認識によって所定対象物の画像領域を検出する第１のステップと、
    ユーザの生体活動量を取得する第２のステップと、
    生体活動量が、所定条件を満たすか否かを判定する第３のステップと、
    第３のステップによって真と判定された際に、ユーザの視界に映る映像における所定対象物の画像領域を加工した拡張現実画像を生成する第４のステップと
    を実行することを特徴とするデバイスの表示方法。
    

Images