WO2026009913A1 - Ｍｒシステムにおける感情分析方法、および、ｍｒシステム - Google Patents

Abstract

複合現実（ＭＲ）システムにおける感情分析方法であって、ＭＲヘッドセットのユーザを外部カメラで撮影して映像を取得する第１工程と、前記映像から人物を抽出する第２工程と、前記抽出された人物のデータを検出する第３工程と、前記検出された人物のデータに基づいて、前記ユーザの感情分析を行う第４工程と、前記感情分析の結果に基づく表現を前記ＭＲヘッドセットのディスプレイに表示させる第５工程と、を備える方法が提供される。

Description

ＭＲシステムにおける感情分析方法、および、ＭＲシステム

　本発明は、ＭＲシステムにおける感情分析方法、および、ＭＲシステムに関する。

　仮想現実（Mixed Reality：ＭＲ）アプリケーションが普及し、バーチャルアイドル、バーチャルツアーガイド等が利用可能になりつつある。

　新たなＭＲシステムを提供する。

　例示として以下の構成が提供される。

［１］
　複合現実（ＭＲ）システムにおける感情分析方法であって、
　ＭＲヘッドセットのユーザおよび空間環境をカメラで撮影して映像を取得する第１工程と、
　前記映像から人物を抽出する第２工程と、
　前記抽出された人物のデータを検出する第３工程と、
　前記検出された人物のデータに基づいて、前記ユーザの感情および体の姿勢の分析を行う第４工程と、
　前記分析の結果を前記ＭＲヘッドセットのディスプレイに表示させる第５工程と、を備える方法。

［２］
　前記第２工程では、
　　前記映像からオブジェクトを検出し、
　　前記検出されたオブジェクトのそれぞれが動的オブジェクトであるか静的オブジェクトであるかを判定し、
　　前記動的オブジェクトのそれぞれが人物か否かを判定する
ことにより、人物が抽出される、［１］に記載の方法。

［３］
　前記映像は複数のフレームを含み、
　前記第第２工程では、前記複数のフレームを比較することにより、前記検出されたオブジェクトのそれぞれが動的オブジェクトであるか静的オブジェクトであるかが判定される、［２］に記載の方法。

［４］
　前記第３工程では、人物が所定のパターンと一致するか否かに基づいて、人物のパターンが検出され、
　前記第４工程では、前記人物のパターンに基づいて、前記ユーザの感情分析が行われる、［１］乃至［３］のいずれかに記載の方法。

［５］
　前記第４工程は、
　　前記ＭＲヘッドセットからの前記人物のデータを分析する工程と、
　　分析サーバにより、前記感情および前記体の姿勢の分析を行う工程と、
　　前記分析サーバから前記分析の結果を送信し、前記ＭＲヘッドセットに表示させる工程と、を含む、［１］乃至［４］のいずれかに記載の方法。

［６］
　ＭＲヘッドセットのユーザを撮影して映像を生成する外部カメラと、
　前記映像から人物を抽出し、抽出された人物のデータを検出し、前記撮影された映像に基づいて、前記ユーザの感情および体の姿勢を分析する分析サーバと、
　前記分析サーバの結果に基づく表現が表示されるＭＲヘッドセットディスプレイと、を備える複合現実（ＭＲ）システム。

本発明の概要を説明する図。 本発明の概要を説明する図。 本発明の概要を説明する図。 本発明の概要を説明する図。 本発明の概要を説明する図。 本発明の概要を説明する図。 一実施形態に係る複合現実システムの概略構成を示すブロック図。 複合現実システムの処理動作の一例を示すシーケンス図。

　本発明の概要を図１Ａ～図１Ｆに示す。以下、詳細に述べる。
　ＭＲ（複合現実）システムにＡＩ（人工知能）が適用されるとしても、近年のＡＩが可能なのは、ユーザが話すスピードやトーンといった「テキスト」を分析することである。しかし、「テキスト」のみの分析からユーザの感情を理解することは困難である。

　カメラでユーザを撮影し、ＡＩでユーザの感情を分析することも考えられる。しかし、カメラで撮影されるデータ量が多いため、計算負荷が高くなる。

　ＡＩがユーザの感情を分析できれば、ＭＲシステムにおける会話やインタラクションがより人間的なものとなる。そこで、本実施形態では、以下のようにしてＭＲシステムにおける感情分析を実現する。

　図２は、一実施形態に係る複合現実システムの概略構成を示すブロック図である。このＭＲシステムは、ＭＲヘッドセットと、外部カメラと、分析サーバとを備えている。

　外部カメラはＭＲヘッドセットのユーザおよび空間環境を撮影し、映像を出力する。この映像は複数のフレームを含む。

　ＭＲヘッドセットのディスプレイはメガネ型の透過ディスプレイであってもよい。ディスプレイには、ＭＲビジュアルや、後述する感情分析の結果が表示される。表示されるＭＲビジュアルは現実空間と仮想空間の組み合わせを含む。

　ＭＲヘッドセットは分析サーバによって処理および分析された結果を表示する。

　分析サーバは、外部カメラからのデータに基づいて、ユーザの動き（体の姿勢）および環境を分析する。そして、分析の結果はＭＲヘッドセットに送信される。

　図３は、複合現実システムの処理動作の一例を示すシーケンス図である。まず、外部カメラがユーザおよび環境を撮影し、映像を取得する（ステップＳ１）。この映像は複数の連続するフレームから構成される動画像であってよい。次に、分析サーバは映像データから人物を抽出する。以下、人物抽出の具体例を述べる。

　分析サーバは映像からオブジェクトを検出し（ステップＳ２ａ）、検出されたオブジェクトのそれぞれが動的オブジェクトであるか静的オブジェクトであるかを判定する（ステップＳ２ｂ）。より具体的には、分析サーバはフレームに基づいて判定を行う。一例として、分析サーバは５フレームにわたって各オブジェクトの位置を比較する。そして、あるフレームにおける位置と、別のフレームにおける位置とが所定距離以上離れているオブジェクトは、動的オブジェクトであると判定される。一方、５フレームにわたって位置が移動していないオブジェクトは、静的オブジェクトと判定される。

　外部カメラが、撮影された映像において、静的オブジェクトを撮影する場合がある。しかし、静的オブジェクトを含むフレームを演算することは不要であるから、全体の演算を減らすことができ、性能を向上させる結果となる。

　分析サーバは動的オブジェクトのそれぞれが人物であるか否かを判定する（ステップＳ２ｃ）。人物判定には、公知の手法を適用可能である。

　外部カメラがユーザ以外の動的オブジェクト（例えば、犬や猫）を撮影する場合がある。しかし、人物以外については、感情分析を行う必要はない。そのため、性能向上のために、演算を減らすことができる。

　以上のようにして人物が抽出されると、分析サーバは人物のデータを記録する。記録されるのは、人物を含む映像（あるいはフレーム）のデータでもよいし、次に述べる人物のパターンであってもよい。

　分析サーバは人物のパターンを分析し、記録する（ステップＳ３）。パターンは、顔のパターンでもよいし、体のパターンでもよい。一例として、分析サーバは人物が所定のパターンと一致するか否かを判定する。所定のパターンは、腕を組む、肩を落とす、拳を握る等である。あるいは、パターンは顔のパターン（えくぼができている、目がつり上がっている等）でもよい。

　感情分析の結果は分析サーバから送信される（ステップＳ４）。例えば、パターンが「腕を組む」である場合、感情分析装置は、ユーザの感情は防衛的である、と分析する。パターンが「肩を落とす」である場合、感情分析装置２０は、ユーザの感情は気分が落ち込んでいる、と分析する。パターンが「拳を握る」である場合、感情分析装置は、ユーザの感情は緊張、不安あるいはフラストレーションを感じている、と分析する。

　感情分析の結果は分析サーバからＭＲヘッドセットに送信される。そして、ＭＲヘッドセットは結果を表示させる。

　以上のとおり、ユーザの感情分析することで、ＭＲシステムにおけるインタラクションを充実させることができる。また、外部カメラで撮影して得られた映像全体ではなく、人物のデータ（パターン）に対して感情分析を行うため、処理量、消費電力、処理時間を低減できる。

　本実施形態は、バーチャルアイドル、バーチャルツアーガイド、バーチャルコンパニオン（友人、家庭教師、コーチ等）等に適用され得る。例えば、ユーザの感情を分析することで、バーチャルアイドルをより現実の人間のように反応させたり、バーチャルコンパニオンとより人間らしいコミュニケーションが可能となる。

　本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録され得る。

　上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。例えば、各実施形態の一部のみを取り出した発明や、複数の実施形態を組み合わせた発明も当然に想定される。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

　例えば、本明細書において１つの装置（あるいは部材、以下同じ）として説明されるもの（図面において１つの装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１つの装置によって実現してもよい。あるいは、ある装置に含まれるとした手段や機能の一部または全部が、他の装置に含まれるようにしてもよい。また、「システム」とは、１つの装置から構成されてもよいし、２以上の装置から構成されてもよい。

　また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。

 本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。

Claims (6)

1. 　複合現実（ＭＲ）システムにおける感情分析方法であって、
   　ＭＲヘッドセットのユーザおよび空間環境をカメラで撮影して映像を取得する第１工程と、
   　前記映像から人物を抽出する第２工程と、
   　前記抽出された人物のデータを検出する第３工程と、
   　前記検出された人物のデータに基づいて、前記ユーザの感情および体の姿勢の分析を行う第４工程と、
   　前記分析の結果を前記ＭＲヘッドセットのディスプレイに表示させる第５工程と、を備える方法。
2. 　前記第２工程では、
   　　前記映像からオブジェクトを検出し、
   　　前記検出されたオブジェクトのそれぞれが動的オブジェクトであるか静的オブジェクトであるかを判定し、
   　　前記動的オブジェクトのそれぞれが人物か否かを判定する
   ことにより、人物が抽出される、請求項１に記載の方法。
3. 　前記映像は複数のフレームを含み、
   　前記第第２工程では、前記複数のフレームを比較することにより、前記検出されたオブジェクトのそれぞれが動的オブジェクトであるか静的オブジェクトであるかが判定される、請求項２に記載の方法。
4. 　前記第３工程では、人物が所定のパターンと一致するか否かに基づいて、人物のパターンが検出され、
   　前記第４工程では、前記人物のパターンに基づいて、前記ユーザの感情分析が行われる、請求項１に記載の方法。
5. 　前記第４工程は、
   　　前記ＭＲヘッドセットからの前記人物のデータを分析する工程と、
   　　分析サーバにより、前記感情および前記体の姿勢の分析を行う工程と、
   　　前記分析サーバから前記分析の結果を送信し、前記ＭＲヘッドセットに表示させる工程と、を含む、請求項１に記載の方法。
6. 　ＭＲヘッドセットのユーザを撮影して映像を生成する外部カメラと、
   　前記映像から人物を抽出し、抽出された人物のデータを検出し、前記撮影された映像に基づいて、前記ユーザの感情および体の姿勢を分析する分析サーバと、
   　前記分析サーバの結果に基づく表現が表示されるＭＲヘッドセットディスプレイと、を備える複合現実（ＭＲ）システム。