JP7615772B2

JP7615772B2 - リラックス度判定装置、リラックス度判定方法およびリラックス誘導装置

Info

Publication number: JP7615772B2
Application number: JP2021032807A
Authority: JP
Inventors: 奈々子中川; 隆川越; 和多留林
Original assignee: Toyota Boshoku Corp
Current assignee: Toyota Boshoku Corp
Priority date: 2021-03-02
Filing date: 2021-03-02
Publication date: 2025-01-17
Anticipated expiration: 2041-03-02
Also published as: JP2022133877A

Description

本発明は、リラックス度判定装置、リラックス度判定方法およびリラックス誘導装置に関する。

人間の感情を考慮した機械の制御のための一技術として、人間の感情を推定する技術が知られている。当該技術としては、被験者の表情および生体情報に基づいて被験者の感情を推定し、得られた推定結果を被験者による重み付けに基づいて組み合わせることにより、被験者の感情の最終的な推定結果を取得する技術が知られている（例えば、特許文献１参照）。

特開２０１２－５９１０７号公報

しかしながら、上述のような従来技術は、被験者のリラックスの度合（リラックス度）を推定する観点では検討の余地が残されている。たとえば、上記特許文献１は、被験者のリラックス度の判定を開示していない。また、上記特許文献１の技術では、最終的な推定結果は、各指標による推定結果に対する被験者による重み付けを含むため、客観性に欠けることがある。このため、被験者の感情と検出される指標との関係について被験者の自覚が伴わない場合には不適切な重み付けがなされ、最終的な推定結果の精度が低下することがある。

本発明の一態様は、被判定者の生体情報および顔表情の情報から精度よくリラックス度を判定する技術を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係るリラックス度判定装置は、被判定者の心拍測定値を取得する心拍測定値取得部と、前記被判定者の顔表情の情報を取得する顔表情情報取得部と、前記心拍測定値取得部が取得した心拍測定値を参照して前記被判定者のリラックス度を推定するリラックス度推定部と、前記リラックス度推定部が推定したリラックス度を、前記顔表情情報取得部が取得した顔表情の情報に基づいて補正するリラックス度補正部と、を備え、前記リラックス度補正部で補正されたリラックス度を前記被判定者のリラックス度と判定する。

また、上記の課題を解決するために、本発明の一態様に係るリラックス度判定方法は、被判定者の心拍測定値を取得する心拍測定値取得ステップと、前記被判定者の顔表情の情報を取得する顔表情情報取得ステップと、前記心拍測定値取得ステップで取得した心拍測定値を参照して前記被判定者のリラックス度を推定するリラックス度推定ステップと、前記リラックス度推定ステップで推定したリラックス度を、前記顔表情情報取得ステップで取得した顔表情の情報に基づいて補正するリラックス度補正ステップと、を含み、前記リラックス度補正ステップで補正したリラックス度を前記被判定者のリラックス度と判定する。

これらの構成によれば、被判定者の心拍測定値および顔の表情の情報のそれぞれを適切に用いるリラックス度の判定が可能であることから、被判定者の生体情報および顔表情の情報から精度よくリラックス度を判定する技術を実現することができる。

前記リラックス度補正部は、前記被判定者の顔表情の情報のうち、リラックス度の高さとより強く相関する顔表情の情報に応じて、前記被判定者のリラックス度を高くするように補正し、リラックス度の高さとより低く相関する顔表情の情報に応じて、前記被判定者のリラックス度を低くするように補正してもよい。

この構成は、顔表情の情報をリラックス度の判定に適切に反映させることでリラックス度の判定の精度を高める観点からより一層効果的である。

前記リラックス度補正部は、前記被判定者の顔表情の情報のうち、リラックス度の高さとより強く相関する顔表情の情報に応じて、前記被判定者のリラックス度の高い状態の種類をさらに分類してもよい。

この構成は、顔表情の情報からリラックス度の種類を適切に分類することでリラックス度の判定の精度を高める観点からより一層効果的である。

前記リラックス度判定装置は、前記心拍測定値取得部が取得した心拍測定値を参照して被判定者の心拍揺らぎの超低周波成分と高周波成分とを抽出する周波数成分抽出部をさらに備えもよく、前記リラックス度推定部は、前記周波数成分抽出部が抽出した前記超低周数波成分および前記高周波数成分に基づいて前記被判定者のリラックス度を推定してもよい。

この構成は、リラックス度の推定処理における情報処理の負荷を軽減し、またリラックス度の推定の精度を高める観点からより効果的である。

前記周波数成分抽出部は、前記心拍測定値取得部が取得した心拍測定値を参照して被判定者の心拍揺らぎの大小を判定してもよく、前記リラックス度推定部は、前記周波数成分抽出部による心拍揺らぎの判定結果に基づいて、前記心拍揺らぎが大きい場合では、前記超低周波数成分および前記高周波数成分に基づいて前記被判定者のリラックス度を推定し、前記心拍揺らぎが小さい場合では、前記超低周波数成分に基づいて前記被判定者のリラックス度を推定してもよい。

この構成は、リラックス度の推定処理における情報処理の負荷を軽減し、またリラックス度の推定の精度を高める観点からより一層効果的である。

前記周波数成分抽出部は、被判定者の心拍揺らぎの移動平均に基づいて、被判定者の心拍揺らぎの超低周波数成分を抽出してもよい。

この構成は、被判定者の心拍揺らぎの特徴をより明確にすることができ、リラックス度の推定の精度を高める観点からより一層効果的である。

前記リラックス度推定部は、前記基準データ取得部が取得した基準データを参照して前記被判定者のリラックス度を推定してもよい。

この構成は、リラックス度を推定する際の被判定者の心拍測定値の状態を正確に把握し、リラックス度の推定の精度を高める観点からより一層効果的である。

前記リラックス度判定装置は、被判定者が存する環境を示す環境情報と、日時情報との少なくとも一方を含む外部要因情報を取得する外部要因情報取得部をさらに備えてもよく、前記リラックス度推定部は、前記外部要因情報取得部が取得した外部要因情報を参照して前記被判定者のリラックス度を推定してもよい。

この構成は、被判定者のリラックス度の推定に外部の要因による影響を適切に反映させられることから、リラックス度の推定の精度を高める観点からより一層効果的である。

被判定者は移動体の搭乗者であってもよく、前記心拍測定値取得部は、移動体に搭載されている心拍センサから被判定者の心拍測定値を取得してもよく、前記顔表情情報取得部は、移動体に搭載されているカメラから被判定者の顔表情情報を取得してもよい。

この構成は、移動体における被判定者のリラックス度の判定をより簡易に実施する観点、および、移動体における被判定者のリラックス度の判定結果を移動体の運用に常時活用する観点からより一層効果的である。

さらに、上記の課題を解決するために、本発明の一態様に係るリラックス誘導装置は、被判定者の心拍測定値を取得する心拍測定値取得部と、前記被判定者の顔表情の情報を取得する顔表情情報取得部と、前記心拍測定値取得部が取得した心拍測定値を参照して前記被判定者のリラックス度を推定するリラックス度推定部と、前記リラックス度推定部が推定したリラックス度を、前記顔表情情報取得部が取得した顔表情の情報に基づいて補正するリラックス度補正部と、前記リラックス度補正部で補正されたリラックス度に応じた刺激を被判定者に提供する刺激提供部と、を備える。

この構成によれば、被判定者の心拍測定値および顔の表情の情報のそれぞれを適切に用いるリラックス度の判定が可能であることから、被判定者の生体情報および顔表情の情報から精度よくリラックス度を判定する技術を実現することができる。また、上記の構成によれば、高い精度のリラックス度を参照して決定される刺激を被判定者に提供することにより、被判定者をより望ましいリラックス状態に誘導することができる。

本発明の一態様によれば、被判定者の生体情報および顔表情の情報から精度よくリラックス度を判定する技術を実現することができる。

本発明の実施形態１に係るリラックス度判定装置の機能的構成を模式的に示すブロック図である。本発明の実施形態１に係るリラックス度の判定装置によるリラックス度の判定処理の一例の流れを示すフローチャートである。本発明の実施形態１における顔表情情報に基づくリラックス度の補正処理の第一の例の流れを示すフローチャートである。本発明の実施形態１におけるリラックス度の補正の第一の例によるリラックス度の判定結果を表す画面例を模式的に示す図である。本発明の実施形態１における顔表情情報に基づくリラックス度の補正処理の第二の例の流れを示すフローチャートである。本発明の実施形態１におけるリラックス度の補正の第二の例によるリラックス度の判定結果を表す画面例を模式的に示す図である。本発明の実施形態２に係るリラックス度判定装置の機能的構成を模式的に示すブロック図である。本発明の実施形態２における心拍測定値に基づくリラックス度の推定処理の第一の例の流れを示すフローチャートである。本発明の実施形態２における心拍測定値に基づくリラックス度の推定処理の第二の例の流れを示すフローチャートである。本発明の実施形態３に係るリラックス度判定装置の機能的構成を模式的に示すブロック図である。本発明の実施形態３における被験者の周囲での機器の配置の一例を模式的に示す図である。本発明の実施形態３に係るリラックス度の判定装置によるリラックス度の判定処理の一例の流れを示すフローチャートである。本発明の実施形態４に係るリラックス誘導装置の機能的構成を模式的に示すブロック図である。本発明の実施形態４に係るリラックス誘導装置によるリラックス度の判定処理からリラックス誘導処理までの流れの一例を示すフローチャートである。本発明の実施形態４におけるリラックス誘導処理の一例の流れを示すフローチャートである。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

［機能的構成］
図１は、本発明の実施形態１に係るリラックス度判定装置の機能的構成を模式的に示すブロック図である。図１に示されるように、本実施形態のリラックス度判定装置は、制御部１で構成されている。制御部１は、被判定者の心拍測定値を取得する心拍測定値取得部１１、被判定者の顔表情の情報を取得する顔表情情報取得部１２、心拍測定値取得部１１が取得した心拍測定値を参照して被判定者のリラックス度を推定するリラックス度推定部１３、および、リラックス度推定部１３が推定したリラックス度を、顔表情情報取得部１２が取得した顔表情の情報に基づいて補正するリラックス度補正部１４、を備えている。

制御部１には、心拍測定装置１５、カメラ１６、記憶部１７および通知装置１８が接続されている。心拍測定装置１５は、被判定者の心拍を測定可能な範囲において適宜に選択され得る。心拍測定装置１５の例は、後述する移動体（車両）の各座席に応じて配置されている心拍センサ、および、被判定者に装着可能な腕時計タイプの生体情報測定装置が含まれる。

カメラ１６は、被判定者の顔の表情を撮影する装置である。カメラ１６は、被判定者の顔全体を撮影できるように、通常、被判定者の正面に配置される。カメラ１６が撮影する画像は、被判定者の顔の静止画であってもよいし、動画であってもよい。

記憶部１７は、リラックス度の判定（推定および補正）を実行するための情報を格納している。当該情報の例には、リラックス度の判定を実施するためのプログラム、当該判定で使用される数値、式およびマップが含まれる。また、記憶部１７は、当該リラックス度の判定における測定値および取得値を、被判定者と対応付けて記憶可能である。

通知装置１８は、被判定者へ通知するための装置である。通知装置１８の例には、被判定者に通知するための音声を出力する音声出力装置、および、被判定者に通知するための文字および画像を表示する表示装置、が含まれる。

［リラックス度の判定例］
図２は、本発明の実施形態１に係るリラックス度の判定装置によるリラックス度の判定処理の一例の流れを示すフローチャートである。心拍測定装置１５は、被判定者の心拍を測定している。また、カメラ１６は、被判定者の顔の表情を正面から撮影している。

ステップＳ１０１において、心拍測定値取得部１１は、心拍測定装置１５が測定している被判定者の心拍の出力情報を入手する。こうして心拍測定値取得部１１は、被判定者の心拍測定値を取得する。「心拍測定値」は、被判定者の心拍およびの成分の測定結果の情報である。より詳しくは、心拍測定値は、心拍測定装置１５が測定した心拍データそのものであってもよいし、当該心拍データから抽出されたデータであってもよい。後者の例には、後述するＲＲ－Ｉ値およびＨＦ値が含まれる。

ステップＳ１０２において、顔表情情報取得部１２は、カメラ１６が撮影している被判定者の顔の正面画像の出力情報を入手する。こうして、顔表情情報取得部１２は、被判定者の顔表情の情報を取得する。「顔表情の情報」とは、被判定者の顔の表情を示す情報であり、例えば被判定者の顔の要部または実質的に全部、の画像の情報である。

ステップＳ１０３において、リラックス度推定部１３は、心拍測定値取得部１１が取得した心拍測定値を参照して被判定者のリラックス度を推定する。ステップＳ１０３におけるリラックス度の推定は、被判定者の心拍測定値を参照する方法の範囲においていかなる方法であってもよい。ステップＳ１０３におけるリラックス度の推定方法は、定量的に表されるリラックス度が心拍測定値によって一義的に決められる方法であればよい。たとえば、リラックス度推定部１３は、被判定者の実質的に変動していない心拍数を基準値として、心拍数が高いほどリラックス度を低く推定し、心拍数が低いほどリラックス度を高く推定してもよい。心拍測定値によるリラックス度の推定については、後の実施形態においてさらに詳しく説明する。

ステップＳ１０４において、リラックス度補正部１４は、ステップＳ１０３で推定したリラックス度を、ステップＳ１０２で取得した顔表情の情報に基づいて補正する。そして、制御部１は、リラックス度補正部１４で補正されたリラックス度を被判定者のリラックス度と判定する。

＜顔表情情報に基づくリラックス度の補正の第一の例＞
ここで、顔表情情報に基づくリラックス度の補正について説明する。図３は、本発明の実施形態１における顔表情情報に基づくリラックス度の補正処理の第一の例の流れを示すフローチャートである。

ステップＳ２０１において、リラックス度補正部１４は、被判定者の顔表情による感情を判定する。

ここで、顔表情による感情の判定について説明する。顔表情から感情を判定する方法は限定されず、公知の方法を採用することが可能である。たとえば、顔表情からの感情の判定には、「faceproc」を用いて実行することが可能である。「faceproc」は、顔表情ＡＰＩ（アプリケーションプログラミングインターフェース）であり、人工知能によって顔画像から基本感情を推測する表情認識ＡＰＩである。

顔表情から判定する感情の種類および数は、被判定者のリラックス度を判定可能な範囲において適宜に決定することが可能である。当該感情は、被判定者がリラックスしている状態を表す感情のみであってもよいし、被判定者がリラックスしている状態を表す感情と、リラックスしていない状態を表す感情の両方を含んでもよい。顔表情の判定において用いる感情の種類の例には、怒り（anger）、嫌悪（disgust）、恐れ（fear）、幸福（happiness）、中立もしくは無感情もしくは無関心（neutral、以下、「中立等」とも言う）、悲しみ（sadness）および驚き（surprise）の７感情、あるいは、場合によってはさらに軽蔑（contempt）を含んだ８感情、が含まれる。

ステップＳ２０２において、リラックス度補正部１４は、被判定者の顔表情から判定した感情の判定結果に応じたリラックス度の補正値を取得する。顔表情による感情の判定結果とリラックス度の補正について以下に説明し、また上記補正値の取得の一例を以下に説明する。

通常、被判定者がリラックスしている時は、副交感神経が優位になり、被判定者の心拍が遅くなる。リラックスしている状態については、顔表情による判定の精度よりも心拍測定値による判定の精度がより高くなる傾向になる。一方で、被判定者がイライラしている時は心拍が速くなるが、日常生活において実際に心拍が速くなるほどの強いイライラの感情が発生することは少ない。よって、イライラの感情は、心拍測定値による判定よりも顔表情による判定の精度の方がより高くなる傾向にある。

このように、被判定者のリラックス度の判定において、顔表情による感情の判定の精度がより高い傾向にある感情については、心拍測定値による判定結果を、顔表情による感情の判定結果によって積極的に補正する。それにより、リラックス度の判定の精度をより一層高めることが可能となる。

感情の判定結果は、複数の感情について実施した場合、顔表情が表す感情の割合として表すことが可能である。この場合、各感情の判定値の総数は１となる。複数の感情の判定値のうち、最も高い判定値の感情の値を、被判定者の顔表情に基づく感情の判定結果とする。感情の数値化ついては後述する。

一方で、複数の感情の種類は、リラックス度の高さとより強く相関する顔表情の情報と、リラックス度の高さとより低く相関する顔表情の情報との二種類に分類される。たとえば、前者は、被判定者がリラックスしている状態を表す感情（以下、「正の感情」ともいう）の情報であり、後者は、被判定者がリラックスしていない状態を表す感情（以下、「負の感情」ともいう）の情報である。このような感情の分類は、例えば、リラックスしている状態をより強く関係する感情を正の感情とし、その他の感情を負の感情とすることにより行うことができる。上記の８感情であれば、幸福（happiness）と中立等（neutral）との２感情を正の感情として、その他の感情を負の感情として分類することが可能である。

そして、正の感情の場合の補正値と負の感情の場合の補正値とを設定しておく。たとえば、正の感情であれば補正値を＋０．５、負の感情であれば補正値を－０．５に設定する。

顔表情による感情の判定結果から正負のいずれの感情であるかを判定し、その判定結果に応じた補正値を選択することにより、顔表情による感情の判定結果に応じたリラックス度の補正値を得ることができる。

顔表情情報に基づくリラックス度の補正の処理例の続きを説明する。ステップＳ２０３において、ステップＳ１０３で推定した心拍測定値によるリラックス度に、ステップＳ２０２で取得した補正値を加算してリラックス度を補正する。補正されたリラックス度が被判定者のリラックス度と判定される。

たとえば、心拍測定値によるリラックス度が０．４であり、正の感情の補正値が＋０．５であれば、０．９を被判定者のリラックス度と判定する。また、例えばリラックス度の上限が１であり、下限が－１であって、補正値を加算後のリラックス度が上限を超える場合には、補正後のリラックス度を上限値、すなわち１としてよく、補正値を加算後のリラックス度が下限を下回る場合では、補正後のリラックス度を下限値、すなわち－１としてよい。

当該リラックス度は、通知装置１８によって被判定者に通知することが可能である。通知装置１８が液晶ディスプレイなどの表示装置である場合では、以下に示されるように、リラックス度の判定結果を画像で被判定者に通知することが可能である。

＜判定結果の通知における第一の例＞
図４は、本発明の実施形態１におけるリラックス度の補正の第一の例によるリラックス度の判定結果を表す画面例を模式的に示す図である。

図４に示されるように、画面１８０は、液晶表示装置である通知装置１８の画面である。画面１８０は、リラックス度の大きさに応じて上下方向に二分割されている。

キャラクタ画像１８１は、被判定者がリラックスした状態を表しており、リラックス度が所定値よりも大きい場合、すなわち、被判定者がリラックスしている状態にあると判定された場合に表示される。キャラクタ画像１８１は、例えば、判定されたリラックス度に応じて表示される。キャラクタ画像１８１は、例えば、画面１８０の上下方向におけるリラックス度に応じた位置に表示されてもよいし、画面１８０上部の所定の位置に表示されるがリラックス度が高いほど大きく表示されてもよい。

キャラクタ画像１８２は、被判定者がリラックスしていない状態を表しており、リラックス度が所定値よりも小さい場合に表示される。キャラクタ画像１８２も、キャラクタ画像１８１と同様に、画面１８０の上下方向におけるリラックス度に応じた位置に表示されてもよいし、画面１８０の所定の位置に表示されるがリラックス度が低いほど大きく表示されてもよい。

このように、本実施形態におけるリラックス度の補正の第一の例では、リラックス度補正部１４は、被判定者の顔表情の情報のうち、リラックス度の高さとより強く相関する顔表情の情報に応じて被判定者のリラックス度を高くするように補正し、リラックス度の高さとより低く相関する顔表情の情報に応じて被判定者のリラックス度を低くするように補正する。よって、リラックス度とより強く相関する顔表情の情報がリラックス度の判定結果に反映されるため、心拍測定値のみ、または顔表情の情報のみによるリラックス度の判定に比べて、より高い精度でリラックス度を判定することが可能である。

＜顔表情情報に基づくリラックス度の補正の第二の例＞
本実施形態において、顔表情情報に基づくリラックス度の補正は、被判定者の顔表情に基づく感情の種類に応じた判定結果の分類を伴ってもよい。図５は、本発明の実施形態１における顔表情情報に基づくリラックス度の補正処理の第二の例の流れを示すフローチャートである。図５のフローチャートは、ステップＳ２０１とステップＳ２０２との間にステップＳ３０１を含む以外は、図４に示されているフローチャートと同じである。

ステップＳ３０１において、リラックス度補正部１４は、ステップＳ２０１において判定した顔表情による感情について、当該感情の種類に応じて判定結果を分類する。たとえば、リラックス度補正部１４は、ステップＳ３０１において、以下に述べる高いリラックス度の判定を、活性的なリラックスと鎮静的なリラックスとに分類する。

通常、リラックスしている状態には、何かを楽しんでいる状態が含まれる。この場合、心拍測定値は上がるがイライラの感情は実質的には生じていない。このように心拍が速くなるがリラックスしている状態により強く相関する感情についても、心拍測定値による判定よりも顔表情による判定の精度の方がより高くなる傾向にある。

たとえば、気の合う友人との会話、またはお笑い動画などの笑いを惹起するコンテンツの視聴により、心が穏やかになりリフレッシュされることがある。前述した、副交感神経が優位になって心拍がゆっくりになるリラックスの状態は、眠気を含む鎮静的なリラックスとも言えるが、これに対して上記の楽しんでいる状態のリラックスの状態は、活性的なリラックスとも言える。このような感情により分類され得るリラックスの状態を、リラックス度の判定において反映させることも、本発明の実施形態に含まれる。

たとえば、正の感情と分類される幸福（happiness）と中立等（neutral）との２感情のうち、幸福（happiness）は、顔表情では明確な笑顔として表れる傾向にある。よって、正の感情の判定値が幸福（happiness）の判定値である場合には、この場合のリラックス度の高い状態を、リラックス度の高い状態のうちの活性的なリラックスの状態と分類することができる。なお、正の感情の判定値が中立等（neutral）の判定値である場合には、この場合のリラックス度の高い状態を、リラックス度の高い状態のうちの鎮静的なリラックスの状態と分類することができる。

＜判定結果の通知における第二の例＞
図６は、本発明の実施形態１におけるリラックス度の補正の第二の例によるリラックス度の判定結果を表す画面例を模式的に示す図である。図６のうち、図の紙面に対して左側の図は、上記の鎮静的なリラックスのリラックス度を通知する場合の画面の一例であり、右側の図は、上記の活性的なリラックスのリラックス度を通知する場合の画面の一例である。

キャラクタ画像１８１は、本例では、被判定者がリラックスした状態のうち、鎮静的なリラックスの状態を表している。キャラクタ画像１８３は、本例では、被判定者がリラックスした状態のうち、活性的なリラックスの状態を表している。キャラクタ画像１８３も、キャラクタ画像１８１、１８２と同様に、画面１８０の上下方向におけるリラックス度に応じた位置に表示されてもよいし、画面１８０上部の所定の位置に表示されるがリラックス度の数値に応じた相対的な大きさで表示されてもよい。

このように、本実施形態におけるリラックス度の補正の第二の例では、リラックス度補正部１４は、被判定者の顔表情の情報のうち、リラックス度の高さとより強く相関する顔表情の情報に応じて、被判定者のリラックス度の高い状態の種類をさらに分類する。よって、リラックス度の判定から、被判定者のリラックス度の高い状態をより明確に把握することが可能となり、リラックス度の判定の精度が高められる。

［実施形態１のまとめ］
本実施形態に係る制御部（１、リラックス度判定装置）は、被判定者の心拍測定値を取得する心拍測定値取得部（１１）と、被判定者の顔表情の情報を取得する顔表情情報取得部（１２）と、心拍測定値取得部が取得した心拍測定値を参照して被判定者のリラックス度を推定するリラックス度推定部（１３）と、リラックス度推定部が推定したリラックス度を、顔表情情報取得部が取得した顔表情の情報に基づいて補正するリラックス度補正部（１４）と、を備え、リラックス度補正部で補正されたリラックス度を被判定者のリラックス度と判定する。

また、本実施形態に係るリラックス度判定方法は、被判定者の心拍測定値を取得する心拍測定値取得ステップ（ステップＳ１０１）と、被判定者の顔表情の情報を取得する顔表情情報取得ステップ（ステップＳ１０２）と、心拍測定値取得ステップで取得した心拍測定値を参照して被判定者のリラックス度を推定するリラックス度推定ステップ（ステップＳ１０３）と、リラックス度推定ステップで推定したリラックス度を、顔表情情報取得ステップで取得した顔表情の情報に基づいて補正するリラックス度補正ステップ（ステップＳ１０４）と、を含み、リラックス度補正ステップで補正したリラックス度を被判定者のリラックス度と判定する。

よって、本実施形態によれば、被判定者の心拍測定値および顔の表情の情報のそれぞれを適切に用いるリラックス度の判定が可能である。そのため、被判定者の生体情報および顔表情の情報から精度よくリラックス度を判定する技術を実現することができる。

本実施形態において、リラックス度補正部は、被判定者の顔表情の情報のうち、リラックス度の高さとより強く相関する顔表情の情報に応じて、被判定者のリラックス度を高くするように補正し、リラックス度の高さとより低く相関する顔表情の情報に応じて、被判定者のリラックス度を低くするように補正する。このような構成は、顔表情の情報をリラックス度の判定に適切に反映させることでリラックス度の判定の精度を高める観点からより一層効果的である。

また、本実施形態において、リラックス度補正部は、被判定者の顔表情の情報のうち、リラックス度の高さとより強く相関する顔表情の情報に応じて、被判定者のリラックス度の高い状態の種類をさらに分類する。このような構成は、顔表情の情報からリラックス度の種類を適切に分類することでリラックス度の判定の精度を高める観点からより一層効果的である。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図７は、本発明の実施形態２に係るリラックス度判定装置の機能的構成を模式的に示すブロック図である。図７に示されるように、制御部２は、心拍測定値取得部１１が取得した心拍測定値を参照して被判定者の心拍揺らぎの超低周波成分と高周波成分とを抽出する周波数成分抽出部２１をさらに備える以外は、実施形態１における制御部１と同様の機能的構成を有している。

［リラックス度の判定例］
制御部２は、心拍測定値によるリラックス度の推定処理（図２のステップＳ１０３）を後述するように実施する以外は、実施形態１の制御部１と同様にリラックス度を判定する。以下、本実施形態における心拍測定値によるリラックス度の推定について説明する。

＜心拍測定値に基づくリラックス度の推定の第一の例＞
図８は、本発明の実施形態２における心拍測定値に基づくリラックス度の推定処理の第一の例の流れを示すフローチャートである。

周波数成分抽出部２１は、心拍測定値取得部１１が取得した心拍測定値を参照して被判定者の心拍揺らぎの大小を判定する。たとえば、ステップＳ４０１において、周波数成分抽出部２１は、心拍測定値取得部１１が取得した心拍測定値を参照して被判定者の心拍揺らぎの超低周波成分（ＲＲ－Ｉ値）と高周波成分（ＨＦ値）とを抽出する。

ＲＲ－Ｉ値は、被判定者の心拍間隔の長さ（秒）である。心拍揺らぎのＲＲ－Ｉ値とは、０．００３３～０．０４Ｈｚの帯域で表される心拍揺らぎである。ＨＦ値は、被判定者の心拍揺らぎにおける高周波成分（０．１５～０．４Ｈｚ）を表す値であり、０．１５～０．４（Ｈｚ）の範囲のパワー値の総和（スペクトラムデータにおける該当範囲の面積）である。心拍データからのＲＲ－Ｉ値およびＨＦ値の抽出は、公知の技術によって可能である。

ステップＳ４０２において、周波数成分抽出部２１は、取得した心拍揺らぎにおける閾値に対する大小を判定する。ここで言う「閾値」は、後述する複数のＲＲ－Ｉ値の測定結果の移動平均から心拍揺らぎが大きいデータと小さいデータとに層別する際の閾値である。

リラックス度推定部１３は、周波数成分抽出部２１が抽出したＲＲ－Ｉ値およびＨＦ値に基づいて被判定者のリラックス度を推定する。たとえば、上記心拍揺らぎが上記閾値以上（ステップＳ４０２にてＹＥＳ）である場合では、制御部２は、記憶部１７から下記式１を読み出し、リラックス度推定部１３は、ステップＳ４０３において、下記式１を用いてリラックス度を算出する。なお、下記式１、式２中、「Ｄ_{ｒｅｌａｘ}」はリラックス度を表し、「Ｖ_ＲＲ－Ｉ」はＲＲ－Ｉ値を表し、「Ｖ_ＨＦ」はＨＦ値を表す。また、α_１、α_２、β_１、β_２、γ_１は、いずれも正または負の定数である。
Ｄ_{ｒｅｌａｘ}＝α_１×Ｖ_ＲＲ－Ｉ＋β_１×Ｖ_ＨＦ＋γ_１（式１）

上記心拍揺らぎが上記閾値未満（ステップＳ４０２にてＮＯ）である場合では、制御部２は、記憶部１７から下記式２を読み出し、リラックス度推定部１３は、ステップＳ４０４において、下記式２を用いてリラックス度を算出する。
Ｄ_{ｒｅｌａｘ}＝α_２×Ｖ_ＲＲ－Ｉ＋β_２（式２）

上記式１、式２は、以下のようにして得られる。まず、複数のＲＲ－Ｉ値の測定結果の移動平均から、心拍揺らぎが大きいデータと小さいデータとに層別する。ＲＲ－Ｉ値の移動平均は、適当な間隔（例えば２０秒間）でＲＲ－Ｉの移動平均を算出することによって取得することができる。そして、１６０秒間当たりの平滑化したＲＲ－Ｉ値の振幅で０．０４秒を閾値とし、適宜に抽出された１６０秒間当たりの上記振幅が閾値を超えるデータを、心拍揺らぎが大きいデータとし、当該閾値以下のデータを、心拍揺らぎが小さいデータと層別する。層別した各データ群を重回帰分析することによって、上記式１、式２が導出される。あるいは、上記式１、式２は、上記の層別した各データ群を、基準値からの差分で重回帰分析することによって導出される。

前述したように、リラックスしている時は、副交感神経が優位になり、心拍が遅くなる傾向がある。本実施形態における第一の例では、上記のように、被判定者の心拍揺らぎにおける振幅の大小に応じたリラックス度との相関性を利用して被判定者のリラックス度を推定する。よって、上記の第一の例は、ＨＦの算出における周波数解析が省略されることでリラックス度の推定処理における情報処理の負荷をより軽減し、またリラックス度の推定の精度をより高めるのに有利である。

＜心拍測定値に基づくリラックス度の推定の第二の例＞
本実施形態において、心拍測定値に基づくリラックス度の推定は、以下のようであってもよい。図９は、本発明の実施形態２における心拍測定値に基づくリラックス度の推定処理の第二の例の流れを示すフローチャートである。第二の例は、ステップＳ４０１でＲＲ－Ｉ値およびＨＦ値を取得した後の処理が前述した第一の例とは異なる。

ステップＳ５０１において、周波数成分抽出部２１は、ＲＲ－Ｉ値を平滑化する。たとえば、周波数成分抽出部２１は、適当な間隔（例えば２０秒間）でＲＲ－Ｉ値の移動平均を算出する。適切な時間間隔で移動平均を算出することにより、被判定者のＲＲ－Ｉ値が適切かつ明確に表される。

ステップＳ５０２において、リラックス度推定部１３は、周波数成分抽出部２１が平滑化したＲＲ－Ｉ値の閾値に対する大小を判定する。たとえば、リラックス度推定部１３は、例えば１６０秒間当たりのＲＲ－Ｉ値の振幅が０．０４秒、を閾値とし、１６０秒間当たりのＲＲ－Ｉ値の振幅を適宜に抽出し、抽出した振幅が閾値を超えるか否かを判定する。

ステップＳ５０２においてＲＲ－Ｉ値の単位時間当たりの振幅が閾値よりも大きい（ステップＳ５０２にてＹＥＳ）場合には、ステップＳ５０３において、リラックス度推定部１３は、ＨＦ値に基づいて被判定者のリラックス度を判定する。より具体的には、リラックス度推定部１３は、上記の振幅が閾値よりも大きい場合にＨＦ値とリラックス度との相関関係を示す式を記憶部１７から読み出し、当該式を用いて被判定者のリラックス度を算出する。なお、当該「相関関係を示す式」は、例えば、複数の測定結果から最小二乗法により求めることが可能である。

ステップＳ５０２においてＲＲ－Ｉ値の単位時間当たりの振幅が閾値以下の場合には（ステップＳ５０２にてＮＯ）、ステップＳ５０４において、リラックス度推定部１３は、ＲＲ－Ｉ値に基づいて被判定者のリラックス度を判定する。より具体的には、リラックス度推定部１３は、振幅が閾値以下の場合にＲＲ－Ｉ値とリラックス度との相関関係を示す式を記憶部１７から読み出し、当該式を用いて被判定者のリラックス度を算出する。

このように、第二の例では、周波数成分抽出部２１は、被判定者の心拍揺らぎの移動平均に基づいて、被判定者の心拍揺らぎのＲＲ－Ｉ値を抽出する。そして、これを指標として、リラックス度推定部１３が、周波数成分抽出部２１が抽出したＲＲ－Ｉ値およびＨＦ値に基づいて、被判定者のリラックス度を推定している。

上記の第二の例では、被判定者の心拍揺らぎにおける振幅の大小に応じて、被判定者のＲＲ－Ｉ値およびＨＦ値のうち、被判定者のリラックス度に対する相関性がより高い心拍測定値の種類を決定する。そして、決定した心拍測定値の種類とリラックス度との相関性を利用して被判定者のリラックス度を推定する。よって、上記の第二の例も、前述の第一の例と同様に、リラックス度の推定処理における情報処理の負荷をより軽減し、またリラックス度の推定の精度をより高めるのに有利である。

［実施形態２のまとめ］
本実施形態の制御部（２）は、心拍測定値取得部が取得した心拍測定値を参照して被判定者の心拍揺らぎの超低周波成分と高周波成分とを抽出する周波数成分抽出部（２１）をさらに備える。そして、リラックス度推定部は、周波数成分抽出部が抽出した超低周数波成分および高周波数成分に基づいて被判定者のリラックス度を推定する。このような構成は、リラックス度の推定処理における情報処理の負荷を軽減し、またリラックス度の推定の精度を高める観点からより効果的である。

また、本実施形態では、周波数成分抽出部は、心拍測定値取得部が取得した心拍測定値を参照して被判定者の心拍揺らぎの大小を判定してもよい。この場合、リラックス度推定部は、周波数成分抽出部による心拍揺らぎの判定結果に基づいて、心拍揺らぎが大きい場合では、超低周波数成分および高周波数成分に基づいて被判定者のリラックス度を推定し、心拍揺らぎが小さい場合では、超低周波数成分に基づいて被判定者のリラックス度を推定してもよい。このような構成は、リラックス度の推定処理における情報処理の負荷を軽減し、またリラックス度の推定の精度を高める観点からより一層効果的である。

また、本実施形態では、周波数成分抽出部は、被判定者の心拍揺らぎの移動平均に基づいて、被判定者の心拍揺らぎの超低周波数成分を抽出してもよい。このような構成は、被判定者の心拍揺らぎの特徴をより明確にすることができ、リラックス度の推定の精度を高める観点からより一層効果的である。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態は、本発明におけるリラックス度の判定の技術を、移動体である自動車の搭乗者に適用する形態である。

［機能的構成］
図１０は、本発明の実施形態３に係るリラックス度判定装置の機能的構成を模式的に示すブロック図である。図１０に示されるように、制御部３は、被判定者の心拍測定値の基準である基準データを取得する基準データ取得部３１、および、外部要因情報を取得する外部要因情報取得部３２をさらに備える以外は、前述した実施形態１の制御部１と同様の機能的構成を有している。外部要因情報とは、被判定者が存する環境を示す環境情報と、日時情報との少なくとも一方を含む情報である。

また、制御部４には、車載センサ３３および入力装置３４がさらに接続されている。車載センサ３３は、車両の運転に関する制御および車両内外の環境を検出するために車両に搭載されているセンサである。車載センサ３３の例には、温湿度センサ、座圧センサおよびシートのリクライニング角度センサが含まれる。

入力装置３４は、被判定者あるいはインターネットなどの制御部３の外部から制御部３に情報を入力するための装置である。入力装置３４の例には、タッチパネルおよび音声による入力装置、および、インターネット通信の受信装置が含まれる。

図１１は、本発明の実施形態３における被判定者１００の周囲での機器の配置の一例を模式的に示す図である。図１１に示されるように、被判定者１００は、移動体の搭乗者であり、車両のシート３５に着座している。

心拍測定装置１５は、車両に搭載されている心拍センサであり、例えば被判定者１００の左手首に巻き付けられている。心拍測定装置１５は、被判定者１００の心拍を測定し、取得した心拍の情報である心拍測定値を有線または無線による通信によって制御部４に送信する。

カメラ１６は、車両に搭載されているカメラ（車載カメラ）であり、例えば被判定者１００の正面のやや上方から被判定者の顔を撮影する位置に配置されている。カメラ１６は、被判定者１００の顔の表情を連続して撮像し、取得した顔の画像の情報である顔表情情報を有線または無線による通信によって制御部４に送信する。

［リラックス度の判定例］
図１２は、本発明の実施形態３に係るリラックス度の判定装置によるリラックス度の判定処理の一例の流れを示すフローチャートである。

ステップＳ６０１において、心拍測定値取得部１１は、心拍測定装置１５からの心拍測定値の取得を開始する。このように、本実施形態では、心拍測定値取得部１１は、移動体に搭載されている心拍センサから被判定者の心拍測定値を取得する。

ステップＳ６０２において、顔表情情報取得部１２は、カメラ１６からの顔表情の画像データの取得を開始する。このように、本実施形態では、顔表情情報取得部１２は、移動体に搭載されているカメラ１６から被判定者の顔表情情報を取得する。

ステップＳ６０３において、外部要因情報取得部３２は、車載センサ３３および入力装置３４からの外部要因情報を取得する。たとえば、外部要因情報取得部３２は、車外の気温、車内の温湿度およびシートのリクライニング角度の情報を車載センサ３３から取得し、被判定者が移動体に搭乗している日時の情報を入力装置３４から取得する。

ステップＳ６０４において、制御部３は、心拍測定値取得部１１が取得した心拍測定値を参照して、被判定者の心拍数が落ち着いているか否かを判定する。たとえば、制御部３は、特定の時間における心拍数の変動が閾値以下である場合に、心拍数が落ち着いている、と判定し、特定の時間における心拍数の変動が閾値を超える場合には、心拍数は落ち着いていない、と判定する。

ステップＳ６０４で心拍数が落ち着いていると制御部３が判定した（ステップＳ６０４にてＹＥＳの）場合には、ステップＳ６０５において、基準データ取得部３１は、心拍測定値の基準データを取得する。たとえば、基準データ取得部３１は、心拍測定値取得部１１が取得した特定の時間（例えば２分間）の心拍測定値を基本データとして取得する。

一方で、ステップＳ６０４で心拍数が落ち着いていないと制御部３が判定した場合には、ステップＳ６０６において、制御部３は、所定の時間（例えば１分間）待機し、ステップＳ６０４に戻る。

ステップＳ６０７において、リラックス度推定部１３は、基準データ取得部３１が取得した基準データを心拍測定値としてリラックス度を推定する処理を実行する。当該リラックス度の推定処理は、心拍測定値として当該基本データを用いる以外は、前述したステップＳ１０３における処理と同様に実施される。このように、本実施形態では、リラックス度推定部１３は、基準データ取得部３１が取得した基準データを参照して被判定者のリラックス度を推定する。

また、ステップＳ６０７のリラックス度の推定において、リラックス度推定部１３は、外部要因情報取得部３２が取得した外部要因情報を参照して被判定者のリラックス度を推定する。たとえば、リラックス度推定部１３は、外部要因情報取得部３２が取得した外部要因情報に応じて、前述した記憶部１７から読み出す式に定数を加算し、あるいは係数を変更して、リラックス度を算出する。

次いで、リラックス度補正部１４が、ステップＳ６０７で推定されたリラックス度を顔表情情報に基づいて補正する。このリラックス度の顔表情情報による補正の処理は、前述したステップＳ１０４における処理と同様に実施される。

本実施形態では、リラックス度の推定に際して被判定者の基準データを取得することから、車両などの移動体に搭乗した被判定者のリラックス度をより正確に判定することが可能となる。被判定者が運転者である場合では、自動車を運転している被判定者のリラックス度をより正確に判定することができ、自動車の安定した走行状態を実現する観点から有利である。

また、本実施形態では、被判定者のリラックス度の推定に際して外部要因情報を取得する。よって、リラックス度の推定に、被判定者に作用する外部の要因が被判定者のリラックス度に及ぼす影響を適切に反映させる観点から有利である。

［実施形態３のまとめ］
本実施形態の制御部（３）は、被判定者の心拍測定値の基準である基準データを取得する基準データ取得部（３１）をさらに備える。そして、リラックス度推定部は、基準データ取得部が取得した基準データをさらに参照して被判定者のリラックス度を推定する。このような構成は、リラックス度を推定する際の被判定者の心拍測定値の状態を正確に把握し、リラックス度の推定の精度を高める観点からより一層効果的である。

本実施形態において、制御部は、被判定者が存する環境を示す環境情報と、日時情報との少なくとも一方を含む外部要因情報を取得する外部要因情報取得部（３２）をさらに備える。そして、リラックス度推定部は、外部要因情報取得部が取得した外部要因情報をさらに参照して被判定者のリラックス度を推定する。このような構成は、被判定者のリラックス度の推定に外部の要因による影響を適切に反映させられることから、リラックス度の推定の精度を高める観点からより一層効果的である。

また、本実施形態において、被判定者は移動体の搭乗者である。そして、心拍測定値取得部は、移動体に搭載されている心拍センサ（心拍測定装置１５）から被判定者の心拍測定値を取得し、顔表情情報取得部は、移動体に搭載されているカメラ（１６）から被判定者の顔表情情報を取得する。このような構成は、移動体における被判定者のリラックス度の判定をより簡易に実施する観点、および、移動体における被判定者のリラックス度の判定結果を移動体の運用に常時活用する観点からより一層効果的である。

〔実施形態４〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態は、本発明における、被判定者をリラックス状態へ誘導する技術を、移動体である自動車の搭乗者に適用する形態である。

［機能的構成］
図１３は、本発明の実施形態４に係るリラックス誘導装置の機能的構成を模式的に示すブロック図である。図１３に示されるように、本実施形態のリラックス誘導装置は、制御部４を備える。制御部４は、刺激決定部４１をさらに備える以外は、前述した実施形態３の制御部３と同様に構成されている。刺激決定部４１は、リラックス度補正部１４で補正されたリラックス度に応じた刺激を決定する。

また、制御部４は、刺激提供装置４２にさらに接続されている。刺激提供装置４２は、刺激決定部４１が決定した刺激を被判定者に提供する装置である。刺激提供装置４２は、単独の装置であってもよいが、車載の種々の装置であり得る。刺激提供装置４２が提供する刺激の例には、光、音、振動、熱、湿度およびにおいが含まれ、刺激提供装置４２は、このような刺激を適宜に制御して提示することが可能な装置であればよい。

たとえば、光を提示する刺激提供装置４２であれば、車両に提示される光の明るさまたは色を変更可能な装置であってよく、その例には、車内灯、表示装置およびコントロールパネルが含まれる。音を提示する刺激提供装置４２の例には、カーオーディオが含まれる。振動を提示する刺激提供装置４２の例には、マッサージ機能付きシートが含まれる。熱を提示する刺激提供装置４２の例には、エアコンディショナーおよび温熱機能付きシートが含まれる。湿度を提示する刺激提供装置４２の例には、エアコンディショナーが含まれる。においを提示する刺激提供装置４２の例には、シガーソケットに装着可能な消臭装置または香り発生装置が含まれる。

［リラックス誘導処理の例］
図１４は、本発明の実施形態４に係るリラックス誘導装置によるリラックス度の判定処理からリラックス誘導処理までの流れの一例を示すフローチャートである。リラックス誘導処理は、リラックス度の判定結果に基づく刺激の提供の処理を含む以外は、図１２に示される実施形態３におけるリラックス度の判定処理と同様に実行される。本実施形態におけるリラックス誘導処理では、図１４に示されるように、ステップＳ７０１において、制御部４は、ステップＳ１０４における顔表情によるリラックス度の補正処理によって決定したリラックス度の判定結果に基づく刺激を被判定者に提供する処理を実行する。

図１５は、本発明の実施形態４におけるリラックス誘導処理の一例の流れを示すフローチャートである。

ステップＳ８０１において、刺激決定部４１は、被判定者のリラックス度の判定結果に基づいて、被判定者に提供すべき刺激を選択する。たとえば、刺激決定部４１は、記憶部１７に格納されている反応モデルを参照して、被判定者に対して提供する刺激を選択する。反応モデルは、被判定者のリラックス度と、被判定者に提供されるべき刺激の内容および強度との関係を規定するモデルである。反応モデルの例には、モデル式が含まれる。モデル式は、少なくとも、被判定者のリラックス度と提供すべき刺激の内容および強度との関係を規定する。このような参照モデルを参照することにより、刺激決定部４１は、被判定者に提供すべき刺激の内容と強度とを決定する。

ステップＳ８０２において、刺激提供装置４２は、刺激決定部４１が選択した刺激の情報に応じて、刺激決定部４１が選択した刺激を被判定者に提供する。

刺激を提供後、制御部４は、刺激を提供した被判定者のリラックス度の判定を実行する。このリラックス度の判定は、図１５に示されるように、前述した図２のステップＳ１０３およびＳ１０４と同様に実施される。

ステップＳ８０３において、制御部４は、上記のリラックス度の判定結果の通知情報を生成し、通知装置１８に送信する。通知装置１８は、当該通知情報を音声または画像として被判定者に通知する。

ステップＳ８０４において、制御部４は、リラックス誘導の処理を終了するか否かを被判定者に問い合わせる。この問い合わせは、問い合わせ情報を通知装置１８に送信し、通知装置１８による音声または画像により実施される。入力装置３４において被判定者からの終了する旨の情報が入力される（ＹＥＳの場合である）と、制御部４は、リラックス誘導の処理を終了する。被判定者からリラックス誘導の処理を終了しない旨の情報が入力される（ＮＯの場合である）と、制御部４は、ステップＳ８０１に戻り、リラックス誘導における上記の処理を再び実行する。

本実施形態では、リフレッシュできる活性的なリラックス状態と、眠気を伴う鎮静的なリラックス状態の両方の状態を被判定者に提供することができる。よって、自動運転時に、移動体の搭乗者である被判定者を、道中は鎮静的なリラックス状態に誘導し、目的地近くでは活性的なリラックス状態に誘導することが可能となる。それにより、被判定者を、目的地に到着したらすぐに活動できる状態に誘導することが可能である。

また、本実施形態では、長期間、定期的に活性的または鎮静的なリラックス状態に被判定者を誘導することが可能であるため、移動体で移動する被判定者のストレスが減り、被判定者の心が健康になる。

さらに鎮静リラックスだけだと、常に副交感神経が優位になる。副交感神経が優位で働きすぎている場合、逆に、体が重だるく感じたり、異常な眠気を感じることもある。活性リラックスと鎮静リラックスを両方提供することで、自律神経の良い状態に保つことができる。

［実施形態４のまとめ］
本実施形態の制御部（４、リラックス誘導装置）は、前述した心拍測定値取得部、顔表情情報取得部、リラックス度推定部およびリラックス度補正部に加えて、リラックス度補正部で補正されたリラックス度に応じた刺激を被判定者に提供する刺激提供部（２１）を備える。よって、被判定者の生体情報および顔表情の情報から精度よくリラックス度を判定することができ、さらにはリラックス度を参照して決定される刺激を被判定者に提供することにより、被判定者をより望ましいリラックス状態に誘導することができる。

〔変形例〕
本発明は、上述した各実施形態に限定されず、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。

本発明の実施形態１～４において、顔表情の情報は、被判定者の顔の一部の画像の情報であってもよい。たとえば、顔表情の情報は、被判定者の目および口などの要部の画像の情報であってもよい。

また、本発明の実施形態１～４において、顔表情情報に基づくリラックス度の補正における補正値は、感情の種類ごとに異なっていてもよい。また、当該補正値は、心拍測定値に比べて顔表情により明確に表れやすい感情については、被判定者のリラックス度の判定において顔表情による判定の結果がより強く反映されるように、補正値の絶対値をより大きくしてもよい。

また、本発明の実施形態１～４において、顔表情の情報として、感情に基づく情報以外の他の情報をリラックス度の判定処理に利用してもよい。たとえば、顔表情の情報として、「目が閉じている」（eye closed）ことを追加し、「目が閉じている」との情報をリラックス度の判定処理で参照してもよい。当該情報の参照の一例には、「目が閉じている」との情報の測定結果（例えば、割合あるいは連続回数など）が特定の閾値を超えた場合には、制御部は、リラックスの判定処理を終了させ、被判定者に覚醒を促す通知または刺激の提供を実施させてもよい。

また、前述の実施形態１における「顔表情情報に基づくリラックス度の補正の第二の例」において、前述した活性的なリラックス状態におけるリラックス度は、心拍測定値によるリラックス度の推定結果では、鎮静的なリラックス状態におけるリラックス度に比べて低くなることがある。よって、活性的なリラックス状態に分類された場合は、補正値を、鎮静的なリラックス状態に分類された場合に比べて、より大きい値に設定してもよい。このように、リラックス度の種類に応じて補正値を適切に設定することも、本発明の好ましい実施形態に含まれる。

また、前述の実施形態２における「心拍測定値に基づくリラックス度の推定の第一の例」において、ＲＲ－Ｉ値は、同実施形態における「心拍測定値に基づくリラックス度の推定の第二の例」と同様に平滑化されてもよい。この場合、上記第一の例においても、上記第二の例と同様に、被判定者の心拍揺らぎの特徴をより明確にすることができる。

また、前述の実施形態４において、リラックス度の判定結果を通知装置１８によって被判定者に通知する場合に、刺激提供前のリラックス度に対する刺激提供後のリラックス度の変化量を合わせて被判定者に通知してもよい。

前述の実施形態４において、刺激決定部は、被判定者からの刺激の情報（内容、強度など）の入力にしたがって刺激を決定してもよい。

また、前述の実施形態４において、制御部は、外部要因情報が示す一または複数の要因に基づいて反応モデルを選出してもよい。当該要因に基づいて反応モデルを選出することにより、当該要因によって適宜に重み付けられた反応モデルが選出される。よって、外部要因情報が適切に反映されたリラックスの状態に被判定者を誘導することが可能となる。

また、前述の実施形態４において、制御部は、被判定者のリラックス度の判定結果とその際に被判定者に提供した刺激とに応じて反応モデルを更新する反応モデル更新部をさらに備えていてもよい。このような構成は、リラックス誘導処理において被判定者を所望のリラックス状態へ誘導する際の精度を高める観点からより有利である。

〔ソフトウェアによる実現例〕
本発明の実施形態に係るリラックス度判定装置またはリラックス誘導装置の制御ブロック（制御部１～４）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、リラックス度判定装置またはリラックス誘導装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。

上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。

また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔被判定者の感情の情報を取得するための実験例〕
本発明の実施形態１～４に関連して、本発明の実施形態１～４に用いられる被判定者の感情の情報を取得するための実験について以下に説明する。被判定者の感情の情報は、以下の実験により取得することが可能である。なお、下記の説明における「被験者」は、被判定者であってもよいし、被判定者でなくてもよい。

まず、第一ステップでは被験者を３分間安静させ一回目の心理評価を実施する。次いで、第二ステップでは、３分間、被験者の感情を特定の感情に統制し、二回目の心理評価を実施する。当該感情の統制は、被験者に特定の刺激を与え、あるいは被験者が自身で特定の感情に到達するように自身を制御することによって行われる。感情統制では、例えば被験者の感情が中立な状態、あるいは被験者がイライラしている状態、に被験者が制御される。次いで、第三ステップでは、１０分間、特定の刺激を被験者に提供し、三回目の心理評価を実施する。被験者に提供される刺激は、例えば、温熱振動、温冷またはお笑い動画である。

最初の安静の３分間、続く感情統制の３分間、およびその後の刺激提供の１０分間の各ステップのすべてを通じて、被験者の心拍を測定する。

心拍測定値によるリラックス度の測定では、各ステップの最後の２分間の心拍測定値に基づいて、例えば前述の式１、式２を用いてリラックス度を求める。

顔表情による感情の測定では、各ステップの最後の２分間に被験者の顔表情を３０ｆｐｓのフレームレートにてビデオで撮影し、取得した顔画像の各フレームの画像データに基づいて感情推定ＡＰＩにより、顔表情による被験者の感情の測定値を取得する。撮影時間の２分間における７フレームごとの各感情の測定値の平均値を算出する。そして最も数値が高い平均値を、そのステップにおける顔表情による感情の測定結果とする。

各ステップの終了後における心理評価では、被験者の感情を定量的に評価する。当該心理評価は、二次元気分尺度（ＴＤＭＳ）を用いて実施することが可能である。ＴＤＭＳとは、被験者による心理状態のセルフモニタリングによって、当該心理状態を数量化する検査である。

各ステップにおいて、心拍測定値によるリラックス度の測定または顔表情による感情の測定、あるいはこれらの両方を行う。それにより、心拍測定値によるリラックス度の測定、顔表情による感情の測定、およびこれらによるリラックス度の判定、の個々の結果を取得することが可能である。

［参考実験例］
第三ステップにおける心理評価の項目のうち、正の感情の比のスコアから負の感情の比のスコアを引いた数値を個人ごとで－１～１の間で補正し、当該実験におけるリラックス度の第一の結果（実測値）とした。また、第三ステップにおける心拍測定値から、前述の式１または式２を用いて算出したリラックス度を第二の結果（心拍測定値によるリラックス度の推定結果）とした。さらに、第三ステップにおける顔表情画像に基づく感情推定ＡＰＩによる結果から前述した補正値を算出し、上記の、心拍測定値によるリラックス度の測定結果を補正した第三の結果（リラックス度の判定結果）とした。第一の結果に対する許容幅を±０．２５と設定し、第二の結果および第三の結果が上記許容範囲内に含まれれば正解、上記許容範囲外であれば不正解と判定した。

２４件の実験において、第一の結果に対する第二の結果の正解率は６２．５％（１５件正解）であった。不正解となった９件のうち、６件は被験者がイライラしている状態を推定した結果であった。一方、第一の結果に対する第三の結果の正解率は８３．３％（２０件正解）であった。このように、心拍測定値によるリラックス度の推定結果を顔表情の情報に基づいて補正することにより、リラックス度の判定の精度が向上した。

１～４制御部
１１心拍測定値取得部
１２顔表情情報取得部
１３リラックス度推定部
１４リラックス度補正部
１５心拍測定装置
１６カメラ
１７記憶部
１８通知装置
２１周波数成分抽出部
３１基準データ取得部
３２外部要因情報取得部
３３車載センサ
３４入力装置
３５リクライニングシート
４１刺激決定部
４２刺激提供装置
１００被判定者
１８０画面
１８１～１８３キャラクタ画像

Claims

被判定者の心拍測定値を取得する心拍測定値取得部と、
前記被判定者の顔表情の情報を取得する顔表情情報取得部と、
前記心拍測定値取得部が取得した心拍測定値を参照して、前記被判定者の心拍揺らぎの超低周波成分と高周波成分とを抽出し、かつ、前記被判定者の心拍揺らぎの大小を判定する周波数成分抽出部と、
前記周波数成分抽出部による心拍揺らぎの判定結果に基づいて、
前記心拍揺らぎが大きい場合では、前記超低周波成分および前記高周波成分に基づいて前記被判定者のリラックス度を推定し、
前記心拍揺らぎが小さい場合では、前記超低周波成分に基づいて前記被判定者のリラックス度を推定するリラックス度推定部と、
前記リラックス度推定部が推定したリラックス度を、前記顔表情情報取得部が取得した顔表情の情報に基づいて補正するリラックス度補正部と、を備え、
前記リラックス度補正部で補正されたリラックス度を前記被判定者のリラックス度と判定するリラックス度判定装置。
前記リラックス度補正部は、前記被判定者の顔表情の情報のうち、
リラックス度の高さとより強く相関する顔表情の情報に応じて、前記被判定者のリラックス度を高くするように補正し、
リラックス度の高さとより低く相関する顔表情の情報に応じて、前記被判定者のリラックス度を低くするように補正する、
請求項１に記載のリラックス度判定装置。
前記リラックス度補正部は、前記被判定者の顔表情の情報のうち、リラックス度の高さとより強く相関する顔表情の情報に応じて、前記被判定者のリラックス度の高い状態の種類をさらに分類する、請求項１または２に記載のリラックス度判定装置。
前記周波数成分抽出部は、前記被判定者の心拍揺らぎの移動平均に基づいて、前記被判定者の心拍揺らぎの超低周波成分を抽出する、請求項１に記載のリラックス度判定装置。
前記被判定者の心拍測定値の基準である基準データを取得する基準データ取得部をさらに備え、
前記リラックス度推定部は、前記基準データ取得部が取得した基準データを参照して前記被判定者のリラックス度を推定する、
請求項１～４のいずれか一項に記載のリラックス度判定装置。
前記被判定者が存する環境を示す環境情報と、日時情報との少なくとも一方を含む外部要因情報を取得する外部要因情報取得部をさらに備え、
前記リラックス度推定部は、前記外部要因情報取得部が取得した外部要因情報を参照して前記被判定者のリラックス度を推定する、
請求項１～５のいずれか一項に記載のリラックス度判定装置。
前記被判定者は移動体の搭乗者であって、
前記心拍測定値取得部は、移動体に搭載されている心拍センサから前記被判定者の心拍測定値を取得し、
前記顔表情情報取得部は、移動体に搭載されているカメラから前記被判定者の顔表情情報を取得する、請求項１～６のいずれか一項に記載のリラックス度判定装置。
プロセッサを備えるリラックス度判定装置によって実行されるリラックス度判定方法であって、
前記プロセッサは、以下の（１）～（６）の各処理、すなわち、
（１）被判定者の心拍測定値を取得する処理、
（２）前記被判定者の顔表情の情報を取得する処理、
（３）前記心拍測定値を参照して、前記被判定者の心拍揺らぎの超低周波成分と高周波成分とを抽出し、かつ、前記被判定者の心拍揺らぎの大小を判定する処理、
（４）前記心拍揺らぎの判定結果に基づいて、
前記心拍揺らぎが大きい場合では、前記超低周波成分および前記高周波成分に基づいて前記被判定者のリラックス度を推定し、
前記心拍揺らぎが小さい場合では、前記超低周波成分に基づいて前記被判定者のリラックス度を推定する処理、
（５）推定したリラックス度を、前記顔表情の情報に基づいて補正する処理、
（６）補正したリラックス度を前記被判定者のリラックス度と判定する処理、を実行する、
リラックス度判定方法。
被判定者の心拍測定値を取得する心拍測定値取得部と、
前記被判定者の顔表情の情報を取得する顔表情情報取得部と、
前記心拍測定値取得部が取得した心拍測定値を参照して、前記被判定者の心拍揺らぎの超低周波成分と高周波成分とを抽出し、かつ、前記被判定者の心拍揺らぎの大小を判定する周波数成分抽出部と、
前記周波数成分抽出部による心拍揺らぎの判定結果に基づいて、
前記心拍揺らぎが大きい場合では、前記超低周波成分および前記高周波成分に基づいて前記被判定者のリラックス度を推定し、
前記心拍揺らぎが小さい場合では、前記超低周波成分に基づいて前記被判定者のリラックス度を推定するリラックス度推定部と、
前記リラックス度推定部が推定したリラックス度を、前記顔表情情報取得部が取得した顔表情の情報に基づいて補正するリラックス度補正部と、
前記リラックス度補正部で補正されたリラックス度に応じた刺激を前記被判定者に提供する刺激提供部と、
を備えるリラックス誘導装置。