JP2018136869A - 健康管理支援装置及び健康管理支援方法 - Google Patents

Abstract

【課題】個々のユーザに適応した健康管理支援を実現することができる健康管理支援装置を提供する。【解決手段】健康管理支援装置１００は、ユーザの健康状態に関する第１計測情報を取得する第１取得部１１０と、（i）制御内容決定ルールに従って、健康管理のための機器５００の制御内容を第１計測情報から決定する、又は（ii）ランダムに機器５００の制御内容を決定する決定部１２０と、制御内容を出力する出力部１３０と、健康状態に対するユーザの評価結果を示す健康評価情報を取得する第２取得部１４０と、第１計測情報及び健康評価情報に基づいて、制御内容決定ルールを更新する更新部１５０と、を備え、決定部１２０は、確率εで（ii）の決定を選択する。【選択図】図１

Description

本発明は、ユーザの健康に関する計測情報に応じて制御対象機器の制御内容を決定する健康管理支援装置及び健康管理支援方法に関する。

従来、生体情報を含むユーザ情報を健康状態指標に変換した後、その健康状態指標に基づいて制御対象機器を制御することで、ユーザの健康状態に好適な機器の制御を実現するシステムが提案されている（例えば、特許文献１を参照）。

特開２００９−２４０６６１号公報

しかしながら、従来技術では、ユーザ情報から健康状態指標に変換するルールは予め定められており、あるユーザには適切な健康状態指標が導出できたとしても、別のユーザには不適切な健康状態指標が導出される場合がある。つまり、従来技術では、個々のユーザに適応した健康管理支援を実現することが難しい。

そこで、本発明は、個々のユーザに適応した健康管理支援を実現することができる健康管理支援装置及び健康管理支援方法を提供する。

本発明の一態様に係る健康管理支援装置は、ユーザの健康状態に関する第１計測情報を取得する第１取得部と、（i）制御内容決定ルールに従って、健康管理のための機器の制御内容を前記第１計測情報から決定する、又は（ii）ランダムに前記機器の制御内容を決定する決定部と、決定された前記制御内容を出力する出力部と、健康状態に対するユーザの評価結果を示す健康評価情報を取得する第２取得部と、前記第１計測情報及び前記健康評価情報に基づいて、前記制御内容決定ルールを更新する更新部と、を備え、前記決定部は、確率εで前記（ii）の決定を選択する。

本発明の一態様に係る健康管理支援方法は、ユーザの健康状態に関する第１計測情報を取得する第１取得ステップと、（i）制御内容決定ルールに従って、健康管理のための機器の制御内容を前記第１計測情報から決定する、又は（ii）ランダムに前記機器の制御内容を決定する決定ステップと、決定された前記制御内容を出力する出力ステップと、健康状態に対するユーザの評価結果を示す健康評価情報を取得する第２取得ステップと、前記第１計測情報及び前記健康評価情報に基づいて、前記制御内容決定ルールを更新する更新ステップと、を含み、前記決定ステップでは、確率εで前記（ii）の決定を選択する。

なお、これらの包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る健康管理支援装置は、個々のユーザに適応した健康管理支援を実現することができる。

図１は、実施の形態１に係る健康管理支援システムの構成を示すブロック図である。 図２は、実施の形態１に係る健康管理支援装置におけるニューラルネットワークの一例を示す概念図である。 図３は、実施の形態１における複数の制御内容の具体例を示す図である。 図４は、実施の形態１に係る健康管理支援装置の処理を示すフローチャートである。 図５は、実施の形態１に係る健康評価情報の入力のためのグラフィカルユーザーインターフェースの一例を示す図である。 図６は、実施の形態２に係る健康管理支援装置の機能構成を示すブロック図である。 図７は、実施の形態２における複数の制御内容及び気付き困難度情報の具体例を示す図である。 図８は、実施の形態２に係る健康管理支援装置の処理を示すフローチャートである。 図９は、実施の形態３に係る健康管理支援装置の機能構成を示すブロック図である。 図１０は、実施の形態３に係る健康管理支援装置の処理を示すフローチャートである。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同一又は類似の構成部及び処理ステップについては同じ符号を付している。

（実施の形態１）
［健康管理支援システムの構成］
まず、健康管理支援システムの全体構成について説明する。図１は、実施の形態１に係る健康管理支援システム１０の構成を示すブロック図である。本実施の形態に係る健康管理支援システム１０は、健康管理支援装置１００と、センサ２００と、入力装置３００と、制御装置４００と、機器５００と、を備える。

健康管理支援装置１００は、機器５００のための制御内容を決定し、その制御内容を制御装置４００に出力する。この健康管理支援装置１００の詳細については後述する。

センサ２００は、ユーザの健康状態に関する情報を計測し、計測結果を計測情報として出力する。ユーザの健康状態に関する計測情報とは、ユーザの健康状態を示す情報、ユーザの健康に影響を与える環境の情報などである。具体的には、センサ２００は、機器５００によって制御される対象（湯、便座、室内空間など）の温度などに関する環境情報、ユーザの生体情報（生体電位、体温、脳波、心拍数など）、及び、ユーザの画像情報（表情、姿勢など）などである。センサ２００は、例えば、浴室内に設けられた生体センサであり、入浴者の身体の一部と接触することにより生体電位、表面温度などを計測する。また例えば、センサ２００は、便座に設けられた生体センサであってもよく、便座に座っている人の身体の一部と接触することにより生体電位、表面温度などを計測してもよい。

入力装置３００は、ユーザから健康状態の評価結果を示す健康評価情報の入力を受ける。例えば、入力装置３００は、スマートフォン及びタブレットコンピュータであり、タッチディスプレイを介して健康評価情報の入力を受ける。また例えば、入力装置３００は、マイクロフォンであってもよい。この場合、入力装置３００は、ユーザから音声入力を受ける。また例えば、入力装置３００は、機械式のプッシュボタン、キーボード、又はマウスなどであってもよい。

制御装置４００は、健康管理支援装置１００から出力された制御内容に基づいて機器５００を制御する。具体的には、制御装置４００は、制御内容に対応する制御信号を機器５００に送信する。なお、制御装置４００は、機器５００に内蔵されてもよい。

機器５００は、健康管理のための１以上の機器である。例えば、機器５００は、浴室で利用される湯の温度を調節する機器を含んでもよい。また例えば、機器５００は、便座の温度を調節する機器を含んでもよい。また例えば、機器５００は、エアコン、空気清浄機、換気扇、扇風機若しくは床暖房、又は、これらの任意の組み合わせを含んでもよい。本実施の形態では、機器５００が複数種類の機器を含む場合について説明するが、機器５００は、単一の機器であってもよい。

［健康管理支援装置の構成］
次に、健康管理支援装置１００の詳細な構成について説明する。図１に示すように、健康管理支援装置１００は、第１取得部１１０と、決定部１２０と、出力部１３０と、第２取得部１４０と、更新部１５０と、を備える。

健康管理支援装置１００は、例えば、プロセッサ及びメモリにより実現される。例えば、メモリに格納されたソフトウェアプログラムをプロセッサが実行したときに、プロセッサが、第１取得部１１０、決定部１２０、出力部１３０、第２取得部１４０、及び更新部１５０として機能する。また、健康管理支援装置１００は、第１取得部１１０、決定部１２０、出力部１３０、第２取得部１４０、及び更新部１５０に対応する専用の１以上の電子回路として実現されてもよい。

第１取得部１１０は、センサ２００からユーザの健康状態に関する計測情報（第１計測情報）を取得する。例えば、第１取得部１１０は、センサ２００の出力信号を処理することにより計測情報を取得する。

決定部１２０は、（i）制御内容決定ルールに従って、計測情報から機器５００の制御内容を決定する、又は、（ii）ランダムに機器５００の制御内容を決定する。つまり、決定部１２０は、（i）の決定及び（ii）の決定を含む複数の決定の中から１つの決定を選択的に実行する。このとき、決定部１２０は、確率εで（ii）の決定を選択する。εは、０より大きく１より小さい予め定められた値である。例えば、決定部１２０は、１−εの確率で（i）の決定を選択し、εの確率で（ii）の決定を選択する。

制御内容決定ルールは、例えば、計測情報から複数の制御内容の各々の価値を推定するためのニューラルネットワークで表される。制御内容決定ルールは、図示しない記憶部に記憶されている。ニューラルネットワークの詳細については図２を用いて後述する。

出力部１３０は、決定部１２０によって決定された制御内容を出力する。ここでは、出力部１３０は、制御装置４００に制御内容を出力する。

第２取得部１４０は、健康状態に対するユーザの評価結果を示す健康評価情報を取得する。この健康評価情報は、入力装置３００を介してユーザから入力された情報を含む。例えば、第２取得部１４０は、ユーザによって入力された健康状態の良好さを示す値を入力装置３００から取得する。

また例えば、第２取得部１４０は、入力装置３００から音声信号を受信し、音声認識により所定のキーワードの発言を検出することにより健康評価情報を取得してもよい。所定のキーワードは、ユーザの健康評価を示す予め定められたキーワードである。例えば、所定のキーワードは、「良好」あるいは「不良」などである。

更新部１５０は、第１取得部１１０によって取得された計測情報と、第２取得部１４０によって取得された健康評価情報とに基づいて、決定部１２０で用いられる制御内容決定ルールを更新する。具体的には、更新部１５０は、健康評価情報に基づく値を報酬として用いて複数の制御内容の価値を更新する。そして、更新部１５０は、更新された価値に基づいてニューラルネットワークのパラメータ（例えば重みｗ）を更新する。つまり、更新部１５０は、複数の制御内容の価値に基づいた強化学習により、ユーザに適応した制御内容の決定を学習する。

［ニューラルネットワークの説明］
ここで、本実施の形態におけるニューラルネットワークについて図２を参照しながら説明する。図２は、実施の形態１に係る健康管理支援装置１００におけるニューラルネットワークの一例を示す概念図である。このニューラルネットワークは、多階層の人工ニューラルネットワークであり、計測情報が示す環境ｓにおける複数の制御内容ａｉ（ｉ＝１〜ｎ）の価値Ｑａｉを推定するための数学モデルである。

［制御内容の具体例］
図３は、実施の形態１における複数の制御内容の具体例を示す図である。ここでは、機器５００がエアコン、便座の温度及び浴室の湯温を含む場合について説明する。

複数の制御内容ａ１〜ａｎは、複数の機器の複数の制御内容を含む複数の制御内容セットである。例えば、制御内容ａ１は、エアコンの風力「弱」、エアコンの目標温度「摂氏２５度」、便座の温度「弱」及び浴室の湯温「摂氏４０度」を含む。このような複数の制御内容ａ１〜ａｎの各々の環境ｓにおける価値がニューラルネットワークによって推定される。

［健康管理支援装置の動作］
次に、以上のように構成された健康管理支援装置１００の動作について図４及び図５を参照しながら説明する。

図４は、実施の形態１に係る健康管理支援装置１００の処理を示すフローチャートである。この処理は、例えば、予め定められた時間間隔で周期的に実行される。また例えば、この処理は、予め定められたタイムスケジュールに従って実行されてもよいし、ユーザからの指示に基づいて実行されてもよい。

まず、第１取得部１１０は、ユーザの健康状態に関する計測情報を取得する（Ｓ１１０）。決定部１２０は、ニューラルネットワークに基づいて、計測情報から各制御内容の価値を推定する（Ｓ１２０）。

続いて、決定部１２０は、確率εを用いて分岐処理を行う（Ｓ１３０）。ここでは、決定部１２０は、１−εの確率で（i）の決定を選択し、εの確率で（ii）の決定を選択する。

ここで、（ii）の決定が選択された場合（Ｓ１３０のε）、決定部１２０は、ランダムに制御内容を決定する（Ｓ１４０）。つまり、決定部１２０は、複数の制御内容の中からランダムに制御内容を選択する。言い換えると、決定部１２０は、ニューラルネットワークに基づいて推定される価値に依存せずに制御内容を決定する。

一方、（i）の決定が選択された場合（Ｓ１３０の１−ε）、決定部１２０は、推定された価値に基づいて制御内容を決定する（Ｓ１５０）。例えば、決定部１２０は、複数の制御内容の中から最も高い価値を有する制御内容を選択する。

出力部１３０は、ステップＳ１４０又はステップＳ１５０で決定された制御内容を出力する（Ｓ１６０）。これにより、決定された制御内容に基づいて機器５００が制御される。

その後、第２取得部１４０は、健康評価情報を取得する（Ｓ１７０）。例えば、入力装置３００がディスプレイを有する場合、第２取得部１４０は、図５に示すようなグラフィカルユーザーインターフェース（ＧＵＩ）を介して、健康状態に対するユーザの評価結果を示す値を取得する。なお、図５のＧＵＩでは、スライダーを用いて健康評価値が入力されるが、これに限定される必要はない。ＧＵＩは、数値が直接入力されるテキストボックスを含んでもよいし、数値増加／減少ボタンを含んでもよいし、これらの組合せを含んでもよい。

続いて、更新部１５０は、計測情報及び健康評価情報に基づいて、複数の制御内容の価値を更新する（Ｓ１８０）。このとき、健康評価情報に基づく値が強化学習における報酬として用いられる。健康評価情報に基づく値とは、健康状態の評価結果を示す値であり、例えば、健康状態が良好なほど増加する値である。

さらに、更新部１５０は、更新された価値に基づいてニューラルネットワークのパラメータを更新する（Ｓ１９０）。つまり、更新部１５０は、更新された各制御内容の価値を教師信号として入力することにより、複数階層のニューラルネットワークのパラメータを学習する。

このようなステップＳ１８０及びステップＳ１９０の処理が内部的に繰り返されることにより、いわゆる深層強化学習が行われる。なお、深層強化学習については、特に限定される必要はなく、従来技術が用いられてもよい。したがって、深層強化学習の詳細な説明については省略する。

なお、健康評価情報の取得は、制御内容の決定のたびに行われなくてもよい。つまり、ステップＳ１７０はスキップされてもよい。この場合、更新部１５０は、予め定められた値（例えば０）を報酬として用いて各制御内容の価値を学習してもよい。

［効果］
以上のように、本実施の形態に係る健康管理支援装置１００は、ユーザの健康状態に関する第１計測情報を取得する第１取得部１１０と、（i）制御内容決定ルールに従って、健康管理のための機器５００の制御内容を第１計測情報から決定する、又は（ii）ランダムに機器５００の制御内容を決定する決定部１２０と、決定された制御内容を出力する出力部１３０と、健康状態に対するユーザの評価結果を示す健康評価情報を取得する第２取得部１４０と、第１計測情報及び健康評価情報に基づいて、制御内容決定ルールを更新する更新部１５０と、を備え、決定部１２０は、確率εで（ii）の決定を選択する。

この構成により、更新部１５０は、健康評価情報に基づいて制御内容決定ルールを更新することができる。したがって、健康管理支援装置１００は、ユーザの健康状態の良好さの向上に適した制御内容決定ルールを学習することができ、個々のユーザに適応した健康管理支援を実現することができる。さらに、決定部１２０は、確率εでランダムな決定を選択するので、現在の制御内容決定ルールに縛られることなく、最適な制御内容を探査することができる。つまり、健康管理支援装置１００は、探査と学習結果の利用とのバランスを図ることができ、制御内容決定ルールを効果的に更新することができる。

また、本実施の形態に係る健康管理支援装置１００において、制御内容決定ルールは、ユーザの健康状態に関する計測情報から複数の制御内容の各々の価値を推定するためのニューラルネットワークで表され、更新部１５０は、健康評価情報に基づく値を報酬として用いて複数の制御内容の価値を更新し、更新された価値に基づいてニューラルネットワークのパラメータを更新する。

この構成により、いわゆる深層強化学習を健康管理支援装置１００に適用することができ、健康管理支援装置１００は、よりユーザに適した制御内容決定ルールを構築することができる。その結果、健康管理支援装置１００は、個々のユーザに適した健康管理支援を実現することができる。

また、本実施の形態に係る健康管理支援装置１００において、第２取得部１４０は、音声認識により所定のキーワードの発言を検出することにより健康評価情報を取得してもよい。

この構成により、健康管理支援装置１００は、ユーザの健康評価情報の入力の負荷を軽減することができ、ユーザの利便性を向上させることができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、ユーザが制御内容の変化に気付くことの難しさを示す気付き困難度に基づいて複数の制御内容の中から１以上の制御内容を抽出し、抽出された１以上の制御内容の中からランダムに制御内容が決定される点が上記実施の形態１と主として異なる。以下に、実施の形態１と異なる点を中心に実施の形態２について説明する。

［健康管理支援装置の構成］
実施の形態２に係る健康管理支援装置の詳細な構成について説明する。図６は、実施の形態２に係る健康管理支援装置１００Ａの機能構成を示すブロック図である。図６に示すように、健康管理支援装置１００Ａは、第１取得部１１０と、決定部１２０Ａと、出力部１３０と、第２取得部１４０と、更新部１５０Ａと、検知部１６０Ａと、を備える。

決定部１２０Ａは、（i）制御内容決定ルールに従って、健康管理のための機器の制御内容を計測情報から決定する、又は（ii）ランダムに制御内容を決定する。ここで、（ii）の場合に、決定部１２０Ａは、気付き困難度情報を参照して、気付き困難度が所定の条件を満たす１以上の制御内容の中からランダムに制御内容を決定する。

気付き困難度情報とは、複数の制御内容の各々に対して気付き困難度が対応付けられた情報である。気付き困難度は、ユーザが制御内容の変化に気付くことの難しさを示す値である。例えば、気付き困難度情報は、複数の制御内容の各々に対してユーザの気付き難さを表す値が対応付けられたテーブルである。気付き困難度情報は、図示しない記憶部に記憶されている。

所定の条件は、ユーザがその変化に気付き難い制御内容を決定するための条件である。例えば、所定の条件は、気付き困難度の値が予め定められた閾値より大きいことである。

例えば、決定部１２０Ａは、気付き困難度情報を参照して、複数の制御内容の中から、閾値より大きい気付き困難度の値を有する１以上の制御内容を抽出する。そして、決定部１２０Ａは、抽出された１以上の制御内容からランダムに制御内容を決定する。

図７は、実施の形態２における複数の制御内容及び気付き困難度情報の具体例を示す図である。図７では、各制御内容は、前回の制御内容に対する相対的な値（変化量）で定義されている。例えば、制御内容ａ２は、エアコンの風力が「変化なし」であり、エアコンの目標温度が「変化なし」であり、便座の目標温度が「１度増加」であり、浴室の湯温が「変化なし」であることを示す。そして、この制御内容ａ２の気付き困難度は「８０」である。

検知部１６０Ａは、ユーザが制御内容の変化に気付いたかどうかを検知する。つまり、検知部１６０Ａは、ランダムに制御内容が決定された場合に、その決定による制御内容の変化に対してユーザが気付いたか否かを決定する。例えば、ユーザが手動で制御内容の変更を指示した場合に、検知部１６０Ａは、ユーザが制御内容の変化に気付いたと検知する。ユーザの手動による制御内容の指示は、ユーザが健康状態に不快感を覚えていることを間接的に示す。したがって、検知部１６０Ａは、ランダムに制御内容を決定することでユーザに健康状態の不快感を与えているかどうかを検知することができる。

更新部１５０Ａは、実施の形態１と同様に、計測情報と健康評価情報とに基づいて、制御内容決定ルールを更新する。本実施の形態に係る更新部１５０Ａは、さらに、ランダムに制御内容が決定された場合に、検知部１６０Ａによる検知結果に基づいて、気付き困難度情報を更新する。例えば、ユーザが制御内容の変化に気付いたと検知された場合に、更新部１５０Ａは、決定された制御内容の気付き困難度の値を減少させる。逆に、例えばユーザが制御内容の変化に気付いたと検知されなかった場合に、更新部１５０Ａは、決定された制御内容の気付き困難度の値を増加させる。

［健康管理支援装置の動作］
次に、以上のように構成された健康管理支援装置１００Ａの動作について図８を参照しながら説明する。図８は、実施の形態２に係る健康管理支援装置１００Ａの処理を示すフローチャートである。

ステップＳ１３０において（ii）の決定が選択された場合（Ｓ１３０のε）、決定部１２０Ａは、気付き困難度情報に基づいて、複数の制御内容の中から１以上の制御内容を抽出する（Ｓ１３２Ａ）。例えば、決定部１２０Ａは、図７の気付き困難度情報を参照して、複数の制御内容ａ１〜ａｎの中から、予め定められた閾値（例えば５０）より大きい気付き困難度の値を有する制御内容（例えばａ１、ａ２）を抽出する。

そして、決定部１２０Ａは、抽出された制御内容の中からランダムに制御内容を決定する（Ｓ１４０Ａ）。

その後、ステップＳ１６０〜Ｓ１９０が実行され、ランダムに制御内容が決定されていない場合は（Ｓ１９２ＡのＮｏ）、そのまま処理を終了する。一方、ランダムに制御内容が決定されていた場合は（Ｓ１９２ＡのＹｅｓ）、検知部１６０Ａは、ユーザが制御内容の変化に気付いたかどうかを検知する（Ｓ１９４Ａ）。更新部１５０Ａは、検知部１６０Ａによる検知結果に基づいて気付き困難度情報を更新する（Ｓ１９６Ａ）。

［効果］
以上のように、本実施の形態に係る健康管理支援装置１００Ａにおいて、決定部１２０Ａは、ランダムな決定において、複数の制御内容の各々に対してユーザが制御内容の変化に気付くことの難しさを示す気付き困難度が対応付けられた気付き困難度情報を参照して、気付き困難度が所定の条件を満たす１以上の制御内容の中からランダムに制御内容を決定する。

この構成により、決定部１２０Ａは、ランダムに制御内容を決定したときに、ユーザが制御内容の変化に気付く可能性を低減させることができる。つまり、決定部１２０Ａは、ランダムな決定において、ユーザに健康状態の不快感を与える制御内容が決定されることを抑制することができる。

また、本実施の形態に係る健康管理支援装置１００Ａは、さらに、ユーザが制御内容の変化に気付いたかどうかを検知する検知部１６０Ａを備え、更新部１５０Ａは、ランダムに制御内容が決定された場合に、さらに、検知部１６０Ａによる検知結果に基づいて、気付き困難度情報を更新する。

この構成により、更新部１５０Ａは、ユーザが制御内容の変化に気付いたかどうかの検知結果に基づいて気付き困難情報を更新することができ、気付き困難情報の改良を図ることができる。したがって、決定部１２０Ａは、ランダムな決定において、ユーザに健康状態の不快感を与える制御内容が決定されることをさらに抑制することができる。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３では、制御内容が環境に反映されるまでの時間である応答時間に基づいて複数の制御内容の中から１以上の制御内容を抽出し、抽出された１以上の制御内容の中からランダムに制御内容が決定される点が上記実施の形態１と主として異なる。以下に、実施の形態１と異なる点を中心に実施の形態３について説明する。

［健康管理支援装置の構成］
実施の形態３に係る健康管理支援装置の詳細な構成について説明する。図９は、実施の形態３に係る健康管理支援装置１００Ｂの機能構成を示すブロック図である。図９に示すように、健康管理支援装置１００Ｂは、第１取得部１１０と、決定部１２０Ｂと、出力部１３０と、第２取得部１４０と、更新部１５０Ｂと、を備える。

決定部１２０Ｂは、（i）制御内容決定ルールに従って、健康管理のための機器の制御内容を計測情報から決定する、又は（ii）ランダムに制御内容を決定する。ここで、（ii）の場合に、決定部１２０Ｂは、応答時間情報を参照して、応答時間が所定の条件を満たす１以上の制御内容の中からランダムに制御内容を決定する。

応答時間情報とは、複数の制御内容の各々について、当該制御内容が環境に反映されるまでの時間（以下、応答時間という）を導出するための情報である。応答時間情報は、図示しない記憶部に記憶されている。例えば、応答時間情報は、複数の制御内容に含まれる制御要素ごとの関数を示す。この場合、例えば、制御内容ａｘから制御内容ａｙへ変化するときの応答時間Ｔは、以下の式１に従って導出される。

ここで、ｉは、制御内容に含まれる各制御要素を識別するための値である。例えばｉが「１」の場合はエアコンの風力を示し、ｉが「２」の場合はエアコンの目標温度を示し、ｉが「３」の場合は便座の目標温度を示し、ｉが「４」の場合は浴室の湯温を示す。ａｘｉ、ａｙｉは、それぞれ、制御内容ａｘ、ａｙに含まれる制御要素の制御内容を示す値（例えば風力値、目標温度）である。ｆｉは、ｉで識別される制御要素のための応答時間関数である。例えば、ｆ１は、エアコンの風力の応答時間を導出するための関数である。

応答時間情報は、例えば、風力の変化に対しては短い応答時間が導出され、目標温度の変化に対しては長い応答時間が導出されるように関数ｆｉを定義する。

所定の条件は、応答時間が短い制御内容を決定するための条件である。例えば、所定の条件は、応答時間が予め定められた閾値時間より小さいことである。

具体的には、決定部１２０Ｂは、例えば、応答時間情報を参照して、複数の制御内容の中から、閾値時間より小さい応答時間を有する１以上の制御内容を抽出する。そして、決定部１２０Ｂは、抽出された１以上の制御内容からランダムに制御内容を決定する。

更新部１５０Ｂは、実施の形態１と同様に、ユーザの健康状態に関する計測情報と健康評価情報とに基づいて、制御内容決定ルールを更新する。本実施の形態に係る更新部１５０Ｂは、さらに、制御内容が出力された後に取得されたユーザの健康状態に関する計測情報（第２計測情報）に基づいて、応答時間情報を更新する。例えば、更新部１５０Ｂは、第２計測情報に基づいて、制御内容が出力されてから、当該制御内容に環境が一致するまでの時間を検出し、検出した時間に基づいて応答時間情報を更新する。

［健康管理支援装置の動作］
次に、以上のように構成された健康管理支援装置１００Ｂの動作について図１０を参照しながら説明する。図１０は、実施の形態３に係る健康管理支援装置１００Ｂの処理を示すフローチャートである。

ステップＳ１３０において（ii）の決定が選択された場合（Ｓ１３０のε）、決定部１２０Ｂは、応答時間情報に基づいて、複数の制御内容の各々の応答時間を導出する（Ｓ１３２Ｂ）。そして、決定部１２０Ｂは、導出された応答時間に基づいて、複数の制御内容の中から１以上の制御内容を抽出する（Ｓ１３４Ｂ）。例えば、決定部１２０Ｂは、複数の制御内容の中から、予め定められた閾値時間より小さい応答時間を有する１以上の制御内容を抽出する。

そして、決定部１２０Ａは、抽出された１以上の制御内容の中からランダムに制御内容を決定する（Ｓ１４０Ｂ）。

その後、ステップＳ１６０〜Ｓ１９０が実行され、ランダムに制御内容が決定されていない場合は（Ｓ１９２ＢのＮｏ）、そのまま処理を終了する。一方、ランダムに制御内容が決定されていた場合は（Ｓ１９２ＢのＹｅｓ）、第１取得部１１０は、第２計測情報を取得する（Ｓ１９４Ｂ）。更新部１５０Ｂは、ステップＳ１９４Ｂで取得された第２計測情報に基づいて応答時間情報を更新する（Ｓ１９６Ｂ）。

［効果］
以上のように、本実施の形態に係る健康管理支援装置１００Ｂにおいて、決定部１２０Ｂは、複数の制御内容の各々について、当該制御内容が環境に反映されるまでの時間である応答時間を導出するための応答時間情報を参照して、応答時間が所定の条件を満たす１以上の制御内容の中からランダムに制御内容を決定する。

この構成により、決定部１２０Ｂは、ランダムに制御内容を決定するときに、応答時間が長い制御内容が決定されることを制限することができる。つまり、決定部１２０Ｂは、ランダムな決定において比較的短時間で学習が行える制御内容を決定することができ、ランダムな制御内容の決定によってユーザに与える健康状態の不快感を軽減することができる。

また、本実施の形態に係る健康管理支援装置１００Ｂにおいて、第１取得部１１０は、制御内容が出力された後に、さらに、ユーザの健康状態に関する第２計測情報を取得し、更新部１５０Ｂは、第２計測情報に基づいて応答時間情報を更新する。

この構成により、更新部１５０Ｂは、第２計測情報に基づいて応答時間情報を更新することができ、応答時間情報の改良を図ることができる。したがって、決定部１２０Ｂは、ランダムな制御内容の決定によってユーザに健康状態の不快感を与えることをさらに軽減することができる。

（他の実施の形態）
以上、本発明の１つまたは複数の態様に係る健康管理支援装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の１つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記各実施の形態において、実施の形態２と実施の形態３とは組合せて実施されてもよい。つまり、決定部は、（ii）の決定において、気付き困難度情報及び応答時間情報を参照して、気付き困難度が第１の所定の条件を満たし、かつ、応答時間が第２の所定の条件を満たす１以上の制御内容の中から、ランダムに制御内容を決定してもよい。

なお、上記各実施の形態では、第２取得部１４０は、入力装置３００から受信した情報に基づいて健康評価情報を取得していたが、入力装置３００だけではなくセンサ２００から受信した情報にも基づいて、健康評価情報を取得してもよい。例えば、第２取得部１４０は、センサ２００から受信した情報を用いて、入力装置３００から受信した情報を修正することにより健康評価情報を取得してもよい。具体的には、第２取得部１４０は、ユーザの表情、脳波又は心拍数に基づいて、入力装置３００から受信した情報を修正してもよい。この場合、センサ２００は、画像センサ、脳波センサ、又は、心拍センサを含めばよい。

なお、上記各実施の形態では、深層強化学習を利用して、ユーザに適応した制御内容の決定を学習していたが、深層強化学習に限定されなくてもよい。例えば、制御内容決定ルールは、多階層のニューラルネットワークではなく、単階層のニューラルネットワークで表されてもよい。また、制御内容決定ルールは、ニューラルネットワークではなく、他の数学モデル（例えば、線形回帰、サポートベクタマシンなど）で表されてもよい。

なお、上記各実施の形態では、主として２つの決定（（i）制御内容決定ルールに従って、ユーザの健康状態に関する計測情報から機器５００の制御内容を決定する、又は、（ii）ランダムに機器５００の制御内容を決定する）について説明したが、必ずしも２つの決定に限定される必要はない。例えば、３以上の決定の中から１つの決定が選択されてもよい。つまり、決定部は、（i）の決定及び（ii）の決定を含む複数の決定のうちのいずれかを選択的に実行すればよく、このとき、（ii）の決定が確率εで選択されればよい。

なお、上記各実施の形態では、健康管理支援装置は、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。例えば、健康管理支援装置は、クラウドコンピューティングによって実現されてもよい。

なお、上記実施の形態２では、気付き困難度情報が更新されていたが、必ずしも気付き困難度情報は更新されなくてもよい。この場合、健康管理支援装置１００Ａは検知部１６０Ａを備えなくてもよい。

なお、上記実施の形態３では、応答時間情報が更新されていたが、必ずしも応答時間情報は更新されなくてもよい。この場合、健康管理支援装置１００Ｂは検知部１６０Ａを備えなくてもよい。

なお、上記実施の形態３では、応答時間Ｔは式１に従って導出されたが、算出方法及び算出式はこれに限定されない。例えば、式１では、応答時間は、ｆｉ（ａｘｉ，ａｙｉ）の総和であったが、ｆｉ（ａｘｉ，ａｙｉ）の最大値であってもよい。また、数式ではなく、テーブルあるいはニューラルネットワークによって定義されてもよい。

また、上記各実施の形態における健康管理支援装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、健康管理支援装置１００は、第１取得部１１０と、決定部１２０と、出力部１３０と、第２取得部１４０と、更新部１５０とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明の一態様は、このような健康管理支援装置だけではなく、健康管理支援装置に含まれる特徴的な構成部をステップとする健康管理支援方法であってもよい。また、本発明の一態様は、健康管理支援方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の健康管理支援装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、ユーザの健康状態に関する第１計測情報を取得する第１取得ステップと、（i）制御内容決定ルールに従って、健康管理のための機器の制御内容を前記第１計測情報から決定する、又は（ii）ランダムに機器の制御内容を決定する決定ステップと、決定された前記制御内容を出力する出力ステップと、屋内におけるユーザの快適さを示す健康評価情報を取得する第２取得ステップと、前記第１計測情報及び前記健康評価情報に基づいて、前記制御内容決定ルールを更新する更新ステップと、を含む健康管理支援方法を実行させ、前記決定ステップでは、確率εで前記（ii）の決定を選択する。

１００、１００Ａ、１００Ｂ 健康管理支援装置
１１０ 第１取得部
１２０、１２０Ａ、１２０Ｂ 決定部
１３０ 出力部
１４０ 第２取得部
１５０、１５０Ａ、１５０Ｂ 更新部
１６０Ａ 検知部

Claims (9)

1. ユーザの健康状態に関する第１計測情報を取得する第１取得部と、
   （i）制御内容決定ルールに従って、健康管理のための機器の制御内容を前記第１計測情報から決定する、又は（ii）ランダムに前記機器の制御内容を決定する決定部と、
   決定された前記制御内容を出力する出力部と、
   健康状態に対するユーザの評価結果を示す健康評価情報を取得する第２取得部と、
   前記第１計測情報及び前記健康評価情報に基づいて、前記制御内容決定ルールを更新する更新部と、を備え、
   前記決定部は、確率εで前記（ii）の決定を選択する、
   健康管理支援装置。
2. 前記制御内容決定ルールは、ユーザの健康状態に関する計測情報から複数の制御内容の各々の価値を推定するためのニューラルネットワークで表され、
   前記更新部は、前記健康評価情報に基づく値を報酬として用いて前記複数の制御内容の価値を更新し、更新された前記価値に基づいて前記ニューラルネットワークのパラメータを更新する、
   請求項１に記載の健康管理支援装置。
3. 前記第２取得部は、音声認識により所定のキーワードの発言を検出することにより前記健康評価情報を取得する、
   請求項１又は２に記載の健康管理支援装置。
4. 前記決定部は、前記（ii）の決定において、複数の制御内容の各々に対してユーザが制御内容の変化に気付くことの難しさを示す気付き困難度が対応付けられた気付き困難度情報を参照して、前記気付き困難度が所定の条件を満たす１以上の制御内容の中からランダムに前記制御内容を決定する、
   請求項１〜３のいずれか１項に記載の健康管理支援装置。
5. 前記健康管理支援装置は、さらに、前記ユーザが制御内容の変化に気付いたかどうかを検知する検知部を備え、
   前記更新部は、前記（ii）の決定が選択された場合に、さらに、前記検知部による検知結果に基づいて、前記気付き困難度情報を更新する、
   請求項４に記載の健康管理支援装置。
6. 前記決定部は、前記（ii）の決定において、複数の制御内容の各々について当該制御内容が適用されるまでの時間である応答時間を導出するための応答時間情報を参照して、前記応答時間が所定の条件を満たす１以上の制御内容の中からランダムに前記制御内容を決定する、
   請求項１〜５のいずれか１項に記載の健康管理支援装置。
7. 前記第１取得部は、前記制御内容が出力された後に、さらに、ユーザの健康状態に関する第２計測情報を取得し、
   前記更新部は、前記第２計測情報に基づいて、前記応答時間情報を更新する、
   請求項６に記載の健康管理支援装置。
8. ユーザの健康状態に関する第１計測情報を取得する第１取得ステップと、
   （i）制御内容決定ルールに従って、健康管理のための機器の制御内容を前記第１計測情報から決定する、又は（ii）ランダムに前記機器の制御内容を決定する決定ステップと、
   決定された前記制御内容を出力する出力ステップと、
   健康状態に対するユーザの評価結果を示す健康評価情報を取得する第２取得ステップと、
   前記第１計測情報及び前記健康評価情報に基づいて、前記制御内容決定ルールを更新する更新ステップと、を含み、
   前記決定ステップでは、確率εで前記（ii）の決定を選択する、
   健康管理支援方法。
9. 請求項８に記載の健康管理支援方法をコンピュータに実行させるためのプログラム。

Images