JP7621091B2 - 情報処理装置および生体状態判定方法 - Google Patents

Description

本発明は、情報処理装置および生体状態判定方法に関する。

特許文献１には、眠気推定ルール更新装置に関し、「ＲＲＩデータを取得するＲＲＩ取得手段と、前記ＲＲＩデータに基づいて、自律神経の活動に関する複数種の指標について指標値を算出する指標値計算手段と、眠気推定ルールが記憶された記憶手段と、被検者から得られる情報または被検者の生体状態を解析して得られる情報である、眠気の有無の情報を出力する眠気情報出力装置から出力された情報を取得する眠気データ取得手段と、前記眠気データを用いて眠気推定ルールの適否を評価するための参照データを生成する参照データ生成手段と、前記指標値と前記参照データに基づき前記記憶手段に記憶されている眠気推定ルールを更新する更新手段とを具備する。」と記載されている。

特開２０１６－１２００６２号公報

近年、運転者の脈拍数や心拍数などの生体情報を測定することで、眠気や疲労あるいは集中力の度合いなどの生体状態を判定し、判定結果に応じて、例えば事故を未然に防止するためにアラートを出力したり、車両を停止するなどの自動制御を行う技術が注目されている。

生体状態の判定にあたり、測定データに対してセンサ機種ごとに異なる特性差や測定対象の個人差あるいは測定方式の違いを考慮した補正が行われる。しかしながら、補正のための処理および条件などを各センサに対して予め設定する必要があるため煩わしい、という問題がある。そのため、センサ特性の違い等を吸収するための補正を必要とせず、より精度良く生体状態を判定することが求められている。

特許文献１には、ＲＲＩ（Ｒ－Ｒ Ｉｎｔｅｒｖａｌ：心拍間隔）を用いて眠気を判定する装置が開示されている。同文献の技術では、センサ機種の違いによる特性差を吸収するためにＲＲＩデータを補正しており、補正に使用されるセンサ特性情報が予め設定されている。すなわち、同文献の技術では、センサ特性の違い等を吸収するための補正を必要としない生体状態の判定については考慮されていない。

そこで、本発明は、センサ特性の違い等を考慮した補正を必要とせず、より精度よく生体状態を判定することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記の課題を解決する本発明の一態様に係る情報処理装置は、人の生体情報であるＲＲＩ（Ｒ－Ｒ Ｉｎｔｅｒｖａｌ）データを用いて、心拍間隔のゆらぎを表すローレンツプロットのグラフを示す画像情報を生成する画像情報生成部と、前記画像情報を用いた機械学習により学習モデルを構築するモデル構築部と、乗車している車両のユーザから取得した前記生体情報に基づき生成された前記画像情報を前記学習モデルに入力し、眠気の有無、疲労の有無および集中力の有無に関する生体状態の判定結果である出力値を取得する生体状態判定部と、前記判定結果に基づく車内設備の制御を実施させるために、前記生体状態の判定結果を前記車両に実装されている所定の車両装置に出力する通信部と、を備える。

本発明によれば、センサ特性の違い等を考慮した補正を必要とせず、より精度よく生体状態を判定することができる。

なお、上記以外の課題、構成および効果等は、以下の実施形態の説明により明らかにされる。

第一実施形態に係る情報処理装置の概略構成の一例を示した図である。 情報処理装置における演算装置の機能構成の一例を示した機能ブロック図である。 図３（ａ）は、ユーザが眠気を感じていない時の心拍間隔のゆらぎを表したローレンツプロットの画像情報の一例を示した図である。図３（ｂ）は、ユーザが眠気を感じている時の心拍間隔のゆらぎを表したローレンツプロットの画像情報の一例を示した図である。 学習モデル構築処理の一例を示したフロー図である。 生体状態判定処理の一例を示したフロー図である。 第二実施形態に係る情報処理装置およびサーバ装置の機能構成の一例を示した機能ブロック図である。

以下、本発明の実施形態について説明する。

＜第一実施形態＞
図１は、情報処理装置１００の概略構成の一例を示した図である。情報処理装置１００は、車両などの移動体に乗車しているユーザ（例えば、運転者）の生体情報を用いて生体状態を判定する装置である。具体的には、情報処理装置１００は、心拍や脈拍などの測定結果から生成される生体情報（例えば、ＲＲＩデータ：Ｒ－Ｒ Ｉｎｔｅｒｖａｌ）を用いて、心拍間隔のゆらぎを示すグラフ（ローレンツプロット）の画像情報を生成し、これを学習モデルに入力することで、眠い、眠くない、などの生体状態を判定する。

図示するように、情報処理装置１００は、演算装置１１０と、センサ１２０と、通信装置１３０と、記憶装置１４０と、を有している。なお、情報処理装置１００は、演算装置１１０、通信装置１３０および記憶装置１４０と、センサ１２０と、を同一筐体内に有していても良く、あるいは演算装置１１０、通信装置１３０および記憶装置１４０と、センサ１２０と、が各々、別個の筐体に収容されていても良い。また、演算装置１１０と、センサ１２０とは、通信ケーブルあるいは所定の無線通信規格（例えば、Ｂｌｕｅｔｏｏｔｈ：登録商標）により相互通信可能に接続されている。

演算装置１１０は、情報処理装置１００の様々な演算処理を行う装置である。図示するように、演算装置１１０は、情報処理装置１００で行われる様々な演算処理を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ＣＰＵ１１１で実行されるプログラムなどを格納するＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１２と、ＲＯＭ１１２から読み出した各種情報を一時的に格納するＲＡＭ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)１１３と、演算装置１１０と、センサ１２０と、を電気的に接続するためのＩ／Ｆ（インターフェイス）１１４と、これらを相互に接続するバス１１５と、を有している。

演算装置１１０は、生体情報（例えば、心拍間隔を示すＲＲＩデータ）をセンサ１２０から取得し、これを用いて、心拍間隔のゆらぎを表したローレンツプロットのグラフを示す画像情報（以下、「ローレンツプロットの画像情報」という場合がある）を生成する。また、演算装置１１０は、生成した画像情報を用いて機械学習を行うことで、学習モデルを構築（生成）する。

また、演算装置１１０は、センサ１２０から取得した生体情報を用いて生成した画像情報を学習モデルに入力することで、学習モデルによる演算処理の結果である出力値を取得する。なお、出力値は、画像情報を用いた生体状態の判定結果を示した情報であり、例えば眠い、眠くない、疲れている、疲れていない、集中力が有る、集中力が無い、といった生体状態を示すものである。

また、演算装置１１０は、学習モデルから出力された出力値をＭａｉｎ Ｕｎｉｔ２００（例えば、ナビゲーション装置やＤ／Ａ（Ｄｉｇｉｔａｌ Ａｕｄｉｏ）などの車載器やＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）など）で利用可能な所定のデータ形式に変換し、これらの装置に出力する。なお、車載器等は、情報処理装置１００から取得した生体状態の判定結果を用いて、ユーザの生体状態に応じた処理（例えば、車内に音楽を流す、あるいはエアコンを制御して車内温度を変化させるなど）を実行する。

センサ１２０は、ユーザの心拍や脈拍などのバイタルデータを測定する測定装置である。具体的には、センサ１２０は、例えば車両の座席シートに埋め込まれた圧電計や、時計といった身体に接触させて身に付けるウェアラブルデバイスなど、ユーザの心拍（あるいは脈拍）を検出可能な接触式センサである。なお、センサ１２０は、マイクロ波やミリ波を人体に照射し、その反射波に基づいてユーザの心拍を検出するドップラーセンサなどの非接触式センサであっても良い。あるいは、センサ１２０は、血液に含まれるヘモグロビンの流量に基づいて心拍を検出可能なカメラであっても良い。

センサ１２０は、所定期間（例えば、測定開始から５分間、１０分間あるいは３０分間など）におけるユーザの心拍を測定し、測定結果として生体情報であるＲＲＩデータを生成して情報処理装置１００に出力する。なお、ＲＲＩデータは、心臓の鼓動の時間間隔である心拍間隔（Ｒ波の間隔）を示す情報である。

また、センサ１２０の種類は特に限定されるものではなく、ユーザの心拍あるいは脈拍などのバイタルデータを測定可能な測定装置であれば良い。例えば、センサ１２０は、検出した脈拍数に基づいて逆算的に所定期間におけるユーザの心拍間隔を算出し、ＲＲＩデータを生成可能な測定装置であっても良い。

通信装置１３０は、外部装置（例えば、Ｍａｉｎ Ｕｎｉｔ２００）との間で情報通信を行うための通信モジュールなどである。通信装置１３０は、通信ケーブルあるいは所定の無線通信規格（例えば、Ｂｌｕｅｔｏｏｔｈ）によりＭａｉｎ Ｕｎｉｔ２００と相互通信可能に接続されており、生体状態の判定結果をＭａｉｎ Ｕｎｉｔ２００に送信する。

記憶装置１４０は、デジタル情報を記憶可能ないわゆるハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリあるいはこれら以外の不揮発性記憶装置である。記憶装置１４０は、例えば学習モデルを構築するために用いられる様々な情報や、構築された学習モデルを記憶している。

図２は、情報処理装置１００における演算装置１１０の機能構成の一例を示した機能ブロック図である。図示するように、演算装置１１０は、演算部３００と、制御部３１０と、記憶部３２０と、通信部３３０と、を有している。

演算部３００は、演算装置１１０で実行される様々な処理を行う機能部である。具体的には、演算部３００は、画像情報生成部３０１と、ラベリング部３０２と、モデル構築部３０３と、ユーザ認証部３０４と、生体状態判定部３０５と、データ形式変換部３０６と、を有している。なお、以下では、眠気に関する生体状態の判定を一例として説明する。

画像情報生成部３０１は、センサ１２０から取得した生体情報を用いて画像情報を生成する機能部である。具体的には、画像情報生成部３０１は、センサ１２０から取得したＲＲＩデータを用いて、所定期間における心拍間隔のゆらぎを表したローレンツプロットの画像情報を生成する。

より具体的には、画像情報生成部３０１は、ＲＲＩデータを用いて、測定開始から最初（Ｎ番目（Ｎ＝１））の心拍までの時間間隔を横軸（Ｘ軸）に取り、最初（Ｎ番目（Ｎ＝１））の心拍から次（Ｎ＋１番目（Ｎ＝１））の心拍までの時間間隔を縦軸（Ｙ軸）に取り、それらの交点をプロットする。続いて、画像情報生成部３０１は、最初（Ｎ番目（Ｎ＝１））の心拍から次（Ｎ＋１番目（Ｎ＝１））の心拍までの時間間隔を横軸（Ｘ軸）に取り、次（Ｎ＋１番目（Ｎ＝１））の心拍からその次（Ｎ＋１（Ｎ＝２））の心拍までの時間間隔を縦軸（Ｙ軸）に取り、それらの交点をプロットする。このように、画像情報生成部３０１は、所定期間において測定された全ての心拍の間隔について同様の処理を繰り返し行うことで、ローレンツプロットのグラフを生成する。

また、画像情報生成部３０１は、生成したローレンツプロットのグラフを所定のフォーマットで変換した画像情報を生成する。

図３（ａ）は、ユーザが眠気を感じていない時の心拍間隔のゆらぎを表したローレンツプロットの画像情報の一例を示している。図３（ｂ）は、ユーザが眠気を感じている時の心拍間隔のゆらぎを表したローレンツプロットの画像情報の一例を示している。これらの図に示されるように、ユーザが眠気を感じていない時は心拍間隔の変動が少ないため、各プロットの位置が広がっておらず、ある一定の範囲内に収まるグラフ形状となる。一方で、ユーザが眠気を感じている時は心拍間隔の変動が大きいため、各プロットの位置が広い範囲に散らばったグラフ形状となる。このように、ＲＲＩデータに基づくローレンツプロットの画像情報は、ユーザの生体状態（例えば、眠い、眠くないなど）を表す特有の形状が示されるため、かかる画像情報を用いてユーザの生体状態を判定することができる。

ラベリング部３０２は、ラベリング処理を行う機能部である。具体的には、ラベリング部３０２は、ユーザの生体状態を示す正解ラベルをローレンツプロットの画像情報に対応付けるラベリング処理を行う。より具体的には、ラベリング部３０２は、測定期間においてユーザが眠気を感じていたか否かを示す正解ラベルを取得し、対応する期間におけるユーザの生体情報を用いて生成されたローレンツプロットの画像情報に対応付けるラベリング処理を行う。

なお、ラベリング部３０２は、所定の方法により正解ラベルを取得する。例えば、ラベリング部３０２は、測定期間の終了後、測定期間中に眠気を感じていたか否かの回答をユーザから受け付けるための画面情報を情報処理装置１００あるいはＭａｉｎ Ｕｎｉｔ２００が備える表示装置に表示し、ユーザから直接回答を受け付けることで正解ラベルを取得する。

あるいは、ラベリング部３０２は、車内を撮像可能な車内カメラを介して測定期間中のユーザの表情を撮像し、かかる画像情報を用いた顔認識を行うことで、測定期間中にユーザが眠気を感じていたか否かの正解ラベルを取得する。なお、このような顔認識の技術は、ＮＥＤＯ（Ｎｅｗ Ｅｎｅｒｇｙ Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｏｒｇａｎｉｚａｔｉｏｎ）の評価方法といった公知技術が用いられれば良い。

なお、正解ラベルの取得方法は特に限定されるものではなく、測定期間中にユーザが眠気を感じていたか否かを示す正解ラベルが取得できれば、どのような方法であっても良い。

モデル構築部３０３は、学習モデル３２２を構築する機能部である。具体的には、モデル構築部３０３は、画像情報生成部３０１により生成されたローレンツプロットの画像情報と、かかる画像情報に対応付けられている正解ラベルと、を用いて機械学習を行うことにより学習モデル３２２を構築する。なお、学習モデル３２２の構築処理については後述する。

ユーザ認証部３０４は、ユーザ情報に基づいて、ユーザ認証を行う機能部である。なお、ユーザ情報には、ユーザを識別するためのユーザＩＤと、身体的特徴に基づき分類された所定のカテゴリーの中でユーザが属するカテゴリーと、が含まれる。ユーザ認証部３０４は、ユーザＩＤに対応付けられた学習モデル３２２またはユーザが属するカテゴリーに対応付けられた学習モデル３２２を記憶部３２０から検索する。

生体状態判定部３０５は、センサ１２０から取得された生体情報（ＲＲＩデータ）を用いて生成されたローレンツプロットの画像情報を学習モデル３２２に入力し、生体状態の判定結果を示す出力値を取得する機能部である。

データ形式変換部３０６は、学習モデル３２２の演算結果として出力された出力値（生体状態の判定結果を示す情報）を取得し、かかる出力値をＭａｉｎ Ｕｎｉｔ２００が利用可能なデータ形式に変換する機能部である。また、データ形式変換部３０６は、通信部３３０を介して、変換後の出力値である生体状態の判定結果をＭａｉｎ Ｕｎｉｔ２００に出力する。なお、変換するデータ形式は、Ｍａｉｎ Ｕｎｉｔ２００で使用可能なデータ形式であれば特に限定されるものではない。

制御部３１０は、センサ１２０の動作を制御する機能部である。具体的には、制御部３１０は、生体情報の測定指示をセンサ１２０に出力する。また、制御部３１０は、ユーザ位置の認識やユーザに対する測定時間および照射する電波の周波数域など、所定の制御対象についてセンサ１２０に指示を出力する。

記憶部３２０は、様々なデータを記憶する機能部である。具体的には、記憶部３２０は、学習モデル３２２を構築する際の土台となる様々なベースモデル３２１を記憶している。なお、ベースモデル３２１には、例えば画像認識に優れた性能を発揮する畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などがある。また、記憶部３２０は、構築された学習モデル３２２を記憶する。

学習モデル３２２は、情報処理装置１００が搭載されている車両のユーザに対する測定により構築された学習モデル３２２や、身体的特徴に基づいて分類された各カテゴリーに属する人物（ユーザ以外の人物）に対して実施された測定により構築された複数の学習モデル３２２がある。なお、これらの学習モデル３２２は、ユーザＩＤやかかるカテゴリーが対応付けられて記憶部３２０に記憶されている。

通信部３３０は、Ｍａｉｎ Ｕｎｉｔ２００との間で情報通信を行う機能部である。具体的には、通信部３３０は、生体状態の判定結果をＭａｉｎ Ｕｎｉｔ２００に送信する。なお、通信部３３０は、正解ラベルをＭａｉｎ Ｕｎｉｔ２００から取得しても良い。

以上、情報処理装置１００の機能構成について説明した。

なお、演算部３００および制御部３１０は、演算装置１１０のＣＰＵ１１１に処理を行わせるプログラムによって実現される。これらのプログラムは、例えばＲＯＭ１１２に格納されており、実行にあたってＲＡＭ１１３上にロードされ、ＣＰＵ１１１により実行される。なお、制御部３１０は、所定の制御回路によって実現されても良い。また、記憶部３２０は、ＲＡＭ１１３またはＲＯＭ１１２または記憶装置１４０、あるいはこれらの組み合わせにより実現される。また、通信部３３０は、通信装置１３０により実現される。

また、情報処理装置１００の各機能ブロックは、本実施形態において実現される各機能を理解容易にするために、主な処理内容に応じて分類したものである。したがって、各機能の分類の仕方やその名称によって、本発明が制限されることはない。また、情報処理装置１００の各構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、各機能部の全部または一部は、コンピュータに実装されるハードウェア（ＡＳＩＣといった集積回路など）により構築されてもよい。また、各機能部の処理が１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

［動作の説明］
次に、情報処理装置１００で実行される学習モデル構築処理について説明する。

図４は、学習モデル構築処理の一例を示したフロー図である。かかる処理は、例えばユーザ（またはユーザとは異なる人物）が運転状態において、学習モデル構築処理の実行指示を受け付けたタイミングで開始される。以下では、ユーザを対象として学習モデル３２２が構築される場合を例に説明する。

処理が開始されると、以下のステップＳ００１～ステップＳ００５の処理により、機械学習に用いるための画像情報が生成される。具体的には、制御部３１０は、ユーザ（例えば、運転者）に対する生体情報の測定を実行（開始）するようにセンサ１２０に指示を出力する（ステップＳ００１）。センサ１２０は、かかる指示に基づいて、ユーザに対する所定期間（例えば、５分間）の測定を実行し、測定データに基づいてＲＲＩデータを生成して画像情報生成部３０１に出力する。

次に、モデル構築部３０３は、ＲＲＩデータをセンサ１２０から取得する（ステップＳ００２）。なお、モデル構築部３０３は、取得したＲＲＩデータを一時的に記憶部３２０に格納する。

次に、モデル構築部３０３は、データクリーニングを行う（ステップＳ００３）。具体的には、モデル構築部３０３は、取得したＲＲＩデータから外れ値の除去や数値として読み取れない情報（ＮａＮ）の補完処理を行う。なお、補完処理は、例えばＮａＮとなっているデータ箇所の前後の値の中間を採用するなど、所定の方法により実行される。

次に、画像情報生成部３０１は、ＲＲＩデータに基づいてローレンツプロットのグラフを生成し、かかるグラフの画像情報を生成する（ステップＳ００４）。

次に、ラベリング部３０２は、生成された画像情報にラベリング処理を行う（ステップＳ００５）。具体的には、ラベリング部３０２は、生成された画像情報に対応するＲＲＩデータの測定期間における生体状態を示す正解ラベルをユーザから取得し、これを画像情報に対応付ける。

このようなステップＳ００１～ステップＳ００５の処理によって、ユーザを所定期間測定したＲＲＩデータを用いて生成されたローレンツプロットの画像情報と、かかる期間における生体状態を示す正解ラベルと、が対応付けられた機械学習用情報が生成される。

次に、モデル構築部３０３は、所定数（例えば、１００個）の機械学習用情報が生成されたか否かを判定する（ステップＳ００６）。なお、所定数の機械学習用情報には、ユーザが眠いと感じている場合と、眠くないと感じている場合と、の各々の場合の心拍間隔のゆらぎを示したローレンツプロットの画像情報が所定の割合（例えば、略同数ずつ）で含まれているものとする。

そして、所定数の機械学習用情報が生成されていないと判定した場合（ステップＳ００６でＮｏ）、モデル構築部３０３は、処理をステップＳ００１に戻す。一方で、所定数の機械学習用情報が生成されたと判定した場合（ステップＳ００６でＹｅｓ）、モデル構築部３０３は、処理をステップＳ００７に移行する。

ステップＳ００７では、モデル構築部３０３は、機械学習用情報を任意の割合で分割する。具体的には、モデル構築部３０３は、後述の精度検証にホールドアウト法を用いるため、機械学習用情報すなわち生体状態を示す正解ラベルが対応付けられているローレンツプロットの画像情報を訓練用データと検証用データとに分割する。なお、訓練用データと検証用データの分割割合は任意である。例えば、訓練用データと検証用データとは、６：４や７：３など任意の割合で分割される。

次に、モデル構築部３０３は、ステップＳ００８～ステップＳ０１１の処理により、学習モデル３２２を構築する。具体的には、モデル構築部３０３は、ベースモデル３２１を決定する（ステップＳ００８）。より具体的には、モデル構築部３０３は、所定のベースモデル３２１（例えば、畳み込みニューラルネットワーク）を記憶部３２０から取得し、これをモデル構築に用いるためのベースモデル３２１に決定する。

次に、モデル構築部３０３は、訓練用データを用いて機械学習を実行する（ステップＳ００９）。ここで、機械学習について説明する。モデル構築部３０３は、畳み込みニューラルネットワークなどの決定されたベースモデル３２１が示す伝達関数に訓練用データの画像情報を入力し、正解ラベルに対する予測結果としてベースモデル３２１から出力された出力値と、入力した画像情報に対応付けられている正解ラベルとを比較する。また、モデル構築部３０３は、正解ラベルに対して出力値が異なっていた場合、それをフィードバックし、伝達関数の目的変数を変更する。また、モデル構築部３０３は、このような予測とフィードバックの処理を訓練用データ全てについて実行することで機械学習を行い、学習モデル３２２を構築する。

次に、モデル構築部３０３は、検証用データによる学習モデル３２２の精度検証を実行する（ステップＳ０１０）。具体的には、モデル構築部３０３は、構築した学習モデル３２２に対して検証用データを入力する。また、モデル構築部３０３は、かかる学習モデル３２２からの出力値と、検証用データの画像情報に対応付けられている正解ラベルと、の比較に基づき、構築した学習モデル３２２の精度を検証する。

次に、モデル構築部３０３は、学習モデル３２２の精度が充分か否かを判定する（ステップＳ０１１）。具体的には、モデル構築部３０３は、ステップＳ０１０において検証した学習モデル３２２の精度が充分と判断される所定の基準値（例えば、正解率８０％以上など）を満たしているか否かに基づき判定を行う。そして、精度が充分と判定した場合（ステップＳ０１１でＹｅｓ）、モデル構築部３０３は、処理をステップＳ０１２に移行する。一方で、精度が充分ではないと判定した場合（ステップＳ０１１でＮｏ）、モデル構築部３０３は、処理をステップＳ００１に戻す。

なお、モデル構築部３０３は、ステップＳ０１１を経由して実行するステップＳ００９およびステップＳ０１０の処理において、新たな訓練用データおよび検証用データを用いてこれらの処理を実行する。具体的には、モデル構築部３０３は、ステップＳ００１において制御部３１０を介してセンサ１２０に新たな測定の実行指示を出力し、取得した新たな生体情報を用いて、前述のステップＳ００２～Ｓ０１０の処理と同様の処理を行う。

また、ステップＳ０１２では、モデル構築部３０３は、ユーザＩＤまたは身体的特徴に基づいて分類された所定のカテゴリーを、構築された学習モデル３２２に対応付けて記憶部３２０に格納（保存）する。

また、モデル構築部３０３は、学習モデル３２２を保存すると、本フローの処理を終了する。

なお、ユーザとは異なる人物を対象として学習モデル３２２を構築する場合、モデル構築部３０３は、身体的特徴に基づいて分類された各カテゴリーに属する人物に対して測定を行うことで、各カテゴリーに対応する学習モデル３２２を構築する。なお、カテゴリーは、身体的特徴の種類およびその範囲の組み合わせごとに分類される。例えば、カテゴリーの一例として、「性別＝男性、年齢＝３０代、身長＝１７０ｃｍ～１８０ｃｍ、体重＝６０ｋｇ～７０ｋｇ、持病＝無し」、「性別＝女性、年齢＝４０代、身長＝１５０ｃｍ～１６０ｃｍ、体重＝５０ｋｇ～６０ｋｇ、持病＝無し」などがある。

モデル構築部３０３は、このように分類されているカテゴリーに属する母集団の人物に対して測定を行い、それによって取得した生体情報に基づいて生成した画像情報を用いて、各カテゴリーに対応する学習モデル３２２を構築する。

これにより、後述する生体状態判定処理において、ユーザは、自身のユーザ認証に基づいて、本人への測定によって構築された学習モデル３２２あるいはユーザと同じカテゴリーに属する人物に対する測定により構築された学習モデル３２２を適用して生体状態を判定することができる。

次に、情報処理装置１００で実行される生体状態判定処理について説明する。

図５は、生体状態判定処理の一例を示したフロー図である。かかる処理は、例えば車両のエンジンが始動したタイミング（イグニッションキーがＯＮ状態になった時）、あるいはユーザから処理の開始指示を受け付けたタイミングで開始される。なお、エンジンの始動は、例えば通信部３３０を介してＥＣＵからエンジンが始動したことを示す情報をユーザ認証部３０４が取得することで検知されれば良い。また、ユーザによる開始指示は、例えば情報処理装置１００が備える処理開始の指示ボタンが押下されることで行われ、それをユーザ認証部３０４が検知すれば良い。

処理が開始されると、ユーザ認証部３０４は、ユーザの個人認証を行う（ステップＳ０２１）。具体的には、ユーザ認証部３０４は、所定の入力装置を介して入力されたユーザＩＤが対応付けられている学習モデル３２２を記憶部３２０から検索する。また、かかる学習モデル３２２が無い場合、ユーザ認証部３０４は、ユーザの属するカテゴリーが対応付けられた学習モデル３２２を記憶部３２０から検索する。

なお、所定の入力装置は、例えばナビゲーション装置などのＭａｉｎ Ｕｎｉｔ２００であっても良い。この場合、ユーザ認証部３０４は、通信部３３０を介してＭａｉｎ Ｕｎｉｔ２００からユーザの入力情報を取得すれば良い。また、入力装置は、情報処理装置１００が備えていても良い。

また、認証方式は、ユーザ情報の入力に限定されない。例えば、車両が車内映像を撮像する車内カメラを搭載している場合、ユーザ認証部３０４は、車内カメラが撮像した映像情報を取得し、これを用いて顔認証を実行することで、ユーザの身体的特徴を特定しても良い。この方式を採用する場合、情報処理装置１００は、通信装置１３０を介して車内カメラと情報通信可能に接続されていれば良い。

また、認証方式は、指紋認証であっても良い。この方式を採用する場合、情報処理装置１００が指紋認証センサを備えていれば良い。あるいは車両の所定箇所（例えば、ハンドルなど）に指紋認証センサが設置されている場合、情報処理装置１００は、例えば通信装置１３０を介して接続されているＥＣＵから指紋情報を取得し、予め記憶部３２０に記憶されている指紋情報と照合することでユーザの身体的特徴を特定しても良い。

次に、ユーザ認証部３０４は、対応する学習モデル３２２があるか否かを判定する（ステップＳ０２２）。具体的には、ユーザ認証部３０４は、ユーザＩＤまたはユーザが属するカテゴリーが対応付けられた学習モデル３２２が記憶部３２０に格納されているか否に基づき、かかる判定を行う。そして、対応する学習モデル３２２があると判定した場合（ステップＳ０２２でＹｅｓ）、ユーザ認証部３０４は、処理をステップＳ０２３に移行する。一方で、対応する学習モデル３２２がないと判定した場合（ステップＳ０２２でＮｏ）、ユーザ認証部３０４は、処理をステップＳ０３０に移行する。

なお、ステップＳ０３０では、生体状態判定部３０５は、対応する学習モデル３２２がないことをユーザに通知する。例えば、生体状態判定部３０５は、対応する学習モデル３２２がないことを通知するための所定のメッセージを生成し、通信部３３０を介して、かかるメッセージをＭａｉｎ Ｕｎｉｔ２００である車載器の表示装置に表示させる。また、生体状態判定部３０５は、かかるメッセージをＭａｉｎ Ｕｎｉｔ２００に表示させると、本フローの処理を終了する。

また、対応する学習モデル３２２があると判定された場合に移行するステップＳ０２３の処理では、ユーザ認証部３０４は、対応する学習モデル３２２を記憶部３２０から取得する。

また、次に、生体状態判定部３０５は、制御部３１０を介してセンサ１２０に心拍などのバイタルデータの測定指示を出力する（ステップＳ０２４）。また、次に、生体状態判定部３０５は、センサ１２０から出力されたＲＲＩデータを取得すると（ステップＳ０２５）、これを取得された学習モデル３２２に入力する（ステップＳ０２６）。

また、次に、生体状態判定部３０５は、学習モデル３２２の演算結果として出力された出力値すなわち測定期間におけるユーザの眠気の有無に関する判定結果（眠い／眠くない）を取得する（ステップＳ０２７）。

また、データ形式変換部３０６は、出力値を所定のデータ形式に変換し（ステップＳ０２８）、通信部３３０を介してＭａｉｎ Ｕｎｉｔ２００へ出力する（ステップＳ０２９）。また、データ形式変換部３０６は、生体状態の判定結果である出力値をＭａｉｎ Ｕｎｉｔ２００に出力すると、本フローの処理を終了する。

以上、本実施形態の情報処理装置１００について説明した。

このような情報処理装置によれば、センサ特性の違い等を考慮した補正を必要とせず、より精度よく生体状態を判定することができる。特に、情報処理装置は、生体情報であるＲＲＩデータを用いて、心拍間隔のゆらぎを視覚的に表現したローレンツプロットの画像情報を生成し、かかる画像情報を用いて生体状態を判定する。例えば、ＲＲＩデータを学習モデルに入力して生体状態を判定する場合、センサ特性の違いが数値データに反映されてしまうため、補正のための処理やその条件などを予め設定した上で補正を行う必要があるが、情報処理装置によれば、生体状態を示す傾向を視覚的に判別可能な画像情報を用いて生体状態を判定するため、補正および補正のための設定を必要とせず、精度良く生体状態を判定することができる。

＜第二実施形態＞
図６は、本実施形態に係る情報処理装置１００およびサーバ装置４００の機能構成の一例を示した機能ブロック図である。図示するように、情報処理装置１００は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）など所定のネットワークＮを介して、サーバ装置４００と相互通信可能に接続されている。

なお、サーバ装置４００における画像情報生成部４１１、ラベリング部４１２およびモデル構築部４１３と、記憶部４２０およびベースモデル４２１と、通信部４３０と、は各々、第一実施形態の情報処理装置１００における画像情報生成部３０１、ラベリング部３０２およびモデル構築部３０３と、記憶部３２０およびベースモデル３２１と、通信部３３０に対応し、同様の処理を行う機能部および情報であるため、本実施形態では詳細な説明を省略する。

前述の第一実施形態では、情報処理装置１００で学習モデル３２２を構築したが、本実施形態では、センサ１２０から取得した生体情報をサーバ装置４００に送信し、サーバ装置の演算部４１０が有する画像情報生成部４１１、ラベリング部４１２およびモデル構築部４１３により学習モデル３２２が構築される。

具体的には、情報処理装置１００の演算部３００は、学習モデル構築処理において、センサ１２０から生体情報（ＲＲＩデータ）を取得すると、通信部３３０を介して、サーバ装置４００に送信する。サーバ装置４００の画像情報生成部４１１、ラベリング部４１２およびモデル構築部４１３は、通信部４３０を介してＲＲＩデータを取得すると、前述のステップＳ００３～ステップＳ０１１と同様の方法により学習モデル３２２を構築する。

また、サーバ装置４００のモデル構築部４１３により構築された学習モデル３２２は、サーバ装置４００の通信部４３０を介して情報処理装置１００に送信され、記憶部３２０に格納される。また、情報処理装置１００は、記憶部３２０に格納されている学習モデル３２２を用いて、前述と同様の生体状態判定処理を実行する。

このような第二実施形態に係る情報処理装置１００およびサーバ装置４００によれば、学習モデル３２２の構築を処理性能が高いサーバ装置で実行することができるため、情報処理装置１００のスペックを抑制することができ、その結果、製造コストを節約することができる。

なお、本発明は、第一実施形態および第二実施形態の情報処理装置１００に限定されるものではなく、様々な変形例が可能である。例えば、第一実施形態における演算装置１１０（演算部３００および制御部３１０）、通信装置１３０および記憶装置１４０は、Ｍａｉｎ Ｕｎｉｔ２００であるナビゲーション装置などの車載器やＥＣＵに内蔵されていても良い。

また、前述の実施形態では、眠い／眠くない、といった判定結果を出力値としたが、本発明はこれに限られるものではなく、情報処理装置１００は、例えば「少し眠い」、「非常に眠い」、「眠気（低）」、「眠気（中）」および「眠気（高）」などのように、生体状態の強度レベルを含む判定結果を出力しても良い。

なお、このような判定は、例えば正解ラベルを生体状態における複数のレベルに細分化して画像情報に対応付け、それらを用いた機械学習により学習モデル３２２を構築することで実現可能である。

このような変形例に係る情報処理装置１００によれば、ユーザの生体状態をより細かいレベルで判定することができる。

また、前述の実施形態では、ローレンツプロットの画像情報を生成したが、本発明はこれに限られず、例えばユーザの心電図波形を示す画像情報を生成し、それを用いて生体状態を判定するようにしても良い。

このような変形例に係る情報処理装置によっても、生体状態を示す傾向を視覚的に判別可能な画像情報を用いて生体状態を判定するため、補正および補正のための設定を必要とせず、精度良く生体状態を判定することができる。

また、本発明は、上記の実施形態や変形例などに限られるものではなく、これら以外にも様々な実施形態および変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態や変形例の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００・・・情報処理装置、１１０・・・演算装置、１１１・・・ＣＰＵ、１１２・・・ＲＯＭ、１１３・・・ＲＡＭ、１１４・・・Ｉ／Ｆ（インターフェイス）、１１５・・・バス、１２０・・・センサ、１３０・・・通信装置、１４０・・・記憶装置、２００・・・Ｍａｉｎ Ｕｎｉｔ、３００・・・演算部、３０１・・・画像情報生成部、３０２・・・ラベリング部、３０３・・・モデル構築部、３０４・・・ユーザ認証部、３０５・・・生体状態判定部、３０６・・・データ形式変換部、３１０・・・制御部、３２０・・記憶部、３２１・・・ベースモデル、３２２・・・学習モデル、３３０・・・通信部

Claims (4)

1. 人の生体情報であるＲＲＩ（Ｒ－Ｒ Ｉｎｔｅｒｖａｌ）データを用いて、心拍間隔のゆらぎを表すローレンツプロットのグラフを示す画像情報を生成する画像情報生成部と、
   前記画像情報を用いた機械学習により学習モデルを構築するモデル構築部と、
   乗車している車両のユーザから取得した前記生体情報に基づき生成された前記画像情報を前記学習モデルに入力し、眠気の有無、疲労の有無および集中力の有無に関する生体状態の判定結果である出力値を取得する生体状態判定部と、
   前記判定結果に基づく車内設備の制御を実施させるために、前記生体状態の判定結果を前記車両に実装されている所定の車両装置に出力する通信部と、を備える
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   身体的特徴の種類およびその範囲の組み合わせごとに分類された所定のカテゴリーに属する人物に対する測定により取得された前記生体情報を用いて構築された前記学習モデルを記憶している記憶部をさらに備える
   ことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記学習モデルは、ユーザの識別情報または当該ユーザの識別情報および前記所定のカテゴリーが対応付けられて前記記憶部に記憶され、
   前記ユーザの識別情報または前記ユーザの属する前記カテゴリーに対応する前記学習モデルを前記記憶部から検索するユーザ認証部を、さらに備える
   ことを特徴とする情報処理装置。
4. 情報処理装置が行う生体状態判定方法であって、
   前記情報処理装置は、
   人の生体情報であるＲＲＩ（Ｒ－Ｒ Ｉｎｔｅｒｖａｌ）データを用いて、心拍間隔のゆらぎを表すローレンツプロットのグラフを示す画像情報を生成するステップと、
   前記画像情報を用いた機械学習により学習モデルを構築するステップと、
   乗車している車両のユーザから取得した前記生体情報に基づき生成された前記画像情報を前記学習モデルに入力し、眠気の有無、疲労の有無および集中力の有無に関する生体状態の判定結果である出力値を取得するステップと、
   前記判定結果に基づく車内設備の制御を実施させるために、前記生体状態の判定結果を前記車両に実装されている所定の車両装置に出力する通信ステップと、を行う
   ことを特徴とする生体状態判定方法。

Images