JP2017093760A - 心拍に連動する周期的変動の計測装置及び計測方法 - Google Patents
心拍に連動する周期的変動の計測装置及び計測方法 Download PDFInfo
- Publication number
- JP2017093760A JP2017093760A JP2015228248A JP2015228248A JP2017093760A JP 2017093760 A JP2017093760 A JP 2017093760A JP 2015228248 A JP2015228248 A JP 2015228248A JP 2015228248 A JP2015228248 A JP 2015228248A JP 2017093760 A JP2017093760 A JP 2017093760A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- signal
- subject
- pulse rate
- pulse wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
【課題】被験者の動きや照明変化があってもカメラ画像から被験者の脈拍数を精確に計測できる計測装置を提供する。【解決手段】顔画像に設定された所定領域から小領域の対をサンプルとして選択するサンプル選択部１１と、各フレームのサンプル位置を追跡し、その画素値から各サンプルの輝度信号の対を得る輝度信号取得部１２と、輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定してヘモグロビンが寄与する脈波信号を抽出するサンプル脈波信号抽出部１３と、サンプルの脈波信号の信頼度を判定する信頼度判定部１４と、信頼できるサンプルの脈波信号から脈拍数を算出するサンプルデータ算出部１５と、各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部１６と、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数とする測定結果決定部１７とを備える。【選択図】図３
Description
本発明は、被験者の顔の画像から被験者の脈拍数や脈波信号等、心拍に連動する周期的変動を計測する計測装置とその計測方法に関し、顔が動いても、顔に当たる光が変化しても精確に計測できるようにしたものである。
被験者の顔を撮影した画像から被験者の脈拍数や呼吸数を計測する技術は従来から知られている。例えば、下記特許文献１には、撮像手段で撮像した被験者の顔画像から、顔面の興味領域（ＲＯＩ：Region of interest）の平均輝度を算出して、この輝度を興味領域の位置や顔向きに基づいて補正し、補正した輝度の時間的変化の波形から被験者の脈拍数を算出することが記載されている。
また、下記非特許文献１には、顔のＲＯＩを撮影したビデオ信号をＲ，Ｇ，Ｂの成分から成る３つの信号に分解し、これらの信号から、独立成分分析（ＩＣＡ：Independent Component Analysis）を用いて心拍に対応する脈波信号（ＰＧ（plethysmograph）signal）を抽出する方法が記載されている。
また、下記非特許文献２には、被験者の顔のビデオ画像から被験者の脈拍数を測定する際に、照明の変動による測定精度の低下を防ぐため、背景の濃度の変動を利用して照明変動の影響を除く方法が記載されている。
M.-Z. Poh, D. J. McDuff, and R. W. Picard." Non-contact, automated cardiac pulse measurements using video imaging and blind source separation." Optics Express, 18(10):10762-10774, May 2010.
X. Li, J. Chen, G. Zhao, and M. Pietikainen. "Remote heart rate measurement from face videos under realistic situations." In IEEE Computer Vision and Pattern Recognition (CVPR), pages 4264-4271, June 2014.
被験者の顔の画像から脈拍数や脈波信号を計測する装置では、撮影の際の背景や照明、顔の動き等に制約されずに、被験者の顔をカメラで撮影するだけで精確に計測できることが望ましい。
しかし、特許文献１及び非特許文献１、２に記載された技術では、顔画像に設定したＲＯＩに含まれる多数の画素の平均値化したデータを用いて脈拍等を算出しているため、高精度の計測結果を得ることが難しい。
また、ＩＣＡを用いる非特許文献１の技術では、ＲＯＩのビデオ信号から生成したＲ，Ｇ，Ｂ成分の信号が、ＩＣＡを適用する条件を満たしているかを確かめていないため、抽出したＰＧ信号に誤差が含まれる可能性があり、測定精度の低下が懸念される。
また、非特許文献２の技術を実施するためには、被験者の背景を均一で単純なものにする必要があり、背景についての制約がある。
しかし、特許文献１及び非特許文献１、２に記載された技術では、顔画像に設定したＲＯＩに含まれる多数の画素の平均値化したデータを用いて脈拍等を算出しているため、高精度の計測結果を得ることが難しい。
また、ＩＣＡを用いる非特許文献１の技術では、ＲＯＩのビデオ信号から生成したＲ，Ｇ，Ｂ成分の信号が、ＩＣＡを適用する条件を満たしているかを確かめていないため、抽出したＰＧ信号に誤差が含まれる可能性があり、測定精度の低下が懸念される。
また、非特許文献２の技術を実施するためには、被験者の背景を均一で単純なものにする必要があり、背景についての制約がある。
本発明は、こうした事情を考慮して創案したものであり、被験者が動いていても、被験者を照らす照明が変化しても、被験者を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測できる計測装置及び計測方法を提供することを目的としている。
本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、サンプルの輝度信号の対が線形ＢＳＳ（ブラインド信号源分離）の適用可能条件を満たすと仮定して、この輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形ＢＳＳ問題を解き、ヘモグロビンが寄与する信号を脈波信号（ＰＧ信号）として抽出するサンプル脈波信号抽出部と、サンプル脈波信号抽出部で抽出された各サンプルのＰＧ信号の信頼度を判定する信頼度判定部と、信頼度判定部が信頼できると判定した各サンプルのＰＧ信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、グループ別の数が最大のサンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定部と、を備えることを特徴とする。
この計測装置では、所定領域（ＲＯＩ）から選択した小領域の対をサンプルとして、各サンプルの輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形ＢＳＳ問題を解き、ＰＧ信号を抽出する。このとき、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して問題を解くが、得られたＰＧ信号の信頼度を判定し、信頼度の低いサンプルのＰＧ信号を計測結果の算出から外しているため、結果的に線形ＢＳＳの適用可能条件への適合が担保されることになる。
この計測装置では、所定領域（ＲＯＩ）から選択した小領域の対をサンプルとして、各サンプルの輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形ＢＳＳ問題を解き、ＰＧ信号を抽出する。このとき、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して問題を解くが、得られたＰＧ信号の信頼度を判定し、信頼度の低いサンプルのＰＧ信号を計測結果の算出から外しているため、結果的に線形ＢＳＳの適用可能条件への適合が担保されることになる。
また、本発明の計測装置では、小領域を四角形とし、この四角形の一辺が、顔の横幅の画素数の約１０〜２０％の画素数の大きさとすることが望ましい。
小領域が大きい程、そこに含まれる各画素のバラツキが平均化されて雑音が減るが、その分、微小な変動が捉えられなくなる。また、小領域が大きい程、平均値を取るための加算回数が増えるので処理時間が長くなる。
小領域が大きい程、そこに含まれる各画素のバラツキが平均化されて雑音が減るが、その分、微小な変動が捉えられなくなる。また、小領域が大きい程、平均値を取るための加算回数が増えるので処理時間が長くなる。
また、本発明の計測装置では、測定結果決定部が、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのＰＧ信号を平均して被験者のＰＧ信号として決定する。
このように、この装置では、被験者の脈拍数やＰＧ信号を精確に計測することができる。
このように、この装置では、被験者の脈拍数やＰＧ信号を精確に計測することができる。
また、本発明の計測装置では、サンプル選択部が、顔の中で有効なサンプルが得られる有効領域を示す地図を具備し、有効領域の中からサンプルを選択することが望ましい。
こうすることで、無駄なサンプルの選択を減らすことができ、処理時間の短縮が可能になる。
こうすることで、無駄なサンプルの選択を減らすことができ、処理時間の短縮が可能になる。
また、本発明の計測装置では、サンプルの小領域が複数の画素で構成される場合、サンプル輝度信号取得部は、小領域を構成する複数の画素の画素値を平均してサンプルの輝度信号を得る。
画素の画素値のバラツキに起因する計測結果の誤差を、小領域内の画素の画素値を平均化することで低減できる。
画素の画素値のバラツキに起因する計測結果の誤差を、小領域内の画素の画素値を平均化することで低減できる。
また、本発明の計測装置では、サンプル脈波信号抽出部が、線形ＢＳＳ問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”（＝ＰＧ信号）として決定する。
メラニンは皮膚の色を決める主要要素であるため、“メラニンが主に寄与する信号”は原信号と類似しており、ユークリッド距離が近い。それに比べて“ヘモグロビンが寄与する信号”の方は距離が遠い。
メラニンは皮膚の色を決める主要要素であるため、“メラニンが主に寄与する信号”は原信号と類似しており、ユークリッド距離が近い。それに比べて“ヘモグロビンが寄与する信号”の方は距離が遠い。
また、本発明の計測装置では、サンプル脈波信号抽出部が、ＩＣＡ（独立成分分析）の手法を用いて線形ＢＳＳ問題を解く。
“メラニンが主に寄与する信号”と“ヘモグロビンが寄与する信号”とは独立と見られるため、観測データを独立な成分に分解するＩＣＡの手法が適用できる。
“メラニンが主に寄与する信号”と“ヘモグロビンが寄与する信号”とは独立と見られるため、観測データを独立な成分に分解するＩＣＡの手法が適用できる。
また、本発明の計測装置では、信頼度判定部が、サンプルのＰＧ信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比ｒを閾値と比較してＰＧ信号の信頼度を判定する。サンプルデータ算出部は、信頼できると判定されたＰＧ信号の最大ピークに対応する周波数からサンプルの脈拍数を算出する。
この比ｒから、ＰＧ信号の中で最大ピークの周波数が他の周波数に比べてどのくらい主要であるかが分かる。この値ｒが大きいことはＰＧ信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
この比ｒから、ＰＧ信号の中で最大ピークの周波数が他の周波数に比べてどのくらい主要であるかが分かる。この値ｒが大きいことはＰＧ信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部でサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を１加算する。測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
このように、この装置では、サンプルデータの多数決により被験者の脈拍数を決定する。
このように、この装置では、サンプルデータの多数決により被験者の脈拍数を決定する。
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部で算出された各サンプルの脈拍数を、被験者の他の周期的変動（心拍変動や呼吸数等）を示す値と関連付けて分類し、測定結果決定部が、最大クラスターのデータを平均して被験者の心拍に連動する周期的変動の計測結果を決定するようにしてしても良い。
こうすることで、健康に関する多くの指標を得ることができる。
こうすることで、健康に関する多くの指標を得ることができる。
また、本発明の計測装置では、さらに、被験者の顔の画像から被験者の表情を認識する表情認識手段を併せて備えるようにしても良い。
被験者の脈拍の変動と併せて表情の変化を識別することで、被験者が快い状態で高揚しているのか、不快な状態で興奮しているのかが分かる。
被験者の脈拍の変動と併せて表情の変化を識別することで、被験者が快い状態で高揚しているのか、不快な状態で興奮しているのかが分かる。
また、本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して、輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形ＢＳＳ問題を解き、“ヘモグロビンが寄与する信号”を脈波信号として抽出するサンプル脈波信号抽出ステップと、サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定ステップと、を備えることを特徴とする。
この計測方法では、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して線形ＢＳＳ問題を解くが、得られた各サンプルのＰＧ信号の信頼度を判定し、信頼度の低いサンプルのＰＧ信号を計測結果の算出から外しているため、結果的に線形ＢＳＳの適用可能条件への適合が担保される。
この計測方法では、サンプルの輝度信号の対が線形ＢＳＳの適用可能条件を満たすと仮定して線形ＢＳＳ問題を解くが、得られた各サンプルのＰＧ信号の信頼度を判定し、信頼度の低いサンプルのＰＧ信号を計測結果の算出から外しているため、結果的に線形ＢＳＳの適用可能条件への適合が担保される。
また、本発明の計測方法では、測定結果決定ステップで、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのＰＧ信号を平均して被験者のＰＧ信号として決定する。
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、ＩＣＡの手法を用いて線形ＢＳＳ問題を解く。
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、線形ＢＳＳ問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”として決定する。
また、本発明の計測方法では、信頼度判定ステップで、サンプルのＰＧ信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比ｒを閾値と比較してＰＧ信号の信頼度を判定し、サンプルデータ算出ステップで、最大ピークをもたらす周波数からサンプルの脈拍数を算出する。
ＰＧ信号の信頼度をヒューリスティックな方法で短時間に評価できる。
ＰＧ信号の信頼度をヒューリスティックな方法で短時間に評価できる。
また、本発明の計測方法では、サンプルデータグループ化ステップで、サンプルデータ算出ステップにおいてサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を１加算し、測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
サンプルデータの多数決により被験者の脈拍数を決定する。
サンプルデータの多数決により被験者の脈拍数を決定する。
本発明の計測装置及び計測方法では、被験者が動いても、被験者を照らす照明が変化しても、被験者の顔を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測することができる。
図１は、本発明の実施形態に係る計測装置を模式的に示している。この装置は、被験者４の顔を撮影する撮像装置１と、撮像装置で撮影された被験者の顔画像から脈拍数や脈波信号（ＰＧ信号）を計測するコンピュータ２と、コンピュータで計測された計測結果を表示する表示部３とを備えている。コンピュータ２は、撮像装置１で撮影された連続する複数の画像フレーム（動画像データ）を保存する画像記録部２０と、画像記録部に保存された画像フレームを読み出して脈拍数やＰＧ信号の計測を実行する演算部１０と、演算部で算出された計測結果を表示部３に表示する表示制御部３０とを備えている。
まず、皮膚の見え方について説明する。
皮膚の色は、主にメラニンの存在によるが、血液中のヘモグロビンによる光の吸収にも影響される。したがって、皮膚の分光反射率曲線（spectral reflectance curve）の形は、主にメラニンとヘモグロビンの組合せによる。
皮膚はLambertian（ランバート反射、完全拡散反射）であると仮定すると、波長λに対する皮膚の分光反射率Rs(λ)は（数式１）により定義される。
ここで、amとahはスカラーでRm(λ), Rh(λ)は正規化された分光反射率、ah Rh(λ)はヘモグロビンの寄与、am Rm(λ)はヘモグロビンの影響のない場合の分光反射率、すなわち、主にメラニンの影響によるものである。
したがって、あるカメラのチャネルの皮膚上の１点における明るさを示す画素値は（数２）でモデル化できる。
ここでalはスカラー、L(λ)は正規化された照明（光源）のスペクトル（分光分布）、Ck(λ)はカメラのチャネルkのspectral response（スペクトル応答）である。
皮膚の色は、主にメラニンの存在によるが、血液中のヘモグロビンによる光の吸収にも影響される。したがって、皮膚の分光反射率曲線（spectral reflectance curve）の形は、主にメラニンとヘモグロビンの組合せによる。
皮膚はLambertian（ランバート反射、完全拡散反射）であると仮定すると、波長λに対する皮膚の分光反射率Rs(λ)は（数式１）により定義される。
ここで、amとahはスカラーでRm(λ), Rh(λ)は正規化された分光反射率、ah Rh(λ)はヘモグロビンの寄与、am Rm(λ)はヘモグロビンの影響のない場合の分光反射率、すなわち、主にメラニンの影響によるものである。
したがって、あるカメラのチャネルの皮膚上の１点における明るさを示す画素値は（数２）でモデル化できる。
ここでalはスカラー、L(λ)は正規化された照明（光源）のスペクトル（分光分布）、Ck(λ)はカメラのチャネルkのspectral response（スペクトル応答）である。
ここまでは、ある時点の皮膚上の１点の見え方だったが、時間変化を考えるために、時間の次元を付与すると以下の（数３）ようになる。
メラニンの生成はビデオ撮影で考えているよりずっと長い時間スケールで起こるので、メラニンによる分光反射率の成分は一定であると仮定できる。一方、心臓の拍動に影響されるヘモグロビンに対する成分はビデオ上で変動する。カメラのスペクトル応答はもちろん時間により変動せずに一定である。
メラニンの生成はビデオ撮影で考えているよりずっと長い時間スケールで起こるので、メラニンによる分光反射率の成分は一定であると仮定できる。一方、心臓の拍動に影響されるヘモグロビンに対する成分はビデオ上で変動する。カメラのスペクトル応答はもちろん時間により変動せずに一定である。
さて、図１のコンピュータ２の演算部１０は、図２に示すように、被験者の顔の画像に設定した矩形状の興味領域（ＲＯＩ）４１から、複数の画素から成る小領域の対（ｐ１、ｐ２）をサンプルとして選択し、多数のサンプルの画素値を用いて被験者の心拍に連動する周期的変動を計測する。ＲＯＩ内のサンプルの位置は任意に設定できる。
なお、小領域は、顔の横幅の画素数の約１０〜２０％の画素数の大きさを一辺とする四角形であることが望ましい。後述するように、小領域に含まれる画素の画素値を平均化して小領域の画素値とするため、小領域が大きい程、各画素のバラツキが平均化されて雑音が減る。そのため、小領域の一辺は、顔の横幅の画素数の１０％以上の画素数の長さであることが望ましい。しかし、顔の横幅の画素数の２０％を超えると、微小な変動が捉え難くなり、また、平均値を取るための加算の回数が増えるので、処理時間が長くなる。
なお、小領域は、顔の横幅の画素数の約１０〜２０％の画素数の大きさを一辺とする四角形であることが望ましい。後述するように、小領域に含まれる画素の画素値を平均化して小領域の画素値とするため、小領域が大きい程、各画素のバラツキが平均化されて雑音が減る。そのため、小領域の一辺は、顔の横幅の画素数の１０％以上の画素数の長さであることが望ましい。しかし、顔の横幅の画素数の２０％を超えると、微小な変動が捉え難くなり、また、平均値を取るための加算の回数が増えるので、処理時間が長くなる。
図３は、演算部１０を構成する機能ブロックを示している。この演算部１０は、最初の画像フレームにＲＯＩを設定してサンプル（小領域の対）位置を選択するサンプル選択部１１と、サンプルの各画像フレームにおける位置を追跡して、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部１２と、この輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形ＢＳＳ問題を解き、“ヘモグロビンが寄与する信号”（＝脈波信号：ＰＧ信号）を抽出するサンプル脈波信号抽出部１３と、抽出されたＰＧ信号の信頼度を判定する信頼度判定部１４と、信頼できるＰＧ信号から脈拍数を算出するサンプルデータ算出部１５と、その脈拍数をグループ別に仕分けるサンプルデータグループ化部１６と、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定する測定結果決定部１７とを有している。
なお、サンプル選択部１１、サンプル輝度信号取得部１２、サンプル脈波信号抽出部１３、信頼度判定部１４、サンプルデータ算出部１５、サンプルデータグループ化部１６及び測定結果決定部１７は、コンピュータ２がプログラムに基づく処理を実行することにより実現される。
なお、サンプル選択部１１、サンプル輝度信号取得部１２、サンプル脈波信号抽出部１３、信頼度判定部１４、サンプルデータ算出部１５、サンプルデータグループ化部１６及び測定結果決定部１７は、コンピュータ２がプログラムに基づく処理を実行することにより実現される。
図４は、演算部１０の処理手順を示している。
サンプル選択部１１は、画像記録部２０に蓄積された画像フレームの中から最初の画像フレームを読出して矩形状のＲＯＩを設定し（ステップ１）、ＲＯＩ内からランダムに最初のサンプル（小領域の対ｐ１、ｐ２）を選択する（ステップ２）。
サンプル輝度信号取得部１２は、画像記録部２０に蓄積された全ての画像フレームを読み出し、各画像フレームにおけるｐ１、ｐ２位置を追跡する。
サンプル選択部１１は、画像記録部２０に蓄積された画像フレームの中から最初の画像フレームを読出して矩形状のＲＯＩを設定し（ステップ１）、ＲＯＩ内からランダムに最初のサンプル（小領域の対ｐ１、ｐ２）を選択する（ステップ２）。
サンプル輝度信号取得部１２は、画像記録部２０に蓄積された全ての画像フレームを読み出し、各画像フレームにおけるｐ１、ｐ２位置を追跡する。
この追跡は、次のように行う。
図２には、下記論文において顔の特徴点の検出・追跡に使われた６６の特徴点を示している。
X. Yu, J. Huang, S. Zhang, W. Yan, and D. Metaxas. Posefree facial landmark fitting via optimized part mixtures and cascaded deformable shape model. In IEEE International Conference on Computer Vision (ICCV), pages 1944-1951, 2013. 4, 7
この６６点の特徴点は、全画像フレームの画像に対して追跡することができる。
ここでは、図２において１から１７までの番号で示した顔の輪郭部分の１７点の特徴点を追跡に用いている。そして、最初の画像フレームで矩形に設定したＲＯＩの後続フレームでの形状は、追跡した特徴点に対して相対的な位置が変わらないように剛体変換を適用することで求めることができる。剛体変換の変換行列Ａと並進ベクトルｂは、（数４）により決定される。
ここで、ベクトルv1,iはフレーム１でのi番目の特徴点の位置、ベクトルvn,iはｎ番目のフレームでのi番目の特徴点の位置である。この１７点以外の特徴点は非剛体運動を示す可能性があるため用いていない。（数４）は最小二乗法で解くことができる。
図２には、下記論文において顔の特徴点の検出・追跡に使われた６６の特徴点を示している。
X. Yu, J. Huang, S. Zhang, W. Yan, and D. Metaxas. Posefree facial landmark fitting via optimized part mixtures and cascaded deformable shape model. In IEEE International Conference on Computer Vision (ICCV), pages 1944-1951, 2013. 4, 7
この６６点の特徴点は、全画像フレームの画像に対して追跡することができる。
ここでは、図２において１から１７までの番号で示した顔の輪郭部分の１７点の特徴点を追跡に用いている。そして、最初の画像フレームで矩形に設定したＲＯＩの後続フレームでの形状は、追跡した特徴点に対して相対的な位置が変わらないように剛体変換を適用することで求めることができる。剛体変換の変換行列Ａと並進ベクトルｂは、（数４）により決定される。
ここで、ベクトルv1,iはフレーム１でのi番目の特徴点の位置、ベクトルvn,iはｎ番目のフレームでのi番目の特徴点の位置である。この１７点以外の特徴点は非剛体運動を示す可能性があるため用いていない。（数４）は最小二乗法で解くことができる。
最初のフレームのＲＯＩ中に設定した点ｐ１、ｐ２のｎ番目のフレームでの座標値は、変換行列Ａと並進ベクトルｂにより決まる。
サンプル輝度信号取得部１２は、このように全フレームにおけるサンプル位置を算出し、その位置の画素値を求めることにより、サンプルの画素値（輝度）の時間変化を示す信号Ｉｐ１（ｔ）、Ｉｐ２（ｔ）を得る（ステップ３）。
なお、ここでは、各画素の画素値のバラツキによるノイズを減らすため、小領域に含まれる画素の画素値を平均してサンプルの輝度としている。
サンプル輝度信号取得部１２は、このように全フレームにおけるサンプル位置を算出し、その位置の画素値を求めることにより、サンプルの画素値（輝度）の時間変化を示す信号Ｉｐ１（ｔ）、Ｉｐ２（ｔ）を得る（ステップ３）。
なお、ここでは、各画素の画素値のバラツキによるノイズを減らすため、小領域に含まれる画素の画素値を平均してサンプルの輝度としている。
サンプル脈波信号抽出部１３は、二つの信号Ｉｐ１（ｔ）、Ｉｐ２（ｔ）に対して線形ＢＳＳ（Blind Source Separation）を適用してＰＧ信号を求めることを目指す（ステップ４）。
線形ＢＳＳの問題は、（数５）に示すように、信号源Ｓ１，Ｓ２の値の線形和が観測値ｘ１、ｘ２となる式から信号源Ｓ１，Ｓ２を分離することに帰着する。
ここで、ａ１，ａ２，ｂ１，ｂ２は時刻に依存しない定数である。Ｓ１，Ｓ２が互いに独立であれば、（数５）は、ＩＣＡの手法を用いて解くことができる。
線形ＢＳＳの問題は、（数５）に示すように、信号源Ｓ１，Ｓ２の値の線形和が観測値ｘ１、ｘ２となる式から信号源Ｓ１，Ｓ２を分離することに帰着する。
ここで、ａ１，ａ２，ｂ１，ｂ２は時刻に依存しない定数である。Ｓ１，Ｓ２が互いに独立であれば、（数５）は、ＩＣＡの手法を用いて解くことができる。
信号Ｉｐ１（ｔ）、Ｉｐ２（ｔ）は、（数３）から次式（数６）のように表せる。
この信号は、いくつかのスカラーが時間変化するので（例えばal(t)）、直接には線形ＢＳＳが適用できない。さらに、照明の分光分布（Ｌ１，Ｌ２）が同時刻でも異なる可能性がある。
この信号は、いくつかのスカラーが時間変化するので（例えばal(t)）、直接には線形ＢＳＳが適用できない。さらに、照明の分光分布（Ｌ１，Ｌ２）が同時刻でも異なる可能性がある。
この信号に線形ＢＳＳを適用するためには、Ｉｐ１（ｔ）、Ｉｐ２（ｔ）が以下のような条件を満たすことを確かめなければならない。
（条件１）すべての時刻t、すべての波長λに対してＬ1(λ,t)＝Ｌ2(λ,t)であること。すなわち、照明のスペクトルは時間的にどのように変化してもよいが、２つの点ｐ１、ｐ２を照らしている正規化された照明のスペクトルは同時点では同じでなければならない。本質的には、光源の色は時間により変化してもよいが、同じ時点では２つの点ｐ１、ｐ２に対して同じ色でなければならないということである。相対的な明るさは同時刻で異なっていても構わない。
（条件２）時刻ｔ＝１，２、・・・ｎのスカラーを並べて（数７）のベクトルを定義し、他のスカラーについても同様に定義する。
このように定義したとき、正規化したベクトルが次式（数８）を満たすこと。
言い換えると、２点間での時間による明るさの変化は、スケールは違ってもよいが、相対的な変化は等しくなければならない。
（条件１）すべての時刻t、すべての波長λに対してＬ1(λ,t)＝Ｌ2(λ,t)であること。すなわち、照明のスペクトルは時間的にどのように変化してもよいが、２つの点ｐ１、ｐ２を照らしている正規化された照明のスペクトルは同時点では同じでなければならない。本質的には、光源の色は時間により変化してもよいが、同じ時点では２つの点ｐ１、ｐ２に対して同じ色でなければならないということである。相対的な明るさは同時刻で異なっていても構わない。
（条件２）時刻ｔ＝１，２、・・・ｎのスカラーを並べて（数７）のベクトルを定義し、他のスカラーについても同様に定義する。
このように定義したとき、正規化したベクトルが次式（数８）を満たすこと。
言い換えると、２点間での時間による明るさの変化は、スケールは違ってもよいが、相対的な変化は等しくなければならない。
（条件３）同様に、次式（数９）を満たすこと。
なお、この計測装置の場合、この条件は満たされる。なぜなら、血流量は心臓の拍動によるが、フレームレートが３０〜６０Ｈｚの普通のカメラでは、顔の中の最も離れた点の間でもＰＧ信号の遅れは無視できるからである。
（条件４）照明、ヘモグロビン、メラニンは顔全体に対して均一ではないこと。すなわち、（数１０）の関係を満たすこと。
この計測装置の場合、顔への照明は均一でないことが期待できる。また、血液の流れも顔の各部で異なっている。
なお、この計測装置の場合、この条件は満たされる。なぜなら、血流量は心臓の拍動によるが、フレームレートが３０〜６０Ｈｚの普通のカメラでは、顔の中の最も離れた点の間でもＰＧ信号の遅れは無視できるからである。
（条件４）照明、ヘモグロビン、メラニンは顔全体に対して均一ではないこと。すなわち、（数１０）の関係を満たすこと。
この計測装置の場合、顔への照明は均一でないことが期待できる。また、血液の流れも顔の各部で異なっている。
サンプルに選択したすべての２点の対が以上のすべての条件を満たすとは期待できないが、とりあえず、これらの条件を満たす点が見つかると仮定して、サンプル脈波信号抽出部１３は、処理を続ける。
これらの条件が満たされるとすると、Ｉｐ１（ｔ）、Ｉｐ２（ｔ）は次式（数１１）のようになる。
ここで、ｃｌ（ｔ）は（数８）で定義したベクトルｃｌのt番目の要素であり、ｃｈ（t）は（数９）で定義したベクトルｃｈのt番目の要素である。
これらの条件が満たされるとすると、Ｉｐ１（ｔ）、Ｉｐ２（ｔ）は次式（数１１）のようになる。
ここで、ｃｌ（ｔ）は（数８）で定義したベクトルｃｌのt番目の要素であり、ｃｈ（t）は（数９）で定義したベクトルｃｈのt番目の要素である。
（数１１）を簡便にするために、次式（数１２）のように置き換える。
Ｉｐ２（ｔ）についても同様の置き換えを行う。
そうすると、（数１１）は、次式（数１３）のように表せる。
また、条件４から、（数１４）の関係がある。
Ｉｐ２（ｔ）についても同様の置き換えを行う。
そうすると、（数１１）は、次式（数１３）のように表せる。
また、条件４から、（数１４）の関係がある。
（数１３）においてＩｍとＩｈの要素が独立だとすると、（数１３）は、独立成分分析の標準的なアルゴリズムであるＦａｓｔＩＣＡ等を使って解くことができ、ＩｍとＩｈとを（絶対値のスケールは別として）求めることができる。
サンプル脈波信号抽出部１３は、得られたＩｍとＩｈの内、どちらがＰＧ信号であるかを確かめるため、どちらが原信号(Ｉｐ１、Ｉｐ２)との平均的ユークリッド距離が近いかを計算し、近い方をＩｍと判定する。これは、メラニンが皮膚の色を決める主要な要素であり、原信号に近いためである。
残りのもう一つの信号ＩｈがＰＧ信号となる（ステップ４）。
サンプル脈波信号抽出部１３は、得られたＩｍとＩｈの内、どちらがＰＧ信号であるかを確かめるため、どちらが原信号(Ｉｐ１、Ｉｐ２)との平均的ユークリッド距離が近いかを計算し、近い方をＩｍと判定する。これは、メラニンが皮膚の色を決める主要な要素であり、原信号に近いためである。
残りのもう一つの信号ＩｈがＰＧ信号となる（ステップ４）。
信頼度判定部１４は、得られたＰＧ信号から時間フィルタや移動平均フィルタを使って非定常な傾向や雑音を除いた後、信号の信頼性を判定するために、この信号を周波数領域に変換し、パワースペクトル密度（ＰＳＤ）を計算する（ステップ５）。
図５には、同図（ａ）に示すＰＧ信号のＰＳＤを同図（ｂ）に示している。ここでは、通常の人間の心拍数を考慮して、ＰＳＤの周波数範囲を０．７〜４Ｈｚに設定している。
信頼度判定部１４は、パワースペクトル密度の最大ピークのパワーＶ１と２番目の大きさの第２ピークのパワーＶ２との比Ｖ１／Ｖ２（＝ｒ）を計算し（ステップ６）、その比ｒを閾値（例えば、２）と比較する（ステップ７）。
この比ｒは、ＰＧ信号の中で、最大ピークの周波数が他の周波数に比べてどのくらい主要であるかを識別する目安になる。この値が大きいことは、ＰＧ信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
比ｒが閾値以下の場合（ステップ７でＮｏ）は、ステップ２に戻り、最初の画像フレームのＲＯＩ内から別のサンプル（小領域の対ｐ１、ｐ２）を選択し、ステップ３以下の処理を繰り返す。
図５には、同図（ａ）に示すＰＧ信号のＰＳＤを同図（ｂ）に示している。ここでは、通常の人間の心拍数を考慮して、ＰＳＤの周波数範囲を０．７〜４Ｈｚに設定している。
信頼度判定部１４は、パワースペクトル密度の最大ピークのパワーＶ１と２番目の大きさの第２ピークのパワーＶ２との比Ｖ１／Ｖ２（＝ｒ）を計算し（ステップ６）、その比ｒを閾値（例えば、２）と比較する（ステップ７）。
この比ｒは、ＰＧ信号の中で、最大ピークの周波数が他の周波数に比べてどのくらい主要であるかを識別する目安になる。この値が大きいことは、ＰＧ信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
比ｒが閾値以下の場合（ステップ７でＮｏ）は、ステップ２に戻り、最初の画像フレームのＲＯＩ内から別のサンプル（小領域の対ｐ１、ｐ２）を選択し、ステップ３以下の処理を繰り返す。
比ｒが閾値より大きい場合（ステップ７でＹｅｓ）、信頼度判定部１４は、ステップ４で抽出したＰＧ信号が信頼できると判定する。サンプルデータ算出部１５は、信頼できるＰＧ信号の最大ピークの周波数を６０倍して毎分の脈拍数を算出する（ステップ８）。
サンプルデータグループ化部１６は、サンプルデータ算出部１５がサンプルの脈拍数を算出するごとに、その脈拍数に対応するヒストグラムの階級の度数を１加算する（ステップ９）。
サンプルデータ算出部１５で算出されたサンプルの脈拍数の数が規定数に達しない場合は（ステップ１０でＮｏ）、ステップ２に戻り、最初の画像フレームのＲＯＩ内から別のサンプル（小領域の対ｐ１、ｐ２）を選択し、ステップ３以下の処理を繰り返す。
ステップ１０において、算出されたサンプルの脈拍数の数が規定数に達すると（ステップ１０でＹｅｓ）、測定結果決定部１７は、ヒストグラムの各階級の度数を比較し、多数決に基づいて、最大度数の階級に仕分けられた脈拍数を被験者の脈拍数として決定する（ステップ１１）。
なお、ステップ１０では、ステップ２で選択した小領域の対の数をカウントし、その数が所定数に達するまでステップ２〜ステップ９の処理を繰り返し、その数（繰り返し数）が所定数に達したとき、あるいは、それ以前に信頼できる脈拍の数が規定数に達したとき、ステップ１１に移行するようにしても良い。
測定結果決定部１７が決定した脈拍数は、表示部３に出力されて表示される（ステップ１２）。
サンプルデータグループ化部１６は、サンプルデータ算出部１５がサンプルの脈拍数を算出するごとに、その脈拍数に対応するヒストグラムの階級の度数を１加算する（ステップ９）。
サンプルデータ算出部１５で算出されたサンプルの脈拍数の数が規定数に達しない場合は（ステップ１０でＮｏ）、ステップ２に戻り、最初の画像フレームのＲＯＩ内から別のサンプル（小領域の対ｐ１、ｐ２）を選択し、ステップ３以下の処理を繰り返す。
ステップ１０において、算出されたサンプルの脈拍数の数が規定数に達すると（ステップ１０でＹｅｓ）、測定結果決定部１７は、ヒストグラムの各階級の度数を比較し、多数決に基づいて、最大度数の階級に仕分けられた脈拍数を被験者の脈拍数として決定する（ステップ１１）。
なお、ステップ１０では、ステップ２で選択した小領域の対の数をカウントし、その数が所定数に達するまでステップ２〜ステップ９の処理を繰り返し、その数（繰り返し数）が所定数に達したとき、あるいは、それ以前に信頼できる脈拍の数が規定数に達したとき、ステップ１１に移行するようにしても良い。
測定結果決定部１７が決定した脈拍数は、表示部３に出力されて表示される（ステップ１２）。
このように、この計測装置では、ＲＯＩから選択した小領域の対をサンプルとし、多数のサンプルの画素値を用いてＰＧ信号を算出している。そのため、ＲＯＩの平均画素値に基づいて脈拍等の算出を行う従来の方式に比べて高い計測精度が得られる。
また、この計測装置では、各サンプルの画素値が線形ＢＳＳの適用条件を満たすと仮定してＰＧ信号の算出を行っているが、得られたサンプルのＰＧ信号の信頼性を判定し、信頼性の低いサンプルのＰＧ信号を除いて被験者のＰＧ信号を決定しているため、結果的に線形ＢＳＳの適用条件への適合が担保されて、高い計測精度が得られる。
また、この計測装置では、各サンプルの画素値が線形ＢＳＳの適用条件を満たすと仮定してＰＧ信号の算出を行っているが、得られたサンプルのＰＧ信号の信頼性を判定し、信頼性の低いサンプルのＰＧ信号を除いて被験者のＰＧ信号を決定しているため、結果的に線形ＢＳＳの適用条件への適合が担保されて、高い計測精度が得られる。
図６には、脈拍を本発明により計測した結果と他の手法で計測した結果とを比較して示している。
図６では、公開されているデータベース（MANHOB-HCI Database）の４８７例に対し、図６の各手法で得た結果を比較している。
図６において、「全小領域データ使用」方法では、ＲＯＩを重なりのないように小領域（１つの大きさは４１×４１画素）で分割し、各小領域内の画素の平均の時間変化データを求め、全部の小領域のデータ全体に対しＩＣＡを適用して二つの信号を算出し、その一つのＰＧ信号から脈拍を計算している。つまり、本発明と比べて、小領域の対を対象とする計算を行っていない点、及び、脈拍数の計算に際して、信頼性の高い小領域の選択を行っていない点が違っている。
また、「Ｐｏｈ２０１１［１］」は非特許文献１に記載されて手法であり、「Ｌｉ２０１４［２］」は非特許文献２に記載された手法である。
本発明は、その実施に際し、小領域の大きさを４１×４１画素、小領域の対の選択回数（繰り返し数）は５００、信頼性比ｒ判定の閾値を２に設定している。なお、小領域の一辺の４１画素は、顔の横幅の画素数３００の１３．７％に当たる。
図６から、本発明の方法を用いた場合、精度よく脈拍数が得られていることが分かる。
本発明では、ＰＧ信号の信頼性を、ＰＧ信号のパワースペクトル密度の最大ピークと第２ピークとの比から判断し、また、最終的な脈拍の計測値を、サンプルの脈拍数の多数決で決めている。図６は、こうしたヒューリスティックな手法を用いて計測時間の短縮化を図っても、計測精度が低下しないことを示している。
図６では、公開されているデータベース（MANHOB-HCI Database）の４８７例に対し、図６の各手法で得た結果を比較している。
図６において、「全小領域データ使用」方法では、ＲＯＩを重なりのないように小領域（１つの大きさは４１×４１画素）で分割し、各小領域内の画素の平均の時間変化データを求め、全部の小領域のデータ全体に対しＩＣＡを適用して二つの信号を算出し、その一つのＰＧ信号から脈拍を計算している。つまり、本発明と比べて、小領域の対を対象とする計算を行っていない点、及び、脈拍数の計算に際して、信頼性の高い小領域の選択を行っていない点が違っている。
また、「Ｐｏｈ２０１１［１］」は非特許文献１に記載されて手法であり、「Ｌｉ２０１４［２］」は非特許文献２に記載された手法である。
本発明は、その実施に際し、小領域の大きさを４１×４１画素、小領域の対の選択回数（繰り返し数）は５００、信頼性比ｒ判定の閾値を２に設定している。なお、小領域の一辺の４１画素は、顔の横幅の画素数３００の１３．７％に当たる。
図６から、本発明の方法を用いた場合、精度よく脈拍数が得られていることが分かる。
本発明では、ＰＧ信号の信頼性を、ＰＧ信号のパワースペクトル密度の最大ピークと第２ピークとの比から判断し、また、最終的な脈拍の計測値を、サンプルの脈拍数の多数決で決めている。図６は、こうしたヒューリスティックな手法を用いて計測時間の短縮化を図っても、計測精度が低下しないことを示している。
本発明でサンプルとして設定する小領域の対と線形ＢＳＳの適用条件（条件１〜４）との関係については次のように考えられる。
すべての点の対が条件１〜４を満足するわけではないが、十分な数の点の対がこれらの条件を満たす（あるいはほぼ満たす）と考えられる。
条件１及び条件２は、対の２点がそれぞれの時点で同じ光源に照らされている（ただし、２点に対する照明の強度は異なってもよい）必要がある。これは限定的な条件に思われるかもしれないが、多くのカメラ画像でこれを満たす点が多数あると期待することができる。実環境には多くの光源があるが、同じ光源が顔のある部分全体に影響を及ぼすと考えられる。
言い換えれば、殆どの点が、全く違う光源に照らされているというようなことはあり得ない。
また、この条件１及び条件２では、同じ光源であれば、スペクトルが時間的にどのように変化してもよいとしているので、柔軟性はある。例えば、コンピュータのモニター（ディスプレイ）は光源のスペクトルが変動する一つの光源である。
条件３及び条件４については、先に述べたように、本発明で設定する小領域の対は満たしていると考えられる。
しかし、条件１〜４を満たす点を見出すことは簡単でない。これらの条件が満足されるかどうかは、多くの要因が関係するからである。
そこで、本発明では、前述するように、各サンプルの画素値が線形ＢＳＳの適用条件を満たすと仮定してＰＧ信号の算出を行い、得られたＰＧ信号の内で信頼性の低いものを除く方法を採っている。こうすることで、どの対が条件を満たすかと言う難しい判断を避けることができる。
すべての点の対が条件１〜４を満足するわけではないが、十分な数の点の対がこれらの条件を満たす（あるいはほぼ満たす）と考えられる。
条件１及び条件２は、対の２点がそれぞれの時点で同じ光源に照らされている（ただし、２点に対する照明の強度は異なってもよい）必要がある。これは限定的な条件に思われるかもしれないが、多くのカメラ画像でこれを満たす点が多数あると期待することができる。実環境には多くの光源があるが、同じ光源が顔のある部分全体に影響を及ぼすと考えられる。
言い換えれば、殆どの点が、全く違う光源に照らされているというようなことはあり得ない。
また、この条件１及び条件２では、同じ光源であれば、スペクトルが時間的にどのように変化してもよいとしているので、柔軟性はある。例えば、コンピュータのモニター（ディスプレイ）は光源のスペクトルが変動する一つの光源である。
条件３及び条件４については、先に述べたように、本発明で設定する小領域の対は満たしていると考えられる。
しかし、条件１〜４を満たす点を見出すことは簡単でない。これらの条件が満足されるかどうかは、多くの要因が関係するからである。
そこで、本発明では、前述するように、各サンプルの画素値が線形ＢＳＳの適用条件を満たすと仮定してＰＧ信号の算出を行い、得られたＰＧ信号の内で信頼性の低いものを除く方法を採っている。こうすることで、どの対が条件を満たすかと言う難しい判断を避けることができる。
なお、ここでは、サンプルをＲＯＩからランダムに選択する場合について説明したが、本発明の実施を繰り返すことにより、信頼性の高いＰＧ信号が得られるサンプルの位置を把握することができ、そうしたサンプル位置を含む地図を作成することができる。この地図を保持してサンプルを選択するようにすれば、無駄な演算が減り、処理の高速化が可能になる。
また、ここでは、被験者の脈拍数の計測について説明したが、本発明の装置により被験者の脈波信号（ＰＧ信号）を計測することもできる。この場合、度数が最大のヒストグラムの階級に分類されたサンプルのＰＧ信号を平均化して被験者のＰＧ信号とする。
また、ここでは、サンプルのＰＧ信号を、ヒストグラムを用いて仕分ける場合について示したが、各サンプルの脈拍やＰＧ信号を被験者の心拍変動や呼吸数等の値と関連付けてＫ平均法や階層的クラスタリングを使って分類し、最大クラスターのデータを平均化して被験者の生体情報を得るようにしても良い。また、ＲＡＮＳＡＣ（random sample consensus）と呼ばれる方法を使って生体情報を得るようにしても良い。
また、ここでは、被験者の脈拍数の計測について説明したが、本発明の装置により被験者の脈波信号（ＰＧ信号）を計測することもできる。この場合、度数が最大のヒストグラムの階級に分類されたサンプルのＰＧ信号を平均化して被験者のＰＧ信号とする。
また、ここでは、サンプルのＰＧ信号を、ヒストグラムを用いて仕分ける場合について示したが、各サンプルの脈拍やＰＧ信号を被験者の心拍変動や呼吸数等の値と関連付けてＫ平均法や階層的クラスタリングを使って分類し、最大クラスターのデータを平均化して被験者の生体情報を得るようにしても良い。また、ＲＡＮＳＡＣ（random sample consensus）と呼ばれる方法を使って生体情報を得るようにしても良い。
本発明の計測装置は、本発明者等が先に提案した「コミュニケーション支援ロボットシステム」（特開２０１５−１８４５９７号公報）、すなわち、ロボットを使って単身高齢者と近親者とのコミュニケーションを支援するシステムにも使用することができる。
このシステムでは、図７に示すように、認知症の虞がある高齢者の側に、ロボット３７と、テレビ電話機能を実現するカメラ３３、スピーカ３６１、マイク３６２、ディスプレイ３５及びコンピュータ３１を配置し、カメラ３３で撮影した高齢者の画像やマイク３６２で集音した高齢者の音声が近親者側のテレビ電話のディスプレイ４５やスピーカ４６１で表示できるようにしている。
近親者は、テレビ電話を通じて高齢者と直接コミュニケーションを取る「直接対応モード」と、ロボット３７を介して高齢者に近親者の意図を伝える「間接対話モード」と、ロボット３７が自主的に高齢者と対話するように求める「ロボット対応モード」とを選択することができる。
このシステムでは、図７に示すように、認知症の虞がある高齢者の側に、ロボット３７と、テレビ電話機能を実現するカメラ３３、スピーカ３６１、マイク３６２、ディスプレイ３５及びコンピュータ３１を配置し、カメラ３３で撮影した高齢者の画像やマイク３６２で集音した高齢者の音声が近親者側のテレビ電話のディスプレイ４５やスピーカ４６１で表示できるようにしている。
近親者は、テレビ電話を通じて高齢者と直接コミュニケーションを取る「直接対応モード」と、ロボット３７を介して高齢者に近親者の意図を伝える「間接対話モード」と、ロボット３７が自主的に高齢者と対話するように求める「ロボット対応モード」とを選択することができる。
このシステムに本発明の装置を導入し、近親者やロボット３７と対話する高齢者の脈拍数を継続的に計測して、その変動を調べることは、高齢者の感情の変化を知る上で有効である。感情に変化があると、脈拍に変化が現れることは良く知られている。
ただ、その際の感情が快いものなのか、不快なものなのかは分からない。
そこで、高齢者の顔の画像から高齢者の表情を認識する表情認識手段と組み合わせることで、脈拍変動があり、かつ、快を表す表情のときには、対話の話題を好み、ポジティブに反応していると判断することができる。また、脈拍数の変動がない場合は、感情状況に問題がある可能性がある。このように、対話時の脈拍数変動の大小・有無が認知症の程度を知る指標の一つになる。
ただ、その際の感情が快いものなのか、不快なものなのかは分からない。
そこで、高齢者の顔の画像から高齢者の表情を認識する表情認識手段と組み合わせることで、脈拍変動があり、かつ、快を表す表情のときには、対話の話題を好み、ポジティブに反応していると判断することができる。また、脈拍数の変動がない場合は、感情状況に問題がある可能性がある。このように、対話時の脈拍数変動の大小・有無が認知症の程度を知る指標の一つになる。
本発明の計測装置及び計測方法は、被験者の顔が動いたり、被験者に当たる照明が変化したりしても、被験者のビデオ画像から被験者の脈拍数や脈波信号等を的確に計測することが可能であり、医療施設や介護施設、トレーニング施設等、幅広い分野で利用することができる。
１ 撮像装置
２ コンピュータ
３ 表示部
４ 被験者
１０ 演算部
１１ サンプル選択部
１２ サンプル輝度信号取得部
１３ サンプル脈波信号抽出部
１４ 信頼度判定部
１５ サンプルデータ算出部
１６ サンプルデータグループ化部
１７ 測定結果決定部
２０ 画像記録部
３０ 表示制御部
４１ 興味領域（ＲＯＩ）
２ コンピュータ
３ 表示部
４ 被験者
１０ 演算部
１１ サンプル選択部
１２ サンプル輝度信号取得部
１３ サンプル脈波信号抽出部
１４ 信頼度判定部
１５ サンプルデータ算出部
１６ サンプルデータグループ化部
１７ 測定結果決定部
２０ 画像記録部
３０ 表示制御部
４１ 興味領域（ＲＯＩ）
Claims (21)
- 被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、
前記サンプルの輝度信号の対が線形ＢＳＳ（ブラインド信号源分離）の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形ＢＳＳ問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出部と、
前記サンプル脈波信号抽出部で抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定部と、
前記信頼度判定部が信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、
前記サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定部と、
を備えることを特徴とする計測装置。 - 請求項１に記載の計測装置であって、前記小領域は四角形から成り、該四角形の一辺が、顔の横幅の画素数の約１０〜２０％の画素数の大きさを有することを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記測定結果決定部は、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記測定結果決定部は、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記サンプル選択部は、顔の中で有効なサンプルが得られる有効領域を示す地図を有し、前記有効領域の中から前記サンプルを選択することを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記サンプル輝度信号取得部は、前記小領域を構成する複数の画素の画素値を平均して前記サンプルの輝度信号を得ることを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記サンプル脈波信号抽出部は、ＩＣＡ（独立成分分析）の手法を用いて前記線形ＢＳＳ問題を解くことを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記サンプル脈波信号抽出部は、前記線形ＢＳＳ問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記信頼度判定部は、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定することを特徴とする計測装置。
- 請求項９に記載の計測装置であって、前記サンプルデータ算出部は、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を１加算することを特徴とする計測装置。
- 請求項１１に記載の計測装置であって、前記測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測装置。
- 請求項１に記載の計測装置であって、前記サンプルデータグループ化部は、前記サンプルデータ算出部が算出した各サンプルの脈拍数を前記被験者の他の周期的変動を示す値と関連付けて分類し、前記測定結果決定部は、最大クラスターのデータを平均して前記被験者の心拍に連動する周期的変動の計測結果を決定することを特徴とする計測装置。
- 請求項１から１３のいずれかに記載の計測装置であって、さらに、前記被験者の顔の画像から該被験者の表情を認識する表情認識手段を備えることを特徴とする計測装置。
- 被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、
前記サンプルの輝度信号の対が線形ＢＳＳ（ブラインド信号源分離）の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形ＢＳＳ問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出ステップと、
前記サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、
前記サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定ステップと、
を備えることを特徴とする計測方法。 - 請求項１５に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別の数が最大の前記サンプルの脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。
- 請求項１５に記載の計測方法であって、前記測定結果決定ステップでは、前記グループ別のサンプルの脈拍数の数が最大となった前記サンプルの前記脈波信号を平均して前記被験者の脈波信号として決定することを特徴とする計測方法。
- 請求項１５に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、ＩＣＡ（独立成分分析）の手法を用いて前記線形ＢＳＳ問題を解くことを特徴とする計測方法。
- 請求項１５に記載の計測方法であって、前記サンプル脈波信号抽出ステップでは、前記線形ＢＳＳ問題を解いて得た二つの前記信号の各々と原信号との平均的ユークリッド距離を算出し、前記平均的ユークリッド距離が遠い方の信号を前記ヘモグロビンが寄与する信号として決定することを特徴とする計測方法。
- 請求項１５に記載の計測方法であって、前記信頼度判定ステップでは、前記サンプルの脈波信号のパワースペクトル密度を算出し、最大ピークのパワーと２番目の大きさの第２ピークのパワーとの比を閾値と比較して前記脈波信号の信頼度を判定し、前記サンプルデータ算出ステップでは、前記最大ピークをもたらす周波数から前記サンプルの脈拍数を算出することを特徴とする計測方法。
- 請求項１５に記載の計測方法であって、前記サンプルデータグループ化ステップでは、前記サンプルデータ算出ステップで前記サンプルの脈拍数を算出するごとに、該脈拍数に対応するヒストグラムの階級の度数を１加算し、前記測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を前記被験者の脈拍数として決定することを特徴とする計測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015228248A JP6521845B2 (ja) | 2015-11-22 | 2015-11-22 | 心拍に連動する周期的変動の計測装置及び計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015228248A JP6521845B2 (ja) | 2015-11-22 | 2015-11-22 | 心拍に連動する周期的変動の計測装置及び計測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017093760A true JP2017093760A (ja) | 2017-06-01 |
| JP6521845B2 JP6521845B2 (ja) | 2019-05-29 |
Family
ID=58803148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015228248A Active JP6521845B2 (ja) | 2015-11-22 | 2015-11-22 | 心拍に連動する周期的変動の計測装置及び計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6521845B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019036804A (ja) * | 2017-08-10 | 2019-03-07 | 本田技研工業株式会社 | 天井地図作成方法、天井地図作成装置及び天井地図作成プログラム |
| WO2019093132A1 (ja) * | 2017-11-07 | 2019-05-16 | 太陽誘電株式会社 | 信号検出システム |
| WO2019102966A1 (ja) * | 2017-11-22 | 2019-05-31 | 日本電気株式会社 | 脈波検出装置、脈波検出方法、及び記憶媒体 |
| JP2019162253A (ja) * | 2018-03-19 | 2019-09-26 | 株式会社リコー | 生体情報処理装置及び生体情報処理システム |
| WO2019186955A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム |
| JP2019170407A (ja) * | 2018-03-26 | 2019-10-10 | 国立大学法人東北大学 | 信号制御装置、信号制御プログラム、及び信号制御方法 |
| WO2020203911A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈拍数検出装置、及び脈拍数検出プログラム |
| JP2020162870A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈拍数検出装置、及び脈拍数検出プログラム |
| CN112890792A (zh) * | 2020-11-25 | 2021-06-04 | 合肥工业大学 | 一种基于网络摄像头的云计算心血管健康监护系统及方法 |
| JP2021517843A (ja) * | 2018-04-17 | 2021-07-29 | 日本電気株式会社 | 脈拍推定装置、脈拍推定方法、及びプログラム |
| JP2022138336A (ja) * | 2021-03-10 | 2022-09-26 | 合同会社画像技術研究所 | 画像処理方法、画像処理プログラム、及び画像処理装置。 |
| CN116269291A (zh) * | 2023-05-26 | 2023-06-23 | 深圳市魔样科技有限公司 | 基于人工智能的智能手表监测系统及方法 |
| DE112021007383T5 (de) | 2021-03-26 | 2024-01-04 | Mitsubishi Electric Corporation | Pulswellenerkennungsvorrichtung undpulswellenerkennungsverfahren |
| DE112021007389T5 (de) | 2021-03-26 | 2024-01-04 | Mitsubishi Electric Corporation | Pulswellenerkennungsvorrichtung und Pulswellenerkennungsverfahren |
| DE112022006677T5 (de) | 2022-05-06 | 2025-02-20 | Mitsubishi Electric Corporation | Pulswellen-Einschätzungsvorrichtung und Pulswellen-Einschätzungsverfahren |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012239661A (ja) * | 2011-05-20 | 2012-12-10 | Fujitsu Ltd | 心拍数・呼吸数検出装置，方法およびプログラム |
| WO2014002276A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士通株式会社 | バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム |
| JP2014036801A (ja) * | 2012-08-20 | 2014-02-27 | Olympus Corp | 生体状態観察システム、生体状態観察方法、およびプログラム |
| JP2014198202A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
| US8902045B1 (en) * | 2011-12-23 | 2014-12-02 | Emc Corporation | Controlling access to a computerized resource based on authentication using pulse data |
| JP2015100432A (ja) * | 2013-11-22 | 2015-06-04 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 心拍数測定装置及び心拍数測定方法 |
| WO2015098977A1 (ja) * | 2013-12-25 | 2015-07-02 | 旭化成株式会社 | 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム |
| JP2015146847A (ja) * | 2014-02-05 | 2015-08-20 | キヤノン株式会社 | 身体情報取得装置、方法及びプログラム |
-
2015
- 2015-11-22 JP JP2015228248A patent/JP6521845B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012239661A (ja) * | 2011-05-20 | 2012-12-10 | Fujitsu Ltd | 心拍数・呼吸数検出装置，方法およびプログラム |
| US8902045B1 (en) * | 2011-12-23 | 2014-12-02 | Emc Corporation | Controlling access to a computerized resource based on authentication using pulse data |
| WO2014002276A1 (ja) * | 2012-06-29 | 2014-01-03 | 富士通株式会社 | バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム |
| JP2014036801A (ja) * | 2012-08-20 | 2014-02-27 | Olympus Corp | 生体状態観察システム、生体状態観察方法、およびプログラム |
| JP2014198202A (ja) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
| JP2015100432A (ja) * | 2013-11-22 | 2015-06-04 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 心拍数測定装置及び心拍数測定方法 |
| WO2015098977A1 (ja) * | 2013-12-25 | 2015-07-02 | 旭化成株式会社 | 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム |
| JP2015146847A (ja) * | 2014-02-05 | 2015-08-20 | キヤノン株式会社 | 身体情報取得装置、方法及びプログラム |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019036804A (ja) * | 2017-08-10 | 2019-03-07 | 本田技研工業株式会社 | 天井地図作成方法、天井地図作成装置及び天井地図作成プログラム |
| WO2019093132A1 (ja) * | 2017-11-07 | 2019-05-16 | 太陽誘電株式会社 | 信号検出システム |
| JP2019084069A (ja) * | 2017-11-07 | 2019-06-06 | 太陽誘電株式会社 | 信号検出システム |
| JPWO2019102966A1 (ja) * | 2017-11-22 | 2020-11-19 | 日本電気株式会社 | 脈波検出装置、脈波検出方法、及びプログラム |
| WO2019102966A1 (ja) * | 2017-11-22 | 2019-05-31 | 日本電気株式会社 | 脈波検出装置、脈波検出方法、及び記憶媒体 |
| WO2019102535A1 (ja) * | 2017-11-22 | 2019-05-31 | 日本電気株式会社 | 脈波検出装置、脈波検出方法、及び記憶媒体 |
| JP2019162253A (ja) * | 2018-03-19 | 2019-09-26 | 株式会社リコー | 生体情報処理装置及び生体情報処理システム |
| US11437123B2 (en) | 2018-03-19 | 2022-09-06 | Ricoh Company, Ltd. | Biological information processing apparatus and biological information processing system |
| JP7091747B2 (ja) | 2018-03-19 | 2022-06-28 | 株式会社リコー | 生体情報処理装置及び生体情報処理システム |
| JP2019170407A (ja) * | 2018-03-26 | 2019-10-10 | 国立大学法人東北大学 | 信号制御装置、信号制御プログラム、及び信号制御方法 |
| WO2019186955A1 (ja) * | 2018-03-29 | 2019-10-03 | 日本電気株式会社 | 生体情報推定装置、生体情報推定方法、及び生体情報推定プログラム |
| JP2021517843A (ja) * | 2018-04-17 | 2021-07-29 | 日本電気株式会社 | 脈拍推定装置、脈拍推定方法、及びプログラム |
| JP7099542B2 (ja) | 2018-04-17 | 2022-07-12 | 日本電気株式会社 | 脈拍推定装置、脈拍推定方法、及びプログラム |
| JP7209947B2 (ja) | 2019-03-29 | 2023-01-23 | 株式会社アイシン | 脈拍数検出装置、及び脈拍数検出プログラム |
| WO2020203912A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈拍数検出装置、及び脈拍数検出プログラム |
| JP2020162869A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈拍数検出装置、及び脈拍数検出プログラム |
| US12156722B2 (en) | 2019-03-29 | 2024-12-03 | Aisin Corporation | Pulse rate detection device and pulse rate detection program |
| WO2020203911A1 (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈拍数検出装置、及び脈拍数検出プログラム |
| US12127822B2 (en) | 2019-03-29 | 2024-10-29 | Aisin Corporation | Pulse rate detection device and pulse rate detection program |
| JP2020162870A (ja) * | 2019-03-29 | 2020-10-08 | 株式会社エクォス・リサーチ | 脈拍数検出装置、及び脈拍数検出プログラム |
| JP7174358B2 (ja) | 2019-03-29 | 2022-11-17 | 株式会社アイシン | 脈拍数検出装置、及び脈拍数検出プログラム |
| CN112890792A (zh) * | 2020-11-25 | 2021-06-04 | 合肥工业大学 | 一种基于网络摄像头的云计算心血管健康监护系统及方法 |
| JP2022138336A (ja) * | 2021-03-10 | 2022-09-26 | 合同会社画像技術研究所 | 画像処理方法、画像処理プログラム、及び画像処理装置。 |
| DE112021007383T5 (de) | 2021-03-26 | 2024-01-04 | Mitsubishi Electric Corporation | Pulswellenerkennungsvorrichtung undpulswellenerkennungsverfahren |
| DE112021007389T5 (de) | 2021-03-26 | 2024-01-04 | Mitsubishi Electric Corporation | Pulswellenerkennungsvorrichtung und Pulswellenerkennungsverfahren |
| DE112022006677T5 (de) | 2022-05-06 | 2025-02-20 | Mitsubishi Electric Corporation | Pulswellen-Einschätzungsvorrichtung und Pulswellen-Einschätzungsverfahren |
| CN116269291B (zh) * | 2023-05-26 | 2023-07-25 | 深圳市魔样科技有限公司 | 基于人工智能的智能手表监测系统及方法 |
| CN116269291A (zh) * | 2023-05-26 | 2023-06-23 | 深圳市魔样科技有限公司 | 基于人工智能的智能手表监测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6521845B2 (ja) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6521845B2 (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
| Hsu et al. | Deep learning with time-frequency representation for pulse estimation from facial videos | |
| Tasli et al. | Remote PPG based vital sign measurement using adaptive facial regions | |
| Alghoul et al. | Heart rate variability extraction from videos signals: ICA vs. EVM comparison | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| Guo et al. | Physiological parameter monitoring of drivers based on video data and independent vector analysis | |
| US20210186346A1 (en) | Information processing device, non-transitory computer-readable medium, and information processing method | |
| Przybyło | A deep learning approach for remote heart rate estimation | |
| Gibert et al. | Face detection method based on photoplethysmography | |
| Rumiński | Reliability of pulse measurements in videoplethysmography | |
| Dosso et al. | Eulerian magnification of multi-modal RGB-D video for heart rate estimation | |
| EP4312721B1 (en) | Method and system for heart rate extraction from rgb images | |
| El Boussaki et al. | Non-contact respiratory rate monitoring based on the principal component analysis | |
| Karmuse et al. | A robust rppg approach for continuous heart rate measurement based on face | |
| Slapnicar et al. | Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities | |
| Li et al. | Enhancement of remote PPG and heart rate estimation with optimal signal quality index | |
| Ibrahim et al. | Non-contact heart rate monitoring analysis from various distances with different face regions | |
| Wiede et al. | Signal fusion based on intensity and motion variations for remote heart rate determination | |
| Goudarz et al. | Introducing a new feature extraction method for non-contact blood pressure estimating through iPPG signals extracted using GR method from video images of different facial regions | |
| Rawat et al. | Real-Time Heartbeat Sensing with Face Video using a Webcam and OpenCV | |
| Vatanparvar et al. | Enhanced contactless heart rate monitoring using camera with motion artifact removal during physical activities | |
| Sikdar et al. | Contactless vision-based pulse rate detection of infants under neurological examinations | |
| Sacramento et al. | A real-time software to the acquisition of heart rate and photoplethysmography signal using two region of interest simultaneously via webcam | |
| AV et al. | Non-contact heart rate monitoring using machine learning | |
| Malini | Non-Contact Heart Rate Monitoring System using Deep Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171225 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180702 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6521845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |