JP2014200389A - 心拍測定プログラム、心拍測定方法及び心拍測定装置 - Google Patents

Abstract

【課題】心拍の測定時間を短縮すること。【解決手段】心拍測定装置１０は、生体が撮影された画像を取得し、画像に含まれる生体領域を抽出し、生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出する。さらに、心拍測定装置１０は、波形から得られるピークごとに当該ピークに対応するパルスを出力し、パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択する。さらに、心拍測定装置１０は、パルス組ごとに、パルス組の周期の整数倍に対応する時点もしくは時点の近傍で前記パルスの出力が存在する第１の回数と、時点もしくは時点の近傍でパルスの出力が存在しない第２の回数とを計数する。さらに、心拍測定装置１０は、各パルス組の間で第１の回数および第２の回数の差を比較することによってパルス組を抽出し、抽出されたパルス組の周期から心拍周期を測定する。【選択図】図１

Description

本発明は、心拍測定プログラム、心拍測定方法及び心拍測定装置に関する。

血液の体積の変動、いわゆる脈波を検出する技術が知られている。例えば、脈波の一態様である心拍数を検出する技術の一例としては、心電計の電極を生体に装着することによって計測された心電波形のピーク、例えばＰ波やＲ波などを用いて心拍数を検出する心電図法が挙げられる。他の一例としては、指や耳たぶなどの末梢血管に赤外線を照射し、その反射光が血流および吸光特性によって周期的に変動する光学的な変化から心拍とほぼ等価な脈拍を検出する光電脈波法が挙げられる。

これら心電図法や光電脈波法を用いる場合には、電極を生体に装着したり、あるいは生体に感光面を密着させたりするので、計測器具が生体に接触しないと検出が困難である上、計測器具を装着した状態で日常を生活するのは煩わしいという問題がある。

このことから、生体に計測器具が接触しない状態で心拍を測定するために、被験者が撮影された画像を用いた心拍測定方法が提案されている。かかる心拍測定方法では、カメラによって被験者の顔が撮影された画像の信号成分に対し、独立成分分析（ＩＣＡ：Independent Component Analysis）を適用した上で信号を周波数成分へ変換して心拍数を測定する。かかる独立成分分析の適用によって信号対雑音比の改善を目指す。

"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation"，OPTICS EXPRESS Vol.18，No.10，2010

しかしながら、上記の技術では、心拍の測定時間の短縮に限界がある。

すなわち、上記の心拍測定方法では、心拍の測定にＤＦＴ（Discrete Fourier Transform）、いわゆる離散フーリエ変換が適用される。ところが、ＤＦＴ等の周波数解析では、一定の時間にわたって測定された信号が入力されなければ、目的とする精度を達成することは困難である。したがって、上記の心拍測定方法では、一定の時間にわたって信号が採取されるまでＤＦＴを適用することはできず、心拍の測定結果を得るまでの所要時間を短縮するには限界がある。

１つの側面では、心拍の測定時間を短縮できる心拍測定プログラム、心拍測定方法及び心拍測定装置を提供することを目的とする。

一態様の心拍測定プログラムは、コンピュータに、生体が撮影された画像を取得し、前記画像に含まれる生体領域を抽出し、前記生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出する処理を実行させる。さらに、前記コンピュータに、前記波形から得られるピークごとに当該ピークに対応するパルスを出力し、前記パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択する処理を実行させる。さらに、前記コンピュータに、前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍で前記パルスの出力が存在する第１の回数と、前記時点もしくは前記時点の近傍で前記パルスの出力が存在しない第２の回数とを計数する処理を実行させる。さらに、前記コンピュータに、各パルス組の間で前記第１の回数および前記第２の回数の差を比較することによってパルス組を抽出し、抽出されたパルス組の周期から心拍周期を測定する処理を実行させる。

一実施形態によれば、心拍の測定時間を短縮できる。

図１は、実施例１に係る心拍測定装置の機能的構成を示すブロック図である。 図２は、顔画像の一例を示す図である。 図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。 図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。 図５は、演算後のスペクトルの一例を示す図である。 図６は、図１に示した波形検出部の機能的構成を示すブロック図である。 図７は、パルス組の一例を示す図である。 図８は、パルス組の一例を示す図である。 図９は、パルス組の一例を示す図である。 図１０は、パルス組の他の一例を示す図である。 図１１は、パルス組の他の一例を示す図である。 図１２は、実施例１に係る波形検出処理の手順を示すフローチャートである。 図１３は、実施例１に係る心拍測定処理の手順を示すフローチャートである。 図１４は、実施例１に係る心拍測定処理の手順を示すフローチャートである。 図１５は、実施例１及び実施例２に係る心拍測定プログラムを実行するコンピュータの一例について説明するための図である。

以下に添付図面を参照して本願に係る心拍測定プログラム、心拍測定方法及び心拍測定装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［心拍測定装置の構成］
まず、本実施例に係る心拍測定装置の機能的構成について説明する。図１は、実施例１に係る心拍測定装置の機能的構成を示すブロック図である。図１に示す心拍測定装置１０は、太陽光や室内光などの一般の環境光の下で被験者に計測器具を接触させずに、被験者の生体が撮影された画像を用いて被験者の心拍、すなわち心臓の拍動に伴う血液の体積の変動を測定する心拍測定処理を実行するものである。

かかる心拍測定装置１０は、一態様として、上記の心拍測定処理がパッケージソフトウェアやオンラインソフトウェアとして提供される心拍測定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、移動体通信網に接続する能力を持たないデジタルカメラ、タブレット端末やスレート端末を含む携帯端末装置に上記の心拍測定プログラムをインストールさせる。これによって、携帯端末装置を心拍測定装置１０として機能させることができる。なお、ここでは、心拍測定装置１０の実装例として携帯端末装置を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に心拍測定プログラムをインストールさせることもできる。

図１に示すように、心拍測定装置１０は、カメラ１１と、タッチパネル１２と、取得部１３と、領域抽出部１４と、波形検出部１５と、パルス出力部１６ａと、パルス列抽出部１６ｂと、組選択部１６ｃとを有する。さらに、心拍測定装置１０は、第１の計数部１７ａと、第２の計数部１７ｂと、組抽出部１８と、心拍測定部１９とを有する。

かかる心拍測定装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、心拍測定装置１０が据置き端末として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスをさらに有することとしてもよい。また、心拍測定装置１０がタブレット端末やスレート端末として実装される場合には、加速度センサや角速度センサをさらに有することとしてもよい。また、心拍測定装置１０が移動体通信端末として実装される場合には、アンテナ、移動体通信網に接続する無線通信部、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。

カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ１１には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよい。また、他の実装例としては、インカメラやアウトカメラのように、カメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、心拍測定装置１０がカメラ１１を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも心拍測定装置１０がカメラ１１を有さずともよい。

タッチパネル１２は、表示可能かつ入力可能なデバイスである。一態様としては、タッチパネル１２は、心拍測定装置１０上で実行される心拍測定プログラムを始め、ＯＳ（Operating System）やアプリケーションプログラムによって出力される画像を表示する。他の一態様としては、タッチパネル１２は、画面のスクリーン上でなされるタップ、フリック、スイープ、ピンチインやピンチアウトなどのタッチ操作を受け付ける。なお、ここでは、心拍測定装置１０に対する指示入力を行う入力デバイスとしてタッチパネル１２を例示したが、これに限らず、タッチパネル１２との間で相補的な入力を実現する物理キーなどをさらに有していてもよい。

ここで、上記の心拍測定プログラムが起動された場合には、タッチパネル１２による画像表示や図示しないスピーカからの音声出力などを通じて、脈波を検出し易い被験者の画像がカメラ１１によって撮像されるように画像の撮影操作を案内することができる。例えば、心拍測定プログラムは、タッチパネル１２を介して起動されると、カメラ１１を起動する。これを受けて、カメラ１１は、カメラ１１の撮影範囲に収容された被写体の撮影を開始する。このとき、被験者の顔が映る画像を撮影させる場合には、心拍測定プログラムは、カメラ１１が撮影する画像を図示しない表示デバイスに表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、心拍測定プログラムは、カメラ１１によって被験者の顔が撮影された画像を取得部１３へ保存する。また、上記のガイダンスは、必ずしも実行されずともよく、被験者がスクリーンに表示された画面、例えばオペレーティングシステムやアプリケーションプログラムが出力する画像や動画などを閲覧している最中に当該被験者の顔を撮影することもできる。これによって、被験者に撮影を意識させずにバックグラウンドで撮影させることもできる。なお、以下では、顔が映った画像のことを「顔画像」と記載する場合がある。

取得部１３は、画像を取得する処理部である。一態様としては、取得部１３は、カメラ１１によって撮像された顔画像を取得する。他の一態様としては、取得部１３は、顔画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる一態様としては、取得部１３は、外部装置からネットワークを介して受信することによって顔画像を取得することもできる。なお、取得部１３は、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。

領域抽出部１４は、取得部１３によって取得された画像から生体領域を抽出する処理部である。一態様としては、顔画像から所定の顔パーツを基準とする生体領域を抽出する。例えば、領域抽出部１４は、顔画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔の器官、いわゆる顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、領域抽出部１４は、被験者の鼻を中心とし、中心から所定の範囲に含まれる生体領域を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ生体領域の画像が脈波の検出に使用する画像として抽出される。その後、領域抽出部１４は、原画像から抽出した生体領域の画像を波形検出部１５へ出力する。

図２は、顔画像の一例を示す図である。図２には、顔画像に映る被験者の眼、鼻及び口の一部または全部を含む領域が９つに分割されたブロックが図示されている。図２に示すブロックのうち上段の左及び右のブロックには、被験者の眼が映っている。これらのブロックの画像を検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、図２に示すブロックのうち下段の３つのブロックには、被験者の口が映っている。これらのブロックの画像を検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。一方、図２に示す中段の真ん中のブロック、すなわち斜線の塗りつぶしが図示されたブロックは、眼や口が映るブロックから隔てられており、他のブロックに比べてノイズとなる成分が映っている可能性が低いので、良好な検出結果を期待できる。これらのことから、領域抽出部１４は、原画像から図２に示す中段の真ん中のブロックの画像を生体領域の画像として抽出する。尚、抽出するブロックは中段の真ん中のブロックに限定するものでは無く、中段の左右も含めた３個のブロックとしても良い。

上記の生体領域の画像を抽出後に、領域抽出部１４は、生体領域に含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、領域抽出部１４は、生体領域に含まれる各画素が持つ画素値を波長成分ごとに平均する。この他、平均値以外にも、中央値や最頻値を計算することとしてもよく、また、平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。これによって、生体領域に含まれる各画素が持つ画素値の平均値が当該生体領域を代表する代表値として波長成分ごとに算出される。

波形検出部１５は、脈波の検出対象とする生体領域に含まれる各画素の波長成分別の代表値の信号から、脈波信号の波形を検出する処理部である。一態様としては、波形検出部１５は、下記の波形検出処理を実行することによって、生体領域に含まれる各画素の波長成分別の代表値の信号から各波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された脈波信号の波形を検出する。例えば、波形検出部１５は、画像に含まれる３つの波長成分、すなわちＲ成分、Ｇ成分およびＢ成分のうち血液の吸光特定が異なるＲ成分とＧ成分の２つの波長成分の代表値の時系列データを用いて、波形を検出する。

これを具体的に説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性が高いＧ成分（５２５ｎｍ程度）、吸光特性が低いＲ成分（７００ｎｍ程度）で脈波を検出する。心拍は、０．５Ｈｚ〜４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ〜２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、Ｇ信号およびＲ信号の間で０．５Ｈｚ〜４Ｈｚ以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ〜４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。

例えば、Ｇ成分及びＲ成分は、下記の式（１）および下記の式（２）によって表すことができる。下記の式（１）における「Ｇｓ」は、Ｇ信号の脈波成分を指し、「Ｇｎ」は、Ｇ信号のノイズ成分を指し、また、下記の式（２）における「Ｒｓ」は、Ｒ信号の脈波成分を指し、「Ｒｎ」は、Ｒ信号のノイズ成分を指す。また、ノイズ成分は、Ｇ成分およびＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の式（３）によって表される。

Ｇａ＝Ｇｓ＋Ｇｎ・・・（１）
Ｒａ＝Ｒｓ＋Ｒｎ・・・（２）
ｋ＝Ｇｎ／Ｒｎ・・・（３）

感度差を補正してＧ成分からＲ成分を減算すると、脈波成分Ｓは、下記の式（４）となる。これを上記の式（１）及び上記の式（２）を用いて、Ｇｓ、Ｇｎ、Ｒｓ及びＲｎによって表される式へ変形すると、下記の式（５）となり、さらに、上記の式（３）を用いて、ｋを消し、式を整理すると下記の式（６）が導出される。

Ｓ＝Ｇａ−ｋＲａ・・・（４）
Ｓ＝Ｇｓ＋Ｇｎ−ｋ（Ｒｓ＋Ｒｎ）・・・（５）
Ｓ＝Ｇｓ−（Ｇｎ／Ｒｎ）Ｒｓ・・・（６）

ここで、Ｇ信号およびＲ信号は、吸光特性が異なり、Ｇｓ＞（Ｇｎ／Ｒｎ）Ｒｓである。したがって、上記の式（６）によってノイズが除去された脈波成分Ｓを算出することができる。

図３は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。図３に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図３に示すように、Ｇ成分およびＲ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３０ｂｐｍ〜２４０ｂｐｍの範囲外、特に３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図３に示すように、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度をＧｎ及びＲｎとして抽出できる。これらＧｎ及びＲｎによって感度差の補正係数ｋを導出できる。

図４は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。図４の例では、説明の便宜上、補正係数の絶対値を乗算した結果が図示されている。図４に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図４に示すように、Ｇ成分及びＲ成分の各信号のスペクトルに補正係数ｋが乗算された場合には、Ｇ成分およびＲ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域４００は、Ｇ成分およびＲ成分の各成分の間でスペクトルの信号強度が揃っていない。

図５は、演算後のスペクトルの一例を示す図である。図５では、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図５に示すように、Ｇ信号のスペクトルから補正係数ｋの乗算後のＲ信号のスペクトルが差し引かれた場合には、Ｇ成分およびＲ成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このようにしてノイズ成分だけが除去された脈波信号の波形を検出することができる。

続いて、波形検出部１５の機能的構成についてさらに具体的に説明する。図６は、図１に示した波形検出部１５の機能的構成を示すブロック図である。図６に示すように、波形検出部１５は、ＢＰＦ（Band-Pass Filter）１５２Ｒ及び１５２Ｇと、抽出部１５３Ｒ及び１５３Ｇと、ＬＰＦ（Low-Pass Filter）１５４Ｒ及び１５４Ｇと、算出部１５５と、ＢＰＦ１５６Ｒ及び１５６Ｇと、乗算部１５７と、演算部１５８とを有する。なお、図３〜図５の例では、周波数空間にて脈波を検出する例を説明したが、図６では、周波数成分への変換にかかる時間を削減する観点から、時系列空間にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。

例えば、領域抽出部１４から波形検出部１５には、生体領域に含まれる各画素が持つＲ成分の画素値の代表値を信号値とするＲ信号の時系列データが入力されるとともに、生体領域に含まれる各画素が持つＧ成分の画素値の代表値を信号値とするＧ信号の時系列データが入力される。このうち、生体領域のＲ信号は、波形検出部１５内のＢＰＦ１５２Ｒ及びＢＰＦ１５６Ｒへ入力されるとともに、生体領域のＧ信号は、波形検出部１５内のＢＰＦ１５２Ｇ及びＢＰＦ１５６Ｇへ入力される。

ＢＰＦ１５２Ｒ、ＢＰＦ１５２Ｇ、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ１５２Ｒ、ＢＰＦ１５２Ｇ、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。

これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ１５２Ｒ及びＢＰＦ１５２Ｇは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。

かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ〜１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、０．０５Ｈｚ以上１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯に特定周波数帯を絞ることもできる。

ここでは、一例として、ＢＰＦ１５２Ｒ及びＢＰＦ１５２Ｇが特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。

一方、ＢＰＦ１５６Ｒ及びＢＰＦ１５６Ｇは、脈波が採り得る周波数帯、例えば０．５Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。

抽出部１５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１５３Ｒは、Ｒ成分の特定周波数帯の信号成分に絶対値演算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部１５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１５３Ｇは、Ｇ成分の特定周波数帯の信号成分に絶対値演算処処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。

ＬＰＦ１５４Ｒ及びＬＰＦ１５４Ｇは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。例えば、０．１Ｈｚ以下の周波数帯の信号成分を通過させる。これらＬＰＦ１５４Ｒ及びＬＰＦ１５４Ｇは、ＬＰＦ１５４Ｒへ入力される信号がＲ信号であり、ＬＰＦ１５４Ｇへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´ｎ及びＧ´ｎが得られる。

算出部１５５は、ＬＰＦ１５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ１５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行する。これによって、感度差の補正係数ｋを算出する。

乗算部１５７は、ＢＰＦ１５６Ｒによって出力されたＲ信号の脈波周波数帯の信号成分に算出部１５５によって算出された補正係数ｋを乗算する。

演算部１５８は、ＢＰＦ１５６Ｇによって出力されたＧ信号の脈波周波数帯の信号成分から、乗算部１５７によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分を差し引く演算「Ｇｓ−ｋ＊Ｒｓ」を実行する。このようにして得られた信号の時系列データは、顔の脈波信号の波形に相当し、そのサンプリング周波数は画像が撮像されるフレーム周波数に対応する。以下では、脈波信号の波形のことを「脈波波形」と記載する場合がある。

パルス出力部１６ａは、脈波波形から得られるピークごとに当該ピークに対応するパルスを出力する処理部である。一態様としては、パルス出力部１６ａは、波形検出部１５によって脈波波形の振幅値が出力される度に、当該振幅値のサンプリング時間ｔよりも１サンプリング前のサンプリング時間ｔ−１の脈波波形の振幅値が極大値であるか否かを判定する。このとき、パルス出力部１６ａは、サンプリング時間ｔ−１の脈波波形の振幅値が極大点、すなわち脈波波形のピークである場合に、パルスをパルス列抽出部１６ｂへ出力する。

例えば、最新のサンプリング時間ｔの振幅値をｖ（ｔ）、ｖ（ｔ）の１つ前に出力されたサンプリング時間ｔ−１の振幅値をｖ（ｔ−１）、さらに、ｖ（ｔ）の２つ前に出力されたサンプリング時間ｔ−２の振幅値をｖ（ｔ−２）とする。かかる前提の下、パルス出力部１６ａは、最新のサンプリング時間ｔに振幅値ｖ（ｔ）が出力された場合に、サンプリング時間ｔ−１の振幅値ｖ（ｔ−１）が下記の条件式（７）を満たすか否か、すなわち振幅値ｖ（ｔ−１）が極大点であるか否かを判定する。このとき、サンプリング時間ｔ−１の振幅値ｖ（ｔ−１）が下記の条件式（７）を満たす場合には、サンプリング時間ｔ−１の前後で振幅値が増加の後に減少に転じたことが判明する。したがって、振幅値ｖ（ｔ−１）を極大値、サンプリング時間ｔ−１を極大点とみなすことができる。この場合には、パルス出力部１６ａは、パルスをパルス列抽出部１６ｂへ出力する。

ｖ（ｔ−２）≦ｖ（ｔ−１） ａｎｄ ｖ（ｔ−１）＞ｖ（ｔ）・・・（７）

パルス列抽出部１６ｂは、パルス出力部１６ａによって出力されるパルスが連なるパルス列から心拍の測定に用いるパルス列を抽出する処理部である。一態様としては、パルス列抽出部１６ｂは、上記のパルス列のうち、タッチパネル１２や図示しない物理キーに対する操作がなされた期間に出力があったパルスを除外して、心拍の測定に用いるパルス列を抽出する。

これを具体的に説明すると、パルス列抽出部１６ｂは、上記のパルス列の抽出のバックグラウンドで、タッチパネル１２や物理キーの操作の開始および終了を監視する操作期間の監視を実行する。例えば、パルス列抽出部１６ｂは、タッチパネル１２または物理キーの操作が開始された場合に、当該操作が開始された時刻を操作開始時刻として内部メモリに保存する。その後、パルス列抽出部１６ｂは、操作が開始されてから所定の期間、例えば５秒間にわたって操作がなされていない場合に、操作が終了されたと判断する。この場合には、パルス列抽出部１６ｂは、当該操作が終了された時刻を操作終了時刻として内部メモリに保存する。以下では、操作開始時刻および操作終了時刻によって定まる期間のことを「操作期間」と記載する場合がある。

さらに、上記の操作期間の監視とともに、パルス列抽出部１６ｂは、パルス出力部１６ａによってパルスが出力される度に、当該パルスが出力されたサンプリング時間を図示しない内部メモリに保存する処理もバックグラウンドで実行する。

このように、パルス列抽出部１６ｂは、操作期間の監視及びパルスの保存をバックグラウンドで実行しながら、波形検出部１５によって脈波波形の振幅値が出力される度に、操作期間中に出力されたパルスを除外して、心拍の測定に用いるパルス列を抽出する。例えば、パルス列抽出部１６ｂは、内部メモリに保存されたサンプリング時間のうち、同内部メモリに保存された操作期間に含まれるサンプリング時間を除外し、残ったサンプリング時間を抽出する。

これによって、パルス出力部１６ａによって出力されるパルスが連なるパルス列のうち操作期間に出力がなされたパルスが除去される結果、操作期間中には出力がなされなかったパルス列に絞って抽出がなされることになる。かかるパルス列に絞って抽出がなされた場合には、例えば、タッチパネル１２や物理キーの操作がなされることによって心拍測定装置１０が揺動した状態で撮像された顔画像に由来するパルスを心拍の測定に用いる事態を抑制できる。

さらに、パルス列抽出部１６ｂは、操作期間に含まれない時間帯であっても当該時間帯が所定の区間長、例えば標準の人物の心拍数が６０ｂｐｍ以上であると仮定したとき２拍分のパルスが採取できる２秒未満である場合には、当該時間帯に含まれるサンプリング時間のパルスは抽出しない。なぜなら、心拍の測定には、略同一の時間間隔で拍動するという心拍の周期性を利用してパルス列から尤もらしいパルスの組を抽出するが、測定に用いる時間の長さが不十分である場合には一拍を形成するパルスの組が含まれず、精度低下の原因となるからである。なお、上記の区間長は、上記の値に限定されず、任意の値を採用できる。例えば、上記の例では、心拍数が６０ｂｐｍであるとの仮定の下、区間長を設定する場合を例示したが、心拍の周期が標準の人物よりも長い人物、例えばスポーツ心臓を持つ人物の心拍数を基準に区間長を設定することとしてもかまわない。

その後、パルス列抽出部１６ｂは、内部メモリに保存されていた最初のサンプリング時間から最後のサンプリング時間までの期間、すなわちパルスの採取期間から先の抽出から除外された期間、例えば区間長に満たない時間帯および操作期間の総和を差し引く。これによって、心拍の測定に使用できるパルス列の採取期間を求める。その上で、パルス列抽出部１６ｂは、差し引き実行後のパルス列の採取期間が所定の測定期間、例えば標準の人物の心拍数が６０ｂｐｍ以上であるとしたとき４拍分のパルスが採取できる８秒以上であるか否かを判定する。そして、パルス列抽出部１６ｂは、パルス列の採取期間が所定の測定期間以上である場合には、サンプリング時間の集合、すなわちパルス列を後述の組選択部１６ｃへ出力する。

これによって、脈波以外の動きの成分を含む顔画像に由来するパルスを除外しつつも、脈波以外の動きの成分が少ないと推定できる顔画像に由来するパルスだけを集めて心拍の測定に使用できる。したがって、心拍測定装置１０によって心拍が測定されているか否かを被験者に意識させずに心拍を測定することが可能となる。

なお、上記の測定期間は、上記の値に限定されず、任意の値を採用できる。例えば、上記の例では、心拍数が６０ｂｐｍであるとの仮定の下、区間長を設定する場合を例示したが、心拍の周期が標準の人物よりも長い人物、例えばスポーツ心臓を持つ人物の心拍数を基準に区間長を設定することとしてもかまわない。また、測定期間が長いほど心拍の測定精度の向上を期待できるので、精度の高い心拍を測定する場合には、上記の値よりもさらに長く設定することもできる。

組選択部１６ｃは、パルス列のうち互いの時間差が所定の範囲内であるパルス組を選択する処理部である。一態様としては、組選択部１６ｃは、パルス列抽出部１６ｂによってパルス列が抽出されてから、互いを上記の時間差の範囲内で組み合わせることができるパルスの組がなくなるまで、下記のパルス組の選択を繰り返し実行する。例えば、組選択部１６ｃは、パルス列抽出部１６ｂによって抽出されたパルス列に含まれるパルスのサンプリング時間を参照し、互いのサンプリング時間の差が所定の範囲以内である２つのパルスの組を選択する。なお、範囲の一例としては、０．５Ｈｚ〜４Ｈｚに対応する０．２５秒〜２秒の範囲を採用できる。

第１の計数部１７ａは、パルス組ごとに、パルス組の周期の整数倍に対応する時点の近傍でパルスの出力が存在する第１の回数と、時点もしくは時点の近傍でパルスの出力が存在しない第２の回数とを計数する処理部である。一態様としては、第１の計数部１７ａは、組選択部１６ｃによってパルス組が選択される度に、下記の計数を繰り返し実行する。以下では、説明の便宜上、パルス組のうちサンプリング時間の値が小さい方のパルスのことをパルスＰ１と表記し、サンプリング時間が大きい方のパルスのことをパルスＰ２と表記し、これらのサンプリング時間をｔｐ１及びｔｐ２（ｔｐ１＜ｔｐ２）と表記する場合がある。例えば、第１の計数部１７ａは、パルスＰ２のサンプリング時間ｔｐ２からパルスＰ１のサンプリング時間ｔｐ１を減算することによってパルス組の時間間隔、すなわち周期Ｔ（＝ｔｐ２−ｔｐ１）を算出する。

続いて、第１の計数部１７ａは、当該パルス組の周期の整数倍に対応する時点を下記の式（８）によって算出する。下記の式（８）における「ｎ」は、正負の整数である。また、下記の式（８）における「Ｔ」は、先に求めたパルス組の周期である。また、下記の式（８）における「α」は、許容誤差であり、例えば、下記の式（９）によって導出できる。かかる許容誤差αは、下記の式（８）によって算出された時点にパルスの出力が存在せずとも当該時点から前後して±αの範囲にパルスの出力が存在すればよいことを意味する。

ｔｐ１＋ｎＴ±α・・・（８）
α＝０．１×（ｔｐ１＋ｎＴ）・・・（９）

ここで、上記の式（８）によって、整数ｎごとに当該パルス組の周期が到来する時点が予測できる。かかる意味合いから、パルス組の周期の整数倍に対応する時点のことを「周期到来点」と記載する場合がある。

かかる周期到来点を算出した後に、第１の計数部１７ａは、各々の周期到来点ごとに、当該周期到来点から前後して許容誤差αの範囲内にパルスの出力が存在するか否か、すなわちサンプリング時間が周期到来点±α以内に含まれるパルスが存在するか否かを判定する。

このとき、第１の計数部１７ａは、サンプリング時間が周期到来点±α以内に含まれるパルスが存在する場合に、上記の第１の回数を１つインクリメントする。このように、周期到来点から前後して許容誤差αの範囲内にパルスの出力が存在する場合には、当該パルスがパルス組の周期と一致するタイミングで出力されていることを意味する。かかる意味合いから、上記の第１の回数のことを「一致回数」と記載し、「Ｎａ」を添え字として使用する場合がある。

一方、第１の計数部１７ａは、サンプリング時間が周期到来点±α以内に含まれるパルスが存在しない場合に、上記の第２の回数を１つインクリメントする。このように、周期到来点から前後して許容誤差αの範囲内にパルスの出力が存在しない場合には、パルス組の周期と一致する時間帯にパルスが欠落していることを意味する。かかる意味合いから、上記の第２の回数のことを「欠落回数」と記載し、「Ｎｏ」を添え字として使用する場合がある。

その後、第１の計数部１７ａは、全ての周期到来点について上記の一致回数Ｎａまたは上記の欠落回数Ｎｏの計数が終了するまで、上記の一致回数Ｎａまたは上記の欠落回数Ｎｏの計数を繰り返し実行する。

第２の計数部１７ｂは、パルス組ごとに、パルス組の周期の整数倍に対応する時点の近傍以外でパルスの出力が存在する第３の回数を計数する処理部である。一態様としては、第２の計数部１７ｂは、サンプリング時間が第１の計数部１７ａによって算出された各周期到来点から前後して許容誤差αの範囲外の時間帯にパルスの出力が存在する回数を計数する。このように、周期到来点から前後して許容誤差αの範囲外にパルスの出力が存在する場合には、当該パルスがパルス組の周期と一致しないタイミングで余分に出力されていることを意味する。かかる意味合いから、上記の第３の回数のことを「剰余回数」と記載し、「Ｎｒ」を添え字として使用する場合がある。

組抽出部１８は、組選択部１６ｃによって選択されたパルス組から最も周期性が高いパルス組を抽出する処理部である。一態様としては、組抽出部１８は、パルス組の一致回数、欠落回数および剰余回数が集計される度に、下記の式（１０）を用いて、当該パルス組の周期スコアＮを算出する。

Ｎ＝Ｎａ−Ｎｏ−Ｎｒ・・・（１０）

ここで、上記の式（１０）に示すように、周期スコアＮの算出式は、パルス組の一致回数Ｎａからパルス組の欠落回数Ｎｏおよびパルス組の剰余回数Ｎｒを差し引くことによって算出される。このため、パルス組の一致回数Ｎａが多いほど周期スコアＮが高く、パルス組の欠落回数Ｎｏが多いほど周期スコアＮが低く、パルス組の剰余回数Ｎｒが多いほど周期スコアＮが低く算出されることになる。したがって、周期スコアＮは、値が高いほどパルス組の周期と一致するタイミングでパルスが計測される頻度が高く、パルス組の周期以外のタイミングでノイズが計測される頻度が低く、心拍の周期である公算も高まる。

上記の周期スコアＮを算出した後に、組抽出部１８は、当該パルス組の周期スコアＮが内部メモリに保存された周期スコアＮｍａｘよりも高いか否かを判定する。そして、組抽出部１８は、周期スコアＮが周期スコアＮｍａｘよりも高い場合には、当該パルス組の周期スコアＮを周期スコアＮｍａｘとし、当該パルス組の周期を周期Ｔｏｐとし、内部メモリへ上書き更新する。このように、パルス組の周期スコアＮが算出される度に内部メモリに保存された周期スコアＮｍａｘと比較し、値が高い方の周期スコアおよび周期を内部メモリに残す。これによって、全てのパルス組の周期スコアＮの算出が終了した段階では、最高の周期スコアＮが内部メモリに残ることになる。その後、組抽出部１８は、内部メモリに保存されたパルス組の周期スコアＮｍａｘおよび周期Ｔｏｐを心拍測定部１９へ出力する。

心拍測定部１９は、パルス組の周期から心拍周期を測定する処理部である。一態様としては、心拍測定部１９は、全てのパルス組の周期スコアＮの算出が終了した後に、内部メモリに保存されたパルス組の周期Ｔｏｐを用いて、被験者の心拍数を算出する。例えば、心拍測定部１９は、パルス組の周期Ｔｏｐを、任意の周波数の単位、例えばＨｚやｂｐｍに換算することによって１秒あたりの心拍数や１分あたりの心拍数を算出できる。

このようにして得られた心拍数は、心拍測定装置１０が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、心拍数から心疾患の有無などを診断したりする診断プログラムが心拍測定装置１０にインストールされている場合には、診断プログラムを出力先とすることができる。例えば、診断プログラムでは、高血圧の人物が頻脈、例えば１００ｂｐｍ以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりすることができる。また、診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、心拍測定装置１０を利用する利用者の関係者、例えば介護士、看護師や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、心拍測定装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。

なお、上記の取得部１３、領域抽出部１４、波形検出部１５、パルス出力部１６ａ、パルス列抽出部１６ｂ、組選択部１６ｃ、第１の計数部１７ａ、第２の計数部１７ｂ、組抽出部１８及び心拍測定部１９は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに心拍測定プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

また、上記の内部メモリには、一例として、半導体メモリ素子を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、内部メモリの代わりに、ハードディスク、光ディスクなどの記憶装置を採用することとしてもよい。

［具体例１］
続いて、図７〜図９を用いて、本実施例に係るパルス組の抽出方法の具体例について説明する。図７〜図９は、パルス組の一例を示す図である。図７〜図９には、上段のグラフに脈波信号、中段のグラフにパルス列、下段のグラフにパルス組が図示されている。これら図７〜図９では、同一の脈波信号のパルス列からパルス組１〜パルス組３が選択されたケースを想定することとする。なお、図７〜図９に示すパルス組のグラフには、太線でパルス組に所属するパルスが図示され、細線で一致パルスが図示され、破線で欠落パルスが図示されるとともに、点線で剰余パルスが図示されている。また、各々の周期到来点で一致パルスと計数された場合には丸が図示され、欠落パルスと計数された場合にはバツが図示され、剰余パルスと計数された場合には三角が図示されている。

例えば、パルス組１の場合には、図７に示すように、パルス（イ）をパルスＰ１とするとともにパルス（ロ）をパルスＰ２とし、周期到来点が求められる。すなわち、ｎが０である場合には、パルスＰ１のサンプリング時間ｔｐ１が周期到来点となる。この場合には、周期到来点ｔｐ１±許容誤差αの範囲内にサンプリング時間がｔｐ１であるパルス組のパルスＰ１自身が含まれる。よって、当該周期到来点ｔｐ１では、パルス組のパルスＰ１、すなわちパルス（イ）が一致パルスとなるので、一致回数Ｎａが１つインクリメントされて１回となる。

続いて、ｎが１である場合には、パルスＰ２のサンプリング時間ｔｐ２が周期到来点となる。この場合には、周期到来点ｔｐ２±許容誤差αの範囲内にサンプリング時間がｔｐ２であるパルス組のパルスＰ２自身が含まれる。よって、当該周期到来点ｔｐ２では、パルス組のパルスＰ２、すなわちパルス（ロ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて２回となる。

さらに、ｎが２である場合には、時間ｔｐ１＋２Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋２Ｔ±許容誤差αの範囲内にサンプリング時間がｔｐ１＋２Ｔであるパルス（ハ）が含まれる。よって、当該周期到来点ｔｐ１＋２Ｔでは、パルス（ハ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて３回となる。

次に、ｎが３である場合には、時間ｔｐ１＋３Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋３Ｔ±許容誤差αの範囲内にパルスの出力は存在しない。よって、当該周期到来点ｔｐ１＋３Ｔは、欠落パルスとなるので、欠落回数Ｎｏが１つインクリメントされて１回となる。

このようにして、ｎが１０になるまでの各周期到来点で一致回数Ｎａおよび欠落回数Ｎｏを計数した結果、一致回数Ｎａは丸が６個で６回と計数されるとともに、欠落回数Ｎｏはバツが５個で５回と計数される。その一方で、各々の周期到来点の許容誤差αの範囲外にサンプリング時間を持つパルスは皆無であるので、剰余回数Ｎｒは三角が０個で０と計数される。したがって、パルス組の周期スコアＮは、上記の式（１０）で６−５−０を計算することによって「１」と算出される。

また、パルス組２の場合には、図８に示すように、パルス（イ）をパルスＰ１とするとともにパルス（ハ）をパルスＰ２とし、周期到来点が求められる。すなわち、ｎが０である場合には、パルスＰ１のサンプリング時間ｔｐ１が周期到来点となる。この場合には、周期到来点ｔｐ１±許容誤差αの範囲内にサンプリング時間がｔｐ１であるパルス組のパルスＰ１自身が含まれる。よって、当該周期到来点ｔｐ１では、パルス組のパルスＰ１、すなわちパルス（イ）が一致パルスとなるので、一致回数Ｎａが１つインクリメントされて１回となる。同様に、ｎが１である場合にも、周期到来点ｔｐ２でパルス組のパルスＰ２、すなわちパルス（ハ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて２回となる。

さらに、ｎが２である場合には、時間ｔｐ１＋２Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋２Ｔ±許容誤差αの範囲内にサンプリング時間がｔｐ１＋２Ｔであるパルス（ニ）が含まれる。よって、当該周期到来点ｔｐ１＋２Ｔでは、パルス（ニ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて３回となる。同様に、ｎが３である場合にも、周期到来点ｔｐ１＋３Ｔでパルス（ホ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて４回となる。

次に、ｎが４である場合には、時間ｔｐ１＋４Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋４Ｔ±許容誤差αの範囲内にパルスの出力は存在しない。よって、当該周期到来点ｔｐ１＋４Ｔは、欠落パルスとなるので、欠落回数Ｎｏが１つインクリメントされて１回となる。

このようにして、ｎが５になるまでの各周期到来点で一致回数Ｎａおよび欠落回数Ｎｏを計数した結果、一致回数Ｎａは丸が５個で５回と計数されるとともに、欠落回数Ｎｏはバツが１個で１回と計数される。その一方で、各々の周期到来点の許容誤差αの範囲外にサンプリング時間を持つパルス（ロ）が１つ存在するので、剰余回数Ｎｒは三角が１個で１と計数される。したがって、パルス組の周期スコアＮは、上記の式（１０）で５−１−１を計算することによって「３」と算出される。

また、パルス組３の場合には、図９に示すように、時間差が０．２５秒以上２秒以下であるパルス（ロ）及びパルス（ニ）をパルスＰ１及びパルスＰ２とし、周期到来点が求められる。すなわち、ｎが０である場合には、パルスＰ１のサンプリング時間ｔｐ１が周期到来点となる。この場合には、周期到来点ｔｐ１±許容誤差αの範囲内にサンプリング時間がｔｐ１であるパルス組のパルスＰ１自身が含まれる。よって、当該周期到来点ｔｐ１では、パルス組のパルスＰ１、すなわちパルス（ロ）が一致パルスとなるので、一致回数Ｎａが１つインクリメントされて１回となる。同様に、ｎが１である場合にも、周期到来点ｔｐ２でパルス組のパルスＰ２、すなわちパルス（ニ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて２回となる。

続いて、ｎが２である場合には、時間ｔｐ１＋２Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋２Ｔ±許容誤差αの範囲内にパルスの出力は存在しない。よって、当該周期到来点ｔｐ１＋２Ｔは、欠落パルスとなるので、欠落回数Ｎｏが１つインクリメントされて１回となる。

さらに、ｎが３である場合には、時間ｔｐ１＋３Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋３Ｔ±許容誤差αの範囲内にサンプリング時間がｔｐ１＋３Ｔであるパルス（ヘ）が含まれる。よって、当該周期到来点ｔｐ１＋３Ｔでは、パルス（ヘ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて３回となる。

このようにして、ｎが３になるまでの各周期到来点で一致回数Ｎａおよび欠落回数Ｎｏを計数した結果、一致回数Ｎａは丸が３個で３回と計数されるとともに、欠落回数Ｎｏはバツが１個で１回と計数される。その一方で、各々の周期到来点の許容誤差αの範囲外にサンプリング時間を持つパルス（イ）、（ハ）及び（ホ）の３つが存在するので、剰余回数Ｎｒは三角が３個で３と計数される。したがって、パルス組の周期スコアＮは、上記の式（１０）で３−１−３を計算することによって「−１」と算出される。

以上のように、図７〜図９の例では、パルス組１〜パルス組３のうちパルス組２の周期スコアＮが最高となる。このように、脈波が採り得る周波数成分と同様の周波数成分のノイズを含む顔画像が撮像されたとしても、当該顔画像に由来するパルス、例えばパルス（ロ）がパルス組に選択された周期スコアＮは低くなる。なぜなら、ノイズに周期性はないので、一致回数Ｎａは少なく、かつ欠落回数Ｎｏは多く計数されたり、周期性の高い心拍成分に由来するパルスによって剰余回数Ｎｒが高く計数されたりするからである。したがって、周期スコアＮが最高のパルス組を抽出することによって心拍と同様の周期性を持つパルス組を抽出できる結果、尤も心拍らしいパルス組を抽出することが可能になる。

ここで、組選択部１６ｃによって残りのパルス組についても上記の計数がなされるが、パルス（ロ）及びパルス（ハ）の組は、パルス組１と同様の周期Ｔを持つので、パルス組１と同様の計数結果となる。さらに、パルス（ハ）及びパルス（ニ）の組と、パルス（ニ）及びパルス（ホ）の組とは、パルス組２と同様の周期Ｔを持つので、パルス組２と同様の計数結果となる。このように、パルス組の周期Ｔが過去に計数を行ったパルス組と略同一である場合には、過去のパルス組と計数結果が重複する公算が高いので、その計数を省略することもできる。

［具体例２］
続いて、図１０及び図１１を用いて、本実施例に係るパルス組の抽出方法の他の具体例について説明する。図１０及び図１１は、パルス組の他の一例を示す図である。図１０及び図１１には、上段のグラフに脈波信号、中段のグラフにパルス列、下段のグラフにパルス組が図示されている。これら図１０及び図１１では、同一の脈波信号のパルス列からパルス組１〜パルス組２が選択されたケースを想定することとする。なお、図１０及び図１１に示すパルス組のグラフには、太線でパルス組に所属するパルスが図示され、細線で一致パルスが図示され、破線で欠落パルスが図示されるとともに、点線で剰余パルスが図示されている。また、各々の周期到来点で一致パルスと計数された場合には丸が図示され、欠落パルスと計数された場合にはバツが図示され、剰余パルスと計数された場合には三角が図示されている。

ここで、図１０及び図１１に示すように、脈波波形から得られたパルス列の全てが必ずしも心拍の測定に用いられるとは限らない。すなわち、サンプリング時間が操作期間に含まれるパルスはパルス列抽出部１６ｂによって除去される。例えば、図１０及び図１１に示すように、パルス出力部１６ａによって出力されたパルス（イ）〜パルス（ヌ）の１０個のパルスのうちサンプリング時間が操作期間に含まれるパルス（ニ）〜パルス（ト）の４個は心拍の測定から除外される。

このような状況の下、パルス組１の周期スコアＮを算出する場合には、図１０に示すように、パルス（イ）及びパルス（ロ）をパルスＰ１及びパルスＰ２とし、周期到来点が求められる。すなわち、ｎが０である場合には、パルスＰ１のサンプリング時間ｔｐ１が周期到来点となる。この場合には、周期到来点ｔｐ１±許容誤差αの範囲内にサンプリング時間がｔｐ１であるパルス組のパルスＰ１自身が含まれる。よって、当該周期到来点ｔｐ１では、パルス組のパルスＰ１、すなわちパルス（イ）が一致パルスとなるので、一致回数Ｎａが１つインクリメントされて１回となる。同様に、ｎが１である場合にも、周期到来点ｔｐ２でパルス組のパルスＰ２、すなわちパルス（ロ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて２回となる。

さらに、ｎが２である場合には、時間ｔｐ１＋２Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋２Ｔ±許容誤差αの範囲内にサンプリング時間がｔｐ１＋２Ｔであるパルス（ハ）が含まれる。よって、当該周期到来点ｔｐ１＋２Ｔでは、パルス（ハ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて３回となる。

その後、ｎが３〜６までの周期到来点は、操作期間に含まれるので、計測は実行されない。そして、ｎが７になって時間ｔｐ１＋７Ｔが周期到来点として算出された段階で操作期間から脱することになる。この場合には、周期到来点ｔｐ１＋７Ｔ±許容誤差αの範囲内にパルスの出力は存在しない。よって、当該周期到来点ｔｐ１＋７Ｔは、欠落パルスとなるので、欠落回数Ｎｏが１つインクリメントされて１回となる。

続いて、ｎが８である場合には、時間ｔｐ１＋８Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋８Ｔ±許容誤差αの範囲内にサンプリング時間がｔｐ１＋８Ｔであるパルス（チ）が含まれる。よって、当該周期到来点ｔｐ１＋８Ｔでは、パルス（チ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて４回となる。

次に、ｎが９である場合には、時間ｔｐ１＋９Ｔが周期到来点となる。この場合には、周期到来点ｔｐ１＋９Ｔ±許容誤差αの範囲内にパルスの出力は存在しない。よって、当該周期到来点ｔｐ１＋９Ｔは、欠落パルスとなるので、欠落回数Ｎｏが１つインクリメントされて２回となる。

このようにして、ｎが０から１２になるまでの各周期到来点のうちｎが３〜６の周期到来点を除いた各周期到来点で一致回数Ｎａおよび欠落回数Ｎｏを計数した結果、一致回数Ｎａは丸が６個で６回と計数されるとともに、欠落回数Ｎｏはバツが３個で３回と計数される。その一方で、各々の周期到来点の許容誤差αの範囲外にサンプリング時間を持つパルスは皆無であるので、剰余回数Ｎｒは三角が０個で０と計数される。したがって、パルス組の周期スコアＮは、上記の式（１０）で６−３−０を計算することによって「３」と算出される。

また、パルス組２の周期スコアＮを算出する場合には、図１１に示すように、パルス（イ）及びパルス（ハ）をパルスＰ１及びパルスＰ２とし、周期到来点が求められる。すなわち、ｎが０である場合には、パルスＰ１のサンプリング時間ｔｐ１が周期到来点となる。この場合には、周期到来点ｔｐ１±許容誤差αの範囲内にサンプリング時間がｔｐ１であるパルス組のパルスＰ１自身が含まれる。よって、当該周期到来点ｔｐ１では、パルス組のパルスＰ１、すなわちパルス（イ）が一致パルスとなるので、一致回数Ｎａが１つインクリメントされて１回となる。同様に、ｎが１である場合にも、周期到来点ｔｐ２でパルス組のパルスＰ２、すなわちパルス（ハ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて２回となる。

その後、ｎが２〜３までの周期到来点は、操作期間に含まれるので、計測は実行されない。そして、ｎが４になって時間ｔｐ１＋４Ｔが周期到来点として算出された段階で操作期間から脱することになる。この場合には、周期到来点ｔｐ１＋４Ｔ±許容誤差αの範囲内にサンプリング時間がｔｐ１＋４Ｔであるパルス（チ）が含まれる。よって、当該周期到来点ｔｐ１＋４Ｔでは、パルス（チ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて３回となる。同様に、ｎが５である場合にも、周期到来点ｔｐ１＋５Ｔでパルス（リ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて４回となる。さらに、同様に、ｎが６である場合にも、周期到来点ｔｐ１＋６Ｔでパルス（ヌ）が一致パルスとなるので、一致回数Ｎａがさらに１つインクリメントされて５回となる。

このようにして、ｎが０から６になるまでの各周期到来点のうちｎが２〜３の周期到来点を除いた各周期到来点で一致回数Ｎａおよび欠落回数Ｎｏを計数した結果、一致回数Ｎａは丸が５個で５回と計数されるとともに、欠落回数Ｎｏはバツが０個で０回と計数される。その一方で、各々の周期到来点の許容誤差αの範囲外にサンプリング時間を持つパルス（ロ）が１つ存在するので、剰余回数Ｎｒは三角が１個で１と計数される。したがって、パルス組の周期スコアＮは、上記の式（１０）で５−０−１を計算することによって「４」と算出される。

以上のように、操作期間を除外してパルス列を抽出することによってパルス組の一致回数、欠落回数及び剰余回数を計数する区間が不連続になったとしても、心拍に由来するパルスは周期的に検出されるので、上記の具体例１の場合と同様に、周期スコアＮを算出することができる。図１０及び図１１の例では、パルス組１及びパルス組２のうちパルス組２の周期スコアＮが最高となる。

［処理の流れ］
次に、本実施例に係る心拍測定装置の処理の流れについて説明する。なお、ここでは、心拍測定装置１０によって実行される（１）波形検出処理について説明した後に、（２）心拍測定処理について説明することとする。

（１）波形検出処理
図１２は、実施例１に係る波形検出処理の手順を示すフローチャートである。この波形検出処理は、カメラ１１から画像が取得される度に処理を起動し、画像が取得されなくなるまで繰り返し実行される処理である。なお、図示しない入力デバイス等を介して中断操作を受け付けた場合には、波形検出処理を中止することもできる。

図１２に示すように、被験者が映った画像が取得されると（ステップＳ１０１）、領域抽出部１４は、ステップＳ１０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする生体領域の画像を抽出する（ステップＳ１０２）。

その上で、領域抽出部１４は、Ｒ信号の時系列データをＢＰＦ１５２Ｒ及びＢＰＦ１５６Ｒへ出力するとともに、Ｇ信号の時系列データをＢＰＦ１５２Ｇ及びＢＰＦ１５６Ｇへ出力する（ステップＳ１０３）。

続いて、ＢＰＦ１５２Ｒは、Ｒ信号の特定周波数帯、例えば０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を抽出するとともに、ＢＰＦ１５２Ｇは、Ｇ信号の特定周波数帯の信号成分を抽出する（ステップＳ１０４Ａ）。

そして、抽出部１５３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出するとともに、抽出部１５３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する（ステップＳ１０５）。

その後、ＬＰＦ１５４Ｒは、Ｒ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するとともに、ＬＰＦ１５４Ｇは、Ｇ信号の特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行する（ステップＳ１０６）。

続いて、算出部１５５は、ＬＰＦ１５４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´_noiseを、ＬＰＦ１５４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´_noiseで除する除算「Ｇ´_noise／Ｒ´_noise」を実行することによって補正係数ａを算出する（ステップＳ１０７）。

上記のステップＳ１０４Ａの処理に並行して、ＢＰＦ１５６Ｒは、Ｒ信号の脈波周波数帯、例えば０．５Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を抽出するとともに、ＢＰＦ１５６Ｇは、Ｇ信号の脈波周波数帯の信号成分を抽出する（ステップＳ１０４Ｂ）。

その後、乗算部１５７は、ステップＳ１０４Ｂで抽出されたＲ信号の脈波周波数帯の信号成分にステップＳ１０７で算出された補正係数ａを乗算する（ステップＳ１０８）。その上で、演算部１５８は、ステップＳ１０４Ｂで抽出されたＧ信号の脈波周波数帯の信号成分から、ステップＳ１０８で補正係数ａが乗算されたＲ信号の脈波周波数帯の信号成分を差し引く演算「Ｇ_signal−ａ＊Ｒ_signal」を実行する（ステップＳ１０９）。

そして、波形検出部１５は、演算後の信号の時系列データを脈波波形としてパルス出力部１６ａへ出力し（ステップＳ１１０）、処理を終了する。

（２）心拍測定処理
図１３及び図１４は、実施例１に係る心拍測定処理の手順を示すフローチャートである。この心拍測定処理は、波形検出部１５から脈波波形が入力される限り、繰り返し実行可能な処理である。

図１３に示すように、パルス出力部１６ａは、波形検出部１５によって脈波波形の振幅値が出力されると（ステップＳ３０１）、当該振幅値のサンプリング時間ｔよりも１サンプリング前のサンプリング時間ｔ−１の振幅値が極大値、すなわちピークであるか否かを判定する（ステップＳ３０２）。なお、サンプリング時間ｔ−１の振幅値がピークでない場合（ステップＳ３０２Ｎｏ）には、ステップＳ３０５へ移行する。

このとき、サンプリング時間ｔ−１の振幅値がピークである場合（ステップＳ３０２Ｙｅｓ）には、パルス出力部１６ａは、パルスをパルス列抽出部１６ｂへ出力する（ステップＳ３０３）。続いて、パルス列抽出部１６ｂは、ステップＳ３０３でパルスが出力されたサンプリング時間を図示しない内部メモリに保存する（ステップＳ３０４）。

そして、パルス列抽出部１６ｂは、内部メモリに保存されたサンプリング時間のうち、同内部メモリに保存された操作期間に含まれるサンプリング時間を除外し、残ったサンプリング時間を抽出する（ステップＳ３０５）。

続いて、パルス列抽出部１６ｂは、ステップＳ３０５で除外された期間、例えば区間長に満たない時間帯および操作期間の総和を差し引いたパルス列の採取期間が所定の測定期間以上であるか否かを判定する（ステップＳ３０６）。なお、測定期間以上ではない（ステップＳ３０６Ｎｏ）には、上記のステップＳ３０１に戻り、ステップＳ３０５までの処理を繰り返し実行する。

そして、図１４に示すように、組選択部１６ｃは、ステップＳ３０５で抽出されたパルス列に含まれるパルスのサンプリング時間を参照し、互いのサンプリング時間の差が所定の範囲以内である２つのパルスＰ１及びパルスＰ２の組を選択する（ステップＳ３０７）。

続いて、第１の計数部１７ａは、パルスＰ２のサンプリング時間ｔｐ２からパルスＰ１のサンプリング時間ｔｐ１を減算することによってパルス組の時間間隔、すなわち周期Ｔ（＝ｔｐ２−ｔｐ１）を算出する（ステップＳ３０８）。そして、第１の計数部１７ａは、パルス組の周期Ｔの整数倍に対応する周期到来点を上記の式（８）によって算出する（ステップＳ３０９）。

その後、第１の計数部１７ａは、周期到来点のうち１つを選択する（ステップＳ３１０）。その上で、第１の計数部１７ａは、ステップＳ３１０で選択された周期到来点から前後して許容誤差αの範囲内にパルスの出力が存在するか否か、すなわちサンプリング時間が周期到来点±α以内に含まれるパルスが存在するか否かを判定する（ステップＳ３１１）。

このとき、サンプリング時間が周期到来点±α以内に含まれるパルスが存在する場合（ステップＳ３１１Ｙｅｓ）に、第１の計数部１７ａは、パルス組の一致回数Ｎａを１つインクリメントする（ステップＳ３１２）。

一方、サンプリング時間が周期到来点±α以内に含まれるパルスが存在しない場合（ステップＳ３１１Ｎｏ）に、第１の計数部１７ａは、パルス組の欠落回数Ｎｏを１つインクリメントする（ステップＳ３１３）。

その後、第１の計数部１７ａは、全ての周期到来点について上記の一致回数Ｎａまたは上記の欠落回数Ｎｏの計数が終了するまで（ステップＳ３１４Ｎｏ）、上記のステップＳ３１０〜ステップＳ３１３までの処理を繰り返し実行する。

そして、全ての周期到来点について上記の一致回数Ｎａまたは上記の欠落回数Ｎｏの計数が終了した場合（ステップＳ３１４Ｙｅｓ）には、第２の計数部１７ｂは、次のような処理を実行する。すなわち、第２の計数部１７ｂは、サンプリング時間がステップＳ３０９で算出された各周期到来点から前後して許容誤差αの範囲外の時間帯にパルスの出力が存在する剰余回数Ｎｒを計数する（ステップＳ３１５）。

続いて、組抽出部１８は、パルス組の一致回数Ｎａ、欠落回数Ｎｏおよび剰余回数Ｎｒを上記の式（１０）へ代入することによって当該パルス組の周期スコアＮを算出する（ステップＳ３１６）。

そして、組抽出部１８は、ステップＳ３１６で算出されたパルス組の周期スコアＮが内部メモリに保存された周期スコアＮｍａｘよりも高いか否かを判定する（ステップＳ３１７）。

このとき、周期スコアＮが周期スコアＮｍａｘよりも高い場合（ステップＳ３１７Ｙｅｓ）には、組抽出部１８は、ステップＳ３１６で算出されたパルス組の周期スコアＮを周期スコアＮｍａｘとし、当該パルス組の周期を周期Ｔｏｐとし、内部メモリへ上書き更新する（ステップＳ３１８）。なお、周期スコアＮが周期スコアＮｍａｘ以下である場合（ステップＳ３１７Ｎｏ）には、上記の上書き更新を実行せずにステップＳ３１９へ移行する。

そして、全てのパルス組の周期スコアＮが算出されるまで（ステップＳ３１９Ｎｏ）、上記のステップＳ３０７〜ステップＳ３１８までの処理を繰り返し実行する。その後、全てのパルス組の周期スコアＮが算出されると（ステップＳ３１９Ｙｅｓ）、心拍測定部１９は、内部メモリに保存されたパルス組の周期Ｔｏｐを用いて、被験者の心拍数を算出し（ステップＳ３２０）、処理を終了する。

なお、図１４に示したフローチャートでは、パルス組の一致回数Ｎａおよび欠落回数Ｎｏを計数してから剰余回数Ｎｒを計数する場合を例示したが、計数の順序はこれに限定されない。すなわち、パルス組の一致回数Ｎａおよび欠落回数Ｎｏは、ステップＳ３１１の分岐によって計数されずともよく、また、剰余回数Ｎｒは、一致回数Ｎａおよび欠落回数Ｎｏの後に計数されずともよい。これらパルス組の一致回数Ｎａ、欠落回数Ｎｏ及び剰余回数Ｎｒは、並列して計数することもできる。

また、図１４に示したフローチャートでは、各々の周期到来点の周期スコアＮを順番に算出する場合を例示したが、各周期到来点の周期スコアＮを並列して算出した上で周期スコアＮが最大のパルス組を抽出することとしてもかまわない。

［実施例１の効果］
上述してきたように、本実施例に係る心拍測定装置１０は、脈波波形のピークに対応するパルス列のうち互いの時間差が所定範囲内であるパルス組ごとに整数倍の周期でパルスが一致又は欠落する回数を計数し、一致と欠落の回数の差を比較してパルス組を抽出する。

このため、本実施例に係る心拍測定装置１０は、脈波が採り得る周波数成分と同様の周波数成分のノイズを含む顔画像が撮像されたとしても、当該顔画像に由来するパルスを含むパルス組を抽出されにくくできる。なぜなら、ノイズには周期性がないので、一致回数は少なく、かつ欠落回数は多く計数できるからである。それゆえ、一致回数から欠落回数を差し引いた差が最大のパルス組を抽出することによって心拍と同様の周期性を持つパルス組を抽出できる結果、尤も心拍らしいパルス組を抽出することが可能になる。また、一致回数および欠落回数の計数には、周波数解析の適用は伴わない。

したがって、本実施例に係る心拍測定装置１０によれば、心拍の測定時間を短縮することが可能になる。

さらに、本実施例に係る心拍測定装置１０は、整数倍の周期の近傍以外でパルスが剰余する回数を計数し、一致回数から欠落回数および剰余回数を差し引いた差が最大であるパルス組を抽出する。このため、本実施例に係る心拍測定装置１０では、脈波が採り得る周波数成分と同様の周波数成分のノイズに由来するパルスを含むパルス組をより抽出されにくくできる。なぜなら、ノイズに周期性はないので、ノイズに由来するパルスのパルス組では周期性の高い心拍成分に由来するパルスによって剰余回数が高く計数されるからである。よって、本実施例に係る心拍測定装置１０によれば、尤も心拍らしいパルス組を精度よく抽出することが可能になる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［パルスの出力］
上記の実施例１では、脈波波形のピークに対応するパルスを出力する場合を例示したが、脈波波形の微分波形のピークに対応するパルスを出力することとしてもかまわない。例えば、波形検出部１５によって検出される脈波波形を時間微分することによって顔の脈波の微分波形を算出し、微分波形のピークを示す極大点を検出することとしてもよい。すなわち、脈波波形の振幅値が出力される度に、１つ前に出力された振幅値との差分を求めることで微分波形を求める。そして、当該振幅値のサンプリング時間ｔよりも１サンプリング前のサンプリング時間ｔ−１の微分波形の振幅値が極大値であるか否かを判定する。このとき、パルス出力部１６ａは、サンプリング時間ｔ−１の微分波形の振幅値が極大点、すなわち微分波形のピークである場合に、パルスをパルス列抽出部１６ｂへ出力すればよい。これは、脈波波形の立ち上がりの最も急峻な位置にパルスを出力することを意味する。

［パルス列の抽出］
上記の実施例１では、操作期間中に出力されたパルスを除外してパルス列を抽出する場合を例示したが、心拍の測定に悪影響があるパルス、すなわち脈波以外の動きの成分が現れた顔画像から検出されたパルスを他の方法によって除去することもできる。

例えば、心拍測定装置１０は、波形検出部１５によって出力された脈波波形の振幅値がそれまでに出力された振幅値よりも所定値、例えば５倍以上変化している場合に、当該振幅変化が大きい期間の間に出力されたパルスを除外してパルス列を抽出することもできる。これによって、余計なハードウェアの追加なしにソフトウェアの改変も最小にしつつ、体動や背景変化を含む顔画像に由来するパルスを心拍の測定に用いる事態を抑制できる。

また、心拍測定装置１０が加速度センサまたは角速度センサを搭載する場合には、加速度センサまたは角速度センサによって採取されたセンサ値を監視する。そして、心拍測定装置１０は、加速度センサまたは角速度センサによって採取されたセンサ値が所定値以上である期間の間に出力されたパルスを除外してパルス列を抽出することもできる。これによって、心拍測定装置１０自体の振動や心拍測定装置１０を保持する被験者の振動を正確に検出することができる結果、良好な測定環境で顔画像が撮像された時間帯に絞ってパルス列を抽出できる。

［入力信号］
上記の実施例１及び実施例２では、入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。

［他の実装例］
上記の実施例１では、心拍測定装置１０が上記の心拍測定処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、心拍測定装置１０は、心拍測定サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって心拍測定サービスを提供するクラウドとして実装することとしてもかまわない。このように、心拍測定装置１０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に波形検出処理や心拍測定処理を実行し、心拍の検出結果や検出結果を用いてなされた診断結果をクライアント端末へ応答することによって心拍測定サービスを提供できる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１３、領域抽出部１４、波形検出部１５、パルス出力部１６ａ、パルス列抽出部１６ｂ、組選択部１６ｃ、第１の計数部１７ａ、第２の計数部１７ｂ、組抽出部１８または心拍測定部１９を心拍測定装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１３、領域抽出部１４、波形検出部１５、パルス出力部１６ａ、パルス列抽出部１６ｂ、組選択部１６ｃ、第１の計数部１７ａ、第２の計数部１７ｂ、組抽出部１８または心拍測定部１９を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の心拍測定装置１０の機能を実現するようにしてもよい。

［心拍測定プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する心拍測定プログラムを実行するコンピュータの一例について説明する。

図１５は、実施例１及び実施例２に係る心拍測定プログラムを実行するコンピュータの一例について説明するための図である。図１５に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１５に示すように、上記の実施例１で示した取得部１３、領域抽出部１４、波形検出部１５、パルス出力部１６ａ、パルス列抽出部１６ｂ、組選択部１６ｃ、第１の計数部１７ａ、第２の計数部１７ｂ、組抽出部１８及び心拍測定部１９と同様の機能を発揮する心拍測定プログラム１７０ａが予め記憶される。この心拍測定プログラム１７０ａについては、図１に示した各々の取得部１３、領域抽出部１４、波形検出部１５、パルス出力部１６ａ、パルス列抽出部１６ｂ、組選択部１６ｃ、第１の計数部１７ａ、第２の計数部１７ｂ、組抽出部１８及び心拍測定部１９の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、心拍測定プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１５に示すように、心拍測定プログラム１７０ａは、心拍測定プロセス１８０ａとして機能する。この心拍測定プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、心拍測定プロセス１８０ａは、図１に示した取得部１３、領域抽出部１４、波形検出部１５、パルス出力部１６ａ、パルス列抽出部１６ｂ、組選択部１６ｃ、第１の計数部１７ａ、第２の計数部１７ｂ、組抽出部１８及び心拍測定部１９にて実行される処理、例えば図１２〜図１４に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の心拍測定プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータに、
生体が撮影された画像を取得し、
前記画像に含まれる生体領域を抽出し、
前記生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出し、
前記波形から得られるピークごとに当該ピークに対応するパルスを出力し、
前記パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択し、
前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍で前記パルスの出力が存在する第１の回数と、前記時点もしくは前記時点の近傍で前記パルスの出力が存在しない第２の回数とを計数し、
各パルス組の間で前記第１の回数および前記第２の回数の差を比較することによってパルス組を抽出し、
抽出されたパルス組の周期から心拍周期を測定する
処理を実行させることを特徴とする心拍測定プログラム。

（付記２）前記コンピュータに、
前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍以外で前記パルスの出力が存在する第３の回数を計数する処理をさらに実行させ、
前記パルス組を抽出する処理として、
前記第１の回数と前記第２の回数および前記第３の回数との差が最大であるパルス組を抽出することを特徴とする付記１に記載の心拍測定プログラム。

（付記３）前記コンピュータに、
前記コンピュータが有する操作部に対する操作を受け付けた期間に出力があったパルスを除外して前記パルス列を抽出する処理をさらに実行させることを特徴とする付記１または２に記載の心拍測定プログラム。

（付記４）前記コンピュータに、
前記生体領域に含まれる各画素の波長成分別の代表値が所定値以上変化している期間に出力があったパルスを除外して前記パルス列を抽出する処理をさらに実行させることを特徴とする付記１または２に記載の心拍測定プログラム。

（付記５）前記コンピュータに、
前記コンピュータが有するセンサによって加速度または角速度が所定値以上である期間に出力があったパルスを除外して前記パルス列を抽出する処理をさらに実行させることを特徴とする付記１または２に記載の心拍測定プログラム。

（付記６）前記パルスを出力する処理として、
前記波形の微分波形から得られるピークごとに当該ピークに対応するパルスを出力することを特徴とする付記１〜５のいずれか一つに記載の心拍測定プログラム。

（付記７）前記波形を検出する処理として、
前記波長成分ごとに各波長成分の間で脈波が採り得る周波数帯以外の特定周波数帯の成分を抽出し、
各波長成分の間で前記特定周波数帯の成分の大きさを比較することによって、各波長成分の間で前記代表値の信号の差が演算される場合に当該代表値の信号へ乗算される補正係数であって前記特定周波数帯の成分が演算後に最小化される補正係数を算出し、
各波長成分の代表値の信号のうち少なくとも一方の信号に前記補正係数を乗算し、
前記補正係数の乗算後に各波長成分の間で前記代表値の信号の差を算出することによって前記特定周波数帯の成分が互いに相殺された信号の波形を検出することを特徴とする付記１〜６のいずれか一つに記載の心拍測定プログラム。

（付記８）コンピュータが、
生体が撮影された画像を取得し、
前記画像に含まれる生体領域を抽出し、
前記生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出し、
前記波形から得られるピークごとに当該ピークに対応するパルスを出力し、
前記パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択し、
前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍で前記パルスの出力が存在する第１の回数と、前記時点もしくは前記時点の近傍で前記パルスの出力が存在しない第２の回数とを計数し、
各パルス組の間で前記第１の回数および前記第２の回数の差を比較することによってパルス組を抽出し、
抽出されたパルス組の周期から心拍周期を測定する
処理を実行することを特徴とする心拍測定方法。

（付記９）生体が撮影された画像を取得する取得部と、
前記画像に含まれる生体領域を抽出する領域抽出部と、
前記生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出する波形検出部と、
前記波形から得られるピークごとに当該ピークに対応するパルスを出力するパルス出力部と、
前記パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択する組選択部と、
前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍で前記パルスの出力が存在する第１の回数と、前記時点もしくは前記時点の近傍で前記パルスの出力が存在しない第２の回数とを計数する計数部と、
各パルス組の間で前記第１の回数および前記第２の回数の差を比較することによってパルス組を抽出する組抽出部と、
抽出されたパルス組の周期から心拍周期を測定する心拍測定部と
を有することを特徴とする心拍測定装置。

１０ 心拍測定装置
１１ カメラ
１２ タッチパネル
１３ 取得部
１４ 領域抽出部
１５ 波形検出部
１６ａ パルス出力部
１６ｂ パルス列抽出部
１６ｃ 組選択部
１７ａ 第１の計数部
１７ｂ 第２の計数部
１８ 組抽出部
１９ 心拍測定部

Claims (8)

1. コンピュータに、
   生体が撮影された画像を取得し、
   前記画像に含まれる生体領域を抽出し、
   前記生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出し、
   前記波形から得られるピークごとに当該ピークに対応するパルスを出力し、
   前記パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択し、
   前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍で前記パルスの出力が存在する第１の回数と、前記時点もしくは前記時点の近傍で前記パルスの出力が存在しない第２の回数とを計数し、
   各パルス組の間で前記第１の回数および前記第２の回数の差を比較することによってパルス組を抽出し、
   抽出されたパルス組の周期から心拍周期を測定する
   処理を実行させることを特徴とする心拍測定プログラム。
2. 前記コンピュータに、
   前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍以外で前記パルスの出力が存在する第３の回数を計数する処理をさらに実行させ、
   前記パルス組を抽出する処理として、
   前記第１の回数と前記第２の回数および前記第３の回数との差が最大であるパルス組を抽出することを特徴とする請求項１に記載の心拍測定プログラム。
3. 前記コンピュータに、
   前記コンピュータが有する操作部に対する操作を受け付けた期間に出力があったパルスを除外して前記パルス列を抽出する処理をさらに実行させることを特徴とする請求項１または２に記載の心拍測定プログラム。
4. 前記コンピュータに、
   前記生体領域に含まれる各画素の波長成分別の代表値が所定値以上変化している期間に出力があったパルスを除外して前記パルス列を抽出する処理をさらに実行させることを特徴とする請求項１または２に記載の心拍測定プログラム。
5. 前記コンピュータに、
   前記コンピュータが有するセンサによって加速度または角速度が所定値以上である期間に出力があったパルスを除外して前記パルス列を抽出する処理をさらに実行させることを特徴とする請求項１または２に記載の心拍測定プログラム。
6. 前記波形を検出する処理として、
   前記波長成分ごとに各波長成分の間で脈波が採り得る周波数帯以外の特定周波数帯の成分を抽出し、
   各波長成分の間で前記特定周波数帯の成分の大きさを比較することによって、各波長成分の間で前記代表値の信号の差が演算される場合に当該代表値の信号へ乗算される補正係数であって前記特定周波数帯の成分が演算後に最小化される補正係数を算出し、
   各波長成分の代表値の信号のうち少なくとも一方の信号に前記補正係数を乗算し、
   前記補正係数の乗算後に各波長成分の間で前記代表値の信号の差を算出することによって前記特定周波数帯の成分が互いに相殺された信号の波形を検出することを特徴とする請求項１〜５のいずれか一つに記載の心拍測定プログラム。
7. コンピュータが、
   生体が撮影された画像を取得し、
   前記画像に含まれる生体領域を抽出し、
   前記生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出し、
   前記波形から得られるピークごとに当該ピークに対応するパルスを出力し、
   前記パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択し、
   前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍で前記パルスの出力が存在する第１の回数と、前記時点もしくは前記時点の近傍で前記パルスの出力が存在しない第２の回数とを計数し、
   各パルス組の間で前記第１の回数および前記第２の回数の差を比較することによってパルス組を抽出し、
   抽出されたパルス組の周期から心拍周期を測定する
   処理を実行することを特徴とする心拍測定方法。
8. 生体が撮影された画像を取得する取得部と、
   前記画像に含まれる生体領域を抽出する領域抽出部と、
   前記生体領域に含まれる各画素の波長成分別の代表値の信号から波形を検出する波形検出部と、
   前記波形から得られるピークごとに当該ピークに対応するパルスを出力するパルス出力部と、
   前記パルスが連なるパルス列のうち互いの時間差が所定の範囲内であるパルス組を選択する組選択部と、
   前記パルス組ごとに、前記パルス組の周期の整数倍に対応する時点もしくは前記時点の近傍で前記パルスの出力が存在する第１の回数と、前記時点もしくは前記時点の近傍で前記パルスの出力が存在しない第２の回数とを計数する計数部と、
   各パルス組の間で前記第１の回数および前記第２の回数の差を比較することによってパルス組を抽出する組抽出部と、
   抽出されたパルス組の周期から心拍周期を測定する心拍測定部と
   を有することを特徴とする心拍測定装置。

Images