JP2017000612A - 脈拍推定装置、脈拍推定システムおよび脈拍推定方法 - Google Patents

Abstract

【課題】脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とする。【解決手段】脈拍推定装置が、被検体Ｈの少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラ２から入力される画像入力部２１と、その撮像画像から肌色領域を抽出する領域抽出部２２と、肌色領域の大きさを調整するべく、撮像画像を撮像したカメラ２またはそのユーザに対するズーム指令を送出するズーム指令部２８と、ズーム指令の送出後にカメラ２によって撮像された撮像画像の肌色領域に基づき、被検体Ｈの脈拍を推定する脈拍推定部２３とを備えた構成とする。【選択図】図２

Description

本発明は、人体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置、脈拍推定システムおよび脈拍推定方法に関する。

従来、人の脈拍の測定に関し、被検者の手首に測定者（看護師等）が指を当てて人的に脈動を確認する方法や、被検者の手首や指などに専用の測定機器を取り付けることにより、自動で脈動を検出する方法などが知られている。一方、そのような測定方法は、被検者の自由な行動が一時的に制限されたり、被検者に測定機器を取り付ける必要が生じたりするため、被検者（人体）と接触せずに脈拍を推定（検出）するための技術が開発されている。

例えば、人体に接触せずに心拍数（通常は脈拍数と同等）を検出する技術に関し、被検者を撮影して得られた画像データから時系列信号のスペクトル分布を抽出し、そのスペクトル分布から，心拍信号に起因するピーク周波数を特定することにより、心拍数を自動的に検出する心拍数検出装置が知られている（特許文献１参照）。

また、取得した脈波から心拍数を算出する技術に関しては、例えば、光照射部から照射され被検体内部を透過してきた光を検出する光検出部と、その光検出部により得られた計測信号に見られる脈波の連続した２つのピークから心拍数を算出する生体光計測装置が知られている（特許文献２参照）。

特開２０１２−２３９６６１号公報 特開２０１０−５７７１８号公報

しかしながら、上記特許文献１に記載された従来技術のように、カメラで撮影した顔画像などから脈拍を推定する場合、画像データから抽出される脈拍信号の変動量（すなわち、画素値の変動量）は微少であるため、カメラの性能や撮像条件（明るさなど）によっては、良好な脈拍信号を抽出できず（すなわち、脈拍信号の抽出に適した画像データを取得できず）、安定した脈拍の推定が困難になるという問題があった。このような問題は、脈拍信号から脈拍を検出する方法として上記特許文献２に記載されたような従来技術を用いた場合にも同様に発生し得る。

本発明は、このような従来技術の課題を鑑みて案出されたものであり、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とする脈拍推定装置、脈拍推定システムおよび脈拍推定方法を提供することを主目的とする。

本発明の脈拍推定装置は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、前記撮像画像から肌色領域を抽出する領域抽出部と、前記肌色領域の大きさを調整するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、前記ズーム指令の送出後に前記カメラによって撮像された前記撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定部とを備えたことを特徴とする。

本発明によれば、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定することが可能となる。

第１実施形態に係る脈拍推定システムの全体構成図 第１実施形態に係る脈拍推定システムの機能ブロック図 図２に示した脈拍推定装置の脈拍算出部による脈波抽出処理の説明図 図２に示した脈拍推定装置のズーム指令部による制御結果の説明図 第１実施形態に係る脈拍推定装置による処理の流れを示すフロー図 第２実施形態に係る脈拍推定システムの機能ブロック図 図６に示した脈拍推定装置の脈拍算出部による脈拍判定処理の説明図 図７に示した脈拍判定処理の変形例を示す説明図 第２実施形態に係る脈拍推定装置による処理の流れを示すフロー図 第３実施形態に係る脈拍推定システムの機能ブロック図 図１０に示した脈拍推定装置のズーム指令部による操作指示の例を示す説明図 第４実施形態に係る脈拍推定システムの機能ブロック図

上記課題を解決するためになされた第１の発明は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、前記撮像画像から肌色領域を抽出する領域抽出部と、前記肌色領域の大きさを調整するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、前記ズーム指令の送出後に前記カメラによって撮像された前記撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定部とを備えたことを特徴とする。

この第１の発明に係る脈拍推定装置によれば、カメラまたはそのユーザに対するズーム指令の送出後に当該カメラによって撮像された撮像画像に基づき脈拍を推定する構成としたため、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定することが可能となる。

また、第２の発明では、上記第１の発明において、前記肌色領域の大きさが予め設定された基準範囲を満たすか否かを判定する領域判定部を更に備え、前記ズーム指令部は、前記領域判定部により前記肌色領域の大きさが前記基準範囲を満たさないと判定された場合に、前記カメラまたはそのユーザに対する前記ズーム指令を送出することを特徴とする。

この第２の発明に係る脈拍推定装置によれば、肌色領域の大きさが基準範囲を満たすか否かについての領域判定部による判定結果に基づき、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を適切に送出することができるため、脈拍をより安定して推定することが可能となる。

また、第３の発明では、上記第２の発明において、前記領域判定部は、前記撮像画像における前記肌色領域を構成する画素の数に基づき前記肌色領域の大きさを決定し、前記画素数が予め設定された画素数の基準範囲を満たすか否かを判定することを特徴とする。

この第３の発明に係る脈拍推定装置によれば、肌色領域の大きさを、当該肌色領域を構成する画素の数に基づき決定するため、肌色領域を抽出することが容易となり、その結果、簡易な処理により脈拍を安定して推定することが可能となる。

また、第４の発明では、上記第２または第３の発明において、前記領域判定部は、前記カメラのイメージセンサの性能に応じて前記基準範囲を変更することを特徴とする。

この第４の発明に係る脈拍推定装置によれば、肌色領域の大きさを調整するための基準範囲が、イメージセンサの性能に基づき変更されるため、脈拍信号の抽出により適した画像データを取得することが可能となり、その結果、脈拍をより安定して推定することが可能となる。

また、第５の発明では、上記第２または第３の発明において、前記領域判定部は、前記撮像画像の露出条件に応じて前記基準範囲を変更することを特徴とする。

この第５の発明に係る脈拍推定装置によれば、肌色領域の大きさを調整するための基準範囲が、撮像時の露出条件に基づき変更されるため、脈拍信号の抽出により適した画像データを取得することが可能となり、その結果、脈拍をより安定して推定することが可能となる。

また、第６の発明では、上記第１の発明において、前記脈拍推定部は、前記ズーム指令の送出前の前記撮像画像に基づき、前記被検体の脈拍を推定するとともに、当該推定した脈拍が安定しているか否かを判定し、前記ズーム指令部は、前記脈拍推定部により前記脈拍が安定していないと判定された場合に、前記ズーム指令を送出することを特徴とする。

この第６の発明に係る脈拍推定装置によれば、脈拍推定部による判定結果（すなわち、推定した脈拍が安定しているか否か）に基づき、撮像画像を撮像したカメラまたはそのユーザに対するズーム指令を適切に送出することができるため、脈拍をより安定して推定することが可能となる。

また、第７の発明では、上記第１から第６の発明のいずれかにおいて、前記領域抽出部は、前記肌色領域として前記撮像画像における前記被検体における顔領域を抽出することを特徴とする。
この第７の発明に係る脈拍推定装置によれば、肌色領域として被検体における顔領域を抽出するため、肌色領域を抽出することが容易となり、その結果、簡易な処理により脈拍を安定して推定することが可能となる。

また、第８の発明では、上記第１から第７の発明のいずれかにおいて、前記ユーザに対する前記ズーム指令に基づき、前記ユーザに対する前記肌色領域の大きさの調整に関する要求を表示する表示部を更に備えたことを特徴とする。

この第８の発明に係る脈拍推定装置によれば、カメラのズーム操作をユーザにより確実に実行させることが可能となる。

また、第９の発明は、上記第１から第８の発明のいずれかに係る前記脈拍推定装置と、前記ズーム指令に基づき所定のズーム動作を実行する前記カメラとを備えたことを特徴とする脈拍推定システムである。

この第９の発明に係る脈拍推定システムによれば、カメラまたはユーザに対するズーム指令の送出後に画像入力部に入力される撮像画像に基づき、脈拍を安定して推定することが可能となる。

また、第１０の発明は、被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、前記撮像画像から肌色領域を抽出する領域抽出ステップと、前記肌色領域の大きさを、予め設定された基準範囲を満たすように変更するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令ステップと、前記ズーム指令の送出後に前記カメラによって撮像された撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定ステップとを有することを特徴とする。

この第１０の発明に係る脈拍推定方法によれば、カメラに対するズーム指令の送出後に画像入力部に入力される撮像画像に基づき、脈拍を安定して推定することが可能となる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（第１実施形態）
図１および図２は、それぞれ本発明の第１実施形態に係る脈拍推定システム１の全体構成図および機能ブロック図であり、図３は、脈拍推定装置３の脈拍算出部２３による脈波抽出処理の説明図であり、図４は、図２に示した脈拍推定装置３のズーム指令部２８による制御結果の説明図である。

脈拍推定システム１は、人体と接触せずに得られる情報（撮像画像）からその脈拍を推定するものであり、図１に示すように、人物（被検体）Ｈの少なくとも一部を被写体として撮影するカメラ２と、カメラ２の撮影により得られる撮像画像から人物Ｈの脈拍（脈拍数や脈波）を推定する脈拍推定装置３とを備えている。また、脈拍推定システム１において、カメラ２および脈拍推定装置３は、インターネットやＬＡＮ（Local Area Network）等のネットワーク４を介して互いに通信可能に接続されている。ただし、これに限らず、カメラ２および脈拍推定装置３が、公知の通信ケーブルによって通信可能に直接接続される構成であってもよい。

カメラ２は、公知のズームレンズ機構５を備えたビデオカメラである。図２に示すように、カメラ２は、ズームレンズ機構５を通して得られる被写体からの光を図示しないイメージセンサ（ＣＣＤ、ＣＭＯＳ等）に結像させることにより、その結像した像の光を電気信号に変換した映像信号を脈拍推定装置３に対して出力する撮像部１１と、ズームレンズ機構５の光学的なズーム動作を制御するズーム制御部１２とを備えている。撮像部１１では、ノイズ抑制や輪郭強調等を目的とする公知の信号処理を実施することが可能である。なお、図１では１台のカメラ２のみを示しているが、脈拍推定システム１では、同様のカメラを複数設けた構成も可能である。

脈拍推定装置３は、人物Ｈの少なくとも一部を含む時間的に連続する撮像画像（フレーム画像のデータ）として、撮像部１１からの映像信号が入力される画像入力部２１と、その撮像画像から人物Ｈの肌色領域（ここでは、顔領域）を抽出する領域抽出部２２と、その抽出された人物Ｈの肌色領域に基づき、人物Ｈの脈拍を算出する脈拍算出部（脈拍推定部）２３と、その脈拍の推定結果を含む各種情報を脈拍推定装置３のユーザに対して表示可能な公知のディスプレイ装置からなる表示部２４とを備えている。なお、領域抽出部２２によって抽出される肌色領域は、人体において肌が露出した領域であって、その領域の撮像画像データから脈拍を推定可能な領域である。

さらに、脈拍推定装置３は、領域抽出部２２によって抽出された肌色領域の大きさが、予め設定された基準範囲を満たすか否かを判定する領域判定部２６と、その基準範囲のデータを含め、脈拍推定に必要な各種データが記憶されるデータ記憶部２７と、領域判定部２６による判定結果に基づき肌色領域の大きさを調整するべく、カメラ２のズーム制御部１２に対してズーム指令を送出するズーム指令部２８とを備えている。

領域抽出部２２は、各撮像画像（フレーム画像）に対し、顔の特徴量を認識する公知の顔検出処理を実行することにより、その検出された顔の領域を人物Ｈの肌色領域として抽出・追尾する。また、領域抽出部２２は、抽出した顔領域に関する撮像画像のデータを脈拍算出部２３に送出すると共に、顔領域の大きさに関するデータ（ここでは、肌色領域を構成する画素数）を領域判定部２６に送出する。

領域抽出部２２では、上述の方法に限らず、撮像画像から予め設定された肌色成分（例えば、ＲＧＢの各画素値に関する予め設定された比率であって、人種等によって異なる値となる）を有する画素を抽出し、その画素が抽出された領域を肌色領域としてもよい。この場合、顔以外の肌が露出した部分（例えば、手や腕など）についても、肌色領域として抽出可能である。ただし、上述のように、人物Ｈの顔領域を肌色領域として抽出することにより、肌色領域を容易に抽出することができるという利点がある。なお、図１では、１人の人物Ｈのみを示しているが、撮像画像に複数の人物が含まれる場合、領域抽出部２２では、複数の顔領域が抽出され得る。

脈拍算出部２３は、時間的に連続する撮像画像において抽出された肌色領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０−２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈拍信号として生成する。この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成することができる。

生成された画素値（平均値）の時系列データは、例えば、図３（Ａ）に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、脈拍算出部２３は、その画素値に基づく時系列データに対し、公知のフィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等）を実施することにより、図３（Ｂ）に示すように、ノイズ成分を除去した脈波を脈拍信号として抽出することができる。さらに、脈拍算出部２３は、その脈波において隣接する２以上のピーク（またはゼロ点）間の時間から脈拍数を算出することができる。

後述するように、脈拍算出部２３は、ズーム指令部２８によるカメラ２へのズーム指令の送出後（すなわち、撮像画像中の顔領域が適切な大きさに調整された後）にカメラ２によって撮像された撮像画像の肌色領域に基づき人物Ｈの脈拍を算出する。なお、脈拍算出部２３は、上述の方法に限らず、他の公知の方法によって脈拍数を算出（推定）してもよく、例えば、図３（Ａ）に示したような時系列データの周波数解析（高速フーリエ変換）により取得したスペクトルの極大値を脈拍数として算出する構成も可能である。

領域判定部２６は、領域抽出部２２から肌色領域の画素数のデータを取得し、予め設定された画素数の閾値と比較する。ここでは、画素数の上限および下限に関する２つの閾値（以下、それぞれ上限閾値および下限閾値という。）が設定されており、領域判定部２６は、肌色領域の画素数を上限閾値および下限閾値と比較する。領域判定部２６における画素数の閾値は、脈拍算出部２３において良好な脈拍信号を取得するための画素数の基準範囲を定めるものである。

つまり、肌色領域の画素数が下限閾値よりも小さい場合には、上述の脈拍算出部２３における脈拍信号（図３（Ａ）、（Ｂ）参照）の抽出に適した撮像画像が取得できず（すなわち、必要な画素数を確保できず）、脈拍数を精度良く推定することが難しくなる。一方、肌色領域の画素数が上限閾値よりも大きい場合には、必要な画素数を確保できるとしても、人物Ｈの動きによって脈拍信号が大きく変動し、脈拍数を精度良く推定することが難しくなる場合がある。領域判定部２６による判定結果（すなわち、肌色領域の画素数と閾値との比較結果）はズーム指令部２８に対して送出される。なお、上限閾値を用いることなく、下限閾値のみで画素数の基準範囲を定めることも可能である。

データ記憶部２７には、上述の上限閾値および下限閾値のデータが記憶される。それら上限閾値および下限閾値は、カメラ２が備えるイメージセンサの性能等に関するイメージセンサ情報、カメラ２の撮影時の露出条件等に関する露出情報、及びカメラ２の信号処理情報に応じて異なる値が記憶されている。ここで、カメラ２のイメージセンサ情報として、例えば、ノイズに影響する飽和電子量や暗電流などを用いることができ、また、露出情報として、シャッター速度、絞り値、ＩＳＯ感度などを用いることができ、さらに、信号処理情報として、カメラ２の撮像部１１における信号処理（補正処理）に関する各パラメータなどを用いることができる。ここでは、イメージセンサ情報、露出情報、及び信号処理情報に基づき上限閾値および下限閾値が決定されるが、それらの少なくとも一部に基づき上限閾値および下限閾値が決定される構成も可能である。

なお、カメラ２のイメージセンサ情報としては、ユーザによって予め入力された情報を用いることができ、領域判定部２６は、そのユーザによる入力情報に応じて上限閾値および下限閾値を決定することができる。また、カメラ２の露出情報及び信号処理情報については、カメラ２から脈拍推定装置３に向けて送出される各情報を用いることが可能である。

ズーム指令部２８は、領域判定部２６によって肌色領域の画素数が下限閾値よりも小さいと判定された場合、撮像画像における肌色領域の大きさ（ここでは、画素数）を適切な大きさまで拡大すべく、カメラ２のズーム制御部１２に対するズーム指令としてズームイン指令を送出する。ズーム制御部１２は、そのズームイン指令に基づき、ズームレンズ機構５におけるレンズ駆動部にズームインの動作を実行させる。ここで、例えば図４（Ａ）に示すように、領域判定部２６よって顔領域Ｒの画素数が下限閾値よりも小さいと判定された撮像画像Ｐは、カメラ２のズームインの動作により、図４（Ｃ）に示すように、脈拍信号の抽出に適した大きさまで拡大される。

一方、ズーム指令部２８は、領域判定部２６によって肌色領域の画素数が上限閾値よりも大きいと判定された場合、撮像画像における肌色領域の大きさを適切な大きさまで縮小すべく、カメラ２のズーム制御部１２に対するズーム指令としてズームアウト指令を送出する。ズーム制御部１２は、そのズームアウト指令に基づき、ズームレンズ機構５におけるレンズ駆動部にズームアウトの動作を実行させる。ここで、例えば図４（Ｂ）に示すように、領域判定部２６よって肌色領域の画素数が上限閾値よりも大きいと判定された撮像画像は、カメラ２のズームアウトの動作により、図４（Ｃ）に示すように、脈拍信号の抽出に適した大きさまで縮小される。

また、ズーム指令部２８は、領域判定部２６による判定結果に基づき、カメラ２に対するズームインまたはズームアウトの必要量（肌色領域の拡大率または縮小率）の情報をズーム指令に含めることができる。或いは、カメラ２（ズーム制御部１２）が、ズーム指令部２８からの１つのズーム指令の受信時に予め設定された規定量のズームインまたはズームアウトの動作を実行する構成とし、肌色領域の大きさが予め設定された基準範囲を満たすまで、ズーム指令部２８からカメラ２に対するズーム指令の送出（すなわち、規定量のズームインまたはズームアウトの動作）が繰り返される構成も可能である。

なお、図４では、顔領域Ｒを矩形で示しているが、領域抽出部２２によって抽出される肌色領域は、例えば、頭部を除く顔の輪郭を外縁とすることができる。

上述のような脈拍推定装置３は、例えば、ＰＣ（Personal Computer）などの情報処理装置から構成することが可能である。詳細は図示しないが、脈拍推定装置３は、所定の制御プログラムに基づき各種情報処理や周辺機器の制御などを統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインタフェース、モニタ（画像出力装置）、スピーカ、入力デバイス、及びＨＤＤ（Hard Disk Drive）などを含むハードウェア構成を有しており、図２に示した脈拍推定装置３の各部の機能の少なくとも一部については、ＣＰＵが所定の制御プログラムを実行することによって実現可能である。なお、脈拍推定装置３の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。

図５は、第１実施形態に係る脈拍推定装置３による処理の流れを示すフロー図である。まず、領域判定部２６は、データ記憶部２７に記憶された閾値データから、領域抽出部２２によって抽出された肌色領域の大きさが、予め設定された基準範囲を満たすか否かを判定するための閾値（ここでは、上限閾値、下限閾値）を決定する（ＳＴ１０１）。ここで、データ記憶部２７には、種々のイメージセンサ情報、露出情報、及び信号処理情報に関する各データに応じて設定された複数の閾値を含む閾値テーブルが記憶されており、領域判定部２６は、撮像に使用されるカメラ２のイメージセンサ情報、露出情報、及び信号処理情報に応じて、その閾値テーブルから対応する閾値を選択することが可能である。或いは、領域判定部２６は、閾値テーブルを用いる代わりに、イメージセンサ情報、露出情報、及び信号処理情報を変数とする所定の演算処理から閾値の値を算出してもよい。

次に、カメラ２から画像入力部２１に対して撮像画像（フレーム画像）が入力されると（ＳＴ１０２）、領域抽出部２２は、その撮像画像における肌色領域を抽出し（ＳＴ１０３）、その肌色領域の大きさ（ここでは、画素数）を算出する（ＳＴ１０４）。続いて、領域判定部２６は、領域抽出部２２で算出された肌色領域の画素数と、ステップＳＴ１０１において決定された下限閾値とを比較する（ＳＴ１０５）。そこで、肌色領域の画素数が下限閾値よりも小さい場合（ＳＴ１０５：Ｙｅｓ）には、ズーム指令部２８は、カメラ２のズーム制御部１２に対してズームイン指令を送出し、これにより、カメラ２において所定量のズームインの動作が実行される（ＳＴ１０７）。

一方、ステップＳＴ１０５において、肌色領域の画素数が下限閾値以上であると判定された場合（Ｙｅｓ）には、更に、領域判定部２６は、肌色領域の画素数と、ステップＳＴ１０１において決定された上限閾値とを比較する（ＳＴ１０６）。そこで、肌色領域の画素数が上限閾値よりも大きい場合（ＳＴ１０６：Ｙｅｓ）には、ズーム指令部２８は、カメラ２のズーム制御部１２に対してズームアウト指令を送出し、これにより、カメラ２において所定量のズームアウトの動作が実行される（ＳＴ１０７）。

次に、脈拍算出部２３は、ズーム指令部２８によるカメラ２へのズーム指令の送出後（すなわち、肌色領域の大きさが適切に調整された後）にカメラ２によって撮像された撮像画像の肌色領域に基づき人物Ｈの脈拍を算出する（ＳＴ１０８）。ただし、ステップＳＴ１０７におけるズーム動作の実行が不要な場合（すなわち、ズーム動作の実行を必要とすることなく肌色領域の大きさが下限閾値と上限閾値との間の基準範囲を満たす場合）には、脈拍算出部２３は、撮像画像の肌色領域の大きさを変更することなく脈拍を算出する。

その後、脈拍算出部２３は、脈拍の算出結果について表示部２４に対して出力し、これにより、ユーザに対して推定された脈拍数および脈波の波形（図３（Ｂ）参照）が表示される（ＳＴ１０９）。

なお、脈拍推定装置３では、上述のステップＳＴ１０２−ＳＴ１０９がカメラ２から順次入力される撮像画像に対して繰り返し実行される。

（第２実施形態）
図６は、本発明の第２実施形態に係る脈拍推定システム１の機能ブロック図であり、図７は、脈拍推定装置３の脈拍算出部２３による脈波抽出処理の説明図であり、図８は、図７に示した脈拍判定処理の変形例を示す説明図である。図６−図８において、上述の第１実施形態と同様の構成要素については、同一の符号が付されている。また、第２実施形態では、以下で特に言及しない事項については、上述の第１実施形態の場合と同様とする。

第２実施形態に係る脈拍推定システム１は、領域抽出部２２によって抽出された肌色領域の大きさの調整が必要か否かを決定するために、上述の第１実施形態に係る領域判定部２６による判定の代わりに、脈拍算出部２３における判定を行う点において第１実施形態の場合とは異なる。

脈拍算出部２３は、上述の第１実施形態の場合と同様に脈波を抽出し、更にここでは、その抽出した脈波について安定しているか否かを判定する。例えば図７（Ａ）に示すように、脈拍算出部２３において安定した脈波が抽出された場合、ズーム指令部２８は、領域抽出部２２によって抽出された肌色領域の大きさの調整は不要であると判断して、カメラ２に対するズーム指令を送出しない。

一方、例えば図７（Ｂ）に示すように、脈拍算出部２３において不安定な脈波が抽出された場合、ズーム指令部２８は、カメラ２に対してズーム指令を送出する。この場合、ズーム指令部２８は、ズーム指令としてズームイン指令を送出する。ただし、ズーム指令部２８は、ズームイン指令の送出後も脈拍算出部２３において安定な脈波が抽出されない場合には、ズームアウト指令に切り替えることも可能である。

ここで、データ記憶部２７には、予め準備された安定した脈波に関する基準波形のデータが記憶されており、脈拍算出部２３は、その基準波形と、抽出された脈波とのマッチング処理を行うことにより、脈波が安定であるか否かを判定することができる。或いは、脈拍算出部２３は、抽出された脈波のピーク値を抽出し、所定時間におけるピーク値の大きさ（変動量）に基づき、脈波の安定性を判定してもよい。

また、脈拍算出部２３による脈拍判定処理は、上述のような脈波の波形に基づくものに限定されず、脈波から算出した脈拍数の時間的な変化に基づくものであってもよい。例えば図８（Ａ）に示すように、脈拍算出部２３において算出された脈拍数が安定している（所定時間において連続する脈拍数の変動量が予め設定された閾値を越えない）場合、ズーム指令部２８は、領域抽出部２２によって抽出された肌色領域の大きさの調整は不要であると判断して、カメラ２に対するズーム指令を送出しない。一方、例えば図８（Ｂ）に示すように、脈拍数が不安定である（所定時間において連続する脈拍数の変動量が予め設定された閾値を越えた）場合、ズーム指令部２８は、カメラ２に対してズーム指令を送出する。

図９は、第２実施形態に係る脈拍推定装置３による処理の流れを示すフロー図である。脈拍推定装置３では、まず、上述の図５に示したステップＳＴ１０２、ＳＴ１０３とそれぞれ同様のステップＳＴ２０１、ＳＴ２０２が実行される。

次に、脈拍算出部２３は、ズーム指令の送出前の撮像画像に基づき、人物Ｈの脈拍を算出（推定）する（ＳＴ２０３）。さらに、脈拍算出部２３は、ステップＳＴ２０３において抽出された脈波が不安定であるか否かを判定する（ＳＴ２０４）。そこで、脈波が不安定であると判定されると（ＳＴ２０４：Ｙｅｓ）、ズーム指令部２８は、カメラ２に対してズーム指令を送出し、これにより、カメラ２において所定量のズームインの動作が実行される（ＳＴ２０５）。

最終的に、ステップＳＴ２０４において脈波が安定していると判定されると、ユーザに対して推定された脈拍数および脈波の波形が表示される（ＳＴ２０６）。

（第３実施形態）
図１０は、本発明の第３実施形態に係る脈拍推定システム１の機能ブロック図であり、図１１は、図１０に示した脈拍推定装置３のズーム指令部２８による操作指示の例を示す説明図である。図１０および図１１において、上述の第１または第２実施形態と同様の構成要素については、同一の符号が付されている。また、第３実施形態では、以下で特に言及しない事項については、上述の第１または第２実施形態の場合と同様とする。

第３実施形態に係る脈拍推定システム１は、ズーム指令部２８によるズーム指令がカメラ２に対してではなく、脈拍推定装置３のユーザに対して送出される点において上述の第１実施形態の場合とは異なる。

ズーム指令部２８は、例えば、領域判定部２６において肌色領域の画素数が下限閾値よりも小さいと判定された場合、撮像画像における肌色領域の大きさを適切な大きさまで拡大すべく、ユーザに対するズーム指令としてズームイン指令を送出する。表示部２４は、ズーム指令部２８からのズームイン指令に基づき、ユーザに対して所定のズーム操作を促す操作指示を出力する。例えば図１１（Ａ）に示すように、領域判定部２６よって顔領域Ｒの画素数が下限閾値よりも小さいと判定された撮像画像Ｐについては、ユーザに対してズーム操作（ここでは、ズームインの操作）を促すようにズーム操作指示３１が表示される。これにより、ユーザによりカメラ２のズームインの操作が実行される。

また、別法として、例えば図１１（Ｂ）に示すように、ユーザが行うべきズーム操作の操作量の目安を示す表示枠３２を表示し、さらに、その表示枠３２に人物Ｈの顔の大きさを合わせることをユーザに促すようにズーム操作指示３１を表示する構成としてもよい。

（第４実施形態）
図１２は、本発明の第４実施形態に係る脈拍推定システム１の機能ブロック図である。図１２において、上述の第１から第３実施形態のいずれかと同様の構成要素については、同一の符号が付されている。また、第４実施形態では、以下で特に言及しない事項については、上述の第１から第３実施形態のいずれかの場合と同様とする。

第３実施形態に係る脈拍推定システム１は、ズーム指令部２８によるズーム指令がカメラ２に対してではなく、脈拍推定装置３のユーザに対して送出される点において上述の第２実施形態の場合とは異なる。

ズーム指令部２８は、脈拍算出部２３において不安定な脈波が抽出された場合、撮像画像における肌色領域の大きさを適切な大きさまで拡大すべく、ユーザに対するズーム指令としてズームイン指令を送出する。表示部２４では、上述の第３実施形態の場合と同様に、ユーザに対して所定のズーム操作を促す操作指示が出力される。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。例えば、本発明に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、医療的な用途に限らず、監視（空港等における検疫）や、スポーツ選手の体調管理など様々な用途に適用することが可能である。また、上記実施形態では、カメラおよび脈拍推定装置を設ける例を示したが、それらの一方が他方の機能の少なくとも一部（場合によっては全ての機能）を備えた構成も可能である。なお、上記脈拍推定装置、脈拍推定システムおよび脈拍推定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明に係る脈拍推定装置、脈拍推定システムおよび脈拍推定方法は、脈拍信号の抽出に適した画像データに基づき、脈拍を安定して推定可能とし、人体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置、脈拍推定システムおよび脈拍推定方法などとして有用である。

１ 脈拍推定システム
２ カメラ
３ 脈拍推定装置
５ ズームレンズ機構
１１ 撮像部
１２ ズーム制御部
２１ 画像入力部
２２ 領域抽出部
２３ 脈拍算出部（脈拍推定部）
２４ 表示部
２６ 領域判定部
２７ データ記憶部
２８ ズーム指令部
Ｈ 人物（被写体）
Ｐ 撮像画像
Ｒ 肌色領域

Claims (10)

1. 被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定装置であって、
   前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力部と、
   前記撮像画像から肌色領域を抽出する領域抽出部と、
   前記肌色領域の大きさを調整するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令部と、
   前記ズーム指令の送出後に前記カメラによって撮像された前記撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定部と
   を備えたことを特徴とする脈拍推定装置。
2. 前記肌色領域の大きさが予め設定された基準範囲を満たすか否かを判定する領域判定部を更に備え、
   前記ズーム指令部は、前記領域判定部により前記肌色領域の大きさが前記基準範囲を満たさないと判定された場合に、前記カメラまたはそのユーザに対する前記ズーム指令を送出することを特徴とする請求項１に記載の脈拍推定装置。
3. 前記領域判定部は、前記撮像画像における前記肌色領域を構成する画素の数に基づき前記肌色領域の大きさを決定し、前記画素数が予め設定された画素数の基準範囲を満たすか否かを判定することを特徴とする請求項２に記載の脈拍推定装置。
4. 前記領域判定部は、前記カメラのイメージセンサの性能に応じて前記基準範囲を変更することを特徴とする請求項２または請求項３に記載の脈拍推定装置。
5. 前記領域判定部は、前記撮像画像の露出条件に応じて前記基準範囲を変更することを特徴とする請求項２から請求項４のいずれかに記載の脈拍推定装置。
6. 前記脈拍推定部は、前記ズーム指令の送出前の前記撮像画像に基づき、前記被検体の脈拍を推定するとともに、当該推定した脈拍が安定しているか否かを判定し、
   前記ズーム指令部は、前記脈拍推定部により前記脈拍が安定していないと判定された場合に、前記ズーム指令を送出することを特徴とする請求項１に記載の脈拍推定装置。
7. 前記領域抽出部は、前記肌色領域として前記撮像画像における前記被検体における顔領域を抽出することを特徴とする請求項１または請求項６のいずれかに記載の脈拍推定装置。
8. 前記ユーザに対する前記ズーム指令に基づき、前記ユーザに対する前記肌色領域の大きさの調整に関する要求を表示する表示部を更に備えたことを特徴とする請求項１から請求項７のいずれかに記載の脈拍推定装置。
9. 請求項１から請求項８のいずれかに記載の前記脈拍推定装置と、前記ズーム指令に基づき所定のズーム動作を実行する前記カメラとを備えたことを特徴とする脈拍推定システム。
10. 被検体と接触せずに得られる情報からその脈拍を推定する脈拍推定方法であって、
    前記被検体の少なくとも一部を被写体として含む時間的に連続する撮像画像がカメラから入力される画像入力ステップと、
    前記撮像画像から肌色領域を抽出する領域抽出ステップと、
    前記肌色領域の大きさを、予め設定された基準範囲を満たすように変更するべく、前記撮像画像を撮像した前記カメラまたはそのユーザに対するズーム指令を送出するズーム指令ステップと、
    前記ズーム指令の送出後に前記カメラによって撮像された撮像画像の前記肌色領域に基づき、前記被検体の脈拍を推定する脈拍推定ステップと
    を有することを特徴とする脈拍推定方法。

Images