JP7065361B2 - 生体情報検出装置 - Google Patents

Description

本開示は、生体情報検出装置に関する。例えば、非接触で心拍等の生体情報を検出する生体情報検出装置に関する。

人間の健康状態を判断するための基礎的なパラメータとして、心拍、血流量、血圧、血中酸素飽和度などが広く用いられている。血液に関するこれらの生体情報は、通常、接触型の測定器によって測定される。接触型の測定器は、被検者の生体に取り付けられるため、特に長時間にわたって連続して測定する場合に被検者の不快感を招いていた。

人間の健康状態を判断するための基礎的な生体情報を簡単に測定する様々な試みがなされている。例えば、特許文献１は、カメラで撮影した顔などの画像情報から非接触で心拍数を検出する方法を開示している。特許文献２は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光のレーザドップラー効果を利用して血中酸素飽和度を測定する方法を開示している。特許文献３は、通常のカラーカメラを用いて周辺光の影響を除外して血中酸素飽和度を測定する方法を開示している。

一方、人の心理的変化を推定する方法も数多く提案されている。例えば、特許文献４および特許文献５は、人がストレス（緊張）を感じたり集中したりすることによって発生する鼻の周辺部分の温度の低下をサーモグラフィによって検知する方法を開示している。

特開２００５－２１８５０７号公報 特表２００３－５１７３４２号公報 特表２０１４－５２７８６３号公報 特開平６－５４８３６号公報 特開２００８－２３７２４４号公報 特開２００２－２０００５０号公報

黒田他、「情動変動に伴う顔色と顔面皮膚温の分析とその顔色合成」、ヒューマンインタフェース学会研究報告集 １（１）， １５－２０， １９９９

上記従来の技術では、取得される生体情報の精度もしくは安定性、または生体情報の取得の簡便性に課題があった。

本開示は、被検者の生体を拘束することなく、高い精度で生体情報を検出することができる生体情報検出装置を提供する。

本開示の一態様に係る生体情報検出装置は、
近赤外光によるパターンを、生体を含む対象物に投影する光源と、
近赤外波長域の光を検出する複数の第１の光検出セルと、可視波長域の光を検出する複数の第２の光検出セルとを含み、前記パターンが投影された前記対象物の近赤外波長域の画像である第１画像を示す第１画像信号を生成し、前記対象物の可視波長域の画像である第２画像を示す第２画像信号を生成する、１つ以上の撮像システムと、
前記第１画像信号および前記第２画像信号からなる群から選択される少なくとも１つを用いて、前記生体に関する生体情報を演算する演算回路と、を備える。

本開示の一態様によれば、被検者の生体を拘束することなく、測定環境によらず安定して生体の心拍・血流量・血中酸素飽和度等の生体情報を検出することが可能になる。

本開示のある実施形態における生体情報検出装置の構成を示す概略図 カメラによって取得される生体表面の画像の特性を説明するための図 カメラによって取得される生体情報の波長別の特性を説明するための図 生体の主要な成分であるヘモグロビン、メラニン、水の可視光から近赤外光での吸光係数と散乱係数を示す図 実施形態１における生体情報検出装置の構成と出力される画像データの概略を示す図 実施形態１の近赤外イメージセンサの特性を示す図 実施形態１のカラーイメージセンサの特性を示す図 実施形態１におけるコンピュータの構成を示すブロック図 実施形態１の信号処理のフローの概略を表わす説明図 実施形態１の体動補正の効果を示す説明図 実施形態１の生体情報取得のための信号処理の効果を示す説明図 実施形態１におけるコントラストの計算方法を示す説明図 実施形態２における生体情報検出装置の構成の一例を示す図 実施形態２における生体情報検出装置の構成の一例を示す図 実施形態２における内部散乱光強度の時間変化の一例を示す図 実施形態２の方法および従来の方法で血中酸素飽和度を測定した結果を示す図 実施形態３における生体情報検出装置の構成を示す図 実施形態３において取得した画像中の鼻部と頬部とを示す図 サーモグラフィを用いてストレスセンシングを行った結果を示す図 実施形態３の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図 実施形態４の生体情報検出装置の構成を示す図 実施形態４の生体情報検出装置を用いた見守りシステムの説明図 実施形態４の生体情報検出装置を用いた見守りシステムのアルゴリズムを示す図 実施形態５におけるドライバモニタリングのフローを示す図 実施形態６における生体情報検出装置の構成を模式的に示す図 実施形態６における複数のカラーフィルタを示す図 実施形態６におけるカラーフィルタの透過率の波長依存性を示す図 実施形態６におけるイメージセンサの断面構造図 実施形態６における他の生体情報検出装置の構成を模式的に示す図 実施形態６における他の複数のカラーフィルタを示す図 実施形態６におけるイメージセンサ相対感度の波長依存性を表わす図

（本開示の基礎となった知見）
本開示の実施形態を説明する前に、本開示の基礎となった知見を説明する。

前述のように、人間の健康状態を判断するための基礎的な生体情報を測定する様々な試みがなされている。例えば、特許文献１は、カメラで撮影した顔などの画像の情報から非接触で心拍数を検出する方法を提案している。特許文献１の方法は、取得したカラー画像の空間周波数成分を分析することによって心拍数を求める。しかし、この方法では、室内の照明光等の外乱光の影響によって精度が低下するため、安定な検出が困難である。

血中酸素飽和度の測定にはパルスオキシメータが一般に用いられる。パルスオキシメータは、指を挟みこむようにして赤色～近赤外の波長域に含まれる２つの波長の光を指に照射し、その透過率を測定する。これにより、血液中の酸化ヘモグロビンの濃度と還元ヘモグロビンの濃度との比を求めることができる。パルスオキシメータは、簡便な構成で血中酸素飽和度を測定できる。しかし、接触型の装置であるため、拘束感があるという課題がある。

非接触型の血中酸素飽和度測定装置の一例が特許文献２に開示されている。この装置は、白色光源とレーザー光源とを用いて、生体表面の後方で散乱したレーザー光によるレーザドップラー効果を利用して血中酸素飽和度を測定する。しかし、この方法では装置の構成が複雑になり、得られる信号も微弱であるという問題点がある。

特許文献３は、通常のカラーカメラを用いて周辺光の影響を除外して心拍や血中酸素飽和度を測定する方法を提案している。この方法では環境光の変動の影響が大きいため、高い精度で安定して心拍や血中酸素飽和度を測定することは困難である。

このように、従来の非接触式の血中酸素飽和度の測定方法は、精度および安定性に課題がある。現時点で実用に供されている非接触式の血中酸素飽和度測定装置は存在しない。

一方、人間の心理的変化を、サーモグラフィを用いて推定する方法が数多く提案されている（例えば、特許文献４および特許文献５）。これらの方法は、鼻部の体温度の低下をサーモグラフィによって検知する。人間の鼻部には動静脈吻合血管が多く、自律神経系の影響を受けて血液循環が阻害され易い。ストレスや緊張等の心理的変化によって自律神経の影響を受けて鼻部の血流が低下し、それに伴って鼻部の温度低下が生じる。特許文献４、５に開示された装置は、その温度変化をサーモグラフィによって検知することにより、被検者の心理的変化を推定する。サーモグラフィを用いる方法は、温度の低下までに時間を要するため応答性が低く、さらに、環境温度の影響を受けるなどの欠点がある。

顔の表面の血流を正確に測定できれば、より応答性が高く環境温度の影響を受けない心理変化の推定方法を確立できると考えられる。

これまで述べた方法の中では、通常のカメラを用いる方式は装置が安価で、応答速度が速く、解像度が高いという利点を持つため最も有望であると考えられる。課題は測定の安定性であるため、通常のカメラを用いて安定で高精度に生体情報の検出を行なうための方法について検討を行った。最初に通常の可視光に感度を有するカラーカメラと近赤外に感度を有する近赤外カメラを用いて、人の顔を撮影し額部に相当する画素領域を抜き出して色毎の画素信号の平均値を計測した。カラーカメラで青・緑・赤の３色の信号を取得し、近赤外カメラで７５０ｎｍ、８５０ｎｍの信号を取得た。図２は、色毎の額部の画素毎の信号平均値を時間に対して示している。図２において、信号Ａ、Ｂ、Ｃ、Ｄ、Ｅがそれぞれ青色、緑色、赤色、波長７５０ｎｍ、波長８５０ｎｍの信号を示している。接触式パルスオキシメータで測定した被検者の撮影時の心拍数は８０（拍／分）（０．７５秒／拍）であった。緑色の信号では心拍数に相当する明確な０．７５秒周期の信号が得られているが、赤色及び青色の信号では心拍に相当する信号は得られていない。赤色、青色の信号と比較すると、波長７５０、８５０ｎｍの近赤外の信号にはわずかに心拍の信号の痕跡が見られる。波長７５０、８５０ｎｍの近赤外の信号をある時間範囲で蓄積し周波数解析を行なうことで心拍に相当する周波数を取得することは可能である。実際にそのような手法で近赤外光を用いて心拍測定を行う手法が提案されている。しかしながら、図２に示した信号波形から明らかなように、近赤外光を用いる方式は信号雑音比が悪く測定精度を上げることが困難である。このため、カメラを用いた生体情報取得技術としては可視光カメラで得られる緑色の信号を用いる方式が主流になっている。緑色の信号を選択的に用いることで、信号雑音比を上げて高精度に生体情報取得が可能になる。しかしながらこの緑色の信号を用いる方法には課題がある。就寝時のモニタリング（乳幼児・高齢者見守り、入院患者の見守り、睡眠時無呼吸症候群患者見守りなど）、自動車運転者モニタリングなど、暗所で生体情報を取得したいという要望があるが、緑色の信号を用いた生体情報取得はこのような目的に適さない。なぜなら、暗所では信号が取得できないからである。また、環境光が変化するような条件では緑色の信号を用いた方式では安定に生体情報を測定することが困難である。

本発明者は、上記の課題に着目し、上記課題を解決するための構成を検討した。夜間または暗所での測定を考えると人間の眼に見えない近赤外光の利用が望ましい。しかしながら、図２に示すように単純に近赤外光画像を用いても信号雑音比の悪い信号しかえられず十分な測定精度を得ることは困難である。本開示の一態様は、パターン化された近赤外照明を用いて空間的に生体情報を分離することにより信号品質を改善する手法に関する。また、本開示の一態様は、近赤外光のパターンを生体表面に投影する光源を用いて近赤外光画像を取得し、あわせて近赤外光を含まない可視光画像を同時に取得し、近赤外光画像と可視画像を演算して生体情報を取得することに関する。

（原理）
以下、生体情報の高精度な取得を可能とする生体情報検出装置の原理を説明する。本開示の一態様に係る生体情報検出装置は近赤外パターン照明と近赤外撮像システムと可視光撮像システムからなり、両方の撮像システムの信号を適切に演算して環境を問わず安定した生体情報のセンシングを可能にする。安定した明るい照明環境では可視光撮像システムからの信号の比率を高め、逆に不安定な照明条件または暗い照明条件では近赤外撮像システムの信号の比率を高めることで、環境に依存しない安定な生体情報のセンシングが実現された。

図１Ａは、本開示の例示的な実施形態における生体情報検出装置の概略的な構成を示す図である。この装置は、生体を含む対象物に近赤外光Ｌ０を投影する光源１と、撮像システムであるカメラ２０１、カメラ２０２とを備える。ここで、カメラ２０１は近赤外光を撮像し、カメラ２０２は可視光を撮像する。図１Ａでは、近赤外パターン光として、離散的に配列された複数の点像であるドットパターンを生体に投影している。近赤外光を照射する光源１は、複数の点像を生体３に投影するように配置される。カメラ２０１、２０２は、イメージセンサを有し、生体表面４を撮像し、画像信号を生成して出力する。カメラ２０２は、生体３からの可視波長域の反射光Ｌ３を撮像する。

図１Ａには、対象となる生体３の皮膚表面の構造を示している。生体表面４で反射された光である表面反射光は、光源１によるドットパターンのイメージを保っている。これに対し、生体３の内部に侵入し生体内部で散乱されて生体表面４から出ていく光である内部散乱光は、生体内での強い散乱によって光源１のドットパターンのイメージを失っている。ドットパターンを照射する光源１を用いることにより、表面反射光Ｌ１と内部散乱光Ｌ２とを空間的に容易に分離できる。

図１Ａに示す生体３は人間の皮膚であり、表皮３３、真皮３４、および皮下組織３５を含む。表皮３３には血管がないが、真皮３４には毛細血管３１および細動静脈３２が存在する。表皮３３には血管がないため、表面反射光Ｌ１は血液に関する情報を含まない。表皮３３は光を強く吸収するメラニン色素を含むため、表皮３３からの表面反射光Ｌ１は血液の情報を取得する上ではノイズとなる。よって、表面反射光Ｌ１は、血液情報の取得に役立たないだけでなく、正確な血液情報の取得を妨げる。高い精度で生体情報を検知するためには、表面反射光の影響を抑制し、内部散乱光の情報を効率よく取得することが重要である。

本開示の一実施形態は、近赤外のパターン光を照射する光源１と近赤外光を撮像するカメラ２０１とを用いて、表面反射光と内部散乱光とを空間的に分離するという新規な構成を有する。これにより、生体内の情報を非接触で高い精度で測定することが可能となる。図１Ｂはカメラ２０１の画像出力の２次元分布を説明するための概略図である。光源１により投影された離散的に配列された複数の点像が黒丸で示されている。表面反射光はこの皮膚表面の黒丸の部分で反射する。一方、内部散乱光は皮膚の内部で広がって黒丸の部分の外側に広がる。内部散乱光の分布は図１Ｂの白丸で現されている。カメラ２０１で撮像された画像から表面反射光と内部散乱光は容易に分離できる。２次元画像の中で、黒丸で示される領域である光強度の強い部分が主として表面反射光が含まれる領域、黒丸以外の領域は内部散乱光が主として含まれる領域となる。このようにパターンを照射する光源を用いることで容易に表面反射光と内部散乱光を容易に分離することが可能になる。

従来、このような生体表面の表面反射光を分離するために、例えば特許文献６に開示されているような偏光照明を用いた方法が用いられてきた。偏光照明を用いた方法では、撮影対象から反射された照明光の偏光方向と直交する偏光透過軸をもつ偏光子が用いられる。そのような偏光子を通してカメラで撮像することにより、表面反射光の影響を抑制することができる。しかしながら、肌のような凹凸を有する表面からの反射に関しては、表面反射光の偏光度が位置によって異なり、十分に表面反射光を分離できないという課題があった。また、皮膚は強い散乱体であるため皮膚表面の浅い部分で散乱して反射する光は血液情報を含んでいないため分離すべき信号となるが、偏光は皮膚の浅い部分で失われるためこの成分を分離できず信号雑音比を上げられないという課題があった。これに対し、本開示の方法では皮膚の浅い部分での散乱光は光源のパターンの近傍に位置するため空間的に皮膚の深部から反射される生体情報を含んだ信号と空間的に容易に分離できる。本開示の方法によれば、表面反射光と内部散乱光とを空間的に分離できるため、表面反射光の影響をより効果的に抑制することができる。

本開示の実施形態における生体情報検出装置では、ドットパターンを投影する光源からの光の波長も重要である。光源の波長は、例えば略６５０ｎｍ以上略９５０ｎｍ以下に設定され得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれ、体内での吸収率が低いことで知られている。

図３は、酸化ヘモグロビン、還元ヘモグロビン、メラニン、および水のそれぞれの光の吸収係数、ならびに体内での光の散乱係数の波長依存性を示す図である。６５０ｎｍより短い可視光領域では血液、即ちヘモグロビンによる吸収が大きく、９５０ｎｍよりも長い波長域では水による吸収が大きい。よって、これらの波長域の光は生体内の情報の取得には適していない。一方、略６５０ｎｍ以上略９５０ｎｍ以下の波長範囲内では、ヘモグロビンおよび水の吸収係数が比較的低く、散乱係数は比較的大きい。よって、この波長範囲内の光は、体内に侵入した後、強い散乱を受けて体表面に戻ってくる。このため、効率的に体内の情報を取得することができる。

本開示の実施形態における生体情報検出装置は、この「生体の窓」に該当する波長域の光を利用する。これにより、生体表面で反射された光と体内で散乱して戻ってきた光とを高い精度で分離して検出できるため、体内の情報を効率的に取得することができる。

近赤外光を用いることで、従来の可視光を用いた方式に比べて夜間を含めより多くの場面で安定に生体情報を取得することが可能になる。しかしながら、測定環境が太陽光照明または電球照明であるような場合、近赤外光を用いた方式で課題が発生する場合がある。太陽光及び電球光は可視光だけでなく、近赤外光も多く含んでいる。このような環境で近赤外パターン照射を用いた場合、近赤外パターンが照射された領域以外にも環境からの太陽光または電球光からの近赤外光が照射される。このような場合でも、撮像される２次元分布から表面反射光と内部散乱光の分離は可能であるが、太陽光または電球光の影響で信号雑音比が劣化し、測定精度が低下するという懸念がある。このような場合、同時に取得されるカメラ２０２からの可視波長域の信号を用いることで精度を向上することが可能である。既に述べたように明るく安定した照明環境では緑色信号を用いることで高い測定精度を得ることが可能である。一方、暗所では近赤外光を用いることで高い測定精度を実現できる。測定環境に応じて、近赤外情報と可視光情報を切り替える、あるいは両者を併用して演算することで様々な環境に対して安定に生体情報を取得することが可能になる。明るく安定した環境光の下では緑色信号を用いて安定に計測することが可能であるので、このような環境下では近赤外照明を消すことにより照明に要する消費電力をなくし省エネルギーで測定を行なうことが可能になる。

本開示は、例えば、以下の項目に記載の態様を含む。

［項目１］
本開示の項目１に係る生体情報検出装置は、
近赤外光によるパターンを、生体を含む対象物に投影する光源と、
近赤外波長域の光を検出する複数の第１の光検出セルと、可視波長域の光を検出する複数の第２の光検出セルと、を含み、前記パターンが投影された前記対象物の近赤外波長域の画像である第１画像を示す第１画像信号を生成し、前記対象物の可視波長域の画像である第２画像を示す第２画像信号を生成する、１つ以上の撮像システムと、
前記第１画像信号および前記第２画像信号からなる群から選択される少なくとも１つを用いて、前記生体に関する生体情報を演算する演算回路と、
を備える。

［項目２］
項目１に記載の生体情報検出装置において、
前記パターンは、複数のドットを含んでいてもよい。

［項目３］
項目１または２に記載の生体情報検出装置において、
前記近赤外光は、６５０ｎｍ以上９５０ｎｍ以下の波長の光を含み、
前記可視波長域の光は、５００ｎｍ以上６２０ｎｍ以下の波長の光を含んでいてもよい。

［項目４］
項目１から３のいずれかに記載の生体情報検出装置において、
前記生体情報は、前記生体の心拍数、前記生体の血圧、前記生体の血流量、前記生体の血中酸素飽和度、前記生体の皮膚におけるメラニン色素の濃度、前記生体の皮膚におけるしみの有無、および前記生体の皮膚におけるあざの有無からなる群から選択される少なくとも１つを含んでいてもよい。

［項目５］
項目１から４のいずれかに記載の生体情報検出装置において、
前記演算回路は、前記第１画像信号を用いて、前記第１画像のうち、前記生体に対応する第１部分を検出してもよい。

［項目６］
項目５に記載の生体情報検出装置において、
前記演算回路は、前記第１画像に含まれる画素に対応する前記第１画像信号の強度及び前記画素の周囲に配置された複数の画素の各々に対応する前記第１画像信号の強度のばらつきと平均値との比に基づいて、前記画素に対応する位置に前記生体が存在するか否かを決定してもよい。

［項目７］
項目５または６に記載の生体情報検出装置において、
前記演算回路は、
前記第１画像の前記第１部分に含まれる画素及び前記画素の周囲に配置された複数の画素の中から、各画素に対応する前記第１画像信号の強度が強い順に選択された一部の画素の各々に対応する前記第１画像信号の強度の平均値と、各画素に対応する前記第１画像信号の強度が弱い順に選択された他の一部の画素の各々に対応する前記第１画像信号の強度の平均値との比に基づいて、前記生体情報を演算してもよい。

［項目８］
項目５または６に記載の生体情報検出装置において、
前記演算回路は、
前記第１画像の前記第１部分に対応する、前記第２画像の第２部分に含まれる複数の画素の各々に対応する前記第２画像信号の強度の平均値を用いて、前記生体情報を演算してもよい。

［項目９］
項目１から８のいずれかに記載の生体情報検出装置において、
前記１つ以上の撮像システムは、
前記複数の第１の光検出セルが配置された第１の領域と、前記複数の第２の光検出セルが配置された第２の領域とに分割された撮像面を有する撮像素子と、
前記第１の領域に前記第１画像を形成する第１の光学系と、
前記第２の領域に前記第２画像を形成する第２の光学系と、
をさらに含んでいてもよい。

［項目１０］
項目９に記載の生体情報検出装置において、
前記１つ以上の撮像システムは、
前記近赤外波長域の光を透過させる第１のバンドパスフィルタと、
前記可視波長域の光を透過させる第２のバンドパスフィルタと、をさらに含んでいてもよい。

［項目１１］
項目９に記載の生体情報検出装置において、
前記１つ以上の撮像システムは、
前記近赤外波長域の光を透過させる第１のバンドパスフィルタと、
前記光源の偏光方向と垂直となるように配置された直線偏光フィルタと、
前記可視波長域の光を透過させる第２のバンドパスフィルタと、をさらに含み、
前記近赤外光は直線偏光であり、
前記直線偏光フィルタは、前記直線偏光フィルタが透過させる直線偏光の偏光方向が、前記近赤外光の偏光方向に対して垂直となるように配置されていてもよい。

［項目１２］
項目９に記載の生体情報検出装置において、
前記撮像素子は、
前記複数の第１の光検出セルに対向し前記近赤外波長域の光を透過させる第１のカラーフィルタと、前記複数の第２の光検出セルに対向し前記可視波長域の光を透過させる第２のカラーフィルタと、前記複数の第２の光検出セル及び前記第２のカラーフィルタに対向し前記近赤外波長域の光を吸収する近赤外吸収フィルタとを含んでいてもよい。

［項目１３］
項目１から８のいずれかに記載の生体情報検出装置において、
前記１つ以上の撮像システムは、第１の撮像システム及び第２の撮像システムを含み、
前記第１の撮像システムは、
前記複数の第１の光検出セルが配置された第１の撮像面を有する第１の撮像素子と、
前記第１の撮像面に前記第１画像を形成する第１の光学系とを含み、
前記第２の撮像システムは、
前記複数の第２の光検出セルが配置された第２の撮像面を有する第２の撮像素子と、
前記第２の撮像面に前記第２画像を形成する第２の光学系と、を含んでいてもよい。

［項目１４］
項目１３に記載の生体情報検出装置において、
前記第１の撮像システムは、前記近赤外波長域の光を透過させる第１のバンドパスフィルタをさらに含み、
前記第２の撮像システムは、前記可視波長域の光を透過させる第２のバンドパスフィルタをさらに含んでいてもよい。

［項目１５］
項目１から１４のいずれかに記載の生体情報検出装置において、
前記演算回路は、
前記第１の画像信号および前記第２の画像信号に基づいて前記生体の血流量および前記生体の血中酸素飽和度を演算し、
前記生体の血流量および前記生体の血中酸素飽和度に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。

［項目１６］
項目１から１４のいずれかに記載の生体情報検出装置において、
前記第１画像および前記第２画像に、前記生体の頬および鼻からなる群から選択される少なくとも１つが含まれるとき、
前記演算回路は、前記第１画像信号および前記第２画像信号を用いて、前記頬および前記鼻からなる群から選択される前記少なくとも１つにおける血流量の時間変化および血中酸素飽和度の時間変化を演算し、
前記血流量の時間変化および前記血中酸素飽和度の時間変化を用いて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。

［項目１７］
項目１から１４のいずれかに記載の生体情報検出装置において、
前記第１画像および前記第２画像に、前記生体の頬および鼻が含まれるとき、
前記演算回路は、前記第１画像信号および前記第２画像信号を用いて、前記頬における血流量の時間変化および血中酸素飽和度の時間変化、並びに前記鼻における血流量の時間変化および血中酸素飽和度の時間変化を演算し、
前記頬における前記血流量の時間変化および前記血中酸素飽和度の時間変化と、前記鼻における前記血流量の時間変化および前記血中酸素飽和度の時間変化との比較に基づいて、前記生体の体調、感情、および集中度からなる群から選択される少なくとも１つを示す情報を生成してもよい。

［項目１８］
項目１から１７のいずれかに記載の生体情報検出装置において、
前記１つ以上の撮像システムは、
前記複数の第１の光検出セルが配置された撮像面を有する撮像素子と、
前記撮像面に前記第１画像を形成する光学系と、
前記光学系の焦点を調整する調整機構と、
をさらに含み、
前記調整機構は、前記焦点を調整することにより、前記第１画像のコントラストを最大にしてもよい。

［項目１９］
項目１に記載の生体情報検出装置において、
前記演算回路は、
前記第１画像信号を用いて演算された前記生体情報の信頼性と、前記第２画像信号を用いて演算された前記生体情報の信頼性と、を演算して比較してもよい。

［項目２０］
項目１から８のいずれかに記載の生体情報検出装置において、
前記１つ以上の撮像システムは、
前記複数の第１の光検出セルが配置された第１の領域と、前記複数の第２の光検出セルが配置された第２の領域とに分割された撮像面を有する撮像素子と、
前記第１の領域及び前記第２の領域に画像を形成する投影光学系と、
前記投影光学系に、前記近赤外波長域の光及び前記可視波長域の光を入射する反射光学系と、をさらに含んでいてもよい。

本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインタフェース、を備えていても良い。

以下、本開示の実施形態をより詳細に説明する。以下の実施形態は主に人の顔面を生体表面として、非接触で生体情報を測定する生体情報検出装置に関する。ただし、本開示の技術は人間の顔面に限らず、顔面以外の部位または人間以外の動物にも適用可能である。

（実施形態１）
第１の実施形態として、本開示の技術を非接触の心拍計測に応用したシステムを説明する。ヘルスケア意識の高まりにより、定常的な生体情報センシングの重要性が増している。非接触で常時生体情報が測定可能なシステムは、病院だけでなく日常生活における健康管理にも重要である。本実施形態のシステムは、非接触で心拍数および心拍変動をモニタリングすることができる。

図４Ａは、本実施形態の生体情報検出装置の概略的な構成を示す図である。本実施形態の生体検知システムは、図４Ａに示すように、生体３から離れた位置に配置された近赤外の波長域の光線を射出する光源１と、照射された生体表面の画像を記録可能であって、近赤外光を撮像するカメラ２０１とほぼ同等の撮像範囲を持つように調整され、可視光を撮像するカメラ２０２と、撮像された画像から生体情報を算出して出力するコンピュータ２０とを備えている。カメラ２０１、２０２は撮像システムに相当する。コンピュータ２０は演算回路を含む。

近赤外パターンを照射する光源１は、ドットパターンを生体表面に投影する。ドットパターンは、典型的には２次元に配列された微小な輝点の集合である。用途によっては１次元に配列されたドットパターンを用いてもよい。本実施形態では、例えばＯｓｅｌａ社のランダムドットパターンレーザープロジェクターＲＰＰ０１７ＥＳを光源１として使用できる。このレーザー光源は８３０ｎｍの近赤外レーザー光を発する光源であり、４５°×４５°の視野角内に５７４４６点のレーザードットパターンを投影する。

カメラ２０１は、第１の光学系であるレンズ５０１と、筐体６０１とを有する。レンズ５０１は複数のレンズの集合体であり得る。筐体６０１の内部には固体撮像素子であるイメージセンサ７０１と、８３０ｎｍ±１０ｎｍの波長の光のみを透過するバンドパスフィルタ８０１とが搭載されている。イメージセンサ７０１は近赤外光を受光する。一方、カメラ２０２は、カメラ２０１と同様に、第２の光学系であるレンズ５０２と、筐体６０２と、イメージセンサ７０２と、バンドパスフィルタ８０２とを備える。バンドパスフィルタ８０２の透過波長が５２０から６００ｎｍの緑色波長を透過する。イメージセンサ７０２は可視光を受光する。

イメージセンサ７０１、７０２の特性を図４Ｂに実線で示す。本実施例では、イメージセンサ７０１、７０２ともに、カラーフィルタを持たず、紫外光から近赤外光（波長３００－１２００ｎｍ）に感度を有する白黒シリコンイメージセンサを用いた。通常の白黒イメージセンサは、図４Ｂに点線で示すように、５５０－６００ｎｍ程度の波長に感度ピークを持つ。これに対してイメージセンサ７０１、７０２は、感度を有する波長範囲は通常の白黒イメージセンサとほぼ同等であるが、フォトダイオードの深さを増すことにより長波長側の感度を増すように設計されたイメージセンサである。このような特性を有するイメージセンサを、本明細書では近赤外イメージセンサと呼ぶ。近赤外信号をより高感度に検出するために、イメージセンサ７０１だけでなく、イメージセンサ７０２にも近赤外イメージセンサを用いた。これは、二つのイメージセンサの特性を揃えることにより、以降の信号処理を容易にするためである。イメージセンサ７０２については、より価格の低い通常の白黒イメージセンサを用いることも可能である。

さらに、イメージセンサ７０２については、図４Ｃに示す通常のカラーイメージセンサを用いることも可能である。カラーイメージセンサは赤・緑・青のカラーフィルタを画素上に配置することで、３色の色信号を分離して検出できる。ただしこの場合には、イメージセンサ７０２の前部に配置されるバンドパスフィルタ８０２の透過波長を４００から６５０ｎｍ程度拡げて、可視光全域の波長を透過させる。既に述べたように、生体情報のセンシングには緑色光を用いることが有効であり、青色光と赤色光の画素は必要ないように考えられる。しかし、後に述べるように被検者の動き（体動）の補正のために、生体情報を多く含む緑色の信号と生体情報を含まない赤または青色の信号とを用いた演算を行なうことが有効である。そこで、体動の大きな状況で使用する場合には図４Ｃに示すカラーイメージセンサの利用が有効となる。

人を対象物とする場合、図４Ａの部分（ａ）に示すように、カメラ２０１は、位置ごとの赤外線反射率に応じた輝度をもつ複数の点像を含む画像を取得する。既に述べたように、生体は赤色から近赤外線の波長に対して「生体の窓」と呼ばれる特異な光学特性を持つ。人体の肌はこの波長範囲では吸収係数が小さく、散乱係数が大きいため、皮膚の表面を透過した光は体内で多重散乱を繰り返して拡散して広範囲にわたっては肌表面から射出される。上記波長範囲では、表面反射光に対して内部散乱光の割合が高いことが生体の特徴である。これに対し、生体以外の物体では、内部散乱光よりも表面反射光の割合の方が高い。よって、表面反射光と内部散乱光との割合に基づいて生体を検知することが可能となる。これにより画像内の生体領域を検知することができる。さらに得られた画像内の生体領域のみの画素信号を用いて生体情報を高速に取得することが可能になる。これは、肌の光学特性を用いた人体領域の検出が従来の画像認識を用いた方法に比べて高速・高精度になるためである。ここでは、図４Ａの部分（ｂ）に示すように、検知された肌領域から、安定した生体情報の取得が可能な額部（長方形の枠で表示）を抽出し生体情報の検出に用いている。カメラ２０２はカメラ２０１とほぼ同等の撮像範囲を持つよう調整されているため、カメラ２０１で得られた額領域の座標からカメラ２０２の額位置を確定することができる。可視光画像からの生体情報検出にはこの額領域内の信号を用いる。ここで、近赤外光画像と可視光画像は同一の対象物を撮像しているため緑色画像の画像認識により高精度に可視画像上で額位置を正確に決定することも可能であるが、画像認識処理は計算負荷が大きいため処理を簡略化してもよい。近赤外画像では拡散光成分と表面反射光成分から高速・高精度に生体情報検出領域の検知ができている。この画像信号を用いて緑色信号の生体情報検出領域を決定することができる。２台のカメラの配置が十分高精度に調整されていれば、近赤外画像の座標から一定値をシフトすることにより、緑色画像の生体情報検出領域を決定することができる。２台のカメラの配置が十分に調整されていない場合、近赤外画像から得られた生体情報検出領域と緑色画像の閾値以上の反射光強度の領域をＡＮＤ処理することで、緑色画像の生体情報検出領域を決定することができる。

図４Ａの部分（ｃ）に示すように、カメラ２０１で取得された近赤外光画像から表面反射光Ｌ１と内部散乱光Ｌ２を空間的に分離し、この両者を用いることで生体情報を演算する。一方、カメラ２０２で取得された緑色画像から生体情報を演算する。既に述べたように、測定環境に応じて近赤外情報と可視光情報を切り替える、あるいは両者を併用して演算することで様々な環境に対して安定に生体情報を取得することが可能になる。

図４Ｄは、生体情報演算装置であるコンピュータ２０の構成を示すブロック図である。コンピュータ２０は、カメラ２０１、２０２に電気的に接続された入力インタフェース２１と、画像内の人体を検出する信号処理を行う演算回路２２と、検出された人体領域内の画像データを用いて生体情報を算出する演算回路２３と、各種のデータを記録するメモリ２５と、装置全体の動作を制御する制御回路２６と、データを出力する出力インタフェース２４と、処理結果を表示するディスプレイ２７とを備えている。演算回路２２、２３は、例えばデジタルシグナルプロセッサ（ＤＳＰ）等の画像処理回路であり得る。制御回路２６は、例えば中央演算処理装置（ＣＰＵ）またはマイクロコンピュータ等の集積回路であり得る。制御回路２６は、例えばメモリ２５に記録された制御プログラムを実行することにより、光源１への点灯指示、カメラ２０１，２０２への撮像指示、および演算回路２２、２３への演算指示等の制御を行う。制御回路２６と演算回路２２、２３は、統合された１つの回路によって実現されていてもよい。この例ではコンピュータ２０がディスプレイ２７を備えているが、ディスプレイは有線または無線で電気的に接続された外部の装置であってもよい。コンピュータ２０は、不図示の通信回路によって遠隔地のカメラから画像情報を取得してもよい。

ここで、近赤外のパターン光を照射する光源１を用いる方法とその効果について説明する。図２に示したように近赤外の均一光源を用いて撮影した近赤外画像の生体情報に対する信号雑音比は低く十分な精度を得ることが困難であるという課題があった。本開示では近赤外のパターン光を用いている。既に述べたように、近赤外のパターン光の生体表面での反射光をカメラにより撮像した画像から、生体表面での表面反射光と、生体内部に入射し生体内で拡散して表面から出射する内部散乱光とは容易に空間的に分離できる。表面反射光は生体内部の情報を含んでいないが、内部散乱光は皮膚内部を散乱して再放出された光であるため生体内部の情報を含んでいる。内部散乱光を選択的に用いることにより生体情報を高精度に検知することが可能になる。具体的な検出方法について、図５Ａ、図５Ｂ、図５Ｃを用いて詳細に説明する。図５Ａの部分（ａ）は、ランダムドットパターンからなる近赤外パターン照明を人体に投影して近赤外カメラで撮影した画像である。ここでは生体情報を安定して検出可能な額領域を選択して生体情報の取得を行なっている。近赤外光画像から肌領域を抽出し演算を行なう。図５Ａの部分（ｂ）に示す額領域の画像をみると照明パターンに対応した濃淡が判別できる。図５Ａの部分（ｃ）、（ｄ）に示すように、額領域を、５ｘ５画素を単位とする複数の部分に分割する。図５Ａの部分（ｅ）に示すように、各部分について、２５画素の中で画素の光強度を比較し、Ａで示す光強度の強い上位１０画素の光強度の平均値を求め、この領域内の表面反射光の成分の強度と定義する。一方、２５画素の中で、Ｂで示す光強度の弱い下位１０画素の光強度の平均値を求め、この領域内の内部散乱光の成分の強度と定義する。２５画素ごとに額領域全体の表面反射光と内部散乱光の成分を求めてそれぞれを平均化することにより、額領域の平均表面反射光と平均内部散乱光の成分の強度を演算する。ここで、表面反射光と内部散乱光は空間的に近接した画素の情報であるため似た信号となる。非接触の生体情報センシングでは常に大きな問題となる外乱要因（環境光の変動、測定システム及び被検者の動き）の影響は表面反射光と内部散乱光でほぼ同様である。唯一の違いは、内部散乱光は生体内の情報をより多く含んでいることである。この特性を利用して体動等の信号検出時の外乱要因を補正することが可能となる。具体的な補正方法としては、内部散乱光と表面反射光の強度比、あるいは内部散乱光の強度から表面反射光の強度に一定値を掛けた値を減算するなどの方法がある。表面反射光の強度に積算する定数を求めるために独立成分分析を用いても良い。ここでは内部散乱光の強度と表面反射光の強度との単純な除算で十分な補正効果が得られたため、除算により外乱要因の補正を行った。図５Ｂに補正の効果を示した。図５Ｂは時間に対する額領域の全画素の平均値の信号Ａと、図５Ａに示した方式で求めた内部散乱光と表面反射光の強度比の信号Ｂを示している。静止した状態から、３５秒過ぎから首振り運動を行なった状態のデータである。どちらのデータも額領域の追尾を行い、額領域が測定領域となるようにして測定を行なっている。全画素平均値は首振りにより大きく変動しており揺らぎのように見える小さな心拍信号は検出が困難であることがわかる。これに対し、内部散乱光と表面反射光の比では首振りの影響は見えているが、出力信号にはっきりと脈動の信号が見えており、大きな体動にも関わらず生体情報の検出が可能となっていることがわかる。図５Ｃに得られた心拍信号を示した。従来方式である全画素を用いた方式で求めた信号Ａでは、心拍情報の信号雑音比が低く安定した生体情報の取得は困難であった。近赤外パターン光源を用いて内部散乱光と表面反射光を分離して計測し信号演算を施すことにより求めた信号Ｂでは、信号雑音比が大幅に改善した。図５Ｃに示した例では全画素の平均値を用いた場合に比べて信号雑音比は３０倍改善していた。このように近赤外パターン光源を用いる方式は、近赤外光を用いて生体情報を検出するために極めて有効である。なお、上記の例では、５ｘ５画素、上位１０画素、及び下位１０画素の信号を用いているが、これらの値は光源のパターンとカメラの解像度、被検者とカメラの距離等によって最適値が異なるため、システムと使用条件に応じてこれらの値は可変で設定することが望ましい。

ここまで近赤外パターン光源を用いた近赤外カメラを用いた生体情報センシングの信号処理について説明した。併用される緑色光を用いた生体情報センシングでは、既に述べたように緑色光の信号雑音比が高いため特殊な光源を用いる必要はなく環境光を光源として生体情報センシングが可能である。このため、緑色光の信号処理は測定領域（例えば額領域）を決定した後で、その領域内の平均光強度を用いて簡単に演算できる。しかしながら、緑色光を用いた場合にも平均光強度は体動の影響を強く受ける。安定した信号検出のためには緑色光に対しても体動補正を施してもよい。体動の影響の除去に関しては、撮像された被検者の同一シーンにおける生体情報の割合の低い画像データと生体情報を多く含む画像データの演算で体動の影響を除去できることは、既に近赤外光画像における体動補正方法で説明したとおりである。近赤外光画像の場合には、生体情報の割合の低い画像データとして表面反射光成分を用い、生体情報を多く含む画像データとしては内部散乱光を用いた。緑色光の場合には、緑色光の画像は生体情報を多く含むデータであるので、近赤外光で取得した表面反射光成分を生体情報の割合の低い画像データとして用いることができる。緑色光の平均光強度と近赤外光の表面反射光成分の間で演算を行なうことにより緑色光の体動補正が可能となる。具体的な演算手法としては、既に述べたように両者の除算あるいは一定値を積算した上での減算により体動の影響を除去し、高精度な計測が可能となる。緑色光の体動補正については別の方法も可能である。図４Ａに示す測定システムの中のイメージセンサ７０２がカラーイメージセンサである場合には、可視光カメラから赤・緑・青の３色の画像データが出力される。このうち生体情報が多く含まれる緑色データと生体情報の含まれる割合の低い赤色または青色の信号を用いて演算を行なうことで、体動補正が可能になる。この方式では体動だけでなく環境光の変動も補正可能になるという利点と、同一の視野内での位置あわせ精度の高い補正が可能になるというメリットがあるが、緑色光の信号が減り、解像度が低下するという課題もある。

上記の生体情報センシングでは、効率的に測定領域を決定するために、近赤外パターン照明を用いて人体の肌領域を検出している。従来方法では、画像認識で顔部位を抽出していたが、画像認識は計算負荷が大きく高速な処理のためには高性能な計算機が必要となり装置の大型化・高価格化を招いていた。本開示の一態様では、近赤外パターン照明を用いることで軽い計算負荷で高精度・高速に人体検出を可能にしている。人体検出の具体的な方法について、図６を用いて説明する。図６は検出領域内のコントラストの計算に用いる画素領域の一例を示す図である。画像データは２次元の強度データとしてメモリ２５に記録されている。横（ｘ）方向にｉ番目、縦（ｙ）方向にｊ番目の画素のデータをＰ_ijとする。この（ｉ，ｊ）画素のコントラストＣ_ijを以下のように定義する。
Ｃ_ij ＝ Ｓ_ij ／ Ａ_ij

ここで、Ｓ_ijおよびＡ_ijは、それぞれ、（ｉ，ｊ）画素を中心とする７×７画素の領域内の画素データの標準偏差値および平均値である。表面反射光に対する内部散乱光の比率が高まるほど標準偏差値Ｓ_ijが小さくなるため、Ｃ_ijの値は小さくなる。この処理を全画素について繰り返した上で、演算回路２２は、Ｃ_ijの値が所定の範囲内である画素のみを抽出する。一例として図５Ａに示した近赤外光画像では、０．２ ＜ Ｃ_ij ＜ ０．４７とすることで人体領域を正しく抽出できた。

このように、本実施形態によれば、肌の特異な光学特性を利用して、対象物の中から肌領域を効率的に検出することが可能である。ここでは画像のコントラスト（即ち表面反射光と散乱光とのコントラスト）を求めるために７×７画素の領域内の平均値と分散標準偏差値を求めたが、これは一例である。コントラストの演算に用いられる画素領域のサイズ（即ち画素数）は、近赤外のパターン光によって形成される複数の点像の密度とカメラ２０２の解像度に応じて適切に設定される。計算結果のばらつきを抑えるために、演算対象の画素領域内に複数（例えば３個数点以上）の照明点像が含まれていてもよい。演算対象の領域の画素数を増加させることによってコントラストの計算値の精度は向上するが、得られる生体のイメージの解像度は低下する。このため、演算対象の領域の画素数は、システムの構成と使用目的とに応じて適切に設定する。さらに、演算対象の画素数だけでなく、この処理を繰り返す画素の間隔も処理速度を左右する。上記の処理では高速化のために５画素間隔で演算を行なった。画素間隔を減らすことで処理速度は遅くなるが、解像度を向上することができる。演算の繰り返し画素間隔についても、システムの構成と使用目的とに応じて適切に設定する。同様に、コントラストの所定の範囲も、０．２ ＜ Ｃ_ij ＜ ０．４７に限らず、システムの構成と使用目的とに応じて適切に設定される。

通常の可視カメラまたは近赤外カメラを用いて、心拍を非接触でモニタする方法については数多くの方法が提案されている。これらの従来の方法では、表面反射光の成分と散乱光の成分との分離が不十分なため、非接触では外乱光の影響を受けやすく、安定で高精度な測定は困難であった。本実施形態のように表面反射光成分と散乱光成分とを空間的に分離することにより、安定で高精度な心拍測定が可能になった。例えば、従来のカメラを用いた遠隔心拍測定では体動があった場合、検出が不安定になり精度の高い心拍測定は不可能であった。本方法を用いることにより体動があっても安定して心拍を測定することが可能になった。

本実施形態の生体情報検出装置を用いることで、被検者の動きを妨げることなく、就寝時を含め、常時心拍数または血圧をモニタすることが可能になった。これにより、例えば病院で患者の状態を常時モニタリングし、異常発生時に医療スタッフに警告を発するようなシステムを構築できる。一般家庭においても、例えば無呼吸症候群を罹患した患者の夜間の心拍数のモニタリングが可能である。さらに、日常生活においても、上述のように簡便にストレスセンシングを行うことができるため、より充実した日常生活をおくることが可能になる。

（実施形態２）
第２の実施形態として、非接触で血中酸素飽和度を測定するシステムを説明する。血液の大きな役割は、酸素を肺から受け取って組織へと運び、組織からは二酸化炭素を受け取ってこれを肺に循環させることである。血液１００ｍｌの中には約１５ｇのヘモグロビンが存在している。酸素と結合したヘモグロビンを酸化ヘモグロビン（ＨｂＯ₂）と呼び、酸素と結合していないヘモグロビンを還元ヘモグロビン（Ｈｂ）と呼ぶ。図３に示したように、酸化ヘモグロビンおよび還元ヘモグロビンの光吸収特性は異なる。本開示の一態様に係るシステムにおいて赤外波長域の反射光と緑色波長域の反射光の信号から２種類のヘモグロビンの比率である酸素飽和度を求めることができる。酸素飽和度とは、血液中のヘモグロビンのうちどれだけが酸素と結びついているかを示す値である。酸素飽和度は、下記の数式で定義される。
酸素飽和度＝Ｃ（ＨｂＯ₂）／［Ｃ（ＨｂＯ₂）＋Ｃ（Ｈｂ）］×１００（％）

ここで、Ｃ（Ｈｂ）は還元ヘモグロビンの濃度を、Ｃ（ＨｂＯ₂）は酸化ヘモグロビンの濃度を表している。

生体内には、血液以外にも可視から近赤外の波長の光を吸収する成分が含まれているが、光の吸収率が時間的に変動するのは、主に動脈血中のヘモグロビンに起因する。よって、吸収率の変動に基づいて、高い精度で動脈血中の血中酸素飽和度を測定することができる。心臓から拍出された動脈血は脈波となって血管内を移動する。一方、静脈血は脈波を持たない。生体に照射した光は、動静脈及び血液以外の組織など生体の各層で吸収を受けて生体を透過するが、動脈以外の組織は時間的に厚さが変動しない。このため、生体内からの内部散乱光は、脈動による動脈血層の厚さの変化に応じて時間的な強度変化を示す。この変化は動脈血層の厚さの変化を反映しており、静脈血及び組織の影響を含まない。よって、内部散乱光の変動成分だけに着目することで動脈血の情報を得ることができる。時間に応じて変化する成分の周期を測定することにより、脈拍も求めることができる。

本実施形態として、１台のカメラを用いて生体情報を測定する例について説明する。第１の実施形態では２台のカメラを用いてそれぞれのカメラで異なる光源波長の信号を取得していた。この方式は既存のカメラを流用できるというメリットがあるが、２台のカメラを連動して撮像するためシステム構成が複雑になる。取得されるデータも２台分の独立した動画データとなるため、時間を合わせたデータ処理が複雑になる。本開示の一態様では、一台のカメラで同時に２波長分の画像のデータを取得可能な生体情報検出装置を実現した。

本実施形態では、血中酸素飽和度を測定する例について説明する。図７Ａは、本実施形態の生体情報検出装置の構成を示す図である。この装置は、２つの撮像システムであるカメラ２０１、２０２を内蔵する２眼ステレオカメラの構造を備える。そこで、本明細書では、このような方式を「ステレオカメラ方式」と称する。生体情報検出装置は、波長８３０ｎｍの近赤外のパターン光を照射する光源１で照明された生体からの反射光は、それぞれ、バンドパスフィルタ８０１、８０２を通過し、進行方向がミラー９０１、９０２で９０度折り曲げられ、レンズ５０１、５０２によって、イメージセンサ７０１、７０２の撮像面に結像する。バンドパスフィルタ８０１、８０２は、それぞれ、波長８３０±１５ｎｍの近赤外光、波長５２０から６００ｎｍの緑色光のみを透過させるバンドパスフィルタである。ここでも、近赤外光を受光するイメージセンサ７０１としては近赤外イメージセンサを用い，可視光を受光するイメージセンサ７０２としては通常の白黒イメージセンサ、近赤外イメージセンサあるいは、通常のカラーイメージセンサを用いることができる。ただし、カラーイメージセンサを用いる場合には、バンドパスフィルタ８０２は、４００から６５０ｎｍの可視光波長のみを透過する特性に変更する。さらに、図７Ｂに示すように、近赤外撮像カメラの光路内に直線偏光フィルタ１００１を挿入しても良い。本実施形態では、波長８３０ｎｍの近赤外のパターン光を照射するレーザー光源である光源１を用いている。レーザー光は直線偏光の特性を有しており、肌表面で反射する表面反射光は光源の直線偏光の性質を維持している。一方、肌内部に侵入し散乱を繰り返して肌から射出される内部散乱光は直線偏光の性質を失っている。既に述べたように、生体内部の情報（例えば、血流情報）は散乱反射光に含まれているため、直線偏光フィルタ１００１をレーザー光源の偏光方向と垂直に配置する（すなわち、直交ニコル配置）とすることで、皮膚表面からの表面反射光が近赤外イメージセンサ７０１に到達することを防ぎ、内部散乱光を効率的に取得することが可能になる。ただし、偏光フィルタを用いることにより、取得可能な信号量は減少する。このため、直線偏光フィルタを使用するかどうかは測定条件とシステム仕様により適切に決定することが望ましい。ドットパターンを照射する光源からの光が点状に照射されている領域以外の領域（すなわち、本来光が照射されるべきではない領域）への光漏れが大きい光源を用いた場合には、偏光フィルタの利用により大幅に生体情報の信号ノイズ比を高めることができる。

シャッターボタン１１が押されると、イメージセンサ７０１、７０２が生体の動画像を取得する。

コンピュータ２０内の演算回路２２は、実施形態１と同様に、まず近赤外光動画像から人体の肌検出を行い、顔面の特定の部分（例えば額の部分）を抽出する。イメージセンサ７０１から出力される近赤外光画像から表面反射光成分と内部散乱光成分を分離して測定しそれらの演算から心拍情報を示す信号を取得する。イメージセンサ７０２から出力される緑色光動画像からも心拍情報を示す信号を取得する。

図８は、得られた信号強度の時間変化の一例を示す図である。近赤外光動画像から得られた信号Ａの強度、及び緑色光動画像から得られた信号Ｂの強度はいずれも時間的に変動している。ここで、近赤外光、緑色光それぞれの生体表面での強度をそれぞれＩｉ（ＩＲ）、Ｉｉ（Ｇ）とし、近赤外波長域及び緑色波長域の内部散乱光の変動成分の時間平均値をそれぞれΔＩ（ＩＲ）、ΔＩ（Ｇ）とする。血中酸素飽和度ＳｐＯ₂は、以下の式で計算される。
ＳｐＯ₂＝ａ＋ｂ×（ｌｏｇ（ΔＩ（Ｇ）／Ｉｉ（Ｇ））／ｌｏｇ（ΔＩ（ＩＲ）／Ｉｉ（ＩＲ）））
上式のａ，ｂは、既存のパルスオキシメータの測定値との関係から決定することができる。

生体情報検出装置の精度を確認するために、本システムを用いて指先の酸素飽和度を測定した。血圧測定に用いられるベルトを用いて上腕部を一定圧力（２００ｍｍＨｇ）で加圧して、血流を止めて指先で酸素飽和度を測定した。

人差し指に市販の指を挟みこむ方式のパルスオキシメータを装着し、本システムで中指の酸素飽和度を非接触で測定した。最初の測定で上述のａ，ｂを決定した上で、測定で血中酸素飽和度ＳｐＯ₂を測定した。

図９は、縦軸に示すパルスオキシメータを用いた場合の測定値と、横軸に示す本実施形態における測定値との比較結果を示している。両者の結果が概ね一致していることから、精度よく測定できていることがわかる。本実施形態の方式では、血中酸素飽和度だけでなく、図８に示す脈波から脈拍数も同時に測定することができる。

本実施形態によれば、撮像系を一台のステレオカメラの構成とすることで、システム全体がコンパクトになり、後段の画像信号処理から酸素飽和度計算までの信号処理系の構成をシンプルにできる。これにより、操作の簡便性と高速性を両立できる。

（実施形態３）
第３の実施形態として、１台のカメラを用いて血中酸素飽和度を測定する他の方式を説明する。第２の実施形態では１台のカメラが２つの光学系と２つのイメージセンサとを含むステレオカメラ方式の構成であった。本実施形態では、複数のレンズを用いて画像を分割することで、２波長に対応する異なる２つの画像を１つのイメージセンサで取得するシステムを採用した。本実施形態の方式を、「ステレオレンズ方式」と称する。ステレオレンズ方式のシステムについて、図１０を参照しながら説明する。

図１０は、本実施形態の生体情報検出装置の一部を模式的に示す断面図である。生体情報検出装置は８５０ｎｍの近赤外のパターン光を照射する光源１、レンズ５の内部に２組のレンズ５０１、５０２を有し、ひとつのイメージセンサ７の撮像面の異なる領域にそれぞれ結像するように設計されている。レンズ５０１、５０２の前方には、波長８５０ｎｍの光および波長５２０から６００ｎｍの光をそれぞれ透過させる２つのバンドパスフィルタ８０１、８０２がそれぞれ配置されている。

このような構成により、１つのイメージセンサ７を用いて同時刻の２波長の光による２つの画像を取得できる。イメージセンサ７としては図４Ｂに示す近赤外イメージセンサを使用した。制御回路２６は、実施形態１から３と同様の方法で、この２つの画像から生体情報を計算する。本実施形態によれば、１つの画像信号に、異なる２つの波長に対応する同時刻の２つの画像の情報が含まれるため、演算処理が容易になる。

このステレオレンズ方式のシステムを用いて、ストレスセンシングを行った結果について以下に説明する。ストレスまたは集中による鼻部の温度低下をサーモグラフィによって検知する方法が提案されている。心理的変化により鼻部の血流が低下し、それに伴って鼻部の温度低下が起こる。これをサーモグラフィにより検知する方法は一般に行われている。顔面の温度の変化は血流の変化によって生じる。血流の変化を高い精度で測定できれば、血流の変化の結果として起こる表面温度の変化を測定するよりも高い精度で応答性良くストレスセンシングが可能になる。

ストレスセンシングを従来法のサーモグラフィを用いる方法と本開示の一態様に係る生体情報検出装置を用いる方式で行い比較を行なった。ストレスとして、右手を冷水に入れる冷水負荷を用いた。図１１Ａの点線で囲んだ鼻部と頬部について、本開示の一態様に係る生体情報検出装置により得られた画像信号を用いて血流情報を測定し、サーモグラフィを用いて温度変化を測定した。図１１Ｂは、従来法のサーモグラフィを用いてストレスセンシングを行った結果を示す図である。鼻部の温度は冷水負荷開始後、３分ほどかけて徐々に低下し、約１．２℃低下して安定した。負荷終了後、やはり３分ほどかけて温度は元に戻っていることが分かる。一方、頬部の温度は冷水負荷の影響をほとんど受けず、安定していることが分かる。

図１１Ｃは、ステレオレンズ方式を採用した本実施形態の生体情報検出装置を用いて得られた血流量および血中酸素飽和度の変化を示す図である。顔部における血流量と酸素飽和度（ＳｐＯ₂）のデータから、図１１Ａに点線で示す鼻部と頬部の領域のデータを抽出した。実線は血流量の時間変化を示し、点線は酸素飽和度（ΔＳｐＯ₂）の時間変化を示している。図１１Ｃに示すように、鼻部の血流量は冷温刺激直後から低下傾向を示しており、時間応答性が高いことを示している。一方、頬部の血流量はほとんど変化していない。酸素飽和度については、鼻部では血流量の低下とともに酸素飽和度の低下も観測されたが、頬部ではほとんど変化がなかった。

本結果から分かるように、顔の異なる部位で、血流量および酸素飽和度を測定することによって多くのデータが得られる。これらのデータに基づいて、高い精度で情動、体調、または集中度の検知が可能である。自律神経系の影響による血流量の変化は顔の部位により異なるため、カメラを用いて特定の部位の血流量の変化を測定することは特に重要である。その際、血流量の変化の少ない部位を同時に測定してリファレンスとすることで測定の精度を高めることができる。

この構成ではイメージセンサはひとつだけであり、近赤外光と可視光でイメージセンサを分けることはできない。上記例示ではイメージセンサ７として近赤外イメージセンサを用いたが、カラーイメージセンサを用いることも可能である。図４Ｃに示すように、カラーイメージセンサにおいても赤・緑・青画素は８００ｎｍ以上の近赤外光に対する感度を有する。そのため、バンドパスフィルタ８０１を光源の波長に対応する８５０ｎｍの波長の光を透過させる構成とし、バンドパスフィルタ８０２を可視光波長である４００から６５０ｎｍの波長の光を透過させる構成とする。これによって、バンドパスフィルタ８０１を透過して結像するイメージセンサ領域では近赤外の画像を取得でき、バンドパスフィルタ８０２を透過して結像するイメージセンサ領域では赤・緑・青の３色の画像を取得できる。実際には近赤外領域において、赤・緑・青カラーフィルタの微妙な近赤外透過特性の差により近赤外光の感度差が生じる場合がある。

このような場合には、例えば、それぞれの感度差をあらかじめ取得し感度補正をすることが望ましい。カラーイメージセンサを用いることにより、既に述べたように体動補正を高精度に行うことが可能になる。

（実施形態４）
第４の実施形態として、人体検知と人体情報センシングを組み合わせて用いる例について示す。本開示の一態様に係るシステムによれば、人体を迅速に検知し検出された人体領域のデータから心拍等の生体情報を高速・高精度に測定することが可能になる。これを利用して、浴室、トイレ、寝室等の個人空間における見守りシステムを実現することができる。個人空間においてはプライバシーへの配慮が特に重要になる。高解像度なカメラで常時対象者を撮影しその画像を用いるようなシステムでは画像の流出によるプライバシー侵害の懸念、及びカメラの存在による心理的な負荷が発生する。

高齢化の進行に伴い、入浴中の死亡者は年間で１万人から２万人といわれており、交通事故死者数の４千から５千人よりもはるかに多い。浴室での死亡者は事故と病死の両方が原因となっている。死亡者は高齢者に多く、冬季に多く発生しており、高齢化に伴い年間件数も増加している。浴室内での死亡については、事故・病気ともに異常発生時に早期に発見できれば救命が可能であった可能性のある事案が多数含まれている。浴室は閉鎖されたプライバシー空間であるために、発見が遅れ死亡にいたるケースが多くあり、プライバシーに配慮しつつ浴室内の対象者を見守ることができるシステムの強く望まれている。

本実施形態のカメラシステムとして、１台のカメラを用いて生体情報を測定する実施形態３とは別の方式を用いた。図１２は、本実施形態における生体情報検出装置の構成を模式的に示す断面図である。この装置は、通常のカメラレンズに取り付け可能なステレオアダプター１００を備えている。ステレオアダプター１００は、４枚の反射ミラー１０１、１０２、１０３、１０４と、２つのバンドパスフィルタ８０１、８０２とを備えるアタッチメントである。ステレオアダプター１００を用いることにより、２つの波長に対応する２つの画像をイメージセンサ７の撮像面の異なる２つの領域にそれぞれ形成することができる。この方式を、「ステレオアダプター方式」と称する。

ステレオアダプター方式では、２組の対向する反射ミラーを用いて、２つの波長に対応する異なる２つの画像を１つのイメージセンサ７で取得することができる。波長８３０ｎｍの近赤外のパターン光で照明された被検者の画像を、ステレオアダプター１００がレンズ５の先端に装着されたカメラで取得する。反射ミラー１０１、１０２の対と、反射ミラー１０３、１０４の対は、光路を２回曲げてレンズ５に導入する。レンズ５と反射ミラー１０１、１０２との間、及びレンズ５と反射ミラー１０３、１０４との間には、波長８３０ｎｍの光および波長５２０～６００ｎｍの光をそれぞれ透過させるバンドパスフィルタ８０１、８０２が搭載されている。

この生体情報検出装置は、１つのイメージセンサ７で同時刻の２波長の画像を取得できる。ここでも、イメージセンサ７としては図４Ｂに示した近赤外イメージセンサを用いた。基本的な考え方は、実施形態３と同様である。ステレオレンズ方式は、レンズを小型にできるため、システム全体を小型化できるというメリットがある。一方、ステレオアダプター方式では、システム全体は大型化するが、高性能なカメラレンズを使用することができ解像度を向上できること、および、倍率の異なるレンズまたはズームレンズを使用することができるという利点がある。システムの自由度をあげることができる点がステレオアダプター方式の利点である。またステレオレンズ方式ではレンズの開口数が小さいため十分に光を取りこむことができず低感度になるのに対して、この方式では開口数の大きなレンズを用いることが可能になり高感度なシステムを構築することが可能になり、より暗い条件下でもセンシングが可能になるという利点がある。

本実施例においても第３の実施例で述べたのと同様にイメージセンサ７としてカラーイメージセンサを用いることも可能である。この場合、バンドパスフィルタ８０２として、可視光波長である４００から６５０ｎｍの光を透過させるバンドパスフィルタを用いることが望ましい。

本実施例の実際の見守りのアルゴリズムについて図１３Ａ，図１３Ｂを用いて説明する。図１２に示す生体情報検出装置が浴室隅に設置されており、図１３Ａの部分（ａ）に示すように、浴室全体を監視できるようになっている。撮像された近赤外光画像から、人体検知（図１３Ａの部分（ｂ））、体動検知（図１３Ａの部分（ｃ））、および心拍異常の検知（図１３Ａの部分（ｄ））が行われる。人体が検知された後、体動が無い場合、第１の警報（警報１）が例えば入浴中の本人に発せられ、注意喚起が行われる。さらに、心拍異常が検知された場合、例えば浴室外の人に、第２の警報（警報２）が発せられる。以下、図１３Ｂのフローチャートを参照しながら、本実施形態の見守りシステムの動作をより詳細に説明する。

図１３Ｂは、本実施形態の見守りシステムの動作を示すフローチャートである。まず、演算回路２２は、取得された近赤外画像のデータに基づいて、実施形態１と同じ方法により、人体の検知を行う（ステップＳ２０１）。ここで人体が検知された場合、次の体動検知のステップＳ２０２に移る。この際、人体検知に用いられた画像のデータは記憶装置に記録されず、人体領域のデータのみを残して動画の次フレームの画像のデータで書き換えられる。このように、個人を特定できるような画像データを残さないため、プライバシーが保護される。

次に、演算回路２３は、検出された人体領域について、連続する複数のフレーム間のデータを比較することにより、体動を検知する（ステップＳ２０２）。例えば、一定時間（例えば３０秒）以上体動が無い場合、本人に対し警報１が発せられる（ステップＳ２０３）。これは、例えば「起きていますか？お風呂で危険です。起きていたらＯＫボタンを押してください。」といった警報であり得る。警報１は、本人に対する注意喚起と状態の確認を行うことを目的としている。体動が無い場合には、さらに、演算回路２３は脈動を測定する（ステップＳ２０４）。脈動が少ない場合または脈動を検知できない場合には、警報２が発せられる（ステップＳ２０５）。これは、浴室外の人（家族、介護者、救急隊員など）に対する警報である。システムであらかじめ設定された対象者に対して、音声警報、電話、またはインターネットを通じた確認および救援依頼を目的とする警報であり得る。

本実施形態によれば、簡単なシステムで、（１）人体検知、（２）体動検知、（３）心拍測定の３段階の検知が可能であるため信頼性の高い見守りを実現することができる。

上述の例では（１）人体検知、（２）体動検知、（３）心拍測定を、ステップを追って行っていたが、人体検知のあと体動検知と心拍測定を並行して行なうこともできる。これにより入浴者の心拍を定常的にモニタすることができ、入浴者に対して適切なアドバイスを行なうことができる。脱衣場と浴室の温度差による血管収縮に伴う心拍変化、体表面血流の上昇に伴う脳及び心臓血流の低下とそれに伴う起立性低血圧の発生による立ち眩み（湯のぼせ）による溺死の発生が多数発生している。心拍モニタにより入浴者の体調変化をリアルタイムで測定し、入浴者にフィードバックすることでこのような事故を防ぐことが可能になる。例えば、心拍数の上昇が大きい場合、「立ち眩みに注意が必要です。立ち上がる際には手すりにつかまり、ゆっくりと立ち上がってください」というようなメッセージを発信することが可能となる。

浴室・トイレ・寝室等のプライバシー空間での見守りシステムではプライバシーの保護が特に重要である。本システムでは、画像信号処理で撮像された画像は人体検知と心拍測定にのみ用いられ、画像データ自体は記憶媒体に記録されること無く人体検知処理後に次フレームのデータで常時書き換えられている。またシステムは画像データの出力機構を持たないように設計されている。このため外部から画像データを取得することは不可能な構成となっており、悪意を持つハッカー等の攻撃にあってもプライバシーが侵害されないような配慮されている。プライバシー空間での見守りシステムではこのようなハードウェア上及び心理的なプライバシー確保が特に重要であり、本システムによりプライバシーに配慮した家庭内の見守りが可能になった。

さらに、寝室・病室などでの長時間の見守りに関しては、測定環境が昼間は明るく直射日光を受ける場合があり、夜間の就寝時は照明を落として暗い環境が作られる。このように環境が大きく異なる場合に安定に生体情報を検知し、長時間の見守りを実現することは従来の生体情報検知システムでは困難であったが、本開示の一態様に係る、近赤外光と緑光を用いる生体情報検出装置により環境変化の影響を受けない見守りシステムが実現できる。

（実施形態５）
第５の実施形態として、ドライバモニタリングへの応用例について説明する。現在、自動車の自動運転技術の開発が進められている。人間が運転を行なわない完全自動運転以外では、人の運転と自動運転の切り替えがスムーズに行なわれるようにすることが望まれる。特に、ドライバの状態を常時モニタし、運転者が運転に適さない状態であるときに速やかに自動運転に切り替えられる仕組みが求められている。このような運転切り替えを実現するためにはドライバの状態を常時チェックできるようなドライバモニタリングシステムが望まれる。ドライバモニタリングの場合も、測定環境が大きく変化する。明るさが大きく変化し、昼間は明るく朝夕には直射日光を受ける場合があり、夜間の車内は暗いため可視光での検出は困難となる。さらに車内は車のゆれにより、被検者はカメラに対して振動していることになる。また、運転操作による体動の影響を受ける。このように、ドライバモニタリングは生体情報検知の環境としては非常に厳しいものである。既に述べたように本開示の一態様に係る生体情報検出装置は、照明環境の変動に強く、体動の影響も除去できるという利点があり、ドライバモニタリングに適している。

本実施形態のカメラシステムとして、実施形態４で説明した図１２に示す、ステレオアダプター方式を採用した。ただし、近赤外のパターン光には、水蒸気の吸収により太陽光に含まれる割合の低い９４０ｎｍの波長を用いた。それに対応して、バンドパスフィルタ８０１、８０２には、９４０ｎｍおよび５２０から６００ｎｍの波長の光をそれぞれ透過させるバンドパスフィルタを用いた。

図１２に示す生体情報検出装置を用いてドライバモニタリングを行った。近赤外光画像と緑色光画像から脈拍数、血流量、酸素飽和度を測定する。ここで血流量は脈動の大きさ、すなわち脈波信号の振幅幅から算出している。脈拍の時間的な揺らぎからストレス、集中度・眠気を判定することが可能である。ドライバモニタリングのフロー図を図１４に示す。

生体情報検出装置を用いて脈拍数、血流量、及び酸素飽和度を測定する（ステップＳ３０１）。これらの情報から、脈拍数、血流量、または酸素飽和度の第１閾値以上の急激な低下を検知した場合、運転者の体調の変化と判断して、警告の上で強制的に運転を自動に切り替える（ステップＳ３０２）。脈拍数の緩やかな低下と脈拍数揺らぎの拡大は集中度の低下または眠気があることを表すシグナルと考えられるので、再度脈拍数を測定し（ステップＳ３０３）、脈拍数の揺らぎに第２閾値以上の変動が検知された場合、運転者に注意を喚起する警報を発する（ステップＳ３０４）。再度脈拍数を測定し（ステップＳ３０５）、警報によって脈拍数の揺らぎの変動が第２閾値よりも縮小しない場合には、警告の上で強制的に運転を自動に切り替える（ステップＳ３０６）。このようなドライバモニタリングシステムは、自動運転だけでなく通常の車の運転に対しても適用できる。体調が変化しているとき、または集中度が低下したときにドライバに注意喚起の警告を発するだけでも運転の安全性を増すことができる。

（実施形態６）
第６実施形態として、光学系で画像分割することなく１台のカメラを用いて血中酸素飽和度を測定する方式について説明する。実施形態３から５では、２つの波長の光を分割してセンシングし、酸素飽和度等の生体情報を演算によって求める方法を説明した。本実施形態の生体情報検出装置は、画像の分割を行わず、イメージセンサによって異なる波長の２つの画像信号を取得する。

図１５Ａは、本実施形態における生体情報検出装置の構成を模式的に示す図である。この装置は、２波長に対応する２つの画像を光学系ではなくイメージセンサ７０３で分離する。波長８６０ｎｍの近赤外のパターン光で照明した被検者から戻った近赤外光と緑色光を、レンズ５でイメージセンサ７０３の撮像面上に結像する。ここで用いられているイメージセンサ７０３は、通常のイメージセンサとは異なり、緑色光を透過させるバンドパスフィルタであるカラーフィルタＧと近赤外光を透過させるバンドパスフィルタであるカラーフィルタＩＲとを有している。

図１５Ｂは、イメージセンサ７０３の撮像面上に配列された複数の光検出セルに対向する複数のカラーフィルタを示す図である。イメージセンサ７０３は、５２０－６００ｎｍの光を選択的に透過させるカラーフィルタＧと、８００ｎｍ以上の波長の光を選択的に透過させるカラーフィルタＩＲとを有している。カラーフィルタＧ、ＩＲは、市松状に配列されている。図１５Ｃは、カラーフィルタＧおよびカラーフィルタＩＲの透過率の波長依存性の一例を示す図である。イメージセンサ７０３は、緑色光と８６０ｎｍの近赤外光による２つの画像を、複数の光検出セル（画素とも称する。）によって検出する。ここで波長５２０－６００ｎｍの光を選択的に透過させるカラーフィルタを選択できれば簡単な構成でイメージセンサを形成できるが、実際には通常イメージセンサに使用されている緑色カラーフィルタは赤外光を透過する特性を持っているため、単純に緑色カラーフィルタを用いても近赤外光が存在する条件では緑色画像を得ることができない。緑色光及び近赤外光を足し合わせた画像が得られることになる。ひとつの解決策は、緑色光及び近赤外光を足し合わせた画像信号からから近赤外光画像信号を画素ごとに引き算することで緑色画像を算出できる。しかしこの方法では、信号雑音比が悪くなり高精度な検出が困難になる。そこで本実施形態では、図１５Ｄに示すように、近赤外光カラーフィルタ８０３に隣接する緑色カラーフィルタ８０４上に近赤外吸収フィルタ８０５を形成して、緑色画素には緑色光が入射するような構成とした。この構造の採用により、緑色画素は図１５Ｂに示すような緑色のみに感度を有するようになる。

図１６Ａに図１５Ａとは異なるカラーフィルタ構成を有するイメージセンサ７０４を用いた例を示す。ここでも、可視光および近赤外光の像は、レンズ５によってイメージセンサ７０４の撮像面上に結像する。ここで用いられているイメージセンサ７０４は、カラー画像を取得するための光検出セルと、近赤外光画像を取得するための光検出セルとを含む。

図１６Ｂは、イメージセンサ７０４の撮像面に配列された複数のカラーフィルタを示す図である。図１６Ｃは、各フィルタに対向する画素の相対感度の波長依存性を示している。図１６Ｂに示されるように、赤色、緑色、青色の光をそれぞれ透過する３種類のカラーフィルタＲ，Ｇ，Ｂと、６５０ｎｍ以上の光を透過させるカラーフィルタＩＲとが撮像面上に配列されている。ここでも実際にはカラーフィルタＲ，Ｇ，Ｂの上に近赤外吸収フィルタが形成されており、近赤外を含まないＲ，Ｇ，Ｂの画素が実現されている。通常のベイヤー配置のカラーフィルタでは斜め方向に隣接して２つの緑フィルタが配置され、その対角側に赤および青のフィルタが配置されるが、本実施形態では、２つの緑色の画素のうちひとつの画素が近赤外光の画素となっている。図２に示したように赤色と青色の信号は生体情報を検出する上では有効ではない。ここで赤色と青色の画素を設けたのは、青色と赤色の画素データを用いて緑色の信号から体動及び環境光の変化の影響を除去するためである。図５Ａから図５Ｃに示したように、近赤外光では表面反射光と内部散乱光を用いて体動の影響を除去した。同様に赤色または青色の信号を用いることにより、緑色信号から体動及び環境光の変動の影響を除外することができる。

（他の実施形態）
以上、本開示の実施形態を例示したが、本開示は上記の実施形態に限定されず、多様な変形が可能である。上述した各実施形態について説明した処理は、他の実施形態においても適用できる場合がある。以下、他の実施形態の例を説明する。

以上の実施形態では、ドットパターンを投影する光源にレーザー光源を用いているが、他の種類の光源を用いてもよい。例えば、より安価なＬＥＤ光源を用いることも可能である。ただし、レーザー光源に比べてＬＥＤ光源は直進性が低く広がりやすい。このため、専用の集光光学系を用いるか、対象物とカメラとの距離を制約するようにすることが望ましい。

生体情報検出装置は、光学系の焦点を調整する調整機構を備えていてもよい。そのような調整機構は、例えば不図示のモータおよび図４Ｄに示す制御回路２６によって実現され得る。そのような調整機構は、光源によって対象物に投影されるドットパターンの像のコントラストを最大にするように光学系の焦点を調整する。これにより、実施形態１において説明したコントラストの計算の精度が向上する。

演算回路２２は、画像信号から、生体の表面からの表面反射光成分を抽出し、この表面反射光成分に基づいて、メラニン色素の濃度、しみの有無、あざの有無の少なくとも１つを含む表皮内の情報を生成してもよい。表面反射光成分は、例えば実施形態１におけるコントラストが所定の閾値を超えたか否か、または、画像信号における低周波成分を除去することによって得ることができる。

本開示では、２台のカメラを用いるダブルカメラ方式（図１Ａ）、二組の光学系と二組のイメージセンサが一台のカメラに搭載されたステレオカメラ方式（図７Ａおよび図７Ｂ）、二組のレンズと一つのイメージセンサを用いるステレオレンズ方式（図１０）、レンズアダプタを用いて一つのレンズと一つのイメージセンサを用いるステレオアダプター方式（図１２）、イメージセンサを用いて画像を分割する方式（図１５Ａ、図１６Ａ）を説明した。既に述べたようにそれぞれの方式には利点と欠点があるため、用途に応じて最適な方式を選択することができる。

本開示では、近赤外パターン光源としてドットアレーパターンを用いた例について示したが、他のパターンを採用することも可能である。例えば線間隔パターン、市松模様、格子パターンなどを採用することも可能である。

また、本開示では緑画素には５２０－６００ｎｍの波長のバンドパスフィルタを用いたがこの波長帯域に限るものではない。最も生体情報を多く含む波長は５７０－５９０ｎｍであり、ここから離れると信号雑音比は劣化していく。したがって信号雑音比だけを考慮すれば波長５７０－５９０ｎｍのバンドパスフィルタあるいは５８０ｎｍの狭帯域光源を用いてもよい。しかしながら緑色の光は環境光を利用するのが効率的であるため、狭帯域バンドパスフィルタの採用は感度を低下させ、暗い環境下での測定精度を低下させる。感度と信号雑音比のバランスから、本開示の実施例では５２０－６００ｎｍの波長のバンドパスフィルタを用いたが、使用環境により波長範囲は変更可能である。明るい環境での使用を前提にすれば５７０－５９０ｎｍの狭帯域フィルタを採用してもよい。一方、暗い環境を想定する場合には波長帯域は広い方が良いが、信号雑音比を考慮すると５００から６２０ｎｍまでの波長帯域に抑えてもよい。

以上説明したように、本開示の実施形態によれば、様々な環境で、被検者を拘束せず、かつセンサ等の検出装置を被検者に接触させることなく、心拍数および血流量だけでなく血中酸素飽和度も測定することができる。被検者の異なる部位の血流量および酸素飽和度の測定値から、被検者の情動または体調を推定することもできる。

本開示の生体情報検出装置は、被検者の心拍数、血流量、血圧、血中酸素飽和度、情動、および体調等の生体情報を検出する用途に有用である。

１ 光源
２、２０１、２０２ カメラ
３ 生体
４ 生体表面
５、５０１、５０２ レンズ
６、６０１、６０２ 筐体
７、７０１、７０２、７０３、７０４ イメージセンサ
８、８０１、８０２ バンドパスフィルタ
９０１、９０２ ミラー
１００ ステレオアダプター
１０１、１０２、１０３、１０４ 反射ミラー
１１ シャッターボタン
２０ コンピュータ
２１ 入力インタフェース
２２、２３ 演算回路
２４ 出力インタフェース
２５ メモリ
２６ 制御回路
２７ ディスプレイ
３１ 毛細血管
３２ 細動静脈
３３ 表皮
３４ 真皮
３５ 皮下組織
Ｌ０ 配列点光源からの光
Ｌ１ 表面反射光
Ｌ２ 内部散乱光
Ｌ３ 可視波長域の反射光

Claims (21)

1. 近赤外光による空間的なパターンを、生体を含む対象物に投影する光源と、
   近赤外波長域の光を検出する複数の第１の光検出セルと、緑色波長域の光を検出する複数の第２の光検出セルと、を含み、前記パターンが投影された前記対象物の近赤外波長域の画像である第１画像を示す第１画像信号を生成し、前記複数の第２の光検出セルによって検出された環境光に基づいて、前記対象物の緑色波長域の画像である第２画像を示す第２画像信号を生成する、１つ以上の撮像システムと、
   演算回路と、
   を備え、
   前記環境光の明るさ、または安定性に基づいて、前記第１画像信号または前記第２画像信号を選択し、
   選択した画像信号に基づいて、前記生体の心拍に関する生体情報を生成する、生体情報検出装置。
2. 前記パターンは、複数のドットを含む、
   請求項１に記載の生体情報検出装置。
3. 前記近赤外光は、６５０ｎｍ以上９５０ｎｍ以下の波長の光を含み、前記緑色波長域の光は、５００ｎｍ以上６２０ｎｍ以下の波長の光を含む、
   請求項１または２に記載の生体情報検出装置。
4. 前記生体情報は、前記生体の血圧、前記生体の血流量、前記生体の血中酸素飽和度、前記生体の皮膚におけるメラニン色素の濃度、前記生体の皮膚におけるしみの有無、および前記生体の皮膚におけるあざの有無からなる群から選択される少なくとも１つを含む、
   請求項１から３のいずれかに記載の生体情報検出装置。
5. 前記演算回路は、前記第１画像信号を用いて、前記第１画像のうち、前記生体に対応する第１部分を検出する、
   請求項１から４のいずれかに記載の生体情報検出装置。
6. 前記演算回路は、前記第１画像に含まれる画素に対応する前記第１画像信号の強度及び前記画素の周囲に配置された複数の画素の各々に対応する前記第１画像信号の強度のばらつきと平均値との比に基づいて、前記画素に対応する位置に前記生体が存在するか否かを決定する、
   請求項５に記載の生体情報検出装置。
7. 前記演算回路は、
   前記第１画像に含まれる複数の画素の中から、各画素に対応する前記第１画像信号の強度が強い順に選択された複数の第１画素に対応する前記第１画像信号の強度と、各画素に対応する前記第１画像信号の強度が弱い順に選択された複数の第２画素に対応する前記第１画像信号の強度との比に基づいて、前記生体情報を演算する、
   請求項１から６のいずれかに記載の生体情報検出装置。
8. 前記演算回路は、
   前記第１画像の前記第１部分に対応する、前記第２画像の第２部分に含まれる複数の画素の各々に対応する前記第２画像信号の強度の平均値を用いて、前記生体情報を演算する、
   請求項５または６に記載の生体情報検出装置。
9. 前記１つ以上の撮像システムは、
   前記複数の第１の光検出セルが配置された第１の領域と、前記複数の第２の光検出セルが配置された第２の領域とに分割された撮像面を有する撮像素子と、
   前記第１の領域に前記第１画像を形成する第１の光学系と、
   前記第２の領域に前記第２画像を形成する第２の光学系と、
   をさらに含む、
   請求項１から８のいずれかに記載の生体情報検出装置。
10. 前記１つ以上の撮像システムは、
    前記近赤外波長域の光を透過させる第１のバンドパスフィルタと、
    前記緑色波長域の光を透過させる第２のバンドパスフィルタと、をさらに含む、
    請求項９に記載の生体情報検出装置。
11. 前記１つ以上の撮像システムは、
    前記近赤外波長域の光を透過させる第１のバンドパスフィルタと、
    前記光源の偏光方向と垂直となるように配置された直線偏光フィルタと、
    前記緑色波長域の光を透過させる第２のバンドパスフィルタと、をさらに含み、
    前記近赤外光は直線偏光であり、
    前記直線偏光フィルタは、前記直線偏光フィルタが透過させる直線偏光の偏光方向が、前記近赤外光の偏光方向に対して垂直となるように配置されている、
    請求項９に記載の生体情報検出装置。
12. 前記撮像素子は、
    前記複数の第１の光検出セルに対向し前記近赤外波長域の光を透過させる第１のカラーフィルタと、前記複数の第２の光検出セルに対向し前記緑色波長域の光を透過させる第２のカラーフィルタと、前記複数の第２の光検出セル及び前記第２のカラーフィルタに対向し前記近赤外波長域の光を吸収する近赤外吸収フィルタとを含む、
    請求項９に記載の生体情報検出装置。
13. 前記１つ以上の撮像システムは、第１の撮像システム及び第２の撮像システムを含み、
    前記第１の撮像システムは、
    前記複数の第１の光検出セルが配置された第１の撮像面を有する第１の撮像素子と、
    前記第１の撮像面に前記第１画像を形成する第１の光学系とを含み、
    前記第２の撮像システムは、
    前記複数の第２の光検出セルが配置された第２の撮像面を有する第２の撮像素子と、
    前記第２の撮像面に前記第２画像を形成する第２の光学系と、を含む、
    請求項１から８のいずれかに記載の生体情報検出装置。
14. 前記第１の撮像システムは、前記近赤外波長域の光を透過させる第１のバンドパスフィルタをさらに含み、
    前記第２の撮像システムは、前記緑色波長域の光を透過させる第２のバンドパスフィルタをさらに含む、
    請求項１３に記載の生体情報検出装置。
15. 前記１つ以上の撮像システムは、
    前記複数の第１の光検出セルが配置された撮像面を有する撮像素子と、
    前記撮像面に前記第１画像を形成する光学系と、
    前記光学系の焦点を調整する調整機構と、
    をさらに含み、
    前記調整機構は、前記焦点を調整することにより、前記第１画像のコントラストを最大にする、
    請求項１から１４のいずれかに記載の生体情報検出装置。
16. 前記環境光の明るさが低い水準の範囲内にある場合、前記演算回路は、
    前記第１画像信号を選択し、
    前記第１画像信号に基づいて、前記生体情報を生成する、
    請求項１から１５のいずれかに記載の生体情報検出装置。
17. 前記環境光の明るさが高い水準の範囲内にある場合、前記演算回路は、
    前記第２画像信号を選択し、
    前記第２画像信号に基づいて、前記生体情報を生成する、
    請求項１から１５のいずれかに記載の生体情報検出装置。
18. 前記演算回路は、
    前記生体からの表面反射光成分を推定し、
    推定された前記表面反射光成分と、前記第２画像信号に基づいて、前記生体情報を生成する、
    請求項１７に記載の生体情報検出装置。
19. 前記環境光の明るさが高い水準の範囲内にある場合、前記演算回路は、前記光源を消灯させる、
    請求項１７または１８に記載の生体情報検出装置。
20. 前記撮像システムは、偏光フィルタを含み、
    前記第１の光検出セルは、前記偏光フィルタを介した前記近赤外光を検出し、
    前記第２の光検出セルは、前記偏光フィルタを介していない前記緑色波長域の光を検出する、
    請求項１に記載の生体情報検出装置。
21. 生体情報検出装置においてコンピュータによって実行される方法であって、
    前記生体情報検出装置は、
    近赤外光による空間的なパターンを、生体を含む対象物に投影する光源と、
    近赤外波長域の光を検出する複数の第１の光検出セルと、緑色波長域の光を検出する複数の第２の光検出セルと、を含み、前記パターンが投影された前記対象物の近赤外波長域の画像である第１画像を示す第１画像信号を生成し、前記複数の第２の光検出セルによって検出された環境光に基づいて、前記対象物の緑色波長域の画像である第２画像を示す第２画像信号を生成する、１つ以上の撮像システムと、
    を備え、
    前記方法は、
    前記環境光の明るさ、または安定性に基づいて、前記第１画像信号または前記第２画像信号を選択することと、
    選択した画像信号に基づいて、前記生体の心拍に関する生体情報を生成することと、
    を含む、方法。

Images