JP2017123918A - 呼吸モニタリング装置、呼吸数計測装置、呼吸数計測方法およびコンピュータプログラム - Google Patents

Abstract

【課題】被験者を撮影した動画像から、より高速にその被験者の呼吸数を計測する。【解決手段】呼吸数モニタリング装置は、動画像の連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群、およびＳ枚のフレーム画像だけずれた、連続するＮ枚のフレーム画像で構成された第２画像群を取得し、第１画像群の画像特徴量と第２画像群の画像特徴量との相関係数を計算し、第１画像群と第２画像群との差であるフレーム画像の枚数Ｓを変化させ、変化に対する相関係数の推移により、呼吸周期を特定できるかどうかを判定する。呼吸数モニタリング装置は、呼吸周期が特定できない場合、フレーム枚数Ｓを再設定する。【選択図】図３Ｂ

Description

本発明は、被験者を撮影した動画像から被験者の呼吸数を計測する技術に関する。

人間を撮影した動画像からその人間の呼吸数を算出する技術分野において、特許文献１が知られている。特許文献１の装置は、カメラで取り込んだ人間の動画像における、画像の濃淡の変動から時系列データを生成する。そしてこの装置は、時系列データのパワースペクトルを求め、そのピーク周波数を利用して呼吸数を算出する。

特開２０１４−１７１５７４号公報

特許文献１に記載された技術は、呼吸数の変化への追従性に関して改善の余地があった。具体的には、特許文献１に記載のシステムは、パワースペクトルのピーク周波数をもとに呼吸数を算出していたため、呼吸数の測定範囲の最小呼吸数(周波数の最も低い呼吸)に合わせてパワースペクトルを計算する時間窓を大きくする必要があった。パワースペクトル演算は、時間窓内全体のデータの周波数を解析するため、時間窓が大きくなると短時間で生じる変化が解析しにくい。また、時間窓が大きくなると、データの変化が解析結果に表れるのに時間がかかる。特許文献１に記載された技術には、呼吸の変化に対する追従性をより向上させる余地がある。

本発明は、上記課題を解決するためになされたものであって、被験者を撮影した動画像から、その被験者の呼吸数を追従性良く計測する技術を提供する。

本発明の例示的な実施形態にかかる呼吸数モニタリング装置は、呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１画像群取得処理部と、前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２画像群取得処理部と、前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１画像特徴量群作成処理部と、前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２画像特徴量群作成処理部と、前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算する相関係数演算処理部と、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みる呼吸周期特定処理部と、前記呼吸周期特定判定処理部で呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するパラメータ再設定処理部とを備えている。

ある実施形態において、呼吸数モニタリング装置は、前記フレーム画像中の、一部の領域を指定する領域指定情報を受け取るインタフェースをさらに備え、前記第１画像特徴量群作成処理部は、前記一部の領域の画像特徴量を算出して前記第１画像特徴量群を作成し、前記第２画像特徴量群作成処理部は、前記一部の領域の画像特徴量を算出して前記第２画像特徴量群を作成する。

ある実施形態において、前記パラメータ再設定処理部は、前記Ｎ枚のフレーム画像より多くならないように前記Ｓ枚のフレーム画像を設定する。

ある実施形態において、前記パラメータ再設定処理部は、前記Ｎ枚のフレーム画像より多くならないように前記Ｓ枚のフレーム画像及び前記Ｎ枚のフレーム画像を設定する。

ある実施形態において、前記呼吸周期特定処理部は、前記相関係数が予め定められた閾値よりも大きい、または閾値以上である場合に、前記Ｓ枚のフレーム画像に対応する期間を呼吸周期として特定する。

ある実施形態において、前記パラメータ再設定処理部は、前記特定フレーム枚数ＳをＫ（Ｋ：１以上の整数）枚増加させる。

ある実施形態において、前記パラメータ再設定処理部は、前記第１画像群と前記第２画像群に共通して含まれるフレーム画像の割合を、予め定めた最小データ重複率以上に保持しながら、前記Ｎの値を等しく増加させる。

ある実施形態において、前記呼吸周期特定処理部は、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓの増加に伴い、前記相関係数が負、正および負に順次推移したときにおいて、正の値が前記予め定められた閾値よりも大きい、または閾値以上であるときは、前記Ｓ枚のフレーム画像に対応する時間を前記被験体の呼吸の周期として特定する。

ある実施形態において、前記呼吸周期特定処理部は、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓの増加に伴い、前記相関係数が負、正および負に順次推移したときにおいて、最初の負の値が第１閾値以下であり、正の値が前記予め定められた閾値よりも大きい、または閾値以上であるときは、前記Ｓ枚のフレーム画像に対応する時間を前記被験体の呼吸の周期として特定する。

ある実施形態において、前記画像特徴量は、画素値に基づいた値である。

ある実施形態において、前記画像特徴量は、輝度値に基づいた値である。

ある実施形態において、前記呼吸数モニタリング装置は、前記第１画像群の画像特徴量および前記第２画像群の画像特徴量に最小二乗法を適用することにより、前記呼吸波形に重畳されている外乱であるトレンドの一次近似直線を求める近似データ生成処理部と、前記呼吸波形から前記一次近似直線を減算することにより、前記呼吸波形から前記トレンドを除去するトレンド除去処理部とをさらに備えている。

本発明の例示的な他の実施形態にかかる呼吸数のモニタリング方法は、呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１取得ステップと、前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２取得ステップと、前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１作成ステップと、前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２作成ステップと、前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算するステップと、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みるステップと、前記呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するステップとを包含する。

本発明の例示的なさらに他の実施形態にかかるコンピュータプログラムは、コンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１取得ステップと、前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２取得ステップと、前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１作成ステップと、前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２作成ステップと、前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算するステップと、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みるステップと、前記呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するステップとを実行させる。

ある実施形態において、前記コンピュータプログラムは記録媒体に格納されている。

本発明による呼吸数モニタリング装置は、動画像を構成する連続するフレーム画像の中から、先頭フレーム画像同士がＳ枚のフレーム画像だけずれた、２組の画像群を読み出し、各画像群の画像特徴量の相関係数を計算する。相関係数が所定の閾値以上であるとき、Ｓ枚のフレーム画像に対応する時間を被験者の呼吸の周期として特定する。相関係数を利用して、フレーム画像数Ｓが１呼吸ずれた波形の範囲を表すため、１呼吸周期を特定することができる。

たとえば、相関係数が閾値未満であるときには、先頭フレーム画像同士のフレームのずれＳをＫ（Ｋ：１以上の整数）枚増やし、２組の画像群を読み出して新たな相関係数を計算する。さらに、相関係数の計算に用いるフレーム数を可変にする。これにより、呼吸変化への追従性を高めることができる。想定される最小呼吸数(周波数の最も低い呼吸)に常に合わせて時間窓を設定する必要がないため、平均的に見て、従来よりもより短いサンプル数で呼吸数計算を行うことができる。呼吸の時間的変化が相対的に細かく分かるため、その変化への追従性を向上させることができる。

実施の形態１による呼吸数モニタリング装置３０を含む、モニタリングシステム１００の構成を示す図である。 呼吸数モニタリング装置３０のハードウェア構成を示す図である。 主として呼吸数モニタリング装置３０の構成例を示す図である。 主として呼吸数モニタリング装置３０の詳細構成例を示す図である。 呼吸数モニタリング装置３０の処理手順を示すフローチャートである。 あるフレーム画像２００に指定された呼吸領域２０２を示す図である。 （ａ）〜（ｄ）は、複数のフレーム画像にわたる、呼吸領域２０２内の画像の時系列的な変化の一例を示す図である。 取得された呼吸波形の一例を示す図である。 Ｎ枚のフレーム画像を含む第１画像群と、第１画像群の先頭フレーム画像からＳ枚ずれた位置のフレーム画像を先頭とする、連続するＮ枚のフレーム画像を含む第２画像群と、呼吸波形との関係を示す図である。 第１画像群と第２画像群との間で、最小データ重複率Ｐ（％）を下回らないように各画像群のフレーム画像数および重複するフレーム画像を変化させた例を示す図である。 呼吸数を計算する閾値条件を模式的に示す図である。 呼吸数演算処理の例を示す図である。 実施の形態２における呼吸数を計算する閾値条件を模式的に示す図である。 相関係数ｃｏｅｆ（Ｓ）が−ｃｏｅｆＴｈ以下になっていない呼吸波形例を示す図である。 図１２におけるＳ＝Ｓ１４に対応する条件が満たされていない呼吸波形例を示す図である。 実施の形態３における呼吸数を計算する閾値条件を模式的に示す図である。 （ａ）および（ｂ）はそれぞれ、第２画像群および第１画像群から得られた呼吸波形を示す図である。 （ａ）および（ｂ）は、各呼吸波形と、その平均値（横方向の実線）とを示す図である。 実施の形態４による呼吸数計測装置５０２の機能的な構成を示す図である。 呼吸数計測装置５０２によるトレンド除去処理の手順を示すフローチャートである。 呼吸領域を自動的に取得する呼吸数モニタリング装置３１を有するモニタリングシステム１０１の構成を示す図である。 主として、呼吸領域を自動的に取得する呼吸数モニタリング装置３１の機能的な構成を示す図である。 呼吸領域を自動的に取得する処理に関する呼吸数モニタリング装置３０の処理手順を示すフローチャートである。 （ａ）および（ｂ）は、異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す図であり、（ｃ）は小領域Ｑの輝度値の変化を示す図である。 動画像がハードディスクドライブ（ＨＤＤ）に保存され、そのＨＤＤから呼吸数モニタリング装置３０が画像データを取得するモニタリングシステム１００の構成を示す図である。

以下、添付の図面を参照しながら、本発明による呼吸数計測装置、および呼吸数計測装置を有する呼吸数モニタリング装置の実施形態を説明する。

（実施の形態１）
図１は、本実施の形態による呼吸数モニタリング装置３０を含む、モニタリングシステム１００の構成を示す。

モニタリングシステム１００は、カメラ１０と、マウス２０と、呼吸数モニタリング装置３０と、表示装置４０とを含む。図１には被験者１が示されているが、被験者１はモニタリングシステム１００に含まれない。

モニタリングシステム１００は、被験者１を撮影した動画像から、その被験者１の呼吸数を計測するために利用される。以下の各実施形態において、呼吸数とは、一定期間内に被験者１が現実に行った呼吸の回数を意味する。本実施の形態においては、１呼吸に要する時間を求め、その時間と動画像のフレームレートとの関係から、単位時間あたりの呼吸の回数を求める。

カメラ１０は、被験者１を撮影して動画像のデジタルデータを生成し、出力する。説明の都合上、１枚１枚のフレーム画像単位でデータが生成され、出力されるとする。なお、フレーム画像に分離可能であれば、そのデータ形式は任意である。たとえば、Ｈ．２６４規格等の動画像圧縮処理を利用して動画像のデジタルデータを生成し、出力してもよい。

マウス２０は、モニタリングシステム１００の操作者が呼吸数モニタリング装置３０に指示を入力するために利用される入力装置である。より具体的には、マウス２０は、呼吸数モニタリング装置３０が呼吸数を計測する際に動画像のどの領域を利用するかを指定するために利用される。なお、マウス２０は入力装置の一例であり、他の周知の入力装置、たとえばトラックボール、キーボード、タッチペン、タッチスクリーンパネル、ディジタイザであってもよい。

マウス２０に代表される入力装置は典型的にはハードウェアであるが、ソフトウェア的に指示を受け付ける態様を含めてもよい。たとえば呼吸数モニタリング装置３０の実体がコンピュータであるとする。そして、そのコンピュータ上で動作する画像処理プログラムが、動画像を受け取り、その動画像の輝度の変化が大きい領域を識別し、その領域を、呼吸数を計測する領域として出力するとする。マウス２０等に代えて、このような画像処理プログラムの処理の結果を、呼吸数モニタリング装置３０上のその後の処理への入力（指示）として利用することもできる。このようなデータの受け渡しのためのインタフェースは、アプリケーション・プログラム・インターフェース（ＡＰＩ）と呼ばれる。すなわち、ＡＰＩが、マウス等のハードウェアとしての入力装置に変わる入力インタフェースとして機能し得る。このような構成の一例が後述する図２１に示されている。上述の領域の識別処理が呼吸数モニタリング装置３０外で行われる場合には、外部機器との通信に用いられる通信端子が入力装置として機能し、または、通信端子から得られた領域の識別結果を、呼吸数モニタリング装置３０の主要な処理プログラムへ引き渡すためのＡＰＩが、ソフトウェア的な入力装置として機能する。

呼吸数モニタリング装置３０は、典型的にはコンピュータである。呼吸数モニタリング装置３０は、カメラ１０によって撮影された動画像の信号と、マウス２０を利用して指定された領域の情報とを受け取り、指定された領域における動画像のデータを利用して、その被験者１の呼吸数を計測する。その処理の詳細は後に詳述する。

表示装置４０は、たとえば液晶ディスプレイであり、呼吸数モニタリング装置３０の処理結果、たとえば、計測した被験者１の呼吸数の情報、または呼吸数を取得できなかったことを示す情報を出力する。なお、液晶ディスプレイは一例であり、他の周知の表示装置、たとえばプラズマディスプレイ、有機ＥＬディスプレイ、プロジェクタであってもよい。なお、表示装置４０として、液晶ディスプレイ等を備えたタブレット、スマートフォンなどの携帯デバイスも含まれ得る。

表示装置４０は、典型的にはハードウェアであるが、本質的には情報を操作者、被験者等に提示することができる情報提示手段であればよい。たとえば、Ｗｉｎｄｏｗｓ（登録商標）等で利用できる仮想画面もまた、情報提示手段の一例である。また、呼吸数の情報、または呼吸数を取得できなかったことを示す情報として、音声自体または音声を出力するスピーカもまた情報提示手段の一例である。

図２は、呼吸数モニタリング装置３０のハードウェア構成を示す。本実施の形態では、呼吸数モニタリング装置３０は、上述のように、カメラ１０、マウス２０および表示装置４０と接続されている。なお、本明細書においては、インタフェース装置を「Ｉ／Ｆ」と略記する。図２に示されるように、Ｉ／Ｆは典型的には接続端子（コネクタ）などのハードウェアであるが、ソフトウェア的にデータを授受する仕組み（たとえばソケット、ポート、データ構造、プロトコル）もまたＩ／Ｆの範疇である。

呼吸数モニタリング装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ４０は、処理の結果である、被験者１の呼吸数の計測結果を表示する。

呼吸数モニタリング装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、画像処理回路３０５と、映像入力Ｉ／Ｆ３０６と、ＵＳＢ Ｉ／Ｆ３０７と、出力Ｉ／Ｆ３０８とを有する。

ＣＰＵ３０１は呼吸数モニタリング装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理またはその変形例にかかる処理をＣＰＵ３０１または画像処理回路３０５に行わせるための命令群である。コンピュータプログラムは、たとえばＣＤ−ＲＯＭのような光学的記録媒体に記録されていてもよいし、メモリカードのような半導体記録媒体に記憶されてもよいし、磁気記録媒体に記録されてもよい。コンピュータプログラムは、電気通信回線を通じて伝送され得る。

ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。

映像入力Ｉ／Ｆ３０６は、呼吸数モニタリング装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。映像入力Ｉ／Ｆ３０６として、たとえばＨＤＭＩ（登録商標）規格、ＤＶＩ−Ｄ規格、DisplayPort（登録商標）規格の端子が利用され得る。

ＵＳＢ Ｉ／Ｆ３０７は、マウス２０と呼吸数モニタリング装置３０とを接続する端子の一例である。他の例として、ＰＳ／２ Ｉ／Ｆを利用し得る。

出力Ｉ／Ｆ３０８は、呼吸数モニタリング装置３０が表示装置４０に表示するためのデータを出力するためのインタフェースである。出力Ｉ／Ｆ３０８として、たとえばＨＤＭＩ（登録商標）規格、ＤＶＩ規格の端子が利用され得る。出力Ｉ／Ｆ３０８は、表示装置４０に表示されるテキストデータのみを出力してもよい。

なお、映像入力Ｉ／Ｆ３０６および／または出力Ｉ／Ｆ３０８は、映像専用のＩ／Ｆである必要はない。たとえばカメラ１０またはカメラ１０から映像データを受け取った他の機器（図示せず）が、ＴＣＰ／ＩＰプロトコルの通信を行うことが可能であれば、映像入力Ｉ／Ｆ３０６は、イーサネット（登録商標）端子であってもよい。または、無線通信によって動画像データの送信および／または受信を行う場合には、映像入力Ｉ／Ｆ３０６および／または出力Ｉ／Ｆ３０８は、たとえばWi-Fi（登録商標）規格に準拠した通信を行う通信回路として実現され得る。

画像処理回路３０５は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０５は、ＨＤＤ３０４から読み出した動画像のデータを利用して被験者１の呼吸数を算出する。本実施の形態では主として画像処理回路３０５が呼吸数を算出する演算を行うとして説明する。しかしながら、これは一例である。画像処理回路３０５の処理を、ＣＰＵ３０１が行ってもよい。本明細書では、ＣＰＵ３０１および画像処理回路３０５を総称して、「演算回路」と呼ぶことがある。図２には、演算回路３０９が示されている。

呼吸数モニタリング装置３０の演算回路３０９の動作の概要は、以下の通りである。すなわち演算回路３０９は、ＨＤＤ３０４などの記憶装置から、動画像の連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群、および第１画像群の先頭フレーム画像（典型的には最新のフレーム画像）からＳ（Ｓ：１以上の整数）枚のフレーム画像だけずれた、連続するＮ枚のフレーム画像で構成された第２画像群を読み出す。そして演算回路３０９は、第１画像群の画像特徴量と第２画像群の画像特徴量との相関係数を計算する。なお、本実施の形態では、第１画像群のフレーム画像数および第２画像群のフレーム画像数はいずれもＮ枚であるとしている。

「画像特徴量」は、一例として、被験者１の呼吸による変化が画像上存在する領域（以下「呼吸領域」と呼ぶ。）における、画素値に基づいて算出される。例えば、画像フレームの輝度値や緑成分の画素値の平均値あるいは中央値である。本実施の形態においては、呼吸領域は、呼吸数モニタリング装置３０の操作者によって指定されるが、後述する他の実施の形態においては、呼吸領域は所定の画像処理を実行した装置によって認識される。演算回路３０９は、相関係数が予め定められた閾値以上であるとき、Ｓ枚のフレーム画像に対応する時間を被験者の呼吸の周期として特定する。

従来の技術と異なり、本実施の形態による呼吸数モニタリング装置３０は、想定される最小呼吸数(周波数の最も低い呼吸)に合わせて第１および第２画像群のフレーム画像数Ｎを設定すればよい。具体的な設定方法は後述する。

Ｎの値を相対的に小さく設定すれば、第１画像群の画像特徴量と第２画像群の画像特徴量との相関係数を計算する処理、および被験者の呼吸の周期の検出処理が相対的に早くなる。よって、呼吸数が変動した場合でもその変動に素早く追従することができる。ただし、呼吸周期が上述のＮ枚の画像よりも長い場合には、そのような１呼吸周期を検出することは困難であると考えられる。

一方、Ｎの値を相対的に大きく設定すれば、第１画像群の画像特徴量と第２画像群の画像特徴量との相関係数を計算する処理、および被験者の呼吸の周期の検出処理に相対的に時間を要する。これは、呼吸数が変動した場合には、その変動への追従に時間を要することを意味する。ただし、Ｎの値を大きくすることにより、呼吸周期が比較的長くなっても追従することができる。

ここで、第１および第２画像群のフレーム画像数Ｎを決めておくことによる利点を説明する。第１および第２画像群のフレーム画像を利用してそれらの画像群の間に相関があると判断できた場合には、呼吸数モニタリング装置３０は、その時点で処理を打ち切ることができる。これは、たとえばコンピュータを用いた高速フーリエ変換によって呼吸数を測定する既知の技術よりも有利である。高速フーリエ変換を利用する場合には、想定される全ての呼吸周期に対応する周波数範囲を設定し、その全ての周波数範囲に関するパワースペクトルを求め、求めたパワースペクトルに基づいて、呼吸に対応する周波数を特定する必要がある。たとえば、被検者の呼吸周期が早く、呼吸の周波数が高かったとしても、より低い周波数に関しても計算を行う必要がある。

一方、本実施の形態によれば、相関係数が後述の閾値条件に合致すれば、その時点で処理を打ち切ることができる。毎回、予め定められた全ての処理を行う必要はなく、必要最小限の処理に抑えることができる。よって、平均的に見て従来よりも効率的に呼吸数計算を行うことができる。

図３Ａは、主として呼吸数モニタリング装置３０の構成例を示す。

呼吸数モニタリング装置３０は、呼吸数計測装置１０２と、フレーム画像データ受信Ｉ／Ｆ１０３と、呼吸領域指定データ受信Ｉ／Ｆ１０４と、フレーム画像データバッファ１０６と、呼吸領域指定データバッファ１０７と、呼吸波形データ生成処理部１０８とを有している。そして呼吸数計測装置１０２は、呼吸波形データバッファ１０９と、呼吸数演算処理部１１０と、呼吸数データバッファ１１１とを有している。呼吸数演算処理部１１０は、演算処理に利用されるデータを一時的に格納するバッファ１１２を有している。

これらと、図２の各構成要素との対応関係は以下のとおりである。呼吸数モニタリング装置３０の呼吸波形データ生成処理部１０８および呼吸数計測装置１０２の呼吸数演算処理部１１０は、演算回路３０９（ＣＰＵ３０１および／または画像処理回路３０５）に対応する。フレーム画像データ受信Ｉ／Ｆ１０３は、映像入力Ｉ／Ｆ３０６に対応する。呼吸領域指定データ受信Ｉ／Ｆ１０４は、ＵＳＢ Ｉ／Ｆ３０７に対応する。またはソフトウェア的なインタフェース（ＡＰＩ）であってもよい。フレーム画像データバッファ１０６、呼吸領域指定データバッファ１０７、呼吸波形データバッファ１０９と、呼吸数データバッファ１１１は、ＲＡＭ３０３、またはＨＤＤ３０４に対応する。なお、ＣＰＵ３０１および／または画像処理回路３０５は、キャッシュメモリと呼ばれる記憶装置を内蔵していることが多い。そのようなキャッシュメモリが、上述した各バッファの全部または一部として利用されてもよい。

図３Ｂは、図３Ａの呼吸数モニタリング装置３０の詳細な構成例を示している。より具体的には、図３Ｂは、図３Ａにおけるフレーム画像データバッファ１０６、呼吸波形データ生成処理部１０８、および呼吸数演算処理部１１０の詳細な構成例を示している。

フレーム画像データバッファ１０６は、第１画像群取得処理部１０６ａおよび第２画像群取得処理部１０６ｂを有している。第１および第２画像群取得処理部１０６ａおよび１０６ｂは、それぞれ上述の第１画像群および第２画像群のデータを取得する。ここで言う「取得する」とは、典型的には、フレーム画像データ受信Ｉ／Ｆ１０３を介して、上述した第１画像群および第２画像群のデータを受け取ることを言う。

なお、第１画像群取得処理部１０６ａおよび第２画像群取得処理部１０６ｂは、必ずしもフレーム画像データバッファ１０６の一部として設けられなくてもよい。たとえば、第１および第２画像群を含む動画像が既にＨＤＤ３０４（図２）に格納されている場合には、第１および第２画像群取得処理部１０６ａおよび１０６ｂは、ＨＤＤ３０４から第１および第２画像群のデータを読み出すための処理回路であってもよい。

呼吸波形データ生成処理部１０８は、第１画像特徴量群作成処理部１０８ａおよび第２画像特徴量群作成処理部１０８ｂを有している。第１画像特徴量群作成処理部１０８ａは、第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する。第２画像特徴量群作成処理部１０８ａも同様に、第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する。画像特徴量の例は上述の通りである。

呼吸数演算処理部１１０は、相関係数演算処理部１１０ａと、呼吸周期特定処理部１１０ｂと、パラメータ再設定処理部１１０ｃとを有している。

相関係数演算処理部１１０ａは、第１画像特徴量群と第２画像特徴量群との相関係数を計算する。呼吸周期特定処理部１１０ｂは、第１画像群と第２画像群との差であるフレーム画像の枚数Ｓを変化させたときの相関係数の推移により、呼吸周期を特定できるかどうかを判定する。パラメータ再設定処理部１１０ｃは、呼吸周期が特定できない場合、フレーム枚数Ｓの値を再設定する。さらにパラメータ再設定処理部１１０ｃは、第１および第２画像群のフレーム画像の枚数Ｎを変化させることもできる。「再設定する」とは、たとえば各画像群を構成するフレーム画像の枚数Ｎの値および／または変更後のフレーム枚数Ｓの値に基づいて第１および第２画像群のデータを取得するよう、第１画像群取得処理部１０６ａおよび第２画像群取得処理部１０６ｂに指示することをいう。

以下では、図３Ａの構成に基づいて、呼吸数モニタリング装置３０の動作を説明する。適宜、図３Ｂの詳細な構成についても言及する。なお、上述した図２のハードウェアとの対応関係の記載により、たとえば、以下の記載における「呼吸波形データ生成処理部１０８」または「呼吸数演算処理部１１０」は、そのまま「演算回路３０９」と読み替えてもよいし、「ＣＰＵ３０１」または「画像処理回路３０５」と読み替えてもよい。

図４は、呼吸数モニタリング装置３０の処理手順を示すフローチャートである。以下の説明において、適宜他の図面も参照しながら、各処理を説明する。

まずステップＳ１において、フレーム画像データ受信Ｉ／Ｆ１０３は、カメラ１０から送信されてきた動画像データを受信する。そしてフレーム画像データ受信Ｉ／Ｆ１０３は、その動画像データをフレーム画像データバッファ１０６に格納する。この処理によってフレーム画像データバッファ１０６には、少なくとも後述する処理が可能な枚数分のフレーム画像のデータが格納される。

なお、圧縮符号化された動画像データがカメラ１０から受信した場合も、少なくとも後述する処理が可能な枚数分のフレーム画像がフレーム画像データバッファ１０６に保持されていればよい。圧縮符号化された動画像データには、たとえば圧縮されたそのデータのみで完全な１枚のピクチャが構築可能なデータ（Ｉピクチャデータ）と、圧縮されたそのデータのみでは完全な１枚のピクチャが構築できないが、他のピクチャのデータを参照することによって完全な１枚のピクチャが構築可能なデータ（Ｐ、Ｂピクチャデータ）とが存在する。画像処理回路３０５は、Ｉ、Ｐ、Ｂピクチャデータを復号化することにより、必要な枚数分のフレーム画像をフレーム画像データバッファ１０６に格納することができる。

図３Ｂの例との関係では、ステップＳ１において、第１画像群取得処理部１０６ａおよび第２画像群取得処理部１０６ｂは、それぞれ第１画像群および第２画像群の動画像データを取得する。

ステップＳ２において、呼吸領域指定データ受信Ｉ／Ｆ１０４は、操作者によって指定された、フレーム画像中の一部の領域を特定する情報（領域指定情報）を受け取る。領域指定情報は、呼吸領域を特定する情報である。そして呼吸領域指定データ受信Ｉ／Ｆ１０４は、その情報を呼吸領域指定データバッファ１０７に格納する。

図５は、あるフレーム画像２００に指定された呼吸領域２０２を示す。縦方向および横方向に伸びる複数の直線およびそれらによって囲まれる矩形の小領域群は、操作者に特定の小領域を指定させるために、表示装置４０上のフレーム画像２００上に仮想的に示されているに過ぎない。本明細書では、被験者１の呼吸に伴う体動の変化が含まれる小領域が、呼吸領域として指定される。使用者は、その中からマウス２０を利用して呼吸領域２０２を指定する。図５には、上下方向に隣接する２つの小領域を１つの呼吸領域として指定する例が示されている。呼吸領域は、フレーム画像内の絶対的な位置である。複数のフレーム画像にわたって、同じ位置の呼吸領域の画像特徴量が求められる。

図６（ａ）〜（ｄ）は、複数のフレーム画像にわたる、呼吸領域２０２内の画像の時系列的な変化の一例を示す。図６（ａ）を参照すると、呼吸領域２０２には２つのオブジェクトが存在する。被験者１を含む被験者オブジェクト２０４と、背景オブジェクト２０６である。オブジェクト２０４は被験者の衣服等の色の影響により相対的に明るい。すなわち輝度値が大きい。一方の背景オブジェクト２０６は、相対的に暗い。すなわち輝度値が小さい。

図６（ａ）〜（ｄ）に示されるように、被験者１の呼吸に同期して、固定された呼吸領域２０２を占める被験者オブジェクト２０４の面積が変化する。このような小領域が、操作者によって呼吸領域２０２としてとして指定され得る。

なお、図６（ａ）〜（ｄ）は、連続するフレーム画像とは限らない。たとえば、被験者１が１回の呼吸に２秒を要している場合には、図６（ａ）〜（ｄ）は、たとえば０．５秒間隔の４枚のフレーム画像である。

次に、図４のステップＳ３において、呼吸波形データ生成処理部１０８は、フレーム画像データバッファ１０６からフレーム画像データを読み出し、呼吸領域指定データバッファ１０７から呼吸領域指定データを読み出して、呼吸領域２０２における呼吸波形データを生成する。呼吸波形データ生成処理部１０８は、生成した呼吸波形データを呼吸波形データバッファ１０９に格納する。

呼吸波形データを生成する処理は、呼吸領域２０２における、輝度値の平均値の時系列データを求める処理である。図６（ａ）〜（ｄ）に示されるように、被験者オブジェクト２０４の面積および背景オブジェクト２０６の面積が呼吸に同期して変化するため、呼吸領域２０２全体の輝度値の平均値も時間的に変動する。呼吸波形データ生成処理部１０８は、この輝度値の平均値をフレーム画像毎に求めることにより、被験者１の呼吸に伴って変動する情報、すなわち呼吸波形を得ることができる。

なお、図１および図５によれば、カメラ１０は、被検者１の斜め上の位置から水平に近い位置までの間に設置されている。しかしながらこの配置は一例である。カメラ１０が被検者１を撮影する角度は任意である。たとえば被検者１の真上に設置されていてもよい。カメラ１０が被検者１の真上から被検者１を撮影した場合は、図６（ａ）等に示す背景オブジェクト２０６が含まれないことがあり得る。しかしながら、そのような場合であっても、被検者１の呼吸波形を得ることができる。それは、呼吸に伴って被験者１が動くことにより、光の反射方向が刻々と変化することに起因する。輝度値を継続的に測定することにより、呼吸波形を得ることができる。

図７は、取得された呼吸波形の一例を示す。図７では輝度値の変化を連続関数として示しているが、これは理解の便宜のためである。実際には離散値として得られることに留意されたい。なお、画像処理回路３０５が、離散値として得られた各フレーム画像の輝度値の平均値を、たとえばスプライン曲線で補間することにより、より緻密な波形を得ることも可能である。

図３Ｂの例との関係では、ステップＳ３において、第１および第２画像特徴量群作成処理部１０８ａおよび１０８ｂが、画像特徴量の集合である画像特徴量群（呼吸波形）を作成する。

ステップＳ４において、呼吸波形データバッファ１０９は、得られた呼吸波形データを格納する。

ステップＳ５において、呼吸数演算処理部１１０は、呼吸波形データバッファ１０９から呼吸波形データを読み込み、呼吸波形データから被験者１の呼吸数を求める。被験者１の呼吸数は、ステップＳ６において呼吸数データバッファ１１１に格納される。
呼吸数の算出処理は下記の（１）〜（３）のデータを利用して行われる。

（１）特定のフレーム画像から起算して、連続する過去Ｎ（Ｎ：２以上の整数）枚のフレーム画像（第１画像群）から生成された呼吸波形のデータ。
（２）特定のフレーム画像から起算してＳ（Ｓ：１以上の整数）枚前のフレーム画像を先頭フレーム画像として含む、連続する過去Ｎ枚のフレーム画像（第２画像群）から生成された呼吸波形のデータ。
（３）第１画像群から求められた呼吸波形のデータおよび第２画像群から求められた呼吸波形のデータの相関の強さを示す相関係数。

なお、上記（１）および（２）における「特定のフレーム画像」の一例は、最新のフレーム画像である。

この相関係数に関し、予め、第１画像群および第２画像群の相関が有意に高いと判断され得る値を設定しておく。つまり、第２画像群が、第１画像群の１呼吸前に撮影されたと判断され得るような、相関の高さを有すると判断し得る値を、予め設定しておく。呼吸数演算処理部１１０は、相関係数がそのような設定値以上になったか否かを判定し、相関係数が設定値以上になると、そのときの第１画像群および第２画像群の間隔に対応する値Ｓを、呼吸間隔として特定する。たとえばフレームレートが毎秒ｆ枚であるとすると、呼吸数演算処理部１１０は、１呼吸に要する時間ＴをＴ＝（Ｓ／ｆ）秒であると求める。そして呼吸数演算処理部１１０は、１分あたりの呼吸数を６０／Ｔ回であると求める。呼吸数演算処理部１１０は、呼吸数の情報を呼吸数データとして呼吸数データバッファ１１１に格納する。

以下、呼吸数演算処理の詳細を説明する。

図８は、Ｎ枚のフレーム画像を含む第１画像群と、第１画像群の先頭フレーム画像からＳ枚ずれた位置のフレーム画像を先頭とする、連続するＮ枚のフレーム画像を含む第２画像群と、呼吸波形との関係を示す。図８における（１）および（２）は、それぞれ上述の第１画像群および第２画像群に対応する。

本願発明者らは、以下の知見に基づいて、呼吸数演算処理部１１０を動作させることとした。

まず、第１画像群に関するＮの値は検出する呼吸波形の周期の長さにより決定する必要がある。周期が長ければＮの値を大きく、周期が短ければＮの値を小さくする必要がある。仮に、想定される呼吸の波形の周期のうち、長い周期を基準としてＮの値を決定すると、呼吸が速くなった場合には、Ｎ枚のフレーム画像に対応する撮影期間中に複数回の呼吸が行われることになる。これは、呼吸が速くなったり遅くなったりする場合において、呼吸が速くなったときも同様である。長い周期を基準としてＮの値を決定すると、Ｎ枚の第１画像群とＮ枚の第２画像群とから求められる相関係数が後述の閾値条件に合致しにくくなり、相関があると判断されるまで時間がかかる。よって追従性の問題が生じ得ることが分かった。

一方、本願発明者らの研究により、呼吸のように周期が変化する波形の相関を求める場合は、Ｎの値を一定にすると、適切な相関が取れない場合があることも分かった。

そこで本願発明者らは、Ｎフレームとして最初に設定される値（Ｎ０）は、呼吸が速い（周期が短い）場合を基準として設定し、相関を計算できるようにした。さらに本願発明者らは、呼吸が遅い（呼吸の周期が長い）場合への対応として、（ａ）第１画像群と第２画像群との間の間隔Ｓの値をインクリメントさせる、（ｂ）上記（ａ）に加え、第１画像群の枚数Ｎおよび第２画像群の枚数Ｎをも変化させることにした。これにより、呼吸が遅くなっても、第１画像群と、第２画像群との相関の有無を判断できる。

上記（ａ）または（ｂ）のいずれにおいても、どのように変化させるかは予め規則を設けておけばよい。たとえば重複率である。「重複率」とは、たとえば第１画像群と第２画像群とに共通して含まれるフレーム画像の枚数と、第１画像群（または第２画像群）に含まれるフレーム画像の総数Ｎとの関係である。「重複率」を、第１画像群と第２画像群とに共通して含まれるフレーム画像の枚数と、最新のフレーム画像から最古のフレーム画像までの枚数との関係として定義してもよい。なお、後者の「最新のフレーム画像」は、第１フレーム画像群（図８における（１））の先頭フレーム画像であり、「最古のフレーム画像」は第２フレーム画像群（図８における（２））の最後のフレーム画像である。

以下、相関係数の具体的な計算方法を説明する。ただし以下の説明は一例であり、異なる方法を用いたとしても相関を求めることが可能であればその方法を用いてもよい。

なお、上述のように、第１画像群の枚数、および第２画像群の枚数（いずれもＮ）を用いて、下記数１に基づいて相関係数を求めることができる。

数１に含まれる関数ｆ（ｉ）は、ｉ番目のフレーム画像に対応する呼吸波形の値である。

呼吸数演算処理部１１０は、初期値としてＳ＝Ｓ０を設定して数１によって相関係数ｃｏｅｆ（Ｓ）を求める。たとえば、３０回／分の呼吸を短い呼吸のターゲットとしたとき、初期値Ｓ０は、２秒間分のフレーム数以上の値に設定すればよい。すなわち１回の呼吸に要する時間以上のフレーム数に設定すればよい。

図３Ｂの例との関係では、相関係数演算処理部１１０ａが上述の相関係数を演算する。

呼吸数演算処理部１１０は、相関係数ｃｏｅｆ（Ｓ）と、予め設定されている相関係数閾値ｃｏｅｆＴｈとを比較し、予め定められた閾値条件のもとで、相関係数ｃｏｅｆ（Ｓ）が相関係数閾値ｃｏｅｆＴｈ以上になったか否かを判定する。これはすなわち、呼吸数演算処理部１１０が、呼吸周期を特定できるかどうかを判定することを意味する。この処理は図３Ｂの例における呼吸周期特定処理部１１０ｂの動作に対応する。

呼吸数演算処理部１１０は、相関係数ｃｏｅｆ（Ｓ）が相関係数閾値ｃｏｅｆＴｈ以上になると、Ｓフレーム画像に対応する時間（上述のＳ／ｆ）を、１呼吸に要する時間として算出する。なお、相関係数閾値ｃｏｅｆＴｈは０以上１以下の任意の定数であればよい。本明細書では相関係数閾値ｃｏｅｆＴｈ＝０．７とする。

１呼吸に要する時間を算出すると、その時点で値Ｓをインクリメントする処理は終了する。呼吸数演算処理部１１０は、１呼吸に要する時間から、呼吸数を算出する。

呼吸数演算処理部１１０は、相関係数の計算に用いるデータ数を、呼吸周期が長い(周波数が低い)場合には大きく、呼吸周期が短い(周波数が高い)場合には小さくなるように動的に変化させる。相関係数の計算に用いるデータ数を動的に変化させる理由は、呼吸数変動への追従性を高めるためである。ここでいうデータ数とは、第１画像群を構成するフレーム画像の数、および第２画像群を構成するフレーム画像の数であり、いずれもＮ枚である。

呼吸数を評価するためには、１回の呼吸に対応する呼吸波形のデータ（つまり１呼吸に対応するデータ）が必要である。当該呼吸波形のデータを求めるためのフレーム画像の数を、呼吸波形の大きさに比べて大きく取り過ぎ、さらにその全てのフレーム画像を用いて呼吸数を評価すると、上述の理由により、呼吸数の変動に迅速に追従できない可能性が生じる。含まれる呼吸波形の数が増えるほど、全体の波形間に相関があると判断するまでに時間を要することは明らかである。そのため、上述のように相関係数の計算に用いるデータ数を動的に変化させることが適切である。また、図９に示すように、Ｎの最大値（Ｎ_max）を設定してもよい。

例えば、図９は、第１画像群と第２画像群との間で、最小データ重複率Ｐ（％）を下回らないように各画像群のフレーム画像数および重複するフレーム画像を変化させた例を示す。第１画像群を構成するフレーム画像および第２画像群を構成するフレーム画像の数はそれぞれＮ枚である。

図９に示すように、呼吸数演算処理部１１０は、Ｎを初期値Ｎ０として最小データ重複率を用いて、最初Ｎ０個で演算を行う。そして呼吸数演算処理部１１０は、データ重複率が最小データ重複率を下回らないように、Ｓが大きくなるとＮを大きく設定していく。ここでいう最小データ重複率とは、相関係数の演算に用いる呼吸波形データ数に対する、相関係数を計算する２つの画像群に共通するフレーム画像の枚数の割合（％）のうち、予め定められた最小値をいう。最小データ重複率は、たとえば３０％である。

重複率についてさらに説明する。評価には周期以上のデータが必要になるため、最も少ないサンプル数で評価を行おうとする場合には、重複率を０％に設定すればよい。これは、ずらす前のサンプル（第１画像群）とずらした後のサンプル（第２画像群）とが間を開けずに連続していることを意味する。第１画像群と第２画像群とが重複せず、それらの間に、１または複数枚のフレーム画像が存在しているような画像群の設定方法は適切ではない。評価しようとしている周期より短い時間のデータしか存在しないことになるからである。

上述した、間隔Ｓの値を変化させる処理、およびＮを大きく設定する処理は、図３Ｂのパラメータ再設定処理部１１０ｃの動作に対応する。

次に、相関係数ｃｏｅｆ（Ｓ）と、予め設定している相関係数閾値ｃｏｅｆＴｈとの比較処理をより詳しく説明する。以下の説明における「呼吸数演算処理部１１０」は、相関係数を求める処理に関しては相関係数演算処理部１１０ａ（図３Ｂ）の処理に対応し、相関係数と閾値との比較による呼吸周期判定処理に関しては呼吸周期特定処理部１１０ｂ（図３Ｂ）に対応し、パラメータであるＳおよび／またはＮの調整処理に関してはパラメータ再設定処理部１１０ｃに（図３Ｂ）に対応する。

図１０は、呼吸数を計算する閾値条件を模式的に示す。図１０の横軸はずらしたフレーム数Ｓを示し、縦軸は相関係数値を示す。図１０には予め設定されている相関係数閾値ｃｏｅｆＴｈ（＞０）が示されている。

本実施の形態では、呼吸数演算処理部１１０は、以下の閾値条件を満たす場合に、相関係数ｃｏｅｆ（Ｓ）が、予め設定している相関係数閾値ｃｏｅｆＴｈ以上になったと判断する。すなわち、図１０に示すように、呼吸数演算処理部１１０は、相関係数ｃｏｅｆ（Ｓ）のフレーム数Ｓを順次大きくしながら順次相関係数を求めてゆく。Ｓが小さいとき、相関係数は正となる。その後、Ｓを増加させ初めて相関係数ｃｏｅｆ（Ｓ）が負になってから（Ｓ＝Ｓ１）、次に正に推移し（Ｓ＝Ｓ２）、それから次に負になる（Ｓ＝Ｓ３）までフレーム数Ｓを大きくする。そして呼吸数演算処理部１１０は、フレーム数ＳがＳ２からＳ３の間に、相関係数ｃｏｅｆ（Ｓ）が閾値ｃｏｅｆＴｈ以上になったとき、閾値条件が満たされたと判断する。

なお、「負」は０未満の数、「正」は０より大きい数を想定している。しかしながら、０を排除する必要は無い。たとえば「負」は０以下の数、「正」は０より大きい数と解釈してもよい。または、「負」は０未満の数、「正」は０以上の数と解釈してもよい。本明細書において、「負（０未満または０以下）」と「正（０以上または０より大きい）」とが列記されているときは、「負」は０未満の数で、かつ「正」は０以上の数、または「負」は０以下の数で、かつ「正」は０より大きい数であることを意味する。

いま、相関係数ｃｏｅｆ（Ｓ）が予め設定している相関係数閾値ｃｏｅｆＴｈ以上になっている部分４００および４０２に注目する。上述の閾値条件により、呼吸数演算処理部１１０は、部分４００において得られるフレーム数Ｓは利用しない。より具体的には、係数部分４００は、相関係数閾値ｃｏｅｆＴｈ以上になっているものの、上述の相関係数ｃｏｅｆ（Ｓ）が負になり（Ｓ＝Ｓ１）、次に正に推移し（Ｓ＝Ｓ２）、それから次に負になる（Ｓ＝Ｓ３）ことを経ていない。よって部分４００で得られるフレーム数Ｓは利用しない。

一方、呼吸数演算処理部１１０は、部分４０２において得られる相関係数値ｃｏｅｆ（Ｓ）が極大値となるフレーム数Ｓを、１呼吸に要する時間に対応するフレーム数として利用する。

なお、１呼吸に要する時間に対応するフレーム数とするのは、部分４０２の相関係数値が連続して閾値以上の区間内であればどのフレーム数Ｓを用いてもよい。例えば、前記区間の中央に当たるフレーム数Ｓ、あるいは前記区間の先頭、又は最後のフレーム数としてもよい。また、前記区間内の相関係数値ｃｏｅｆ（Ｓ）が最大となるフレーム数Ｓとしてもよい。

なお、本明細書内に出てくる相関係数値ｃｏｅｆ（Ｓ）の極大値を取るフレーム数Ｓは、いずれも注目位置(本実施例での部分４０２に相当)の連続して閾値以上の区間内であればどのフレーム数を用いてもよい。例えば、前記区間の中央に当たるフレーム数Ｓ、あるいは前記区間の先頭、又は最後のフレーム数としてもよい。また、前記区間内の相関係数値ｃｏｅｆ（Ｓ）が最大となるフレーム数Ｓとしてもよい。

上述の例では、相関係数値の正負が３回反転した上で、相関係数値が相関係数閾値ｃｏｅｆＴｈ以上になることを閾値条件として説明した。しかしながら他の閾値条件を採用してもよい。たとえば、図１０に示す各フレーム数Ｓ１およびＳ２の前後で、相関係数値の正負が２回反転し、その後に相関係数値が相関係数閾値ｃｏｅｆＴｈ以上になった時点で、ずらしたフレーム数Ｓ（＞Ｓ２）を特定してもよい。

なお、上述の閾値条件が満たされない場合には、呼吸数演算処理部１１０は呼吸数を計算できない。この状態は、呼吸数を取得できない状況であることを意味する。呼吸数演算処理部１１０はこの期間を無呼吸状態と判定してもよい。

図１１は、呼吸数演算処理の例を示す。この処理は、呼吸数演算処理部１１０によって行われる。

ステップＳ１１において、呼吸数演算処理部１１０は、第１画像群および第２画像群を抽出する。このときの初期値は予め定められた値（Ｎ＝Ｎ０、Ｓ＝Ｓ０）である。

ステップＳ１２において、呼吸数演算処理部１１０は、数１に基づいて相関係数ｃｏｅｆ（Ｓ）を算出する。

ステップＳ１３において、呼吸数演算処理部１１０は、第１画像群および第２画像群の先頭フレーム画像同士の差分（差分フレーム画像数）Ｓ、および各画像群を構成するフレーム画像数Ｎを増加させながら、繰り返し相関係数ｃｏｅｆ（Ｓ）を算出する。このとき、図９に関連して説明したように、呼吸数演算処理部１１０は、予め定められた最小データ重複率を下回らないよう、パラメータであるＳおよびＮを調整する。

ステップＳ１４において、呼吸数演算処理部１１０は、得られた複数の相関係数ｃｏｅｆ（Ｓ）が、閾値条件を満たすか否かを判定する。閾値条件を満たす場合には処理はステップＳ１５に進み、満たさない場合には処理はステップＳ１６に進む。

ステップＳ１５において、呼吸数演算処理部１１０は、第１画像群および第２画像群との差に対応するフレーム画像数Ｓから１呼吸に要する時間を算出し、さらに呼吸数を算出する。

ステップＳ１６において、呼吸数演算処理部１１０は、被験者１は無呼吸状態であると判断し、呼吸数を０とする。

ステップＳ１７において、呼吸数演算処理部１１０は、得られた呼吸数のデータを呼吸数データバッファ１１１に格納し、処理を終了する。

上述した処理によれば、相関係数を計算に用いるデータ数は、呼吸周期が長い(周波数が低い)場合には大きくなり、呼吸周期が短い(周波数が高い)場合には、高速にその呼吸周期を特定することができる。これにより、呼吸数が変動した場合でもその変動への追従性が高くなる。

（実施の形態２）
本実施の形態では、実施の形態１における閾値条件と異なる閾値条件を利用する例を説明する。なお、モニタリングシステム１００に含まれる各装置の構成は同じである。よって、実施の形態１の説明を援用し、再度の説明は省略する。特に、図１１に示すフローチャートでは、ステップＳ１４に示す処理の具体的な内容が変わるだけであり、他の処理は同じである。すなわち、呼吸数演算処理部１１０の呼吸周期特定処理部１１０ｂ（図３Ｂ）の処理が変わるだけである。

実施の形態１で説明した閾値条件は、１つの相関係数閾値ｃｏｅｆＴｈを利用する例であった（図１０）。

本実施の形態においては、２つの閾値条件を用いる。具体的には、第１の閾値ｃｏｅｆＴｈに加え第２の閾値（−ｃｏｅｆＴｈ）を設定する。

図１２は、本実施の形態における呼吸数を計算する閾値条件を模式的に示す。図１２の横軸はずらした差分フレーム数Ｓを示し、縦軸は相関係数値を示す。図１０には予め設定されている相関係数閾値ｃｏｅｆＴｈ（＞０）および相関係数閾値−ｃｏｅｆＴｈ（＜０）が示されている。

呼吸数演算処理部１１０は、以下の閾値条件を満たす場合に、相関係数ｃｏｅｆ（Ｓ）が、予め設定している相関係数閾値ｃｏｅｆＴｈ以上になったと判断し、フレーム画像数Ｓから１呼吸に要する時間を算出する。具体的に説明する。まず呼吸数演算処理部１１０は、フレーム数Ｓを大きくしながら相関係数ｃｏｅｆ（Ｓ）を求めてゆく。そして、初めて相関係数ｃｏｅｆ（Ｓ）が負になってから（Ｓ＝Ｓ１１）、相関係数ｃｏｅｆ（Ｓ）が負の状態を保持しながら−ｃｏｅｆＴｈ以下になり（Ｓ＝Ｓ１２）、次にｃｏｅｆ（Ｓ）が正になって（Ｓ＝Ｓ１３）から、正の状態を保持しながら相関係数閾値ｃｏｅｆＴｈ以上になり（Ｓ＝Ｓ１４）、更にその後負になる（Ｓ＝Ｓ１５）と、閾値条件が満たされたと判断する。

一方、図１３および図１４はいずれも、上述の閾値条件が満足されない呼吸波形例を示す。たとえば図１３は、相関係数ｃｏｅｆ（Ｓ）が−ｃｏｅｆＴｈ以下になっていない。また図１４は、図１２におけるＳ＝Ｓ１４に対応する条件が満たされていない。

上述の閾値条件が満たされない場合には、呼吸数演算処理部１１０は呼吸数を計算できない。この状態は、呼吸数を取得できない状況であることを意味する。呼吸数演算処理部１１０はこの期間を無呼吸状態と判定してもよい。

以下に、本実施の形態の２つの変形例を説明する。

（実施の形態２の変形例１）
図１２を参照する。呼吸数演算処理部１１０のパラメータ再設定処理部１１０ｃ（図３Ｂ）が、差分フレーム数Ｓが大きくなるよう変化させ、その変化に同期して相関係数演算処理部１１０ａ（図３Ｂ）が相関係数ｃｏｅｆ（Ｓ）を求めてゆく。そして、呼吸周期特定処理部１１０ｂ（図３Ｂ）の判定処理により、初めて相関係数ｃｏｅｆ（Ｓ）が負になってから（Ｓ＝Ｓ１１）、相関係数ｃｏｅｆ（Ｓ）が負の状態を保持しながら−ｃｏｅｆＴｈ以下になり（Ｓ＝Ｓ１２）、フレーム数Ｓ＝Ｓ２１において相関係数ｃｏｅｆ（Ｓ）の極小値が得られたとする。このとき、呼吸周期特定処理部１１０ｂ（図３Ｂ）は、差分フレーム数Ｓの大きさが呼吸の半周期であり、そのフレーム数Ｓを２倍した値が１周期であると推定してもよい。

なお、相関係数ｃｏｅｆ（Ｓ）の極小値が得られるフレーム数Ｓは、注目位置で相関係数値が連続して閾値以上の区間内（本実施例ではＳ１１〜Ｓ１３）であればどのフレーム数Ｓを用いてもよい。例えば、当該区間の中央に当たるフレーム数Ｓ、あるいは前記区間の先頭、又は最後のフレーム数を用いてもよい。または、当該区間内の相関係数値ｃｏｅｆ（Ｓ）が最大となるフレーム数Ｓを用いてもよい。

なお、本明細書で言及する相関係数値ｃｏｅｆ（Ｓ）の極小値を取るフレーム数Ｓは、いずれも注目位置の連続して閾値以下の区間内であればどのフレーム数を用いてもよい。例えば、前記区間の中央に当たるフレーム数Ｓ、あるいは前記区間の先頭、又は最後のフレーム数を用いてもよい。また、前記区間内の相関係数値ｃｏｅｆ（Ｓ）が最小となるフレーム数Ｓを用いてもよい。

この処理によれば、呼吸の周期性を積極的に利用して１周期に対応する差分フレーム数Ｓを推定するため、相関係数の演算に用いるデータ数が減り、処理を高速化することが可能となる。

（実施の形態２の変形例２）
図１２を参照する。呼吸数演算処理部１１０のパラメータ再設定処理部１１０ｃで差分フレーム数Ｓが大きくなるよう変化させ、その変化に同期して相関係数演算処理部１１０ａが相関係数ｃｏｅｆ（Ｓ）を求めてゆく。そして、呼吸周期特定処理部１１０ｂの判定処理により、初めて相関係数ｃｏｅｆ（Ｓ）が負になってから（Ｓ＝Ｓ１１）、相関係数ｃｏｅｆ（Ｓ）が負の状態を保持しながら−ｃｏｅｆＴｈ以下になり（Ｓ＝Ｓ１２）、相関係数ｃｏｅｆ（Ｓ）の極小値が得られる。呼吸周期特定処理部１１０ｂは、この極小値に対応するフレーム数Ｓ２１を保持しておく。

そしてパラメータ再設定処理部１１０ｃが引き続き差分フレーム数Ｓを大きくしながら、相関係数演算処理部１１０ａが相関係数ｃｏｅｆ（Ｓ）を求める。そして、次にｃｏｅｆ（Ｓ）が正になって（Ｓ＝Ｓ１３）から、正の状態を保ちながら相関係数閾値ｃｏｅｆＴｈ以上になり（Ｓ＝Ｓ１４）、その後相関係数ｃｏｅｆ（Ｓ）の極大値が得られる。呼吸周期特定処理部１１０ｂは、極小値に対応する差分フレーム数Ｓ２１が極大値に対応するフレーム数Ｓ２２の５０±１０％の範囲内に入っていれば、閾値条件が満足されたと判定する。入っていなければ、そのデータは呼吸数の演算に利用しない。なお、この数値範囲は一例に過ぎない。当該範囲は適宜変更し得る。

この処理によれば、呼吸の周期性を利用して、１周期に対応するフレーム数Ｓをより高い精度で求めることが可能になる。

（実施の形態３）
本実施の形態では、実施の形態１および２における閾値条件と異なる閾値条件を利用する例を説明する。なお、モニタリングシステム１００に含まれる各装置の構成は同じである。よって、実施の形態１の説明を援用し、再度の説明は省略する。特に、図１１に示すフローチャートでは、ステップＳ１４に示す処理の具体的な内容が変わるだけであり、他の処理は概ね同じである。主として、呼吸数演算処理部１１０の呼吸周期特定処理部１１０ｂの処理が変わる。

実施の形態２で説明した閾値条件は、２つの相関係数閾値ｃｏｅｆＴｈおよび（−ｃｏｅｆＴｈ）を利用する例であった（図１２）。

本実施の形態においては、４つの相関係数閾値が用いられる。具体的には、第１の相関係数閾値ｃｏｅｆＴｈ１、第２の相関係数閾値（−ｃｏｅｆＴｈ１）、第３の相関係数閾値ｃｏｅｆＴｈ２、第２の相関係数閾値（−ｃｏｅｆＴｈ２）を設定する。

図１５は、本実施の形態における呼吸数を計算する閾値条件を模式的に示す。図１５の横軸はずらしたフレーム数Ｓを示し、縦軸は相関係数値を示す。図１５には予め設定されている相関係数閾値ｃｏｅｆＴｈ１（＞０）、ｃｏｅｆＴｈ２（＞０）、−ｃｏｅｆＴｈ１（＜０）および−ｃｏｅｆＴｈ２（＜０）が示されている。また、ｃｏｅｆＴｈ１＞ｃｏｅｆＴｈ２であり、−ｃｏｅｆＴｈ２＞−ｃｏｅｆＴｈ１である。これらは、ｃｏｅｆＴｈ１および（−ｃｏｅｆＴｈ１）を一組（第１組み合わせ）とし、およびｃｏｅｆＴｈ２および（−ｃｏｅｆＴｈ２）を他の一組（第２組み合わせ）として用いられる。

実施の形態１においては、相関係数の値が０．７より大きくなると相関が強いと説明した。続いて、相関係数が０．４から０．７の範囲内にある場合には、相関が中程度に強いと言われる。そこで、相関係数閾値ｃｏｅｆＴｈ１を０．７とし、ｃｏｅｆＴｈ２を０．６とするが、それぞれ０以上１以下の任意の値を設定すればよい。

相関係数閾値が高いほど、第１画像群および第２画像群との間により強い相関が求められることになる。つまり、相関認定に関しては、第１組み合わせに係る相関係数閾値は、第２組み合わせに係る相関係数閾値よりも厳しい条件であると言える。

呼吸周期特定処理部１１０ｂは、以下の閾値条件を満たす場合に、相関係数ｃｏｅｆ（Ｓ）が、予め設定している相関係数閾値ｃｏｅｆＴｈ以上になったと判断する。まずパラメータ再設定処理部１１０ｃが、フレーム数Ｓを大きくし、それに同期して相関係数演算処理部１１０ａは相関係数ｃｏｅｆ（Ｓ）を求めてゆく。

閾値条件（ａ）：初めて相関係数ｃｏｅｆ（Ｓ）が負になってから（Ｓ＝Ｓ１１）、相関係数ｃｏｅｆ（Ｓ）が負の状態を保持して−ｃｏｅｆＴｈ１以下になり（Ｓ＝Ｓ１２）、次にｃｏｅｆ（Ｓ）が正になって（Ｓ＝Ｓ１３）から、正の状態を保持して相関係数閾値ｃｏｅｆＴｈ１以上になったとする（Ｓ＝Ｓ１４）。このとき、呼吸周期特定処理部１１０ｂは、閾値条件を満たすと判断し、フレーム画像数Ｓから１呼吸に要する時間を算出する。このときの処理は概ね１周期目で完了する。

一方、上述の閾値条件（ａ）が満たされない場合には、呼吸周期特定処理部１１０ｂは次の閾値条件（ｂ）が満たされるか否かを判断する。これは、厳しい閾値条件（ａ）が満たされない場合であっても、呼吸周期特定処理部１１０ｂは無呼吸状態であると判断しないことを意味する。

閾値条件（ｂ）：呼吸周期特定処理部１１０ｂは、第１組み合わせに係る相関係数閾値を、第２組み合わせに係る相関係数閾値に切り替える。閾値条件（ｂ）は、実施の形態２における相関係数閾値ｃｏｅｆＴｈおよび（−ｃｏｅｆＴｈ）を、それぞれｃｏｅｆＴｈ２および（−ｃｏｅｆＴｈ２）に読み替えればよい。既に、相関係数閾値ｃｏｅｆＴｈ１に関する処理が終わっているため、たとえば呼吸周期特定処理部１１０ｂは、フレーム画像数Ｓを変化させて得られた相関係数値をバッファ１１２に保持している。それまでに得られている相関係数値、およびさらに閾値条件（ｂ）を満足するか否かを判定するためのデータを追加的に取得すれば、呼吸周期特定処理部１１０ｂは、閾値条件（ｂ）が満たされているか否かを判断できる。その結果、閾値条件（ｂ）が満たされているか否かは、概ね１．５周期目で完了する。

さらに、上述の閾値条件（ｂ）が満たされない場合には、呼吸周期特定処理部１１０ｂはさらに次の閾値条件（ｃ）が満たされるか否かを判断する。これは、閾値条件（ａ）よりも緩やかな閾値条件（ｂ）が満たされない場合であっても、呼吸周期特定処理部１１０ｂは無呼吸状態であると判断しないことを意味する。

閾値条件（ｃ）：呼吸周期特定処理部１１０ｂは、第２組み合わせに係る相関係数閾値ｃｏｅｆＴｈ１および（−ｃｏｅｆＴｈ１）を、相関係数閾値ｃｏｅｆＴｈ１のみに切り替える。閾値条件（ｃ）は、実施の形態１における相関係数閾値ｃｏｅｆＴｈを、ｃｏｅｆＴｈ２に読み替えればよい。つまり、閾値条件（ｃ）では、呼吸周期特定処理部１１０ｂは、相関係数閾値（−ｃｏｅｆＴｈ）を利用せずに相関係数閾値ｃｏｅｆＴｈのみを利用する。

閾値条件（ｃ）の判断に当たっても、パラメータ再設定処理部１１０ｃが、フレーム画像数Ｓを変化させることによってそれまでに得られていた相関係数値を利用できる。既に、相関係数閾値ｃｏｅｆＴｈ２に関する処理が終わっており、相関係数値がバッファ１１２に保持されているからである。その結果、閾値条件（ｃ）が満たされているか否かもまた、概ね１．５周期目で完了する。

なお、上述の閾値条件（ａ）〜（ｃ）が満足されない場合には、呼吸周期特定処理部１１０ｂは呼吸数を計算できない。この状態は、呼吸数を取得できない状況であることを意味する。呼吸周期特定処理部１１０ｂはこの期間を無呼吸状態と判定してもよい。

（実施の形態３の変形例）
上述の処理の変形例を説明する。

図１５に示すように、呼吸周期特定処理部１１０ｂは、Ｓ＝Ｓ２０およびＳ２２における極大値間の中間付近に、極小値を与えるＳ＝Ｓ２１が入っているか否かを判定してもよい。この条件を閾値条件（ａ）に加重することにより、より厳しい条件を課すことができる。

または、呼吸周期特定処理部１１０ｂは、Ｓ＝Ｓ２０および／またはＳ＝Ｓ２２における極大値（＞０）と、Ｓ＝Ｓ２１における極小値の絶対値とが、所定の範囲（たとえば±１０％）内に入っているか否かを判定してもよい。この条件を閾値条件（ａ）に加重することにより、同様により厳しい条件を課すことができる。

上述の２つの変形例にかかる条件を同時に閾値条件（ａ）に加重してもよい。

上述した実施の形態２および３（変形例も含む。）では、相関係数閾値として、±ｃｏｅｆＴｈ、および、±ｃｏｅｆＴｈｘ（ｘ：１または２）を挙げたが、絶対値が等しいことは必須ではない。たとえば±ｃｏｅｆＴｈに代えて、絶対値が異なる２つの正の値および負の値を独立して設定してもよい。

（実施の形態４）
実施の形態１〜３では、呼吸波形（図７）を求め、第１画像群および第２画像群の各フレーム画像の輝度値を利用して相関係数を演算した。

本願発明者らは、最小データ重複率を下回らないよう第１画像群および第２画像群を設定したとしても、外的要因等により、相関係数に好ましくない影響を与える事象が存在し得ることを見出した。

たとえば、ドアの開閉や部屋に差し込む日射量の変化に伴い、第２画像群には光が徐々に増加した影響が含まれ、一方、第１画像群には光が徐々に減少した影響が含まれる場合を考える。図１６（ａ）および（ｂ）はそれぞれ、第２画像群および第１画像群から得られた呼吸波形を示す。

図１６（ａ）に示す呼吸波形には、徐々に大きくなるトレンド５００ａが重畳されており、図１６（ｂ）に示す呼吸波形には、徐々に小さくなるトレンド５００ｂが重畳されている。トレンドは、外乱による影響であると言える。

図１６（ａ）および（ｂ）に示す波形を利用して相関係数を求めると、その値は上述した閾値条件を満たすことが困難であることが容易に推測される。数１に示す相関係数の計算式は、それぞれの波形の平均値からの上下変化を求めているからである。図１７（ａ）および（ｂ）は、各呼吸波形と、その平均値（横方向の実線）とを示す。

呼吸波形にトレンドが重畳されている場合には、呼吸数を迅速に、かつより正確に算出することが困難である。そこで本願発明者らは、トレンドが重畳された場合であっても適切な相関係数を算出するために、相関係数を求める前に呼吸波形からトレンドを除去する対応を検討した。

図１８は、本実施の形態による呼吸数計測装置５０２の機能的な構成を示す。呼吸数計測装置５０２は、たとえば図３Ａにおいて、呼吸数計測装置１０２に代えて呼吸数モニタリング装置３０に設けられ得る。なお、呼吸数計測装置５０２は、図２に示すハードウェア構成によって実現され得る。また呼吸数計測装置５０２以外の、呼吸数モニタリング装置３０、および呼吸数モニタリング装置３０を含むモニタリングシステム１００における他の機能および動作は同じである。よって実施の形態１〜３に関する説明を援用し、本実施の形態における再度の説明は省略する。

呼吸数計測装置５０２と呼吸数計測装置１０２との相違点は、呼吸数計測装置５０２には、呼吸波形のトレンドを除去するための新たな構成要素が設けられていることである。具体的には呼吸数計測装置５０２は、新たな構成要素として、部分波形抽出処理部５１０と、第１および第２部分波形バッファ５１２−１および５１２−２と、近似データ生成処理部５１４と、第１および第２データバッファ５１６−１および５１６−２と、トレンド除去処理部５１８と、第１および第２呼吸波形データバッファ５２０−１および５２０−２とを有している。

まず、これらと、図２の各構成要素との対応関係は以下のとおりである。呼吸数計測装置５０２の部分波形抽出処理部５１０、近似データ生成処理部５１４およびトレンド除去処理部５１８は、演算回路３０９（ＣＰＵ３０１および／または画像処理回路３０５）に対応する。第１および第２部分波形バッファ５１２−１および５１２−２、第１および第２データバッファ５１６−１および５１６−２、第１および第２呼吸波形データバッファ５２０−１および５２０−２は、ＲＡＭ３０３、またはＨＤＤ３０４に対応する。なお、ＣＰＵ３０１および／または画像処理回路３０５は、キャッシュメモリと呼ばれる記憶装置を内蔵していることが多い。そのようなキャッシュメモリが、上述した各バッファの全部または一部として利用されてもよい。

以下、図１９を参照しながら、各構成要素の動作を説明する。

図１９は、呼吸数計測装置５０２によるトレンド除去処理の手順を示すフローチャートである。この処理は、たとえば図４のステップＳ４およびＳ５の間に行われる処理である。

ステップＳ２１において、部分波形抽出処理部５１０は、呼吸波形データバッファ１０９に格納された呼吸波形データから、第ｎ画像群に対応する第ｎ部分波形データを抽出する（ｎ：１または２、以下同じ）。

ステップＳ２２において、部分波形抽出処理部５１０は、抽出した第ｎ画像群に対応する第ｎ部分波形データを第ｎ部分波形バッファ５１２−ｎに格納する。

ステップＳ２３において、近似データ生成処理部５１４は、第ｎ部分波形データから一次近似直線の係数を算出する。本実施の形態では、近似データ生成処理部５１４は、最小二乗法を利用して一次近似直線の係数を算出する。

いま、第ｎ部分波形データに、Ｋ個の輝度値が含まれるとする。フレーム画像番号Ｓと、その値ＩＳ（Ｓ：１〜Ｋの整数）を、（Ｓ，ＩＳ）という座標で表すとする。このとき、Ｋ個の輝度値の分布がＩ（Ｓ）＝ａ・Ｓ＋ｂ に従うと仮定して、以下の数２に示すＪを最小化する係数ａおよびｂを求めればよい。なお加算はＳ＝１からＫまでで行われる。
（数２）
Ｊ＝Σ（ＩＳ−Ｉ（Ｓ））²

このようにして求められた係数ａおよびｂにより、トレンドである一次近似直線Ｉ（Ｓ）＝ａ・Ｓ＋ｂを特定することができる。なお演算処理を高速化するため、第ｎ部分波形データにＫ個の輝度値が含まれる場合に、Ｋ個全てを利用しなくてもよい。

ステップＳ２４において、近似データ生成処理部５１４は、第ｎ部分波形から生成した係数ａおよびｂを第ｎデータバッファ５１６−ｎに格納する。

ステップＳ２５において、トレンド除去処理部５１８は、第ｎ画像群に対応する呼吸波形データから、一次近似直線を減算する。これにより、第ｎ画像群に対応する、トレンドが除去された第ｎ呼吸波形データが得られる。

ステップＳ２６において、トレンド除去処理部５１８は、算出した第ｎ呼吸波形データを、第ｎ呼吸波形データバッファ５２０−ｎに格納する。

以上の処理により、トレンドが除去された呼吸波形データが得られる。この呼吸波形データを利用して図４に示す処理を行えば、呼吸数を迅速に、かつより正確に算出することができる。

（実施の形態５）
実施の形態１〜４では、呼吸数モニタリング装置の操作者が、入力装置（たとえばマウス２０）を利用して呼吸領域を指定するとした（図５）。

本実施の形態では、呼吸領域を認識して、自動的に呼吸領域を設定する呼吸数モニタリング装置を説明する。なお、呼吸領域を自動化する以外の処理は、実施の形態１〜４のいずれかと同じである。以下では、自動的に呼吸領域を設定する処理の詳細を説明する。

図２０は、呼吸領域を自動的に取得する呼吸数モニタリング装置３１を有するモニタリングシステム１０１の構成を示す。

図２０に示すモニタリングシステム１０１では、光源５０が赤外光５１を放射する。光源５０の光軸とカメラ１０の光軸とは近接して配置されている。被験者１の胸部周辺には、リフレクタ６０が設置されている。リフレクタ６０は再帰性反射材で構成されており、少なくとも赤外光を再帰反射させる。

再帰性反射材は、入射してきた光を、その入射方向に向けて反射する光学特性を有する。つまり、再帰性反射材に入射する光の入射角と、再帰性反射材によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には入射方向とは異なる方向にも反射され得る。

本実施の形態では、光源５０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源５０から放射された赤外光５１はリフレクタ６０の再帰性反射材で反射され、その多くが赤外光５２としてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。本実施形態では、再帰性反射材として、ガラスビーズを塗布した布を用いた。

なお、再帰性反射材を利用することにより、再帰性反射材に入射した外乱光５３は、反射光５４としてその入射してきた方向に反射される。反射光５４は実質的にカメラ１０に入射しないため、カメラ１０によって撮影される動画像は外乱光の影響を受けにくくなる。ただし、外乱光５３の中には、カメラ１０に直接入射する光、および、リフレクタ６０以外で反射されて間接的にカメラ１０に入射する光も存在する。したがって、外乱光５３の影響を完全に除去することは困難である。

本実施の形態では、カメラ１０が十分な光量で撮影を行うために再帰性反射材を利用するが、これは一例である。再帰性反射材を利用することは必須ではない。

図２１は、主として、呼吸領域を自動的に取得する呼吸数モニタリング装置３１の機能的な構成を示す。

呼吸数モニタリング装置３１と呼吸数モニタリング装置３０（図３Ａ）との相違点は、呼吸領域指定データ受信Ｉ／Ｆ１０４に代えて、呼吸領域を自動的に特定する呼吸領域選択部１２０を有することにある。呼吸領域選択部１２０は、演算回路３０９（ＣＰＵ３０１および／または画像処理回路３０５）に対応する。以下、呼吸領域選択部１２０の動作を説明する。

図２２は、呼吸領域を自動的に取得する処理に関する呼吸数モニタリング装置３０の処理手順を示すフローチャートである。

ステップＳ３１において、呼吸領域選択部１２０は、フレーム画像データバッファ１０６に格納された複数のフレーム画像のデータを読み出し、各フレーム画像を複数の小領域に分割する。複数の小領域は、図５においてメッシュ状に区画された領域を意味する。個々の小領域は、たとえば横６４画素、縦６４画素の大きさを有する。なお「分割する」とは、実際の動作として分割する必要はない。たとえば画像を切り出す単位または処理を行う単位として部分領域のサイズを設定する、という動作も、ここで言う「分割する」動作に含まれ得る。

ステップＳ３２において、呼吸領域選択部１２０は、各小領域の輝度値に基づいて、再帰性反射材が存在する領域、および生体反応による体動箇所を含む領域を特定する。

以下、図２３（ａ）〜２３（ｃ）を参照しながらより詳細に説明する。

図２３（ａ）および（ｂ）は、異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す。図２３（ａ）および（ｂ）に示す領域Ｒは、リフレクタからの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Ｑが、高輝度領域になったりならなかったりする。

図２３（ｃ）は、このときの部分領域Ｑの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Ｑの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。画像処理回路３０５は、このような変化が現れる部分領域群を、複数のフレーム画像を利用して特定する。なお部分領域群を特定する理由は、本実施の形態では、輝度値の差分を演算するために必要だからである。

リフレクタ６０が存在する部分領域は、各フレーム画像内で特定され得る。一方、体動箇所を含む部分領域は、複数のフレーム画像にわたって、すなわち複数のフレーム画像間で特定され得る。

リフレクタが存在する部分領域は以下の処理によって特定される。たとえば、呼吸領域選択部１２０は、リフレクタが存在する場合に観測される小領域の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、リフレクタが存在する部分領域として特定する。

このときの輝度値は、小領域に含まれる各画素の輝度値の和であってもよいし、平均値であってもよい。輝度値の和および平均値のいずれを採用するかに応じて、閾値もまた変化し得る。平均値を算出する演算処理よりも和を算出する演算処理の方が、計算負荷が小さく高速化が可能であるため、本実施の形態では小領域に含まれる各画素の輝度値の和であるとする。

一方、体動箇所を含む小領域は以下の処理によって特定される。上述のように、リフレクタからの反射光が観測される領域は、生体反応（呼吸）による体動により変動する。各フレーム画像に関して、ある共通の座標位置に存在する小領域Ｑに着目する。図２３（ａ）および（ｂ）は、より一般的な例として、異なる時刻に撮影された２枚のフレーム画像における小領域Ｑの例を示す。図２３（ａ）および（ｂ）に示す領域Ｒは、リフレクタからの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、小領域Ｑが、高輝度領域になったりならなかったりする。

図２３（ｃ）は、このときの小領域Ｑの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に小領域Ｑの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。呼吸領域選択部１２０は、このような変化が現れる小領域群を、複数のフレーム画像を利用して特定する。なお小領域群を特定する理由は、本実施の形態では、輝度値の差分を演算するために必要だからである。

以上の処理により、体動箇所を含む小領域Ｑを特定することができる。以後、呼吸数モニタリング装置３１が行う処理は、実施の形態１における呼吸数モニタリング装置３０が、呼吸領域指定データ受信Ｉ／Ｆ１０４を介して呼吸領域が指定された後に行う処理と同じである。

以上、実施の形態を説明した。上述の実施の形態１〜５では、呼吸数モニタリング装置がカメラ１０から逐次送信されてくる動画像の信号を受信して処理することを想定していた。しかしながら、呼吸数モニタリング装置は、必ずしもリアルタイムで動画像の信号を受信する必要はない。

図２４は、動画像がハードディスクドライブ（ＨＤＤ）に保存され、そのＨＤＤから呼吸数モニタリング装置３０が画像データを取得するモニタリングシステム１００の構成を示す。動画像のデータをＨＤＤに一旦保存し、呼吸数モニタリング装置３０が必要な動画像の情報をＨＤＤから読み出して処理を行うことも可能である。

上述の実施形態においては、呼吸数とは、一定期間内に被験者１が現実に行った呼吸の回数を意味するとした。ただしこれは一例である。他の例として、一定期間中に被験者１が現実に行った呼吸の回数を計測し、その呼吸の回数から推測される、被験者１の１分あたりの呼吸の回数であってもよい。たとえば１０秒間で被験者１が３回の呼吸をしたと計測された場合に、呼吸数モニタリング装置３０は呼吸数を１８回／分として出力してもよい。３回の呼吸の計測において、上述した各実施の形態の処理が行われればよい。

上述の実施の形態では、人である被験者の呼吸数をモニタリングする例を説明した。しかしながら、呼吸によって体動が生じる限り、上述の各実施の形態は任意の動物の呼吸数をモニタリングするために利用することが可能である。たとえば、各実施の形態は、犬、猫などのペット動物、豚、マウスなどの実験動物の呼吸数をモニタリングする際に適用可能である。本明細書では、呼吸のモニタリングを行う対象として、人および人以外の動物を総称して「被験体」と呼ぶことがある。

本明細書では、相関係数が相関係数閾値以上であるか否かに基づいて、呼吸周期を特定できたか否かを判定した。しかしながら境界値を含めるかどうかは厳密ではなく、適宜選択することができる。たとえば「ある値以下」を「ある値未満」と読み替えてもよい。「ある値以上」を「ある値より大きい」と読み替えてもよい。よって、相関係数が相関係数閾値より大きいか否かに基づいて、呼吸周期を特定できるか否かを判定してもよい。

本明細書は、以下の項目に記載の呼吸モニタリング装置、呼吸数計測装置、呼吸数計測方法およびコンピュータプログラムを開示している。

［項目１］
呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１画像群取得処理部と、
前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２画像群取得処理部と、
前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１画像特徴量群作成処理部と、
前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２画像特徴量群作成処理部と、
前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算する相関係数演算処理部と、
前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みる呼吸周期特定処理部と、
前記呼吸周期特定判定処理部で呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するパラメータ再設定処理部と
を備えた呼吸数モニタリング装置。

［項目２］
前記フレーム画像中の、一部の領域を指定する領域指定情報を受け取るインタフェースをさらに備え、
前記第１画像特徴量群作成処理部は、前記一部の領域の画像特徴量を算出して前記第１画像特徴量群を作成し、
前記第２画像特徴量群作成処理部は、前記一部の領域の画像特徴量を算出して前記第２画像特徴量群を作成する、項目１に記載の呼吸数モニタリング装置。

［項目３］
前記パラメータ再設定処理部は、前記Ｎ枚のフレーム画像より多くならないように前記Ｓ枚のフレーム画像を設定する、項目１または２に記載の呼吸数モニタリング装置。

［項目４］
前記パラメータ再設定処理部は、前記Ｎ枚のフレーム画像より多くならないように前記Ｓ枚のフレーム画像及び前記Ｎ枚のフレーム画像を設定する、項目１または２に記載の呼吸数モニタリング装置。

［項目５］
前記呼吸周期特定処理部は、前記相関係数が予め定められた閾値よりも大きい、または閾値以上である場合に、前記Ｓ枚のフレーム画像に対応する期間を呼吸周期として特定する、項目１から４のいずれかに記載の呼吸数モニタリング装置。

［項目６］
前記パラメータ再設定処理部は、前記特定フレーム枚数ＳをＫ（Ｋ：１以上の整数）枚増加させる、項目１から５のいずれかに記載の呼吸数モニタリング装置。

［項目７］
前記パラメータ再設定処理部は、前記第１画像群と前記第２画像群に共通して含まれるフレーム画像の割合を、予め定めた最小データ重複率よりも大きい、または以上に保持しながら、前記Ｎの値を等しく増加させる、項目１から６のいずれかに記載の呼吸数モニタリング装置。

［項目８］
前記呼吸周期特定処理部は、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓの増加に伴い、前記相関係数が負、正および負に順次推移したときにおいて、正の値が前記予め定められた閾値よりも大きい、または閾値以上であるときは、前記Ｓ枚のフレーム画像に対応する時間を前記被験体の呼吸の周期として特定する、項目１から７のいずれかに記載の呼吸数モニタリング装置。

［項目９］
前記呼吸周期特定処理部は、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓの増加に伴い、前記相関係数が負、正および負に順次推移したときにおいて、最初の負の値が第１閾値よりも小さい、または以下であり、正の値が前記予め定められた閾値よりも大きい、または閾値以上であるときは、前記Ｓ枚のフレーム画像に対応する時間を前記被験体の呼吸の周期として特定する、項目１から７のいずれかに記載の呼吸数モニタリング装置。

［項目１０］
前記画像特徴量は、画素値に基づいた値である、項目１から９のいずれかに記載の呼吸数モニタリング装置。

［項目１１］
前記画像特徴量は、輝度値に基づいた値である、項目１から１０のいずれかに記載の呼吸数モニタリング装置。

［項目１２］
前記第１画像群の画像特徴量および前記第２画像群の画像特徴量に最小二乗法を適用することにより、前記呼吸波形に重畳されている外乱であるトレンドの一次近似直線を求める近似データ生成処理部と、
前記呼吸波形から前記一次近似直線を減算することにより、前記呼吸波形から前記トレンドを除去するトレンド除去処理部と
をさらに備えた、項目１から１１のいずれかに記載の呼吸数モニタリング装置。

［項目１３］
呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１取得ステップと、
前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２取得ステップと、
前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１作成ステップと、
前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２作成ステップと、
前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算するステップと、
前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みるステップと、
前記呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するステップと
を包含する、呼吸数のモニタリング方法。

［項目１４］
コンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、
呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１取得ステップと、
前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２取得ステップと、
前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１作成ステップと、
前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２作成ステップと、
前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算するステップと、
前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みるステップと、
前記呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するステップと
を実行させる、コンピュータプログラム。

［項目１５］
項目１４に記載のコンピュータプログラムを格納した記録媒体。

本発明は、被験者を撮影した動画像から、被験者の呼吸数を非接触で計測する方法として利用することができる。また本発明は、そのような呼吸数を計測するための装置、システム、コンピュータプログラムとして利用することができる。

３０、３１ 呼吸数モニタリング装置
３０１ ＣＰＵ
３０５ 画像処理回路
３０６ 映像入力インタフェース（Ｉ／Ｆ）
３０７ ＵＳＢ Ｉ／Ｆ
３０８ 出力Ｉ／Ｆ
３０９ 演算回路
１００、１０１ モニタリングシステム
１０２、５０２ 呼吸数計測装置

Claims (15)

1. 呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１画像群取得処理部と、
   前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２画像群取得処理部と、
   前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１画像特徴量群作成処理部と、
   前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２画像特徴量群作成処理部と、
   前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算する相関係数演算処理部と、
   前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みる呼吸周期特定処理部と、
   前記呼吸周期特定判定処理部で呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するパラメータ再設定処理部と
   を備えた呼吸数モニタリング装置。
2. 前記フレーム画像中の、一部の領域を指定する領域指定情報を受け取るインタフェースをさらに備え、
   前記第１画像特徴量群作成処理部は、前記一部の領域の画像特徴量を算出して前記第１画像特徴量群を作成し、
   前記第２画像特徴量群作成処理部は、前記一部の領域の画像特徴量を算出して前記第２画像特徴量群を作成する、請求項１に記載の呼吸数モニタリング装置。
3. 前記パラメータ再設定処理部は、前記Ｎ枚のフレーム画像より多くならないように前記Ｓ枚のフレーム画像を設定する、請求項１または２に記載の呼吸数モニタリング装置。
4. 前記パラメータ再設定処理部は、前記Ｎ枚のフレーム画像より多くならないように前記Ｓ枚のフレーム画像及び前記Ｎ枚のフレーム画像を設定する、請求項１または２に記載の呼吸数モニタリング装置。
5. 前記呼吸周期特定処理部は、前記相関係数が予め定められた閾値よりも大きい、または閾値以上である場合に、前記Ｓ枚のフレーム画像に対応する期間を呼吸周期として特定する、請求項１から４のいずれかに記載の呼吸数モニタリング装置。
6. 前記パラメータ再設定処理部は、前記特定フレーム枚数ＳをＫ（Ｋ：１以上の整数）枚増加させる、請求項１から５のいずれかに記載の呼吸数モニタリング装置。
7. 前記パラメータ再設定処理部は、前記第１画像群と前記第２画像群に共通して含まれるフレーム画像の割合を、予め定めた最小データ重複率よりも大きい、または以上に保持しながら、前記Ｎの値を等しく増加させる、請求項１から６のいずれかに記載の呼吸数モニタリング装置。
8. 前記呼吸周期特定処理部は、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓの増加に伴い、前記相関係数が初めて負（０未満または０以下）になった後、正（０以上または０より大きい）および負（０未満または０以下）に順次推移したときにおいて、正の値が前記予め定められた閾値よりも大きい、または閾値以上であるときは、前記Ｓ枚のフレーム画像に対応する時間を前記被験体の呼吸の周期として特定する、請求項１から７のいずれかに記載の呼吸数モニタリング装置。
9. 前記呼吸周期特定処理部は、前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓの増加に伴い、前記相関係数が初めて負になった後、正および負に順次推移したときにおいて、最初の負の値が第１閾値よりも小さい、または以下であり、正の値が前記予め定められた閾値よりも大きい、または閾値以上であるときは、前記Ｓ枚のフレーム画像に対応する時間を前記被験体の呼吸の周期として特定する、請求項１から７のいずれかに記載の呼吸数モニタリング装置。
10. 前記画像特徴量は、画素値に基づいた値である、請求項１から９のいずれかに記載の呼吸数モニタリング装置。
11. 前記画像特徴量は、輝度値に基づいた値である、請求項１から１０のいずれかに記載の呼吸数モニタリング装置。
12. 前記第１画像群の画像特徴量および前記第２画像群の画像特徴量に最小二乗法を適用することにより、前記呼吸波形に重畳されている外乱であるトレンドの一次近似直線を求める近似データ生成処理部と、
    前記呼吸波形から前記一次近似直線を減算することにより、前記呼吸波形から前記トレンドを除去するトレンド除去処理部と
    をさらに備えた、請求項１から１１のいずれかに記載の呼吸数モニタリング装置。
13. 呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１取得ステップと、
    前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２取得ステップと、
    前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１作成ステップと、
    前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２作成ステップと、
    前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算するステップと、
    前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みるステップと、
    前記呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するステップと
    を包含する、呼吸数のモニタリング方法。
14. コンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、
    呼吸する被験体が撮影された動画像の特定フレーム画像から起算して連続するＮ（Ｎ：２以上の整数）枚のフレーム画像で構成された第１画像群のデータを取得する第１取得ステップと、
    前記特定フレーム画像からＳ（Ｓ：１以上の整数）枚だけ過去のフレーム画像から起算して、連続するＮ枚のフレーム画像で構成された第２画像群のデータを取得する第２取得ステップと、
    前記第１画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第１画像特徴量群を作成する第１作成ステップと、
    前記第２画像群の各フレーム画像の画像特徴量を算出し、当該画像特徴量の集合である第２画像特徴量群を作成する第２作成ステップと、
    前記第１画像特徴量群と前記第２画像特徴量群との相関係数を計算するステップと、
    前記第１画像群と前記第２画像群との差であるフレーム画像の枚数Ｓと前記相関係数の関係により、呼吸周期の特定を試みるステップと、
    前記呼吸周期が特定できない場合、前記フレーム枚数Ｓを再設定するステップと
    を実行させる、コンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムを格納した記録媒体。

Images