JP2009033564A - 表示装置及び表示プログラム - Google Patents

Abstract

【課題】監視対象者の転倒時の状況、監視対象者の転倒後の状況を監視者に適切に伝達することを可能とする表示装置及び表示プログラムを提供する。
【解決手段】監視者側端末２００は、ディスプレイ２４０に設けられた表示領域内に撮像画像を表示する表示制御部２３０と、監視対象者の転倒が検出されたことを示す通知情報を取得する通信部２１０とを備える。表示制御部２３０は、転倒時画像を表示領域内に表示するとともに、転倒後画像を表示領域内に表示する。撮像画像を構成する複数のフレームから転倒時画像として抽出するフレームの間隔である第１フレーム間隔は、撮像画像を構成する複数のフレームから転倒後画像として抽出するフレームの間隔である第２フレーム間隔よりも短い。
【選択図】図１

Description

本発明は、監視対象者を含む撮像画像を監視者に提供する表示装置及び表示プログラムに関する。

従来、見守られるべき高齢者などの監視対象者の動作を見守る生活見守りシステムや監視対象者の転倒を検出する転倒検出システムなどが知られている。

これらのシステムでは、監視対象者をカメラなどによって撮像した上で、カメラなどによって撮像された撮像画像が、高齢者などを見守る監視者側の表示装置（テレビのモニタやＰＣのモニタなど）に送信される。監視者側の表示装置は、撮像画像が表示される表示領域を有しており、監視者は、撮像画像によって監視対象者の動作（転倒）を把握する。

これらのシステムに適用される画像表示方法としては、何らかの異常が発生した時点よりも前の画像（過去画像）と現在時刻における画像（現在画像、すなわち、リアルタイム画像）とを表示領域内に同時に表示する方法が提案されている（例えば、特許文献１）。

これによって、監視者は、過去画像と現在画像とを比較することができ、異常が発生した状況を把握することができる。
特開２００４−２６６５９２号公報（例えば、請求項１、［００２５］、［００５４］〜［００５７］など）

ここで、上述した背景技術のように、単に、過去画像と現在画像とを表示領域内に同時に表示するだけでは、何らかの異常が発生した状態を正確に把握することができないケースが考えられる。

例えば、監視対象者の転倒を検出する転倒検出システムについて考える。上述した背景技術によれば、監視者は、過去画像によって転倒時点における監視対象者の状況をある程度把握することが可能である。一方で、監視者は、現在画像によって現在時刻における監視対象者の状況をある程度把握することが可能である。

しかしながら、表示装置は現在画像を表示しているに過ぎないため、転倒時点から時間が経過すると、転倒後の所定時間内における監視対象者の状況（例えば、監視対象者がどのように起き上がったか、監視対象者が倒れたまま、どの程度の時間間隔で動きがないかなど）を現在画像によって把握することができない。

そこで、本発明は、上述した課題を解決するためになされたものであり、監視対象者の転倒時の状況、監視対象者の転倒後の状況を監視者に適切に伝達することを可能とする表示装置及び表示プログラムを提供することを目的する。

本発明の一の特徴では、監視対象者を含む撮像画像を取得して、前記撮像画像を監視者に提供する表示装置（監視者側端末２００）は、前記監視対象者の転倒が検出されたことを示す通知情報を取得する取得部（通信部２１０）と、前記監視対象者の転倒が検出されたタイミングである検出タイミング前における前記撮像画像を少なくとも含む転倒時画像を表示領域（ディスプレイ２４０）内に表示するとともに、前記検出タイミング後における前記撮像画像を少なくとも含む転倒後画像を前記表示領域内に表示する表示制御部（表示制御部２３０）と、前記撮像画像を構成する複数のフレームから前記転倒時画像を抽出する転倒時画像抽出部（表示制御部２３０）と、前記撮像画像を構成する複数のフレームから前記転倒後画像を抽出する転倒後画像抽出部（表示制御部２３０）とを備え、前記転倒時画像抽出部によって抽出された前記転倒時画像のフレームの間隔である第１フレーム間隔は、前記転倒後画像抽出部によって抽出された前記転倒後画像のフレームの間隔である第２フレーム間隔よりも短い。

本特徴では、表示制御部は、転倒時画像に加えて、転倒後画像を表示する。従って、転倒時点から時間が経過した場合であっても、監視者は、監視対象者の転倒後の状況を転倒後画像によって把握することができる。

ここで、一般的に、転倒時における監視対象者の動きは早く、転倒後における監視対象者の動きは遅いと想定される。

本特徴では、転倒時画像の第１フレーム間隔は、転倒後画像の第２フレーム間隔よりも短いため、監視対象者の転倒時の状況、監視対象者の転倒後の状況を監視者に適切に伝達することができる。

本発明の上述した特徴において、前記転倒時画像は、前記検出タイミングよりも第１時間前から、前記検出タイミングの第２時間後までにおける前記撮像画像であることが好ましい。

本特徴では、転倒時画像の範囲は、監視対象者の転倒の検出タイミングよりも第１時間前から、監視対象者の転倒の検出タイミングの第２時間後までである。従って、監視者は、監視対象者の転倒時の状況を転倒時画像によって十分に把握することができる。

本発明の上述した特徴において、前記転倒後画像は、前記検出タイミングの第３時間後から、前記監視対象者の転倒からの回復が検出されたタイミングである回復タイミングまでにおける前記撮像画像であることが好ましい。

本特徴では、転倒後画像の範囲は、監視対象者の転倒の検出タイミングの第３時間後から、監視対象者の転倒からの回復が検出された回復タイミングまでである。従って、監視者は、監視対象者の転倒後の状況を転倒後画像によって十分に把握することができる。

本発明の上述した特徴において、前記表示領域は、前記転倒時画像が表示される第１表示領域と、前記転倒後画像が表示される第２表示領域とを含み、前記第１表示領域は、前記転倒時画像を構成する単数のフレームを表示するように構成されており、又は、前記第２表示領域は、前記転倒後画像を構成する単数のフレームを表示するように構成されており、前記表示制御部は、前記第１表示領域において、前記転倒時画像を構成する単数のフレームを時系列順に切り替えて表示し、又は、前記第２表示領域において、前記転倒後画像を構成する単数のフレームを時系列順に切り替えて表示することが好ましい。

本特徴では、転倒時画像を構成する単数のフレームが第１表示領域に時系列順で切り替えて表示され、又は、転倒後画像を構成する単数のフレームが第２表示領域に時系列順で切り替えて表示される。従って、１つのフレームに割り当て可能な表示面積を大きくすることができ、監視者は、転倒時画像又は転倒後画像をみやすい。

本発明の上述した特徴において、前記表示領域は、前記転倒時画像が表示される第１表示領域と、前記転倒後画像が表示される第２表示領域とを含み、前記第１表示領域は、前記転倒時画像を構成する複数のフレームを表示するように構成されており、又は、前記第２表示領域は、前記転倒後画像を構成する複数のフレームを表示するように構成されており、前記表示制御部は、前記第１表示領域において、前記転倒時画像を構成する複数のフレームを同時に時系列順に表示し、又は、前記第２表示領域において、前記転倒後画像を構成する複数のフレームを同時に時系列順に表示することが好ましい。

本特徴では、転倒時画像を構成する複数のフレームが第１表示領域に同時に時系列順で表示され、又は、転倒後画像を構成する複数のフレームが第２表示領域に同時に時系列順で表示される。従って、監視者は、監視対象者の転倒時の状況及び監視対象者の転倒後の状況を同時に見比べることができる。

本発明の上述した特徴において、前記表示制御部は、前記転倒時画像を構成するフレームのオプティカルフローを前記表示領域内に表示することが好ましい。

本特徴では、転倒時画像について、オプティカルフローが表示領域内に表示される。従って、監視者は、監視対象者の動作速度を容易に把握することができる。なお、オプティカルフローは、監視対象者の動きが大きいと想定される転倒時画像に適用されるとさらに有用である。

本発明の上述した特徴において、前記表示制御部は、前記転倒後画像を構成する対象フレームと前記転倒後画像を構成する参照フレームとの差分情報に基づいて、前記対象フレームから抽出された動き領域を前記表示領域内に表示することが好ましい。

本特徴では、転倒後画像について、対象フレームから抽出された動き領域が表示領域内に表示される。従って、監視者は、監視対象者が転倒後に動いているか否かを容易に把握することができる。なお、対象フレームから抽出された動き領域は、監視対象者の動きが小さいと想定される転倒後画像に適用されるとさらに有用である。

本発明の上述した特徴において、前記表示制御部は、前記転倒時画像及び前記転倒後画像に加えて、現在時刻における前記撮像画像を前記表示領域内に表示し、前記通知情報の取得に応じて、前記監視対象者の転倒を報知するアラーム情報を前記表示領域内に表示し、前記転倒時画像を構成するフレームのオプティカルフロー、又は、前記転倒後画像を構成するフレーム間の差分情報に応じて、前記アラーム情報の表示方法を変更することが好ましい。

本特徴では、現在時刻における撮像画像（リアルタイム画像）が表示領域内に表示される。従って、監視者は、監視対象者の状況をさらに詳細に把握することができる。

本特徴では、オプティカルフロー又はフレーム間の差分情報に応じて、アラーム情報の表示方法が変更される。従って、監視者は、緊急度を容易に把握することができる。

本発明の一の特徴は、監視対象者を含む撮像画像を取得して、前記撮像画像を監視者に提供する表示プログラムは、前記監視対象者の転倒が検出されたことを示す通知情報を取得するステップＡと、前記監視対象者の転倒が検出されたタイミングである検出タイミング前における前記撮像画像を少なくとも含む転倒時画像を表示領域内に表示するとともに、前記検出タイミング後における前記撮像画像を少なくとも含む転倒後画像を前記表示領域内に表示するステップＢと、前記撮像画像を構成する複数のフレームから前記転倒時画像を抽出するステップＣと、前記撮像画像を構成する複数のフレームから前記転倒後画像を抽出するステップＤとをコンピュータに実行させ、前記ステップＣで抽出された前記転倒時画像のフレームの間隔である第１フレーム間隔は、前記ステップＤで抽出された前記転倒後画像のフレームの間隔である第２フレーム間隔よりも短い。

本発明によれば、監視対象者の転倒時の状況、監視対象者の転倒後の状況を監視者に適切に伝達することを可能とする表示装置及び表示プログラムを提供することができる。

以下において、本発明の実施形態に係る転倒検出システムについて、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。

ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

［第１実施形態］
（転倒検出システムの構成）
以下において、第１実施形態に係る転倒検出システムの構成について、図面を参照しながら説明する。図１は、第１実施形態に係る転倒検出システムの構成を示す図である。

図１に示すように、転倒検出システムは、単数又は複数の監視対象者側システム１００と、単数又は複数の監視者側端末２００とによって構成される。監視対象者側システム１００と監視者側端末２００とは、有線回線や無線回線などによって接続されている。

監視対象者側システム１００は、見守られるべき高齢者などの監視対象者の居室などに設けられており、監視対象者を含む撮像画像を取得する。具体的には、監視対象者側システム１００は、撮像部１１０と、入力データ処理部１２０と、判定基準格納部１３０と、判定部１４０と、出力データ処理部１５０と、通信部１６０とを有する。

撮像部１１０は、監視対象者を撮像することによって、監視対象者を含む撮像画像を取得する。なお、撮像部１１０は、単数のカメラによって構成されていてもよく、複数のカメラによって構成されていてもよい。

入力データ処理部１２０は、撮像部１１０から撮像画像を取得する。続いて、入力データ処理部１２０は、監視対象者の転倒を検出するために必要な処理を撮像画像に施す。

例えば、入力データ処理部１２０は、図２に示すように、撮像画像に含まれる監視対象者を抽出して、監視対象者を囲む直方体の幅（Ｌｘ）、高さ（Ｌｙ）、奥行き（Ｌｚ）を取得する。続いて、入力データ処理部１２０は、幅と高さとの比（Ｌｘ／Ｌｙ）と、奥行きと高さとの比（Ｌｚ／Ｌｙ）を取得する。

判定基準格納部１３０は、監視対象者の姿勢（立位、臥位、座位など）、監視対象者の動作モデル（前傾転倒、後傾転倒（しりもち）、座る、寝転ぶなど）などを記憶している。また、判定基準格納部１３０は、監視対象者の姿勢を判定するための判定基準を記憶している。

例えば、判定基準格納部１３０は、立位を判定するためのＬｘ／Ｌｙ閾値（０．４）及びＬｚ／Ｌｙ閾値（０．４）を記憶している。判定基準格納部１３０は、臥位を判定するためのＬｘ／Ｌｙ閾値（１．５）及びＬｚ／Ｌｙ閾値（１．５）を記憶している。判定基準格納部１３０は、動作の検出開始タイミング及び動作の検出終了タイミングを判定するためのＬｘ／Ｌｙ閾値（０．７）及びＬｚ／Ｌｙ閾値（０．７）を記憶している。判定基準格納部１３０は、動作の検出開始タイミングから動作の検出終了タイミングまでの間において、監視対象者を囲む直方体の幅（Ｌｘ）、高さ（Ｌｙ）及び奥行き（Ｌｚ）によって構成される時系列のデータ（以下、時系列の動作データと称する）と監視対象者の動作とを対応付ける動作モデル（隠れマルコフモデルなど）を記憶している。

判定部１４０は、入力データ処理部１２０から取得する情報と判定基準格納部１３０に記憶された判定基準とに基づいて、監視対象者の動作（前傾転倒、後傾転倒（しりもち）、座る、寝転ぶなど）を判定する。

例えば、判定部１４０は、判定基準格納部１３０から読み出された閾値と、入力データ処理部１２０から取得する幅と高さとの比（Ｌｘ／Ｌｙ）及び奥行きと高さとの比（Ｌｚ／Ｌｙ）とを比較して、監視対象者の姿勢を判定する。具体的には、監視対象者の姿勢は、以下のように判定される。

（１）立位・・・Ｌｘ／Ｌｙ＜０．４、又は、Ｌｚ／Ｌｙ＜０．４
（２）臥位・・・Ｌｘ／Ｌｙ＞１．５、又は、Ｌｚ／Ｌｙ＞１．５
（３）座位・・・０．４≦Ｌｘ／Ｌｙ≦１．５、及び、０．４≦Ｌｚ／Ｌｙ≦１．５
判定部１４０は、Ｌｘ／Ｌｙ≧０．７又はＬｚ／Ｌｙ≧０．７である状態が５フレーム又は１ｓｅｃ継続した場合に、監視対象者の動作検出を開始すると判定する。一方で、判定部１４０は、Ｌｘ／Ｌｙ＜０．７かつＬｚ／Ｌｙ＜０．７である状態が７フレーム又は１．４ｓｅｃ継続した場合に、監視対象者の動作検出を終了すると判定する。または、判定部１４０は、監視対象者の動作検出を開始してから１０〜１５ｓｅｃ（後述するＺ時間）が経過した場合に、監視対象者の動作検出を終了すると判定する。

以下において、上述した転倒検出方法については、直方体を用いた転倒検出方法と称する。

判定部１４０は、動作の検出開始タイミングから動作の検出終了タイミングまでの間に取得した時系列の動作データに基づいて、監視対象者の動作を判定する。具体的には、判定部１４０は、隠れマルコフモデルを参照して、時系列の動作データに対して最も高い尤度を出力した動作モデルが転倒モデルである場合に、監視対象者が転倒したと判定する。

なお、時系列の動作データは、上述したように、動作の検出開始タイミングから動作の検出終了タイミングまでの間において、監視対象者を囲む直方体の幅（Ｌｘ）、高さ（Ｌｙ）及び奥行き（Ｌｚ）によって構成される時系列のデータである。

出力データ処理部１５０は、撮像部１１０から撮像画像を取得するとともに、判定部１４０から判定結果を取得する。続いて、出力データ処理部１５０は、監視者側端末２００に送信すべき情報を生成する。

具体的には、出力データ処理部１５０は、撮像部１１０から取得した撮像画像を通信部１６０に送信する。出力データ処理部１５０は、判定部１４０による判定結果が監視対象者の転倒を示す場合には、監視対象者の転倒が検出されたことを示す通知情報を生成する。

ここで、通知情報は、監視対象者の動作検出が開始した時刻を監視対象者の転倒が検出された時刻として含む。通知情報は、監視対象者の動作検出が終了した時刻を監視対象者の転倒からの回復が検出された時刻として含んでもよい。

通信部１６０は、出力データ処理部１５０によって生成された情報（撮像画像や通知情報など）を監視者側端末２００に送信する。

ここで、監視対象者の転倒検出方法としては、直方体を用いた転倒検出方法に関連した様々な方法を適用することが可能であることに留意すべきである（例えば、特願２００６−３３６０６３号公報、特願２００６−３４２６５４号公報）。また、監視対象者の転倒検出方法としては、直方体を用いた転倒検出方法以外にも、他の既存の方法を適用することが可能である。

以下においては、上述したいずれかの方法によって監視対象者の転倒が検出され、現実に監視対象者が転倒動作をしていたことを前提として説明を続ける。

なお、監視対象者の転倒は、監視対象者が立位（又は座位）から臥位となるまでのいずれかの時点で検出されればよい。従って、監視対象者の転倒は、直方体を用いて転倒検出方法で検出することができる。また、監視対象者の転倒は、監視対象者が立位から臥位となるまでの間において、監視対象者の動きが最も大きい時点で検出されてもよい。また、監視対象者の転倒は、監視対象者が臥位となった時点で検出されてもよい。さらに、監視対象者の転倒は、監視対象者の少なくとも一部が床などに触れた時点で検出されてもよい。

監視者側端末２００は、監視対象者を含む撮像画像を監視対象者側システム１００から取得して、高齢者などを見守る監視者に撮像画像を提供する。具体的には、監視者側端末２００は、通信部２１０と、画像格納部２２０と、表示制御部２３０と、ディスプレイ２４０とを有する。

通信部２１０は、監視対象者を含む撮像画像を監視対象者側システム１００から受信する。通信部２１０は、監視対象者の転倒が検出されたことを示す通知情報を監視対象者側システム１００から受信する。

画像格納部２２０は、監視対象者側システム１００から受信した撮像画像をフレーム単位で記憶している。

表示制御部２３０は、監視対象者を含む撮像画像をディスプレイ２４０に設けられた表示領域内に表示する。具体的には、表示制御部２３０は、撮像画像を構成する複数のフレームから下記３種類の画像を抽出した上で、下記３種類の画像を表示する。

（１） 転倒時画像・・・監視対象者の転倒が検出されたタイミング（以下、検出タイミング）前における撮像画像を少なくとも含む画像
（２） 転倒後画像・・・・・・検出タイミング後における撮像画像を少なくとも含む画像
（３） 現在画像（リアルタイム画像）・・・現在時刻における撮像画像
具体的には、転倒時画像及び転倒後画像について図３を参照しながら説明する。図３に示すように、「監視対象者の転倒時」とは、検出タイミングよりもＸ時間（第１時間）前から、検出タイミングのＹ時間（第２時間）後までの期間である。「監視対象者の転倒後」とは、検出タイミングのＹ時間（第３時間）後から、監視対象者の転倒からの回復が検出されたタイミング（以下、回復タイミング）までの期間である。

ここで、Ｘ時間は、例えば、つまずきや卒倒などの原因で監視対象者の立位が崩れ始めた状態が「監視対象者の転倒時」に含まれるように定められる。

Ｙ時間は、監視対象者の全身が床などに伏せた状態が「監視対象者の転倒時」に含まれるように定められる。

Ｚ時間は、検出タイミングから動作の検出時間がタイムアウトするまでの時間である。また、Ｚ時間は、監視対象者の動作判定を開始して、監視対象者の転倒後の状態を監視者に通知するのに充分な時間が得られるように定められる。

なお、監視対象者の動作検出を開始したタイミングは、検出タイミングであり、監視対象者の動作検出を終了したタイミングは、回復タイミングである。

図３に示すように、転倒時画像は、検出タイミングよりもＸ時間（第１時間）前から、検出タイミングのＹ時間（第２時間）後までにおける撮像画像である。表示制御部２３０は、転倒時画像を第１フレーム間隔で表示する。なお、第１フレーム間隔とは、撮像画像を構成する複数のフレームから、転倒時画像として抽出するフレームの間隔である。

一方で、転倒後画像は、検出タイミングのＹ時間（第３時間）後から回復タイミングまでにおける撮像画像である。表示制御部２３０は、転倒後画像を第２フレーム間隔で表示する。なお、第２フレーム間隔とは、撮像画像を構成する複数のフレームから、転倒後画像として抽出するフレームの間隔である。

ここで、転倒時画像には、重力方向に従って監視対象者が転倒する動作が含まれると想定される。すなわち、単位時間における監視対象者の動きが大きいと想定されるため、転倒時画像のフレーム間隔（第１フレーム間隔）は短いことが好ましい。

一方で、転倒後画像には、重力方向に逆らって監視対象者が立ち上がる動作又は監視対象者が静止している動作が含まれると想定される。また、監視対象者が高齢者のため動作が緩慢であること、監視対象者が体を打ち付けてダメージを受けて、監視対象者の動作が緩慢であることなどが想定される。すなわち、単位時間における監視対象者の動きが小さいと想定されるため、転倒後画像のフレーム間隔（第２フレーム間隔）は長いことが好ましい。

従って、転倒時画像のフレーム間隔（第１フレーム間隔）は、転倒後画像のフレーム間隔（第２フレーム間隔）よりも短く設定されている。

ここで、表示制御部２３０は、検出タイミングを以下のように特定する。例えば、表示制御部２３０は、監視対象者の転倒が検出された時刻、すなわち、通知情報に含まれる動作検出の開始時刻を検出タイミングとして特定する。

一方で、表示制御部２３０は、回復タイミングを以下のように特定する。例えば、表示制御部２３０は、監視対象者の転倒からの回復が検出された時刻、すなわち、通知情報に含まれる動作検出の終了時刻を回復タイミングとして特定する。

なお、表示制御部２３０は、監視対象者の動作検出の終了時刻（転倒からの回復が検出された時刻）が通知情報に含まれていない場合には、検出タイミングのＺ時間（＞Ｙ時間）後のタイミングを回復タイミングとして特定してもよい。

さらに、表示制御部２３０は、通知情報の受信に応じて、監視対象者の転倒が検出されたことを示すアラーム情報（例えば、“転倒発生”の文字列）を表示領域内に表示する。

なお、アラーム情報は、監視対象者が複数である場合には、監視対象者を識別するための情報（例えば、監視対象者の名前、監視対象者の居室番号など）を含んでもよい。また、アラーム情報は、監視対象者の転倒が検出された日時を含んでもよい。

ここで、上述したＸ時間は、例えば、０．５〜２ｓｅｃの範囲であることが好ましい。上述したＹ時間は、例えば、０．５〜２ｓｅｃの範囲内であることが好ましい。上述したＺ時間は、例えば、１０〜１５ｓｅｃの範囲であることが好ましい。

また、現在画像（リアルタイム画像）のフレーム間隔が０．０３３ｓｅｃ（３０フレーム／ｓｅｃ）であるケースについて例示すると、転倒時画像のフレーム間隔（第１フレーム間隔）は、例えば、０．０３３〜０．５ｓｅｃの範囲内であることが好ましい。一方で、転倒後画像のフレーム間隔（第２フレーム間隔）は、例えば、０．５〜２ｓｅｃの範囲内であることが好ましい。

ディスプレイ２４０は、撮像画像などが表示される表示領域を有する。具体的には、図４に示すように、表示領域は、転倒時画像が表示される転倒時画像表示領域、転倒後画像が表示される転倒後画像表示領域、現在画像（リアルタイム画像）が表示されるリアルタイム画像表示領域、アラーム情報が表示されるアラーム情報表示領域を含む。

ここで、転倒時画像表示領域は、複数のフレームを表示するように構成されている。表示制御部２３０は、転倒時画像表示領域において、転倒時画像を構成する複数のフレームを同時に時系列順に表示する。

転倒後画像表示領域は、複数のフレームを表示するように構成されている。表示制御部２３０は、転倒後画像表示領域において、転倒後画像を構成する複数のフレームを同時に時系列順に表示する。

リアルタイム画像表示領域は、単数のフレームを表示するように構成されている。表示制御部２３０は、リアルタイム画像表示領域において現在画像を構成する単数のフレームを時系列順に切り替えて表示する。

なお、監視者は、転倒時画像表示領域に表示される転倒時画像によって、以下のような情報を得ることが可能である。

（１） 監視対象者がつまずいた物及びつまずきや卒倒が発生した場所
（２） 監視対象者がつまずき又は卒倒が開始してから臥位になるまでの時間（速度）
（３） 監視対象者がつまずき又は卒倒が開始してから臥位になるまでに、居室に設けられた物などに打ち付けられた体の部位
（４） 監視対象者が臥位となった際に、床などに打ち付けられた体の部位
（５） 監視対象者が臥位となった際における姿勢
また、監視者は、転倒後画像表示領域に表示される転倒後画像によって、以下のような情報を得ることが可能である。

（１） 監視対象者の動きの有無
（２） 監視対象者が立ち上がろうとしているか否か
（３） 監視対象者が出血しているか否か
（転倒検出システムの動作）
以下において、第１実施形態に係る転倒検出システムの動作について、図面を参照しながら説明する。図５は、第１実施形態に係る転倒検出システムの動作を示すシーケンス図である。

図５に示すように、ステップ１０において、監視対象者側システム１００は、監視対象者を含む撮像画像を取得する。

ステップ２０において、監視対象者側システム１００は、監視対象者を含む撮像画像を監視者側端末２００に送信する。なお、監視対象者側システム１００は、撮像画像を継続的に監視者側端末２００に送信し続ける。

ステップ３０において、監視者側端末２００は、監視対象者を含む撮像画像を画像格納部２２０に記憶する。続いて、監視者側端末２００は、現在時刻における撮像画像である現在画像（リアルタイム画像）をリアルタイム画像表示領域に表示する。

ステップ４０において、監視対象者側システム１００は、監視対象者の動作検出を開始する。例えば、監視対象者側システム１００は、監視対象者側システム１００は、Ｌｘ／Ｌｙ≧０．７又はＬｚ／Ｌｙ≧０．７である状態が５フレーム又は１ｓｅｃ継続した場合に、監視対象者の動作検出を開始すると判定する。

ステップ５０において、監視対象者側システム１００は、監視対象者の動作検出を終了する。例えば、監視対象者側システム１００は、Ｌｘ／Ｌｙ＜０．７かつＬｚ／Ｌｙ＜０．７である状態が７フレーム又は１．４ｓｅｃ継続した場合に、監視対象者の動作検出を終了すると判定する。

ステップ６０において、監視対象者側システム１００は、監視対象者の動作検出を開始してから監視対象者の動作検出を終了するまでに取得した時系列の動作データに基づいて、監視対象者の動作を判定する。具体的には、監視対象者側システム１００は、隠れマルコフモデルを参照して、時系列の動作データに対して最も高い尤度を出力した動作モデルが転倒モデルである場合に、監視対象者が転倒したと判定する。

なお、以下においては、監視対象者が転倒したとステップ６０で判定されたものとして説明を続ける。

ステップ７０において、監視対象者側システム１００は、監視対象者の転倒が検出されたことを示す通知情報を監視者側端末２００に送信する。ここでは、通知情報は、監視対象者の動作検出が開始した時刻を監視対象者の転倒が検出された時刻として含み、監視対象者の動作検出が終了した時刻を監視対象者の転倒からの回復が検出された時刻として含むものとする。

ステップ８０において、監視者側端末２００は、監視対象者の転倒が検出されたことを示すアラーム情報を表示するとともに、画像格納部２２０に格納された撮像画像を用いて転倒時画像及び転倒後画像の表示を開始する。

ここで、監視者側端末２００は、検出タイミングよりもＸ時間（第１時間）前から、検出タイミングのＹ時間（第２時間）後までにおける転倒時画像を表示する。また、監視者側端末２００は、検出タイミングのＹ時間（第３時間）後から回復タイミングまでにおける転倒後画像を表示する。

（表示装置の動作）
以下において、第１実施形態に係る表示装置の動作について、図面を参照しながら説明する。図６は、第１実施形態に係る監視者側端末２００（表示装置）の動作を示すフロー図である。

図６に示すように、ステップ１１０において、監視者側端末２００は、監視対象者を含む撮像画像を監視対象者側システム１００から受信する。

ステップ１２０において、監視者側端末２００は、監視対象者を含む撮像画像を画像格納部２２０に記憶する。

ステップ１３０において、監視者側端末２００は、リアルタイム画像表示領域において現在画像（リアルタイム画像）の表示を開始する。

ステップ１４０において、監視者側端末２００は、監視対象者の転倒が検出されたことを示す通知情報を受信したか否かを判定する。監視者側端末２００は、通知情報を受信した場合にはステップ１５０の処理に移る。

ステップ１５０において、監視者側端末２００は、監視対象者の転倒が検出されたことを示すアラーム情報をアラーム情報表示領域に表示する。

ステップ１６０において、監視者側端末２００は、画像格納部２２０に記憶された撮像画像を用いて、転倒時画像表示領域において転倒時画像を表示する。なお、転倒時画像の範囲は、検出タイミングよりもＸ時間（第１時間）前から、検出タイミングのＹ時間（第２時間）後までである。

ステップ１７０において、監視者側端末２００は、転倒後画像表示領域において転倒後画像の表示を開始する。なお、転倒後画像の範囲は、検出タイミングよりもＹ時間（第３時間）後から回復タイミングまでである。

（作用及び効果）
第１実施形態では、表示制御部２３０は、転倒時画像に加えて、転倒後画像を表示する。従って、転倒時点から所定時間が経過した場合であっても、監視者は、監視対象者の転倒後の状況を転倒後画像によって把握することができる。

また、転倒時画像の第１フレーム間隔は、転倒後画像の第２フレーム間隔よりも短いため、監視対象者の転倒時の状況、監視対象者の転倒後の状況を監視者に適切に伝達することができる。

第１実施形態では、転倒時画像の範囲は、検出タイミングよりもＸ時間（第１時間）前から、検出タイミングのＹ時間（第２時間）後までである。従って、監視者は、監視対象者の転倒時の状況を転倒時画像によって十分に把握することができる。

第１実施形態では、転倒後画像の範囲は、検出タイミングよりもＹ時間（第３時間）後から回復タイミングまでである。従って、監視者は、監視対象者の転倒後の状況を転倒後画像によって十分に把握することができる。

第１実施形態では、転倒時画像を構成する複数のフレームが転倒時画像表示領域に同時に表示され、転倒後画像を構成する複数のフレームが転倒後画像表示領域に同時に表示される。従って、監視者は、監視対象者の転倒時の状況及び監視対象者の転倒後の状況を同時に見比べることができる。

第１実施形態では、現在時刻における現在画像（リアルタイム画像）がリアルタイム画像表示領域に表示される。従って、監視者は、監視対象者の状況をさらに詳細に把握することができる。

［第２実施形態］
以下において、第２実施形態について図面を参照しながら説明する。以下においては、上述した第１実施形態と第２実施形態との相違点について主として説明する。

具体的には、上述した第１実施形態では、転倒時画像表示領域及び転倒後画像表示領域は、複数のフレームを表示するように構成されている。これに対して、第２実施形態では、転倒時画像表示領域及び転倒後画像表示領域は、単数のフレームを表示するように構成されている。

（表示領域の構成）
以下において、第２実施形態に係る表示領域の構成について、図面を参照しながら説明する。図７は、第２実施形態に係るディスプレイ２４０に設けられた表示領域の構成を示す図である。

図７に示すように、転倒時画像表示領域は、単数のフレームを表示するように構成されている。表示制御部２３０は、転倒時画像表示領域において、転倒時画像を構成する単数のフレームを時系列順に切り替えて表示する（コマ送り）。

転倒後画像表示領域は、単数のフレームを表示するように構成されている。表示制御部２３０は、転倒後画像表示領域において、転倒後画像を構成する単数のフレームを時系列順に切り替えて表示する（コマ送り）。

なお、転倒時画像のフレーム間隔（第１フレーム間隔）は、第１実施形態と同様に、転倒後画像のフレーム間隔（第２フレーム間隔）よりも短く設定されていることに留意すべきである。

（作用及び効果）
第２実施形態では、転倒時画像を構成する単数のフレームが転倒時画像表示領域に時系列順に切り替えられて表示され、転倒後画像を構成する単数のフレームが転倒後画像表示領域に時系列順に切り替えられて表示される。従って、第１実施形態よりも、１つのフレームに割り当て可能な表示面積を大きくすることができ、監視者は、転倒時画像及び転倒後画像を見やすい。

［第３実施形態］
以下において、第３実施形態について図面を参照しながら説明する。以下においては、上述した第１実施形態と第３実施形態との相違点について主として説明する。

具体的には、上述した第１実施形態では特に触れていないが、第３実施形態では、転倒時画像を構成するフレームのオプティカルフローが転倒時画像表示領域に表示される。一方で、転倒後画像を構成する対象フレームと転倒後画像を構成する参照フレームとの差分情報に基づいて、対象フレームから抽出された動き領域が転倒後画像表示領域に表示される。

（表示装置の構成）
以下において、第３実施形態に係る表示装置の構成について、図面を参照しながら説明する。図８は、第３実施形態に係る監視者側端末２００（表示装置）の構成を示すブロック図である。

図８に示すように、監視者側端末２００は、図１に示した構成に加えて、オプティカルフロー算出部２５０と、フレーム間差分算出部２６０とを有する。

オプティカルフロー算出部２５０は、転倒時画像を構成するフレームのオプティカルフローを算出する。オプティカルフローの算出方法としては、ブロックマッチング法や勾配法などが挙げられる。

フレーム間差分算出部２６０は、転倒後画像を構成するフレーム間の差分情報を算出する。例えば、フレーム間差分算出部２６０は、対象フレームと参照フレームとの差分を画素単位で取得した上で、画素単位で取得した差分を二値化する。続いて、フレーム間差分算出部２６０は、二値化された差分に対して収縮膨張処理を施した上で、対象フレームと参照フレームとの差分情報（差分領域）を動き領域として算出する。

表示制御部２３０は、図９に示すように、オプティカルフロー算出部２５０によって算出されたオプティカルフローを転倒時画像表示領域に表示する。表示制御部２３０は、転倒時画像とともにオプティカルフローを表示することが好ましい。

なお、表示制御部２３０は、フロー長が所定閾値を超えるオプティカルフローのみを表示してもよく、フロー長が最大であるオプティカルフローのみを表示してもよい。

一方で、表示制御部２３０は、転倒後画像を構成する対象フレームから、フレーム間差分算出部２６０によって算出された差分領域を抽出する。続いて、表示制御部２３０は、図９に示すように、対象フレームから抽出された差分領域である動き領域を転倒後画像として転倒後画像表示領域に表示する。

なお、表示制御部２３０は、面積が所定閾値を超える動き領域のみを表示してもよく、面積が最大である動き領域のみを表示してもよい。

（作用及び効果）
第３実施形態では、単位時間における監視対象者の動きが大きいと想定される転倒時画像について、転倒時画像表示領域にオプティカルフローが表示される。従って、監視者は、監視対象者の転倒速度を容易に把握することができる。

第３実施形態では、単位時間における監視対象者の動きが小さいと想定される転倒後画像について、フレーム間の差分情報に基づいて対象フレームから抽出された動き領域が転倒後画像表示領域に表示される。従って、監視者は、監視対象者が転倒後に動けずにいるか否かを容易に把握することができる。

［第４実施形態］
以下において、第１実施形態について図面を参照しながら説明する。以下においては、上述した第１実施形態と第４実施形態との相違点について主として説明する。

具体的には、上述した第１実施形態では特に触れていないが、第４実施形態では、表示制御部２３０は、転倒時画像を構成するフレームのオプティカルフロー又は転倒後画像を構成するフレーム間の差分情報（差分領域）に応じて、アラーム情報の表示方法を変更する。

なお、監視者側端末２００は、第３実施形態と同様に、オプティカルフロー算出部２５０及びフレーム間差分算出部２６０を有するものとする。

具体的には、表示制御部２３０は、フロー長が最大であるオプティカルフローが所定閾値よりも小さい場合には、緊急度が低い色（例えば、青色）でアラーム情報を表示する。一方で、表示制御部２３０は、フロー長が最大であるオプティカルフローが所定閾値よりも大きい場合には、緊急度が高い色（例えば、赤色）でアラーム情報を表示する。

なお、緊急度とは、監視者に対して監視対象者の動作がどの程度緊急な対処が必要かを示す度合いである。

ここで、オプティカルフローが大きいケースでは、監視対象者の転倒速度が大きいと考えられる。従って、オプティカルフローが大きいケースでは、緊急度が高いと考えられる。

表示制御部２３０は、面積が最大である差分領域が所定閾値よりも大きい場合には、緊急度が低い色（例えば、青色）でアラーム情報を表示する。一方で、表示制御部２３０は、面積が最大である差分領域が所定閾値よりも小さい場合には、緊急度が高い色（例えば、赤色）でアラーム情報を表示する。

ここで、差分領域が小さいケースでは、監視対象者が転倒後に動けないでいる可能性が高いと考えられる。従って、差分領域が小さいケースでは、緊急度が高いと考えられる。

なお、表示制御部２３０は、オプティカルフローのフロー長及び差分領域の面積の双方を考慮して、アラーム情報の表示方法を変更してもよい。アラーム情報の表示方法は、アラーム情報の色だけではなくて、アラーム情報の文字の大きさ、アラーム情報の点滅の有無、アラーム情報の点滅間隔、アラーム情報に対応する音声の有無、撮像画像のズームの有無などによって変更されてもよい。

（作用及び効果）
第４実施形態では、オプティカルフロー又はフレーム間の差分情報に応じて、アラーム情報の表示方法が変更される。従って、監視者は、緊急度を容易に把握することができる。

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

例えば、上述した実施形態では、転倒時画像の範囲は、検出タイミングよりもＸ時間前から、検出タイミングのＹ時間後までであるが、これに限定されるものではない。転倒時画像の範囲は、検出タイミングよりもＸ時間前から検出タイミングまでであってもよい。

同様に、転倒後画像の範囲は、検出タイミングのＹ時間後から回復タイミングまでであるが、これに限定されるものではない。転倒後画像の範囲は、検出タイミングから回復タイミングまでであってもよい。

上述した実施形態では、第２時間及び第３時間がともにＹ時間であり、転倒時画像の範囲は転倒後画像の範囲と重複していないが、これに限定されるものではない。転倒時画像の範囲は転倒後画像の範囲と重複していてもよい。

上述した実施形態では、監視対象者の転倒の検出は、監視対象者側システム１００によって行われるが、これに限定されるものではない。監視対象者の転倒の検出は、監視者側端末２００で行われてもよい。このようなケースでは、監視対象者側システム１００は、監視者側端末２００に撮像画像を単に送信するだけでよく、監視者側端末２００は、入力データ処理部１２０〜出力データ処理部１５０を有している。

上述した実施形態では、転倒時画像に対応するオプティカルフローが転倒時画像表示領域に表示されるが、これに限定されるものではない。転倒後画像に対応するオプティカルフローが転倒後画像表示領域に表示されてもよい。

同様に、転倒後画像に対応するフレーム間の差分情報が転倒後画像表示領域に表示されるが、これに限定されるものではない。転倒時画像に対応するフレーム間の差分情報が転倒時画像表示領域に表示されてもよい。

上述した実施形態では、現在画像がリアルタイム画像表示領域に表示されるが、これに限定されるものではない。プライバシー保護の観点から、現在画像が表示されなくてもよい。また、現在画像を閲覧するためにパスワードが必要であってもよい。

上述した第１実施形態と第２実施形態とを組み合わせてもよい。具体的には、転倒時画像表示領域が、単数のフレームを表示するように構成されており、転倒後画像表示領域が、複数のフレームを表示するように構成されていてもよい。逆に、転倒時画像表示領域が、複数のフレームを表示するように構成されており、転倒後画像表示領域が、単数のフレームを表示するように構成されていてもよい。

上述した実施形態では特に触れていないが、監視者側端末２００（表示装置）の動作は、図６に示すフローを実現するプログラム（表示プログラム）として提供されてもよい。

第１実施形態に係る転倒検出システムの構成を示す図である。 第１実施形態に係る監視対象者の姿勢及び動作判定について説明するための図である。 第１実施形態に係る転倒時画像及び転倒後画像を説明するための図である。 第１実施形態に係るディスプレイ２４０に設けられた表示領域の構成を示す図である。 第１実施形態に係る転倒検出システムの動作を示すシーケンス図である。 第１実施形態に係る監視者側端末２００（表示装置）の動作を示すフロー図である。 第２実施形態に係るディスプレイ２４０に設けられた表示領域の構成を示す図である。 第３実施形態に係る監視者側端末２００（表示装置）の構成を示すブロック図である。 第３実施形態に係るディスプレイ２４０に設けられた表示領域の構成を示す図である。

符号の説明

１００・・・監視対象者側システム、１１０・・・撮像部、１２０・・・入力データ処理部、１３０・・・判定基準格納部、１４０・・・判定部、１５０・・・出力データ処理部、１６０・・・通信部、２００・・・監視者側端末、２１０・・・通信部、２２０・・・画像格納部、２３０・・・表示制御部、２４０・・・ディスプレイ、２５０・・・オプティカルフロー算出部、２６０・・・フレーム間差分算出部

Claims (9)

1. 監視対象者を含む撮像画像を取得して、前記撮像画像を監視者に提供する表示装置であって、
   前記監視対象者の転倒が検出されたことを示す通知情報を取得する取得部と、
   前記監視対象者の転倒が検出されたタイミングである検出タイミング前における前記撮像画像を少なくとも含む転倒時画像を表示領域内に表示するとともに、前記検出タイミング後における前記撮像画像を少なくとも含む転倒後画像を前記表示領域内に表示する表示制御部と、
   前記撮像画像を構成する複数のフレームから前記転倒時画像を抽出する転倒時画像抽出部と、
   前記撮像画像を構成する複数のフレームから前記転倒後画像を抽出する転倒後画像抽出部とを備え、
   前記転倒時画像抽出部によって抽出された前記転倒時画像のフレームの間隔である第１フレーム間隔は、前記転倒後画像抽出部によって抽出された前記転倒後画像のフレームの間隔である第２フレーム間隔よりも短いことを特徴とする表示装置。
2. 前記転倒時画像は、前記検出タイミングよりも第１時間前から、前記検出タイミングの第２時間後までにおける前記撮像画像であることを特徴とする請求項１に記載の表示装置。
3. 前記転倒後画像は、前記検出タイミングの第３時間後から、前記監視対象者の転倒からの回復が検出されたタイミングである回復タイミングまでにおける前記撮像画像であることを特徴とする請求項１又は請求項２に記載の表示装置。
4. 前記表示領域は、前記転倒時画像が表示される第１表示領域と、前記転倒後画像が表示される第２表示領域とを含み、
   前記第１表示領域は、前記転倒時画像を構成する単数のフレームを表示するように構成されており、又は、前記第２表示領域は、前記転倒後画像を構成する単数のフレームを表示するように構成されており、
   前記表示制御部は、前記第１表示領域において、前記転倒時画像を構成する単数のフレームを時系列順に切り替えて表示し、又は、前記第２表示領域において、前記転倒後画像を構成する単数のフレームを時系列順に切り替えて表示することを特徴とする請求項１乃至請求項３のいずれかに記載の表示装置。
5. 前記表示領域は、前記転倒時画像が表示される第１表示領域と、前記転倒後画像が表示される第２表示領域とを含み、
   前記第１表示領域は、前記転倒時画像を構成する複数のフレームを表示するように構成されており、又は、前記第２表示領域は、前記転倒後画像を構成する複数のフレームを表示するように構成されており、
   前記表示制御部は、前記第１表示領域において、前記転倒時画像を構成する複数のフレームを同時に時系列順に表示し、又は、前記第２表示領域において、前記転倒後画像を構成する複数のフレームを同時に時系列順に表示することを特徴とする請求項１乃至請求項３のいずれかに記載の表示装置。
6. 前記表示制御部は、前記転倒時画像を構成するフレームのオプティカルフローを前記表示領域内に表示することを特徴とする請求項１に記載の表示装置。
7. 前記表示制御部は、前記転倒後画像を構成する対象フレームと前記転倒後画像を構成する参照フレームとの差分情報に基づいて、前記対象フレームから抽出された動き領域を前記表示領域内に表示することを特徴とする請求項１に記載の表示装置。
8. 前記表示制御部は、
   前記転倒時画像及び前記転倒後画像に加えて、現在時刻における前記撮像画像を前記表示領域内に表示し、
   前記通知情報の取得に応じて、前記監視対象者の転倒を報知するアラーム情報を前記表示領域内に表示し、
   前記転倒時画像を構成するフレームのオプティカルフロー、又は、前記転倒後画像を構成するフレーム間の差分情報に応じて、前記アラーム情報の表示方法を変更することを特徴とする請求項１乃至請求項７のいずれかに記載の表示装置。
9. 監視対象者を含む撮像画像を取得して、前記撮像画像を監視者に提供する表示プログラムであって、コンピュータに、
   前記監視対象者の転倒が検出されたことを示す通知情報を取得するステップＡと、
   前記監視対象者の転倒が検出されたタイミングである検出タイミング前における前記撮像画像を少なくとも含む転倒時画像を表示領域内に表示するとともに、前記検出タイミング後における前記撮像画像を少なくとも含む転倒後画像を前記表示領域内に表示するステップＢと、
   前記撮像画像を構成する複数のフレームから前記転倒時画像を抽出するステップＣと、
   前記撮像画像を構成する複数のフレームから前記転倒後画像を抽出するステップＤとを実行させ、
   前記ステップＣで抽出された前記転倒時画像のフレームの間隔である第１フレーム間隔は、前記ステップＤで抽出された前記転倒後画像のフレームの間隔である第２フレーム間隔よりも短いことを特徴とする表示プログラム。

Images