JP2014068714A

JP2014068714A - 関節角度測定システム

Info

Publication number: JP2014068714A
Application number: JP2012215531A
Authority: JP
Inventors: Eijiro Adachi; 栄治郎安達; Taku Masuda; 卓増田; Junichi Mizusawa; 純一水澤; Naofumi Kitsunezaki; 直文狐崎
Original assignee: Kitasato Institute
Current assignee: Kitasato Institute
Priority date: 2012-09-28
Filing date: 2012-09-28
Publication date: 2014-04-21

Abstract

【課題】より簡易に被験者が，指定された関節を自らの意志で，開く・閉じる動作を行って関節角度を測定できるシステムを提供する。
【解決手段】被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とを生成する深度情報付き撮像部と，前記スケルトン（骨格）において特定され、可動域を測定する関節に繋がれる２辺の空間ベクトル情報を生成し，前記２辺の空間ベクトル情報を基に前記関節の角度を計算する関節角度計算部を有する。
【選択図】図１

Description

本発明は，リハビリ・トレーニングの効果を確認する目的で，被験者の関節角度を自動で把握可能とする関節角度測定システムに関する。

これまで，医療機関でのリハビリ医療において，リハビリ・トレーニングの効果を確認する際は，介助者が角度計を持って，直接被験者の関節部分に当ててマニュアルで関節角度（ＲＯＭ:関節可動域）を測定していた。ＲＯＭのマニュアル測定では，介助者が測定対象となる関節近傍に大きな角度計を添え予め指定された作業手順に従って測定を行う。

一方，従来技術として，リハビリテーション患者のＲＯＭの検査／訓練に関し，短時間で正確な測定ができる関節可動域検査訓練システムが提案されている（特許文献１）。

かかる提案された関節可動域検査訓練システムでは，２台以上のビデオカメラを備え，測定対象（被験者）を撮影し，その撮影映像をデジタル化した信号を，計算機を用いて解析する。これにより，測定対象に付けられたそれぞれ色の異なる複数のマーカ（身体位置）の空間位置を求めることができる。

ＲＯＭ測定においては，可動域を測定したい関節に対してその関節の周囲にそれぞれ色の異なるマーカを貼り付けることにより，関節の動きに応じた周辺部位の動きを追跡することができる。さらに，予め関節の周辺に取り付けるべきマーカの空間位置から関節角度を算出する算出式が定義されている。

したがって，関節角度算出手段により，その算出式に身体部位置計測手段が求めたマーカの空間位置を代入することにより実際の関節角度を求めるという技術である。

特開２００２−５８４号公報

上記特許文献１に記載のシステムでは，複数台のビデオカメラを用いている。また被験者の撮像画像をデジタル画像に変換して，身体部位をデジタル画像から抽出する処理を必要とする。さらに，関節毎に予め定義された身体部位の組み合わせと関節角度と算出式を定義しておくことが必要である。

この様に，従来の介助者によりマニュアルにより測定する方法では，大きな角度計を被験者に添えて測定し，且つ測定の都度測定結果を記録していくことが必要である。また，特許文献１に記載のシステムでは，装置が大がかりとなる。

かかる従来技術に鑑みて，本願発明の目的は，より簡易に被験者が，指定された関節を自らの意志で，開く・閉じる動作を行ってリアルタイムに表示される関節角度を被験者及び介助者が測定できるシステムを提供することにある。

上記課題を達成する本発明に従う関節角度測定システムの第１の側面は，被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とを生成する深度情報付き撮像部と，前記深度情報付き撮像部から得られるスケルトン（骨格）情報において特定され、可動域を測定する関節に繋がれる２辺の空間ベクトル情報を生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度を計算する関節角度計算部を有することを特徴とする。

上記課題を達成する本発明に従う関節角度測定システムは，前記第１の側面において，前記関節角度計算部は，前記スケルトン（骨格）情報を表示し、表示されるスケルトン（骨格）情報において，前記可動域を測定する関節を特定可能なディスプレイ部を有し，前記関節角度計算部は、前記特定される可動域を測定する関節と前記関節に繋がれる２辺の対応関係を，前記深度情報付き撮像部から得られる深度情報に基づき，前記２辺の空間ベクトル情報を生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度を計算し、前記計算された関節の角度を前記ディスプレイ部に表示させるＣＰＵを有することを特徴とする。

上記課題を達成する本発明に従う関節角度測定システムは，前記において，前記関節角度計算部は、所定の時間の後に計算した関節の角度の最大値と最小値とを記憶するメモリを有し、前記所定の時間の後に計算した関節の角度の最大値を最小値を基に前記ディスプレイに，前記関節可動域の変化を表示することを特徴とする。

上記課題を達成する本発明に従う関節角度測定システムは，前記において，さらに，前記ＣＰＵは，前記ディスプレイに，前記表示されるスケルトン（骨格）情報において，表示面上で可動域を測定する関節の特定に関連して，リハビリメニューを表示させ，前記リハビリメニューから選択される検査項目に対応して，正しくない関節の動きに対して警告表示を行うことを特徴とする。

また，上記課題を達成する本発明に従う関節角度測定システムは，前記それぞれの特徴において，前記関節角度計算部は、前記計算される角度の情報を遠隔地に転送する手段を有することを特徴とする。

上記課題を達成する本発明に従う関節角度測定システムは，特定の態様として，前記一の側面において，前記深度付き撮像部は、被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とをリアルタイムに生成し、前記関節角度計算部は、前記可動域を測定する関節に繋がれる２辺の空間ベクトル情報をリアルタイムに生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度をリアルタイムに計算することを特徴とする。

上記課題を達成する本発明に従う関節角度測定システムは，前記特定の態様において，前記深度付き撮像部は、被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とをリアルタイムに生成し、前記関節角度計算部は、前記可動域を測定する関節に繋がれる２辺の空間ベクトル情報をリアルタイムに生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度をリアルタイムに計算し、前記ディスプレイは前記リアルタイムに計算された関節の角度をリアルタイムに表示することを特徴とする。

さらに，上記課題を達成する本発明に従う関節角度測定システムは，前記特定の態様において，前記深度付き撮像部は、被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とをリアルタイムに生成し、前記関節角度計算部は、前記可動域を測定する関節に繋がれる２辺の空間ベクトル情報をリアルタイムに生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度をリアルタイムに計算し、前記計算される角度の情報を遠隔地に転送する手段は前記計算される角度の情報をリアルタイムに遠隔地に転送させることを特徴とする。

本発明の第１の側面によれば，測定中に測定項目やＲＯＭの最大角度，最小角度などを自動で記録することができる。したがって，介助者が記録に伴う作業量を軽減できる。

また、ディスプレイを組み合わせることにより、記録データからリハビリ・トレーニングの効果を容易に確認することが可能になる。

また，測定データを遠隔地に送信し、遠隔地に設置した表示システムと組み合わせることで，理学療法士のいない施設において，遠隔診断支援システムの機能の一環としてリハビリ・トレーニングの効果を容易に確認することができる。

本発明に従うリアルタイム関節角度表示システムの一実施例概念図である。関節角度測定装置の構成例を示す図である。スケルトン（骨格）モデルの一例を示す図である。図２に示す構成の関節角度測定装置により実行される処理フローである。関節角度測定装置のディスプレイに表示される２フィールドの内の第１のフィールドの表示例である。ディスプレイに表示される２フィールドの内の第２のフィールドの表示例である。リハビリを行うメニュー表示を説明する図である。ディスプレイの第１のフィールドの画像表示エリアに表示される骨格の表示の一部である。リハビリ項目の測定中における，ディスプレイの第２フィールドの一例である。

以下図面に従い，本発明の実施例を説明する。

図１は，本発明に従う関節角度測定システムの一実施例概念図である。

関節角度測定システムの基本的構成は，深度情報付撮像部１と，関節角度計算部２を接続して構成される。接続部１と計算部２とは１つの基板上に統合されていてもよいし、深度情報付撮像部１と関節角度計算部２が各々独立した装置であり、インターフェース回線３で接続される構成であってもよい。

深度情報付撮像部１は，一定周期(フレーム毎)に背景を含む被験者１００の撮影画像データと，撮影画像の各ピクセルにおける深度情報（Ｚ方向の大きさ）と，撮影画像において被験者１００の像を推定し，推定される被験者１００の像から対応するスケルトン（骨格）モデル情報を生成出力する。

深度情報は、深度情報付撮像部１の撮像面の法線方向の被験者１００までの距離を表し、スケルトン（骨格）モデル情報は、深度情報から推定して得られる三次元の情報であり、推定情報であるという意味で仮想三次元空間上の情報である。

かかるスケルトン（骨格）モデル情報を含む撮影画像及び深度情報を出力情報として生成する既存装置の一例として，米国Ｍicrosoft Corporationのゲーム端末Xbox 360（登録商標）あるいは，パーソナルコンピュータに使用される入力端末機器であるKinect(登録商標）を用いることができる。

関節角度計算部２は，一般的なパーソナルコンピュータ相当の機能を有する情報処理装置である。図２にその構成例を示す。

関節角度計算部２は，主処理部としてＣＰＵ２０を有する。ＣＰＵ２０は，ＨＤＤ等の記憶装置２１に格納されるＯＳ（オペレーションシステム）に基づき，本発明機能を実現するアプリケーションプログラム（同様に記憶装置２１に格納されている）を実行する。

先の深度情報付撮像部１から関節角度計算部２に送られる一定周期(フレーム毎)の撮影画像データと，画像のピクセル対応の深度情報と，被験者１００のスケルトン（骨格）モデル情報を，入出力インタフェース２２を通して入力する。

関節角度計算部２は，入力された撮影画像データ及びスケルトン（骨格）モデル情報をビデオ信号に変換して，ビデオメモリ２３に描画し，ディスプレイ２４に表示する。深度情報とスケルトン（骨格）モデル情報は，同時にＲＡＭ２５に保存される。

さらに，理学療法士のいない施設で測定が行われる場合にあっては，モデム、ＬＡＮアダプタ、電光・光電変換機などの通信装置２７を通してデータを送り，遠隔地の理学療法士に診断を求める遠隔支援システムを構築することも可能である。

図１に戻り，深度情報付撮像部1についてその構成を更に説明する。

図１に示す深度情報付撮像部1は，一定周期(フレーム毎)に被験者１００の撮影画像と，画像のピクセル対応の深度情報（Ｚ軸座標）と，被験者１００の骨格モデル情報を出力する上記米国Ｍicrosoft Corporationの端末装置Kinect(登録商標）に類似の概念構成ブロック図として示されている。

図１において，深度情報付撮像部1の撮像カメラ１０は，被験者１００を含む所定範囲の像を撮像する撮像部である。制御部１３の制御により赤外線放射部１１より赤外線を放射し，被験者１００から反射される赤外線を赤外線検知部１２で検知する。撮像カメラ１０からの撮像画像データ，及び赤外線検知部１２で検知する反射赤外線は，制御部１３に入力される。

制御部１３は，メモリ１４に格納される制御プログラムを実行することにより，撮像カメラ１０からの撮像画像データ，及び赤外線検知部１２で検知される反射赤外線に基づき，仮想の三次元空間を生成し，一定周期(一フレーム)毎に撮像画角内で仮想三次元空間画像の各ピクセル対応に，距離(深度)情報（Ｚ軸方向[被験者１００側に向かう方向]の大きさ）を生成する。

さらに，深度情報から撮像画角に対応する仮想三次元空間における被写体像を所定のスケルトン（骨格）モデルに当てはめたスケルトン（骨格）モデル情報を生成する。

ここで，深度情報付撮像部1は，通常の平面画像を撮像するＷＥＢカメラなどと比較して以下の点で優れている。

平面画像を撮像するＷＥＢカメラを用いる名場合，例えば腕の肘関節の可動範囲を計測するには，画像処理で腕を識別し平面画像データを基に関節角度の計算が可能である。

しかし，奥行き方向の距離情報が欠如しているために，測定対象の肘が成す角度を正確に画像処理から計算可能とする前提条件は，肘の成す角度の平面をカメラレンズ面に平行にすることが求められる。これに対して，図１に示す深度情報付撮像部1では，各画素対応に奥行き距離情報（Ｚ軸座標）を測定して関節角度測定装置２に通知するため，３次元座標で各関節の空間座標を把握することができる。

これにより，平面カメラに比較してより正確な角度計算が可能である。

図３は，深度情報付撮像部1で得られる上記スケルトン（骨格）モデルの一例を示す図であり，複数の骨格構成要素と，骨格構成要素を結ぶ接続部で表されている。

すなわち，人体を構成する体幹，上肢，下肢を概念する構成要素を辺３０，３１等で表し，構成要素である辺３０，３１等を接続する黒丸の接続部３２（３２_１，３２_２）を，関節を概念して示している。

例えば，構成要素として，辺３０，３１は，それぞれ前腕部と上腕部に対応付けし，接続部３２は，辺３０，３１即ち，前腕部と上腕部を繋ぐ関節（肘関節）に対応付けされている。

そして，被写体（被験者）の大きさに対応して，接続部３２（３２_１，３２_２）間の辺３０，３１等の長さが変えられ被験者１００のスケルトン（骨格）が特定される。

それぞれの接続部３２は，仮想３次元空間における三次元座標（X,Y,Z）を有し，被験者１００が動くとそれぞれの接続部３２の三次元座標（X,Y,Z）が変更される。同時に，それぞれの構成要素（前腕部に対応する辺３０，上腕部に対応する辺３１等）は特定された長さを有し，両端の接続部３２_１，３２_２（関節に相当）の三次元座標（X,Y,Z）の変化に対応して，仮想３次元空間における構成要素の位置及び角度が変化する。

図４は，かかる図２に示す構成の関節角度測計算部２により実行される処理フローである。

まず，深度情報付撮像部１で生成され，入出力インタフェース２２を通してＲＡＭ２５に一旦保持された深度情報とスケルトン（骨格）情報を一フレーム毎に取得する（ステップＳ１）。次いで，得られたスケルトン（骨格）情報をビデオＲＡＭ２３に描画し，スケルトン（骨格）画像をディスプレイ２４上に表示する（ステップＳ２）。

図５は，関節角度計算部２のディスプレイ２４の表示の例である。ディスプレイ２４の表示は，一画面に２フィールドの情報表示エリアを有し，図５に示す表示は，２フィールドの情報表示エリアの内の一つの表示エリアである。

この表示エリアは，画像表示エリア５０と，入力ボタン表示エリア５１を有する。入力ボタン表示エリア５１のそれぞれのボタン指定により対応する入力信号が，入出力インタフェース２６を通して，関節角度計算部２に入力され，ＣＰＵ２０に送られ，対応する制御がＣＰＵ２０により実行される。

画像表示エリア５０の表示は，入力ボタン表示エリア５１の背景表示ボタン５２の切り替えにより，背景画像上にスケルトン（骨格）画像を表示するか，背景画像を表示せずにスケルトン（骨格）画像のみを表示するかの切り替えが可能である。図５に示す例では，背景画像を表示せずにスケルトン（骨格）画像のみを表示している。

図６は，上記２フィールドの内の第２のフィールドの表示例であり，「画面を参照して測定する関節を選んで下さい」等の被験者１００又は介助者に対する操作指示メッセージが表示される。

図５に示すディスプレイ２４に表示した骨格情報は，測定対象となる接続部３２即ち関節と，接続部３２に対応する測定内容（測定メニュー）が選択できる表示が行われる。

すなわち，被験者１００又は介助者は，図６に示す第２のフィールドのメッセージ表示に従って，ディスプレイ２４に表示される図５のスケルトン（骨格）画像を観察して，被験者１００の測定すべきＲＯＭ（関節可動域）に対応する関節部分，例えば図５において肩型関節部５３を，画面上のカーソルを移動して特定することができる（ステップＳ３）。

すなわち，画面上のカーソルを移動して被験者１００自身により特定された測定すべきＲＯＭに対応する部分の情報が，入出力インタフェース２６を介して関節角度測定装置２に入力される。

測定すべきＲＯＭに対応する部分の情報が入力されると特定された肩関節部５３に対応して行われる予め設定されたリハビリの種類を示すメニュー（測定項目）が表示される。

図７は，リハビリを行うメニュー表示を説明する図であり，図５に示すスケルトン（骨格）画像のみを拡大して示している。

すなわち，図５において肩関節部５３を特定すると，その近傍にリハビリを行うメニュー表示５４として，例えば屈曲・伸展，外転・内転，及び外旋・内旋の三種の測定項目が表示される。

「屈曲・伸展」の測定項目にカーソルを合わせて特定すると，肩関節部５３を中心とする，２辺の空間ベクトル情報を生成する（ステップＳ４）。

これにより，図７に示す様に，肩関節部５３で接続される肩甲骨部５３_１と上腕部５３_２を特定し，上腕部５３_２の曲げ，伸ばしに対応して角度の測定が可能となる（ステップＳ５）。

ここで，図７において，棒状の表示５５は，リハビリメニューに対応して決められた基準指標を示している。すなわち，肩関節部５３が，この基準指標５５を基準にどれだけの角度で曲げられるかの基準となる位置（角度０℃）を意味している。

ついで，上記に特定されたリハビリ項目に従って，関節部が動かされると深度付撮像部１が被験者の撮像画像データと、撮像画像データの各画素の深度情報と、仮想三次元空間における被験者のスケルトン情報とを生成し、関節角度計算部２に送る。関節角度計算部２は送られた情報を基に可動域を測定する関節に繋がれる２辺の空間ベクトル情報を生成し、生成された２辺の空間ベクトル情報に基づき関節部の角度を計算して数値，骨格形状などの情報をディスプレイ２４に表示が行われる（ステップＳ５）。

なお，一実施例において，ステップＳ１乃至５の処理は全てリアルタイムに行われる。

図８は，ディスプレイ２４の第１のフィールドの画像表示エリア５０に表示される骨格の表示の一部であって，特定された肩関節部５３について，リハビリ項目に従い，上腕部５７を動かす角度に対応した状態を順次示している（図８（１）〜（３））。

角度表示５６は，動かす角度に対応して基準指標５５を基点として，面積が広狭に変化して，被験者１００に容易に角度が認識可能にされている。

ここで，特定したリハビリ項目の意図する腕の動きと異なる方向に腕を動かす場合は，図８（４）に示すように，上腕部５７の表示を警告する表示（例えば赤色に表示する）が行われる。

上記の表示は，ＲＯＭ測定終了（ステップＳ６，Ｙｅｓ）まで，フレーム毎に継続する（ステップＳ７）。

図９は，リハビリ項目の測定中における，ディスプレイ２４の第２フィールドの一例である。

右方屈曲伸展検査において，肩関節部５３が動かされる現在角度の表示と動かされた角度の最大値と最小値が画面上に表示されている。かかる表示は，図５に示す入力ボタン表示エリア５１の対応するボタンを入力指定することにより切り替わる。

上記した様に，本発明により，被験者の間接可動域を自動で取得することができる。ディスプレイ２４がある実施例ではさらに、被験者及び介助者ともに，ディスプレイ２４に表示された数値及び，画像表示によって関節角度の変化を知ることができる。一実施例においては、被験者の関節の動きに合わせてリアルタイムにディスプレイ２４に測定値を表示することができる。被験者は，自ら意図して関節を動かす努力が即座に角度表示に反映するので，本発明の適用により，関節可動範囲（ＲＯＭ）を広げることを目的とするリハビリ治療の効果を高めることが期待される。

１深度情報付き撮像装置
２関節角度測定装置（情報処理装置）
３インタフェース回線
１０撮像カメラ
１１赤外線放射部
１２赤外線検知部
１３制御部
１４メモリ
２０ＣＰＵ
２１記憶装置
２２，２６入出力インタフェース
２３ビデオＲＡＭ
２４ディスプレイ
２５ＲＡＭ
２７通信装置

Claims

被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とを生成する深度情報付き撮像部と，
前記深度情報付き撮像部から得られるスケルトン（骨格）情報において特定され、可動域を測定する関節に繋がれる２辺の空間ベクトル情報を生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度を計算する関節角度計算部を有する，
ことを特徴とする関節角度測定システム。
請求項１において，
前記関節角度計算部は，
前記スケルトン（骨格）情報を表示し、表示されるスケルトン（骨格）情報において，前記可動域を測定する関節を特定可能なディスプレイ部を有し，
前記関節角度計算部は、前記特定される可動域を測定する関節と前記関節に繋がれる２辺の対応関係を，前記深度情報付き撮像部から得られる深度情報に基づき，前記２辺の空間ベクトル情報を生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度を計算し、前記計算された関節の角度を前記ディスプレイ部に表示させるＣＰＵを有する
ことを特徴とする関節角度測定システム。
請求項２において，
前記関節角度計算部は、所定の時間の後に計算した関節の角度の最大値と最小値とを記憶するメモリを有し、前記所定の時間の後に計算した関節の角度の最大値を最小値を基に前記ディスプレイに，前記関節可動域の変化を表示することを特徴とする関節角度測定システム。
請求項２において，
前記ＣＰＵは，前記ディスプレイに，前記表示されるスケルトン（骨格）情報において，表示面上で可動域を測定する関節の特定に関連して，リハビリメニューを表示させ，
前記リハビリメニューから選択される検査項目に対応して，正しくない関節の動きに対して警告表示を行う
ことを特徴とする関節角度測定システム。
請求項１〜４のいずれかに１項において，
前記関節角度計算部は、前記計算される角度の情報を遠隔地に転送する手段を有する，関節角度測定システム。
請求項１において、前記深度付き撮像部は、被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とをリアルタイムに生成し、
前記関節角度計算部は、前記可動域を測定する関節に繋がれる２辺の空間ベクトル情報をリアルタイムに生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度をリアルタイムに計算する
ことを特徴とする関節角度測定システム。
請求項２〜４のいずれか１項において、
前記深度付き撮像部は、被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とをリアルタイムに生成し、
前記関節角度計算部は、前記可動域を測定する関節に繋がれる２辺の空間ベクトル情報をリアルタイムに生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度をリアルタイムに計算し、
前記ディスプレイは前記リアルタイムに計算された関節の角度をリアルタイムに表示する
ことを特徴とする関節角度測定システム。
請求項５において、
前記深度付き撮像部は、被験者の撮像画像データと，前記撮像画像データの各画素の深度情報と，仮想三次元空間における前記被験者のスケルトン（骨格）情報とをリアルタイムに生成し、
前記関節角度計算部は、前記可動域を測定する関節に繋がれる２辺の空間ベクトル情報をリアルタイムに生成し，前記２辺の空間ベクトル情報に基づき前記関節の角度をリアルタイムに計算し、
前記計算される角度の情報を遠隔地に転送する手段は前記計算される角度の情報をリアルタイムに遠隔地に転送させる
ことを特徴とする関節角度測定システム。