JP2005091085A - 非接触型関節角度計測システム - Google Patents

Abstract

【課題】 上肢手指の運動に応じて変化する関節の関節角度を、身体部位に非接触の状態で計測可能なを提供することを課題とする。
【解決手段】 計測システム１は、人間の手指Ｈを撮像し、手指Ｈの形状データ３を取得し、さらに手指Ｈの運動を感知することが可能な撮像部５と、撮像部５と接続し、取得された形状データ３及び感知された手指Ｈの運動に係る運動検出信号６を信号変換処理する信号処理制御部７と、信号処理された形状データ３及び運動検出信号６を信号処理制御部７から受付けるコンピュータ本体８、モニタディスプレイ９、及びキーボード１０を含んで構成される処理制御部２とを主に具備して構成されている。そして、手指Ｈの動きに連動させて、形状データ３に基づいて生成された３Ｄモデルを連動するように制御し、制御に応じて変化する３Ｄモデルの個々の関節角度を計測することができる。
【選択図】 図１

Description

本発明は、非接触型関節角度計測システムに関するものであり、特に、上肢手指の運動に応じて変化する関節の関節角度を、予め生成した上肢手指の三次元モデルを連動制御することにより、上肢手指に非接触の状態で計測することが可能な非接触型関節角度計測システムに関するものである。

従来から、人間の身体部位の運動、特に上肢手指の運動を計測するための手法及びシステムの開発が数多く為されている。このとき、上肢手指の運動を認識及び特定するために、時々刻々変化する上肢手指の各関節の関節位置及び該関節の関節角度を計測することが行われている。そして、各関節の関節角度等を把握することにより、上肢手指の全体の運動を捉えることができ、例えば、医療介護分野、及びロボット制御分野などの幅広い分野において活用が行われている。

ここで、上肢手指の関節の関節角度を計測するためのシステムとして、予め複数のセンサによって形成された専用の計測グローブを手指に装着し、上肢手指の運動に応じて変化するセンサの信号をリアルタイムで読取ることにより、上肢手指の運動（すなわち、関節角度及びその変化量の計測）を認識することが可能なものが知られている。さらに、周囲の背景と光学的に異なる輝度を有する発光性のマーカーを上肢手指に複数装着し、運動に伴って変位するマーカーの位置をカメラなどの撮像装置によって捉えながら、関節位置や関節角度を計測し、上肢手指の運動を情報として取得することが可能なシステムが既に開示されている（例えば、特許文献１参照）。

上記構成のシステムにより、上肢手指に装着された複数のマーカーの位置が三角測量の原理を利用して特定され、上肢手指の運動が三次元的に認識されることになる。このとき、マーカーによる運動の検出と同時に、筋肉を構成する筋繊維の活動電位（筋電）を測定するための装置を同様に上肢手指に取付け、筋電図の記録を取得することがある。そして、係る筋電図及び取得されたマーカーの三次元位置に関するデータに基づいて、特定の運動において上肢手指のどの身体部位の動きが活発に活動しているのかを、より明確とすることを可能とするシステムも開示されている。これにより、被験者自身が運動させる身体部位（または、筋肉）を意識して運動させたり、或いは無意識的に運動する身体部位に関する情報を得ることができる。そして、これによる身体部位の運動を視覚情報として捉えることもできるようになる。なお、マーカーを利用する計測の手法は、特に肘や膝などの比較的広範に稼働する関節の運動及び関節角度を計測することに、特に適している。

一方、コンピュータを利用した画像解析に係る技術の向上に伴い、身体部位の運動の様子を動画に撮像した画像イメージを利用し、身体部位の運動について解析を行う研究も多く知られている。このとき、例えば、計測対象となる人体の身体部位の一部を、撮像イメージに基づいてモデル化し、構築されたモデルを利用して、各種の身体部位の運動能力を計測するものが行われている。（例えば、特許文献２参照）。上記構成の計測システムによれば、認識対象となる身体部位に対し、撮像イメージを撮像するためのカメラ等の撮像手段は非接触の状態にある。そのため、上述の計測グローブや発光性のマーカー等を装着する計測システムの手法と異なり、原則として被験者による身体部位の運動を阻害することがない。加えて、画像イメージからモデルを構築する際、併せて取得される身体部位の長さ、輪郭形状、凹凸の程度、及び手指の模様などの付帯的な情報を取得し、直線や曲線などを用いて近似的に画面上に表示することが可能となり、三次元的に生成されたモデルの精度が向上することとなる。また、一般に知られたカメラ等の撮像手段を利用する以外に、正確な距離を測定するために利用されているレーザスキャナー装置を身体部位の形状を特定するものが知られている（特許文献３参照）。

さらに、人間の手を直接計測対象とする研究も数多く行われている（例えば、非特許文献１参照）。これによると、物体をつかんだり、離したりするなどの操作をする際の手指の動き及び形状を推定するために、手指の各関節の回転角度または屈曲角度に基づく推定が行われる。ここで、手指の形状は、複数台のカメラから得られる多視点画像を、撮像された入力イメージとして使用し、該多視点画像によって取得される身体部位の輪郭に基づいてモデルを構築し、予め作成されたモデルと、作成されたモデルとをフィッティング処理することで、関節角度の推定を行うことができるものである。

ところで、人間の種々の身体部位に関する統計的なデータが取られており、種々の分野における基礎資料として活用されている（非特許文献２）。これにより、特に現代の日本人の標準的な身体部位の寸法が、年齢別及び男女別等に分けてそれぞれ分類され、上肢手指等に関する詳細データを入手することができる。

特許第３３８０５４０号公報 特開平９−２１２６４３号公報 特開２００２−３４１０３１号公報 上田 悦子、松本 吉央、今井 正和、小笠原 司、"研究報告「コンピュータビジョンとイメージメディア」アブストラクト"、Ｎｏ．１２８−００４、情報処理学会、［平成１５年８月２６日検索］、インターネット＜ＵＲＬ：http://www.ipsj.or.jp/members/SIGNotes/Jpn/06/2001/128/article004.html＞ 通商産業省工業技術院生命工学工業技術研究所、「設計のための 人体寸法データ集」、第一版、株式会社日本出版サービス、１９９６年６月２０日、ｐ１６２−ｐ１６３、ｐ１９１−ｐ１９９

しかしながら、上述の種々の計測手法及びシステムは、以下のような問題を生じることがあった。例えば、計測グローブを利用するものは、半身麻痺などの症状を呈する患者の手指の運動を捉えるものに適していなかった。すなわち、運動機能の低下した上肢手指に取付ける場合、係る計測グローブ自体の装着が困難となり、また計測グローブの重量や装着によって上肢手指にかかる負担によって自然な状態での運動の計測ができないことがあった。

加えて、計測グローブやマーカー等を利用して計測するものは、計測対象となる手指等に計測グローブやマーカー等のセンサ機器を、接触または貼着させる必要があった。そのため、前述した肘や膝などの関節の可動範囲が広いものは、マーカー等の貼着が困難とならず、身体部位の運動を阻害するおそれが少なかった。ところが、手指、特に指先などの細かな身体部位の動きを計測しようとする場合、マーカーのサイズによっては、係る部位への装着が困難となったり、筋繊維の活動電位を検出するためのセンサが狭小な場所に凝集して配されることとなり、身体部位の運動を大きく制限することがあった。その結果、正確な身体部位の運動を認識することができないケースがあった。

加えて、複数のマーカーを手指に装着して関節角度の計測を行う場合、計測の基準位置のキャリブレーションや補正を図る必要があり、準備に多くの時間を要することがあった。加えて、手指にマーカーを装着した場合、手指の動作の態様（例えば、物体を把持する動作など）によっては、マーカーがマーカー位置検出用のカメラの撮像範囲から隠れることがあり、運動の検出が十分に行われないことがあった。

さらに、非特許文献１において示された手法によって手指形状の推定を行うものは、計測のために複数のカメラシステムを用意する必要があり、十分な計測精度を保つためには、システム全体が大型化する傾向が強く、コストが肥大化することが予想されていた。

そこで、本発明は、上記実情に鑑み、特に上肢手指の運動に応じて変化する関節の関節角度を、身体部位に非接触の状態で計測可能な非接触型関節角度計測システムの提供を課題とするものである。

上記の課題を解決するため、本発明の非接触型関節角度計測システムは、「人間の上肢手指の形状に関する形状データを取得する形状取得手段と、前記形状取得手段によって取得された前記形状データを利用し、前記上肢手指の各々の身体部位の身体長さ及び前記身体部位を連結する関節の関節位置を特定し、前記身体長さ及び前記関節位置に基づいて、前記上肢手指の仮想的な三次元モデルを生成する三次元モデル生成手段と、前記上肢手指の運動を感知し、検出する運動検出手段と、生成された前記三次元モデルを、前記上肢手指の運動に合わせて制御する連動制御手段と、前記連動制御手段によって制御される前記三次元モデルを利用し、前記上肢手指の関節角度を計測する関節角度計測手段と」を主に具備するものから構成されている。

ここで、形状取得手段とは、関節角度を計測する対象となる人間の上肢手指の主として外観形状を取得するものであり、例えば、従来から周知の技術として利用される撮像機器（デジタルカメラまたはビデオカメラなど）を用いることが可能である。また、上肢手指の外観形状を高精細のデータとして取得するために、レーザ光線を利用したレーザスキャニング装置を用いるものや、二つのビデオカメラを所定の間隔をおいて並列に配置し、対象となる上肢手指を複眼によって立体的に捉えることを可能にするものであっても構わない。

さらに、三次元モデル生成手段とは、前述の形状取得手段によって取得された上肢手指に係る形状データに基づいて、主に上肢手指の輪郭を検出し、身体部位の長さ、及び関節位置を特定し、コンピュータ等の表示画面に仮想的な三次元画像として表示可能な三次元モデルを生成するものである。ここで、三次元モデルは、関節位置が特定されているため、各関節の可動範囲を容易に予測することができ、取得対象となる上肢手指と略同一の動きをするように変化させる制御を行うことが可能となっている。

したがって、本発明の非接触型関節角度計測システムによれば、形状取得手段によって取得された上肢手指の形状データに基づいて、係る上肢手指の三次元モデルを仮想的に生成し、さらに上肢手指の運動に伴って三次元モデルの動きが連動するような制御が行われる。これにより、上肢手指の動きを的確に再現可能な三次元モデルが生成される。このとき、運動検出手段によって検出された上肢手指の運動に対応させて、係る三次元モデルの動きを連動させることにより、これに伴って変化する三次元モデルの関節角度を得ることが可能となる。すなわち、三次元モデルの個々の関節角度は、計測対象となる上肢手指の関節角度を示すこととなり、実際の上肢手指の関節角度を上肢手指に非接触の状態で把握することが可能となる。その結果、上肢手指の身体部位の運動を阻害することなく、人間の上肢手指の自然な運動を捉えることができるようになる。

さらに、本発明にかかる非接触型関節角度計測システムは、上記構成に加え、「前記上肢手指の基本三次元モデルが記憶された基本モデル記憶手段をさらに具備し、前記三次元モデル生成手段は、前記形状取得手段によって取得された前記形状データを利用し、記憶された前記基本三次元モデルを変形し、前記三次元モデルを構築する基本モデル変形手段を」さらに具備するものであっても構わない。

したがって、本発明の非接触型関節角度計測システムによれば、形状データに基づいて生成される三次元モデルは、予め平均化された各身体部位の身体長さや関節位置など値によって構築され、記憶された基本三次元モデルをベースとして生成されている。すなわち、予め大まかな手指の形状に沿って構築された基本三次元モデルを、形状データに基づいて徐々に変形させながら、被験者の上肢手指の形状にフィットするような変形処理が行われる。その結果、被験者（ここでは、上肢手指の形状データの取得が行われた者）に特徴的な外観形状を有する三次元モデルが生成されることになる。つまり、形状データに基づいて全くのゼロに近い状態から三次元モデルを生成することに比べ、予めおおよその形状が構築された基本三次元モデルに対して、修正及び変更を施すことにより、各々の被験者に固有の三次元モデルを容易に生成することができるようになる。その結果、三次元モデルの生成に係る処理の負担を軽減することができる。

さらに、本発明にかかる非接触型関節角度計測システムは、上記構成に加え、「前記基本三次元モデルは、前記身体長さ、前記関節位置、前記関節の可動範囲、及び前記身体長さの比率に係るデータを含み、統計的に算出された標準化データに基づいて構築されている」ものであっても構わない。

ここで、標準化データとは、前述した非特許文献２等に記述されているような人体の各身体部位の身体長さや関節位置、身体長さの比率等（例えば、人差し指の第一関節の長さ：第二関節の長さ：第三関節の長さ）を、複数の人間を調査サンプルとしてそれぞれのデータの収集を行い、統計的な処理を行うことによって得られたものであり、例えば、現在の日本人の平均的な体型等が示されるものである。なお、日本人以外に、欧米人の体型やアフリカ系民族の体型等の人種別に標準化データを備え、これに対応可能とするものであってもよい。さらに、人種別の他に、男女別、年齢別、及び地域別などに分類されたものを適宜取捨選択することにより、基本三次元モデルを構築するための三次元モデルを選択するものであっても構わない。その結果、対象となる被験者の人種や年齢等の諸条件に合わせて基本三次元モデルが適宜選択され、三次元モデルの生成がさらに容易になる。

したがって、本発明の非接触型関節角度計測システムによれば、基本三次元モデルが、人種、男女、及び年齢別等に標準化して分類された標準化データに基づいて構築されている。これにより、基本三次元モデルがさらに形状データに近似する可能性が高くなり、例えば、現代の日本人の平均的な体格を示すことができるようになる。その結果、取得された形状データと基本三次元モデルと間での変位量が小さくなり、基本モデル変形手段における基本三次元モデルの変形量が小さくなる。その結果、被験者の手指の形状に沿った三次元モデルの生成がさらに容易となる。

さらに、本発明にかかる非接触型関節角度計測システムは、上記構成に加え、「前記連動制御手段は、運動する前記上肢手指の輪郭形状を抽出し、認識する輪郭抽出手段と、抽出された前記上肢手指の前記輪郭形状に基づいて、生成された前記三次元モデルを前記上肢手指の運動に同期させて制御する同期制御手段と」をさらに具備するものであっても構わない。

したがって、本発明の非接触型関節角度計測システムによれば、運動検出手段によって検出された上肢手指の輪郭形状に同期させて、生成された三次元モデルの連動制御が行われる。これにより、上肢手指の運動の状態が輪郭形状によって容易に把握することが可能となる。

さらに、本発明にかかる非接触型関節角度計測システムは、上記構成に加え、「前記形状取得手段は、前記運動検出手段としての機能を兼備する」ものであっても構わない。

したがって、本発明の非接触型関節角度計測システムによれば、形状取得手段及び運動検出手段の双方の機能を兼ね備えた同一構成のものを利用することができる。すなわち、上肢手指の形状を取得するためのカメラ等の撮像機器に、上肢手指の運動を検出する機能を持たせることにより、システム全体の構成を簡略化、かつコンパクトにすることができる。

本発明の効果として、マーカー等を上肢手指に装着する必要がなく、手指の形状の取得及び運動の検出を非接触の状態で行うことが可能となり、上肢手指の関節角度の計測を容易に行うことができる。また、従来のマーカーの場合、上肢手指の様態によってマーカー位置の検出が困難であった状況であっても、上肢手指の輪郭形状に基づいて運動の検出及び三次元モデルへの連動制御が可能となるため、関節角度の計測が制限されることが少なくなる。

以下、本発明の一実施形態の非接触型関節角度計測システム１（以下、単に「計測システム１」と称す）について、図１乃至図６に基づいて説明する。ここで、図１は本実施形態の計測システム１の概略構成を示す説明図であり、図２は計測システム１における処理制御部２の機能的構成を示すブロック図であり、図３及び図４は処理制御部２の処理の流れを示すフローチャートであり、図５及び図６は計測システム１における上肢手指の形状データ３の取得及び三次元モデル４（以下、「３Ｄモデル４」と称す）の生成及び３Ｄモデル４の連動制御を模式的に示す説明図である。

本実施形態の計測システム１は、図１及び図２に示すように、人間の手指Ｈを撮像し、手指Ｈの輪郭形状１２を含む形状データ３を取得し、さらに手指Ｈの運動を感知することが可能な撮像部５と、撮像部５と電気的に接続し、取得された形状データ３及び感知された手指Ｈの運動に係る運動検出信号６を信号変換処理する信号処理制御部７と、信号処理された形状データ３及び運動検出信号６を信号処理制御部７から受付けるコンピュータ本体８、モニタディスプレイ９、及びキーボード１０を含んで構成される処理制御部２とを主に具備して構成されている。

さらに、具体的に説明すると、撮像部５は前面５ａに設けられたレンズ部１１を介して手指Ｈを画像データとして撮像し、手指Ｈの輪郭形状１２等の形状データ３を取得するための形状撮像手段１３と、周囲または背景に対して動く手指Ｈの三次元的な運動を検知する運動検知手段１４とを主に具備して構成されている。ここで、撮像部５は、市販のビデオカメラなどの画像入力機器を利用することが可能である。また、運動検知手段１４は、特に限定するものではないが、手指Ｈの背景を予め一色（例えば、ブルー）に統一し、係る背景色との色の変化及び時間などの変化によって手指Ｈの運動を検出するものや、或いはレンズ部１１の近傍に設けられた赤外線発光部（図示しない）から赤外線を照射し、係る赤外線の反射によって手指Ｈの運動の状態を感知するものなどが挙げられる。

一方、処理制御部２の主要構成を為すコンピュータ本体８は、図２に示すように、撮像部５から送出された手指Ｈに係る形状データ３及び運動に係る運動検出信号６を信号変換処理する信号処理制御部７を介して撮像部５と接続され、信号処理制御部７から送出された変換処理済みの形状データ３及び運動検出信号６を受付けるインターフェイス部１５と、インターフェイス部１５を介して受付けた形状データ３に基づいて、手指Ｈにおける関節位置ＫＰを特定する関節位置特定手段１６、手指Ｈの各指の長さ及び位置等を特定する手指位置特定手段１７、及び手指Ｈの全体の外観を輪郭形状１２を特定する輪郭検出手段１８を有する形状取得手段１９と、日本人の平均的な体型に基づいて算出された人間の身体部位のそれぞれの標準値を記録した非特許文献２等に示されたデータ集に基づいて記憶された標準化データＳＤを利用して構築された基本３ＤモデルＢＭを記憶する記憶手段２１と、記憶された基本３ＤモデルＢＭ及び取得された形状データ３によって特定された手指Ｈの関節位置ＫＰ等の手指Ｈの情報に基づいて、基本３ＤモデルＢＭを構築する各値に修正を施し、基本３ＤモデルＢＭの変形を行う基本モデル変形手段２３を有し、手指Ｈを所有する被験者（図示しない）の個人情報ＰＩの一部を構成する３Ｄモデル４を生成する３Ｄモデル生成手段２４と、生成された３Ｄモデル４を視覚的に認識可能に表示するための信号処理を行い、モニタディスプレイ９に３Ｄモデル４を表示する表示制御手段２５とを具備している。

さらに、生成された３Ｄモデル４と、撮像部５によって撮像され、運動検知手段１４によって検知された手指Ｈの運動を信号処理制御部７及びインターフェイス部１５を介して受付け、撮像された手指Ｈの画像データから手指Ｈの輪郭形状１２を認識及び検出する輪郭検出手段２６を有し、手指Ｈの周囲背景の変化から手指Ｈの動きを検出する運動検出手段２７と、生成された３Ｄモデル４及び運動検出手段２７に基づいて、生成した３Ｄモデル４を手指Ｈの運動に同期させた状態で、モニタディスプレイ９に表示するための制御を行う連動制御手段２８と、連動制御手段２８によって同期制御された３Ｄモデル４のそれぞれの関節の関節角度ＪＡを計測する関節角度計測手段２９と、キーボード１０と接続し、コンピュータ本体８を含む処理制御部２を操作するための操作制御手段２２を主に具備して構成されている。ここで、連動制御手段２８は本発明の同期制御手段の機能を兼備している。

次に本実施形態の計測システム１の処理制御部２の処理の流れについて図３及び図４に基づいて説明する。始めに、稼働状態にある計測システム１の処理制御部２は、新規に手指Ｈを撮像し、形状データ３の取得をするか否かを示す旨の入力の有無を検出する（ステップＳ１）。ここで、例えば、過去に被験者（図示しない）の手指Ｈに係る形状データ３の既に取得が行われ、被験者に対する形状データ３に基づく個々の３Ｄモデル４の構築が行われている場合（ステップＳ１においてＮＯ）、形状データ３の取得及び３Ｄモデル４の生成に係る以降の処理（ステップＳ２乃至ステップＳ８）をキャンセルし、記憶手段２１に記憶されている個人情報ＰＩから以前に構築された３Ｄモデル４を読込み（なお、読込処理に係るステップの図示はここでは省略する）、ステップＳ９の処理に移行する。

一方、新たに手指Ｈの形状データ３を取得する場合（ステップＳ１においてＹＥＳ）、撮像部５によって手指Ｈの撮像を行う（ステップＳ２：図５（ａ）参照）。このとき、手指Ｈの各指Ｆ１等を開いた状態の掌の映像を取込むことが撮像された画像データの処理及び手指Ｈと周囲の背景との境界を明確に区別するために特に好ましい。そして、撮像された手指Ｈの画像データから手指Ｈの輪郭形状１２を検出し、手指Ｈの各指Ｆ１等の長さ及び各指の位置等の特定、及び関節位置ＫＰの特定を行い、形状データ３を取得する（ステップＳ３乃至ステップＳ５）。

さらに具体的に説明すると、撮像部５によって撮像された画像データは、信号処理制御部７及びインターフェイス部１５を介してコンピュータ本体８の形状取得手段１９に送出される。ここで、ステップＳ３における輪郭形状１２を検出する手法としては、周知技術として知られている単純二値化により手指Ｈとそれ以外の部分の境界を明瞭にし、手指Ｈの部分のみを抽出するものや、その他、ソベルフィルターを用いる手法、及びガウシアンフィルターを用いる方法などを例示することができる。さらに、ステップＳ４における手指位置等の特定は、抽出した輪郭形状１２に応じ各指Ｆ１等の指先Ｔや付け根Ｒの付近の画像データから、近似曲線を描き、得られた頂点を形状データ３における指先Ｔ及び付け根Ｒに設定することによって行われる。ここで、描かれる近似曲線には、三次回帰曲線が利用されている。また、ステップＳ５における関節位置ＫＰの特定は、得られた指先Ｔ及び付け根Ｒの位置に基づいて、記憶手段２１に記憶されている標準化データＳＤの値により、日本人の平均的な骨格の標本の比率に応じて推定される。これにより、各指の第一関節、第二関節、及び第三関節の比率が計算され、各指の骨格を連結する関節の関節位置ＫＰが求められる（図５（ｂ）参照）。

その後、標準化データＳＤに基づいて構築され、予め記憶手段２１に記憶されている基本３ＤモデルＢＭを抽出し（ステップＳ６）、取得された形状データ３の輪郭形状１２と基本３ＤモデルＢＭを重合わせながら関節位置ＫＰ及び各指の位置（指先Ｔ及び付け根Ｒ）の調整を行い、基本３ＤモデルＢＭの変形を行い（ステップＳ７）、３Ｄモデル４の生成を行う（ステップＳ８）。このとき、予め記憶された基本３ＤモデルＢＭは、手指にかかる関節に相当する部分を有し、関節を曲げることによって基本３ＤモデルＢＭを画面上で変化させることができるように、３Ｄモデル４は生成され表示される（ステップＳ８）。

そして、処理制御部２は、手指Ｈの運動の検出を行う（ステップＳ９）。ここで、撮像部５の運動検知手段１４によって手指Ｈの運動（例えば、図６（ａ）における矢印Ｋ）が検知されると（ステップＳ９においてＹＥＳ）、撮像された手指Ｈの画像データを二値化し、動きを伴う手指Ｈの輪郭形状１２を運動検出手段２７に含まれる輪郭検出手段２６によって検出する（ステップＳ１０）。一方、手指Ｈの運動が検知されない場合（ステップＳ９においてＮＯ）、ステップＳ９の処理を継続する。

その後、手指Ｈの運動を検出し、手指Ｈの輪郭形状１２を取得したコンピュータ本体８は、生成した３Ｄモデル４と、取得した手指Ｈの輪郭形状１２との間に変位差が生じているか、否かの判断を行う（ステップＳ１１）。すなわち、生成された３Ｄモデル４との間に位置、向き、及び姿勢などに変位差、換言すれば”ずれ”がある場合（ステップＳ１１においてＹＥＳ）、”ずれ”をなくすように、３Ｄモデル４を撮像された手指Ｈの形状に近づけるように連動（マッチング）させる制御を行う（ステップＳ１２）。これにより、３Ｄモデル４は、撮像された手指Ｈと同じ動き（図６（ｂ）における矢印Ｋ’）をし、最終的に同一の態様を採ることになる。一方、３Ｄモデル４との間に変位差が無い場合（ステップＳ１１においてＮＯ）、ステップＳ１２の処理をキャンセルする。

そして、３Ｄモデル４及び手指Ｈの形状が連動した状態で、特定された３Ｄモデルの関節位置ＫＰにおけるそれぞれの関節角度ＪＡの計測を行う（ステップＳ１３）。このとき、一般に手指Ｈの指の動作速度は非常に小さいため、撮像された画像データのフレーム間では、関節角度ＪＡの変化は、ほとんど変化しないと仮定することにより、３Ｄモデル４の変形も係る範囲に納めた状態で変形させることができ、関節角度ＪＡを推測することができる。

その後、計測された関節角度ＪＡの値を記憶手段２１に記憶する（ステップＳ１４）とともに、モニタディスプレイ９に変形後の３Ｄモデル４を表示することが行われる（ステップＳ１５）。そして、手指Ｈの運動が継続して検知されるか否かが判断され（ステップＳ１６）、手指Ｈの運動が検知されない（ステップＳ１６においてＮＯ）、すなわち、撮像部５によって撮像される手指Ｈが動いていない、或いは撮像部５の撮像範囲から手指Ｈが外れている場合などは、システム終了を指示する旨の有無を検出する（ステップＳ１７）。一方、手指Ｈの運動が継続して検知される場合は、ステップＳ１０の処理に戻り、新たに手指Ｈの輪郭形状１２を検出し、再び３Ｄモデル４との変位差を判断することより、新たな手指Ｈの状態の関節角度ＪＡを計測することを繰返す。

その後、システム終了を指示する旨を検出する場合（ステップＳ１７においてＹＥＳ）、システムを終了する（ステップＳ１８）。一方、システム終了を指示する旨を検出しない場合（ステップＳ１７においてＮＯ）、ステップＳ９の処理に移り、手指Ｈの運動の検知を継続する。

上記に示したように、本実施形態の計測システム１によれば、計測対象となる手指Ｈに非接触の状態で、手指Ｈの各関節の関節角度ＪＡを計測することができる。すなわち、従来のマーカー等のセンサ類を用いた計測手法と比して、マーカーを装着する手間や時間及びマーカーに要するコスト等を削減することができる。加えて、手指Ｈの輪郭形状１２に基づいて仮想的に生成された３Ｄモデル４を利用して、実際の手指Ｈの関節角度ＪＡを推定することができる。

以下に本発明の計測システム１を利用して手指Ｈの関節角度ＪＡを計測することにより、応用が期待される技術分野について、１）医療分野、２）制御工学分野、３）人間の技術の熟達度等の計測分野を例にして簡潔に説明する。

例えば、１）医療分野においては、手指等に障害を有する人の機能回復の程度を経験的ではなく、数量的に示す目的に利用することができる。脳卒中などの脳機能に関連する疾病や交通事故などによる脊髄損傷に起因する半身不随の患者の場合、リハビリテーション治療によって四肢のしびれや低下した運動機能の回復を図ることが行われている。このとき、リハビリテーション治療は、理学療法士や作業療法士の指導及び施術によって、患者の四肢に適度な負荷を繰り返し加えることにより、筋肉の硬直や腱の癒着をほぐすことを行っている。しかしながら、理学療法士等による患者の運動機能の回復の判断は、主に経験に基づいて行われることが多く、正確でないことがあった。そこで、本発明の計測システム１を適用し、手指Ｈの関節角度ＪＡを精細に計測することにより、患者の手指Ｈの運動機能の回復の程度をリアルタイムでモニターすることが可能となる。さらに、手指Ｈに対して非接触の状態で計測可能であるため、運動機能の低下した患者であっても正確な計測を行うことができる。また、予め個々の患者の各指Ｆ１等の長さや太さ、指先Ｔや付け根Ｒの位置、及び関節位置ＫＰが予めパラメータ化して記憶することが可能であり、定期的に運動機能の回復程度を観察する必要のあるリハビリテーション施設などに特に適している。

さらに、２）制御工学分野では、人間が行う物体の組み立て作業などの手指の動きを本発明の計測システム１を利用して計測することにより、人間型多指ハンドを有するロボットの動作教示を行うことができる。ここで、ロボットの多指ハンドにどのような動きをさせるかを制御することは、アクチュエータ等をどのような位置で、どれだけの速さで移動させるかを決定する必要がある。さらに、制御する指が複数ある場合には、それぞれの指の干渉がないように考慮する必要があり、特に細かな作業では、さらに複雑な制御が要求される。そこで、本発明の計測システム１を利用して、ロボットへの動作の教示を行うことにより、制御プログラムの作成に係る時間を大幅に短縮することが期待できる。

また、３）人間の技術の熟達度等の計測分野においては、人間の技術の習得の度合いを数量的に示し、保存することができる。例えば、理学療法士などが行うリハビリテーション訓練に係る手技を本発明の計測システム１を利用して、動作を計測することができる。現在は、理学療法士等のセラピストを養成する際に、優れた技術を有するセラピストが指導教官として訓練生を指導することがあり、ほぼマンツーマンでの教育が行われることがある。ところが、係るマンツーマン教育を常に実施することは、時間的及び人材的な制約の点から困難である。また、一人で繰り返し訓練を行うことは、誤った治療方法でリハビリテーションの対象となる手技を行ってしまうクセが習慣化することがある。

そこで、本発明の計測システム１を利用することで、リハビリテーション訓練を行う訓練者の手技を関節角度ＪＡの計測によって認識し、理想的なリハビリテーション訓練の手技との比較をすることで、上級者と初級者との比較を容易とすることで、効率的な訓練を実現させることができるようになる。加えて、日本の古来から伝承される、いわゆる「匠の技」を保存することも可能となる。特に、人間国宝などに指定される優れた技量を有する人物の手技を計測し、数量化することにより、後世にわたって名匠と呼ばれる人々の技術を記録しておくことができるようになる。また、近年に入り、伝統工芸の職人の数も不足し、後継者不足の問題が危惧されるようになっている。そこで、係る手指Ｈの手技を記録することにより、後継者不足の解消及び匠の技の伝承を行うことが可能となる。

以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。

すなわち、本実施形態の計測システム１において、手指Ｈの形状データ３を取得し、手指Ｈの運動を検知するものとして、単眼カメラからなる撮像部５を用いるものを示したが、これに限定されるものではなく、例えば、図７に示すように、レーザスキャナー装置３０を利用する計測システム３１を構成したものであっても構わない。ここで、レーザスキャナー装置３０は、図３に示すように、レーザ照射部３２から照射されるレーザ光線３３を手指Ｈの表面に当て、そのレーザ光線３３の反射率をレーザ受光部３４によって検出することにより、手指Ｈの形状データ３を取得するものである。レーザ光線３３及びレーザスキャナー装置３０は、物体の三次元形状を正確に取得することが可能なものであり、現在では幅広い分野で活用がされている周知の技術及び装置である。それにより、より精細な被験者の手指Ｈに係る３Ｄモデル４を生成することができるようになる。なお、この場合、手指Ｈの運動を検知する運動検出手段（及び運動検知手段）としては、本実施形態で示したように単眼のカメラからなる撮像部５を備える必要がある。また、以後の処理の流れ及び構成は、前述した本実施形態の計測システム１と略同一であり、同一構成については同一番号を付すとともに、簡略化のため詳細な説明は省略する。

一方、図８に示すように、単眼のカメラ４０ａ，４０ｂを二つ並列させたような撮像部４０を有する計測システム４１を構築するものであってもよい。ここで、二つのカメラ４０ａ，４０ｂは１００ｍｍ程度の間隔Ｌをもって離間している。そして、係る二つのカメラ４０ａ等によってそれぞれ対象となる手指Ｈを撮像し、その視差により手指Ｈまでの距離を算出し、さらに算出された距離に応じて決定される縮尺率により、手指Ｈの立体形状を算出することができる。この結果、手指Ｈの立体形状に係る情報を容易に習得することができ、以降の３Ｄモデル４の生成をさらに容易に行うことができる。特に、複雑な形状の対象を撮像する場合において、通常は３Ｄモデル４と実際の手指Ｈとの動きを連動して制御することが困難な場合であっても、対象の三次元情報（Ｘ軸、Ｙ軸、Ｚ軸）の情報が既に習得されているため、高精度に制御を行いやすい。その結果、手指Ｈの運動に伴って変化する３Ｄモデル４の連動制御が行いやすくなる。

さらに、手指Ｈの形状及び運動を検知する場合、特に背景及び撮像の際の照明等について言及するものでないが、例えば、手指Ｈの背景を一色に統一し、手指Ｈと背景との境界を明確にする構成を有していても構わない。例えば、赤系のフィルタ若しくは赤外光を利用し、さらに手指Ｈの背景を黒色にすることにより、手指Ｈと背景とのコントラストを強調することができ、これにより、形状データ３の取得が容易となる。一方、青または緑系のフィルタを使用し、手指Ｈの背景を白色にすることによっても、コントラストを強調することができる。これにより、手指Ｈの輪郭形状を容易に取得することができるとともに、手指Ｈの表面の「しわ」や「指紋」等の凹凸の把握が可能となる。これにより、さらに精細な立体的な情報を得ることができるようになる。

本実施形態の計測システムの概略構成を示す説明図である。 計測システムにおける処理制御部の機能的構成を示すブロック図である。 計測システムの処理の流れを示すフローチャートである。 計測システムの処理の流れを示すフローチャートである。 計測システムにおける上肢手指の形状データの取得及び３Ｄモデルの生成及び３Ｄモデルの連動制御を模式的に示す説明図である。 計測システムにおける上肢手指の形状データの取得及び３Ｄモデルの生成及び３Ｄモデルの連動制御を模式的に示す説明図である。 本発明の別例を示す概略構成図である。 本発明の別例を示す概略構成図である。

符号の説明

１，３１，４１ 計測システム（非接触型関節角度計測システム）
２ 処理制御部
３ 形状データ
４ ３Ｄモデル（三次元モデル）
５，４０ 撮像部（形状取得手段、運動検出手段）
１２ 輪郭形状
１３ 形状撮像手段
１４ 運動検知手段
１６ 関節位置特定手段（形状取得手段）
１７ 手指位置特定手段（形状取得手段）
１８ 輪郭検出手段（形状取得手段）
１９ 形状取得手段
２１ 記憶手段
２２ 操作制御手段
２３ 基本モデル変形手段
２４ ３Ｄモデル生成手段（三次元モデル生成手段）
２６ 輪郭検出手段（運動検出手段）
２７ 運動検出手段（運動検出手段）
２８ 連動制御手段
２９ 関節角度計測手段
３０ レーザスキャナー装置（形状取得手段）
ＢＭ 基本３Ｄモデル（基本三次元モデル）
Ｈ 手指
ＪＡ 関節角度
ＫＰ 関節位置
ＳＤ 標準化データ

Claims (5)

1. 人間の上肢手指の形状に関する形状データを取得する形状取得手段と、
   前記形状取得手段によって取得された前記形状データを利用し、前記上肢手指の各々の身体部位の身体長さ及び前記身体部位を連結する関節の関節位置を特定し、前記身体長さ及び前記関節位置に基づいて、前記上肢手指の仮想的な三次元モデルを生成する三次元モデル生成手段と、
   前記上肢手指の運動を感知し、検出する運動検出手段と、
   生成された前記三次元モデルを、前記上肢手指の運動に合わせて制御する連動制御手段と、
   前記連動制御手段によって制御される前記三次元モデルを利用し、前記上肢手指の関節角度を計測する関節角度計測手段と
   を具備することを特徴とする非接触型関節角度計測システム。
2. 前記上肢手指の基本三次元モデルが記憶された基本モデル記憶手段をさらに具備し、
   前記三次元モデル生成手段は、
   前記形状取得手段によって取得された前記形状データを利用し、記憶された前記基本三次元モデルを変形し、前記三次元モデルを構築する基本モデル変形手段をさらに具備することを特徴とする請求項１に記載の非接触型関節角度計測システム。
3. 前記基本三次元モデルは、
   前記身体長さ、前記関節位置、前記関節の可動範囲、及び前記身体長さの比率に係るデータを含み、統計的に算出された標準化データに基づいて構築されていることを特徴とする請求項２に記載の非接触型関節角度計測システム。
4. 前記連動制御手段は、
   運動する前記上肢手指の輪郭形状を抽出し、認識する輪郭抽出手段と、
   抽出された前記上肢手指の前記輪郭形状に基づいて、生成された前記三次元モデルを前記上肢手指の運動に同期させて制御する同期制御手段と
   をさらに具備することを特徴とする請求項１乃至請求項３のいずれか一つに記載の非接触型関節角度計測システム。
5. 前記形状取得手段は、
   前記運動検出手段としての機能を兼備することを特徴とする請求項１乃至請求項４のいずれか一つに記載の非接触型関節角度計測システム。

Images