JP2002063579A - 画像解析装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】観測対象にマーカを装着することなく、観測対
象の動作によって隠れる観測位置の追跡が可能な画像解
析装置及びその方法を提供する。 【解決手段】撮影した動画の各画面に記録されている観
測対象の第１の観測位置を登録し、登録した第１の観測
位置が停止していると推定される画面を自動で選択し、
観測対象の動きによって隠れる場合がある第２の観測位
置を登録し、前記選択した画面に対して時間を戻す方向
（バックワードサーチ）又は時間を進める方向（フォワ
ードサーチ）に第２の観測位置の動作を追跡するように
したので、観測対象の動作によって隠れる第２の観測位
置を自動で追跡することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理を用いた画
像解析装置及びその方法に係り、特に観測対象を撮影し
た画像から観測対象の関節の位置や実寸法及び、時間に
関する情報を算出する画像解析装置及びその方法に関す
る。

【０００２】

【従来の技術】従来から歩行動作訓練の様子をカメラで
撮影し、該撮影した画像から歩行動作時の関節位置を計
測して歩行動作の様子を解析する画像解析装置がリハビ
リテーション医療に用いられている。

【０００３】従来の画像解析装置で歩行訓練の解析を実
施する際には、先ず実際の歩行訓練の撮影を開始する前
に予め基準尺を撮影して、画像のデジタルデータを実寸
法に変換する係数を算出する校正作業を実施する。該校
正作業が終了した後に観測対象者の全関節位置に複数種
の色に識別されて着色された球形のマーカを取付け、画
像処理の色抽出処理によって各マーカを抽出し、色で各
マーカを識別し、各マーカの中心位置を画像のデジタル
データ上での関節位置として計測する。そしてこの撮影
して得た関節位置のデジタルデータと前記校正作業によ
って算出した係数とを乗算して、観測対象者の実際の各
関節位置情報を算出していた。

【０００４】また、人間や動物或いは機械等の移動体に
状態変化を計測する測定器を取付けて、移動体の動作や
行動を自動認識する方法及び装置及びシステムが特開平
１０−１１３３４３号の公報に示されている。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
特開平１０−１１３３４３号の公報に示されている移動
体の動作や行動を自動認識する方法及び装置及びシステ
ムでは、移動体の計測点に加速度センサ等の電源や出力
線を有する測定器を装着する必要があり、例えば人の両
足の歩行動作についての計測は可能であるものの、人の
動作内容に制限が課せられるとともに準備作業、計測作
業にたいへん手間がかかるという不具合があった。更
に、自動認識システム自体が大がかりで高価な装置とな
るため、一般の臨床現場では設置場所を確保することが
できなかったり、購入ができないため使用されていない
という不具合を生じていた。

【０００６】また、従来の画像解析装置では、観測対象
者（患者）の関節位置等の各観測点にマーカと呼ばれる
ターゲットを取り付ける測定準備を施してから歩行動作
及び撮影を開始し、取得した画像のデジタルデータから
関節位置の軌跡を算出して集計する必要があった。その
ため、画像解析装置の使用者であるとともに、動作解析
結果の評価者でもある理学療法士に対して測定準備作業
の必要性を認識してもらう必要があった。これは、理学
療法士にとって本来不必要な計測のための準備と知識と
を強いることになり、利用者に対して画像解析装置によ
る動作解析は煩雑な作業であるという印象を与えてしま
っていた。更に、観測対象者の訓練に携わる時間で保険
料や医療点数の請求を行っている臨床現場では、歩行訓
練等の動作解析に対してマーカの取付けや取り外しを含
む準備時間をかけてまで動作解析用のデータを取得する
ことができなかった。

【０００７】また、従来の動作の解析装置では、観測対
象者の関節位置にマーカやセンサーを装着していたた
め、観測対象者の自然な歩行や動作の妨げになり、正確
な動作情報を得ることができないという不具合を生じて
いた。

【０００８】本発明はこのような事情に鑑みてなされた
もので、観測対象にマーカの装着及び撤去といった作業
が不要であるとともに、観測対象の動作によって隠れる
観測位置の追跡が可能な画像解析装置及びその方法を提
供することを目的としている。

【０００９】

【課題を解決するための手段】本発明は前記目的を達成
するために、動きを伴う観測対象が有する所定の観測位
置を測定して動作解析を行う画像解析装置において、観
測対象を撮影した画像を入力する手段と、前記撮影した
動画の各画面に記録されている観測対象の所定の第１の
観測位置と前記撮影した動画の画面に記録されている観
測対象の動きによって隠れる場合がある所定の第２の観
測位置とを登録する登録手段と、前記撮影した動画にお
いて前記登録された第１の観測位置が停止していると推
定される画面を選出する停止画面選出手段と、前記第１
の観測位置が停止していると推定される画面に対して時
間を戻す方向又は時間を進める方向に向かって前記第２
の観測位置の動作を追跡する追跡手段とを備えたことを
特徴としている。

【００１０】本発明によれば、入力した画像の各画面に
記録されている観測対象の第１の観測位置を登録し、観
測対象の動きによって隠れる場合がある第２の観測位置
を登録し、登録した第１の観測位置が停止していると推
定される画面を自動で選択し、該選択した画面に対して
時間を戻す方向又は時間を進める方向に向かって第２の
観測位置の動作を自動で追跡するようにしたので、観測
対象の動作によって隠れる第２の観測位置の自動追跡が
可能となる。

【００１１】

【発明の実施の形態】本発明に係る画像比較表示装置
を、医療用のリハビリ歩行訓練に応用した実施の形態に
ついて、以下に図を用いて説明する。

【００１２】図１は、本発明に係る画像解析装置１０の
構成を示した構成図であり、図２は、図１の構成に基づ
く画像解析装置１０による撮影状態を示す図である。

【００１３】図１に示される画像解析装置１０は、リハ
ビリ歩行訓練の様子を撮影するためのビデオカメラ等に
よる撮影手段１２と、撮影した動画像をデジタル符号化
して取り込む画像取込み部１４と、取り込んだ動画像と
撮影時に於ける撮影条件と歩行動作解析の解析結果デー
タ等を必要に応じて圧縮した後に動画像として記憶する
記憶部１６と、記憶部１６に格納されている画像データ
を関節位置情報に変換してスティックピクチャ表示する
歩行動作の解析処理やテンプレートパターンマッチング
処理等を行う画像処理部１８と、記憶部１６に格納され
ている圧縮された動画像を呼び出して表示可能な形態に
データを伸張加工する加工部２０と、記憶部１６に格納
されている歩行動作解析等の解析結果や加工部２０にお
いて合成加工した動画像を表示する表示部２２とから構
成されている。

【００１４】また画像解析装置１０は、前記画像取込み
部１４と前記画像処理部１８と加工部２０と前記表示部
２２を制御するための制御部２４と、制御部２４に対し
て処理内容や画像表示等のコントロールの指示を入力す
る入力部２６とが設けられている。制御部２４は、評価
項目や回復度合、目標値の算出等の演算を行うととも
に、データ記憶部２７内のデータベースに対してデータ
の書き込みや読み出しを行う。また、データ記憶部２７
は図示しないネットワーク等により外部の通信機器から
アクセス可能に構成されていてもよい。

【００１５】入力部２６は、キーボードやマウス等から
構成されており、その指令は制御部２４に入力されて処
理機能の選択及び動画像の２画面同時再生や一時停止や
コマ送り、マーカの移動等の指示を与える。また図２の
例では撮影時に撮影対象者２８に光を当てるための照明
スタンド３０、３０が設けられている。

【００１６】図３に画像解析装置１０の表示部２２に表
示される画像解析の初期メニュー４０を示す。

【００１７】同図によれば初期メニュー４０には、患者
である撮影対象者２８の個人情報を登録するための画面
に切り換える基本情報ボタン４２と、使用しない画像や
個人情報を他の記憶媒体に一時的に退避することを指示
するディスク退避ボタン４４と、ディスク退避した情報
を再度ディスクに戻すディスク復帰ボタン４６と、画像
や個人情報、システムの環境を安全の為に他の媒体に保
存することを指示するバックアップボタン４７と、バッ
クアップで保存した情報をシステムに戻すことを指示す
るリストアボタン４８とが設けられている。

【００１８】また、初期メニュー４０には、撮影対象者
２８の動作の録画を行う画面に切り換えることを指示す
る録画ボタン５０と、一旦録画した患者の画像データを
例えば各関節を線で結んだワイヤーフレーム等のスティ
ックピクチャ情報を作成する動作計測ボタン５２と、撮
影画像の並列表示やスティックピクチャ情報に基づいて
画像解析を行って例えば患者の回復度合いやリハビリの
成果を表示するための画面に切り換わる結果表示ボタン
５４との計測関連のモード設定ボタンが設けられてい
る。また、初期メニュー４０には、画像解析処理を終了
することを指示する終了ボタン５６が設けられている。

【００１９】次に、撮影から画像解析までの手順につい
て説明する。

【００２０】先ず撮影に先立って、画像解析装置１０の
操作電源を投入して初期メニュー４０を表示させ、基本
情報ボタン４２を入力部２６に設けられたマウス等のポ
インティングデバイスによって選択する。利用者登録の
画面が表示されたら指示に従って患者のＩＤ、年齢、性
別、住所、病名、身長、コメント等の個人情報を入力し
て再び初期メニュー４０に戻る。ここで入力した個人情
報は、後に撮影した画像や解析結果と関連付けて記憶部
１６又はデータ記憶部２７に記憶される。

【００２１】次に録画ボタン５０を選択して録画を開始
するための画面を表示させる。画像解析装置１０にて録
画の準備が終了したら照明装置を点灯させて撮影手段１
２等の撮影機材の準備をし、オペレータが入力部２６に
動画取り込みを指示する。オペレータにより入力部２６
に動画取り込みの指示が入ると、撮影手段１２によって
撮影された動画像は画像取込み部１４に転送され、そこ
でデジタル符号化されて記憶部１６に動画像として格納
される。それと同時に予め記憶部１６に設けてあるデー
タベース内に、取り込んだ動画像のファイル名や撮影日
等の情報が関連付けて書き込まれる。撮影が終了した
ら、表示画面を初期メニュー４０に戻す。

【００２２】撮影が終了した時点では、例えば以前撮影
した画像と今回撮影した画像とを同時に２画面表示して
リハビリの成果や上達状況を比較することが可能である
が、歩行速度や歩幅等の定量データを直接数値で表現し
たり、グラフで表示したり、データベース化して他の患
者や訓練者に利用したりといった幅広い要求に対応する
ことができない。したがって、次に撮影対象者２８の動
作を数値化して表現するための画像解析を実施する。こ
の画像解析にあたっては、撮影対象者２８の動作を解析
するのに必要な情報のみを撮影した画像から抽出するた
めに、撮影対象者２８の画像に対して各関節を指定して
スティックピクチャを作成することを実施する。

【００２３】次に初期メニュー４０にて動作計測ボタン
５２を押してスティックピクチャ作成の画面に遷移す
る。

【００２４】図４に画像解析装置１０の表示部２２に表
示されているスティックピクチャ作成画面６２Ａを示
す。

【００２５】同図に示されるように、予め連続撮影され
た画像のうち１つの基準となるスティックピクチャ作成
画面６２Ａには、撮影対象者２８Ａと、撮影画像と合成
表示されている基準スティックピクチャ６４とが表示さ
れている。スティックピクチャ作成画面６２Ａでは、先
ず基準スティックピクチャ６４の各関節位置を撮影対象
者像２８Ａの画像上に指定する処理を行う。この関節位
置の指定は、マウス等のポインティングデバイスを用い
てオペレータが手動で指定して観測対象の所定の観測位
置を登録もよいし、予めデータベースに関節位置情報が
記憶されている場合には自動で関節位置指定（所定の観
測位置の登録）を行ってもよい。

【００２６】例えば基準スティックピクチャ６４の頭頂
部７０にマウスポインタを移動させてマウスボタンを押
したまま頭頂部７０のマーカをドラッグして撮影対象者
２８Ａの頭頂部７０Ａに移動させてドロップする。する
と、そのマーカをドロップした位置が撮影対象者２８Ａ
の頭頂部７０Ａとして登録される。以下同様にして頸部
７２、肩部７４…の各マーカを撮影対象者２８Ａの頸部
７２Ａ、肩部７４Ａ…にそれぞれ移動させて各関節を指
定して登録する。

【００２７】一度スティックピクチャ作成画面６２Ａで
関節の登録が終了すると、以降の各画面（フレーム）で
は画像処理により自動で各関節の位置を追尾するので、
オペレータは次画面以降の解析実行を指示するだけで各
画面における各関節の位置を自動で決定することが可能
となる。

【００２８】図５及び図６に、次画面以降における関節
位置の決定方法を示す。

【００２９】先ず、図５に示すように、次画面以降の関
節位置を自動で決定する際の演算時間を少なくするため
に、演算に用いる各関節を内包する近傍の画像のみを自
動で切り出す処理を行う。図５に示すように、スティッ
クピクチャ作成画面６２Ａで設定したマーカ位置近傍の
画像に対してオフセットをとって画像の枠を決める。例
えば頭部１００、上腕部１０２、前腕部１０４、腰部１
０６、大腿部１０８、下腿部１１０、右足部１１２、左
足部１１４等の各パーツに分割した画像をテンプレート
として登録する。

【００３０】次に切り出した各パーツのテンプレートを
左右に回転及び移動したデータと、次画面とのパターン
マッチングを行って、次画面以降の撮影対象者２８の様
々な動作及び姿勢における各関節位置を決定する。例え
ば図６に示す例では前腕部１０４のパーツを−３０°か
ら＋３０°まで１°乃至１０°ピッチで回転させた画像
を順次次画面上で移動させて、最も誤差の少ないパター
ンの関節位置を登録する。なお、連続撮影した画像では
前画面と次画面との間での各関節の移動量は少ないた
め、探索領域を限定することが可能である。そこで、１
画面当たりの各パーツの移動量は１００ｍｍ以内且つ１
０°以内であると仮定して各パーツのテンプレートを上
下左右に１００ｍｍ広げた位置に限定してパターンマッ
チング処理を実行するようにしてもよい。

【００３１】また、図６に示す前腕部１０４のテンプレ
ートには平行棒３２が写っているため、テンプレート画
像を回転させると次画面では水平である平行棒３２も一
緒に傾いてしまう。その結果、パターンマッチングの際
に一致した情報が得られなくなってしまうという不具合
を生じる。そこで、テンプレートに対して図７に示すよ
うなマスク処理を行って新たなテンプレートとして登録
する。

【００３２】図７はマスク前の前腕部１０４のテンプレ
ートと、マスク後の前腕部１０４Ａのテンプレートとを
示す図である。

【００３３】同図に示すように、前腕部１０４のテンプ
レート画像に対して解析に不要な分を黒く塗りつぶすこ
とによって、不要な部分をパターンマッチングの情報と
して利用しないようにする。これにより前腕部１０４Ａ
のテンプレートを、パターンマッチングに必要な前腕部
だけの画像に絞り込むことができる。

【００３４】上述のようにして、図４のスティックピク
チャ作成画面６２Ｂに示すように順次次画面以降の各画
面における各関節の位置を自動で決定することが可能と
なる。

【００３５】上記の説明で用いている関節の位置情報や
関節間の距離情報は、撮影した画素の数に基づく尺度の
情報である。しかし、本来の関節位置としてはｍｍ、ｃ
ｍ又はｍなどの実寸法の尺度に換算する必要がある。そ
のためには、画像処理で関節位置として測定した画素の
尺度による位置情報を、実寸法に基づいた尺度の情報に
変換する係数が必要となる。この変換係数を決定するこ
とを標定と称している。

【００３６】なお、この標定に際しては、撮影時に基準
尺を撮影して変換係数を決定してもよいが、本実施例で
は画像解析装置１０が内部又は外部のデータベースを検
索して指定された撮影対象者２８の身長（ｃｍ）を読み
出して、以下のようにして各関節間の長さを算出するよ
うにしている。

【００３７】以下の実施例では、抽出した撮影対象者２
８の関節の中で、頭から首、腰、足までの８関節の画素
位置を用いて標定を行う場合の例で説明する。図４に示
すように、頭頂部７０Ａから頸部７２Ａ、腰部７６Ａ、
大転子部７８Ａ、膝部８０Ａ、右足首部８２Ａとを介し
て、右踵部８４Ａと右爪先部８６Ａとを結んだ直線上に
下ろした右足首部８２Ａを通る垂線の交点９８Ａとを経
由する線分の長さの総和に相当する画素数をＬ１とす
る。このＬ１の画素数が歩行訓練中の患者の身長に相当
すると考え、予め患者の氏名、年齢などの基本情報とと
もに身長を記憶しておき、患者の身長をＬ１で除算する
ことで、画素から実寸法への変換係数を求める標定を実
施することが可能となる。

【００３８】このようにして画像解析装置１０で算出し
た変換係数を、前記記憶している関節の位置情報や各関
節間の距離情報に乗算すると、前記関節位置及び各関節
間の寸法を、実位置及び実寸法に換算することができ
る。

【００３９】図８に撮影対象者２８のリハビリ歩行動作
を撮影したフレーム１からフレーム９までの画面を示
す。

【００４０】リハビリ患者の歩幅等の定量データを算出
する際には、左右の足のパーツが接地しているフレーム
と、その時の足のパーツの位置とを取得する必要があ
る。撮影対象者２８の撮影手段１２側の足（図８の例で
は右足）の各関節に関しては前述のようにして全ての画
像における関節位置を決定することが可能である。しか
し、撮影手段１２に対して死角側の足（図８の例では左
足）の各関節に関しては、右足と重なって隠れる画面
（図８の例ではフレーム２及びフレーム３）があるた
め、全画面において左足の各関節位置を特定することは
不可能である。そこで本発明では、歩行動作の周期性を
利用して撮影手段１２側の各関節の動作解析結果から左
右の足が接地している画面を探索する方法を提供するこ
とが可能となった。

【００４１】図９に、撮影対象者２８の両足が接地して
いる画面を選出するフローチャート、撮影手段１２側の
足が接地している画面を選出するフローチャート及び撮
影手段１２と反対側の足が接地している画面を選出する
フローチャートを示す。

【００４２】各画面における各関節のパターンマッチン
グが終了すると、患者の歩幅や歩行速度を求めるために
撮影対象者２８の両足が接地している画面を選出する処
理を行う。このとき、画像解析装置１０の情報処理プロ
グラムは、同図に示すステップＳ１００「両足接地フ
レームの推定」（以降Ｓ１００のように省略して記載す
る）の処理に分岐してくる。

【００４３】次のＳ１０２「（Ａ）全フレームのカメラ
側の関節を抽出」に進み、全画面における撮影手段１２
側の足の各関節（右足首部８２、右踵部８４、右爪先部
８６）の位置情報を取得する。

【００４４】図１０に、右足の各関節位置の各フレーム
ごとの軌跡の取得結果を示す。

【００４５】なお、図１０においてＸ方向とは撮影対象
者２８の進行方向を示し、Ｙ方向とは天地方向を示して
いる。

【００４６】同図に示すように、右足首部８２、右踵部
８４、右爪先部８６の各関節の軌跡は、右足が接地して
いる場合には密になり、左足が接地して右足を移動させ
ている場合には疎となる。次の工程で右足の加速度を算
出する際に、右足の右足首部８２、右踵部８４、右爪先
部８６の動きを平均化して一点で表現するために、ここ
のステップで各画面における前記３箇所の関節位置の重
心を算出しておいてもよい。なお、図１０では長さの単
位を撮影画像の画素数で表しているが、本発明は画素数
に限定されるものではない。

【００４７】次のＳ１０４「（Ｂ）カメラ側足の進行方
向加速度を算出」では、前記算出した３箇所の関節位置
の重心の進行方向の加速度を算出する。

【００４８】図１１に撮影手段１２側の足の重心位置の
Ｘ方向に関する加速度と、時間との関係を示している。

【００４９】なお、同図の縦方向はＸ方向の加速度の単
位（画素／フレームレート² ）であり、横方向は時間
（フレーム数）であるが、本発明はこの単位に限定され
るものではない。

【００５０】同図に示されるように、足の重心位置の加
速度が０に近い場合（図１０では右足の各関節位置が密
な部分）には、画像を観測してみると右足は接地してい
る。したがって、Ｘ方向の加速度に対して上限及び下限
の閾値を設けておき、連続するフレームで足の重心位置
の加速度が前記２つの閾値の間に入っている場合には、
右足が接地していると判断してよい。また図１１から、
右足の重心位置に加速度が生じている場合には、反対側
の足の重心位置が接地していると判断してよいので、次
のＳ１０６「（Ｃ）両足の接地と思われるフレームを推
定」にて右足が接地しているフレームと左足が接地して
いるフレーム（第１の観測位置が停止していると推定さ
れる画面）とを自動で推定することが可能となる。

【００５１】なお、図１１に示す実施例では、Ｘ方向の
加速度に基づいて右足及び左足が接地していることを推
定しているが、本発明はＸ方向の加速度に限定されるも
のではなく、他の方向の速度、位置、加加速度等の単位
で表される情報、又はこれらの情報の組み合わせに基づ
いて足の接地を推定しても本発明の目的を達成すること
が可能である。また、第１の観測位置が停止していると
推定されるフレームを推定する代わりに、第１の観測位
置が鉛直方向の変位において最高地点にあったり、最低
地点にあると推定されるフレームを推定して選び出して
もよい。

【００５２】前記Ｓ１０６で右足と左足が接地している
各フレームが推定されると、Ｓ１０８「終了」にて両足
接地フレームの推定を行う処理ルーチンを終了し、次の
Ｓ１１０「カメラ側の足部接地フレームの確定及び、
その位置を計測」のルーチンに進む。

【００５３】次のＳ１１２「（Ｄ）（Ｃ）で推定したフ
レームの最初のフレームにおいて、近傍で最も床に接地
しているフレームを特定」では、右足が確実に接地して
いるフレームを選択する判断基準として、カメラ側足部
の接地範囲のほぼ中心のフレームを選択する。図１１で
はフレーム２７が最も床に接地しているフレームに相当
する。

【００５４】次のＳ１１４「（Ｅ）（Ｄ）の結果、該当
するフレームとそのときの踵の位置をデータベースに格
納」にて、前記選択した最も右足が床に接地しているフ
レームに於ける右踵部８４の位置情報を右足の接地位置
として記憶部１６又はデータ記憶部２７のデータベース
に記憶させる。

【００５５】次のＳ１１６「（Ｆ）（Ｃ）で推定したカ
メラ側接地フレーム全てに対して繰り返す」にて、他の
確実に右足が接地しているフレームが存在する場合には
Ｓ１１８「（Ｇ）（Ｃ）で推定したフレームの次のフレ
ームに飛ぶ」に分岐して再びＳ１１２に戻り、他の確実
に右足が接地しているフレームについても右足の接地位
置情報を算出する処理を行う。図１１ではフレーム６
１、９１の各フレームが最も床に接地している他の全て
のフレームに相当する。

【００５６】また、Ｓ１１６で、他の確実に右足が接地
しているフレームが存在しない場合にはＳ１２０「終
了」に進み、カメラ側の足部接地フレームの確定及び、
その位置を計測するルーチンの処理を終了する。

【００５７】次に処理プログラムはＳ１３０「カメラ
死角側の足部接地フレームの確定及び、位置の計測」の
処理ルーチンに進み、次のＳ１３２「（Ｈ）（Ｃ）で推
定したフレームの最初のフレームを作成画面として表
示」に進む。ここでは、第１の観測位置（右足又は右
手）が停止していると推定される画面に対して時間を戻
す方向（バックワードサーチ）又は時間を進める方向
（フォワードサーチ）に向かって第２の観測位置（左足
又は左手）の動作を追跡する処理を行う。

【００５８】Ｓ１３２では、先ずＳ１０６で推定したフ
レームの最初のフレームを作成画面として表示する。そ
して、次のＳ１３４「（Ｉ）作業領域に次のフレームを
表示、右足はマスクがけする」では、表示部２２に次の
フレームを表示するとともに画像解析の終了した右足に
はマスクをかける。

【００５９】次のＳ１３６「（Ｊ）マウスでカメラの死
角側足部の３関節をマウスで指定して、左足部回転テン
プレートを作成」にて、右足の回転テンプレートを作成
した場合と同様にして左足部のテンプレートを作成す
る。スティックピクチャ作成の画面では、マウスポイン
タを移動させ、マウスボタンを押したまま左足首部９２
のマーカをドラッグして撮影対象者２８Ａの左足首部９
２Ａに移動させてドロップする。以下同様に左踵部９４
Ａ及び左爪先部９６Ａの関節についても登録してテンプ
レートを作成する。

【００６０】次のＳ１３８「（Ｋ）表示されているフレ
ームから逆順にバックワードサーチを行い、左足部の計
測を行う」では、撮影手段１２の死角側足部（本実施例
では左足の踵部）の推定した接地フレームのうち、最初
のフレームで基準となる足部３関節（左足首部９２、左
踵部９４、左爪先部９６）の位置を指定し、撮影手段１
２側の足（右足）の場合と同様にして関節位置を決定す
る。このとき撮影手段１２側の足（右足側）で実施した
関節位置の抽出方法では、最初のフレームから順々に次
のフレームを呼び出して計測する方法であったが、撮影
手段１２と反対側の左足の場合には右足と左足とが交差
するタイミング（図８に示すフレーム２及び３）では計
測が不可能となるため、ここでのバックワードサーチと
後述するフォワードサーチとを行って左足が右足と交差
して隠れてしまうフレーム以外の足部の３関節の位置を
計測する。

【００６１】なお、バックワードサーチの最初の開始点
は例えば図８に示すフレーム５（図１１に示す例ではフ
レーム３６）とする。

【００６２】次のＳ１４０「（Ｌ）相関値が一定値以下
？」では、左足部テンプレートのパターンマッチング時
の相関値が所定の閾値以下であるか否かの判断を行って
いる。もしパターンマッチング時の相関値が所定の閾値
以上である場合にはＳ１３８に戻って次のフレームにお
けるパターンマッチングを実施するが、もしパターンマ
ッチング時の相関値が所定の閾値以下である場合には左
足部が右足部に隠れているフレームであると判断してバ
ックワードサーチを終了し、次のＳ１４２「（Ｍ）バッ
クワードサーチの最初のフレームに戻って表示する」に
進む。

【００６３】Ｓ１４２では、フォワードサーチを開始す
るために図８に示すフレーム１又はフレーム５（図１１
に示す例ではフレーム０又はフレーム３６）に戻る処理
を行う。そして次のＳ１４４「（Ｎ）表示されているフ
レームから順にフォワードサーチを行い、左足部の計測
を行う」に進む。Ｓ１４４では、Ｓ１３８の場合と同様
にフォワードサーチを実施して、次のＳ１４６「（Ｏ）
相関値が一定値以下？」の判断に進む。

【００６４】次のＳ１４６では、左足部テンプレートの
パターンマッチング時の相関値が所定の閾値以下である
か否かの判断を行っている。もしパターンマッチング時
の相関値が所定の閾値以上である場合にはＳ１４４に戻
って次のフレームにおけるパターンマッチングを実施す
るが、もしパターンマッチング時の相関値が所定の閾値
以下である場合には左足部が右足部に隠れているフレー
ムであると判断してフォワードサーチを終了し、次のＳ
１４８「（Ｑ）（Ｃ）で設定したカメラ死角側接地フレ
ーム全てに対してフレームが終了？」の判断に進む。

【００６５】Ｓ１４８では、Ｓ１０６で推定した撮影手
段１２の死角側接地フレーム全てに対して解析が終了し
たか否かの判断を行っている。もしＳ１４８で撮影手段
１２の死角側接地フレーム全てに対して解析が終了して
いないと判断した場合にはＳ１５０「（Ｐ）（Ｃ）で推
定したフレームの次のフレームに飛ぶ」に分岐してＳ１
０６で推定した次のフレームを読み出してＳ１３８に戻
り、同様の解析処理を他の歩数について継続する。

【００６６】また、Ｓ１４８で撮影手段１２の死角側接
地フレーム全てに対して解析が終了したと判断した場合
には、Ｓ１５２「終了」に進み、撮影手段１２に対して
死角側の足接地フレームの確定及び位置の計測に関する
処理ルーチンを終了する。

【００６７】上述のようにしてＳ１３８からＳ１４８の
処理を各歩数について繰り返して実施することにより、
右足と左足とが交差しているフレーム（図８に示す例で
はフレーム２、３及びフレーム９）を除く全てのフレー
ムにおいて左足部及び右足部の接地位置及び接地時刻の
フレーム情報を取得することが可能となる。

【００６８】図１２に撮影対象者２８の歩行に関する定
量データの算出方法を示す。

【００６９】同図によれば、上記のようにして得た左足
部及び右足部の接地位置及び接地時刻のフレーム情報と
寸法の変換係数とを用いて、画素から実寸法への変換を
実施することによって、実位置、実寸法及び時刻の情報
を得ることができる。したがって、右歩幅、左歩幅、左
重複歩幅、右重複歩幅、歩行速度、歩調、左右歩幅、左
右重複歩幅、関節の回転角度情報等の定量データを算出
することが可能となる。

【００７０】図１３及び図１４は、撮影した動画像を解
析したデータに基づいて総合判断した結果を表示してい
る例である。

【００７１】例えば図３に示した初期メニュー４０で結
果表示ボタン５４を選択すると、図１３又は図１４に示
す結果が表示される。図１３及び図１４によれば、撮影
対象者２８の氏名、ＩＤ、症状等の患者のカルテ情報
や、歩行速度や歩幅、歩調、左右重複歩調、各関節位置
間の変位等の解析データまたはグラフの表示、また、症
状を数値化して回復目標に対して何％回復したかを表す
回復度を示すグラフ、回復目標の達成度の表示、評価や
アドバイス等が一つの画面内に表示されているので、理
学療法士が口頭で専門用語を使ってリハビリの状況を説
明するよりもわかりやすく、患者のリハビリの意欲向上
に役立つ。

【００７２】上記に説明した医療用の画像解析装置１０
では、入力部２６及び表示部２２に於いてグラフィック
ユーザーインターフェース等の操作方法とすることによ
り専門の医師や理学療法士だけでなく一般の患者にも操
作可能となる。また、準備や撮影から表示までの処理を
迅速に行うことができるように工夫することによって、
より広範囲なリハビリに役立てることが可能となる。

【００７３】なお、上記の実施例では本発明に係る画像
比較表示装置を医療用のリハビリ歩行訓練に応用した実
施の形態について説明したが、本発明はこれに限定され
るものではなく、ランニングや、ゴルフのスイング、野
球の打撃のスイング、といった他のスポーツや職業に於
ける上達の様子や、練習の成果を観察、支援する目的に
も応用可能である。

【００７４】また上記の発明の実施の形態では図１にお
いて画像取込み部１４と加工部２０とを独立した構成と
して説明したが、本発明はこれに限定されるものではな
く、パーソナルコンピュータ内部において処理してもよ
い。

【００７５】

【発明の効果】以上説明したように本発明に係る画像解
析装置及びその方法によれば、撮影した動画の各画面に
記録されている観測対象の第１の観測位置を登録し、観
測対象の動きによって隠れる場合がある第２の観測位置
を登録し、登録した第１の観測位置が停止していると推
定される画面を自動で選択し、該選択した画面に対して
時間を戻す方向又は時間を進める方向に向かって第２の
観測位置の動作を追跡するようにしたので、観測対象の
動作によって隠れる第２の観測位置を自動で追跡するこ
とが可能となる。

【００７６】また、本発明に係る画像解析装置及びその
方法によれば、撮影対象者に対してマーカを取り付ける
ことなく容易に正確な両足の接地位置及び接地時刻を計
測することが可能となる。また、画像解析装置のシステ
ム構成も簡単になるので安価で入手し易いシステムとす
ることが可能となる。

【００７７】また、本発明に係る画像解析装置及びその
方法によって計測された定量情報を集計して、撮影対象
者に理解しやすく示すことが可能となるので、リハビリ
テーションや訓練の意欲向上に役立つとともに、データ
ベースとして記憶しておくことにより他の利用者に対し
ても画像解析情報を提供することが可能となる。

【図面の簡単な説明】

【図１】本発明に係る画像解析装置の構成図

【図２】図１の構成に基づくリハビリ用画像解析装置に
よる撮影状態を示す図

【図３】画像解析装置の表示部に表示される画像解析の
初期メニューを示す図

【図４】画像解析装置の表示手段に表示されているステ
ィックピクチャ作成画面を示す図

【図５】次画面以降における関節位置の決定方法を示す
図

【図６】次画面以降における関節位置の決定方法を示す
図

【図７】マスク前の前腕部のテンプレートと、マスク後
の前腕部のテンプレートとを示す図

【図８】撮影対象者のリハビリ歩行動作を撮影したフレ
ーム１からフレーム９までの画面を示す図

【図９】撮影対象者の両足が接地している画面を選出す
るフローチャート、撮影手段側の足が接地している画面
を選出するフローチャート及び撮影手段と反対側の足が
接地している画面を選出するフローチャートを示す図

【図１０】右足の各関節位置の各フレームごとの軌跡の
計測結果を示す図

【図１１】撮影手段側の足の重心位置のＸ方向に関する
加速度と時間との関係を示す図

【図１２】撮影対象者の歩行に関する定量データの算出
方法を示す図

【図１３】撮影した動画像を解析したデータに基づいて
総合判断した表示例を示す図

【図１４】撮影した動画像を解析したデータに基づいて
総合判断した表示例を示す図

【符号の説明】

１０…画像解析装置、１２…撮影手段、１６…記憶部、
１８…画像処理部、２０…加工部、２２…表示部、２４
…制御部（登録手段、停止画面選出手段、追跡手段）、
２６…入力部、２７…データ記憶部、２８…撮影対象
者、３２…平行棒、４０…初期メニュー、５０…録画ボ
タン、５２…動作計測ボタン、５４…結果表示ボタン、
６２Ａ、６２Ｂ…スティックピクチャ作成画面、６４…
基準スティックピクチャ、７０、７０Ａ、７０Ｂ…頭頂
部、７２、７２Ａ、７２Ｂ…頸部、７４、７４Ａ、７４
Ｂ…肩部、７６、７６Ａ、７６Ｂ…腰部、７８、７８
Ａ、７８Ｂ…大転子部、８０、８０Ａ、８０Ｂ…膝部、
８２、８２Ａ、８２Ｂ…右足首部、８４、８４Ａ、８４
Ｂ…右踵部、８６、８６Ａ、８６Ｂ…右爪先部、８８、
８８Ａ、８８Ｂ…肘部、９０、９０Ａ、９０Ｂ…手首
部、９２、９２Ａ、９２Ｂ…左足首部、９４、９４Ａ、
９４Ｂ…左踵部、９６、９６Ａ、９６Ｂ…左爪先部、９
８…交点、１００…頭部、１０２…上腕部、１０４…前
腕部、１０６…腰部、１０８…大腿部、１１０…下腿
部、１１２…右足部、１１４…左足部

フロントページの続き Ｆターム(参考） 4C038 VA04 VB12 VB14 VC05 5B057 AA07 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE09 CH12 DA07 DA08 DA16 DB02 DB06 DB09 DC03 DC07 5L096 AA02 AA06 BA06 BA13 CA02 CA14 EA14 EA16 EA35 FA03 FA64 FA66 FA67 FA69 GA10 HA03 HA05 JA09

Claims (3)

【特許請求の範囲】
1. 【請求項１】 動きを伴う観測対象が有する所定の観測
   位置を測定して動作解析を行う画像解析装置において、 観測対象を撮影した画像を入力する手段と、 前記入力した画像の各画面に記録されている観測対象の
   所定の第１の観測位置と、前記入力した画像の画面に記
   録されている観測対象の動きによって隠れる場合がある
   所定の第２の観測位置とを登録する登録手段と、 前記入力した画像において、前記登録された第１の観測
   位置が観測対象の動きが鉛直方向変位において最高地点
   にあったり、停止したりしているという特徴が推定され
   る画面を選出する特徴画面選出手段と、 前記第１の観測位置が特徴が現れていると推定される画
   面に対して時間を戻す方向又は時間を進める方向に向か
   って前記第２の観測位置の動作を追跡する追跡手段と、 を備えたことを特徴とする画像解析装置。
2. 【請求項２】 前記第１の観測位置又は前記第２の観測
   位置は、少なくとも動物の手及び足のように、観測対象
   の所定の位置であることを特徴とする請求項１の画像解
   析装置。
3. 【請求項３】 動きを伴う観測対象が有する所定の観測
   位置を測定して動作解析を行う画像解析方法において、 観測対象を撮影した画像を入力する工程と、 前記入力した画像の各画面に記録されている観測対象の
   所定の第１の観測位置を登録する工程と、 前記入力した画像において、前記登録された第１の観測
   位置が観測対象の動きが鉛直方向変位において最高地点
   にあったり、停止したりしているという特徴が推定され
   る画面を選出する工程と、 前記入力した画像の画面に記録されている観測対象の動
   きによって隠れる場合がある所定の第２の観測位置を登
   録する工程と、 前記第１の観測位置が特徴が現れていると推定される画
   面に対して、時間を戻す方向又は時間を進める方向に向
   かって前記第２の観測位置の動作を追跡する工程と、 を含むことを特徴とする画像解析方法。