JP2016170362A - 手術トレーニングプログラム及び手術トレーニングシステム - Google Patents

Abstract

【課題】術者が操作する術具の位置を正確に検知することができない場合があるという課題がある。【解決手段】手術トレーニングプログラムを、コンピュータに、術者が操作する術具に関する画像情報を含む入力画像情報から手術トレーニング前の背景画像情報を減算して差分画像情報を取得する差分情報取得手順と、術者が操作する術具に関する画像情報を含む入力画像情報に対し背景差分処理を行い動体検出画像情報を取得する動体検出画像取得手順と、差分情報取得手順により取得した差分画像情報及び前記動体検出画像取得手順により取得された前記動体検出画像情報とに基づいて術具の位置に関する情報を算出する術具位置算出手順とを実行させるものとした。【選択図】図８

Description

本発明は、手術トレーニングプログラム及び手術トレーニングシステムに関するものである。

内視鏡下手術の普及に伴い手術が高度化し、手技が難化・複雑化しており、外科医の日々のトレーニングの重要性・有用性が増してきている。そのため、内視鏡下手術のトレーニングをより効果的に行う為に、作業の特徴を利用して手技を評価するシステムの開発が行われている。こうしたトレーニング手技の評価に関する研究では、様々な方法で術具の運動情報を取得し、手技の評価を行っている。

特許文献１では、術具先端位置情報分布データを作成する手術工程解析プログラムが記載されている。

特開２０１４−１４７５４１号公報

特許文献１には、術者が操作する術具の位置を正確に検知することができない場合があるという課題がある。また、特許文献１の方法によれば、術者に対し、自己の手技の特徴、課題、目標とする外科医の手技と自己の手技の相違点、トレーニングの効果を把握するための情報を十分に提供できないという課題がある。

そこで、本発明は、上記の課題に鑑みて、術者が操作する術具の位置を正確に検知することができる手術トレーニングプログラム及び手術トレーニングシステムを提供することを第一の目的とする。また、本発明は、術者に対し、自己の手技の特徴、課題をよりよく把握するための情報を提供することを第二の目的とする。

上記課題を解決するために、本発明の一つの観点によれば、手術トレーニングプログラムを、コンピュータに、術者が操作する術具に関する画像情報を含む入力画像情報から手術トレーニング前の背景画像情報を減算して差分画像情報を取得する差分情報取得手順と、術者が操作する術具に関する画像情報を含む入力画像情報に対し背景差分処理を行い動体検出画像情報を取得する動体検出画像取得手順と、差分情報取得手順により取得した差分画像情報及び前記動体検出画像取得手順により取得された前記動体検出画像情報とに基づいて術具の位置に関する情報を算出する術具位置算出手順とを実行させるものとした。

また、本発明の他の観点によれば、手術トレーニングプログラムを、コンピュータに、術者が操作する術具に関する情報を含む入力画像情報に基づいて術具の位置に関する術具位置情報を算出する術具位置算出手順と、術具位置算出手順により算出した術具位置情報に基づいて術具の交差時間を算出する交差手段算出手順と、交差時間算出手順により算出した術具の交差時間を表示装置に表示させる技量指標表示手順とを実行させるものとした。

さらに、本発明の他の観点によれば、手術トレーニングプログラムを、コンピュータに、術者が操作する術具に関する情報を含む入力画像情報に基づいて術具の位置に関する術具位置情報を算出する術具位置算出手順と、術具位置算出手順により算出した術具位置情報に基づいて複数種類の技量指標を算出する技量指標算出手順と、技量指標算出手順により算出した複数種類の技量指標を表示装置にレーダーチャートにより表示させる表示手順とを実行させるものとした。さらに、前記技量指標算出手順により算出する技量指標が、術者の作業時間に関する情報、作業密度に関する情報、術具の交差時間に関する情報、術具の平均速度に関する情報の少なくともいずれか一つを含むものとすると好ましい。さらに、
前記表示手順において、前記複数の技量指標とともに技量指標の目標値をレーダーチャートに表示させると好ましい。

さらに、本発明の他の観点によれば、手術トレーニングプログラムを、コンピュータに、
術者が操作する術具に関する情報を含む入力画像情報に基づいて術具の位置に関する術具位置情報を算出する術具位置算出手順と、術具位置算出手順により算出した術具位置に基づいて技量指標を算出する技量指標算出手順と、前記技量指標算出手順により算出した技量指標に基づいて各術者の技量の類似度を算出するクラスタリング手順と、クラスタリング手順により算出した各術者の技量の類似度に関する情報を表示装置に表示させる手順とを実行させるものとした。

さらに、本発明の他の観点によれば、手術トレーニングシステムを、術者が操作する術具を撮影するカメラと、カメラが撮影した情報に基づいて術具の位置に関する術具位置情報を算出する術具位置情報算出手段と、術具位置情報算出手段により算出した術具位置情報に基づいて複数種類の技量指標を算出する技量指標算出手段と、技量指標算出手段により算出された複数種類の技量指標をレーダーチャートにより表示する表示装置とを備えるものとした。

本発明によれば、術者が操作する術具の位置を正確に検知することができる手術トレーニングプログラム及び手術トレーニングシステムを提供することができる。また、本発明によれば、術者に対し、自己の手技の特徴、課題、目標とする外科医の手技と自己の手技の相違点をよりよく把握するための情報を提供することができる。

本実施例のトレーニングシステムの概要を示す図である。 本トレーニングシステムにより取得される画像例を示す図である。 統計的背景差分処理を説明するための図である。 ハフ線変換概念を説明するための図である。 ハフ線変換画像を示す図である。 差分エッジ画像の生成を示す図である。 差分ハフ線変換画像を示す図である。 本実施例の術具検出方法を示す図である。 出力画像（２値化画像）を示す図である。 画像の反転（左：反転前、右：反転後）を示す図である。 ノイズや術具分離等の誤検出例を示す図である。 近似楕円の算出を説明するための図である。 作業領域の定義（矩形）を示す図である。 ログ分布近似楕円の重畳率算出方法を示す図である。 術具の交差を示す図である。 重回帰分析を示す図である。 レーダーチャートのイメージ（上：熟練者、下：非熟練者）を示す図である。 主成分分析のイメーズを示す図である。 クラスタリングのイメージ（E:熟練者、N:非熟練者、S:訓練者）を示す図である。 実験環境を示す図である。 精度検証実験（術具１本時）を示す図である。 精度検証実験（術具２本時）を示す図である。 タスク完成図を示す図である。 術具軌跡（術具１本時）を示す図である。 術具軌跡（術具２本時）を示す図である。 クラスタリング結果を示す図である。 熟練者のレーダーチャートを示す図である。 非熟練者のレーダーチャートを示す図である。 クラスタリング結果を示す図である。 熟練群のレーダーチャートを示す図である。 非熟練群のレーダーチャートを示す図である。 要因分析結果（左：熟練群、右：非熟練群）を示す図である。 熟練群のレーダーチャートを示す図である。 非熟練群のレーダーチャートを示す図である。 要因分析結果（左：熟練群、右：非熟練群）を示す図である。

以下、本発明の実施例を説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施例にのみ限定されるものではない。

１．１ システム構成
本実施例で提案するトレーニングシステムを図１に示す。本トレーニング環境はトレーニングパッド、術具を挿入するためのポート、術具(持針器)、内視鏡の代用となるビデオカメラ、ビデオカメラの映像を表示するモニタ、手技を定量評価するための映像を取得するUSBカメラ、計算機用のPCにより構成される。ビデオカメラはHD撮影が可能であるため、トレーニングにおいて内視鏡の代わりを十分に果たせると考えられる。訓練者の好みのフォーカスや位置にカメラ視点を定めることで任意のトレーニング環境が自由に整えられるよう、訓練者のモニタリング用のカメラと解析用のカメラを別々に用意した。また、動作が広範になる糸の牽引動作を撮影するために図１のようにモニタ用のビデオカメラとUSBカメラはタスク対象をはさんで対抗する形で設置した。解析用カメラについては、撮影条件を一定に保つために固定する。このUSBカメラから得られた映像を解析用PCへ転送し、映像から術具先端の運動情報を算出し、運動情報を基に技量の定量評価・可視化を行う。次項にUSBカメラで撮影された映像から画像処理により術具のみを検出する手法について述べる。

１．２ 画像処理による術具検出手法
ここではUSBカメラ(15fps：640×480pixel)から取得される映像から画像処理による術具検出手法について説明する。トレーニング手技において術具は動体であり、直線物体であるということから動体検出手法と直線検出手法が有効であると考えられる。しかし、実際のトレーニング環境には術具のほかに針、糸、トレーニングパッドなどの検出対象外の物体もUSBカメラにより撮影されており、針や糸は術具動作に伴い運動しており、トレーニングパッドには直線形状が非常に多く含まれている。そのため術具のみを検出するには、検出対象外の物体を避けて検出を行わなければならない。そこで本実施例では既存の動体検出手法と直線検出手法に着目し、さらに、これら手法の術具検出時に生じる特徴を実験的に理解・把握し、応用することで術具のみの検出が可能であるかを検討した。

１．２．１ 動体検出手法
動体検出とは動いている物体を検出する手法である。動体検出法の代表的なものには背景差分処理、オプティカルフロー、テンプレートマッチング法がある。オプティカルフローとは物体の輝度が不変であるという仮定に基づいて、画像間での画素の移動量を推定するものである。物体のトラッキングには、画像中から検出された特徴点をベースにトラッキングを行うことが多い。テンプレートマッチングとは事前に用意したテンプレート画像と最も似ている領域を検出する手法である。内視鏡下手術トレーニングでは術具が2本存在し、術具同士での遮蔽が生じる。トレーニング中には動体が多く存在し、トレーニング環境には特徴点になりうる箇所が多く存在する。特にトレーニングパッドや糸は他の領域とは明らかに画素が異なるため特徴点となりやすい。そのため、オプティカルフローでは、本来術具輪郭上にあるべき特徴点がトラッキング中にトレーニングパッド上へ引き寄せられ、術具を動体として検出できなくなることがある。実際にトラッキング対象の特徴点がより特徴の強い点へと引き寄せられ、正しくトラッキングできないことがある。テンプレートマッチングでは術具同士での遮蔽が生じたときや術具姿勢が大きく変わったときにテンプレートと状態が大きく異なってしまい、動体として術具を正しく検出することが難しくなる。それに対し、背景差分処理では画像間の差分という非常に単純な処理のため、術具が動作すればそれを動体として高確率に検出することができる。そのため、本研究では、確実に術具を動体として検出できる背景差分処理を動体検出法として利用する。

背景差分処理とは前景画像Fと背景画像Bの差分を求めることにより前景領域を抽出する方法である。この手法はカメラが固定されている場合によく使用される。ある時刻tの画像をT、次の時刻の画像をT+1とし、画像Tから画像T+1を減算することで直前の時刻から動きが生じた部分を抽出することが可能である。本実施例では術具が動体であり、解析用カメラも固定であるということから背景差分処理による術具検出は可能であると考えた。しかし、この方法で動体を検出している際に照明の変化(揺らぎ)が発生すると想定外の領域を動体として抽出する恐れがある。当然ながら本実施例における実験でも同様の照明の揺らぎが発生する。そこで本実施例ではこういった照明変化にロバストな背景画像として画像の平均・分散・共分散を累積した画像を用いる統計的背景差分処理を用いる。以下に背景領域作成式を述べる。背景領域画素の輝度をIとすると、

I_bar(Iの上に-)は輝度値の時間平均、σは輝度の振幅、ωは輝度の周波数、tは時間、k(-1 ≦ k ≦1)は係数、γはカメラのみに依存するノイズの最大値をそれぞれ表す。このモデルにおいて、Iが、I_bar-σ-γ ≦ I ≦ I_bar+σ+γの場合に、その画素は背景領域に存在する画素であると判断する。背景と判断された領域では輝度平均値I_barと振幅σを以下の式を用いて更新する。

ここで、nは背景領域更新パラメータである。一方、物体領域と判定された領域では、輝度平均値は元の値を保持し、振幅σのみを以下の式を用いて更新する。

ここで、m(m ≧ n)は物体領域更新速度パラメータである。

実際のトレーニング環境下で取得される画像例図２と統計的背景差分処理を用いた結果は図３となる。この方法では術具の形状が正確に検出することが可能であるものの、図３にあるように画像中には糸や針も存在し、図３から本手法では糸が多々検出されてしまっていることが確認できる。図３上段では照明の揺らぎは少ないものの、下段では照明の揺らぎの影響が大きく、実験中に誤検出が生じることも多い。照明の揺らぎの改善を行っている方法ではあるものの依然として照明の揺らぎの影響が残っていることが確認できた。このことから統計的背景差分処理のみで術具のみを検出することは難しいと考えられる。この手法で術具のみを検出するには糸の誤検出、照明の揺らぎによる誤検出を軽減する必要がある。

１．２．２ 直線検出手法
直線検出手法の代表的なものとしてハフ線変換、直線形状を含んだ画像を事前に学習させて直線を検出する方法がある。形状の学習を用いる場合、本実施例のタスクでは術具の映りかたの違い（画像中に見えている術具の長さの違いや術具が交差している状況など）を学習する必要がある。この学習を用いた方法は事前準備に非常に時間がかかる、実験環境が変われば再度学習を行う必要があるなど時間的拘束が非常に大きい。一方、ハフ線変換ではそのような事前準備を必要としなく、術具のエッジ画像さえ取得できれば、そのエッジ画像から術具が有する直線を検出することができる。そのため、本実施例ではハフ線変換を直線検出法として使用する。ハフ線変換の基本的な理論として、2値画像内の点はどの点でも何かしらの直線の一部である可能性があるという概念を利用している。たとえば、それぞれの線が傾きaと切片bでパラメータ化される場合、元画像内の1点は(a、b)平面内の点の軌跡に変換され、これは元画像内でその点を通る全ての線に対応する。このとき元画像のエッジ検出画像を入力画像(2値画像)とすると、エッジ上の点を一次関数で結ぶことになるので直線の検出が可能となる。そのため本研究における術具検出に有効に働く可能性があると考えられる。しかしある点を通る線全てを表現する場合、傾き-切片形式は実際には最良の方法とはいえない。そこで各線を極座標(ρ、θ)の点として表す。このパラメータが示す線は、支持された点をとおり、原点からその点を結ぶ直線に垂直な線である(図４)。このような線の方程式は以下のようになる。

画像平面(パネルa)内の点
(x₀, y₀)は異なるρとθ(パネルb)でパラメータ化され、たくさんの線を示す。すなわち、これらの線はそれぞれ(ρ, θ)平面内の点を示す。これらの集合が、特徴的な形状(パネルc)の曲線を形成する。

しかし、このままでは輝度値0以上の点が多数存在するとき、無数の線が検出される。そこで検出される線の長さを制限する。また術具の部分から検出される直線が完全につながらずに、分断される可能性もある。これを解決するために線分と線分の距離が閾値以下である場合はつなぎ合わせるという処理を加えることで検出対象領域のみの検出が可能になる。実際のトレーニング画像においてハフ線変換を用いた術具検出は図５となった。

検出結果からも明らかなように、トレーニングパッドの形状にも直線が多く含まれているため、トレーニングパッドの形状に由来する多くの直線が術具先端付近で検出されてしまうことが確認できる。このままでは本来の術具先端位置を検出できなくなる恐れがあるため、トレーニングパッドの形状に影響されないようハフ線変換を改善する必要がある。また、糸の検出も確認されたが、術具先端よりも上部に検出される傾向が確認できた。そのため、この手法での糸の誤検出は術具先端位置の検出にはあまり影響しないと考えられる。

１．２．３ 差分ハフ線変換
1１．２．２項で述べたように、ハフ線変換単独ではトレーニングパッドの形状が大きく影響することが確認できた。そこで、トレーニングパッドの形状に影響されないロバストなハフ線変換とするために、トレーニング実施直前のエッジ画像を数秒間取得する。この画像中には術具は存在しないためトレーニングパッドのみのエッジが取得される。これを本研究では背景エッジ画像と呼ぶ。これを実際に術具動作時に取得されるエッジ画像から減算したものを本研究では差分エッジ画像と呼ぶ(図６)。ここで得られた差分エッジ画像を用いてハフ線変換を行い取得される画像を本研究では差分ハフ線変換画像と呼ぶ。実際のトレーニング画像において差分ハフ線変換を用いた結果は図７となった。

図７から確認できるようにトレーニングパッドの形状から検出される直線が大幅に減少することが確認できた。しかし、術具先端位置の形状が欠損していることが確認できた。このとがってしまっている術具先端について、エッジを差分したときに術具のエッジがトレーニングパッドのエッジとともに減算され、術具先端形状が掛けてしまった可能性がある。もしくはカメラからの映りかたの違いにより残ってしまったトレーニングパッドのエッジが術具エッジとつながってしまい、本来の術具よりも少し長くなってしまった可能性がある。これら2つの可能性について考える。図７の上段1枚目を例にとる。前者の可能性だとすると、欠けずに残った部分は本来の先端位置である可能性が高く、後者の可能性だとすると、欠けずに残った部分は本来の先端位置ではなく、欠けた部分の先端が本来の術具先端位置である可能性が高くなる。この2つの可能性により、術具先端位置が変わってしまうため、このどちらが先端位置かを自動で決定しなければならない。

１．３ 術具検出アルゴリズム
ここまで動体検出手法や直線検出手法で得られる出力画像からわかる検出特徴をのべてきた。これら手法にはそれぞれ一長一短が確認された。そこで本実施例ではこれら手法を組み合わせることで図８のような術具検出に特化した画像処理アルゴリズムを開発した。
(1)タスク実施直前の数秒間で背景エッジ画像I_beを取得
(2)0入力画像I_iから得られるエッジ画像I_eから背景エッジ画像I_beを減算し差分エッジ画像I_seを取得
(3)差分エッジ画像I_seに対し差分ハフ線変換を行い、直線検出画像I_hoを取得
(4)入力画像I_iに対し統計的背景差分処理を行い、動体検出画像I_soを取得
(5)直線検出画像I_hoと動体検出画像I_soの論理積を求め出力画像I₀を取得

(5)で論理積を求めることで統計的背景差分処理により検出されていた糸や照明の揺らぎによる誤検出を除去することができる。また、差分ハフ線変換で確認された術具先端形状が欠損してしまう原因が前者であれば、統計的背景差分処理との論理積でその欠損形状は残るはずであり、後者であれば欠損した形状はなくなるはずである。そのため、いずれの可能性においても適切な術具領域を検出できる。実際の出力画像を図９に示す。実際の出力画像から、この提案アルゴリズムで術具のみを検出することが十分に可能であると考えられる。

１．４ 術具先端運動情報の算出
縫合の手技では術具を両手に所持しており、左右で個別に運動情報を取得することができれば片手だけの技量指標だけではなく、両手の関連した技量指標も算出することができる。より多角的に手技を評価するためには両手の協調性などを反映する技量指標を算出することは重要である。そこで本研究では両手を区別した術具運動情報を取得し、片手での技量指標と両手の関連した技量指標を算出する。本研究では術具の検出に画像処理を用いているが、両手の術具運動情報を別々に算出するにはフレームごとに術具に対して同一術具であるというラベル付けを行い、両手術具を区別して軌跡を算出する必要がある。映像の取得に際しては、USBカメラがビデオカメラと反対側に設置されているためミラーイメージになっている。そこで訓練者側からの視点に変更するため、撮影した画像に左右反転処理を加えている(反転後は左上方から挿入されている術具が左手術具、右上方から挿入されている術具を右手術具となる(図１０)。以下に術具を左右判別しながら軌跡を算出する方法を示す。

< STEP1 左右判別 >
差分ハフ線変換による術具の検出の際、画像内における術具エッジの始点座標
、(x₁、y₁)終点座標を(x₂、y₂)とする。このとき始点座標のy₂と終点座標のy₁の関係性はy₂ ＞ y₁とする。このとき傾きmは、
と定義できる。このときx軸とのなす角θは、
となる。このx軸とのなす角θを利用し、θ ＞ 0の線分を左手術具、θ ＜ 0の線分を右手術具として検出する。この出力画像から術具先端位置座標を算出しなければ術具先端の運動情報を取得することができない。図９のように術具は画像上部から画像下部に向けて伸びているため、出力2値画像の輝度値が0以外(白い領域)の最下部の点の座標の平均値を術具先端位置として算出する。ただし、画像中には2本術具が存在しているため、術具先端位置座標を左右別に算出する。

< STEP2 フレーム間での同一術具対応付け >
連続する画像間で同一術具の術具先端位置座標を対応付けることで、術具の軌跡を導出する。ただこのとき、図１１のように術具形状が途中で途切れていている、ノイズが発生しているなど左手術具として検出された点が複数あるとき、適切な検出点を選択しなければならない。以降左手術具を例にして説明する。

まずラベリング処理を用いて検出された領域を包含する矩形の面積を算出する。この面積が閾値以下の場合その領域を排除することで、ノイズなどの小さい領域を除去することが可能となる。しかし、術具が分断されている場合はいずれも面積が大きいため、ラベリング処理のみでは術具先端側のみを残すことができないことがある。閾値を大きくしすぎれば、術具が分断されたときに、術具先端側の領域のほうが、面積が小さくなる場合も起こりうる。そこで本研究ではラベリング処理の後、さらにフレーム間での検出点の距離も利用する。あるフレームnで画像中から左手術具先端位置を選択し、その座標を(x、y)とする。次フレームn+1で左手術具として検出された領域の総数をN_lとすると、左手術具先端座標は (xi、yi)（i=1〜N_l）と表現できる。このときフレームnでの検出点とフレームn+1での検出点の距離D_iは、
となる。j番目(j ＜ N_l)の点で最小距離となると仮定し、そのときの最小距離をDとする。本研究で使用しているUSBカメラは撮影速度が15fpsであるため極端に大きな移動が1フレームの間に起こることは考えにくく、1フレーム間での移動は微小なものであると仮定できる。トレーニングパッドの横幅は130mmで、取得される映像の横幅は640ピクセルである。そのため、図１０のトレーニングパッド最下部は1ピクセルあたり約0.2mmとなる。術具の速度が最速でも200[mm/sec]（200mmはトレーニングパッドの横幅の約1.5倍で、これは時速72kmに相当し、自動車と同程度の速度）とする。すると、これをUSBカメラのフレームレートで割ることで、直前のフレームから13mmの範囲で術具を探索すればよいということになる。これを術具が動作する範囲で最も術具が大きく写り、動きが最も大きく写るトレーニングパッド最下部では約65ピクセルとなる。そこで本研究ではD
65ピクセルとなるときのみ、(x_j、y_j)をフレームn+1での適切な検出点として決定する。この作業を右手についても同様に行うことで、左右個別に術具軌跡を算出することが可能となる。

１．５ 技量指標・トレーニング効果の定量評価・可視化
手技の定量評価に使用する技量指標に求められる条件はその指標が、手技がどのように行われていたかを定量値として表現できるということである。その条件を満たす技量指標を多数用いることで訓練者の技量を多角的に評価できる。これまでの研究で使用されている技量指標の種類は多角的であり、それぞれの指標が持つ意味も明確である。そこで、以下にこれまでの研究で使用されている技量指標及び本実施例で追加する技量指標について述べ、それらを用いた技量の定量評価と可視化手法について述べる。

１．５．１ これまでの研究における技量指標
これまでの研究では手技の定量評価に作業時間、手術ナビゲーションから取得される術具のログデータを基にした術具先端移動速度と加速度、術具ログ分布の近似楕円面積の大きさと重畳率、分布密度を技量指標に使用している。 まずこれまでの研究で手技の定量評価に用いている技量指標についての詳細を述べる。

・作業時間
この指標は手技開始から終了までに要した時間となり、多くの臨床やトレーニングの作業評価の研究においてよく使用されている。この指標では作業達成の速さを計測することができる。しかし、この指標のみではあくまで手技がどれくらい素早く行うことができたかしかわからない。作業時間が短ければ優れた作業が出来ているとも限らず、作業は早いが術具操作は雑であることや、作業は遅くても術具操作が丁寧であるというケースも存在する。

・術具先端移動速度・加速度
術具先端移動速度は内視鏡外科医の術具操作が直接的に反映されるパラメータであり、内視鏡下手術の手術手技の評価指標の一つとして利用されている。術具先端の移動速度を定量化することで作業の特徴をつかむことができる。また加速度を求めることで術具操作の滑らかさも読み取ることができる。3次元位置計測装置やジャイロセンサなどの高精度センサ類を用いた技量評価研究では時系列に取得される術具先端位置座標を時刻ごとに差分することで速度を算出し、その速度をさらに時刻ごとに差分することで加速度を算出することが多い。このようなセンサは位置計測を阻害する外的要因が存在しなければ非常に高精度な位置計測が可能であるため、このような単純処理でも高精度な速度、加速度を指標として算出することが可能である。

・ログ分布近似楕円の面積と重畳率・分布密度
内視鏡下手術のように視野および作業空間に制限のある手術においては、作業領域の範囲・大きさは作業効率や体内臓器への損傷に関わる重要な要素であると考えられる。これまでの研究で対象としている術式は胆嚢摘出術であり、また手技の動作の多くは肝臓の裏側に張り付いた胆嚢を摘出するために肝臓との接着部分を剥離する作業である。作業領域は胆嚢と肝臓の接着面に平行な方向に広がると予想されるため作業領域を近似楕円で定義する。これまでの研究では作業領域を近似楕円として求める際に以下のような処理を行っている。

< STEP1 2次元分布への変換 >
手術ナビゲーションから得られる術具先端ログデータ(3次元座標)を肝臓への接着面となる2次元平面へと投影し2次元分布へと変換する(図１０、STEP1)。

< STEP2 近似楕円算出 >
投影したログデータの分布が2次元正規分布であると仮定して確率密度関数を導入し、密度関数の局面等高線を算出し、任意の設定により一つの等高線に絞り、それを近似楕円として定義する(図１０、STEP2)。

これまでの研究ではこの近似楕円から作業領域の大きさを表す作業面積、実際の作業領域と事前に定義された適切な作業領域との重畳率、全ログデータの分散度合いを算出することで、作業がどれだけ集中して行われていたかを示す分布密度を算出した。重畳率は全ログデータを使用して算出された近似楕円と、胆嚢と干渉したログデータのみを使用して算出された近似楕円の重なりの度合いを重畳率として定義する。図１２にログ分布近似楕円の重畳率の算出方法について図示する。作業工程内の全ログデータから得られる近似楕円の面積をS_A、胆嚢と干渉したログデータのみから得られる近似楕円の面積をS_Bとすると、次式により算出される。

胆嚢と干渉したログデータのみから得られる近似楕円の範囲が、実際に剥離作業が行われた適切な作業範囲ということになる。したがって、AとBの楕円の位置が一致する(重畳率F_Nが1に近い)場合は作業領域外での無駄な術具の動きが少なく、作業範囲が適切であったと考えられ、逆に楕円の位置のズレが大きい(重畳率F_Nが0に近い)場合は作業領域外での無駄な操作が多いと考えられる。

分布密度は、各点から最も近い点までの距離(最近隣距離)を利用することで、点の分布における密集度として算出している。具体的には、点分布の平均最近隣距離と点がランダムに分布している(一様ポアソン分布に従っている)場合の平均最近隣距離の期待値を算出して分布の密集度を評価する。ログデータの各点l_i(i=1, 2, …, n)から最近隣点までの距離をd_i、ログデータが分布する領域(医用画像撮影領域)の体積をV、点密度をρとすると、3次元領域での分布における平均最近隣距離W_Nとその期待値E(W_N)は次のように表される。

E(W_N)に対するW_Nの値の大きさを調べることで分布密度を判断することが可能となるため、次の式により求められるW_NとE(W_N)の比率R_Nを解析指標として利用する。

R_Nの値が0に近いほど分布密度が高く集中的に分布していると判断することができる。ただし、この手法はログ分布が密集することが予想される剥離作業には適しているが切離などの短時間で局所的にアクセスする動作の場合、分布が急峻になり適していないことが考えられる。

１．５．２ 本研究における技量指標の検討
これまでの研究では先ほどまでに述べた技量指標を基に多角的な手技の定量評価を行っていた。そこで、本実施例でもこれらの技量指標を応用する。しかし、これまでの研究では両手での術具操作に関する技量指標がない。本実施例では、両手術具の運動情報を取得が可能であるため両手の術具操作に関する技量指標の算出が可能である。そこで本実施例では両手での作業に関する技量指標を新たに追加し、より多角的な手技の定量評価を行う。具体的にはこれまでの研究で用いられた作業時間、術具先端移動速度・加速度、作業面積・重畳率、分布密度に加え、術具交差時間、左右術具の相対速度を検討する。これら技量指標の検討と算出法について詳しく述べる。

・術具先端移動速度・加速度
術具の移動速度や加速度は訓練者の手技の特徴を表現でき、トレーニングや臨床での手技評価の際に多々利用される重要なパラメータである。多くの研究では術具に高精度でロバストなセンサを用いて具先端の速度・加速度を算出している。しかし本実施例では画像処理で術具を検出しているため、検出のばらつきが大きい。そこで本実施例では術具先端の速度・加速度を算出する際に補正を施す必要がある。あるフレームnでの術具先端位置座標を(x_n、y_n)とし、この点を中心フレームの点として5フレーム間の移動平均フィルターを施す。移動平均フィルター処理後の点を(Xn、Yn)とすると、

と表現できる。この補正後の検出点を用いて速度を算出する。本実施例ではフレームnでの速度v_nを
とする。こうすることにより連続5フレームで術具を検出しているときのみ速度が算出され、さらに移動平均フィルターにより検出点の軌跡が滑らかになり突発的な誤検出や細かな検出のばらつきが生じても算出速度が補正される。さらにフレームでの加速度a_nは先ほど算出した速度を利用し、
と表す。

・作業領域矩形面積
これまでの研究では治療の対象となる部位が楕円形であり、作業領域を楕円で定義していた。しかし、本研究ではトレーニングパッドの形状は図２のように直線形状が多く、縫合運針を行う際には傷口を縫い合わせる手技を想定しているため直線的に運針を行っていく。そのため本研究では作業領域を楕円のみではなく矩形でも定義する。例えば図１３のように術具先端位置が分布していると仮定する。また術具先端位置の座標は左右別に取得されるため、左右それぞれの作業領域を個別に算出する。以下に作業領域矩形面積の算出のステップを示す。

< STEP1 初期矩形の定義 >
50×50pixelの矩形を初期矩形として定義する。

< STEP2 初期矩形の走査 >
術具運動情報を算出する際に、全術具先端位置座標ログの70%以上が含まれている場合、その位置に矩形を描画する。

< STEP3 矩形の拡大・走査 >
矩形のサイズを拡大し、再び矩形を走査し、矩形内部に全術具先端位置座標ログの70％以上が含まれている場合この位置に現サイズの矩形を描画。これを矩形のサイズが250×250pixelとなるまで繰り返す。

< STEP4 矩形の統合 >
全矩形が描画された後、最も面積の小さい矩形のみを抽出し、抽出された矩形を包括する矩形を算出する。これを最終的な作業領域として定義する。
最終的に定義された矩形のx軸方向の長さをXsize[pixel]、y軸方向の長さをYsize[pixel]とすると、作業領域の面積Sは
と表すことができる。

・作業密度・重畳率
図１４に本実施例の頂上率算出方法を示す。これまでの研究において、作業の集中度合いを評価する術具先端位置座標ログ分布密度は胆嚢の血管の切離やクリッピングなど局所に短時間にアクセスする作業ではもともと分布が急峻であり、術者・症例ごとの差異を評価することが困難であることが分かった。本実施例で扱う縫合運針タスクも糸の牽引や結紮の動作が多く、胆嚢の剥離に比べ分布が急峻になることが予想される。そのため、本実施例では全体としての分布密度を見るのではなく、トレーニングパッドの縫合対象箇所周辺にどれだけ作業が集中しているかを算出する。これを本実施例では作業密度と呼ぶことにする。作業密度の算出方法だが、手動で画像中から選択した縫合対象箇所の中心点(以下作業中心点)を基準とした円の内側にどれだけ作業が集中しているかを算出し、縫合箇所への作業集中度合いを求める。作業密度の算出方法は次のとおりである。正しい術具先端位置として検出された全検出点を
、作業中心点から50ピクセル以内の距離に存在する検出点をnとすると、作業密度ρは、
となる。糸の牽引や針の持ち替えにもたつきが生じれば縫合箇所付近での作業密度は低下するはずであり、熟練者の作業密度は非熟練者のものと比べ高くなることが予想される。

重畳率については、これまでの研究では事前にCTで撮影された胆嚢の領域を適切な作業領域として定義し、その領域に干渉したログデータから得られる近似楕円と適切な作業領域がどれだけ一致しているかを算出した。これは術具が手技のメインとなる領域にどれだけアプローチしているかを意味していると考えると、本実施例で算出する作業密度が作業の中心点付近にどれだけアプローチしているかという点で意味合いが近いと考えられる。そこで本実施例では、算出する作業密度を先行研究での分布密度と重畳率を組み合わせたものとして利用する。

・左右術具の相対速度
内視鏡下手術において両手を協調的に動かすことは重要である。例えば、強調的な動作として縫合を行う際に糸の長さを整えるために左手で糸を引き、右手で糸を逆に引く左右で逆方向に術具を動作させる技術や、針を刺すときにカウンタートラクションを掛けて適度にタスクに緊張を掛けるなどの動作がある。このように協調動作は両手を互いに逆方向に動かす動作が多いため、片手が止まってしまっている独立した動作に比べて相対速度が速くなることが予想され、相対速度は作業の特徴を反映できる可能性がある。そこで本実施例では左右術具の相対速度を技量指標として用いる。左右術具の相対速度の算出方法は次のとおりである。 あるフレームnでの左右の術具先端位置座標を(x_ln、y_ln)、(x_rn、y_rn)とする。この点を中心とする5フレーム間での移動平均フィルターを速度算出のときと同様に施す。すると術具移動前の先端位置座標をそれぞれ、現在の術具先端位置座標を(X_ln、Y_ln)と表すことができ、変位(dX_ln、dY_ln)、(dX_rn、dY_rn)は、
となり、このときの相対速度V_nは

となる。

・術具の交差時間
内視鏡下手術に特有のスキルとして奥行き知覚能力や両手の協調性がある。3次元の術空間に対し、術者が実際に視認しているのは2次元のモニタから得られる情報である。そのため術具が交差すると術具同士が接触して結紮点や組織に余計な緊張がかかってしまう。そのため術具を交差させて手技を行うことはよくない作業として考えられている。熟練度が高くなればなるほど術具が交差する時間は短くなると予想される。本実施例における術具検出システムにおいて、左右別に時系列に術具先端位置座標を算出することができる。左手の術具先端位置座標を(x_l、y_l)とし、右手の術具先端位置座標を(x_r、y_r)と仮定し、x_l＞x_r(図１５)となる回数をNとすると交差時間Tは次式により算出される。

１．５．３ 熟練度による作業傾向の差異が現れる技量指標の選別
主観的な判断による手技の評価は、観察者による個人差が発生することや、まだ技術を習熟していない訓練者が単独で行うことができないという問題点がある。訓練者が単独で手技を評価するには、先ほどまでに述べた作業内容を定量化できる技量指標を用いて手技を定量評価することが有効であると考えられる。しかし、訓練者が行った手技を数値化して、その手技の良し悪しを評価することは、同一の手術において上手いやり方というのは一つに定まらないという点で難しいことであると考えられる。そこで、これまでの研究では、熟練者と非熟練者での作業傾向の差異をこれまでに述べてきた技量指標を用いて算出することで、訓練者が自身熟練者の技量差異を把握できる定量評価・可視化システムを構築した。さらに、本実施例では経験年数の長い医師が十分な技量を有していると仮定し、経験年数が長い医師と短い医師の間で差異が生じる多次元の技量指標を低次元に統合した値を熟練度として定量化する。これを可視化することで訓練者が自身の熟練度を把握できるシステムを構築する。そこで本実施例では術者の熟練度を定量的に計測するために、まず熟練者と非熟練者間で差が生じる技量指標を選定する。そのために、経験年数で2グループ（熟練群と非熟練群）に分割し、2グループ間で有意差の生じる指標を調査する。有意差が生じた指標については経験年数により作業傾向が変化していると考えることができ、これは広義的には熟練者と非熟練者間での作業差異であると考えられる。

本実施例ではテストデータとなる医師数名の作業データを用いて標本数が少ないときにも有意差を検定することが可能なノンパラメトリックな検定法であるマンホイットニーのU検定を用いて調査し、有意差が生じた技量指標を抜粋する。しかし、有意差が生じた指標の中には互いに非常に相関が強いものが多数存在する恐れがあるため、各指標間で多重共線性が現れない指標の組み合わせを調べ、それを技量指標として利用する。こうすることで熟練群と非熟練群で作業の特徴に差がありかつ技量指標同士が同一の意味合いを持たない多角的な指標を抜き出すことが出来る。この多重共線性の評価だが、評価には、VIF(Variance Inflation Factor：分散拡大要因)を利用する。VIFとは重回帰分析における多重共線性を検出するための指標の一つである。あるj番目の説明変数xjを他の全ての説明変数x₁、x₂、x_j-1、x_j+1、…、x_pで回帰したときの決定係数をR² _jとしたとき、VIFは、
と定義される。このVIFが10を超えたときは、多重共線性があると判断される。

多重共線性がない複数の技量指標を説明変数、経験年数を目的変数として重回帰分析を行うことで図１６のように各技量指標が経験年数に対してどのような影響度を持っているかを調べることができ、縫合の習熟には各技量指標が重要であるかを知ることができると考えられる。

１．５．４ 技量・熟練度の可視化
ここまで手技の評価方法について検討したが、トレーニングシステムにおける重要な機能の一つはその評価結果を訓練者にフィードバックする機能である。なぜなら、内視鏡下手術のトレーニングを目標や自身の技量がわからないまま漠然とこなしていくのは生産的ではないからである。そのためトレーニングの評価結果のフィードバックには、熟練者のレベルとなる目標値を定め、自身との差異を定量的に評価し、その差を可視化することが重要であると考えられる。これまでの研究では一人の技術認定医の技量指標をエキスパートとしての基準値とし、その訓練者とどの程度手技が似ているかで技量レベルを算出した。しかし、実際には多数いる被験者のなかにもやり方は異なるが主観的には上手いと称される訓練者も存在するため、必ずしも一人の技術認定医の技量指標値が目標値として適切であるとはかぎならない。そこで本研究では熟練グループの技量指標の平均値を利用する。複数の医師の技量指標から得られる平均値を用いることでより普遍的な目標値を設定できると考えられる。そこで目標値及び訓練者の技量値の算出には偏差値を用いる。全被験者の各技量指標の平均値をA、全被験者の各技量指標の標準偏差をSとする。さらに熟練グループの各技量指標の平均値をAEとして、目標値Gを
とする。ある訓練者の技量指標値をvとすると、この訓練者の得点Vは

となり、目標値との差はG-Vとなり、G-V＞0ならば目標値に到達しておらず、G-V＜0ならば目標値に到達しているということになる。これを全技量指標について行うわけであるが、より視覚的に捉えやすいように、本研究では目標値を青色の点線、被験者の値を赤色の実線でレーダーチャートに表示する(図１７)。このレーダーチャートの例では、上段が熟練者で下段が非熟練者である。上段のレーダーチャートのほうが目標値のレーダーチャートの大きさに近くなる。下段の非熟練者同士を比較すると、右の訓練者のほうが目標値にレーダーチャートの大きさが近いため、右の訓練者のほうが左の訓練者に比べ技術を習熟しているといえる。このように、レーダーチャートは技量を定量的かつ客観的に把握するのに有効である可能性がある。

しかし、特定の指標が非常に高得点であっても他の指標値が十分でなければ技術を習熟しているとはいえない。例えば、縫合で必要な技術要素が全て同一の重みであると仮定すれば、ある指標が劣っていても他でその指標を補えば技術習熟をしているという結果が生まれる。しかし、縫合に必要な技術要素は同一の重みを有しているとは限らないため、全体的なバランスが重要になってくる。そのため各技量指標の個別評価のみでは総合的な技量評価は困難であると考えられる。そこで本研究では総合的に訓練者の技量を評価するために、選定された技量指標を統合して算出した熟練度を算出する。技量指標の統合には主成分分析を用いる。

主成分分析とは多次元データの持つ情報を出来るだけ損なわずに低次元の空間に情報を集約し、新たな総合指標を作り出す方法である。多くの変数に重みをつけて少数の合成変数を作るのだが、 重みのつけ方は合成変数が出来るだけ多く元の変数の情報量を含むようにする。そして、その合成変数(主成分)を順次作成していく。ただし、主成分分析を行う前に、各技量指標の単位はそれぞれ異なるため正規化することでスケールをあわせる。主成分分析のイメージを図１８に示す。この変数の部分に本研究では熟練群と非熟練群の間で有意差が確認され、かつ多重共線性が存在しない技量指標を用いる。この主成分分析を行った際に主成分の固有値と累積寄与率が求められる。この固有値は元の変量の分散が1に標準化されていれば、元の変量何個分の情報量を持つかを表し、累積寄与率は各主成分の寄与率を大きい順に足したもので、そこまでの主成分で、データのもっていた情報量がどのくらい説明されているかを表している。このとき利用される寄与率はある主成分の固有値が表す情報が、データ全ての情報の中で、どのくらいの割合を占めるかを表すものである。主成分をいくつ使うかの選択をするには、固有値が1以上もしくは累積寄与率が70〜80％に達するところまでの主成分を解析に使用する主成分として採用することが多い。そこで本研究でもその方法に即して主成分を採用する。

採用された主成分は多角的な技量指標を統合したものになるので、この主成分を熟練度とし、この熟練度を用いて最も分類感度が高いといわれているWard法により、訓練者のクラスタリングを行う。このクラスタリングでは熟練度の似ている訓練者同士が近いクラスタに分類されるため、熟練者が多いクラスタに被験者となる訓練者が分類されれば、その訓練者は総合的には技術を習熟している熟練者として考えることができる。そのためこの訓練者クラスタリングは熟練度を評価・可視化するのに有用であると考えられる。クラスタリングのイメージを図１９に示す。

２ 実験
本実施例では内視鏡下手術の縫合トレーニングにおける手技の定量評価・可視化を行う。手技を定量評価・可視化するためには技量指標が必要となるが、この技量指標の信憑性が低ければ、そこから導き出される解析結果の意味についての信憑性も損なわれる。そこでまず、本研究では、USBカメラから取得される映像から術具先端位置を検出する精度、検出された術具先端位置情報を基に算出される技量指標の精度についての評価実験を行う。次に、本研究で手技の定量評価に用いる指標を選定する実験を行う。最後にこれらの選定された指標を基に手技の定量評価・可視化し、本システムで手技の定量評価が正しく行われているかの評価を行う。

２．１ 術具検出アルゴリズムの精度検証実験
トレーニング環境下での提案アルゴリズムによる術具検出精度・技量指標算出精度の評価実験を実施し、技量指標が問題なく使用可能か検証する。以下にその実験環境等の設定と評価項目について述べる。

２．１．１ 実験設定
図２０に本実施例の実験環境を示す。解析用映像を取得するためのUSBカメラ、訓練者がモニタリングするためのビデオカメラとその映像を表示するモニタ、術具挿入部、トレーニングパッド(トレパッド渦巻き、株式会社寿技研)を設置し、トレーニング環境を構築した。使用したトレーニングパッドパッドはトレーニング用に市販・利用されているものである。

２．１．２ 技量指標算出精度評価実験
本実施例で用いている術具検出手法では画像処理を用いているため、画像中に術具が1本のときでは誤検出が生じなくても2本のときで互いの術具が接近、交差したとき精度に差が生じる可能性があるため、術具を1本使用時と2本使用時で精度検証を行った。

内視鏡下手術において、縫合を行う際には持針器で針を持ち、術具の操作を行っている。そこで本実験では、本実施例で使用する渦巻状のトレーニングパッド上になるべく術具検出に影響を及ぼさないように直線体を設置し、その上部をなぞるように針を持たせた術具を運動させ、術具を提案アルゴリズムで検出し、技量指標を算出する。本実験で検証する技量指標は術具の移動した軌跡、平均速度、平均加速度、平均相対速度とする。そのほかにも技量指標はあるが、平均速度・加速度・相対速度以外の指標のほとんどは術具先端位置の分布を利用しているため軌跡が正しいかどうかを検証すれば十分に各技量指標の精度を検証することが出来ると考えられる。この時実施した動作を以下に示す。

・術具1本時
実験1：x軸方向に術具を移動
実験2：y軸方向に術具を移動
実験3：x軸・y軸方向の移動を含む斜め方向に術具を移動

・術具2本時
実験1：互いの術具を逆方向に移動
実験2：互いの術具を同一方向に移動
術具1本時のとき3種類、術具2本時のとき2種類の条件を用意し、これらを各3回ずつ実施した。術具1本時のときは両手術具の相対速度の算出ができないため術具2本時のみ平均相対速度を検証項目に加える。またこれらの実験から取得される技量指標の真値だが、手動で画像中から抽出した術具の先端位置座標を用いる。またこの抽出した先端座標をつなぎ合わせることで真値となる軌跡を算出した。これらの真値と提案アルゴリズムにより検出された術具先端位置を基に算出される軌跡、速度、加速度、相対速度を比較することで精度の検証を行った。

２．２ 技量指標・トレーニング効果の定量評価・可視化実験
訓練者の各技量指標や各技量指標から統合して算出する熟練度で、熟練者と非熟練者に明確な差を確認できるようにするために、経験年数に応じた作業傾向の差異を検出し、その差異を反映する技量指標の選定実験を実施する。その後に、選定された技量指標が技量指標・熟練度の定量評価・可視化に有用であるかの検証実験を実施した。実験環境は2.1項に示したものと同一にした。

２．２．１ 技量指標の選定実験
本実施例では先行実験として医師15名が縫合運針タスクを実施し、その実験データから使用する技量指標の選定を行う。技量指標の選定にはまず、熟練群と非熟練群間で有意差の生じる技量指標を抽出し、抽出された技量指標から多重共線性を取り除いた技量指標の組み合わせを求める。次に、求められた技量指標を変数として主成分分析を行い、熟練度を算出し、この熟練度を用いて医師のクラスタリングを行う。このクラスタリング結果から、選ばれた技量指標が熟練度を反映しているかどうかを調査し、技量指標が手技の定量評価に利用できるかを評価する。さらに、これらの技量指標を用いて各技量指標で技量目標値を算出し、熟練群の被験者と非熟練群の被験者でレーダーチャートの比較、技量目標値への到達度合いの可視化検証を行った。先行実験に参加した医師を表１に示す。被験者1〜6の医師を熟練群とし、7〜15を非熟練群として定義した。また、本研究で実施したタスクについて以下に述べる。

・タスク
本研究では、基礎的な縫合技術を計測するために、単発的なタスクではなく連続的なタスクを実施した。また実施タスクは医師と相談の下決定した。本実施例で実施したタスクの手順は、はじめにCループ法により始端結紮を行い、3回連続運針を行い、スリーレッグス法による終端結紮を行う手順となっている。図２３がタスク完成図となっている。

２．２．２ 手技の定量評価・可視化実験
本実験では、選定された技量指標から主成分分析を用いて算出される熟練度を用いて被験者30名(先行実験の15名含む)のクラスタリングを行う。このとき特に経験年数が短い被験者が熟練群となるクラスタに分類されているかどうかに注目する。これは経験年数が短くても技術習熟が早く、すでに十分な技術を有しているということを意味している可能性があるからである。非熟練群の医師で十分な技術を有しているという判断は撮影された動画を観察し判断する。このとき、特に手技中にミスが発生していたかなどに注目する。実施タスクは技量指標選定実験と同一である。さらに縫合において重要となる技量指標を調べるために技量指標を説明変数、経験年数を目的変数として重回帰分析を行い、各技量指標と経験年数の関係性を調べた。

３ 結果
本章では、本研究で提案した術具検出アルゴリズムの術具先端位置検出精度及び検出された先端位置情報を基に算出した技量指標の評価を実施した。続いて内視鏡下手術縫合トレーニング手技の定量評価・可視化に使用する技量指標の選定実験を実施し、選定された技量指標を用いて各技量指標の個別的定量評価・可視化、総合的定量評価・可視化、各技量指標と経験年数の関係性の評価を行った。これら実験により導き出された結果について個別に考察も行った。

３．１ 術具検出アルゴリズム精度実験結果・考察
本実施例では精度検証実験として、術具が1本のときの術具先端平均速度・加速度、軌跡の精度検証と術具が2本のときの術具平均速度・加速度・相対速度、軌跡の検証を行い、本研究で用意した技量指標が手技の定量評価に利用可能であるかを評価した。以下に各実験の結果と考察を述べる。

３．１．１ 術具1本時
実際に得られた術具軌跡を図２４に示す。またこのとき得られた速度と加速度について表２、表３に示す。表２の真値avr_TVと計測値avr_MVは時系列情報となる真値速度TViと計測値速度MVi(i=1〜N;Nはフレーム数)の平均値、表３の真値avr_TAと計測値avr_MAは真値加速度TA_i、計測値加速度MA_iの平均値となっている。また、速度についての平均誤差avr_EVは|avr_TV-avr_MV|、加速度についての平均誤差avr_EAは|avr_TV-avr_MV|である。速度の最大誤差max_EVは|TV_i-MV_i|の最大値、加速度の最大誤差max_EAは|TA_i-MA_i|の最大値である。まず術具軌跡についてだが、図２４の線２４１が真値となる軌跡で線２４２が実際に算出された軌跡となる。X軸方向への移動実験、y軸方向への移動実験、斜め方向への移動実験を各3回ずつの計9回実験を行っているが、実験1では真値より若干上方向に軌跡が算出されており、実験2では若干右方向に、実験3では若干上方向に算出されていることが確認できる。しかし、軌跡に細かなゆれは少し残っているものの、全実験において軌跡の形状は概ね一致しており、術具先端位置の分布を利用している作業面積、作業密度、術具が交差した時間は精度に問題を抱えることなく使用できると考えられる。次に速度と加速度について述べる。表２、表３において、計9回の実験でavr_EVは小さく、avr_EAは大きくなった。このことから術具がどのような方向へ動作しても平均速度avr_MVは本来の特徴を損なわずに本手法で算出することが可能である一方で平均加速度avr_MAは本来の特徴を損なってしまっている。さらに平均加速度の場合、全実験において計測値avr_MAが真値avr_TAよりも低くなっている。実験1〜3で誤差を平均した値を比較してみると、平均速度は0.343[pixel/frame]、平均加速度が0.774[pixel/frame^2]と平均加速度の誤差が小さく見えるが、真値の値が速度に比べ低いことを考えると誤差は大きい。これは速度算出や軌跡算出の際にフィルター処理を施し、速度や軌跡の曲線を滑らかにすることで、速度の微分である加速度が低くなってしまったことが原因であると考えられる。加速度は術具動作の滑らかさを表す技量指標であるため、本研究のような画像処理を用いた手法から算出するとどうしても検出にばらつきが生じてしまう以上、平均加速度avr_MAは技量指標として利用することは難しいと考えられる。速度と加速度の最大誤差max_EV、max_EAは非常に大きな値となってしまった。このことから、現在の速度・加速度算出手法では時系列の情報MV_i、MA_iを使用することは難しいと考えられる。次に、術具が2本のときでも軌跡、速度・加速度が正しく算出されるか検証し、また平均相対速度の算出精度評価も行う。

３．１．２ 術具2本時
速度と加速度の誤差(平均誤差、最大誤差)については前項と同一方法で算出し、表記も同一である。時系列情報としての相対速度の真値と計測値はTRV_i、MRVi(i=1〜N；Nはフレーム数)として定義し、平均相対速度の真値avr_TRVと計測値avr_MRVはそれぞれTRV_i、MRV_iの平均値である。相対速度の平均誤差avr_ERVは|avr_TRV-avr_MRV|である。平均相対速度の最大誤差max_ERVは|TRV_i-MRV_i|の最大値である。実際に得られた術具軌跡を図２５に示す。またこのとき得られた速度、加速度、相対速度について表４、表５、表６に示す。術具一本での実験のときと同様、検出された軌跡が若干上方向にずれている。しかし、先ほどの考察のように、軌跡の細かなゆれは少し残ってはいるが概ね軌跡の形状は一致しているため、術具が2本になっても術具先端位置分布に関する技量指標を利用することは可能であると考えられる。表４、表５に示した速度、加速度、相対速度だが、平均速度は術具1本時のときと同様、平均誤差avr_EVが小さく、平均相対速度も実験1.3、2.2を除いて平均誤差avr_ERVは小さい。実験1.2で誤差を平均すると平均速度が0.422[pixel/frame]、平均相対速度が0.978[pixel/frame]となり、これら2つの術具動作に関する指標は技量指標として利用できる可能性がある。特に実験1と実験2では術具動作方向が異なり、前者での実験のほうで相対速度が大きくなることが事前に予想することができるが、実験結果でもその予想と同じ結果が得られており、この点からも相対速度は本来の特徴を損なっていないと考えられ、本実施例の技量指標として利用できると考えられる。加速度については、術具1本時の実験のときと同様、ほとんどの実験で真値avr_TAよりも計測値avr_MAは値が低く算出され、平均誤差avr_EAが非常に大きく、本システムにおいて加速度は本来の特徴を損ねてしまっている。原因は術具1本時のときと同様であると考えられる。実験1、2で誤差を平均すると0.798[pixel/frame^2]と一見低く見えるが、真値の値が低いことから、平均速度や平均相対速度に比べ非常に誤差は大きい。以上のことから、平均加速度avr_MAを技量指標として利用することは難しいと考えられる。加速度を技量指標として利用できるようにするためには、術具検出の精度向上、特に検出のばらつきが生じにくい新たな処理を加える、もしくは加速度の特徴を維持できるフィルター処理が必要であると考えられる。平均速度・加速度・相対速度の最大誤差max_EV、max_EA、max_ERVはいずれも非常に大きな値を示していることから、時系列情報となるMV_i、MA_i、MRV_iを使用することは現状のシステムでは難しいと考えられる。

３．２ 技量指標選定実験結果
本実験で選定された技量指標について述べる。表７に選定実験により得られた各技量指標の数値、表７に熟練群と非熟練群の平均値の比較、有意差の検証結果を示す。表７のGroup1が熟練群でGroup2が非熟練群を表している。表７の１番目から６番目で示されている部分が熟練群で、７番目から１５番目で示されている部分が非熟練群である。本項では時間に関する指標である作業時間・術具交差時間、術具先端位置分布に関する指標である作業面積・密度、速度に関する指標である平均速度・平均加速度・平均相対速度の3グループに分けて詳細を確認する。さらに、これら技量指標を用いて算出される熟練度の定量評価・可視化、各技量指標の技量値の可視化が有用であるかの検証を行う。

３．２．１ 各技量指標算出結果
・作業時間・術具交差時間
熟練群と非熟練群の平均値を比較すると熟練群にいる医師のほうが作業時間・術具交差時間がいずれも約2倍近く短いことが確認され、さらに有意差も確認された。しかし、熟練群のなかで詳しく数値を確認すると、経験年数が長いほど作業時間・術具交差時間が短いということにはならなかった。一方で、非熟練群のなかでは経験年数が長いほうが作業時間・術具交差時間が短くなる傾向があることが確認された。

・作業面積・密度
熟練群のほうが作業面積・密度ともに平均値が高くなった。作業密度については左手と右手の両方で有意差が確認されたものの、作業面積で有意差を確認することは出来なかった。全被験者の作業密度に着目すると、左手密度のほうが右手密度よりも大きくなる傾向があることが確認された。

・平均速度・平均加速度・平均相対速度
これら全ての指標において熟練群のほうが非熟練群よりも数値が高くなっていることが確認できた。これら指標の中で左手加速度以外に有意差が確認された。これらの技量指標でも2群のなかで顕著な傾向は確認できなかった。

３．２．２ 技量指標有用性評価
本項では選定された技量指標が技量値や熟練度の算出に有用であるかを検証し、さらに技量値と熟練度を可視化したときに熟練医と非熟練医の差異が十分に把握することができるかを検証した。
熟練群と非熟練群で有意差が確認された指標は時間、術具交差時間、密度、平均速度、右手平均加速度、平均相対速度となった。しかし、加速度については精度実験の際に本来の特徴を損ねている可能性が示唆されたため、本研究で使用する技量指標から除外する。次にこれらの指標を用いて多重共線性を評価した結果、平均相対速度でのみ多重共線性が確認された(表８)。これは相対速度の算出に速度を利用していることが影響している。よってこれら指標の多重共線性を排除した際の指標の組み合わせは作業時間、術具交差時間、密度、平均速度の計6指標となった。

これらの指標を用いて主成分分析を行ったときの第1主成分の固有値は3.92、累積寄与率は65.38%であり、第2主成分の固有値は0.83、累積寄与率が79.24%であった。主成分をいくつ使うかの選択をするには、3固有値が1以上もしくは累積寄与率が70〜80％に達するところまでの主成分を解析に使用する主成分として採用することが多いため、熟練度として第2主成分までを採用した。表９に算出した熟練度を示す。本実施例の技量指標選定実験に参加した被験者15名をクラスタリングした結果を図２６に示す。全ての熟練者が同一のクラスタに分類され、そのクラスタに一名だけ非熟練群の医師が分類される結果となった。また、熟練群に分類された医師の多くは第1主成分と第2主成分がともに負の値を示した。

さらに、本実験では各技量指標から各技量目標値の算出を行った。実際に得られた被験者15名の技量値と技量目標値を表１０に示す。この技量値は偏差値の算出法を利用しているため、技量値が高ければその技量指標の値は他者に比べて高いということになる。ただし、作業時間と術具交差時間は短いほど手技が優れていると考えられるため、技量値算出の際に逆数を用いている。そのため、作業時間と術具交差時間は短いほど技量値が高くなる。この技量目標値と訓練者の技量値をレーダーチャートで可視化したものを図２７、図２８に示す。熟練群の医師はレーダーチャートが技量目標値と同程度もしくは大きく、非熟練群の医師は技量目標値よりも小さくなっており、この技量値を用いたレーダーチャート提示方法により訓練者が目標値とどの程度違いが生じているかを定量的かつ直感的に把握できることが確認できた。熟練群に分類された被験者8だが、この被験者は他の非熟練医に比べレーダーチャートが大きいことが確認された。

３．２．３ 考察
技量指標として選定された作業時間、術具交差時間、作業密度、平均速度は表１０の技量値とそれを可視化した図２７、図２８のレーダーチャートから確認できるように、熟練者と非熟練者間で明確な差が表れているため、手技の定量評価に有用な指標であると考えられる。 また、技量目標値の設定については、熟練群の医師のレーダーチャートが技量目標値のレーダーチャートと同程度かそれ以上を示しており、それに対し非熟練群の医師は技量目標値よりも小さくなっていることから、適切な設定であったと考えられる。

熟練度の算出と可視化については、クラスタリングにより熟練群に熟練者と定義した医師のほかに非熟練者と定義した医師が1名分類された。この医師の動画を確認したところ、手技中のミスは極めて少なく、スムーズに行うことができていた。このことから、経験年数では計測することのできない訓練者の熟練度を本システムでは算出することができ、それを訓練者に提示することができる可能性が示唆された。

３．３ 手技の定量評価・可視化実験結果
３．３．１ 被験者情報
本実験では計30名の被験者が縫合運針タスクを実施した。被験者情報と得られた技量指標値を表１１に示す。技量指標値については上位20%となる6名は緑色で示し、下位20％となる6名は赤色で示した。被験者1〜15は技量指標選定実験に参加した被験者である。経験年数が10年以上の医師はA群、5年から10年未満はB群、0年から5年未満をC群として定義した。

どの技量指標においてもA群の医師が上位20%に入っている傾向が強く、下位20%にはC群の医師が入っている傾向が強いことが確認できる。このことから技量指標選定実験により選定された技量指標は経験年数に応じた作業傾向の差異を反映できる可能性が強いと考えられる。

３．３．２ 熟練度の算出とクラスタリングによる訓練者分類結果・考察
表１１の技量指標を用いて主成分分析を行った結果、第1主成分の固有値は3.65、累積寄与率は60.93%、第2主成分の固有値は1.05、累積寄与率は78.45%となった。主成分をいくつ使うかの選択をするには、3.6.4項にも述べたように、固有値が1以上もしくは累積寄与率が70〜80％に達するところまでの主成分を解析に使用する主成分として採用することが多い。そこで熟練度には第2主成分までを採用する。表１２、表１３、表１４に算出された熟練度を示す。この熟練度を用いてクラスタリングを行った結果を図２９に示す。

A群の医師全員が緑枠で囲まれたクラスタに分類されていることが確認できる。そのため、このクラスタが熟練群であると推測され、赤枠で囲まれたクラスタが非熟練群であると推測される。また表１２、表１３、表１４を見ると、熟練群に分類された医師の熟練度は第1主成分と第2主成分ともに低い値を示していることが確認できる。このことと、技量指標選定実験の結果から、各主成分の値が低いほうが、熟練度が高いと考えられる。熟練群の中には技量指標選定実験で熟練群であると定義した医師と新たに被験者として参加したA群に属する医師のほかに、被験者番号7、8、10、20、29の医師が分類された。8番の医師は技量指標選定実験でも熟練群に分類されたため、この医師は本研究で使用している縫合運針タスクに必要な技術を習熟していると推測される。被験者7、10は技量指標選定実験では熟練群に分類されなかったが、本実験では熟練群に分類された。これは解析標選定実験に参加した医師の技量指標が表１１を見ると上位20%に含まれる人が非常に多く、その層では技術を習熟できていないと判断され、非熟練群に分類されたのではないかと考えられる。しかし、C群に属する医師の増加により本実験では全体としての各技量指標の平均が下がり、相対的に見れば熟練群に属すると判定されたのだと考えられる。熟練群に分類されたC群に属する医師の手技動画を確認したところ、非熟練群に分類された医師に比べ針の持ち直しが少ない、糸の牽引が素早く行われている、始端結紮と終端結紮に時間がかかっていないなどの特徴が確認できた。また、非熟練群に分類されているB群の医師の動画を確認したところ、特に始端結紮と終端結紮に時間がかかっており、タスク中心部から遠ざかったところでの作業が増加していることが確認された。これは表１１の作業時間の長さと密度の低さからも確認できる。このことからミスの少ない医師が熟練群に分類され、使用した熟練度が総合的な技量の差異を明確に表しているといえる。さらに、必ずしも年数を重ねている医師が熟練群に分類されるわけではないということが明らかになり、熟練群に分類されたC群の医師のように、経験年数が短くても技術を習熟していると思われる医師が熟練群に分類されたことから、この熟練度の算出とクラスタリングは経験年数だけでは計測することのできない熟練度の定量評価・可視化に有用であると考えられる。
３．３．３ 技量値の算出とレーダーチャートによる技量値の可視化結果・考察
表１５に技量値を示す。技量目標値は技量指標選定実験時に算出されたときの値を利用する。またこの技量指標値と技量目標値を先ほどのクラスタリング結果で熟練群と判定された医師4名、非熟練群と判定された4名を例としてレーダーチャートに示す(図３３、図３４)。

技量指標選定実験のときと同様に、熟練群と非熟練群ではレーダーの大きさに違いが確認できた。さらに今回は、熟練群内でもレーダーの大きさに差を確認することができた。被験者1と8は技量指標選定実験のときも熟練群に分類された医師で、被験者7と10は非熟練群に分類されていた訓練者である。1と8の2名と7と10の2名を比較すると1と8のほうがレーダーチャートの大きさが大きく、技量目標値の形状に非常に近いことが確認された。クラスタリング結果を見ても、7と10はお互いに手技が似ている結果を示している。このことから，技量値の算出と可視化は技量指標選定実験のときと同様、熟練群と非熟練群の技量の差を定量的かつ直感的示すことができると同時に、熟練群内での各技量値の差異も定量的かつ直感的に示すことができる可能性が示唆された。

３．３．４ 重回帰分析による要因分析結果・考察
熟練群と非熟練群間でそれぞれ重回帰分析を行い、経験年数と各技量指標がどのような関係にあるかを検証した結果を図３２に示す。このとき、経験年数を目的変数とし、各技量指標を説明変数とした。

熟練群では作業時間が経験年数へ正の要因を持つのに対し、非熟練者群では経験年数へ負の要因を持つという結果を示した。熟練群で作業時間が経験年数に正の要因を持っている理由として、年数が非常に長くなると作業がより丁寧になり、作業時間が長くなっている可能性が考えられる。非熟練群で負の要因を持つ理由として、経験年数が増加すると作業がよりスムーズになり、作業達成が早くなっているのだと考えられる。右手平均速度は作業時間と逆の結果を示し、左手平均速度は両者とも経験年数に対して正の要因を持つという結果を示した。この関係性から、経験年数を重ねるほど利き手での作業と非利き手での作業が均等になり、他の医師に比べ右手での作業が減少したため、左手平均速度が上昇し，右手平均速度が減少していくという結果になったと考えられる。一方で非熟練医は経験年数が短い医師ほど作業停滞が多くなり、年数を重ねていくほど作業停滞が改善され、常に術具を動かすことができるようになっていると考えられ、その結果、経験年数を重ねていくと両手とも術具速度が上昇していくのではないかと考えられる。次に作業密度だが、熟練群では両手とも経験年数に正の要因を示しており、これは熟練すれば患部付近で作業が集中するようになるということを意味していると考えられる。一方、非熟練群では両手作業密度ともに負の要因を示しており、縫合箇所付近での作業密度が低くなるという結果を示した。特に左手作業密度は経験年数に大きく負の要因を与えるという結果を示している。この原因として、非熟練者群で経験年数が長い医師は作業時間が同群の中では短いものの作業が雑になってしまい、密度が大きな負の要因になったと考えられる。また、動画を確認したところ、針の持ち変えや結紮作業をトレーニングパッドから上空のほうに離れた位置で行っていることが多かった。これも作業密度を減少させる大きな原因になっていると考えられる。経験年数が浅い医師は縫合を施す部分に近いところで作業が停滞し、作業密度が上昇している可能性が考えられる。術具交差時間についてはいずれの群においても経験年数を重ねれば減少していくことが確認できた。これは縫合技術を習熟するにつれ改善されてきているということを意味していると考えられる。

最後に、両群で経験年数と各技量指標との関係性は大きく異なっている。このことから、群ごとにどのような作業傾向があるのかを調べることができる可能性がある。データ数を増加し、より詳細なクラスタリング結果が取得されれば、熟練群が複数できる可能性がある。この複数の熟練群で重回帰分析を行い、各技量指標と経験年数との関係性を評価することで、異なる熟練パターンを見出すことができる可能性がある。

技量指標選定実験のときと同様に、熟練群と非熟練群ではレーダーの大きさに違いが確認できた。さらに今回は、熟練群内でもレーダーの大きさに差を確認することができた。被験者1と8は技量指標選定実験のときも熟練群に分類された医師で、被験者7と10は非熟練群に分類されていた訓練者である。1と8の2名と7と10の2名を比較すると1と8のほうがレーダーチャートの大きさが大きく、技量目標値の形状に非常に近いことが確認された。クラスタリング結果を見ても、7と10はお互いに手技が似ている結果を示している。このことから、技量値の算出と可視化は技量指標選定実験のときと同様、熟練群と非熟練群の技量の差を定量的かつ直感的示すことができると同時に、熟練群内での各技量値の差異も定量的かつ直感的に示すことができる可能性が示唆された。

３．３．５ 重回帰分析による要因分析結果・考察
熟練群と非熟練群間でそれぞれ重回帰分析を行い、経験年数と各技量指標がどのような関係にあるかを検証した結果を図３５に示す。このとき、経験年数を目的変数とし、各技量指標を説明変数とした。

熟練群では作業時間が経験年数へ正の要因を持つのに対し、非熟練者群では経験年数へ負の要因を持つという結果を示した。熟練群で作業時間が経験年数に正の要因を持っている理由として、年数が非常に長くなると作業がより丁寧になり、作業時間が長くなっている可能性が考えられる。非熟練群で負の要因を持つ理由として、経験年数が増加すると作業がよりスムーズになり、作業達成が早くなっているのだと考えられる。右手平均速度は作業時間と逆の結果を示し、左手平均速度は両者とも経験年数に対して正の要因を持つという結果を示した。この関係性から、経験年数を重ねるほど利き手での作業と非利き手での作業が均等になり、他の医師に比べ右手での作業が減少したため、左手平均速度が上昇し、右手平均速度が減少していくという結果になったと考えられる。一方で非熟練医は経験年数が短い医師ほど作業停滞が多くなり、年数を重ねていくほど作業停滞が改善され、常に術具を動かすことができるようになっていると考えられ、その結果、経験年数を重ねていくと両手とも術具速度が上昇していくのではないかと考えられる。次に作業密度だが、熟練群では両手とも経験年数に正の要因を示しており、これは熟練すれば患部付近で作業が集中するようになるということを意味していると考えられる。一方、非熟練群では両手作業密度ともに負の要因を示しており、縫合箇所付近での作業密度が低くなるという結果を示した。特に左手作業密度は経験年数に大きく負の要因を与えるという結果を示している。この原因として、非熟練者群で経験年数が長い医師は作業時間が同群の中では短いものの作業が雑になってしまい、密度が大きな負の要因になったと考えられる。また、動画を確認したところ、針の持ち変えや結紮作業をトレーニングパッドから上空のほうに離れた位置で行っていることが多かった。これも作業密度を減少させる大きな原因になっていると考えられる。経験年数が浅い医師は縫合を施す部分に近いところで作業が停滞し、作業密度が上昇している可能性が考えられる。術具交差時間についてはいずれの群においても経験年数を重ねれば減少していくことが確認できた。これは縫合技術を習熟するにつれ改善されてきているということを意味していると考えられる。

３．３．６ 本実施例のまとめ
本実施例によれば、差分画像情報及び動体検出画像情報とに基づいて術具の位置に関する情報を算出することにより、術具位置の検出精度を高めることができた。

また、技量指標として術具の交差時間を算出、表示することにより、術者にとって技量向上に役立つ情報を提供できることが分かった。

また、複数種類の技量指標をレーダーチャートにより表示することにより、術者が自己の手技の特徴を直感的に把握することができ、自己の手技の課題をより良く把握することを可能とした。レーダーチャートに技量目標値を表示すると、より良く自己の手技の課題を把握できる。

また、各術者の技量の類似度を算出して（クラスタリング）、算出した類似度を分かりやすく表示することにより、自己の技量の術者全体における位置づけ、熟練者との違い、自己の所属する組織の手技の傾向等を把握することができ、自己の手技の課題を別の視点から分析することができる。

本発明は、手術トレーニングシステム及び手術トレーニングシステムとして産業上利用可能である。

２４１ 真の術具軌跡
２４２ 算出された術具軌跡

Claims (7)

1. コンピュータに、
   術者が操作する術具に関する画像情報を含む入力画像情報から手術トレーニング前の背景画像情報を減算して差分画像情報を取得する差分情報取得手順と、
   術者が操作する術具に関する画像情報を含む入力画像情報に対し背景差分処理を行い動体検出画像情報を取得する動体検出画像取得手順と、
   前記差分情報取得手順により取得した差分画像情報及び前記動体検出画像取得手順により取得された前記動体検出画像情報とに基づいて術具の位置に関する情報を算出する術具位置算出手順とを実行させるための手術トレーニングプログラム。
2. コンピュータに、
   術者が操作する術具に関する情報を含む入力画像情報に基づいて術具の位置に関する術具位置情報を算出する術具位置算出手順と、
   前記術具位置算出手順により算出した術具位置情報に基づいて術具の交差時間を算出する交差手段算出手順と、
   前記交差時間算出手順により算出した術具の交差時間を表示装置に表示させる技量指標表示手順とを実行させるための手術トレーニングプログラム。
3. コンピュータに、
   術者が操作する術具に関する情報を含む入力画像情報に基づいて術具の位置に関する術具位置情報を算出する術具位置算出手順と、
   前記術具位置算出手順により算出した術具位置情報に基づいて複数種類の技量指標を算出する技量指標算出手順と、
   前記技量指標算出手順により算出した複数種類の技量指標を表示装置にレーダーチャートにより表示させる表示手順とを実行させるための手術トレーニングプログラム。
4. 前記技量指標算出手順により算出する技量指標が、術者の作業時間に関する情報、作業密度に関する情報、術具の交差時間に関する情報、術具の平均速度に関する情報の少なくともいずれか一つを含むことを特徴とする請求項３に記載の手術トレーニングプログラム。
5. 前記表示手順において、前記複数の技量指標とともに技量指標の目標値をレーダーチャートに表示させることを特徴とする請求項３に記載の手術トレーニングプログラム。
6. コンピュータに、
   術者が操作する術具に関する情報を含む入力画像情報に基づいて術具の位置に関する術具位置情報を算出する術具位置算出手順と、
   前記術具位置算出手順により算出した術具位置情報に基づいて技量指標を算出する技量指標算出手順と、
   前記技量指標算出手順により算出した技量指標に基づいて各術者の技量の類似度を算出するクラスタリング手順と、
   前記クラスタリング手順により算出した各術者の技量の類似度に関する情報を表示装置に表示させる手順とを実行させるための手術トレーニングプログラム。
7. 術者が操作する術具を撮影するカメラと、
   前記カメラが撮影した情報に基づいて術具の位置に関する術具位置情報を算出する術具位置情報算出手段と、
   前記術具位置情報算出手段により算出した術具位置情報に基づいて複数種類の技量指標を算出する技量指標算出手段と、
   前記技量指標算出手段により算出された複数種類の技量指標をレーダーチャートにより表示する表示装置とを備える手術トレーニングシステム。