JP2015083040A - 画像処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】画像処理装置、方法並びにプログラムにおいて、互いに異なるフェーズの被検体を表す第１画像と第２画像において、仮想的な硬性手術器具の挿入位置と先端位置の相対的関係を対応させて、異なるフェーズの被検体の観察画像を生成する。
【解決手段】第１画像２１の第１挿入位置ＱＡ１と第１先端位置ＰＡ１と第１画像２１を第２画像２２に位置合せするように変形する変形情報に基づいて、第１挿入位置ＱＡ１に対応する第２画像２２の第２挿入位置ＱＡ２を特定し、第１挿入位置ＱＡ１から第１先端位置ＰＡ１に向かう第１挿入向きＶＡ１に対応する向きが第２挿入位置ＱＡ２から第２先端位置ＰＡ２に向かう第２挿入向きＶＡ２となるように第２先端位置ＰＡ２を特定し、第２の先端位置ＰＡ２を視点として第２画像２１の対応フェーズの被検体内部を可視化した第２観察画像を生成する。
【選択図】図４

Description

本発明は、画像処理装置、方法、及びプログラムに関し、更に詳しくは、被検体の内部を示す３次元画像データから被検体内部を可視化した観察画像を生成する画像処理装置、方法、及びプログラムに関する。

近年、ＭＤＣＴ（Multi Detector-row Computed Tomography）等の撮影装置（モダリティ）の進歩により、質の高い３次元画像データが取得できるようになり、これらの画像データを用いた画像診断では、高精細な断面画像が用いられるだけでなく、被検体の仮想的・疑似的な３次元画像も用いられるようになっている。

上記のような技術の進歩によって、がんなどの腫瘍の多くが初期段階などの比較的早期において発見されるようになってきている。比較的早期におけるがんは、がんのサイズが小さく、転移のリスクが低いため、がんの根治に必要十分な領域を除去する縮小手術による治療が積極的に採用されている。縮小手術の１つである内視鏡下手術は、体への負担が小さいが、内視鏡下の限られた視野内で、周辺の臓器や血管を傷つけないように所望の処置を実施することは技術的難易度が高い。このような内視鏡下手術を支援するために、画像認識技術を用いて３次元画像データから臓器などを抽出し、臓器が識別された３次元画像から仮想的・疑似的な３次元画像を生成して表示する技術が提案され、手術前のプランニング、シミュレーションや手術中のナビゲーションのために利用されている。

特許文献１には、仰臥位と腹臥位など被検体を姿勢の異なる状態で撮影した２つの３次元画像を取得し、２つの３次元画像のうちの一方の画像から、任意の視点で仮想内視鏡画像を生成し、他方の画像から、一方の画像に対して設定した視点に対応する点を視点とする仮想内視鏡画像を生成し、生成した２つの画像を表示画面上に同時に表示する技術が開示されている。特許文献２には、左側臥位の被検体を撮影した超音波内視鏡画像と被検体を仰臥位で撮影した３次元画像を取得し、取得した３次元画像の臓器を被検体が左側臥位である場合の臓器となるように３次元画像を補正し、補正した３次元画像から超音波内視鏡画像と対応する位置および向きの断面の画像を生成して表示する技術が開示されている。また、特許文献３には、超音波画像と、超音波画像と位置合わせされるように変形したＭＲ画像（Magnetic Resonance Image）の対応する断面の画像とを比較可能に表示する技術が開示されている。

特開２０１２−１８７１６１号公報 特開２００８−００５９２３号公報 特開２０１３−０００３９８号公報

一方で、特許文献１乃至２に示されるような、体腔内の湾曲した経路を通過して観察対象を撮影するために、被検体に挿入される挿入部が柔軟性を有する構成とされた軟性内視鏡とは異なり、被検体に挿入される細長形状の硬性挿入部を有する硬性内視鏡装置などの医療器具においては、被検体への挿入口から内視鏡装置の先端部に向かって、柔軟性のない（曲がらない）細長形状の硬性挿入部が配置されるため、挿入口からアクセス可能な挿入向きは限定されたものとなる。このため、硬性内視鏡装置を用いた手術において、被検体内部の観察または処置のために、内視鏡装置の先端位置や姿勢（向き）を決定する際に、硬性内視鏡装置などの医療器具の挿入口からの挿入向きなど挿入口と先端位置との相対的な関係も適切に決定される必要がある。

また、手術中など、被検体内部に内視鏡装置などの硬性の医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合がある。この場合には、同一の被検体を表す３次元画像の異なるフェーズにおいて、所望の処置部に対して適切な位置および距離に内視鏡装置の先端位置と挿入向きが設定されているかそれぞれ確認することが好ましいと考えられる。このため、１つのフェーズの３次元画像において、設定された仮想内視鏡装置の視点と撮影向きに基づいて生成される仮想内視鏡画像などの観察画像を生成表示するだけでなく、他のフェーズの３次元画像においても、対応する挿入口から挿入された仮想内視鏡装置の視点と撮影向きに基づいて仮想内視鏡画像などの観察画像を生成表示して、双方の観察画像に所望の処置部に対して適切な位置および距離に内視鏡装置の先端位置と挿入向きが設定されているか確認することが好ましい。

しかしながら、特許文献１乃至３に示される技術によれば、２つの３次元画像から互いに対応する位置を視点とした２つの仮想内視鏡画像をそれぞれ生成できるが、各生成された仮想内視鏡画像は、仮想的な内視鏡装置として硬性内視鏡装置を用いた場合に、挿入口と先端位置の相対的な関係を対応させているものではない。

本発明は、上記に鑑み、互いに異なるフェーズにおける被検体の内部をそれぞれ表す３次元画像において、１つのフェーズに対応する３次元画像に設定された仮想内視鏡装置の視点および撮影向きに基づいて、１つのフェーズにおける第１観察画像を生成し、異なるフェーズに対応する３次元画像において、仮想内視鏡装置などの硬性挿入部を有する医療器具が被検体に挿入される挿入口と先端位置との相対的な関係を対応させて、異なるフェーズにおける観察画像を生成する画像処理装置、方法、及びプログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得部と、第１画像と第２画像の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得する変形情報取得部と、第１画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、第１観察条件と変形情報に基づいて、第２画像における第１の挿入位置に対応する位置である第２の挿入位置を特定し、第１の挿入位置から第１の先端位置に向かう第１の挿入向きに対応する向きが、第２の挿入位置から第２画像において手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定する観察条件決定部と、第２観察条件に基づいて、第１画像を変形情報に基づいて変形した変形第１画像または第２画像から、第２の先端位置を視点とし、第２の先端位置から被検体の内部を可視化した第２観察画像を生成する画像生成部とを備えたことを特徴とする。

また、本発明に係る画像処理装置の作動方法は、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得ステップと、第１画像と第２画像の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得する変形情報取得ステップと、第１画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、第１観察条件と変形情報に基づいて、第２画像における第１の挿入位置に対応する位置である第２の挿入位置を特定し、第１の挿入位置から第１の先端位置に向かう第１の挿入向きに対応する向きが、第２の挿入位置から第２画像において手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定する観察条件決定ステップと、第２観察条件に基づいて、第１画像を変形情報に基づいて変形した変形第１画像または第２画像から、第２の先端位置を視点とし、第２の先端位置から被検体の内部を可視化した第２観察画像を生成する画像生成ステップを有することを特徴とする。

また、本発明に係る画像処理プログラムは、上記方法をコンピュータに実行させることを特徴とするものである。

上記「互いに異なるフェーズにおける被検体の内部をそれぞれ表す第１画像と第２画像」とは、被検体内部の変形状態が互いに異なっている画像であればよいものである。例えば、第１画像と第２画像が、呼気フェーズと吸気フェーズにおける被検体をそれぞれ表すものであってもよく、また、第１画像と第２画像が、互いに異なる心臓の拍動フェーズにおける被検体をそれぞれ表すものでもよい。さらに、第１画像と第２画像が、互いに異なる姿勢における被検体の内部を表すものでもよい。

上記「被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具」とは、例えば、硬性の細長い筒形状の本体部の先端にカメラが配設された硬性内視鏡装置や、硬性の細長い筒形状の本体部の先端にメスやニードルなど処置具が配設された硬性処置具などが考えられる。なお、硬性挿入部は、曲がらない構成とされた本体部分の先端に柔軟な部分を備えているものも含む。

また、「手術器具の先端部」は、被検体内部に挿入される硬性挿入部に、所望の観察や処置を行うためのカメラや処置具が配設された部分を意味し、必ずしも手術器具の先端でなくてもよい。

本発明にかかる画像処理装置において、手術器具は内視鏡装置であり、観察条件決定部は、第１画像における第１の挿入向きと内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係と、第２画像における第２の挿入向きと内視鏡装置の撮影向きである第２の撮影向きとの相対的な関係が等しくなるように第２の撮影向きを特定し、画像生成部は、第２の先端位置から、第２の撮影向きに被検体の内部を可視化することにより第２観察画像を生成することが好ましい。

また、本発明にかかる画像処理装置において、観察条件決定部は、第１の挿入位置と第１の先端位置との間の距離が第２の挿入位置と第２の先端位置との間の距離と等しくなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定してもよい。あるいは、観察条件決定部は、第１の先端位置と対応する第２画像の位置を第２の先端位置として特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定してもよい。

さらに、本発明にかかる画像処理装置において、観察条件決定部は、第１画像に含まれる所定のランドマークの向きと第１の挿入向きとなす角度と、第２画像に含まれる所定のランドマークに対応するランドマークの向きと第２の挿入向きとのなす角度が等しくなるように第２の挿入向きを特定することにより第１の挿入向きに対応する向きが、第２の挿入向きとなるように第２の挿入向きを特定することが好ましい。

上記「所定のランドマークの向き」とは、３次元画像に含まれる所定のランドマークによって特定される向きであり、例えば、手術器具が挿入される挿入位置における被検体の体表の法線の向きとすることができる。なお、３次元画像に含まれる識別可能な特徴部であれば任意の部分をランドマークとして用いることができる。また、フェーズによってランドマークの向きの変動の少ないランドマークを用いることが好ましい。例えば、背骨をランドマークとすることができ、この場合、第Ｎ番目の椎骨の位置をランドマークとして用いることができる。また、他に脾臓や腎臓などの臓器（の中心座標）をランドマークとしてもよい。また、「ランドマークによって特定される向き」は、ランドマークによって特定される向きであればいかなる向きであってもよい。例えば、ランドマークが平たい形状であれば、平たい形状の法線の向きとすることができる。また、ランドマークが長手形状であれば長手形状の軸の向きとすることができる。さらに、「ランドマークによって特定される向き」は、複数のランドマークによって特定される向きであってもよい。この場合、一方の構造物の中心点などのランドマークから他方の構造物の中心点などのランドマークに向かう向きとすることができる。

さらに、本発明にかかる画像処理装置において、観察条件決定部は、第１画像から複数の第１観察条件を取得し、複数の第１観察条件と変形情報に基づいて、複数の第１観察条件のそれぞれに対応する複数の第２観察条件を決定することが好ましい。

さらに、本発明にかかる画像処理装置において、第２の挿入位置から第２の視点を結ぶ線分が第２画像中に含まれる解剖学的構造物と所定距離以下であるか否かを判定する判定部をさらに備えることが好ましい。

本発明の画像処理装置、方法、及びプログラムでは、互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得し、第１画像と第２画像の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得し、第１画像から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、第１観察条件と変形情報に基づいて、第２画像における第１の挿入位置に対応する位置である第２の挿入位置を特定し、第１の挿入位置から第１の先端位置に向かう第１の挿入向きに対応する向きが、第２の挿入位置から第２画像において手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように第２の先端位置を特定して、第２の挿入位置と第２の先端位置を第２観察条件として決定する。そして、第２観察条件に基づいて、第１画像を変形情報に基づいて変形した変形第１画像または第２画像から、第２の先端位置を視点とし、第２の先端位置から被検体の内部を可視化した第２観察画像を生成する。

このため、第１画像とはフェーズの異なる第２画像において、第１画像における仮想的な医療器具の挿入位置（第１の挿入位置）および挿入向き（第１の挿入向き）と、第２画像における仮想的な医療器具の挿入位置（第２の挿入位置）と挿入向き（第２の挿入向き）を対応させて、第２画像における仮想的な医療器具の先端位置（第２の先端位置）を決定して、第２の先端位置を視点として被検体内部を可視化した第２観察画像を生成することができる。このため、手術中など被検体内部に硬性の挿入部を有する医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合であっても、生成された第２観察画像を観察することにより、第２画像に対応するフェーズにおいて被検体内部の処置または観察を実施する際に、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

本発明の一実施形態に係る画像処理装置を示すブロック図。 第１画像において内視鏡装置の先端位置と挿入向きを設定する画面を例示する図（その１）。 第１画像において内視鏡装置の先端位置と挿入向きを設定する画面を例示する図（その２）。 第２画像における内視鏡装置の挿入位置と挿入向きと先端位置を特定する方法を説明するための図。 本発明の一実施形態に係る画像処理装置の動作手順を示すフローチャート。

以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の一実施形態に係る画像処理装置１を備えた画像処理ワークステーション１０を示す。

画像処理ワークステーション１０は、読影者からの要求に応じて、不図示のモダリティや画像保管サーバから取得した医用画像データに対して画像処理（画像解析を含む）を行い、生成された画像を表示するコンピュータであり、ＣＰＵ，入出力インターフェース、通信インターフェース、データバス等を内包するコンピュータ本体である画像処理装置１と、入力装置２（マウス、キーボード等）、表示装置３（ディスプレイモニタ）、記憶装置４（主記憶装置、補助記憶装置）等の周知のハードウェア構成を備えている。さらに、画像処理ワークステーション１０は、周知のオペレーティングシステムや各種アプリケーション・ソフトウェア等がインストールされたものであり、本発明の画像処理を実行させるためのアプリケーションもインストールされている。これらのソフトウェアは、ＣＤ−ＲＯＭ等の記録媒体からインストールされたものであってもよいし、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされたものであってもよい。

図１に示すように、本実施形態に係る画像処理装置１は、画像取得部１１と、変形情報取得部１２と、観察条件決定部１３と、画像生成部１４と、出力部１５と、判定部１６とを備える。画像処理装置１の各部の機能は、画像処理装置１がＣＤ−ＲＯＭ等の記録媒体からインストールされたプログラム（画像処理アプリケーション）を実行することによって実現される。

画像取得部１１は、記憶装置４から第１画像２１および第２画像２２を取得する。第１画像２１および第２画像２２は、それぞれＣＴ装置を用いて撮影された、被検体の内部を示す３次元の画像データである。また、画像取得部１１は、第１画像２１と第２画像２２を同時に取得してもよく、第１画像２１と第２画像２２のいずれか一方を取得した後に他方の画像を取得してもよい。

本実施形態において、第１画像２１と第２画像２２は、同一の被検体（人体）の腹部に対して異なる呼吸フェーズで撮影されたデータである。第１画像２１は呼気で撮影された画像で、第２画像は吸気で撮影された画像である。双方の画像は同一人物の体腔内を表すものではあるものの、撮影時に呼吸のフェーズが異なるため、双方の画像の間で臓器形状が変形している。

なお、本実施形態に限定されず、第１画像２１と第２画像２２とは、同一の被検体の内部を撮影した、被検体内部の変形状態が相互に異なる３次元画像データであればいかなる画像であってもよい。例えば、第２画像２２として、ＣＴ画像、ＭＲ画像、３次元超音波画像、ＰＥＴ（Positron Emission Tomography）画像などを適用可能である。また、断層撮影に使用するモダリティは、ＣＴ、ＭＲＩ、超音波撮影装置等、３次元画像を撮影可能なものであれば何でもよい。また、第１画像２１と第２画像２２との組み合わせとして、種々の組み合わせが考えられる。例えば、第１画像２１と第２画像２２とを、第１画像２１と第２画像２２を異なる撮影体位で撮影されたデータとしてもよい。あるいは、第１画像２１と第２画像２２を、異なる心臓の拍動フェーズにおける被検体をそれぞれ表す複数の画像としてもよい。

変形情報取得部１２は、第１画像２１と第２画像２２の対応する位置を互いに位置合わせするように第１画像を変形する変形情報を取得する。

ここでは、第１画像２１の各画素にそれぞれの変形量を設定し、各変形量を徐々に変化させながら、第１画像２１の各画素を各変形量に基づいて変形した画像と第２画像２２との類似度を表す所定の関数を最大化（最小化）することにより、第１画像２１の各画素と、第１画像２１の各画素に対応する第２画像２２の各画素とを対応付けし、第１画像２１を第２画像２２に位置合わせするための各画素の変形量を取得する。そして、第１画像２１の各画素の変形量を規定する関数を変形情報として取得する。

なお、非剛体レジストレーション手法とは、一方の画像の各画素を各変形量に基づいて移動させて、２つの画像の類似度を判定する所定の関数を最大化（最小化）することにより、２つの画像を互いに一致させるための上記一方の画像の各画素の変形量を算出する方法である。本実施形態に、２つの画像を互いに位置合わせする非剛体レジストレーション手法であれば、例えば、Rueckert D Sonoda LI，Hayesc，Ｅt al.、「Nonrigid Registration Using Free-Form Deformations：application to breast MR Images」、IEEE transactions on Medical Imaging、1999年、vol.18，No.8，pp.712-721等種々の周知の手法を適用することができる。

観察条件決定部１３は、第１画像２１から、被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具である仮想内視鏡装置Ｍ１（仮想的な硬性内視鏡装置）の仮想的な挿入口の中心位置である第１の挿入位置Ｑ_Ａ１の座標と、仮想内視鏡装置Ｍ１のカメラが配設された位置である第１の先端位置Ｐ_Ａ１の座標と、第１の挿入位置Ｑ_Ａ１から第１の先端位置Ｐ_Ａ１に向かう向きである第１の挿入向き（第１の挿入ベクトルＶ_Ａ１）と、第１の挿入ベクトルＶ_Ａ１に対する相対的なカメラ姿勢である第１の撮影向きとを第１観察条件として取得する。

図２、３は、第１画像２１において仮想内視鏡装置Ｍ１の挿入位置Ｑ_Ａ１と先端位置Ｐ_Ａ１を設定する画面を例示する図である。

図２、３に示すように、ユーザの第１画像２１からのボリュームレンダリング法などの擬似３次元画像の生成指示と表示指示をマウスなどの入力装置２によって受け付けると、画像生成部１４は生成指示に応じた画像を第１画像２１から生成し、出力部１５は第１画像２１から生成された画像を所望の表示パラメータに従って表示画面に表示する。図２の３１Ａは、被検体の体表Ｓを可視化するように表示パラメータを設定して被検体を擬似３次元表示した例であり、図３の３１Ｂは、被検体の体表を透明にし、被検体内部を可視化するように表示パラメータを設定して被検体を擬似３次元表示した例である。また、図３には、図３の３１Ｂに示すように配置された仮想内視鏡装置Ｍ１の先端位置Ｐ_Ａ１をカメラ位置（仮想内視鏡画像の視点）とし、設定された仮想内視鏡装置Ｍ１のカメラ姿勢（撮影向き）に基づいて被検体内部を可視化するように生成された仮想内視鏡である第１観察画像３１を示す。

入力装置２は、表示画面上におけるユーザ入力に基づいて、第１画像２１における仮想内視鏡装置Ｍ１のカメラ位置と、第１画像２１における仮想内視鏡装置Ｍ１のカメラ姿勢とを受け付ける。すると、入力装置２の受け付けた情報に基づいて、観察条件決定部１３は、仮想内視鏡装置Ｍ１のカメラ位置を第１の先端位置Ｐ_Ａ１として取得し、仮想内視鏡装置Ｍ１のカメラ姿勢を硬性内視鏡装置が被検体内部に挿入される向きである第１の挿入向き（第１の挿入ベクトルＶ_Ａ１）として取得する。そして、観察条件決定部１３は、第１の挿入ベクトルＶ_Ａ１に平行であり、第１の先端位置Ｐ_Ａ１を通る直線が被検体の体表Ｓと交わる交点を、仮想内視鏡装置Ｍ１が被検体内部に挿入される第１の挿入位置Ｑ_Ａ１の座標として取得する。また、観察条件決定部１３は、第１の先端位置Ｐ_Ａ１と第１の挿入位置Ｑ_Ａ１との距離Ｄ_Ａ１を算出する。

本実施形態における仮想内視鏡装置Ｍ１においては、第１の挿入ベクトルＶ_Ａ１は仮想内視鏡装置Ｍ１のカメラの光軸と平行であり、第１の挿入ベクトルＶ_Ａ１を仮想内視鏡装置Ｍ１のカメラ姿勢（第１の撮影向き）とみなすことができるものとする。また、第１観察条件において、仮想内視鏡装置Ｍ１の画角や焦点距離などに応じて、３次元画像から観察画像を生成するためのその他の必要なパラメータが予め設定されており、第１の挿入向きに対する第１の撮影向きの相対的な角度も予め設定されているものとする。

なお、観察条件決定部１３は、第１観察条件を取得可能な任意の手法を用いてよい。例えば、第１の観察条件は、上記の例のようにユーザのマニュアル入力により設定された第１観察条件を取得してもよく、第１画像２１の処置対象領域を取得して解析し該処置対象領域を撮影可能な内視鏡装置の先端位置と挿入口と挿入向きを自動で設定してもよい。

また、観察条件決定部１３は、第１観察条件を取得すると、第１画像２１を第２画像２２に対応するように変形する変形情報に基づいて、第１の挿入位置Ｑ_Ａ１の座標に対応する第２画像２２の座標を第２の挿入位置Ｑ_Ａ２の座標として特定する。

そして、観察条件決定部１３は、第１の挿入位置Ｑ_Ａ１から第１の先端位置Ｐ_Ａ１に向かう第１の挿入ベクトルＶ_Ａ１に対応する向きが、第２の挿入位置Ｑ_Ａ２から第２画像２２において手術器具の先端部が位置する第２の先端位置Ｐ_Ａ２に向かう第２の挿入ベクトルＶ_Ａ２となり、第１の挿入位置Ｑ_Ａ１と第１の先端位置Ｐ_Ａ１との間の距離Ｄ_Ａ１が第２の挿入位置Ｑ_Ａ２と第２の先端位置Ｐ_Ａ２との間の距離Ｄ_Ａ２と等しくなるように、第２の先端位置Ｐ_Ａ２を特定して、第２の挿入位置Ｑ_Ａ２と第２の先端位置Ｐ_Ａ２を第２観察条件として決定する。

また、観察条件決定部１３は、第１の挿入向きと内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係を特定し、第２画像において、第２の挿入向きと内視鏡装置の撮影向きである第２の撮影向きとの相対的な関係が、第１の挿入向きと内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係と等しくなるように第２の撮影向きを特定する。ここでは、第１の挿入ベクトルＶ_Ａ１は仮想内視鏡装置Ｍ１のカメラの光軸と平行であり、第１の挿入ベクトルＶ_Ａ１を仮想内視鏡装置Ｍ１のカメラ姿勢（第１の撮影向き）とみなしているため、これに対応させて、観察条件決定部１３は、第２の挿入ベクトルＶ_Ａ２を、仮想内視鏡装置Ｍ１のカメラ姿勢（第２の撮影向き）として決定する。なお、観察条件決定部１３は、カメラ姿勢が仮想内視鏡装置Ｍ１の硬性挿入部の軸方向（長手方向）に対して４５度や９０度など所定角度をなすように配設されている場合には、例えば、第１画像２１において、第１の挿入ベクトルＶ_Ａ１と内視鏡装置の撮影向きである第１の撮影ベクトル（第１の撮影向き）との角度を取得し、第２画像において、第２の挿入ベクトルＶ_Ａ２と第２の撮影ベクトル（第２の撮影向き）との角度が、第１の挿入ベクトルＶ_Ａ１と第１の撮影ベクトルとの角度と等しくなるように第２の撮影向きを決定する。

図４は、第２画像２２における仮想内視鏡装置Ｍ１の挿入位置（第２の挿入位置Ｑ_Ａ２）と挿入向き（第２の挿入ベクトルＶ_Ａ２）と先端位置（第２の先端位置Ｐ_Ａ２）を特定する方法を説明するための図である。なお、図４は説明のための図であり、各部のサイズ、位置、角度などは実際のものとは異ならせている。観察条件決定部１３は、第１の挿入位置Ｑ_Ａ１に対応する第２の挿入位置Ｑ_Ａ２を取得すると、第１画像２１から第１の挿入位置Ｑ_Ａ１における被検体の体表Ｓの法線ベクトルＴ_Ａ１を取得し、第２画像２２から第２の挿入位置Ｑ_Ａ２における被検体の体表Ｓの法線ベクトルＴ_Ａ２を取得する。

次に、観察条件決定部１３は、第２画像２２における第２の挿入ベクトルＶ_Ａ２と法線ベクトルＴ_Ａ２とのなす角θ_Ａ２が、第１画像２１における第１の挿入ベクトルＶ_Ａ１と法線ベクトルＴ_Ａ１のなす角θ_Ａ１と等しくなるように、第２の挿入ベクトルＶ_Ａ２を決定する。ここでは、観察条件決定部１３は、Ｑ_Ａ２からＰ_Ａ２に向かう挿入ベクトルＶ_Ａ２と法線ベクトルＴ_Ａ２との内積が、第１の挿入ベクトルＶ_Ａ１と法線ベクトルＴ_Ａ１との内積と等しくなるように、第２の挿入ベクトルＶ_Ａ２を決定する。

なお、観察条件決定部１３は、体表Ｓの法線ベクトルに換えて、他の所定のランドマークの向きを示すベクトルを基準として、第１画像２１の他の所定のランドマークの向きに平行なベクトルと第１の挿入ベクトルＶ_Ａ１のなす角が、第２画像２２の他の所定のランドマークに対応する所定のランドマークの向きに平行なベクトルと第２の挿入ベクトルＶ_Ａ２のなす角と等しくなるように第２の挿入ベクトルＶ_Ａ２を決定してもよい。例えば、所定のランドマークとして、フェーズによってランドマークの向きの変動の少ないランドマークを用いることが考えられる。例えば背骨をランドマークとし、第Ｎ番目の椎骨の位置を基準に角度を計算してもよい。他に脾臓や腎臓などの臓器（の中心座標）を基準としてもよい。

また、上記「所定のランドマークの向きと第１の挿入向きとのなす角度」とは、所定のランドマークの向きと第１の挿入向きとのなす角度のうち小さい方の角度を意味し、「所定のランドマークの向きと第２の挿入向きとのなす角度」とは、所定のランドマークの向きと第２の挿入向きとのなす角度のうち小さい方の角度を意味する。

そして、観察条件決定部１３は、第２の挿入位置Ｑ_Ａ２から、第２の挿入ベクトルＶ_Ａ２の向きに第１の挿入位置Ｑ_Ａ１と第１の先端位置Ｐ_Ａ１との距離Ｄ_Ａ１離間した位置を第２の先端位置Ｐ_Ａ２として決定する。以上により、観察条件決定部１３は、図４において、θ_Ａ１＝θ_Ａ２、Ｄ_Ａ１＝Ｄ_Ａ２となるように第２の先端位置Ｐ_Ａ２を決定する。

そして、観察条件決定部１３は、第２画像２２における第２の先端位置Ｐ_Ａ２と第２の挿入位置Ｑ_Ａ２と第２の挿入ベクトルＶ_Ａ２と第２の撮影向きを第２観察条件として決定する。また、第２観察条件においても、第１観察条件と同様に、仮想内視鏡装置Ｍ１の画角や焦点距離などに応じて、３次元画像から観察画像を生成するためのその他の必要なパラメータが予め設定されているものとする。

また、観察条件決定部１３は、第１の挿入向きＶ_Ａ１と対応する向きを第２の挿入向きＶ_Ａ２として決定する方法として、第１画像における仮想内視鏡装置の先端位置を第２画像における座標に変換し、第２画像における挿入位置から変換後の先端位置に向かうベクトルと一致するようにしてもよい。この場合には、観察条件決定部１３は、変形情報に基づいて、第１の挿入位置Ｑ_Ａ１に対応する位置を第２の挿入位置Ｑ_Ａ２として取得し、第１の先端位置Ｐ_Ａ１に対応する位置を第２の先端位置Ｐ_Ａ２として取得し、第２の挿入位置Ｑ_Ａ２から第２の先端位置Ｐ_Ａ２に向かう向きを第２の挿入ベクトルＶ_Ａ２として決定すればよい。また、同様に、第１画像における仮想内視鏡装置の重心位置を第２画像における座標に変換し、第２画像における挿入位置から変換後の先端位置に向かうベクトルとしてもよい。これらの場合、この第２観察条件に基づいて、被検体内部を可視化した仮想内視鏡画像である第２観察画像３２を生成・表示することにより、第１の挿入位置Ｑ_Ａ１から第１の先端位置_Ａ１（または仮想内視鏡装置の重心位置）に向かう第１の挿入向きＶ_Ａ１と、第２の挿入位置Ｑ_Ａ２から第２の先端位置_Ａ２（または仮想内視鏡装置の重心位置）に向かう第２の挿入向きＶ_Ａ２とを対応させて、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

画像生成部１４は、第１画像２１から、第１観察条件に基づいて、被検体の体腔内部を可視化した仮想内視鏡画像である第１観察画像３１を生成し、第２画像２２から、第２観察条件に基づいて、被検体内部を可視化した仮想内視鏡画像である第２観察画像３２を生成する。第１観察条件と第２観察条件は、仮想内視鏡装置Ｍ１の挿入位置Ｑ_Ａ１、Ｑ_Ａ２、各挿入位置Ｑ_Ａ１、Ｑ_Ａ２からの挿入深さＤ_Ａ１、Ｄ_Ａ２、各挿入位置Ｑ_Ａ１、Ｑ_Ａ２からの挿入向きＶ_Ａ１、Ｖ_Ａ２、各挿入向きＶ_Ａ１、Ｖ_Ａ２に対する相対的な撮影向きがそれぞれ互いに対応するものとされている。このため、第１観察画像３１と第２観察画像３２は、仮想内視鏡装置Ｍ１の挿入位置Ｑ_Ａ１、Ｑ_Ａ２、各挿入位置Ｑ_Ａ１、Ｑ_Ａ２からの挿入深さＤ_Ａ１、Ｄ_Ａ２、各挿入位置Ｑ_Ａ１、Ｑ_Ａ２からの挿入向きＶ_Ａ１、Ｖ_Ａ２を互いに対応させて、第１画像２１の対応フェーズにおける被検体内部と、第２画像２２の対応フェーズにおける被検体内部とを略同じ構図で示すものとなり、画像中の臓器の形状が第１画像２１と第２画像２２のそれぞれの対応フェーズに応じた変形状態となって示された画像となる。画像生成部１４は、また、本実施形態の画像処理の過程で必要に応じて、第１の画像２１または第２画像２２からボリュームレンダリング画像などの所望の画像を生成する。

また、画像生成部１４は、変形情報に基づいて第１画像２１を変形した変形第１画像２１Ａを取得し、第２観察条件に基づいて、変形第１画像２１Ａにおける第２の先端位置Ｐ_Ａ２を視点とし、第２の撮影向きをカメラ姿勢として被検体の内部を可視化した第２観察画像３２を生成してもよい。なお、第２画像２２と、変形した変形第１画像２１Ａとは、対応する画素が同じ位置に配置されているため、第２観察条件に基づいて変形第１画像２１Ａから生成した観察画像は、第２観察条件に基づいて第２画像２２から生成した観察画像３２と、同形状の被検体内部を同じ構図で示すものとなる。このため、第２画像２２と変形第１画像２１Ａのいずれから生成された観察画像においても、挿入位置、先端位置、臓器形状等の相対的な位置関係は同じものとなり、第２画像２の対応フェーズにおける被検体内部や仮想的な内視鏡画像の挿入位置、先端位置などを確認するために用いることができる。

出力部１５は、画像生成部１４が生成した画像を表示装置３へ出力する。表示装置３は、出力部１５の要求に応じて、表示画面上に、第１観察画像３１および第２観察画像３２を表示する。出力部１５は、第１観察画像３１および第２観察画像３２を同時に出力し、表示装置３の表示画面上に、第１観察画像３１および第２観察画像３２を並列表示させてもよい。あるいは出力部１５は、第１観察画像３１および第２観察画像３２を選択的に出力し、表示装置３の表示画面上に第１観察画像３１および第２観察画像３２を切り替えて表示させてもよい。また、出力部１５は、本実施形態の画像処理の過程で必要に応じて、表示画面への所望の情報の表示を表示装置３に指示する。

判定部１６は、第２画像２２から任意の方法により抽出された所定の解剖学的構造物（例えば血管、骨、肺などの臓器）を取得し、第２の挿入位置Ｑ_Ａ２と第２の先端位置Ｐ_Ａ２とを結ぶ線分（判定対象線分）が、第２画像２２中に含まれる解剖学的構造物と許容できない距離以下に近接しているか否かを判定する。ここでは、判定部１６は、判定対象線分と第２画像２２における解剖学的構造物との重複部分を、被検体内部の解剖学的構造物と所定の許容距離以下に近接している近接部分として抽出する。判定対象線分と第２画像２２における解剖学的構造物が重複していない場合には、近接部分が存在しないものとして判定される。なお、第２の挿入位置Ｑ_Ａ２と第２の先端位置Ｐ_Ａ２とを結ぶ線分は、仮想内視鏡装置Ｍ１や仮想的な硬性処置具Ｍ２などの医療器具の硬性挿入部が配置される位置を示している。硬性挿入部は、被検体内部の安全性の確保のため、処置対象でない血管などの解剖学的構造物とは離間して配置される必要があり、手術シミュレーションにおいて、硬性挿入部が配置される位置を示す判定対象線分が解剖学的構造物と許容できない距離以下とならないように確認することが好ましい。

なお、判定対象線分が第２画像２２中に含まれる解剖学的構造物と近接している所定距離以下であるか否かを判定可能であれば、任意の判定法を適用可能である。例えば、判定対象線分上に位置する画素ごとに、臓器中に位置する各画素との距離のうち最短距離を算出し、算出された最短距離が所定の閾値以下である場合に、その画素を近接画素と判定し、判定された近接画素からなる判定対象線分上の部分を近接部分として抽出して近接部分の有無を判定してもよい。

また、判定部１６は、判定対象線分が近接部分を有すると判定した場合には、出力部１５に警告表示の出力を指示する。出力部１５は、判定部１６から警告表示の出力指示を受けると、判定部１６から近接部分を特定する情報を取得し、警告表示の指示と警告表示に必要な情報を表示装置３に出力する。すると表示装置３は、出力部１５から近接部分を取得し、所定の警告形式に従って近接部分を色分けして識別表示することにより警告表示を行う。

また、判定部１６は、近接部分の識別表示のために矢印などの指標や太線表示など任意の手法を適用可能である。また、判定部１６は、近接部分の識別表示と合わせて、または、近接部分の識別表示に換えて任意の警告方法を適用可能である。また、例えば、「近接部分有り」など判定対象線分と解剖学的構造物とが所定距離以下である旨をダイアログボックスで表示してもよく、警告を示す指標を示してもよく、任意の警告表示手法を適用してよい。判定部１６は、警告表示と合わせてあるいは警告表示に替えて警告音や音声メッセージなど音声で警告を行ってもよい。また、判定部１６は、近接部分がある場合に自動的に警告表示をさせるようにしてもよく、ユーザからの要求に応じて判定結果を出力するようにしてもよい。

図５は画像処理装置１の動作手順を示すフローチャートである。画像取得部１１は、第１画像２１および第２画像２２を取得する（ステップＳ１）。第１画像２１および第２画像２２は、呼気フェーズと、吸気フェーズにおける２つの３次元画像データである。

変形情報取得部１２は、第１画像２１および第２画像２２に対して画像位置合わせを行い、第１画像２１の各画素を第２画像２２の対応する各画素の位置に位置させるように第１画像２１を変形する変形情報を取得する（ステップＳ２）。

観察条件決定部１３は、第１画像２１に対し、図２、図３に示すように、表示画面からのユーザの位置の入力に基づいて、仮想内視鏡装置Ｍ１の第１の先端位置Ｐ_Ａ１と、第１の挿入位置Ｑ_Ａ１と第１の挿入位置Ｑ_Ａ１から第１の先端位置Ｐ_Ａ１に向かう第１の挿入ベクトルＶ_Ａ１と第１の挿入ベクトルＶ_Ａ１に対する第１の撮影向きを第１観察条件として取得する。（ステップＳ３）。

観察条件決定部１３は、第１画像２１における第１観察条件と変形情報に基づいて、第２画像２２における第１の挿入位置Ｑ_Ａ１に対応する位置である第２の挿入位置Ｑ_Ａ２を特定する。そして、第１の挿入位置Ｑ_Ａ１から第１の先端位置Ｐ_Ａ１に向かう第１の挿入ベクトルＶ_Ａ１に対応する向きが、第２の挿入位置Ｑ_Ａ２から第２画像２２において手術器具の先端部が位置する第２の先端位置Ｐ_Ａ２に向かう第２の挿入ベクトルＶ_Ａ２となり、第１の挿入位置Ｑ_Ａ１と第１の先端位置Ｐ_Ａ１との間の距離Ｄ_Ａ１が第２の挿入位置Ｑ_Ａ２と第２の先端位置Ｐ_Ａ２との間の距離Ｄ_Ａ２と等しくなるように、第２の先端位置Ｐ_Ａ２を特定する。そして、図４に示されるように、θ_Ａ１＝θ_Ａ１、Ｄ_Ａ１＝Ｄ_Ａ２となるように第２の先端位置Ｐ_Ａ２が決定される。そして、第２の挿入位置Ｑ_Ａ２と、第２の先端位置Ｐ_Ａ２と、第２の挿入位置Ｑ_Ａ２から第２の先端位置Ｐ_Ａ２に向かう第２の挿入ベクトルＶ_Ａ２と、第２の挿入ベクトルＶ_Ａ２に対する第２の撮影向きとを第２観察条件として決定する（ステップＳ４）。

画像生成部１４は、第１観察条件に基づいて、第１画像２１から第１の先端位置Ｐ_Ａ１を視点とし、第１の撮影向きをカメラ姿勢として、第１観察画像３１を生成し（ステップＳ５）、第２観察条件に基づいて、第２画像２２から第２の先端位置Ｐ_Ａ２を視点とし、第２の撮影向きをカメラ姿勢として、第２観察画像３２を生成する（ステップＳ６）。

出力部１５は、例えばステップＳ５で生成された第１観察画像３１と、ステップＳ８で生成された第２観察画像３２とを同時に表示装置３に出力し、第１観察画像３１と第２観察画像３２とを表示面上に同時に表示させる（ステップＳ７）。

次に、判定部１６は、第２の先端位置Ｐ_Ａ２と第２の挿入位置Ｑ_Ａ２を結ぶ線分（判定対象線分）が第２画像２２中に含まれる解剖学的構造物と許容できない距離以下に近接しているか近接部分を有するか否かを判定する。そして、近接部分が存在する場合には（ステップＳ８,ＹＥＳ）、警告表示を行うよう出力部１５に指示する。すると、出力部１５が警告表示の指示を表示装置３に出力し、表示装置３が近接部分を色分けして識別表示することにより警告表示を行う（ステップＳ９）。

本実施形態によれば、第１画像２１とはフェーズの異なる第２画像２２において、第１画像２１における仮想的な医療器具である仮想内視鏡装置Ｍ１の挿入位置（第１の挿入位置Ｑ_Ａ１）および挿入向き（第１の挿入向きＶ_Ａ１）と、第２画像における仮想的な医療器具の挿入位置（第２の挿入位置Ｑ_Ａ２）と挿入向き（第２の挿入向きＶ_Ａ２）を対応させて、第２画像における仮想的な医療器具の先端位置（第２の先端位置Ｐ_Ａ２）を決定して、第２の先端位置Ｐ_Ａ２を視点として被検体内部を可視化した第２観察画像３２を生成することができる。このため、第１観察画像３１に示される被検体内部と、第２観察画像３２に示される被検体内部とは、挿入口からの挿入向きと先端位置が互いに対応した構図で示されたものとなり、双方の画像中の臓器の形状は第１画像２１と第２画像２２のそれぞれの対応フェーズに応じた変形状態となっている。

また、本実施形態のように、第１画像２１とはフェーズの異なる第２画像２２において、第１画像２１における仮想的な医療器具である仮想内視鏡装置Ｍ１の挿入位置（第１の挿入位置Ｑ_Ａ１）および挿入向き（第１の挿入向きＶ_Ａ１）および挿入深さ（第１の挿入位置と第１の視点との距離Ｄ_Ａ１）と、第２画像における仮想的な医療器具の挿入位置（第２の挿入位置Ｑ_Ａ２）と挿入向き（第２の挿入向きＶ_Ａ２）と挿入深さ（第２の挿入位置と第２の視点との距離Ｄ_Ａ２）を対応させて、第２画像における仮想的な医療器具の先端位置（第２の先端位置Ｐ_Ａ２）を決定して、第２の先端位置Ｐ_Ａ２を視点とし、第１の撮影向きに対応する第２の撮影向きに被検体内部を可視化した第２観察画像３２を生成した場合には、第１観察画像３１に示される被検体内部と、第２観察画像３２に示される被検体内部とは、挿入口からの挿入向きと挿入深さと先端位置と撮影向きとが互いに対応した同等の構図で示されたものとなり、双方の画像中の臓器の形状は第１画像２１と第２画像２２のそれぞれの対応フェーズに応じた変形状態となっている。

従って、本実施形態によれば、手術中など被検体内部に硬性の挿入部を有する医療器具が配置されている期間中に呼吸や拍動など被検体内部の解剖学的構造物の変形を生じる複数のフェーズが存在する場合であっても、生成された第２観察画像３２をユーザに観察可能とすることにより、第２画像２２に対応するフェーズにおいて被検体内部の処置または観察を実施する際に、被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

例えば、ユーザは第１観察画像３１と第２観察画像３２を見比べることで、第１画像２１の対応フェーズにおいて設定された仮想内視鏡装置Ｍ１の挿入位置Ｑ_Ａ１と挿入ベクトルＶ_Ａ１と挿入深さＤ_Ａ１を維持した場合、第２画像２２の対応フェーズにおいて、被検体内部がフェーズに応じて変形することにより観察画像がどのように変化するかを確認できる。２つの観察画像３１、３２を表示するのに代えて、第１観察画像３１の生成を省略し、第２観察画像３２のみを表示面上に表示してもよい。その場合でも、ユーザは、第２観察画像において、第１画像２１と異なるフェーズにおいて、被検体内部が変形することにより観察画像がどのように変化するかを確認できる。また、互いに異なる呼吸フェーズや拍動フェーズに対応する第１観察画像３１と第２観察画像３２を生成して表示した場合には、手術中などに被検体の呼吸による被検体内部の臓器などの変形が生じても、互いに異なるフェーズの両方で被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。また、第１画像と第２画像が、互いに異なる姿勢における被検体を表している場合にも、互いに異なる姿勢の被検体に対応する第１観察画像３１と第２観察画像３２を生成して表示することによって、姿勢の違いによる被検体内部の臓器などの変形が生じても、互いに異なる姿勢における被検体内部への挿入位置、先端位置、挿入向きが適切であるかを容易かつ正確に判断可能な有用な情報を提供することができる。

また、上記のように、第１の挿入位置Ｑ_Ａ１における第１画像２１の体表Ｓの法線ベクトルＴ_Ａ１と第１の挿入ベクトルＶ_Ａ１とのなす角度が、第２の挿入位置Ｑ_Ａ２における第２画像２２の体表Ｓの法線ベクトルＴ_Ａ２と第２の挿入向きＶ_Ａ２とのなす角度と等しくなるように、第２の挿入向きＶ_Ａ２を決定した場合には、異なるフェーズにおいて、仮想内視鏡装置Ｍ１の挿入位置における被検体の体表Ｓに対する挿入角度が同じになるように、第２観察条件を決定することできる。このため、生成された第２観察画像を参考にすることにより、第１画像２１の対応フェーズと第２画像２２の対応フェーズにおいて、被検体の体表Ｓに対する挿入角度を一致させた場合の、体腔内部の様子を観察することができる。

また、上記のように、第２の先端位置Ｐ_Ａ２と第２の挿入位置Ｑ_Ａ２を結ぶ線分（仮想内視鏡装置などの医療器具の硬性挿入部に相当する部分）が第２画像２２中に含まれる解剖学的構造物と許容できない距離以下に近接しているか否かを判定する判定部１６を備えた場合には、手術シミュレーションなどにおいて、医療器具の硬性挿入部の配置や挿入経路が適切であるかを判断する有用な情報を提供することができる。また、出力部１５が、近接部が存在する場合に、警告表示や警告音などの警告を出力することにより、ユーザに適切に注意を喚起することができる。また、近接部分を識別表示した場合には、より容易かつ正確にユーザに近接部分の存在と位置を把握させることができる。

また、複数の医療器具を用いる内視鏡下手術において、硬性内視鏡装置で処置部を観察しつつ、メスやニードルなどの硬性処置具を用いて所望の処置を実施する場合もある。このような場合には、硬性内視鏡装置と硬性処置具のそれぞれに挿入口を設け、それぞれの挿入口から所望の手術器具を適切な位置まで挿入して所望の観察および処置が実施される。このため、上記第１の実施形態を変形した第２実施形態として、観察条件決定部１３は第１画像２１におけるそれぞれ異なる複数の第１観察条件が設定されている場合、複数の第１観察条件に対応する複数の第２観察条件をそれぞれ決定することが好ましい。以下、第２の実施形態について説明する。

また、第２実施形態において、観察条件決定部１３は第１画像２１におけるそれぞれ異なる複数の第１観察条件が設定されている場合、複数の第１観察条件に対応する複数の第２観察条件をそれぞれ決定し、画像生成部１４が複数の第１観察条件にそれぞれ対応する複数の第１観察画像３１と複数の第２観察条件にそれぞれ対応する複数の第２観察画像３２を生成し、出力部１５が生成された複数の第１観察画像３１と複数の第２観察画像３２を表示装置３に出力し、表示装置３が複数の第１観察画像３１と複数の第２観察画像３２を表示する点において第１の実施形態と相違する。またこれらの相違点以外は、画像処理装置１の各部の基本的な機能や構成は共通しており、図５に示す画像処理の流れも共通しているため、図５を用いて第２実施形態の処理の流れを説明し、第２実施形態と第１実施形態の各部の共通の構成、機能、処理については説明を省略し、第２実施形態と第１実施形態の相違部分を中心に説明する。

第２実施形態において、第１画像２１と第２画像２２の取得処理（図５に示すＳ１）と変形情報取得処理（図５に示すＳ２）は第１の実施形態と共通する。図５に示すＳ３の処理について、第２の実施形態における観察条件決定部１３は、第１の実施形態と同様にユーザ入力に応じて複数の第１観察条件を取得する。

図５に示すＳ４の処理について、第２の実施形態における観察条件決定部１３は、複数の第１の観察条件を取得し、第１の実施形態と同様に、それぞれの第１の観察条件ごとに対応する第２の観察条件を決定する。図４に互いに異なる２つの第１観察条件が設定されている例を示す。例えば、Ｍ１が仮想内視鏡装置を示し、Ｍ２がメスなどの他の処置具を示すものと考えることができる。図４を用いて説明すると、観察条件決定部１３は、第１の実施形態と同様に、第１画像２１における第１の挿入位置Ｑ_Ａ１、第１の先端位置Ｐ_Ａ１に基づいて、第２画像２２における第２の挿入位置Ｑ_Ａ２と第２先端位置Ｐ_Ａ２を決定し、第１の挿入位置Ｑ_Ｂ１と第１の先端位置Ｐ_Ｂ１についても、第１の実施形態と同様に、第１画像２１における第１の挿入位置Ｑ_Ｂ１、第１の先端位置Ｐ_Ｂ１に基づいて、第２画像２２における第２の挿入位置Ｑ_Ｂ２と第２先端位置Ｐ_Ｂ２を決定する。

詳細には、観察条件決定部１３は、第１の挿入位置Ｑ_Ｂ１に対応する第２画像２２の第２の挿入位置Ｑ_Ｂ２を特定し、第１の挿入位置Ｑ_Ｂ１における体表Ｓの法線ベクトルＴ_Ｂ１と第２の挿入位置Ｑ_Ｂ２における体表Ｓの法線ベクトルＴ_Ｂ２を取得する。そして、第２画像２２における第２の挿入ベクトルＶ_Ｂ２と法線ベクトルＴ_Ｂ２とのなす角θ_Ｂ２が、第１画像２１における第１の挿入ベクトルＶ_Ｂ１と法線ベクトルＴ_Ｂ１のなす角θ_Ｂ１と等しくなるように、第２の挿入ベクトルＶ_Ｂ２を決定する。そして、第２の挿入位置Ｑ_Ｂ２から、第２の挿入ベクトルＶ_Ｂ２の向きに第１の挿入位置Ｑ_Ｂ１と第１の先端位置Ｐ_Ｂ１との距離Ｄ_Ｂ１離間した位置を第２の先端位置Ｐ_Ｂ２として決定する。また、観察条件決定部１３は、第１の実施形態と同様に、第１の挿入ベクトルＶ_Ａ１に対する第１の撮影向きとの相対的な関係が、第２の挿入ベクトルＶ_Ａ２に対する第２の撮影向きとの相対的な関係と等しくなるように、第２の撮影向きを決定する。以上により、観察条件決定部１３は、図４において、θ_Ｂ１＝θ_Ｂ２、Ｄ_Ｂ１＝Ｄ_Ｂ２となるように第２の先端位置Ｐ_Ｂ２を決定する。観察条件決定部１３は、さらなる第１観察条件が存在する場合にも、同様に対応する第２観察条件を決定する。

図５に示すＳ５の処理について、第２の実施形態における画像生成部１４は、複数の第１観察条件にそれぞれ対応する複数の第１観察画像を第１画像２１からそれぞれ生成する。図５に示すＳ６の処理について、第２の実施形態における画像生成部１４は、複数の第２観察条件にそれぞれ対応する複数の第２観察画像（第２画像２２から生成された画像または変形第１画像２１Ａから生成された画像）をそれぞれ生成する。そして、図５に示すＳ７の処理について、出力部１５は、生成された複数の第２観察条件に対応する第２観察画像をそれぞれ表示装置３に出力して表示画面に表示させる。なお、画像生成部１４と出力部は、複数の第１観察画像３１と複数の第２観察画像３２の全てについて画像生成処理と画像出力処理を行ってもよく、複数の第１観察画像３１と複数の第２観察画像３２の一部についてのみ画像生成処理と画像出力処理を行ってもよい。

図５に示すＳ８、Ｓ９の処理について、第２の実施形態における判定部１６は、複数の第２観察条件に対して個々に第２の挿入位置から第２の先端位置までを結ぶ線分（判定対象線分）が被検体内に含まれる解剖学的構造物と所定距離以下であるかを判定して、複数の判定対象線分のうち近接部分が存在するものがある場合には（図５に示すＳ８、ＹＥＳ）、近接部分をそれぞれ色分けして識別表示することにより警告表示する（図５に示すＳ９）。この場合には、複数の挿入位置のそれぞれ挿入される手術器具がそれぞれ臓器に対して適切に離間して配置されているかを容易かつ効率良く把握することができる。なお、判定部１６は、複数の判定対象線分のうちの一部についてのみ警告表示をするようにしてもよく、警告表示を行わなくてもよい。

第２の実施形態のように、生成された複数の第２観察条件にそれぞれ対応する複数の第２観察画像をそれぞれ表示装置３に出力して表示画面に表示させることにより、第１画像２１と第２画像２２にフェーズに応じた被検体内部の変形がある場合にも、硬性挿入部を有する複数の医療器具にそれぞれ対応する複数の挿入位置と挿入位置からの挿入深さや挿入向きが適切に設定されているかを容易かつ効率良く把握することができる。また、内視鏡下手術において、手術の処置目的や処置方法に応じて、硬性内視鏡装置によって複数の処置部の観察または複数の角度から１つの処置部を観察するために、硬性内視鏡装置を複数の挿入口に差し替えて処置部の観察を行う場合がある。このような場合に、複数の第２観察画像を参照することにより、複数の挿入口のそれぞれに対して、硬性内視鏡装置の複数の挿入位置と挿入位置からの挿入深さや挿入向きを対応させて、処置対象に対する距離や観察範囲などを確認することができる。

また、第２の実施形態において、画像生成部１４は、第２画像２２または変形第１画像２１Ａから、複数の第２観察条件にそれぞれ対応する複数の第２の挿入位置及び複数の第２の先端位置を視認可能に被検体を表した他の擬似３次元画像をさらに生成し、出力部１５は生成された擬似３次元画像を表示装置３に出力して表示画面に表示させてもよい。医師らは、第２画像２２に対応するフェーズにおける、複数の第２観察条件にそれぞれ対応する複数の第２の挿入位置及び複数の第２の先端位置を視認可能に被検体を表した擬似３次元画像を観察することにより、第２画像２２に対応するフェーズにおける被検体内部の変形状態と、複数の第２観察条件にそれぞれ対応する硬性挿入部を有する手術器具の相対的な配置を容易に把握でき、複数の挿入位置と挿入位置からの挿入深さや挿入向きが適切な位置および向きに配置されているかを容易かつ効率良く判断するために有効な情報を得ることができる。

また、画像処理装置１に入力される画像は２つには限定されず、３以上の画像を画像処理装置１に入力してもよい。例えば３つの画像（第１〜第３画像）を画像処理装置１に入力する場合、画像取得部１１は、第１〜第３画像を取得し、変形情報取得部１２は第１画像と第２画像とで位置合せを行うと共に、第１画像と第３の画像とで位置合せを行えばよい。また、観察条件決定部１３は、第２画像と第３画像の双方において、第１画像において設定された第１観察条件にそれぞれ対応する第２観察条件（第１の先端位置に対応する第２の先端位置、第１の挿入位置に対応する第２の挿入位置）と第３観察条件（第１の先端位置に対応する第３の先端位置、第１の挿入位置に対応する第３の挿入位置）を求めればよい。画像生成部１４は、第２画像から第２観察条件に基づく第２観察画像を生成し、第３画像から第３観察条件に基づく第３観察画像を生成すればよい。また、出力部１５は、第２観察画像および第３観察画像を表示装置３に出力すればよい。また、判定部１６は、第２観察条件（第１の先端位置に対応する第２の先端位置、第１の挿入位置に対応する第２の挿入位置）に基づいて、第２の先端位置と第２の挿入位置を結ぶ判定対象線分について、被検体の解剖学的構造物と所定の閾値以下であるか否かを判定し、第３観察条件（第１の先端位置に対応する第３の先端位置、第１の挿入位置に対応する第３の挿入位置）に基づいて、第３の先端位置と第３の挿入位置を結ぶ判定対象線分について、被検体の解剖学的構造物と所定の閾値以下であるか否かを判定すればよい。

上記各実施形態において、変形情報取得処理（Ｓ２）と第１観察条件取得処理（Ｓ３）の処理の順番を入れ替えてもよい。また、各実施形態において、Ｓ８およびＳ９の処理を省略し、画像処理装置１が判定部１６を備えない構成としてもよい。第１観察画像生成処理（Ｓ５）は、第１観察条件取得処理（Ｓ３）の後で第１観察画像表示処理（Ｓ７）の前であれば任意のタイミングで実施してよく、第１観察画像の生成処理（Ｓ５）と第１観察画像の表示処理とを省略してもよい。

以上、本発明をその好適な実施形態に基づいて説明したが、本発明の画像処理装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

１ 画像処理装置
２ 入力装置
３ 表示装置
４ 記憶装置
１０ 画像処理ワークステーション
１１ 画像取得部
１２ 変形情報取得部
１３ 観察条件決定部
１４ 画像生成部
１５ 出力部
１６ 判定部
２１ 第１画像
２１Ａ 変形第１画像
２２ 第２画像
３１ 第１観察画像
３２ 第２観察画像
Ｍ１ 硬性内視鏡装置（手術器具）
Ｐ_Ａ１ 第１の先端位置
Ｐ_Ａ２ 第２の先端位置
Ｑ_Ａ１ 第１の挿入位置
Ｑ_Ａ２ 第２の挿入位置
Ｖ_Ａ１ 第１の挿入向き
Ｖ_Ａ２ 第２の挿入向き

Claims (12)

1. 互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得部と、
   前記第１画像と前記第２画像の対応する位置を互いに位置合わせするように前記第１画像を変形する変形情報を取得する変形情報取得部と、
   前記第１画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、前記手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、該第１観察条件と前記変形情報に基づいて、前記第１の挿入位置に対応する前記第２画像の位置である第２の挿入位置を特定し、前記第１の挿入位置から前記第１の先端位置に向かう第１の挿入向きに対応する向きが、前記第２の挿入位置から前記第２画像において前記手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定する観察条件決定部と、
   前記第２観察条件に基づいて、前記第１画像を前記変形情報に基づいて変形した変形第１画像または前記第２画像から、前記第２の先端位置を視点とし、前記第２の先端位置から前記被検体の内部を可視化した第２観察画像を生成する画像生成部とを備えたことを特徴とする画像処理装置。
2. 前記手術器具が内視鏡装置であり、
   前記観察条件決定部が、前記第１画像における前記第１の挿入向きと前記内視鏡装置の撮影向きである第１の撮影向きとの相対的な関係と、前記第２画像における前記第２の挿入向きと前記内視鏡装置の撮影向きである第２の撮影向きとの相対的な関係が等しくなるように前記第２の撮影向きを特定し、
   前記前記画像生成部が、前記第２の先端位置から、前記第２の撮影向きに前記被検体の内部を可視化することにより前記第２観察画像を生成することを特徴とする請求項１記載の画像処理装置。
3. 前記観察条件決定部が、前記第１の挿入位置と前記第１の先端位置との間の距離が前記第２の挿入位置と前記第２の先端位置との間の距離と等しくなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定することを特徴とする請求項１または２記載の画像処理装置。
4. 前記観察条件決定部は、前記第１画像に含まれる所定のランドマークの向きと前記第１の挿入向きとなす角度と、前記第２画像に含まれる前記所定のランドマークに対応するランドマークの向きと前記第２の挿入向きとのなす角度が等しくなるように前記第２の挿入向きを特定することにより、前記第１の挿入向きに対応する向きが前記第２の挿入向きとなるように前記第２の挿入向きを特定することを特徴とする請求項３記載の画像処理装置。
5. 前記観察条件決定部が、前記第１の先端位置と対応する前記第２画像の位置を前記第２の先端位置として特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定することを特徴とする請求項１または２記載の画像処理装置。
6. 前記観察条件決定部が、前記第１画像から、複数の前記第１観察条件を取得し、該複数の第１観察条件と前記変形情報に基づいて、前記複数の第１観察条件のそれぞれに対応する複数の前記第２観察条件を決定することを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
7. 前記第１画像と前記第２画像が、呼気フェーズと吸気フェーズにおける前記被検体をそれぞれ表していることを特徴とするものであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第１画像と前記第２画像が、互いに異なる心臓の拍動フェーズにおける前記被検体をそれぞれ表していることを特徴とするものであることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
9. 前記第１画像と前記第２画像が、互いに異なる姿勢における前記被検体を表していることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
10. 前記第２の挿入位置と前記第２の先端位置を結ぶ線分が前記第２画像中に含まれる解剖学的構造物と所定距離以下であるか否かを判定する判定部をさらに備えたことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 画像処理装置の作動方法であって、
    互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得ステップと、
    前記第１画像と前記第２画像の対応する位置を互いに位置合わせするように前記第１画像を変形する変形情報を取得する変形情報取得ステップと、
    前記第１画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、前記手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、該第１観察条件と前記変形情報に基づいて、前記第１の挿入位置に対応する前記第２画像の位置である第２の挿入位置を特定し、前記第１の挿入位置から前記第１の先端位置に向かう第１の挿入向きに対応する向きが、前記第２の挿入位置から前記第２画像において前記手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定する観察条件決定ステップと、
    前記第２観察条件に基づいて、前記第１画像を前記変形情報に基づいて変形した変形第１画像または前記第２画像から、前記第２の先端位置を視点とし、前記第２の先端位置から前記被検体の内部を可視化した第２観察画像を生成する画像生成ステップを有することを特徴とする画像処理装置の作動方法。
12. コンピュータに、
    互いに異なるフェーズにおける被検体の内部をそれぞれ表す、医用画像撮影装置を用いて撮影された３次元画像である第１画像と第２画像を取得する３次元画像取得ステップと、
    前記第１画像と前記第２画像の対応する位置を互いに位置合わせするように前記第１画像を変形する変形情報を取得する変形情報取得ステップと、
    前記第１画像から、前記被検体の体内に挿入される細長形状の硬性挿入部を有する手術器具の挿入位置である第１の挿入位置と、前記手術器具の先端部が位置する第１の先端位置とを第１観察条件として取得し、該第１観察条件と前記変形情報に基づいて、前記第１の挿入位置に対応する前記第２画像の位置である第２の挿入位置を特定し、前記第１の挿入位置から前記第１の先端位置に向かう第１の挿入向きに対応する向きが、前記第２の挿入位置から前記第２画像において前記手術器具の先端部が位置する第２の先端位置に向かう第２の挿入向きとなるように前記第２の先端位置を特定して、前記第２の挿入位置と前記第２の先端位置を第２観察条件として決定する観察条件決定ステップと、
    前記第２観察条件に基づいて、前記第１画像を前記変形情報に基づいて変形した変形第１画像または前記第２画像から、前記第２の先端位置を視点とし、前記第２の先端位置から前記被検体の内部を可視化した第２観察画像を生成する画像生成ステップを実行させることを特徴とする画像処理プログラム。