JP2019098005A - 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法 - Google Patents

Abstract

【課題】診断者又は術者に表示する観察対象組織の三次元モデルの視認性、整容性を向上させた内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法を提供する。【解決手段】内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、観察対象組織内の画像情報及び領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。【選択図】 図１

Description

本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法に関する。

内視鏡映像から管腔臓器の内腔形状を推定し、コンピュータ画面上にCG（コンピュータ・グラフィック）として表示することが、実現されている。

特許文献１には、左目用画像と右目用画像のそれぞれに対応する光を結像する左目用光学系１０１と右目用光学系１０２を備えると共に、これらの光学系を通して得られる２系統の光が単一の受光面に分かれて結像されるCMOSセンサ１１０を備える内視鏡スコープ２０１を備える三次元内視鏡装置が記載されている。

特開２０１３−９００３５号公報

従来の内視鏡画像処理技術においては、生成された三次元（３Ｄ）モデルの視認性や整容性に課題があった。

本発明は、上記課題を解決しようとするものであり、内視鏡観察対象組織の三次元モデルを表示する場合に、表示する三次元モデルの視認性、整容性を向上させた内視鏡画像処理方法および内視鏡システムを提供することを目的とするものである。

上記課題を解決するために、本発明の一つの観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。

また、本発明の他の観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を表示しない観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。

また、本発明の他の観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。

また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡カメラにより取得された観察対象組織内の画像情報及び信頼性算出部により算出された領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を備えるものとした。

また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び信頼性算出部により算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を有するものとした。

また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び信頼性算出部により算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を備えるものとした。

また、本発明の他の観点によれば、内視鏡画像処理方法を、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップとと、を有するものとした。

本発明によれば、診断者又は術者に表示する三次元モデルの視認性、整容性を向上させた内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法を提供することができる。

本実施例による内視鏡画像処理方法を示す図である。 本実施例の検証に使用したファントムの形状と内視鏡の操作手順を示す図である。 本実施例により補正を行う前の三次元モデルを示す図である。 本実施例による補正を行った後の三次元モデルを示す図である。

以下、本発明の実施形態の例及び実施例を説明するが、本発明の実施形態は以下に説明する実施形態及び実施例に限定されるものではない。

１．信頼性の低い部分の非表示
従来技術によって生成されるモデルを構成する制御点は、入力となった内視鏡映像のどのフレームのどの点あるいは領域の情報によって構成されたか、対応関係が保存されている。

この対応関係に基づいて、元の入力データの信頼性の低い部分は、推定結果としてのモデル形状の信頼性も低いので、この部分を表示すると、診断者又は術者に対象組織の構造に誤解が生じ、又は正確な構造を把握するのに時間がかかる恐れがある。したがって、CGの基本的な技術であるアルファブレンド等を用いて、対応する領域を非表示にし、表示された臓器形態の信頼性を担保する。

２．表示モデルの平滑化
従来技術の形状推定法においては、内視鏡映像と同期して内視鏡先端の位置姿勢情報を取得することが前提となっている。

この位置情報の経時的ローパスフィルタ（例えば、中央値フィルタと移動平均フィルタの組み合わせ）を適用することにより、形状推定結果の整容性を向上することが可能である。

また、CGとしてモデルを出力する前段にも、メッシュデータの平滑化処理を適用することで、形状推定結果の整容性を向上することが可能である。

本実施例の画像処理手順を図１に示す。

１０１はパノラマ画像生成ステップである。本ステップでは、内視鏡画像の選別を行う。内視鏡画像全体の平均輝度を計算し、平均輝度が0.9以上及び0.1以下の領域は、信頼性が低い部分（Low quality）と判断する。MotionのQuality termに100.0(ExplicitLowQualityValue)を代入する。

１０２は、頂点データ生成ステップである。本ステップでは、Alpha cut値の指定を行う、すわなち、ExplicitLowQualityValueの条件下で、当該ピクセルを強制的に透過させる。

また、位置姿勢データを平滑化させる。すなわち、pos、dir、upそれぞれに対し、window size = 5のメディアンフィルタ１回と移動平均フィルタを２回施行する。

さらに、Surfaceデータを平滑化する。すなわち、8近傍の平滑化フィルタを１回施行する。

１０３は、レンダリングステップである。本ステップでは、部分形状レンダリングの条件を設定する。具体的には、MotionのLowQuality flagの３点以上継続しない部分について、レンダリングを実行する。

図２に示す形状のファントムに、図２に示す１、２、３の順序で内視鏡を操作して撮影した場合の二次元映像を取得した。

取得した二次元画像に基づいて三次元モデルを構築したものを図３に示す。図３の３０１は、位置センサ情報にノイズが生じている領域であり、実際のファントムの形状とは異なる表示がされている。３０２は、内視鏡の弾性による急峻な移動や、壁面に当たることによりハレーションが生じてる部分であり、この部分は実際には組織が存在しない領域に、組織が存在するものとして表示されている。

図４は、本実施例の情報処理を施して構築した三次元モデルを表示したものである。図３で誤って表示されていた３０１の領域は、４０１では平滑化され、現実の組織に近い形状で表示されている。また、図３で、組織が存在しない領域に表示されていた３０２の部分は、信頼性が低い部分と判断され、４０２では非表示とされている。

以上、本実施例によって三次元画像を表示すれば、診断者又は術者の観察対象組織の構造に関する誤解が低減されることが確認できた。

本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法として産業上利用可能である。

１０１ パノラマ画像生成ステップ
１０２ 頂点データ生成ステップ
１０３ レンダリングステップ
３０１ 位置センサ情報のノイズが生じている領域
３０２ ハレーションが生じている領域
４０１ 平滑化した領域
４０２ 非表示とした領域

Claims (7)

1. コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
   前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
   前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
   前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
   前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
   を実行させるための内視鏡画像処理プログラム。
2. コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
   前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
   前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
   前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を表示しない観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
   前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
   を実行させるための内視鏡画像処理プログラム。
3. コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
   前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
   前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
   前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
   前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
   を実行させるための内視鏡画像処理プログラム。
4. 観察対象組織内の画像情報を取得する内視鏡カメラと、
   前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
   前記輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
   前記内視鏡カメラにより取得された観察対象組織内の画像情報及び前記信頼性算出部により算出された前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
   前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
   を備える内視鏡システム。
5. 観察対象組織内の画像情報を取得する内視鏡カメラと、
   前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
   前記輝度情報算出部により算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
   前記内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び前記信頼性算出部により算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
   前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
   を有する内視鏡システム。
6. 観察対象組織内の画像情報を取得する内視鏡カメラと、
   前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
   前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
   前記内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び前記信頼性算出部により算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
   前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
   を備える内視鏡システム。
7. 内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、
   前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
   前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
   前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
   前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
   を有する内視鏡画像処理方法。