WO2024029502A1

WO2024029502A1 - 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Info

Publication number: WO2024029502A1
Application number: PCT/JP2023/028001
Authority: WO
Inventors: 弘泰齊賀; 達木村
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2022-08-01
Filing date: 2023-07-31
Publication date: 2024-02-08
Anticipated expiration: 2025-02-01
Also published as: US20240081614A1; US20250090236A1; JP7768398B2; US20240122444A1; JPWO2024029502A1; WO2024028934A1

Abstract

内視鏡検査支援装置において、画像取得手段は、内視鏡の抜去時の撮影画像を取得する。姿勢変化推定手段は、前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定する。距離推定手段は、撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定する。腸管方向推定手段は、姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定する。計算手段は、前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算する。出力手段は、前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する。ユーザの意思決定などの支援に用いることができる。

Description

内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

　本開示は、内視鏡検査に関する画像の処理に関する。

　内視鏡スコープには弾性があり、かつ大腸自体は柔らかく複雑な形状をしているため、医師が内視鏡スコープを操作する際、想定外の位置へ内視鏡カメラが移動し、内視鏡カメラが大腸の壁に接近することがある。これにより、大腸表面において観察できていない領域が発生し、病変の見逃しに繋がる可能性がある。特許文献１では、医療用内視鏡等を被挿入体に挿入する際、推奨する挿入操作の方法を提示する挿入システムを提供することを提案している。

国際公開ＷＯ２０１８／０６９９９２号公報

　しかし、特許文献１は、内視鏡の挿入操作の方法の提示であり、内視鏡の抜去時に、臓器の観察を適切に行えるような内視鏡カメラの方向を提示できるわけではない。

　本開示の１つの目的は、内視鏡検査において、観察に適した内視鏡カメラの方向を提示することにある。

　本開示の一つの観点では、内視鏡検査支援装置は、
　内視鏡の抜去時の撮影画像を取得する画像取得手段と、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定する姿勢変化推定手段と、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定する距離推定手段と、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定する腸管方向推定手段と、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算する計算手段と、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する出力手段と、
を備える。

　本開示の他の観点では、内視鏡検査支援方法は、
　内視鏡の抜去時の撮影画像を取得し、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定し、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定し、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定し、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算し、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する。

　本開示のさらに他の観点では、記録媒体は、
　内視鏡の抜去時の撮影画像を取得し、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定し、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定し、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定し、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算し、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する処理をコンピュータに実行させるプログラムを記録する。

　本開示によれば、内視鏡検査において、観察に適した内視鏡カメラの方向を提示することが可能となる。

内視鏡検査システムの概略構成を示すブロック図である。内視鏡検査支援装置のハードウェア構成を示すブロック図である。内視鏡検査支援装置の機能構成を示すブロック図である。内視鏡カメラを向けるべき方向の一例を示す。計算結果の表示例を示す図である。計算結果の他の表示例を示す図である。計算結果の他の表示例を示す図である。計算結果の他の表示例を示す図である。内視鏡検査支援装置による内視鏡カメラの方向計算処理のフローチャートである。第２実施形態の内視鏡検査支援装置の機能構成を示すブロック図である。第２実施形態の内視鏡検査支援装置による処理のフローチャートである。

　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［システム構成］
　図１は、内視鏡検査システム１００の概略構成を示す。内視鏡検査システム１００は、内視鏡を利用した検査（治療を含む）の際に、腸管方向と内視鏡カメラの方向を推定する。そして、内視鏡検査システム１００は、内視鏡カメラの方向が、腸管方向に向いていない場合は、内視鏡カメラを腸管方向に向けるよう方向の提示を行う。医師は、内視鏡検査システム１００の提示に従い、内視鏡カメラを腸管方向に向けることで、腸管全体が観察できるようになる。これにより、観察できない領域を削減することができる。

　図１に示すように、内視鏡検査システム１００は、主に、内視鏡検査支援装置１と、表示装置２と、内視鏡検査支援装置１に接続された内視鏡スコープ３と、を備える。

　内視鏡検査支援装置１は、内視鏡検査中に内視鏡スコープ３が撮影する映像（即ち、動画。以下、「内視鏡映像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、内視鏡検査の検査者が確認するための表示データを表示装置２に表示させる。具体的に、内視鏡検査支援装置１は、内視鏡検査中に、内視鏡スコープ３により撮影された大腸の動画を内視鏡映像Ｉｃとして取得する。内視鏡検査支援装置１は、内視鏡映像Ｉｃからフレーム画像を抽出し、フレーム画像を基に、大腸の表面と内視鏡カメラとの距離（以下、「深度」とも呼ぶ。）と、内視鏡カメラの相対的な姿勢の変化と、を推定する。そして、内視鏡検査支援装置１は、深度と、内視鏡カメラの相対的な姿勢の変化とを基に、大腸の腸管の３次元復元を行い、腸管方向を推定する。内視鏡検査支援装置１は、腸管方向と、内視鏡カメラの相対的な姿勢と、に基づいて、内視鏡カメラを向けるべき方向を推定する。

　表示装置２は、内視鏡検査支援装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。

　内視鏡スコープ３は、主に、検査者が送気、送水、アングル調整、撮影指示などの入力を行うための操作部３６と、被検者の検査対象となる臓器内に挿入され、柔軟性を有するシャフト３７と、超小型撮影素子などの内視鏡カメラを内蔵した先端部３８と、内視鏡検査支援装置１と接続するための接続部３９とを有する。

　［ハードウェア構成］
　図２は、内視鏡検査支援装置１のハードウェア構成を示す。内視鏡検査支援装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、データベース（以下、「ＤＢ」と記す。）１７と、を含む。これらの各要素は、データバス１９を介して接続されている。

　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。なお、プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。

　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び内視鏡検査支援装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリやディスク媒体などの記憶媒体を含んでもよい。メモリ１２には、内視鏡検査支援装置１が本実施形態における各処理を実行するためのプログラムが記憶される。

　また、メモリ１２は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の内視鏡映像Ｉｃを一時的に記憶する。

　インターフェース１３は、内視鏡検査支援装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示データＩｄを表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する照明光を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される内視鏡映像Ｉｃを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。

　入力部１４は、検査者の操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。

　ＤＢ１７は、被検者の過去の内視鏡検査により取得された内視鏡映像などを記憶している。ＤＢ１７は、内視鏡検査支援装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ１７を内視鏡検査システム１００内に備える代わりに、外部のサーバなどにＤＢ１７を設け、通信により当該サーバから関連情報を取得するようにしてもよい。

　なお、内視鏡検査支援装置１は、磁気式センサなど、内視鏡カメラの回転および並進を計測可能なセンサを備えていてもよい。

　［機能構成］
　図３は、内視鏡検査支援装置１の機能構成を示すブロック図である。内視鏡検査支援装置１は、機能的には、インターフェース１３と、深度推定部２１と、カメラ姿勢推定部２２と、３次元復元部２３と、操作方向推定部２４と、病変検知部２５と、表示画像生成部２６と、を含む。

　内視鏡検査支援装置１には、内視鏡スコープ３から内視鏡映像Ｉｃが入力される。内視鏡映像Ｉｃは、インターフェース１３へ入力される。インターフェース１３は、入力された内視鏡映像Ｉｃからフレーム画像（以下、「内視鏡画像」とも呼ぶ。）を抽出し、深度推定部２１と、カメラ姿勢推定部２２と、病変検知部２５へ出力する。また、インターフェース１３は、入力された内視鏡映像Ｉｃを、表示画像生成部２６へ出力する。

　深度推定部２１には、インターフェース１３から内視鏡画像が入力される。深度推定部２１は、予め用意された画像認識モデルなどを用いて、入力された内視鏡画像から深度を推定する。そして、深度推定部２１は、推定した深度を３次元復元部２３へ出力する。

　カメラ姿勢推定部２２には、インターフェース１３から内視鏡画像が入力される。カメラ姿勢推定部２２は、例えば、時間的に連続した２枚の内視鏡画像を用いて、１枚目の内視鏡画像の撮影地点から２枚目の内視鏡画像の撮影地点への内視鏡カメラの回転及び並進（即ち、内視鏡カメラの相対的な姿勢の変化。以下、単に「カメラ姿勢変化」とも呼ぶ。）を推定する。そして、カメラ姿勢推定部２２は、推定した内視鏡カメラのカメラ姿勢変化を３次元復元部２３へ出力する。例えば、カメラ姿勢推定部２２は、予め用意された画像認識モデルなどを用いて、入力された内視鏡画像からカメラ姿勢変化を推定する。なお、カメラ姿勢推定部２２は、磁気式センサなどの計測データを用いて、内視鏡カメラの相対的な姿勢の変化を推定するようにしてもよい。

　ここで、深度推定部２１及びカメラ姿勢推定部２２が用いる画像認識モデルは、内視鏡画像から深度及びカメラ姿勢変化を推定するように予め学習された機械学習モデルである。これらを、「深度推定モデル」及び「カメラ姿勢推定モデル」とも呼ぶ。深度推定モデル及びカメラ姿勢推定モデルは、いわゆる教師あり学習によって生成することができる。

　深度推定モデルの学習には、例えば、内視鏡画像に正解ラベルとして深度を付与した教師データなどが用いられる。学習に用いられる内視鏡画像と深度は、内視鏡に備え付けられた内視鏡カメラとＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサなどから事前に収集される。即ち、内視鏡カメラにより撮影されたＲＧＢ画像と、深度とのペアを教師データとして作成し、その教師データを用いて学習を行う。

　また、カメラ姿勢推定モデルの学習には、例えば、内視鏡画像に正解ラベルとしてカメラの姿勢変化を付与した教師データなどが用いられる。この場合、カメラの姿勢変化は、磁気式センサなど、回転及び並進を検出できるセンサを使用して取得することができる。即ち、内視鏡カメラにより撮影されたＲＧＢ画像と、カメラの姿勢変化とのペアを教師データとして作成し、その教師データを用いて学習を行う。

　深度推定モデル及びカメラ姿勢推定モデルの学習に用いる教師データは、ＣＧ（ｃｏｍｐｕｔｅｒ　ｇｒａｐｈｉｃｓ）を利用した内視鏡のシミュレーション映像から作成してもよい。これにより、大量の教師データを高速に作成することができる。機械学習装置が教師データを用いて、内視鏡画像と、深度及びカメラ姿勢変化との関係を学習することで、深度推定モデル及びカメラ姿勢推定モデルが生成される。

　また、深度推定モデル及びカメラ姿勢推定モデルは、自己教師あり学習により生成してもよい。例えば、自己教師あり学習では、運動視差を利用して教師データを作成する。具体的に、自己教師あり学習では、内視鏡画像Ｉ_ｉと内視鏡画像Ｉ_ｊのペア画像と、内視鏡画像Ｉ_ｉから深度を推定するＤｅｐｔｈ　ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）と、内視鏡画像Ｉ_ｉと内視鏡画像Ｉ_ｊから相対姿勢を推定するＰｏｓｅ　ＣＮＮと、を用意する。そして、それぞれが推定した深度と相対姿勢とを基に、内視鏡画像Ｉ_ｉから内視鏡画像Ｉ_ｊを再構成する（これを「内視鏡画像Ｉ_ｉ→ｊ」とも呼ぶ。）。そして、再構成した内視鏡画像Ｉ_ｉ→ｊと、実際の内視鏡画像Ｉ_ｊとの差分を損失としてモデルの学習を行う。

　３次元復元部２３は、深度推定部２１から入力された深度と、カメラ姿勢推定部２２から入力された内視鏡カメラの相対的な姿勢の変化と、に基づいて、腸管の３次元復元処理を行い、腸管方向を推定する。そして、３次元復元部２３は、３次元モデルと、腸管方向と、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラの位置と、を操作方向推定部２４へ出力する。

　操作方向推定部２４には、３次元復元部２３から、３次元モデルと、腸管方向と、内視鏡カメラの相対的な姿勢変化と、が入力される。そして、操作方向推定部２４は、腸管方向と、内視鏡カメラの相対的な姿勢の変化と、に基づいて、内視鏡カメラを向けるべき方向を計算する。そして、操作方向推定部２４は、３次元モデルと、内視鏡カメラの相対的な姿勢の変化と、内視鏡カメラを向けるべき方向と、を表示画像生成部２６へ出力する。

　図４は、内視鏡カメラを向けるべき方向の一例を示す。図４では、ＸＹＺ座標上に、腸管の３次元モデル３１と、腸管方向３２と、内視鏡カメラ方向３３とが示されている。３次元モデル３１は、３次元復元部２３が３次元復元した腸管のモデルであり、腸管の詳細な３次元構造を含む。但し、図４では、説明の便宜上、３次元モデル３１を円筒形に近似して示している。腸管方向３２は、腸管の長さ方向又は軸方向であり、腸管の３次元モデル３１に基づいて推定される。内視鏡カメラ方向３３は、内視鏡カメラのレンズの方向、即ち撮影方向である。

　図４において、操作方向推定部２４は、腸管方向３２と内視鏡カメラ方向３３のなす角、即ち、腸管方向３２に対する内視鏡カメラ方向３３のずれ角θを計算する。そして、操作方向推定部２４は、ずれ角θが所定の閾値以上の場合は、内視鏡カメラが腸壁を向いていると判定する。操作方向推定部２４は、内視鏡カメラが腸壁を向いていると判定した場合は、内視鏡カメラの方向が、腸管の方向と一致するよう（ずれ角θがゼロになるよう）、内視鏡カメラを向けるべき方向を計算し、表示画像生成部２６へ出力する。

　病変検知部２５には、インターフェース１３から内視鏡画像が入力される。そして、病変検知部２５は、予め用意された画像認識モデルなどを用いて、内視鏡画像から病変候補を検知し、検知した病変候補を含む病変候補画像を生成する。病変検知部２５は、病変候補画像上の病変候補を楕円などで囲い、表示画像生成部２６へ出力する。

　表示画像生成部２６は、操作方向推定部２４及び病変検知部２５から入力された、３次元モデルと、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラを向けるべき方向と、病変候補画像と、を用いて表示データを生成し、表示装置２へ出力する。

　上記の構成において、インターフェース１３は画像取得手段の一例であり、深度推定部２１は距離推定手段の一例であり、カメラ姿勢推定部２２は姿勢変化推定手段の一例であり、３次元復元部２３は腸管方向推定手段の一例であり、操作方向推定部２４は計算手段の一例であり、表示画像生成部２６は出力手段の一例である。

　［表示例］
　次に、表示装置２による表示例を説明する。

　図５は、表示装置２による表示の一例である。この例では、表示装置２に、内視鏡映像４１と、病変履歴４２と、カメラ軌道４３と、カメラマーク４４と、腸管方向インジケータ４５と、病変方向インジケータ４６と、が表示されている。

　内視鏡映像４１は、検査中の内視鏡映像Ｉｃであり、内視鏡カメラの移動に伴い更新される。病変履歴４２は、内視鏡検査において検知された病変候補を示す画像であり、病変検知部２５から入力された病変候補画像が用いられる。病変検知部２５により検出された病変候補部位が楕円４２ａで示されている。なお、病変候補が複数個所で検知された場合は、病変履歴４２には、直近の病変候補の画像が表示される。

　カメラ軌道４３は、所定時間内における内視鏡カメラの軌道を示す。図５では、３次元の腸管モデル４３ａを筒状で表し、腸管モデル４３ａ上に所定の時間における内視鏡カメラの向きと位置を示すカメラマーク４４を重畳表示することでカメラの軌道を示している。カメラマーク４４は、異なるタイミングにおける内視鏡カメラの向き及び位置を模式的に示す。図５では、カメラマーク４４は円錐で表され、円錐の底面が内視鏡カメラのレンズ側を示している。また、カメラマーク４４は、時系列によって色分けされており、色が濃いほど、最新の内視鏡カメラの向きと位置であることを示す。なお、図５では、矢印で示すように、内視鏡カメラのカメラ方向が腸管方向から腸壁の方向へと変化していることを表している。

　腸管方向インジケータ４５は、内視鏡カメラが腸管方向を向くように、内視鏡カメラを向けるべき方向を提示する。腸管方向インジケータ４５は、内視鏡カメラが腸壁を向いている場合、具体的には、前述のずれ角θが所定の閾値以上である場合に表示される。図５では、内視鏡映像４１の左端及び上端に腸管方向インジケータ４５が表示されている。これにより、医師は、内視鏡カメラを左上に向けると、内視鏡カメラが腸管方向に向くことを知ることができる。なお、内視鏡カメラを向けるべき方向が右方向である場合には腸管方向インジケータ４５は内視鏡映像４１の右端に表示され、内視鏡カメラを向けるべき方向が下方向である場合には腸管方向インジケータ４５は内視鏡映像４１の下端に表示される。このように、内視鏡カメラが腸壁を向いている場合、内視鏡カメラを向けるべき方向に応じて、腸管方向インジケータ４５が内視鏡映像４１の上下端及び左右端の少なくとも一か所に表示される。

　一方、病変方向インジケータ４６は、内視鏡カメラが病変方向を向くように、内視鏡カメラを向けるべき方向を提示する。病変方向インジケータ４６は、病変候補が検知された場合に表示される。図５では、内視鏡映像４１の左端に病変方向インジケータ４６が表示されている。これにより、医師は、内視鏡カメラを左に向けると、内視鏡カメラが病変候補に向くことを把握できる。このように、病変候補が検知された場合、病変候補の位置に応じて、病変方向インジケータ４６が内視鏡映像４１の上下端及び左右端の少なくとも一か所に表示される。

　なお、表示画像生成部２６は、複数のカメラマーク４４の重なりがなるべく少ない方向から見た腸管モデル４３ａを表示するように、カメラ軌道４３の表示データを生成してもよい。例えば、図６の例では、腸管モデル４３ａを腸管方向から見た状態でカメラ軌道４３を表示している。このため、カメラマーク４４が重なってしまい、医師は、内視鏡カメラの軌道を適切に把握することができない。そこで、表示画像生成部２６は、主成分分析等を用いて、複数のカメラマーク４４が示すカメラ方向の分散が大きくなるような方向を決定し、その方向から腸管モデル４３ａを見た状態でカメラ軌道４３を表示する表示データを生成する。これにより、表示装置２は、図５のように、カメラマーク４４の重なりが少ない方向から見た腸管モデルにより、内視鏡カメラの軌道を適切に表示することができる。

　図７は、表示装置２による他の表示例を示す。この例は、腸管方向インジケータと、病変方向インジケータを矢印で表示した場合の例である。具体的に、図７では、内視鏡映像４１上に、腸管方向インジケータ４５ａと、病変方向インジケータ４６ａと、が表示されている。図７では、図５のように画面の上下端や左右端にインジケータを配置した場合に比べ、より詳細な方向を示すことが可能となる。

　図８は、表示装置２による他の表示例を示す。図６の例では、カメラの軌道を腸管モデル４３ａ上に表示している。これに対し、図８は、カメラの軌道を内視鏡画像上に表示した場合の例である。具体的に、図８のカメラ軌道４３ｘでは、内視鏡画像４３ｂ上に、所定の時間における内視鏡カメラの向きと位置を示すカメラマーク４４を重畳表示している。ここで、内視鏡画像４３ｂとしては、過去の理想的な撮影方向における内視鏡画像、例えば、内視鏡カメラが腸管方向を向いている状態で撮影された内視鏡画像が用いられる。また、図８のカメラ軌道４３ｘでは、カメラの軌道に加え、カメラの理想的な位置を、黒い円錐で表されたカメラマーク４４ａにより示している。この場合、図８に示す内視鏡画像４３ｂとして、カメラマーク４４ａが示す状態で撮影された内視鏡画像を用いることができる。図８の例では、実際の内視鏡画像上に内視鏡カメラの軌道を表示するので、医師は内視鏡カメラの理想的な位置を感覚的に把握しやすくなる。

　［判定処理］
　次に、上記のような表示を行う表示処理について説明する。図９は、内視鏡検査支援装置１による処理のフローチャートである。この処理は、図２に示すプロセッサ１１が予め用意されたプログラムを実行し、図３に示す各要素として動作することにより実現される。また、この処理は、内視鏡を利用した検査中、即ち、内視鏡スコープ３の抜去時に実行される。

　まず、内視鏡スコープ３からインターフェース１３に内視鏡映像Ｉｃが入力される。インターフェース１３は、入力された内視鏡映像Ｉｃから内視鏡画像を取得する（ステップＳ１１）。次に、深度推定部２１は、予め用意された画像認識モデルなどを用いて、内視鏡画像から、大腸の表面と内視鏡カメラとの距離を推定する（ステップＳ１２）。また、カメラ姿勢推定部２２は、時間的に連続した２枚の内視鏡画像から、内視鏡カメラの相対的な姿勢変化を推定する（ステップＳ１３）。次に、３次元復元部２３は、大腸の表面と内視鏡カメラとの距離と、内視鏡カメラの相対的な姿勢変化と、に基づいて、腸管の３次元復元処理を行い、腸管方向を推定する（ステップＳ１４）。そして、操作方向推定部２４は、内視鏡カメラの相対的な姿勢変化と、腸管方向と、に基づいて、内視鏡カメラを向けるべき方向を計算する（ステップＳ１５）。

　表示画像生成部２６は、３次元モデルと、内視鏡カメラの相対的な姿勢変化と、内視鏡カメラを向けるべき方向と、を用いて表示データを生成し、表示装置２へ出力する（ステップＳ１６）。こうして、図５等に示すような表示が行われる。なお、ステップＳ１３は、ステップＳ１２よりも前に実行されてもよく、ステップＳ１２と同時に実行されてもよい。

　これにより、ユーザの意思決定などの支援に用いることができる。

　＜第２実施形態＞
　図１０は、第２実施形態の内視鏡検査支援装置の機能構成を示すブロック図である。内視鏡検査支援装置７０は、画像取得手段７１と、姿勢変化推定手段７２と、距離推定手段７３と、腸管方向推定手段７４と、計算手段７５と、出力手段７６と、を備える。

　図１１は、第２実施形態の内視鏡検査支援装置による処理のフローチャートである。画像取得手段７１は、内視鏡の抜去時の撮影画像を取得する（ステップＳ７１）。姿勢変化推定手段７２は、撮影画像から内視鏡カメラの相対的な姿勢の変化を推定する（ステップＳ７２）。距離推定手段７３は、撮影画像から大腸の表面と内視鏡カメラとの距離を推定する（ステップＳ７３）。腸管方向推定手段７４は、内視鏡カメラの姿勢の変化と、大腸の表面と内視鏡カメラとの距離とに基づいて、大腸の腸管方向を推定する（ステップＳ７４）。計算手段７５は、腸管方向と内視鏡カメラの相対的な姿勢とに基づいて、内視鏡カメラを向けるべき方向を計算する（ステップＳ７５）。出力手段７６は、内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する（ステップＳ７６）。

　第２実施形態の内視鏡検査支援装置７０によれば、内視鏡検査において、観察に適した内視鏡カメラの方向を提示することが可能となる。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

　（付記１）
　内視鏡の抜去時の撮影画像を取得する画像取得手段と、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定する姿勢変化推定手段と、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定する距離推定手段と、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定する腸管方向推定手段と、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算する計算手段と、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する出力手段と、
を備える内視鏡検査支援装置。

　（付記２）
　前記内視鏡カメラを向けるべき方向は、腸管方向である付記１に記載の内視鏡検査支援装置。

　（付記３）
　前記姿勢変化推定手段は、内視鏡画像から深度及びカメラ姿勢変化を推定するように予め学習された機械学習モデルを用いて前記姿勢の変化を推定する付記１に記載の内視鏡検査支援装置。

　（付記４）
　前記内視鏡カメラを向けるべき方向は、腸管方向と病変方向であり、
　前記出力手段は、前記腸管方向と前記病変方向とを識別可能な態様で表示する表示画像を出力する付記１に記載の内視鏡検査支援装置。

　（付記５）
　前記腸管方向推定手段は、前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管のモデルを作成し、前記腸管のモデルに基づいて前記腸管方向を推定する付記１に記載の内視鏡検査支援装置。

　（付記６）
　前記出力手段は、前記姿勢の変化の軌跡を、前記腸管のモデル上に重畳表示した表示画像を出力する付記５に記載の内視鏡検査支援装置。

　（付記７）
　前記出力手段は、前記腸管のモデルを前記姿勢の変化の軌跡の重なりが少ない方向から見た表示画像を出力する付記６に記載の内視鏡検査支援装置。

　（付記８）
　前記出力手段は、前記姿勢の変化の軌跡と、前記内視鏡カメラを向けるべき方向を、前記撮影画像上に重畳表示した表示画像を出力する付記１に記載の内視鏡検査支援装置。

　（付記９）
　内視鏡の抜去時の撮影画像を取得し、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定し、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定し、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定し、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算し、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する内視鏡検査支援方法。

　（付記１０）
　内視鏡の抜去時の撮影画像を取得し、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定し、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定し、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定し、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算し、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。

　この出願は、２０２２年８月１日に出願された国際出願ＰＣＴ／ＪＰ２０２２／０２９４５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

　１　内視鏡検査支援装置
　２　表示装置
　３　内視鏡スコープ
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　２１　深度推定部
　２２　カメラ姿勢推定部
　２３　３次元復元部
　２４　操作方向推定部
　２５　病変検知部
　２６　表示画像生成部
　１００　内視鏡検査システム

Claims

　内視鏡の抜去時の撮影画像を取得する画像取得手段と、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定する姿勢変化推定手段と、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定する距離推定手段と、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定する腸管方向推定手段と、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算する計算手段と、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する出力手段と、
を備える内視鏡検査支援装置。
　前記内視鏡カメラを向けるべき方向は、腸管方向である請求項１に記載の内視鏡検査支援装置。
　前記姿勢変化推定手段は、内視鏡画像から深度及びカメラ姿勢変化を推定するように予め学習された機械学習モデルを用いて前記姿勢の変化を推定する請求項１に記載の内視鏡検査支援装置。
　前記内視鏡カメラを向けるべき方向は、腸管方向と病変方向であり、
　前記出力手段は、前記腸管方向と前記病変方向とを識別可能な態様で表示する表示画像を出力する請求項１に記載の内視鏡検査支援装置。
　前記腸管方向推定手段は、前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管のモデルを作成し、前記腸管のモデルに基づいて前記腸管方向を推定する請求項１に記載の内視鏡検査支援装置。
　前記出力手段は、前記姿勢の変化の軌跡を、前記腸管のモデル上に重畳表示した表示画像を出力する請求項５に記載の内視鏡検査支援装置。
　前記出力手段は、前記腸管のモデルを前記姿勢の変化の軌跡の重なりが少ない方向から見た表示画像を出力する請求項６に記載の内視鏡検査支援装置。
　前記出力手段は、前記姿勢の変化の軌跡と、前記内視鏡カメラを向けるべき方向を、前記撮影画像上に重畳表示した表示画像を出力する請求項１に記載の内視鏡検査支援装置。
　内視鏡の抜去時の撮影画像を取得し、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定し、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定し、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定し、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算し、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する内視鏡検査支援方法。
　内視鏡の抜去時の撮影画像を取得し、
　前記撮影画像から内視鏡カメラの相対的な姿勢の変化を推定し、
　前記撮影画像から大腸の表面と前記内視鏡カメラとの距離を推定し、
　前記姿勢の変化と前記距離とに基づいて、前記大腸の腸管方向を推定し、
　前記腸管方向と前記内視鏡カメラの相対的な姿勢とに基づいて、前記内視鏡カメラを向けるべき方向を計算し、
　前記内視鏡カメラを向けるべき方向を含む表示画像を表示装置に出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。