JP2018007960A - 内視鏡装置 - Google Patents

Abstract

【課題】煩雑な演算処理をすることなく、同一部位を写し出すリアルタイム画像と記録動画像の同時表示を行う。【解決手段】リアルタイム動画像を記録する間、オペレータが動画像再生時に指標となるフレーム画像を設定するためのマーキング操作を行うと、マーキン操作時に写し出されているフレーム画像に関する画像データ以外の情報（例えば記録開始からの時刻もしくはフレーム番号）が、動画ファイルのメタデータとして記録される。そして、新たな内視鏡作業において、先の記録処理時に指標となった被写体と同じ被写体が動画像表示の中で写し出されると、オペレータは記録動画像再生開始操作を行う。これに応じて、記録動画像を構成する一連のフレーム画像の中から、指標フレーム画像関連情報に基づいてそのフレーム画像を抽出し、そのフレーム画像に応じた再生開始フレーム画像から再生表示を開始させる。【選択図】図４

Description

本発明は、体内器官などを撮像し、必要に応じて処置などを行う内視鏡装置に関し、特に、リアルタイムの動画像と記録動画像の同時表示に関する。

内視鏡装置では、スコープによる撮像によって観察部位の動画像をリアルタイムでモニタ表示するが、病変部診断向上のため、比較対象となる過去に記録された動画像をリアルタイム動画像と合わせて同時表示することも可能である（特許文献１参照）。そこでは、過去の内視鏡作業時に記録された動画像をリアルタイムの動画像と同時表示する。このとき、記録動画像を構成する一連のフレーム画像の中で、リアルタイム動画像と同一部位が含まれるフレーム画像を、血管のパターンマッチングにより抽出する。

特開２００８−１９４３３４号公報

パターンマッチングは、フレーム画像に対してシフトベクトル演算などを行う必要があり、計算処理量が膨大となり、パターンマッチングによる同一部位のフレーム画像抽出を迅速に行うことは難しい。

したがって、煩雑な計算処理なく、同一部位を写し出すリアルタイム動画像と記録動画像を同時表示することが求められる。

本発明の内視鏡装置は、スコープの撮像によるリアルタイム動画像と、一連のフレーム画像で構成される記録動画像とをモニタに同時表示させる画像処理部と、指標フレーム画像関連情報に基づき、一連のフレーム画像の中からその指標フレーム画像を抽出するフレーム画像抽出部と、抽出された指標フレーム画像に基づいて再生開始フレーム画像を定め、その再生開始フレーム画像から、記録動画像の再生表示を開始させる動画再生制御部とを備える。

ここで、「指標フレーム画像関連情報」とは、記録動画像と関連付けて記録されたフレーム画像であって画像データ以外のフレーム画像に関する情報を意味する。例えば、指標フレーム画像関連情報は、記録動画像の中で指標となるフレーム画像の番号もしくは記録開始してからの時刻の少なくともいずれか一方を含む。再生開始フレーム画像は、抽出された指標フレーム画像そのものであってもよく、あるいは、そこから所定フレーム数分あるいは所定時間分だけ前後にあるフレーム画像を再生開始フレーム画像とすることができる。

本発明の内視鏡装置は、例えば、肺、耳鼻咽喉などの器官、食道、胃、十二指腸、小腸、大腸といった消化器官、あるいは子宮などの器官を観察対象とすることが可能であるが、特に、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、大腸が特に変形しやすい消化器であり、画像データに基づいてマッチング対象を見つけることが特に困難であるためである。そのため、内視鏡装置は、大腸用内視鏡装置であることが好ましい。

内視鏡装置は、リアルタイム動画像をメモリに記録する動画像記録処理部をさらに備えることが可能であり、動画像記録処理部は、動画像再生時に指標となるフレーム画像を設定するためのマーキング操作が行われると、そのマーキング操作時に表示されているフレーム画像を指標フレーム画像とし、その指標フレーム画像に対するフレーム画像関連情報を、該指標フレーム画像と関連付けて記録することが可能である。また、フレーム画像抽出部は、ユーザによる記録動画像再生表示開始操作に応じて、指標フレーム画像を抽出することが可能である。

本発明によれば、煩雑な演算処理をすることなく、同一部位を写し出すリアルタイム動画像と記録動画像の同時表示を行うことができる。

本実施形態である内視鏡装置のブロック図である。 リアルタイム動画像と記録動画像の同時表示画面を示した図である。 動画像記録処理のフローチャートである。 リアルタイム動画像と記録動画像の同時表示処理のフローチャートである。

以下では、図面を参照して本実施形態である内視鏡装置について説明する。

図１は、本実施形態である内視鏡装置のブロック図である。

内視鏡装置１０は、ビデオスコープ（スコープ）２０と、ビデオスコープ２０が着脱自在に接続されるプロセッサ３０とを備え、モニタ４０がプロセッサ３０に接続されている。プロセッサ３０に設けられた光源（図示せず）から放射された光は、ビデオスコープ２０内に設けられたライトガイド（図示せず）を通ってビデオスコープ２０の先端部から被写体に向けて照射される。光源としては、放電ランプ（例えばキセノンランプ、ハロゲンランプ、水銀ランプ、メタルはライドランプ）などのランプ、ＬＥＤなどの発光素、レーザなどの半導体光源を適用することが可能である。また、プロセッサとは別に光源装置を設けてもよい。

被写体において反射した光は、ビデオスコープ２０の撮像素子（例えば、ＣＣＤ、ＣＭＯＳなど）２１に結像し、被写体像が撮像素子２１の受光面に形成される。１フレーム分の画素信号が撮像素子２１から所定時間間隔で読み出され、プロセッサ３０の画像処理回路３２へ送られる。

画像処理回路３２は、画素信号に対して色変換処理、ガンマ補正処理など一連の画像処理を施し、カラー画像信号を生成する。カラー画像信号がモニタ４０に出力されることにより、観察画像がリアルタイム動画像としてモニタ４０に表示される。システムコントロール回路３３は、画像処理回路３２などの各回路へ制御信号を出力し、プロセッサ３０の動作を制御する。

内視鏡装置１０では、モニタ４０に表示されるリアルタイム動画像を記録することが可能であり、ビデオスコープ２０あるいはプロセッサ３０のフロントパネルに設けられたボタン（図示せず）を操作することによって、動画像記録処理が実行される。具体的には、動画記録部３６が画像処理回路３２から送られてくる画像信号に対して圧縮処理を施し、圧縮動画像データを動画ファイルとして動画ファイル保存部（例えばメモリ）３８に記録する。ここでは、ＭＰＥＧ方式に従って動画像が圧縮処理され、記録される。

記録された動画像を再生表示する場合、動画再生部３４が動画ファイル保存部３８から対象となる動画ファイルを読み出し、圧縮動画像データに対して復元処理を行う。画像処理回路３２は、動画再生部３４から送られてくる動画像データに基づいて画像信号を生成、モニタ３２に出力する。これによって記録された動画像がモニタ４０に再生表示される。

このような動画像の記録、再生表示に加え、内視鏡装置１０では、ビデオスコープ２０によるリアルタイム動画像と、記録された動画像とをモニタ４０に同時表示させることが可能である。オペレータが、プロセッサ３０のフロントパネルに設けられた同時表示モード設定ボタン（図示せず）を操作すると、システムコントロール回路３３は、動画再生部３４および画像処理回路３２を制御する。

動画再生部３４は、該当する動画ファイルの圧縮動画像データを復元し、画像処理回路３２へ送信する。画像処理回路３２は、リアルタイム動画像と動画再生部３４から送られてくる記録動画像とをモニタ４０に同時表示するように、表示制御処理を実行する。

図２は、リアルタイム動画像と記録動画像の同時表示画面を示した図である。モニタ画面４０Ｓの左側半分にリアルタイム動画像が表示される一方、記録された動画像が右側上隅付近に再生表示される。

このような動画像同時表示モードは、通常、同一患者の同一部位を写し出しているリアルタイム動画像と記録動画像とを比較し、病変部の進行具合などを診断するために使用される。本実施形態では、動画像記録時にオペレータが指標となる被写体が写し出されたタイミングでマーキングを行う。そして、後の内視鏡作業では、同一の被写体がリアルタイム動画像に映し出されるタイミングで、記録した動画像の再生表示を開始させる操作を行う。このとき、先の動画像記録時にマーキングされた（指標となる被写体が写し出された）シーンから再生表示を開始させる。以下、これについて詳述する。

図３は、動画像記録処理のフローチャートである。

内視鏡作業（手技）の開始に合わせて、オペレータにより動画像記録開始の操作が行われると、動画像記録処理が開始される（Ｓ１０１）。それとともに、ユーザーデータ（患者情報）、記録日時、手技の種類などの情報が、メタデータとして記録される（Ｓ１０２）。

オペレータは、内視鏡作業の開始に伴い、スコープ先端部が診断対象となる、あるいは注目する部位付近に到達するまで、ビデオスコープ２０の挿入部を体内に挿入させていく。例えば、下部消化器官にある盲腸を診断する場合、盲腸に到達するまでビデオスコープ２０を挿入していく。

診断対象となる被写体がモニタ４０に映し出されると、オペレータは、このシーンの画像をマーキングする操作を行う。すなわち、後の動画像再生時に指標となるフレーム画像として設定する。具体的には、ビデオスコープ２０に設けられたボタンあるいはプロセッサ３０のフロントパネルに設けられたボタンを操作する。

このようなオペレータによるマーキング操作が行われると、その操作が行われたときにモニタ画面４０Ｓに表示されている画像に関する情報が、メタデータとして記録される（Ｓ１０３、Ｓ１０４）。すなわち、後の記録動画像再生時に指標となるフレーム画像の情報が、メタデータとして記録される。

ここでは、マーキング操作がおこなわれた時の時刻（すなわち記録開始からそのフレーム画像表示までの時間）、あるいはそのフレーム画像のフレーム番号が、動画ファイルのメタセクション上に記録される。動画像記録終了の操作がオペレータによって行われると、記録処理が終了する（Ｓ１０５）。動画ファイルとして保存される記録動画像データは、一連のフレーム画像からなり、各フレーム画像は、記録開始からの時刻およびフレーム番号と関連付けられている。

なお、マーキング操作は動画像記録中複数回行うことが可能である、この場合、指標となる被写体の種類を、メタデータとして記録すればよい。

図４は、リアルタイム動画像と記録動画像の同時表示処理のフローチャートである。

オペレータは、リアルタイム動画像を見ながら、以前の動画像記録時に指標とした部位が映し出されるまで内視鏡操作を行う。その指標となる被写体の画像（例えば盲腸の画像）の表示を確認すると、記録動画像再生開始のため入力操作を行う。ここでは、ビデオスコープ２０に設けられたボタンあるいはプロセッサ３０のフロントパネルに設けられたボタンが操作される。なお、フットスイッチを操作するようにしてもよい。

オペレータによる記録動画像再生開始操作があったと判断されると（Ｓ２０１）、対応する動画像ファイルを検索する処理が実行される（Ｓ２０２）。システムコントロール回路３３は、そのとき設定されている患者情報などと一致する動画ファイルが動画ファイル保存部３８にあるか否かを、動画ファイルのメタデータ照合に基づいて判断する。なお、複数の動画ファイルが存在する場合、診断対象が一致する動画ファイル、あるいは最新の動画ファイルを自動的に選択すればよく、あるいはオペレータに選択させるようにしてもよい。

該当する動画ファイルが存在する場合、メタデータの中に指標となるフレーム画像の情報が含まれているか否かが判断される（Ｓ２０３、Ｓ２０４）。指標となるフレーム画像の情報、すなわち時刻もしくはフレーム番号の情報がメタデータに含まれている場合、動画像再生処理を実行する（Ｓ２０５、Ｓ２０６）。このとき、そのフレーム番号あるいは時刻に応じたフレーム画像から再生表示開始させるように、動画再生部３４が制御される。

オペレータは、動画像再生表示が開始されると、再生表示されている記録動画像とリアルタイム動画像とを比較しながら、内視鏡操作を行う。通常、同一部位を診断対象にした場合、オペレータの内視鏡操作は同じ操作を繰り返すことになる。例えば、挿入部を徐々に引き抜き、あるいは徐々に押し込んでいく。したがって、指標となるフレーム画像から記録動画像を再生表示開始させて内視鏡操作を続けると、リアルタイム動画像と記録動画像の写し出されている被写体を比較すれば、実質的に同じ被写体を時間経過とともに写し出していることになる。

記録動画像再生が終了、あるいはオペレータによる再生終了操作、内視鏡作業が終了すると、同時表示処理は終了し、リアルタイム動画像だけの表示に戻る（Ｓ２０７、Ｓ２０８）。

このように本実施形態によれば、リアルタイム動画像を記録するとき、オペレータのマーキング操作によって指標となる被写体が写し出されるフレーム画像に関する情報（時刻もしくはフレーム番号）がメタデータとして記録される。そして、新たな内視鏡作業において、先の記録処理時に指標となった被写体と同じ被写体が動画像表示の中で写し出されると、記録動画像再生開始操作を行う。これに応じて、記録動画像を構成する一連のフレーム画像の中から、指標となるフレーム画像の情報に基づいてそのフレーム画像を抽出し、そのフレーム画像から再生表示を開始させる。

例えば、内視鏡の引き抜き操作のように、診断対象の部位まで長い時間かけて内視鏡先端部を送り込んだあと、徐々に挿入部を引きながら部位を観察、診断するような場合、その部位到達まで時間がかかり、それまでに記録した動画像データの量も膨大になる。しかしながら、部位に到達した以降の記録動画像とリアルタイム動画像とを比較すればよく、それ以前に記録された動画像データは参考にならない。

本実施形態では、オペレータが指標とするフレーム画像の場面から記録動画像を再生表示開始するため、リアルタイム動画像と同一部位を写し出したフレーム画像が直ちに表示され、その後の内視鏡操作を待機させることなく、同時表示することができる。しかも、パターンマッチングなど煩雑な演算処理をせず、動画像記録時に関連付けて記録されたフレーム情報から指標となるフレーム画像を抽出するため、速やかに動画像再生表示を開始することができる。

特に、内視鏡観察画像は、大部分が赤味を帯びた被写体であって輝度の明暗が強調される画像であるため、記録時の撮影範囲（作業中観察する範囲）が広いと、パターンマッチング対象となる動画像データが膨大となり、同一部位のフレーム画像を選択することが難しい。また、撮影対象となる消化管の変化などによってマッチング対象を抽出できない場合が生じる。しかしながら本実施形態では、オペレータの意図するシーンが写し出されたタイミングでマーキング操作および動画像再生表示開始操作を行うため、特別な画像処理を行う必要がない。

また、診断を精度よく行うためには高精細な画像を得ることが好ましく、画像の解像度は、少なくとも１００万画素以上であることが好ましく、２００万画素、８００万画素、それ以上の画素数であることが好ましい。しかしながら、画像の解像度が高くなるほどフレーム画像及び動画像のデータ量が大きくなり、パターンマッチングにより同一部位のフレーム画像抽出し、リアルタイム動画像と記録動画像を同時表示する場合の計算量が極めて膨大となってしまう問題がある。これに対し、本実施形態によれば、計算処理の負荷を抑えることができる。

このように、従来のようなマッチング手法では、マッチング精度の悪さ、マッチング対象発見の困難性、膨大な計算量といった問題、あるいは、マッチングエラーによって意図しない部位を再生表示してしまうという問題がある。これに対し本実施形態では、計算処理量を抑え、かつ、精度よくオペレータが意図する部位の記録画像をリアルタイム動画像と合わせて同時表示することを両立させることができる。

なお、指標となるフレーム画像に対し所定時間、あるいは所定フレーム数分だけ前後したフレーム画像から再生表示を開始させてもよい。例えば、指標フレーム画像に対して数フレーム前の画像から開始させることにより、同時表示のときに内視鏡操作開始タイミングが調整しやすくなる。すなわち、抽出した指標となるフレーム画像に基づいて再生開始フレーム画像を定め、そこから再生開始させてもよい。

また、マーキング操作に関係なく、自動的にマーキングすべき被写体を写し出したフレーム画像を検知したら自動的にそのフレーム画像の情報をメタデータとして記録するようにしてもよい。また、メタデータ以外の情報を関連付けて記憶させてもよい。

１０ 内視鏡装置
２０ ビデオスコープ（スコープ）
３０ プロセッサ
３２ 画像処理回路（画像処理部）
３３ システムコントロール回路（フレーム画像抽出部、動画再生制御部）
３４ 動画再生部
３６ 動画記録部（動画像記録処理部）

Claims (5)

1. スコープの撮像によるリアルタイム動画像と、一連のフレーム画像で構成される記録動画像とをモニタに同時表示させる画像処理部と、
   記録動画像と関連付けて記録された指標となるフレーム画像に関する情報であって画像データ以外の情報（以下、指標フレーム画像関連情報という）に基づき、一連のフレーム画像の中からその指標フレーム画像を抽出するフレーム画像抽出部と、
   抽出された指標フレーム画像に基づいて再生開始フレーム画像を定め、その再生開始フレーム画像から、記録動画像の再生表示を開始させる動画再生制御部と
   を備えたことを特徴とする内視鏡装置。
2. リアルタイム動画像をメモリに記録する動画像記録処理部をさらに備え、
   前記動画像記録処理部が、指標フレーム画像を設定するためのマーキング操作が行われると、そのマーキング操作時に表示されているフレーム画像を指標フレーム画像とし、その指標フレーム画像に対するフレーム画像関連情報を、該指標フレーム画像と関連付けて記録することを特徴とする請求項１に記載の内視鏡装置。
3. 前記動画像記録処理部が、リアルタイム動画像を動画ファイルとして前記メモリに記録し、指標フレーム画像関連情報を、動画ファイルのメタデータとして記録することを特徴とする請求項２に記載の内視鏡装置。
4. 前記フレーム画像抽出部が、ユーザによる記録動画像再生表示開始操作に応じて、指標フレーム画像を抽出することを特徴とする請求項１乃至３のいずれかに記載の内視鏡装置。
5. 前記指標フレーム画像関連情報が、記録動画像の中で指標となるフレーム画像の番号もしくは記録開始してからの時刻の少なくともいずれか一方を含むことを特徴とする請求項１乃至４のいずれかに記載の内視鏡装置。

Images