JP2009175692A - 計測用内視鏡装置およびプログラム - Google Patents

Abstract

【課題】ユーザの作業効率を向上させることができる計測用内視鏡装置を提供する。
【解決手段】内視鏡内の撮像素子２８は被写体像を光電変換し撮像信号を生成する。ＣＣＵ９は撮像信号を処理し画像データを生成する。ＣＰＵ１８は、画像データを用いて三角測量の原理による計測を実行する。映像信号処理回路１２、計測結果を表示するための表示信号を生成する。また、ＣＰＵ１８は計測結果の信頼性を判定し、判定結果に応じた制御を実行する。
【選択図】図２

Description

本発明は、画像データを用いて三角測量の原理による計測を行う計測用内視鏡装置、およびその動作を制御するためのプログラムに関する。

工業用内視鏡は、ボイラー、タービン、エンジン、化学プラント、水道配管等の内部の傷や腐食等の観察や検査に使用されている。工業用内視鏡では、多様な観察物を観察および検査することができるようにするため、複数種類の光学アダプタが用意されており、内視鏡の先端部分は交換可能となっている。

上記の光学アダプタとして、観察光学系に左右２つの視野を形成するステレオ光学アダプタがある。特許文献１には、ステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の光学系測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元空間座標を求め、被写体上の２点間の距離を計測する計測用内視鏡装置が記載されている。また、特許文献２には、同様に三角測量の原理を使用して高速に被写体の３次元空間座標を求め、被写体までの距離（物体距離）をリアルタイムに計測する計測用内視鏡装置が記載されている。
特開２００６−１５１１７号公報 特開２００６−３２５７４１号公報

図２４および図２５は、計測用内視鏡装置の表示装置が表示する画面（以下、表示画面と記載）を示している。図２４は２点間距離を計測する場合の表示画面を示し、図２５は物体距離を計測する場合の表示画面を示している。図２４に示す表示画面２４００には、光学アダプタで捉えられた左右の被写体像に対応した左画像２４１０と右画像２４２０が表示される。同様に、図２５に示す表示画面２５００には左画像２５１０と右画像２５２０が表示される。

図２４に示すように、ユーザが左画像２４１０における被写体２４３０上の計測点２４４０ａ，２４４０ｂを指定すると、各計測点に対応した右画像２４２０上の対応点２４５０ａ，２４５０ｂの位置を画像のパターンマッチングにより計算するマッチング処理が行われる。続いて、計測点２４４０ａおよびその対応点２４５０ａの二次元座標と光学データとから、計測点２４４０ａに対応した被写体上の第１の点の３次元座標が計算される。同様に、計測点２４４０ｂおよびその対応点２４５０ｂの二次元座標と光学データとから、計測点２４４０ｂに対応した被写体上の第２の点の３次元座標が計算される。上記第１の点と第２の点の３次元座標から２点間距離が計算され、計測結果２４６０として表示される。

また、図２５に示すように、ユーザが左画像２５１０における被写体２５３０上の計測点２５４０を指定すると、計測点２５４０に対応した右画像２５２０上の対応点２５５０の位置がマッチング処理により計算される。続いて、計測点２５４０およびその対応点２５５０の二次元座標と光学データとから、計測点２５４０に対応した被写体上の点の３次元座標が計算される。この点の３次元座標から物体距離が計算され、計測結果２５６０として表示される。

しかし、計測に用いる画像が明るすぎる、または暗すぎるというように画像の輝度が適切でない場合や、画像上に特徴となる模様がない場合、あるいは被写体までの距離が遠すぎて計測精度を確保しにくい場合には、マッチング処理が失敗することがあった。例えば、図２４では計測点２４４０ｂに関するマッチング処理が失敗しており、図２５では計測点２５４０に関するマッチング処理が失敗している。この結果、誤った計測結果が表示されていた。

計測結果が誤っていることが即座に分かれば、計測をやり直すことも可能である。しかし、計測を行った時点で、左画像上で指定された計測点に対応した右画像上の点がマッチング処理によって正しく計算されているか否かを確認しなかったために、計測結果が誤っていることにユーザが気付かず、後になって計測結果が誤っていることが分かった場合、例えば計測を最初からやり直すことになり、ユーザの作業効率が低下していた。

本発明は、上述した課題に鑑みてなされたものであって、ユーザの作業効率を向上させることができる計測用内視鏡装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、被写体像を光電変換し撮像信号を生成する内視鏡と、前記撮像信号を処理し画像データを生成する撮像信号処理手段と、前記画像データを用いて三角測量の原理による計測を実行する計測手段と、計測結果を表示するための表示信号を生成する表示信号生成手段と、前記画像データに基づいて前記計測結果の信頼性を判定する判定手段と、判定結果に応じた制御を実行する制御手段と、を備えたことを特徴とする計測用内視鏡装置である。

また、本発明の計測用内視鏡装置において、前記制御手段は、前記計測結果の信頼性を判定し、判定結果に応じて前記計測結果の表示形態を制御することを特徴とする。

また、本発明の計測用内視鏡装置において、前記制御手段は、被写体上の計測位置から前記内視鏡の結像面までの距離の値に応じて前記計測結果の表示形態を制御することを特徴とする。

また、本発明の計測用内視鏡装置において、前記制御手段は、同一被写体に関する複数の被写体像の相関関数の値に応じて前記計測結果の表示形態を制御することを特徴とする。

また、本発明の計測用内視鏡装置において、前記制御手段は、同一被写体に関する複数の被写体像のテクスチャのコントラスト値に応じて前記計測結果の表示形態を制御することを特徴とする。

また、本発明の計測用内視鏡装置において、前記制御手段は、同一被写体に関する一の被写体像における計測点に対応した他の被写体像における対応点のエピポーララインからのずれ量に応じて前記計測結果の表示形態を制御することを特徴とする。

また、本発明の計測用内視鏡装置において、前記制御手段は、前記計測結果の信頼性が低いと判定した場合に、同一被写体に関する一の被写体像における計測点に対応した他の被写体像における対応点を修正する修正モードに移行する制御を実行することを特徴とする。

また、本発明の計測用内視鏡装置において、前記計測手段は、第１の被写体像上の計測点と、第２の被写体像上において前記計測点に対応した対応点とに基づいて前記計測を実行し、前記制御手段は、前記計測結果の信頼性が低いと判定した場合に、前記対応点を含む領域よりも先に前記計測結果を表示する制御を実行することを特徴とする。

また、本発明の計測用内視鏡装置において、前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定することを特徴とする。

また、本発明の計測用内視鏡装置において、前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定する第１の判定処理を実行し、前記計測手段が前記計測を実行した後に、前記画像データに基づいて前記計測結果の信頼性を判定する第２の判定処理を実行することを特徴とする。

また、本発明の計測用内視鏡装置は、被写体像上の計測点の位置を示すポインタの移動指示および前記計測の開始指示をユーザが入力するための入力手段をさらに備え、前記表示信号生成手段は、前記画像データに基づく画像、前記計測結果、および前記ポインタを表示するための表示信号を生成し、前記判定手段は、前記入力手段に前記ポインタの移動指示が入力されてから前記計測の開始指示が入力されるまでの間に、前記計測点の位置における前記計測結果の信頼性を判定することを特徴とする。

また、本発明の計測用内視鏡装置において、前記表示信号生成手段は、前記画像データに基づく画像および前記計測結果を表示するための表示信号を生成し、前記制御手段は、前記判定結果を画像上の計測可能領域の外側に表示する制御を実行することを特徴とする。

また、本発明は、被写体像を光電変換し撮像信号を生成する内視鏡と、前記撮像信号を処理し画像データを生成する撮像信号処理手段と、前記画像データを用いて三角測量の原理による計測を実行する計測手段と、計測結果を表示するための表示信号を生成する表示信号生成手段と、前記画像データに基づいて前記計測結果の信頼性を判定する判定手段と、判定結果に応じた制御を実行する制御手段と、として計測用内視鏡装置を機能させるためのプログラムである。

また、本発明のプログラムにおいて、前記計測手段は、第１の被写体像上の計測点と、第２の被写体像上において前記計測点に対応した対応点とに基づいて前記計測を実行し、前記制御手段は、前記計測結果の信頼性が低いと判定した場合に、前記対応点を含む領域よりも先に前記計測結果を表示する制御を実行することを特徴とする。

また、本発明のプログラムにおいて、前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定することを特徴とする。

また、本発明のプログラムにおいて、前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定する第１の判定処理を実行し、前記計測手段が前記計測を実行した後に、前記画像データに基づいて前記計測結果の信頼性を判定する第２の判定処理を実行することを特徴とする。

また、本発明のプログラムは、被写体像上の計測点の位置を示すポインタの移動指示および前記計測の開始指示をユーザが入力するための入力手段として前記計測用内視鏡装置を機能させ、前記表示信号生成手段は、前記画像データに基づく画像、前記計測結果、および前記ポインタを表示するための表示信号を生成し、前記判定手段は、前記入力手段に前記ポインタの移動指示が入力されてから前記計測の開始指示が入力されるまでの間に、前記計測点の位置における前記計測結果の信頼性を判定することを特徴とする。

また、本発明のプログラムにおいて、前記表示信号生成手段は、前記画像データに基づく画像および前記計測結果を表示するための表示信号を生成し、前記制御手段は、前記判定結果を画像上の計測可能領域の外側に表示する制御を実行することを特徴とする。

本発明によれば、計測結果の信頼性の判定結果に応じた制御を実行することによって、ユーザの作業効率を向上させることができるという効果が得られる。特に、計測結果の信頼性の判定結果に応じて計測結果の表示形態を制御することによって、計測を終了する、またはやり直す等の判断をユーザが行いやすくなるので、ユーザの作業効率を向上させることができる。また、計測結果の信頼性が低いと判定した場合に、計測位置を修正する修正モードに移行する制御を実行することによって、計測結果の信頼性が向上し、計測のやり直しが発生しにくくなるので、ユーザの作業効率を向上させることができる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による計測用内視鏡装置の全体構成を示している。図１に示すように、計測用内視鏡装置１は、内視鏡２と、この内視鏡２に接続された装置本体３とを備えている。内視鏡２は、細長な挿入部２０と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部６とを備えている。装置本体３は、内視鏡２で撮像された被写体の画像や操作制御内容（例えば処理メニュー）等の表示を行う表示装置であるモニタ４（液晶モニタ）と、内部に制御ユニット１０（図２参照）を有する筐体５とを備えている。

挿入部２０は、硬質な先端部２１と、例えば上下左右に湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを先端側から順に連設して構成されている。先端部２１には、観察視野を２つ有するステレオ光学アダプタや観察視野が１つの通常観察光学アダプタ等、各種光学アダプタが着脱自在になっている。

図２に示すように筐体５内には、内視鏡ユニット８、ＣＣＵ９（カメラコントロールユニット）、および制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。

挿入部２０の先端部２１には撮像素子２８が内蔵されている。撮像素子２８は、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。ＣＣＵ９には、撮像素子２８から出力された撮像信号が入力される。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

制御ユニット１０内には、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、カードＩ／Ｆ１５（カードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、およびＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うＣＰＵ１８とが設けられている。

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行う操作部６が接続されている。ユーザが操作部６を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

ＵＳＢ Ｉ／Ｆ１６は、制御ユニット１０とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介して制御ユニット１０とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、制御ユニット１０とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

また、カードＩ／Ｆ１５には、メモリカード３２を自由に着脱することができるようになっている。メモリカード３２をカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御に従って、このメモリカード３２に記憶されている制御処理情報や画像情報等のデータの制御ユニット１０への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード３２への記録を行うことが可能になる。

映像信号処理回路１２は、ＣＣＵ９から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８の制御により生成される、操作メニューに基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、モニタ４の画面上に表示するのに必要な処理等を行い、表示信号をモニタ４に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ４の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、計測用内視鏡装置１全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

図３は、内視鏡２が有する挿入部２０の先端部２１の斜視図であり、図４は図３のＡ−Ａ断面図である。図３に示すように先端部２１は、先端部本体３９と、この先端部本体３９に着脱自在の光学アダプタ４６とから構成されている。先端部２１の先端面には、例えばＬＥＤからなる２つの照明２４と、被写体像を取り込むための観察窓２５とが設けてある。図４に示すように、先端部２１を構成する先端部本体３９に設けた観察窓２５はカバーガラス３０で閉塞され、その内側にはレンズ枠３６を介して１対の対物光学系、つまり右画像用の対物光学系２６Ｒと左画像用の対物光学系２６Ｌが取り付けてある。

このレンズ枠３６は後方側に延出し、共通の像伝送光学系２７の前段側光学系２７ａが取り付けてある。また、レンズ枠３６の後端側の孔部に収納された撮像素子固定枠３７には、撮像素子２８が固定されている。この撮像素子２８の撮像面の前部側には像伝送光学系２７の後段側光学系２７ｂがレンズ枠を介して取り付けてある。また、先端部本体３９の前端側の外周は円筒状のカバー部材３８で覆われ、このカバー部材３８はネジで先端部本体３９に固定されている。なお、カバー部材３８と先端部本体３９との間には、シール用のＯリングが介挿され、水密構造にされている。

上記の対物光学系２６Ｒと対物光学系２６Ｌによる像は、像伝送光学系２７を介して撮像素子２８上で左右に異なる位置に結像される。つまり、対物光学系２６Ｒと像伝送光学系２７による光学系である右結像光学系と、対物光学系２６Ｌと像伝送光学系２７による光学系である左結像光学系とが構成されている。撮像素子２８で光電変換された撮像信号は内視鏡ユニット８を介してＣＣＵ９に供給されて映像信号に変換され、その後、映像信号処理回路１２に供給される。

また、撮像素子２８の前面側はカバーガラス４７で保護され、このカバーガラス４７は光学アダプタ４６側のカバーガラス４８と対向する。光学アダプタ４６の後端側の外周面には、固定リング４９が設けてあり、先端部本体３９の外周面に設けた雄ネジ部にこの固定リング４９の後端内視鏡内周面に設けた雌ネジ部を螺合させることにより、着脱自在に取り付けられるようにしている。先端部本体３９の先端面の外周面には位置決め用の凹部が、光学アダプタ３９側には位置決め用ピンが設けてあり、光学アダプタ３９を取り付ける際に凹部とピンとにより周方向の位置決めがされる。

次に、計測用内視鏡装置１を用いた計測方法を説明する。生産工程では、個体の異なる光学アダプタ４６毎に、次の（ａ１）〜（ｅ）に示す各光学アダプタ４６の特有の光学データが測定される。その光学データが、記録媒体である例えばメモリカードに記録される。このメモリカードに記録された光学データは、光学アダプタ４６の特性と一対一で対応することになって、出荷後、１つの組み合わせのものとして扱われる。本実施形態の光学データは以下の通りである。なお、光学データの詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

（ａ１）２つの対物光学系の幾何学的歪み補正テーブル
（ａ２）像伝送光学系の幾何学歪み補正テーブル
（ｂ）左右の結像光学系それぞれの焦点距離
（ｃ）左右の結像光学系の主点間の距離
（ｄ）左右の結像光学系それぞれの画像上での光軸位置座標
（ｅ）左右の結像光学系それぞれの画像がマスタの撮像素子上に結像するときの位置情報

以下、図５を参照しながら、光学データの測定方法を説明する。生産測定治具５１は、光学アダプタ４６が装着可能であって、マスタ撮像ユニット５２と、ＣＣＵ５３と、パソコン３１と、チャート５４とで構成されている。

マスタ撮像ユニット５２は、内視鏡２の先端部本体３９と同様の構造を有している。ＣＣＵ５３はマスタ撮像ユニット５２と信号線で接続されている。パソコン３１は、メモリカード３３が着脱可能なメモリカードスロット５４を有し、ＣＣＵ５３からの画像データに対する画像処理を行う。チャート５４は、光学アダプタ４６の光学特性を解析するための格子状の模様を有している。

生産測定治具５１を用いて光学データの取り込みを行う場合、まず、図５に示すように、光学アダプタ４６をマスタ撮像ユニット５２に取り付け、チャート５４の像を光学アダプタ４６を介して取り込み、その画像データに基づいてパーソナルコンピュータ３１にて画像処理を行い、上記（ａ１）〜（ｅ）の光学データを求め、メモリカード３３に記録する。

上記特有の光学データの収集を行った後の光学アダプタ４６を内視鏡２に取り付け、計測内視鏡装置１において、次に示す（１）〜（８）の処理を行って各種寸法計測（ステレオ計測）を行うことができる。なお、ステレオ計測の詳細は、例えば特開２００４−４９６３８号公報に記載されているので、その説明を省略する。

（１）メモリカード３３から上記（ａ１）〜（ｅ）の光学データを読み込む。
（２）計測用内視鏡装置１を用いて白い被写体を撮像する。
（３）上記（ｅ）のデータおよび上記（２）の撮像データを用いて、光学アダプタ４６と内視鏡２との組み合わせによる画像位置のずれを求める。
（４）上記（３）のデータおよび上記（１）のデータを用いて、内視鏡２に対する幾何学的歪み補正を行う変換テーブルを作成する。
（５）内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（６）上記の取り込んだ画像を上記（３）で作成したテーブルを基に座標変換する。
（７）座標変換された画像を基に、上記（２）の撮像データのマッチングにより任意の点の３次元座標を求める。
（８）上記３次元座標を基に各種寸法計測を行う。

（第１の動作例）
次に、計測処理についての第１の動作例として２点間距離計測時の動作を説明する。図６に示すように、まず、第１計測点が設定される（ステップＳ１００）。このとき、モニタ４の表示画面を見ながらユーザが操作部６を操作し、被写体上の第１計測点を入力する。ＣＰＵ１８は、操作部６から出力され、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介して入力される信号に基づいて、第１計測点の画像内位置（２次元座標）を計算する。以上がステップＳ１００の処理である。

続いて、ＣＰＵ１８は３次元座標解析処理を実行し、第１計測点の３次元座標を計算する（ステップＳ１１０）。３次元座標解析処理の詳細は後述する。さらに、上記と同様に第２計測点が設定され（ステップＳ１２０）、３次元座標解析処理が実行されて第２計測点の３次元座標が計算される（ステップＳ１３０）。

続いて、ＣＰＵ１８は、マッチング確認用フラグの値に基づいて、マッチング処理が成功したか否かを判定する（ステップＳ１４０）。前述したようにマッチング処理とは、同一被写体に関する第１の被写体像（例えば左画像）上で指定された第１計測点に対応する第２の被写体像（例えば右画像）上の対応点（マッチング点）の位置を画像のパターンマッチングにより計算する処理のことである。マッチング処理は、ステップＳ１１０，Ｓ１３０の処理の一部として実行される。また、マッチング確認用フラグとは、計測結果の信頼性に関するステップＳ１４０の判定で用いるフラグのことであり、第１計測点に関するフラグと、第２計測点に関するフラグとの２種類のフラグが用いられる。

後述するように、ステップＳ１１０，Ｓ１３０の３次元座標解析処理の中でマッチング確認用フラグの値が０または１に設定される。マッチング確認用フラグの値が１の場合には、マッチング処理が成功しており、マッチング確認用フラグの値が０の場合には、マッチング処理が失敗していることになる。

２種類のマッチング確認用フラグの値が共に１であった場合には、ステップＳ１１０，Ｓ１３０の一部として実行されるマッチング処理が共に成功していることになり、処理がステップＳ１５０に進む。また、２種類のマッチング確認用フラグの少なくとも一方の値が０であった場合には、ステップＳ１１０，Ｓ１３０の一部として実行されるマッチング処理の少なくとも一方が失敗していることになり、処理がステップＳ１７０に進む。

ステップＳ１１０，Ｓ１３０の一部として実行されるマッチング処理が共に成功している場合には、ＣＰＵ１８は、第１計測点および第２計測点の３次元座標から２点間の距離を算出する（ステップＳ１５０）。続いて、ＣＰＵ１８は、ステップＳ１５０で算出した２点間距離を計測結果として表示する制御を実行する（ステップＳ１６０）。

このとき、ＣＰＵ１８は、操作メニューや計測結果を表示するためのグラフィック画像信号を生成し、映像信号処理回路１２へ出力する。映像信号処理回路１２は、このグラフィック画像信号とＣＣＵ９からの映像信号を合成し、モニタ４の画面上に合成画像を表示するのに必要な処理等を行い、表示信号をモニタ４へ出力する。モニタ４は、表示信号に基づいて合成画像を表示する。このとき、２点間距離の計測結果が表示される（例えば、「Ｌ＝２．００ｍｍ」等）。以上がステップＳ１６０の処理である。

一方、ステップＳ１１０，Ｓ１３０の一部として実行されるマッチング処理の少なくとも一方が失敗している場合には、ＣＰＵ１８は、マッチング処理の失敗を計測結果として表示する制御を実行する（ステップＳ１７０）。このときにＣＰＵ１８が実行する制御はステップＳ１６０と同様であるが、計測結果を表示するためのグラフィック画像信号が異なっており、この結果、モニタ４が表示する合成画像において、計測結果の表示形態がマッチング処理の成功時とは異なる。

図７はモニタ４の表示画面を示している。図７に示す表示画面７００には、光学アダプタ４６で捉えられた左右の被写体像に対応した左画像７１０と右画像７２０が表示される。左画像７１０上でユーザがポインタ７１５を移動させて被写体７３０上の計測点７４０ａ，７４０ｂを指定すると、各計測点に対応した右画像７２０上の対応点７５０ａ，７５０ｂの位置がマッチング処理によって計算される。例えば、図７に示すように計測点７５０ｂの計算精度が低いと、計測結果７６０はマッチング処理の失敗を示す「−．−−−」（図７（ａ））や「計測不可」（図７（ｂ））という表示となる。

このようにマッチング処理の失敗時には、計測結果が特殊な文字や記号、グラフ、メッセージ等で表示される。このため、ユーザは、マッチング処理が失敗したことを計測結果から知ることができる。マッチング処理の失敗を示す計測結果の表示位置は、マッチング処理が成功した場合の計測結果の表示位置と異なっていてもよいが、ユーザを混乱させることなくマッチング処理の失敗をより確実にユーザに通知するためには、表示位置を同一とすることが望ましい。また、内視鏡画像を見やすくするため、計測結果を内視鏡画像の外側に表示することが望ましく、特に計測結果を計測可能領域（計測点を設定することが可能な領域）の外側に表示することが望ましい。また、マッチング処理が失敗した場合に、右画像上の計測点も表示したままにしておくと、マッチング処理の失敗の原因を確認しやすくなる。

左画像７１０上のズームウィンドウ７７０には、計測点７４０ｂの位置における拡大画像が表示され、右画像７２０上のズームウィンドウ７８０には、対応点７５０ｂの位置における拡大画像が表示される。計測点７４０ｂと対応点７５０ｂの位置が異なり、ズームウィンドウ７７０の画像とズームウィンドウ７８０の画像が異なることからも、ユーザはマッチング処理が失敗したことを知ることができる。

次に、ステップＳ１１０，Ｓ１３０における３次元座標解析処理の詳細を説明する。図８に示すように、まずＣＰＵ１８はパターンマッチング処理を実行して、左右の２画像（ステレオ画像）の対応点であるマッチングポイントを検出する（ステップＳ２００）。パターンマッチング処理の詳細は後述する。続いて、ＣＰＵ１８は、対応点の座標から左右の２画像のずれ量を求める（ステップＳ２１０）。

続いて、ＣＰＵ１８は後述する正規化相互相関係数に関する確認用フラグの値を判定する（ステップＳ２２０）。正規化相互相関係数に関する確認用フラグの値はステップＳ２００のパターンマッチング処理で設定される。正規化相互相関係数に関する確認用フラグの値が１であった場合には、処理がステップＳ２３０に進み、正規化相互相関係数に関する確認用フラグの値が０であった場合には、処理がステップＳ２７０に進む。

正規化相互相関係数に関する確認用フラグの値が１であった場合には、ＣＰＵ１８はテクスチャのコントラスト値に関する確認用フラグの値を判定する（ステップＳ２３０）。テクスチャのコントラスト値に関する確認用フラグの値はステップＳ２００のパターンマッチング処理で設定される。テクスチャのコントラスト値に関する確認用フラグの値が１であった場合には、処理がステップＳ２４０に進み、テクスチャのコントラスト値に関する確認用フラグの値が０であった場合には、処理がステップＳ２７０に進む。

テクスチャのコントラスト値に関する確認用フラグの値が１であった場合には、ＣＰＵ１８は、対象としている点の３次元座標を算出する（ステップＳ２４０）。以下、３次元座標解析の基本原理について、図９を用いて説明する。図９は、ｘ，ｙ，ｚ軸をもつ３次元空間座標系上の左右の２画像の位置関係を示している。この図９には、被写体までの距離（物体距離）の計測対象となる点Ｐが撮像素子の右結像面２８Ｒおよび左結像面２８Ｌ上に結像した状態が示されている。図９において、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。

図９において、直線ＱＲ−ＯＲから（１）式が成立する。
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ） ・・・（１）
また、直線ＱＬ−ＯＬから（２）式が成立する。
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ） ・・・（２）
この式をｘ，ｙ，ｚについて解けば、点Ｐの三次元座標が得られる。これにより、内視鏡２の撮像面から被写体までの距離（物体距離）が求まる。実際は像伝送光学系２７の効果により、左右２つの像の光線は折り曲げられて右結像面２８Ｒと左結像面２８Ｌの間隔はもっと小さくなるが、ここでは図を簡略にするために像伝送光学系２７の効果を省いて図示している。

ステップＳ２５０に続いて、ＣＰＵ１８は物体距離の値を判定する（ステップＳ２５０）。物体距離の値が０以上であった場合には、処理がステップＳ２６０に進み、物体距離の値が０未満であった場合には、処理がステップＳ２７０に進む。ステップＳ２５０の判定では、物体距離が０以上であるか否かの判定を行っているが、物体距離が所定値α（α＞０）以下であるか否かの判定を行った結果と合わせて判定を行ってもよい。すなわち、物体距離が０以上かつα以下である場合には、処理がステップＳ２６０に進み、それ以外の場合には、処理がステップＳ２７０に進む。

物体距離の値が０以上であった場合には、ステップＳ２２０，Ｓ２３０，Ｓ２５０の判定結果から、マッチング処理が成功し、計測結果が信頼できることが分かる。この場合、ＣＰＵ１８はマッチング確認用フラグの値を１に設定する（ステップＳ２６０）。一方、ステップＳ２２０，Ｓ２３０，Ｓ２５０の判定結果から、マッチング処理が失敗し、計測結果が信頼できない場合には、ＣＰＵ１８はマッチング確認用フラグの値を０に設定する（ステップＳ２７０）。

次に、ステップＳ２００におけるパターンマッチング処理の詳細を説明する。図１０に示すように、まずＣＰＵ１８は初期化処理として、正規化相互相関係数に関する確認用フラグの値とテクスチャのコントラスト値に関するマッチング確認用フラグの値とを０に設定する（ステップＳ３００）。

続いて、ＣＰＵ１８は、パターンマッチングを行うパターンの大きさを示すパターンエリアの絞り込みを行う（ステップＳ３１０）。本実施形態の例では、値ｋに対応したパターンエリアを設定する。すなわち、
ｋ＝１ではパターンエリアを３５×３５（ピクセル）、
ｋ＝２ではパターンエリアを２３×２３（ピクセル）、
ｋ＝３ではパターンエリアを１１×１１（ピクセル）、
とし、値ｋを小から大へ切り換えて領域を大から小へ絞り込んでいき、対応点検出の精度を上げるようにする。

続いて、ＣＰＵ１８は検索範囲を設定する。すなわち、パターンを探す右画像の領域を決定する（ステップＳ３２０）。その検索範囲の設定には、エピポーララインに誤差を考慮してエピポーラライン±５ピクセル以内とする場合と、モニタ画面上で水平に±７ピクセル以内とする場合と、画面上で手動により指示された略マッチング点を中心に±１０ピクセル以内とする場合がある。なお、上記±１０ピクセルは、手動による誤差を考慮した最適な値である。

続いて、ＣＰＵ１８は、設定した検索範囲でのパターンマッチングを行う（ステップＳ３３０）。このパターンマッチングでは、正規化相互相関による対応点検出を行い、最も正規化相互相関係数（−１〜＋１）の大きな座標（Ｘ，Ｙ）を対応点とする。値ｋをインクリメントし、その値ｋに対応してパターンを絞り込みながら、かつ検索範囲内でパターンエリアを動かしながらパターンマッチングが繰り返し行われる。

パターンマッチングに利用する正規化相互相関関数Ｍ（ｕ，ｖ）には、一般的に以下の式を用いる。すなわち、ｔ（ｘ，ｙ）をテンプレートとし、ｇ（ｘ，ｙ）を画像データとし、ｔ’をテンプレートの平均輝度とし、さらに、ｇ’を画像の平均輝度として、以下の（３）式が適用される。ここでΣΣ_Ｓは画素の和をとることを表す。
Ｍ（ｕ，ｖ）＝｛ΣΣ_Ｓ（ｇ（ｘ＋ｕ，ｙ＋ｖ）−ｇ’）（ｔ（ｘ，ｙ）−ｔ’）｝／｛ΣΣ_Ｓ（ｇ（ｘ＋ｕ，ｙ＋ｖ）−ｇ’）^２×ΣΣ_Ｓ（ｔ（ｘ，ｙ）−ｔ’）^２｝^１／２ ・・・（３）

パターンマッチングの終了後、ＣＰＵ１８は正規化相互相関係数の値を判定する（ステップＳ３４０）。この判定に用いる正規化相互相関係数の値は、パターンマッチングで最も大きいとされた値である。

正規化相互相関係数の値が所定値以上であった場合には、処理がステップＳ３５０に進み、正規化相互相関係数の値が所定値未満であった場合には、パターンマッチング処理が終了する。正規化相互相関係数の値が所定値以上であった場合、ＣＰＵ１８は正規化相互相関係数に関する確認用フラグの値を１に設定する（ステップＳ３５０）。続いて、ＣＰＵ１８はテクスチャのコントラスト値を算出する（ステップＳ３６０）。

テクスチャのコントラスト値を算出する画像領域は、パターンマッチングを行ったパターンエリアの大きさである１１×１１ピクセルとする。テクスチャのコントラスト値Ｃ（ｄ，θ）は、一般に以下のようにして算出される。同時生起行列Ｄ（ａ，ｂ；ｄ，θ）は、特定の相対位置関係「（ｄ，θ）」（ｄは距離、θは角度）にある画素対［（ｘ，ｙ）、（ｕ，ｖ）］の濃度対（ａ，ｂ）で表される。ただし、ｆ（ｘ，ｙ）＝ａ、ｆ（ｕ，ｖ）＝ｂとする。０〜Ｌ−１番目のＬ種類の画素があるとき、Ｄ（ａ，ｂ；ｄ，θ）はＬ×Ｌの行列となる。全要素の和が１となるようにＤを正規化したものは以下の（４）式で表される。ただし、Ｎ_Ｌ＝｛０，１，２，・・・，Ｌ−１｝である。

テクスチャのコントラスト値は以下の（５）式で表される。

続いて、ＣＰＵ１８はテクスチャのコントラスト値を判定する（ステップＳ３７０）。テクスチャのコントラスト値の左右画像間の差が所定値未満であった場合には、処理がステップＳ３８０に進み、それ以外の場合には、パターンマッチング処理が終了する。テクスチャのコントラスト値の左右画像間の差が所定値未満であった場合、ＣＰＵ１８はテクスチャのコントラスト値に関する確認用フラグの値を１に設定する（ステップＳ３８０）。

上述した第１の動作例では、マッチング処理の信頼性に関する３種類の判定（正規化相互相関係数の値に関する判定、テクスチャのコントラスト値に関する判定、物体距離に関する判定）が行われ、これらの全ての判定において、マッチング処理の結果が信頼できると判定された場合にのみ、２点間距離が算出され、計測結果が表示される。また、これらの判定の少なくともいずれかにおいて、マッチング処理の結果が信頼できないと判定された場合には、マッチング処理の失敗を示す計測結果が表示される。

なお、図６に示した処理において、以下のようにしてもよい。第１計測点に関する３次元座標解析処理（ステップＳ１１０）の後、ＣＰＵ１８は、マッチング確認用フラグの値に基づいて、マッチング処理が成功したか否かを判定する（ステップＳ１４０と同様の処理）。マッチング確認用フラグの値が１であった場合には、処理がステップＳ１２０に進み、マッチング確認用フラグの値が０であった場合には、処理がステップＳ１００に戻る。つまり、第１計測点に関する３次元解析処理の中で行われるマッチング処理が成功するまで、第１計測点の設定と３次元座標解析処理が繰り返される。

また、マッチング処理の信頼性に関する判定において、左画像における計測点に対応した右画像における対応点のエピポーララインからのずれ量を利用してもよい。例えば、マッチング処理によって求めた右画像上の対応点の座標がエピポーララインから所定値以上ずれていた場合には、マッチング処理が失敗したと判定される。

エピポーララインの具体的な求め方は、以下の通りである。図１１に示すように、本実施形態における左画像６５の取り込み範囲は測距点Ｐの近傍の画像である。図１１において、測距点Ｐの座標を（ｌｘ，ｌｙ）とし、左取得幅をＬ＿ＷＩＤＴＨ、左取得高さをＬ＿ＨＥＩＧＨＴとしたとき、左画像取得範囲ＬＡＲＥＡの基点ＳＰＬの座標は、
（ｌｘ−Ｌ＿ＷＩＤＴＨ／２，ｌｙ−Ｌ＿ＨＥＩＧＨＴ／２）
となる。また、右画像６６の取得範囲ＲＡＲＥＡは、図１１に示すように、エピポーラライン７７の近傍の画像である。

エピポーラライン７７は以下のようにして求められる。光学データから、左基準点ＯＬの座標と、右基準点ＯＲの座標を読み込む。左基準点ＯＬおよｂ右基準点ＯＲは、光学中心付近の同一観察対象の座標であり、光学データ生産時に設定される。この左基準点ＯＬの座標を（ｏｌｘ，ｏｌｙ）とし、右基準点ＯＲの座標を（ｏｒｘ，ｏｒｙ）とする。

右画像６６の左端のＸ座標をｒｓｘとすると、エピポーララインの始点ＥＳの座標（ｅｓｘ，ｅｓｙ）は、
（ｅｓｘ，ｅｓｙ）＝（ｒｓｘ，ｌｙ−ｏｌｙ＋ｏｒｙ）
となる。また、エピポーララインの終点ＥＥの座標（ｅｅｘ，ｅｅｙ）は、取得幅をＲ＿ＷＩＤＴＨとすると、
（ｅｅｘ，ｅｅｙ）＝（ｒｓｘ＋Ｒ＿ＷＩＤＴＨ，ｌｙ−ｏｌｙ＋ｏｒｙ）
となる。

よって、取得高さをＲ＿ＨＥＩＧＨＴとすると、右画像６６の取得範囲ＲＡＲＥＡの基点ＳＰＲの座標は、
（ｅｓｘ，ｅｓｙ−Ｒ＿ＨＥＩＧＨＴ／２）
となる。なお、エピポーララインの求め方は、上記に限られるものではなく、一般的なステレオビジョンの分野で公知である他の求め方によってもよい。

（第２の動作例）
次に、計測処理についての第２の動作例として物体距離計測時の動作を説明する。図１２に示すように、まず、計測点が設定され（ステップＳ４００）、３次元座標解析処理が実行されて計測点の３次元座標が計算される（ステップＳ４１０）。３次元座標解析処理は第１の動作例と同様である。続いて、ＣＰＵ１８は、マッチング確認用フラグの値に基づいて、マッチング処理が成功したか否かを判定する（ステップＳ４２０）。マッチング確認用フラグの値が１であった場合には、ステップＳ４１０の一部として実行されるマッチング処理が成功していることになり、処理がステップＳ４３０に進む。また、マッチング確認用フラグが０であった場合には、ステップＳ４１０の一部として実行されるマッチング処理が失敗していることになり、処理がステップＳ４４０に進む。

ステップＳ４１０の一部として実行されるマッチング処理が成功している場合には、マッチング確認用フラグの値が１となる。この場合、ＣＰＵ１８は、ステップＳ４１０の３次元座標解析処理の中で算出した物体距離を計測結果として表示する制御を実行する（ステップＳ４３０）。また、ステップＳ４１０の一部として実行されるマッチング処理が失敗している場合には、ＣＰＵ１８は、マッチング処理の失敗を計測結果として表示する制御を実行する（ステップＳ４４０）。計測結果の表示方法は第１の動作例と同様である。

図１３はモニタ４の表示画面を示している。図１３に示す表示画面１３００には、光学アダプタ４６で捉えられた左右の被写体像に対応した左画像１３１０と右画像１３２０が表示される。左画像１３１０上でユーザが被写体１３３０上の計測点１３４０を指定すると、計測点１３４０に対応した右画像１３２０上の対応点１３５０の位置がマッチング処理によって計算される。図１３に示すように対応点１３５０の計算精度が低いと、計測結果１３６０はマッチング処理の失敗を示す「−．−−−」（図１４（ａ））や「計測不可」（図１４（ｂ））という表示となる。

ステップＳ４３０，Ｓ４４０に続いて、ＣＰＵ１８は計測処理を終了するか否かを判定する（ステップＳ４５０）。ユーザが操作部６を操作し、計測処理の終了指示を入力した場合には、計測処理が終了する。それ以外の場合には、処理がステップＳ４００に戻り、映像信号処理回路１２から新たに取得した内視鏡画像データに基づいて各種処理が実行される。

（第３の動作例）
次に、計測処理についての第３の動作例を説明する。以下では、第１の動作例で示した２点間距離計測時の動作を説明するが、第２の動作例で示した物体距離計測時の動作も同様である。図１４は第３の動作例の処理を示している。図６に示した処理と同一の処理には同一の符号を付与している。図１４に示す処理では、ステップＳ１４０でマッチング確認用フラグの値を確認した結果、２種類のマッチング確認用フラグの少なくとも一方の値が０であった場合には、ＣＰＵ１８は、計測点を修正する修正モードに移行する制御を実行する（ステップＳ５００）。

計測用内視鏡装置１の動作モードが修正モードに移行すると、ユーザが操作部６を操作することによって、右画像上の対応点の位置を手動で修正することが可能となる。この修正モード自体は従来の計測用内視鏡装置でも用意されている。対応点の修正が終了すると、修正後の対応点の位置に基づいて３次元座標が算出される。続いて、２点間距離の算出と計測結果の表示が行われる（ステップＳ１５０，Ｓ１６０）。この結果、計測結果の信頼性が向上することが期待できる。なお、図１４に示した処理において、図６に示したステップＳ１７０の処理を行い、マッチング処理の失敗を示す計測結果を表示してから修正モードに移行してもよい。

（第４の動作例）
次に、計測処理についての第４の動作例を説明する。以下では、第１の動作例で示した２点間距離計測時の動作を説明するが、第２の動作例で示した物体距離計測時の動作も同様である。第４の動作例では、マッチング処理の信頼性に関する判定（以下、マッチング信頼性判定と記載）を行うモードと判定を行わないモードとを選択することが可能となっている。計測処理の開始前に２つのモードのいずれかが予め設定される。あるいは計測処理の開始直後に設定を行ってもよい。

図１５は第４の動作例の処理を示している。図６に示した処理と同一の処理には同一の符号を付与している。図１５に示す処理では、ステップＳ１３０の３次元座標解析処理の後、ＣＰＵ１８はマッチング信頼性判定を行うか否かを判定する（ステップＳ６００）。マッチング信頼性判定を行う設定がなされている場合には、処理がステップＳ１４０に進み、マッチング信頼性判定を行わない設定がなされている場合には、処理がステップＳ１５０に進む。

図１６は第４の動作例におけるパターンマッチング処理を示している。図１０に示した処理と同一の処理には同一の符号を付与している。図１６に示す処理では、ステップＳ３１０〜Ｓ３３０のパターンマッチングの後、ＣＰＵ１８はマッチング信頼性判定を行うか否かを判定する（ステップＳ７００）。マッチング信頼性判定を行う設定がなされている場合には、処理がステップＳ３４０に進み、マッチング信頼性判定を行わない設定がなされている場合には、パターンマッチング処理が終了する。マッチング信頼性判定を行わない設定がなされている場合には、マッチング信頼性判定に関する処理が省略されるので、その分、処理を高速化することができる。

（第５の動作例）
次に、計測処理についての第５の動作例を説明する。上記の動作例の記載では、マッチング処理の結果が信頼できないと判定された場合に計測結果などを表示する順番については規定されていない。しかし、ユーザの作業効率を向上するためには、マッチング処理の失敗を示す計測結果をより早く表示することが望ましい。そこで、第５の動作例では、マッチング処理の結果が信頼できないと判定された場合に、計測結果が他よりも先に表示される。以下では、第１の動作例で示した２点間距離計測時の動作を説明するが、第２の動作例で示した物体距離計測時の動作も同様である。

図１７（ａ）に示すように、まず表示画面１７００の左画像１７１０上に第１計測点１７３０ａが設定されると、この第１計測点１７３０ａに対応した右画像１７２０上の第１対応点１７４０ａが設定される。このとき、ズームウィンドウ１７５０には、第１計測点１７３０ａにおける拡大画像が表示され、ズームウィンドウ１７６０には、第１対応点１７４０ａにおける拡大画像が表示される。続いて、図１７（ｂ）に示すように、左画像１７１０上に第２計測点１７３０ｂが設定される。このとき、ＣＰＵ１８は、第２計測点１７３０ｂを表示画面１７００に追加して表示する制御を実行する。また、ＣＰＵ１８は、第２計測点１７３０ｂを表示する制御と並行して、図６のステップＳ１３０以後の処理を実行する。

図６のステップＳ１４０の処理の結果、マッチング処理が失敗したと判定された場合、ＣＰＵ１８は、マッチング処理の失敗を示す計測結果を表示画面１７００に追加して表示する制御を実行する。これによって、図１８（ａ）に示すように、計測結果１７７０が表示される。続いて、ＣＰＵ１８は、第２計測点１７３０ｂに対応する右画像１７２０上の第２対応点を表示画面１７００に追加して表示する制御を実行する。これによって、図１８（ｂ）に示すように、右画像１７２０上に第２対応点１７４０ｂが表示される。後述する第６の動作例のように、マッチング信頼性判定を３次元座標解析処理よりも前に行う場合には、第２対応点１７４０ｂの実際の位置を求めずに、所定の位置に第２対応点１７４０ｂを表示するようにしてもよいし、第２対応点１７４０ｂを右画像１７２０上に表示しないように制御してもよい（図１９（ｂ））。

続いて、ＣＰＵ１８は、左画像１７１０上の第２計測点１７３０ｂにおける拡大画像をズームウィンドウ１７５０に表示し、右画像１７２０上の第２対応点１７４０ｂにおける拡大画像をズームウィンドウ１７６０に表示する制御を実行する。これによって、図１９（ａ）に示すように、ズームウィンドウ１７５０，１７６０の表示が更新される。第２対応点１７４０ｂを表示しないように制御するときは、ズームウインドウ１７６０に拡大画像は表示されない。上記のように、マッチング処理の結果が信頼できないと判定された場合に、計測結果を表示する処理を、左画像上の計測点に対応する右画像上の対応点を表示する処理や、計測点における拡大画像をズームウィンドウに表示する処理よりも先に行うことによって、ユーザにマッチング処理の失敗をより早く伝え、ユーザの作業効率を向上することができる。

上記をまとめると、マッチング処理の失敗を示す計測結果を表示する処理を、左画像上の計測点に対応する右画像上の対応点を含む領域を表示する処理よりも先に行うことが望ましい。右画像上の対応点を含む領域とは、図１９の右画像１７２０上の第２対応点１７４０ｂとその周辺の領域（第２対応点１７４０ｂを含むグラフィックを表示する領域）、ズームウィンドウ１７６０を含む領域、および右画像１７２０の全体の少なくともいずれかである。

（第６の動作例）
次に、計測処理についての第６の動作例を説明する。以下では、第２の動作例で示した物体距離計測時の動作を説明するが、第１の動作例で示した２点間距離計測時の動作も同様である。第６の動作例では、３次元座標解析処理の前にマッチング信頼性判定が行われる。

図２０は、図１２に対応した計測処理を示している。図１２に示した処理と同一の処理には同一の符号を付与している。図１２と異なるのは、ステップＳ８００〜Ｓ８２０の処理が追加されていることと、ステップＳ４１０の処理がステップＳ８３０の処理に変わっていることである。ステップＳ４００で計測点が設定された後、ＣＰＵ１８はテクスチャのコントラスト値を算出する（ステップＳ８００）。このとき、ＣＰＵ１８は、左画像上で設定された計測点を中心とする１１×１１ピクセルのパターンエリアの画像からテクスチャのコントラスト値を算出する。

続いて、ＣＰＵ１８はテクスチャのコントラスト値を判定する（ステップＳ８１０）。この判定では、ステップＳ８００で算出されたテクスチャのコントラスト値と所定値を比較することによって、画像が計測（特にマッチング処理）に適しているか否かが判定される。テクスチャのコントラスト値が所定値以上であった場合には、処理がステップＳ８３０に進む。また、テクスチャのコントラスト値が所定値未満の場合には、画像が計測に適していないので、ＣＰＵ１８は、画像が計測に適していないことを計測結果として表示する制御を実行する（ステップＳ８２０）。

図２１は、ステップＳ８３０における３次元座標解析処理を示している。図８に示した処理と同一の処理には同一の符号を付与している。図８と異なるのは、テクスチャのコントラスト値に関するステップＳ２３０の処理が省かれていることと、図８のステップＳ２００の処理がステップＳ９００の処理に変わっていることである。図２２は、ステップＳ９００におけるパターンマッチング処理を示している。図１０に示した処理と同一の処理には同一の符号を付与している。図１０と異なるのは、テクスチャのコントラスト値に関するステップＳ３６０〜Ｓ３８０の処理が省かれていることと、図１０のステップＳ３００の処理がステップＳ１０００の処理に変わっていることである。ステップＳ１０００では、ＣＰＵ１８は、初期化処理として、正規化相互相関係数に関する確認用フラグの値を０に設定する。

上記のように、パターンマッチング処理を行わなくても算出可能なテクスチャのコントラスト値を用いて、３次元座標解析処理の前にマッチング信頼性判定を行うことによって、マッチング処理の信頼性が低いことをユーザにより早く伝え、ユーザの作業効率を向上することができる。また、左画像上の計測点に対応する右画像上の対応点の位置を計算するマッチング処理の後には、物体距離に関するマッチング信頼性判定と、正規化相互相関係数に関するマッチング信頼性判定とが行われるので、マッチング信頼性判定の精度を保つことができる。

（第７の動作例）
次に、計測処理についての第７の動作例を説明する。以下では、第２の動作例で示した物体距離計測時の動作を説明するが、第１の動作例で示した２点間距離計測時の動作も同様である。第７の動作例では、ユーザが計測点の位置を指定するためのポインタが移動している間、マッチング信頼性判定が行われる。

図２３は、図１２および図２０に対応した計測処理を示している。図１２および図２０に示した処理と同一の処理には同一の符号を付与している。図１２および図２０と異なるのは、ステップＳ１１００〜Ｓ１１５０の処理が追加されていることである。図２３に示すように、まずＣＰＵ１８は、操作部６から出力され、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介して入力される信号に基づいて、表示画面上のポインタを移動する指示が入力されたか否かを判定する（ステップＳ１１００）。

ポインタを移動する指示が入力されていない場合には、処理がステップＳ１１５０に進む。また、ポインタを移動する指示が入力された場合には、ＣＰＵ１８は、ポインタの表示位置を更新する処理を行うと共に、テクスチャのコントラスト値を算出する（ステップＳ１１１０）。このとき、ＣＰＵ１８は、左画像上で設定された計測点を中心とする１１×１１ピクセルのパターンエリアの画像からテクスチャのコントラスト値を算出する。

続いて、ＣＰＵ１８はテクスチャのコントラスト値を判定する（ステップＳ１１２０）。この判定では、ステップＳ１１１０で算出されたテクスチャのコントラスト値と所定値を比較することによって、画像が計測（特にマッチング処理）に適しているか否かが判定される。テクスチャのコントラスト値が所定値以上であった場合には、処理がステップＳ１１４０に進む。また、テクスチャのコントラスト値が所定値未満の場合には、画像が計測に適していないので、ＣＰＵ１８は、画像が計測に適していないことを計測結果として表示する制御を実行する（ステップＳ１１３０）。

ステップＳ１１２０またはステップＳ１１３０に続いて、ＣＰＵ１８は、表示画面上のポインタを移動する指示が入力されたか否かを判定する（ステップＳ１１４０）。判定方法は、ステップＳ１１００における判定方法と同様である。ポインタを移動する指示が入力された場合には、処理がステップＳ１１１０に戻る。また、ポインタを移動する指示が入力されていない場合には、ＣＰＵ１８は、操作部６から出力され、ＲＳ−２３２Ｃ Ｉ／Ｆ１７を介して入力される信号に基づいて、計測点を設定する指示が入力されたか否かを判定する（ステップＳ１１００）。計測点を設定する指示は実際の計測（特にマッチング処理）の開始指示を兼ねている。計測点を設定する指示が入力されていない場合には、処理がステップＳ１１００に戻る。また、計測点を設定する指示が入力された場合には、処理がステップＳ４００に進む。以降の処理は、前述した通りである。

上記では、ポインタを移動する指示が入力されてから、計測点を設定する指示（計測の開始指示）が入力されるまでの間、テクスチャのコントラスト値を用いたマッチング信頼性判定が行われる。したがって、第６の動作例と同様に、マッチング処理の信頼性が低いことをユーザにより早く伝え、ユーザの作業効率を向上することができる。また、ユーザは、操作部６を操作してポインタを移動させることにより、マッチング処理の信頼性が低い場所をリアルタイムに知ることができる。

上述したように、本実施形態によれば、計測結果の信頼性の判定結果に応じた制御を実行することによって、ユーザの作業効率を向上させることができる。特に、計測結果の信頼性の判定結果に応じて計測結果の表示形態を制御することによって、計測を終了する、またはやり直す等の判断をユーザが行いやすくなるので、ユーザの作業効率を向上させることができる。また、計測結果の信頼性が低いと判定した場合に、計測位置を修正する修正モードに移行する制御を実行することによって、計測結果の信頼性が向上し、計測のやり直しが発生しにくくなるので、ユーザの作業効率を向上させることができる。また、マッチング処理の失敗を示す計測結果を他よりも先に表示することや、３次元座標解析処理の前にマッチング信頼性判定を行うことによって、マッチング処理の信頼性が低いことをユーザにより早く伝え、ユーザの作業効率を向上することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では、光学アダプタが交換式である例を示したが、光学アダプタが交換式でなく挿入部の先端部に固定されていてもよい。

本発明の一実施形態による計測用内視鏡装置の全体構成を示す斜視図である。 本発明の一実施形態による計測用内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態による計測用内視鏡装置が有する内視鏡の挿入部の先端部の斜視図である。 本発明の一実施形態による計測用内視鏡装置が有する内視鏡の挿入部の先端部の断面図である。 本発明の一実施形態による計測用内視鏡装置に適用される光学アダプタに特有の光学データを測定する様子を示す斜視図である。 本発明の一実施形態による計測用内視鏡装置が実行する計測処理（第１の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置の表示画面（第１の動作例）を示す参考図である。 本発明の一実施形態による計測用内視鏡装置が実行する３次元座標解析処理（第１の動作例）の手順を示すフローチャートである。 本発明の一実施形態における３次元座標解析の基本原理を示す参考図である。 本発明の一実施形態による計測用内視鏡装置が実行するパターンマッチング処理（第１の動作例）の手順を示すフローチャートである。 本発明の一実施形態におけるエピポーララインの求め方を説明するための参考図である。 本発明の一実施形態による計測用内視鏡装置が実行する計測処理（第２の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置の表示画面（第２の動作例）を示す参考図である。 本発明の一実施形態による計測用内視鏡装置が実行する計測処理（第３の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置が実行する計測処理（第４の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置が実行するパターンマッチング処理（第４の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置の表示画面（第５の動作例）を示す参考図である。 本発明の一実施形態による計測用内視鏡装置の表示画面（第５の動作例）を示す参考図である。 本発明の一実施形態による計測用内視鏡装置の表示画面（第５の動作例）を示す参考図である。 本発明の一実施形態による計測用内視鏡装置が実行する計測処理（第６の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置が実行する３次元座標解析処理（第６の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置が実行するパターンマッチング処理（第６の動作例）の手順を示すフローチャートである。 本発明の一実施形態による計測用内視鏡装置が実行する計測処理（第７の動作例）の手順を示すフローチャートである。 従来の計測用内視鏡装置の表示画面を示す参考図である。 従来の計測用内視鏡装置の表示画面を示す参考図である。

符号の説明

１・・・計測用内視鏡装置、２・・・内視鏡、３・・・装置本体、４・・・モニタ、５・・・筐体、６・・・操作部（入力手段）、８・・・内視鏡ユニット、９・・・ＣＣＵ（撮像信号処理手段）、１０・・・制御ユニット、１２・・・映像信号処理回路（表示信号生成手段）、１８・・・ＣＰＵ（計測手段、判定手段、制御手段）、２０・・・挿入部、２１・・・先端部、２２・・・湾曲部、２３・・・可撓管部、２８・・・撮像素子

Claims (18)

1. 被写体像を光電変換し撮像信号を生成する内視鏡と、
   前記撮像信号を処理し画像データを生成する撮像信号処理手段と、
   前記画像データを用いて三角測量の原理による計測を実行する計測手段と、
   計測結果を表示するための表示信号を生成する表示信号生成手段と、
   前記画像データに基づいて前記計測結果の信頼性を判定する判定手段と、
   判定結果に応じた制御を実行する制御手段と、
   を備えたことを特徴とする計測用内視鏡装置。
2. 前記制御手段は、前記判定結果に応じて前記計測結果の表示形態を制御することを特徴とする請求項１に記載の計測用内視鏡装置。
3. 前記制御手段は、被写体上の計測位置から前記内視鏡の結像面までの距離の値に応じて前記計測結果の表示形態を制御することを特徴とする請求項２に記載の計測用内視鏡装置。
4. 前記制御手段は、同一被写体に関する複数の被写体像の相関関数の値に応じて前記計測結果の表示形態を制御することを特徴とする請求項２または請求項３に記載の計測用内視鏡装置。
5. 前記制御手段は、同一被写体に関する複数の被写体像のテクスチャのコントラスト値に応じて前記計測結果の表示形態を制御することを特徴とする請求項２〜請求項４のいずれかに記載の計測用内視鏡装置。
6. 前記制御手段は、同一被写体に関する一の被写体像における計測点に対応した他の被写体像における対応点のエピポーララインからのずれ量に応じて前記計測結果の表示形態を制御することを特徴とする請求項２〜請求項５のいずれかに記載の計測用内視鏡装置。
7. 前記制御手段は、前記計測結果の信頼性が低いと判定した場合に、同一被写体に関する一の被写体像における計測点に対応した他の被写体像における対応点を修正する修正モードに移行する制御を実行することを特徴とする請求項１〜請求項６のいずれかに記載の計測用内視鏡装置。
8. 前記計測手段は、第１の被写体像上の計測点と、第２の被写体像上において前記計測点に対応した対応点とに基づいて前記計測を実行し、
   前記制御手段は、前記計測結果の信頼性が低いと判定した場合に、前記対応点を含む領域よりも先に前記計測結果を表示する制御を実行する
   ことを特徴とする請求項１〜請求項７のいずれかに記載の計測用内視鏡装置。
9. 前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定することを特徴とする請求項１〜請求項８のいずれかに記載の計測用内視鏡装置。
10. 前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定する第１の判定処理を実行し、前記計測手段が前記計測を実行した後に、前記画像データに基づいて前記計測結果の信頼性を判定する第２の判定処理を実行することを特徴とする請求項１〜請求項８のいずれかに記載の計測用内視鏡装置。
11. 被写体像上の計測点の位置を示すポインタの移動指示および前記計測の開始指示をユーザが入力するための入力手段をさらに備え、
    前記表示信号生成手段は、前記画像データに基づく画像、前記計測結果、および前記ポインタを表示するための表示信号を生成し、
    前記判定手段は、前記入力手段に前記ポインタの移動指示が入力されてから前記計測の開始指示が入力されるまでの間に、前記計測点の位置における前記計測結果の信頼性を判定する
    ことを特徴とする請求項１〜請求項８のいずれかに記載の計測用内視鏡装置。
12. 前記表示信号生成手段は、前記画像データに基づく画像および前記計測結果を表示するための表示信号を生成し、
    前記制御手段は、前記判定結果を画像上の計測可能領域の外側に表示する制御を実行する
    ことを特徴とする請求項１〜請求項１１のいずれかに記載の計測用内視鏡装置。
13. 被写体像を光電変換し撮像信号を生成する内視鏡と、
    前記撮像信号を処理し画像データを生成する撮像信号処理手段と、
    前記画像データを用いて三角測量の原理による計測を実行する計測手段と、
    計測結果を表示するための表示信号を生成する表示信号生成手段と、
    前記画像データに基づいて前記計測結果の信頼性を判定する判定手段と、
    判定結果に応じた制御を実行する制御手段と、
    として計測用内視鏡装置を機能させるためのプログラム。
14. 前記計測手段は、第１の被写体像上の計測点と、第２の被写体像上において前記計測点に対応した対応点とに基づいて前記計測を実行し、
    前記制御手段は、前記計測結果の信頼性が低いと判定した場合に、前記対応点を含む領域よりも先に前記計測結果を表示する制御を実行する
    ことを特徴とする請求項１３に記載のプログラム。
15. 前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定することを特徴とする請求項１３または請求項１４に記載のプログラム。
16. 前記判定手段は、前記計測手段が前記計測を実行する前に、前記画像データに基づいて前記計測結果の信頼性を判定する第１の判定処理を実行し、前記計測手段が前記計測を実行した後に、前記画像データに基づいて前記計測結果の信頼性を判定する第２の判定処理を実行することを特徴とする請求項１３〜請求項１５のいずれかに記載のプログラム。
17. 被写体像上の計測点の位置を示すポインタの移動指示および前記計測の開始指示をユーザが入力するための入力手段として前記計測用内視鏡装置を機能させ、
    前記表示信号生成手段は、前記画像データに基づく画像、前記計測結果、および前記ポインタを表示するための表示信号を生成し、
    前記判定手段は、前記入力手段に前記ポインタの移動指示が入力されてから前記計測の開始指示が入力されるまでの間に、前記計測点の位置における前記計測結果の信頼性を判定する
    ことを特徴とする請求項１３〜請求項１５のいずれかに記載のプログラム。
18. 前記表示信号生成手段は、前記画像データに基づく画像および前記計測結果を表示するための表示信号を生成し、
    前記制御手段は、前記判定結果を画像上の計測可能領域の外側に表示する制御を実行する
    ことを特徴とする請求項１３〜請求項１７のいずれかに記載のプログラム。
    
    

Images