WO2019203006A1

WO2019203006A1 - 内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法

Info

Publication number: WO2019203006A1
Application number: PCT/JP2019/014956
Authority: WO
Inventors: 広樹渡辺; 稔宏臼田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2018-04-17
Filing date: 2019-04-04
Publication date: 2019-10-24
Anticipated expiration: 2020-10-17
Also published as: JPWO2019203006A1; JP7179837B2

Abstract

現在の撮像している動画よりも広い領域を確認することができ、かつ広い領域内の所望の領域の動画を撮像する際の内視鏡スコープの操作を支援することができる内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法を提供する。表示制御部は、内視鏡スコープにより撮像される動画の現在の通常画像（１００）、動画に基づいて生成したパノラマ画像（２００）を表示器（１４）に表示させる。また、表示制御部は、パノラマ画像（２００）上に現在の通常画像（１００）の撮像領域を示す枠情報（２０２）を表示させる。更に表示制御部は、パノラマ画像（２００）上の任意の位置（２０４）が指定された場合に、任意の位置（２０４）を含む撮像領域を内視鏡スコープで撮像する際の、内視鏡スコープの先端の移動方向を示す矢印（１０２）を、通常画像（１００）上に表示させる。

Description

内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法

　本発明は内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法に係り、特に内視鏡スコープの先端の操作を支援する技術に関する。

　近年、内視鏡スコープにより撮像された画像（動画）をモニタに表示し、精密な内視鏡検査を行う場合、拡大観察による詳細な観察が求められるケースが増しつつある。

　拡大観察を行う際には、拡大観察をしている局所が、その周囲を含む広範囲領域のどこに位置しているかを見失いがちであり、全体感が欠如することが多い。

　特に領域性をもつ疾患でありながら、ステージの判断には拡大観察が必要である場合には、拡大観察により下したステージ判断が、その周囲のどこまでの範囲において有効であるかの判断が難しい。

　従来、広視野化のために、複数の画像からパノラマ画像を作成する画像処理装置が提案されている（特許文献１、２）。特許文献１には、内視鏡により得られる連続的な時系列画像群（Ｘ0～Ｘn）の連結により、拡大された視野を持つ画像を得ることができる記載がある。

　特許文献１に記載の発明は、原画像の欠陥（例えば、ハレーション部等）を除去した新たな画像を構成することを特徴とするものであり、時系列の画像間で、少なくとも１つの画像の一部（欠陥部分）を他の画像の一部（欠陥のない同一部分の画像）を用いて埋め合わせる等の画像合成により、ハレーション部等の異常データを除去した画像を生成している。

　一方、特許文献２には、ネットワークカメラで撮影可能な全撮影範囲画像に対応するパノラマ画像を作成し、ネットワークカメラが現在どの領域を撮像しているかを示す表示枠をパノラマ画像に表示する技術が記載されている。

特開平５－１０８８１９号公報特開２０１６－８２５５６号公報

　特許文献１に記載の発明は、広視野を持つパノラマ画像を生成することを目的としておらず、複数の画像間で画像合成を行いつつ、一の画像の欠陥箇所は欠陥のない他の画像の同一個所の画像を用いて埋め合わせを行い、このときの複数の画像間の画像合成により、結果的に広い視野をもつ画像が同時に生成されているに過ぎない。したがって、パノラマ画像上に、現在撮像されている動画の撮像領域を示す枠情報等を表示しておらず、パノラマ画像は、内視鏡スコープの先端の操作を支援するものにはなっていない。

　一方、特許文献２に記載の発明は、パノラマ画像を用いてカメラの現在の撮影画角よりも広い領域をユーザに確認させることができ、かつパノラマ画像内に表示される現在の撮影画角を示す表示枠により、カメラをどの方向に移動させると、どのような画像が撮像されるかが分かるため、ユーザのカメラ操作を支援することができる。

　しかしながら、特許文献２に記載の発明の制御対象はネットワークであり、内視鏡スコープ（スコープ先端のカメラ）ではない。

　ネットワークを含む通常のカメラによる撮像は、カメラを略水平に構えて行われるため、撮像された画像から生成されるパノラマ画像とカメラの現在の撮影画像との天地方向も略一致している。

　したがって、カメラを左右方向に移動（パンニング）させ、又は上下方向に移動（チルティング）させると、撮影範囲を示す表示枠もパノラマ画像上で左右方向又は上下方向に移動し、カメラの移動方向と表示枠の移動方向とが一致する。

　これに対し、内視鏡スコープのスコープ先端は、全方向に移動する（曲げられる）とともに回転（ローリング）するため、内視鏡スコープにより撮像されている現在の画像の天地方向（撮像素子の天地方向）と、内視鏡スコープにより撮像された画像から生成されるパノラマ画像の天地方向とは一致しない場合が多い。

　したがって、特許文献１に記載の発明によれば、ユーザは、内視鏡スコープにより現在撮像されている画像よりも広い領域をパノラマ画像により確認することができるものの、パノラマ画像の任意の位置を含む領域を撮像する際に、内視鏡スコープの先端をどのように移動させればよいかが分からないという問題がある。

　また、仮に特許文献１に記載の発明に特許文献２に記載の技術を組み合わせ、パノラマ画像上に撮影範囲を示す表示枠を表示させても、その表示枠からは、所望の領域を撮像するために内視鏡スコープの先端をどのように移動させればよいかは分からない。

　本発明はこのような事情に鑑みてなされたもので、現在の撮像している動画よりも広い領域を確認することができ、かつ広い領域内の所望の領域の動画を撮像する際の内視鏡スコープの操作を支援することができる内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法を提供することを目的とする。

　上記目的を達成するために本発明の一の態様に係る内視鏡装置は、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部と、内視鏡スコープにより撮像される動画及び生成されたパノラマ画像を表示器に表示させる表示制御部と、を備え、表示制御部は、表示器に表示されたパノラマ画像上に、表示器に表示された現在の動画の撮影位置を示す第１の情報を表示させ、かつパノラマ画像上の任意の位置に対して、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第２の情報を表示させる。

　本発明の一の態様によれば、内視鏡スコープにより撮像される動画に基づいて生成したパノラマ画像を表示器に表示させるようにしたため、ユーザは、現在の撮像している動画よりも広い領域をパノラマ画像により確認することができる。また、ユーザは、パノラマ画像上に表示された第１の情報によりパノラマ画像における現在の動画の撮影位置を確認することができ、更に第２の情報によりパノラマ画像上の任意の位置を含む撮像領域を内視鏡スコープで撮像する際に、内視鏡スコープの先端をどの方向に移動させればよいかが分かり、内視鏡スコープの操作を支援することができる。

　本発明の他の態様に係るにおいて、表示制御部は、動画の各フレームが、パノラマ画像のどの領域に対応するかをテンプレートマッチングにより検出し、テンプレートマッチングにより検出した領域を示す枠情報を第１の情報として、パノラマ画像上に表示させることが好ましい。

　本発明の更に他の態様に係る内視鏡装置において、表示器に表示されたパノラマ画像上で任意の位置を指定する第１の指示部を備え、表示制御部は、第１の指示部によりパノラマ画像上で任意の位置が指定されると、表示器に表示された現在の動画上に、内視鏡スコープの先端の移動方向を示す第２の情報を表示させることが好ましい。ユーザは、内視鏡スコープの先端の移動方向を示す第２の情報を見ながら、内視鏡スコープの先端の移動方向を操作することで、任意の位置を含む領域を撮像することができる。

　本発明の更に他の態様に係る内視鏡装置において、表示制御部は、第１の指示部によりパノラマ画像上で任意の位置が指定されると、パノラマ画像上の任意の位置と現在の動画の中心位置との相対位置、及びパノラマ画像と現在の動画との相対角度を算出し、算出した相対位置及び相対角度に基づいて任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を決定し、決定した方向を示す指標を第２の情報として表示器に表示された現在の動画上に表示させることが好ましい。

　パノラマ画像上の任意の位置と現在の動画の中心位置との相対位置、及びパノラマ画像と現在の動画との相対角度は、例えば、動画の各フレームがパノラマ画像のどの領域に対応するかを検出するテンプレートマッチング時のテンプレート（動画のフレーム）のパノラマ画像に対する移動位置及び回転量により求めることができる。算出した相対位置及び相対角度によりパノラマ画像に対する内視鏡スコープの先端の姿勢等の撮像状態が分かるため、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を決定することができる。この移動すべき方向を示す指標（例えば、矢印）を現在の動画上に表示させ、ユーザは指標が示す方向に内視鏡スコープの先端を移動させることで、内視鏡スコープにより任意の位置を含む撮像領域を撮像することができる。

　本発明の更に他の態様に係る内視鏡装置において、表示制御部は、パノラマ画像と現在の動画との相対角度を算出し、表示器に表示されたパノラマ画像上に、算出した相対角度に基づいてパノラマ画像に対する現在の動画の天地方向を示す情報を第２の情報として表示させることが好ましい。パノラマ画像に対する現在の動画の撮像位置に加えて、第２の情報により天地方向が分かれば、ユーザは、パノラマ画像内の任意の位置を撮像する際の内視鏡スコープの先端の移動すべき方向を容易に把握することができる。

　本発明の更に他の態様に係る内視鏡装置において、動画の注目領域を指定する領域指定生成モードを設定する領域指定生成モード設定部を備え、パノラマ画像生成部は、領域指定生成モードが設定されると、動画を構成するフレームのうちの領域指定生成モードで指定された注目領域が含まれる複数フレームに基づいてパノラマ画像を生成することが好ましい。これにより、注目領域が撮像されている動画中のフレームからパノラマ画像を生成することができ、全体感をもって局所（動画の注目領域）を拡大観察する際に、好適なパノラマ画像を生成することができる。

　本発明の更に他の態様に係る内視鏡装置において、動画の時間範囲を指示する時間指定生成モードを設定する時間指定生成モード設定部を備え、パノラマ画像生成部は、時間指定生成モードが設定されると、動画を構成するフレームのうちの時間指定生成モードで指定された時間範囲内の複数フレームに基づいてパノラマ画像を生成することが好ましい。これにより、指定した時間範囲内の動画からパノラマ画像を生成することができ、ユーザが開始時刻及び終了時刻を指定することで、開始時刻から終了時刻までの間にパノラマ画像の生成に適した動画を撮像することができる。

　本発明の更に他の態様に係る内視鏡装置において、表示制御部は、パノラマ画像生成部により生成された生成後のパノラマ画像、及びパノラマ画像生成部により生成途中のパノラマ画像を表示器に表示させることが好ましい。パノラマ画像生成部により生成途中のパノラマ画像も表示することで、生成途中のパノラマ画像に含まれない領域を確認することができる。

　本発明の更に他の態様に係る内視鏡装置において、表示器に表示された生成途中のパノラマ画像上で、生成途中のパノラマ画像を拡張させる未撮像の拡張領域を指定する第２の指示部を備え、表示制御部は、第２の指示部により拡張領域が指定されると、内視鏡スコープの先端の移動方向を示す第３の情報であって、拡張領域を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を示す第３の情報を、表示器に表示された現在の動画上に表示させることが好ましい。

　パノラマ画像生成部により生成途中のパノラマ画像も表示することで、生成途中のパノラマ画像に含まれない領域を確認することができ、また、ユーザがパノラマ画像に含まれない領域（未撮像の拡張領域）を指定することで、未撮像の拡張領域を撮像するための内視鏡スコープの移動方向を誘導する第３の情報を取得することができ、これによりパノラマ画像に所望の領域が含まれるようにパノラマ画像を拡張することができる。

　本発明の更に他の態様に係る内視鏡装置において、白色光に対応する通常画像を取得する通常画像撮影モード、又は白色光に対応する通常画像と特殊光に対応する特殊光画像とを交互に取得するマルチフレーム撮影モードを切り替える撮影モード設定部を備え、パノラマ画像生成部は、マルチフレーム撮影モードに切り替えられると、マルチフレーム撮影モードにより撮像された複数の特殊光画像から撮像領域が重複する特殊光画像間の複数組の特徴点を抽出し、抽出した複数組の特徴点に基づいて複数の特殊光画像と同領域を撮像した複数の通常画像間の調整を行ってパノラマ画像を生成することが好ましい。

　白色光に対応する通常画像よりも特殊光画像の方が特徴点を精度よく抽出できる場合が多いため、複数の特殊光画像から撮像領域が重複する特殊光画像間の複数組の特徴点を抽出する。これらの複数組の特徴点に基づいてパノラマ合成用の情報（例えば、射影変換の変換係数）を求め、パノラマ合成用の情報を、特殊光画像と同領域を撮像した通常画像に適用してパノラマ画像を生成する。尚、動画の表示は、時系列の通常画像により行われるが、パノラマ画像生成時にマルチフレーム撮影モードにより通常画像と特殊光画像とを交互に取得することで、パノラマ画像の作成中も通常画像による動画を表示することができるようにしている。

　本発明の更に他の態様に係る内視鏡装置において、パノラマ画像生成部は、通常画像撮影モードに切り替えられると、通常画像撮影モードにより撮像された複数の通常画像から撮像領域が重複する通常画像間の複数組の特徴点を抽出し、抽出した複数組の特徴点に基づいて複数の通常画像間の調整を行ってパノラマ画像を生成し、通常画像間の複数組の特徴点の抽出ができない場合に、撮影モード設定部はマルチフレーム撮影モードに切り替えることが好ましい。通常画像間の複数組の特徴点に基づいて複数の通常画像間の調整を行ってパノラマ画像を生成するが、通常画像間の複数組の特徴点の抽出ができない場合にはマルチフレーム撮影モードに切り替え、上記と同様に特殊光画像を利用してパノラマ画像の生成を可能にしている。

　本発明の更に他の態様に係る内視鏡装置において、パノラマ画像を生成するパノラマ撮影モードに設定するパノラマ撮影モード設定部を備え、パノラマ画像生成部は、パノラマ撮影モードが設定されると、パノラマ撮影モードが設定された時点を基準にして、パノラマ撮影モードの設定時点の以後に内視鏡スコープにより撮像される動画、パノラマ撮影モードの設定時点の以前に内視鏡スコープにより撮像される動画、又はパノラマ撮影モードの設定時点の前後に内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成することが好ましい。即ち、パノラマ撮影モードが設定された時点を基準にして取得した動画に基づいてパノラマ画像を生成する。

　本発明の更に他の態様に係る内視鏡装置において、パノラマ画像生成部は、パノラマ画像の生成に使用する動画の各フレームの歪みを補正する歪み補正を行い、歪み補正した各フレームに基づいてパノラマ画像を生成することが好ましい。内視鏡画像は、一般に広角画像であるため、歪曲収差等の収差が大きい。そこで、パノラマ画像を生成する前に、パノラマ画像の生成に使用する動画の各フレームの歪みを補正し、これによりパノラマ画像を良好に生成できるようにしている。

　本発明の更に他の態様に係る内視鏡画像表示方法は、パノラマ画像生成部が、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するステップと、表示制御部が、内視鏡スコープにより撮像される動画及び生成されたパノラマ画像を表示器に表示させるステップと、表示制御部が、表示器に表示されたパノラマ画像上に、表示器に表示された現在の動画の撮影位置を示す第１の情報を表示させるステップと、表示制御部が、パノラマ画像上の任意の位置に対して、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第２の情報を表示させるステップと、を含む。

　本発明の更に他の態様に係る内視鏡画像表示方法において、第１の情報を表示させるステップは、動画の各フレームが、パノラマ画像のどの領域に対応するかをテンプレートマッチングにより検出し、テンプレートマッチングにより検出した領域を示す枠情報を第１の情報として、パノラマ画像上に表示させることが好ましい。

　本発明の更に他の態様に係る内視鏡画像表示方法において、第１の指示部により表示器に表示されたパノラマ画像上で任意の位置を指定するステップを含み、第２の情報を表示させるステップは、第１の指示部によりパノラマ画像上で任意の位置が指定されると、表示器に表示された現在の動画上に、内視鏡スコープの先端の移動方向を示す第２の情報を表示させることが好ましい。

　本発明の更に他の態様に係る内視鏡画像表示方法において、第２の情報を表示させるステップは、第１の指示部によりパノラマ画像上で任意の位置が指定されると、パノラマ画像上の任意の位置と現在の動画の中心位置との相対位置、及びパノラマ画像と現在の動画との相対角度を算出し、算出した相対位置及び相対角度に基づいて任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動すべき方向を決定し、決定した方向を示す指標を第２の情報として表示器に表示された現在の動画上に表示させることが好ましい。

　本発明の更に他の態様に係る内視鏡画像表示方法において、第１の情報を表示させるステップは、パノラマ画像と現在の動画との相対角度を算出し、表示器に表示されたパノラマ画像上に、算出した相対角度に基づいてパノラマ画像に対する現在の動画の天地方向を示す情報を第２の情報として表示させることが好ましい。

　本発明の更に他の態様に係る内視鏡プロセッサ装置は、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部と、内視鏡スコープにより撮像される動画及び生成されたパノラマ画像を表示器に表示させる表示制御部と、を備え、表示制御部は、表示器に表示されたパノラマ画像上に、表示器に表示された現在の動画の撮影位置を示す第１の情報を表示させ、かつパノラマ画像上の任意の位置に対して、任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第２の情報を表示させる。

　本発明によれば、内視鏡スコープにより撮像される動画に基づいて生成したパノラマ画像により現在の撮像している動画よりも広い領域を確認することができ、特にパノラマ画像上に表示された第１の情報によりパノラマ画像における現在の動画の撮影位置を確認することができ、更に第２の情報によりパノラマ画像上の任意の位置を含む撮像領域を内視鏡スコープで撮像する際に、内視鏡スコープの先端をどの方向に移動させればよいかが分かり、内視鏡スコープの操作性を向上させることができる。

図１は本発明に係る内視鏡装置１０の外観斜視図である。図２は内視鏡装置１０の電気的構成を示すブロック図である。図３は内視鏡画像のマスク処理を説明するために用いた図である。図４は領域指定生成モードでのパノラマ画像の作成方法を概念的に示す図である。図５はパノラマ画像を生成する具体的なアルゴリズムを説明するために用いた図である。図６は時間指定生成モードでのパノラマ画像の作成方法を概念的に示す図である。図７は通常画像１００、パノラマ画像２００等を表示する表示器１４の表示例を示す図である。図８は通常画像１００、パノラマ画像２００等を表示する表示器１４の他の表示例を示す図である。図９は通常画像１００、パノラマ画像２００等を表示する表示器１４の更に他の表示例を示す図である。図１０は本発明に係る内視鏡画像表示方法の主な流れを示すフローチャートである。図１１は図１０に示したステップＳ２０に遷移した場合のパノラマ画像の生成方法の主な流れを示すフローチャートである。図１２は図１１に示したステップＳ４０に遷移した場合のパノラマ画像の生成方法の具体的なアルゴリズムを示すフローチャートである。図１３は図１１に示したステップＳ３０に遷移した場合の通常画像とパノラマ画像の表示方法を示すフローチャートである。図１４は図１０に示したステップＳ２０に遷移した場合のパノラマ画像の生成方法の実施形態を示すフローチャートであり、特にマルチフレーム撮影モードが設定された場合に関して示した図である。図１５は通常画像撮影モードとマルチフレーム撮影モードと切り替えてパノラマ画像を生成する方法を示すフローチャートである。図１６は通常画像１００、パノラマ画像２００等を表示する表示器１４の表示例を示す図であり、特に内視鏡スコープの先端の移動方向の支援する情報の他の表示例を示す図である。図１７は通常画像１００、パノラマ画像２００等を表示する表示器１４の表示例を示す図であり、特に内視鏡スコープの先端の移動方向の支援する情報の更に他の表示例を示す図である。

　以下、添付図面に従って本発明に係る内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法の好ましい実施形態について説明する。

　［内視鏡装置の全体構成］
　図１は本発明に係る内視鏡装置１０の外観斜視図である。

　図１に示すように内視鏡装置１０は、大別して、被検体内の観察対象を撮像する内視鏡スコープ（ここでは軟性内視鏡）１１と、光源装置１２と、プロセッサ装置（内視鏡プロセッサ装置）１３と、液晶モニタ等の表示器１４と、を備えている。

　光源装置１２は、通常画像の撮像用の白色光、特殊光画像の撮像用の特定の波長帯域の光等の各種の照明光を内視鏡スコープ１１へ供給する。

　プロセッサ装置１３は、内視鏡スコープ１１により得られた画像信号に基づいて表示用又は記録用の通常画像及び／又は特殊光画像の画像データを生成する機能、光源装置１２を制御する機能の他に、本発明に係る時系列の通常画像からパノラマ画像を生成する機能、通常画像とパノラマ画像とを表示器１４に表示させる機能等を有する。ここで、本例のパノラマ画像とは、２以上の通常画像から生成される通常画像よりも観察対象の広い範囲を含めた画像である。

　表示器１４は、プロセッサ装置１３から入力される表示用の画像データに基づき通常画像又は特殊光画像の他、通常画像とパノラマ画像とを表示する。

　内視鏡スコープ１１は、被検体内に挿入される可撓性の挿入部１６と、挿入部１６の基端部に連設され、内視鏡スコープ１１の把持及び挿入部１６の操作に用いられる手元操作部１７と、手元操作部１７を光源装置１２及びプロセッサ装置１３に接続するユニバーサルコード１８と、を備えている。

　挿入部１６の先端部である挿入部先端部１６ａ（内視鏡スコープの先端）には、照明レンズ４２、対物レンズ４４、撮像素子４５などが内蔵されている（図２参照）。挿入部先端部１６ａの後端には、湾曲自在な湾曲部１６ｂが連設されている。また、湾曲部１６ｂの後端には、可撓性を有する可撓管部１６ｃが連設されている。

　手元操作部１７には、アングルノブ２１、操作ボタン２２、及び鉗子入口２３などが設けられている。アングルノブ２１は、湾曲部１６ｂの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン２２は、送気・送水や吸引等の各種の操作に用いられる。鉗子入口２３は、挿入部１６内の鉗子チャネルに連通している。また、手元操作部１７には、各種の設定を行う内視鏡操作部４６（図２参照）等が設けられている。

　ユニバーサルコード１８には、送気・送水チャンネル、信号ケーブル、及びライトガイドなどが組み込まれている。ユニバーサルコード１８の先端部には、光源装置１２に接続されるコネクタ部２５ａと、プロセッサ装置１３に接続されるコネクタ部２５ｂとが設けられている。これにより、コネクタ部２５ａを介して光源装置１２から内視鏡スコープ１１に照明光が供給され、コネクタ部２５ｂを介して内視鏡スコープ１１により得られた画像信号がプロセッサ装置１３に入力される。

　尚、光源装置１２には、電源ボタン、光源を点灯させる点灯ボタン、及び明るさ調節ボタン等の光源操作部１２ａが設けられ、また、プロセッサ装置１３には、電源ボタン、図示しないマウス等のポインティングデバイスからの入力を受け付ける入力部を含むプロセッサ操作部１３ａが設けられている。

　［内視鏡装置の電気的構成］
　図２は内視鏡装置１０の電気的構成を示すブロック図である。

　図２に示すように内視鏡スコープ１１は、大別して、ライトガイド４０と、照明レンズ４２と、対物レンズ４４と、撮像素子４５と、内視鏡操作部４６と、内視鏡制御部４７と、ＲＯＭ（Read Only Memory）４８とを有している。

　ライトガイド４０は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド４０は、その入射端がコネクタ部２５ａを介して光源装置１２に挿入されており、その出射端が挿入部１６を通って挿入部先端部１６ａ内に設けられた照明レンズ４２に対向している。光源装置１２からライトガイド４０に供給された照明光は、照明レンズ４２を通して観察対象に照射される。そして、観察対象で反射及び／又は散乱した照明光は、対物レンズ４４に入射する。

　対物レンズ４４は、入射した照明光の反射光又は散乱光（即ち、観察対象の光学像）を撮像素子４５の撮像面に結像させる。

　撮像素子４５は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子であり、対物レンズ４４よりも奥側の位置で対物レンズ４４に相対的に位置決め固定されている。撮像素子４５の撮像面には、光学像を光電変換する複数の光電変換素子（フォトダイオード）により構成される複数の画素が２次元配列されている。また、本例の撮像素子４５の複数の画素の入射面側には、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置され、これによりＲ画素、Ｇ画素、Ｂ画素が構成されている。尚、ＲＧＢのカラーフィルタのフィルタ配列は、ベイヤ配列が一般的であるが、これに限らない。

　撮像素子４５は、対物レンズ４４により結像される光学像を電気的な画像信号に変換してプロセッサ装置１３に出力する。

　尚、撮像素子４５がＣＭＯＳ型である場合には、Ａ／Ｄ(Analog/Digital)変換器が内蔵されており、撮像素子４５からプロセッサ装置１３に対してデジタルの画像信号が直接出力される。また、撮像素子４５がＣＣＤ型である場合には、撮像素子４５から出力される画像信号は図示しないＡ／Ｄ変換器等でデジタルな画像信号に変換された後、プロセッサ装置１３に出力される。

　内視鏡操作部４６は、図示しない静止画撮像ボタン、通常画像撮影モード、特殊光画像撮影モード、マルチフレーム撮影モード、又はパノラマ撮影モードを設定する撮影モード設定部、又はパノラマ撮影モード等を切替え設定するパノラマ撮影モード設定部、領域指定生成モード設定部、及び時間指定生成モード設定部等を有している。尚、撮影モード設定部、領域指定生成モード設定部、及び時間指定生成モード設定部は、プロセッサ装置１３のプロセッサ操作部１３ａに設けられていてもよい。

　内視鏡制御部４７は、内視鏡操作部４６での操作に応じてＲＯＭ４８等から読み出した各種プログラムやデータを逐次実行し、主として撮像素子４５の駆動を制御する。例えば、通常画像撮影モードの場合、内視鏡制御部４７は、撮像素子４５のＲ画素、Ｇ画素及びＢ画素の信号を読み出すように撮像素子４５を制御し、特殊光画像撮影モード又はマルチフレーム撮影モードであって、特殊光画像を取得するために照明光としてＶ－ＬＥＤ３２ａから紫色光が発光される場合、又はＢ－ＬＥＤ３２ｂから青色光が発光される場合には、これらの紫色光、青色光の波長帯域に分光感度を有する撮像素子４５のＢ画素の信号のみを読み出すように撮像素子４５を制御する。

　また、内視鏡制御部４７は、プロセッサ装置１３のプロセッサ制御部６１との間で通信を行い、内視鏡操作部４６での操作情報及びＲＯＭ４８に記憶されている内視鏡スコープ１１の種類を識別するための識別情報等をプロセッサ装置１３に送信する。

　光源装置１２は、光源制御部３１及び光源ユニット３２を有している。光源制御部３１は、光源ユニット３２の制御と、プロセッサ装置１３のプロセッサ制御部６１との間で通信を行い、各種情報の遣り取りを行う。

　光源ユニット３２は、例えば複数の半導体光源を有している。本実施形態では、光源ユニット３２は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）３２ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）３２ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）３２ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）３２ｄの４色のＬＥＤを有する。Ｖ－ＬＥＤ３２ａは、中心波長４０５ｎｍで、波長帯域３８０～４２０ｎｍの紫色光を発光する紫色光源である。Ｂ－ＬＥＤ３２ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光を発する青色半導体光源である。Ｇ－ＬＥＤ３２ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光を発する緑色半導体光源である。Ｒ－ＬＥＤ３２ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍの赤色光を発光する赤色半導体光源である。尚、Ｖ－ＬＥＤ３２ａとＢ－ＬＥＤ３２ｂの中心波長は±５ｎｍから±１０ｎｍ程度の幅を有する。

　これらの各ＬＥＤ３２ａ～３２ｄの点灯や消灯、点灯時の発光量等は、光源制御部３１が各々に独立した制御信号を入力するによって各々に制御することができる。通常画像撮影モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄを全て点灯させる。このため、通常画像撮影モードでは、紫色光、青色光、緑色光、及び赤色光を含む白色光が照明光として用いられる。

　一方、特殊観察モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄのうちのいずれか１つの光源、又は適宜組み合わせた複数の光源を点灯させ、又は複数の光源を点灯させる場合、各光源の発光量（光量比）を制御し、これにより被検体の深度の異なる複数の層の画像の撮像を可能にする。

　各ＬＥＤ３２ａ～３２ｄが発する各色の光は、ミラーやレンズ等で形成される光路結合部、及び絞り機構（図示せず）を介して内視鏡スコープ１１内に挿通されたライトガイド４０に入射される。

　尚、光源装置１２の照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光（特殊光）、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。特殊光の特定の波長帯域は、白色の波長帯域よりも狭い帯域である。

　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

　プロセッサ装置１３は、プロセッサ操作部１３ａ、プロセッサ制御部６１、ＲＯＭ６２、デジタル信号処理回路（ＤＳＰ：Digital Signal Processor）６３、画像処理部６５、表示制御部６６、及び記憶部６７等を有している。

　プロセッサ操作部１３ａは、電源ボタン、マウスにより表示器１４上で指示される座標位置及びクリック（実行指示）等の入力を受け付ける入力部等を含む。

　プロセッサ制御部６１は、プロセッサ操作部１３ａでの操作情報、及び内視鏡制御部４７を介して受信した内視鏡操作部４６での操作情報に応じてＲＯＭ６２から必要なプログラムやデータを読み出して逐次処理することで、プロセッサ装置１３の各部を制御するとともに、光源装置１２を制御する。尚、プロセッサ制御部６１は、図示しないインターフェースを介して接続されたキーボード等の他の外部機器から必要な指示入力を受け付けるようにしてもよい。

　内視鏡スコープ１１（撮像素子４５）から出力される動画の各フレームの画像データを取得する画像取得部の一形態として機能するＤＳＰ６３は、プロセッサ制御部６１の制御の下、内視鏡スコープ１１から入力される動画の１フレーム分の画像データに対し、欠陥補正処理、オフセット処理、ホワイトバランス補正、ガンマ補正、及びデモザイク処理等の各種の信号処理を行い、１フレーム分の画像データを生成する。

　パノラマ画像生成部としての機能を有する画像処理部６５は、ＤＳＰ６３から画像データを入力し、入力した画像データに対して、必要に応じて色変換処理、色彩強調処理、及び構造強調処理等の画像処理を施し、観察対象が写った内視鏡画像を示す画像データを生成する。色変換処理は、画像データに対して3×3のマトリックス処理、階調変換処理、及び３次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像データに対して、例えば血管と粘膜との色味に差をつける方向に色彩を強調する処理である。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像データに対して行う。

　画像処理部６５により処理された動画の各フレームの画像データは、静止画又は動画の撮影指示があると、撮影指示された静止画又は動画として記憶部６７に記録される。また、本例では、パノラマ画像の生成に使用する動画の各フレームの画像データも記憶部６７に記録される。パノラマ画像生成用の動画は、パノラマ撮影モードが設定された時点を基準にして、パノラマ撮影モードの設定時点の以後に内視鏡スコープ１１により撮像される動画、パノラマ撮影モードの設定時点の以前に内視鏡スコープ１１により撮像される動画、又はパノラマ撮影モードの設定時点の前後に内視鏡スコープ１１により撮像される動画であり、この動画は、所望のパノラマ画像の生成に必要なフレームを含む一定の撮影期間の動画とすることができ、逐次更新することが可能である。また、パノラマ画像生成用に保存された動画は、パノラマ画像生成が生成されると削除してもよい。

　尚、画像処理部６５は、内視鏡スコープ１１により撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部としての機能を有するが、パノラマ画像生成部として機能する場合の画像処理の詳細については後述する。

　表示制御部６６は、入力する画像データから通常画像、特殊光画像、パノラマ画像を表示器１４に表示させるための表示用データを生成し、生成した表示用データを表示器１４に出力し、表示器１４に表示用画像を表示させる。

　表示制御部６６は、図３に示すように動画の各フレーム９０をマスク画像９２に基づいてマスク処理を行い、動画の表示用の通常画像１００を生成する。マスク画像９２は、通常画像１００と同一サイズの矩形画像であり、表示エリア（本例では円形のエリア）を露呈する非マスク部とマスク部（黒部）とを有している。尚、マスク処理は、矩形のフレームから円形の表示用画像を生成する場合に限らず、矩形のフレームの四隅をマスキングした八角形の表示用画像を生成したり、矩形のフレームの左右の両端を円弧状にマスキングした樽型の表示用画像に生成する場合等が考えられる。

　表示制御部６６は、表示用の通常画像１００を表示器１４に出力し、表示器１４に通常画像１００（動画）を表示させ、パノラマ撮影モード設定部によりパノラマ撮影モードが設定され、画像処理部６５のパノラマ画像生成部により生成されたパノラマ画像を入力すると、通常画像１００とパノラマ画像２００（図７参照）とを表示器１４に表示させる。

　また、表示制御部６６は、図７に示すようにパノラマ画像２００上に、現在の動画（通常画像１００）の撮影位置を示す第１の情報（本例では、円形の通常画像１００と同じ領域を示す円形の枠情報２０２）を表示させる。

　更に、表示制御部６６は、図８に示すようにパノラマ画像２００上の任意の位置２０４をマウスによりクリックすると（任意の位置が指定されると）、任意の位置２０４を含む撮像領域を内視鏡スコープ１１で撮像するための内視鏡スコープ１１の先端の移動すべき方向を示す指標（本例では矢印１０２）を、現在の動画である通常画像１００上に表示させる。

　尚、表示器１４に枠情報２０２及び矢印１０２を表示させる表示制御部６６による表示制御の詳細については後述する。

　［パノラマ画像の生成］
　次に、パノラマ画像生成部として機能する画像処理部６５によりパノラマ画像の生成方法について説明する。

　内視鏡操作部４６又はプロセッサ操作部１３ａによりパノラマ撮影モードが設定されると、画像処理部６５は、パノラマ画像生成部として機能する。尚、撮影モード設定部により通常画像撮影モードが設定されているものとする。

　通常画像撮影モードのもとでパノラマ撮影モードが設定されると、パノラマ画像生成部は、通常画像撮影モードで撮像される動画の各フレーム（通常画像）によりパノラマ画像を生成するが、内視鏡操作部４６又はプロセッサ操作部１３ａにより設定された「領域指定生成モード」又は「時間指定生成モード」にしたがって、以下のようにパノラマ画像を生成する。

　＜領域指定生成モード＞
　「領域指定生成モード」は、ユーザ（医師）が、通常画像から注目領域を発見し、注目領域を含む任意の位置を指定すると、パノラマ画像を生成するモードである。

　即ち、領域指定生成モードが設定された後、第１の指示部として機能するマウスを使用し、表示器１４に表示された通常画像上で、医師が注目領域内の任意の位置をクリックして指定すると、パノラマ合成を開始する。パノラマ画像生成部は、クリックされた時刻より以前に撮像され、記憶部６７に保持された動画から、その動画を構成するフレームのうちの指定された注目領域が含まれる複数フレームを抽出し、抽出した複数フレームを合成してパノラマ画像を生成する。

　図４は、領域指定生成モードでのパノラマ画像の作成方法を概念的に示す図である。

　図４において、フレームＩ_１が領域指定時刻のフレームとすると、医師は、破線の枠で示した注目領域内の任意の位置をマウスでクリックする。パノラマ画像生成部は、フレームＩ_１を含む過去のフレーム群（記憶部６７に保持された動画）から、注目領域が含まれる複数のフレームＩ_２，Ｉ_３，Ｉ_４、Ｉ_５を抽出する。

　パノラマ画像生成部は、フレームＩ_１を含む複数のフレームＩ_１～Ｉ_５に基づいてパノラマ画像２００を生成する。図４に示す例では、５枚のフレームＩ_１～Ｉ_５を使用してパノラマ画像２００を生成しているが、パノラマ合成に使用されるフレーム数は、５枚に限らず、注目領域が撮像されている全てのフレームを抽出してパノラマ合成することが好ましい。

　尚、領域指定時刻のフレームＩ_１より過去の時刻のフレーム群からパノラマ合成に使用するフレームを抽出しているが、領域指定時刻のフレームＩ_１よりも未来の時刻（領域指定時刻後に撮像される動画のフレーム群）からのパノラマ合成に使用するフレームを抽出してもよいし、領域指定時刻よりも過去及び未来の両方の時刻に撮像された動画のフレーム群からパノラマ合成に使用するフレームを抽出してもよい。

　また、動画のフレーム群から抽出するフレームは、動画のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）よりも時間間隔を空けて抽出したり、フレーム間で一定範囲の移動量を有するフレームを抽出することが好ましい。パノラマ合成するフレーム数を少なくし、かつパノラマ合成されるパノラマ画像の領域を拡張するためである。

　次に、パノラマ画像生成部によりパノラマ画像を生成する具体的なアルゴリズムは、以下の通りである。

　(1) 図５に示すように、あるフレーム間で異なる視点で注目領域が撮像された２枚の画像Iｉ(ｉ=1,2)が得られたとする。

　(2) 画像Iｉに対して、特徴点を抽出する。これにはSIFT(Scale-invariant feature transform)やSURF(Speed-Upped Robust Feature)、ORB（Oriented FAST and Rotated BRIEF）などの特徴点アルゴリズムを用いる。この処理によりそれぞれの画像に対し、ｎi(i=1,2)個の特徴点Pij=(x_ij,y_ij)(j=1,2,…,n)が検出されたとする。ここで(x,y)は画像平面における座標を表す。

　(3) 画像Iｉに対する特徴点Piが与えられたとき、それぞれの特徴点が持つ特徴量Ｄiをもとに、特徴点同士のマッチングを行う。このとき特徴量Ｄiは特徴点周辺領域の情報をもとに取得された情報がよい。例えばSIFTなら128次元の実数ベクトル、ORBなら256bitのバイナリ列となる。特徴点周辺のＷ×Ｗ領域の画素値としてもよい。画像I_１、Ｉ_２のある特徴点がマッチしているか否かは、その特徴点に対応する特徴量の類似度で評価する。例えば、特徴量がSIFTならそれぞれの実数ベクトルのユークリッド距離がある閾値より小さいときマッチしているとする。

　(4) マッチングにより、画像I_１、Ｉ_２間で、マッチしている対応点が４組以上見つかった場合、画像合成を行う。

　仮に、合成する基準となる画像を画像I_１とした場合は、画像I_２を画像I_１の座標平面に投影（射影変換）する行列Ｈを求める。画像Ｉ_２におけるある特徴点Ｐ_２=(x_2,y_2)が、画像Ｉ_１におけるある特徴点Ｐ_１=(x_1,y_1)とマッチしているとき、次式に示す関係が成り立つ。

　マッチした対応点の組に対し、［数１］式を適用し、行列Ｈの要素に対する連立方程式を解くことで、行列Ｈが求まる。ここで、行列Ｈ中の係数ｈ_３３は１であるため、８個の係数を求める。４組の対応点（合計８個）の座標から、８個の連立方程式を解くことで、８個の係数（変換係数）を有する行列Ｈを求めることができる。

　４組以上の対応点が見つかった場合は、RANSAC(Random Sampling Consensus)法などでより最適な行列Ｈを求めることが好ましい。対応点の各組の誤対応や位置のずれなどのノイズの影響を排除し、高精度に行列Ｈを計算するためである。

　行列Ｈが求められたら、画像I_２の全ての画素を行列Ｈによって変換し、画像Ｉ_１に重畳することで、合成画像（パノラマ画像２００）を得る。

　次の画像Ｉ_３を合成する場合には、基準の画像Ｉ_１と画像Ｉ_３との重複領域における４組の対応点を求める。適正な４組の対応点が見つからない場合には、射影変換後の画像I_２、又は生成途中のパノラマ画像と画像Ｉ_３との重複領域における４組の対応点を求め、上記と同様にして画像Ｉ_３を合成することでパノラマ画像を拡張する。以上のパノラマ合成処理を、パノラマ画像の生成に使用する全ての画像に対して行うことで、所望のパノラマ画像を生成することができる。

　＜時間指定生成モード＞
　「時間指定生成モード」は、医師が注目領域を発見し、医師がパノラマ撮影を開始したい時刻にて開始の指示を与えると、パノラマ合成（画像の連結）を始め、医師が終了したい時刻にて終了の指示を与えると、画像の連結を終了するモードである。

　即ち、時間指定生成モードが設定された後、医師がパノラマ撮影（パノラマ合成）を開始したい時刻の指示を与えると、パノラマ画像生成部は、その後、取得した動画に基づいてパノラマ合成を開始し、医師が終了したい時刻の指示を与えると、パノラマ合成を終了する。尚、リアルタイムに動画からパノラマ画像を生成できない場合には、記憶部６７に一時保持された動画を使用することができる。

　図６は、時間指定生成モードでのパノラマ画像の作成方法を概念的に示す図である。

　図６において、フレームＩ_１は、医師により指示されたパノラマ撮影の開始時刻のフレームを示し、フレームＩ_５は、医師により指示されたパノラマ撮影の終了時刻のフレームを示す。

　パノラマ画像生成部は、フレームＩ_１を含むパノラマ撮影の開始時刻のフレームから、終了時刻までに撮像された動画のフレーム群から、パノラマ合成に使用する複数のフレームＩ_２，Ｉ_３，Ｉ_４、Ｉ_５を抽出し、フレームＩ_１を含む複数のフレームＩ_１～Ｉ_５に基づいてパノラマ画像２００を生成する。尚、パノラマ画像２００の生成は、領域指定生成モードでのパノラマ画像の生成と同様に行うことができる。

　また、パノラマ画像生成部は、パノラマ画像の生成に使用する動画の各フレームの歪みを補正する歪み補正を行い、歪み補正した各フレームに基づいてパノラマ画像を生成することが好ましい。

　近年の内視鏡スコープは広視野角を実現し、より広い範囲を撮像することが可能になってきている。しかし、広視野角にすることで、撮像される画像に歪みが発生する。行列Ｈは，平行四辺形や台形を任意の矩形に変換するため、直線性は保たれなければならない。しかし、画像の歪みによって直線性が保たれないため、精度よく行列Ｈが求められないことが考えられる。

　これを解決するために、パノラマ画像生成部は、行列Ｈを求める前の前処理として、パノラマ画像の生成に使用する動画の各フレームの歪み補正する。

　歪み補正は、以下の式によって画像Iの全画素位置を変換する。

　ここで、［数２］式中のｋ_１，ｋ_２，ｋ_３，ｐ_１，ｐ_２は、歪み係数といい、カメラ固有の値である。歪み係数は拡大率によっても変化するため、各拡大率に応じた歪み係数を使用する。歪み補正は、マッチングの前に行ってもよいし、後に行ってもよい。

　＜マルチフレーム撮影モードでのパノラマ画像の生成＞
　次に、撮影モード設定部によりマルチフレーム撮影モードが設定された場合のパノラマ画像の生成方法について説明する。

　マルチフレーム撮影モードが設定されると、光源装置１２は、紫色光、青色光、緑色光、及び赤色光を含む白色光と、Ｖ－ＬＥＤ３２ａ、Ｂ－ＬＥＤ３２ｂ、Ｇ－ＬＥＤ３２ｃ、及びＲ－ＬＥＤ３２ｄの点灯が制御された１又は複数の特定の波長帯域の光（特殊光）とを交互に発光し、プロセッサ装置１３は、内視鏡スコープ１１から白色光下の画像（通常画像）と特殊光下の画像（特殊光画像）とを交互に取得する。

　パノラマ画像生成部（画像処理部６５）は、パノラマ合成に使用する複数の通常画像に対応する複数の特殊光画像に基づいて、撮像領域が重複する特殊光画像間の複数組の特徴点（４組の対応点）を求め、［数１］式に示した行列Ｈを算出する。そして、パノラマ画像を生成する場合は、基準の通常画像に対して合成する通常画像を行列Ｈによって変換し、基準の通常画像に重畳することで合成画像（パノラマ画像）を生成する。

　このように特殊光画像を使用してパノラマ合成用のパラメータ（［数１］式に示した行列Ｈ）を求めるのは、特殊光画像は、被検体の構造（血管）等が見やすくした画像であり、通常画像に比べて多くの特徴点を抽出することができ、精度の高い行列Ｈを算出することができるからである。

　一方、医者は、一般に通常画像により生体内のスクリーニング観察を行うため、表示制御部６６は、マルチフレーム撮影モードでは通常画像を表示器１４に表示させる。この場合、通常画像のフレームレートが半減するため、前後の通常画像間を補間して補間画像を生成し、通常画像のフレームレートが低減しないようにすることが好ましい。

　上記の例では、パノラマ画像生成部は、マルチフレーム撮影モードが設定された場合、常に特殊光画像を使用してパノラマ合成用のパラメータを求めるようにしているが、マルチフレーム撮影モードが設定された場合でも通常画像を使用してパノラマ合成用のパラメータを求め、通常画像では信頼性の高い複数組の対応点が検出できない場合に、特殊光画像を使用してパノラマ合成用のパラメータを求めるようにしてもよい。

　同様に、通常画像撮影モードが設定され、通常画像撮影モードで取得される通常画像では信頼性の高い複数組の対応点が検出できない場合には、撮影モード設定部は、通常画像撮影モードからマルチフレーム撮影モードに切り替え、特殊光画像を使用してパノラマ合成用のパラメータを算出することが好ましい。

　［動画及びパノラマ画像の表示方法］
　前述したように表示制御部６６は、図７に示すように表示用の通常画像１００を表示器１４に出力し、表示器１４に通常画像１００（動画）を表示させ、パノラマ撮影モードが設定され、画像処理部６５のパノラマ画像生成部により生成されたパノラマ画像を入力すると、通常画像１００とパノラマ画像２００とを表示器１４に表示させる。

　また、表示制御部６６は、図７に示すようにパノラマ画像２００上に、現在の動画（通常画像１００）と同じ領域を示す枠情報２０２を表示させる。

　表示制御部６６は、動画の現在の通常画像１００が、パノラマ画像２００のどの領域に対応するかをテンプレートマッチングにより検出する。テンプレートマッチングは、現在の通常画像１００（テンプレート画像）の画像サイズと回転量とを変えながら、テンプレート画像でパノラマ画像２００を走査し、テンプレート画像がパノラマ画像２００の一部の領域と合致した領域、又は最も一致度の高い領域を検出することで、通常画像１００が、パノラマ画像２００のどの領域に対応するかを検出する手法である。

　表示制御部６６は、パノラマ画像２００上に、テンプレートマッチングにより検出した現在の通常画像１００の領域と同じ領域を示す枠情報２０２を表示させる。医師は、パノラマ画像２００上に表示された枠情報２０２により、パノラマ画像２００のどの領域が現在撮像されているかを容易に把握することができる。

　更に、表示制御部６６は、図８に示すようにパノラマ画像２００上の任意の位置２０４をマウスによりクリックすると（任意の位置が指定されると）、任意の位置２０４を含む撮像領域を内視鏡スコープ１１で撮像するための内視鏡スコープ１１の先端の移動すべき方向を示す矢印１０２を、現在の通常画像１００上に表示させる。

　表示制御部６６は、マウスによりパノラマ画像２００上で任意の位置２０４がクリックされると、パノラマ画像２００上の任意の位置２０４と現在の動画（枠情報２０２で示される通常画像１００の領域）の中心位置との相対位置、及びパノラマ画像２００と現在の通常画像１００との相対角度を算出（取得）する。パノラマ画像２００上の任意の位置２０４と現在の動画（通常画像の領域）の中心位置との相対位置、及びパノラマ画像２００と現在の通常画像の領域との相対角度は、動画の現在の通常画像が、パノラマ画像２００のどの領域に対応するかをテンプレートマッチングにより検出する際に、最もマッチングしたときの通常画像（テンプレート画像）の移動位置及びテンプレート画像の回転量を、それぞれ相対位置及び相対角度として取得することができる。

　表示制御部６６は、取得した相対位置及び相対角度に基づいて任意の位置２０４を含む撮像領域を内視鏡スコープ１１で撮像するための内視鏡スコープ１１の先端の移動すべき方向を決定する。即ち、パノラマ画像２００上の通常画像の領域の中心位置（相対位置）から見た任意の位置２０４の方向と、パノラマ画像２００上の通常画像の領域の天地方向（パノラマ画像２００に対する通常画像の相対角度に相当する撮像素子４５の上下方向）との成す角度を、内視鏡スコープ１１の先端の移動すべき方向として算出する。そして、表示制御部６６は、算出した方向を示す矢印１０２を、通常画像１００上に表示させる。

　図８では、パノラマ画像２００の生成時の基準の画像に対して現在の動画が回転していないため（内視鏡スコープ１１の先端が基準の画像の撮像時から回転していないため）、パノラマ画像２００上の通常画像の領域の中心位置から見た任意の位置２０４の方向と矢印１０２の方向とが一致している。

　一方、図９に示すようにパノラマ画像２００の生成時の基準の画像に対して現在の動画が回転している場合（例えば、時計回り方向に１３５度回転している場合）、同じ任意の位置２０４を含む撮像領域を内視鏡スコープ１１で撮像する場合の、内視鏡スコープ１１の先端の移動すべき方向は、図８に示した矢印１０２に対して反時計回り方向に１３５度回転した方向を示す矢印１０２が表示されることになる。

　医師は、任意の位置をクリックしたときに通常画像１００上に表示される矢印１０２の方向に内視鏡スコープ１１の先端を移動させることで、指定した任意の位置を含む撮像領域を内視鏡スコープ１１で撮像することができる。

　矢印１０２は、指定した任意の位置が内視鏡スコープ１１で撮像されると、消去することが好ましい。また、矢印１０２は、通常画像１００に重畳して表示せずに、通常画像１００の表示領域外に表示させてもよい。

　また、表示制御部６６は、パノラマ画像生成部（画像処理部６５）により生成されるリアルタイムの生成途中のパノラマ画像を取得することで、生成途中のリアルタイムのパノラマ画像を表示器１４に表示させることができる。

　また、この場合、表示器１４に表示された生成途中のパノラマ画像上で、任意の位置２０４を指定する場合と同様に、生成途中のパノラマ画像を拡張させる未撮像の拡張領域を、マウス（第２の指示部）で指定されると、表示制御部６６は、内視鏡スコープ１１の先端の移動方向を示す矢印（第３の情報）であって、拡張領域を含む撮像領域を内視鏡スコープ１１で撮像するための内視鏡スコープの先端の移動すべき方向を示す矢印を、通常画像１００上に表示することができる。

　パノラマ画像生成部により生成途中のパノラマ画像を表示することで、生成途中のパノラマ画像に含まれない領域を確認することができ、また、パノラマ画像を拡張させたい未撮像の領域の画像を取得することができるように、内視鏡スコープ１１の先端の移動すべき方向を誘導することができる。

　［内視鏡画像表示方法］
　次に、本発明に係る内視鏡画像表示方法の実施形態について、図１０から図１５に示したフローチャートを参照しながら説明する。

　＜内視鏡画像表示方法の主な流れ＞
　図１０において、通常画像撮影モードが設定されている場合、内視鏡装置１０により白色光により動画（通常画像）が撮像される（ステップＳ１０）。

　撮像された動画は、バッファメモリとして機能する記憶部６７に一時的に記憶保持される（ステップＳ１２）。

　続いて、プロセッサ制御部６１は、内視鏡操作部４６又はプロセッサ操作部１３ａによりパノラマ撮影モードが設定されている否かを判別する（ステップＳ１４）。パノラマ撮影モードが設定されていない場合には、表示制御部６６は、通常画像を表示器１４（モニタ）に表示させる（ステップＳ１８）。

　一方、パノラマ撮影モードが設定されている場合には、ステップＳ１６に遷移し、ここでパノラマ画像が生成されているか否かを判別する。

　パノラマ画像が生成されていない場合（「No」の場合）には、パノラマ画像生成部（画像処理部６５）は、ステップＳ１２の保持した動画、その後撮像される動画等を使用してパノラマ画像を生成する（ステップＳ２０）。

　パノラマ画像が生成されている場合（「Yes」の場合）には、表示制御部６６は、現在の通常画像及びパノラマ画像をモニタに表示させる（ステップＳ３０）。

　＜パノラマ画像の生成方法(1)＞
　図１１は、図１０に示したステップＳ２０に遷移した場合のパノラマ画像の生成方法の主な流れを示すフローチャートである。

　図１１において、プロセッサ制御部６１は、領域指定生成モード設定部又は時間指定生成モード設定部により領域指定生成モード又は時間指定生成モードのいずれが設定されているかを判別する（ステップＳ２１）。

　領域指定生成モードが設定されている場合には、ステップＳ２２に遷移し、ここで通常画像内の注目領域が指定されたか否か（例えば、マウスにより注目領域を含む任意の位置がマウスにより指定されたか否か）を判別する。注目領域が指定されたと判別されると、パノラマ画像生成部は、メモリ（記憶部６７）に保持された動画から注目領域を含む画像群を抽出し（ステップＳ２３）、抽出した画像群からパノラマ画像を生成する（ステップＳ４０）。

　一方、時間指定生成モードが設定されている場合には、ステップＳ２４に遷移し、ここで動画の時間範囲（パノラマ画像の生成に使用する動画の開始時刻及び終了時刻）が指定されたか否かを判別する。動画の時間範囲が指定されると、動画から指定された開始時刻から終了時刻までの時間範囲内の画像群を抽出し（ステップＳ２５）、抽出した画像群からパノラマ画像を生成する（ステップＳ４０）。

　この場合、開始時刻が指定されると、その時刻以降に撮像された動画の各フレームに基づいてパノラマ画像の生成を開始し、終了時刻が指定されると、パノラマ合成に使用する新たなフレームを取得せずにパノラマ画像の生成を終了させてもよいし、開始時刻から終了時刻までの時間範囲内の画像群がメモリに保持された後、メモリに保持された動画の各フレームに基づいてパノラマ画像を生成するようにしてもよい。

　＜パノラマ画像の生成方法(2)＞
　図１２は、図１１に示したステップＳ４０に遷移した場合のパノラマ画像の生成方法の具体的なアルゴリズムを示すフローチャートである。

　図１２において、パノラマ画像生成部は、パノラマ画像の生成に使用する通常画像の時系列順を示すパラメータをｉとし、パノラマ画像の生成に使用する通常画像の総数をＮとすると、まず、パラメータｉを１に設定する（ステップＳ４１）。

　続いて、パノラマ画像生成部は、通常画像I_ｉと通常画像Ｉ_ｉ＋１の２つの画像間の特徴点を抽出し（ステップＳ４２）、２つの画像間の重複領域における互いに対応する複数組の特徴点（本例では４組の対応点）を決定し、４組の対応点の座標から［数１］式の行列Ｈを求め、合成する通常画像Ｉ_ｉ＋１の全ての画素を行列Ｈによって変換（射影変換）し、合成画像（パノラマ画像Ｐ_ｉ＋１）を生成する（ステップＳ４３）。

　次に、パラメータｉがＮ－１（画像合成する回数に相当する値）か否かを判別する（ステップＳ４４）。全ての通常画像のパノラマ合成が終了していない場合（ｉ≠Ｎ－１の場合）には、パラメータｉを１だけインクリメントし（ステップＳ４５）、ステップＳ４２に遷移させ、全ての通常画像のパノラマ合成が終了した場合（ｉ＝Ｎ－１の場合）には、パノラマ画像の生成を終了させる。

　＜通常画像とパノラマ画像の表示方法＞
　図１３は、図１１に示したステップＳ３０に遷移した場合の通常画像とパノラマ画像の表示方法を示すフローチャートである。

　図１３において、表示制御部６６は、画像処理部６５から入力する通常画像とパノラマ画像とをモニタ（表示器１４）に表示させる（ステップＳ３１）。

　続いて、現在の通常画像とパノラマ画像とをテンプレートマッチングし（ステップＳ３１）、テンプレートマッチングの結果からパノラマ画像上の現在の通常画像の領域及びパノラマ画像に対する通常がぞう相対角度を検出（取得）する（ステップＳ３３）。

　続いて、表示制御部６６は、テンプレートマッチングの結果からパノラマ画像上の現在の通常画像の領域を示す枠情報２０２をパノラマ画像２００上に表示させる（ステップＳ３４、図７参照）。

　次に、表示制御部６６は、パノラマ画像上の任意の位置が指定されたか否かを判別する（ステップＳ３５）。例えば、図８に示すようにパノラマ画像２００上の任意の位置２０４がマウスによりクリックされると、任意の位置２０４が指定されたと判別する。

　表示制御部６６は、ステップＳ３５においてパノラマ画像上の任意の位置が指定されたと判別すると（「Yes」の場合）、任意の位置を含む撮像領域を内視鏡スコープ１１で撮像するためのスコープ先端の移動すべき方向を決定する（ステップＳ３６）。尚、スコープ先端の移動すべき方向方は、パノラマ画像２００上の任意の位置２０４の座標、パノラマ画像２００上の現在の通常画像の領域の中心の座標、及びステップＳ３３で取得したパノラマ画像２００に対する通常画像１００の相対角度から求めることができる。

　表示制御部６６は、ステップＳ３６で決定した方向を示す指標（矢印１０２）を、通常画像１００上に表示させる（ステップＳ３７、図８、図９の矢印１０２）。

　＜マルチフレーム撮影モード時のパノラマ画像の生成方法＞
　図１４は、図１０に示したステップＳ２０に遷移した場合のパノラマ画像の生成方法の実施形態を示すフローチャートであり、特にマルチフレーム撮影モードが設定された場合に関して示している。

　図１４において、撮影モード設定部によりマルチフレーム撮影モードに切り替えられ、又はマルチフレーム撮影モードが設定されると（ステップＳ５０）、光源装置１２から白色光と特殊光とが交互に発光され、白色光下の画像（通常画像）と特殊光下の画像（特殊光画像）とが交互に撮像される（ステップＳ５１）。

　続いて、パノラマ画像を生成するパノラマ撮影モードが設定され、マルチフレーム撮影モードにより撮像された通常画像と特殊光画像とメモリに一定期間保持されたか否かを判別する（ステップＳ５２）。

　パノラマ画像生成部は、メモリに一定期間の動画（通常画像及び特殊光画像）が記憶保持されると（「Yes」の場合）、パノラマ画像の生成に必要な通常画像群及び特殊光画像群と抽出する（ステップＳ５３）。

　パノラマ画像生成部は、パノラマ合成に使用する複数の通常画像に対応する複数の特殊光画像に基づいて、撮像領域が重複する特殊光画像間の複数組の特徴点（４組の対応点）を求め、パノラマ画像の生成用のパラメータ（［数１］式に示した行列Ｈ）を算出する。そして、パノラマ画像を生成する場合は、基準の通常画像に対して合成する通常画像を行列Ｈによって射影変換し、基準の通常画像に重畳することで合成画像（パノラマ画像）を生成する（ステップＳ５５）。

　＜通常画像撮影モードとマルチフレーム撮影モードとの切り替え＞
　図１５は、通常画像撮影モードとマルチフレーム撮影モードと切り替えてパノラマ画像を生成する方法を示すフローチャートである。

　図１５において、パノラマ画像生成部は、メモリに保持された動画からパノラマ画像の生成に使用する通常画像群を抽出する（ステップＳ６０）。尚、マルチフレーム撮影モードで撮像された動画の場合、通常画像の動画と特殊光画像の動画のうちの通常画像の動画から通常画像群を抽出する。通常画像群の抽出は、領域指定生成モード又は時間指定生成モードに基づいて行うことができる。

　パノラマ画像生成部は、通常画像群のうちの重複領域を有する２つの通常画像間の特徴点を抽出する（ステップＳ６１）。続いて、撮像領域が重複する通常画像間の複数組の特徴点（４組の対応点）が抽出（検出）されたか否かを判別する（ステップＳ６２）。

　適切な４組の対応点が検出された場合（「Yes」の場合）、図１１及び図１２に示したように通常画像群を使用してパノラマ画像を生成する（ステップＳ６３）。

　一方、適切な４組の対応点が検出されない場合（「No」の場合）、通常画像撮像モードからマルチフレーム撮影モードに切り替え（ステップＳ６４）、その後、マルチフレーム撮影モードで撮像された動画から抽出した通常画像群と特殊光画像群とを使用し、図１４に示したようにパノラマ画像を生成する（ステップＳ６５）。

　［内視鏡スコープの先端の移動方向の操作を支援する方法の他の実施形態］
　図１６及び図１７は、それぞれ任意の位置を含む撮像領域を内視鏡スコープで撮像するための内視鏡スコープの先端の移動方向の操作を支援する第２の情報の他の表示例を示す図である。

　図８及び図９に示す実施形態では、表示制御部６６は、パノラマ画像２００上の任意の位置２０４をマウスによりクリックすると、任意の位置２０４を含む撮像領域を内視鏡スコープ１１で撮像するための内視鏡スコープ１１の先端の移動すべき方向を示す矢印１０２を、現在の通常画像１００上に表示させている。

　これに対し、図１６及び図１７に示す他の実施形態では、ユーザがパノラマ画像２００上の任意の位置２０４を撮像する場合、任意の位置２０４をマウス等で指定することなく、任意の位置２０４を含む撮像領域を内視鏡スコープ１１で撮像する際の、内視鏡スコープ１１の先端の移動すべき方向を、ユーザが認識できる（認識を支援する）情報を表示する。

　図１６には、図８に示した通常画像１００及びパノラマ画像２００と同じ通常画像１００及びパノラマ画像２００が表示されている。

　図８では、任意の位置２０４を含む撮像領域を内視鏡スコープ１１で撮像するための内視鏡スコープ１１の先端の移動すべき方向を示す矢印１０２を、現在の動画である通常画像１００上に表示させているが、図１１では、パノラマ画像２００に対するパノラマ画像２００上の通常画像１００の領域の相対角度を示す情報であって、パノラマ画像２００に対する現在の動画の天地方向を示す情報（本例では、矢印２１０）を表示させている。

　パノラマ画像２００上の通常画像の領域の天地方向（パノラマ画像２００に対する通常画像の相対角度に相当する撮像素子４５の上下方向）は、現在の通常画像とパノラマ画像とのテンプレートマッチングにより検出（取得）することができる。

　図８に対応する図１６では、パノラマ画像２００の生成時の基準の画像に対して現在の動画が回転していないため（内視鏡スコープ１１の先端が基準の画像の撮像時から回転していないため）、表示器１４に表示された通常画像１００と、パノラマ画像２００内の通常画像１００に対応する領域（枠情報２０２内の領域）とは相似形であり、かつ同じ方向を向いている。

　そして、表示制御部６６は、パノラマ画像２００内の通常画像１００に対応する領域の天地方向を示す矢印２１０を、パノラマ画像２００上（枠情報２０２の近傍）に表示させる。この矢印２１０の方向は、パノラマ画像２００と現在の通常画像１００との相対角度により決定することができる。

　図１６に示す表示状態の場合、内視鏡スコープ１１の先端を移動させて任意の位置２０４を含む領域を内視鏡スコープ１１で撮像する場合の、内視鏡スコープ１１の先端の移動方向は、矢印２１０の方向に対する任意の位置２０４により、スコープ先端の右上方向であることが分かる。これは、図８に示した通常画像１００上に表示された矢印１０２が誘導する操作方向と一致する。

　一方、図９に対応する図１７では、パノラマ画像２００に対して現在の通常画像１００が時計回り方向に１３５度回転しているため、パノラマ画像２００内の通常画像１００に対応する領域の天地方向を示す矢印２１０は、図１７上で右下方向を示している。

　したがって、図１７に示す表示状態の場合、内視鏡スコープ１１の先端を移動させて任意の位置２０４を含む領域を内視鏡スコープ１１で撮像する場合の、内視鏡スコープ１１の先端の移動方向は、矢印２１０の方向に対する任意の位置２０４により、スコープ先端の左方向であることが分かる。これは、図９に示した通常画像１００上に表示された矢印１０２が誘導する操作方向と一致する。

　［その他］
　本実施形態では、パノラマ画像上に現在の動画の撮影位置を示す第１の情報として、現在の動画の領域（パノラマ画像上の領域）を囲む枠情報として表示するようにしたが、これに限らず、パノラマ画像上で現在の動画の領域を認識させる情報であれば如何なるものでもよい。同様に、内視鏡スコープの先端の移動方向の操作を支援する第２の情報として、矢印を表示するようにしたが、方向を視認できるものであれば、如何なる指標であってもよい。

　また、本実施形態では、パノラマ画像の生成する場合に基準の画像に対して合成対象の画像を射影変換して画像合成するようにしたが、射影変換に限らず、アフィン変換、その他の幾何変換を行って画像合成するようにしてもよい。

　また、内視鏡スコープ１１により得られた画像信号に基づいて表示用又は記録用の通常画像及び／又は特殊光画像の画像データを生成する機能、光源装置１２を制御する機能の他に、本発明に係る時系列の通常画像からパノラマ画像を生成する機能、通常画像とパノラマ画像とを表示器１４に表示させる機能等を有するプロセッサ装置１３のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０　内視鏡装置
１１　内視鏡スコープ
１２　光源装置
１２ａ　光源操作部
１３　プロセッサ装置
１３ａ　プロセッサ操作部
１４　表示器
１６　挿入部
１６ａ　挿入部先端部
１６ｂ　湾曲部
１６ｃ　可撓管部
１７　手元操作部
１８　ユニバーサルコード
２１　アングルノブ
２２　操作ボタン
２３　鉗子入口
２５ａ　コネクタ部
２５ｂ　コネクタ部
３１　光源制御部
３２　光源ユニット
３２ａ　Ｖ－ＬＥＤ
３２ｂ　Ｂ－ＬＥＤ
３２ｃ　Ｇ－ＬＥＤ
３２ｄ　Ｒ－ＬＥＤ
４０　ライトガイド
４２　照明レンズ
４４　対物レンズ
４５　撮像素子
４６　内視鏡操作部
４７　内視鏡制御部
４８、６２　ＲＯＭ
６１　プロセッサ制御部
６５　画像処理部
６６　表示制御部
６７　記憶部
１００　通常画像
１０２、２１０　矢印
２００　パノラマ画像
２０２　枠情報
Ｈ　行列
Ｓ１０～Ｓ６５　ステップ

Claims

　内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部と、
　前記内視鏡スコープにより撮像される動画及び前記生成されたパノラマ画像を表示器に表示させる表示制御部と、を備え、
　前記表示制御部は、
　前記表示器に表示されたパノラマ画像上に、前記表示器に表示された現在の動画の撮影位置を示す第１の情報を表示させ、
　かつ前記パノラマ画像上の任意の位置に対して、前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動方向の操作を支援する第２の情報を表示させる内視鏡装置。
　前記表示制御部は、前記動画の各フレームが、前記パノラマ画像のどの領域に対応するかをテンプレートマッチングにより検出し、前記テンプレートマッチングにより検出した領域を示す枠情報を前記第１の情報として、前記パノラマ画像上に表示させる請求項１に記載の内視鏡装置。
　前記表示器に表示された前記パノラマ画像上で前記任意の位置を指定する第１の指示部を備え、
　前記表示制御部は、前記第１の指示部により前記パノラマ画像上で前記任意の位置が指定されると、前記表示器に表示された現在の動画上に、前記内視鏡スコープの先端の移動方向を示す前記第２の情報を表示させる請求項１又は２に記載の内視鏡装置。
　前記表示制御部は、前記第１の指示部により前記パノラマ画像上で前記任意の位置が指定されると、前記パノラマ画像上の前記任意の位置と前記現在の動画の中心位置との相対位置、及び前記パノラマ画像と前記現在の動画との相対角度を算出し、前記算出した前記相対位置及び前記相対角度に基づいて前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動すべき方向を決定し、前記決定した方向を示す指標を前記第２の情報として前記表示器に表示された現在の動画上に表示させる請求項３に記載の内視鏡装置。
　前記表示制御部は、前記パノラマ画像と前記現在の動画との相対角度を算出し、前記表示器に表示されたパノラマ画像上に、前記算出した前記相対角度に基づいて前記パノラマ画像に対する前記現在の動画の天地方向を示す情報を前記第２の情報として表示させる請求項１から４のいずれか１項に記載の内視鏡装置。
　前記動画の注目領域を指定する領域指定生成モードを設定する領域指定生成モード設定部を備え、
　前記パノラマ画像生成部は、前記領域指定生成モードが設定されると、前記動画を構成するフレームのうちの前記領域指定生成モードで指定された注目領域が含まれる複数フレームに基づいてパノラマ画像を生成する請求項１から５のいずれか１項に記載の内視鏡装置。
　前記動画の時間範囲を指示する時間指定生成モードを設定する時間指定生成モード設定部を備え、
　前記パノラマ画像生成部は、前記時間指定生成モードが設定されると、前記動画を構成するフレームのうちの前記時間指定生成モードで指定された時間範囲内の複数フレームに基づいてパノラマ画像を生成する請求項１から５のいずれか１項に記載の内視鏡装置。
　前記表示制御部は、前記パノラマ画像生成部により生成された生成後のパノラマ画像、及び前記パノラマ画像生成部により生成途中のパノラマ画像を前記表示器に表示させる請求項１から７のいずれか１項に記載の内視鏡装置。
　前記表示器に表示された前記生成途中のパノラマ画像上で、前記生成途中のパノラマ画像を拡張させる未撮像の拡張領域を指定する第２の指示部を備え、
　前記表示制御部は、前記第２の指示部により前記拡張領域が指定されると、前記内視鏡スコープの先端の移動方向を示す第３の情報であって、前記拡張領域を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動すべき方向を示す第３の情報を、前記表示器に表示された現在の動画上に表示させる請求項８に記載の内視鏡装置。
　白色光に対応する通常画像を取得する通常画像撮影モード、又は白色光に対応する通常画像と特殊光に対応する特殊光画像とを交互に取得するマルチフレーム撮影モードを切り替える撮影モード設定部を備え、
　前記パノラマ画像生成部は、前記マルチフレーム撮影モードに切り替えられると、前記マルチフレーム撮影モードにより撮像された複数の特殊光画像から撮像領域が重複する特殊光画像間の複数組の特徴点を抽出し、前記抽出した複数組の特徴点に基づいて前記複数の特殊光画像と同領域を撮像した複数の通常画像間の調整を行って前記パノラマ画像を生成する請求項１から９のいずれか１項に記載の内視鏡装置。
　前記パノラマ画像生成部は、通常画像撮影モードに切り替えられると、前記通常画像撮影モードにより撮像された複数の通常画像から撮像領域が重複する通常画像間の複数組の特徴点を抽出し、前記抽出した複数組の特徴点に基づいて前記複数の通常画像間の調整を行って前記パノラマ画像を生成し、前記通常画像間の複数組の特徴点の抽出ができない場合に、前記撮影モード設定部は前記マルチフレーム撮影モードに切り替える請求項１０に記載の内視鏡装置。
　前記パノラマ画像を生成するパノラマ撮影モードに設定するパノラマ撮影モード設定部を備え、
　前記パノラマ画像生成部は、前記パノラマ撮影モードが設定されると、前記パノラマ撮影モードが設定された時点を基準にして、前記パノラマ撮影モードの設定時点の以後に前記内視鏡スコープにより撮像される動画、前記パノラマ撮影モードの設定時点の以前に前記内視鏡スコープにより撮像される動画、又は前記パノラマ撮影モードの設定時点の前後に前記内視鏡スコープにより撮像される動画に基づいて前記パノラマ画像を生成する請求項１から１１のいずれか１項に記載の内視鏡装置。
　前記パノラマ画像生成部は、前記パノラマ画像の生成に使用する前記動画の各フレームの歪みを補正する歪み補正を行い、前記歪み補正した各フレームに基づいてパノラマ画像を生成する請求項１から１２のいずれか１項に記載の内視鏡装置。
　パノラマ画像生成部が、内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するステップと、
　表示制御部が、前記内視鏡スコープにより撮像される動画及び前記生成されたパノラマ画像を表示器に表示させるステップと、
　前記表示制御部が、前記表示器に表示されたパノラマ画像上に、前記表示器に表示された現在の動画の撮影位置を示す第１の情報を表示させるステップと、
　前記表示制御部が、前記パノラマ画像上の任意の位置に対して、前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動方向の操作を支援する第２の情報を表示させるステップと、
　を含む内視鏡画像表示方法。
　前記第１の情報を表示させるステップは、前記動画の各フレームが、前記パノラマ画像のどの領域に対応するかをテンプレートマッチングにより検出し、前記テンプレートマッチングにより検出した領域を示す枠情報を前記第１の情報として、前記パノラマ画像上に表示させる請求項１４に記載の内視鏡画像表示方法。
　第１の指示部により前記表示器に表示された前記パノラマ画像上で前記任意の位置を指定するステップを含み、
　前記第２の情報を表示させるステップは、前記第１の指示部により前記パノラマ画像上で前記任意の位置が指定されると、前記表示器に表示された現在の動画上に、前記内視鏡スコープの先端の移動方向を示す前記第２の情報を表示させる請求項１４又は１５に記載の内視鏡画像表示方法。
　前記第２の情報を表示させるステップは、前記第１の指示部により前記パノラマ画像上で前記任意の位置が指定されると、前記パノラマ画像上の前記任意の位置と前記現在の動画の中心位置との相対位置、及び前記パノラマ画像と前記現在の動画との相対角度を算出し、前記算出した前記相対位置及び前記相対角度に基づいて前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動すべき方向を決定し、前記決定した方向を示す指標を前記第２の情報として前記表示器に表示された現在の動画上に表示させる請求項１６に記載の内視鏡画像表示方法。
　前記第１の情報を表示させるステップは、前記パノラマ画像と前記現在の動画との相対角度を算出し、前記表示器に表示されたパノラマ画像上に、前記算出した前記相対角度に基づいて前記パノラマ画像に対する前記現在の動画の天地方向を示す情報を前記第２の情報として表示させる請求項１４から１７のいずれか１項に記載の内視鏡画像表示方法。
　内視鏡スコープにより撮像される動画に基づいてパノラマ画像を生成するパノラマ画像生成部と、
　前記内視鏡スコープにより撮像される動画及び前記生成されたパノラマ画像を表示器に表示させる表示制御部と、を備え、
　前記表示制御部は、
　前記表示器に表示されたパノラマ画像上に、前記表示器に表示された現在の動画の撮影位置を示す第１の情報を表示させ、
　かつ前記パノラマ画像上の任意の位置に対して、前記任意の位置を含む撮像領域を前記内視鏡スコープで撮像するための前記内視鏡スコープの先端の移動方向の操作を支援する第２の情報を表示させる内視鏡プロセッサ装置。