JP7074065B2 - 医療用画像処理装置、医療用画像処理方法、プログラム - Google Patents

Description

本技術は医療用画像処理装置、医療用画像処理方法、プログラムに関し、例えば、人体に白色光などの通常光を照射して撮像した通常画像と、特殊な光を照射して撮像することにより得られる血管の位置を表す特殊画像と合成して表示できるようにした医療用画像処理装置、医療用画像処理方法、プログラムに関する。

従来、例えば、医療現場に用いることを目的として、内視鏡装置によって撮像される臓器などの通常画像に、当該通常画像では見分けにくい血管や腫瘍などの病変の位置を表す特殊画像を合成して表示するさまざま技術が提案されている。

例えば、特許文献１には、通常画像と特殊画像とを時分割に撮像することが記載されている。また例えば、特許文献２には、通常画像と特殊画像を合成表示することが記載されている。

ここで、通常画像とは、被写体となる臓器などに白色光などの通常光を照射して撮像した画像を指す。特殊画像とは、通常光とは異なる所定の波長の特殊光を照射して撮像した画像を指す。なお、特殊画像を撮像する際には、被写体となる血管（血液）や病変には特殊光の照射に反応する蛍光剤などを混入または塗布することがある。

特開２００７－３１３１７１号公報 特開２０１２－２４２８３号公報 特許第５４５１９５６号公報 特許第５１８４０１６号公報

通常画像と特殊画像を単に加算することで、重畳画像を生成した場合、信号が飽和してしまう領域、換言すれば、デジタル信号値が取り得る範囲の最大を超えてしまう領域があり、視認性の悪い画像、特に特殊画像の詳細な情報が失われた画像となってしまう可能性があった。

また、信号が飽和しないように、通常画像と特殊画像を重畳した場合、例えば、一定の混合比で通常画像と特殊画像を重畳した場合、周辺情報（例えば、患部の周辺の情報）を含む通常画像が暗くなる可能性があり、詳細な周辺情報が失われた画像となってしまう可能性があった。

本技術は、このような状況に鑑みてなされたものであり、通常画像と特殊画像を適切な混合比で重畳することができるようにするものである。

本技術の一側面の医療用画像処理装置は、被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得する取得部と、前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出する重畳率算出部と、前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理する重畳処理部とを備え、前記強度値が取り得る範囲内に、第１の閾値と第２の閾値が設定され、前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値が設定され、前記重畳率算出部は、前記第１乃至第４の閾値を用いて重畳率を算出し、前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第２の閾値は、小さい値に設定される。

本技術の一側面の医療用画像処理方法は、医療用画像処理装置が、被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出し、前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理し、前記強度値が取り得る範囲内に、第１の閾値と第２の閾値を設定し、前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値を設定し、前記重畳率を、前記第１乃至第４の閾値を用いて算出し、前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第２の閾値を、小さい値に設定する。

本技術の一側面のプログラムは、コンピュータに、被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出し、前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理し、前記強度値が取り得る範囲内に、第１の閾値と第２の閾値を設定し、前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値を設定し、前記重畳率を、前記第１乃至第４の閾値を用いて算出し、前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第２の閾値を、小さい値に設定するステップを含む処理を実行させる。

本技術の一側面の医療用画像処理装置、医療用画像処理方法、およびプログラムにおいては、被写体に対して通常光を照射した状態で撮像された通常フレームと、被写体に対して特殊光を照射した状態で撮像された特殊フレームとが取得され、特殊フレームの強度値に基づき、通常フレームと特殊フレームを重畳する割合を示す重畳率が画素毎に算出され、通常フレームと特殊フレームが、重畳率に基づき画素毎に重畳処理される。強度値が取り得る範囲内に、第１の閾値と第２の閾値が設定され、通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値が設定され、重畳率は、第１乃至第４の閾値が用いられて算出され、特殊フレームの強度値が取り得る最大値が小さくなる被写体が撮像される場合、前記第２の閾値は、小さい値に設定される。

なお、医療用画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術の一側面によれば、通常画像と特殊画像を適切な混合比で重畳することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡手術システムの一実施の形態の構成を示す図である。 カメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。 内視鏡装置の構成例を示すブロック図である。 通常フレームと特殊フレームの撮像タイミングを示す図である。 画像処理部の詳細な構成例を示すブロック図である。 動きベクトル検出部の詳細な構成例を示すブロック図である。 画像合成処理を説明するフローチャートである。 撮像されたフレーム例を示す図である。 合成後の信号レベルについて説明するための図である。 合成後の信号レベルについて説明するための図である。 重畳処理部の構成について説明するための図である。 重畳率定義関数について説明するための図である。 合成後の信号レベルについて説明するための図である。 重畳率定義関数について説明するための図である。 重畳率定義関数について説明するための図である。 重畳率定義関数について説明するための図である。 撮像される画像について説明するための図である。 重畳率定義関数について説明するための図である。 撮像される画像について説明するための図である。 重畳率定義関数について説明するための図である。 撮像される画像について説明するための図である。 重畳率定義関数について説明するための図である。 重畳処理について説明するためのフローチャートである。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

＜内視鏡システムの構成＞
本開示に係る技術は、さまざまな製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。またここでは、内視鏡手術システムを例に挙げて説明をするが、本技術は、外科手術システム、顕微鏡下手術システムなどにも適用できる。

図１は、本開示に係る技術が適用され得る内視鏡手術システム１０の概略的な構成の一例を示す図である。図１では、術者（医師）７１が、内視鏡手術システム１０を用いて、患者ベッド７３上の患者７５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１０は、内視鏡２０と、その他の術具３０と、内視鏡２０を支持する支持アーム装置４０と、内視鏡下手術のための各種の装置が搭載されたカート５０と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３７ａ～３７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３７ａ～３７ｄから、内視鏡２０の鏡筒２１や、その他の術具３０が患者７５の体腔内に挿入される。図示する例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３および鉗子３５が、患者７５の体腔内に挿入されている。また、エネルギー処置具３３は、高周波電流や超音波振動により、組織の切開および剥離、または血管の封止等を行う処置具である。ただし、図示する術具３０はあくまで一例であり、術具３０としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡２０によって撮影された患者７５の体腔内の術部の画像が、表示装置５３に表示される。術者７１は、表示装置５３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３３や鉗子３５を用いて、例えば患部を切除する等の処置を行う。なお、気腹チューブ３１、エネルギー処置具３３および鉗子３５は、手術中に、術者７１または助手等によって支持される。

（支持アーム装置）
支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図示する例では、アーム部４３は、関節部４５ａ、４５ｂ、４５ｃ、およびリンク４７ａ、４７ｂから構成されており、アーム制御装置５７からの制御により駆動される。アーム部４３によって内視鏡２０が支持され、その位置および姿勢が制御される。これにより、内視鏡２０の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡２０は、先端から所定の長さの領域が患者７５の体腔内に挿入される鏡筒２１と、鏡筒２１の基端に接続されるカメラヘッド２３と、から構成される。図示する例では、硬性の鏡筒２１を有するいわゆる硬性鏡として構成される内視鏡２０を図示しているが、内視鏡２０は、軟性の鏡筒２１を有するいわゆる軟性鏡として構成されてもよい。

鏡筒２１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡２０には光源装置５５が接続されており、当該光源装置５５によって生成された光が、鏡筒２１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７５の体腔内の観察対象に向かって照射される。なお、内視鏡２０は、直視鏡であってもよいし、斜視鏡または側視鏡であってもよい。

カメラヘッド２３の内部には光学系および撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１に送信される。なお、カメラヘッド２３には、その光学系を適宜駆動させることにより、倍率および焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド２３には撮像素子が複数設けられてもよい。この場合、鏡筒２１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡２０および表示装置５３の動作を統括的に制御する。具体的には、ＣＣＵ５１は、カメラヘッド２３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１は、当該画像処理を施した画像信号を表示装置５３に提供する。また、ＣＣＵ５１は、カメラヘッド２３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５３は、ＣＣＵ５１からの制御により、当該ＣＣＵ５１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡２０が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）または８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、および／または３Ｄ表示に対応したものである場合には、表示装置５３としては、それぞれに対応して、高解像度の表示が可能なもの、および／または３Ｄ表示可能なものが用いられ得る。４Ｋまたは８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５３として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５３が設けられてもよい。

光源装置５５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡２０に供給する。

アーム制御装置５７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置４０のアーム部４３の駆動を制御する。

入力装置５９は、内視鏡手術システム１０に対する入力インタフェースである。ユーザは、入力装置５９を介して、内視鏡手術システム１０に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示や、内視鏡２０による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具３３を駆動させる旨の指示等を入力する。

入力装置５９の種類は限定されず、入力装置５９は各種の公知の入力装置であってよい。入力装置５９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ６９および／またはレバー等が適用され得る。入力装置５９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５３の表示面上に設けられてもよい。

あるいは、入力装置５９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５９は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。

更に、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者７１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置６１は、組織の焼灼、切開または血管の封止等のためのエネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡２０による視野の確保および術者の作業空間の確保の目的で、患者７５の体腔を膨らめるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、手術に関する各種の情報を記録可能な装置である。プリンタ６７は、手術に関する各種の情報を、テキスト、画像またはグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム１０において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置４０は、基台であるベース部４１と、ベース部４１から延伸するアーム部４３と、を備える。図示する例では、アーム部４３は、複数の関節部４５ａ、４５ｂ、４５ｃと、関節部４５ｂによって連結される複数のリンク４７ａ、４７ｂと、から構成されているが、図１では、簡単のため、アーム部４３の構成を簡略化して図示している。

実際には、アーム部４３が所望の自由度を有するように、関節部４５ａ～４５ｃおよびリンク４７ａ、４７ｂの形状、数および配置、並びに関節部４５ａ～４５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部４３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部４３の可動範囲内において内視鏡２０を自由に移動させることが可能になるため、所望の方向から内視鏡２０の鏡筒２１を患者７５の体腔内に挿入することが可能になる。

関節部４５ａ～４５ｃにはアクチュエータが設けられており、関節部４５ａ～４５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５７によって制御されることにより、各関節部４５ａ～４５ｃの回転角度が制御され、アーム部４３の駆動が制御される。これにより、内視鏡２０の位置および姿勢の制御が実現され得る。この際、アーム制御装置５７は、力制御または位置制御等、各種の公知の制御方式によってアーム部４３の駆動を制御することができる。

例えば、術者７１が、入力装置５９（フットスイッチ６９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５７によってアーム部４３の駆動が適宜制御され、内視鏡２０の位置および姿勢が制御されてよい。当該制御により、アーム部４３の先端の内視鏡２０を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部４３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部４３は、手術室から離れた場所に設置される入力装置５９を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５７は、ユーザからの外力を受け、その外力にならってスムーズにアーム部４３が移動するように、各関節部４５ａ～４５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部４３に触れながらアーム部４３を移動させる際に、比較的軽い力で当該アーム部４３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡２０を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡２０が支持されていた。これに対して、支持アーム装置４０を用いることにより、人手によらずに内視鏡２０の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５７は必ずしもカート５０に設けられなくてもよい。また、アーム制御装置５７は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５７は、支持アーム装置４０のアーム部４３の各関節部４５ａ～４５ｃにそれぞれ設けられてもよく、複数のアーム制御装置５７が互いに協働することにより、アーム部４３の駆動制御が実現されてもよい。

（光源装置）
光源装置５５は、内視鏡２０に術部を撮影する際の照射光を供給する。光源装置５５は、例えばＬＥＤ、レーザ光源またはこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度および出力タイミングを高精度に制御することができるため、光源装置５５において撮像画像のホワイトバランスの調整を行うことができる。

また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド２３の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５５は、出力する光の強度を所定の時間毎に変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド２３の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれおよび白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５５は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。

あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、またはインドシアニングリーン（ICG）等の試薬を体組織に局注すると共に当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５５は、このような特殊光観察に対応した狭帯域光および／または励起光を供給可能に構成され得る。

（カメラヘッドおよびＣＣＵ）
図２を参照して、内視鏡２０のカメラヘッド２３およびＣＣＵ５１の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド２３およびＣＣＵ５１の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド２３は、その機能として、レンズユニット２５、撮像部２７、駆動部２９、通信部２６、およびカメラヘッド制御部２８を有する。また、ＣＣＵ５１は、その機能として、通信部８１、画像処理部８３、および制御部８５を有する。カメラヘッド２３とＣＣＵ５１とは、伝送ケーブル９１によって双方向に通信可能に接続されている。

まず、カメラヘッド２３の機能構成について説明する。レンズユニット２５は、鏡筒２１との接続部に設けられる光学系である。鏡筒２１の先端から取り込まれた観察光は、カメラヘッド２３まで導光され、当該レンズユニット２５に入射する。レンズユニット２５は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット２５は、撮像部２７の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズおよびフォーカスレンズは、撮像画像の倍率および焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部２７は撮像素子によって構成され、レンズユニット２５の後段に配置される。レンズユニット２５を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部２７によって生成された画像信号は、通信部２６に提供される。

撮像部２７を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者７１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部２７を構成する撮像素子は、３Ｄ表示に対応する右目用および左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者７１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部２７が多板式で構成される場合には、各撮像素子に対応して、レンズユニット２５も複数系統設けられる。

また、撮像部２７は、必ずしもカメラヘッド２３に設けられなくてもよい。例えば、撮像部２７は、鏡筒２１の内部に、対物レンズの直後に設けられてもよい。

駆動部２９は、アクチュエータによって構成され、カメラヘッド制御部２８からの制御により、レンズユニット２５のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部２７による撮像画像の倍率および焦点が適宜調整され得る。

通信部２６は、ＣＣＵ５１との間で各種の情報を送受信するための通信装置によって構成される。通信部２６は、撮像部２７から得た画像信号をＲＡＷデータとして伝送ケーブル９１を介してＣＣＵ５１に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。

手術の際には、術者７１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部２６には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル９１を介してＣＣＵ５１に送信される。

また、通信部２６は、ＣＣＵ５１から、カメラヘッド２３の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／または撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部２６は、受信した制御信号をカメラヘッド制御部２８に提供する。

なお、ＣＣＵ５１からの制御信号も、光通信によって伝送されてもよい。この場合、通信部２６には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部２８に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１の制御部８５によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能およびＡＷＢ（Auto White Balance）機能が内視鏡２０に搭載される。

カメラヘッド制御部２８は、通信部２６を介して受信したＣＣＵ５１からの制御信号に基づいて、カメラヘッド２３の駆動を制御する。例えば、カメラヘッド制御部２８は、撮像画像のフレームレートを指定する旨の情報および／または撮像時の露光を指定する旨の情報に基づいて、撮像部２７の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部２８は、撮像画像の倍率および焦点を指定する旨の情報に基づいて、駆動部２９を介してレンズユニット２５のズームレンズおよびフォーカスレンズを適宜移動させる。カメラヘッド制御部２８は、更に、鏡筒２１やカメラヘッド２３を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット２５や撮像部２７等の構成を、気密性および防水性が高い密閉構造内に配置することで、カメラヘッド２３について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１の機能構成について説明する。通信部８１は、カメラヘッド２３との間で各種の情報を送受信するための通信装置によって構成される。通信部８１は、カメラヘッド２３から、伝送ケーブル９１を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部８１には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部８１は、電気信号に変換した画像信号を画像処理部８３に提供する。

また、通信部８１は、カメラヘッド２３に対して、カメラヘッド２３の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部８３は、カメラヘッド２３から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理および／または手ブレ補正処理等）、並びに／または拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部８３は、ＡＥ、ＡＦおよびＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部８３は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部８３が複数のＧＰＵによって構成される場合には、画像処理部８３は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部８５は、内視鏡２０による術部の撮像、およびその撮像画像の表示に関する各種の制御を行う。例えば、制御部８５は、カメラヘッド２３の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部８５は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡２０にＡＥ機能、ＡＦ機能およびＡＷＢ機能が搭載されている場合には、制御部８５は、画像処理部８３による検波処理の結果に応じて、最適な露出値、焦点距離およびホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部８５は、画像処理部８３によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５３に表示させる。この際、制御部８５は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。

例えば、制御部８５は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具３３使用時のミスト等を認識することができる。制御部８５は、表示装置５３に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者７１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド２３およびＣＣＵ５１を接続する伝送ケーブル９１は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、またはこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル９１を用いて有線で通信が行われていたが、カメラヘッド２３とＣＣＵ５１との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル９１を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル９１によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム１０の一例について説明した。

なお、ここでは、一例として内視鏡手術システム１０について説明したが、本開示に係る技術が適用され得るシステムは係る例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

以下の説明おいては、本技術が適用される例として、上記した内視鏡手術システム１０を一例として説明を続ける。本技術が適用される内視鏡手術システム１０においては、通常画像と特殊画像を取得し、取得された通常画像と特殊画像を重畳して術者に提示することができる。

この通常画像と特殊画像を取得し、取得された通常画像と特殊画像を重畳することについて説明を加えるために、再度、内視鏡手術システムの構成について説明する。図３は、通常画像と特殊画像を取得し、取得された通常画像と特殊画像を重畳し、重畳した画像を提示する機能を有する内視鏡装置の一例の構成を示す図である。

ここで通常画像とは、被写体となる臓器などに白色光などの通常光を照射して撮像した画像を指す。以下、通常画像を通常フレームとも称する。特殊画像とは、通常光とは異なる所定の波長の特殊光を照射して撮像した画像を指す。以下、特殊画像を特殊フレームとも称する。なお、特殊画像を撮像する際には、被写体となる血管（血液）や病変には特殊光の照射に反応する蛍光剤などを混入または塗布することがある。

図３に示した内視鏡装置１１０は、通常フレームと特殊フレームを時分割で撮像し、これらを正確に位置合わせして合成し、その結果得られる合成フレームを表示する内視鏡装置の構成例を示している。

この内視鏡装置１１０は、光源部１１１、撮像部１１２、現像部１１３、画像処理部１１４、および表示部１１５から構成される。光源部１１１は、例えば、内視鏡手術システム１０の光源装置５５（図１）に該当し、撮像部１１２は、撮像部２７（図２）に該当し、現像部１１３は、画像処理部８３（図２）に含まれ、画像処理部１１４は、画像処理部８３（図２）に該当し、表示部１１５は、表示装置５３（図１）に該当する。

光源部１１１は、撮像されるフレーム毎に、白色光などの通常光または所定の波長を有する特殊光を切り替えて被写体（体内の臓器など）に照射する。また、光源部１１１は、撮像されるフレーム毎に、通常光または特殊光のどちらを照射したのかを示す照射識別信号を画像処理部１１４に出力する。なお、特殊光を照射するには、通常光の光路に所定の波長のみを透過する光学フィルタを設ければよい。

撮像部１１２は、光源部１１１から通常光または特殊光が照射されている状態の被写体を撮像し、その結果得られる画像信号を現像部１１３に出力する。現像部１１３は、撮像部１１２から入力される画像信号に対してモザイク処理などの現像処理を行い、処理結果の画像信号（通常光照射時の通常フレーム、または特殊光照射時の特殊フレーム）を画像処理部１１４に出力する。

ここで、特殊フレームは、血管、腫瘍などの病変が通常フレームに比較してより明確になっているが、その反面、フレーム全体の明るさが暗く、ノイズが多いものとなる。一方、通常フレームは、特殊フレームに比較してフレーム全体の明るさが明るく、ノイズが少ないが、その反面、血管や腫瘍などの病変が見分けにくいものとなる。

画像処理部１１４は、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出する。また、画像処理部１１４は、通常フレームから検出した動きベクトルに基づき、特殊フレームの動き補正を行い、通常フレーム、並びに動き補正した特殊フレームを合成し、その結果得られた合成フレームを表示部１１５に出力する。

表示部１１５は、合成フレームを表示する。

＜通常フレームと特殊フレームの撮像タイミング＞
図４は、通常フレームと特殊フレームの撮像タイミングの一例を示している。

内視鏡装置１１０においては、数フレーム連続して通常フレームを撮像し、その間に定期的に特殊フレームを撮像するようにする。例えば、図４に示されるように、通常フレームと特殊フレームの撮像の割合を４：１とする。

ただし、この割合は４：１に限定されるものではなく、変更可能としてもよい。同図におけるTaは特殊フレームが撮像される１フレーム前に通常フレームが撮像されたタイミングを、Tbは特殊フレームが撮像されるタイミングを、Tc，Td，Teは、それぞれ特殊フレームが撮像された１，２，３フレーム後に通常フレームが撮像されたタイミングを示している。Ta乃至Teは、後述する動きベクトルの検出の説明に使用する。

＜画像処理部１１４の構成例＞
次に、図５は、画像処理部１１４の構成例を示している。

画像処理部１１４は、切り替え部１２１、動きベクトル検出部１２２、補正量推定部１２３、フレームメモリ１２４、動き補正部１２５、および重畳処理部１２６から構成される。

画像処理部１１４において、前段の現像部１１３から入力される通常フレームおよび特殊フレームは切り替え部１２１に入力され、光源部１１１からの照射識別信号は切り替え部１２１、動きベクトル検出部１２２、および補正量推定部１２３に入力される。

切り替え部１２１は、照射識別信号に基づき、現像部１１３からの入力が特殊フレームであるか否かを判別し、特殊フレームではない（通常フレームである）場合には動きベクトル検出部１２２および重畳処理部１２６に出力し、特殊フレームである場合にはフレームメモリ１２４に出力する。

動きベクトル検出部１２２は、フレーム周期毎に、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出し、検出した動きベクトルを補正量推定部１２３に出力する。

補正量推定部１２３は、動きベクトル検出部１２２で検出された動きベクトルに基づき、特殊フレームの動き補正量を推定し、推定した動き補正量を動き補正部１２５に出力する。なお、補正量推定部１２３は、連続して検出された動きベクトルに基づき、誤検出されている可能性がある動きベクトルを補正することができ、補正した動きベクトルに基づいて動き補正量を推定できる。

フレームメモリ１２４は、切り替え部１２１から入力された特殊フレームを保持し、フレーム周期毎に、保持する特殊フレームを動き補正部１２５に供給する。また、フレームメモリ１２４は、切り替え部１２１から次の特殊フレームは入力された場合、保持する特殊フレームを更新する。

なお、例えば、微小ブロック内の例えば(3x3)の分散やダイナミックレンジが閾値以上の領域を抽出し、抽出結果を表す特徴抽出フレームを生成する処理が実行されるようにしても良い。また例えば、画素の信号レベルが特定の閾値内の領域、すなわち特定のRGBレベルを持つ領域を抽出し、抽出結果を表す特徴抽出フレームを生成する処理が実行されるようにしても良い。また例えば、（腫瘍などに相当する）閉領域に対してSNAKE等の輪郭検出処理を行い、その結果を表す特徴抽出フレームを生成するようにしてもよい。

動き補正部１２５は、動き補正量推定部１２３から入力される動き補正量に基づき、フレームメモリ１２４からの特殊フレームの動き補正を行い、動き補正後の特殊フレームを重畳処理部１２６に出力する。

重畳処理部１２６は、通常フレームと動き補正後の特殊フレームを入力として、重畳合成処理を行うことによって合成フレーム（重畳フレーム）を生成して後段の表示部１１５に出力する。

＜動きベクトル検出部１２２の構成例＞
図６は、動きベクトル検出部１２２の構成例を示している。動きベクトル検出部１２２は、フレームメモリ１３１および１３２、フレーム選択部１３３、ブロックマッチング部１３４、並びにベクトル補正部１３５から構成される。

動きベクトル検出部１２２において、前段の切り替え部１２１から入力される通常フレームはフレームメモリ１３１およびフレーム選択部１３３に入力される。

フレームメモリ１３１は、フレーム周期毎に、それまで保持していた通常フレームをフレームメモリ１３２およびフレーム選択部１３３に出力するとともに、保持するデータを前段の切り替え部１２１から入力される通常フレームにより更新する。同様に、フレームメモリ１３２は、フレーム周期毎に、保持していた通常フレームをフレーム選択部１３３に出力するとともに、保持するデータを前段のフレームメモリ１３１から入力される通常フレームにより更新する。

ただし、フレーム周期のうち、動きベクトル検出部１２２に通常フレームが入力されないタイミングでは、フレームメモリ１３１は、それまで保持していた通常フレームを後段に出力するとともに、それまで保持していたデータをクリアする。

その次のタイミングでは、フレームメモリ１３１は、保持しているデータがないので、後段への出力は行わない。フレームメモリ１３２は、それまで保持していた通常フレームを後段に出力するとともに、それまで保持していたデータをクリアする。

したがって、フレーム選択部１３３には、撮像タイミングが異なる２枚または３枚の通常フレームが同時に入力されることになる。

フレーム選択部１３３は、同時に２枚の通常フレームが入力された場合、該２枚の通常フレームをブロックマッチング部１３４に出力する。また、フレーム選択部１３３は、同時に３枚の通常フレームが入力された場合、フレームメモリ１３１および１３２から入力された２枚の通常フレームをブロックマッチング部１３４に出力する。ブロックマッチング部１３４は、ブロックマッチング処理によって２枚の通常フレーム間の動きベクトルを検出する。

ベクトル補正部１３５は、照射識別信号に基づいて、動きベクトルに用いられた２枚の通常フレームの関係を判断し、その関係に基づいて、検出された動きベクトルを補正して動きベクトルを補正量推定部１２３に出力する。

ベクトル補正部１３５による動きベクトルの補正について具体的に説明する。フレームメモリ１３１からの出力を基準とすれば、基準の撮像タイミングが図４に示されるTaである場合、フレーム選択部１３３に対して、フレームメモリ１３２から基準よりも１フレーム前の通常フレームと、フレームメモリ１３１から基準の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部１３５は動きベクトルの補正を行わない。

基準の撮像タイミングが図４に示されるTbである場合、Tbは特殊フレームの撮像タイミングであるので、フレームメモリ１３１は出力しない。そして、フレーム選択部１３３に対して、フレームメモリ１３１から基準よりも１フレーム前の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、検出された動きベクトルは２フレーム分離れた通常フレーム間のものであるので、ベクトル補正部１３５は検出された動きベクトルの縦横それぞれの成分に１／２を乗算する。

基準の撮像タイミングが図４に示されるTcである場合、フレーム選択部１３３に対して、フレームメモリ１３１から基準の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、この２枚の通常フレームから動きベクトルが検出される。この場合、検出された動きベクトルの方向が反対しているので、ベクトル補正部１３５は検出された動きベクトルの縦横それぞれの成分に－１を乗算する。

基準の撮像タイミングが図４に示されるTdである場合、フレーム選択部１３３に対しては、フレームメモリ１３２から基準よりも１フレーム前の通常フレームと、フレームメモリ１３１から基準の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、フレームメモリ１３１および１３２からの２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部１３５は動きベクトルの補正を行わない。

基準の撮像タイミングが図４に示されるTeである場合、フレーム選択部１３３に対しては、フレームメモリ１３２から基準よりも１フレーム前の通常フレームと、フレームメモリ１３１から基準の通常フレームと、切り替え部１２１から基準よりも１フレーム後の通常フレームとが入力され、フレームメモリ１３１および１３２からの２枚の通常フレームから動きベクトルが検出される。この場合、ベクトル補正部１３５は動きベクトルの補正を行わない。

以上のようにして補正された動きベクトルがベクトル補正部１３５から後段の補正量推定部１２３に出力される。

＜画像処理部１１４による画像合成処理＞
次に、画像処理部１１４による画像合成処理について図７を参照して説明する。図７は、画像合成処理を説明するフローチャートである。この画像合成処理はフレーム周期毎に実行される。

ステップＳ１１において、切り替え部１２１は、照射識別信号に基づき、現像部１１３からの入力が特殊フレームであるか否かを判別し、特殊フレームであると判別した場合、該特殊フレームをフレームメモリ１２４に出力する。反対に、特殊フレームではない（通常フレームである）と判別した場合、該通常フレームを動きベクトル検出部１２２および重畳処理部１２６に出力する。

ステップＳ１２において、フレームメモリ１２４は、それまで保持していた特殊フレームを動き補正部１２５に供給する。なお、切り替え部１２１から特殊フレームが入力された場合には、保持する特殊フレームを更新する。

ステップＳ１３において、動きベクトル検出部１２２は、撮像タイミングが異なる２枚の通常フレームを用いて動きベクトルを検出し補正量推定部１２３に出力する。ステップＳ１４において、補正量推定部１２３は、検出された動きベクトルが所定の閾値以下であるか否かを判定し、所定の閾値以下である場合には、その動きベクトルを動き補正に利用するために処理をステップＳ１５に進める。反対に、検出された動きベクトルが所定の閾値よりも大きい場合には、その動きベクトルを動き補正に利用しない。この場合、今回の撮像タイミングに対応する画像合成処理は終了される。

ステップＳ１５においては、補正量推定部１２３は、動きベクトル検出部１２２で検出された動きベクトルに基づき、特殊フレームの動き補正量を推定し、推定した動き補正量を動き補正部１２５に出力する。

動き補正量が推定された後、処理はステップＳ１６に進められる。ステップＳ１６において、動き補正部１２５は、動き補正量推定部１２３から入力される動き補正量に基づき、フレームメモリ１２４からの特殊フレームの動き補正を行い、動き補正後の特殊フレームを重畳処理部１２６に出力する。重畳処理部１２６に入力された通常フレームと特殊フレームは、それぞれにおける被写体が正確に位置合わせされたものとなる。

ステップＳ１７において、重畳処理部１２６は、通常フレームと、動き補正後の特殊フレームを用いて重畳合成処理を行うことによって合成フレームを生成して後段の表示部１１５に出力する。

このような処理が行われることで、内視鏡装置１１０によれば、通常フレームのみを使って動きベクトルを検出し、検出した動きベクトルを補正してから動き補正量を推定することができ、特殊フレームの動き補正を正確に実行できる。これにより、通常フレームに対して、血管や腫瘍などの特殊フレームの情報を正確に位置合わせできるので、ユーザ（手術を行う医師など）に対し、切除すべき腫瘍部分と、切除してはいけない血管部分を正確かつ明確に視認させることができる。

ユーザに提示される合成フレームは、通常フレームをベースに作られているので、特殊フレームに比べて、明るくノイズ少ない合成フレームをユーザに提示できる。

＜重畳された部分の信号レベルについて＞
上記したように、通常フレームと特殊フレームを重畳するとき、単に画素値を加算して合成フレームを生成した場合、信号が飽和してしまう領域、換言すれば、デジタル信号値が取り得る範囲の最大を超えてしまう領域があり、視認性の悪い画像、特に特殊画像の詳細な情報が失われた画像となってしまう可能性がある。

例えば、図８に示したような通常フレーム３０１と特殊フレーム３０２が取得された場合を考える。通常フレーム３０１には、視認できる血管が撮像され、特殊フレーム３０２には、視認できる結果の他に、深い位置にあり通常フレーム３０１では撮像されていない血管も撮像されている。

このような通常フレーム３０１と特殊フレームを重畳する場合を考える。通常フレーム３０１のＡ－Ａ’のラインと、このラインに該当する位置にある特殊フレームのＢ－Ｂ’のラインを重畳したときを考える。この場合、位置を横軸にとり、信号レベルを縦軸にとった場合、図９に示すようなグラフが得られる。

通常フレーム３０１のラインＡ－Ａ’のうち、ａ－ａ’の部分には血管が撮像されている。同様に、特殊フレーム３０２のラインＢ－Ｂ’のうち、ｂ－ｂ’の部分には血管が撮像されている。通常フレーム３０１のラインＡ－Ａ’上の画素の信号レベルは、どの画素も飽和レベルを超えていない。

このような通常フレーム３０１に特殊フレーム３０２を重畳した場合、特殊フレーム３０２のラインＢ－Ｂ’のうち、ｂ－ｂ’の部分にある血管が、通常フレーム３０１のラインＡ－Ａ’のａ－ａ’の部分の血管に重畳されることなる。

ａ－ａ’の部分の血管とｂ－ｂ’の部分の血管が重畳されることで、飽和信号レベルを超える可能性がある。飽和信号レベルを超えると、例えば、白飛びしてしまい、詳細な情報が失われてしまう可能性がある。例えば、複数の血管が撮像されていても、重畳されることで飽和信号レベルを超えてしまうと、複数の血管を識別できない表示となる可能性があり、詳細な情報が失われてしまう可能性がある。

重畳後に飽和信号レベルを超えないように、通常フレームと特殊フレームを重畳するために、例えば、重畳後に飽和信号レベルを超えない一定の混合比で通常画像と特殊画像を重畳した場合、周辺情報（例えば、患部の周辺の情報）を含む通常フレームが暗くなる可能性があり、詳細な周辺情報が失われた画像となってしまう可能性がある。

例えば、上記した場合と同じく、図８に示したような通常フレーム３０１と特殊フレーム３０２が取得され、重畳する場合を考える。ａ－ａ’の部分には血管とｂ－ｂ’の部分にある血管が重畳されることで、飽和信号レベルを超える可能性があるため、予め通常フレームの信号レベルを下げておく。

例えば、図１０に示すように、取得された通常フレーム３０１の信号レベルはレベルＣであるが、レベルＣよりも低いレベルＣ’の信号レベルに変換され、その後、特殊フレーム３０２と重畳される。

このように信号レベルを下げてから、重畳することで、ａ－ａ’の部分の血管とｂ－ｂ’の部分の血管が重畳されても、飽和信号レベルを超えることがないように重畳することができる。

しかしながら、本来、通常フレーム３０１の信号レベルはレベルＣだけあったのが、レベルＣ’に下げられることにより、例えば、輝度が下がり、通常フレーム３０１の画像が暗くなり、見づらくなってしまう可能性がある。

以下に説明する本技術を適用することで、通常フレームと特殊フレームを、詳細な情報が失われることなく重畳することができる。

＜重畳処理部の構成＞
図１１は、重畳処理部１２６の内部構成例を示す図である。重畳処理部１２６は、画素値算出部４０１と通常フレーム重畳率算出部４０２を含む構成とされている。

重畳処理部１２６の通常フレーム重畳率算出部４０２には、特殊フレーム３０２が供給される。通常フレーム重畳率算出部４０２は、供給された特殊フレーム３０２の例えば輝度値を参照し、通常フレーム３０１と特殊フレーム３０２を重畳するときの、通常フレーム３０１と特殊フレーム３０２の混合比を算出する。

通常フレーム重畳率算出部４０２には、重畳制御情報３０４も供給される。通常フレーム重畳率算出部４０２は、重畳制御情報３０４に基づき、混合比を算出する。ここでは、通常フレーム３０１をどの程度の割合で特殊フレーム３０２と重畳するかを表す通常フレーム重畳率３０５を算出するとして説明を続ける。

なお、重畳率については後述するが、通常フレーム３０１を重畳する割合（通常フレーム重畳率３０５）と特殊フレーム３０２を重畳する割合（特殊フレーム重畳率３０６とする）を加算すると、1.0（100%）になるように設定されているため、一方が算出されれば、他方も算出されるという関係にある。

なお、ここでは、通常フレーム重畳率３０５と特殊フレーム重畳率３０６を加算した場合、1.0（100%）になる関係にあるとして説明を続けるが、他の関係、例えば、2.0になるなどの関係になっていても、本技術の適用範囲である。

ここでは、通常フレーム重畳率算出部４０２は、特殊フレーム３０２を参照して、通常フレーム重畳率３０５を算出するとして説明を続けるが、特殊フレーム重畳率３０６を算出するようにし、以下に説明する処理が実行されるようにすることも可能である。

また、通常フレーム重畳率算出部４０２は、特殊フレーム３０２を参照して、通常フレーム重畳率３０５と特殊フレーム重畳率３０６をともに算出するようにし、以下に説明する処理が実行されるようにすることも可能である。

通常フレーム重畳率算出部４０２は、特殊フレーム３０２を参照して、特殊フレーム重畳率３０６を算出し、その算出した重畳率を、特殊フレーム３０２（の画素値）に乗算した値を画素値算出部４０１に供給するようにし、以下に説明する処理の一部を、通常フレーム重畳率算出部４０２で行う構成とすることも可能である。

また通常フレーム重畳率算出部４０２に供給される特殊フレーム３０２は、所定のフィルタによる処理が施されたフレームであっても良い。例えば、エッジを強調するフィルタによる処理が施された特殊フレーム３０２が、通常フレーム重畳率算出部４０２に供給される構成としても良い。

画素値算出部４０１には、通常フレーム３０１と特殊フレーム３０２が供給される。また画素値算出部４０１には、通常フレーム重畳率算出部４０２で算出された通常フレーム重畳率３０５も供給される。

画素値算出部４０１は、通常フレーム３０１のうちの処理対象とされた画素の画素値と、特殊フレーム３０２のうちの処理対象とされた画素の画素値を加算し、重畳フレーム３０３の画素の画素値を算出する。加算するとき、通常フレーム３０１の画素値に通常フレーム重畳率３０５を乗算し、その乗算した値と、特殊フレーム３０２の画素値に特殊フレーム重畳率３０６を乗算した値が加算される。

式で表すと次式（１）となる。
重畳フレーム３０３の画素値
＝（通常フレーム３０１の画素値）×（通常フレーム重畳率３０５）
＋（特殊フレーム３０２の画素値）×（特殊フレーム重畳率３０６） ・・・（１）
（特殊フレーム重畳率３０６）＝１－（通常フレーム重畳率３０５）

なおここでの重畳フレーム３０３の画素値の算出の仕方は一例であり、他の式に基づき算出されるようにしても良い。

また、式（１）に基づく処理は、画素毎に行われ、適用されている色空間に応じた画素値が用いられた処理が実行される。

例えば、YCbCr空間の場合、通常フレーム３０１の画素値を(Ywl, Cbwl, Crwl)とし、特殊フレーム３０２の画素値を(Yfl, Cbfl, Crfl)とし、重畳フレーム３０３の画素値を（Yov, Cbov, Crov）とし、通常フレーム重畳率をRとした場合、次式のように算出される。

Yov＝R×Ywl＋（1.0－R）×Yfl
Cbov＝R×Cbwl＋（1.0－R）×Cbfl
Crov＝R×Crwl＋（1.0－R）×Crfl

なお、特殊フレーム３０２が、１チャネルの場合（白黒画像の場合）、Cbfl, Crflは0として算出が行われる。

RGB空間の場合、通常フレーム３０１の画素値を(Rwl, Gwl, Bwl)とし 特殊フレーム３０２の画素値を(Rfl, Gfl, Bfl)とし、重畳フレーム３０３の画素値を（Rov, Gov, Bov）とし、通常フレーム重畳率をRとした場合、次式のように算出される。

Rov＝R×Rwl＋（1.0－R）×Rfl
Gov＝R×Gwl＋（1.0－R）×Gfl
Bov＝R×Bwl＋（1.0－R）×Bfl

なお、特殊フレーム３０２が、１チャネルの場合（白黒画像の場合）、特殊フレーム３０２のRGB値全てに同じ値が入っている、すなわち、Rfl=Gfl=Bfl=Yflとして算出が行われる。

なお、ここで例に挙げたYCbCr空間、RGB空間以外の色空間であっても、本技術を適用することはでき、色空間に適した計算が実行される。

＜重畳率定義関数＞
ここで、重畳制御情報３０４について説明を加える。重畳制御情報３０４は、例えば、図１２に示すグラフ(適宜、重畳率定義関数と記述する)で定義される情報である。

図１２に示したグラフは、横軸に特殊フレーム３０２の強度値Yを表し、縦軸に通常フレーム重畳率３０５を表す。特殊フレーム３０２の強度値Yと、通常フレーム重畳率３０５は、0～1.0の値を取る可能性のある値であるとする。特殊フレーム３０２の強度値Yは、例えば、特殊フレーム３０２の画素の輝度値とすることができる。

ここで、強度値Yについて説明を加えておく。特殊フレーム３０２（特殊画像）は、蛍光強度（輝度）に応じたデジタル値を持つ画像であり、１チャネルの白黒画像である。また特殊フレーム３０２には、単色の色がついている場合もあり、蛍光強度に応じたカラーマップが割り当てられている場合もある。そのような場合には、特殊フレーム３０２は、カラー画像となる。

カラー画像の場合、画素値は３チャネルであることが多く、定義される色空間はRGB, YCbCr, YIQ, L*a*b*, L*u*v*等、様々考えられる。

このような特殊フレーム３０２から、強度値Yを定義する。強度値Yは、蛍光強度に相関のある値であれば良く、具体的には輝度値等を用いることができる。１チャネルの白黒画像であれば、画素値そのものを強度値Yとして用いることができる。また、カラー画像であれば、輝度に相当するチャネルを強度値Yとしても良いし、３チャネルの信号から適切な比率で混合して算出される値を強度値Yとしても良い。

図１２に示したグラフを参照するに、特殊フレーム３０２の強度値Yには、閾値Yth1と閾値Yth2が設定されている。また、通常フレーム重畳率３０５には、閾値Rth1と閾値Rth2が設定されている。これらの閾値Yth1、閾値Yth2、閾値Rth1、および閾値Rth2が、重畳制御情報３０４とされ、通常フレーム重畳率算出部４０２に供給される。

通常フレーム重畳率算出部４０２は、供給された特殊フレーム３０２の強度値Yが０～閾値Yth1の範囲内の値である場合、通常フレーム重畳率３０５を、閾値Rth1とする。すなわち、
強度値Y＜閾値Yth1 である場合、
通常フレーム重畳率３０５＝閾値Rth1
とされる。

例えば、閾値Rth1が0.8であった場合、通常フレーム重畳率３０５は、0.8とされ、画素値算出部４０１に供給される。このような場合、画素値算出部４０１において、通常フレーム３０１と特殊フレーム３０２は、0.8:0.2の割合で重畳される。

上記した式（１）に代入すると、
重畳フレーム３０３の画素値＝（通常フレーム３０１の画素値）×0.8
＋（特殊フレーム３０２の画素値）×0.2
となる。このような演算により、重畳フレーム３０３の画素値が算出される。

また、通常フレーム重畳率算出部４０２は、供給された特殊フレーム３０２の強度値Yが閾値Yth1～閾値Yth2の範囲内の値である場合、その強度値Yに応じた通常フレーム重畳率３０５とする。

すなわち、
閾値Yth1≦強度値Y＜閾値Yth2 である場合、
次式（２）で算出される値Ｒが、通常フレーム重畳率３０５に設定される。

Ｒ＝ａ×Ｙ＋ｂ
ａ＝（Rth2－Rth1）／（Yth2－Yth1） ， ｂ＝Rth1－ａ×Yth1
・・・（２）

式（２）は、通常フレーム重畳率３０５（＝Ｒ）を求める１次関数である。ここでは、閾値Yth1≦強度値Y＜閾値Yth2である場合、１次関数で求められる値を、通常フレーム重畳率３０５とする場合を例に挙げて説明を続けるが、後述するように、１次関数以外の関数を用いたり、強度値Yと通常フレーム重畳率３０５を関連付けたテーブルなどを用いたりすることも可能である。

例えば、式（２）に基づき、通常フレーム重畳率３０５が0.5と算出された場合、通常フレーム重畳率３０５は、0.5とされ、画素値算出部４０１に供給される。このような場合、画素値算出部４０１において、通常フレーム３０１と特殊フレーム３０２は、0.5:0.5の割合で重畳される。

上記した式（１）に代入すると、
重畳フレーム３０３の画素値＝（通常フレーム３０１の画素値）×0.5
＋（特殊フレーム３０２の画素値）×0.5
となる。このような演算により、重畳フレーム３０３の画素値が算出される。

また、通常フレーム重畳率算出部４０２は、供給された特殊フレーム３０２の強度値Yが閾値Yth2～1.0の範囲内の値である場合、通常フレーム重畳率３０５を、閾値Rth2とする。すなわち、
閾値Yth2≦強度値Y である場合、
通常フレーム重畳率３０５＝閾値Rth2
とされる。

例えば、閾値Rth2が0.2であった場合、通常フレーム重畳率３０５は、0.2とされ、画素値算出部４０１に供給される。このような場合、画素値算出部４０１において、通常フレーム３０１と特殊フレーム３０２は、0.2:0.8の割合で重畳される。

上記した式（１）に代入すると、
重畳フレーム３０３の画素値＝（通常フレーム３０１の画素値）×0.2
＋（特殊フレーム３０２の画素値）×0.8
となる。このような演算により、重畳フレーム３０３の画素値が算出される。

このように、特殊フレーム３０２の強度値Yにより、通常フレーム３０１と特殊フレーム３０２の重畳の割合（ブレンド比）が設定されるため、重畳フレーム３０３において、信号レベルが飽和してしまうようなことを防ぐことができる。

例えば、上述した図８に示したような通常フレーム３０１と特殊フレーム３０２が取得された場合を再度考える。図８に示したような通常フレーム３０１に特殊フレーム３０２を、図１２に示した重畳率定義関数を用い、図１１に示した重畳処理部１２６で処理して重畳した場合、図１３に示したような信号レベルの重畳フレーム３０３が生成される。

ａ－ａ’の部分の血管とｂ－ｂ’の部分の血管が重畳されるが、このように、特殊フレーム３０２の強度値Yが大きくなる部分では、特殊フレーム３０２の重畳率が高く設定され、通常フレーム３０１の重畳率は低く設定される。よって、重畳フレーム３０３において信号レベルが飽和信号レベルを超えるようなことは防がれる。

よって、図９を参照して説明したように、飽和信号レベルを超えることで、例えば、白飛びしてしまい、詳細な情報が失われてしまう可能性があるが、本技術によれば、そのような状況が発生することを防ぐことができる。

例えば、特殊フレーム３０２に複数の血管が撮像されていても、重畳されることで飽和信号レベルを超えてしまうと、複数の血管を識別できない表示となる可能性があり、詳細な情報が失われてしまう可能性があるが、本技術によれば、重畳された後も、特殊フレーム３０２に撮像されている複数の血管は、そのような状態を維持した状態でユーザに提示されるため、詳細な情報を提示することが可能となる。

また、例えば、ａ－ａ’の部分（ｂ－ｂ’の部分）以外、換言すれば、特殊フレーム３０２の強度値Yが小さい部分では、特殊フレーム３０２の重畳率は低く設定されるが、通常フレーム３０１の重畳率は高く設定される。よって、通常フレーム３０１の信号レベルが不用意に低くされてしまうようなことを防ぐことができる。

すなわち、本技術によれば、重畳後に飽和信号レベルを超えないように、通常フレーム３０１と特殊フレーム３０２を重畳するようにした場合であるが、一定の混合比で通常フレーム３０１と特殊フレーム３０２を重畳するのではなく、可変する混合比で通常フレーム３０１と特殊フレーム３０２を重畳する。

よって、図１０を参照して説明したように、一定の混合比で通常フレーム３０１と特殊フレーム３０２を重畳すると、周辺情報（例えば、患部の周辺の情報）を含む通常フレーム３０１が暗くなる可能性があり、詳細な周辺情報が失われた画像となってしまう可能性があるが、本技術によれば、そのような状況が発生することを防ぐことができる。

例えば、ａ－ａ’の部分（ｂ－ｂ’の部分）以外の部分、換言すれば、特殊フレーム３０２による画像、例えば血管の画像がない部分や、そのような血管の周辺の部分において、通常フレーム３０１による画像を、輝度値などを落とすことなく重畳された重畳フレーム３０３をユーザに提供できるようになる。よって、詳細な周辺情報も提示できる重畳フレーム３０３を生成し、ユーザに提供することが可能となる。

このように本技術を適用することで、通常フレームと特殊フレームを、詳細な情報が失われることなく重畳することができる。

図１３を再度参照するに、信号レンジを輝度成分と見立てると、通常フレーム３０１と特殊フレーム３０２の輝度差がなくなり、輝度コントラストが落ちているように見えるが、実際は特殊フレーム３０２には生体色に無い色、例えば緑色やシアンなどの色が一様についている信号とされているので、色コントラストは十分残っており、視認性は保たれたまま、信号飽和のない重畳を実現することができる。

ところで、重畳率は、図１２に示した重畳率定義関数で定義されているとして説明したが、図１２に示した重畳率定義関数とは異なる関数で重畳率が設定（算出）されるようにしても良い。

例えば、図１４に示す重畳率定義関数を用いることもできる。図１４に示した重畳率定義関数は、特殊フレーム３０２の強度値Yや通常フレーム重畳率３０５に閾値を設定せずに、0～1.0の間で一次関数で定義される関数である。

重畳率定義関数としては、特殊フレーム３０２の強度値Yが高いところでは、特殊フレーム３０２の重畳率が高くなり、特殊フレーム３０２の強度値Yが低いところでは、特殊フレーム３０２の重畳率が低くなる関数であればよい。

しかしながら、図１４に示した重畳率定義関数よりも、図１２に示した重畳率定義関数を用いる方が、より適切に通常フレーム３０１と特殊フレーム３０２を重畳できると考えられる。図１２に示した重畳率定義関数のように、特殊フレーム３０２の強度値Yには、閾値Yth1と閾値Yth2が設定され、通常フレーム重畳率３０５には、閾値Rth1と閾値Rth2が設定されることによる効果について説明する。

また閾値Yth1、閾値Yth2、閾値Rth1、および閾値Rth2が、重畳制御情報３０４とされ、通常フレーム重畳率算出部４０２に供給されるようにすることに対する効果についても説明する。すなわち、重畳制御情報３０４を固定とせずに、可変とする場合について説明し、あわせてその効果についても説明する。

図１５に、図１２に示した重畳率定義関数を再度示す。また、図１５では、通常フレーム重畳率３０５と特殊フレーム重畳率３０６を合わせて図示してある。通常フレーム重畳率３０５は、実線で示し、特殊フレーム重畳率３０６は、点線で示す。

通常フレーム重畳率３０５と特殊フレーム重畳率３０６は、
（通常フレーム重畳率３０５）＋（特殊フレーム重畳率３０６）＝1.0
を満たす関係にある。よって、通常フレーム重畳率３０５と特殊フレーム重畳率３０６をグラフにして表すと、図１５に示したようになる。

なおここでは、特殊光観察として、励起光を照射することにより発生する蛍光により画像を得る蛍光観察である場合を例に挙げ、特殊フレーム３０２は、蛍光観察のときに得られるフレーム（画像）である場合を例に挙げて説明する。

特殊フレーム強度値Yが、 強度値Y＜閾値Yth1 である場合、特殊フレーム３０２は、蛍光していない、または微弱な蛍光信号が存在しているフレームである。特殊フレーム強度値Yが、 強度値Y＜閾値Yth1 である区間を、背景区間とする。

背景区間における重畳フレーム３０３は、通常フレーム３０１が支配的となる。換言すれば、背景区間における重畳フレーム３０３においては、特殊フレーム３０２に対して背景の通常フレーム３０１が見えている領域となる。

一方、特殊フレーム強度値Yが、 閾値Yth2≦強度値Y である場合、特殊フレーム３０２は、十分に蛍光しているフレームである。特殊フレーム強度値Yが、 閾値Yth2≦強度値Y である区間を、蛍光区間とする。

蛍光区間における重畳フレーム３０３は、特殊フレーム３０２が支配的となる。換言すれば、蛍光区間における重畳フレーム３０３においては、特殊フレーム３０２が通常フレーム３０１よりも見えている領域となる。

背景区間と蛍光区間の間の区間を遷移区間とする。この遷移区間は、特殊フレーム強度値Yが、 閾値Yth1＜強度値Y＜閾値Yth2 の区間であり、通常フレーム３０１が支配的な状態から特殊フレーム３０２が支配的な状態へと遷移する区間である。

遷移区間は、蛍光観察が行われる用途により、その区間の適切な長さなどが異なり、適切に調整されるのが良い。すなわち、特殊フレーム３０２の強度値Yの閾値Yth1と閾値Yth2は、蛍光観察が行われる用途により、適した値とされるのが良い。換言するに、特殊フレーム３０２の強度値Yの閾値Yth1と閾値Yth2は、可変値とされるのがよい。

そこで、本実施の形態においては、図１１に示したように、特殊フレーム３０２の強度値Yの閾値Yth1と閾値Yth2は、重畳制御情報３０４として、通常フレーム重畳率算出部４０２に供給される構成とする。このような構成とすることで、蛍光観察が行われる用途に適した重畳制御情報３０４を、通常フレーム重畳率算出部４０２に供給することができる。

例えば、ユーザ（術者）が、蛍光観察が行われる用途を選択できるようにし、その選択にあった重畳制御情報３０４が、通常フレーム重畳率算出部４０２に供給されるように構成することができる。

また、通常フレーム重畳率３０５にも、閾値Rth1と閾値Rth2を設定することで以下のような制御を行うことができる。すなわち、通常フレーム３０１が支配的な背景区間、または特殊フレーム３０２が支配的な蛍光区間において、通常フレーム３０１と特殊フレーム３０２は、それぞれ微少でも信号が存在し、微少な情報でも消去せずに表示するのが望まし場合もある。そのような場合に、閾値Rth1と閾値Rth2を設けておくことで、対応を取ることが可能となる。

すなわち、図１５を参照するに、例えば、特殊フレーム３０２の強度値Yが、０であった場合（背景区間であった場合）、通常フレーム重畳率３０５は、閾値Rth1に設定される。この場合、特殊フレーム重畳率３０６は、（1.0―閾値Rth1）となり、０とはならない。背景区間においても、特殊フレーム３０２が全く重畳されないといったことはなく、特殊フレーム３０２に微少な情報がある場合に、その微少な情報を消去せずに重畳フレーム３０３に反映させることが可能となる。

同様に、図１５を参照するに、例えば、特殊フレーム３０２の強度値Yが、1.0であった場合（蛍光区間であった場合）、通常フレーム重畳率３０５は、閾値Rth2に設定される。蛍光区間においても、通常フレーム３０１が全く重畳されないといったことなく、通常フレーム３０１に微少な情報がある場合に、その微少な情報を消去せずに重畳フレーム３０３に反映させることが可能となる。

このように、閾値Rth1、閾値Rth2、閾値Yth1、閾値Yth2を設定することで、例えば、蛍光観察の用途に応じた重畳制御情報３０４とすることができ、適切な重畳処理を行うことが可能となり、詳細な情報を、より鮮明にユーザに提供できる重畳フレーム３０３を生成することができるようになる。

このように、閾値Rth1、閾値Rth2、閾値Yth1、閾値Yth2を可変とした場合に、背景区間、遷移区間、および蛍光区間への変化をより滑らかにするために、図１６に示すような重畳率定義関数が用いられるようにしても良い。

図１６に示した重畳率定義関数においては、閾値Yth1の前後で、通常フレーム重畳率３０５が滑らかに変化する曲線で定義されている。また、閾値Yth2の前後で、通常フレーム重畳率３０５が滑らかに変化する曲線で定義されている。

このような重畳率定義関数が用いられるようにしても良い。また図示はしないが、Ｓ字カーブのような曲線で定義される重畳率定義関数が用いられても良く、折れ線形状のグラフで定義される重畳率定義関数に、本技術の適用が限定される記載ではない。

＜重畳制御情報の調整＞
次に、上記したように、重畳制御情報３０４が設定（調整）されることについて、具体的な例を挙げて説明する。

（具体例１）
具体例１として、図１７に示すような組織表層血管を観察する場合について説明する。図１７に示した組織表層血管は、横方向から見たときの状態を表しており、図中下側に筋組織６０１があり、その上部に脂肪６０２がある状態である。また、筋組織６０１と脂肪６０２との間に、リンパ節６０３－１とリンパ節６０３－２がある状態である。

図１７に示したような脂肪６０２中のリンパ節６０３をICG蛍光観察する場合、リンパ節６０３が脂肪６０２中の深い位置で蛍光し、その状態を脂肪表層外（図１７中、脂肪６０２の外側）からカメラで撮像することになる。よって、蛍光強度が弱くなり見づらくなることが想定できる。換言すれば、取得される特殊フレーム３０２は、暗くなり、リンパ節６０３が見づらい画像となっている可能性がある。

そこで、このような組織表層血管を観察する場合、図１８に示すような重畳率定義関数が用いられるようにする。図１８において、実線で示した重畳率定義関数は、比較のために図１２に示した重畳率定義関数である。以下、比較のために示した図１２に示した重畳率定義関数は、重畳率定義関数３０５と記述する。

また、図１８において、破線で示した重畳率定義関数３０５’は、図１７に示したような組織表層血管を観察する場合に適した重畳率定義関数を示す。また、重畳率定義関数３０５と重畳率定義関数３０５’は、上記した場合と同じく、通常フレーム重畳率３０５を設定する関数である。

特殊フレーム３０２が暗くなる可能性がある場合は、蛍光強度が弱いため、蛍光区間を長くする。換言すれば、特殊フレーム３０２が暗くなる可能性がある場合、特殊フレーム３０２の強度値Yが取り得る最大値は1.0よりも小さくなる可能性が高い。よって、特殊フレーム３０２の強度値Yが取り得る最大値を1.0として閾値Yth2が設定されている重畳率定義関数３０５では、適切な重畳率を設定できない可能性がある。

そこで、特殊フレーム３０２の強度値Yが取り得る最大値が小さくなることに合わせて、最大値側に設定されている閾値Yth2も小さい値に設定する。すなわち、図１８に示すように、重畳率定義関数３０５’の閾値Yth2‘は、重畳率定義関数３０５の閾値Yth2よりも小さい値に設定される。

仮に、図１７に示したような組織表層血管を観察する場合に、特殊フレーム３０２の強度値Yが取り得る最大値が閾値Yth2’と同等の値であったとする。このような場合に、仮に重畳率定義関数３０５が適用され、重畳が実行されると、特殊フレーム３０２の強度値Yが閾値Yth2’であっても、特殊フレーム３０２の特殊フレーム重畳率３０６は、最大値を取らない（通常フレーム３０１の通常フレーム重畳率３０５は、最小値を取らない）。

よって、特殊フレーム３０２のブレンド比は低くなる可能性がある。すなわち、重畳率定義関数３０５を適用すると、特殊フレーム３０２が取り得る最大の強度値Yであっても、特殊フレーム重畳率３０６は、最大値にならない可能性がある。このようなことが発生すると、重畳フレーム３０３において、特殊フレーム３０２からの情報量が少なくなってしまう可能性がある。

しかしながら、重畳率定義関数３０５’を適用することで、特殊フレーム３０２の強度値Yが閾値Yth2’のときには、特殊フレーム重畳率３０６は、最大値となる。よって、特殊フレーム３０２のブレンド比は高くなり、重畳フレーム３０３において、特殊フレーム３０２からの情報量を維持することができる。

よって、重畳率定義関数３０５’を適用することで、重畳フレーム３０３において、特殊フレーム３０２からの情報量が少なくなってしまうといったことが発生する可能性をなくすことができる。

このように、図１７に示したような組織表層血管を観察する場合には、特殊フレーム３０２の強度値Yの閾値Yth2’が、小さい値に設定された重畳率定義関数３０５’が適用される。

また、図１８を参照するに、重畳率定義関数３０５’においては、通常フレーム重畳率３０５の閾値Rth2の値も小さい値に変更されている。このように、蛍光区間において、通常フレーム重畳率３０５’の閾値Rth2’が小さい値に設定されることで、通常フレーム３０１の重畳率を下げ、特殊フレーム３０２の重畳率を上げ、より特殊フレーム３０２が際立って表示されるように重畳させることが可能となる。

さらに図１８を参照するに、重畳率定義関数３０５’においては、通常フレーム重畳率３０５の閾値Rth1の値も小さい値に変更されている。このように、通常フレーム重畳率３０５の閾値Rth1’の値も小さい値に設定されることで、背景区間において、通常フレーム３０１が特殊フレーム３０２に重畳される割合を低減させる。

換言すれば、背景区間において、通常フレーム３０１の重畳成分を少なくし、特殊フレーム３０２に撮像されている発光状態をより際立たせるために、通常フレーム重畳率３０５の閾値Rth1’の値も小さい値に設定される。

このように、通常フレーム重畳率３０５の閾値Rth1’の値も小さい値に設定しておくことで、換言すれば、特殊フレーム重畳率３０６を背景区間において大きい値に設定しておくことで、背景区間において、特殊フレーム３０２が重畳される割合を増やすことができ、発光状態が弱い特殊フレーム３０２であっても、その情報が、通常フレーム３０１に埋もれてしまうようなことなく重畳させることが可能となる。

（具体例２）
具体例２として、図１９に示すような筋組織深部の血管を観察する場合について説明する。図１９に示した筋組織深部の血管は、横方向から見たときの状態を表しており、図中下側に筋組織７０１－１があり、その上部に血管７０２があり、さらにその上部に筋組織７０１－２がある状態を示している。

図１９に示したような筋組織７０１中の血管７０２をICG蛍光観察する場合、血管７０２が筋組織７０１中の深い位置で蛍光し、その状態を筋組織外（図１９中、筋組織７０１－２の外側）からカメラで撮像することになる。よって、蛍光強度が弱くなり見づらくなることが想定される。換言すれば、取得される特殊フレーム３０２は、暗くなり、血管７０２が見づらい画像となる可能性がある。

そこで、このような筋組織深部の血管を観察する場合、図２０に示すような重畳率定義関数が用いられるようにする。図２０において、実線で示した重畳率定義関数は、比較のために図１２に示した重畳率定義関数であり、重畳率定義関数３０５と記述する。

また、図２０において、破線で示した重畳率定義関数３０５”は、図１９に示したような筋組織深部の血管を観察する場合に適した重畳率定義関数を示す。また、重畳率定義関数３０５と重畳率定義関数３０５”は、上記した場合と同じく、通常フレーム重畳率３０５を設定する関数である。

特殊フレーム３０２が暗くなる可能性がある場合は、具体例１として上記した場合と同じく、蛍光強度が弱いため、特殊フレーム３０２の強度値Yが取り得る最大値は1.0よりも小さくなる可能性が高いため、特殊フレーム３０２の強度値Yが取り得る最大値が小さくなることに合わせて、最大値側に設定されている閾値Yth2も小さい値に設定する。すなわち、図２０に示すように、重畳率定義関数３０５”の閾値Yth2”は、重畳率定義関数３０５の閾値Yth2よりも小さい値に設定される。

このように重畳率定義関数３０５”の閾値Yth2”を小さい値に設定することで、上記した具体例１と同じく、重畳フレーム３０３において、特殊フレーム３０２からの情報量が少なくなってしまうといったことが発生する可能性をなくすことができる。

このように、図１９に示したような筋組織深部の血管を観察する場合には、特殊フレーム３０２の強度値Yの閾値Yth2が、小さい値に設定された重畳率定義関数３０５”が適用される。

また、図２０を参照するに、重畳率定義関数３０５”においては、通常フレーム重畳率３０５の閾値Rth2”の値も小さい値に変更されている。このように、蛍光区間において、通常フレーム重畳率３０５”の閾値Rth2”が小さい値に設定されることで、通常フレーム３０１の重畳率を下げ、特殊フレーム３０２の重畳率を上げ、より特殊フレーム３０２が際立って表示されるように重畳させることが可能となる。

さらに図２０を参照するに、重畳率定義関数３０５”においては、特殊フレーム３０２の強度値Yの閾値Yth1”の値は大きい値に変更されている。このように、特殊フレーム３０２の強度値Yの閾値Yth1”の値が大きい値に設定されることで、特殊フレーム３０２が微少な信号である場合、そのような微少な信号による情報が、通常フレーム３０１による情報に影響を与えないようにすることができる。

例えば、特殊フレーム３０２が微少な信号である場合とは、錯乱光の影響による信号が考えられる。このような特殊フレーム３０２に撮像されている発光状態のうちの錯乱光による影響を低減させるために、特殊フレーム３０２の強度値Yの閾値Yth1”の値を大きい値に設定する。

筋組織７０１中の血管７０２を蛍光観察するとき、血管７０２の部分だけを際立たせた状態で観察できることが望ましいと考えられるが、血管７０２の周辺部において、錯乱光による影響で血管７０２のエッジの部分がぼやけてしまうことがある。

そこで、上記したように、特殊フレーム３０２の強度値Yの閾値Yth1”の値を大きい値に設定することで、通常フレーム３０１から得られる周辺部分の情報を維持することができる。すなわち、血管周りの微弱な散乱光の部分には、背景とされるように重畳することが可能となる。

具体例１と具体例２から、特殊フレーム３０２のうち、観察したい領域（リンパ節や血管など）の発光状態が弱いことが想定される場合、特殊フレーム３０２の強度値Yに設定される大きい方の閾値Yth2を調整することで、特殊フレーム３０２から得られる情報を低減させることなく重畳させることができる。

また、特殊フレーム３０２のうち、観察したい領域（リンパ節や血管など）の発光状態が弱いことが想定される場合、通常フレーム重畳率３０５に設定される小さい方の閾値Rth2を調整することで、特殊フレーム３０２から得られる情報を際立たせた画像となるように重畳させることができる。

また、特殊フレーム３０２のうち、観察したい領域（リンパ節や血管など）以外の発光状態による影響（錯乱光などによる影響）があることが想定される場合、特殊フレーム３０２の強度値Yに設定される小さい方の閾値Yth1を調整することで、背景区間において、特殊フレーム３０２による影響を低減し、通常フレーム３０１から得られる情報を低減させることなく重畳させることができる。

また、特殊フレーム３０２のうち、観察したい領域（リンパ節や血管など）の発光状態が弱いことが想定される場合、通常フレーム重畳率３０５に設定される大きい方の閾値Rth1を調整することで、通常フレーム３０１が支配的となる背景区間においても、特殊フレーム３０２から得られる情報を低減させることなく重畳させることができる。

（具体例３）
具体例３として、特殊フレーム３０２の強度値Yに設定される閾値Yth1と閾値Yth2を調整し、遷移区間を短くした重畳率定義関数を用いる場合について説明する。

図２１に示すような胆管、尿管などを観察する場合について説明する。図２１は、筋組織８０１中に、胆管８０２と複数の血管８０３－１乃至８０３－４がある状態を示している。図２１は、例えば、通常フレーム３０１として撮像される画像を示しているとする。

胆管や尿管などは、血管などと形状や色が似ており、通常フレーム３０１で撮像された画像からだけだと、図２１に示したような画像となり、胆管８０２と血管８０３の区別が付けづらい。このようなときに、胆管８０２を蛍光観察することがある。

例えば、通常フレーム３０１と特殊フレーム３０２を見比べ、特殊フレーム３０２で蛍光している部分は胆管８０２であると判断し、その判断した部分に該当する通常フレーム３０１の領域を特定し、胆管８０２の周辺領域の情報を得るといった作業が行われることが想定される。

すなわち、蛍光しているか否かで、見分けたい管（例えば胆管や尿管）を確認する目的で、蛍光観察が行われることがある。このような場合、蛍光している領域と蛍光していない領域が正確に区別つくような表示とされるのが良いと考えられる。

そこで、図２２に示すような重畳率定義関数３０５’”が適用される。図２２に示すような重畳率定義関数３０５’”は、遷移区間が短くなる関数とされている。遷移区間は、上記したように、通常フレーム３０１が支配的な状態から特殊フレーム３０２が支配的な状態へと遷移する区間である。

このような遷移区間は、蛍光しているかどうかを判別する目的で蛍光観察を行うとき、そのような判別がしづらい区間となってしまう可能性がある。よって、このような遷移区間を短くし、蛍光しているかどうかの判別がしやすい重畳フレーム３０３が、ユーザに提示されるようにするために、図２２に示すような重畳率定義関数３０５’”が適用される。

図２２に示すような重畳率定義関数３０５’”においては、特殊フレーム３０２の強度値Yの閾値Yth1’”が大きい値に設定され、閾値Yth2’”が小さい値に設定されている。このように設定されることで遷移区間が短い区間となる。

また、図２２に示すような重畳率定義関数３０５’”においては、通常フレーム重畳率３０５の閾値Rth1’”が大きい値に設定され、閾値Rth2’”が小さい値に設定されている。このように設定されることで遷移区間内の重畳率定義関数の傾斜が急な関数となる。

このように、特殊フレーム３０２の強度値Yの閾値Yth2’”が小さく設定されることで、蛍光区間においては、仮に特殊フレーム３０２の強度値Yが取り得る最大値が小さくなる可能性があっても、特殊フレーム３０２からの情報が削減されることなく重畳することが可能となる。よって、蛍光している部分では、その蛍光の強度が仮に弱くても、蛍光している領域であることを、重畳フレーム３０３上でユーザに提示することができる。

また、そのような蛍光区間において、通常フレーム重畳率３０５の閾値Rth2’”が小さい値に設定されることで、蛍光区間においては、通常フレーム３０１の重畳率を下げ、特殊フレーム３０２の重畳率を上げ、より特殊フレーム３０２が際立って表示されるように重畳することが可能となる。よって、蛍光している部分では、蛍光している領域がより際立ち、蛍光している領域であることを、重畳フレーム３０３上でユーザに提示することができる。

また、特殊フレーム３０２の強度値Yの閾値Yth1’”が大きく設定されることで、また通常フレーム重畳率３０５の閾値Rth1’”が大きい値に設定されることで、背景区間においては、仮に特殊フレーム３０２に微弱な信号があったとしても、特殊フレーム３０２からの情報を削減して重畳することが可能となる。よって、蛍光していない部分では、ユーザに余計な情報を与えないように重畳することができる。

このように、蛍光観察の用途に応じて、閾値Yth1、閾値Yth2、閾値Rth1、閾値Rth2を適切に設定することができる。また、そのように適切に設定できる閾値Yth1、閾値Yth2、閾値Rth1、閾値Rth2を、重畳制御情報３０４として、重畳処理部１２６に供給される構成とすることで、用途に応じた重畳制御情報３０４で処理を行うことが可能となり、用途に応じた重畳フレームを適切に生成することができる。

＜重畳処理部の処理＞
次に、図２３に示したフローチャートを参照し、重畳処理部１２６（図１１）が行う処理について説明を加える。

ステップＳ１０１において、重畳処理部１２６は、重畳制御情報３０４を取得する。例えば、ユーザにより用途が選択され、その用途に適した重畳制御情報３０４が選択され、供給される。

ステップＳ１０２において、重畳処理部１２６は、通常フレーム３０１と特殊フレーム３０２を取得する。取得された通常フレーム３０１は、画素値算出部４０１に供給され、特殊フレーム３０２は、画素値算出部４０１と通常フレーム重畳率算出部４０２に供給される。

なお、特殊フレーム３０２は、例えば、図３乃至図７を参照して説明したように、フレーム毎に時分割で通常フレーム３０１と特殊フレーム３０２を切り替えて撮像する場合を例に挙げて説明したが、本技術は、どのような処理で特殊フレーム３０２を取得するかについての限定はなく、上記した方法以外の方法で特殊フレーム３０２を生成し、取得するようにしても、本技術を適用できる。

例えば、可視光と励起光が混ざった光が照射され、ビームスプリッタ又はダイクロイックミラー等が用いられて、被写体からの反射光が、特定波長で分離され、励起光が含まれた光用と、可視光が含まれた光用の２枚のセンサで、それぞれ別々に検出が行われ、通常フレーム３０１と特殊フレーム３０２が取得されるようにしても良い。このような仕組みで通常フレーム３０１と特殊フレーム３０２が取得される場合にも本技術を適用できる。

またセンサ側のカラーフィルタを変更することにより、例えばIR波長帯のみに感度のある画素が作成される方式により通常フレーム３０１と特殊フレーム３０２が取得されるようにしても良い。この場合、可視光と励起光が混ざった光が照射され、反射光として戻ってくる励起光のみが、励起光カット（Cut）フィルタ等でカットされることにより、R, G, B画素で通常フレーム３０１が取得され、IR画素で特殊フレーム３０２が取得される。このような仕組みで通常フレーム３０１と特殊フレーム３０２が取得される場合にも本技術を適用できる。

これらの方法以外の方式でも、通常フレーム３０１と特殊フレーム３０２が一定の同時性を持って取得できる方法であれば、どのような方式でも本技術に適用でき、通常フレーム３０１と特殊フレーム３０２が取得され、重畳して、重畳フレーム３０３を生成するときに本技術を適用することができる。

図２３のフローチャートを参照した説明に戻り、ステップＳ１０３において、通常フレーム重畳率算出部４０２により、上記したような処理により、通常フレーム重畳率３０５を算出する。算出された通常フレーム重畳率３０５は、画素値算出部４０１に供給される。

ステップＳ１０４において、画素値算出部４０１により、通常フレーム３０１と特殊フレーム３０２を重畳したときの画素値が算出される。上記したように、通常フレーム３０１内の処理対象とされている画素の画素値と、その画素に対応する位置にある特殊フレーム３０２内の画素の画素値が、所定の演算に基づいて合成される。

合成される際、通常フレーム重畳率３０５に基づく比率で、通常フレーム３０１と特殊フレーム３０２は合成される。このような合成処理が行われることで、処理対象とされた画素に対応する重畳フレーム３０３内の画素の画素値が算出される。

ステップＳ１０５において、全ての画素が処理対象とされ、処理されたか否かが判定される。ステップＳ１０５において、全ての画素は処理対象とされていないと判定された場合、ステップＳ１０６に処理が進められ、次の画素が処理対象とされる。そして、新たに処理対象とされた画素に対して、ステップＳ１０３以降の処理が繰り返される。

一方で、ステップＳ１０５において、全ての画素が処理対象とされたと判定された場合、ステップＳ１０７に処理は進められ、次のフレームが処理対象とされる。そして、新たに処理対象とされたフレームに対して、ステップＳ１０２以降の処理が繰り返される。

このようにして、画素毎に、適切な重畳率で重畳が行われる。よって、本技術によれば、例えば蛍光画像などの特殊画像を観察しているときに、蛍光部分の詳細な情報を消失することなく、正確に発光部位を確認することができる重畳画像を、ユーザに提示することが可能となる。

また蛍光部分の周囲の情報も消失することなく、正確に確認することができる重畳画像を、ユーザに提示することが可能となる。

これらのことが可能となることで、より正確に、例えば、血管、リンパ管、リンパ節、胆管、尿管、病変部などの位置を確認することができるようになり、手術の精度の向上、手術にかかる時間の短縮などの効果を得ることができる。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得する取得部と、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を算出する重畳率算出部と、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき重畳処理する重畳処理部と
を備える医療用画像処理装置。
（２）
前記特殊フレームの強度値が大きい場合、前記特殊フレームの重畳率は高く設定され、前記特殊フレームの強度値が小さい場合、前記特殊フレームの重畳率は低く設定される
前記（１）に記載の医療用画像処理装置。
（３）
前記強度値が取り得る範囲内に、第１の閾値と第２の閾値が設定され、前記第１の閾値よりも前記強度値が小さい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも高く設定され、前記第２の閾値よりも前記強度値が大きい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも低く設定される
前記（１）または（２）に記載の医療用画像処理装置。
（４）
前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第２の閾値は、小さい値に設定される
前記（３）に記載の医療用画像処理装置。
（５）
前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第１の閾値は、大きい値に設定される
前記（３）または（４）に記載の医療用画像処理装置。
（６）
前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値が設定され、前記第３の閾値は、前記強度値が小さいときに前記通常フレームの重畳率として適用される値であり、前記第４の閾値は、前記強度値が大きいときに前記通常フレームの重畳率として適用される値である
前記（１）乃至（５）のいずれかに記載の医療用画像処理装置。
（７）
前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第４の閾値は、小さい値に設定される
前記（６）に記載の医療用画像処理装置。
（８）
前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第３の閾値は、大きい値に設定される
前記（６）または（７）に記載の医療用画像処理装置。
（９）
前記強度値が取り得る範囲内に、第１の閾値と第２の閾値が設定され、前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値が設定され、前記第１乃至第４の閾値は、観察対象とされる前記被写体に適した値に設定される
前記（１）乃至（８）のいずれかに記載の医療用画像処理装置。
（１０）
前記重畳率算出部は、前記第１乃至第４の閾値を用いて重畳率を算出する
前記（９）に記載の医療用画像処理装置。
（１１）
前記重畳率算出部は、前記第１乃至第４の閾値で定義される関数を用いて重畳率を算出する
前記（９）に記載の医療用画像処理装置。
（１２）
前記特殊フレーム内で特殊光を照射したことにより発光しているか否かを明確に判定する用途の場合、前記第１の閾値と前記第３の閾値は大きい値に設定され、前記第２の閾値と前記第４の閾値は小さい値に設定される
前記（９）に記載の医療用画像処理装置。
（１３）
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を算出し、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき重畳処理する
ステップを含む医療用画像処理方法。
（１４）
コンピュータに、
被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を算出し、
前記通常フレームと前記特殊フレームを、前記重畳率に基づき重畳処理する
ステップを含む処理を実行させるためのプログラム。

１１０ 内視鏡装置， １１１ 光源部， １１２ 撮像部， １１３ 現像部， １１４ 画像処理部， １１５ 表示部， １２１ 切り替え部， １２２ 動きベクトル検出部， １２３ 補正量推定部， １２４ フレームメモリ， １２５ 動き補正部， １２６ 重畳処理部， １３１，１３２ フレームメモリ， １３３ フレーム選択部， １３４ ブロックマッチング部， １３５ ベクトル補正部， ４０１ 画素値算出部、 ４０２ 通常フレーム重畳率算出部

Claims (11)

1. 被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得する取得部と、
   前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出する重畳率算出部と、
   前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理する重畳処理部と
   を備え、
   前記強度値が取り得る範囲内に、第１の閾値と第２の閾値が設定され、前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値が設定され、
   前記重畳率算出部は、前記第１乃至第４の閾値を用いて重畳率を算出し、
   前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第２の閾値は、小さい値に設定される
   医療用画像処理装置。
2. 前記特殊フレームの強度値が大きい場合、前記特殊フレームの重畳率は高く設定され、前記特殊フレームの強度値が小さい場合、前記特殊フレームの重畳率は低く設定される
   請求項１に記載の医療用画像処理装置。
3. 前記第１の閾値よりも前記強度値が小さい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも高く設定され、前記第２の閾値よりも前記強度値が大きい場合、前記通常フレームの重畳率が前記特殊フレームの重畳率よりも低く設定される
   請求項１または２に記載の医療用画像処理装置。
4. 前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第１の閾値は、大きい値に設定される
   請求項１乃至３のいずれかに記載の医療用画像処理装置。
5. 前記第３の閾値は、前記強度値が小さいときに前記通常フレームの重畳率として適用される値であり、前記第４の閾値は、前記強度値が大きいときに前記通常フレームの重畳率として適用される値である
   請求項１乃至４のいずれかに記載の医療用画像処理装置。
6. 前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第４の閾値は、小さい値に設定される
   請求項１乃至５のいずれかに記載の医療用画像処理装置。
7. 前記特殊フレームの微弱な信号による影響を低減させたい場合、前記第３の閾値は、大きい値に設定される
   請求項１乃至６のいずれかに記載の医療用画像処理装置。
8. 前記第１乃至第４の閾値は、観察対象とされる前記被写体に適した値に設定される
   請求項１乃至７のいずれかに記載の医療用画像処理装置。
9. 前記特殊フレーム内で特殊光を照射したことにより発光しているか否かを明確に判定する用途の場合、前記第１の閾値と前記第３の閾値は大きい値に設定され、前記第２の閾値と前記第４の閾値は小さい値に設定される
   請求項１乃至８のいずれかに記載の医療用画像処理装置。
10. 医療用画像処理装置が、
    被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
    前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出し、
    前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理し、
    前記強度値が取り得る範囲内に、第１の閾値と第２の閾値を設定し、前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値を設定し、
    前記重畳率を、前記第１乃至第４の閾値を用いて算出し、
    前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第２の閾値を、小さい値に設定する
    医療用画像処理方法。
11. コンピュータに、
    被写体に対して通常光を照射した状態で撮像された通常フレームと、前記被写体に対して特殊光を照射した状態で撮像された特殊フレームとを取得し、
    前記特殊フレームの強度値に基づき、前記通常フレームと前記特殊フレームを重畳する割合を示す重畳率を画素毎に算出し、
    前記通常フレームと前記特殊フレームを、前記重畳率に基づき画素毎に重畳処理し、
    前記強度値が取り得る範囲内に、第１の閾値と第２の閾値を設定し、前記通常フレームの重畳率として取り得る範囲内に、第３の閾値と第４の閾値を設定し、
    前記重畳率を、前記第１乃至第４の閾値を用いて算出し、
    前記特殊フレームの強度値が取り得る最大値が小さくなる被写体を撮像する場合、前記第２の閾値を、小さい値に設定する
    ステップを含む処理を実行させるプログラム。

Images