JP2010158308A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】一連の体腔内画像の中から要約体腔内画像を適切に抽出すること。
【解決手段】本発明のある実施の形態において、区間設定部１６は、一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定する。第１の要約画像抽出部１７は、一連の体腔内画像を構成する各体腔内画像のシーン変化をもとに、一連の体腔内画像の中から第１の要約体腔内画像を抽出する。第２の要約画像抽出部１８は、同一の類似画像出現区間に属する第１の要約体腔内画像間の類似度をもとに、第２の要約体腔内画像を抽出する。
【選択図】図２

Description

本発明は、体腔内を連続的に撮像した一連の体腔内画像の中から要約体腔内画像を抽出する画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、被検者の体腔内を撮像する医用機器として、カプセル内視鏡が開発されている。カプセル内視鏡は、口から飲み込まれた後、消化管内を蠕動運動等により移動しながら所定の撮像レートで体腔内画像を撮像して体外受信機に送信し、最終的に体外に排出される。撮像される体腔内画像の枚数は、撮像レート（２〜４frame／sec）×カプセル内視鏡の体内滞在時間（８hours＝８×６０×６０sec）で概ね示され、数万枚以上という大量の枚数になる。医師等の観察者は、これら体外受信機に送信された大量の体腔内画像を診断用のワークステーション等で確認し、病変部を特定するために多くの時間を費やしている。このため、体腔内画像の観察作業を効率化する技術が強く望まれている。

一方で、動画映像のような時系列に並ぶ一連の画像の中から、その内容を把握するためのダイジェストを作成する技術が知られている。例えば、特許文献１には、直前のフレームとの間で色ヒストグラムによる相違度を算出し、相違度が閾値を超えているフレームをダイジェスト画像とする技術が開示されている。この種の技術を適用すれば、カプセル内視鏡によって撮像された体腔内画像の中から要約体腔内画像を抽出することができるので、体腔内画像の観察効率を向上させることができる。

特開平８−２９４０８３号公報

ところで、カプセル内視鏡は、蠕動運動等により体腔内を移動するため、その移動速度は一定ではなく、消化管内の同一箇所に停滞したり前進や後進を繰り返すといった場合も生じる。この結果、同じような内容の体腔内画像が連続的にあるいは不連続で撮像される場合が発生し得る。このため、上記した特許文献１のように、単に隣接する画像間の変化（特許文献１では、「相違度」に該当）を求める手法では、時系列順が離れた位置に存在する画像間の類似性を適正に判断できない場合があった。

また、カプセル内視鏡は、消化管内を移動しながら画像を撮像するため、得られた一連の体腔内画像には食道、胃、小腸、大腸等の内部がこの順に映る。このため、特許文献１の手法では、異なる臓器区間を跨いで隣接する画像間の変化をもとに、異なる臓器区間に属する明らかに類似性が低い画像間で類似性の判断を行ってしまう場合があった。

本発明は、上記に鑑み為されたものであって、一連の体腔内画像の中から要約体腔内画像を適切に抽出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、体腔内を連続的に撮像した一連の体腔内画像の中から要約体腔内画像を抽出する画像処理装置であって、前記一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定する区間設定部と、前記一連の体腔内画像を構成する各体腔内画像のシーン変化をもとに、前記一連の体腔内画像の中から第１の要約体腔内画像を抽出する第１の要約画像抽出部と、同一の類似画像出現区間に属する前記第１の要約体腔内画像間の類似度をもとに、第２の要約体腔内画像を抽出する第２の要約画像抽出部と、を備えることを特徴とする。

この態様にかかる画像処理装置によれば、一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定するとともに、各体腔内画像のシーン変化をもとに一連の体腔内画像の中から第１の要約体腔内画像を抽出することができる。そして、同一の類似画像出現区間に属する第１の要約体腔内画像間の類似度をもとに第２の要約体腔内画像を抽出することができる。これによれば、要約体腔内画像の抽出に際し、類似画像出現区間毎に要約体腔内画像間の類似性を加味することができるので、一連の体腔内画像の中から、その内容を把握するための要約体腔内画像を適切に抽出することができる。

また、本発明の別の態様にかかる画像処理方法は、体腔内を連続的に撮像した一連の体腔内画像の中から要約体腔内画像を抽出する画像処理方法であって、前記一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定する区間設定工程と、前記一連の体腔内画像を構成する各体腔内画像のシーン変化をもとに、前記一連の体腔内画像の中から第１の要約体腔内画像を抽出する第１の要約画像抽出工程と、同一の類似画像出現区間に属する前記第１の要約体腔内画像間の類似度をもとに、第２の要約体腔内画像を抽出する第２の要約画像抽出工程と、を含むことを特徴とする。

また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、体腔内を連続的に撮像した一連の体腔内画像の中から要約体腔内画像を抽出させるための画像処理プログラムであって、前記一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定する区間設定ステップと、前記一連の体腔内画像を構成する各体腔内画像のシーン変化をもとに、前記一連の体腔内画像の中から第１の要約体腔内画像を抽出する第１の要約画像抽出ステップと、同一の類似画像出現区間に属する前記第１の要約体腔内画像間の類似度をもとに、第２の要約体腔内画像を抽出する第２の要約画像抽出ステップと、を前記コンピュータに実行させることを特徴とする。

本発明によれば、一連の体腔内画像の中から要約体腔内画像を適切に抽出することができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、撮像機の一例として消化管内を移動するカプセル内視鏡を用い、このカプセル内視鏡が被検者の消化管内を移動しながら連続的に撮像した一連の体腔内画像を処理する画像処理装置について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、実施の形態１の画像処理装置１０を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検者１内部の画像（体腔内画像）を撮像するカプセル内視鏡３、カプセル内視鏡３から無線送信される体腔内画像を受信する受信装置５、受信装置５によって受信された体腔内画像をもとに、カプセル内視鏡３によって撮像された体腔内画像を処理して表示する画像処理装置１０等で構成される。受信装置５と画像処理装置１０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）７が使用される。

カプセル内視鏡３は、撮像機能や無線機能等を具備するものであって、被検者１の口から飲み込まれて被検者１内部に導入され、消化管内を移動しながら逐次体腔内画像を撮像する。そして、撮像した体腔内画像を体外に無線送信する。ここで、カプセル内視鏡３によって撮像される体腔内画像は、画像内の各画素位置において、例えばＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対応する画素値（ＲＧＢ値）を持つカラー画像である。

受信装置５は、被検者１内におけるカプセル内視鏡３の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置５は、各受信用アンテナＡ１〜Ａｎを介してカプセル内視鏡３から無線送信される画像データを受信する。この受信装置５は、可搬型記録媒体７の着脱が自在に構成されており、受信した画像データを可搬型記録媒体７に逐次保存する。このようにして、カプセル内視鏡３が被検者１内部を撮像した一連の体腔内画像は、受信装置５によって時系列順に可搬型記録媒体７に蓄積され、保存される。

画像処理装置１０は、カプセル内視鏡３によって撮像された一連の体腔内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置１０は、可搬型記録媒体７の着脱が自在に構成されており、可搬型記録媒体７に保存された一連の体腔内画像を処理し、例えばＬＣＤやＥＬディスプレイ等のディスプレイに時系列順に順次表示する。

図２は、実施の形態１の画像処理装置１０の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１０は、画像取得部１１と、入力部１２と、表示部１３と、記録部１４と、演算部１５と、装置各部を制御する制御部２０とを備える。

画像取得部１１は、カプセル内視鏡３によって撮像されて受信装置５によって可搬型記録媒体７に保存された一連の体腔内画像を取得するものであり、例えば、可搬型記録媒体７を着脱自在に装着し、装着した可搬型記録媒体７に蓄積された体腔内画像の画像データを読み出して取得する。この画像取得部１１は、例えば、可搬型記録媒体７の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡３によって撮像された一連の体腔内画像の取得は、可搬型記録媒体７を用いた構成に限定されるものではなく、例えば、画像取得部１１の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡３によって撮像された一連の体腔内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体７の代わりに別途サーバを設置し、このサーバに一連の体腔内画像を予め保存しておく構成としてもよい。この場合には、画像取得部１１を、サーバと接続するための通信装置等で構成し、この画像取得部１１を介してサーバに接続して、サーバから体腔内画像を取得する。

入力部１２は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部２０に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部２０の制御によって、体腔内画像の表示画面を含む各種画面を表示する。

記録部１４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の記録媒体およびその読取装置等によって実現されるものである。この記録部１４には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。また、一連の体腔内画像から要約体腔内画像を抽出するための画像処理プログラム１４１が記録される。

演算部１５は、ＣＰＵ等のハードウェアによって実現され、画像取得部１１によって取得される複数の体腔内画像を処理し、一連の体腔内画像から要約体腔内画像を抽出するための種々の演算処理を行う。この演算部１５は、区間設定部１６と、第１の要約画像抽出部１７と、第２の要約画像抽出部１８とを含む。

区間設定部１６は、一連の体腔内画像の時系列区間を、同一の臓器種類が映る区間（臓器区間）毎に分割し、類似画像出現区間を設定する。この区間設定部１６は、各体腔内画像に映る臓器種類を判別する臓器種類判別部１６１を含む。第１の要約画像抽出部１７は、画像間変化量算出部１７１と、シーン変化検出部１７３とを含み、第１の要約体腔内画像を抽出する。画像間変化量算出部１７１は、各体腔内画像の画像間変化量を算出する。シーン変化検出部１７３は、画像間変化量をもとにシーン変化が発生した体腔内画像を検出する。第２の要約画像抽出部１８は、要約画像間変化量算出部１８１と、類似度算出部１８３とを含み、第１の要約体腔内画像の中から第２の要約体腔内画像を抽出する。要約画像間変化量算出部１８１は、類似画像出現区間毎に各第１の要約体腔内画像の要約画像間変化量を算出する。類似度算出部１８３は、要約画像間変化量をもとに各第１の要約体腔内画像の類似度を算出する。

制御部２０は、ＣＰＵ等のハードウェアによって実現される。この制御部２０は、画像取得部１１から入力される画像データや入力部１２から入力される操作信号、記録部１４に記録されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。

図３は、実施の形態１の画像処理装置１０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部１５が記録部１４に記録された画像処理プログラム１４１を実行することにより実現される。また、図４〜図６は、図３に示すステップａ３〜ステップａ１７の処理手順を説明する説明図である。

図３に示すように、演算部１５は先ず、一連の体腔内画像を取得する（ステップａ１）。ここで、演算部１５は、制御部２０を介し、画像取得部１１によって可搬型記録媒体７から読み出された一連の体腔内画像の画像データを取得する。取得した各体腔内画像の画像データは、その時系列順を示す画像番号とともに記録部１４に記録され、任意の画像番号の画像データを読み込み可能な状態となる。

続いて、臓器種類判別部１６１が臓器種類判別処理を行い、取得した一連の体腔内画像を構成する各体腔内画像に映る臓器種類を判別する（ステップａ３）。実施の形態１では、各体腔内画像に映る臓器種類として、例えば食道、胃、小腸および大腸の４種類を判別する。

続いて、区間設定部１６が、一連の体腔内画像の時系列区間を同一の臓器種類が映る臓器区間毎に分割し、各臓器区間を類似した体腔内画像が出現する区間（類似画像出現区間）として設定する（ステップａ５）。具体的には、区間設定部１６は、ステップａ３の臓器種類判別処理で各体腔内画像について判別された臓器種類をもとに、一連の体腔内画像の時系列区間を臓器種類が変化する位置で分割する。これによって、図４（ａ）に示すように、一連の体腔内画像８の時系列区間が、食道が映る区間、胃が映る区間、小腸が映る区間および大腸が映る区間の各臓器区間に分割される。そして、区間設定部１６は、食道、胃、小腸および大腸の各臓器が映る臓器区間の先頭および後尾を検出し、検出した各臓器区間の先頭および後尾の画像番号を記録部１４に記録する。

続いて図３に示すように、画像間変化量算出部１７１が、画像間変化量算出処理を行って各体腔内画像の画像間変化量を算出する（ステップａ７）。続いて、シーン変化検出部１７３が、ステップａ７の画像間変化量算出処理で各体腔内画像について算出された画像間変化量をもとに、シーン変化が発生した体腔内画像を検出する（ステップａ９）。例えば、シーン変化検出部１７３は、各体腔内画像の画像間変化量を閾値処理し、画像間変化量が予め設定されている閾値以上である体腔内画像をシーン変化として検出する。そして、第１の要約画像抽出部１７が、ステップａ９でシーン変化として検出された体腔内画像を第１の要約体腔内画像として抽出する（ステップａ１１）。抽出結果は、記録部１４に保持される。

例えば、図４（ｂ）では、類似画像出現区間の１つとして設定される胃の臓器区間に着目し、この類似画像出現区間から抽出された９枚の体腔内画像（第１の要約体腔内画像）Ｉ１１〜Ｉ１９をその画像間変化量Ｄ１１〜Ｄ１９と併せて示している。以下、第１の要約体腔内画像を「１次要約画像」と呼ぶ。

続いて、図３に示すように、要約画像間変化量算出部１８１が、要約画像間変化量算出処理を行って類似画像出現区間毎に各１次要約画像の要約画像間変化量を算出する（ステップａ１３）。図５では、図４に示した胃の臓器区間である類似画像出現区間から抽出された１枚の１次要約画像Ｉ１１に着目し、その要約画像間変化量を示している。この要約画像間変化量算出処理では、各１次要約画像それぞれについて、同一の類似画像出現区間に属する他の１次要約画像との間の変化量をそれぞれ算出し、要約画像間変化量とする。例えば、図５の１次要約画像Ｉ１１であれば、他の全ての１次要約画像Ｉ１２〜Ｉ１９との間の変化量Ｄ２１〜Ｄ２８をそれぞれ算出し、算出した各変化量Ｄ２１〜Ｄ２８を１次要約画像Ｉ１１の要約画像間変化量とする。

続いて、図３に示すように、類似度算出部１８３が、類似度算出処理を行って各１次要約画像の類似度を算出する（ステップａ１５）。上記したように、ステップａ１３の要約画像間変化量算出処理では、各１次要約画像それぞれについて、同一の類似画像出現区間に属する他の全ての１次要約画像との間の変化量が要約画像間変化量として算出される。類似度算出処理では、各１次要約画像を順次処理対象とし、処理対象の１次要約画像の要約画像間変化量の中から値が最も小さい要約画像間変化量を選出して類似度の値とする。またこのとき、類似度とした要約画像間変化量を算出した他の１次要約画像を処理対象の１次要約画像の類似要約画像とする。そして、類似度と類似要約画像とを処理対象の１次要約画像の画像番号と対応付けて記録部１４に記録しておく。例えば、図５に示した１次要約画像Ｉ１１の要約画像間変化量である変化量Ｄ２１〜Ｄ２８のうち、他の１次要約画像Ｉ１３との間の変化量Ｄ２２の値が最も小さかったとする。この場合には、この変化量Ｄ２２を１次要約画像Ｉ１１の類似度とする。また、類似度とした変化量Ｄ２２を算出した他の１次要約画像Ｉ１３を１次要約画像Ｉ１１の類似要約画像とする。

そして、図３に示すように、第２の要約画像抽出部１８が、要約画像再抽出処理を行って１次要約画像の中から第２の要約体腔内画像を抽出し、最終的な要約体腔内画像を得る（ステップａ１７）。図６では、第２の要約体腔内画像を抽出する様子を、図４に示した胃の臓器区間である類似画像出現区間から抽出された１次要約画像Ｉ１１〜Ｉ１９に着目して示している。なお、図６中において、各１次要約画像Ｉ１１〜Ｉ１９それぞれの類似度および類似要約画像を表記している。例えば、１次要約画像Ｉ１１の類似度はＤ２２であり、類似要約画像はＩ１３である。この要約画像再抽出処理では、先ず、類似度の高低を判定する。実施の形態１では、画像間の変化量を類似度としているため、類似度の値が小さければその類似要約画像との類似度が高い。逆に、類似度の値が大きければその類似要約画像との類似度が低い。ここでは、例えば、所定の閾値以下の場合に類似度が高く、閾値よりも大きければ類似度が低いと判定する。

そして、類似度が高い１次要約画像と、その類似要約画像とをグループ化して同一の類似要約画像群に割り当てる。例えば図６において、１次要約画像Ｉ１１の類似度Ｄ２２が閾値以下とする。この場合、１次要約画像Ｉ１１は、その類似要約画像Ｉ１３とグループ化され、同一の類似要約画像群に割り当てられる。さらに、１次要約画像Ｉ１３の類似度Ｄ４３が閾値以下とすると、１次要約画像Ｉ１３は、その類似要約画像Ｉ１４とグループ化され、同一の類似要約画像群に割り当てられる。結果的に、１次要約画像Ｉ１１，Ｉ１２，Ｉ１４が１つにグループ化されて同一の類似要約画像群Ｇ１１に割り当てられる。そして、グループ化された類似要約画像群の中から、例えば時系列順が先頭の１次要約画像を第２の要約体腔内画像として抽出する。例えば、図示の例では、類似要約画像群Ｇ１１からは１次要約画像Ｉ１１が、類似要約画像群Ｇ１２からは１次要約画像Ｉ１５がそれぞれ第２の要約体腔内画像として抽出される。

一方で、類似度が閾値よりも大きく類似度が低い全ての１次要約画像を第２の要約体腔内画像として抽出する。例えば、図示の例では、胃の臓器区間である類似画像出現区間から、１次要約画像Ｉ１２，Ｉ１６，Ｉ１８，Ｉ１９がそれぞれ第２の要約体腔内画像として抽出されている。

その後、演算部１５が、得られた最終的な要約体腔内画像を出力する（ステップａ１９）。例えば、演算部１５は、第２の要約体腔内画像を構成する各体腔内画像を制御部２０を介して順次表示部１３に表示出力させる。

次に、図３のステップａ３，ａ７，ａ１３，ａ１５，ａ１７の各処理について、順次説明する。先ず、図３のステップａ３で臓器種類判別部１６１が行う臓器種類判別処理について説明する。図７は、臓器種類判別処理の詳細な処理手順を示すフローチャートである。

図７に示すように、臓器種類判別処理では、臓器種類判別部１６１は先ず、図３のステップａ３で取得されて記録部１４に記録された一連の体腔内画像の中から順次処理対象とする体腔内画像を１枚ずつ読み出す（ステップｂ１）。続いて、臓器種類判別部１６１は、処理対象の体腔内画像に映る臓器種類を判別する（ステップｂ３）。判別結果は、記録部１４に保持される。

具体的な臓器種類の判別方法としては、適宜公知の技術を用いることができる。例えば、特開２００６−２８８６１２号公報に開示されている技術を用い、体腔内画像の平均Ｒ値，Ｇ値，Ｂ値をもとに判別する。具体的には、事前に臓器種類毎の平均Ｒ値，Ｇ値，Ｂ値の数値範囲を設定しておく。実施の形態１では、判別対象とする臓器は食道、胃、小腸および大腸の４種類であるので、食道、胃、小腸および大腸の平均Ｒ値，Ｇ値，Ｂ値の数値範囲をそれぞれ設定しておく。そして、処理対象の体腔内画像の平均Ｒ値，Ｇ値，Ｂ値が食道の平均Ｒ値，Ｇ値，Ｂ値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を食道と判別する。処理対象の体腔内画像の平均Ｒ値，Ｇ値，Ｂ値が胃の平均Ｒ値，Ｇ値，Ｂ値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を胃と判別する。処理対象の体腔内画像の平均Ｒ値，Ｇ値，Ｂ値が小腸の平均Ｒ値，Ｇ値，Ｂ値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を小腸と判別する。処理対象の体腔内画像の平均Ｒ値，Ｇ値，Ｂ値が大腸の平均Ｒ値，Ｇ値，Ｂ値の数値範囲内であれば、その体腔内画像に映る観察部位の臓器種類を大腸と判別する。なお、画像中に映る臓器種類を判別できれば、いずれの方法を用いてもよい。

続いて、臓器種類判別部１６１は、全ての体腔内画像についてその臓器種類の判別を行ったか否かを判定し、未処理の体腔内画像があれば（ステップｂ５：Ｎｏ）、ステップｂ１に戻り、未処理の体腔内画像を処理対象として読み出し、ステップｂ３の処理を行って臓器種類を判別する。一方、全ての体腔内画像を処理した場合には（ステップｂ５：Ｙｅｓ）、図３のステップａ３にリターンし、その後ステップａ５に移行する。

次に、図３のステップａ７で画像間変化量算出部１７１が行う画像間変化量算出処理について説明する。図８は、画像間変化量算出処理の詳細な処理手順を示すフローチャートである。

図８に示すように、画像間変化量算出処理では、画像間変化量算出部１７１は先ず、一連の体腔内画像を構成する体腔内画像の枚数を計数し、変数ｍａｘとして設定する（ステップｃ１）。続いて、画像間変化量算出部１７１は、時系列順が先頭の体腔内画像の画像間変化量を、予め設定される画像間変化量の最大値とする（ステップｃ３）。時系列順が先頭の画像については、直前の画像が存在しないためである。

続いて、画像間変化量算出部１７１は、処理対象とする画像の時系列順を示す変数ｉ＝２として初期化する（ステップｃ５）。そして、画像間変化量算出部１７１は、ｉ−１番目の体腔内画像Ｉ（ｉ−１）とｉ番目の体腔内画像Ｉ（ｉ）とを記録部１４から読み出す（ステップｃ７）。そして、画像間変化量算出部１７１は、体腔内画像Ｉ（ｉ−１）と体腔内画像Ｉ（ｉ）との間の変化量を算出し、体腔内画像Ｉ（ｉ）の画像間変化量とする（ステップｃ９）。算出された画像間変化量は、記録部１４に保持される。変化量の算出の方法には、様々な方法があるが、ここでは、画素値の差に基づく方法と画像の統計量変化に基づく方法とを示す。

先ず、画素値の差に基づく方法について説明する。本方法では先ず、体腔内画像Ｉ（ｉ−１）と体腔内画像Ｉ（ｉ）との間の画素値の差の２乗和ＳＳＤを次式（１）に従って算出する。ここで、各画像は、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素値を持つため、ＳＳＤの値も各色成分で算出される。そこで、各色成分のＳＳＤの合計値または平均値を求め、この値を体腔内画像Ｉ（ｉ）の画像間変化量とする。

また、ＳＳＤの代わりに、次式（２）に示す画素値の差の絶対値和ＳＡＤ等を用いてもよい。

次に、統計量変化に基づく方法について説明する。画像の統計量としては、例えば、画像内の画素値の平均、分散、ヒストグラム等が挙げられる。例えば、体腔内画像Ｉ（ｉ−１）および体腔内画像Ｉ（ｉ）内でこれらの統計量をそれぞれ求める。そして、得られた数値Ｓｔａｔの差Ｄ＿Ｅｕｃｌｉｄを次式（３）に従って算出し、この値を体腔内画像Ｉ（ｉ）の画像間変化量とする。

ここで、画像内の画素値の平均や分散を統計量として用いる場合、数値ＳｔａｔはＲ（赤），Ｇ（緑），Ｂ（青）の各色成分で１つずつ算出されるため、合わせると３つの統計量となる。また、ヒストグラムの場合、数値Ｓｔａｔは、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色成分でのヒストグラム分割数ｎ＿ｅｄｇｅずつ算出されるため、３×ｎ＿ｅｄｇｅの統計量となる。上記した式（３）では、次元数をｄ（１〜Ｄ）で示している。

なお、平均、分散、ヒストグラム等の統計量を複数組み合わせて多次元特徴ベクトルとし、この多次元特徴ベクトルを用いて画像間変化量を算出してもよい。またこの際、各統計量の取り得る範囲が互いに合うように正規化することとしてもよいし、各統計量に重み係数を乗じて計算することとしてもよい。

以上、画像間の変化量を算出する手法として２つの手法を示したが、体腔内画像Ｉ（ｉ−１）と体腔内画像Ｉ（ｉ）との間の変化に応じた値が得られればよく、本例以外の方法で算出してもよい。また、ここでは、体腔内画像Ｉ（ｉ）の画像間変化量として、時系列順が直前の体腔内画像Ｉ（ｉ−１）との間の変化量を算出することとしたが、必ずしも時系列順が連続している体腔内画像との間で変化量を算出する必要はない。例えば、時系列順は連続しないが近傍する他の体腔内画像との間の変化量を算出することとしてもよい。

そして、画像間変化量算出部１７１は、図８に示すように、処理対象とする画像の時系列順を示す変数ｉをインクリメントして更新し、変数ｍａｘと比較することで次に処理対象とする画像の有無を判定する。ｉ≦ｍａｘであれば（ステップｃ１１：Ｎｏ）、ステップｃ７に戻って次の処理対象の体腔内画像についてステップｃ７，ｃ９の処理を行い、画像間変化量を算出する。一方、ｉ＞ｍａｘの場合には（ステップｃ１１：Ｙｅｓ）、図３のステップａ７にリターンし、その後ステップａ９に移行する。

次に、図３のステップａ１３で要約画像間変化量算出部１８１が行う要約画像間変化量算出処理について説明する。図９は、要約画像間変化量算出処理の詳細な処理手順を示すフローチャートである。

図９に示すように、要約画像間変化量算出処理では、要約画像間変化量算出部１８１は先ず、図３のステップａ５で類似画像出現区間として設定された同一の臓器が映る区間を順次処理対象として選出する（ステップｄ１）。そして、要約画像間変化量算出部１８１は、図３のステップａ１１で抽出された１次要約画像のうち、処理対象の類似画像出現区間に属する１次要約画像（以下、要約画像間変化量算出処理において「区間内１次要約画像」と呼ぶ。）を記録部１４から読み出す（ステップｄ３）。

続いて、要約画像間変化量算出部１８１は、ステップｄ１で読み出した各区間内１次要約画像について、他の全ての区間内１次要約画像との間の変化量を要約画像間変化量として算出する（ステップｄ５）。例えば、図５に例示したように、処理対象の類似画像出現区間が胃の区間であって、この胃の区間の区間内１次要約画像が９枚の１次要約画像Ｉ１１〜Ｉ１９で構成されている場合であれば、各１次要約画像Ｉ１１〜Ｉ１９を順次処理対象とし、他の８枚の区間内１次要約画像との間の変化量をそれぞれ算出して要約画像間変化量とする。算出された要約画像間変化量は、記録部１４に保持される。なお、他の区間内１次要約画像との間の変化量の算出方法としては、図８のステップｃ９で説明した画像間変化量の算出方法を用いることができる。

続いて、要約画像間変化量算出部１８１は、図９に示すように、全ての類似画像出現区間について要約画像間変化量の算出を行ったか否かを判定し、未処理の類似画像出現区間があれば（ステップｄ７：Ｎｏ）、ステップｄ１に戻る。そして、未処理の類似画像出現区間を処理対象としてステップｄ１〜ステップｄ５の処理を行い、要約画像間変化量を算出する。一方、全ての類似画像出現区間を処理した場合には（ステップｄ７：Ｙｅｓ）、図３のステップａ１３にリターンし、その後ステップａ１５に移行する。

次に、図３のステップａ１５で類似度算出部１８３が行う類似度算出処理について説明する。図１０は、類似度算出処理の詳細な処理手順を示すフローチャートである。

図１０に示すように、類似度算出処理では、類似度算出部１８３は先ず、１次要約画像を順次処理対象として選出する（ステップｅ１）。続いて類似度算出部１８３は、処理対象の１次要約画像の要約画像間変化量を記録部１４から読み出す（ステップｅ３）。そして、類似度算出部１８３は、読み出した要約画像間変化量をもとに、処理対象の１次要約画像の類似度を算出する（ステップｅ５）。すなわち、上記したように、処理対象の１次要約画像の要約画像間変化量の中から値が最も小さい変化量を選出して類似度の値とし、その変化量を算出した他の１次要約画像を処理対象の１次要約画像の類似要約画像とする。

続いて、類似度算出部１８３は、全ての１次要約画像について類似度の算出を行ったか否かを判定し、未処理の１次要約画像があれば（ステップｅ７：Ｎｏ）、ステップｅ１に戻る。そして、未処理の１次要約画像を処理対象としてステップｅ１〜ステップｅ５の処理を行い、類似度を算出する。一方、全ての１次要約画像を処理した場合には（ステップｅ７：Ｙｅｓ）、図３のステップａ１５にリターンし、その後ステップａ１７に移行する。

次に、図３のステップａ１７で第２の要約画像抽出部１８が行う要約画像再抽出処理について説明する。図１１は、要約画像再抽出処理の詳細な処理手順を示すフローチャートである。

図１１に示すように、要約画像再抽出処理では、第２の要約画像抽出部１８は先ず、１次要約画像を順次処理対象として選出する（ステップｆ１）。続いて第２の要約画像抽出部１８は、処理対象の１次要約画像の類似度を記録部１４から読み出す（ステップｆ３）。続いて第２の要約画像抽出部１８は、読み出した類似度を閾値処理し、類似度が予め設定される所定の閾値以下であり、類似度が高い場合には（ステップｆ５：Ｙｅｓ）、処理対象の１次要約画像と、その画像に類似した類似要約画像とをグループ化して同一の類似要約画像群に割り当てる（ステップｆ７）。一方、類似度が閾値より大きく、類似度が低い場合には（ステップｆ５：Ｎｏ）、ステップｆ９に移行する。

そして、ステップｆ９では、第２の要約画像抽出部１８は、全ての１次要約画像について類似度を判定したか否かを判定し、未処理の１次要約画像があれば（ステップｆ９：Ｎｏ）、ステップｆ１に戻る。そして、未処理の１次要約画像を処理対象としてステップｆ１〜ステップｆ７の処理を行い、類似度が高い１次要約画像を類似要約画像と同一の類似要約画像群に割り当てる。

一方、全ての１次要約画像を処理した場合には（ステップｆ９：Ｙｅｓ）、第２の要約画像抽出部１８は、グループ化された類似要約画像群の中から時系列順が先頭の１次要約画像を選出する（ステップｆ１１）。類似要約画像群が複数あれば、それぞれについて時系列順が先頭の１次要約画像を選出する。そして、第２の要約画像抽出部１８は、選出した１次要約画像と、ステップｆ９で類似度が閾値より大きく類似度が低いと判定された全ての１次要約画像とを、第２の要約体腔内画像として抽出する（ステップｆ１３）。抽出結果は、記録部１４に保持される。その後、図３のステップａ１７にリターンし、その後ステップａ１９に移行する。

なお、ここでは、グループ化された類似要約画像群の中から時系列順が先頭の１次要約画像を第２の要約体腔内画像として抽出することとした。これに対し、類似要約画像群の中から観察に適した１次要約画像を選出する構成としてもよい。

例えば、類似要約画像群を構成する１次要約画像の中から、ノイズの最も少ない１次要約画像を観察に適した１次要約画像として選出することとしてもよい。この場合には、例えば、体内を撮像した体腔内画像には出現しない色の色情報として、Ｇ／ＲやＢ／Ｇ等の値（判定値）を予め設定しておく。そして、類似要約画像群の各１次要約画像を順次処理対象とし、処理対象の１次要約画像を構成する各画素のＧ／ＲやＢ／Ｇの値を算出する。そして、算出した値と予め設定しておいた判定値との差が小さいほどノイズの量が多い画像と判定する。そして、ノイズの量が最も少ない１次要約画像を観察に適した１次要約画像として選出する。

また、類似要約画像群を構成する１次要約画像のうち、ハレーションが発生していない１次要約画像を１次要約画像を観察に適した１次要約画像として選出することとしてもよい。この場合には、例えば、類似要約画像群の各１次要約画像を順次処理対象とし、処理対象の１次要約画像を構成する全ての画素のＧ値の平均値、あるいはＹ値の平均値を算出する。そして、算出した平均値を閾値処理し、予め設定される所定の閾値以上の場合にハレーションが発生している画像と判定する。そして、類似要約画像群を構成する１次要約画像の中から、ハレーションが発生していない画像を観察に適した１次要約画像として選出する。

あるいは、予め観察に適した明るさの閾値範囲を設定しておき、類似要約画像群を構成する１次要約画像の中からその明るさが閾値範囲内である１次要約画像を観察に適した１次要約画像として選出することとしてもよい。これによれば、明るすぎず暗すぎない１次要約画像を観察に適した１次要約画像として選出できる。

また、グループ化された類似要約画像群の中から第２の要約体腔内画像として抽出する画像の枚数は１枚に限らず、複数枚抽出することとしてもよい。

以上説明したように、実施の形態１によれば、一連の体腔内画像の時系列区間を各体腔内画像に映る臓器種類をもとに臓器区間に分割し、各臓器区間を類似する体腔内画像が出現する可能性が高い類似画像出現区間として設定することができる。そして、この類似画像出現区間毎に、各類似画像出現区間に属する第１の要約体腔内画像（１次要約画像）間の変化量を算出することによって、各第１の要約体腔内画像の類似度を算出することができる。そして、算出した類似度をもとに、第１の要約体腔内画像の中から最終的な第２の要約体腔内画像を抽出することができる。したがって、一連の体腔内画像の中から、その内容を把握するための要約体腔内画像を適切に抽出することができる。

（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の画像処理装置１０ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した画像処理装置１０と同一の構成については、同一の符号を付する。図１２に示すように、画像処理装置１０ｂは、画像取得部１１と、入力部１２と、表示部１３と、記録部１４ｂと、演算部１５ｂと、画像処理装置１０ｂ全体の動作を制御する制御部２０ｂとを備える。

記録部１４ｂには、一連の体腔内画像の時系列区間において、同一の臓器種類が映る臓器区間をユーザ操作に従って設定し、この臓器区間をもとに一連の体腔内画像から要約体腔内画像を抽出するための画像処理プログラム１４１ｂが記録される。

また、演算部１５ｂは、区間設定部１６ｂと、第１の要約画像抽出部１７と、第２の要約画像抽出部１８とを含む。一方、制御部２０ｂは、臓器区間の指定を依頼し、入力部１２を介してユーザによる臓器区間の指定操作を受け付ける臓器区間指定依頼部２０１ｂを含む。演算部１５ｂの区間設定部１６ｂは、ここで指定された臓器区間に従って、類似画像出現区間を設定する。

図１３は、実施の形態２の画像処理装置１０ｂが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部１４ｂに格納された画像処理プログラム１４１ｂに従って画像処理装置１０ｂの各部が動作することによって実現される。また、図１３において、実施の形態１と同様の処理工程については、同一の符号を付する。

図１３に示すように、実施の形態２では、ステップａ１で演算部１５ｂが一連の体腔内画像を取得した後、続いて、制御部２０ｂの臓器区間指定依頼部２０１ｂが、臓器区間指定画面を表示部１３に表示して臓器区間の指定依頼を通知する処理を行う（ステップｇ３）。なお、臓器区間指定依頼部２０１ｂは、この指定依頼の通知に応答して指定された臓器区間を演算部１５ｂの区間設定部１６ｂに出力する。

図１４は、臓器区間指定画面の一例を示す図である。図１４に示すように、臓器区間指定画面は、その画面中央において一連の体腔内画像を構成する各体腔内画像を１枚ずつ表示する画像表示部９１を備える。この画像表示部９１の下方には、観察者が画像表示部９１に表示する体腔内画像を切り換えるための逆送りボタン９２や順送りボタン９３、スライダーバー９４が配置されている。ユーザは、これらの逆送りボタン９２や順送りボタン９３を押下し、あるいはスライダーバー９４をスライド操作することによって、画像表示部９１の体腔内画像を切り換えることができる。

また、臓器区間指定画面には、臓器区間を指定するための臓器選択リストボックス９５や、臓器区間の指定操作を確定するためのＯＫボタン９６や、指定操作を終了する終了ボタン９７が配置されている。臓器選択リストボックス９５には、臓器区間の先頭および後尾を選択するための選択肢が一覧で提示される。なお、図１４では、食道、胃、小腸および大腸の先頭および後尾を選択するための選択肢を示しているが、臓器選択リストボックス９５に提示される選択肢は、類似画像出現区間として設定する臓器区間に応じて適宜設定できる。

この臓器区間指定画面においてユーザが臓器区間を指定する際には、先ず、逆送りボタン９２や順送りボタン９３、スライダーバー９４を操作し、画像表示部９１に一連の体腔内画像を順次表示させて閲覧しながら、臓器区間の先頭や後尾となる体腔内画像を探す。そして、これらの体腔内画像を画像表示部９１に表示させた状態で、該当する選択肢を臓器選択リストボックス９５から選択し、ＯＫボタン９６を押下する。また、ユーザは、臓器区間の指定操作を終える場合には終了ボタン９７を押下する。内部処理としては、臓器区間指定依頼部２０１ｂは、ＯＫボタン９６が押下された際に画像表示部９１に表示されていた体腔内画像の画像番号と臓器選択リストボックス９５で選択されていた選択肢とを対応付けて記録部１４ｂに保持しておく。そして、終了ボタン９７の押下操作に応じて、臓器区間指定依頼部２０１ｂは、記録部１４ｂに保持しておいた体腔内画像と各選択肢との関連付け（すなわち、各臓器区間の先頭および後尾の体腔内画像の画像番号）を区間設定部１６ｂに出力する。

続いて、図１３に示すように、区間設定部１６ｂが、一連の体腔内画像の時系列区間を、臓器区間指定依頼部２０１ｂから入力された臓器区間毎に分割し、各臓器区間を類似した体腔内画像が出現する区間（類似画像出現区間）として設定する（ステップｇ５）。その後、ステップａ７に移行する。

以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏するとともに、ユーザが指定した臓器区間に従って時系列区間内に類似画像出現区間を設定することができる。

なお、上記した各実施の形態では、カプセル内視鏡によって撮像された一連の体腔内画像から要約体腔内画像を抽出する場合について説明したが、処理の対象となる画像はカプセル内視鏡３で撮像された画像に限定されるものではない。また、動画像、あるいは連続して撮影された静止画像列といった連続する画像の中から要約体腔内画像を抽出する場合に同様に適用できる。

画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 実施の形態１の画像処理装置の機能構成を説明するブロック図である。 実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。 図３に示す処理手順を説明する説明図である。 図３に示す処理手順を説明する説明図である。 図３に示す処理手順を説明する説明図である。 臓器種類判別処理の詳細な処理手順を示すフローチャートである。 画像間変化量算出処理の詳細な処理手順を示すフローチャートである。 要約画像間変化量算出処理の詳細な処理手順を示すフローチャートである。 類似度算出処理の詳細な処理手順を示すフローチャートである。 要約画像再抽出処理の詳細な処理手順を示すフローチャートである。 実施の形態２の画像処理装置の機能構成を説明するブロック図である。 実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。 臓器区間指定画面の一例を示す図である。

３ カプセル内視鏡
５ 受信装置
Ａ１〜Ａｎ 受信用アンテナ
７ 可搬型記録媒体
１０ 画像処理装置
１１ 画像取得部
１２ 入力部
１３ 表示部
１４，１４ｂ 記録部
１４１，１４１ｂ 画像処理プログラム
１５，１５ｂ 演算部
１６，１６ｂ 区間設定部
１６１ 臓器種類判別部
１７ 第１の要約画像抽出部
１７１ 画像間変化量算出部
１７３ シーン変化検出部
１８ 第２の要約画像抽出部
１８１ 要約画像間変化量算出部
１８３ 類似度算出部
２０，２０ｂ 制御部
２０１ｂ 臓器区間指定依頼部
１ 被検者

Claims (17)

1. 体腔内を連続的に撮像した一連の体腔内画像の中から要約体腔内画像を抽出する画像処理装置であって、
   前記一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定する区間設定部と、
   前記一連の体腔内画像を構成する各体腔内画像のシーン変化をもとに、前記一連の体腔内画像の中から第１の要約体腔内画像を抽出する第１の要約画像抽出部と、
   同一の類似画像出現区間に属する前記第１の要約体腔内画像間の類似度をもとに、第２の要約体腔内画像を抽出する第２の要約画像抽出部と、
   を備えることを特徴とする画像処理装置。
2. 前記区間設定部は、前記一連の体腔内画像に映る臓器種類を判別する臓器種類判別部を有し、前記臓器種類判別部によって同一の臓器種類と判別された区間を前記類似画像出現区間として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記一連の体腔内画像の時系列区間のうちの同一の臓器が映る臓器区間の指定を依頼する区間指定依頼部を備え、
   前記区間設定部は、前記区間指定依頼部による依頼に応答して指定された臓器区間を前記類似画像出現区間として設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の要約画像抽出部は、
   前記体腔内画像毎に、時系列順が近接する他の体腔内画像との間で画像間変化量を算出する画像間変化量算出部と、
   前記画像間変化量をもとに、前記一連の体腔内画像の中からシーン変化が発生した体腔内画像を検出するシーン変化検出部と、
   を有し、前記シーン変化検出部によって検出された体腔内画像を前記第１の要約体腔内画像として抽出することを特徴とする請求項１に記載の画像処理装置。
5. 前記シーン変化検出部は、前記画像間変化量の値が予め設定される所定の閾値範囲内である体腔内画像を、前記シーン変化が発生した体腔内画像として検出することを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の要約画像抽出部は、
   前記第１の要約体腔内画像毎に、同一の類似画像出現区間に属する他の全ての第１の要約体腔内画像との間で要約画像間変化量を算出する要約画像間変化量算出部と、
   前記要約画像間変化量をもとに、前記第１の要約体腔内画像の類似度を算出する類似度算出部と、
   を有し、前記類似度をもとに、前記第１の要約体腔内画像の中から前記第２の要約体腔内画像を抽出することを特徴とする請求項１に記載の画像処理装置。
7. 前記類似度算出部は、前記第１の要約体腔内画像について算出した前記要約画像間変化量のうちの最も小さい値を前記第１の要約体腔内画像の類似度とすることを特徴とする請求項６に記載の画像処理装置。
8. 前記第２の要約画像抽出部は、前記第１の要約体腔内画像の類似度の高低を判定し、類似度が高いと判定された第１の要約体腔内画像を、前記類似度とした前記要約画像間変化量を算出した他の第１の要約体腔内画像と同一の類似要約画像群に割り当てるとともに、前記類似要約画像群に含まれる少なくとも１枚を前記第２の要約体腔内画像として抽出することを特徴とする請求項６に記載の画像処理装置。
9. 前記第２の要約画像抽出部は、前記類似要約画像群の中から、時系列順が先頭である第１の要約体腔内画像を抽出することを特徴とする請求項８に記載の画像処理装置。
10. 前記第２の要約画像抽出部は、前記類似要約画像群の中から、観察に適した第１の要約体腔内画像を抽出することを特徴とする請求項８に記載の画像処理装置。
11. 前記第２の要約画像抽出部は、前記類似要約画像群を構成する各第１の要約体腔内画像におけるノイズの有無をもとに、前記観察に適した第１の要約体腔内画像を抽出することを特徴とする請求項１０に記載の画像処理装置。
12. 前記第２の要約画像抽出部は、前記類似要約画像群を構成する各第１の要約体腔内画像におけるハレーションの発生の有無をもとに前記観察に適した第１の要約体腔内画像を抽出することを特徴とする請求項１０に記載の画像処理装置。
13. 前記第２の要約画像抽出部は、前記類似要約画像群を構成する各第１の要約体腔内画像における明るさをもとに、前記観察に適した第１の要約体腔内画像を抽出することを特徴とする請求項１０に記載の画像処理装置。
14. 前記第２の要約画像抽出部は、前記第１の要約体腔内画像の類似度の高低を判定し、類似度が低いと判定された全ての第１の要約体腔内画像を前記第２の要約体腔内画像として抽出することを特徴とする請求項６に記載の画像処理装置。
15. 前記第２の要約画像抽出部は、前記類似度の値が予め設定される所定の閾値範囲内の場合に類似度が高く、前記閾値範囲外の場合に類似度が低いと判定することを特徴とする請求項８または１４に記載の画像処理装置。
16. 体腔内を連続的に撮像した一連の体腔内画像の中から要約体腔内画像を抽出する画像処理方法であって、
    前記一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定する区間設定工程と、
    前記一連の体腔内画像を構成する各体腔内画像のシーン変化をもとに、前記一連の体腔内画像の中から第１の要約体腔内画像を抽出する第１の要約画像抽出工程と、
    同一の類似画像出現区間に属する前記第１の要約体腔内画像間の類似度をもとに、第２の要約体腔内画像を抽出する第２の要約画像抽出工程と、
    を含むことを特徴とする画像処理方法。
17. コンピュータに、体腔内を連続的に撮像した一連の体腔内画像の中から要約体腔内画像を抽出させるための画像処理プログラムであって、
    前記一連の体腔内画像の時系列区間内に、類似する体腔内画像が出現する類似画像出現区間を設定する区間設定ステップと、
    前記一連の体腔内画像を構成する各体腔内画像のシーン変化をもとに、前記一連の体腔内画像の中から第１の要約体腔内画像を抽出する第１の要約画像抽出ステップと、
    同一の類似画像出現区間に属する前記第１の要約体腔内画像間の類似度をもとに、第２の要約体腔内画像を抽出する第２の要約画像抽出ステップと、
    を前記コンピュータに実行させることを特徴とする画像処理プログラム。

Images