JP2009011563A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】時系列画像を表示する場合の観察者による表示内容の見逃しの防止を図るとともに、観察効率を向上させること。
【解決手段】動きベクトル算出部７５１は、生体内画像間で各画像に映る同一の対象物の対応付けを行い、その位置の変化量を表すベクトルデータ（動きベクトル）を算出する。画像新出割合推定部７５４は、各生体内画像について、その時系列前画像との間で新規に発生した領域を推定し、その新規発生領域の割合を新出割合として算出する。表示時間決定係数算出部７５５は、新出割合をもとに、各生体内画像の表示時間を決定するための表示時間決定係数を算出する。
【選択図】図２

Description

本発明は、撮像装置が時系列に沿って撮像した時系列画像を処理する画像処理装置および画像処理プログラムに関するものである。

近年、内視鏡の分野において、被検体内部の画像を撮像する撮像機能や、撮像部によって撮像された画像情報を無線送信する送信機能等がカプセル形状のケース内に収容されて構成された、飲込み型のカプセル型内視鏡が提案されている。このカプセル型内視鏡は、検査のため被検体である患者の口から飲込まれて被検体内部に導入され、自然排出されるまでの間、体内の例えば食道や胃、小腸、大腸等の臓器内部をその蠕動運動に従って移動する。そして、体内を移動中に、例えば２〜４（frame／sec）で体内の画像を順次撮像し、撮像した画像情報を体外の受信装置に無線送信する。このカプセル型内視鏡によって撮像されて体外の受信装置で受信された被検体内部の画像は、診断用のワークステーション等で時系列順に順次表示され、医師等の観察者によって確認される。

このカプセル型内視鏡は、膨大な枚数の画像を撮像する。このため、診断用のワークステーション等では、時系列で近傍する画像間の類似度をもとに各画像が観察すべき画像か否かを判別し、観察すべき画像の表示時間を長く、観察する必要がない画像の表示時間を短くして各画像の表示時間を調整することによって観察者による画像の観察にかかる負担を軽減している。この種の技術としては、画像内に複数の画素領域を設定し、時系列で連続する画像間での各画素領域の動きベクトルを求めることによって画像の類似度を判定する技術が知られている。例えば、時系列で連続する画像間で算出した各画素領域それぞれの動きベクトルのうち、最も大きな動きベクトルの動きベクトル量（代表動きベクトル量）を選出し、この代表動きベクトル量をもとに各画像の表示時間を算出する手法が知られている。あるいは、求めた各動きベクトルの向きが揃っているか否かによって同一の撮像シーンである画像を判定し、同一の撮像シーンである画像の表示をスキップまたは高速に表示する手法が知られている（特許文献１参照）。

特開２００６−２８０７９２号公報

ところで、代表動きベクトル量が同じ程度の画像であっても、他の動きベクトルとの関係によって時系列で近傍する画像との見え方の変化が違う場合があった。例えば、カプセル型内視鏡が横にスライド（平行移動）しながら撮像した画像なのか、進行方向に移動しながら撮像した画像なのかによって前後の見え方の変化は大きく異なる。あるいは、画像間での画素領域の対応付けが適切でなく、誤った位置で得られた動きベクトルの大きさを代表動きベクトル量としてしまう場合もあった。このため、１つの代表動きベクトル量だけに着目してしまうと、代表動きベクトル量と画像の見え方の変化との相関が低い場面が発生し、適切な表示時間で表示させることができない場合があった。この結果、変化の大きい場面の表示時間が短く設定されてしまい、観察者が重要な情報を見逃してしまうという事態が生じる可能性があった。反対に、変化の小さい場面の表示時間が長く設定されてしまい、観察効率の低下を招くという問題があった。

また、上記した特許文献では、複数の動きベクトルを用いて画像の類似度の判定を行ってはいるものの、各画像が同一シーンを撮像した画像かどうかの簡単な判定に留まっており、前後の画像の見え方の変化に応じて表示時間を調整することはできなかった。

本発明は、上記に鑑みてなされたものであって、時系列画像を表示する場合の観察者による表示内容の見逃しの防止を図るとともに、観察効率を向上させることができる画像表示装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、撮像装置が時系列に沿って撮像した時系列画像を処理する画像処理装置であって、画像内に設定した複数の画素領域について、前記時系列画像を構成する複数の画像間での動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段によって算出された動きベクトルをもとに、前記複数の画像間で画像に新規に発生した領域の割合である新出割合を推定する新出割合推定手段と、前記新出割合推定手段によって推定された新出割合に応じて、前記画像の表示時間を算出する表示時間算出手段と、を備えることを特徴とする。

また、本発明にかかる画像処理プログラムは、撮像装置が時系列に沿って撮像した一連の画像を処理するコンピュータに、画像内に設定した複数の画素領域について、前記時系列画像を構成する複数の画像間での動きベクトルを算出する動きベクトル算出ステップ、前記動きベクトル算出ステップによって算出された動きベクトルをもとに、前記複数の画像間で画像に新規に発生した領域の割合である新出割合を推定する新出割合推定ステップ、前記新出割合推定ステップによって推定された新出割合に応じて、前記画像の表示時間を算出する表示時間算出ステップ、を実行させることを特徴とする。

本発明に係る画像表示装置によれば、画像間で新規に発生した領域の画像に占める割合である新出割合に応じて画像の表示時間を設定することができるので、観察者による表示内容の見逃しを防止しながら、時系列画像を構成する複数の画像の内容を効率よく把握することができるという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。

図１は、本実施の形態にかかる画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。なお、本実施の形態の画像処理装置は、カプセル型内視鏡によって撮像された体腔内の画像を処理して表示する画像処理装置である。図１に示すように、画像処理システムは、被検体１内部の画像（生体内画像）を撮像するカプセル型内視鏡３、カプセル型内視鏡３から無線送信される生体内画像を受信する受信装置４、受信装置４によって受信された生体内画像をもとに、カプセル型内視鏡３によって撮像された生体内画像を処理して表示する画像処理装置７０等で構成される。受信装置４と画像処理装置７０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）５が使用される。

カプセル型内視鏡３は、撮像機能や無線機能等を具備するものであって、被検体１の口から飲み込まれて被検体１内部に導入され、体腔内を移動しながら逐次生体内画像を撮像する。そして、撮像した生体内画像を体外に無線送信する。

受信装置４は、複数の受信用アンテナＡ１〜Ａｎを備え、各受信用アンテナＡ１〜Ａｎを介してカプセル型内視鏡３から無線送信される生体内画像を受信する。この受信装置４は、可搬型記録媒体５の着脱が自在に構成されており、受信した生体内画像の画像データを可搬型記録媒体５に逐次保存する。このようにして、受信装置４は、カプセル型内視鏡３が撮像した被検体１内部の生体内画像を時系列順に可搬型記録媒体５に蓄積する。

受信アンテナＡ１〜Ａｎは、例えばループアンテナで構成され、図１に示すように、被検体１の体表上の所定位置に分散配置される。具体的には、例えば、被検体１内におけるカプセル型内視鏡３の通過経路に対応する体表上の位置に分散配置される。なお、受信アンテナＡ１〜Ａｎは、被検体１に着用させるジャケットに分散配置されるものであってもよい。この場合には、受信アンテナＡ１〜Ａｎは、被検体１がこのジャケットを着用することによって、被検体１内におけるカプセル型内視鏡３の通過経路に対応する被検体１の体表上の所定位置に配置される。また、受信アンテナは、被検体１に対して１つ以上配置されればよく、その数は限定されない。

処理装置７０は、ワークステーションやパソコン等の汎用コンピュータで実現されるものであり、可搬型記録媒体５の着脱が自在に構成される。この画像処理装置７０は、可搬型記録媒体５に蓄積された時系列の生体内画像を取得し、ＬＣＤやＥＬＤ等のディスプレイに取得した時系列の生体内画像を順次切り替えて連続的に表示する。

図２は、画像処理装置７０の機能構成を説明するブロック図である。本実施の形態では、画像処理装置７０は、画像取得部７１０と、入力部７２０と、表示部７３０と、記憶部７４０と、画像処理部７５０と、装置各部を制御する制御部７６０とを備える。

画像取得部７１０は、カプセル型内視鏡３によって撮像された時系列の生体内画像を取得するものであり、例えば、可搬型記録媒体５を着脱自在に装着し、装着した可搬型記録媒体５に蓄積された時系列の生体内画像の画像データを読み出して取得する。この画像取得部７１０は、例えば、可搬型記録媒体５の種類に応じた読み書き装置によって実現される。なお、カプセル型内視鏡３によって撮像された時系列の生体内画像の取得は、可搬型記録媒体５を用いた構成に限定されるものではなく、例えば、画像取得部７１０の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル型内視鏡３によって撮像された時系列の生体内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体５の代わりに別途サーバーを設置し、このサーバーに時系列の生体内画像を予め保存しておく構成としてもよい。この場合には、画像取得部を、サーバーと接続するための通信装置等で構成し、この画像取得部を介してサーバーに接続して、サーバーから時系列の生体内画像を取得する。

入力部７２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部７６０に出力する。表示部７３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部７６０の制御によって、時系列の生体内画像の表示画面を含む各種画面を表示する。

画像処理部７５０は、ＣＰＵ等のハードウェアによって実現され、画像取得部７１０によって取得される時系列画像である複数の生体内画像を処理し、各生体内画像を表示部７３０に表示する際の表示時間を決定する表示時間決定係数を算出するための種々の演算処理を行う。この画像処理部７５０は、動きベクトル算出手段に相当する動きベクトル算出部７５１と、動きパターン分類手段に相当する画像動きパターン分類部７５２と、パターン外ベクトル抽出手段に相当する外れベクトル探索部７５３と、新出割合推定手段に相当する画像新出割合推定部７５４と、表示時間算出手段に相当する表示時間決定係数算出部７５５とを含む。動きベクトル算出部７５１は、生体内画像間で各画像に映る同一の対象物の対応付けを行い、その位置の変化量を表すベクトルデータ（動きベクトル）を算出する。画像動きパターン分類部７５２は、各生体内画像の動きパターン（以下、「画像動きパターン」と称す。）、すなわち各生体内画像を撮像したときのカプセル型内視鏡３の動きパターンを、その動きベクトルをもとに「動きなし」「平行移動」「奥行き方向奥への移動」「奥行き方向手前への移動」「シーンチェンジ」のいずれかの画像動きパターンに分類する。外れベクトル探索部７５３は、各生体内画像中の動きベクトルの中から、この生体内画像の画像動きパターンから外れた動きベクトルを探索し、外れベクトルとして抽出する。画像新出割合推定部７５４は、各生体内画像について、その時系列前画像との間で画像に新規に発生した領域（以下、「新規発生領域」と称す。）を推定し、その新規発生領域の割合を新出割合として算出する。表示時間決定係数算出部７５５は、新出割合をもとに、各生体内画像の表示時間を決定するための算出パラメータである表示時間決定係数を算出する。

制御部７６０は、ＣＰＵ等のハードウェアによって実現される。この制御部７６０は、画像取得部７１０から入力される生体内画像の画像データや入力部７２０から入力される操作信号、記憶部７４０に格納されるプログラムやデータ等に基づいて画像処理装置７０を構成する各部への指示やデータの転送等を行い、画像処理装置７０全体の動作を統括的に制御する。また、この制御部７６０は、画像取得部７１０から入力される時系列の生体内画像をそれぞれその表示時間に従って時系列順に順次表示部７３０に表示する制御を行う画像表示制御部７６１を含む。

記憶部７４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって実現されるものであり、画像処理装置７０の動作にかかるプログラムや、画像処理装置７０の備える種々の機能を実現するためのプログラム、これらプログラムの実行にかかるデータ等が格納される。また、表示時間決定係数算出部７５５によって算出される各生体内画像それぞれの表示時間決定係数を記憶する表示時間決定係数データ７４１が格納される。なお、この表示時間決定係数のデータは、各生体内画像と対応付けて可搬型記録媒体５に書き込む構成としてもよい。また、画像処理部７５０を、動きベクトル算出部７５１、画像動きパターン分類部７５２、外れベクトル探索部７５３、画像新出割合推定部７５４および表示時間決定係数算出部７５５として機能させるための画像処理プログラム７４３が格納される。

図３は、画像処理装置７０が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、画像処理部７５０が記憶部７４０に格納された画像処理プログラム７４３を読み出して実行することによって実現される。

図３に示すように、先ず、動きベクトル算出部７５１が動きベクトル算出処理を行う（ステップＳ１）。続いて、画像動きパターン分類部７５２が画像動きパターン分類処理を行う（ステップＳ２）。続いて、外れベクトル探索部７５３が外れベクトル探索処理を行う（ステップＳ３）。続いて、画像新出割合推定部７５４が画像新出割合推定処理を行う（ステップＳ４）。そして、表示時間決定係数算出部７５５が表示時間決定係数算出処理を行う（ステップＳ５）。このステップＳ１〜ステップＳ５の各処理によって、各生体内画像の表示時間決定係数を得る。そして、これらの処理の後、画像表示制御部７６１が、各生体内画像をそれぞれその表示時間決定係数によって定まる表示時間で時系列順に順次表示部７３０に表示する制御を行う。なお、画像処理装置において各生体内画像の表示時間決定係数を算出する処理を行い、この画像処理装置とは別の装置において、各生体内画像をその表示時間決定係数によって定まる表示時間で時系列順に順次表示する構成としても構わない。以下、ステップＳ１〜ステップＳ５の各処理の詳細について、一の生体内画像（以下、適宜「処理対象画像」と呼ぶ。）の表示時間決定係数を求める場合に着目して説明する。

先ず、図３のステップＳ１による動きベクトル算出処理について説明する。この動きベクトル算出処理では、動きベクトル算出部７５１は、生体内画像中に複数設定した画素領域をテンプレートとしたテンプレートマッチングを行い、例えば、直前に撮像された時系列で前の生体内画像（以下、適宜「時系列前画像」と称す。）との間で各テンプレート位置の動きベクトルを算出する。

図４−１は、時系列前画像の一例を示す図であり、図４−２は、処理対象画像の一例を示す図であり、図４−３は、図４−１の時系列前画像と図４−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。動きベクトル算出部７５１は、先ず、図４−１に示すように、時系列前画像中に所定数（例えば１６個）の画素領域１０１を設定する。設定する画素領域の位置やサイズ、数等は予め設定しておくこととしてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。続いて、動きベクトル算出部７５１は、各画素領域１０１を順次テンプレートとし、公知のテンプレートマッチング処理を行って処理対象画像の中から各テンプレートと最もマッチングする（相関値が高い）位置を探索する。テンプレートマッチングの手法としては、例えば正規化相互相関によるマッチングを用いる。詳細には、処理高速化のため、低解像度の画像から順次マッチング領域を探索し、探索範囲を絞っていく多重解像度ピラミッド探索の手法を用いる。このとき、動きベクトル算出部７５１は、テンプレートとする時系列前画像中の画素領域の画素平均値をそれぞれ算出し、所定の閾値以下の暗い画素領域についてはテンプレートマッチングを行わず、マッチング失敗とする。また、多重解像度ピラミッド探索によるマッチング探索途中でマッチングする領域が見つからなかった場合や、得られた相関値が低いものについても、マッチング失敗とする。このテンプレートマッチングの結果、図４−２に示すように、処理対象画像の中から図４−１の各画素領域１０１と最も類似するテンプレート位置１０３が探索され、その相関値が得られる。そして、動きベクトル算出部７５１は、図４−３に示すように、探索されたテンプレート位置１０３、より詳細には、探索されたテンプレート位置であって、マッチングが成功したテンプレート位置１０３をもとに動きベクトル１０５を算出する。この動きベクトル算出処理によって得られたマッチング結果のデータは記憶部７４０に保持される。例えば、テンプレートとする画素領域の識別番号と対応付けて、マッチングの成否、得られたテンプレート位置やその相関値、動きベクトル等が記憶される。

次に、図３のステップＳ２による画像動きパターン分類処理について説明する。図５は、画像動きパターン分類処理の詳細な処理手順を示すフローチャートである。

この画像動きパターン分類処理では、画像動きパターン分類部７５２は、先ず、信頼値の一例である動きベクトル算出処理でのマッチングの成功数と、予め閾値として設定される基準成功数とを比較し、基準成功数以下の場合には（ステップＳ１１：Ｙｅｓ）、ステップＳ２７に移行して画像動きパターンを「シーンチェンジ」に分類する。図６−１は、時系列前画像の一例を示す図であり、図６−２は、処理対象画像の一例を示す図であり、図６−３は、図６−１の時系列前画像と図６−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。この時系列前画像と処理対象画像のように、時系列の前後でカプセル型内視鏡３の撮像位置が大きく変わり、画像の見えが大きく変わった場合、時系列前画像で設定したテンプレートに対して処理対象画像でマッチングする位置が得られない、あるいは得られたテンプレートマッチング位置での相関値が低くなるため、図６−３に示すように、マッチングに失敗した箇所１１１が多く発生する。このように、マッチングの失敗数が多く、マッチングが成功したテンプレート数が基準成功数以下の場合には、画像動きパターンは「シーンチェンジ」に分類される。

一方、図５に示すように、マッチングの成功数が基準成功数より多い場合には（ステップＳ１１：Ｎｏ）、画像動きパターン分類部７５２は、動きなし判定処理を実行する（ステップＳ１３）。

図７は、動きなし判定処理の処理手順を示すフローチャートである。この動きなし判定処理では、画像動きパターン分類部７５２は、先ず、マッチングが成功して得られたベクトル数（マッチングベクトル数）が、予めステップＳ３１の判定用の閾値として設定される所定数以下か否かを判定する。そして、画像動きパターン分類部７５２は、所定数より多い場合には（ステップＳ３１：Ｎｏ）、その大きさが最大値の動きベクトルを選出し、外れ値としてステップＳ３５以降の処理の対象から除外する（ステップＳ３３）。これは、動きベクトル算出の際に間違った位置でマッチングがとられた動きベクトルが存在することがあり、この場合を考慮して判定精度を向上させるためであるが、マッチングが成功した動きベクトルが少ない場合には、外れ値の除外によって画像動きパターンの判定に用いる動きベクトルが少なくなり、誤った画像動きパターンに当てはめてしまう可能性がある。このため、マッチングベクトル数が所定数以下の場合には（ステップＳ３１：Ｙｅｓ）、外れ値を除外するステップＳ３３の処理を行わない。

続いて、画像動きパターン分類部７５２は、外れ値として除外された動きベクトル以外の動きベクトルをもとに、動きベクトルの大きさの平均値を算出する（ステップＳ３５）。続いて、画像動きパターン分類部７５２は、マッチングベクトル数に応じてベクトル平均閾値を設定する（ステップＳ３７）。図８は、ベクトル平均閾値の設定について説明する図であり、横軸をマッチングベクトル数、縦軸をベクトル平均閾値として、マッチングベクトル数に応じて設定されるベクトル平均閾値の一例を示している。図８に示すように、ベクトル平均閾値は、マッチングベクトル数が少ないほどその値が小さくなるように設定される。これは、動きなし判定に用いる動きベクトル数が少ない場合、処理対象画像の画像動きパターンが偶然「動きなし」に当てはまる可能性が高くなるためである。

実際には、このベクトル平均閾値は、予め設定される基準ベクトル平均閾値をもとに次式（１）に従って算出される。

ここで、Ｖ_s’はベクトル平均閾値、Ｖ_sは基準ベクトル平均閾値、ｐはマッチングが成功した動きベクトル数（マッチングベクトル数）、Ｎは全てのマッチングが成功した場合の動きベクトル数（時系列前画像中に設定した画素領域数に相当）、α_sは変換係数を表す。

そして、画像動きパターン分類部７５２は、図７に示すように、ステップＳ３５で算出した動きベクトルの大きさの平均値が、ステップＳ３７で設定したベクトル平均閾値以下の場合に（ステップＳ３９：Ｙｅｓ）、処理対象画像の画像動きパターンを「動きなし」に分類する（ステップＳ４１）。なお、本実施形態では、ステップＳ３５で算出した動きベクトルの大きさの平均値が、ステップＳ３７で設定したベクトル平均閾値以下の場合に、処理対象画像の画像動きパターンを「動きなし」に分類するが、この実施形態に限らず、ベクトルの大きさの平均値、最小値、最大値、中間値の少なくともいずれか１つについて設定した閾値と比較することで、処理対象画像の画像動きパターンを「動きなし」に分類するように構成してもよい。図９−１は、時系列前画像の一例を示す図であり、図９−２は、処理対象画像の一例を示す図であり、図９−３は、図９−１の時系列前画像と図９−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。図９−１の時系列前画像と図９−２の処理対象画像のように各画像間で画像がほとんど変化しない場合、図９−３に示すように、処理対象画像中で算出される動きベクトル１２１は小さく、画像動きパターンは「動きなし」に分類される。そして、画像動きパターン分類部７５２は、図５のステップＳ１３にリターンし、その後ステップＳ１５に移行する。

ステップＳ１５では、画像動きパターン分類部７５２は、画像動きパターンが「動きなし」か否かを判定する。そして、画像動きパターン分類部７５２は、画像動きパターンが「動きなし」の場合、すなわちステップＳ１３の動きなし判定処理によって画像動きパターンが「動きなし」に分類された場合には（ステップＳ１５：Ｙｅｓ）、本処理を終了する。一方、画像動きパターン分類部７５２は、画像動きパターンが「動きなし」でない場合には（ステップＳ１５：Ｎｏ）、平行移動判定処理を実行する（ステップＳ１７）。

図１０は、平行移動判定処理の処理手順を示すフローチャートである。生体内画像の画像動きパターンが「平行移動」の場合、その動きベクトルは全て同じような大きさと向きを持つ。この平行移動判定処理では、各動きベクトルの向きをもとに画像動きパターンが「平行移動」か否かを判定する。すなわち、先ず、画像動きパターン分類部７５２は、マッチングベクトル数が、予めステップＳ５１の判定用の閾値として設定される所定数以下か否かを判定する。そして、画像動きパターン分類部７５２は、所定数より多い場合には（ステップＳ５１：Ｎｏ）、動きベクトルの角度（向き）の平均を算出してこの角度平均との差分の絶対値が最も大きい動きベクトルを選出し、外れ値としてステップＳ５５以降の処理の対象から除外する（ステップＳ５３）。これは、動きなし判定処理と同様に、動きベクトル算出の際に間違った位置でマッチングがとられた場合を考慮して判定精度を向上させるためであり、マッチングが成功したマッチングベクトル数が所定数以下の場合には（ステップＳ５１：Ｙｅｓ）、外れ値を除外するステップＳ５３の処理を行わない。

続いて、画像動きパターン分類部７５２は、外れ値として除外された動きベクトル以外の動きベクトルをもとに、動きベクトルの角度のばらつきを算出する（ステップＳ５５）。本実施形態では、角度のばらつきとして、角度分散を算出する。続いて、画像動きパターン分類部７５２は、マッチングベクトル数に応じてベクトル角度分散閾値を設定する（ステップＳ５７）。図１１は、ベクトル角度分散閾値の設定について説明する図であり、横軸をマッチングベクトル数、縦軸をベクトル角度分散閾値として、マッチングベクトル数に応じて設定されるベクトル角度分散閾値の一例を示している。図１１に示すように、ベクトル角度分散閾値は、マッチングベクトル数が少ないほどその値が小さくなるように設定される。平行移動判定に用いる動きベクトル数が少ない場合、処理対象画像の画像動きパターンが偶然「平行移動」に当てはまる可能性が高くなるためである。

実際には、このベクトル角度分散閾値は、予め設定される基準ベクトル角度分散閾値をもとに次式（２）に従って算出される。

ここで、Ｖ_p’はベクトル角度分散閾値、Ｖ_pは基準ベクトル角度分散閾値、ｐはマッチングが成功した動きベクトル数、Ｎは全てのマッチングが成功した場合の動きベクトル数、α_pは変換係数を表す。

そして、画像動きパターン分類部７５２は、図１０に示すように、ステップＳ５５で算出した動きベクトルの角度分散が、ステップＳ５７で設定したベクトル角度分散閾値以下の場合に（ステップＳ５９：Ｙｅｓ）、処理対象画像の画像動きパターンを「平行移動」に分類する（ステップＳ６１）。図１２−１は、時系列前画像の一例を示す図であり、図１２−２は、処理対象画像の一例を示す図であり、図１２−３は、図１２−１の時系列前画像と図１２−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。図１２−３に示すように、図１２−１の時系列前画像と図１２−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトル１３１がほぼ同一方向を向いている場合、画像動きパターンは「平行移動」に分類される。そして、画像動きパターン分類部７５２は、図５のステップＳ１７にリターンし、その後ステップＳ１９に移行する。

ステップＳ１９では、画像動きパターン分類部７５２は、画像動きパターンが「平行移動」か否かを判定する。そして、画像動きパターン分類部７５２は、画像動きパターンが「平行移動」の場合、すなわちステップＳ１７の平行移動判定処理によって画像動きパターンが「平行移動」に分類された場合には（ステップＳ１９：Ｙｅｓ）、本処理を終了する。一方、画像動きパターン分類部７５２は、画像動きパターンが「平行移動」でない場合には（ステップＳ１９：Ｎｏ）、奥行き方向移動判定処理を実行する（ステップＳ２１）。

図１３は、奥行き方向移動判定処理の処理手順を示すフローチャートである。この奥行き方向移動判定処理では、画像動きパターン分類部７５２は、先ず、処理対象画像中に所定数の中心点候補を設定する（ステップＳ７１）。図１４は、処理対象画像に設定される中心点候補の一例を示す図であり、処理対象画像中に複数の中心点候補１４１が配列されて設定されている。各中心点候補１４１の位置および数は、予め設定しておく。画像動きパターン分類部７５２は、この中心点候補１４１の中から奥行き中心点を選定する。ここでいう奥行き中心点とは、カプセル型内視鏡３の移動の進行方向が画像上に表れる位置である進行方向位置に相当する。画像動きパターン分類部７５２は、処理対象画像上のカプセル型内視鏡３の進行方向位置と最も近接する中心点候補１４１を選定し、奥行き中心点とする。

具体的には、画像動きパターン分類部７５２は、各中心点候補それぞれについて、中心点候補から各動きベクトルの始点へのベクトル（以下、「始点ベクトル」と呼ぶ）を算出し、続いて各中心点候補それぞれについて算出した各始点ベクトルについて、その始点ベクトルが指し示す位置を始点とする動きベクトルとの内積（以下、「動きベクトル内積」と呼ぶ。）を算出する（ステップＳ７３）。そして、画像動きパターン分類部７５２は、中心点候補毎に動きベクトル内積の平均を算出し（ステップＳ７５）、算出した動きベクトル内積の平均の絶対値が最大値の中心点候補を、奥行き中心点として選定する（ステップＳ７７）。

図１５−１および図１５−２は、奥行き中心点の選定方法について説明する説明図である。仮に処理対象画像の動作パターンが「奥行き方向奥への移動」または「奥行き方向手前への移動」であるとすると、図１５−１に示すように、正しい奥行き中心点である中心点候補１４３では、中心点候補１４３を各動きベクトルの始点と結んだ各始点ベクトルの方向が、それぞれその始点ベクトルが指し示す位置を始点とする動きベクトルの方向と近くなる。このとき「奥行き方向奥への移動」であれば始点ベクトルおよび動きベクトルは正向きとなり、「奥行き方向手前への移動」であれば逆向きとなる。これに対し、図１５−２に示すように、奥行き中心点ではない中心点候補１４５について算出した各始点ベクトルと対応する各動きベクトルとの関係をみると、これらの向きに一致性がみられない。ここで、始点ベクトルと動きベクトルの方向が近いということは、これらのなす角度が０度もしくは１８０度に近くなるということであり、始点ベクトルと動きベクトルの内積（動きベクトル内積）の値の絶対値は「１」に近くなる。そこで、中心点候補毎に動きベクトル内積の平均を算出し、中心点候補のうち、動きベクトル内積の平均の絶対値が最大値となる中心点候補を奥行き中心点として選定する。なお、奥行き方向中心点に極めて近い位置で動きベクトルが算出された場合、動きベクトルが０ベクトルになることがある。この０ベクトルについては、動きベクトル内積の値を、その平均がプラスの値の場合には「１．０」、マイナスの値の場合には「−１．０」として処理する。

続いて、画像動きパターン分類部７５２は、図１３に示すように、マッチングの失敗数と、奥行き中心点からの動きベクトル内積の絶対値が予め設定される基準内積値以下の動きベクトル数、すなわち、その方向が始点ベクトルの方向（奥行き方向に相当）と一致していない動きベクトル数との総和を算出し、予めステップＳ７９の判定用の閾値として設定される所定数未満の場合には（ステップＳ７９：Ｙｅｓ）、ステップＳ８１に移行する。所定数以上の場合には（ステップＳ７９：Ｎｏ）、本処理を終了する。これは、マッチング失敗数が多い場合や、その方向が始点ベクトルの方向と一致しない動きベクトルが多い場合は、奥行き方向移動判定の結果に信頼性が得られないと考えられるためであり、奥行き方向移動判定にかかるステップＳ８１以降の処理を行わない。具体的には、動きベクトル内積の平均がプラスの値の場合であれば、動きベクトル内積の値が所定の内積下限値以下の動きベクトルを、その方向が始点ベクトルの方向と一致していないと判定する。動きベクトル内積の平均がマイナスの値であれば、動きベクトル内積の値が所定の内積上限値以上の動きベクトルを、その方向が始点ベクトルの方向と一致していないと判定する。そして、これら始点ベクトルの方向と一致しない方向を持つ動きベクトルの数とマッチングの失敗数との総和が所定数以上か否かを判定する。

ステップＳ８１では、画像動きパターン分類部７５２は、マッチングベクトル数をもとに奥判定用内積閾値および手前判定用内積閾値を設定する。図１６は、奥判定用内積閾値の設定について説明する図であり、横軸をマッチングベクトル数、縦軸を奥判定用内積閾値として、マッチングベクトル数に応じて設定される奥判定用内積閾値の一例を示している。図１６に示すように、奥判定用内積閾値は、マッチングベクトル数が少ないほどその値が「１」に近くなるように設定される。奥行き方向移動判定に用いる動きベクトル数が少ない場合、処理対象画像の画像動きパターンが偶然「奥行き方向奥への移動」に当てはまる可能性が高くなるためであり、奥判定用内積閾値を高く設定する。

実際には、この奥判定用内積閾値は、予め設定される基準奥判定用内積閾値をもとに次式（３）に従って算出される。

ここで、Ｖ_b’は奥判定用内積閾値、Ｖ_bは基準奥判定用内積閾値、ｐはマッチングが成功した動きベクトル数、Nは全てのマッチングが成功した場合の動きベクトル数、α_bは変換係数を表す。

また、図１７は、手前判定用内積閾値の設定について説明する図であり、横軸をマッチングベクトル数、縦軸を手前判定用内積閾値として、マッチングベクトル数に応じて設定される手前判定用内積閾値の一例を示している。図１７に示すように、手前判定用内積閾値は、マッチングベクトル数が少ないほどその値が「−１」に近くなるように設定される。奥行き方向移動判定に用いる動きベクトル数が少ない場合、処理対象画像の画像動きパターンが偶然「奥行き方向手前への移動」に当てはまる可能性が高くなるためであり、手前判定用内積閾値を低く設定する。

実際には、この手前判定用内積閾値は、予め設定される基準手前判定用内積閾値をもとに次式（４）に従って算出される。

ここで、Ｖ_d’が手前判定用内積閾値、Ｖ_dは基準手前判定用内積閾値、ｐはマッチングが成功した動きベクトル数、Ｎは全てのマッチングが成功した場合の動きベクトル数、α_dは変換係数を表す。

そして、画像動きパターン分類部７５２は、図１３に示すように、ステップＳ７５で奥行き中心について算出した動きベクトル内積の平均が、ステップＳ８１で設定した奥判定用内積閾値以上の場合に（ステップＳ８３：Ｙｅｓ）、処理対象画像の画像動きパターンを「奥行き方向奥への移動」に分類する（ステップＳ８５）。なお、本実施形態では、ステップＳ７５で奥行き中心について算出した動きベクトル内積の平均が、ステップＳ８１で設定した奥判定用内積閾値以上の場合に、処理対象画像の画像動きパターンを「奥行き方向奥への移動」に分類しているが、これに限られない。動きベクトル内積の平均、最小値、ばらつきの少なくともいずれか１つが、「奥行き方向奥への移動」の判定のために設定した閾値の範囲内である場合に、処理対象画像の画像動きパターンを「奥行き方向奥への移動」に分類するようにすればよい。図１８−１は、時系列前画像の一例を示す図であり、図１８−２は、処理対象画像の一例を示す図であり、図１８−３は、図１８−１の時系列前画像と図１８−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。また、図１８−３中に、奥行き中心点１５１を示している。図１８−３に示すように、各動きベクトル１５３が、対応する始点ベクトル（奥行き中心点１５１から動きベクトルに向かう向き）と略正向きである場合には、画像動きパターンが「奥行き方向奥への移動」に分類される。

一方、画像動きパターン分類部７５２は、図１３に示すように、ステップＳ７５で奥行き中心について算出した動きベクトル内積の平均が、ステップＳ８１で設定した手前判定用内積閾値以下の場合に（ステップＳ８７：Ｙｅｓ）、処理対象画像の画像動きパターンを「奥行き方向手前への移動」に分類する（ステップＳ８９）。なお、本実施形態では、ステップＳ７５で奥行き中心について算出した動きベクトル内積の平均が、ステップＳ８１で設定した手前判定用内積閾値以下の場合に、処理対象画像の画像動きパターンを「奥行き方向手前への移動」に分類しているが、これに限られない。動きベクトル内積の平均、最大値、ばらつきの少なくともいずれか１つが、「奥行き方向手前への移動」の判定のために設定した閾値の範囲内である場合に、処理対象画像の画像動きパターンを「奥行き方向手前への移動」に分類するようにすればよい。図１９−１は、時系列前画像の一例を示す図であり、図１９−２は、処理対象画像の一例を示す図であり、図１９−３は、図１９−１の時系列前画像と図１９−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。また、図１９−３中に、奥行き中心点１６１を示している。図１９−３に示すように、各動きベクトルが、それぞれ対応する始点ベクトル（奥行き中心点１６１から動きベクトルに向かう向き）と略逆向きである場合には、画像動きパターンが「奥行き方向手前への移動」に分類される。

なお、画像動きパターンを、動きベクトル内積の平均が奥判定用内積閾値以上の場合に「奥行き方向奥への移動」に分類することとしたが、動きベクトルと始点ベクトルとのなす角度をもとに分類することとしてもよい。すなわち、例えば、各動きベクトルと始点ベクトルとのなす角度の平均を算出し、この値が予め閾値として設定される所定値以下の場合に、奥行き方向への移動と判定する。そして、動きベクトルと始点ベクトルとが略正向きの場合には画像動きパターンを「奥行き方向奥への移動」に分類し、動きベクトルと始点ベクトルとが略逆向きの場合には画像動きパターンを「奥行き方向手前への移動」に分類することとしてもよい。そして、画像動きパターン分類部７５２は、図５のステップＳ２１にリターンし、その後ステップＳ２３に移行する。

ステップＳ２３では、画像動きパターン分類部７５２は、画像動きパターンが「奥行き方向奥への移動」か否かを判定する。そして、画像動きパターン分類部７５２は、画像動きパターンが「奥行き方向奥への移動」の場合、すなわちステップＳ２１の奥行き方向移動判定処理によって画像動きパターンが「奥行き方向奥への移動」に分類された場合には（ステップＳ２３：Ｙｅｓ）、本処理を終了する。一方、画像動きパターン分類部７５２は、画像動きパターンが「奥行き方向奥への移動」でない場合には（ステップＳ２３：Ｎｏ）、続いて、画像動きパターンが「奥行き方向手前への移動」か否かを判定する。そして、画像動きパターン分類部７５２は、画像動きパターンが「奥行き方向手前への移動」の場合、すなわちステップＳ２１の奥行き方向移動判定処理によって画像動きパターンが「奥行き方向手前への移動」に分類された場合には（ステップＳ２５：Ｙｅｓ）、本処理を終了する。画像動きパターンが「奥行き方向手前への移動」でない場合には（ステップＳ２５：Ｎｏ）、画像動きパターン分類部７５２は、画像動きパターンを「シーンチェンジ」に分類する（ステップＳ２７）。

すなわち、画像動きパターン分類部７５２は、ステップＳ１１でマッチングが成功したテンプレート数が基準成功数より多いと判定した場合であっても、ステップＳ１３〜ステップＳ２５の処理で画像動きパターンが「動きなし」「平行移動」「奥行き方向奥への移動」「奥行き方向手前への移動」のいずれにも設定されなかった場合には、画像動きパターンを「シーンチェンジ」に分類する。図２０−１は、時系列前画像の一例を示す図であり、図２０−２は、処理対象画像の一例を示す図であり、図２０−３は、図２０−１の時系列前画像と図２０−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。図２０−３に示すように、処理対象画像中の各動きベクトルの大きさや向きに規則性がなく、単純に動きなしや平行移動、奥行き方向への移動と判定できない場合には、画像動きパターンは「シーンチェンジ」に分類される。これは、正しいテンプレートマッチングがとれる位置がないため、誤ったマッチング位置で動きベクトルを算出した場合や、カプセル型内視鏡３が撮像した体腔内の粘膜が実際に不規則に動いた等の要因が考えられる。

そして、画像動きパターン分類部７５２は、図３のステップＳ２にリターンし、その後ステップＳ３に移行する。この画像動きパターン分類処理の分類結果は、記憶部７４０に保持される。

次に、図３のステップＳ３による外れベクトル探索処理について説明する。この外れベクトル探索処理では、画像動きパターンのうち、「シーンチェンジ」および「動きなし」を除いた「平行移動」「奥行き方向奥への移動」「奥行き方向手前への移動」のいずれかに分類された生体内画像の中から、その画像動きパターンに当てはまらない動きベクトルを探索し、外れベクトルとして抽出する。そして、画像動きパターンに当てはまらない動きベクトル（外れベクトル）が多いものについては、画像動きパターンを「シーンチェンジ」に変更する。また、この外れベクトル探索処理によって外れベクトルに設定された動きベクトルは、後段の画像新出割合推定処理の対象としない。

図２１は、外れベクトル探索処理の詳細な処理手順を示すフローチャートである。外れベクトル探索部７５３は、先ず、マッチングの失敗数を外れベクトル数としてカウントする（ステップＳ９１）。

続いて、外れベクトル探索部７５３は、処理対象画像の画像動きパターンを判定し、「平行移動」の場合には（ステップＳ９３：Ｙｅｓ）、処理対象画像中の各動きベクトルと図１０のステップＳ５５で算出した処理対象画像中の動きベクトルの角度平均との差分を算出し、算出した差分が予めステップＳ９５の判定用の閾値として設定される所定値以上の動きベクトルを外れベクトルとして外れベクトル数のカウントを更新する（ステップＳ９５）。

処理対象画像の画像動きパターンが「奥行き方向奥への移動」の場合には（ステップＳ９７：Ｙｅｓ）、外れベクトル探索部７５３は、図１３のステップＳ７３で算出した動きベクトル内積が予めステップＳ９９の判定用の閾値として設定される所定値以下の動きベクトルを外れベクトルとして外れベクトル数のカウントを更新する（ステップＳ９９）。

処理対象画像の画像動きパターンが「奥行き方向手前への移動」の場合には（ステップＳ１０１：Ｙｅｓ）、外れベクトル探索部７５３は、図１３のステップＳ７３で算出した動きベクトル内積が予めステップＳ１０３の判定用の閾値として設定される所定値以上の動きベクトルを外れベクトルとして外れベクトル数のカウントを更新する（ステップＳ１０３）。

そして、外れベクトル探索部７５３は、カウントされた外れベクトル数が、予めステップＳ１０５の判定用の閾値として設定される所定数以上の場合には（ステップＳ１０５：Ｙｅｓ）、処理対象画像の画像動きパターンを「シーンチェンジ」に変更する（ステップＳ１０７）。そして、外れベクトル探索部７５３は、図３のステップＳ３にリターンし、その後ステップＳ４に移行する。

次に、図３のステップＳ４による画像新出割合推定処理について説明する。この画像新出割合推定処理では、分類された画像動きパターンに応じて、時系列前画像から処理対象画像に新たに発生した領域の割合である新出割合を算出する。例えば、新出割合の取り得る値を「０．０」〜「１．０」とし、時系列前画像との間の変化が大きいほどその新出割合の値が「１．０」に近づくように推定し、画像の変化がなければその新出割合の値を「０．０」として推定する。

図２２は、画像新出割合推定処理の詳細な処理手順を示すフローチャートである。画像新出割合推定部７５４は、先ず、処理対象画像の画像動きパターンを判定し、「動きなし」の場合には（ステップＳ１１１：Ｙｅｓ）、画像がほとんど変わっていないと考えられるので、新出割合に「０．０」を設定する（ステップＳ１１３）。

画像動きパターンが「平行移動」または「奥行き方向手前への移動」の場合には（ステップＳ１１５：Ｙｅｓ）、画像新出割合推定部７５４は、画像端から新規発生領域を推定し、新出割合を算出する（ステップＳ１１７）。

図２３−１は、時系列前画像の一例を示す図であり、図２３−２は、図２３−１の時系列前画像との間の画像動きパターンが「平行移動」に分類された処理対象画像の一例を示す図であり、図２３−３は、図２３−２の処理対象画像中で推定される新規発生領域を示す図である。画像動きパターンが「平行移動」の場合、処理対象画像中には、時系列前画像には映っていなかった新たな領域が動きベクトルに応じて画像端から現れると考えられる。このため、画像新出割合推定部７５４は、画像端毎に、その画像端の直近のラインの動きベクトルを用いて新規発生領域を推定する。具体的には、各画像端の直近のラインの動きベクトルの平均（動きベクトル平均）を求め、それぞれ画像端と直交する方向への射影成分に従って各画像端における新規発生領域を推定する。例えば、処理対象画像の上端に着目すれば、図２３−３に示すように、最上段１９１の動きベクトルを用い、枠外に示すようにその動きベクトル平均１９３を求める。そして、画像上端と直交する方向（図２３の上下方向）への射影成分１９５の幅を持つ領域１９７を画像上端において新規に発生した領域と推定する。各画像端についても同様に、それぞれ新規に発生した領域を推定する。そして、最終的に得られた領域１９７，１９９の総和の画像全体に対する割合を新出割合とする。なお、画像端の直近のラインの動きベクトルのうち、外れベクトル探索処理（図２１）で外れベクトルとカウントされた外れベクトルについては、処理の対象としない。また、画像端の直近のラインにおいて、全てマッチングが失敗し、動きベクトルが得られなかった場合や、全て外れベクトルの場合には、さらに内側のラインの動きベクトルを用いて対象画像端において新規発生領域を推定する。

図２４−１は、時系列前画像の一例を示す図であり、図２４−２は、図２４−１の時系列前画像との間の画像動きパターンが「奥行き方向手前への移動」に分類された処理対象画像の一例を示す図であり、図２４−３は、図２４−２の処理対象画像中で推定される新規発生領域を示す図である。画像動きパターンが「奥行き方向手前への移動」の場合、処理対象画像中には、時系列前画像には映っていなかった新たな領域が動きベクトルに応じて画像端から現れると考えられる。このため、画像新出割合推定部７５４は、「平行移動」の場合と同様にして、画像端毎に、その画像端の直近のラインの動きベクトルを用いて新規発生領域を推定する。例えば、処理対象画像の上端に着目すれば、図２４−３に示すように、最上段２００の動きベクトルを用い、枠外に示すようにその動きベクトル平均２０１を求める。また、処理対象画像の左端では、最左列の各動きベクトルのうち、外れベクトルとしてカウントされた動きベクトル２０２を除いた動きベクトル２０３，２０４，２０５を用いて、その動きベクトル平均２０６を求める。そして、最終的に得られた領域２０７，２０８，２０９の総和の画像全体に対する割合を新出割合とする。

画像動きパターンが「奥行き方向奥への移動」の場合には（ステップＳ１１９：Ｙｅｓ）、画像新出割合推定部７５４は、奥行き中心点を基準として新規発生領域を推定し、新出割合を算出する（ステップＳ１２１）。

図２５−１は、時系列前画像の一例を示す図であり、図２５−２は、図２５−１の時系列前画像との間の画像動きパターンが「奥行き方向奥への移動」に分類された処理対象画像の一例を示す図であり、図２５−３は、図２５−２の処理対象画像中で推定される新規発生領域を示す図である。画像動きパターンが「奥行き方向奥への移動」の場合、処理対象画像中には、時系列前画像には映っていなかった新たな領域が奥行き中心点から現れると考えられる。このため、画像新出割合推定部７５４は、奥行き中心点近傍のテンプレート位置で算出された所定数の動きベクトルを用いて新規発生領域を推定する。具体的には、先ず、奥行き中心点からの距離が近いものから順番に所定数個の動きベクトルを選出する。続いて、奥行き中心点から各動きベクトルの始点を結んだ直線方向への射影成分の長さをそれぞれ算出し、その平均（射影成分平均）を得る。そして、得られた射影成分平均を対角線の半分の長さとする奥行き中心点を基準とした矩形領域を、新規発生領域と推定する。例えば、図２５−３では、奥行き中心点２１１の近傍で算出された４つのベクトル２２１〜２２４を用いて新規発生領域を推定する。図２６は、画像動きパターンが「奥行き方向奥への移動」の場合の新規発生領域の推定方法について説明する説明図であり、図２５−３の奥行き中心点２１１および近傍の４つのベクトル２２１〜２２４を抽出した図である。図２６に示すように、各動きベクトル２２１〜２２４について、それぞれ奥行き中心点２１１からその始点を結んだ直線方向への射影成分２３１〜２３４を求め、射影成分平均を得る。そして、この射影成分平均を対角線の半分の長さ２１５とする奥行き中心点２１１を基準とした矩形領域２１３を、新規発生領域と推定する。

「動きなし」「平行移動」「奥行き方向奥への移動」「奥行き方向手前への移動」のいずれでもない場合、すなわち「シーンチェンジ」の場合には、画像新出割合推定部７５４は、処理対象画像全体が時系列前画像とは異なる場所を映しており、画像全体が入れ替わっていると考えられるので、新出割合に「１．０」を設定する（ステップＳ１２３）。

次に、図３のステップＳ５による表示時間決定係数算出処理について説明する。表示時間決定係数算出部７５５は、画像新出割合推定処理の結果得られた新出割合を、次式（５）で表される変換曲線を用いて表示時間決定係数Ｔに変換する。
Ｔ＝α×Ｓ^γ ・・・（５）
ただし、Ｔ＞１．０の場合には、Ｔ＝１．０とする。ここで、Ｓは新出割合、αは表示時間算出係数、γは表示時間算出パワー係数である。図２７は、式（５）で表される変換曲線を示す図である。新出割合Ｓがある程度以上になると、観察者は画像の対応をとるのが困難で、ほぼ新しい画像と感じると考えられる。このため、本実施形態では、観察者がそのように感じる程度を式（５）のαで経験的に定めている。また、動きベクトル算出時の探索範囲に応じて、動きなしやシーンチェンジを除いた動きパターンにおいて算出される新出割合の値の範囲も異なり、それに応じて表示時間決定係数の値の範囲を調整できるようにしておくとよい。このため、本実施形態では、その調整の程度を式（５）のγで経験的に定めている。

また、例えば体内の管腔内部を撮像する場合等では、撮像対象（被写体）のうち、撮像時のカプセル型内視鏡３の位置との距離が比較的近く画像端に現れる対象と、カプセル型内視鏡３からの距離が遠く奥行き中心点周辺に現れる対象との画像上に現れる大きさが異なること、画像端から新規発生領域が現れる場合と奥行き方向点周辺から新規発生領域が現れる場合とでは、人が感じるその変化の具合いが算出された新規発生領域の大きさに比例しない場合があること等から、画像動きパターンが「奥行き方向奥への移動」の場合には、表示時間決定係数Ｔを算出する前に予め得られた新出割合に所定の係数を乗じておく。

この表示時間決定係数Ｔは、「０．０」〜「１．０」の値をとり、時系列前画像との間で画像の内容がほとんど変化しないとき「０．０」となり、表示時間は最短となる。一方、時系列前画像との間で画像の内容が大きく変化するとき「１．０」となり、画像表示時間は最長となる。すなわち、求めた表示時間決定係数Ｔは、例えば次式（６）により算出する生体内画像の表示時間Ｔｉｍｅの変数として用いられる。
Ｔｉｍｅ＝（MaxTime−MinTime）×Ｔ＋MinTime ・・・（６）
MaxTimeは１枚の生体内画像の表示にかける最長の表示時間、MinTimeは１枚の生体内画像の表示にかける最短の表示時間である。最長および最短の各表示時間の値は、予め設定しておくこととしてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。

以上説明したように、本実施の形態では、時系列画像である各生体内画像を、時系列で前の生体内画像との間で算出した動きベクトルをもとに画像全体がどのような動き方をしているかを表す画像動きパターンに分類する。そして、その画像動きパターンに応じた動きベクトルを利用して時系列前画像から新規に発生した領域の新出割合を算出し、画像の新出割合から表示時間決定係数を算出するようにした。これによれば、動きベクトルを活用し、各生体内画像それぞれの表示時間を、観察者が受け取る画像の見えの変化に応じて調整することができるので、各生体内画像を適切な表示時間で表示させることができる。したがって、それまでに撮像されていない部位が多く写った画像をスキップしたり高速で表示させてしまうといった事態を防止できるので、観察者による表示内容の見逃しを防止できるとともに、すでに観察した部位が多く写った画像は高速に表示することで、観察効率を向上させることができ、観察者にとっては生体内画像の内容を効率よく把握することが可能となる。

なお、上記の実施形態では、「動きなし」「平行移動」「奥行き方向奥への移動」「奥行き方向手前への移動」「シーンチェンジ」のいずれかの画像動きパターンに分類して、画像動きパターンの分類に応じた手法で新出割合算出する構成で説明したが、本発明はこの実施形態に限定されるものではなく、「動きなし」「平行移動」「奥行き方向奥への移動」「奥行き方向手前への移動」「シーンチェンジ」のうち少なくともいずれか１つを判定の対象として、判定の対象となった画像動きパターンの分類に応じた手法で新出割合を算出する構成とすることもできる。

また、上記の実施形態では、カプセル型内視鏡１０により撮像された時系列の生体内画像を表示する場合について説明したが、これに限定されるものではなく、時系列画像を順次表示させる場合であれば同様に適用することができ、時系列画像を構成する画像のうち、新出割合の高い画像を長く表示し、新出割合の低い画像を短く表示することができる。

本実施の形態にかかる画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 画像処理装置の機能構成を説明するブロック図である。 画像処理装置が行う処理手順を示す全体フローチャートである。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図４−１の時系列前画像と図４−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。 画像動きパターン分類処理の詳細な処理手順を示すフローチャートである。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図６−１の時系列前画像と図６−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。 動きなし判定処理の処理手順を示すフローチャートである。 ベクトル平均閾値の一例を示す図である。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図９−１の時系列前画像と図９−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。 平行移動判定処理の処理手順を示すフローチャートである。 ベクトル角度分散閾値の一例を示す図である。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図１２−１の時系列前画像と図１２−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。 奥行き方向移動判定処理の処理手順を示すフローチャートである。 処理対象画像に設定される中心点候補の一例を示す図である。 奥行き中心点の選定方法について説明する説明図である。 奥行き中心点の選定方法について説明する説明図である。 奥判定用内積閾値の一例を示す図である。 手前判定用内積閾値の一例を示す図である。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図１８−１の時系列前画像と図１８−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図１９−１の時系列前画像と図１９−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。 時系列前画像の一例を示す図である。 処理対象画像の一例を示す図である。 図２０−１の時系列前画像と図２０−２の処理対象画像とをもとに算出した処理対象画像中の動きベクトルを示す図である。 外れベクトル探索処理の詳細な処理手順を示すフローチャートである。 画像新出割合推定処理の詳細な処理手順を示すフローチャートである。 時系列前画像の一例を示す図である。 図２３−１の時系列前画像との間の動きパターンが「平行移動」に分類された処理対象画像の一例を示す図である。 図２３−２の処理対象画像中で推定される新規発生領域を示す図である。 時系列前画像の一例を示す図である。 図２４−１の時系列前画像との間の動きパターンが「奥行き方向手前への移動」に分類された処理対象画像の一例を示す図である。 図２４−２の処理対象画像中で推定される新規発生領域を示す図である。 時系列前画像の一例を示す図である。 図２５−１の時系列前画像との間の動きパターンが「奥行き方向奥への移動」に分類された処理対象画像の一例を示す図である。 図２５−２の処理対象画像中で推定される新規発生領域を示す図である。 画像動きパターンが「奥行き方向奥への移動」の場合の新規発生領域の推定方法について説明する説明図である。 新出割合を表示時間決定係数に変換するための変換曲線の一例を示す図である。

符号の説明

１ 被検体
３ カプセル型内視鏡
４ 受信装置
Ａ１〜Ａｎ 受信アンテナ
５ 可搬型記録媒体
７０ 画像処理装置
７１０ 画像取得部
７２０ 入力部
７３０ 表示部
７４０ 記憶部
７４１ 表示時間決定係数データ
７４３ 画像処理プログラム
７５０ 画像処理部
７５１ 動きベクトル算出部
７５２ 画像動きパターン分類部
７５３ 外れベクトル探索部
７５４ 画像新出割合推定部
７５５ 表示時間決定係数算出部
７６０ 制御部
７６１ 画像表示制御部

Claims (33)

1. 撮像装置が時系列に沿って撮像した時系列画像を処理する画像処理装置であって、
   画像内に設定した複数の画素領域について、前記時系列画像を構成する複数の画像間での動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトル算出手段によって算出された動きベクトルをもとに、前記複数の画像間で画像に新規に発生した領域の割合である新出割合を推定する新出割合推定手段と、
   前記新出割合推定手段によって推定された新出割合に応じて、前記画像の表示時間を算出する表示時間算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記新出割合推定手段は、画像端から新規に発生した領域を推定する画像端新出領域推定手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像端新出領域推定手段は、画像端近傍の画素領域で算出された動きベクトルを用いて新規に発生した領域を推定することを特徴とする請求項２に記載の画像処理装置。
4. 前記新出割合推定手段は、前記複数の画像間での前記撮像装置の移動の進行方向が画像上に表れる位置である進行方向位置を基準として新規に発生した領域を推定する進行方向新出領域推定手段を有することを特徴とする請求項１に記載の画像処理装置。
5. 前記進行方向新出領域推定手段は、前記進行方向位置近傍の画素領域で算出された動きベクトルを用いて新規に発生した領域を推定することを特徴とする請求項４に記載の画像処理装置。
6. 前記新出割合推定手段は、前記動きベクトル算出手段によって算出された動きベクトルをもとに、画像の動きパターンを少なくとも、動きなし、平行移動、奥行き方向奥への移動、奥行き方向手前への移動、およびシーンチェンジのいずれかの動きパターンに分類する動きパターン分類手段を有し、分類した動きパターンに基づいて新出割合を推定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが平行移動に分類された場合に、画像端から新規に発生した領域を推定することを特徴とする請求項６に記載の画像処理装置。
8. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが奥行き方向奥への移動に分類された場合に、前記進行方向位置を基準として新規に発生した領域を推定することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが奥行き方向手前への移動に分類された場合に、画像端から新規に発生した領域を推定することを特徴とする請求項６〜８のいずれか一つに記載の画像処理装置。
10. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが動きなしに分類された場合に、前記新出割合を、取り得る値の最小値として推定することを特徴とする請求項６〜９のいずれか一つに記載の画像処理装置。
11. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンがシーンチェンジに分類された場合に、前記新出割合を、取り得る値の最大値として推定することを特徴とする請求項６〜１０のいずれか一つに記載の画像処理装置。
12. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが動きなしおよびシーンチェンジ以外の画像動きパターンに分類された場合に、前記新出割合を、取り得る値の最小値よりも大きく、最大値よりも小さい範囲内で推定することを特徴とする請求項６〜１１のいずれか一つに記載の画像処理装置。
13. 前記動きパターン分類手段は、前記複数の画素領域における画像の動きベクトルの大きさに基づいて、画像の動きパターンを動きなしに分類することを特徴とする請求項６〜１２のいずれか一つに記載の画像処理装置。
14. 前記動きパターン分類手段は、前記複数の画素領域における画像の動きベクトルの角度のばらつきが所定の閾値以下である場合に、画像の動きパターンを平行移動に分類することを特徴とする請求項６〜１３のいずれか一つに記載の画像処理装置。
15. 前記動きパターン分類手段は、前記進行方向位置を探索する進行方向位置探索手段を有することを特徴とする請求項６〜１４のいずれか一つに記載の画像処理装置。
16. 前記動きパターン分類手段は、前記進行方向位置と前記動きベクトルの始点とを結んだ始点ベクトルを算出し、前記動きベクトルと前記始点ベクトルとのなす角度または内積に基づいて、画像の動きパターンを奥行き方向奥への移動または奥行き方向手前への移動に分類することを特徴とする請求項６〜１５のいずれか一つに記載の画像処理装置。
17. 前記動きパターン分類手段は、前記動きベクトル算出手段によって算出された動きベクトルの信頼値が所定の閾値以下である場合、または画像の動きパターンが動きなし、平行移動、奥行き方向奥への移動および奥行き方向手前への移動のいずれにも分類されない場合に、画像の動きパターンをシーンチェンジに分類することを特徴とする請求項６〜１６のいずれか一つに記載の画像処理装置。
18. 前記新出割合推定手段は、前記動きベクトル算出手段によって算出された動きベクトルをもとに、画像の動きパターンとして、少なくとも、動きなしの画像動きパターンを分類する動きパターン分類手段を有し、分類した動きパターンに基づいて新出割合を推定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
19. 前記動きパターン分類手段は、前記複数の画素領域における動きベクトルの大きさに基づいて、画像の動きパターンを動きなしに分類することを特徴とする請求項１８に記載の画像処理装置。
20. 前記新出割合推定手段は、前記動きベクトル算出手段によって算出された動きベクトルをもとに、画像の動きパターンとして、少なくとも、平行移動の画像動きパターンを分類する動きパターン分類手段を有し、分類した動きパターンに基づいて新出割合を推定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
21. 前記動きパターン分類手段は、前記複数の画素領域における画像の動きベクトルの角度のばらつきが所定の閾値以下である場合に、画像の動きパターンを平行移動に分類することを特徴とする請求項２０に記載の画像処理装置。
22. 前記新出割合推定手段は、前記動きベクトル算出手段によって算出された動きベクトルをもとに、画像の動きパターンとして、少なくとも、奥行き方向奥への移動の画像動きパターンを分類する動きパターン分類手段を有し、分類した動きパターンに基づいて新出割合を推定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
23. 前記新出割合推定手段は、前記動きベクトル算出手段によって算出された動きベクトルをもとに、画像の動きパターンとして、少なくとも、奥行き方向手前の画像動きパターンを分類する動きパターン分類手段を有し、分類した動きパターンに基づいて新出割合を推定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
24. 前記新出割合推定手段は、前記動きベクトル算出手段によって算出された動きベクトルをもとに、画像の動きパターンとして、少なくとも、シーンチェンジの画像動きパターンを分類する動きパターン分類手段を有し、分類した動きパターンに基づいて新出割合を推定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
25. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが平行移動に分類された場合に、画像端から前記新規に発生した領域を推定することを特徴とする請求項２０または請求項２１に記載の画像処理装置。
26. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが奥行き方向奥への移動に分類された場合に、前記進行方向位置を基準として前記新規に発生した領域を推定することを特徴とする請求項２２に記載の画像処理装置。
27. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが奥行き方向手前への移動に分類された場合に、画像端から新規に発生した領域を推定することを特徴とする請求項２３に記載の画像処理装置。
28. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンが動きなしに分類された場合に、前記新出割合を、取り得る値の最小値として推定することを特徴とする請求項１８または請求項１９に記載の画像処理装置。
29. 前記新出割合推定手段は、前記動きパターン分類手段によって画像の動きパターンがシーンチェンジに分類された場合に、前記新出割合を、取り得る値の最大値として推定することを特徴とする請求項２４に記載の画像処理装置。
30. 前記動きパターン分類手段は、前記複数の画素領域における画像の動きベクトルのうち、外れ値をもつ動きベクトルを除外する外れベクトル除外手段を有し、前記外れベクトル除外手段によって除外された動きベクトル以外の動きベクトルを用いて画像の動きパターンを分類することを特徴とする請求項６〜２９のいずれか一つに記載の画像処理装置。
31. 前記新出割合推定手段は、前記複数の画素領域における画像の動きベクトルのうち、前記動きパターン分類手段によって分類された画像の動きパターンから外れた動きベクトルを抽出するパターン外ベクトル抽出手段を有し、前記パターン外ベクトル抽出手段によって抽出された動きベクトル以外の動きベクトルを用いて前記新出割合を推定することを特徴とする請求項６〜３０のいずれか一つに記載の画像処理装置。
32. 前記表示時間算出手段は、前記推定された新出割合から画像の表示時間を算出する際の算出パラメータを、前記動きパターン分類手段によって分類された前記画像の動きパターンに応じて変更することを特徴とする請求項６〜３１のいずれか一つに記載の画像処理装置。
33. 撮像装置が時系列に沿って撮像した時系列画像を処理するコンピュータに、
    画像内に設定した複数の画素領域について、前記時系列画像を構成する複数の画像間での動きベクトルを算出する動きベクトル算出ステップ、
    前記動きベクトル算出ステップによって算出された動きベクトルをもとに、前記複数の画像間で画像に新規に発生した領域の割合である新出割合を推定する新出割合推定ステップ、
    前記新出割合推定ステップによって推定された新出割合に応じて、前記画像の表示時間を算出する表示時間算出ステップ、
    を実行させることを特徴とする画像処理プログラム。

Images