JP2010183290A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】時系列画像の中からダイジェスト画像群を適切に抽出すること。
【解決手段】本発明のある実施形態において、画像間変化量算出部１５１は、時系列画像を構成する画像毎に、時系列順が近傍である近傍画像との間の変化量を画像間変化量として算出する。１次ダイジェスト画像群抽出部１５２は、時系列画像の中から、各画像の画像間変化量をもとに１次ダイジェスト画像群を抽出する。区間変化量算出部１５４は、１次ダイジェスト画像群を構成する各画像で区切られる時系列画像の各時系列区間における区間変化量を算出する。ダイジェスト画像群抽出部１５５は、時系列画像の中から、画像間変化量と区間変化量とをもとにダイジェスト画像群を抽出する。
【選択図】図２

Description

本発明は、時系列で取得された複数の画像で構成される時系列画像の中からダイジェスト画像群を抽出する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

動画像、あるいは連続して撮影された静止画像列といった時系列画像の中から、例えばシーンの変化する位置等の有用な画像をダイジェスト画像群として抽出する技術が知られている。抽出したダイジェスト画像群を提示すれば、ユーザは、時系列画像に含まれる全ての画像を閲覧せずに短時間で時系列画像全体の内容を把握でき、所望するシーンまたは画像を簡単に得ることができる。

ダイジェスト画像群の抽出手法としては、隣接する画像間の変化量を算出し、算出した変化量をもとに変化の大きい画像を抽出する手法が一般的によく知られている。例えば、特許文献１では、隣接する画像間（フレーム間）の変化量を所定の閾値と比較することによって、フレーム間で閾値以上の変化が生じる変化点を抽出している。

特開２００６−４１７９４号公報

例えば長時間の時系列画像を処理する場合等では、画像間の変化が小さい状態が長く続くような場合がある。このような画像間の変化が緩やかな時系列区間では、隣接する画像間の変化は小さいものの、その先頭と後方とで画像が異なるといった事態が生じ得る。しかしながら、特許文献１のように、隣接する画像間の変化量をもとにダイジェスト画像群を抽出する手法では、前述のような時系列区間における変化を考慮してダイジェスト画像群を抽出することはできなかった。

本発明は、上記に鑑み為されたものであって、時系列画像の中からダイジェスト画像群を適切に抽出することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、時系列で取得された複数の画像で構成される時系列画像の中からダイジェスト画像群を抽出する画像処理装置であって、前記時系列画像を構成する画像毎に、時系列順が近傍である近傍画像との間の変化量を画像間変化量として算出する画像間変化量算出部と、前記画像間変化量をもとに、前記時系列画像の中から１次ダイジェスト画像群を抽出する１次ダイジェスト画像群抽出部と、前記１次ダイジェスト画像群を構成する各画像で区切られる前記時系列画像の各時系列区間における区間変化量を算出する区間変化量算出部と、前記画像間変化量と前記区間変化量とをもとに、前記時系列画像の中からダイジェスト画像群を抽出するダイジェスト画像群抽出部と、を備えることを特徴とする。

この態様にかかる画像処理装置によれば、時系列画像を構成する画像毎に近傍画像との間の画像間変化量を算出し、時系列画像の中から画像間変化量をもとに１次ダイジェスト画像群を抽出することができる。そして、１次ダイジェスト画像群を構成する各画像で区切られる時系列画像の時系列区間毎にその時系列区間における区間変化量を算出することによって、時系列画像の中から画像間変化量と区間変化量とをもとにダイジェスト画像群を抽出することができる。したがって、画像間変化量によって表される画像間での画像の変化と区間変化量によって表される時系列区間全体としての画像の変化とを考慮してダイジェスト画像群を抽出することができ、時系列画像の中からダイジェスト画像群を適切に抽出することができる。

また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、時系列で取得された複数の画像で構成される時系列画像の中からダイジェスト画像群を抽出させるための画像処理プログラムであって、前記時系列画像を構成する画像毎に、時系列順が近傍である近傍画像との間の変化量を画像間変化量として算出する画像間変化量算出ステップと、前記画像間変化量をもとに、前記時系列画像の中から１次ダイジェスト画像群を抽出する１次ダイジェスト画像群抽出ステップと、前記１次ダイジェスト画像群を構成する各画像で区切られる前記時系列画像の各時系列区間における区間変化量を算出する区間変化量算出ステップと、前記画像間変化量と前記区間変化量とをもとに、前記時系列画像の中からダイジェスト画像群を抽出するダイジェスト画像群抽出ステップと、を前記コンピュータに実行させることを特徴とする。

また、本発明の別の態様にかかる画像処理方法は、時系列で取得された複数の画像で構成される時系列画像の中からダイジェスト画像群を抽出する画像処理方法であって、前記時系列画像を構成する画像毎に、時系列順が近傍である近傍画像との間の変化量を画像間変化量として算出する画像間変化量算出工程と、前記画像間変化量をもとに、前記時系列画像の中から１次ダイジェスト画像群を抽出する１次ダイジェスト画像群抽出工程と、前記１次ダイジェスト画像群を構成する各画像で区切られる前記時系列画像の各時系列区間における区間変化量を算出する区間変化量算出工程と、前記画像間変化量と前記区間変化量とをもとに、前記時系列画像の中からダイジェスト画像群を抽出するダイジェスト画像群抽出工程と、を含むことを特徴とする。

本発明によれば、時系列画像の中からダイジェスト画像群を適切に抽出することができる。

以下、図面を参照し、本発明を実施するための最良の形態について、カプセル内視鏡が消化管等の体内管腔内を移動しながら連続的に撮像した時系列画像を処理する画像処理装置を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
先ず、実施の形態１について説明する。図１は、実施の形態１の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１内部の画像を撮像するカプセル内視鏡３、カプセル内視鏡３から無線送信される画像を受信する受信装置５、受信装置５によって受信された画像をもとに、カプセル内視鏡３によって撮像された画像を処理して表示する画像処理装置１０等で構成される。受信装置５と画像処理装置１０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）７が使用される。

カプセル内視鏡３は、撮像機能や無線機能等を具備するものであって、被検体１の口から飲み込まれて被検体１内部に導入され、体内管腔内を移動しながら逐次画像を撮像する。そして、撮像した画像を体外に無線送信する。このカプセル内視鏡３によって撮像される画像には、粘膜や、体腔内を浮遊する内容物、泡等が映るとともに、時として病変等の重要箇所が映る。ここで、カプセル内視鏡３によって撮像される画像の枚数は、撮像レート（約２〜４frame/sec）×カプセル内視鏡の体内滞在時間（約８hours＝８×６０×６０sec）で概ね示され、数万枚以上になる。なお、カプセル内視鏡３によって撮像される管空内画像は、画像内の各画素においてＲ（赤），Ｇ（緑），Ｂ（青）の各波長成分に対応する画素値を持つカラー画像である。

受信装置５は、被検体１内におけるカプセル内視鏡３の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置５は、各受信用アンテナＡ１〜Ａｎを介してカプセル内視鏡３から無線送信される画像データを受信する。この受信装置５は、可搬型記録媒体７の着脱が自在に構成されており、受信した画像データを可搬型記録媒体７に逐次保存する。このようにして、カプセル内視鏡３が撮像した被検体１内部の画像は、受信装置５によって時系列順に可搬型記録媒体７に蓄積され、時系列画像として保存される。

画像処理装置１０は、カプセル内視鏡３によって撮像された画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置１０は、可搬型記録媒体７の着脱が自在に構成されており、可搬型記録媒体７に保存された時系列画像を処理し、例えばＬＣＤやＥＬディスプレイ等のディスプレイに適宜表示する。

図２は、実施の形態１の画像処理装置１０の機能構成を説明するブロック図である。実施の形態１では、画像処理装置１０は、外部インターフェース部１１と、操作部１２と、表示部１３と、記録部１４と、演算部１５と、画像処理装置１０全体の動作を制御する制御部１６とを備える。

外部インターフェース部１１は、カプセル内視鏡３で撮像され、受信装置５で受信した画像データを取得するためのものであり、例えば可搬型記録媒体７を着脱自在に装着し、この可搬型記録媒体７に保存された時系列画像の画像データを読み出すリーダ装置で構成される。この外部インターフェース部１１を介して可搬型記録媒体７から読み出された画像データは記録部１４に記録され、演算部１５によって処理されて制御部１６の制御のもと表示部１３に表示される。なお、カプセル内視鏡３によって撮像された画像データの取得は、可搬型記録媒体７を用いた構成に限定されるものではない。例えば、可搬型記録媒体７のかわりに別途サーバを設置し、このサーバにカプセル内視鏡３によって撮像された時系列画像の画像データを予め保存しておく構成としてもよい。この場合には、外部インターフェース部１１を、サーバと接続するための通信装置等で構成する。そして、この外部インターフェース部１１を介してサーバとデータ通信を行い、画像データを取得することとしてもよい。あるいは、記録部１４内にカプセル内視鏡３によって撮像された時系列画像の画像データを予め保存しておき、記録部１４から読み出して画像データを取得する構成としてもよい。

操作部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作信号を制御部１６に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１６の制御のもと、カプセル内視鏡３で撮像された画像の表示画面を含む各種画面を表示する。

記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。例えば、記録部１４には、外部インターフェース部１１を介して取り込まれた時系列画像の画像データが、その時系列順を識別するための画像番号と対応付けられて記録される。また、記録部１４には、時系列画像からダイジェスト画像群を抽出するための画像処理プログラム１４１が記録される。

演算部１５は、カプセル内視鏡３によって撮像された時系列画像を処理し、ダイジェスト画像群を抽出するための種々の演算処理を行う。この演算部１５は、画像間変化量算出部１５１と、１次ダイジェスト画像群抽出部１５２と、区間変化量算出部１５４と、ダイジェスト画像群抽出部１５５とを含む。画像間変化量算出部１５１は、時系列画像を構成する画像間の変化量（以下、「画像間変化量」と呼ぶ。）を算出する。１次ダイジェスト画像群抽出部１５２は、画像間変化量が表す変化の大きさをもとに、時系列画像を構成する画像の中から１次ダイジェスト画像群とする画像を抽出する。この１次ダイジェスト画像群抽出部１５２は、画像間変化量をその大きさの順にソートする第２のソート処理部としてのソート処理部１５３を備える。区間変化量算出部１５４は、１次ダイジェスト画像群を構成する画像によって区切られる時系列画像の各時系列区間の変化量（以下、「区間変化量」と呼ぶ。）を算出する。ダイジェスト画像群抽出部１５５は、画像間変化量および前記区間変化量が表す変化の大きさをもとに、時系列画像の中からダイジェスト画像群とする画像を抽出する。このダイジェスト画像群抽出部１５５は、画像間変化量および区間変化量をその大きさの順にソートする第１のソート処理部としてのソート処理部１５６を備える。

制御部１６は、ＣＰＵ等のハードウェアによって実現される。この制御部１６は、外部インターフェース部１１を介して取得される画像データや操作部１２から入力される操作信号、記録部１４に記録されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。

図３は、実施の形態１の画像処理装置１０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部１５が記憶部１４に格納された画像処理プログラム１４１を実行することにより実現される。

図３に示すように、先ず演算部１５が、処理対象範囲の時系列画像を取得する（ステップａ１）。ここでの処理によって、演算部１５は、外部インターフェース部１１を介して可搬型記録媒体７から読み出され、記録部１４に記録された処理対象範囲の時系列画像を読み出して取得する。このとき、時系列画像の先頭から最後尾までの全範囲を処理対象範囲としてもよいし、一部の範囲を処理対象範囲としてもよい。この処理対象範囲は、例えばユーザ操作に従って適宜設定することができる。

続いて、画像間変化量算出部１５１が、時系列画像を構成する画像間の変化量（画像間変化量）を算出する（ステップａ３）。ここで、画像間変化量は、時系列順が近傍である近傍画像との間の変化を表す値であり、例えば画像間の相関値（類似度）を用いる。具体的には、画像間変化量算出部１５１は、ステップａ１で取得した時系列画像を構成する各画像を順次注目画像とし、時系列順が例えば直前の画像を近傍画像としてこの近傍画像との間の相関値を注目画像の画像間変化量として算出する。

相関値の算出手法としては、例えば、線形な明るさの変化（画像の輝度値およびコントラストの線形変化）に影響されない手法として既に公知の正規化相互相関（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２０４Ｐ，正規化相互相関（ＮＣＣ））を用いることができる。具体的には、次式（１）に従って画像データＩ，Ｔの正規化相互相関（ＮＣＣ）を算出する。

正規化相互相関による相関値は、−１．００〜１．００の間の値を取り、その値が−１．００に近づくほど変化が大きく、１．００に近づくほど変化が小さいことを示している。なお、時系列順が初順の画像については、時系列順が前の画像がないため、画像間変化量を予め設定された固定値（例えば、−１．００）とする。図４は、２０枚の画像で構成される時系列画像の各画像の画像間変化量の一例を示す図であり、各画像に割り振られた画像番号とともに示している。画像毎に算出された画像間変化量のデータは、図４に示すように、その画像番号と対応付けられて記録部１４に記録される。

なお、ここでは、画像間の変化を表す値として正規化相互相関を用いた相関値を算出する方法を示したが、これに限定されるものではない。例えば、明るさの変化による影響が少ない画像の場合には、画像間が一致している場合の値が０であって、画像間が相違するほど大きい値として得られる相違度、例えばＳＳＤ（対応する画素成分の差の２乗和）やＳＡＤ（対応する画素成分の差の絶対値和）等を用いてもよい（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２０３Ｐ，類似度）。

続いて、図３に示すように、１次ダイジェスト画像群抽出部１５２が１次ダイジェスト画像群抽出処理を実行し、画像間変化量をもとに、時系列画像の中から１次ダイジェスト画像群を抽出する（ステップａ５）。図５は、１次ダイジェスト画像群抽出処理の詳細な処理手順を示すフローチャートである。

１次ダイジェスト画像群抽出処理では、先ず、１次ダイジェスト画像群抽出部１５２のソート処理部１５３が、図３のステップａ３で算出した各画像の画像間変化量を変化の大きさでソート処理する（ステップｂ１）。図６は、図４に示した各画像の画像間変化量に対するソート処理結果を示す図である。上記したように、実施の形態１では、各画像の画像間変化量を正規化相互相関による相関値として算出しており、その値は−１．００〜１．００の間の値を取り、−１．００に近づくほど変化が大きい。ここでのソート処理では、図６に示すように、負の値が大きい順番にソートされる。

続いて、図５に示すように、１次ダイジェスト画像群抽出部１５２は、画像間変化量のソート処理結果に従って、変化が大きい順に所定枚数Ｍの画像を１次ダイジェスト画像群として抽出する（ステップｂ３）。例えば、所定枚数Ｍを５枚とすると、図６の例では、画像番号｛１，５，１７，２，１９｝の５枚の画像が１次ダイジェスト画像群として抽出される。このとき、抽出した各画像に対して１次ダイジェスト番号を付する。具体的には、各画像に対し、その画像番号が小さい順に通し番号を割り振って１次ダイジェスト番号とする。なお、１次ダイジェスト画像群として抽出する画像の枚数Ｍは、予め固定値として設定しておく構成としてもよいし、時系列画像の枚数に応じて設定する構成としてもよい。あるいは、例えばユーザによる操作入力等の外部入力に従って可変に設定する構成としてもよい。１次ダイジェスト画像群を抽出したならば、図３のステップａ５にリターンし、その後ステップａ７に移る。

すなわち、ステップａ７では、区間変化量算出部１５４が区間変化量算出処理を実行し、１次ダイジェスト画像群を構成する画像によって区切られる時系列画像の時系列区間毎に区間変化量を算出する。

この区間変化量算出処理では、区間変化量算出部１５４は、１次ダイジェスト画像群を構成する各画像を順次注目１次ダイジェスト画像とし、１次ダイジェスト番号が注目１次ダイジェスト画像の１つ前の画像（１次ダイジェスト前画像）と、画像番号が注目１次ダイジェスト画像の１つ前（時系列順が１つ前）の画像（区間後方画像）との間の変化を、１次ダイジェスト前画像と注目１次ダイジェスト画像とで区切られる時系列区間における区間変化量として算出する。

ここで、図７〜図９を参照し、区間変化量の算出原理について説明する。図７〜図９では、それぞれ横軸を図４または図６に示した２０枚の時系列画像の時系列順（画像番号）とし、縦軸を画像特徴量（例えば平均輝度）として、時系列画像を構成する画像間の変化をグラフ化して示している。また、各図７〜図９において、図６に示したソート処理結果に従って１次ダイジェスト画像群として抽出した画像番号｛１，５，１７，２，１９｝の各画像をその１次ダイジェスト番号｛１，２，３，４，５｝とともに示している。ここで、図７〜図９では、各画像の画像特徴量を平均輝度としてその変化をグラフ化しているが、この傾きが大きいほど画像間変化量が大きくなる（実施の形態１では算出される値が−１．０に近づく）。

上記したように、１次ダイジェスト画像群は、時系列順が直前の画像との間で算出された変化の大きさ（画像間変化量）をもとに、変化が大きいものから順番に抽出された所定枚数Ｍ（ここでは５枚）の画像で構成される。すなわち、図７に示すように、１次ダイジェスト画像群を構成する画像番号｛１，５，１７，２，１９｝の各画像は、直前の画像との間の変化が大きい画像である。ここで、例えば、１次ダイジェスト画像群を構成する画像番号５および画像番号１７の各画像で区切られる時系列区間に着目する。この時系列区間では、先頭の画像番号５の画像から画像番号１６の画像までの間、画像間が徐々に変化している。そして、画像番号１６の画像と最後尾の画像番号１７の画像との間が大きく変化しており、この間の画像間変化量の大きさから、画像番号１７の画像が１次ダイジェスト画像群として抽出されている。

ところで、このような画像間の変化が緩やかな時系列区間では、変化の小さい状態が長く続くと、時系列区間全体として変化が大きい場合がある。すなわち、着目した画像番号５から画像番号１６の時系列区間では、時系列順が近傍（ここでは隣接）する画像間の変化は小さいものの、画像番号５の画像と画像番号１６の画像との間の変化は十分に大きいものとなっており、時系列区間全体としての画像の変化は大きい。実施の形態１では、このような変化を加味してダイジェスト画像群を得るために、１次ダイジェスト画像群を構成する各画像で区切られる時系列区間毎の変化を区間変化量として算出する。

例えば、図８に示すように、１次ダイジェスト番号４／画像番号１７の画像を注目１次ダイジェスト画像とした場合には、１次ダイジェスト番号が注目１次ダイジェスト画像の１つ前である１次ダイジェスト番号３／画像番号５の画像を１次ダイジェスト前画像として取得するとともに、画像番号が注目１次ダイジェスト画像の１つ前である画像番号１６の画像を区間後方画像として取得する。そして、取得した１次ダイジェスト前画像と区間後方画像との間の変化をその時系列区間（注目１次ダイジェスト画像と１次ダイジェスト前画像との間の時系列区間）の区間変化量として算出する。

すなわち、図９に示すように、１次ダイジェスト番号３／画像番号５の画像については、１次ダイジェスト前画像（１次ダイジェスト番号２／画像番号２）と区間後方画像（画像番号４）との間の変化Ｄ１を区間変化量として算出する。１次ダイジェスト番号４／画像番号１７の画像については、１次ダイジェスト前画像（１次ダイジェスト番号３／画像番号５）と区間後方画像（画像番号１６）との間の変化Ｄ２を区間変化量として算出する。１次ダイジェスト番号５／画像番号１９の画像については、１次ダイジェスト前画像（１次ダイジェスト番号４／画像番号１７）と区間後方画像（画像番号１８）との間の変化Ｄ３を区間変化量として算出する。なお、取得した区間後方画像の時系列順（画像番号）が、１次ダイジェスト前画像の時系列順（画像番号）よりも後の場合に、区間変化量を算出する。すなわち、図９に示す１次ダイジェスト番号２／画像番号２の画像については、１次ダイジェスト番号が１つ前の画像（１次ダイジェスト番号１／画像番号１）と時系列順（画像番号）が１つ前の画像（画像番号１）とが同じであるため、区間変化量の算出は行わない。

図１０は、区間変化量算出処理の詳細な処理手順を示すフローチャートである。実際の区間変化量算出処理では、区間変化量算出部１５４は先ず、注目１次ダイジェスト画像を示す符号ｉを初期化する（ステップｃ１）。ここで、注目１次ダイジェスト画像は、１次ダイジェスト番号が２番目の画像から順次選択していくこととし、初期値を２としてｉを初期化する。１次ダイジェスト番号が１番目の画像には１次ダイジェスト前画像が存在しないためである。そして、区間変化量算出部１５４は、１次ダイジェスト画像群から１次ダイジェスト番号ｉの画像を注目１次ダイジェスト画像として取得する（ステップｃ３）。

続いて、区間変化量算出部１５４は、１次ダイジェスト画像群の中から、１次ダイジェスト番号が注目１次ダイジェスト画像の１つ前である１次ダイジェスト番号ｉ−１の１次ダイジェスト前画像を取得するとともに（ステップｃ５）、画像番号が注目１次ダイジェスト画像の１つ前の区間後方画像を取得する（ステップｃ７）。

続いて、区間変化量算出部１５４は、区間後方画像の時系列順（画像番号）が１次ダイジェスト前画像の時系列順（画像番号）より後か否かを判定し、後の場合に（ステップｃ９：Ｙｅｓ）、ステップｃ１１の処理を行う。すなわち、ステップｃ１１では、区間変化量算出部１５４は、１次ダイジェスト前画像と区間後方画像との間の変化量を区間変化量として算出する。

ここで、区間変化量は、１次ダイジェスト画像群を構成する各画像で区切られる時系列区間の変化を表す値であり、具体的には、１次ダイジェスト前画像と区間後方画像との間の変化量に相当する。この区間変化量は、画像間変化量と同様に、例えば正規化相互相関による画像間の相関値（類似度）を用いることができるが、相違度等の別の値を用いても構わない。

続いて、区間変化量算出部１５４は、１次ダイジェスト番号ｉが所定枚数Ｍ以下か否かを判定し、今回処理した注目１次ダイジェスト画像が１次ダイジェスト画像群を構成する最後の画像か否かを判定する。所定枚数Ｍ以下、すなわち今回処理した注目１次ダイジェスト画像が最後の画像でない場合には（ステップｃ１３：Ｙｅｓ）、符号ｉをインクリメントして更新し（ステップｃ１５）、次の注目１次ダイジェスト画像についてステップｃ３〜ステップｃ１３の処理を行う。一方、１次ダイジェスト画像群を構成する最後の画像を処理した場合には（ステップｃ１３：Ｎｏ）、図３のステップａ７にリターンし、その後ステップａ９に移る。

図１１は、図６に示したソート処理結果に従って１次ダイジェスト画像群として抽出した画像番号｛１，５，１７，２，１９｝の各画像によって区切られる各時系列区間の区間変化量の一例を示す図であり、該当する１次ダイジェスト画像番号および区間後方画像の画像番号とともに示している。算出された区間変化量のデータは、少なくともその区間後方画像の画像番号と対応付けられて記録部１４に記録され、以降の処理では、時系列区間毎に算出した区間変化量を、その区間後方画像に関する変化量として扱う。

なお、ここでは、区間後方画像として、時系列順が注目１次ダイジェスト画像の１つ前である画像を取得することとしたが、１つ前に限定されるものではない。具体的には、時系列順が注目１次ダイジェスト画像のｎ個前の画像を区間後方画像として取得することとしてよい。そしてこのとき、ｎの値を予め固定値として設定しておく構成としてもよいし、例えばユーザによる操作入力等の外部入力に従って可変に設定する構成としてもよい。

そして、図３に示すように、ステップａ９では、ダイジェスト画像群抽出部１５５がダイジェスト画像群抽出処理を実行し、画像間変化量および区間変化量をもとに、時系列画像の中からダイジェスト画像群を抽出する。図１２は、ダイジェスト画像群抽出処理の詳細な処理手順を示すフローチャートである。

ダイジェスト画像群抽出処理では、先ず、ダイジェスト画像群抽出部１５５のソート処理部１５６が、図３のステップａ３で算出した各画像の画像間変化量とステップａ７で時系列区間毎の各区間後方画像の区間変化量とを合わせて変化の大きさでソート処理する（ステップｄ１）。図１３は、図４または図６に示した各画像の画像間変化量と図１１に示した各時系列区間の区間変化量とを合わせて行ったソート処理結果を示す図である。

なお、ここでは、各画像の画像間変化量と時系列区間毎の各区間後方画像の区間変化量とを合わせてソートする例を示したが、ダイジェスト画像群として後段のステップｄ３で抽出する画像の枚数Ｎが、１次ダイジェスト画像群の枚数Ｍ以下の場合には、１次ダイジェスト画像群の各画像の画像間変化量（図６を参照して上述した例では、画像番号｛１，５，１７，２，１９｝の各画像の画像間変化量）と、図１１に示した時系列区間毎の画像番号｛４，１６，１８｝の各区間後方画像の区間変化量とを合わせて、これらをソート処理することとしてもよい。１次ダイジェスト画像群として抽出されていない変化の小さい画像については、ソート処理を行う必要がないためである。これによれば、ソート処理の対象とするデータ数を削減でき、処理時間を短縮できる。

そして、図１２に示すように、ダイジェスト画像群抽出部１５５は、画像間変化量および区間変化量のソート処理結果に従って、変化が大きい順に所定枚数Ｎの画像をダイジェスト画像群として抽出する（ステップｄ３）。例えば、所定枚数Ｎを５枚とする。この場合、図６を参照して説明したように、１次ダイジェスト画像群として画像番号｛１，５，１７，２，１９｝の各画像が抽出されたのに対して、ダイジェスト画像群としては画像番号｛１，５，１７，２，１６｝の各画像が抽出されることとなる。これは、画像番号１９の画像について算出した画像間変化量（画像番号１８および１９の各画像間の変化）よりも、画像番号１６の画像を区間後方画像として算出した区間変化量（画像番号５および１６の各画像間の変化）の方が大きいためである。

なお、ここでは、時系列区間毎の区間変化量を区間後方画像と対応付けているため、ソート処理の結果、区間後方画像に関する変化量として、その画像間変化量と区間変化量とが重複して存在することとなる。例えば、図１３において画像番号“１６”に着目すれば、区間変化量に基づくレコードＲ１と、画像間変化量に基づくレコードＲ３とが含まれる。このため、所定枚数Ｎとして抽出したダイジェスト画像群にこれらのような重複した画像番号の変化量が含まれる場合には、値の大きい方を採用する。すなわち例えば、図１３に示すソート処理結果に従って、Ｎ＝１０としてダイジェスト画像群を抽出する場合、画像番号“４”“１６”が重複している。このため、各画像番号それぞれについて変化量の大きい値を採用し、画像番号“４”についてはレコードＲ５の画像間変化量を、画像番号“１６”についてはレコードＲ１の区間変化量を採用する。そして、ソート処理結果から画像番号“４”の区間変化量（レコードＲ７）と画像番号“１６”の画像間変化量（レコードＲ３）を除く上から１０個をダイジェスト画像群として抽出する。

また、ダイジェスト画像群として抽出する画像の枚数Ｎは、予め固定値として設定しておく構成としてもよいし、時系列画像の枚数に応じて設定する構成としてもよい。あるいは、例えばユーザによる操作入力等の外部入力に従って可変に設定する構成としてもよい。ダイジェスト画像群を抽出したならば、図３のステップａ９にリターンし、その後ステップａ１１に移る。

すなわち、ステップａ１１では、演算部１５がダイジェスト画像群を出力する。例えば、演算部１５は、ダイジェスト画像群として抽出された各画像を順次表示部１３に表示出力させる。そして、画像処理装置１０の演算部１５での処理を終了する。

以上説明したように、実施の形態１によれば、時系列画像を構成する画像毎に隣接する画像との間の変化量（画像間変化量）を算出し、算出した画像間変化量をもとに１次ダイジェスト画像群を抽出することができる。そして、１次ダイジェスト画像群を構成する各画像で区切られる時系列画像の時系列区間毎に区間変化量を算出し、この区間変化量を加味して最終的なダイジェスト画像群を抽出することができる。これによれば、画像間の変化が緩やかな時系列区間における変化を考慮してダイジェスト画像群を適切に抽出することができる。例えば本実施の形態１の例では、カプセル内視鏡３が撮像した膨大な枚数の時系列画像の中から、ダイジェスト画像群を適切に抽出することができ、医師等の観察者による観察効率の向上が図れる。

具体的には、１次ダイジェスト画像群を構成する各画像を順次注目１次ダイジェスト画像とし、１次ダイジェスト画像群のうちの注目１次ダイジェスト画像に対して時系列順が１つ前の１次ダイジェスト前画像と、時系列画像のうちの注目１次ダイジェスト画像に対して時系列順が１つ前の区間後方画像との間の変化量を区間変化量として算出することができる。これにより、区間変化量の大きい区間後方画像をダイジェスト画像群として抽出することができる。したがって、画像間の変化の小さい状態が長く続いた結果その時系列区間の先頭と後方とで画像が異なり、全体として大きく変化しているような時系列区間の区間後方画像をダイジェスト画像群として抽出することができる。

また、画像間変化量をもとに抽出した１次ダイジェスト画像群によって区切られる時系列画像の各時系列区間の区間変化量については、注目１次ダイジェスト画像に対する１次ダイジェスト前画像と区間後方画像との間の変化量を算出すればよいため、複雑な処理を必要とせずに簡単に算出でき、処理負荷を軽減することができる。

（実施の形態２）
次に、実施の形態２について説明する。図１４は、実施の形態２の画像処理装置１０ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１４に示すように、画像処理装置１０ｂは、外部インターフェース部１１と、操作部１２と、表示部１３と、記録部１４ｂと、演算部１５ｂと、画像処理装置１０ｂ全体の動作を制御する制御部１６とを備える。

記録部１４ｂには、時系列画像からダイジェスト画像群を抽出するための画像処理プログラム１４１ｂが記録される。

また、演算部１５ｂは、画像間変化量算出部１５１と、１次ダイジェスト画像群抽出部１５２ｂと、区間変化量算出部１５４と、ダイジェスト画像群抽出部１５５ｂとを含む。実施の形態２では、１次ダイジェスト画像群抽出部１５２ｂは、画像間変化量を閾値処理して１次ダイジェスト画像群を抽出する。また、ダイジェスト画像群抽出部１５５ｂは、画像間変化量と区間変化量とを合わせて閾値処理し、ダイジェスト画像群を抽出する。

すなわち、実施の形態２の画像処理装置１０ｂは、１次ダイジェスト画像群抽出部１５２ｂおよびダイジェスト画像群抽出部１５５ｂにおいてそれぞれソート処理部を備えない点が、実施の形態１の画像処理装置１０と異なる。

図１５は、実施の形態２の画像処理装置１０ｂが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部１５ｂが記録部１４ｂに格納された画像処理プログラム１４１ｂを実行することにより実現される。なお、図１５において、実施の形態１と同様の処理工程には、同一の符号を付する。

実施の形態２では、図１５に示すように、ステップａ３で画像間変化量算出部１５１が各画像の画像間変化量を算出した後、１次ダイジェスト画像群抽出部１５２ｂが、各画像の画像間変化量を閾値処理し、画像間変化量が予め設定される所定の閾値を超える画像を１次ダイジェスト画像群として抽出する（ステップｅ５）。なお、ここでの処理に用いる閾値は、予め固定値として設定しておく構成としてもよいし、例えばユーザによる操作入力等の外部入力に従って可変に設定する構成としてもよい。

続いて、区間変化量算出部１５４が実施の形態１と同様にして区間変化量算出処理（図１０を参照）を実行し、１次ダイジェスト画像群を構成する画像によって区切られる時系列画像の時系列区間毎に区間変化量を算出する（ステップａ７）。

そして、ダイジェスト画像群抽出部１５５ｂが、各画像の画像間変化量および時系列区間毎の各区間後方画像の区間変化量をそれぞれ閾値処理し、画像間変化量または区間変化量が予め設定される閾値を超える画像をダイジェスト画像群として抽出する（ステップｅ９）。なお、ここでの処理に用いる閾値は、ステップｅ５で用いた閾値と同一の値でもよいし、異なる値であってもよい。また、この閾値は、予め固定値として設定しておく構成としてもよいし、例えばユーザによる操作入力等の外部入力に従って可変に設定する構成としてもよい。

その後、演算部１５ｂが、ダイジェスト画像群を出力し（ステップｅ１１）、画像処理装置１０ｂの演算部１５ｂでの処理を終了する。

以上説明した実施の形態２によれば、画像間変化量を閾値処理することによって１次ダイジェスト画像群を抽出するとともに、画像間変化量および区間変化量を閾値処理することによって最終的なダイジェスト画像群を抽出することができ、実施の形態１と同様の効果を奏することができる。また、実施の形態２で説明した閾値処理は、実施の形態１で説明したソート処理と比べて処理負荷が低いため、処理負荷を低減できるという効果もある。

なお、上記した各実施の形態では、カプセル内視鏡３によって撮像された時系列画像からダイジェスト画像群を抽出する場合について説明したが、処理の対象となる画像はカプセル内視鏡３で撮像された画像に限定されるものではなく、動画像、あるいは連続して撮影された静止画像列といった連続する時系列画像の中からダイジェスト画像群を抽出する場合に同様に適用できる。

また、上記した実施の形態１の画像処理装置１０および実施の形態２の画像処理装置１０ｂは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１，２で説明した画像処理装置１０，１０ｂと同様の機能を有し、画像処理プログラム１４１，１４１ｂを実行するコンピュータシステムについて説明する。

図１６は、実施の形態を適用したコンピュータシステム２００の構成を示すシステム構成図であり、図１７は、このコンピュータシステム２００における本体部２１０の構成を示すブロック図である。図１６に示すように、コンピュータシステム２００は、本体部２１０と、本体部２１０からの指示によって表示画面２２１に画像等の情報を表示するためのディスプレイ２２０と、このコンピュータシステム２００に種々の情報を入力するためのキーボード２３０と、ディスプレイ２２０の表示画面２２１上の任意の位置を指定するためのマウス２４０とを備える。

また、このコンピュータシステム２００における本体部２１０は、図１７に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、ハードディスクドライブ（ＨＤＤ）２１４と、ＣＤ−ＲＯＭ２６０を受け入れるＣＤ−ＲＯＭドライブ２１５と、ＵＳＢメモリ２７０を着脱可能に接続するＵＳＢポート２１６と、ディスプレイ２２０、キーボード２３０およびマウス２４０を接続するＩ／Ｏインターフェース２１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース２１８とを備える。

さらに、このコンピュータシステム２００には、インターネット等の公衆回線Ｎ３に接続するためのモデム２５０が接続されるとともに、ＬＡＮインターフェース２１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）２８１、サーバ２８２、プリンタ２８３等が接続される。

そして、このコンピュータシステム２００は、所定の記憶媒体に記憶された画像処理プログラム（例えば実施の形態１の画像処理プログラム１４１や実施の形態２の画像処理プログラム１４１ｂ）を読み出して実行することで画像処理装置を実現する。ここで、所定の記憶媒体とは、ＣＤ−ＲＯＭ２６０やＵＳＢメモリ２７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム２００の内外に備えられるＨＤＤ２１４やＲＡＭ２１２、ＲＯＭ２１３等の「固定用の物理媒体」、モデム２５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）２８１またはサーバ２８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム２００によって読み取り可能な画像処理プログラムを記憶するあらゆる記憶媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム２００は、このような記憶媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム２００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）２８１またはサーバ２８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 実施の形態１の画像処理装置の機能構成を説明するブロック図である。 実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。 時系列画像を構成する各画像の画像間変化量の一例を示す図である。 １次ダイジェスト画像群抽出処理の詳細な処理手順を示すフローチャートである。 図４に示した各画像の画像間変化量に対するソート処理結果を示す図である。 区間変化量の算出原理を説明する説明図である。 区間変化量の算出原理を説明する説明図である。 区間変化量の算出原理を説明する説明図である。 区間変化量算出処理の詳細な処理手順を示すフローチャートである。 図６に示したソート処理結果に従って抽出した１次ダイジェスト画像群によって区切られる各時系列区間の区間変化量の一例を示す図である。 ダイジェスト画像群抽出処理の詳細な処理手順を示すフローチャートである。 図４または図６に示した各画像の画像間変化量と図１１に示した各時系列区間の区間変化量とを合わせて行ったソート処理結果を示す図である。 実施の形態２の画像処理装置の機能構成を説明するブロック図である。 実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。 実施の形態を適用したコンピュータシステムの構成を示すシステム構成図である。 図１６のコンピュータシステムにおける本体部の構成を示すブロック図である。

３ カプセル内視鏡
５ 受信装置
Ａ１〜Ａｎ 受信用アンテナ
７ 可搬型記録媒体
１０，１０ｂ 画像処理装置
１１ 外部インターフェース部
１２ 操作部
１３ 表示部
１４，１４ｂ 記録部
１４１，１４１ｂ 画像処理プログラム
１５，１５ｂ 演算部
１５１ 画像間変化量算出部
１５２，１５２ｂ １次ダイジェスト画像群抽出部
１５３ ソート処理部
１５４ 区間変化量算出部
１５５，１５５ｂ ダイジェスト画像群抽出部
１５６ ソート処理部
１６ 制御部
１ 被検体

Claims (11)

1. 時系列で取得された複数の画像で構成される時系列画像の中からダイジェスト画像群を抽出する画像処理装置であって、
   前記時系列画像を構成する画像毎に、時系列順が近傍である近傍画像との間の変化量を画像間変化量として算出する画像間変化量算出部と、
   前記画像間変化量をもとに、前記時系列画像の中から１次ダイジェスト画像群を抽出する１次ダイジェスト画像群抽出部と、
   前記１次ダイジェスト画像群を構成する各画像で区切られる前記時系列画像の各時系列区間における区間変化量を算出する区間変化量算出部と、
   前記画像間変化量と前記区間変化量とをもとに、前記時系列画像の中からダイジェスト画像群を抽出するダイジェスト画像群抽出部と、
   を備えることを特徴とする画像処理装置。
2. 前記区間変化量算出部は、前記１次ダイジェスト画像群を構成する画像を注目１次ダイジェスト画像として順次選択し、前記１次ダイジェスト画像群のうちの時系列順が前記注目１次ダイジェスト画像の１つ前の１次ダイジェスト前画像と、前記時系列画像のうちの時系列順が前記注目１次ダイジェスト画像の所定数前の区間後方画像との間の変化量を算出することによって、前記区間変化量を前記区間後方画像毎に算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記ダイジェスト画像群抽出部は、前記画像間変化量および前記区間変化量が表す変化の大きさをもとに、前記時系列画像の中から前記ダイジェスト画像群とする画像を抽出することを特徴とする請求項１に記載の画像処理装置。
4. 前記ダイジェスト画像群抽出部は、前記画像間変化量と前記区間変化量とを合わせて変化の大きさの順番にソートする第１のソート処理部を有し、前記第１のソート処理部によるソート処理結果に従って、前記時系列画像の中から前記画像間変化量または前記区間変化量の変化が大きい所定枚数の画像を前記ダイジェスト画像群として抽出することを特徴とする請求項１に記載の画像処理装置。
5. 前記ダイジェスト画像群抽出部は、前記画像間変化量または前記区間変化量が所定の閾値以上である画像を前記ダイジェスト画像群とすることを特徴とする請求項１に記載の画像処理装置。
6. 前記区間後方画像は、前記１次ダイジェスト前画像よりも時系列順が後順の画像であることを特徴とする請求項２に記載の画像処理装置。
7. 前記１次ダイジェスト画像群抽出部は、前記画像間変化量が表す変化の大きさをもとに、前記時系列画像の中から前記１次ダイジェスト画像群とする画像を抽出することを特徴とする請求項１に記載の画像処理装置。
8. 前記１次ダイジェスト画像群抽出部は、前記画像間変化量を変化の大きさの順番にソートする第２のソート処理部を有し、前記第２のソート処理部によるソート処理結果に従って、前記時系列画像の中から前記画像間変化量の変化が大きい所定枚数の画像を前記１次ダイジェスト画像群として抽出することを特徴とする請求項１に記載の画像処理装置。
9. 前記１次ダイジェスト画像群抽出部は、前記画像間変化量が所定の閾値以上である画像を前記１次ダイジェスト画像群として抽出することを特徴とする請求項１に記載の画像処理装置。
10. コンピュータに、時系列で取得された複数の画像で構成される時系列画像の中からダイジェスト画像群を抽出させるための画像処理プログラムであって、
    前記時系列画像を構成する画像毎に、時系列順が近傍である近傍画像との間の変化量を画像間変化量として算出する画像間変化量算出ステップと、
    前記画像間変化量をもとに、前記時系列画像の中から１次ダイジェスト画像群を抽出する１次ダイジェスト画像群抽出ステップと、
    前記１次ダイジェスト画像群を構成する各画像で区切られる前記時系列画像の各時系列区間における区間変化量を算出する区間変化量算出ステップと、
    前記画像間変化量と前記区間変化量とをもとに、前記時系列画像の中からダイジェスト画像群を抽出するダイジェスト画像群抽出ステップと、
    を前記コンピュータに実行させることを特徴とする画像処理プログラム。
11. 時系列で取得された複数の画像で構成される時系列画像の中からダイジェスト画像群を抽出する画像処理方法であって、
    前記時系列画像を構成する画像毎に、時系列順が近傍である近傍画像との間の変化量を画像間変化量として算出する画像間変化量算出工程と、
    前記画像間変化量をもとに、前記時系列画像の中から１次ダイジェスト画像群を抽出する１次ダイジェスト画像群抽出工程と、
    前記１次ダイジェスト画像群を構成する各画像で区切られる前記時系列画像の各時系列区間における区間変化量を算出する区間変化量算出工程と、
    前記画像間変化量と前記区間変化量とをもとに、前記時系列画像の中からダイジェスト画像群を抽出するダイジェスト画像群抽出工程と、
    を含むことを特徴とする画像処理方法。

Images