WO2013133370A1

WO2013133370A1 - 画像処理装置、プログラム及び画像処理方法

Info

Publication number: WO2013133370A1
Application number: PCT/JP2013/056273
Authority: WO
Inventors: 弘松崎; 陽一矢口
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-03-08
Filing date: 2013-03-07
Publication date: 2013-09-12
Anticipated expiration: 2014-09-08
Also published as: CN104203065B; US9672619B2; EP2823749A4; CN104203065A; US20140376792A1; US20170039709A1; US9547794B2; CN106859578A; EP2823749A1; CN106859578B

Description

画像処理装置、プログラム及び画像処理方法

　本発明は、画像処理装置、プログラム及び画像処理方法等に関する。

　所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

　そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

特開２００９－５０２０号公報特開２０１１－２４７６３号公報

　例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。

　しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。

　本発明の幾つかの態様によれば、画像の削除により観察できなくなる領域の発生を抑止する場合に、効率的な画像要約処理を行う画像処理装置、プログラム及び画像処理方法等を提供することができる。

　本発明の一態様は、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部と、前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部と、前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部と、を含む画像処理装置に関係する。

　本発明の一態様では、類似度に基づく第１の画像要約処理と、対象物体等の認識処理に基づく第２の画像要約処理とを考えた場合に、それらの統合処理を行って出力要約画像列を取得する。これにより、類似度を用いた場合の利点と、対象物体等の認識処理を用いた場合の利点とを組み合わせた画像要約処理ができ、効率的な画像要約やユーザの利便性向上等が可能になる。

　本発明の他の態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、前記第１の削除可否判定処理として行い、前記処理部は、前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、前記処理部は、前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、前記第２の削除可否判定処理として行う画像処理装置に関係する。

　本発明の他の態様では、注目画像列を設定し、設定した注目画像列に基づいて第１の削除可否判定処理を行い、第１の削除可否判定処理の結果に基づいて、第２の削除可否判定処理を行う。第１，第２の削除可否判定処理を画像間の変形情報に基づく処理とするため、注目画像と変形情報の両方を考慮した画像要約処理が可能になる。その際、前段での結果を用いて後段の処理を行う多段処理となっているため、それぞれを独立で行う場合に比べて効果的な画像要約処理を行うこと等ができる。

　また、本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。

　また、本発明の他の態様は、複数の画像間の類似度に基づいて、第１の要約画像列を取得する第１の画像要約処理と、前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づいて、第２の要約画像列を取得する第２の画像要約処理を行う画像処理方法であって、前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理を行う画像処理方法に関係する。

　また、本発明の他の態様は、複数の画像を有する画像列を取得し、前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行い、前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行い、前記第１の削除可否判定処理、及び前記第２の削除可否判定処理に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

図１は、本実施形態の画像要約装置のシステム構成例。図２は、被覆率を算出する手法を説明する図。図３（Ａ）、図３（Ｂ）は第１の画像要約処理の具体例を説明する図。図４は、第１の画像要約処理を説明するフローチャート。図５は、第２の画像要約処理を説明するフローチャート。図６は、第２の画像要約処理を説明する図。図７は、第１の実施形態の統合処理を説明するフローチャート。図８（Ａ）、図８（Ｂ）は第２の要約画像列の更新処理を説明する図。図９（Ａ）、図９（Ｂ）は第２の要約画像列の更新可否判定処理を説明する図。図１０は、第２の実施形態の統合処理を説明するフローチャート。図１１は、本実施形態の画像要約装置の他のシステム構成例。図１２（Ａ）～図１２（Ｃ）は第３の実施形態の手法を説明する図。図１３は、第３の実施形態の統合処理を説明するフローチャート。図１４（Ａ）～図１４（Ｅ）は第４の実施形態の手法を説明する図。図１５は、第４の実施形態の統合処理を説明するフローチャート。図１６（Ａ）～図１６（Ｄ）は本実施形態の画像要約処理を説明する図。図１７は、第５の実施形態の画像処理装置の構成例。図１８は、第５の実施形態の画像要約処理を説明するフローチャート。図１９（Ａ）～図１９（Ｄ）は基準画像と判定対象画像の選択手法を説明する図。図２０は、第１の削除可否判定部の構成例。図２１は、第２の削除可否判定部の構成例。図２２は、第１の削除可否判定部の他の構成例。図２３（Ａ）～図２３（Ｅ）は非被覆領域に対する構造要素による収縮処理を説明する図。図２４（Ａ）、図２４（Ｂ）は判定対象画像に対する構造要素による収縮処理を説明する図。図２５（Ａ）、図２５（Ｂ）は基準画像と要被覆領域の包含判定の例。図２６（Ａ）、図２６（Ｂ）は構造要素を用いた他の処理を説明する図。図２７は、第２の基準画像選択部の構成例。図２８（Ａ）～図２８（Ｇ）は後方基準画像の更新手法を説明する図。図２９は、第７の実施形態の画像要約処理を説明するためのフローチャート。図３０は、画像処理装置の基本的なシステム構成例。

　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

　１．本実施形態の手法
　まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

　具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

　従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。

　このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域である注目領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

　そこで本出願人は、画像の削除により観察できなくなる領域の発生を抑止する観点から、画像要約処理を行う手法を提案する。具体的には、画像要約処理の対象となる画像列に含まれる複数の画像間の類似度に基づいた画像要約処理を用いる。類似度を用いることで複数の画像の関係に基づいた画像要約処理が可能になる。

　類似度を求める手法は種々考えられるが、例えば画像列から基準画像（残す画像、基準画像の設定手法によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）を選択し、基準画像と判定対象画像の間の変形情報に基づいた画像要約処理を行ってもよい。具体的には、図２に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

　よって、一例としては判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

　変形情報を用いた画像要約処理の別の例としては、図２３（Ａ）～図２３（Ｅ）に示したように、非被覆領域に対する構造要素（注目領域に対応する）による収縮処理の結果に基づいて、判定対象画像の削除可否を判定してもよい。詳細については後述するが、この場合、判定対象画像を削除したとしても当該判定対象画像上に撮像された構造要素のサイズ以上の領域の少なくとも一部は、基準画像上に撮像されることを保証できる。そのため、判定対象画像に注目領域全体が撮像されていた場合に、当該注目領域の判定対象画像上の位置によらず、その少なくとも一部を基準画像により観察できるため、注目領域の見逃し可能性を抑止することが可能になる。

　なお、変形情報を用いる手法は類似度を算出する手法の一例であり、他の手法により画像間の類似度を求めてもよい。

　ただし、類似度を用いる画像要約処理では、画像間の関係に基づいて処理が行われるため、処理対象となる画像に撮像されている被写体やシーン等は考慮されない可能性がある。よって、画像上に撮像したい対象（例えばカプセル内視鏡ではドクターの観察対象であり、狭義には病変部等の領域）が明確であるのならば、類似度に基づいた画像要約処理とは別に、画像上に当該対象が撮像されているか否かという観点から行われる画像要約処理を行うことも有用である。

　よって本出願人は、類似度に基づいた第１の画像要約処理と、対象物体又はシーンの認識処理に基づく第２の画像要約処理の両方を行うとともに、それらを統合して出力要約画像列を取得する統合処理を行う手法を提案する。このようにすることで、２つの画像要約処理の利点を兼ね備えた画像要約処理が可能になる。具体的には、観察できなくなる被写体範囲が生じることを抑止しつつ、観察対象としている物体やシーンを効率的に観察可能な画像要約処理を行うことができる。

　以下、この手法について第１～第４の実施形態を用いて具体例を説明する。第１の実施形態では、第１の画像要約処理により第１の要約画像列を取得するとともに、第２の画像要約処理により第２の要約画像列を取得し、統合処理として第１の要約画像列と第２の要約画像列を統合する処理を行う。第２の実施形態では、第１の要約画像列と第２の要約画像列を取得した後、第１の要約画像列に基づいて第２の要約画像列の更新処理（狭義には、第２の要約画像列に含まれる要約画像の枚数を削減する処理）を行い、第１の要約画像列と、更新処理後の第２の要約画像列を統合する。

　第３、第４の実施形態は、要約画像列の統合処理というよりは、第１の画像要約処理と第２の画像要約処理という２つの処理の統合処理に関する実施形態となる。第３の実施形態では、第２の画像要約処理の結果（狭義には第２の要約画像列）に基づいた第１の画像要約処理の実行を前記統合処理として行う。具体的には、第１、第２の実施形態では第１の要約画像列に含まれる要約画像は類似度に基づいて決定されていたが、第３の実施形態では類似度の他に、第２の画像要約処理の結果も用いて要約画像を決定することになる。

　第４の実施形態では、第３の実施形態の手法、及び第２の実施形態での第２の要約画像列の更新処理を組み合わせて、フィードバック処理を行う。具体的には、第２の画像要約処理の結果に基づいた第１の画像要約処理を行って第１の要約画像列を取得する。その後、取得した第１の要約画像列に基づいて第２の要約画像列の更新処理が実行する。そして、更新処理後の第２の要約画像列に基づいた第１の画像要約処理を再度行って第１の要約画像列を取得し、取得した第１の要約画像列を出力要約画像列とする。更新処理を実行できなかった場合には、その際の第１の要約画像列を出力要約画像列とすればよく、結果的には第３の実施形態と同様となる。

　なお、以下の説明では、類似度に基づいた第１の画像要約処理により得られる画像列を第１の要約画像列とし、第１の要約画像列に含まれる画像を類似度要約画像と呼ぶことにする。また、対象物体等の認識処理に基づいた第２の画像要約処理により得られる画像列を第２の要約画像列とし、第２の要約画像列に含まれる画像を物体要約画像と呼ぶ。統合処理等まで含めた処理に基づいて最終的に出力される画像列を出力要約画像列とし、出力要約画像列に含まれる画像を出力要約画像と呼ぶ。

　また、類似度として上記の変形情報を用いる処理を行い、認識処理として注目領域の検出処理を用いた場合、第１～第４の実施形態以外の手法を考えることもできる。類似度だけを用いた処理と同様に、被覆率による削除可否判定だけでは、注目領域が撮像された画像である注目画像の削除可否について特に配慮されていない。例えば、注目画像の、他の画像（他の注目画像であってもよいし、注目画像ではない画像であってもよい）による被覆率が高ければ、注目画像であっても削除対象となる。よって、極端な場合には、画像列から注目画像が全て削除されてしまい、画像要約処理後の要約画像列から注目領域が観察できないという可能性もある。

　また、構造要素による削除可否判定では、注目領域全体が撮像された画像を削除し、当該注目領域のごく一部しか撮像されていない画像が残されるケースがあり、注目領域の観察という観点からは好ましくない場合もあり得る。

　もちろん、変形情報を用いた処理（被覆率、構造要素、或いはその両方を用いた処理等）により効果的な画像要約処理を行うことが可能なケースも十分考えられる。しかし、カプセル内視鏡を用いた場合の病変部のように、重点的に観察すべき注目領域があるのであれば、注目領域が撮像されているか否かという観点による処理の有用性は高い。具体的には、注目画像を積極的に（狭義には必ず）要約画像列に残すことで、変形情報を用いた処理で生じうる問題に対処できる。

　そこで本出願人は、取得した画像列のうち、注目領域が撮像された１又は複数の画像を注目画像列として設定し、設定した注目画像列に基づいて、変形情報を用いた画像削除可否判定処理を行って要約画像列を取得する手法を提案する。ただし、図１６（Ａ）に示したように注目画像列を求め、それとは独立に変形情報に基づいて画像要約処理を行った結果の画像列を求めた場合、単純な和集合をとったのでは、図１６（Ｂ）のＩ１に示した箇所のように画像が密となる部分が存在する可能性がある。この箇所では、他の画像により十分カバーされている画像が要約画像列に残されてしまうおそれがあり、画像要約処理による画像枚数の削減効果が低くなってしまう可能性がある。そのためここでは、注目画像列に基づく第１の削除可否判定処理を行い、その後第１の削除可否判定処理の結果に基づく第２の削除可否判定処理を行うという２段階処理により、画像要約処理による画像枚数の削減効果を高めるものとする。第１，第２の削除可否判定処理は変形情報を用いた処理であり、その詳細については後述する。

　ここでの画像処理装置の１つの実施形態としては、図３０に示したように処理部１００と、画像列取得部３０を含むものが考えられる。画像列取得部３０は、複数の画像を有する画像列を取得する。そして処理部１００は、複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、設定した注目画像列から第１の基準画像を選択するとともに、複数の画像から第１の判定対象画像を選択し、第１の基準画像と第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行う。また、処理部１００は、画像列から、第１の削除可否判定処理において削除不可と判定された画像が複数連続する部分画像列を設定する。さらに、処理部１００は、部分画像列から第２の基準画像と第２の判定対象画像を選択し、第２の基準画像と第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行う。

　以下、第５の実施形態では基本的な手法について説明する。第５の実施形態では、第１，第２の削除可否判定処理として被覆率を用いた例について説明する。ただし、第１，第２の削除可否判定処理には種々の変形例（例えば構造要素を用いる手法）が考えられる。よって、それらの変形例について第６の実施形態で説明する。また、第２の削除可否判定処理における基準画像（第２の基準画像）と、判定対象画像（第２の判定対象画像）の選択手法にも種々の変形例が考えられるため、それらの変形例を第７の実施形態で説明する。

　２．第１の実施形態
　第１の実施形態の手法について説明する。まず画像要約装置のシステム構成例について説明し、その後第１の画像要約処理及び第２の画像要約処理の具体例について述べる。最後に統合処理の手法を説明する。

　２．１　システム構成例
　図１に本実施形態の画像要約装置の構成例を示す。図１に示したように、画像要約装置は、画像列取得部３０と、第１の画像要約処理部１００と、第２の画像要約処理部２００と、統合処理部３００と、出力部４０とを含む。なお、画像要約装置は図１の構成に限定されず、これらの一部の構成要素（例えば出力部４０等）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　画像列取得部３０は、画像要約処理の対象となる画像列データを取得する。取得する画像列データは、時間的或いは空間的に連続する複数の画像であり、画像入力装置１０や画像データベース２０等から取得される。画像入力装置１０は、デジタルカメラやカプセル内視鏡等、画像を撮像する撮像装置が考えられる。画像データベース２０は、大量の画像を記憶するデータベースであり、撮像装置等で取得された画像データを蓄積する。なお、画像データベース２０は画像要約装置とは離れた位置に設けられてもよく、画像要約装置とネットワークを介して接続されるサーバ等で構成されてもよい。また、画像入力装置１０及び画像データベース２０は、画像要約装置とは別体として設けられることを想定しているが、画像要約装置に含まれることを妨げない。

　第１の画像要約処理部１００は、類似度に基づいた第１の画像要約処理を行う。第１の画像要約処理部１００は、類似度算出部１１０と、要約処理部１２０と、第１の要約画像列生成部１３０を含んでもよい。なお、第１の画像要約処理部１００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　類似度算出部１１０は、画像列取得部３０で取得した画像列に含まれる画像間の類似度を算出する。要約処理部１２０は、算出した類似度に基づいて、要約処理（具体的には、第１の要約画像列に残される類似度要約画像と、削除画像の決定処理）を行う。第１の要約画像列生成部１３０は、要約処理部１２０での要約処理に基づいて、第１の画像要約処理部１００の出力である第１の要約画像列を生成する。なお、第１の画像要約処理の詳細については後述する。

　第２の画像要約処理部２００は、対象物体又はシーンの認識処理に基づいた第２の画像要約処理を行う。第２の画像要約処理部２００は、認識処理部２１０と、要約処理部２２０と、第２の要約画像列生成部２３０を含んでもよい。なお、第２の画像要約処理部２００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　認識処理部２１０は、画像列取得部３０で取得した画像列に含まれる画像が対象物体を含んでいるか、又は対象としているシーンを撮像しているかの認識処理を行う。認識処理の手法は種々考えられるが、例えば対象物体やシーンを表すテンプレートを記憶しておき、当該テンプレートを用いたマッチング処理を行ってもよい。要約処理部２２０は、認識処理部２１０での認識結果に基づいて、要約処理（具体的には、第２の要約画像列に残される物体要約画像と、削除画像の決定処理）を行う。具体的には、同一対象物体や同一シーンが連続している領域を考慮してセグメンテーション処理を行った上で、生成されたセグメント（連続画像列）から、少なくとも１枚の画像を物体要約画像として選定する処理を行う。第２の要約画像列生成部２３０は、要約処理部２２０での要約処理に基づいて、第２の画像要約処理部２００の出力である第２の要約画像列を生成する。なお、第２の画像要約処理の詳細については後述する。

　統合処理部３００は、第１の画像要約処理部１００及び第２の画像要約処理部２００での処理に基づいた統合処理を行う。本実施形態では、第１の要約画像列と第２の要約画像列の統合処理を行う。詳細は後述する。

　出力部４０は、統合処理部３００での統合処理の結果として取得された出力要約画像列を出力する。出力部４０は、例えば液晶ディスプレイや有機ＥＬディスプレイなどにより実現される表示部であってもよく、その場合には出力要約画像列に含まれる出力要約画像を表示すること等が考えられる。なお、画像要約装置がユーザとのインターフェースとなる表示部等を備える必要はなく、出力部４０（表示部）が画像要約装置とは別体として設けられてもよい。

　２．２　第１の画像要約処理
　次に類似度に基づいた第１の画像要約処理について説明する。ここで用いられる類似度としては、画像間の動きベクトル、ＳＳＤやＳＡＤ、さらには、正規化相互相関等の相関値等が考えられる。その他、通常複数の画像間の類似度として算出されるような情報であれば、任意の情報を類似度として利用することができる。

　類似度による画像要約処理の手法としては、従来からよく行われている、類似度の小さい順にソートして、上位から設定した数までを選択することによりシーンチェンジの検出を行う手法を用いることが考えられる。

　また、図２に示したように、基準画像（第１の要約画像列に残す類似度要約画像、或いは類似度要約画像の候補画像）により、判定対象画像がどの程度被覆されているかを表す被覆率を類似度として用い、当該被覆率に基づいて判定対象画像の削除可否判定を行って画像要約を行ってもよい。ここでは被覆率を用いた手法を詳しく説明する。

　被覆率を用いる手法では、基準画像と判定対象画像との間の変形情報を用いて、基準画像を変形して判定対象画像上に射影する。ここで、変形情報とは、基準画像上に撮像された被写体が判定対象画像上でどのように変形して撮像されているかに相当する情報であり、変形推定や動きベクトル等から求めてもよいし、特許文献２に記載された手法により推定される非剛体変形パラメータ等を用いてもよい。

　図２は基準画像として、判定対象画像の前方の第１の基準画像と、判定対象画像の後方の第２の基準画像の２枚を設定した例である。判定対象画像上のＡ１が第１の基準画像を変形して得られた領域であり、Ａ２が第２の基準画像を変形して得られた領域である。被覆率としては例えば、Ａ１とＡ２の和集合に相当する領域を被覆領域として求め、判定対象画像全体に占める被覆領域の割合の値を用いることが考えられる。

　判定対象画像の削除可否判定は、被覆率と事前に設定された閾値（システムにより設定されてもよいし、ユーザからの入力に基づいて決定されてもよい）との比較処理により行えばよい。具体的には、被覆率が閾値未満であれば、判定対象画像を削除不可と判定し、被覆率が閾値以上であれば、判定対象画像を削除可能と判定する。被覆率が閾値以上の場合とは、判定対象画像に撮像された被写体範囲のうち、閾値により表される程度の部分が第１の基準画像及び第２の基準画像の少なくとも一方には撮像されているということになるため、第１、第２の基準画像が類似度要約画像として残されるのであれば、判定対象画像を削除したとしても、そこに撮像された領域は十分にカバーできることになる。

　第１、第２の基準画像及び判定対象画像の選択処理を図示したものが図３（Ａ）、図３（Ｂ）である。なお、この処理では、第１の基準画像は類似度要約画像として選択されることが確定しているが、第２の基準画像は類似度要約画像の候補であり、最終的に類似度要約画像として選択されるかは確定していない。

　図３（Ａ）に示したように、全画像列のｋ番目の画像が第１の基準画像として選択されているとする（なお、１～ｋ－１番目の画像については類似度要約画像とするか削除画像とするかの判定処理が終了しており、ｋ～Ｎ番目の画像が処理対象となっている場合に相当する）。この場合、まずｋ＋２番目の画像を第２の基準画像として選択する。

　さらに第１の基準画像と第２の基準画像の間の画像の前方から順次判定対象画像を選択し、第１の基準画像と判定対象画像の間の変形情報に基づいて第１の基準画像を変形するとともに、第２の基準画像と判定対象画像の間の変形情報に基づいて第２の基準画像を変形して被覆率を算出する。そして算出した被覆率に基づいて、判定対象画像の削除可否の判定を行う。

　図３（Ａ）に示したように、第１の基準画像と第２の基準画像の間の画像の全てについて、削除可能と判定された場合（ここでは閾値を７０％としている）には、第２の基準画像として、第１の基準画像に比べてさらに離れた画像を選択してもよい可能性があるということであるから、図３（Ｂ）に示したように第２の基準画像の再選択を行う。具体的には、ｋ＋２番目だった第２の基準画像を、ｋ＋３番目に更新すればよい。

　そして、再度第１の基準画像と第２の基準画像の間の画像について削除可否の判定を行う。図３（Ｂ）に示したように、削除不可と判定された判定対象画像があった場合には、第１の基準画像と現在の第２の基準画像の２枚では、間に含まれる全ての画像をカバーすることができない（具体的には削除不可と判定された判定対象画像がカバーできない）ということであるから、２つの基準画像の間を広げすぎた、すなわち第２の基準画像の更新（選択位置のインクリメント）が不適切であったと考えられる。

　よって、現時点の第２の基準画像の１つ前の画像（図３（Ａ）での第２の基準画像に相当）を類似度要約画像として残す。具体的には、現時点の第２の基準画像の１つ前の画像を新たな第１の基準画像として選択し、それとともに第２の基準画像、判定対象画像についても新たに選択して処理を継続する。

　図４は、類似度として被覆率を用いた場合の第１の画像要約処理を説明するフローチャートである。この処理が開始されると、最初の類似度要約画像として画像要約処理の対象となる画像列のＩ_Ｓ番目の画像を設定する（Ｓ１０１）。ここでＩ_Ｓの値は１であってもよいし（つまり画像列の先頭の画像を類似度要約画像としてもよいし）、１以外の値であってもよい。

　次に、Ｉ_Ｓ番目の画像を第１の基準画像として設定し（Ｓ１０２）、それとともにＩ_Ｅ番目の画像を第２の基準画像として設定する（Ｓ１０３）。ここでＩ_ＥはＩ_Ｅ＝Ｉ_Ｓ＋２を満たす値を初期値とする。

　そして、Ｉ_Ｅが処理対象の画像列に含まれる画像の枚数を超える値であるかの判定を行い（Ｓ１０４）、Ｙｅｓの場合には画像要約処理を終了する。Ｎｏの場合には、適切に第２の基準画像を設定できたということであるから、第１の基準画像と第２の基準画像の間の画像を順次判定対象画像として設定し、削除可否判定を行う（Ｓ１０５～Ｓ１０８）。具体的には、第１の基準画像の次の画像を最初の判定対象画像とし、図２で示した手法により被覆率を求めて閾値との比較処理を行う（Ｓ１０６，Ｓ１０７）。被覆率が閾値以上（Ｓ１０７でＹｅｓ）の場合には、判定対象画像は削除可能と言うことであるから、現在の判定対象画像の１つ後方の画像を新たな判定対象画像とする（図４ではｉのインクリメントに相当）。Ｓ１０７でＮｏと判定されることなく、Ｓ１０５～Ｓ１０８のループが終了した場合には、図３（Ａ）に示したように第１，第２の基準画像により、間の画像を全てカバーできるということであるため、Ｉ_Ｅの値をインクリメントして第２の基準画像を更新して（Ｓ１０９）、Ｓ１０４に戻る。

　Ｓ１０７でＮｏと判定された場合には、図３（Ｂ）に示したように第１，第２の基準画像の間の少なくとも１枚の画像が、２つの基準画像では十分にカバーできないということであるため、当該タイミングでの第２の基準画像の１つ前の画像を要約画像に残す必要がある。よって、Ｉ_Ｅ－１番目の画像を次の類似度要約画像として設定する（Ｓ１１０）。それとともにＩ_Ｓ＝Ｉ_Ｅ－１として（Ｓ１１１）、Ｓ１０２に戻ることで、類似度要約画像として設定した画像を新たな第１の基準画像に設定して処理を継続する。

　２．３　第２の画像要約処理
　次に対象物体又はシーンの認識処理に基づいた第２の画像要約処理について説明する。ここでの認識処理に関しては、参照画像との類似度による検出処理や、機械学習によるパターン認識で得られる認識結果等、様々な画像認識や画像検出の処理結果を利用することができる。

　第２の画像要約処理では、画像要約処理の対象となる画像列の全画像に対して認識処理が行われ、各画像に対して対象物体が撮像されているか否か、或いは対象としているシーンが撮像されているか否かの判定が行われる。そして、対象物体が撮像されている画像のうち連続する画像、或いは対象シーンが撮像されている画像のうち連続する画像を連続画像列（セグメント）として設定し、各セグメントにつき少なくとも１枚の画像を抽出し、第２の要約画像列に残される物体要約画像として設定する。

　図５は、対象物体やシーンの認識処理に基づく第２の画像要約処理を説明するフローチャートである。ここでは特に、認識された対象物体の面積が最大となる画像を物体要約画像として選択する例について説明するが、連続画像列から物体要約画像を選択する手法はこれに限定されるものではない。

　なお、図５の処理の前処理として認識処理は行われているものとする。その結果として、対象物体等が検出された画像には前方から順にＩＤが振られており、そのＩＤは画像要約処理の対象となる画像列（入力画像列）における画像の位置を表す番号との対応付けがされている。例えば、図６に示したように入力画像列に対する認識処理により、斜線で示された画像で対象物体等が検出されたとすると、斜線で示された画像の中で先頭から順にＩＤが振られることになる（ここでは画像番号及びＩＤを０から始めたが、これには限定されない）。また、ＩＤが振られた画像が入力画像列において何番目かという対応付けがされているため、ＩＤ＝０の画像は入力画像列の１番目、ＩＤ＝４の画像は入力画像列の７番目といった情報は保持されている。図５は、これ以降のセグメンテーション処理及び代表画像（要約画像）の選択処理を説明するものである。

　図５の処理が開始されると、まずカウンタ値であるｃｏｕｎｔを初期化する（Ｓ２０１）。ここでｃｏｕｎｔは物体要約画像の枚数に相当するカウンタである。なお、１セグメントから１枚の要約画像を選択する例を示しているため、ｃｏｕｎｔはセグメンテーション処理の結果設定されるセグメントにも対応するカウンタとなる。次に対象物体の面積の最大値を表す変数ｍａｘを初期化する（Ｓ２０２）。

　初期化後は、Ｓ２０３～Ｓ２０８のループを繰り返して、前処理としてＩＤが振られた画像を対象に前方から順に処理を行う。具体的には、ｊ＝０を初期値として、ＩＤ＝ｊの画像での対象物体の面積とｍａｘとを比較し、面積がｍａｘよりも大きい場合には、ｍａｘの値を面積の値で書き換えるとともに、ｃｏｕｎｔ番目の要約画像として現在のＩＤの画像を設定する（Ｓ２０４）。ただし、要約画像はＩＤの値で表現するのではなく、入力画像列の何番目の画像であるかという表現の方が好ましいため、入力画像列での番号とＩＤとの対応付けに基づいて、入力画像列の何番目の画像がｃｏｕｎｔ番目の要約画像であるかという情報を保持することになる。

　次に、ＩＤ＝ｊの画像がＩＤ＝ｊ＋１の画像と入力画像列において隣り合っているかの判定を行う（Ｓ２０５）。Ｓ２０５でＮｏの場合とは、図６でいえばＩＤ＝２やＩＤ＝４のように、セグメントの最後に位置する画像を処理対象としていると言うことである。よって、現在のセグメントでの処理を終了し、次のセグメントでの処理の前処理として、ｃｏｕｎｔの値をインクリメントするとともに（Ｓ２０６）、面積の最大値ｍａｘを初期化する（Ｓ２０７）。

　また、Ｓ２０５でＹｅｓの場合とは、図６でいえばＩＤ＝１やＩＤ＝３のように、セグメントの先頭或いは途中に位置する画像を処理対象としていると言うことであるから、Ｓ２０６，Ｓ２０７の処理は行われない。なお、セグメントの先頭の画像が処理対象の場合には、ｍａｘ＝０であるためＳ２０４では現在の画像が暫定的な物体要約画像として選択されることになる。一方、セグメントの途中の画像が処理対象の場合には、現在のセグメントに含まれ、且つ処理対象より前方にある所与の画像がｃｏｕｎｔ番目の物体要約画像として暫定的に選択されているとともに、その際の対象物体の面積がｍａｘとして保持されている。そのため、Ｓ２０４では、その暫定的な物体要約画像での対象物体の面積と、ＩＤ＝ｊの画像での対象物体の面積との比較処理を行い、ＩＤ＝ｊの画像での対象物体の面積の方が大きければＩＤ＝ｊの画像によりｃｏｕｎｔ番目の物体要約画像の上書き処理を行う。また、暫定的な物体要約画像での対象物体の面積の方が大きければ、その物体要約画像がそのまま保持される。

　結果として、Ｓ２０３～Ｓ２０８でのループでは、セグメンテーション処理を行って、各セグメントで対象物体の面積が最大となる画像を物体要約画像とする処理を行うことになり、対象物体が検出された全画像について上述の処理を行った場合には処理を終了する。

　なお、ここでは対象物体の面積が最大になるような画像を物体要約画像として選択する手法について述べたが、対象物体の画像内での位置、色情報、テクスチャ情報、認識、または検出の精度等、画像認識、または画像検出の結果の情報を利用して、同様に画像要約処理を行ってもよい。

　２．４　統合処理
　次に本実施形態での統合処理について説明する。ここでは、第１の画像要約処理により得られた第１の要約画像列と、第２の画像要約処理により得られた第２の要約画像列の少なくとも一方に含まれる画像を、出力要約画像列の出力要約画像として選択する処理を行う。

　図７は、本実施形態の統合処理を説明するフローチャートである。図７に示したように、統合処理はＳ３０１～Ｓ３０６のループとなり、Ｓ３０２～Ｓ３０５の処理を入力画像列の全画像について行うことになる。

　具体的には、入力画像列のｉ番目の画像が、第１の要約画像列に含まれているか（類似度要約画像であるか）の判定を行う（Ｓ３０２）。Ｙｅｓの場合には、ｉ番目の画像を出力要約画像列の出力要約画像として選択する（Ｓ３０３）。Ｓ３０２でＮｏの場合には、ｉ番目の画像が、第２の要約画像列に含まれているか（物体要約画像であるか）の判定を行う（Ｓ３０４）。Ｙｅｓの場合には、Ｓ３０３に移行しｉ番目の画像を出力要約画像として選択する。Ｓ３０４でＮｏの場合には、ｉ番目の画像を削除画像とする（Ｓ３０５）。そして、この処理をｉ＝０を初期値とし、ｉをインクリメントしつつ入力画像列全体に対して行う。

　以上の本実施形態では、画像要約装置は図１に示したように、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部１００と、複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部２００と、第１の要約画像列と第２の要約画像列の統合処理、又は第１の画像要約処理と第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部３００を含む。

　ここで、複数の画像とは画像列取得部３０で取得した画像列全体に相当することが想定されるが、当該画像列の一部であってもよい。

　これにより、画像間の類似度判定、及び対象物体又はシーンの認識処理という異なる観点で行われた画像要約処理により得られた要約画像列を統合して出力要約画像列を取得することができるため、双方の画像要約処理の利点を兼ね備えた画像要約処理を行うことが可能になる。対象物体等の認識処理を用いた第２の画像要約処理を行うことで、重要な対象物体が撮影されている画像のうち適切なものを残した要約画像列を生成できるが、画像認識、検出処理でも重要な対象物体をすべて検出することは難しい。その点、類似度という異なる観点での画像要約処理により、観察できなくなる領域の発生を抑止することで、検出できなかった重要物体を第１の画像要約処理による第１の要約画像列に含めることが可能になり、統合処理により相補的な出力要約画像列を生成することができる。

　また、第１の画像要約処理部１００は、複数の画像から基準画像及び判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を類似度として算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う処理を、第１の画像要約処理として行ってもよい。

　ここで被覆率とは、判定対象画像上に撮像された被写体のうち、どの程度の被写体が基準画像上に撮像されているかを表す情報である。例えば、縦横比が１：１の画像が取得される場合に、判定対象画像には実空間上で縦横それぞれ１０ｍの正方形の被写体が画像いっぱいに撮像され、基準画像には前述の被写体に包含される縦横それぞれ５ｍの正方形の領域が画像いっぱいに撮像されたとする。この場合、判定対象画像には実空間における１００ｍ^２の領域が撮像され、基準画像には実空間における２５ｍ^２の領域（かつ前述の１００ｍ^２の領域に含まれる領域）が撮像されたことになる。よって、基準画像は判定対象画像の２５％をカバーしていることになるため、被覆率としては２５％、２５ｍ^２、或いは０．２５等の値が考えられる。なお、平面的な被写体に正対して撮像が行われることはまれであるため、一般的には同一の被写体であっても、基準画像と判定対象画像とで形状が異なっている。本実施形態ではそのような変形に対応する変形情報を特許文献２等の手法で取得しておき、当該変形情報を用いて被覆率を算出する。なお被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。

　また、削除可否の判定処理は例えば所与の閾値との比較処理である。閾値を高くすれば（例えば１００％に近い値に設定すれば）、画像を削除することにより観察できなくなる領域が発生することに対する抑止効果の向上が期待できる。一方、閾値を低くすれば、要約処理後の要約画像列に含まれる画像の枚数を少なくすることができる。上述の抑止効果の向上と、画像枚数を少なくすることはトレードオフの関係にあり閾値の設定により制御が可能となるため、状況に応じて適切に閾値を設定することが望ましい。

　これにより、第１の画像要約処理により画像を削除した結果、観察できなくなる被写体領域が発生することを抑止でき、またその抑止の程度（強度）を制御することが可能になる。本実施形態の手法を用いることで、上述した削除可否の判定処理に用いる閾値としてｘ％に相当する値を用いれば、判定対象画像を削除したとしても、当該判定対象画像上に撮像された被写体のうち、ｘ％は基準画像によりカバーされている（ｘ％の被写体範囲は基準画像上に撮像されている）ことが保証できるためである。なお、変形情報として被写体の画像上での変形を、全く誤差を生じずに求めることが困難である以上、閾値としてｘを設定しても、判定対象画像のうち基準画像によりカバーされている領域がｘ％未満となる可能性は生じうる。

　また、第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、第１の画像要約処理部１００は、第ｐの画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２≦ｑ≦Ｎ－１を満たす整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ－１を満たす整数）の画像を判定対象画像として選択する。そして、第１の基準画像と判定対象画像の間の変形情報、及び第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。この場合に、例えば第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、第２の基準画像として第ｑ＋１の画像を新たに選択することができる。

　これにより、図３（Ａ）、図３（Ｂ）に示したように、判定対象画像の前方及び後方に基準画像を設定した上で、被覆率に基づいた画像要約処理が可能になる。この場合、２つの基準画像を用いるため、基準画像を１つ設定する場合等に比べて、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像枚数を少なくすることが可能になる。

　また、第１の画像要約処理部１００は、第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、第１の基準画像として選択された画像を、第１の要約画像列に含める処理を行ってもよい。さらに、第ｑ－１の画像を新たな第１の基準画像として選択して再度処理を行ってもよい。

　これにより、第１の基準画像を第１の要約画像列に含めることが可能になる。また、第１の基準画像と第２の基準画像の間の判定対象画像のうち少なくとも１つが削除不可である場合とは、第１の基準画像と第２の基準画像の間を広げすぎたケースに相当するため、その際の第２の基準画像の前方にある（狭義には前方にあり且つ直近にある）画像は第１の要約画像列に残すべきである。よって、第ｑ－１の画像を新たな第１の基準画像として選択し、同様の処理を繰り返すことになる。

　ただし、第１の画像要約処理における第２の基準画像の再選択（更新）処理は、入力画像列の後方に１つずつ移動させていく手法に限定されるものではない。

　例えば、第ｐ＋２～第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から第２の基準画像を選択して、第１の基準画像及び第２の基準画像に基づいて判定対象画像の削除可否の判定を行う場合を考える。この際、第１の画像要約処理部１００は、第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな第２の基準画像として選択するとともに、第２の基準画像選択区間の始点を第ｑの画像に更新してもよい。また、第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな第２の基準画像として選択するとともに、第２の基準画像選択区間の終点を前記第ｑの画像に更新してもよい。

　ここで、第２の基準画像選択区間は、第２の基準画像の候補を表すという性質とともに、第１の要約画像列に残される類似度要約画像（狭義にはすでに見つかっている類似度要約画像の次の類似度要約画像）の候補を表すという性質を有するものである。よって、第２の基準画像選択区間とは類似度要約画像の探索範囲に相当する。

　これにより、第２の基準画像を更新する際に、新たな第２の基準画像の位置を柔軟に決定することが可能になる。第２の基準画像を１つずつ後方に移す手法は、言うなれば探索範囲を先頭から１つずつチェックして、探索範囲を減らしていく手法であるため、正解の位置によっては計算量が非常に多くなってしまう。その点、隣り合わない画像も新たな第２の基準画像として選択可能にすることで、一単位の判定（一回の第２の基準画像選択処理及びそれに伴う削除可否判定）により探索範囲を大きく減らすことができる。よって、計算量の削減効果が期待でき、システムに対する負荷を軽減したり、処理時間を短縮したりすることが可能になる。なお、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の第２の基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合を考慮して前方への探索も可能にし、その際の第２の基準画像の選択は後方への探索と同様に隣り合う画像に限定されないものとする。

　また、第１の画像要約処理部１００は、第ｊ（ｊは整数）の画像が第２の基準画像選択区間の終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいてｘの値を設定してもよい。或いは、第ｉ（ｉは整数）の画像が第２の基準画像選択区間の始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいてｙの値を設定してもよい。

　これにより、新たな第２の基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の第２の基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の第２の基準画像と始点との中間となる画像を選択することになる。よって、探索範囲（第２の基準画像選択区間の長さに相当）を半減させていくことが可能になり、第２の基準画像としてｌｏｇＮ枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはＮ×ｌｏｇＮに抑えることができ、Ｎが非常に大きい場合には１つずつ後方に移す手法（計算量のオーダーはＮ^２）に比べて計算量の削減効果が大きい。なお、（ｑ＋ｊ）／２及び（ｉ＋ｑ）／２は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば（ｑ＋ｊ）／２を超えない最大の整数、或いはそれより１大きい整数等を考えればよい。ただし、第２の基準画像の更新は、二分探索による手法に限定されるものではなく、種々の手法を用いてもよい。例えば、探索範囲内での正解の位置がある程度予測される場合等では、予測位置及びその周辺を重点的に探索できるように第２の基準画像を選択することで、計算量の削減等が期待できる。

　また、第１の画像要約処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求め、被覆率として、判定対象画像に占める被覆領域の割合を算出してもよい。

　これにより、被覆領域に基づいて被覆率を算出することが可能となる。被覆領域は具体的には図２に示したものであり、基準画像を変形情報に基づいて変形した上で、判定対象画像上に射影した領域を表す。基準画像に撮像された被写体領域と、求めた被覆領域に撮像された被写体領域は対応する（変形情報に誤差がない理想的な状況であれば一致する）ことになる。よって、被覆率を判定対象画像に占める被覆領域の割合（具体的にはそれぞれの面積の比）から求めることが可能になる。なお、被覆領域は基準画像を変形情報に基づいて変形して求めればよく、求めた被覆領域は必ずしも判定対象画像上に射影されるものに限定されない。また、被覆領域は基準画像の全体に基づいて求めるものに限定されず、基準画像の一部を変形情報により変形することで求めてもよい。

　また、第２の画像要約処理部２００は、認識処理に基づいて、複数の画像のうち同一の対象物体を含む連続する画像、又は複数の画像のうち同一のシーンと認識された連続する画像を、要約画像の抽出対象となる連続画像列として設定し、設定した連続画像列から少なくとも１枚の画像を要約画像として抽出する処理を、第２の画像要約処理として行ってもよい。

　ここで、連続画像列から少なくとも１枚抽出される要約画像とは、第２の要約画像列に残す物体要約画像を指す。

　これにより、第２の画像要約処理として図５、図６を用いて説明した連続画像列（セグメント）を設定する手法を用いることができる。連続画像列とは同一の対象物体を含む連続する画像、又は同一のシーンと認識された連続する画像であるため、連続画像列から当該連続画像列に含まれる画像の枚数よりも少ない枚数の画像を抽出して物体要約画像とすることで、対象物体又はシーンが要約画像列に含まれなくなることを抑止しつつ、画像の冗長性を低減することが可能になる。なお、冗長性の低減効果を高めるのであれば、連続画像列から要約画像として抽出する画像の枚数は少なくすればよく、狭義には１枚の画像を抽出すればよい。

　また、第２の画像要約処理部１００は、対象物体の面積に基づいて、連続画像列から抽出する要約画像（物体要約画像）を選択してもよい。

　これにより、対象物体が画像上においてより大きく撮像されている画像を要約画像とすることができるため、ユーザによる観察等を容易にすること等が可能になる。また、面積が大きかったとしても、輝度値が小さく暗くつぶれている場合、形状が極端で観察に不向きである場合、画像周縁部に位置することで歪曲収差等のひずみを無視できない場合等、ユーザにとって必ずしも見やすいとはいえない状況も考えられる。よって、面積の他に画像内での位置、色情報、テクスチャ情報、認識の精度等の画像認識、または画像検出の情報を利用してもよい。それにより、対象物体の画像的特徴を考慮した画像要約を行うことができるため、検出された対象物体が見易いような画像を要約画像として選定することができ、対象物体をよりよく把握することが可能になる。

　また、統合処理部３００は、第１の要約画像列及び第２の要約画像列の少なくとも一方に含まれる画像を出力要約画像列の要約画像（出力要約画像）として選択する処理を、第１の要約画像列と第２の要約画像列の統合処理として行ってもよい。

　これにより、図７に示した統合処理が可能になる。図７のフローチャートからわかるように、本実施形態の統合処理はシンプルな手法により実現できるため、処理負荷が軽いという利点がある。

　また、第１の画像要約処理部１００は、複数の画像間の類似度に基づいて、シーンチェンジを検出して第１の画像要約処理を行ってもよい。

　これにより、シーンチェンジによる画像要約を行うことにより、連続する類似する画像を削除するため、ほとんど同じような冗長なシーンを削除することができ、効率良く画像数を削減して画像要約列を生成することが可能になる。なお、この処理は複数の画像間の類似度を用いるため、第１の画像に撮像された第１のシーンと、第２の画像に撮像された第２のシーンとが異なることを検出できれば十分であり、第１のシーンや第２のシーンが具体的にどのようなシーンに対応するかを認識する必要はない。これに対して、第２の画像要約処理でのシーンの認識処理とは、処理対象となる画像に撮像されたシーンが検出対象であるシーンと一致するか否かを判定する必要があり、例えば検出対象シーンの特徴量等を保持しておく必要がある点で相違する。

　また、複数の画像はカプセル内視鏡画像であってもよい。そして、第２の画像要約処理部２００は、カプセル内視鏡画像に撮像される生体内の注目領域を対象物体として、認識処理を行う。

　ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

　これにより、カプセル内視鏡を用いて撮像した画像に対して本実施形態の画像要約処理を適用することが可能になる。上述したように、医療分野では病変等の見逃しは極力抑止しなくてはならない。第２の画像要約処理において注目領域を対象物体とすることで、注目領域が検出された画像を効率的に要約画像列に残すことが可能になるが、注目領域の検出は必ずしも成功するとは限らない。よって、注目領域を撮像しているにもかかわらず、認識処理の結果としては対象物体が検出されずに、物体要約画像の候補にならずに削除対象となる画像が発生しうる。そのため、類似度（狭義には被覆率）を用いた画像要約処理を併用することの利点が大きい。特にカプセル内視鏡を用いる例では、ドクターが外部から生体内にあるカプセル内視鏡を操作することは困難であり、撮像対象を効率的に変えていくことはできないため、似通った画像が多数取得されうる。さらに、操作が困難であるから、撮像画像をリアルタイムで逐一チェックするのではなく、大量に蓄積された後に処理を行うことが想定される。よって、カプセル内視鏡が取得した画像列に対して本実施形態の画像要約処理を行う利点は大きい。

　また、第２の画像要約処理部２００は、特定の波長帯域の光の照射により取得された特殊光画像に基づいて、生体内の注目領域の認識処理を行ってもよい。

　これにより、特殊光画像を用いた観察が可能になるため、第２の画像要約処理における対象物体の検出精度を向上させることが可能になり、重要物体（注目領域）を撮像した画像が画像要約処理により削除されてしまうことを抑止できる。なお、対象物体の検出精度の向上が期待できるとしても、類似度を用いた第１の画像要約処理を併用することが望ましく、さらなる注目領域の見逃し抑止効果が期待できる。

　なお、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域であってもよい。さらに具体的には、３９０ｎｍ～４４５ｎｍまたは５３０ｎｍ～５５０ｎｍの波長帯域であってもよい。これはＮＢＩ（Narrow Band Imaging）と呼ばれる狭帯域光観察に対応する。

　これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ～４４５ｎｍまたは５３０ｎｍ～５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。

　また、特定の波長帯域の光とは、ＮＢＩに対応するものに限定されず、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察やＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察に対応するものであってもよい。

　また、以上の本実施形態は、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部１００と、複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部２００と、第１の要約画像列と第２の要約画像列の統合処理、又は第１の画像要約処理と第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部３００としてコンピュータを機能させるプログラムにも適用できる。

　これにより、上述の画像要約処理を行うプログラムを実現できる。例えば、画像要約処理がＰＣ等の情報処理システムにおいて行われるのであれば、このプログラムはＰＣの処理部（ＣＰＵやＧＰＵ等）に読み出されて実行される。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、ＰＣ等の情報処理システムによって読み取り可能な種々の記録媒体を想定できる。

　３．第２の実施形態
　次に第２の実施形態について説明する。本実施形態の画像要約装置のシステム構成例は、第１の実施形態で用いた図１と同様であるため詳細な説明は省略する。第１の実施形態に比べて、統合処理部３００での統合処理が異なるため、その点について詳述する。

　第１の画像要約処理による第１の要約画像列、及び第２の画像要約処理による第２の要約画像列を取得する点は第１の実施形態と同様である。本実施形態では、２つの要約画像列を統合する前に、第１の要約画像列に基づいて第２の要約画像列の更新処理を行う。

　図８（Ａ）、図８（Ｂ）は第２の実施形態の統合処理を説明する図である。図８（Ａ）では連続的な横方向の直線により入力画像列（入力画像列に含まれる複数の画像）を表している。また、縦方向の線が第２の画像要約処理の結果、選択された物体要約画像を表す。また、図８（Ａ）における横方向の矢印は、その範囲に含まれる画像が対象物体等を連続して検出したことを表すものであり、１つ１つの矢印が連続画像列（セグメント）に対応する。同様に、図８（Ｂ）の横方向の直線が入力画像列を表し、縦方向の線が類似度要約画像を表す。

　本実施形態の統合処理では、第２の画像要約処理の結果として設定された複数の連続画像列を１つの結合連続画像列にまとめ、当該結合連続画像列から少なくとも１枚の要約画像を抽出することで、第２の要約画像列に含まれる物体要約画像の枚数を削減する。

　具体例を説明する。まず、第１の要約画像列に含まれる類似度要約画像のうち隣り合う２つの画像を選択する。そして、その２つの類似度要約画像の間に、第２の画像要約処理で設定された連続画像列が複数含まれている場合には、それら複数の連続画像列を結合できるか否かの判定を行う。

　或いは、隣り合う類似度要約画像を基準とするのではなく、隣り合う連続画像列を選択し、その双方が隣り合う類似度要約画像の間にあるか否かに基づいて、連続画像列を結合できるか否かの判定を行ってもよい。

　ここで、連続画像列が２つの類似度要約画像の間にあるとは、当該連続画像列に含まれる少なくとも１枚の画像が２つの類似度要約画像の間にあればよく、連続画像列の全ての画像列が２つの類似度要約画像の間にある必要はない。

　また、連続画像列に含まれる所与の画像を抽出し、抽出した画像が２つの類似度要約画像の間にある場合に、抽出元となった連続画像列を結合判定の対象としてもよい。この場合、抽出画像とされる画像は、物体要約画像として選択された画像が典型ではあるが、連続画像列に含まれる他の画像を用いてもよい。

　図８（Ａ）、図８（Ｂ）を用いて例を示す。図８（Ｂ）のうち隣り合う２つの類似度要約画像としてＣ１及びＣ２に着目した場合、図８（Ａ）に示した連続画像列Ｂ１及び連続画像列Ｂ２は、上述の定義よりともにＣ１とＣ２の間に含まれることになる。よって、Ｂ１とＢ２に対して、結合できるか否かの判定を行う。

　連続画像列の結合可否判定の具体例を図９（Ａ）に示す。類似度要約画像と、処理対象となっている複数の連続画像列から選択された物体要約画像を用いて判定を行う。具体的には、類似度要約画像を変形して複数の物体要約画像（少なくとも結合判定対象となっている連続画像列の数だけの枚数）のそれぞれに射影して被覆領域を求める。この処理は被覆率を用いた第１の画像要約処理と同様に、画像間の変形情報に基づいて行えばよい。その上で、物体要約画像の各画像について、検出された対象物体が被覆領域内にあるか否かの判定を行い、全ての物体要約画像において、対象物体が被覆領域内にあれば、対象となっている連続画像列を結合連続画像列に結合することが可能と判定する。類似度要約画像と、各被覆領域は同一の被写体範囲を撮像しているのであるから、全ての画像について対象物体が被覆領域内にある場合には、その対象物体は同一の物体である可能性が高いといえる。つまりこの対象物体については、複数の連続画像列から少なくとも連続画像列の数だけの物体要約画像を抽出する必要はなく、当該複数の連続画像列を結合した上で、結合連続画像列から少なくとも１枚の物体要約画像を抽出すれば足りる。

　なお、結合連続画像列（図８（Ａ）のＢ１とＢ２の和集合に相当）から抽出される物体要約画像は、選択の基準となる特徴量を変更しない限り、結合前の連続画像列から抽出された物体要約画像のいずれかと一致することになる。つまり、図８（Ａ）の例で言えば、Ｂ３又はＢ４のいずれかを結合連続画像列から物体要約画像として抽出することになるため、連続画像列の結合処理とは狭義には物体要約画像の一部を削除する処理に相当する。

　なお、類似度要約画像は前方だけでなく後方にもあることから、後方についても図９（Ｂ）のように同様の処理を行う。そして、図９（Ａ）と図９（Ｂ）のどちらか一方の処理において結合可能と判定されたら、連続画像列の結合処理を行えばよい。

　図１０は、本実施形態の統合処理を説明するフローチャートである。図１０に示したように、統合処理はＳ４０１～Ｓ４０８のループとなり、Ｓ４０２～Ｓ４０７の処理を入力画像列の全画像について行うことになる。

　具体的には、入力画像列のｉ番目の画像が、第１の要約画像列に含まれているかの判定を行う（Ｓ４０２）。Ｙｅｓの場合には、ｉ番目の画像を出力要約画像として選択する（Ｓ４０３）。Ｓ４０２でＮｏの場合には、ｉ番目の画像が、第２の要約画像列に含まれているかの判定を行う（Ｓ４０４）。Ｓ４０４でＮｏの場合には、ｉ番目の画像を削除画像とする（Ｓ４０７）。Ｓ４０４でＹｅｓの場合（つまりｉ番目の画像は物体要約画像の場合）には、ｉ番目の画像と、１つ前の物体要約画像について、類似度要約画像との関係に基づく判定を行う（Ｓ４０５）。具体的には、図８（Ａ）、図８（Ｂ）を用いて上述したように、隣り合う類似度要約画像の間に、ｉ番目の画像と１つ前の物体要約画像が入っている場合にＹｅｓとなる。Ｓ４０５でＮｏの場合には、連続画像列の結合は行われないため、ｉ番目の画像が第２の要約画像列から削除されることはなくなる。よって、Ｓ４０３に移行しｉ番目の画像を出力要約画像として選択する。

　また、Ｓ４０５でＹｅｓの場合には、連続画像列を結合できる可能性があるため、図９（Ａ）、図９（Ｂ）に示した判定を行う（Ｓ４０６）。Ｓ４０６でＮｏの場合には、連続画像列の結合は行われないため、ｉ番目の画像が第２の要約画像列から削除されることはなくなる。よって、Ｓ４０３に移行しｉ番目の画像を出力要約画像として選択する。一方、Ｓ４０６でＹｅｓの場合には、２つの連続画像列が結合されることから、Ｓ４０７に移行しｉ番目の画像は削除画像とする。そして、この処理をｉ＝０を初期値とし、ｉをインクリメントしつつ入力画像列全体に対して行う。

　なお、図１０のフローチャートは、１度に結合対象となる連続画像列が２つに限定されている点、連続画像列を結合した際には後方の連続画像列に対応する物体要約画像が削除される点等からわかるように、本実施形態の処理の一例を示したものに過ぎず、図１０とは異なる処理により本実施形態の手法が実現されてもよいことは言うまでもない。

　以上の本実施形態では、統合処理部３００は、第１の要約画像列に基づいて、第２の画像要約処理において設定された複数の連続画像列を１つの結合連続画像列に結合し、結合連続画像列から少なくとも１枚の画像を要約画像（物体要約画像）として抽出することで、第２の要約画像列の更新処理を行う。

　これにより、第１の要約画像列に基づいて、第２の要約画像列を更新することが可能になる。更新処理とは狭義には物体要約画像の一部を削除して、第２の要約画像列に含まれる画像の枚数を削減する処理になる。なお、連続画像列の結合処理は具体的には、図８（Ａ）、図８（Ｂ）及び図９に示した処理を行えばよいし、他の手法により行ってもよい。

　また、統合処理部３００は、第１の要約画像列、及び更新処理後の第２の要約画像列の少なくとも一方に含まれる画像を出力要約画像列の要約画像（出力要約画像）として選択する処理を、第１の要約画像列と第２の要約画像列の統合処理として行ってもよい。

　これにより、更新処理後の第２の要約画像列を用いて、第１の要約画像列との統合処理を行うことが可能になる。これにより、類似度を用いた画像要約処理と、対象物体等の認識処理を用いた画像要約処理の両方の利点を残しつつ、更新処理を行わない場合（第１の実施形態等）に比べて、出力要約画像列に含まれる画像の枚数を削減することができ、出力要約画像列を利用するユーザの利便性を高めること等が可能になる。

　４．第３の実施形態
　次に第３の実施形態について説明する。本実施形態の画像要約装置のシステム構成例を図１１に示す。図１１に示したように、基本的な構成は第１の実施形態と同様であるが、第１の画像要約処理部１００と、統合処理部３００との接続が双方向となっている点が異なる。

　本実施形態では、統合処理部３００は、まず第２の画像要約処理の結果を取得し、取得した結果に基づいて第１の画像要約処理部１００に対して第１の画像要約処理を実行させる。

　具体例を図１２（Ａ）～図１２（Ｃ）に示す。図１２（Ａ）～図１２（Ｃ）の表現については図８（Ａ）、図８（Ｂ）と同様である。図１２（Ａ）に示したように、第２の要約画像列は、第１の実施形態と同様に対象物体又はシーンの認識処理に基づいて、例えば連続画像列から少なくとも１枚の要約画像を抽出することで取得する。また、第１の画像要約処理は、第１の実施形態等であれば、図１２（Ｂ）のようになり、Ｓ（ｉ）が類似度要約画像（第１の基準画像）として選択された場合には、次の類似度要約画像であるＳ（ｉ＋１）は第２の基準画像を設定した上で被覆率に基づいた判定を行うことで探索される。

　しかし、類似度（被覆率）に基づいて削除可能と判定された画像であっても、観察対象としている対象物体が撮像されており、かつ連続画像列を代表する画像なのであれば出力要約画像として選択するべきであり、第１の実施形態でもそのような統合処理を行っている。その観点から考えると、第１の画像要約処理において、類似度だけでなく第２の画像要約処理の結果を用いて類似度要約画像（或いは第１の基準画像）を選択することで、同様の効果が期待できる。

　そこで本実施形態では、類似度要約画像（第１の基準画像）の設定後、次の類似度要約画像を探索する際に、物体要約画像となっている画像は、類似度に関係なく類似度要約画像として選択するものとする。例えば、図１２（Ｂ）に示したように、Ｅ１で示した画像は類似度の判定では削除画像とされるはずであるが、当該画像は図１２（Ａ）のＤ１に示したように物体要約画像として選択されている。よって、図１２（Ｃ）に示したように、本実施形態での第１の画像要約処理では、当該画像を類似度要約画像Ｓ（ｉ＋１）として設定する。

　その後も同様に、類似度で所与の条件を満たした場合、或いは第２の要約画像列の要約画像が見つかった場合に、次に要約画像を設定すればよい。図１２（Ｃ）の例であれば、Ｓ（ｉ＋２）は類似度に基づいて選択されたものであるし、Ｓ（ｉ＋３）は物体要約画像に基づいて選択されたものである。狭義の類似度要約画像（第１の実施形態の第１の画像要約処理の結果）の画像列中の位置は、他の類似度要約画像（狭義には１つ前の類似度要約画像）に依存して決定される。そのため、第２の画像要約処理の結果を入れ込んで類似度要約画像を選択した場合には、図１２（Ｂ）、図１２（Ｃ）から明らかなように、第２の画像要約処理の結果を用いない場合に比べて、一般的に類似度要約画像として選択される画像は大きく異なるものになる。

　なお、第２の画像要約処理の結果に基づいた第１の画像要約処理により、対象物体等の認識処理と類似度の両方を考慮した画像列が取得できるため、最終的な出力要約画像列は第１の画像要約処理の結果を用いればよい。

　図１３は、本実施形態の統合処理を説明するフローチャートである。実際には、第２の画像要約処理の結果に基づいた第１の画像要約処理を説明するフローチャートであり、図４に近いものである。

　図１３のＳ５０１～Ｓ５１１については、図４のＳ１０１～Ｓ１１１と同様であるため詳細な説明は省略する。図１３は図４のＳ５０５の次のステップとして、Ｓ５１２～Ｓ５１４が加わったものであり、Ｓ５１２では処理対象となっているｉ番目の画像が、第２の画像要約処理の結果、物体要約画像となっているか否かの判定を行う。Ｓ５１２でＹｅｓの場合には、Ｓ５０５～Ｓ５０８のループを抜けて、ｉ番目の画像を次の類似度要約画像として設定するとともに（Ｓ５１３）、Ｉ_Ｓ＝ｉとして（Ｓ５１４）、Ｓ５０２に戻りＳ５１４で設定した類似度要約画像を新たな第１の基準画像に設定して処理を継続する。

　以上の本実施形態では、統合処理部３００は、第１の画像要約処理部に対して、第２の画像要約処理の結果に基づいて、第１の画像要約処理を実行させる処理を、第１の画像要約処理と第２の画像要約処理の統合処理として行う。

　これにより、画像間の類似度判定、及び対象物体又はシーンの認識処理という異なる観点で行われた画像要約処理を統合して出力要約画像列を取得することができるため、双方の画像要約処理の利点を兼ね備えた画像要約処理を行うことが可能になる。

　また、第１の画像要約処理部１００は、統合処理に基づいて、複数の画像から第２の要約画像列に含まれる画像（物体要約画像）を基準画像として選択するとともに、複数の画像から判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を類似度として算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う処理を、第１の画像要約処理として行ってもよい。

　これにより、第１の画像要約処理と第２の画像要約処理の統合処理として、具体的に第２の画像要約処理の結果に基づいて、第１の画像要約処理における基準画像の選択処理を行うことが可能になる。さらに具体的には、第２の要約画像列に含まれる物体要約画像をそのまま基準画像としつつ、物体要約画像以外の画像においては基本通り類似度に基づいて処理を行えばよい。

　また、統合処理部３００は、統合処理により、第１の画像要約処理部で生成された第１の要約画像列を出力要約画像列として取得してもよい。

　これにより、第２の画像要約処理に基づく第１の画像要約処理の結果をそのまま出力要約画像列とすることが可能になる。上述したように、本実施形態の手法では第２の画像要約処理の結果、要約画像（物体要約画像）とされた画像は、第１の画像要約処理における要約画像（類似度要約画像）として選択される。よって、第１の画像要約処理において、対象物体等の認識処理に基づく画像が残されることになるため、第１の要約画像列と第２の要約画像列との統合処理等は考慮しなくてもよい。

　５．第４の実施形態
　次に第４の実施形態について説明する。本実施形態の画像要約装置のシステム構成例は、第３の実施形態で用いた図１１と同様であるため詳細な説明は省略する。本実施形態では、第３の実施形態の手法と、第２の実施形態における第２の要約画像列の更新処理（連続画像列の結合処理）を組み合わせた手法を用いる。具体的には、第３の実施形態と同様に第２の画像要約処理の結果に基づいた第１の画像要約処理を行い、その結果取得される第１の要約画像列に基づいて第２の要約画像列を更新できるかの判定を行う。更新処理が行えた場合には、更新処理後の第２の画像要約処理の結果に基づいた第１の画像要約処理を行い、その結果取得される新たな第１の要約画像列を出力要約画像列として取得する。

　具体例を図１４（Ａ）～図１４（Ｅ）に示す。図１４（Ａ）が最初に取得される第２の要約画像列を表し、図１４（Ｂ）が第２の画像要約処理の結果を用いない場合の第１の要約画像列を表す。本実施形態では第３の実施形態と同様に、第２の画像要約処理の結果を用いて第１の画像要約処理を行うため、取得される第１の要約画像列は図１４（Ｃ）となる。

　図１４（Ｃ）の第１の要約画像列が取得された後に、これを用いて図１４（Ａ）の第２の要約画像列の更新処理を実行できるか否かの判定を行う。具体的には第２の実施形態で上述したように、複数の連続画像列を結合連続画像列に結合できるか否かの判定を行うことになる。例えば、図１４（Ａ）の連続画像列Ｆ１とＦ２は、ともに隣り合う類似度要約画像Ｇ１とＧ２の間に含まれるため、結合判定の対象となる。

　この結果、図１４（Ｄ）のように第２の要約画像列が更新された場合、図１４（Ａ）のＦ３に示した物体要約画像は削除されることから、出力要約画像にＦ３に対応する画像を含めなくてもよいことになる。つまり、図１４（Ｃ）の第１の要約画像列のＧ１が不要となるため、第１の要約画像列についても変更する必要が生じる。具体的には、更新処理後の第２の要約画像列である図１４（Ｄ）に基づいて再度第１の画像要約処理を行えばよく、その結果新たな第１の要約画像列として図１４（Ｅ）が取得される。

　なお、図１４（Ｅ）を取得するに当たっては、入力画像列全体に対して処理を行ってもよい。ただし、第２の要約画像列が更新されたことで、図１４（Ｃ）のどの画像を削除する必要があるかはわかるため、削除対象であるＧ１の１つ前の類似度要約画像（Ｇ３）以前の画像については変化がないことは新たな第１の画像要約処理を行わずともわかることである。よって、変化が生じうる部分、つまり図１４（Ｃ）のＧ３で示した画像以降に対して処理を行うものとしてもよい。

　図１５は、本実施形態の統合処理を説明するフローチャートである。この処理が開始されると、まず第２の画像要約処理が行われる（Ｓ６０１）。Ｓ６０１の処理は図５の処理に相当する。次に、第２の画像要約処理の結果（狭義には第２の要約画像列）に基づいて、第１の画像要約処理を行う（Ｓ６０２）。Ｓ６０２の処理は図１３の処理に相当する。

　その後、第１の要約画像列に基づいて第２の要約画像列の更新処理を行う（Ｓ６０３）。Ｓ６０３の処理は図１０のＳ４０４～Ｓ４０６等の処理に相当する。そして、更新処理の結果、第２の要約画像列が変化したか（狭義には第２の要約画像列の要約画像の一部が削除されたか）の判定を行い（Ｓ６０４）、変化した場合には、更新処理後の第２の要約画像列に基づいて、第１の画像要約処理を行う（Ｓ６０５）。Ｓ６０５の処理後、或いはＳ６０４でＮｏの場合には、Ｓ６０６に移行し、対応する第１の要約画像列を出力要約画像列に設定して処理を終了する。Ｓ６０４でＹｅｓの場合には、Ｓ６０５での処理結果が出力要約画像列に設定されることになり、Ｓ６０４でＮｏの場合には、Ｓ６０２での処理結果が出力要約画像列に設定されることになる。

　なお、第２の画像要約処理の結果に基づいた第１の画像要約処理をステップＡとし、第１の要約画像列に基づいた第２の要約画像列の更新処理をステップＢとした場合に、以上の説明では、最初のステップＡ（図１５のＳ６０２に相当）とその結果を用いたステップＢ（Ｓ６０３）を実行し、ステップＢの結果を用いて２度目のステップＡ（Ｓ６０５）を行うものとしていた。ただし、入力画像列によっては２度目のステップＡの結果を用いて、２度目のステップＢを実行できる（更新処理の結果第２の要約画像列が変化する）可能性もあり得る。

　よって、本実施形態の変形例としては、ステップＡ及びステップＢを、１つ前のステップの結果を入れ込みつつ任意の回数繰り返し実行するものとしてもよい。この場合、Ｎ回目（Ｎは２以上の整数）のステップＡを行った段階で処理を終了して、その結果を出力要約画像列としてもよい。或いは、ステップＢを実行できなかった（或いは実行したが第２の要約画像列が変化しなかった）ことを検出した場合に、その直前のステップＡの結果を出力要約画像列としてもよい。

　以上の本実施形態では、統合処理部３００は、統合処理により、第１の画像要約処理部で生成された第１の要約画像列に基づいて、第２の要約画像列に含まれる画像の枚数を削減する第２の要約画像列の更新処理の実行可否判定を行う。

　これにより、第３の実施形態の手法を用いた場合の第１の要約画像列（第３の実施形態ではそのまま出力要約画像列となる）を用いて、第２の実施形態で用いた第２の要約画像列の更新処理が可能か否かの判定を行うことが可能になる。第１の要約画像列を求めた時点で、第３の実施形態で述べたとおり第１の画像要約処理と第２の画像要約処理の統合処理は行えているが、その結果は含まれる画像の枚数削減は考慮されていない。出力要約画像列の画像枚数を減らすことでユーザの利便性向上が図れるため、画像の枚数削減を試みることには利点があり、ここでは第２の実施形態で用いた第２の要約画像列の更新処理（具体的には連続画像列の結合処理等）を用いるものとする。

　また、統合処理部３００は、第２の要約画像列の更新処理が実行可能と判定された場合には、第２の要約画像列の更新処理を行ってもよい。そして、第１の画像要約処理部に対して、更新処理後の第２の画像要約処理の結果に基づいて、第１の画像要約処理を実行させる処理を、第１の画像要約処理と第２の画像要約処理の統合処理として行う。

　これにより、更新処理後の第２の画像要約処理の結果（更新後の第２の要約画像列）に基づいた第１の画像要約処理を行うことが可能になる。第２の要約画像列の更新処理を行うことで、第２の要約画像列に含まれる物体要約画像の枚数を削減することができる（図１４（Ａ）から図１４（Ｄ）へと削減される）が、出力要約画像列に対応する第１の要約画像列（図１４（Ｃ））にはそのままでは削除処理が反映されない。また、図１４（Ａ）におけるＦ３が更新処理により削除された場合に、第１の要約画像列から対応する画像（図１４（Ｃ）のＧ１）を単純に削除することは好ましくない。なぜなら、図１４（Ｂ）（第２の画像要約処理を考慮しない第１の画像要約処理の結果）から明らかなように、Ｈ３の次の類似度要約画像としてはＨ２（或いはＨ２よりもＨ３に近い画像）を選ばなくては、その間の画像は類似度の観点からカバーできないことになる。しかし、図１４（Ｃ）でＧ１を削除してしまうとＧ３の次の要約画像はＧ２になってしまい、間隔が広くなりすぎＧ３とＧ２間の画像をカバーしきれない。よって、図１４（Ａ）から図１４（Ｄ）のように、第２の要約画像列に対する更新処理が行われた場合には、図１４（Ｃ）から単純にＧ１を削除するのではなく、更新処理後の第２の要約画像列を用いて第１の画像要約処理を再度行って図１４（Ｅ）を取得することが望ましい。

　これにより、更新処理後の第２の要約画像列に基づいた第１の画像要約処理により取得された第１の要約画像列を出力要約画像列とすることが可能になる。本実施形態においても、第３の実施形態と同様に、第１の画像要約処理において、対象物体等の認識処理に基づく画像が残されることになるため、第１の要約画像列と第２の要約画像列との統合処理等は考慮しなくてもよい。なお、第２の要約画像列の更新処理を試みた結果、処理前後で変化がない（物体要約画像の削減ができなかった）場合も考えられる。その場合には、更新処理後の第２の要約画像列に基づいた第１の画像要約処理を行ったとしても、出力結果は更新処理前の第２の要約画像列に基づいた第１の画像要約処理と変わらないため、図１５のフローチャートに示したように、再度の第１の画像要約処理はスキップすることが望ましい。その場合には、出力要約画像列として取得される第１の要約画像列は、更新処理前の第２の要約画像列に基づくもの（図１５におけるＳ６０２の処理結果）となる。

　６．第５の実施形態
　第５の実施形態について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明した後、第１の削除可否判定処理、第２の削除可否判定処理の各処理の詳細について説明する。

　６．１　システム構成例
　図１７に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部３０と、記憶部５０を含む。

　処理部１００は、画像列取得部３０が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

　画像列取得部３０は、画像要約処理の対象となる画像列を取得する。取得する画像列は、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

　記憶部５０は、画像列取得部３０が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

　また、処理部１００は、図１７に示したように注目画像列設定部１００１と、第１の基準画像選択部１００２と、第１の判定対象画像選択部１００３と、第１の削除可否判定部１００４と、部分画像列設定部１００５と、第２の基準画像選択部１００６と、第２の判定対象画像選択部１００７と、第２の削除可否判定部１００８と、を含んでもよい。なお処理部１００は、図１７の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

　注目画像列設定部１００１は、画像列取得部３０が取得した画像列（以下、注目画像列や要約画像列等との区別を明確にするため、取得画像列とも表記する）を構成する複数の画像から注目画像を抽出し、抽出した１又は複数の注目画像から構成される注目画像列を設定する。ここで、注目画像とは例えば注目領域（病変部等）が撮像された画像のことである。注目領域の検出は処理部１００で行われることが想定され、例えば取得画像列の各画像に対して所与の画像処理を行うことで注目領域が撮像されたか否かを判定し、注目領域が撮像されている画像を注目画像とすればよい。注目領域の検出手法は種々考えられ、例えば画像からエッジ成分を抽出するものであってもよいし、画素値から色味等を判定する処理が行われてもよい。

　ただし、注目領域の検出が画像処理装置において行われるものには限定されず、例えば画像列取得部３０が、各画像に対して注目画像であるか否かを表すメタデータが付与された画像列を取得するものであってもよい。その場合、注目画像列設定部１００１は注目領域の検出処理を行う必要はなく、メタデータの読み出し処理に基づいて注目画像列を設定することになる。

　第１の基準画像選択部１００２は、注目画像列の複数の画像から第１の基準画像を選択する。第１の判定対象画像選択部１００３は、取得画像列の複数の画像のうち、第１の基準画像とは異なる画像を第１の判定対象画像として選択する。なお、第１の判定対象画像選択部１００３は、狭義には取得画像列の複数の画像のうち、注目画像ではない画像から第１の判定対象画像を選択する。

　第１の削除可否判定部１００４は、選択された第１の基準画像と第１の判定対象画像に基づいて、第１の判定対象画像の削除可否を判定する。詳細については後述する。

　部分画像列設定部１００５は、第１の削除可否判定部１００４での第１の削除可否判定処理の結果に基づいて、取得画像列の一部の画像から構成される部分画像列を設定する。部分画像列の数は１つに限定されず、複数の部分画像列が設定されてもよい。詳細については後述する。

　部分画像列が複数設定された場合、第２の基準画像選択部１００６、第２の判定対象画像選択部１００７、第２の削除可否判定部１００８での処理は、各部分画像列に対して独立に行われる。具体的には、部分画像列の複数の画像から第２の基準画像を選択する。第２の判定対象画像選択部１００７は、部分画像列の複数の画像のうち、第２の基準画像とは異なる画像を第２の判定対象画像として選択する。第２の削除可否判定部１００８は、選択された第２の基準画像と第２の判定対象画像に基づいて、第２の判定対象画像の削除可否を判定する。各処理の詳細については後述する。

　６．２　処理の流れ
　図１８に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まず取得画像列の複数の画像から注目画像を抽出し、注目画像列を設定する（Ｓ７０１）。そして、注目画像列から第１の基準画像を選択する（Ｓ７０２）。Ｓ７０２の処理が初めて行われる場合には、注目画像列に含まれる画像のうち先頭の画像を第１の基準画像とすればよい。図１６（Ａ）の例であれば、Ｊ１で示した注目画像が最初の第１の基準画像となる。また、Ｓ７０２の２回目以降の処理では現在の第１の基準画像の注目画像列における位置に基づいて、第１の基準画像を更新する処理を行う。具体的には、注目画像列において、現在の第１の基準画像よりも１つ後方の画像を新たな第１の基準画像とすればよい。図１６（Ａ）の例では、現在の第１の基準画像がＪ１の画像であれば、新たな第１の基準画像としてＪ２の画像を選択することになる。

　第１の基準画像が選択されたら、取得画像列から第１の判定対象画像を選択する。ここではＳ７０２の処理が初めて行われる場合には、取得画像列に含まれ、且つ注目画像列に含まれない画像のうち、取得画像列において最も前にある画像を第１の判定対象画像とする。また、Ｓ７０３の２回目以降の処理では現在の第１の判定対象画像の取得画像列における位置に基づいて、第１の判定対象画像を更新する処理を行う。具体的には、取得画像列に含まれ、且つ注目画像列に含まれない画像のうち、取得画像列において、現在の第１の判定対象画像よりも１つ後方の画像を新たな第１の判定対象画像とすればよい。

　第１の基準画像と、第１の判定対象画像が選択されたら、第１の削除可否判定処理を行う（Ｓ７０４）。ここでは被覆率に基づく判定を行うものであり、具体的な処理は後述する。Ｓ７０４の処理後は、その時点での第１の判定対象画像が削除可能であるか削除不可であるかという情報を記憶し、Ｓ７０３に戻る。Ｓ７０３，Ｓ７０４での処理が繰り返されることで、取得画像列に含まれ、且つ注目画像列に含まれない画像が順次第１の判定対象画像として選択されて、選択された各画像に対して削除可能或いは削除不可という結果が求められる。

　取得画像列に含まれ、且つ注目画像列に含まれない画像のうち、取得画像列において最後の画像についてＳ７０４の判定が行われると、Ｓ７０３に戻った際に第１の判定対象画像として選択する画像がないということになり、Ｓ７０２に戻る。Ｓ７０２では、第１の基準画像の更新処理が行われ、更新された場合にはＳ７０３，Ｓ７０４の処理を繰り返すことで、新たな第１の基準画像を用いて、取得画像列に含まれ、且つ注目画像列に含まれない全ての画像（図１６（Ａ）の例ではＪ１～Ｊ３以外の全ての画像）の削除可否判定が行われる。

　そして、注目画像列の最後の画像（図１６（Ａ）の例ではＪ３）を第１の基準画像とし、当該第１の基準画像を用いたＳ７０３，Ｓ７０４の処理による削除可否判定が終わってＳ７０２に戻った際に、Ｓ７０２において第１の基準画像として選択する画像がないということになり、第１の削除可否判定処理を終了してＳ７０５に移行する。

　以上の処理により、取得画像列に含まれ、且つ注目画像列に含まれない各画像について、削除可能であるか否かの判定が行われる。なお、注目画像が複数有る場合には、各画像について複数回削除可否判定が行われるが、ここでは、少なくとも１回削除可能と判定された画像は削除可能であるものとする。なぜなら、本実施形態では注目画像は全て要約画像列に残されるものとしており、その注目画像のうちどれか１つによりカバーされているのであれば、他の注目画像によりカバーされていなかったとしても、削除することに問題はないためである。

　この結果、削除可能とされた画像は要約画像列に残さないものとして確定させる。しかし、削除不可とされた画像については、要約画像列に残すものとは確定せず、さらに第２の削除可否判定処理を行う。なぜなら、削除不可とされた画像は、注目画像によりカバーされていないというだけであり、削除不可とされた画像のうち所与の画像により他の画像がカバーされるのであれば、当該他の画像は削除しても問題ないためである。

　ここで、第１の削除可否判定処理で削除不可である画像は、その全てが連続するとは限らない。例えば、第１の削除可否判定処理の結果、図１６（Ｃ）に示したように注目画像により削除可能となる区間が求められた場合には、Ｉ２～Ｉ４に示したように、削除不可である画像は３つの部分に分かれている。この際に、削除不可である画像全体に対して削除可否判定処理を行うのは非効率である。なぜなら、複数の部分のうち、第１の部分と第２の部分は取得画像列において離れていることから、撮像対象である被写体も変化している可能性が高く、第１の部分の画像により第２の部分の画像が削除可能となる可能性は低いことが想定される。つまり、複数の部分にまたがった処理を行う必要性は低く、各部分で閉じた処理を行えば十分である。

　よってここでは、取得画像列において、第１の削除可否判定処理で削除不可とされた画像が連続する区間を検出し、当該区間に相当する画像から構成される部分画像列を設定する（Ｓ７０５）。図１６（Ｄ）の例ではＩ５～Ｉ７の３つの部分画像列が設定されることになる。なお、第１の削除可否判定処理で削除不可とされた画像が１枚であり、連続していない場合には部分画像列として設定しない。なぜなら、各部分画像列に対して閉じた処理を行う以上、１枚の画像から構成される部分画像列を設定しても、部分画像列の所与の画像により他の画像が削除できるという状況は起こりえないためである。よって、第１の削除可否判定処理で削除不可とされた連続しない１枚の画像については、第２の削除可否判定処理を行うことなく、要約画像列に残す画像として確定させる。

　部分画像列が設定されたら、当該部分画像列の先頭の画像を第２の基準画像として選択する（Ｓ７０６）。そして、部分画像列に含まれる画像のうち、第２の基準画像以外の画像から第２の判定対象画像を選択する（Ｓ７０７）。ここでは、第２の基準画像の設定後に初めてＳ７０７の処理が行われる場合には、第２の基準画像の１つ後方の画像（部分画像列の２番目の画像）を第２の判定対象画像とする。また、Ｓ７０８の後にＳ７０７の処理が行われる場合には、現在の第２の判定対象画像の部分画像列における位置に基づいて、第２の判定対象画像の更新処理が行われる。具体的には、部分画像列において、現在の第２の判定対象画像よりも１つ後方の画像を新たな第２の判定対象画像とすればよい。

　第２の基準画像、第２の判定対象画像が選択されたら、第２の削除可否判定処理が行われる（Ｓ７０８）。本実施形態では第１の削除可否判定処理と同様に、被覆率に基づく判定処理が行われるものであり、詳細については後述する。

　Ｓ７０８で削除可能と判定された場合には、Ｓ７０７に戻り第２の判定対象画像を更新する。Ｓ７０７，Ｓ７０８の処理を繰り返し、部分画像列における最後の画像を第２の判定対象画像とした際に、Ｓ７０８で削除可能とされＳ７０７に戻った場合には、第２の基準画像により部分画像列の他の画像が全てカバーされるということであるため、第２の基準画像を要約画像列に残し、他の画像を全て削除するものとして、当該部分画像列に対する処理を終了する。具体的には、Ｓ７０７において第２の判定対象画像として選択する画像がないということになり、Ｓ７０５に戻る。

　一方、少なくとも１つの第２の判定対象画像が削除不可とされた場合には、その時点での第２の判定対象画像は第２の基準画像ではカバーできないということであるから、要約画像列に残す必要がある。よって、Ｓ７０８で削除不可の場合には、Ｓ７０５に戻り、その時点での第２の判定対象画像、及び部分画像列におけるそれ以降の画像から構成される画像列を新たな部分画像列として設定する。この新たな部分画像列に対してＳ７０６～Ｓ７０８の処理を行うことで、新たな部分画像列の先頭の画像、つまり上述の処理において削除不可とされた第２の判定対象画像を第２の基準画像として設定できる（要約画像列に残すことができる）。

　Ｓ７０５では、第１の削除可否判定処理の結果設定された１又は複数の部分画像列、及びそれらに対するＳ７０６～Ｓ７０８の処理結果として新たに設定された部分画像列を順次選択することになる。そして、全ての部分画像列に対して処理が終了したら（Ｓ７０５で選択する部分画像列がなかったら）、本実施形態の画像要約処理を終了する。なお、本実施形態では、第２の基準画像として設定された画像は要約画像列に残されることになり、他の画像は削除されることになる。

　第１の削除可否判定処理の結果設定された部分画像列のうちの１つの画像列に対する処理の流れを図示したものが図１９（Ａ）～図１９（Ｄ）である。図１９（Ａ）に示したように、Ｎ枚の画像を有する画像列が第１の削除可否判定処理の結果部分画像列として設定された場合には、まず１番目の画像が第２の基準画像として選択され、２番目の画像が第２の判定対象画像として選択される。そして、第２の判定対象画像の削除可否が判定される。

　第２の判定対象画像が削除可能と判定された場合には、新たに第２の判定対象画像を選択する。具体的には第２の判定対象画像の位置を後ろにずらす処理となり、図１９（Ｂ）に示したように３番目の画像が第２の判定対象画像として選択される。そして、新たな第２の判定対象画像の削除可否が判定され、削除不可と判定される第２の判定対象画像が見つかるまで、第２の判定対象画像として選択される画像を更新していく。

　図１９（Ｃ）に示したように、２番目～ｋ－１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目～ｋ－１番目までの画像とは第２の基準画像によりある程度カバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は第２の基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像とそれ以降の画像（ｋ～Ｎ番目の画像）を新たな部分画像列として設定する。

　そして、この新たな部分画像列に対して再度図１９（Ａ）～図１９（Ｃ）の処理を繰り返せばよい。具体的には図１９（Ｄ）に示したように、Ｎ－ｘ＋１枚の画像からなる新たな部分画像列に対して、先頭（図１９（Ｃ）等ではｋ番目）の画像を第２の基準画像、２番目（図１９（Ｃ）等ではｋ＋１番目）の画像を第２の判定対象画像として処理を行う。以降の処理は同様であり、第２の判定対象画像が削除可能と判定されたら、次の画像を新たな第２の判定対象画像として選択する。また、第２の判定対象画像が削除不可と判定されたら、第２の基準画像を要約画像列に残し、削除可能と判定された画像を削除し、その時点での第２の判定対象画像以降の画像を新たな部分画像列に設定する。最終的には、部分画像列の最後の画像まで全て削除可能と判定された場合、或いは部分画像列に含まれる画像が１枚のみであり第２の判定対象画像が設定できなかった場合に処理が終了することになる。

　なお、図１８のフローチャートでは、第１の削除可否判定処理の結果、複数の部分画像列が設定された場合には、当該複数の部分画像列を１つずつ順次処理していくものとしたが、これに限定されるものではない。処理部１００の構成が並列処理に適している（例えば処理部１００として複数のコアを有するＣＰＵが用いられている）場合や、複数のコンピュータにより本実施形態の画像処理装置が構成され、各コンピュータで分散処理が行われる場合等では、複数の部分画像列に対して並列に第２の削除可否判定処理を行ってもよい。このようにすれば、第２の削除可否判定処理に要する時間を短縮すること等が可能になる。

　６．３　第１の削除可否判定処理
　次に、第１の削除可否判定処理の具体例として、被覆率を用いた処理について説明する。図２０に示したように、第１の削除可否判定部１００４は、変形情報取得部１００９と、被覆領域算出部１０１０と、被覆率算出部１０１１と、閾値判定部１０１２と、を含んでもよい。ただし、第１の削除可否判定部１００４は、図２０の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　変形情報取得部１００９は、２つの画像間の変形情報を取得する。変形情報については上述したとおりである変形情報取得部１００９は、第１の基準画像選択部１００２で選択された第１の基準画像と、第１の判定対象画像選択部１００３で選択された第１の判定対象画像の間の変形情報を取得する。

　被覆領域算出部１０１０は、２つの画像間の変形情報（変形パラメータ）を利用して、一方の画像を他方の画像へ射影して被覆領域を求める。被覆率算出部１０１１は、被覆領域に基づいて被覆率を算出する。閾値判定部１０１２は、算出された被覆率と所与の閾値との比較処理を行う。具体的な処理内容は第１の実施形態等と同様であるため、詳細な説明は省略する。

　６．４　第２の削除可否判定処理
　次に第２の削除可否判定処理について説明する。本実施形態では、第２の削除可否判定処理も被覆率に基づいて行われる。図２１に示したように、第２の削除可否判定部１００８は、変形情報取得部１０１３と、被覆領域算出部１０１４と、被覆率算出部１０１５と、閾値判定部１０１６と、を含んでもよい。ただし、第２の削除可否判定部１００８は、図２１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　変形情報取得部１０１３は第２の基準画像と第２の判定対象画像の間の変形情報を取得する。被覆領域算出部１０１４は、第２の基準画像と第２の判定対象画像との間の変形情報に基づいて、第２の基準画像を変形して第２の判定対象画像上に射影して被覆領域を算出する。被覆率算出部１０１５は、第２の判定対象画像全体の面積に対する被覆領域の面積等から被覆率を求める。閾値判定部１０１６は、算出された被覆率と所与の閾値との比較処理を行う。なお、第２の削除可否判定処理で用いる閾値は、第１の削除可否判定処理で用いる閾値と異なる値であってもよい。

　本実施形態では第１の削除可否判定処理と、第２の削除可否判定処理は同様の処理となる。つまり、変形情報取得部は、１００９と１０１３の２つが設けられる必要はなく、１つにまとめられてもよく、その他の各部についても同様である。よって、本実施形態の処理部１００は、変形情報取得部と、被覆領域算出部と、被覆率算出部と、閾値判定部とを含み、それらの各部が第１の削除可否判定処理と第２の削除可否判定処理の両方を行うものであってもよい。

　以上の本実施形態では、画像処理装置は図１７に示したように、複数の画像を有する画像列を取得する画像列取得部３０と、画像列取得部３０が取得した画像列の複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部１００を含む。処理部１００は、複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定する。そして、設定した注目画像列から第１の基準画像を選択するとともに、複数の画像から第１の判定対象画像を選択し、第１の基準画像と第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行う。また、処理部１００は、画像列から、第１の削除可否判定処理において削除不可と判定された画像が複数連続する部分画像列を設定する。そして、処理部１００は、部分画像列から第２の基準画像と第２の判定対象画像を選択し、第２の基準画像と第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行う。

　ここで、注目画像とはユーザとって注目すべき画像のことであり、例えば特定の被写体が撮像されている画像であってもよいし、特定の色味を持った画像であってもよい。また、注目画像か否かは画像そのものから（例えば画像処理等により）決定されることに限定されず、例えば撮像装置に設けられたセンサからのセンサ情報をメタデータとして画像に付与しておき、当該メタデータに基づいて注目画像か否かが決定されてもよい。

　これにより、注目画像か否かという観点と、複数の画像間の変形情報に基づき残す画像により削除する画像がカバーされているか否かという観点の２つの観点を用いた画像要約処理ができるため、効果的な画像要約処理を行うことが可能になる。ただし、各観点の処理を行い、結果を単純に組み合わせただけでは、図１６（Ｂ）に示すように画像枚数の削減効果が十分でない。よってここでは、残すことが確定している注目画像を基準とした第１の削除可否判定処理と、注目画像基準では削除できない部分画像列に対する第２の削除可否判定処理の２段階処理を行うことで、効率的な画像要約処理を可能にしている。なお、第１の削除可否判定処理における第１の判定対象画像は、画像列の複数の画像全体から選択されてもよいが、処理効率を考慮すれば狭義には複数の画像のうち、注目画像列に含まれない画像から選択される。

　また、処理部１００は、第１の被覆率判定処理、及び第１の構造要素判定処理の少なくとも一方の処理を、第１の削除可否判定処理として行ってもよい。また、処理部１００は、第２の被覆率判定処理、及び第２の構造要素判定処理の少なくとも一方の処理を、第２の削除可否判定処理として行ってもよい。ここで、第１の被覆率判定処理は、第１の変形情報に基づいて、第１の基準画像による第１の判定対象画像の被覆率を求め、求めた被覆率に基づいて第１の判定対象画像の削除可否を判定する処理である。第１の構造要素判定処理は、注目領域に対応する構造要素及び第１の変形情報を用いた処理の結果に基づいて、第１の判定対象画像の削除可否を判定する処理である。同様に、第２の被覆率判定処理は、第２の変形情報に基づいて、第２の基準画像による第２の判定対象画像の被覆率を求め、求めた被覆率に基づいて第２の判定対象画像の削除可否を判定する処理である。第２の構造要素判定処理は、注目領域に対応する構造要素及び前記第２の変形情報を用いた処理の結果に基づいて、前記第２の判定対象画像の削除可否を判定する処理である。

　これにより、変形情報を用いた処理として、被覆率を用いた処理、及び第２の実施形態で詳述する構造要素を用いた処理の少なくとも一方の処理を行うことが可能になる。被覆率を用いた場合には、所与の画像を削除したとしても、その画像のある程度の割合（例えば面積を基準とした割合）の領域は、要約画像列に残す要約画像によりカバーされることを保証でき、画像要約処理により観察できなくなる領域の発生を抑止できる。また、構造要素を用いた場合には、所与の画像を削除したとしても、その画像に撮像された構造要素に対応するサイズの領域の少なくとも一部は、要約画像に撮像されることを保証できる。よって、注目領域に対応する構造要素を設定することで、画像要約処理により観察できなくなる注目領域が発生することを抑止できる。

　また、処理部１００は、複数の画像から注目領域を検出する処理を行い、複数の画像のうち、注目領域が検出された画像を注目画像として設定してもよい。

　これにより、注目領域に基づいて注目画像を設定することが可能になる。ここでの注目領域は、構造要素の設定基準となる注目領域と同様のものであることが想定されるが、異なる注目領域を設定してもよい。例えば、注目画像はエッジ成分の多い領域を注目領域として設定し（例えば生体内のヒダや血管構造等を抽出する）、構造要素は病変部を注目領域として設定する（例えば所与の大きさ以上の病変見逃しを抑止する）といった手法を用いてもよい。

　また、画像列取得部３０は、画像列として、生体内を撮像した複数の生体内画像を取得してもよい。処理部１００は、複数の生体内画像から、病変領域を注目領域として検出する処理を行い、複数の生体内画像のうち、病変領域が検出された画像を注目画像として設定する。

　これにより、注目領域として病変領域を用いた処理を行うことができるため、例えばカプセル内視鏡等で取得された画像を用いた診断等に用いることが可能になる。

　また、以上の本実施形態は、撮像部（例えば内視鏡スコープの先端部等に設けられる）と、上記の画像処理装置と、を含む内視鏡装置に適用してもよい。

　また、処理部１００は、部分画像列を複数設定した場合には、複数の部分画像列に対して並列に第２の削除可否判定処理を行ってもよい。

　これにより、第２の削除可否判定処理の部分を並列処理により行うことができるため、処理の高速化が可能になる。

　また、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

　７．第６の実施形態
　次に、第１の削除可否判定処理、及び第２の削除可否判定処理の他の手法について説明する。本実施形態の画像処理装置の構成例は、第１の削除可否判定部１００４、及び第２の削除可否判定部１００８での処理内容が異なるものの、図１７と同様であるため詳細な説明は省略する。また、処理の流れについても、Ｓ７０４及びＳ７０８での処理内容が異なるものの、図１８のフローチャートと同様であるため詳細な説明は省略する。

　７．１　構造要素を用いた削除可否判定
　まず、第１の削除可否判定処理及び第２の削除可否判定処理として、注目領域に対応した構造要素を用いた処理を行う例について説明する。ここでの注目領域は、図１７の注目画像列設定部１００１で用いられる注目画像の基準と同一のものである（例えば、病変部が撮像された画像を注目画像として注目画像列を設定したのであれば、ここでの構造要素も病変部に基づいて設定される）としてもよいし、別のものであってもよい。

　ここで、注目画像列の設定における注目領域と、第１の削除可否判定処理での注目領域が同一のものであるとした場合、注目領域が撮像された画像は注目画像列に含まれるため、要約画像列に残されることが想定されている以上、第１の削除可否判定において注目領域の見逃し可能性を判定することに意味があるのかという疑問も生じる。しかし、画像要約処理が必要なほど大量の画像を処理対象としている以上、注目領域の検出はシステムにより自動的に行われることが自然である。その場合、注目領域を１００％の精度で検出することは困難であり、注目領域が撮像されながら検出できない（注目画像とすることができない）画像が生じうる。そのような画像における注目領域も見逃すことなく観察しようとすれば、注目領域の見逃し可能性に基づく判定を行うことには意味があり、以下で説明するように注目画像列の設定に用いた注目領域と同等の注目領域を、構造要素の設定に用いることにも利点があると言える。

　なお、第２の削除可否判定処理は第１の削除可否判定処理と同様となるため、詳細な説明は省略し、第１の削除可否判定処理について説明する。

　図２２に示したように、第１の削除可否判定部１００４は、構造要素生成部１０１７と、変形情報取得部１００９と、被覆領域算出部１０１０と、注目領域見逃し可能性判定部１０１８と、を含んでもよい。ただし、第１の削除可否判定部１００４は、図２２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

　構造要素生成部１０１７は、注目領域に基づいて、注目領域見逃し可能性判定部１０１８での処理に用いられる構造要素を生成する。ここでは、見逃しが好ましくない注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。

　被覆領域算出部１０１０は、被覆領域を算出するとともに、第２の判定対象画像のうち被覆領域ではない領域を非被覆領域として設定してもよい。

　注目領域見逃し可能性判定部１０１８は、第１の判定対象画像を削除した場合に、第１の判定対象画像上に撮像された注目領域が、第１の基準画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。

　具体的な処理の流れを説明する。構造要素生成部１０１７は、注目領域に基づいて構造要素を生成しておく。ここでは、注目領域の典型的な大きさ等を考慮して、見逃すことが好ましくないサイズ、形状の領域を構造要素として設定する。例えば、注目領域が病変部であり、画像上で直径３０ピクセルの円よりも大きい病変は深刻度が高く見逃すべきではない、ということがわかっているのであれば、構造要素は直径３０ピクセルの円を設定することになる。

　第１の基準画像と第１の判定対象画像が選択されたら、変形情報取得部１００９は、第１の基準画像と第１の判定対象画像の間の変形情報を取得する。被覆領域算出部１０１０は、取得された変形情報を利用して、第１の基準画像を第１の判定対象画像上へ射影し、被覆領域を求める。

　被覆領域が算出されたら、注目領域見逃し可能性判定部１０１８は、注目領域の見逃し可能性を判定する。具体的には、第１の判定対象画像のうち被覆領域以外の領域である非被覆領域に対して、構造要素を用いた収縮処理を行い、残留領域があるか否かの判定を行う。

　収縮処理の具体例について図２３（Ａ）～図２３（Ｅ）を用いて説明する。非被覆領域は図２３（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図２３（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。

　この際、構造要素による収縮処理とは、当該構造要素の基準点を非被覆領域の境界上に設定した場合に、非被覆領域と構造要素の重複領域を削る処理となる。例えば、構造要素として円形状の領域を設定し、その基準点を円の中心とした場合には、非被覆領域の境界上に中心を有する円を描き、当該円と非被覆領域とが重なる部分を非被覆領域から除外する処理を行うことになる。具体的には、図２３（Ａ）に示したように、非被覆領域の外側境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

　外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図２３（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域を非被覆領域から除外していけばよい。

　非被覆領域の境界の一部が判定対象画像の境界と一致する場合等では、非被覆領域の境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図２３（Ａ）に示したように、非被覆領域の境界としてＢＯ１とＢＯ２の２つが考えられる場合には、それぞれについて上述の処理を行う。具体的には、図２３（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、非被覆領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

　このような収縮処理を行うことで、非被覆領域の面積は小さくなる。例えば、図２３（Ａ）の非被覆領域の左部に着目した場合、図２３（Ａ）で示したＢＯ１での収縮処理、及び図２３（Ｂ）で示したＢＯ２での収縮処理により、非被覆領域は完全に削除され、残留する領域は存在しない。一方、非被覆領域の右下部分に着目した場合、図２３（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの非被覆領域全体に対して構造要素による収縮処理を行った結果は、図２３（Ｄ）のようになり、残留領域ＲＥが生じることになる。

　ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である非被覆領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、非被覆領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径Ｒ（＝ｒ）の円で表される注目領域が、残留領域中の点をその中心とすることで、非被覆領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

　つまり、残留領域が存在する場合とは、図２３（Ｅ）の右下に示したように、構造要素に対応する領域が非被覆領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、第１の判定対象画像を削除してしまうと、第１の基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図２３（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、第１の判定対象画像を削除したとしても、注目領域の少なくとも一部は第１の基準画像に残すことができる。以上のことより、注目領域見逃し可能性判定部１０１８では、非被覆領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かに基づいて、第１の判定対象画像の削除可否判定を行う。

　７．２　削除可否判定の変形例
　上述したように、第１，第２の削除可否判定処理としては、被覆率を用いたものや構造要素を用いたものが考えられる。ただし、第１，第２の削除可否判定処理はそれらを単体で用いる処理に限定されず、複数を組み合わせてもよい。

　例えば、第１の削除可否判定処理として、被覆率を用いた処理と構造要素を用いた処理の両方を行い、第２の削除可否判定処理としても、被覆率を用いた処理と構造要素を用いた処理の両方を行ってもよい。この場合、観察できなくなる領域の発生を抑止し、且つ注目領域の見落とし可能性を抑止することで要約画像列の有用性を高めるという観点から考えれば、被覆率に基づく判定で削除可能とされ、且つ構造要素に基づく判定で削除可能とされた場合に削除可能として、それ以外の場合には削除不可とすればよい。なお、第１の削除可否判定処理での被覆率との比較処理に用いる閾値と、第２の削除可否判定処理での被覆率との比較処理に用いる閾値とは同一のものであってもよいし、異なるものであってもよい。同様に、第１の削除可否判定処理で用いる構造要素（狭義にはそのサイズ）と、第２の削除可否判定処理で用いる構造要素（狭義にはそのサイズ）は同一のものであってもよいし、異なるものであってもよい。

　また、第１の削除可否判定処理と第２の削除可否判定処理は同一の処理であるものに限定されない。例えば、第１の削除可否判定処理は被覆率に基づく処理であり、第２の削除可否判定処理は被覆率に基づく処理と構造要素に基づく処理の両方の処理であってもよい。このようにすれば、複数の観点（上述の例では被覆率と構造要素）を用いた処理が第１，第２の削除可否判定処理の少なくとも一方で行われるため、単一観点の処理に比べて判定精度の向上が期待でき、且つ所与の観点（上述の例では構造要素）での処理は第１，第２の削除可否判定処理の一方では省略できるため、第１，第２の削除可否判定処理の両方において全ての観点を用いて処理を行う場合に比べて、処理負荷を軽減することが可能になる。

　ただし２つの観点を用いるのであれば、第１，第２の削除可否判定処理の少なくとも一方の処理では、両方の観点での処理が用いられることが望ましい。例えば、第１の削除可否判定処理では被覆率を用い、第２の削除可否判定処理では構造要素を用いる、といったことは避けるとよい。なぜなら、処理対象となる画像によっては被覆率単体、或いは構造要素単体での処理では十分な精度が出せない可能性があるからである。被覆率と構造要素の両方を用いることで判定精度が向上するというのは、ある基準画像と判定対象画像の組み合わせにおいて両方の処理を行うからこそ実現されるものである。しかし、第１の削除可否判定処理での第１の基準画像と第１の判定対象画像の組み合わせと、第２の削除可否判定処理での第２の基準画像と第２の判定対象画像の組み合わせとは、上述の選択手法に従えば重複することはない。つまり第１の削除可否判定処理では被覆率を用い、第２の削除可否判定処理では構造要素を用いるような例では、画像要約処理全体としてみれば、被覆率と構造要素の両方を用いて処理しているとはいえ、それぞれは別個独立に用いられているに過ぎず、判定精度の向上効果が十分でない可能性がある。それにもかかわらず、処理部１００が複数の異なる削除可否判定処理を実行できなくてはならないため、システム構成として効率的ではない。

　なお、被覆率とも構造要素とも異なる観点を導入して、３つ以上の観点による削除可否判定処理を行ってもよい。その場合、第１の削除可否判定処理と第２の削除可否判定処理の少なくとも一方の処理では、全ての観点を用いた処理を行うことが望ましい。

　以上の本実施形態では、処理部１００は、第１の削除可否判定処理として、第１の被覆率判定処理を行う場合には、第２の削除可否判定処理として、第２の被覆率判定処理を行ってもよい。また、処理部１００は、第１の削除可否判定処理として、第１の構造要素判定処理を行う場合には、第２の削除可否判定処理として、第２の構造要素判定処理を行ってもよい。

　これにより、第１，第２の削除可否判定処理として、被覆率に基づいた判定処理を行うことが可能になる。同様に、第１，第２の削除可否判定処理として、構造要素に基づいた判定処理を行うことが可能になる。この場合、第１，第２の削除可否判定処理は単一の観点による処理で実現できるため、被覆率と構造要素の両方を併用する場合に比べて、処理負荷を軽くすることができる。

　また、処理部１００は、第１の被覆率判定処理及び第１の構造要素判定処理の両方の処理を、第１の削除可否判定処理として行ってもよい。また、処理部１００は、第２の被覆率判定処理及び第２の構造要素判定処理の両方の処理を、第２の削除可否判定処理として行ってもよい。

　これにより、第１の削除可否判定処理と第２の削除可否判定処理の少なくとも一方は、被覆率判定処理と構造要素判定処理の両方の処理が行われることになり、第１，第２の削除可否判定処理がともに被覆率判定処理だけの場合、或いは第１，第２の削除可否判定処理がともに構造要素判定処理だけの場合に比べて、判定精度を向上させることが可能になる。なお、当然第１の削除可否判定処理と第２の削除可否判定処理の両方で、被覆率判定処理と構造要素判定処理の両方の処理が行われてもよい。ただし、第１，第２の削除可否判定処理のどちらか一方の処理を簡略化する（例えば構造要素判定処理を省略する）ことで、処理負荷を軽くすることができる。

　また、第１の被覆率判定処理は、第１の基準画像による第１の判定対象画像の被覆率を表す値と、第１の被覆率閾値との比較結果に基づく判定処理であってもよい。第１の構造要素判定処理は、第１のサイズの要素を構造要素として設定し、設定した構造要素による収縮処理、又は第１の基準画像により第１の判定対象画像が覆われない領域に、設定した構造要素が含まれるか否かを判定する処理であってもよい。

　同様に、第２の被覆率判定処理は、第２の基準画像による第２の判定対象画像の被覆率を表す値と、第２の被覆率閾値との比較結果に基づく判定処理であってもよい。第２の構造要素判定処理は、第２のサイズの要素を構造要素として設定し、設定した構造要素による収縮処理、又は第２の基準画像により第２の判定対象画像が覆われない領域に、設定した構造要素が含まれるか否かを判定する処理であってもよい。

　これにより、被覆率に基づく判定処理として、求めた被覆率と閾値との比較処理を行うことが可能になる。図２のように被覆率を求めれば、判定処理自体は閾値との比較を行えばよいため処理が容易である。また、構造要素に基づく判定処理として、図２３（Ａ）～図２３（Ｅ）に示したような構造要素を用いた収縮処理を行うことが可能になる。ただし、構造要素による収縮処理の対象は非被覆領域に限定されるものではない。

　例えば、図２４（Ａ）に示したように、判定対象画像を対象として構造要素による収縮処理を行ってもよい。この場合、収縮処理により削られる領域内に注目領域が完全に収まってしまわないように設定する（典型的には構造要素として注目領域の２倍のサイズの要素を設定する）ことで、図２４（Ｂ）に示したように、残存領域は基準画像により被覆されることが求められる要被覆領域となる。つまりこの場合、要被覆領域全体が基準画像により被覆されているか否かにより削除可否判定を行えばよく、具体的には図２５（Ａ）、図２５（Ｂ）に示したように、基準画像及び要被覆領域の一方を変形情報により変形し、変形後の領域を用いた包含判定を行えばよい。要被覆領域が基準画像に包含される場合には、判定対象画像は削除可能となり、包含されない部分があれば判定対象画像は削除不可となる。

　また、構造要素を用いた削除可否判定処理は収縮処理を用いるものに限定されず、非被覆領域に構造要素が含まれるか否かを判定する処理であればよい。例えば、図２６（Ａ）や図２６（Ｂ）に示したように、被覆領域の境界上の点（ｐ１～ｐ６等）から判定対象画像の境界までの距離（ｋ１～ｋ６等）、或いは判定対象画像の境界上の点から被覆領域の境界までの距離に基づいて、非被覆領域の最大径に相当する値を求め、求めた値と構造要素（この場合注目領域と同等のサイズ）の最小径との比較処理を行うような、簡易的な手法であってもよい。

　また、処理部１００は、第２の被覆率閾値として、第１の被覆率閾値とは異なる値を設定してもよい。また、処理部１００は、第２のサイズとして、第１のサイズとは異なるサイズを設定してもよい。

　これにより、第１の削除可否判定処理と第２の削除可否判定処理で、同一観点の処理を行う場合であっても、それぞれで判定の基準値を変更することが可能になり、柔軟な２段階判定処理が実現できる。

　８．第７の実施形態
　第５の実施形態では、第２の削除可否判定処理における第２の基準画像と第２の判定対象画像の選択手法として、図１９（Ａ）～図１９（Ｄ）の手法を説明した。しかし、第２の基準画像と第２の判定対象画像の選択手法は図１９（Ａ）～図１９（Ｄ）の手法に限定されるものではない。本実施形態では、第２の基準画像として２枚の画像（前方基準画像と後方基準画像）を設定し、その間の画像を第２の判定対象画像とする手法について説明する。

　基準画像が２枚あるが、この際の被覆領域は図２に示したように、前方基準画像を前方基準画像と第２の判定対象画像との間の変形情報に基づいて変形して求めた領域と、後方基準画像を後方基準画像と第２の判定対象画像との間の変形情報に基づいて変形して求めた領域との和集合となる領域を被覆領域とすればよい。なぜなら、前方基準画像と後方基準画像の少なくとも一方によりカバーされていれば、第２の判定対象画像は削除しても問題ないためである。なお、被覆領域算出後の処理は、被覆率を用いる手法でも構造要素を用いる手法でも上述したものと同様である。

　前方基準画像と後方基準画像により間の画像が全て削除可能と判定された場合とは、前方基準画像と後方基準画像を要約画像列に残せば、その間の画像を全て削除してもよいということである。しかし、画像要約処理後の画像枚数の削減効果を高めるのであれば、間の画像を全て削除可能という条件を満たしつつ、前方基準画像と後方基準画像をできるだけ離れた位置に設定することが望ましい。よってここでは、前方基準画像は固定して、後方基準画像の位置を変化させつつ、最適な位置を探索することになる。具体的には、図３（Ａ）、図３（Ｂ）に示した手法を用いる。

　以下、文章を簡略化するために、第ｑの画像を後方基準画像として選択して削除可否判定を行った結果、前方基準画像と後方基準画像の間の画像が全て削除可能と判定された状況を「第ｑの画像がＯＫである」と表記し、前方基準画像と後方基準画像の間の少なくとも１枚の画像が削除不可である状況を「第ｑの画像がＮＧである」と表記する。

　ここでは、部分画像列として第１～第Ｎの画像が入力され、第１の画像を前方基準画像、第ｑの画像を後方基準画像として選択して、最適な後方基準画像の位置を探索する場合に、第２～第ｑ－１の画像を順次第２の判定対象画像として選択し、第ｑの画像がＯＫかＮＧかを判定する。第ｑの画像がＯＫである場合には、前方基準画像と後方基準画像の間隔をもっと広げてもよい可能性があるということであるから、新たな後方基準画像を第ｑ＋１の画像及びその後方の画像から選択する。一方、第ｑの画像がＮＧである場合には、前方基準画像と後方基準画像の間を広げすぎたということであるから、基本的には第ｑの画像よりも前方の画像を新たな後方基準画像として選択することで前方の画像について判定を行うことになる。

　つまり、本実施形態では終了条件を満たすまでは、ＯＫの場合は後方に、ＮＧの場合は前方に後方基準画像を更新することで、前方基準画像の次の要約画像を探索することになる。新たな後方基準画像の位置を適切に更新することで、次の要約画像の発見までに後方基準画像として選択される画像の枚数を減らすことができ、計算量の削減効果も期待できる。以下、本実施形態の手法を詳細に説明する。

　本実施形態では、図２７に示したように第２の基準画像選択部１００６は、前方基準画像選択部１０１９と、後方基準画像選択部１０２０を含む。前方基準画像選択部１０１９は前方基準画像を選択し、後方基準画像選択部１０２０は後方基準画像を選択する。

　ここでは上述したように部分画像列の先頭の画像（第１の画像）を前方基準画像として選択する。なお、部分画像列が第１の削除可否判定処理により取得された部分画像列である場合（最初の前方基準画像選択処理が行われる場合）には、先頭以外の画像を前方基準画像として選択してもよいが、以下では断りがない限り、前方基準画像は先頭の画像であるものとして説明する。

　その後、後方基準画像を選択する。ここでは、後方基準画像の選択対象となる画像に対応する後方基準画像選択区間（実際には前方基準画像の次の要約画像を探索する範囲に相当）を設定する。第ｉの画像～第ｊの画像に対応する半開区間［ｉ，ｊ）を後方基準画像選択区間とし、ｉを前方基準画像の次の画像に対応させ（狭義にはｉ＝２）、ｊ＝Ｎ＋２とする。なお、ｊ＝Ｎ＋２としたのは、後方基準画像として仮想的な第Ｎ＋１の画像を設定してもよいためである。後方基準画像が第Ｎ＋１の画像である場合とは、前方基準画像だけでその後方の画像全てをカバーでき、後方基準画像が不要であるか否かを判定する場合に相当する。

　そして、設定された後方基準画像選択区間から後方基準画像を選択する。ここでは効率的に処理を行うために、後方基準画像を所与の条件に基づいて決定する。まず、前方基準画像設定後、初めて後方基準画像が選択される場合には、後方基準画像として第ｉ＋１の画像（狭義には第３の画像）を選択する。

　ここまでの処理を図示したものが図２８（Ａ）である。ここではＮ＝１２の画像列を考えており、前方基準画像が１番目の画像、後方基準画像選択区間が２番目の画像～１４番目の画像（ｉ＝２，ｊ＝１４）、後方基準画像が３番目の画像となっている。

　後方基準画像が選択された後の、第２の判定対象画像選択処理、被覆率算出処理、削除可否判定処理、及びこれらの処理の繰り返しについては詳細な説明は省略する。図２８（Ａ）の場合、第２の判定対象画像としては２番目の画像を選択するだけでよい。

　所与の画像（最初は第３の画像）を後方基準画像として選択した場合に、その画像がＯＫであれば、後方基準画像の位置を前方基準画像からさらに離してもよいということであるから、新たな後方基準画像として、現在のものよりも後方の画像を選択する。

　一例としては、現在の後方基準画像が前方基準画像から数えてａ番目の画像である場合に、前方基準画像から数えて２×ａ番目の画像を新たな後方基準画像としてもよい。具体的には図２８（Ｂ）に示したように、３番目の画像（前方基準画像から数えて２番目）が後方基準画像として選択された場合に、当該３番目の画像がＯＫであれば、次の後方基準画像は５番目（前方基準画像から数えて４番目）の画像を選択することになる。

　ところで、ｑ番目の画像がＯＫならば、ｑ－１番目以前の画像は要約画像列に残される要約画像として選択する必要はない。よって、後方基準画像として現在位置（ｑ番目）よりも前方の画像を選択するメリットはないため、後方基準画像選択区間を更新するとよい。具体的には、選択区間の始点ｉをｉ＝ｑとすればよい。この変形例では、後方基準画像は後方基準画像選択区間から選択されることとしているため、こうすることで現在位置よりも前方の画像を選択することがなくなる。例えば、図２８（Ｂ）に示したように、３番目の画像がＯＫである場合、２番目の画像は要約画像とはならないため、選択区間から外してよく、選択区間の始点を３番目の画像に更新する。

　同様に、５番目の画像がＯＫならば（この場合、２～４番目の画像が第２の判定対象画像として選択され第２の削除可否判定処理が行われる）、図２８（Ｃ）に示したように９番目の画像を新たな後方基準画像として選択するとともに、後方基準画像選択区間の始点を５番目の画像に更新する。

　しかし、図２８（Ｃ）において仮に９番目の画像がＯＫである場合を考えればわかるように、ｑ番目の画像を後方基準画像として、当該第ｑの画像がＯＫの場合に、ｑの値が大きくなると新たな後方基準画像が極端に後方になってしまう可能性がある。例えば、Ｎ＋１番目よりも後方の画像が候補になってしまい後方基準画像が選択不可となったり、そうでなくても更新前後の後方基準画像の間隔が広くなりすぎて、次の要約画像の探索が非効率的になったりする。

　そこで、新たな後方基準画像として現在位置よりも後方の画像を選択する場合に、他の手法を併用してもよい。一例としては新たな後方基準画像を、（ｑ＋ｊ）／２の値に基づいて決定する。例えば９番目の画像がＯＫの場合、後方基準画像選択区間の始点が９番目の画像に更新されるため、［９，１４）の半開区間となる。つまり、その中央付近の画像を新たな後方基準画像とすることで、探索範囲の中央を処理対象とすることになる。探索範囲の中央について判定を行うことで探索範囲を半減させていく手法は、広く知られている二分探索に他ならず、二分探索が計算量の面で利点があることもまた広く知られている。本実施形態の後方基準画像選択区間とは、所与の画像がＯＫであればそれより前方の画像は全てＯＫと考えてよく、所与の画像がＮＧであればその後方の画像は全てＮＧと考えてよいという性質のものであり、二分探索の手法を適用可能である。つまり、更新前の後方基準画像と、後方基準画像選択区間の終点との中間付近から、新たな後方基準画像を選択することで、効率的な処理が期待できる。

　ここでは、前方基準画像起点の距離を２倍にしていく手法と、二分探索に対応する手法を併用するものとする。例えば、第ｑの画像が更新前の後方基準画像である場合に、次の後方基準画像として下式（１）を満たす第ｋの画像とすればよい。ここでmin(a,b)はａとｂのうち小さい方を表すものである。

　一方、上述したように第ｑの画像がＮＧの場合には、ＯＫの場合とは逆に現在位置よりも前方から新たな後方基準画像を選択することになる。どの程度前方の画像を選択するかは種々の手法により決定可能であるが、例えばここでも二分探索に対応した手法を用いてもよい。この場合、後方基準画像選択区間の始点が第ｉの画像であるため、新たな後方基準画像は、（ｉ＋ｑ）／２の値に基づいて決定される。また、第ｑの画像がＮＧである以上、第ｑの画像及びその後方の画像は要約画像として選択されることはない。よって後方基準画像選択区間の終点を更新してよく、ｊ＝ｑとすればよい。９番目の画像がＮＧである場合の例を図２８（Ｄ）に示す。新たな後方基準画像として７番目の画像が選択されるとともに、後方基準画像選択区間の終点ｊがｊ＝９に更新される。

　なお、後方基準画像選択区間が半開区間であるとしたのは、ここでの説明の便宜のためである。つまり、第ｑの画像がＯＫの場合は、当該第ｑの画像は要約画像として選択される可能性を残しているため、後方基準画像選択区間の始点ｉをｉ＝ｑとした場合に、ｉは後方基準画像選択区間に含まれているとよい。一方、第ｑの画像がＮＧの場合は、当該第ｑの画像は要約画像として選択されないため、後方基準画像選択区間の終点ｊをｊ＝ｑとした場合に、ｊは後方基準画像選択区間に含めないほうがよい。以上のことから、後方基準画像選択区間を［ｉ，ｊ）としたにすぎず、符号や式の表記次第では開区間や閉区間により後方基準画像選択区間を表すことに何も問題はない。

　以上の処理により、後方基準画像選択区間（狭義には次の要約画像の探索範囲）を狭めていく。次の要約画像とは、第ｋの画像がＯＫであり且つ第ｋ＋１の画像がＮＧである場合の第ｋの画像であるから、ＯＫの画像とＮＧの画像が隣り合っている箇所が見つかったら処理を終了することになる。上述の例では、終了の直前では二分探索的に処理を行っていくことが想定され、例えば図２８（Ｅ）のようになる。第ｉの画像はＯＫであり、その２つ隣の第ｊの画像はＮＧであり、その間の第ｑの画像が後方基準画像となっている。この場合、第ｑの画像がＯＫであれば図２８（Ｆ）、ＮＧであれば図２８（Ｇ）のようになり、どちらにせよ後方基準画像選択区間の始点と終点が隣り合い、且つ始点に対応する画像がＯＫ、終点に対応する画像がＮＧとなる。よって、次の要約画像として始点に対応する画像を選択すればよいため、部分画像列に対する探索処理は終了する。

　次の要約画像が見つかったのであれば、当該画像及びそれ以降の画像からなる画像列を新たな部分画像列として設定すればよい。新たな部分画像列が設定されたら、それ以降の処理については同様であるため詳細な説明は省略する。

　図２９に本実施形態の画像要約処理を説明するフローチャートを示す。Ｓ８０１～Ｓ８０５については、図１８のＳ７０１～Ｓ７０５と同様であるため詳細な説明は省略する。部分画像列の設定後、処理対象である部分画像列の先頭の画像を前方基準画像として選択し（Ｓ８０６）、後方基準画像選択区間を設定する（Ｓ８０７）。Ｓ８０６の直後に行われるＳ８０７の処理としては、例えば上述したようにｉ＝２，ｊ＝Ｎ＋２を満たす［ｉ，ｊ）の半開区間を設定すればよい。また、後述するようにＳ８１０やＳ８１１の後にＳ８０７の処理が行われる場合には、すでに設定されている後方基準画像選択区間の更新処理となる。

　Ｓ８０７で後方基準画像選択区間の設定（或いは更新）処理が行われたら、その始点と終点が隣り合うか（ｊ＝ｉ＋１を満たすか）の判定を行う（Ｓ８０８）。Ｓ８０８でＹｅｓの場合には、図２８（Ｆ）に示したように第ｉの画像が、第１の画像（前方基準画像）の次の要約画像であるとわかった状況であるから、Ｓ８０５に戻り第ｉの画像及びそれ以降の画像を部分画像列に設定する。

　Ｓ８０８でＮｏの場合には、まだ次の要約画像が見つかっていない状況であるから、Ｓ８０７で設定した後方基準画像選択区間から後方基準画像を選択する（Ｓ８０９）。Ｓ８０６による前方基準画像設定後、初めてＳ８０９の処理が行われる場合には、例えば第ｉ＋１の画像（前方基準画像の２つ後方の画像）を選択すればよい。それ以外の場合には、直前の後方基準画像の位置に応じて、新たな後方基準画像を選択する処理を行うことになる。

　Ｓ８０９で後方基準画像を選択したら、第２の判定対象画像を選択する（Ｓ８１０）。Ｓ８０９での後方基準画像選択後、初めてＳ８１０の処理が行われる場合には、前方基準画像と後方基準画像の間の画像のうち先頭の画像（図２８（Ａ）等では２番目の画像）を選択する。第２の判定対象画像選択後の第２の削除可否判定処理（例えば、被覆領域算出処理、被覆率算出処理、閾値判定処理等）については図１８のＳ７０８と同様である。Ｓ８１１で削除可能と判定された場合には、Ｓ８０９に戻り第２の判定対象画像を１つ後方の画像に更新し、同様の処理を行う。Ｓ８１０，Ｓ８１１の処理を繰り返すことで、前方基準画像と後方基準画像の間の画像が全て削除可能であるか、或いは少なくとも１つが削除不可であるかの判定が実行される。全て削除可能の場合にはＳ８１０の判定で、第２の判定対象画像＝後方基準画像となり、Ｓ８０７に戻る。また、少なくとも１枚の画像が削除不可である場合にはＳ８１１の判定で削除不可となりＳ８０７に戻る。なお、図２９では不図示であるが、Ｓ８１０からＳ８０７に戻ったのか、或いはＳ８１１からＳ８０７に戻ったのかという情報を保持しておき、それに応じて次のＳ８０７等での処理を変更する必要がある。

　Ｓ８１０からＳ８０７に戻った場合には、全ての画像が削除可能な状況であるため、後方基準画像選択区間の始点を更新する処理を行い、その結果Ｓ８０７では１つ前の後方基準画像よりも後方の画像が新たな後方基準画像として選択される。一方、Ｓ８１１からＳ８０７に戻った場合には、少なくとも１枚の画像が削除不可である状況であるため、後方基準画像選択区間の終点を更新する処理を行い、その結果Ｓ８０７では１つ前の後方基準画像よりも前方の画像が新たな後方基準画像として選択される。

　以上の本実施形態では、第１～第Ｎ（Ｎは２以上の整数）の画像が部分画像列として設定された場合に、処理部１００は、第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像である前方基準画像と、第ｑ（ｑはｐ＋２以上の整数）の画像である後方基準画像を、第２の基準画像として選択する。それとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ－１を満たす整数）の画像を第２の判定対象画像として選択する。そして、前方基準画像と第２の判定対象画像の間の変形を表す前方変形情報、及び後方基準画像と第２の判定対象画像の間の変形を表す後方変形情報を、第２の変形情報として求め、求めた前方変形情報及び後方変形情報に基づいて、第２の判定対象画像の削除可否の判定を行う。

　これにより、第２の削除可否判定処理において、基準画像を前方と後方に２枚設定することが可能になる。上述したように、残す画像により削除される画像がカバーされる（被覆率であれば面積等の割合が高いこと、構造要素であれば注目領域の少なくとも一部が撮像されることを表す）ことを保証する、ということが本実施形態での変形情報を用いた処理の基本である。よって、残す画像が複数有るのであれば、そのうちの１枚ではカバーしきれない画像であっても、複数の残す画像を組み合わせることでカバーできるのであれば、削除しても問題はない。よってここでは、基準画像を２枚用いることで、判定対象画像が削除可能と判定される可能性を上げて、画像要約処理による画像枚数の削減効果を向上させるものとする。

　また、処理部１００は、第ｐ＋２～第Ｎの画像に対応する始点及び終点が設定された後方基準画像選択区間から後方基準画像を選択して、前方基準画像及び後方基準画像に基づいて２の判定対象画像の削除可否の判定を行ってもよい。そして、第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、後方基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな後方基準画像として選択するとともに、後方基準画像選択区間の始点を第ｑの画像に更新する。

　ここで、後方基準画像選択区間は、後方基準画像の候補となる画像という性質を鑑みれば、第ｐ＋２～第Ｎの画像を含むことになる。ただし、後方基準画像として第Ｎ＋１の画像のように仮想的な画像を選択してもよいため、後方基準画像選択区間の終点がＮより大きくなってもよい。また、後方基準画像選択区間には次の要約画像（前方基準画像は要約画像として確定しており、その次の要約画像という意味）の探索範囲という側面もあるため、後方基準画像として選択されない画像であっても、要約画像として選択されうる画像は当該選択区間に含まれるものとしてもよい。その場合後方基準画像選択区間の始点として前方基準画像の１つ後方の画像（第ｐ＋１の画像）を設定してもよいことになる。

　これにより、後方基準画像を更新する際に、新たな後方基準画像の位置を柔軟に決定することが可能になる。後方基準画像を１つずつ後方に更新していくように、探索範囲を先頭から１つずつチェックして、探索範囲を減らしていく手法を用いてもよい。或いは、隣り合わない画像も新たな後方基準画像として選択可能にすることで、一単位の判定（第ｑの画像がＯＫかＮＧかという判定）により探索範囲を大きく減らすようにしてもよい。どのような更新手法が効果的であるかは、処理対象である部分画像列の性質等にもよる。例えば、正解位置がある程度予測可能な状況では、予測位置近辺を重点的に探索すべきであるため、後方基準画像を１つずつ移動させる手法を用いればよいし、正解位置が予測できない場合等では、計算量の期待値削減等を考慮して、上述した二分探索等を用いればよい。

　また、処理部１００は、第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、後方基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな後方基準画像として選択してもよい。それとともに、後方基準画像選択区間の終点を第ｑの画像に更新する。

　これにより、後方基準画像を更新する際に、現在の後方基準画像よりも前方の画像を、新たな後方基準画像として選択することが可能になる。上述したように、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の後方基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合には、前方への探索を行うことで適切な処理を行うことが可能になる。また、後方への探索と同様に、新たな後方基準画像の選択は隣り合う画像に限定されない。

　また、処理部１００は、第ｊ（ｊは整数）の画像が後方基準画像選択区間の終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいてｘの値を設定してもよい。或いは、第ｉ（ｉは整数）の画像が後方基準画像選択区間の始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいてｙの値を設定してもよい。

　これにより、新たな後方基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の後方基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の後方基準画像と始点との中間となる画像を選択することになる。よって、探索範囲（後方基準画像選択区間の長さに相当）を半減させていくことが可能になり、後方基準画像としてｌｏｇＮ枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはＮ×ｌｏｇＮに抑えることができ、Ｎが非常に大きい場合には、後方基準画像を前方から１つずつ後ろに移動させていく手法（計算量のオーダーはＮ^２）に比べて計算量の削減効果が大きい。なお、（ｑ＋ｊ）／２及び（ｉ＋ｑ）／２は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば（ｑ＋ｊ）／２を超えない最大の整数、或いはそれより１大きい整数等を考えればよい。

　また、処理部１００は、後方基準画像選択区間の始点又は終点を更新した結果、始点と終点が隣り合う場合に、前方基準画像として選択された複数の画像の１つを、要約画像列に含める処理を行ってもよい。それとともに、始点に対応する複数の画像の１つ、及び始点に対応する複数の画像の１つよりも部分画像列において後方の画像を新たな部分画像列として設定し、設定された新たな部分画像列に対して、上記ｐの値を１に設定して再度処理を行ってもよい。

　ここで、始点と終点が隣り合うとは、始点に対応する画像と終点に対応する画像が、部分画像列において隣り合うことを表す。部分画像列としてＮ枚の画像が与えられた場合には、部分画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。具体的には、部分画像列の各画像を第１～第Ｎの画像として表し、振られた数値が小さい画像ほど前方にあるものとする。よって、画像列中の第ｉの画像と第ｊ（＞ｉ）の画像が隣り合うとは、ｊ＝ｉ＋１を満たす状況を指す。

　これにより、部分画像列に対する処理の終了条件として、後方基準画像選択区間の始点、終点に基づく条件を設定することが可能になる。このような終了条件を設定することで、後方基準画像として選択された場合にＯＫと判定される画像群のうち、前方基準画像から最も離れていると予想される画像を、新たな部分画像列の先頭画像（次の要約画像に相当）として選択することができる。なぜなら、図２８（Ｆ）等に示したように、この終了条件とはＯＫの画像とＮＧの画像が隣り合う位置を探索することに等しいためである。そのため、最終的に出力される要約画像列に含まれる要約画像の枚数を少なくすることができ、ユーザの負担軽減等が可能になる。

　以上、本発明を適用した７つの実施の形態１～７およびその変形例について説明したが、本発明は、各実施の形態１～７やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１～７や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１～７や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

　ＢＯ１　外側境界、ＢＯ２　内側境界、ＲＥ　残留領域、
１０　画像入力装置、２０　画像データベース、３０　画像列取得部、
４０　出力部、５０　記憶部、１００　第１の画像要約処理部、
１１０　類似度算出部、１２０　要約処理部、
１３０　第１の要約画像列生成部、２００　第２の画像要約処理部、
２１０　認識処理部、２２０　要約処理部、２３０　第２の要約画像列生成部、
３００　統合処理部、１００１　注目画像列設定部、
１００２　第１の基準画像選択部、１００３　第１の判定対象画像選択部、
１００４　第１の削除可否判定部、１００５　部分画像列設定部、
１００６　第２の基準画像選択部、１００７　第２の判定対象画像選択部、
１００８　第２の削除可否判定部、１００９、１０１３　変形情報取得部、
１０１０、１０１４　被覆領域算出部、１０１１、１０１５　被覆率算出部、
１０１２、１０１６　閾値判定部、１０１７　構造要素生成部、
１０１８　注目領域見逃し可能性判定部、１０１９　前方基準画像選択部、
１０２０　後方基準画像選択部

Claims

　複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部と、
　前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部と、
　前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部と、
　を含むことを特徴とする画像処理装置。
　請求項１において、
　前記第１の画像要約処理部は、
　前記複数の画像から基準画像及び判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を前記類似度として算出し、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行う処理を、前記第１の画像要約処理として行うことを特徴とする画像処理装置。
　請求項２において、
　第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
　前記第１の画像要約処理部は、
　第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ－１を満たす整数）の画像を前記判定対象画像として選択し、
　前記第１の基準画像と前記判定対象画像の間の前記変形情報、及び前記第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
　請求項３において、
　前記第１の画像要約処理部は、
　第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択することを特徴とする画像処理装置。
　請求項４において、
　前記第１の画像要約処理部は、
　前記第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記画像を、前記第１の要約画像列に含める処理を行うとともに、前記第ｑ－１の画像を新たな前記第１の基準画像として選択して再度処理を行うことを特徴とする画像処理装置。
　請求項２乃至５のいずれかにおいて、
　前記第１の画像要約処理部は、
　前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆率として、前記判定対象画像に占める前記被覆領域の割合を算出することを特徴とする画像処理装置。
　請求項１乃至６のいずれかにおいて、
　前記第２の画像要約処理部は、
　前記認識処理に基づいて、前記複数の画像のうち同一の前記対象物体を含む連続する画像、又は前記複数の画像のうち同一の前記シーンと認識された連続する画像を、要約画像の抽出対象となる連続画像列として設定し、設定した前記連続画像列から少なくとも１枚の画像を前記要約画像として抽出する処理を、前記第２の画像要約処理として行うことを特徴とする画像処理装置。
　請求項７において、
　前記第２の画像要約処理部は、
　前記対象物体の面積に基づいて、前記連続画像列から抽出する前記要約画像を選択することを特徴とする画像処理装置。
　請求項１乃至８のいずれかにおいて、
　前記統合処理部は、
　前記第１の要約画像列及び前記第２の要約画像列の少なくとも一方に含まれる画像を前記出力要約画像列の要約画像として選択する処理を、前記第１の要約画像列と前記第２の要約画像列の前記統合処理として行うことを特徴とする画像処理装置。
　請求項７又は８において、
　前記統合処理部は、
　前記第１の要約画像列に基づいて、前記第２の画像要約処理において設定された複数の前記連続画像列を１つの結合連続画像列に結合し、前記結合連続画像列から少なくとも１枚の画像を前記要約画像として抽出することで、前記第２の要約画像列の更新処理を行うことを特徴とする画像処理装置。
　請求項１０において、
　前記統合処理部は、
　前記第１の要約画像列、及び前記更新処理後の前記第２の要約画像列の少なくとも一方に含まれる画像を前記出力要約画像列の要約画像として選択する処理を、前記第１の要約画像列と前記第２の要約画像列の前記統合処理として行うことを特徴とする画像処理装置。
　請求項１乃至８のいずれかにおいて、
　前記統合処理部は、
　前記第２の画像要約処理の結果に基づく前記第１の画像要約処理を、前記第１の画像要約処理部に実行させる処理を、前記第１の画像要約処理と前記第２の画像要約処理の前記統合処理として行うことを特徴とする画像処理装置。
　請求項１２において、
　前記第１の画像要約処理部は、
　前記統合処理に基づいて、前記複数の画像から前記第２の要約画像列に含まれる画像を基準画像として選択するとともに、前記複数の画像から判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を前記類似度として算出し、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行う処理を、前記第１の画像要約処理として行うことを特徴とする画像処理装置。
　請求項１２又は１３において、
　前記統合処理部は、
　前記統合処理により、前記第１の画像要約処理部で生成された前記第１の要約画像列に基づいて、前記第２の要約画像列に含まれる前記画像の枚数を削減する前記第２の要約画像列の更新処理を行うことを特徴とする画像処理装置。
　請求項１４において、
　前記統合処理部は、
　前記更新処理後の前記第２の画像要約処理の結果に基づく前記第１の画像要約処理を、前記第１の画像要約処理部に実行させる処理を、前記第１の画像要約処理と前記第２の画像要約処理の前記統合処理として行うことを特徴とする画像処理装置。
　請求項１２乃至１５のいずれかにおいて、
　前記統合処理部は、
　前記統合処理により、前記第１の画像要約処理部で生成された前記第１の要約画像列を前記出力要約画像列として取得することを特徴とする画像処理装置。
　請求項１乃至１６のいずれかにおいて、
　前記第１の画像要約処理部は、
　前記複数の画像間の前記類似度に基づいて、シーンチェンジを検出して前記第１の画像要約処理を行うことを特徴とする画像処理装置。
　請求項１乃至１７のいずれかにおいて、
　前記複数の画像はカプセル内視鏡画像であり、
　前記第２の画像要約処理部は、
　前記カプセル内視鏡画像に撮像される生体内の注目領域を、前記対象物体として前記認識処理を行うことを特徴とする画像処理装置。
　請求項１８において、
　前記第２の画像要約処理部は、
　特定の波長帯域の光の照射により取得された特殊光画像に基づいて、前記生体内の前記注目領域の前記認識処理を行うことを特徴とする画像処理装置。
　複数の画像を有する画像列を取得する画像列取得部と、
　前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部と、
　を含み、
　前記処理部は、
　前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、
　設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、
　前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、前記第１の削除可否判定処理として行い、
　前記処理部は、
　前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、
　前記処理部は、
　前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、
　前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、前記第２の削除可否判定処理として行うことを特徴とする画像処理装置。
　請求項２０において、
　前記処理部は、
　第１の被覆率判定処理、及び第１の構造要素判定処理の少なくとも一方の処理を、前記第１の削除可否判定処理として行い、
　前記処理部は、
　第２の被覆率判定処理、及び第２の構造要素判定処理の少なくとも一方の処理を、前記第２の削除可否判定処理として行い、
　前記第１の被覆率判定処理は、
　前記第１の変形情報に基づいて、前記第１の基準画像による前記第１の判定対象画像の被覆率を求め、求めた前記被覆率に基づいて前記第１の判定対象画像の削除可否を判定する処理であり、
　前記第１の構造要素判定処理は、
　注目領域に対応する構造要素及び前記第１の変形情報を用いた処理の結果に基づいて、前記第１の判定対象画像の削除可否を判定する処理であり、
　前記第２の被覆率判定処理は、
　前記第２の変形情報に基づいて、前記第２の基準画像による前記第２の判定対象画像の前記被覆率を求め、求めた前記被覆率に基づいて前記第２の判定対象画像の削除可否を判定する処理であり、
　前記第２の構造要素判定処理は、
　前記注目領域に対応する前記構造要素及び前記第２の変形情報を用いた処理の結果に基づいて、前記第２の判定対象画像の削除可否を判定する処理であることを特徴とする画像処理装置。
　請求項２１において、
　前記処理部は、
　前記第１の削除可否判定処理として、前記第１の被覆率判定処理を行う場合には、
　前記第２の削除可否判定処理として、前記第２の被覆率判定処理を行い、
　前記処理部は、
　前記第１の削除可否判定処理として、前記第１の構造要素判定処理を行う場合には、
　前記第２の削除可否判定処理として、前記第２の構造要素判定処理を行うことを特徴とする画像処理装置。
　請求項２１において、
　前記処理部は、
　前記第１の被覆率判定処理及び前記第１の構造要素判定処理の両方の処理を、前記第１の削除可否判定処理として行うことを特徴とする画像処理装置。
　請求項２１又は２３において、
　前記処理部は、
　前記第２の被覆率判定処理及び前記第２の構造要素判定処理の両方の処理を、前記第２の削除可否判定処理として行うことを特徴とする画像処理装置。
　請求項２１乃至２４のいずれかにおいて、
　前記第１の被覆率判定処理は、
　前記第１の基準画像による前記第１の判定対象画像の前記被覆率を表す値と、第１の被覆率閾値との比較結果に基づく判定処理であり、
　前記第１の構造要素判定処理は、
　第１のサイズの要素を前記構造要素として設定し、設定した前記構造要素による収縮処理、又は前記第１の基準画像により前記第１の判定対象画像が覆われない領域に、設定した前記構造要素が含まれるか否かを判定する処理であり、
　前記第２の被覆率判定処理は、
　前記第２の基準画像による前記第２の判定対象画像の前記被覆率を表す値と、第２の被覆率閾値との比較結果に基づく判定処理であり、
　前記第２の構造要素判定処理は、
　第２のサイズの要素を前記構造要素として設定し、設定した前記構造要素による収縮処理、又は前記第２の基準画像により前記第２の判定対象画像が覆われない領域に、設定した前記構造要素が含まれるか否かを判定する処理であることを特徴とする画像処理装置。
　請求項２５において、
　前記処理部は、
　前記第２の被覆率閾値として、前記第１の被覆率閾値とは異なる値を設定することを特徴とする画像処理装置。
　請求項２５又は２６において、
　前記処理部は、
　前記第２のサイズとして、前記第１のサイズとは異なるサイズを設定することを特徴とする画像処理装置。
　請求項２０乃至２７のいずれかにおいて、
　第１～第Ｎ（Ｎは２以上の整数）の画像が前記部分画像列として設定された場合に、
　前記処理部は、
　第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像である前方基準画像と、第ｑ（ｑはｐ＋２以上の整数）の画像である後方基準画像を、前記第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ－１を満たす整数）の画像を前記第２の判定対象画像として選択し、
　前記前方基準画像と前記第２の判定対象画像の間の変形を表す前方変形情報、及び前記後方基準画像と前記第２の判定対象画像の間の変形を表す後方変形情報を、前記第２の変形情報として求め、
　求めた前記前方変形情報及び前記後方変形情報に基づいて、前記第２の判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
　請求項２８において、
　前記処理部は、
　第ｐ＋２～第Ｎの画像に対応する始点及び終点が設定された後方基準画像選択区間から前記後方基準画像を選択して、前記前方基準画像及び前記後方基準画像に基づいて前記第２の判定対象画像の削除可否の判定を行い、
　第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、前記後方基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記後方基準画像として選択するとともに、前記後方基準画像選択区間の前記始点を前記第ｑの画像に更新することを特徴とする画像処理装置。
　請求項２９において、
　前記処理部は、
　前記第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、前記後方基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記後方基準画像として選択するとともに、前記後方基準画像選択区間の前記終点を前記第ｑの画像に更新することを特徴とする画像処理装置。
　請求項２９又は３０において、
　前記処理部は、
　前記後方基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、
　前記前方基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、
　前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の１つよりも前記部分画像列において後方の前記画像を新たな前記部分画像列として設定し、設定された新たな前記部分画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
　請求項２０乃至３１のいずれかにおいて、
　前記処理部は、
　前記複数の画像から注目領域を検出する処理を行い、
　前記複数の画像のうち、前記注目領域が検出された前記画像を前記注目画像として設定することを特徴とする画像処理装置。
　請求項３２において、
　前記画像列取得部は、
　前記画像列として、生体内を撮像した複数の生体内画像を取得し、
　前記処理部は、
　前記複数の生体内画像から、病変領域を前記注目領域として検出する処理を行い、
　前記複数の生体内画像のうち、前記病変領域が検出された前記画像を前記注目画像として設定することを特徴とする画像処理装置。
　請求項２０乃至３３のいずれかにおいて、
　前記処理部は、
　前記部分画像列を複数設定した場合には、複数の前記部分画像列に対して並列に前記第２の削除可否判定処理を行うことを特徴とする画像処理装置。
　複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部と、
　前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部と、
　前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部として、
　コンピュータを機能させることを特徴とするプログラム。
　複数の画像を有する画像列を取得する画像列取得部と、
　前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除する第１の削除可否判定処理及び第２の削除可否判定処理に基づいて、要約画像列を取得する画像要約処理を行う処理部として、
　コンピュータを機能させ、
　前記処理部は、
　前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、
　設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、
　前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、前記第１の削除可否判定処理として行い、
　前記処理部は、
　前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、
　前記処理部は、
　前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、
　前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、前記第２の削除可否判定処理として行うことを特徴とするプログラム。
　複数の画像間の類似度に基づいて、第１の要約画像列を取得する第１の画像要約処理と、前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づいて、第２の要約画像列を取得する第２の画像要約処理を行う画像処理方法であって、
　前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理を行うことを特徴とする画像処理方法。
　複数の画像を有する画像列を取得し、
　前記複数の画像に含まれる１又は複数の注目画像から構成される注目画像列を設定し、
　設定した前記注目画像列から第１の基準画像を選択するとともに、前記複数の画像から第１の判定対象画像を選択し、
　前記第１の基準画像と前記第１の判定対象画像の間の変形を表す第１の変形情報に基づいて、前記第１の判定対象画像の削除可否を判定する処理を、第１の削除可否判定処理として行い、
　前記画像列から、前記第１の削除可否判定処理において削除不可と判定された前記画像が複数連続する部分画像列を設定し、
　前記部分画像列から第２の基準画像と第２の判定対象画像を選択し、
　前記第２の基準画像と前記第２の判定対象画像の間の変形を表す第２の変形情報に基づいて、前記第２の判定対象画像の削除可否を判定する処理を、第２の削除可否判定処理として行い、
　前記第１の削除可否判定処理、及び前記第２の削除可否判定処理に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。