JP2016099980A - 画像セグメンテーション方法、装置、及びプログラム - Google Patents

Abstract

【課題】入力画像群の中に抽出対象を含まない画像が混在していたり、１つの画像に複数の抽出対象の物体が写り込んでいる画像が混在していたりする場合でも、抽出対象の物体領域を精度よくセグメンテーションする。
【解決手段】画像セグメンテーション装置１０は、画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出し、抽出された物体領域候補の各々についてアピアランスモデルを推定し、抽出された物体領域候補の各々について、類似した他の物体領域との間のピクセルの対応付けを推定し、物体領域候補、アピアランスモデル、及び対応付けに基づいて物体領域候補を更新し、所定の収束条件が満たされるまで、アピアランスモデルの推定、対応付けの推定、及び物体領域候補の更新を繰り返し行い、画像群に含まれる各画像の物体領域候補を物体領域として出力する。
【選択図】図１

Description

本発明は、画像セグメンテーション方法、装置、及びプログラムに係り、特に、抽出対象の物体が多くの割合で含まれる画像群を入力として、入力された画像群に含まれる物体を自動でセグメンテーションする画像セグメンテーション方法、装置、及びプログラムである。

物体の写り込んだ画像が与えられたとき、画像から物体が写り込んだ領域を抽出する、すなわちセグメンテーションすることは、例えば画像ベースの物体検索の辞書、画像アノテーションの学習データ、及び画像編集の素材等を構築するための重要な要素処理である。一般に、上記辞書、学習データ、及び素材等を構築するには大量の画像が必要であるが、それらの画像を一つ一つ手動でセグメンテーションするのはコストが高い。上記辞書、学習データ、及び素材等を低コストで構築し、上記のような大規模の画像アプリケーションサービスを実現するためには、人手を介することなく膨大な画像を精度良くセグメンテーションする技術は不可欠であると言える。

膨大な画像を自動でセグメンテーションするにあたり、ウェブにおいて構造化された情報は有効であると考えられる。例えば、種々の検索エンジンや画像共有サイトが提供するキーワード画像検索を用いることで、キーワード（例えば「飛行機」、「車」など）に関連する物体が写り込んだ複数の画像は容易に入手可能である。或るキーワードで検索した結果得られた画像群を入力とし、その中に含まれるキーワードに該当する物体を自動でセグメンテーションすることができれば、ラベル（すなわち検索キーワード）が付与された物体領域を自動で取得することが可能となる。

キーワード検索の結果得られた画像群の多くには、キーワードに相当する物体領域が含まれている。入力された画像群に共通する物体が写り込んでいるという情報を活用して、自動で画像群を同時にセグメンテーションする公知の技術として、非特許文献１には、各画像の類似する隣接ピクセルのラベル（前景か背景かのラベル）の一貫性を評価する項と、画像中の前景ラベルを有するピクセル集合から抽出される特徴量の、背景ラベルを有するピクセル集合から抽出される特徴量に対する識別性を評価する項と、から構成されるエネルギー関数を最小化することにより、各画像中のピクセルに対してラベルを割り当てる方法が開示されている。非特許文献１に開示された技術は、ラベル割当問題を解くために、入力された画像群の全ての画像に抽出対象の物体が写り込んでいることを前提としている。

一方、非特許文献２には、入力された画像群のうち特に類似した画像のペアでＳＩＦＴ Ｆｌｏｗによるピクセル間の対応付けを行い、得られた対応付けに基づいて定義される、各ピクセルの抽出対象の物体らしさを評価する項を含むエネルギー最小化問題を解くことによって、入力された画像群に一部混在する抽出対象以外の物体は除外しつつ、抽出対象の物体を抽出することが可能な方法が開示されている。非特許文献２で開示された技術は、入力された画像群に抽出対象の物体が全く写り込んでいない画像が含まれ得ることが考慮されているという点で、非特許文献１の技術よりも、入力された画像群から抽出対象の物体領域を精度良く抽出することが可能な技術であると言える。

A. Joulin et al., Multi-Class Cosegmentation, in Proc. CVPR, 2012. インターネット（URL:http://www.di.ens.fr/~fbach/joulin_cvpr2012.pdf） M. Rubinstein et al., Unsupervised Joint Object Discovery and Segmentation in Internet Images, in Proc. CVPR, 2013. インターネット（URL:http://people.csail.mit.edu/mrub/papers/ObjectDiscovery-cvpr13.pdf）

しかしながら、非特許文献１に開示された方法では、以下のような問題があった。キーワード検索結果として得られる画像群の一部には、抽出対象の物体が全く写り込んでいない画像が含まれていることが多いため、非特許文献１が仮定する、入力された画像群の全ての画像に抽出対象の物体が写っているという条件は、一般には成立しない。そのため、キーワード検索の結果得られた画像群を入力とし、非特許文献１に開示された技術を用いてセグメンテーションした結果は、本来の物体領域を正しく捉えることができず精度が低い、という問題があった。

また、非特許文献２における抽出対象以外の物体の除外を実現するピクセル間の対応付け処理は、画像ペア間でピクセルの一対一の対応付けが可能であることを前提として実行されている。すなわち、画像ペア間で抽出対象の物体数は同一であるという仮定が暗になされている。

また、キーワード検索の結果得られる画像群の一部には、一枚の中に抽出対象の物体が複数写り込んだ画像が含まれることは、抽出対象以外の物体が写り込んだ画像が混在することと同様に一般的である。そのため、非特許文献２に開示された、画像ペア間でピクセルの一対一の対応付けが可能であるという仮説は一般には成り立たず、特に一枚に複数の抽出対象の物体が写り込んだ画像を多く含む画像群を入力とした場合、非特許文献２に開示された技術を用いてセグメンテーションした結果は、本来の物体領域を正しく捉えることができず精度が低い、という問題がある。

さらに、非特許文献１及び非特許文献２の何れの方法についても、画像内に抽出対象の物体が複数写り込んでいた場合、それらを自動で分離する手段を有していない、という問題があった。これは、非特許文献１及び非特許文献２で開示されている方法が、入力された画像群に含まれる各画像の各ピクセルが「抽出対象の物体であるか否か」のみを決定する方法であり、画像中に複数の物体が写っている場合、それらのうちどの物体に属するかを判別する機能を有していない。

上記の画像アプリケーションサービスを実現するための辞書や学習データは、物体個々をデータの単位として用いるのが一般的であるが、既存の公知技術では、画像に含まれる複数の物体が空間的に離れている場合、それらを分離するための後処理が必要となる。個々の物体が画像中で空間的に明らかに分離している場合は、自動でそれらを分離することは難しくないものの、複数の物体が空間的に接して写り込んでいる場合、それらを自動で分離することは非常に困難であり、コストの高い人手による作業が避けられない、という問題があった。

このように、キーワード検索の結果得られた画像群を入力としてキーワードに該当する物体領域を同時にセグメンテーションする既存の公知の技術では、キーワード検索の結果得られる画像群の特徴である「抽出対象の物体領域を含んでいない又は抽出対象以外の物体を含む画像が混在する」という特徴と、「抽出対象の物体が複数写り込んでいる画像が混在する」という特徴とを同時に捉え、画像に含まれる個々の抽出対象の物体を精度良く分離してセグメンテーションすることができない、という問題があった。

本発明は、上記の事情に鑑みてなされたもので、入力画像群の中に抽出対象の物体領域を含まない画像が混在していたり、１つの画像に複数の抽出対象の物体が写り込んでいる画像が混在していたりする場合でも、抽出対象の物体領域を精度よくセグメンテーションすることができる画像セグメンテーション方法、装置、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の画像セグメンテーション方法は、物体領域抽出部、アピアランスモデル推定部、対応付け推定部、物体領域更新部、収束判定部、及び物体領域出力部を含む画像セグメンテーション装置における画像セグメンテーション方法であって、前記物体領域抽出部が、画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出するステップと、前記アピアランスモデル推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するステップと、前記対応付け推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定するステップと、前記物体領域更新部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新するステップと、前記収束判定部が、所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行うステップと、前記物体領域出力部が、前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力するステップと、を含む。

また、前記物体領域抽出部が前記物体領域候補を抽出するステップは、画像中で互いに重複する領域が存在しないように前記物体領域候補を抽出するようにしてもよい。

また、前記アピアランスモデル推定部が前記アピアランスモデルを推定するステップは、前記物体領域抽出部により抽出された各画像の各物体領域候補について前記アピアランスモデルを推定し、各画像の、各物体領域候補の何れにも含まれないピクセル集合で構成される背景領域について、前記アピアランスモデルを推定するようにしてもよい。

また、前記対応付け推定部が前記対応付けを推定するステップは、前記物体領域候補の各々について、類似した他の物体領域候補との間で対応付けられるピクセル間の画像特徴量の類似性を評価する項と、前記物体領域候補内の近傍ピクセルに関する、前記ピクセルの対応付けに伴う移動ベクトルのなめらかさを評価する項と、から構成される最適化関数を解くことによって、前記類似した他の物体領域候補との間のピクセルの対応付けを推定するようにしてもよい。

また、前記物体領域更新部が前記物体領域候補を更新するステップは、前記画像群に含まれる各画像の各ピクセルに関する前記抽出対象物体らしさを評価する項と、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補からの空間的な近さを評価する項と、前記画像群に含まれる各画像の各ピクセルに関する、前記アピアランスモデル推定部により推定された前記アピアランスモデルへの寄与を評価する項と、前記対応付け推定部により対応付けられたピクセル間の画像特徴量の類似性を評価する項と、画像内で隣接するピクセルの、物体領域候補に含まれるか否かを示すラベルのなめらかさを評価する項と、前記対応付け推定部により対応付けられたピクセル間の前記ラベルの一貫性を評価する項と、を含む目的関数を最適化することによって、前記画像群に含まれる各画像の前記物体領域候補の更新を行うようにしてもよい。

本発明の画像セグメンテーション装置は、画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出する物体領域抽出部と、前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するアピアランスモデル推定部と、前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定する対応付け推定部と、前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新する物体領域更新部と、所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行う収束判定部と、前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力する物体領域出力部と、を含む。

本発明の画像セグメンテーションプログラムは、コンピュータに、請求項１〜５の何れか１項に記載の画像セグメンテーション方法の各ステップを実行させるための画像セグメンテーションプログラムである。

以上説明したように、本発明の画像セグメンテーション方法、装置、及びプログラムによれば、入力画像群の中に抽出対象を含まない画像が混在していたり、１つの画像に複数の抽出対象の物体が写り込んでいる画像が混在していたりする場合でも、抽出対象の物体領域を精度よくセグメンテーションすることができる、という効果が得られる。

本実施の形態に係る画像セグメンテーション装置の機能的な構成例を示すブロック図である。 本実施の形態における画像セグメンテーションルーチンを示すフローチャートである。 画像から抽出された複数の物体領域の一例を示す図である。 画像から抽出された複数の物体領域のうち重複する領域の割合が大きい物体領域を除去した例を示す図である。 重複した領域のピクセルを何れかの物体領域にラベリングした例を示す図である。 入力された画像群及び当該画像群から抽出された物体領域のみを含む出力画像の画像群の一例を示す図である。 従来技術において一部が重複した複数の物体領域を含む画像から抽出された１つの物体領域を示す図である。 本実施の形態において一部が重複した複数の物体領域を含む画像から抽出された２つの物体領域を示す図である。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。

本実施の形態では、一例として、キーワード検索の結果得られた画像群を入力として、入力された画像群に含まれる、キーワードに該当する物体領域を自動でセグメンテーションする。

＜システム構成＞

図１に示すように、本実施の形態に係る画像セグメンテーション装置１０は、物体領域抽出部１２、アピアランスモデル推定部１４、対応付け推定部１６、物体領域更新部１８、収束判定部２０、及び物体領域出力部２２を備えている。

物体領域抽出部１２は、入力された入力画像群に含まれる各画像から、一つ以上の物体領域を抽出する。物体領域抽出部１２に入力される入力画像群は、例えば画像検索サイト等において物体を表すキーワードを入力し、キーワードに対応する物体を含む画像を検索することにより得られた画像群である。なお、画像群に含まれる画像の多くは、キーワードに対応する物体を含むが、必ずしも全ての画像にキーワードに対応する抽出対象物体が含まれるとは限らない。

アピアランスモデル推定部１４は、物体領域抽出部１２により抽出された物体領域候補又は物体領域更新部１８により更新された物体領域候補に基づいて、物体領域候補の各々についてアピアランスモデルを推定する。

対応付け推定部１６は、物体領域抽出部１２により抽出された物体領域候補又は物体領域更新部１８により更新された物体領域候補の各々について、類似した他の物体領域との間のピクセルの対応付けを推定する。

物体領域更新部１８は、物体領域抽出部１２により抽出された物体領域候補又は物体領域更新部１８により更新された物体領域候補、アピアランスモデル推定部１４により推定されたアピアランスモデル、及び対応付け推定部１６により推定された対応付けに基づいて、物体領域候補を更新する。

収束判定部２０は、所定の収束条件を満たしたか否かを判定し、所定の収束条件を満たしたと判定されるまで、アピアランスモデルの推定、対応付けの推定、及び物体領域候補の更新を繰り返し行う。

物体領域出力部２２は、収束判定部２０が所定の収束条件を満たすと判定した場合に、画像群に含まれる各画像の物体領域候補を、物体領域として出力する。物体領域出力部２２は、例えば抽出された物体領域のみを含む画像をネットワーク上の他の端末装置等に送信したり、記憶装置に出力したり、表示装置に出力したりする。

物体領域抽出部１２、アピアランスモデル推定部１４、対応付け推定部１６、物体領域更新部１８、収束判定部２０、及び物体領域出力部２２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、後述する画像セグメンテーションルーチンを実行するための画像セグメンテーションプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、を備えたコンピュータにより実現される。なお、ＲＯＭに代えて不揮発性メモリを用いてもよい。また、画像セグメンテーション装置１０を構成するコンピュータは、ハードディスクドライブ等の記憶部や通信インタフェース等を備えていてもよい。また、ハードディスクドライブにＣＰＵが実行するプログラムが記憶されていてもよい。ＣＰＵがＲＯＭやハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記ハードウェアとプログラムとを協働させて以下に説明する機能が実現される。

＜画像セグメンテーション装置の作用＞

次に、図２を参照して、本実施の形態に係る画像セグメンテーション装置１０において実行される画像セグメンテーションルーチンについて説明する。

ステップＳ１００では、物体領域抽出部１２が、入力画像群

を入力する。Ｎは画像数である。各画像は元のサイズのままでステップＳ１０２以降の処理に用いてもよいし、あるいはリサイズしてもよい。各画像をリサイズする場合、画像

の元の高さをｈｅｉｇｈｔ_ｉ、幅をｗｉｄｔｈ_ｉ、ｌ_ｍａｘを定数として、例えば各画像をｌ_ｍａｘ／ｍａｘ（ｈｅｉｇｈｔ_ｉ，ｗｉｄｔｈ_ｉ）のスケールにリサイズする。

次に、物体領域抽出部１２が、入力された画像群に含まれる各画像Ｉ_ｉに写っている物体領域候補を抽出する。ここで抽出される物体領域候補は、画像内で互いに重複する領域が存在しないように抽出される。以下、画像内で互いに重複しないように物体領域候補を抽出する方法について具体的に説明する。

なお、以下では、物体領域候補として矩形領域を抽出する場合について説明するが、抽出する領域の形状は矩形に限られるものではない。

まず、画像中の任意の矩形領域について物体のカテゴリに依存しない物体らしさを評価する公知の技術を用いて、物体らしさのスコアが高い矩形領域をＮ_{ｐｒｏｐｏｓａｌ}個抽出する。

Ｎ_{ｐｒｏｐｏｓａｌ}はパラメータであり、予め定めた値を設定する。図３には、一例としてＮ_{ｐｒｏｐｏｓａｌ}＝５とした場合に画像Ｉ_ｉから抽出された矩形領域、すなわち物体領域候補の例を示した。図３に示すように、物体領域候補３０_１は物体領域候補３０_２と重複している。また、物体領域候補３０_２は物体領域候補３０_１及び物体領域候補３０_３と重複している。また、物体領域候補３０_３は物体領域候補３０_２、物体領域候補３０_４、及び物体領域候補３０_５と重複している。また、物体領域候補３０_４は、物体領域候補３０_３及び物体領域候補３０_５と重複している。また、物体領域候補３０_５は、物体領域候補３０_３及び物体領域候補３０_４と重複している。

以下では、画像Ｉ_ｉについて物体領域抽出処理で得られた物体領域候補を

、各物体領域候補に対応する物体らしさのスコアを

とする。物体領域候補

は、ピクセルｘが物体領域候補に含まれるとき

、それ以外で０をとる画像と同じサイズのバイナリマスクである。画像中の任意の矩形領域について物体のカテゴリに依存しない物体らしさを評価する公知の技術としては、例えば下記参考文献１に開示された方法を用いることができる。

（参考文献１） M.M. Cheng et al., BING: Binarized Normed Gradients for Objectness Estimation at 300fps, in Proc. CVPR, 2014.

次に、抽出された物体領域候補のうち、他の物体領域候補と重複する領域の割合が大きい物体領域候補をＮｏｎ Ｍａｘｉｍａｌ Ｓｕｐｐｒｅｓｓｉｏｎ（ＮＭＳ）を用いて除去する。図４には、ＮＭＳを用いて他の物体領域候補と重複する領域の割合が大きい物体領域候補を除去した場合の例を示した。図４に示すように、物体領域候補３０_２、３０_３が残され、物体領域候補３０_１、３０_４、３０_５は除去されている。図３に示すように、物体領域候補３０_１、３０_４、３０_５は、他の物体領域候補と重複する領域の割合が大きいためである。なお、図４に示すように、物体領域候補３０_２、３０_３は一部の領域３２が重複している。このように、重複領域を有する物体領域候補が全て除去されるわけではない。

以下では、ＮＭＳの結果残った物体領域候補集合を

とする。

は、画像Ｉ_ｉから抽出される物体領域候補の数である。ＮＭＳの結果残った物体領域候補は、重複する領域は小さいものの互いに重複している可能性がある。そこで、領域が重複するのを避けるため、上記数７で示した物体領域候補集合に含まれる２つ以上の物体領域候補に属する各ピクセルについては、その色、位置、及び隣接ピクセルとのラベル一貫性を評価することにより、上記数７で示した物体領域候補集合に含まれる何れかの物体領域候補への割り当て処理を行う。上記割り当て処理は、例えば下記（１）式で示すエネルギー関数を最小化するような物体領域候補集合

を求めることで得られる。

・・・（１）

ここで、

は、上記数７に示す物体領域候補集合に含まれる物体領域候補のうち少なくとも一つ以上の物体領域候補に含まれるピクセルの集合、Ｎ_ｘは、ピクセルｘの近傍ピクセルの集合（例えばピクセルｘの上下左右に存在するピクセルから構成される集合）である。

上記（１）の右辺第一項は、ピクセルｘの位置を評価する項であり、例えば下記（２）式のように定義できる。

・・・（２）

ここで、

は物体領域候補

に含まれるピクセルの集合、

はピクセルｘの座標である。また、κ_{ｐｏｓｉｔｉｏｎ}はパラメータであり、予め定めた値を設定する。

上記（１）式の右辺第二項は、物体領域候補

のアピアランスモデルに対するピクセルｘの寄与を評価する項、すなわちピクセルｘの色を評価する項であり、例えば下記（３）式のように定義できる。

・・・（３）

ここで、

は、上記数１４で示す物体領域候補に対応するアピアランスモデル

に対するピクセルｘの輝度値

の対数尤度、κ_{ｃｏｌｏｒ}はパラメータであり、予め定めた値を設定する。上記数１９で示したアピアランスモデルは、例えばＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌを用いて構築することができる。

上記（１）式の右辺第三項は、輝度値の類似した隣接ピクセルｘ、ｘ’の、物体領域候補に含まれるか否かを示すラベルの一貫性を評価する項であり、例えば下記（４）式のように定義することができる。

・・・（４）

ここで、κ_ｉｎｔはパラメータであり、予め定めた値を設定する。また、[]は、[]内の条件が満たされる場合に１、満たされない場合に０となるインジケータ関数である。

は、ピクセルｘが上記数９で示した物体領域候補集合に含まれる何れの物体領域候補にも含まれない場合に０、物体領域候補Ｒ_ｉｊに含まれる場合にｊとなる。

以上の処理によって、各画像Ｉ_ｉについて上記数９で示すような、互いに重複しない物体領域候補集合が得られる。例えば図４に示すように物体領域候補３０_２、３０_３の一部が重複した領域３２のピクセルは、図５に示すように物体領域候補３０_２及び物体領域候補３０_３の何れか一方にラベリングされることとなる。このため、上記数９で示すような互いに重複しない物体領域候補集合に含まれる各物体領域候補は、必ずしも矩形領域になるとは限らない。

ステップＳ１０２では、アピアランスモデル推定部１４が、ステップＳ１０２で得られた上記数９で示す各画像の物体領域候補集合に基づいて、アピアランスモデルを推定する。ここで、アピアランスモデルは、各画像から抽出された物体領域候補集合を構成する各物体領域候補と、何れの物体領域候補にも含まれないピクセル集合で構成される領域、すなわち背景領域と、について推定する。

以下では、画像Ｉ_ｉについて推定されたアピアランスモデル集合を

とする。ここで、アピアランスモデル

は、物体領域候補

に対応しており、物体領域候補Ｒ_ｉｊに含まれるピクセル集合

から推定することができる。アピアランスモデルＨ_ｉ０は、上記数９で示した物体領域候補集合を構成する何れの物体領域候補にも含まれない領域、すなわち背景領域から推定されるアピアランスモデルであり、上記数９で示した物体領域候補集合を構成する何れの物体領域候補にも含まれないピクセル集合から推定することができる。アピアランスモデルは、例えばＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌを用いて構築することができる。

ステップＳ１０４では、対応付け推定部１６が、ステップＳ１０２で得られた各画像の各物体領域候補について、各画像に含まれる全ての物体領域候補の中から特に類似した物体領域候補とのピクセル間の密な対応付けを推定する。ここで、類似する物体領域候補間におけるピクセル間の密な対応付けは、対応付けられるピクセル間の画像特徴量の類似性を評価する項と、物体領域候補内の近傍ピクセルに関する、対応付けに伴う移動ベクトルのなめらかさを評価する項と、から構成される最適化関数を解くことによって算出する。例えば、以下の処理を実行する。

まず、各物体領域候補から画像特徴量を抽出し、各物体領域候補

について、抽出した画像特徴量に関して特に類似した｜Ｎ_Ｒ｜個の物体領域候補との間で下記参考文献２に開示されているＳＩＦＴ Ｆｌｏｗを算出する。｜Ｎ_Ｒ｜はパラメータであり、予め定めた値を設定する。また、各物体領域候補から画像特徴量を抽出する方法としては、例えば下記参考文献３に開示されたＧＩＳＴ特徴量を用いることができる。

（参考文献２） C. Liu et al., SIFT Flow: Dense Correspondence across the Scenes and its Applications, TPAMI, 33(5),2011.

インターネット（URL:http://people.csail.mit.edu/celiu/SIFTflow/SIFTflow.pdf）

（参考文献３） A. Oliva et al., Modeling the Spape of the Scene: A Holistic Representation of the Spatial Envelope, IJCV, 42(3), pp145-175, 2001.

インターネット（URL:http://cvcl.mit.edu/Papers/IJCV01-Oliva-Torralba.pdf）

以下では、対応付け推定処理で得られた対応付け集合を

とする。ｗ_ＲＲ’（ｘ）は、ピクセルｘ∈Ｒに対応付けられる

内のピクセルである。

ステップＳ１０６では、物体領域候補更新部１８が、ステップＳ１０２で得られた上記数９で示すような物体領域候補集合又は前回ステップＳ１０６を実行することにより更新された物体領域候補集合、ステップＳ１０２のアピアランスモデル推定処理で得られたアピアランスモデル集合、及びステップＳ１０４の対応付け推定処理で得られた対応付け集合の結果を用いて、物体領域候補を更新する。

ここで、物体領域候補の更新は、入力された画像群に含まれる各画像の各ピクセルに関する物体らしさを評価する項と、ステップＳ１０２で得られた上記数９で示すような物体領域候補集合又は前回ステップＳ１０６を実行することにより更新された物体領域候補集合に含まれる物体領域候補の空間上の近さを評価する項と、ステップＳ１０２のアピアランスモデル推定処理で得られたアピアランスモデルへの寄与を評価する項と、ステップＳ１０４の対応付け処理で対応付けられたピクセル間の画像特徴量の類似性を評価する項と、画像内で隣接するピクセルのラベルのなめらかさを評価する項と、ステップＳ１０４の対応付け処理で対応付けられたピクセルのラベルの一貫性を評価する項と、を含む目的関数を最適化することによって行う。このような目的関数は、例えば下記（５）式のように定義することができる。

・・・（５）

ここで、上記（５）式の右辺第一項は、各画像の各ピクセルに定義されるエネルギー項であり、下記（６）式のように定義される。

・・・（６）

ここで、βはパラメータであり、予め定めた値を設定する。上記（６）式のＥ_ｏｂｊ（ｘ）は、ピクセルｘの物体らしさを評価する項であり、例えばステップＳ１００の物体領域抽出処理で得られた上記数３で示した物体領域候補及び上記数４で示した各物体領域候補に対応する物体らしさのスコアを用いて、下記（７）式のように定義することができる。

・・・（７）

ここで、λ_ｏｂｊはパラメータであり、予め定めた値を設定する。上記（６）式の

は、ピクセルｘの位置について、前回更新された物体領域候補からの空間上の近さを評価する項であり、例えば下記（８）式で定義することができる。

・・・（８）

ここで、λ_{ｐｏｓｉｔｉｏｎ}はパラメータであり、予め定めた値を設定する。上記（６）式の

は、ステップＳ１０４の対応付け処理で対応付けられたピクセル間の画像特徴量の類似性を評価する項であり、例えば下記（９）式のように定義することができる。

・・・（９）

ここで、α、λ_{ｍａｔｃｈ}はパラメータであり、予め定めた値を設定する。ｄ_ｘはピクセルｘに定義される局所画像特徴量であり、例えばＳＩＦＴ記述子を用いることができる。

上記（５）式の右辺第二項は、各画像の各ピクセルのアピアランスモデルに対する寄与を評価する項であり、例えば下記（１０）式のように定義できる。

・・・（１０）

ここで、ｌｏｇｐ（ｃ_ｘ｜Ｈ_ｉｊ）は、物体領域候補Ｒ_ｉｊに対応するアピアランスモデルＨ_ｉｊに対する上記数１９で示したピクセルｘの輝度値の対数尤度である。また、λ_{ｃｏｌｏｒ}は、パラメータであり、予め定めた値を設定する。

上記（５）式の右辺第三項は、画像内で隣接するピクセルのラベルのなめらかさを評価する項であり、下記（１１）式のように定義することができる。

・・・（１１）

ここで、λ_ｉｎｔはパラメータであり、予め定めた値を設定する。

上記（５）式の右辺第四項は、ステップＳ１０４の対応付け推定処理で対応付けられたピクセル間のラベルのなめらかさを評価する項であり、下記（１２）式のように定義することができる。

・・・（１２）

ここで、λ_ｅｘｔはパラメータであり、予め定めた値を設定する。また、Ｂ_ｉ（ｘ）は、

のとき０、それ以外で１をとる。

上記（５）式は、例えば以下のように解くことができる。まず画像Ｉ_ｉを選択し、それ以外の画像に含まれる物体領域候補は全て固定する。この場合、上記（５）式は画像Ｉ_ｉに対応する、上記数９で示した物体領域候補集合を変数とする関数となり、これはｌｏｏｐｙ ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ等の公知のアルゴリズムを用いて解くことができる。この処理を各画像について実行することにより、上記数９で示した物体領域候補集合を更新することができる。

ステップＳ１０８では、収束判定部２０が、ステップＳ１０８の物体領域更新処理の結果が収束条件を満たすか否かを判定する。収束条件としては、例えば物体領域更新処理で定義された目的関数の値の変化量が一定以下になったことを収束条件としてもよいし、ステップＳ１０２〜Ｓ１０６までの一連の処理を繰り返す回数を予め定めておき、ステップＳ１０２〜Ｓ１０６までの一連の処理を予め定めた回数繰り返したことを収束条件としてもよい。そして、収束判定部２０が、収束条件を満たすと判定した場合はステップＳ１０８へ移行し、収束条件を満たさないと判定した場合はステップＳ１０２へ移行する。

ステップＳ１０８では、物体領域出力部２２が、ステップＳ１０６の物体領域更新処理により得られた物体領域を含む画像を出力する。図６には、入力画像群４０と、入力画像群４０に対してステップＳ１００〜Ｓ１０８の処理を実行することにより得られた物体領域のみを含む出力画像群５０を示した。なお、図６に示すように、入力画像群４０は、抽出対象を飛行機とした画像群である。

図６に示すように、入力画像群４０に含まれる入力画像４２には１機の飛行機が含まれており、この入力画像４２からは、１機の飛行機のみを含む出力画像５２が得られる。また、入力画像４４には向かい合わせの２機の飛行機が含まれており、この入力画像４４からは、右向きの飛行機のみを含む出力画像５４_１、左向きの飛行機のみを含む出力画像５４_２が得られる。また、入力画像４６には大小様々な複数の飛行機が含まれており、この入力画像４６からは、それぞれの飛行機のみを含む出力画像５６_１、５６_２、５６_３、・・・が得られる。また、入力画像４８には、飛行機は１機も含まれていないため、この入力画像４８からは、飛行機が抽出された出力画像は得られない。

ここで、例えば図７に示すように、入力画像６０に一部が重なり合う２つの物体領域候補６２_１、６２_２が含まれている場合、従来技術では、２つの物体領域候補６２_１、６２_２を精度良くセグメンテーションすることができず、出力画像７０は、１つの物体領域候補７２のみを含む出力画像となってしまう。

これに対し、本実施形態では、図８に示すように、入力画像６０に一部が重なり合う２つの物体領域候補６２_１、６２_２が含まれている場合、２つの物体領域候補６２_１、６２_２を精度良くセグメンテーションすることができ、出力画像７０は、２つの物体領域候補６２_１、６２_２に対応した２つの物体領域候補７２_１、７２_２を含む出力画像となる。

このように、入力画像群の中に１つの画像に複数の抽出対象の物体が写り込んでいる画像が混在していたり、抽出対象の物体領域を含まない画像が混在していたりする場合でも、抽出対象の物体領域を精度よくセグメンテーションすることができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

また、上述の画像セグメンテーション装置１０は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体、例えばＣＤ−ＲＯＭやメモリーカード等に格納して提供することも可能である。

１０ 画像セグメンテーション装置
１２ 物体領域抽出部
１４ アピアランスモデル推定部
１６ 対応付け推定部
１８ 物体領域更新部
２０ 収束判定部
２２ 物体領域出力部

Claims (7)

1. 物体領域抽出部、アピアランスモデル推定部、対応付け推定部、物体領域更新部、収束判定部、及び物体領域出力部を含む画像セグメンテーション装置における画像セグメンテーション方法であって、
   前記物体領域抽出部が、画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出するステップと、
   前記アピアランスモデル推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するステップと、
   前記対応付け推定部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定するステップと、
   前記物体領域更新部が、前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新するステップと、
   前記収束判定部が、所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行うステップと、
   前記物体領域出力部が、前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力するステップと、
   を含む画像セグメンテーション方法。
2. 前記物体領域抽出部が前記物体領域候補を抽出するステップは、画像中で互いに重複する領域が存在しないように前記物体領域候補を抽出する
   請求項１記載の画像セグメンテーション方法。
3. 前記アピアランスモデル推定部が前記アピアランスモデルを推定するステップは、前記物体領域抽出部により抽出された各画像の各物体領域候補について前記アピアランスモデルを推定し、各画像の、各物体領域候補の何れにも含まれないピクセル集合で構成される背景領域について、前記アピアランスモデルを推定する
   請求項１又は請求項２記載の画像セグメンテーション方法。
4. 前記対応付け推定部が前記対応付けを推定するステップは、
   前記物体領域候補の各々について、
   類似した他の物体領域候補との間で対応付けられるピクセル間の画像特徴量の類似性を評価する項と、
   前記物体領域候補内の近傍ピクセルに関する、前記ピクセルの対応付けに伴う移動ベクトルのなめらかさを評価する項と、
   から構成される最適化関数を解くことによって、前記類似した他の物体領域候補との間のピクセルの対応付けを推定する
   請求項１〜３の何れか１項に記載の画像セグメンテーション方法。
5. 前記物体領域更新部が前記物体領域候補を更新するステップは、
   前記画像群に含まれる各画像の各ピクセルに関する前記抽出対象物体らしさを評価する項と、
   前記物体領域抽出部により抽出された前記物体領域候補又は前記物体領域更新部により更新された前記物体領域候補からの空間的な近さを評価する項と、
   前記画像群に含まれる各画像の各ピクセルに関する、前記アピアランスモデル推定部により推定された前記アピアランスモデルへの寄与を評価する項と、
   前記対応付け推定部により対応付けられたピクセル間の画像特徴量の類似性を評価する項と、
   画像内で隣接するピクセルの、物体領域候補に含まれるか否かを示すラベルのなめらかさを評価する項と、
   前記対応付け推定部により対応付けられたピクセル間の前記ラベルの一貫性を評価する項と、
   を含む目的関数を最適化することによって、前記画像群に含まれる各画像の前記物体領域候補の更新を行う
   請求項１〜４の何れか１項に記載の画像セグメンテーション方法。
6. 画像群に含まれる各画像から、抽出対象物体を表す一つ以上の物体領域候補を抽出する物体領域抽出部と、
   前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補に基づいて、前記物体領域候補の各々についてアピアランスモデルを推定するアピアランスモデル推定部と、
   前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補の各々について、類似した他の物体領域候補との間のピクセルの対応付けを推定する対応付け推定部と、
   前記物体領域抽出部により抽出された前記物体領域候補又は更新された前記物体領域候補、前記アピアランスモデル推定部により推定された前記アピアランスモデル、及び前記対応付け推定部により推定された対応付けに基づいて、前記画像群に含まれる各画像の前記物体領域候補を更新する物体領域更新部と、
   所定の収束条件が満たされるまで、前記アピアランスモデル推定部による推定、前記対応付け推定部による推定、及び前記物体領域更新部による更新を繰り返し行う収束判定部と、
   前記画像群に含まれる各画像の前記物体領域候補を物体領域として出力する物体領域出力部と、
   を含む画像セグメンテーション装置。
7. コンピュータに、請求項１〜５の何れか１項に記載の画像セグメンテーション方法の各ステップを実行させるための画像セグメンテーションプログラム。