JP2004258750A - Method and device for clustering feature vector of image - Google Patents
Method and device for clustering feature vector of image Download PDFInfo
- Publication number
- JP2004258750A JP2004258750A JP2003046015A JP2003046015A JP2004258750A JP 2004258750 A JP2004258750 A JP 2004258750A JP 2003046015 A JP2003046015 A JP 2003046015A JP 2003046015 A JP2003046015 A JP 2003046015A JP 2004258750 A JP2004258750 A JP 2004258750A
- Authority
- JP
- Japan
- Prior art keywords
- image
- temporary
- cluster
- vector
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000013598 vector Substances 0.000 title claims abstract description 443
- 238000000034 method Methods 0.000 title claims description 72
- 239000000470 constituent Substances 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000009795 derivation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、画像から抽出した複数の特徴ベクトルを分類する方法および装置に関し、特に、領域分割処理等のために、特徴ベクトル空間におけるクラスタリングの手法を用いて、1枚の原画像の各画素から抽出した特徴ベクトルを、互いに類似したもの同士が属する複数のクラスターに分類する方法および装置に関する。
【0002】
【従来の技術】
観測データや画像データの特徴が該特徴を表すn個のパラメータを成分とする特徴ベクトルとして表現できる場合のデータ分類手法として、複数の特徴ベクトルをn次元の特徴ベクトル空間に写像して、該特徴ベクトル空間における分布をもとにこれらの特徴ベクトルを複数のクラスターに分類する、いわゆるクラスタリングの手法が従来から知られている。クラスターとは、文字通り、特徴ベクトル空間における特徴ベクトルの「塊」であり、特徴ベクトル空間におけるユークリッド距離等を指標として、互いに近い特徴ベクトルが同一のクラスターに分類される。すなわち、同一のクラスターに属する特徴ベクトルは、互いに類似した特徴を表しているものである。
【0003】
通常、クラスタリング処理に際しては、どの程度まで分類を行うかを示す一定値のパラメータを、処理開始に先立って指定しなくてはならない。たとえば、最終的なクラスターの個数や、クラスター中心と該クラスターに属する特徴ベクトル間の許容可能な最大距離が、かかるパラメータとして指定され得る。クラスターの個数等を固定しない自己収束形のアルゴリズムを使用する場合であっても、クラスターの拡がりに関するパラメータやクラスター間の距離に関するパラメータ等、どの程度まで分類を行うかを示す何らかの一定値のパラメータを指定する必要性は解消されない(たとえば、非特許文献1参照)。
【0004】
【非特許文献1】
長尾真著、「画像認識論」、初版、コロナ社、昭和58年2月15日
、p.120−126
【0005】
【発明が解決しようとする課題】
クラスタリング処理に際してどの程度まで分類を行うべきかは、データの内容に強く依存する。とりわけ、多様性の高い画像データを対象とする場合には、適当な分類の程度は、各画像データによって大きく異なる。たとえば、1枚の画像を、該画像に含まれる「空」、「海」、「建物」等の撮影対象要素に対応する領域(以下、「オブジェクト領域」と呼ぶ)に分割する領域分割処理を行うために、該画像の各画素から抽出した特徴ベクトルをクラスタリング処理により分類する場合等には、各画像に含まれる撮影対象要素の数は多様であり、どの程度まで分類を行うべきかの画一的な基準を定めることは不可能である。すなわち、撮影対象要素として「空」と「海」のみを含む画像であれば、2つのオブジェクト領域に分割できればよいのであるから、分類の程度は粗くて足りるが、さらに「建物」、「木」、「土」等の多くの撮影対象要素を含む画像については、より細かい分類が必要である。この場合に、前者の画像に合わせた画一的な分類の程度の基準を採用すれば、後者の画像については十分な分類が行えないこととなり、後者の画像に合わせた画一的な基準を採用すれば、実際には「空」と「海」しか撮影されていない前者の画像を不必要に多くのオブジェクト領域に分割することとなる。
【0006】
したがって、領域分割等を目的とする画像データを対象としたクラスタリング処理においては、分類対象としていかなる画像データが入力されても、その画像データ自体から該画像データに最適な分類の程度を特定し、安定した分類性能を実現する手法が強く望まれる。
【0007】
本発明は、かかる事情に鑑み、好ましい分類の程度を指定するパラメータの入力を要さずに、1枚の原画像を表す入力された画像データ自体から最適な分類の程度を特定して、該原画像の各画素から抽出した特徴ベクトルの分類を行うクラスタリング方法および装置を提供することを目的とするものである。
【0008】
【課題を解決するための手段】
すなわち、本発明に係る画像の特徴ベクトルのクラスタリング方法は、原画像から、段階的に解像度の異なる複数の複数画素からなる低解像度画像を導出する工程と、上記の複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める工程と、解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する工程と、該特徴ベクトルの各々を特徴ベクトル空間に写像する工程と、特徴ベクトル空間において、上記の特徴ベクトルを、上記の代表ベクトルの各々が代表するクラスターに分類する工程と、上記のクラスターの各々に属する特徴ベクトルに対応する画素の、現在画像上における分布に基づいて、現在画像を画像領域に分割する工程と、上記のクラスターの中から選択した1つの選択クラスターに対応する画像領域を特定する工程と、該特定により複数の画像領域が特定された場合に行う工程であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、特徴ベクトル空間において、上記の複数の選択画像領域に属する画素に対応する特徴ベクトルを、上記の仮代表ベクトルの各々が代表する仮クラスターに再分類し、選択画像領域と仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、該仮クラスター群の各々を代表するベクトルを、上記の選択クラスターを代表する代表ベクトルに代えて新たな代表ベクトルとする工程と、全てのクラスターについて、上記の画像領域を特定する工程と上記の複数の画像領域が特定された場合に行う工程を繰り返す工程と、原画像が現在画像とされ、原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、上記の特徴ベクトルを抽出する工程から上記の繰り返す工程を繰り返す工程を含むことを特徴とする方法である。
【0009】
また、本発明に係る画像の特徴ベクトルのクラスタリング装置は、原画像から、段階的に解像度の異なる複数の複数画素からなる低解像度画像を導出する手段と、上記の複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める手段と、解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する手段と、該特徴ベクトルの各々を特徴ベクトル空間に写像する手段と、特徴ベクトル空間において、上記の特徴ベクトルを、上記の代表ベクトルの各々が代表するクラスターに分類する手段と、上記のクラスターの各々に属する特徴ベクトルに対応する画素の、現在画像上における分布に基づいて、現在画像を画像領域に分割する手段と、上記のクラスターの中から選択した1つの選択クラスターに対応する画像領域を特定する手段と、該特定により複数の画像領域が特定された場合に動作する手段であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、特徴ベクトル空間において、上記の複数の選択画像領域に属する画素に対応する特徴ベクトルを、上記の仮代表ベクトルの各々が代表する仮クラスターに再分類し、選択画像領域と仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、該仮クラスター群の各々を代表するベクトルを、上記の選択クラスターを代表する代表ベクトルに代えて新たな代表ベクトルとする手段と、全てのクラスターについて、上記の画像領域を特定する手段と上記の複数の画像領域が特定された場合に動作する手段を繰返し動作させる手段と、原画像が現在画像とされ、原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、上記の特徴ベクトルを抽出する手段から上記の繰返し動作させる手段を繰返し動作させる手段を備えていることを特徴とする装置である。
【0010】
ここで、本発明において「低解像度画像」とは、原画像よりも画素数の少ない複数画素からなる画像であって、原画像を基として、ガウシアンピラミッド、線形補間、スプライン補間、ウェーブレット変換等を利用した画像縮小処理により順次求められるものを指す。画像の縦方向と横方向に対して、異なる縮小率を適用してもよい。
【0011】
また、本発明において「特徴ベクトル」とは、画像の各画素から抽出されるベクトルであって、当該画像の特徴を示す複数のパラメータ(以下、「特徴量」と呼ぶ)を成分とするベクトルを指す。特徴ベクトルの成分である特徴量としては、たとえば色の特徴、輝度の特徴、テクスチャーの特徴、奥行情報、該画像に含まれるエッジの特徴等を示す特徴量が使用され得る。また、「特徴ベクトル空間」とは、上記の特徴ベクトルの各成分を座標とする空間を指す。たとえば、特徴ベクトルがYCC表色系における各画素の輝度成分および2つの色差成分を成分とするベクトルである場合には、3次元のYCC表色系空間が特徴ベクトル空間となる。
【0012】
さらに、本発明において「代表ベクトル」とは、特徴ベクトル空間において規定される各クラスターを代表するベクトルを指し、クラスターごとに1つの代表ベクトルが割り当てられる。
【0013】
また、本発明において「画像領域」とは、実画像空間、すなわち低解像度画像または原画像自体の上で、特徴ベクトル空間において同一クラスターに属する特徴ベクトルに対応する画素が形成する島状の各領域を指す。実画像空間においては、同じような特徴を有する領域が互いに分離して複数存在することもあるので、特徴ベクトル空間における1つのクラスターが、2つ以上の画像領域に対応することもある。クラスタリング処理が最適な分類の程度で行われれば、原画像における画像領域は、「空」、「海」、「建物」等の各撮影対象要素に対応するオブジェクト領域となる。
【0014】
さらに、本発明において「仮代表ベクトル」とは、各選択画像領域の特徴を代表する、特徴ベクトルと同次元の1つのベクトルを指し、たとえば、各選択画像領域に属する画素に対応する特徴ベクトルの各成分の平均値を成分とするベクトル等を使用することができる。
【0015】
また、本発明において「選択画像領域と仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定する」とは、実画像空間において互いに分離されている選択画像領域が、特徴ベクトル空間においても互いに分離できるものであるか否かに基づき、特徴ベクトル空間においても互いに分離される選択画像領域の群に対応する仮クラスターの群を特定することを指す。すなわち、本発明は、実画像空間において互いに集合して1つの画像領域を形成する画素に対応する特徴ベクトルは、特徴ベクトル空間においても1つのクラスターを形成する可能性が高いことに鑑み、1つのクラスターに対応する画像領域が実画像空間において分離して複数存在する場合には、該画像領域の中から選択した複数の選択画像領域を区別することが適当か否かを特徴ベクトル空間において調べ、適当である場合にはそれらを区別するように代表ベクトルを置き換えるものである。
【0016】
また、上記の1つまたは複数の仮クラスター群の特定は、当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定し、さらに、そのように特定された仮クラスター群のいずれにも属していない仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定するものであってもよい。あるいは、上記の1つまたは複数の仮クラスター群の特定は、当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定し、さらに、相互においてのみ当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを交換している、複数の仮クラスターがある場合には、該複数の仮クラスターからなる群を1つの仮クラスター群として特定し、さらに、そのように特定された仮クラスター群のいずれにも属していない仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定するものであってもよい。これらの場合において、仮クラスターへの再分類の後、仮クラスター群の特定前に、仮クラスターの各々について、該仮クラスターに属する特徴ベクトルの総数に対し、該仮クラスターに属する対応の特徴ベクトルの数の割合が所定割合より少ない選択画像領域がある場合は、該選択画像領域に対応する特徴ベクトルを該仮クラスターから除外してもよい。
【0017】
ここで、「相互においてのみ当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを交換している複数の仮クラスター」とは、当該複数の仮クラスターの各々が、いずれの選択画像領域に由来する特徴ベクトルを含んでいるかのパターンが同一であり、かつ、それらの選択画像領域に由来する特徴ベクトルが、他の仮クラスターには含まれていないことを指す。
【0018】
また、上記の本発明に係るクラスタリング方法または装置は、分類されたクラスターの各々に含まれる特徴ベクトルに基づいて、代表ベクトルを更新する工程または手段をさらに含むものであってもよい。さらに、これに加えて、更新された代表ベクトルに基づいてクラスターを更新する工程または手段をさらに含むものであってもよい。
【0019】
ここで、「代表ベクトルを更新する」とは、分類により規定されたクラスターをより適切に代表するベクトルを、新たな代表ベクトルとすることであって、たとえば、規定された各クラスターに属する特徴ベクトルの重心を示すベクトルを、もとの代表ベクトルに代えて、新たな代表ベクトルとすること等を指す。また、「クラスターを更新する」とは、上記のように更新された代表ベクトルに基づいてクラスタリングによる分類をし直すことであって、たとえば、各特徴ベクトルを、特徴ベクトル空間におけるユークリッド距離が最も近い新たな代表ベクトルが代表するクラスターに分類し直すこと等を指す。
【0020】
また、上記の本発明に係るクラスタリング方法または装置は、微小領域を非微小領域に統合することにより、画像領域を更新する工程または手段をさらに含むものであってもよい。
【0021】
ここで、「微小領域」とは、画像領域のうち、現在画像をなす画素数の所定割合(たとえば1/1000程度)より少ない数の画素からなる、いわゆるノイズと考えられるような領域を指す。一方、「非微小領域」とは、画像領域のうち、微小領域でないものを指す。
【0022】
また、上記の複数の選択画像領域は、上記の複数の画像領域の中から、構成画素数の多いものを順に複数選択したものであってもよい。
【0023】
また、上記の代表ベクトルの各成分の初期値を求めるに際しては、n個の画素からなる最低解像度画像から、1つの原代表ベクトルを導出し、該n個の画素の各々から抽出されたn個の特徴ベクトルと、原代表ベクトルとの、特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補とするとともに、最も高い候補順位を付け、残りの特徴ベクトルの各々と、原代表ベクトルおよび上記の代表ベクトル候補のうち該特徴ベクトルに最も近いものとの、特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補に追加するとともに、次に高い候補順位を付け、かかる次に高い候補順位を付ける処理を繰り返し、該候補順位に従って、上記の代表ベクトル候補のうちの上位2つ以上の特徴ベクトルの各成分の値を、上記の初期値としてもよい。
【0024】
ここで、特徴ベクトル空間における「距離」とは、典型的には特徴ベクトル空間における2つのベクトル間のユークリッド距離を指すが、特徴ベクトル空間における2つのベクトルの近接度合いを適当に表す指標であれば、ユークリッド距離に限られないものとする。
【0025】
また、「原代表ベクトル」とは、最低解像度画像を代表する1つのベクトルであって、たとえば最低解像度画像の各画素から抽出される特徴ベクトルの各成分の平均値を成分とするベクトル等が使用され得る。
【0026】
【発明の効果】
本発明に係る画像の特徴ベクトルのクラスタリング方法および装置は、入力された原画像自体から導出した最低解像度画像に基づいて代表ベクトルの各成分の初期値を求め、これらの初期値を利用して、解像度が次に低い画像における特徴ベクトルの最適な分類を順次求めていき、最終的には原画像の各画素から抽出した特徴ベクトルの分類を求めるものであるので、好ましい分類の程度を指定するパラメータの入力を要さずに、原画像の内容に応じた最適な分類の程度により、原画像の各画素から抽出した特徴ベクトルの分類を行うことができる。したがって、いかなる原画像が入力されても、安定した分類性能を実現することができ、様々な撮影対象要素を含む多数の画像に対して、連続して領域分割処理を施す場合等に極めて有効である。
【0027】
また、本発明に係るクラスタリング方法または装置は、上記のとおり、各低解像度画像または原画像における特徴ベクトルの最適な分類を求めるにあたり、実画像空間において互いに集合して1つの画像領域を形成する画素に対応する特徴ベクトルは、特徴ベクトル空間においても1つのクラスターを形成する可能性が高いことに鑑み、実画像空間における選択画像領域と特徴ベクトル空間における仮クラスターとの対応関係に基づいて、新たな代表ベクトルを追加していくものである。したがって、本発明に係るクラスタリング方法および装置は、実画像空間における情報を反映しながら最適な分類のための代表ベクトルを求めていくので、1枚の原画像の実画像空間を、該原画像に含まれる「空」、「海」、「建物」等の撮影対象要素に対応するオブジェクト領域に分割する領域分割処理等への応用に特に適している。
【0028】
さらに、本発明に係る画像の特徴ベクトルのクラスタリング方法および装置は、低解像度化された画像すなわち特徴ベクトル数を減じた画像において順次分類処理を行っていくものであるため、従来のクラスタリング処理と比較して、計算量が過大となることもない。
【0029】
【発明の実施の形態】
以下、図面により、本発明の例示的な実施形態を詳細に説明する。
【0030】
図1は、本発明の1つの実施形態であるクラスタリング処理の手順を示したフローチャートである。このクラスタリング処理は、最終的には原画像の各画素から抽出した特徴ベクトルを、複数のクラスターに分類することを目的とするものであり、原画像を「空」、「海」、「建物」等の撮影対象要素に対応する複数の画像領域に分割する領域分割処理等に利用できる。なお、本実施形態では、原画像は1024×1024画素のデジタル写真画像であるとし、特徴ベクトルは、YCC表色系で表された輝度成分および2つの色差成分を成分とする3次元のベクトルであるとする。
【0031】
原画像が入力されると、まず図1のステップ10において、段階的に解像度の異なる複数の低解像度画像が導出される。本実施形態では、図2に示すように、原画像から出発して、縦横の画素数をそれぞれ2分の1とした低解像度画像を順次求めていき、最終的には第9低解像度画像すなわち画素数2×2の低解像度画像まで求めるものとする。この画素数2×2の低解像度画像が、本実施形態における最低解像度画像である。
【0032】
これらの各低解像度画像を求めるための画像縮小処理の手法としてはいかなる手法を用いてもよいが、本実施形態ではガウシアンピラミッドによる縮小処理を用いるものとする。ガウシアンピラミッドによる縮小処理とは、縮小対象の画像にガウシアンフィルターを適用していわばぼやかした画像を導出するステップと、そのようにぼやかした画像の画素を1つおきに拾って縦横の画素数をそれぞれ2分の1とした画像を導出するステップを順次繰り返して、段階的に解像度の異なる低解像度画像を導出していく処理である。使用されるガウシアンフィルターは、たとえばフィルターの大きさが5×5であれば、図3のようになる。なお、画像端の処理に関しては、たとえば図3に示した5×5の大きさのフィルターを使用する場合には、縮小対象の画像の各辺に2行分または2列分の適当な画素値を有する画素を便宜的に追加することにより、もとの縮小対象の画像と同じ大きさのぼやかした画像を導出することができる。追加する画素の「適当な画素値」としては、ゼロ値や、画像端の画素値を繰り返した値等が使用され得る。
【0033】
低解像度画像の導出が終了すると、次に、図1のステップ12において、最低解像度画像(2×2画素)を基に、2つ以上の初期代表ベクトル、すなわち代表ベクトルの各成分の初期値が導出される。この初期代表ベクトル導出処理を、以下、図4のフローチャートならびに図5の概念図に沿って詳細に説明する。
【0034】
まず、図4のステップ40において、最低解像度画像から1つの原代表ベクトルが導出される。本実施形態では、最低解像度画像をなす4つの画素から抽出した特徴ベクトルの各成分の平均値を成分とする1つのベクトルを、原代表ベクトルとする。たとえば、図5の(a)に示した特徴ベクトル空間において、4つのベクトルOB1、OB2、OB3およびOB4が最低解像度画像をなす4つの画素から抽出された特徴ベクトルであるとすると、原代表ベクトルはOAのようになる。なお、特徴ベクトルOB1、OB2、OB3およびOB4のそれぞれの抽出元の画素は、図2に示すとおりである。
【0035】
次に、図4のステップ42において、上記の4つの特徴ベクトルの各々と、原代表ベクトルとの距離を算出する。本実施形態では、この距離は特徴ベクトル空間におけるユークリッド距離であるとする。図5の(a)の例では、算出される距離はそれぞれd1、d2、d3およびd4である。
【0036】
続いて、ステップ44において、ステップ42で算出した距離のうち最大の距離を示す特徴ベクトルを、候補順位第1位の代表ベクトル候補とする。図5の(a)の例では、距離d1、d2、d3およびd4のうち最大距離はd1であり、したがって最大距離を示す特徴ベクトルはベクトルOB2であるので、ベクトルOB2が、候補順位第1位の代表ベクトル候補すなわち第1代表ベクトル候補とされる。
【0037】
次に、ステップ46において、残りの特徴ベクトルすなわち3つのベクトルOB1、OB3およびOB4の各々と、原代表ベクトルOAおよび代表ベクトル候補OB2のうちその特徴ベクトルとの距離が最も近いものとの距離が特定される。この例では、図5の(b)に示すように、ベクトルOB4については、代表ベクトル候補OB2との距離の方が原代表ベクトルOAとの距離よりも小さいため、図示のように距離d1’が特定される。ベクトルOB1およびOB3については、原代表ベクトルOAとの距離の方が代表ベクトル候補OB2との距離よりも小さいため、距離d2’およびd3’が特定される。
【0038】
続いて、ステップ48において、ステップ46で算出した距離のうち最大の距離を示す特徴ベクトルを、次に高い候補順位の代表ベクトル候補とする。図5の(b)の例では、最大距離d1’を示す特徴ベクトルはベクトルOB4であるので、ベクトルOB4が、候補順位第2位の第2代表ベクトル候補とされる。
【0039】
次に、ステップ50において、まだ候補順位を付けていない特徴ベクトルがあるか否かが確認される。ここでは、まだ特徴ベクトルOB1およびOB3に候補順位が付けられていないので、処理はステップ46に戻る。ここで再び行われるステップ46では、図5の(c)に示すように、ベクトルOB1およびOB3のいずれについても、原代表ベクトルOAおよび代表ベクトル候補OB2ならびにOB4のうちもっとも距離が近いベクトルは原代表ベクトルOAであるので、図示のように原代表ベクトルOAとの距離d1’’およびd2’’が特定される。続くステップ48においては、距離d1’’の方がd2’’よりも大きいので、特徴ベクトルOB1が候補順位第3位の第3代表ベクトル候補とされる。
【0040】
このようにして、4つ全ての特徴ベクトルに候補順位が付けられるまで、図4のステップ46からステップ50が繰り返され、最終的には各特徴ベクトルがOB2、OB4、OB1、OB3の順に代表ベクトル候補に追加され、候補順位第1位から第4位が付けられることとなる。
【0041】
続いて、図4のステップ52において、代表ベクトル候補に追加された際の上記の最大距離の変化量が最大であった特徴ベクトルの候補順位が、第2位以下であるか否かが確認される。図5に沿って上記に説明したとおり、この例では、特徴ベクトルOB2が第1代表ベクトル候補として代表ベクトル候補に追加された際には、最大距離はd1からd1’に変化しており、次に特徴ベクトルOB4が代表ベクトル候補に追加された際には、最大距離はd1’からd1’’に変化している。この最大距離の変化の様子を図示すると、図6のようになる。すなわち、この例では、最大距離の変化量は、候補順位第3位の特徴ベクトルOB1が代表ベクトル候補に追加されたときが最大であるので、図1の処理はステップ54へと進み、候補順位第3位までの特徴ベクトル、すなわちベクトルOB2、OB4およびOB1の3つが、初期代表ベクトルOR1、OR2およびOR3とされる。一方、仮にステップ52で確認された候補順位が第1位の候補順位である場合には、図1の処理はステップ56へと進み、候補順位第2位の特徴ベクトルまでが初期代表ベクトルOR1およびOR2とされる。
【0042】
ここで、本実施形態では、上記のとおり特徴ベクトル空間における最大距離の変化量を基準として初期代表ベクトルを選択したが、平均距離の変化量等を基準としてもよい。あるいは、最低解像度画像では画素数は相当に減じられているので(本実施形態では4画素)、最低解像度画像の各画素から抽出した特徴ベクトルの全てを初期代表ベクトルとしてもよい。要するに、外部からの何らかのパラメータの入力を要さずに、原画像から導出した最低解像度画像自体から、所定の処理により該原画像に応じた2つ以上の初期代表ベクトルを求めるものであれば、本発明の範囲に属するものである。
【0043】
図1に戻り、続いてステップ14において、解像度が次に低い画像、すなわち画素数4×4の第8低解像度画像が現在画像とされ、該現在画像における分類処理が開始される。以下、図7から図10も参照しながら、画素数4×4の現在画像における分類処理について順を追って説明する。
【0044】
まず、図1のステップ16において、現在画像をなす16個の画素の各々から、YCC表色系における輝度成分および2つの色差成分を成分とする特徴ベクトルが抽出され、それらの16個の特徴ベクトルが、特徴ベクトル空間すなわちYCC表色系空間に写像される。
【0045】
続いて、ステップ18において、上記の16個の特徴ベクトルを、各代表ベクトルが代表するクラスターに分類する。現在の代表ベクトルは、最低解像度画像から導出した初期代表ベクトルOR1、OR2およびOR3であるので、これらに代表される3つのクラスターに16個の特徴ベクトルを分類する。本実施形態では、特徴ベクトル空間におけるユークリッド距離を基準として、距離が最も近い代表ベクトルが代表するクラスターに、各特徴ベクトルを分類するものとする。
【0046】
次に、ステップ20において、上記のクラスターによる特徴ベクトルの分類に従って、現在画像を画像領域に分割する。図7を用いて説明すると、図7の(a)は図2に示したものと同一の最低解像度画像を示している。図7の(b)は4×4画素の現在画像であり、各画素から抽出された特徴ベクトルが、前のステップ16において代表ベクトルOR1、OR2およびOR3が代表するクラスターのいずれに分類されたかが示されている。本実施形態では、この現在画像に対し、ラスター走査や領域拡張等の手法により、実画像空間において互いに分離した島状の各領域をなす画素に同一のラベルを付けるラベリング処理を施す。すると、図7の(c)に示すように、各画素に0から3のラベルが付けられる。これらのラベルに基づいて、図7の(d)に示すように、4つの画像領域60、62、64および66を規定する。ここで、画像領域60および66をなす各画素から抽出された特徴ベクトルは、特徴ベクトル空間においては代表ベクトルOR3が代表する1つのクラスターに属しているが、実画像空間では、これらの画素は図示のように画像領域64によって隔てられているので、別個の画像領域60および66を構成する。
【0047】
続いて、図1のステップ22において、3つのクラスターの中から選択された1つの選択クラスターに対応する画像領域が特定され、ステップ24において、特定された画像領域が複数であるか否かが確認される。この例では、図7の(d)に示すとおり、選択クラスターが代表ベクトルOR1またはOR2に代表されるクラスターであるときは、対応する画像領域は画像領域62または64の1つしかないので、図1の処理は後述するステップ36に進むが、選択クラスターが代表ベクトルOR3に代表されるクラスターであるときは、対応する画像領域が2つ(すなわち、画像領域60と66)あるので、ステップ26から34の処理へと進む。以下、これらのステップ26から34の処理を説明する。
【0048】
まず、ステップ26において、ステップ22で特定された複数の画像領域の中から、複数の選択画像領域が選択される。本実施形態では、選択画像領域として、構成画素数の多い順から2つの画像領域を選択するものとする。ここでは、特定された画像領域はもともと画像領域60と66の2つであるので、これら双方が選択画像領域として選択される。なお、図8の(a)は、特徴ベクトル空間における、画像領域60および66に属する画素に対応する特徴ベクトルの分布、および現在の選択クラスターの代表ベクトルOR3を示した図である。
【0049】
続いて、ステップ28において、選択画像領域60および66から、各々1つの仮代表ベクトルが抽出される。本実施形態では、仮代表ベクトルとして、各選択画像領域に属する画素に対応する特徴ベクトルの各成分の平均値を成分とするベクトルを使用するものとする。以下、選択画像領域60および66から抽出された仮代表ベクトルを、それぞれベクトルOT1およびOT2とする。
【0050】
次に、ステップ30において、選択画像領域60および66に属する画素に対応する特徴ベクトルが、上記のステップ28で抽出された各仮代表ベクトルOT1およびOT2が代表する仮クラスターC1およびC2に再分類される。本実施形態では、ステップ18における分類と同様に、特徴ベクトル空間におけるユークリッド距離を基準として、距離が最も近い仮代表ベクトルが代表する仮クラスターに、各特徴ベクトルを分類するものとする。ここでは、仮クラスターへの再分類は図8の(b)に実線で示すようになる。
【0051】
続いて、ステップ32において、選択画像領域60および66と仮クラスターC1およびC2の対応関係に基づいて、仮クラスター群を特定する。本実施形態では、このステップ32は、図9のフローチャートに示す処理により行うものとする。
【0052】
図9に示した処理は、仮クラスターの各々について、その仮クラスターが、該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターであるか否かを調べ(ステップ70)、そのような仮クラスターである場合には、その1つの仮クラスターが各々1つの仮クラスター群を構成するものとし(ステップ72)、さらにまだ残っている仮クラスターがある場合には(ステップ74)、それらの残りの仮クラスターをまとめて別の1つの仮クラスター群とする(ステップ76)ものである。本実施形態では、ステップ26において構成画素数の多い順から2つの画像領域を選択画像領域として選択することとしているので、図9に示した処理は、言いかえれば、2つの選択画像領域の各々に属する画素と、2つの仮クラスターの各々に属する特徴ベクトルとの間に、完全な対応関係がある場合には、2つの仮クラスターが各々1つ、すなわち合計2つの仮クラスター群を構成するものとし、かかる完全な対応関係がない場合には、2つの仮クラスターがまとめて1つの仮クラスター群のみを構成するものとする処理である。ここでは、図8の(b)に示すように、画像領域60中の画素に対応する特徴ベクトルは全て仮クラスターC1に属しており、かつ、画像領域66中の画素に対応する特徴ベクトルは全て仮クラスターC2に属している。すなわち、上記の完全な対応関係があるので、図8の(b)に破線で示すように、仮クラスターC1およびC2は、各々1つの仮クラスター群を構成するものとされる。
【0053】
その後、図1のステップ34において、現在の選択クラスターを代表する代表ベクトルOR3に代えて、各仮クラスター群を代表するベクトルが新たな代表ベクトルとされる。ここでは、仮クラスターC1およびC2が各々1つの仮クラスター群を構成することとされたので、上記の仮代表ベクトルOT1およびOT2を、各仮クラスター群を代表するベクトルとして採用し、代表ベクトルOR3に代わる新たな代表ベクトルとするものとする。
【0054】
ここで、上記のステップ32および34の意義について説明する。図2に示した原画像と図7の(d)を比較すると、現在画像の画像領域60に属する各画素は、主に原画像における空の部分の特徴が圧縮された画素であり、画像領域66に属する各画素は、主に原画像における水の部分の特徴が圧縮された画素であることが分かる。空の部分と水の部分は共に青みを帯びた色をしており、それらの特徴の差は、たとえば空の部分の特徴と草原の部分の特徴との差に比べれば小さいが、やはり空の部分の画素と水の部分の画素とをそれぞれ多数集めて特徴ベクトルを抽出した場合、特徴ベクトル空間においても徐々に空の部分と水の部分が区別されてくるものと考えられる。一方、空の部分と水の部分のように特徴が比較的類似しているが異なる撮影対象要素に対応する部分は、実画像空間においては、画素数が少ない低解像度画像ではぼやけて一繋がりの画像領域を形成してしまう傾向があるが、画像が高解像度化されて(すなわち画素数が増えて)各撮影対象要素の輪郭が徐々にはっきりしてくると、互いに分離した画像領域を形成し始める。上記の例では、最低解像度画像から4×4画素の現在画像に進んだ際に、画像領域60および66が実画像空間において分離した。そこで、画像領域60および66の各々から仮代表ベクトルを抽出して仮クラスターへの再分類を行ってみると、特徴ベクトル空間においても、主に空の部分の特徴が圧縮された画像領域60の画素と、主に水の部分の特徴が圧縮された画像領域66の画素とが、完全に分離された。そこで、実画像空間における情報をクラスタリング処理に反映するため、仮代表ベクトルOT1およびOT2を代表ベクトルOR3に代わる新たな代表ベクトルとした。
【0055】
一方、上記の例とは異なるが、仮に、2つの選択画像領域に属する各画素に対応する特徴ベクトルの分布が図10の(a)のようであったとすると、仮代表ベクトルOT1およびOT2による仮クラスターC1およびC2への再分類は、図10の(b)に実線で示すようになる。この場合、各仮クラスターには2つの選択画像領域に由来する特徴ベクトルが混在しており、2つの選択画像領域の各々に属する画素と、2つの仮クラスターの各々に属する特徴ベクトルとの間には、上記のような完全な対応関係がない。このような事態は、たとえば、原画像に水の部分が複数存在し、2つの選択画像領域が実画像空間において分離した領域であるが、共に水の部分に対応する場合等に生じるものであり、かかる場合には仮クラスターC1に属する特徴ベクトルと仮クラスターC2に属する特徴ベクトルが分別されるようなクラスタリング処理を行うことは適切でない。したがって、図9に示した処理に従うと、図10の(b)に破線で示すように、仮クラスターC1およびC2は、まとめて1つの仮クラスター群を構成する。この場合、当該仮クラスター群を代表するベクトルとして、もとの選択クラスターの代表ベクトルOR3を採用するものとする。すなわち、図1のステップ34以降でも、もとの代表ベクトルOR3が引続き代表ベクトルとして使用されることになる。
【0056】
以上のステップ26から34の処理が終了すると、図1のステップ36において、まだ対応する画像領域を特定していないクラスターがあるか否かが確認され、すべてのクラスターについてステップ22から36の処理が繰り返される。
【0057】
その後、ステップ38へと進み、現在画像が原画像であるか否かが確認される。ここでは、現段階での原画像は4×4画素の第8低解像度画像であるので、図1に示す処理はステップ14へと戻り、原画像が現在画像とされ、原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、ステップ14から38の処理が繰り返される。
【0058】
以上説明した実施形態によれば、入力された原画像自体から導出した画素数2×2の最低解像度画像に基づいて2つ以上の初期代表ベクトルが求められ、これらの初期代表ベクトルを利用して解像度が次に低い画像における特徴ベクトルの最適な分類を順次求めていくことにより、最終的には原画像の各画素から抽出した特徴ベクトルの分類が求められるので、外部からのパラメータの入力を要さずに、原画像の内容に応じた最適な分類の程度により分類を行うことができる。したがって、いかなる原画像が入力されても、安定した分類性能を実現することができる。
【0059】
また、上記の実施形態によれば、各低解像度画像または原画像において、実画像空間における情報を反映しながら最適な分類のための代表ベクトルが順次求められていくので、領域分割処理等への応用に特に適している。
【0060】
次に、上記の実施形態の変更例について、図11および12を参照しながら説明する。この変更例における処理は、図1のステップ26において構成画素数の多い順から5つの画像領域(画像領域の数が2つから4つであるときは全ての画像領域)が選択画像領域とされる点、およびステップ32において図9に示した処理に代えて図12に示した処理が行われる点を除けば、上記の実施形態における処理と同様である。
【0061】
この変更例の説明のため、ある低解像度画像において一繋がりであった画像領域が、解像度が次に低い画像に進んだ際に実画像空間において5つ以上の画像領域に分離し、画像領域IからVの5つが選択画像領域として選択されたとする。これらの選択画像領域IからVに属する画素に対応する特徴ベクトルの特徴ベクトル空間における分布、これらの選択画像領域から抽出された仮代表ベクトルOTIからOTVの分布、およびこれらの仮代表ベクトルが代表する仮クラスターCIからCVによる分類は、図11に示すとおりであるとする。
【0062】
ここで、図12に示す処理を行うと、まずステップ80において、仮クラスターCIからCVの各々について、その仮クラスターが、該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターであるか否かが調べられる。図11の例では、仮クラスターCIが、抽出元である選択画像領域I中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域IIからV中の画素に対応する特徴ベクトルを含まないものであるので、図11の処理はステップ82へと進み、この仮クラスターCIが、単独で1つの仮クラスター群を構成するものとされる。
【0063】
続いて、ステップ84において、残りの仮クラスターCIIからCVについて、相互においてのみ、該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを交換している複数の仮クラスターがあるか否かが確認される。図11の例では、仮クラスターCIIとCIIIが、共に選択画像領域IIおよびIIIに由来する特徴ベクトルのみを含んでおり、そのパターンが同一である。加えて、選択画像領域IIおよびIIIに由来する特徴ベクトルは、他の仮クラスターCI、CIVおよびCVのいずれにも含まれていない。したがって、仮クラスターCIIとCIIIは、相互においてのみ、該仮クラスターを代表する仮代表ベクトルOTIIおよびOTIIIの抽出元である選択画像領域IIおよびIII中の画素に対応する特徴ベクトルを交換している複数の仮クラスターに相当し、ステップ86において、仮クラスターCIIとCIIIからなる群が、1つの仮クラスター群として特定される。仮クラスターCIVとCVの組についても、同様のことが言える。
【0064】
最後に、ステップ88において、まだ仮クラスター群のいずれにも属していない仮クラスターが残っているか否かが確認され、残っている場合には、ステップ90において、それらの残りの仮クラスターをまとめてさらに1つの仮クラスター群を特定する。図11の例では、もう残っている仮クラスターはないので、さらなる仮クラスター群の特定はせずに、図12に示した処理は終了する。
【0065】
以上の処理により、図11に破線で示すような3つの仮クラスター群が特定される。このような状態は、たとえば、選択画像領域IからVのうち、領域Iが山の部分、領域IIおよびIIIが道や川の部分を隔てて実画像空間において分離された2つの草原の部分、領域IVおよびVが実画像空間において互いに分離された2つの樹木の部分に相当する場合等に生じる。
【0066】
ここで、図8から10を用いて説明した上記の実施形態においては、2つの仮クラスターのいずれかに、異なる選択画像領域に由来する特徴ベクトルが1つでも混在している場合には、2つの仮クラスターは1つの仮クラスター群に属するものとされ、代表ベクトルが増やされない。上記に詳述した4×4画素程度の低解像度画像を現在画像として扱っている初期の段階ではそのような処理は好ましいが、現在画像の解像度が次第に大きくなると、大半の特徴ベクトルが各選択画像領域に対応する仮クラスターに分類されているのに、異なる選択画像領域に由来する特徴ベクトルが数個混在しているだけで2つの仮クラスターを異なる仮クラスター群に分類しないこととしたのでは、代表ベクトルの数が有効に増えていかず、最適な分類の程度によるクラスタリング処理ができない場合がある。同様の事態は、図11および12を用いて説明した変更例においても生じ得る。かかる事態を防ぐため、上記の実施形態および変更例においては、図1のステップ30とステップ32の間に、仮クラスターの各々について、該仮クラスターに属する特徴ベクトルの総数に対し、該仮クラスターに属する対応の特徴ベクトルの数の割合が所定割合より少ない選択画像領域がある場合は、該選択画像領域に対応する特徴ベクトルを該仮クラスターから除外するステップがさらに含まれていてもよい。この「所定割合」としては、たとえば5%程度の値が採用され得る。
【0067】
また、分類結果の一層の適正化のために、図1のステップ18とステップ20の間に、各クラスターに含まれる特徴ベクトルに基づいて、各代表ベクトルをより適切なものに更新するステップが含まれていてもよい。たとえば、各クラスターに属する特徴ベクトルの重心を示すベクトル等が、新たな代表ベクトルとして採用され得る。これに加えて、更新された代表ベクトルに基づいて、ユークリッド距離等を基準として特徴ベクトルの分類をし直し、クラスターを更新するステップがさらに含まれていてもよい。
【0068】
さらに、現在画像をなす画素数の所定割合(たとえば1/1000程度)より少ない数の画素からなる、いわゆるノイズと考えられるような画像領域を排除するために、図1のステップ20とステップ22の間に、微小領域を非微小領域に統合することにより、ステップ20で規定された画像領域を更新する工程がさらに含まれていてもよい。統合の手法としては、たとえば、微小領域と境界を接する隣接画像領域を特定し、接する境界の長さが最も長い隣接画像領域にその微小領域を統合する処理を、より小さい微小領域から順に施す手法や、やはり微小領域と境界を接する隣接画像領域を特定し、該微小領域および全ての隣接画像領域から各々1つの特徴ベクトルを抽出し、特徴ベクトル空間における特徴ベクトル間の距離が最も短い隣接画像領域にその微小領域を統合する処理を、より小さい微小領域から順に施す手法が挙げられる。
【0069】
なお、上記の実施形態および変更例では、複数の画像領域の中から、構成画素数の多いものを順に複数選択して選択画像領域としたが、選択画像領域の選択の仕方はこれに限られず、特定された複数の画像領域の全てを選択画像領域とする形態等も本発明の範囲に属するものとする。
【0070】
また、上記の実施形態および変更例では、YCC表色系で表された輝度成分および2つの色差成分を成分とする3次元のベクトルを特徴ベクトルとしたが、特徴ベクトルの各成分はこれらに限られず、特徴ベクトルの次元も3に限られない。
【0071】
さらに、上記の実施形態および変更例では、説明の便宜上、原画像を1024×1024画素からなる正方形の画像としたが、縦横の画素数が異なる原画像に対しても本発明を適用できることは言うまでもない。各低解像度画像も、正方形画像に限られない。さらに、最低解像度画像の画素数も4画素に限られず、原画像の画素数より少ない複数画素であれば、いかなる画素数であってもよい。
【0072】
また、上記の実施形態および変更例は、領域分割等の対象である対象画像自体を原画像とし、対象画像の各画素から抽出した特徴ベクトルの分類を目的とするものであったが、対象画像に予め画像縮小処理を施した縮小画像を原画像とし、縮小画像の各画素から抽出した特徴ベクトルの分類を行う形態等も、本発明の範囲に属する。この場合、縮小画像の各画素から抽出した特徴ベクトルの分類を行った後、該縮小画像にあらためて画像拡大処理を施すこと等により、上記の実施形態および変更例と同様、分類結果を対象画像の領域分割処理等に利用することができる。
【0073】
なお、本発明の上記およびその他の実施形態によるクラスタリング処理は、コンピュータ・プログラムにより実行することもできる。また、上記の説明は、説明の便宜上、方法に関して行ったが、上記の各ステップを行う手段を備えた装置も、本発明の範囲に属するものとする。
【0074】
以上、本発明の実施形態および変更例について詳細に述べたが、これらは例示的なものに過ぎず、本発明の技術的範囲は、本明細書中の特許請求の範囲のみによって定められるべきものであることは言うまでもない。
【図面の簡単な説明】
【図1】本発明の1つの実施形態であるクラスタリング処理の手順を示したフローチャート
【図2】図1の実施形態における、各低解像度画像の導出方法を示した概念図
【図3】各低解像度画像の導出に使用するガウシアンフィルターの例を示した図
【図4】図1の実施形態における、初期代表ベクトルの導出工程を詳細に示したフローチャート
【図5】図4に示した初期代表ベクトルの導出工程の各段階を示した概念図
【図6】図4に示した初期代表ベクトルの導出工程において、初期代表ベクトルの選択の基準となる最大距離の変化を示した棒グラフ
【図7】図1の実施形態における、現在画像の画像領域への分割手法を示した概念図
【図8】図1の実施形態における、仮クラスター群の特定手法を示した概念図
【図9】図1の実施形態における、仮クラスター群の特定手法を示したフローチャート
【図10】図1の実施形態における、仮クラスター群の特定手法を示した概念図
【図11】図1の実施形態の変更例における、仮クラスター群の特定手法を示した概念図
【図12】図11の変更例における、仮クラスター群の特定手法を示したフローチャート[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for classifying a plurality of feature vectors extracted from an image, and in particular, using a clustering technique in a feature vector space for region segmentation processing and the like, from each pixel of one original image. The present invention relates to a method and apparatus for classifying extracted feature vectors into a plurality of clusters to which similar ones belong.
[0002]
[Prior art]
As a data classification method when features of observation data or image data can be expressed as feature vectors having n parameters representing the features, a plurality of feature vectors are mapped to an n-dimensional feature vector space, and the features A so-called clustering method for classifying these feature vectors into a plurality of clusters based on the distribution in the vector space is conventionally known. A cluster is literally a “lumps” of feature vectors in the feature vector space, and feature vectors that are close to each other are classified into the same cluster using Euclidean distance in the feature vector space as an index. That is, feature vectors belonging to the same cluster represent features that are similar to each other.
[0003]
In general, in the clustering process, a constant value parameter indicating how far the classification is to be performed must be specified prior to the start of the process. For example, the final number of clusters and the maximum allowable distance between the cluster center and feature vectors belonging to the clusters can be specified as such parameters. Even when using a self-converging algorithm that does not fix the number of clusters, etc., some constant value parameter that indicates how far the classification is performed, such as a parameter related to cluster expansion and a parameter related to the distance between clusters. The necessity to specify is not eliminated (for example, see Non-Patent Document 1).
[0004]
[Non-Patent Document 1]
Nagao Makoto, "Image recognition theory", first edition, Corona, February 15, 1983
, P. 120-126
[0005]
[Problems to be solved by the invention]
The degree to which classification should be performed in the clustering process strongly depends on the data contents. In particular, when image data with high diversity is targeted, the appropriate classification level varies greatly depending on the image data. For example, a region dividing process for dividing one image into regions (hereinafter referred to as “object regions”) corresponding to imaging target elements such as “sky”, “sea”, and “building” included in the image is performed. For example, when classifying the feature vector extracted from each pixel of the image by clustering processing, the number of elements to be captured included in each image is various, and how much the image should be classified It is impossible to set a single standard. That is, if an image includes only “sky” and “sea” as photographing target elements, it is only necessary to divide the image into two object areas, so that the degree of classification is sufficient, but “building” and “tree” are also sufficient. For images including many elements to be photographed such as “soil”, a finer classification is required. In this case, if the standard of the degree of uniform classification according to the former image is adopted, sufficient classification cannot be performed for the latter image, and the uniform standard according to the latter image cannot be achieved. If it is adopted, the former image in which only “sky” and “sea” are actually photographed is unnecessarily divided into many object regions.
[0006]
Therefore, in the clustering process for image data for the purpose of area division or the like, no matter what image data is input as a classification target, the optimum classification degree for the image data is specified from the image data itself, A method that realizes stable classification performance is strongly desired.
[0007]
In view of such circumstances, the present invention specifies the optimum classification level from the input image data itself representing one original image without requiring the input of a parameter for specifying the preferable classification level, and An object of the present invention is to provide a clustering method and apparatus for classifying feature vectors extracted from each pixel of an original image.
[0008]
[Means for Solving the Problems]
That is, the image feature vector clustering method according to the present invention includes a step of deriving a low-resolution image including a plurality of pixels having different resolutions in stages from an original image, and the resolution among the plurality of low-resolution images. Obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution, and extracting a feature vector from each pixel of the current image with the next lowest resolution image as the current image Mapping each of the feature vectors to a feature vector space; classifying the feature vectors into clusters represented by each of the representative vectors in the feature vector space; and Dividing the current image into image regions based on the distribution of pixels corresponding to the feature vector to which the image belongs in the current image; A step of specifying an image region corresponding to one selected cluster selected from the stars, and a step performed when a plurality of image regions are specified by the specification, wherein the selection is made from the plurality of image regions. One temporary representative vector is extracted from each of the plurality of selected image regions, and in the feature vector space, the feature vectors corresponding to the pixels belonging to the plurality of selected image regions are each represented by the temporary representative vector. Reclassify into clusters, identify one or more temporary cluster groups based on the correspondence between the selected image region and temporary clusters, and represent the vectors representing each of the temporary cluster groups as representative of the selected cluster A step of setting a new representative vector instead of the representative vector, a step of specifying the image area for all clusters, and the plurality of images The above feature vector until the final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained, the step of repeating the steps performed when the area is specified, and the original image is the current image The method includes the step of repeating the above-described repeating step from the step of extracting.
[0009]
The image feature vector clustering apparatus according to the present invention also includes means for deriving a low-resolution image composed of a plurality of pixels having different resolutions in stages from an original image, and a resolution among the plurality of low-resolution images. Means for obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution, and means for extracting a feature vector from each pixel of the current image with the next lowest resolution image as the current image Means for mapping each of the feature vectors to a feature vector space; means for classifying the feature vector into a cluster represented by each of the representative vectors in the feature vector space; and Means for dividing the current image into image regions based on the distribution of pixels corresponding to the feature vector to which the vector belongs in the current image, and the above class A means for specifying an image area corresponding to one selected cluster selected from the above, and a means for operating when a plurality of image areas are specified by the specification, and is selected from the plurality of image areas. One temporary representative vector is extracted from each of the plurality of selected image regions, and each of the temporary representative vectors represents a feature vector corresponding to a pixel belonging to the plurality of selected image regions in the feature vector space. Reclassify into temporary clusters, identify one or more temporary cluster groups based on the correspondence between the selected image area and temporary clusters, and represent the vectors representing each of the temporary cluster groups as representative of the selected cluster Means for replacing the representative vector with a new representative vector, means for specifying the image area for all clusters, and the plurality of images Until the final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained and the original image is the current image, and the means that operates when the area is specified is repeatedly operated. It is an apparatus characterized by comprising means for repeatedly operating the means for repeatedly operating the above-mentioned means for extracting feature vectors.
[0010]
Here, in the present invention, the “low resolution image” is an image composed of a plurality of pixels having a smaller number of pixels than the original image. Based on the original image, Gaussian pyramid, linear interpolation, spline interpolation, wavelet transform, etc. It refers to what is sequentially obtained by the image reduction processing used. Different reduction ratios may be applied to the vertical and horizontal directions of the image.
[0011]
In the present invention, a “feature vector” is a vector extracted from each pixel of an image, and a vector having a plurality of parameters (hereinafter referred to as “feature amounts”) indicating the features of the image as components. Point to. As the feature amount that is a component of the feature vector, for example, a feature amount indicating a color feature, a brightness feature, a texture feature, depth information, an edge feature included in the image, or the like can be used. Further, the “feature vector space” refers to a space having the coordinates of each component of the feature vector. For example, when the feature vector is a vector having the luminance component of each pixel and two color difference components in the YCC color system as components, the three-dimensional YCC color system space is the feature vector space.
[0012]
Further, in the present invention, the “representative vector” refers to a vector representing each cluster defined in the feature vector space, and one representative vector is assigned to each cluster.
[0013]
In the present invention, the “image region” means each island-shaped region formed by pixels corresponding to feature vectors belonging to the same cluster in the feature vector space on the real image space, that is, the low-resolution image or the original image itself. Point to. In the real image space, a plurality of regions having similar features may exist separately from each other, and thus one cluster in the feature vector space may correspond to two or more image regions. If the clustering process is performed with the optimum classification level, the image area in the original image becomes an object area corresponding to each imaging target element such as “sky”, “sea”, and “building”.
[0014]
Further, in the present invention, the “temporary representative vector” refers to one vector having the same dimension as the feature vector that represents the feature of each selected image region. For example, the feature vector corresponding to the pixel belonging to each selected image region A vector having the average value of each component as a component can be used.
[0015]
In the present invention, “specify one or a plurality of temporary cluster groups based on the correspondence between the selected image region and the temporary cluster” means that the selected image regions separated from each other in the real image space are feature vectors. This means that a group of temporary clusters corresponding to a group of selected image regions that are separated from each other also in the feature vector space is specified based on whether or not they can be separated from each other in the space. That is, according to the present invention, in view of the fact that feature vectors corresponding to pixels that form one image region by gathering together in the real image space are likely to form one cluster also in the feature vector space. When there are a plurality of image regions corresponding to the cluster separated in the real image space, it is examined in the feature vector space whether it is appropriate to distinguish a plurality of selected image regions selected from the image regions, If appropriate, the representative vector is replaced so as to distinguish them.
[0016]
Further, the specification of the one or more temporary cluster groups includes all feature vectors corresponding to the pixels in the selected image area from which the temporary representative vectors representing the temporary cluster are extracted, and other selected images. When there is a temporary cluster that does not include a feature vector corresponding to a pixel in the region, the temporary cluster is specified as one temporary cluster group, and further belongs to any of the temporary cluster groups specified as such. When there are no remaining temporary clusters, a group of the remaining temporary clusters may be specified as one temporary cluster group. Alternatively, the specification of the one or more temporary cluster groups includes all feature vectors corresponding to pixels in the selected image area from which the temporary representative vector representing the temporary cluster is extracted, and another selected image. When there is a temporary cluster that does not include a feature vector corresponding to a pixel in the region, the temporary cluster is specified as one temporary cluster group, and further, a temporary representative vector extraction source that represents the temporary cluster only between each other If there are a plurality of temporary clusters exchanging feature vectors corresponding to the pixels in the selected image area, a group of the plurality of temporary clusters is identified as one temporary cluster group, and If there remains a temporary cluster that does not belong to any of the specified temporary cluster group, the remaining temporary clusters are included. The may be one identified as one formal cluster group. In these cases, after reclassification to the temporary cluster and before specifying the temporary cluster group, for each temporary cluster, for the total number of feature vectors belonging to the temporary cluster, the corresponding feature vector belonging to the temporary cluster If there is a selected image area whose number ratio is less than a predetermined ratio, the feature vector corresponding to the selected image area may be excluded from the temporary cluster.
[0017]
Here, “a plurality of temporary clusters exchanging feature vectors corresponding to pixels in a selected image area from which a temporary representative vector representing the temporary cluster only in mutual is exchanged” refers to the plurality of temporary clusters. Each of the selected image regions has the same pattern as to which feature vector is derived from, and the feature vectors derived from those selected image regions are not included in other temporary clusters Point to.
[0018]
The clustering method or apparatus according to the present invention may further include a step or means for updating the representative vector based on the feature vector included in each of the classified clusters. Further, in addition to this, it may further include a step or means for updating the cluster based on the updated representative vector.
[0019]
Here, “updating a representative vector” means that a vector that more appropriately represents a cluster specified by classification is a new representative vector. For example, a feature vector belonging to each specified cluster In this case, the vector representing the center of gravity is replaced with the original representative vector to be a new representative vector. Further, “updating a cluster” means reclassifying by clustering based on the representative vector updated as described above. For example, each feature vector is the closest to the Euclidean distance in the feature vector space. This refers to reclassification into a cluster represented by a new representative vector.
[0020]
The clustering method or apparatus according to the present invention may further include a step or means for updating the image region by integrating the micro region into the non-micro region.
[0021]
Here, the “small area” refers to an area that is considered to be so-called noise, and is composed of a smaller number of pixels than the predetermined ratio (for example, about 1/1000) of the number of pixels forming the current image. On the other hand, the “non-micro area” refers to an image area that is not a micro area.
[0022]
In addition, the plurality of selected image areas may be obtained by sequentially selecting a plurality of constituent pixels having a large number of constituent pixels from the plurality of image areas.
[0023]
In obtaining the initial value of each component of the representative vector, one original representative vector is derived from the lowest resolution image made up of n pixels, and n extracted from each of the n pixels. The distance between the feature vector and the original representative vector in the feature vector space is determined, the feature vector indicating the maximum distance is set as the representative vector candidate, the highest candidate ranking is assigned, and each of the remaining feature vectors and the original representative Find the distance in the feature vector space between the vector and the representative vector candidate closest to the feature vector, add the feature vector indicating the maximum distance to the representative vector candidate, and give the next highest candidate ranking, The process of assigning the next highest candidate ranking is repeated, and according to the candidate ranking, the top two or more of the above representative vector candidates The value of each component of the symptom vector may be an initial value of the.
[0024]
Here, the “distance” in the feature vector space typically refers to the Euclidean distance between two vectors in the feature vector space, but any index that appropriately represents the degree of proximity of the two vectors in the feature vector space. Suppose that it is not limited to the Euclidean distance.
[0025]
The “original representative vector” is one vector representing the lowest resolution image, and for example, a vector whose component is the average value of each component of the feature vector extracted from each pixel of the lowest resolution image is used. Can be done.
[0026]
【The invention's effect】
The image feature vector clustering method and apparatus according to the present invention obtains initial values of each component of the representative vector based on the lowest resolution image derived from the input original image itself, and uses these initial values, Parameters that specify the degree of the preferred classification, since the optimal classification of feature vectors in the next lowest resolution image is sequentially obtained and finally the classification of feature vectors extracted from each pixel of the original image is obtained. The feature vector extracted from each pixel of the original image can be classified according to the optimum classification according to the content of the original image. Therefore, even if any original image is input, stable classification performance can be realized, and this is extremely effective when performing continuous segmentation on a large number of images including various elements to be photographed. is there.
[0027]
Further, as described above, the clustering method or apparatus according to the present invention, when obtaining the optimum classification of feature vectors in each low-resolution image or original image, pixels that gather together to form one image region in the real image space In view of the high possibility that a feature vector corresponding to す る will form one cluster in the feature vector space, a new one is created based on the correspondence between the selected image region in the real image space and the temporary cluster in the feature vector space. A representative vector is added. Therefore, the clustering method and apparatus according to the present invention obtains a representative vector for optimal classification while reflecting information in the real image space, so that the real image space of one original image is converted into the original image. It is particularly suitable for application to an area dividing process for dividing an object area corresponding to an imaging target element such as “sky”, “sea”, “building” and the like.
[0028]
Furthermore, the image feature vector clustering method and apparatus according to the present invention sequentially performs classification processing on an image with a reduced resolution, that is, an image with a reduced number of feature vectors. Thus, the calculation amount does not become excessive.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.
[0030]
FIG. 1 is a flowchart showing a procedure of clustering processing according to one embodiment of the present invention. The purpose of this clustering process is to classify the feature vectors extracted from each pixel of the original image into a plurality of clusters. The original image is “sky”, “sea”, “building”. It can be used for area division processing that divides into a plurality of image areas corresponding to the elements to be imaged. In the present embodiment, the original image is a digital photographic image having 1024 × 1024 pixels, and the feature vector is a three-dimensional vector having a luminance component and two color difference components expressed in the YCC color system. Suppose there is.
[0031]
When the original image is input, first, in
[0032]
Any method of image reduction processing for obtaining each of these low resolution images may be used, but in this embodiment, reduction processing using a Gaussian pyramid is used. The reduction process using the Gaussian pyramid is the step of deriving a blurred image by applying a Gaussian filter to the image to be reduced, and picking up every other pixel in such a blurred image and calculating the number of vertical and horizontal pixels respectively. This is a process of sequentially deriving low-resolution images having different resolutions by sequentially repeating the steps of deriving an image that has been reduced to half. The Gaussian filter used is, for example, as shown in FIG. 3 if the filter size is 5 × 5. Regarding the processing of the image edge, for example, when a 5 × 5 size filter shown in FIG. 3 is used, appropriate pixel values for two rows or two columns on each side of the image to be reduced are used. For convenience, a blurred image having the same size as the original image to be reduced can be derived. As the “appropriate pixel value” of the pixel to be added, a zero value, a value obtained by repeating the pixel value at the image end, or the like can be used.
[0033]
When the derivation of the low-resolution image is completed, next, in
[0034]
First, in
[0035]
Next, in
[0036]
Subsequently, in
[0037]
Next, in
[0038]
Subsequently, in
[0039]
Next, in
[0040]
In this way, step 46 to step 50 in FIG. 4 are repeated until all four feature vectors are given candidate ranks. 2 , OB 4 , OB 1 , OB 3 Are added to the representative vector candidates in this order, and the first to fourth candidate rankings are given.
[0041]
Subsequently, in
[0042]
Here, in the present embodiment, the initial representative vector is selected on the basis of the change amount of the maximum distance in the feature vector space as described above. However, the change amount of the average distance or the like may be used as a reference. Alternatively, since the number of pixels is considerably reduced in the lowest resolution image (four pixels in this embodiment), all of the feature vectors extracted from each pixel of the lowest resolution image may be used as the initial representative vector. In short, as long as two or more initial representative vectors corresponding to the original image are obtained by a predetermined process from the lowest resolution image itself derived from the original image without requiring input of any external parameters, It belongs to the scope of the present invention.
[0043]
Returning to FIG. 1, subsequently, in
[0044]
First, in
[0045]
Subsequently, in
[0046]
Next, in step 20, the current image is divided into image regions according to the feature vector classification by the cluster. Referring to FIG. 7, (a) of FIG. 7 shows the same minimum resolution image as that shown in FIG. FIG. 7B is a current image of 4 × 4 pixels, and the feature vector extracted from each pixel is the representative vector OR in the
[0047]
Subsequently, in
[0048]
First, in
[0049]
Subsequently, in
[0050]
Next, in
[0051]
Subsequently, in step 32, the selected
[0052]
The process shown in FIG. 9 includes, for each temporary cluster, the temporary cluster includes all the feature vectors corresponding to the pixels in the selected image area from which the temporary representative vector representing the temporary cluster is extracted. It is checked whether or not the temporary cluster does not include the feature vector corresponding to the pixel in the selected image area (step 70). It is assumed that a cluster group is configured (step 72). If there are still temporary clusters remaining (step 74), the remaining temporary clusters are combined into another temporary cluster group (step 76). ) In the present embodiment, since two image areas are selected as the selected image areas in order from the largest number of constituent pixels in
[0053]
Thereafter, in
[0054]
Here, the significance of
[0055]
On the other hand, although different from the above example, if the distribution of feature vectors corresponding to each pixel belonging to two selected image regions is as shown in FIG. 1 And OT 2 Temporary cluster C by 1 And C 2 The reclassification is as shown by a solid line in FIG. In this case, feature vectors derived from the two selected image regions are mixed in each temporary cluster, and between the pixels belonging to each of the two selected image regions and the feature vectors belonging to each of the two temporary clusters. Does not have a complete correspondence as described above. Such a situation occurs, for example, when there are a plurality of water portions in the original image and the two selected image regions are separated in the real image space, but both correspond to the water portions. In such a case, provisional cluster C 1 Feature vector and temporary cluster C 2 It is not appropriate to perform a clustering process in which feature vectors belonging to are classified. Therefore, according to the process shown in FIG. 9, as shown by the broken line in FIG. 1 And C 2 Collectively constitute one temporary cluster group. In this case, the representative vector OR of the original selected cluster is used as a vector representing the temporary cluster group. 3 Shall be adopted. That is, even after
[0056]
When the processing of
[0057]
Thereafter, the process proceeds to step 38 where it is confirmed whether or not the current image is an original image. Here, since the original image at the present stage is the eighth low-resolution image of 4 × 4 pixels, the processing shown in FIG. 1 returns to step 14, the original image is made the current image, and each pixel of the original image is
[0058]
According to the embodiment described above, two or more initial representative vectors are obtained based on the 2 × 2 minimum resolution image derived from the input original image itself, and these initial representative vectors are used. By sequentially finding the optimum classification of feature vectors in the next lowest resolution image, the classification of feature vectors extracted from each pixel of the original image is finally obtained, so input of external parameters is required. In addition, classification can be performed according to the optimum degree of classification according to the contents of the original image. Therefore, stable classification performance can be realized no matter what original image is input.
[0059]
Further, according to the above embodiment, in each low-resolution image or original image, representative vectors for optimal classification are sequentially obtained while reflecting information in the real image space. Especially suitable for application.
[0060]
Next, a modified example of the above embodiment will be described with reference to FIGS. In the processing in this modified example, in
[0061]
For the purpose of explaining this modification, an image area that is connected in a certain low-resolution image is separated into five or more image areas in the real image space when proceeding to the next lower-resolution image. To V are selected as selected image areas. The distribution in the feature vector space of the feature vectors corresponding to the pixels belonging to these selected image areas I to V, and the temporary representative vector OT extracted from these selected image areas I To OT V Distribution, and temporary cluster C represented by these temporary representative vectors I To C V It is assumed that the classification by is as shown in FIG.
[0062]
Here, when the processing shown in FIG. 12 is performed, first, in
[0063]
Subsequently, in
[0064]
Finally, in
[0065]
Through the above processing, three temporary cluster groups as indicated by broken lines in FIG. 11 are specified. Such a state is, for example, among the selected image regions I to V, where two regions of grassland where region I is a mountain portion and regions II and III are separated in a real image space across a road or river portion, This occurs when the regions IV and V correspond to two tree parts separated from each other in the real image space.
[0066]
Here, in the above-described embodiment described with reference to FIGS. 8 to 10, when any one of the two temporary clusters includes a single feature vector derived from different selected image regions, 2 One temporary cluster is assumed to belong to one temporary cluster group, and the representative vector is not increased. Such processing is preferable at the initial stage where a low-resolution image of about 4 × 4 pixels, which is described in detail above, is handled as the current image. However, as the resolution of the current image gradually increases, most of the feature vectors are selected for each selected image. Even though it is classified as a temporary cluster corresponding to a region, only two feature vectors derived from different selected image regions are mixed, and two temporary clusters are not classified into different temporary cluster groups. In some cases, the number of representative vectors does not increase effectively, and clustering processing based on the optimal classification level cannot be performed. A similar situation can occur in the modification described with reference to FIGS. In order to prevent such a situation, in the above embodiment and the modified example, between
[0067]
In addition, for further optimization of the classification result, a step of updating each representative vector to a more appropriate one based on the feature vector included in each cluster is included between
[0068]
Further, in order to exclude an image region that is considered to be so-called noise, which is composed of pixels smaller than a predetermined ratio (for example, about 1/1000) of the number of pixels forming the current image, the
[0069]
In the above-described embodiments and modification examples, a plurality of image regions having a large number of constituent pixels are sequentially selected as a selection image region from among a plurality of image regions. However, the selection method of the selection image region is not limited thereto. A form in which all of a plurality of specified image areas are selected image areas also belongs to the scope of the present invention.
[0070]
In the above-described embodiments and modifications, the three-dimensional vector including the luminance component and the two color difference components expressed in the YCC color system is used as the feature vector. However, each component of the feature vector is not limited thereto. The dimension of the feature vector is not limited to 3.
[0071]
Furthermore, in the above-described embodiments and modifications, for convenience of explanation, the original image is a square image having 1024 × 1024 pixels, but it goes without saying that the present invention can also be applied to original images having different vertical and horizontal pixel numbers. Yes. Each low-resolution image is not limited to a square image. Further, the number of pixels of the minimum resolution image is not limited to four, and any number of pixels may be used as long as it is a plurality of pixels smaller than the number of pixels of the original image.
[0072]
In addition, the above-described embodiments and modification examples are intended to classify feature vectors extracted from each pixel of the target image using the target image itself that is a target of region division or the like as an original image. A mode in which a reduced image that has been subjected to image reduction processing in advance as an original image and classification of feature vectors extracted from each pixel of the reduced image is also within the scope of the present invention. In this case, after classifying the feature vector extracted from each pixel of the reduced image, the image is subjected to image enlargement processing again on the reduced image. It can be used for area division processing or the like.
[0073]
Note that the clustering process according to the above and other embodiments of the present invention may be executed by a computer program. In addition, the above description has been made with respect to a method for convenience of description, but an apparatus including means for performing each of the above steps is also within the scope of the present invention.
[0074]
As mentioned above, although embodiment and the modification of this invention were described in detail, these are only illustrations, The technical scope of this invention should be defined only by the claim in this specification Needless to say.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a procedure of clustering processing according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram showing a method for deriving each low-resolution image in the embodiment of FIG.
FIG. 3 is a diagram showing an example of a Gaussian filter used for deriving each low-resolution image.
4 is a flowchart showing in detail an initial representative vector derivation step in the embodiment of FIG. 1;
5 is a conceptual diagram showing each stage of the initial representative vector derivation process shown in FIG. 4;
6 is a bar graph showing a change in the maximum distance which is a reference for selecting an initial representative vector in the initial representative vector derivation step shown in FIG.
7 is a conceptual diagram showing a method of dividing a current image into image areas in the embodiment of FIG.
FIG. 8 is a conceptual diagram showing a method for identifying a temporary cluster group in the embodiment of FIG.
FIG. 9 is a flowchart showing a method for specifying a temporary cluster group in the embodiment of FIG. 1;
10 is a conceptual diagram showing a method for specifying a temporary cluster group in the embodiment of FIG.
11 is a conceptual diagram showing a method for specifying a temporary cluster group in a modification of the embodiment of FIG.
12 is a flowchart showing a method for identifying a temporary cluster group in the modification of FIG.
Claims (18)
前記複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める工程と、
解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する工程と、
該特徴ベクトルの各々を特徴ベクトル空間に写像する工程と、
前記特徴ベクトル空間において、前記特徴ベクトルを、前記代表ベクトルの各々が代表するクラスターに分類する工程と、
前記クラスターの各々に属する前記特徴ベクトルに対応する画素の、前記現在画像上における分布に基づいて、前記現在画像を画像領域に分割する工程と、
前記クラスターの中から選択した1つの選択クラスターに対応する前記画像領域を特定する工程と、
該特定により複数の画像領域が特定された場合に行う工程であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、前記特徴ベクトル空間において、前記複数の選択画像領域に属する画素に対応する前記特徴ベクトルを、前記仮代表ベクトルの各々が代表する仮クラスターに再分類し、前記選択画像領域と前記仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、前記仮クラスター群の各々を代表するベクトルを、前記選択クラスターを代表する前記代表ベクトルに代えて新たな代表ベクトルとする工程と、
全ての前記クラスターについて、前記画像領域を特定する工程と前記複数の画像領域が特定された場合に行う工程を繰り返す工程と、
前記原画像が前記現在画像とされ、前記原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、前記特徴ベクトルを抽出する工程から前記繰り返す工程を繰り返す工程を含むことを特徴とする画像の特徴ベクトルのクラスタリング方法。Deriving from the original image a low resolution image composed of a plurality of pixels having different resolutions in stages;
Obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution among the plurality of low resolution images;
Extracting the feature vector from each pixel of the current image, using the next lowest resolution image as the current image;
Mapping each of the feature vectors to a feature vector space;
Classifying the feature vectors into clusters represented by each of the representative vectors in the feature vector space;
Dividing the current image into image regions based on a distribution on the current image of pixels corresponding to the feature vectors belonging to each of the clusters;
Identifying the image region corresponding to one selected cluster selected from the clusters;
A step performed when a plurality of image regions are specified by the specification, wherein one temporary representative vector is extracted from each of a plurality of selected image regions selected from the plurality of image regions, and the feature vector space The feature vectors corresponding to the pixels belonging to the plurality of selected image regions are reclassified into temporary clusters represented by the temporary representative vectors, and based on the correspondence relationship between the selected image regions and the temporary clusters. Identifying one or a plurality of temporary cluster groups, and replacing a vector representing each of the temporary cluster groups with a new representative vector instead of the representative vector representing the selected cluster;
For all the clusters, repeating the step of identifying the image region and the step of performing the steps when the plurality of image regions are identified;
The step of repeating the repeating step from the step of extracting the feature vector until the original image is the current image and a final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained. A method for clustering feature vectors of an image characterized by including the image.
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の工程と、
前記第1の工程において特定された前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第2の工程により行われることを特徴とする請求項1記載のクラスタリング方法。The identification of the one or more temporary cluster groups is
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, the first step of identifying the temporary cluster as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified in the first step remains, a second group that specifies the group of the remaining temporary clusters as one temporary cluster group The clustering method according to claim 1, wherein the clustering method is performed by the following steps.
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の工程と、
相互においてのみ当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを交換している、複数の仮クラスターがある場合には、該複数の仮クラスターからなる群を1つの仮クラスター群として特定する第2の工程と、
前記第1の工程および前記第2の工程において特定された前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第3の工程により行われることを特徴とする請求項1記載のクラスタリング方法。The identification of the one or more temporary cluster groups is
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, the first step of identifying the temporary cluster as one temporary cluster group;
When there are a plurality of temporary clusters exchanging the feature vectors corresponding to the pixels in the selected image area from which the temporary representative vectors representing the temporary clusters only in the mutual are extracted, A second step of identifying a group of temporary clusters as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified in the first step and the second step remains, the group consisting of the remaining temporary clusters is regarded as one temporary cluster. The clustering method according to claim 1, wherein the clustering method is performed by a third step of specifying as a group.
前記仮クラスターの各々について、該仮クラスターに属する前記特徴ベクトルの総数に対し、該仮クラスターに属する対応の特徴ベクトルの数の割合が所定割合より少ない選択画像領域がある場合は、該選択画像領域に対応する前記特徴ベクトルを該仮クラスターから除外することを特徴とする請求項2または3記載のクラスタリング方法。After reclassification to the temporary cluster and before identifying the one or more temporary cluster groups,
For each of the temporary clusters, if there is a selected image area in which the ratio of the number of corresponding feature vectors belonging to the temporary cluster is less than a predetermined ratio with respect to the total number of the feature vectors belonging to the temporary cluster, the selected image area 4. The clustering method according to claim 2, wherein the feature vector corresponding to is excluded from the temporary cluster.
前記クラスターの各々に含まれる前記特徴ベクトルに基づいて、前記代表ベクトルを更新する工程をさらに含むことを特徴とする請求項1から4いずれか1項記載のクラスタリング方法。Between the step of classifying into the cluster and the step of dividing the current image into image regions,
The clustering method according to claim 1, further comprising a step of updating the representative vector based on the feature vector included in each of the clusters.
前記クラスターの各々に含まれる前記特徴ベクトルに基づいて、前記代表ベクトルを更新する工程と、
前記更新された代表ベクトルに基づいて前記クラスターを更新する工程をさらに含むことを特徴とする請求項1から4いずれか1項記載のクラスタリング方法。Between the step of classifying into the cluster and the step of dividing the current image into image regions,
Updating the representative vector based on the feature vectors included in each of the clusters;
The clustering method according to claim 1, further comprising a step of updating the cluster based on the updated representative vector.
微小領域を非微小領域に統合することにより、前記画像領域を更新する工程をさらに含むことを特徴とする請求項1から6いずれか1項記載のクラスタリング方法。Between the step of dividing the current image into image regions and the step of identifying the image regions,
The clustering method according to claim 1, further comprising a step of updating the image area by integrating a minute area into a non-minute area.
n個の画素からなる前記最低解像度画像から、1つの原代表ベクトルを導出する工程と、
前記n個の画素の各々から抽出されたn個の特徴ベクトルと、前記原代表ベクトルとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補とするとともに、最も高い候補順位を付ける工程と、
残りの特徴ベクトルの各々と、前記原代表ベクトルおよび前記代表ベクトル候補のうち該特徴ベクトルに最も近いものとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを前記代表ベクトル候補に追加するとともに、次に高い候補順位を付ける工程と、
前記次に高い候補順位を付ける工程を繰り返す工程と、
前記候補順位に従って、前記代表ベクトル候補のうちの上位2つ以上の前記特徴ベクトルの各成分の値を、前記代表ベクトルの各成分の前記初期値とする工程を含むことを特徴とする請求項1から8いずれか1項記載のクラスタリング方法。Obtaining the initial value comprises:
deriving one original representative vector from the lowest resolution image consisting of n pixels;
A distance in the feature vector space between the n feature vectors extracted from each of the n pixels and the original representative vector is obtained, and a feature vector indicating the maximum distance is set as a representative vector candidate and the highest Assigning candidate ranks,
A distance in the feature vector space between each of the remaining feature vectors and the original representative vector and the representative vector candidate closest to the feature vector is obtained, and a feature vector indicating a maximum distance is determined as the representative vector candidate. And adding the next highest candidate ranking,
Repeating the step of assigning the next highest candidate ranking;
2. The method according to claim 1, further comprising: setting values of each component of the top two or more feature vectors of the representative vector candidates as the initial values of the components of the representative vector according to the candidate ranking. 9. The clustering method according to any one of 8 to 8.
前記複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める手段と、
解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する手段と、
該特徴ベクトルの各々を特徴ベクトル空間に写像する手段と、
前記特徴ベクトル空間において、前記特徴ベクトルを、前記代表ベクトルの各々が代表するクラスターに分類する手段と、
前記クラスターの各々に属する前記特徴ベクトルに対応する画素の、前記現在画像上における分布に基づいて、前記現在画像を画像領域に分割する手段と、
前記クラスターの中から選択した1つの選択クラスターに対応する前記画像領域を特定する手段と、
該特定により複数の画像領域が特定された場合に動作する手段であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、前記特徴ベクトル空間において、前記複数の選択画像領域に属する画素に対応する前記特徴ベクトルを、前記仮代表ベクトルの各々が代表する仮クラスターに再分類し、前記選択画像領域と前記仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、前記仮クラスター群の各々を代表するベクトルを、前記選択クラスターを代表する前記代表ベクトルに代えて新たな代表ベクトルとする手段と、
全ての前記クラスターについて、前記画像領域を特定する手段と前記複数の画像領域が特定された場合に動作する手段を繰返し動作させる手段と、
前記原画像が前記現在画像とされ、前記原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、前記特徴ベクトルを抽出する手段から前記繰返し動作させる手段を繰返し動作させる手段を備えていることを特徴とする画像の特徴ベクトルのクラスタリング装置。Means for deriving a low resolution image composed of a plurality of pixels having different resolutions in stages from the original image;
Means for obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution among the plurality of low resolution images;
Means for extracting a feature vector from each pixel of the current image, with the next lowest resolution image as the current image;
Means for mapping each of the feature vectors to a feature vector space;
Means for classifying the feature vectors into clusters represented by each of the representative vectors in the feature vector space;
Means for dividing the current image into image regions based on a distribution on the current image of pixels corresponding to the feature vectors belonging to each of the clusters;
Means for identifying the image region corresponding to one selected cluster selected from the clusters;
Means for operating when a plurality of image regions are specified by the specification, wherein one temporary representative vector is extracted from each of a plurality of selected image regions selected from the plurality of image regions, and the feature vector In the space, the feature vectors corresponding to the pixels belonging to the plurality of selected image areas are reclassified into temporary clusters represented by the temporary representative vectors, and the correspondence relationship between the selected image area and the temporary clusters is obtained. Means for identifying one or more temporary cluster groups based on, and replacing the vectors representing each of the temporary cluster groups with a new representative vector instead of the representative vector representing the selected cluster;
Means for repeatedly operating the means for specifying the image area and the means for operating when the plurality of image areas are specified for all the clusters;
Until the original image is the current image and a final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained, the means for extracting the feature vector is repeatedly operated. An apparatus for clustering image feature vectors, characterized by comprising means for operating.
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の手段と、
前記第1の手段が特定した前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第2の手段により行うことを特徴とする請求項10記載のクラスタリング装置。Identifying the one or more provisional cluster groups,
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, a first means for identifying the temporary cluster as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified by the first means remains, a second group that specifies a group of the remaining temporary clusters as one temporary cluster group The clustering apparatus according to claim 10, wherein the clustering apparatus is performed by means.
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の手段と、
相互においてのみ当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを交換している、複数の仮クラスターがある場合には、該複数の仮クラスターからなる群を1つの仮クラスター群として特定する第2の手段と、
前記第1の手段および前記第2の手段が特定した前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第3の手段により行うことを特徴とする請求項10記載のクラスタリング装置。Identifying the one or more provisional cluster groups,
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, a first means for identifying the temporary cluster as one temporary cluster group;
When there are a plurality of temporary clusters exchanging the feature vectors corresponding to the pixels in the selected image area from which the temporary representative vectors representing the temporary clusters only in the mutual are extracted, A second means for specifying a group of temporary clusters as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified by the first means and the second means remains, a group of the remaining temporary clusters is regarded as one temporary cluster group. The clustering apparatus according to claim 10, wherein the clustering apparatus is performed by third means that specifies
前記更新された代表ベクトルに基づいて前記クラスターを更新する手段をさらに備えていることを特徴とする請求項10から13いずれか1項記載のクラスタリング装置。Means for updating the representative vector based on the feature vectors included in each of the clusters;
14. The clustering apparatus according to claim 10, further comprising means for updating the cluster based on the updated representative vector.
n個の画素からなる前記最低解像度画像から、1つの原代表ベクトルを導出する手段と、
前記n個の画素の各々から抽出されたn個の特徴ベクトルと、前記原代表ベクトルとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補とするとともに、最も高い候補順位を付ける手段と、
残りの特徴ベクトルの各々と、前記原代表ベクトルおよび前記代表ベクトル候補のうち該特徴ベクトルに最も近いものとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを前記代表ベクトル候補に追加するとともに、次に高い候補順位を付ける手段と、
前記次に高い候補順位を付ける手段を繰返し動作させる手段と、
前記候補順位に従って、前記代表ベクトル候補のうちの上位2つ以上の前記特徴ベクトルの各成分の値を、前記代表ベクトルの各成分の前記初期値とする手段を備えていることを特徴とする請求項10から17いずれか1項記載のクラスタリング装置。Means for determining the initial value;
means for deriving one original representative vector from the lowest resolution image comprising n pixels;
A distance in the feature vector space between the n feature vectors extracted from each of the n pixels and the original representative vector is obtained, and a feature vector indicating the maximum distance is set as a representative vector candidate and the highest A means to rank candidates,
A distance in the feature vector space between each of the remaining feature vectors and the original representative vector and the representative vector candidate closest to the feature vector is obtained, and a feature vector indicating a maximum distance is determined as the representative vector candidate. Means to add and rank the next highest candidate ranking,
Means for repeatedly operating the means for assigning the next highest candidate ranking;
The apparatus further comprises means for setting values of each component of the top two or more feature vectors of the representative vector candidates as the initial values of the components of the representative vector according to the candidate rank. Item 18. The clustering apparatus according to any one of Items 10 to 17.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046015A JP2004258750A (en) | 2003-02-24 | 2003-02-24 | Method and device for clustering feature vector of image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046015A JP2004258750A (en) | 2003-02-24 | 2003-02-24 | Method and device for clustering feature vector of image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004258750A true JP2004258750A (en) | 2004-09-16 |
Family
ID=33112679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003046015A Withdrawn JP2004258750A (en) | 2003-02-24 | 2003-02-24 | Method and device for clustering feature vector of image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004258750A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7302559B2 (en) | 2005-01-26 | 2007-11-27 | Fujitsu Limited | Memory dump program boot method and mechanism, and computer-readable storage medium |
| KR100902938B1 (en) | 2007-08-28 | 2009-06-15 | 인하대학교 산학협력단 | Region-based Image Retrieval Using Region Filtering |
| WO2011001817A1 (en) * | 2009-07-01 | 2011-01-06 | 日本電気株式会社 | System and method for extracting representative feature |
| JP2014527671A (en) * | 2011-08-15 | 2014-10-16 | シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich | Video segmentation method |
-
2003
- 2003-02-24 JP JP2003046015A patent/JP2004258750A/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7302559B2 (en) | 2005-01-26 | 2007-11-27 | Fujitsu Limited | Memory dump program boot method and mechanism, and computer-readable storage medium |
| KR100902938B1 (en) | 2007-08-28 | 2009-06-15 | 인하대학교 산학협력단 | Region-based Image Retrieval Using Region Filtering |
| WO2011001817A1 (en) * | 2009-07-01 | 2011-01-06 | 日本電気株式会社 | System and method for extracting representative feature |
| JP5333589B2 (en) * | 2009-07-01 | 2013-11-06 | 日本電気株式会社 | Representative feature extraction system and method |
| US9361517B2 (en) | 2009-07-01 | 2016-06-07 | Nec Corporation | System and method for extracting representative feature |
| JP2014527671A (en) * | 2011-08-15 | 2014-10-16 | シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich | Video segmentation method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738318B (en) | A Large Image Classification Method Based on Graph Neural Network | |
| JP5008572B2 (en) | Image processing method, image processing apparatus, and computer-readable medium | |
| JP3877916B2 (en) | Anomaly detection method and system for digital image, and storage medium therefor | |
| CN105551036B (en) | A kind of training method and device of deep learning network | |
| US9519660B2 (en) | Information processing apparatus, clustering method, and recording medium storing clustering program | |
| US8488190B2 (en) | Image processing apparatus, image processing apparatus control method, and storage medium storing program | |
| US8995761B2 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
| CN112132145B (en) | An image classification method and system based on a model-extended convolutional neural network | |
| JP4098021B2 (en) | Scene identification method, apparatus, and program | |
| JP2004361987A (en) | Image retrieval system, image classification system, image retrieval program, image classification program, and image retrieval method and image classification method | |
| JP2004164624A (en) | Method and apparatus for low depth of field image segmentation | |
| TW200539047A (en) | Systems and methods for identifying regions within an image having similar continuity values | |
| CN118230166A (en) | Corn canopy organ identification method and canopy phenotype detection method based on improved Mask2YOLO network | |
| CN117409233A (en) | Pathological image classification method and device, electronic equipment and storage medium | |
| CN113902013A (en) | Hyperspectral classification method based on three-dimensional convolutional neural network and superpixel segmentation | |
| JP2005513632A (en) | Split an image using the water source method | |
| SE534089C2 (en) | Procedure for classifying image information | |
| JP2009123234A (en) | Object identification method, apparatus and program | |
| CN114862883B (en) | A target edge extraction method, image segmentation method and system | |
| EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
| JP6546385B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM | |
| JP4285640B2 (en) | Object identification method, apparatus and program | |
| JP2004258750A (en) | Method and device for clustering feature vector of image | |
| JP4285644B2 (en) | Object identification method, apparatus and program | |
| JP6950376B2 (en) | Image processing device, training image processing device, image identification device, training image processing method, image identification method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060509 |