[go: up one dir, main page]

JP2004258750A - Method and device for clustering feature vector of image - Google Patents

Method and device for clustering feature vector of image Download PDF

Info

Publication number
JP2004258750A
JP2004258750A JP2003046015A JP2003046015A JP2004258750A JP 2004258750 A JP2004258750 A JP 2004258750A JP 2003046015 A JP2003046015 A JP 2003046015A JP 2003046015 A JP2003046015 A JP 2003046015A JP 2004258750 A JP2004258750 A JP 2004258750A
Authority
JP
Japan
Prior art keywords
image
temporary
cluster
vector
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003046015A
Other languages
Japanese (ja)
Inventor
Masahiko Yamada
雅彦 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003046015A priority Critical patent/JP2004258750A/en
Publication of JP2004258750A publication Critical patent/JP2004258750A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To classify feature vectors extracted from image data by clustering by specifying the level of optimal classification matching inputted image data from the image data themselves without the need of inputting any parameter to designate the level of desired classification. <P>SOLUTION: A plurality of low resolution images whose resolutions are different stepwise are derived from an original image, and the initial representative vectors of two or more clusters are derived from the lowest resolution image whose resolution is the lowest. The optimal classification of feature vectors in the respective low resolution images is successively derived while increasing the representative vectors on which information in a real image space is reflected on the basis of the correlation of the classification of image areas in the real image space and the classification in a feature vector space by using those initial representative vectors, and finally the optimal classification of the feature vectors extracted from the individual pixels of the original image is derived. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、画像から抽出した複数の特徴ベクトルを分類する方法および装置に関し、特に、領域分割処理等のために、特徴ベクトル空間におけるクラスタリングの手法を用いて、1枚の原画像の各画素から抽出した特徴ベクトルを、互いに類似したもの同士が属する複数のクラスターに分類する方法および装置に関する。
【0002】
【従来の技術】
観測データや画像データの特徴が該特徴を表すn個のパラメータを成分とする特徴ベクトルとして表現できる場合のデータ分類手法として、複数の特徴ベクトルをn次元の特徴ベクトル空間に写像して、該特徴ベクトル空間における分布をもとにこれらの特徴ベクトルを複数のクラスターに分類する、いわゆるクラスタリングの手法が従来から知られている。クラスターとは、文字通り、特徴ベクトル空間における特徴ベクトルの「塊」であり、特徴ベクトル空間におけるユークリッド距離等を指標として、互いに近い特徴ベクトルが同一のクラスターに分類される。すなわち、同一のクラスターに属する特徴ベクトルは、互いに類似した特徴を表しているものである。
【0003】
通常、クラスタリング処理に際しては、どの程度まで分類を行うかを示す一定値のパラメータを、処理開始に先立って指定しなくてはならない。たとえば、最終的なクラスターの個数や、クラスター中心と該クラスターに属する特徴ベクトル間の許容可能な最大距離が、かかるパラメータとして指定され得る。クラスターの個数等を固定しない自己収束形のアルゴリズムを使用する場合であっても、クラスターの拡がりに関するパラメータやクラスター間の距離に関するパラメータ等、どの程度まで分類を行うかを示す何らかの一定値のパラメータを指定する必要性は解消されない(たとえば、非特許文献1参照)。
【0004】
【非特許文献1】
長尾真著、「画像認識論」、初版、コロナ社、昭和58年2月15日
、p.120−126
【0005】
【発明が解決しようとする課題】
クラスタリング処理に際してどの程度まで分類を行うべきかは、データの内容に強く依存する。とりわけ、多様性の高い画像データを対象とする場合には、適当な分類の程度は、各画像データによって大きく異なる。たとえば、1枚の画像を、該画像に含まれる「空」、「海」、「建物」等の撮影対象要素に対応する領域(以下、「オブジェクト領域」と呼ぶ)に分割する領域分割処理を行うために、該画像の各画素から抽出した特徴ベクトルをクラスタリング処理により分類する場合等には、各画像に含まれる撮影対象要素の数は多様であり、どの程度まで分類を行うべきかの画一的な基準を定めることは不可能である。すなわち、撮影対象要素として「空」と「海」のみを含む画像であれば、2つのオブジェクト領域に分割できればよいのであるから、分類の程度は粗くて足りるが、さらに「建物」、「木」、「土」等の多くの撮影対象要素を含む画像については、より細かい分類が必要である。この場合に、前者の画像に合わせた画一的な分類の程度の基準を採用すれば、後者の画像については十分な分類が行えないこととなり、後者の画像に合わせた画一的な基準を採用すれば、実際には「空」と「海」しか撮影されていない前者の画像を不必要に多くのオブジェクト領域に分割することとなる。
【0006】
したがって、領域分割等を目的とする画像データを対象としたクラスタリング処理においては、分類対象としていかなる画像データが入力されても、その画像データ自体から該画像データに最適な分類の程度を特定し、安定した分類性能を実現する手法が強く望まれる。
【0007】
本発明は、かかる事情に鑑み、好ましい分類の程度を指定するパラメータの入力を要さずに、1枚の原画像を表す入力された画像データ自体から最適な分類の程度を特定して、該原画像の各画素から抽出した特徴ベクトルの分類を行うクラスタリング方法および装置を提供することを目的とするものである。
【0008】
【課題を解決するための手段】
すなわち、本発明に係る画像の特徴ベクトルのクラスタリング方法は、原画像から、段階的に解像度の異なる複数の複数画素からなる低解像度画像を導出する工程と、上記の複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める工程と、解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する工程と、該特徴ベクトルの各々を特徴ベクトル空間に写像する工程と、特徴ベクトル空間において、上記の特徴ベクトルを、上記の代表ベクトルの各々が代表するクラスターに分類する工程と、上記のクラスターの各々に属する特徴ベクトルに対応する画素の、現在画像上における分布に基づいて、現在画像を画像領域に分割する工程と、上記のクラスターの中から選択した1つの選択クラスターに対応する画像領域を特定する工程と、該特定により複数の画像領域が特定された場合に行う工程であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、特徴ベクトル空間において、上記の複数の選択画像領域に属する画素に対応する特徴ベクトルを、上記の仮代表ベクトルの各々が代表する仮クラスターに再分類し、選択画像領域と仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、該仮クラスター群の各々を代表するベクトルを、上記の選択クラスターを代表する代表ベクトルに代えて新たな代表ベクトルとする工程と、全てのクラスターについて、上記の画像領域を特定する工程と上記の複数の画像領域が特定された場合に行う工程を繰り返す工程と、原画像が現在画像とされ、原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、上記の特徴ベクトルを抽出する工程から上記の繰り返す工程を繰り返す工程を含むことを特徴とする方法である。
【0009】
また、本発明に係る画像の特徴ベクトルのクラスタリング装置は、原画像から、段階的に解像度の異なる複数の複数画素からなる低解像度画像を導出する手段と、上記の複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める手段と、解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する手段と、該特徴ベクトルの各々を特徴ベクトル空間に写像する手段と、特徴ベクトル空間において、上記の特徴ベクトルを、上記の代表ベクトルの各々が代表するクラスターに分類する手段と、上記のクラスターの各々に属する特徴ベクトルに対応する画素の、現在画像上における分布に基づいて、現在画像を画像領域に分割する手段と、上記のクラスターの中から選択した1つの選択クラスターに対応する画像領域を特定する手段と、該特定により複数の画像領域が特定された場合に動作する手段であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、特徴ベクトル空間において、上記の複数の選択画像領域に属する画素に対応する特徴ベクトルを、上記の仮代表ベクトルの各々が代表する仮クラスターに再分類し、選択画像領域と仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、該仮クラスター群の各々を代表するベクトルを、上記の選択クラスターを代表する代表ベクトルに代えて新たな代表ベクトルとする手段と、全てのクラスターについて、上記の画像領域を特定する手段と上記の複数の画像領域が特定された場合に動作する手段を繰返し動作させる手段と、原画像が現在画像とされ、原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、上記の特徴ベクトルを抽出する手段から上記の繰返し動作させる手段を繰返し動作させる手段を備えていることを特徴とする装置である。
【0010】
ここで、本発明において「低解像度画像」とは、原画像よりも画素数の少ない複数画素からなる画像であって、原画像を基として、ガウシアンピラミッド、線形補間、スプライン補間、ウェーブレット変換等を利用した画像縮小処理により順次求められるものを指す。画像の縦方向と横方向に対して、異なる縮小率を適用してもよい。
【0011】
また、本発明において「特徴ベクトル」とは、画像の各画素から抽出されるベクトルであって、当該画像の特徴を示す複数のパラメータ(以下、「特徴量」と呼ぶ)を成分とするベクトルを指す。特徴ベクトルの成分である特徴量としては、たとえば色の特徴、輝度の特徴、テクスチャーの特徴、奥行情報、該画像に含まれるエッジの特徴等を示す特徴量が使用され得る。また、「特徴ベクトル空間」とは、上記の特徴ベクトルの各成分を座標とする空間を指す。たとえば、特徴ベクトルがYCC表色系における各画素の輝度成分および2つの色差成分を成分とするベクトルである場合には、3次元のYCC表色系空間が特徴ベクトル空間となる。
【0012】
さらに、本発明において「代表ベクトル」とは、特徴ベクトル空間において規定される各クラスターを代表するベクトルを指し、クラスターごとに1つの代表ベクトルが割り当てられる。
【0013】
また、本発明において「画像領域」とは、実画像空間、すなわち低解像度画像または原画像自体の上で、特徴ベクトル空間において同一クラスターに属する特徴ベクトルに対応する画素が形成する島状の各領域を指す。実画像空間においては、同じような特徴を有する領域が互いに分離して複数存在することもあるので、特徴ベクトル空間における1つのクラスターが、2つ以上の画像領域に対応することもある。クラスタリング処理が最適な分類の程度で行われれば、原画像における画像領域は、「空」、「海」、「建物」等の各撮影対象要素に対応するオブジェクト領域となる。
【0014】
さらに、本発明において「仮代表ベクトル」とは、各選択画像領域の特徴を代表する、特徴ベクトルと同次元の1つのベクトルを指し、たとえば、各選択画像領域に属する画素に対応する特徴ベクトルの各成分の平均値を成分とするベクトル等を使用することができる。
【0015】
また、本発明において「選択画像領域と仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定する」とは、実画像空間において互いに分離されている選択画像領域が、特徴ベクトル空間においても互いに分離できるものであるか否かに基づき、特徴ベクトル空間においても互いに分離される選択画像領域の群に対応する仮クラスターの群を特定することを指す。すなわち、本発明は、実画像空間において互いに集合して1つの画像領域を形成する画素に対応する特徴ベクトルは、特徴ベクトル空間においても1つのクラスターを形成する可能性が高いことに鑑み、1つのクラスターに対応する画像領域が実画像空間において分離して複数存在する場合には、該画像領域の中から選択した複数の選択画像領域を区別することが適当か否かを特徴ベクトル空間において調べ、適当である場合にはそれらを区別するように代表ベクトルを置き換えるものである。
【0016】
また、上記の1つまたは複数の仮クラスター群の特定は、当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定し、さらに、そのように特定された仮クラスター群のいずれにも属していない仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定するものであってもよい。あるいは、上記の1つまたは複数の仮クラスター群の特定は、当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定し、さらに、相互においてのみ当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを交換している、複数の仮クラスターがある場合には、該複数の仮クラスターからなる群を1つの仮クラスター群として特定し、さらに、そのように特定された仮クラスター群のいずれにも属していない仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定するものであってもよい。これらの場合において、仮クラスターへの再分類の後、仮クラスター群の特定前に、仮クラスターの各々について、該仮クラスターに属する特徴ベクトルの総数に対し、該仮クラスターに属する対応の特徴ベクトルの数の割合が所定割合より少ない選択画像領域がある場合は、該選択画像領域に対応する特徴ベクトルを該仮クラスターから除外してもよい。
【0017】
ここで、「相互においてのみ当該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを交換している複数の仮クラスター」とは、当該複数の仮クラスターの各々が、いずれの選択画像領域に由来する特徴ベクトルを含んでいるかのパターンが同一であり、かつ、それらの選択画像領域に由来する特徴ベクトルが、他の仮クラスターには含まれていないことを指す。
【0018】
また、上記の本発明に係るクラスタリング方法または装置は、分類されたクラスターの各々に含まれる特徴ベクトルに基づいて、代表ベクトルを更新する工程または手段をさらに含むものであってもよい。さらに、これに加えて、更新された代表ベクトルに基づいてクラスターを更新する工程または手段をさらに含むものであってもよい。
【0019】
ここで、「代表ベクトルを更新する」とは、分類により規定されたクラスターをより適切に代表するベクトルを、新たな代表ベクトルとすることであって、たとえば、規定された各クラスターに属する特徴ベクトルの重心を示すベクトルを、もとの代表ベクトルに代えて、新たな代表ベクトルとすること等を指す。また、「クラスターを更新する」とは、上記のように更新された代表ベクトルに基づいてクラスタリングによる分類をし直すことであって、たとえば、各特徴ベクトルを、特徴ベクトル空間におけるユークリッド距離が最も近い新たな代表ベクトルが代表するクラスターに分類し直すこと等を指す。
【0020】
また、上記の本発明に係るクラスタリング方法または装置は、微小領域を非微小領域に統合することにより、画像領域を更新する工程または手段をさらに含むものであってもよい。
【0021】
ここで、「微小領域」とは、画像領域のうち、現在画像をなす画素数の所定割合(たとえば1/1000程度)より少ない数の画素からなる、いわゆるノイズと考えられるような領域を指す。一方、「非微小領域」とは、画像領域のうち、微小領域でないものを指す。
【0022】
また、上記の複数の選択画像領域は、上記の複数の画像領域の中から、構成画素数の多いものを順に複数選択したものであってもよい。
【0023】
また、上記の代表ベクトルの各成分の初期値を求めるに際しては、n個の画素からなる最低解像度画像から、1つの原代表ベクトルを導出し、該n個の画素の各々から抽出されたn個の特徴ベクトルと、原代表ベクトルとの、特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補とするとともに、最も高い候補順位を付け、残りの特徴ベクトルの各々と、原代表ベクトルおよび上記の代表ベクトル候補のうち該特徴ベクトルに最も近いものとの、特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補に追加するとともに、次に高い候補順位を付け、かかる次に高い候補順位を付ける処理を繰り返し、該候補順位に従って、上記の代表ベクトル候補のうちの上位2つ以上の特徴ベクトルの各成分の値を、上記の初期値としてもよい。
【0024】
ここで、特徴ベクトル空間における「距離」とは、典型的には特徴ベクトル空間における2つのベクトル間のユークリッド距離を指すが、特徴ベクトル空間における2つのベクトルの近接度合いを適当に表す指標であれば、ユークリッド距離に限られないものとする。
【0025】
また、「原代表ベクトル」とは、最低解像度画像を代表する1つのベクトルであって、たとえば最低解像度画像の各画素から抽出される特徴ベクトルの各成分の平均値を成分とするベクトル等が使用され得る。
【0026】
【発明の効果】
本発明に係る画像の特徴ベクトルのクラスタリング方法および装置は、入力された原画像自体から導出した最低解像度画像に基づいて代表ベクトルの各成分の初期値を求め、これらの初期値を利用して、解像度が次に低い画像における特徴ベクトルの最適な分類を順次求めていき、最終的には原画像の各画素から抽出した特徴ベクトルの分類を求めるものであるので、好ましい分類の程度を指定するパラメータの入力を要さずに、原画像の内容に応じた最適な分類の程度により、原画像の各画素から抽出した特徴ベクトルの分類を行うことができる。したがって、いかなる原画像が入力されても、安定した分類性能を実現することができ、様々な撮影対象要素を含む多数の画像に対して、連続して領域分割処理を施す場合等に極めて有効である。
【0027】
また、本発明に係るクラスタリング方法または装置は、上記のとおり、各低解像度画像または原画像における特徴ベクトルの最適な分類を求めるにあたり、実画像空間において互いに集合して1つの画像領域を形成する画素に対応する特徴ベクトルは、特徴ベクトル空間においても1つのクラスターを形成する可能性が高いことに鑑み、実画像空間における選択画像領域と特徴ベクトル空間における仮クラスターとの対応関係に基づいて、新たな代表ベクトルを追加していくものである。したがって、本発明に係るクラスタリング方法および装置は、実画像空間における情報を反映しながら最適な分類のための代表ベクトルを求めていくので、1枚の原画像の実画像空間を、該原画像に含まれる「空」、「海」、「建物」等の撮影対象要素に対応するオブジェクト領域に分割する領域分割処理等への応用に特に適している。
【0028】
さらに、本発明に係る画像の特徴ベクトルのクラスタリング方法および装置は、低解像度化された画像すなわち特徴ベクトル数を減じた画像において順次分類処理を行っていくものであるため、従来のクラスタリング処理と比較して、計算量が過大となることもない。
【0029】
【発明の実施の形態】
以下、図面により、本発明の例示的な実施形態を詳細に説明する。
【0030】
図1は、本発明の1つの実施形態であるクラスタリング処理の手順を示したフローチャートである。このクラスタリング処理は、最終的には原画像の各画素から抽出した特徴ベクトルを、複数のクラスターに分類することを目的とするものであり、原画像を「空」、「海」、「建物」等の撮影対象要素に対応する複数の画像領域に分割する領域分割処理等に利用できる。なお、本実施形態では、原画像は1024×1024画素のデジタル写真画像であるとし、特徴ベクトルは、YCC表色系で表された輝度成分および2つの色差成分を成分とする3次元のベクトルであるとする。
【0031】
原画像が入力されると、まず図1のステップ10において、段階的に解像度の異なる複数の低解像度画像が導出される。本実施形態では、図2に示すように、原画像から出発して、縦横の画素数をそれぞれ2分の1とした低解像度画像を順次求めていき、最終的には第9低解像度画像すなわち画素数2×2の低解像度画像まで求めるものとする。この画素数2×2の低解像度画像が、本実施形態における最低解像度画像である。
【0032】
これらの各低解像度画像を求めるための画像縮小処理の手法としてはいかなる手法を用いてもよいが、本実施形態ではガウシアンピラミッドによる縮小処理を用いるものとする。ガウシアンピラミッドによる縮小処理とは、縮小対象の画像にガウシアンフィルターを適用していわばぼやかした画像を導出するステップと、そのようにぼやかした画像の画素を1つおきに拾って縦横の画素数をそれぞれ2分の1とした画像を導出するステップを順次繰り返して、段階的に解像度の異なる低解像度画像を導出していく処理である。使用されるガウシアンフィルターは、たとえばフィルターの大きさが5×5であれば、図3のようになる。なお、画像端の処理に関しては、たとえば図3に示した5×5の大きさのフィルターを使用する場合には、縮小対象の画像の各辺に2行分または2列分の適当な画素値を有する画素を便宜的に追加することにより、もとの縮小対象の画像と同じ大きさのぼやかした画像を導出することができる。追加する画素の「適当な画素値」としては、ゼロ値や、画像端の画素値を繰り返した値等が使用され得る。
【0033】
低解像度画像の導出が終了すると、次に、図1のステップ12において、最低解像度画像(2×2画素)を基に、2つ以上の初期代表ベクトル、すなわち代表ベクトルの各成分の初期値が導出される。この初期代表ベクトル導出処理を、以下、図4のフローチャートならびに図5の概念図に沿って詳細に説明する。
【0034】
まず、図4のステップ40において、最低解像度画像から1つの原代表ベクトルが導出される。本実施形態では、最低解像度画像をなす4つの画素から抽出した特徴ベクトルの各成分の平均値を成分とする1つのベクトルを、原代表ベクトルとする。たとえば、図5の(a)に示した特徴ベクトル空間において、4つのベクトルOB、OB、OBおよびOBが最低解像度画像をなす4つの画素から抽出された特徴ベクトルであるとすると、原代表ベクトルはOAのようになる。なお、特徴ベクトルOB、OB、OBおよびOBのそれぞれの抽出元の画素は、図2に示すとおりである。
【0035】
次に、図4のステップ42において、上記の4つの特徴ベクトルの各々と、原代表ベクトルとの距離を算出する。本実施形態では、この距離は特徴ベクトル空間におけるユークリッド距離であるとする。図5の(a)の例では、算出される距離はそれぞれd、d、dおよびdである。
【0036】
続いて、ステップ44において、ステップ42で算出した距離のうち最大の距離を示す特徴ベクトルを、候補順位第1位の代表ベクトル候補とする。図5の(a)の例では、距離d、d、dおよびdのうち最大距離はdであり、したがって最大距離を示す特徴ベクトルはベクトルOBであるので、ベクトルOBが、候補順位第1位の代表ベクトル候補すなわち第1代表ベクトル候補とされる。
【0037】
次に、ステップ46において、残りの特徴ベクトルすなわち3つのベクトルOB、OBおよびOBの各々と、原代表ベクトルOAおよび代表ベクトル候補OBのうちその特徴ベクトルとの距離が最も近いものとの距離が特定される。この例では、図5の(b)に示すように、ベクトルOBについては、代表ベクトル候補OBとの距離の方が原代表ベクトルOAとの距離よりも小さいため、図示のように距離d’が特定される。ベクトルOBおよびOBについては、原代表ベクトルOAとの距離の方が代表ベクトル候補OBとの距離よりも小さいため、距離d’およびd’が特定される。
【0038】
続いて、ステップ48において、ステップ46で算出した距離のうち最大の距離を示す特徴ベクトルを、次に高い候補順位の代表ベクトル候補とする。図5の(b)の例では、最大距離d’を示す特徴ベクトルはベクトルOBであるので、ベクトルOBが、候補順位第2位の第2代表ベクトル候補とされる。
【0039】
次に、ステップ50において、まだ候補順位を付けていない特徴ベクトルがあるか否かが確認される。ここでは、まだ特徴ベクトルOBおよびOBに候補順位が付けられていないので、処理はステップ46に戻る。ここで再び行われるステップ46では、図5の(c)に示すように、ベクトルOBおよびOBのいずれについても、原代表ベクトルOAおよび代表ベクトル候補OBならびにOBのうちもっとも距離が近いベクトルは原代表ベクトルOAであるので、図示のように原代表ベクトルOAとの距離d’’およびd’’が特定される。続くステップ48においては、距離d’’の方がd’’よりも大きいので、特徴ベクトルOBが候補順位第3位の第3代表ベクトル候補とされる。
【0040】
このようにして、4つ全ての特徴ベクトルに候補順位が付けられるまで、図4のステップ46からステップ50が繰り返され、最終的には各特徴ベクトルがOB、OB、OB、OBの順に代表ベクトル候補に追加され、候補順位第1位から第4位が付けられることとなる。
【0041】
続いて、図4のステップ52において、代表ベクトル候補に追加された際の上記の最大距離の変化量が最大であった特徴ベクトルの候補順位が、第2位以下であるか否かが確認される。図5に沿って上記に説明したとおり、この例では、特徴ベクトルOBが第1代表ベクトル候補として代表ベクトル候補に追加された際には、最大距離はdからd’に変化しており、次に特徴ベクトルOBが代表ベクトル候補に追加された際には、最大距離はd’からd’’に変化している。この最大距離の変化の様子を図示すると、図6のようになる。すなわち、この例では、最大距離の変化量は、候補順位第3位の特徴ベクトルOBが代表ベクトル候補に追加されたときが最大であるので、図1の処理はステップ54へと進み、候補順位第3位までの特徴ベクトル、すなわちベクトルOB、OBおよびOBの3つが、初期代表ベクトルOR、ORおよびORとされる。一方、仮にステップ52で確認された候補順位が第1位の候補順位である場合には、図1の処理はステップ56へと進み、候補順位第2位の特徴ベクトルまでが初期代表ベクトルORおよびORとされる。
【0042】
ここで、本実施形態では、上記のとおり特徴ベクトル空間における最大距離の変化量を基準として初期代表ベクトルを選択したが、平均距離の変化量等を基準としてもよい。あるいは、最低解像度画像では画素数は相当に減じられているので(本実施形態では4画素)、最低解像度画像の各画素から抽出した特徴ベクトルの全てを初期代表ベクトルとしてもよい。要するに、外部からの何らかのパラメータの入力を要さずに、原画像から導出した最低解像度画像自体から、所定の処理により該原画像に応じた2つ以上の初期代表ベクトルを求めるものであれば、本発明の範囲に属するものである。
【0043】
図1に戻り、続いてステップ14において、解像度が次に低い画像、すなわち画素数4×4の第8低解像度画像が現在画像とされ、該現在画像における分類処理が開始される。以下、図7から図10も参照しながら、画素数4×4の現在画像における分類処理について順を追って説明する。
【0044】
まず、図1のステップ16において、現在画像をなす16個の画素の各々から、YCC表色系における輝度成分および2つの色差成分を成分とする特徴ベクトルが抽出され、それらの16個の特徴ベクトルが、特徴ベクトル空間すなわちYCC表色系空間に写像される。
【0045】
続いて、ステップ18において、上記の16個の特徴ベクトルを、各代表ベクトルが代表するクラスターに分類する。現在の代表ベクトルは、最低解像度画像から導出した初期代表ベクトルOR、ORおよびORであるので、これらに代表される3つのクラスターに16個の特徴ベクトルを分類する。本実施形態では、特徴ベクトル空間におけるユークリッド距離を基準として、距離が最も近い代表ベクトルが代表するクラスターに、各特徴ベクトルを分類するものとする。
【0046】
次に、ステップ20において、上記のクラスターによる特徴ベクトルの分類に従って、現在画像を画像領域に分割する。図7を用いて説明すると、図7の(a)は図2に示したものと同一の最低解像度画像を示している。図7の(b)は4×4画素の現在画像であり、各画素から抽出された特徴ベクトルが、前のステップ16において代表ベクトルOR、ORおよびORが代表するクラスターのいずれに分類されたかが示されている。本実施形態では、この現在画像に対し、ラスター走査や領域拡張等の手法により、実画像空間において互いに分離した島状の各領域をなす画素に同一のラベルを付けるラベリング処理を施す。すると、図7の(c)に示すように、各画素に0から3のラベルが付けられる。これらのラベルに基づいて、図7の(d)に示すように、4つの画像領域60、62、64および66を規定する。ここで、画像領域60および66をなす各画素から抽出された特徴ベクトルは、特徴ベクトル空間においては代表ベクトルORが代表する1つのクラスターに属しているが、実画像空間では、これらの画素は図示のように画像領域64によって隔てられているので、別個の画像領域60および66を構成する。
【0047】
続いて、図1のステップ22において、3つのクラスターの中から選択された1つの選択クラスターに対応する画像領域が特定され、ステップ24において、特定された画像領域が複数であるか否かが確認される。この例では、図7の(d)に示すとおり、選択クラスターが代表ベクトルORまたはORに代表されるクラスターであるときは、対応する画像領域は画像領域62または64の1つしかないので、図1の処理は後述するステップ36に進むが、選択クラスターが代表ベクトルORに代表されるクラスターであるときは、対応する画像領域が2つ(すなわち、画像領域60と66)あるので、ステップ26から34の処理へと進む。以下、これらのステップ26から34の処理を説明する。
【0048】
まず、ステップ26において、ステップ22で特定された複数の画像領域の中から、複数の選択画像領域が選択される。本実施形態では、選択画像領域として、構成画素数の多い順から2つの画像領域を選択するものとする。ここでは、特定された画像領域はもともと画像領域60と66の2つであるので、これら双方が選択画像領域として選択される。なお、図8の(a)は、特徴ベクトル空間における、画像領域60および66に属する画素に対応する特徴ベクトルの分布、および現在の選択クラスターの代表ベクトルORを示した図である。
【0049】
続いて、ステップ28において、選択画像領域60および66から、各々1つの仮代表ベクトルが抽出される。本実施形態では、仮代表ベクトルとして、各選択画像領域に属する画素に対応する特徴ベクトルの各成分の平均値を成分とするベクトルを使用するものとする。以下、選択画像領域60および66から抽出された仮代表ベクトルを、それぞれベクトルOTおよびOTとする。
【0050】
次に、ステップ30において、選択画像領域60および66に属する画素に対応する特徴ベクトルが、上記のステップ28で抽出された各仮代表ベクトルOTおよびOTが代表する仮クラスターCおよびCに再分類される。本実施形態では、ステップ18における分類と同様に、特徴ベクトル空間におけるユークリッド距離を基準として、距離が最も近い仮代表ベクトルが代表する仮クラスターに、各特徴ベクトルを分類するものとする。ここでは、仮クラスターへの再分類は図8の(b)に実線で示すようになる。
【0051】
続いて、ステップ32において、選択画像領域60および66と仮クラスターCおよびCの対応関係に基づいて、仮クラスター群を特定する。本実施形態では、このステップ32は、図9のフローチャートに示す処理により行うものとする。
【0052】
図9に示した処理は、仮クラスターの各々について、その仮クラスターが、該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターであるか否かを調べ(ステップ70)、そのような仮クラスターである場合には、その1つの仮クラスターが各々1つの仮クラスター群を構成するものとし(ステップ72)、さらにまだ残っている仮クラスターがある場合には(ステップ74)、それらの残りの仮クラスターをまとめて別の1つの仮クラスター群とする(ステップ76)ものである。本実施形態では、ステップ26において構成画素数の多い順から2つの画像領域を選択画像領域として選択することとしているので、図9に示した処理は、言いかえれば、2つの選択画像領域の各々に属する画素と、2つの仮クラスターの各々に属する特徴ベクトルとの間に、完全な対応関係がある場合には、2つの仮クラスターが各々1つ、すなわち合計2つの仮クラスター群を構成するものとし、かかる完全な対応関係がない場合には、2つの仮クラスターがまとめて1つの仮クラスター群のみを構成するものとする処理である。ここでは、図8の(b)に示すように、画像領域60中の画素に対応する特徴ベクトルは全て仮クラスターCに属しており、かつ、画像領域66中の画素に対応する特徴ベクトルは全て仮クラスターCに属している。すなわち、上記の完全な対応関係があるので、図8の(b)に破線で示すように、仮クラスターCおよびCは、各々1つの仮クラスター群を構成するものとされる。
【0053】
その後、図1のステップ34において、現在の選択クラスターを代表する代表ベクトルORに代えて、各仮クラスター群を代表するベクトルが新たな代表ベクトルとされる。ここでは、仮クラスターCおよびCが各々1つの仮クラスター群を構成することとされたので、上記の仮代表ベクトルOTおよびOTを、各仮クラスター群を代表するベクトルとして採用し、代表ベクトルORに代わる新たな代表ベクトルとするものとする。
【0054】
ここで、上記のステップ32および34の意義について説明する。図2に示した原画像と図7の(d)を比較すると、現在画像の画像領域60に属する各画素は、主に原画像における空の部分の特徴が圧縮された画素であり、画像領域66に属する各画素は、主に原画像における水の部分の特徴が圧縮された画素であることが分かる。空の部分と水の部分は共に青みを帯びた色をしており、それらの特徴の差は、たとえば空の部分の特徴と草原の部分の特徴との差に比べれば小さいが、やはり空の部分の画素と水の部分の画素とをそれぞれ多数集めて特徴ベクトルを抽出した場合、特徴ベクトル空間においても徐々に空の部分と水の部分が区別されてくるものと考えられる。一方、空の部分と水の部分のように特徴が比較的類似しているが異なる撮影対象要素に対応する部分は、実画像空間においては、画素数が少ない低解像度画像ではぼやけて一繋がりの画像領域を形成してしまう傾向があるが、画像が高解像度化されて(すなわち画素数が増えて)各撮影対象要素の輪郭が徐々にはっきりしてくると、互いに分離した画像領域を形成し始める。上記の例では、最低解像度画像から4×4画素の現在画像に進んだ際に、画像領域60および66が実画像空間において分離した。そこで、画像領域60および66の各々から仮代表ベクトルを抽出して仮クラスターへの再分類を行ってみると、特徴ベクトル空間においても、主に空の部分の特徴が圧縮された画像領域60の画素と、主に水の部分の特徴が圧縮された画像領域66の画素とが、完全に分離された。そこで、実画像空間における情報をクラスタリング処理に反映するため、仮代表ベクトルOTおよびOTを代表ベクトルORに代わる新たな代表ベクトルとした。
【0055】
一方、上記の例とは異なるが、仮に、2つの選択画像領域に属する各画素に対応する特徴ベクトルの分布が図10の(a)のようであったとすると、仮代表ベクトルOTおよびOTによる仮クラスターCおよびCへの再分類は、図10の(b)に実線で示すようになる。この場合、各仮クラスターには2つの選択画像領域に由来する特徴ベクトルが混在しており、2つの選択画像領域の各々に属する画素と、2つの仮クラスターの各々に属する特徴ベクトルとの間には、上記のような完全な対応関係がない。このような事態は、たとえば、原画像に水の部分が複数存在し、2つの選択画像領域が実画像空間において分離した領域であるが、共に水の部分に対応する場合等に生じるものであり、かかる場合には仮クラスターCに属する特徴ベクトルと仮クラスターCに属する特徴ベクトルが分別されるようなクラスタリング処理を行うことは適切でない。したがって、図9に示した処理に従うと、図10の(b)に破線で示すように、仮クラスターCおよびCは、まとめて1つの仮クラスター群を構成する。この場合、当該仮クラスター群を代表するベクトルとして、もとの選択クラスターの代表ベクトルORを採用するものとする。すなわち、図1のステップ34以降でも、もとの代表ベクトルORが引続き代表ベクトルとして使用されることになる。
【0056】
以上のステップ26から34の処理が終了すると、図1のステップ36において、まだ対応する画像領域を特定していないクラスターがあるか否かが確認され、すべてのクラスターについてステップ22から36の処理が繰り返される。
【0057】
その後、ステップ38へと進み、現在画像が原画像であるか否かが確認される。ここでは、現段階での原画像は4×4画素の第8低解像度画像であるので、図1に示す処理はステップ14へと戻り、原画像が現在画像とされ、原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、ステップ14から38の処理が繰り返される。
【0058】
以上説明した実施形態によれば、入力された原画像自体から導出した画素数2×2の最低解像度画像に基づいて2つ以上の初期代表ベクトルが求められ、これらの初期代表ベクトルを利用して解像度が次に低い画像における特徴ベクトルの最適な分類を順次求めていくことにより、最終的には原画像の各画素から抽出した特徴ベクトルの分類が求められるので、外部からのパラメータの入力を要さずに、原画像の内容に応じた最適な分類の程度により分類を行うことができる。したがって、いかなる原画像が入力されても、安定した分類性能を実現することができる。
【0059】
また、上記の実施形態によれば、各低解像度画像または原画像において、実画像空間における情報を反映しながら最適な分類のための代表ベクトルが順次求められていくので、領域分割処理等への応用に特に適している。
【0060】
次に、上記の実施形態の変更例について、図11および12を参照しながら説明する。この変更例における処理は、図1のステップ26において構成画素数の多い順から5つの画像領域(画像領域の数が2つから4つであるときは全ての画像領域)が選択画像領域とされる点、およびステップ32において図9に示した処理に代えて図12に示した処理が行われる点を除けば、上記の実施形態における処理と同様である。
【0061】
この変更例の説明のため、ある低解像度画像において一繋がりであった画像領域が、解像度が次に低い画像に進んだ際に実画像空間において5つ以上の画像領域に分離し、画像領域IからVの5つが選択画像領域として選択されたとする。これらの選択画像領域IからVに属する画素に対応する特徴ベクトルの特徴ベクトル空間における分布、これらの選択画像領域から抽出された仮代表ベクトルOTからOTの分布、およびこれらの仮代表ベクトルが代表する仮クラスターCからCによる分類は、図11に示すとおりであるとする。
【0062】
ここで、図12に示す処理を行うと、まずステップ80において、仮クラスターCからCの各々について、その仮クラスターが、該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域中の画素に対応する特徴ベクトルを含まない仮クラスターであるか否かが調べられる。図11の例では、仮クラスターCが、抽出元である選択画像領域I中の画素に対応する特徴ベクトルを全て含み、かつ他の選択画像領域IIからV中の画素に対応する特徴ベクトルを含まないものであるので、図11の処理はステップ82へと進み、この仮クラスターCが、単独で1つの仮クラスター群を構成するものとされる。
【0063】
続いて、ステップ84において、残りの仮クラスターCIIからCについて、相互においてのみ、該仮クラスターを代表する仮代表ベクトルの抽出元である選択画像領域中の画素に対応する特徴ベクトルを交換している複数の仮クラスターがあるか否かが確認される。図11の例では、仮クラスターCIIとCIIIが、共に選択画像領域IIおよびIIIに由来する特徴ベクトルのみを含んでおり、そのパターンが同一である。加えて、選択画像領域IIおよびIIIに由来する特徴ベクトルは、他の仮クラスターC、CIVおよびCのいずれにも含まれていない。したがって、仮クラスターCIIとCIIIは、相互においてのみ、該仮クラスターを代表する仮代表ベクトルOTIIおよびOTIIIの抽出元である選択画像領域IIおよびIII中の画素に対応する特徴ベクトルを交換している複数の仮クラスターに相当し、ステップ86において、仮クラスターCIIとCIIIからなる群が、1つの仮クラスター群として特定される。仮クラスターCIVとCの組についても、同様のことが言える。
【0064】
最後に、ステップ88において、まだ仮クラスター群のいずれにも属していない仮クラスターが残っているか否かが確認され、残っている場合には、ステップ90において、それらの残りの仮クラスターをまとめてさらに1つの仮クラスター群を特定する。図11の例では、もう残っている仮クラスターはないので、さらなる仮クラスター群の特定はせずに、図12に示した処理は終了する。
【0065】
以上の処理により、図11に破線で示すような3つの仮クラスター群が特定される。このような状態は、たとえば、選択画像領域IからVのうち、領域Iが山の部分、領域IIおよびIIIが道や川の部分を隔てて実画像空間において分離された2つの草原の部分、領域IVおよびVが実画像空間において互いに分離された2つの樹木の部分に相当する場合等に生じる。
【0066】
ここで、図8から10を用いて説明した上記の実施形態においては、2つの仮クラスターのいずれかに、異なる選択画像領域に由来する特徴ベクトルが1つでも混在している場合には、2つの仮クラスターは1つの仮クラスター群に属するものとされ、代表ベクトルが増やされない。上記に詳述した4×4画素程度の低解像度画像を現在画像として扱っている初期の段階ではそのような処理は好ましいが、現在画像の解像度が次第に大きくなると、大半の特徴ベクトルが各選択画像領域に対応する仮クラスターに分類されているのに、異なる選択画像領域に由来する特徴ベクトルが数個混在しているだけで2つの仮クラスターを異なる仮クラスター群に分類しないこととしたのでは、代表ベクトルの数が有効に増えていかず、最適な分類の程度によるクラスタリング処理ができない場合がある。同様の事態は、図11および12を用いて説明した変更例においても生じ得る。かかる事態を防ぐため、上記の実施形態および変更例においては、図1のステップ30とステップ32の間に、仮クラスターの各々について、該仮クラスターに属する特徴ベクトルの総数に対し、該仮クラスターに属する対応の特徴ベクトルの数の割合が所定割合より少ない選択画像領域がある場合は、該選択画像領域に対応する特徴ベクトルを該仮クラスターから除外するステップがさらに含まれていてもよい。この「所定割合」としては、たとえば5%程度の値が採用され得る。
【0067】
また、分類結果の一層の適正化のために、図1のステップ18とステップ20の間に、各クラスターに含まれる特徴ベクトルに基づいて、各代表ベクトルをより適切なものに更新するステップが含まれていてもよい。たとえば、各クラスターに属する特徴ベクトルの重心を示すベクトル等が、新たな代表ベクトルとして採用され得る。これに加えて、更新された代表ベクトルに基づいて、ユークリッド距離等を基準として特徴ベクトルの分類をし直し、クラスターを更新するステップがさらに含まれていてもよい。
【0068】
さらに、現在画像をなす画素数の所定割合(たとえば1/1000程度)より少ない数の画素からなる、いわゆるノイズと考えられるような画像領域を排除するために、図1のステップ20とステップ22の間に、微小領域を非微小領域に統合することにより、ステップ20で規定された画像領域を更新する工程がさらに含まれていてもよい。統合の手法としては、たとえば、微小領域と境界を接する隣接画像領域を特定し、接する境界の長さが最も長い隣接画像領域にその微小領域を統合する処理を、より小さい微小領域から順に施す手法や、やはり微小領域と境界を接する隣接画像領域を特定し、該微小領域および全ての隣接画像領域から各々1つの特徴ベクトルを抽出し、特徴ベクトル空間における特徴ベクトル間の距離が最も短い隣接画像領域にその微小領域を統合する処理を、より小さい微小領域から順に施す手法が挙げられる。
【0069】
なお、上記の実施形態および変更例では、複数の画像領域の中から、構成画素数の多いものを順に複数選択して選択画像領域としたが、選択画像領域の選択の仕方はこれに限られず、特定された複数の画像領域の全てを選択画像領域とする形態等も本発明の範囲に属するものとする。
【0070】
また、上記の実施形態および変更例では、YCC表色系で表された輝度成分および2つの色差成分を成分とする3次元のベクトルを特徴ベクトルとしたが、特徴ベクトルの各成分はこれらに限られず、特徴ベクトルの次元も3に限られない。
【0071】
さらに、上記の実施形態および変更例では、説明の便宜上、原画像を1024×1024画素からなる正方形の画像としたが、縦横の画素数が異なる原画像に対しても本発明を適用できることは言うまでもない。各低解像度画像も、正方形画像に限られない。さらに、最低解像度画像の画素数も4画素に限られず、原画像の画素数より少ない複数画素であれば、いかなる画素数であってもよい。
【0072】
また、上記の実施形態および変更例は、領域分割等の対象である対象画像自体を原画像とし、対象画像の各画素から抽出した特徴ベクトルの分類を目的とするものであったが、対象画像に予め画像縮小処理を施した縮小画像を原画像とし、縮小画像の各画素から抽出した特徴ベクトルの分類を行う形態等も、本発明の範囲に属する。この場合、縮小画像の各画素から抽出した特徴ベクトルの分類を行った後、該縮小画像にあらためて画像拡大処理を施すこと等により、上記の実施形態および変更例と同様、分類結果を対象画像の領域分割処理等に利用することができる。
【0073】
なお、本発明の上記およびその他の実施形態によるクラスタリング処理は、コンピュータ・プログラムにより実行することもできる。また、上記の説明は、説明の便宜上、方法に関して行ったが、上記の各ステップを行う手段を備えた装置も、本発明の範囲に属するものとする。
【0074】
以上、本発明の実施形態および変更例について詳細に述べたが、これらは例示的なものに過ぎず、本発明の技術的範囲は、本明細書中の特許請求の範囲のみによって定められるべきものであることは言うまでもない。
【図面の簡単な説明】
【図1】本発明の1つの実施形態であるクラスタリング処理の手順を示したフローチャート
【図2】図1の実施形態における、各低解像度画像の導出方法を示した概念図
【図3】各低解像度画像の導出に使用するガウシアンフィルターの例を示した図
【図4】図1の実施形態における、初期代表ベクトルの導出工程を詳細に示したフローチャート
【図5】図4に示した初期代表ベクトルの導出工程の各段階を示した概念図
【図6】図4に示した初期代表ベクトルの導出工程において、初期代表ベクトルの選択の基準となる最大距離の変化を示した棒グラフ
【図7】図1の実施形態における、現在画像の画像領域への分割手法を示した概念図
【図8】図1の実施形態における、仮クラスター群の特定手法を示した概念図
【図9】図1の実施形態における、仮クラスター群の特定手法を示したフローチャート
【図10】図1の実施形態における、仮クラスター群の特定手法を示した概念図
【図11】図1の実施形態の変更例における、仮クラスター群の特定手法を示した概念図
【図12】図11の変更例における、仮クラスター群の特定手法を示したフローチャート
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for classifying a plurality of feature vectors extracted from an image, and in particular, using a clustering technique in a feature vector space for region segmentation processing and the like, from each pixel of one original image. The present invention relates to a method and apparatus for classifying extracted feature vectors into a plurality of clusters to which similar ones belong.
[0002]
[Prior art]
As a data classification method when features of observation data or image data can be expressed as feature vectors having n parameters representing the features, a plurality of feature vectors are mapped to an n-dimensional feature vector space, and the features A so-called clustering method for classifying these feature vectors into a plurality of clusters based on the distribution in the vector space is conventionally known. A cluster is literally a “lumps” of feature vectors in the feature vector space, and feature vectors that are close to each other are classified into the same cluster using Euclidean distance in the feature vector space as an index. That is, feature vectors belonging to the same cluster represent features that are similar to each other.
[0003]
In general, in the clustering process, a constant value parameter indicating how far the classification is to be performed must be specified prior to the start of the process. For example, the final number of clusters and the maximum allowable distance between the cluster center and feature vectors belonging to the clusters can be specified as such parameters. Even when using a self-converging algorithm that does not fix the number of clusters, etc., some constant value parameter that indicates how far the classification is performed, such as a parameter related to cluster expansion and a parameter related to the distance between clusters. The necessity to specify is not eliminated (for example, see Non-Patent Document 1).
[0004]
[Non-Patent Document 1]
Nagao Makoto, "Image recognition theory", first edition, Corona, February 15, 1983
, P. 120-126
[0005]
[Problems to be solved by the invention]
The degree to which classification should be performed in the clustering process strongly depends on the data contents. In particular, when image data with high diversity is targeted, the appropriate classification level varies greatly depending on the image data. For example, a region dividing process for dividing one image into regions (hereinafter referred to as “object regions”) corresponding to imaging target elements such as “sky”, “sea”, and “building” included in the image is performed. For example, when classifying the feature vector extracted from each pixel of the image by clustering processing, the number of elements to be captured included in each image is various, and how much the image should be classified It is impossible to set a single standard. That is, if an image includes only “sky” and “sea” as photographing target elements, it is only necessary to divide the image into two object areas, so that the degree of classification is sufficient, but “building” and “tree” are also sufficient. For images including many elements to be photographed such as “soil”, a finer classification is required. In this case, if the standard of the degree of uniform classification according to the former image is adopted, sufficient classification cannot be performed for the latter image, and the uniform standard according to the latter image cannot be achieved. If it is adopted, the former image in which only “sky” and “sea” are actually photographed is unnecessarily divided into many object regions.
[0006]
Therefore, in the clustering process for image data for the purpose of area division or the like, no matter what image data is input as a classification target, the optimum classification degree for the image data is specified from the image data itself, A method that realizes stable classification performance is strongly desired.
[0007]
In view of such circumstances, the present invention specifies the optimum classification level from the input image data itself representing one original image without requiring the input of a parameter for specifying the preferable classification level, and An object of the present invention is to provide a clustering method and apparatus for classifying feature vectors extracted from each pixel of an original image.
[0008]
[Means for Solving the Problems]
That is, the image feature vector clustering method according to the present invention includes a step of deriving a low-resolution image including a plurality of pixels having different resolutions in stages from an original image, and the resolution among the plurality of low-resolution images. Obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution, and extracting a feature vector from each pixel of the current image with the next lowest resolution image as the current image Mapping each of the feature vectors to a feature vector space; classifying the feature vectors into clusters represented by each of the representative vectors in the feature vector space; and Dividing the current image into image regions based on the distribution of pixels corresponding to the feature vector to which the image belongs in the current image; A step of specifying an image region corresponding to one selected cluster selected from the stars, and a step performed when a plurality of image regions are specified by the specification, wherein the selection is made from the plurality of image regions. One temporary representative vector is extracted from each of the plurality of selected image regions, and in the feature vector space, the feature vectors corresponding to the pixels belonging to the plurality of selected image regions are each represented by the temporary representative vector. Reclassify into clusters, identify one or more temporary cluster groups based on the correspondence between the selected image region and temporary clusters, and represent the vectors representing each of the temporary cluster groups as representative of the selected cluster A step of setting a new representative vector instead of the representative vector, a step of specifying the image area for all clusters, and the plurality of images The above feature vector until the final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained, the step of repeating the steps performed when the area is specified, and the original image is the current image The method includes the step of repeating the above-described repeating step from the step of extracting.
[0009]
The image feature vector clustering apparatus according to the present invention also includes means for deriving a low-resolution image composed of a plurality of pixels having different resolutions in stages from an original image, and a resolution among the plurality of low-resolution images. Means for obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution, and means for extracting a feature vector from each pixel of the current image with the next lowest resolution image as the current image Means for mapping each of the feature vectors to a feature vector space; means for classifying the feature vector into a cluster represented by each of the representative vectors in the feature vector space; and Means for dividing the current image into image regions based on the distribution of pixels corresponding to the feature vector to which the vector belongs in the current image, and the above class A means for specifying an image area corresponding to one selected cluster selected from the above, and a means for operating when a plurality of image areas are specified by the specification, and is selected from the plurality of image areas. One temporary representative vector is extracted from each of the plurality of selected image regions, and each of the temporary representative vectors represents a feature vector corresponding to a pixel belonging to the plurality of selected image regions in the feature vector space. Reclassify into temporary clusters, identify one or more temporary cluster groups based on the correspondence between the selected image area and temporary clusters, and represent the vectors representing each of the temporary cluster groups as representative of the selected cluster Means for replacing the representative vector with a new representative vector, means for specifying the image area for all clusters, and the plurality of images Until the final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained and the original image is the current image, and the means that operates when the area is specified is repeatedly operated. It is an apparatus characterized by comprising means for repeatedly operating the means for repeatedly operating the above-mentioned means for extracting feature vectors.
[0010]
Here, in the present invention, the “low resolution image” is an image composed of a plurality of pixels having a smaller number of pixels than the original image. Based on the original image, Gaussian pyramid, linear interpolation, spline interpolation, wavelet transform, etc. It refers to what is sequentially obtained by the image reduction processing used. Different reduction ratios may be applied to the vertical and horizontal directions of the image.
[0011]
In the present invention, a “feature vector” is a vector extracted from each pixel of an image, and a vector having a plurality of parameters (hereinafter referred to as “feature amounts”) indicating the features of the image as components. Point to. As the feature amount that is a component of the feature vector, for example, a feature amount indicating a color feature, a brightness feature, a texture feature, depth information, an edge feature included in the image, or the like can be used. Further, the “feature vector space” refers to a space having the coordinates of each component of the feature vector. For example, when the feature vector is a vector having the luminance component of each pixel and two color difference components in the YCC color system as components, the three-dimensional YCC color system space is the feature vector space.
[0012]
Further, in the present invention, the “representative vector” refers to a vector representing each cluster defined in the feature vector space, and one representative vector is assigned to each cluster.
[0013]
In the present invention, the “image region” means each island-shaped region formed by pixels corresponding to feature vectors belonging to the same cluster in the feature vector space on the real image space, that is, the low-resolution image or the original image itself. Point to. In the real image space, a plurality of regions having similar features may exist separately from each other, and thus one cluster in the feature vector space may correspond to two or more image regions. If the clustering process is performed with the optimum classification level, the image area in the original image becomes an object area corresponding to each imaging target element such as “sky”, “sea”, and “building”.
[0014]
Further, in the present invention, the “temporary representative vector” refers to one vector having the same dimension as the feature vector that represents the feature of each selected image region. For example, the feature vector corresponding to the pixel belonging to each selected image region A vector having the average value of each component as a component can be used.
[0015]
In the present invention, “specify one or a plurality of temporary cluster groups based on the correspondence between the selected image region and the temporary cluster” means that the selected image regions separated from each other in the real image space are feature vectors. This means that a group of temporary clusters corresponding to a group of selected image regions that are separated from each other also in the feature vector space is specified based on whether or not they can be separated from each other in the space. That is, according to the present invention, in view of the fact that feature vectors corresponding to pixels that form one image region by gathering together in the real image space are likely to form one cluster also in the feature vector space. When there are a plurality of image regions corresponding to the cluster separated in the real image space, it is examined in the feature vector space whether it is appropriate to distinguish a plurality of selected image regions selected from the image regions, If appropriate, the representative vector is replaced so as to distinguish them.
[0016]
Further, the specification of the one or more temporary cluster groups includes all feature vectors corresponding to the pixels in the selected image area from which the temporary representative vectors representing the temporary cluster are extracted, and other selected images. When there is a temporary cluster that does not include a feature vector corresponding to a pixel in the region, the temporary cluster is specified as one temporary cluster group, and further belongs to any of the temporary cluster groups specified as such. When there are no remaining temporary clusters, a group of the remaining temporary clusters may be specified as one temporary cluster group. Alternatively, the specification of the one or more temporary cluster groups includes all feature vectors corresponding to pixels in the selected image area from which the temporary representative vector representing the temporary cluster is extracted, and another selected image. When there is a temporary cluster that does not include a feature vector corresponding to a pixel in the region, the temporary cluster is specified as one temporary cluster group, and further, a temporary representative vector extraction source that represents the temporary cluster only between each other If there are a plurality of temporary clusters exchanging feature vectors corresponding to the pixels in the selected image area, a group of the plurality of temporary clusters is identified as one temporary cluster group, and If there remains a temporary cluster that does not belong to any of the specified temporary cluster group, the remaining temporary clusters are included. The may be one identified as one formal cluster group. In these cases, after reclassification to the temporary cluster and before specifying the temporary cluster group, for each temporary cluster, for the total number of feature vectors belonging to the temporary cluster, the corresponding feature vector belonging to the temporary cluster If there is a selected image area whose number ratio is less than a predetermined ratio, the feature vector corresponding to the selected image area may be excluded from the temporary cluster.
[0017]
Here, “a plurality of temporary clusters exchanging feature vectors corresponding to pixels in a selected image area from which a temporary representative vector representing the temporary cluster only in mutual is exchanged” refers to the plurality of temporary clusters. Each of the selected image regions has the same pattern as to which feature vector is derived from, and the feature vectors derived from those selected image regions are not included in other temporary clusters Point to.
[0018]
The clustering method or apparatus according to the present invention may further include a step or means for updating the representative vector based on the feature vector included in each of the classified clusters. Further, in addition to this, it may further include a step or means for updating the cluster based on the updated representative vector.
[0019]
Here, “updating a representative vector” means that a vector that more appropriately represents a cluster specified by classification is a new representative vector. For example, a feature vector belonging to each specified cluster In this case, the vector representing the center of gravity is replaced with the original representative vector to be a new representative vector. Further, “updating a cluster” means reclassifying by clustering based on the representative vector updated as described above. For example, each feature vector is the closest to the Euclidean distance in the feature vector space. This refers to reclassification into a cluster represented by a new representative vector.
[0020]
The clustering method or apparatus according to the present invention may further include a step or means for updating the image region by integrating the micro region into the non-micro region.
[0021]
Here, the “small area” refers to an area that is considered to be so-called noise, and is composed of a smaller number of pixels than the predetermined ratio (for example, about 1/1000) of the number of pixels forming the current image. On the other hand, the “non-micro area” refers to an image area that is not a micro area.
[0022]
In addition, the plurality of selected image areas may be obtained by sequentially selecting a plurality of constituent pixels having a large number of constituent pixels from the plurality of image areas.
[0023]
In obtaining the initial value of each component of the representative vector, one original representative vector is derived from the lowest resolution image made up of n pixels, and n extracted from each of the n pixels. The distance between the feature vector and the original representative vector in the feature vector space is determined, the feature vector indicating the maximum distance is set as the representative vector candidate, the highest candidate ranking is assigned, and each of the remaining feature vectors and the original representative Find the distance in the feature vector space between the vector and the representative vector candidate closest to the feature vector, add the feature vector indicating the maximum distance to the representative vector candidate, and give the next highest candidate ranking, The process of assigning the next highest candidate ranking is repeated, and according to the candidate ranking, the top two or more of the above representative vector candidates The value of each component of the symptom vector may be an initial value of the.
[0024]
Here, the “distance” in the feature vector space typically refers to the Euclidean distance between two vectors in the feature vector space, but any index that appropriately represents the degree of proximity of the two vectors in the feature vector space. Suppose that it is not limited to the Euclidean distance.
[0025]
The “original representative vector” is one vector representing the lowest resolution image, and for example, a vector whose component is the average value of each component of the feature vector extracted from each pixel of the lowest resolution image is used. Can be done.
[0026]
【The invention's effect】
The image feature vector clustering method and apparatus according to the present invention obtains initial values of each component of the representative vector based on the lowest resolution image derived from the input original image itself, and uses these initial values, Parameters that specify the degree of the preferred classification, since the optimal classification of feature vectors in the next lowest resolution image is sequentially obtained and finally the classification of feature vectors extracted from each pixel of the original image is obtained. The feature vector extracted from each pixel of the original image can be classified according to the optimum classification according to the content of the original image. Therefore, even if any original image is input, stable classification performance can be realized, and this is extremely effective when performing continuous segmentation on a large number of images including various elements to be photographed. is there.
[0027]
Further, as described above, the clustering method or apparatus according to the present invention, when obtaining the optimum classification of feature vectors in each low-resolution image or original image, pixels that gather together to form one image region in the real image space In view of the high possibility that a feature vector corresponding to す る will form one cluster in the feature vector space, a new one is created based on the correspondence between the selected image region in the real image space and the temporary cluster in the feature vector space. A representative vector is added. Therefore, the clustering method and apparatus according to the present invention obtains a representative vector for optimal classification while reflecting information in the real image space, so that the real image space of one original image is converted into the original image. It is particularly suitable for application to an area dividing process for dividing an object area corresponding to an imaging target element such as “sky”, “sea”, “building” and the like.
[0028]
Furthermore, the image feature vector clustering method and apparatus according to the present invention sequentially performs classification processing on an image with a reduced resolution, that is, an image with a reduced number of feature vectors. Thus, the calculation amount does not become excessive.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.
[0030]
FIG. 1 is a flowchart showing a procedure of clustering processing according to one embodiment of the present invention. The purpose of this clustering process is to classify the feature vectors extracted from each pixel of the original image into a plurality of clusters. The original image is “sky”, “sea”, “building”. It can be used for area division processing that divides into a plurality of image areas corresponding to the elements to be imaged. In the present embodiment, the original image is a digital photographic image having 1024 × 1024 pixels, and the feature vector is a three-dimensional vector having a luminance component and two color difference components expressed in the YCC color system. Suppose there is.
[0031]
When the original image is input, first, in step 10 of FIG. 1, a plurality of low resolution images having different resolutions are derived step by step. In this embodiment, as shown in FIG. 2, starting from the original image, low resolution images with half the vertical and horizontal pixels are sequentially obtained, and finally the ninth low resolution image, that is, Assume that a low-resolution image having 2 × 2 pixels is obtained. This low resolution image having 2 × 2 pixels is the lowest resolution image in this embodiment.
[0032]
Any method of image reduction processing for obtaining each of these low resolution images may be used, but in this embodiment, reduction processing using a Gaussian pyramid is used. The reduction process using the Gaussian pyramid is the step of deriving a blurred image by applying a Gaussian filter to the image to be reduced, and picking up every other pixel in such a blurred image and calculating the number of vertical and horizontal pixels respectively. This is a process of sequentially deriving low-resolution images having different resolutions by sequentially repeating the steps of deriving an image that has been reduced to half. The Gaussian filter used is, for example, as shown in FIG. 3 if the filter size is 5 × 5. Regarding the processing of the image edge, for example, when a 5 × 5 size filter shown in FIG. 3 is used, appropriate pixel values for two rows or two columns on each side of the image to be reduced are used. For convenience, a blurred image having the same size as the original image to be reduced can be derived. As the “appropriate pixel value” of the pixel to be added, a zero value, a value obtained by repeating the pixel value at the image end, or the like can be used.
[0033]
When the derivation of the low-resolution image is completed, next, in step 12 of FIG. 1, two or more initial representative vectors, that is, initial values of the components of the representative vector are determined based on the lowest resolution image (2 × 2 pixels). Derived. The initial representative vector derivation process will be described in detail below with reference to the flowchart of FIG. 4 and the conceptual diagram of FIG.
[0034]
First, in step 40 of FIG. 4, one original representative vector is derived from the lowest resolution image. In the present embodiment, one vector having the average value of each component of the feature vector extracted from the four pixels forming the lowest resolution image as the component is defined as the original representative vector. For example, in the feature vector space shown in FIG. 1 , OB 2 , OB 3 And OB 4 Is a feature vector extracted from four pixels forming the lowest resolution image, the original representative vector is OA. Note that the feature vector OB 1 , OB 2 , OB 3 And OB 4 Each extraction source pixel is as shown in FIG.
[0035]
Next, in step 42 in FIG. 4, the distance between each of the above four feature vectors and the original representative vector is calculated. In the present embodiment, this distance is assumed to be the Euclidean distance in the feature vector space. In the example of FIG. 5A, the calculated distances are d 1 , D 2 , D 3 And d 4 It is.
[0036]
Subsequently, in step 44, the feature vector indicating the maximum distance among the distances calculated in step 42 is set as the first representative vector candidate in the candidate ranking. In the example of FIG. 5A, the distance d 1 , D 2 , D 3 And d 4 The maximum distance is d 1 Therefore, the feature vector indicating the maximum distance is the vector OB 2 So vector OB 2 Is the first representative vector candidate in the candidate ranking, that is, the first representative vector candidate.
[0037]
Next, in step 46, the remaining feature vectors or three vectors OB 1 , OB 3 And OB 4 , The original representative vector OA and the representative vector candidate OB 2 The distance to the one closest to the feature vector is identified. In this example, as shown in FIG. 4 For representative vector candidate OB 2 Is smaller than the distance to the original representative vector OA. 1 'Is specified. Vector OB 1 And OB 3 , The distance from the original representative vector OA is the representative vector candidate OB 2 Because the distance is smaller than 2 'And d 3 'Is specified.
[0038]
Subsequently, in step 48, the feature vector indicating the maximum distance among the distances calculated in step 46 is set as a representative vector candidate of the next highest candidate rank. In the example of FIG. 5B, the maximum distance d 1 The feature vector indicating 'is the vector OB 4 So vector OB 4 Is the second representative vector candidate in the second candidate ranking.
[0039]
Next, in step 50, it is confirmed whether there is a feature vector that has not yet been assigned a candidate rank. Here, the feature vector OB is still 1 And OB 3 Since no candidate rank has been assigned to, the process returns to step 46. In step 46 performed again here, as shown in FIG. 1 And OB 3 For both, the original representative vector OA and the representative vector candidate OB 2 And OB 4 Since the vector having the closest distance is the original representative vector OA, the distance d to the original representative vector OA as shown in the figure. 1 '' And d 2 '' Is specified. In the following step 48, the distance d 1 '' Is d 2 Is larger than '', so the feature vector OB 1 Is the third representative vector candidate in the third candidate ranking.
[0040]
In this way, step 46 to step 50 in FIG. 4 are repeated until all four feature vectors are given candidate ranks. 2 , OB 4 , OB 1 , OB 3 Are added to the representative vector candidates in this order, and the first to fourth candidate rankings are given.
[0041]
Subsequently, in step 52 of FIG. 4, it is confirmed whether or not the candidate rank of the feature vector having the largest change amount of the maximum distance when added to the representative vector candidate is equal to or lower than the second rank. The As described above with reference to FIG. 5, in this example, the feature vector OB 2 Is added to the representative vector candidate as the first representative vector candidate, the maximum distance is d 1 To d 1 And then the feature vector OB 4 Is added to the representative vector candidate, the maximum distance is d 1 'To d 1 '' Has changed. This change in the maximum distance is illustrated in FIG. That is, in this example, the change amount of the maximum distance is the feature vector OB ranked third in the candidate ranking. 1 1 is the maximum when the vector is added to the representative vector candidate, the process of FIG. 1 proceeds to step 54, and the feature vectors up to the third candidate rank, that is, the vector OB 2 , OB 4 And OB 1 Is the initial representative vector OR 1 , OR 2 And OR 3 It is said. On the other hand, if the candidate rank confirmed in step 52 is the first candidate rank, the process of FIG. 1 proceeds to step 56, and the feature vector of the second candidate rank is the initial representative vector OR. 1 And OR 2 It is said.
[0042]
Here, in the present embodiment, the initial representative vector is selected on the basis of the change amount of the maximum distance in the feature vector space as described above. However, the change amount of the average distance or the like may be used as a reference. Alternatively, since the number of pixels is considerably reduced in the lowest resolution image (four pixels in this embodiment), all of the feature vectors extracted from each pixel of the lowest resolution image may be used as the initial representative vector. In short, as long as two or more initial representative vectors corresponding to the original image are obtained by a predetermined process from the lowest resolution image itself derived from the original image without requiring input of any external parameters, It belongs to the scope of the present invention.
[0043]
Returning to FIG. 1, subsequently, in step 14, an image having the next lowest resolution, that is, an eighth low-resolution image having 4 × 4 pixels is set as the current image, and the classification process in the current image is started. Hereinafter, the classification process in the current image having 4 × 4 pixels will be described in order with reference to FIGS.
[0044]
First, in step 16 of FIG. 1, feature vectors having a luminance component and two color difference components in the YCC color system are extracted from each of the 16 pixels constituting the current image, and these 16 feature vectors are extracted. Are mapped to the feature vector space, that is, the YCC color space.
[0045]
Subsequently, in step 18, the 16 feature vectors are classified into clusters represented by the representative vectors. The current representative vector is the initial representative vector OR derived from the lowest resolution image. 1 , OR 2 And OR 3 Therefore, 16 feature vectors are classified into three clusters represented by these. In the present embodiment, each feature vector is classified into a cluster represented by a representative vector having the closest distance on the basis of the Euclidean distance in the feature vector space.
[0046]
Next, in step 20, the current image is divided into image regions according to the feature vector classification by the cluster. Referring to FIG. 7, (a) of FIG. 7 shows the same minimum resolution image as that shown in FIG. FIG. 7B is a current image of 4 × 4 pixels, and the feature vector extracted from each pixel is the representative vector OR in the previous step 16. 1 , OR 2 And OR 3 It is shown to which of the clusters represented by. In the present embodiment, the current image is subjected to a labeling process for attaching the same label to pixels forming island-like regions separated from each other in the real image space by a method such as raster scanning or region expansion. Then, as shown in FIG. 7C, labels of 0 to 3 are attached to the respective pixels. Based on these labels, four image regions 60, 62, 64 and 66 are defined as shown in FIG. Here, the feature vector extracted from each pixel forming the image regions 60 and 66 is represented by a representative vector OR in the feature vector space. 3 Belong to one representative cluster, but in the real image space, these pixels are separated by an image region 64 as shown, thus forming separate image regions 60 and 66.
[0047]
Subsequently, in step 22 of FIG. 1, an image region corresponding to one selected cluster selected from the three clusters is specified, and in step 24, it is confirmed whether or not there are a plurality of specified image regions. Is done. In this example, as shown in (d) of FIG. 7, the selected cluster is a representative vector OR. 1 Or OR 2 1, since there is only one corresponding image region of the image region 62 or 64, the process of FIG. 1 proceeds to step 36 described later, but the selected cluster is a representative vector OR. 3 If there are two corresponding image areas (that is, image areas 60 and 66), the process proceeds from step 26 to step 34. Hereinafter, the processing of these steps 26 to 34 will be described.
[0048]
First, in step 26, a plurality of selected image areas are selected from the plurality of image areas specified in step 22. In this embodiment, it is assumed that two image areas are selected from the descending order of the number of constituent pixels as the selected image area. Here, since the specified image areas are originally two of the image areas 60 and 66, both are selected as the selected image areas. FIG. 8A shows the distribution of feature vectors corresponding to the pixels belonging to the image regions 60 and 66 in the feature vector space, and the representative vector OR of the current selected cluster. 3 FIG.
[0049]
Subsequently, in step 28, one temporary representative vector is extracted from each of the selected image regions 60 and 66. In the present embodiment, as a temporary representative vector, a vector whose component is an average value of each component of a feature vector corresponding to a pixel belonging to each selected image region is used. Hereinafter, temporary representative vectors extracted from the selected image regions 60 and 66 are respectively represented as vectors OT. 1 And OT 2 And
[0050]
Next, in step 30, the feature vectors corresponding to the pixels belonging to the selected image regions 60 and 66 are converted into the temporary representative vectors OT extracted in step 28 described above. 1 And OT 2 Temporary cluster C represented by 1 And C 2 Reclassified. In the present embodiment, similar to the classification in step 18, each feature vector is classified into a temporary cluster represented by the temporary representative vector having the closest distance on the basis of the Euclidean distance in the feature vector space. Here, the reclassification to the temporary cluster is as shown by a solid line in FIG.
[0051]
Subsequently, in step 32, the selected image regions 60 and 66 and the temporary cluster C 1 And C 2 The temporary cluster group is specified based on the correspondence relationship. In this embodiment, this step 32 is performed by the process shown in the flowchart of FIG.
[0052]
The process shown in FIG. 9 includes, for each temporary cluster, the temporary cluster includes all the feature vectors corresponding to the pixels in the selected image area from which the temporary representative vector representing the temporary cluster is extracted. It is checked whether or not the temporary cluster does not include the feature vector corresponding to the pixel in the selected image area (step 70). It is assumed that a cluster group is configured (step 72). If there are still temporary clusters remaining (step 74), the remaining temporary clusters are combined into another temporary cluster group (step 76). ) In the present embodiment, since two image areas are selected as the selected image areas in order from the largest number of constituent pixels in step 26, in other words, the processing shown in FIG. 9 is performed for each of the two selected image areas. If there is a complete correspondence between the pixels belonging to and the feature vectors belonging to each of the two temporary clusters, each of the two temporary clusters forms one temporary group, that is, a total of two temporary cluster groups In the case where there is no such complete correspondence, two temporary clusters collectively constitute only one temporary cluster group. Here, as shown in FIG. 8B, all the feature vectors corresponding to the pixels in the image area 60 are provisional clusters C. 1 And the feature vectors corresponding to the pixels in the image area 66 are all temporary clusters C 2 Belongs to. That is, since there is the above-mentioned complete correspondence, as shown by a broken line in FIG. 1 And C 2 Each constitute one temporary cluster group.
[0053]
Thereafter, in step 34 of FIG. 1, a representative vector OR representative of the currently selected cluster. 3 Instead, a vector representing each temporary cluster group is set as a new representative vector. Here, temporary cluster C 1 And C 2 Are supposed to form one temporary cluster group, so that the temporary representative vector OT 1 And OT 2 As a vector representing each temporary cluster group, and the representative vector OR 3 It is assumed that a new representative vector is substituted for.
[0054]
Here, the significance of steps 32 and 34 will be described. When the original image shown in FIG. 2 is compared with (d) of FIG. 7, each pixel belonging to the image area 60 of the current image is a pixel in which the feature of the empty part in the original image is mainly compressed. It can be seen that each pixel belonging to 66 is a pixel in which the features of the water portion in the original image are mainly compressed. The sky part and the water part are both bluish in color, and the difference in their characteristics is small compared to the difference between the sky part and the grassland part, for example. If a feature vector is extracted by collecting a large number of pixels in the portion and pixels in the water portion, it is considered that the sky portion and the water portion are gradually distinguished even in the feature vector space. On the other hand, parts corresponding to different subject elements, such as the sky part and the water part, which are relatively similar in characteristics, are blurred and connected in a low-resolution image with a small number of pixels in the real image space. Although there is a tendency to form an image area, when the image resolution is increased (that is, the number of pixels is increased) and the outline of each imaging target element gradually becomes clear, an image area separated from each other is formed. start. In the above example, the image regions 60 and 66 were separated in the real image space when proceeding from the lowest resolution image to the current image of 4 × 4 pixels. Therefore, when a temporary representative vector is extracted from each of the image regions 60 and 66 and reclassified into a temporary cluster, even in the feature vector space, the image region 60 in which the feature of the empty part is mainly compressed is used. The pixels were completely separated from the pixels in the image area 66 where the features of the water part were mainly compressed. Therefore, in order to reflect the information in the real image space in the clustering process, the temporary representative vector OT 1 And OT 2 The representative vector OR 3 A new representative vector to replace
[0055]
On the other hand, although different from the above example, if the distribution of feature vectors corresponding to each pixel belonging to two selected image regions is as shown in FIG. 1 And OT 2 Temporary cluster C by 1 And C 2 The reclassification is as shown by a solid line in FIG. In this case, feature vectors derived from the two selected image regions are mixed in each temporary cluster, and between the pixels belonging to each of the two selected image regions and the feature vectors belonging to each of the two temporary clusters. Does not have a complete correspondence as described above. Such a situation occurs, for example, when there are a plurality of water portions in the original image and the two selected image regions are separated in the real image space, but both correspond to the water portions. In such a case, provisional cluster C 1 Feature vector and temporary cluster C 2 It is not appropriate to perform a clustering process in which feature vectors belonging to are classified. Therefore, according to the process shown in FIG. 9, as shown by the broken line in FIG. 1 And C 2 Collectively constitute one temporary cluster group. In this case, the representative vector OR of the original selected cluster is used as a vector representing the temporary cluster group. 3 Shall be adopted. That is, even after step 34 in FIG. 1, the original representative vector OR 3 Will continue to be used as the representative vector.
[0056]
When the processing of steps 26 to 34 is completed, it is confirmed in step 36 of FIG. 1 whether or not there is a cluster for which the corresponding image area has not yet been specified. The processing of steps 22 to 36 is performed for all clusters. Repeated.
[0057]
Thereafter, the process proceeds to step 38 where it is confirmed whether or not the current image is an original image. Here, since the original image at the present stage is the eighth low-resolution image of 4 × 4 pixels, the processing shown in FIG. 1 returns to step 14, the original image is made the current image, and each pixel of the original image is Steps 14 to 38 are repeated until a final representative vector for classifying the extracted feature vector is obtained.
[0058]
According to the embodiment described above, two or more initial representative vectors are obtained based on the 2 × 2 minimum resolution image derived from the input original image itself, and these initial representative vectors are used. By sequentially finding the optimum classification of feature vectors in the next lowest resolution image, the classification of feature vectors extracted from each pixel of the original image is finally obtained, so input of external parameters is required. In addition, classification can be performed according to the optimum degree of classification according to the contents of the original image. Therefore, stable classification performance can be realized no matter what original image is input.
[0059]
Further, according to the above embodiment, in each low-resolution image or original image, representative vectors for optimal classification are sequentially obtained while reflecting information in the real image space. Especially suitable for application.
[0060]
Next, a modified example of the above embodiment will be described with reference to FIGS. In the processing in this modified example, in step 26 of FIG. 1, five image areas (all image areas when the number of image areas is 2 to 4) from the descending order of the number of constituent pixels are selected image areas. Except that the processing shown in FIG. 12 is performed in place of the processing shown in FIG. 9 in step 32, and is the same as the processing in the above embodiment.
[0061]
For the purpose of explaining this modification, an image area that is connected in a certain low-resolution image is separated into five or more image areas in the real image space when proceeding to the next lower-resolution image. To V are selected as selected image areas. The distribution in the feature vector space of the feature vectors corresponding to the pixels belonging to these selected image areas I to V, and the temporary representative vector OT extracted from these selected image areas I To OT V Distribution, and temporary cluster C represented by these temporary representative vectors I To C V It is assumed that the classification by is as shown in FIG.
[0062]
Here, when the processing shown in FIG. 12 is performed, first, in step 80, the temporary cluster C I To C V Each of the temporary clusters includes all feature vectors corresponding to the pixels in the selected image area from which the temporary representative vectors representing the temporary clusters are extracted, and corresponds to the pixels in the other selected image areas. It is checked whether the cluster is a temporary cluster that does not include a feature vector. In the example of FIG. 11, the temporary cluster C I 11 includes all the feature vectors corresponding to the pixels in the selected image area I as the extraction source, and does not include the feature vectors corresponding to the pixels in the other selected image areas II to V. Processing proceeds to step 82 where this temporary cluster C I However, it is assumed that it constitutes one temporary cluster group independently.
[0063]
Subsequently, in step 84, the remaining temporary cluster C II To C V Only for each other, it is confirmed whether or not there are a plurality of temporary clusters exchanging feature vectors corresponding to pixels in the selected image region from which the temporary representative vectors representing the temporary clusters are extracted. In the example of FIG. 11, the temporary cluster C II And C III However, both include only feature vectors derived from the selected image regions II and III, and the patterns are the same. In addition, the feature vectors derived from the selected image regions II and III are stored in other temporary clusters C I , C IV And C V It is not included in any of. Therefore, provisional cluster C II And C III Are tentative representative vectors OT that represent the tentative cluster only within each other. II And OT III Correspond to a plurality of temporary clusters exchanging feature vectors corresponding to the pixels in the selected image regions II and III from which extraction is performed. II And C III Is specified as one temporary cluster group. Temporary cluster C IV And C V The same can be said for this set.
[0064]
Finally, in step 88, it is confirmed whether or not there are temporary clusters that do not yet belong to any of the temporary cluster groups. If they remain, in step 90, the remaining temporary clusters are collected together. Furthermore, one temporary cluster group is specified. In the example of FIG. 11, since there are no remaining temporary clusters, the process shown in FIG. 12 ends without further specifying a temporary cluster group.
[0065]
Through the above processing, three temporary cluster groups as indicated by broken lines in FIG. 11 are specified. Such a state is, for example, among the selected image regions I to V, where two regions of grassland where region I is a mountain portion and regions II and III are separated in a real image space across a road or river portion, This occurs when the regions IV and V correspond to two tree parts separated from each other in the real image space.
[0066]
Here, in the above-described embodiment described with reference to FIGS. 8 to 10, when any one of the two temporary clusters includes a single feature vector derived from different selected image regions, 2 One temporary cluster is assumed to belong to one temporary cluster group, and the representative vector is not increased. Such processing is preferable at the initial stage where a low-resolution image of about 4 × 4 pixels, which is described in detail above, is handled as the current image. However, as the resolution of the current image gradually increases, most of the feature vectors are selected for each selected image. Even though it is classified as a temporary cluster corresponding to a region, only two feature vectors derived from different selected image regions are mixed, and two temporary clusters are not classified into different temporary cluster groups. In some cases, the number of representative vectors does not increase effectively, and clustering processing based on the optimal classification level cannot be performed. A similar situation can occur in the modification described with reference to FIGS. In order to prevent such a situation, in the above embodiment and the modified example, between step 30 and step 32 in FIG. 1, for each temporary cluster, the total number of feature vectors belonging to the temporary cluster is changed to the temporary cluster. When there is a selected image area in which the ratio of the number of corresponding feature vectors to which the image belongs is smaller than a predetermined ratio, a step of excluding the feature vector corresponding to the selected image area from the temporary cluster may be further included. As this “predetermined ratio”, for example, a value of about 5% can be adopted.
[0067]
In addition, for further optimization of the classification result, a step of updating each representative vector to a more appropriate one based on the feature vector included in each cluster is included between step 18 and step 20 in FIG. It may be. For example, a vector indicating the center of gravity of feature vectors belonging to each cluster can be adopted as a new representative vector. In addition to this, a step of reclassifying the feature vectors based on the Euclidean distance or the like based on the updated representative vector and updating the cluster may be further included.
[0068]
Further, in order to exclude an image region that is considered to be so-called noise, which is composed of pixels smaller than a predetermined ratio (for example, about 1/1000) of the number of pixels forming the current image, the steps 20 and 22 in FIG. In the meantime, a step of updating the image region defined in step 20 by integrating the micro region into the non-micro region may be further included. As a method of integration, for example, a method of specifying an adjacent image region that touches a boundary with a minute region, and performing processing for integrating the minute region into an adjacent image region having the longest border length in order from a smaller minute region. Alternatively, an adjacent image region that borders the minute region is identified, one feature vector is extracted from each of the minute region and all the neighboring image regions, and an adjacent image region having the shortest distance between feature vectors in the feature vector space And a method of performing processing for integrating the minute regions in order from the smallest minute region.
[0069]
In the above-described embodiments and modification examples, a plurality of image regions having a large number of constituent pixels are sequentially selected as a selection image region from among a plurality of image regions. However, the selection method of the selection image region is not limited thereto. A form in which all of a plurality of specified image areas are selected image areas also belongs to the scope of the present invention.
[0070]
In the above-described embodiments and modifications, the three-dimensional vector including the luminance component and the two color difference components expressed in the YCC color system is used as the feature vector. However, each component of the feature vector is not limited thereto. The dimension of the feature vector is not limited to 3.
[0071]
Furthermore, in the above-described embodiments and modifications, for convenience of explanation, the original image is a square image having 1024 × 1024 pixels, but it goes without saying that the present invention can also be applied to original images having different vertical and horizontal pixel numbers. Yes. Each low-resolution image is not limited to a square image. Further, the number of pixels of the minimum resolution image is not limited to four, and any number of pixels may be used as long as it is a plurality of pixels smaller than the number of pixels of the original image.
[0072]
In addition, the above-described embodiments and modification examples are intended to classify feature vectors extracted from each pixel of the target image using the target image itself that is a target of region division or the like as an original image. A mode in which a reduced image that has been subjected to image reduction processing in advance as an original image and classification of feature vectors extracted from each pixel of the reduced image is also within the scope of the present invention. In this case, after classifying the feature vector extracted from each pixel of the reduced image, the image is subjected to image enlargement processing again on the reduced image. It can be used for area division processing or the like.
[0073]
Note that the clustering process according to the above and other embodiments of the present invention may be executed by a computer program. In addition, the above description has been made with respect to a method for convenience of description, but an apparatus including means for performing each of the above steps is also within the scope of the present invention.
[0074]
As mentioned above, although embodiment and the modification of this invention were described in detail, these are only illustrations, The technical scope of this invention should be defined only by the claim in this specification Needless to say.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a procedure of clustering processing according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram showing a method for deriving each low-resolution image in the embodiment of FIG.
FIG. 3 is a diagram showing an example of a Gaussian filter used for deriving each low-resolution image.
4 is a flowchart showing in detail an initial representative vector derivation step in the embodiment of FIG. 1;
5 is a conceptual diagram showing each stage of the initial representative vector derivation process shown in FIG. 4;
6 is a bar graph showing a change in the maximum distance which is a reference for selecting an initial representative vector in the initial representative vector derivation step shown in FIG.
7 is a conceptual diagram showing a method of dividing a current image into image areas in the embodiment of FIG.
FIG. 8 is a conceptual diagram showing a method for identifying a temporary cluster group in the embodiment of FIG.
FIG. 9 is a flowchart showing a method for specifying a temporary cluster group in the embodiment of FIG. 1;
10 is a conceptual diagram showing a method for specifying a temporary cluster group in the embodiment of FIG.
11 is a conceptual diagram showing a method for specifying a temporary cluster group in a modification of the embodiment of FIG.
12 is a flowchart showing a method for identifying a temporary cluster group in the modification of FIG.

Claims (18)

原画像から、段階的に解像度の異なる複数の複数画素からなる低解像度画像を導出する工程と、
前記複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める工程と、
解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する工程と、
該特徴ベクトルの各々を特徴ベクトル空間に写像する工程と、
前記特徴ベクトル空間において、前記特徴ベクトルを、前記代表ベクトルの各々が代表するクラスターに分類する工程と、
前記クラスターの各々に属する前記特徴ベクトルに対応する画素の、前記現在画像上における分布に基づいて、前記現在画像を画像領域に分割する工程と、
前記クラスターの中から選択した1つの選択クラスターに対応する前記画像領域を特定する工程と、
該特定により複数の画像領域が特定された場合に行う工程であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、前記特徴ベクトル空間において、前記複数の選択画像領域に属する画素に対応する前記特徴ベクトルを、前記仮代表ベクトルの各々が代表する仮クラスターに再分類し、前記選択画像領域と前記仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、前記仮クラスター群の各々を代表するベクトルを、前記選択クラスターを代表する前記代表ベクトルに代えて新たな代表ベクトルとする工程と、
全ての前記クラスターについて、前記画像領域を特定する工程と前記複数の画像領域が特定された場合に行う工程を繰り返す工程と、
前記原画像が前記現在画像とされ、前記原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、前記特徴ベクトルを抽出する工程から前記繰り返す工程を繰り返す工程を含むことを特徴とする画像の特徴ベクトルのクラスタリング方法。
Deriving from the original image a low resolution image composed of a plurality of pixels having different resolutions in stages;
Obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution among the plurality of low resolution images;
Extracting the feature vector from each pixel of the current image, using the next lowest resolution image as the current image;
Mapping each of the feature vectors to a feature vector space;
Classifying the feature vectors into clusters represented by each of the representative vectors in the feature vector space;
Dividing the current image into image regions based on a distribution on the current image of pixels corresponding to the feature vectors belonging to each of the clusters;
Identifying the image region corresponding to one selected cluster selected from the clusters;
A step performed when a plurality of image regions are specified by the specification, wherein one temporary representative vector is extracted from each of a plurality of selected image regions selected from the plurality of image regions, and the feature vector space The feature vectors corresponding to the pixels belonging to the plurality of selected image regions are reclassified into temporary clusters represented by the temporary representative vectors, and based on the correspondence relationship between the selected image regions and the temporary clusters. Identifying one or a plurality of temporary cluster groups, and replacing a vector representing each of the temporary cluster groups with a new representative vector instead of the representative vector representing the selected cluster;
For all the clusters, repeating the step of identifying the image region and the step of performing the steps when the plurality of image regions are identified;
The step of repeating the repeating step from the step of extracting the feature vector until the original image is the current image and a final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained. A method for clustering feature vectors of an image characterized by including the image.
前記1つまたは複数の仮クラスター群の特定が、
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の工程と、
前記第1の工程において特定された前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第2の工程により行われることを特徴とする請求項1記載のクラスタリング方法。
The identification of the one or more temporary cluster groups is
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, the first step of identifying the temporary cluster as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified in the first step remains, a second group that specifies the group of the remaining temporary clusters as one temporary cluster group The clustering method according to claim 1, wherein the clustering method is performed by the following steps.
前記1つまたは複数の仮クラスター群の特定が、
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の工程と、
相互においてのみ当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを交換している、複数の仮クラスターがある場合には、該複数の仮クラスターからなる群を1つの仮クラスター群として特定する第2の工程と、
前記第1の工程および前記第2の工程において特定された前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第3の工程により行われることを特徴とする請求項1記載のクラスタリング方法。
The identification of the one or more temporary cluster groups is
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, the first step of identifying the temporary cluster as one temporary cluster group;
When there are a plurality of temporary clusters exchanging the feature vectors corresponding to the pixels in the selected image area from which the temporary representative vectors representing the temporary clusters only in the mutual are extracted, A second step of identifying a group of temporary clusters as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified in the first step and the second step remains, the group consisting of the remaining temporary clusters is regarded as one temporary cluster. The clustering method according to claim 1, wherein the clustering method is performed by a third step of specifying as a group.
前記仮クラスターへの再分類後、前記1つまたは複数の仮クラスター群の特定前において、
前記仮クラスターの各々について、該仮クラスターに属する前記特徴ベクトルの総数に対し、該仮クラスターに属する対応の特徴ベクトルの数の割合が所定割合より少ない選択画像領域がある場合は、該選択画像領域に対応する前記特徴ベクトルを該仮クラスターから除外することを特徴とする請求項2または3記載のクラスタリング方法。
After reclassification to the temporary cluster and before identifying the one or more temporary cluster groups,
For each of the temporary clusters, if there is a selected image area in which the ratio of the number of corresponding feature vectors belonging to the temporary cluster is less than a predetermined ratio with respect to the total number of the feature vectors belonging to the temporary cluster, the selected image area 4. The clustering method according to claim 2, wherein the feature vector corresponding to is excluded from the temporary cluster.
前記クラスターに分類する工程と、前記現在画像を画像領域に分割する工程の間に、
前記クラスターの各々に含まれる前記特徴ベクトルに基づいて、前記代表ベクトルを更新する工程をさらに含むことを特徴とする請求項1から4いずれか1項記載のクラスタリング方法。
Between the step of classifying into the cluster and the step of dividing the current image into image regions,
The clustering method according to claim 1, further comprising a step of updating the representative vector based on the feature vector included in each of the clusters.
前記クラスターに分類する工程と、前記現在画像を画像領域に分割する工程の間に、
前記クラスターの各々に含まれる前記特徴ベクトルに基づいて、前記代表ベクトルを更新する工程と、
前記更新された代表ベクトルに基づいて前記クラスターを更新する工程をさらに含むことを特徴とする請求項1から4いずれか1項記載のクラスタリング方法。
Between the step of classifying into the cluster and the step of dividing the current image into image regions,
Updating the representative vector based on the feature vectors included in each of the clusters;
The clustering method according to claim 1, further comprising a step of updating the cluster based on the updated representative vector.
前記現在画像を画像領域に分割する工程と、前記画像領域を特定する工程の間に、
微小領域を非微小領域に統合することにより、前記画像領域を更新する工程をさらに含むことを特徴とする請求項1から6いずれか1項記載のクラスタリング方法。
Between the step of dividing the current image into image regions and the step of identifying the image regions,
The clustering method according to claim 1, further comprising a step of updating the image area by integrating a minute area into a non-minute area.
前記複数の選択画像領域が、前記複数の画像領域の中から、構成画素数の多いものを順に複数選択したものであることを特徴とする請求項1から7いずれか1項記載のクラスタリング方法。The clustering method according to any one of claims 1 to 7, wherein the plurality of selected image regions are obtained by sequentially selecting a plurality of image pixels having a large number of constituent pixels from the plurality of image regions. 前記初期値を求める工程が、
n個の画素からなる前記最低解像度画像から、1つの原代表ベクトルを導出する工程と、
前記n個の画素の各々から抽出されたn個の特徴ベクトルと、前記原代表ベクトルとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補とするとともに、最も高い候補順位を付ける工程と、
残りの特徴ベクトルの各々と、前記原代表ベクトルおよび前記代表ベクトル候補のうち該特徴ベクトルに最も近いものとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを前記代表ベクトル候補に追加するとともに、次に高い候補順位を付ける工程と、
前記次に高い候補順位を付ける工程を繰り返す工程と、
前記候補順位に従って、前記代表ベクトル候補のうちの上位2つ以上の前記特徴ベクトルの各成分の値を、前記代表ベクトルの各成分の前記初期値とする工程を含むことを特徴とする請求項1から8いずれか1項記載のクラスタリング方法。
Obtaining the initial value comprises:
deriving one original representative vector from the lowest resolution image consisting of n pixels;
A distance in the feature vector space between the n feature vectors extracted from each of the n pixels and the original representative vector is obtained, and a feature vector indicating the maximum distance is set as a representative vector candidate and the highest Assigning candidate ranks,
A distance in the feature vector space between each of the remaining feature vectors and the original representative vector and the representative vector candidate closest to the feature vector is obtained, and a feature vector indicating a maximum distance is determined as the representative vector candidate. And adding the next highest candidate ranking,
Repeating the step of assigning the next highest candidate ranking;
2. The method according to claim 1, further comprising: setting values of each component of the top two or more feature vectors of the representative vector candidates as the initial values of the components of the representative vector according to the candidate ranking. 9. The clustering method according to any one of 8 to 8.
原画像から、段階的に解像度の異なる複数の複数画素からなる低解像度画像を導出する手段と、
前記複数の低解像度画像のうち解像度が最も低い最低解像度画像から、2つ以上の代表ベクトルの、各成分の初期値を求める手段と、
解像度が次に低い画像を現在画像として、該現在画像の各画素から特徴ベクトルを抽出する手段と、
該特徴ベクトルの各々を特徴ベクトル空間に写像する手段と、
前記特徴ベクトル空間において、前記特徴ベクトルを、前記代表ベクトルの各々が代表するクラスターに分類する手段と、
前記クラスターの各々に属する前記特徴ベクトルに対応する画素の、前記現在画像上における分布に基づいて、前記現在画像を画像領域に分割する手段と、
前記クラスターの中から選択した1つの選択クラスターに対応する前記画像領域を特定する手段と、
該特定により複数の画像領域が特定された場合に動作する手段であって、該複数の画像領域の中から選択した複数の選択画像領域の各々から1つの仮代表ベクトルを抽出し、前記特徴ベクトル空間において、前記複数の選択画像領域に属する画素に対応する前記特徴ベクトルを、前記仮代表ベクトルの各々が代表する仮クラスターに再分類し、前記選択画像領域と前記仮クラスターの間の対応関係に基づく1つまたは複数の仮クラスター群を特定し、前記仮クラスター群の各々を代表するベクトルを、前記選択クラスターを代表する前記代表ベクトルに代えて新たな代表ベクトルとする手段と、
全ての前記クラスターについて、前記画像領域を特定する手段と前記複数の画像領域が特定された場合に動作する手段を繰返し動作させる手段と、
前記原画像が前記現在画像とされ、前記原画像の各画素から抽出された特徴ベクトルを分類する最終的な代表ベクトルが求められるまで、前記特徴ベクトルを抽出する手段から前記繰返し動作させる手段を繰返し動作させる手段を備えていることを特徴とする画像の特徴ベクトルのクラスタリング装置。
Means for deriving a low resolution image composed of a plurality of pixels having different resolutions in stages from the original image;
Means for obtaining an initial value of each component of two or more representative vectors from the lowest resolution image having the lowest resolution among the plurality of low resolution images;
Means for extracting a feature vector from each pixel of the current image, with the next lowest resolution image as the current image;
Means for mapping each of the feature vectors to a feature vector space;
Means for classifying the feature vectors into clusters represented by each of the representative vectors in the feature vector space;
Means for dividing the current image into image regions based on a distribution on the current image of pixels corresponding to the feature vectors belonging to each of the clusters;
Means for identifying the image region corresponding to one selected cluster selected from the clusters;
Means for operating when a plurality of image regions are specified by the specification, wherein one temporary representative vector is extracted from each of a plurality of selected image regions selected from the plurality of image regions, and the feature vector In the space, the feature vectors corresponding to the pixels belonging to the plurality of selected image areas are reclassified into temporary clusters represented by the temporary representative vectors, and the correspondence relationship between the selected image area and the temporary clusters is obtained. Means for identifying one or more temporary cluster groups based on, and replacing the vectors representing each of the temporary cluster groups with a new representative vector instead of the representative vector representing the selected cluster;
Means for repeatedly operating the means for specifying the image area and the means for operating when the plurality of image areas are specified for all the clusters;
Until the original image is the current image and a final representative vector for classifying the feature vector extracted from each pixel of the original image is obtained, the means for extracting the feature vector is repeatedly operated. An apparatus for clustering image feature vectors, characterized by comprising means for operating.
前記1つまたは複数の仮クラスター群の特定を、
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の手段と、
前記第1の手段が特定した前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第2の手段により行うことを特徴とする請求項10記載のクラスタリング装置。
Identifying the one or more provisional cluster groups,
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, a first means for identifying the temporary cluster as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified by the first means remains, a second group that specifies a group of the remaining temporary clusters as one temporary cluster group The clustering apparatus according to claim 10, wherein the clustering apparatus is performed by means.
前記1つまたは複数の仮クラスター群の特定を、
当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを全て含み、かつ他の前記選択画像領域中の画素に対応する前記特徴ベクトルを含まない仮クラスターがある場合には、該仮クラスターを1つの仮クラスター群として特定する第1の手段と、
相互においてのみ当該仮クラスターを代表する前記仮代表ベクトルの抽出元である前記選択画像領域中の画素に対応する前記特徴ベクトルを交換している、複数の仮クラスターがある場合には、該複数の仮クラスターからなる群を1つの仮クラスター群として特定する第2の手段と、
前記第1の手段および前記第2の手段が特定した前記仮クラスター群のいずれにも属していない前記仮クラスターが残っている場合には、該残りの仮クラスターからなる群を1つの仮クラスター群として特定する第3の手段により行うことを特徴とする請求項10記載のクラスタリング装置。
Identifying the one or more provisional cluster groups,
Includes all the feature vectors corresponding to the pixels in the selected image region from which the temporary representative vectors representing the temporary cluster are extracted, and includes the feature vectors corresponding to the pixels in the other selected image regions If there is no temporary cluster, a first means for identifying the temporary cluster as one temporary cluster group;
When there are a plurality of temporary clusters exchanging the feature vectors corresponding to the pixels in the selected image area from which the temporary representative vectors representing the temporary clusters only in the mutual are extracted, A second means for specifying a group of temporary clusters as one temporary cluster group;
When the temporary cluster that does not belong to any of the temporary cluster groups specified by the first means and the second means remains, a group of the remaining temporary clusters is regarded as one temporary cluster group. The clustering apparatus according to claim 10, wherein the clustering apparatus is performed by third means that specifies
前記複数の画像領域が特定された場合に動作する手段が、前記仮クラスターへの再分類後、前記1つまたは複数の仮クラスター群の特定前において、前記仮クラスターの各々について、該仮クラスターに属する前記特徴ベクトルの総数に対し、該仮クラスターに属する対応の特徴ベクトルの数の割合が所定割合より少ない選択画像領域がある場合は、該選択画像領域に対応する前記特徴ベクトルを該仮クラスターから除外することを特徴とする請求項11または12記載のクラスタリング装置。The means that operates when the plurality of image regions are specified is classified into the temporary cluster for each of the temporary clusters after the reclassification to the temporary cluster and before the one or more temporary cluster groups are specified. If there is a selected image area in which the ratio of the number of corresponding feature vectors belonging to the temporary cluster is less than a predetermined ratio with respect to the total number of the feature vectors belonging to the temporary cluster, the feature vector corresponding to the selected image area is extracted from the temporary cluster. 13. The clustering apparatus according to claim 11, wherein the clustering apparatus is excluded. 前記クラスターの各々に含まれる前記特徴ベクトルに基づいて、前記代表ベクトルを更新する手段をさらに備えていることを特徴とする請求項10から13いずれか1項記載のクラスタリング装置。14. The clustering apparatus according to claim 10, further comprising means for updating the representative vector based on the feature vector included in each of the clusters. 前記クラスターの各々に含まれる前記特徴ベクトルに基づいて、前記代表ベクトルを更新する手段と、
前記更新された代表ベクトルに基づいて前記クラスターを更新する手段をさらに備えていることを特徴とする請求項10から13いずれか1項記載のクラスタリング装置。
Means for updating the representative vector based on the feature vectors included in each of the clusters;
14. The clustering apparatus according to claim 10, further comprising means for updating the cluster based on the updated representative vector.
微小領域を非微小領域に統合することにより、前記現在画像を画像領域に分割する手段が規定した前記画像領域を更新する手段をさらに備えていることを特徴とする請求項10から15いずれか1項記載のクラスタリング装置。16. The apparatus according to claim 10, further comprising means for updating the image area defined by the means for dividing the current image into image areas by integrating a minute area into a non-minute area. A clustering device described in the section. 前記複数の選択画像領域が、前記複数の画像領域の中から、構成画素数の多いものを順に複数選択したものであることを特徴とする請求項10から16いずれか1項記載のクラスタリング装置。The clustering apparatus according to any one of claims 10 to 16, wherein the plurality of selected image regions are obtained by sequentially selecting a plurality of image pixels having a large number of constituent pixels from the plurality of image regions. 前記初期値を求める手段が、
n個の画素からなる前記最低解像度画像から、1つの原代表ベクトルを導出する手段と、
前記n個の画素の各々から抽出されたn個の特徴ベクトルと、前記原代表ベクトルとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを代表ベクトル候補とするとともに、最も高い候補順位を付ける手段と、
残りの特徴ベクトルの各々と、前記原代表ベクトルおよび前記代表ベクトル候補のうち該特徴ベクトルに最も近いものとの、前記特徴ベクトル空間における距離を求め、最大距離を示す特徴ベクトルを前記代表ベクトル候補に追加するとともに、次に高い候補順位を付ける手段と、
前記次に高い候補順位を付ける手段を繰返し動作させる手段と、
前記候補順位に従って、前記代表ベクトル候補のうちの上位2つ以上の前記特徴ベクトルの各成分の値を、前記代表ベクトルの各成分の前記初期値とする手段を備えていることを特徴とする請求項10から17いずれか1項記載のクラスタリング装置。
Means for determining the initial value;
means for deriving one original representative vector from the lowest resolution image comprising n pixels;
A distance in the feature vector space between the n feature vectors extracted from each of the n pixels and the original representative vector is obtained, and a feature vector indicating the maximum distance is set as a representative vector candidate and the highest A means to rank candidates,
A distance in the feature vector space between each of the remaining feature vectors and the original representative vector and the representative vector candidate closest to the feature vector is obtained, and a feature vector indicating a maximum distance is determined as the representative vector candidate. Means to add and rank the next highest candidate ranking,
Means for repeatedly operating the means for assigning the next highest candidate ranking;
The apparatus further comprises means for setting values of each component of the top two or more feature vectors of the representative vector candidates as the initial values of the components of the representative vector according to the candidate rank. Item 18. The clustering apparatus according to any one of Items 10 to 17.
JP2003046015A 2003-02-24 2003-02-24 Method and device for clustering feature vector of image Withdrawn JP2004258750A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003046015A JP2004258750A (en) 2003-02-24 2003-02-24 Method and device for clustering feature vector of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003046015A JP2004258750A (en) 2003-02-24 2003-02-24 Method and device for clustering feature vector of image

Publications (1)

Publication Number Publication Date
JP2004258750A true JP2004258750A (en) 2004-09-16

Family

ID=33112679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003046015A Withdrawn JP2004258750A (en) 2003-02-24 2003-02-24 Method and device for clustering feature vector of image

Country Status (1)

Country Link
JP (1) JP2004258750A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302559B2 (en) 2005-01-26 2007-11-27 Fujitsu Limited Memory dump program boot method and mechanism, and computer-readable storage medium
KR100902938B1 (en) 2007-08-28 2009-06-15 인하대학교 산학협력단 Region-based Image Retrieval Using Region Filtering
WO2011001817A1 (en) * 2009-07-01 2011-01-06 日本電気株式会社 System and method for extracting representative feature
JP2014527671A (en) * 2011-08-15 2014-10-16 シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich Video segmentation method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7302559B2 (en) 2005-01-26 2007-11-27 Fujitsu Limited Memory dump program boot method and mechanism, and computer-readable storage medium
KR100902938B1 (en) 2007-08-28 2009-06-15 인하대학교 산학협력단 Region-based Image Retrieval Using Region Filtering
WO2011001817A1 (en) * 2009-07-01 2011-01-06 日本電気株式会社 System and method for extracting representative feature
JP5333589B2 (en) * 2009-07-01 2013-11-06 日本電気株式会社 Representative feature extraction system and method
US9361517B2 (en) 2009-07-01 2016-06-07 Nec Corporation System and method for extracting representative feature
JP2014527671A (en) * 2011-08-15 2014-10-16 シムニコ, ドミトリー ヴァレリーヴィチSHMUNK, Dmitry Valerievich Video segmentation method

Similar Documents

Publication Publication Date Title
CN111738318B (en) A Large Image Classification Method Based on Graph Neural Network
JP5008572B2 (en) Image processing method, image processing apparatus, and computer-readable medium
JP3877916B2 (en) Anomaly detection method and system for digital image, and storage medium therefor
CN105551036B (en) A kind of training method and device of deep learning network
US9519660B2 (en) Information processing apparatus, clustering method, and recording medium storing clustering program
US8488190B2 (en) Image processing apparatus, image processing apparatus control method, and storage medium storing program
US8995761B2 (en) Image processing apparatus, image processing method, and computer-readable medium
CN112132145B (en) An image classification method and system based on a model-extended convolutional neural network
JP4098021B2 (en) Scene identification method, apparatus, and program
JP2004361987A (en) Image retrieval system, image classification system, image retrieval program, image classification program, and image retrieval method and image classification method
JP2004164624A (en) Method and apparatus for low depth of field image segmentation
TW200539047A (en) Systems and methods for identifying regions within an image having similar continuity values
CN118230166A (en) Corn canopy organ identification method and canopy phenotype detection method based on improved Mask2YOLO network
CN117409233A (en) Pathological image classification method and device, electronic equipment and storage medium
CN113902013A (en) Hyperspectral classification method based on three-dimensional convolutional neural network and superpixel segmentation
JP2005513632A (en) Split an image using the water source method
SE534089C2 (en) Procedure for classifying image information
JP2009123234A (en) Object identification method, apparatus and program
CN114862883B (en) A target edge extraction method, image segmentation method and system
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
JP6546385B2 (en) IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM
JP4285640B2 (en) Object identification method, apparatus and program
JP2004258750A (en) Method and device for clustering feature vector of image
JP4285644B2 (en) Object identification method, apparatus and program
JP6950376B2 (en) Image processing device, training image processing device, image identification device, training image processing method, image identification method, and program

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060509