[go: up one dir, main page]

JP3199009B2 - Image storage / management apparatus and image index generation method - Google Patents

Image storage / management apparatus and image index generation method

Info

Publication number
JP3199009B2
JP3199009B2 JP35997997A JP35997997A JP3199009B2 JP 3199009 B2 JP3199009 B2 JP 3199009B2 JP 35997997 A JP35997997 A JP 35997997A JP 35997997 A JP35997997 A JP 35997997A JP 3199009 B2 JP3199009 B2 JP 3199009B2
Authority
JP
Japan
Prior art keywords
image
index
area
information
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35997997A
Other languages
Japanese (ja)
Other versions
JPH10149373A (en
Inventor
恭二 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP35997997A priority Critical patent/JP3199009B2/en
Publication of JPH10149373A publication Critical patent/JPH10149373A/en
Application granted granted Critical
Publication of JP3199009B2 publication Critical patent/JP3199009B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、計算機中に大量の
画像情報を蓄積・管理し、検索・利用を行う画像データ
ベースシステムの検索のための画像蓄積・管理装置及び
画像インデックスの作成方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image storage / management apparatus for searching an image database system for storing / managing a large amount of image information in a computer and performing search / use, and a method of creating an image index.

【0002】[0002]

【従来の技術】データベース中の画像情報を検索する際
に、従来行われていた、入力年月日・作者名・画像名と
いった書誌情報に基づく検索、画像に自由語キーワード
を多数割り当て、それに基づいて行う検索といったテキ
スト情報を利用した情報検索に加えて、画像特有の視覚
的特徴に基づく検索の必要性が高まってきている。画像
特有に視覚的特徴に基づく検索要求のなかには、画像中
の空間的特性や構造情報に基づく検索、色情報に基づく
検索等がある。このような視覚的特徴に基づく検索を実
現するために、原画像からこれらの特徴を抽出し、概略
画像(原画像の概略を記述したもの)として蓄えてお
き、検索の際にこの概略画像と利用者の提示した問い合
わせ画像とを高速に整合させることにより検索する手法
が提案されている(特開平4−60770号公報「概略
画像を用いた画像検索方法及び装置」)。
2. Description of the Related Art When searching for image information in a database, a conventional search based on bibliographic information such as input date, author name, and image name is performed. In addition to an information search using text information such as a search performed by a user, there is an increasing need for a search based on visual features unique to an image. Search requests based on visual characteristics unique to an image include a search based on spatial characteristics and structural information in an image, a search based on color information, and the like. In order to realize a search based on such visual features, these features are extracted from an original image and stored as a summary image (a description of the outline of the original image). A technique for performing a search by matching a query image presented by a user at a high speed has been proposed (Japanese Patent Application Laid-Open No. H4-60770, "Image Search Method and Apparatus Using Schematic Images").

【0003】図18は、従来の概略画像を用いた画像検
索装置の一例を示す機能ブロック図である。この概略画
像を用いた画像検索装置は、画像の検索条件や必要な画
像の指示を入力するための入力手段181と、画像情報
を格納するための画像格納手段182と、構成要素の
形、色、大きさ、位置などを含み原画像より小さい画像
を格納するための概略画像格納手段183と、入力手段
181から検索条件を受け取り、概略画像格納手段18
3中の概略画像と照らし合わせ、検索すべき候補画像を
導き出す画像照合手段184と、画像照合手段184か
ら候補画像を受け取り、結果を表示する画像表示手段1
85と、画像表示手段185で表示された画像を入力手
段181の指示により画像格納手段182により選び出
して出力する出力手段186とを備えている。
FIG. 18 is a functional block diagram showing an example of a conventional image retrieval apparatus using a schematic image. The image search apparatus using the schematic image includes an input unit 181 for inputting image search conditions and necessary image instructions, an image storage unit 182 for storing image information, and the shape and color of constituent elements. Image storage means 183 for storing an image smaller than the original image, including the size, position, etc., and a search condition received from the input means 181;
Image collating means 184 which derives a candidate image to be searched by comparing with the schematic image in No. 3 and image display means 1 which receives the candidate image from the image collating means 184 and displays the result.
85 and an output unit 186 for selecting and outputting an image displayed by the image display unit 185 by the image storage unit 182 according to an instruction of the input unit 181.

【0004】[0004]

【発明が解決しようとする課題】しかしながら、この手
法では、画像インデックスとして、どのようなサイズで
どのくらいの解像度をインデックスを作成・蓄積すれば
効率的な検索が可能か自動的に決定することは困難であ
り、データベースに蓄積される画像の種類・枚数・類似
傾向をシステム構築者が事前に検討し、最適なものを決
定する必要があった。
However, in this method, it is difficult to automatically determine the size and resolution of an image index that can be efficiently searched if the index is created and stored. Therefore, it is necessary for the system builder to examine in advance the type, number, and similar tendency of the images stored in the database, and to determine an optimum one.

【0005】本発明の目的は、このような問題を解決
し、入力する画像の種類・枚数・類似傾向等に依存しな
い形の検索を実現するための画像インデックスの生成を
行うことにある。
An object of the present invention is to solve such a problem and to generate an image index for realizing a search that does not depend on the type, number, similarity, and the like of input images.

【0006】[0006]

【課題を解決するための手段】本発明によれば、原画像
を入力する画像入力手段と、入力された前記原画像を蓄
積する原画像蓄積手段と、前記原画像の視覚的特徴に基
づいて領域分割を行い、同一の属性情報を持つ画素に同
一の領域番号が付与された領域分割画像を生成する領域
分割手段と、画像毎に格子の大きさを適応的に変化させ
て、前記原画像を格子上に分割し、分割情報を生成する
ブロック分割手段と、前記分割情報及び前記領域分割情
報を入力し、前記領域分割画像に基づいて前記分割され
た各格子毎に代表領域番号を決定し配列化し、前記領域
分割画像から前記領域分割された領域毎に色情報を含む
前記属性情報を抽出し、抽出された属性情報に基づいて
前記分割された各格子毎の領域属性情報を決定し、前記
代表領域番号と前記決定された領域属性情報を用いて画
像インデックス情報を記述する画像インデックス生成手
段と、前記画像インデックス情報を格納する画像インデ
ックス格納手段とを有することを特徴とする画像蓄積・
管理装置が得られる。
According to the present invention, an original image is provided.
Image input means for inputting the original image, and storing the input original image.
Means for storing the original image to be stored, and the visual characteristics of the original image.
Area segmentation based on the pixels with the same attribute information.
An area for generating an area division image to which one area number is assigned
Dividing means and adaptively changing the grid size for each image
And divides the original image on a grid to generate division information
Block dividing means, the division information and the area division information
Information, and the divided image is divided based on the region divided image.
The representative region number is determined and arrayed for each lattice,
Includes color information for each of the areas divided from the divided image
Extracting the attribute information, based on the extracted attribute information
Determining area attribute information for each of the divided grids,
The image is displayed using the representative area number and the determined area attribute information.
Image index generator that describes image index information
A stage and an image index for storing the image index information.
Storage means for storing images.
A management device is obtained.

【0007】[0007]

【0008】[0008]

【0009】[0009]

【0010】[0010]

【発明の実施の形態】まず、本発明の画像蓄積・管理装
置の実施例について、図1、図2、図3を用いて説明す
る。図1はそれぞれ一枚の画像に対する原画像、原画像
を格子上に分割したもの、領域分割画像、画像インデッ
クスの例である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First, an embodiment of an image storage / management apparatus according to the present invention will be described with reference to FIGS. FIG. 1 shows an example of an original image for one image, an image obtained by dividing the original image on a grid, an area divided image, and an image index.

【0011】例えば、原画像は、384*576の画素
からなり、領域分割画像の一画素は原画像の4*4画素
に対応していて領域分割画像は96*144のサイズか
らなり、同一の属性情報を持つ画素に同一の領域番号が
付与されている。(図1では、同一の領域番号が付与さ
れている箇所は同じ模様で表示されていて領域総数は6
である。)インデックスの格子数は図1の例では8*1
2となっており、原画像との対応でいえば、48*48
画素が1ブロックとなっている。各格子に対して領域番
号が付与されており、各領域番号(図1では1から6)
に対して属性情報(図1の例では(243,232,1
24),(34,43,159),...なる色成分の
値)が付与されている。もちろん、この数字は説明のた
めの便宜的なものであり、領域分割画像の大きさ、分割
画像の格子数、領域総数等はこの数字である必要はな
い。
For example, the original image is composed of 384 * 576 pixels, one pixel of the region division image corresponds to 4 * 4 pixels of the original image, and the region division image has a size of 96 * 144. The same area number is assigned to pixels having attribute information. (In FIG. 1, the portions to which the same region number is assigned are displayed in the same pattern, and the total number of regions is 6
It is. 1) The number of grids of the index is 8 * 1 in the example of FIG.
2, which is 48 * 48 in terms of correspondence with the original image.
The pixels are one block. An area number is assigned to each grid, and each area number (1 to 6 in FIG. 1)
The attribute information ((243, 232, 1 in the example of FIG. 1)
24), (34, 43, 159),. . . (The value of the color component). Of course, this number is for convenience of explanation, and the size of the area divided image, the number of grids of the divided image, the total number of areas, and the like need not be this number.

【0012】本発明の画像蓄積・管理装置では、原画像
を格子上に分割し、その一つ一つの格子に代表領域番号
を設け、この代表領域番号に対応する領域属性情報を決
定する。
In the image storage / management apparatus of the present invention, the original image is divided on a grid, a representative area number is provided for each grid, and area attribute information corresponding to the representative area number is determined.

【0013】この際に原画像の領域分割画像を利用す
る。
At this time, an area divided image of the original image is used.

【0014】一例として、各格子毎に対応する領域分割
画像の画素をもとめ、各格子毎に格子に対応する領域分
割画像の画素の値(領域番号)の頻度分布をとり、この
頻度分布をとった結果、最も頻度の高かった領域番号を
その格子を代表する領域番号として決定し、代表領域番
号を付与し、各格子毎に代表領域番号を決定し、代表領
域番号が同一の格子に対応する原画像の画素のもつ値か
ら、画素の色の平均値を取るなどして領域属性情報を決
定する。
As an example, the frequency distribution of the pixel values (region numbers) of the region division image corresponding to the grid is obtained for each lattice, and the frequency distribution is obtained. As a result, the region number with the highest frequency is determined as the region number representing the lattice, the representative region number is assigned, the representative region number is determined for each lattice, and the representative region number corresponds to the same lattice. From the values of the pixels of the original image, the area attribute information is determined by taking the average value of the colors of the pixels.

【0015】本インデックスを利用することを特徴とし
た、画像蓄積・管理装置の機能ブロック図を図2に示
す。画像入力手段21により新規原画像を取り込む。画
像入力手段として、例えば、スキャナ・カメラといった
装置があげられる。原画像蓄積手段22は、画像入力手
段21から画像情報を受取りこれを蓄積する。
FIG. 2 is a functional block diagram of an image storage / management apparatus characterized by using the present index. The new original image is taken in by the image input means 21. As the image input means, for example, a device such as a scanner or a camera can be used. The original image storage means 22 receives the image information from the image input means 21 and stores it.

【0016】領域分割手段23は、原画像の各画素の色
情報やエッジ情報といった視覚的特徴に基づいて原画像
をいくつかの領域に分割する。
The region dividing means 23 divides the original image into several regions based on visual characteristics such as color information and edge information of each pixel of the original image.

【0017】一例として、画像中で使用されている色成
分を、RGB空間上で量子化しなおし(例えばRed4
階調、Green4階調、Blue4階調)、同一色で
表現される画素を一つの領域として決定してもよい(こ
の場合、この例だと最大4*4*4=64領域に分配さ
れることになる)、特開平4−307668号公報「概
略画像作成方法及び装置」に記載の発明のようにテクス
チャ等まで考慮に入れて領域分割を行ってもよい。領域
分割画像のサイズ(画素数)は必ずしも原画像もしくは
格子の数と等しくする必要はない。
As an example, the color components used in the image are requantized in RGB space (for example, Red4
Pixels expressed in the same color, such as gray level, Green 4 gray level, and Blue 4 gray level, may be determined as one area (in this case, 4 * 4 * 4 = 64 areas at maximum in this example) That is, the region may be divided in consideration of the texture and the like as in the invention described in Japanese Patent Application Laid-Open No. Hei 4-307668, “Method and Apparatus for Generating Outline Images”. The size (the number of pixels) of the region division image does not necessarily need to be equal to the number of the original image or the lattice.

【0018】特開平4−307668号公報に記載の発
明は、画像データベース用のインデックス作成方法で、
画像を幾つかの領域に分割することで画像内の構成物の
位置、大きさ、色、形状及び色相のコントラストの状態
を記述することを特徴とした概略画像作成方法である。
The invention described in JP-A-4-307668 is a method for creating an index for an image database.
This is a schematic image creation method characterized by describing a position, a size, a color, a shape, and a state of hue contrast of components in the image by dividing the image into several regions.

【0019】この特開平4−307668号公報に記載
の発明を適用した本実施例の領域分割手段23を図4、
図5を用いて説明するまず、入力手段51は画像入力手
段21から画像を入力し(ステップ401)、ブロック
分割手段53は入力された画像をs*tのブロックに分
割する(ステップ402)。s及びtの値は図1の領域
分割画像のサイズである。分割の一例として画像をs*
tの長方形に直和分割する方法がある。
The area dividing means 23 of the present embodiment to which the invention described in Japanese Patent Application Laid-Open No. 4-307668 is applied is shown in FIG.
First, the input unit 51 inputs an image from the image input unit 21 (step 401), and the block dividing unit 53 divides the input image into s * t blocks (step 402). The values of s and t are the size of the area divided image in FIG. Image is s * as an example of division
There is a method of performing direct sum division into rectangles of t.

【0020】起伏度判断手段55はブロック分割手段5
3よりブロック毎の画像を受取り、ブロック毎の起伏度
を測定する(ステップ403)。
The undulation degree determining means 55 includes the block dividing means 5.
3, the image of each block is received, and the undulation of each block is measured (step 403).

【0021】一例として各ブロック毎の色相成分を測定
し、色相成分でブロック毎のコントラストを抽出し、特
定のしきい値をさだめて、その領域の変化の度合の大小
を定める。
As an example, the hue component of each block is measured, the contrast of each block is extracted from the hue component, a specific threshold is set, and the degree of change in the area is determined.

【0022】画像縮小手段52は入力手段51より画像
を受取り、一ブロック一画素となるように、画像を縮小
する(ステップ404)。
The image reducing means 52 receives the image from the input means 51 and reduces the image so as to have one pixel per block (step 404).

【0023】縮小の一例として、ブロック内の画素の任
意の1点をランダムにとってきて、ブロックの代表値と
する、あるいは各ブロック内でRGBの平均をとってブ
ロックの代表値とする等の処理を施すことにより実現さ
れる。
As an example of the reduction, a process in which an arbitrary point of a pixel in a block is randomly taken and set as a representative value of the block, or an average of RGB in each block is set as a representative value of the block. Is realized.

【0024】信号変換手段54は画像縮小手段52から
縮小された画像を受取り、この画像から色相及び明度情
報を抽出する(ステップ405)。
The signal converting means 54 receives the reduced image from the image reducing means 52 and extracts hue and brightness information from the image (step 405).

【0025】領域分割手段56は、起伏度判定手段55
において、起伏度が小さいと判断された領域について、
信号変換手段54から色相及び明度情報を受取り、これ
と座標情報からあらかじめ定められた数の領域に分割す
る(ステップ406)。
The area dividing means 56 includes an undulation degree determining means 55
In the region where the degree of undulation was determined to be small,
The hue and brightness information is received from the signal conversion means 54, and is divided into a predetermined number of regions from the hue and brightness information (step 406).

【0026】一例として、明度、色相、x座標値、y座
標値から4次元のベクトルをつくり、ベクトルデータを
最長距離法により分割する。
As an example, a four-dimensional vector is created from the lightness, hue, x-coordinate value, and y-coordinate value, and the vector data is divided by the longest distance method.

【0027】さらに、分割の結果に起伏度が大きかった
領域の情報に加えて、領域分割結果を決定する。
Further, in addition to the information of the region having a large degree of undulation as a result of the division, the region division result is determined.

【0028】出力手段57は、結果を領域分割画像とし
て画像インデックス生成手段25(図2中)に出力す
る。
The output unit 57 outputs the result to the image index generation unit 25 (in FIG. 2) as a region divided image.

【0029】ブロック分割手段24は、原画像を格子状
に分割する。この際、図1にみられるように各格子のサ
イズが一定であってもまた、図3にみられるように各格
子のサイズが異なっていてもよい。
The block dividing means 24 divides the original image into a grid. In this case, the size of each grid may be constant as shown in FIG. 1, or the size of each grid may be different as shown in FIG.

【0030】画像インデックス生成手段25はブロック
分割手段24から分割情報を、領域分割手段から領域分
割情報を受取り、各格子毎の代表領域番号を決定し、配
列化するとともに領域毎の色情報を含む領域属性情報を
抽出し、これをインデックスとして記述する。
The image index generating means 25 receives the division information from the block dividing means 24 and the area dividing information from the area dividing means, determines a representative area number for each grid, arranges the grid, and includes color information for each area. Area attribute information is extracted and described as an index.

【0031】一例として、各格子毎に対応する領域分割
画像中の領域番号を持った画素の頻度ヒストグラムをと
り、その結果最大の画素数をもつ領域をその格子の代表
領域とし、この代表領域に対応する領域番号を代表領域
番号とするなどの手法がある。
As an example, a frequency histogram of pixels having an area number in an area divided image corresponding to each grid is taken, and as a result, the area having the maximum number of pixels is set as a representative area of the grid, and There is a method of setting a corresponding area number as a representative area number.

【0032】領域属性情報の色情報の取り方として、画
像インデックス中で同一領域と認定された領域に対し
て、その領域と場所が対応する原画像の各画素値の平均
値をとって、RGB値で記述するといった手法がある。
As a method of obtaining the color information of the area attribute information, an average value of each pixel value of the original image corresponding to the area and the location of the area identified as the same area in the image index is calculated by using RGB. There is a method of describing with a value.

【0033】画像インデックス格納手段26は、画像生
成手段25から画像インデックス情報を受取りこれを格
納する。原画像・インデックス対応付け手段26は原画
像と画像インデックスの対応関係をとりこれを保存す
る。一例として表形式で保存する等の手法がある。一例
として、原画像の識別ID(固有の番号、あるいはファ
イルネーム等)と画像インデックスの識別ID(固有の
番号、あるいはファイルネーム等)として表形式で対応
づける。
The image index storing means 26 receives the image index information from the image generating means 25 and stores it. The original image / index associating means 26 associates the original image with the image index and stores it. As an example, there is a method of saving in a table format. As an example, the identification ID (unique number or file name, etc.) of the original image is associated with the identification ID (unique number, file name, etc.) of the image index in a table format.

【0034】利用者は検索のために問い合わせ画像入力
手段28を利用して、画像を作成する。お絵描きツール
のように利用者が直接描く形式のものでもよいし、スキ
ャナ・カメラといった外部入力によるものでもよい。ま
た、原画像蓄積手段22中の任意の画像という選択も可
能である。
The user creates an image by using the inquiry image input means 28 for searching. It may be a form that the user draws directly like a drawing tool, or may be an external input such as a scanner or camera. It is also possible to select an arbitrary image in the original image storage means 22.

【0035】類似度導出手段29は問い合わせ画像と画
像インデックス格納手段中の画像インデックスとの類似
度を導出する。類似度導出手段29においてインデック
スは、あらかじめ幾つかの領域に領域分割されている。
The similarity deriving means 29 derives the similarity between the query image and the image index in the image index storage means. In the similarity deriving means 29, the index is divided into several regions in advance.

【0036】類似度導出手段の実現方法の一例として特
開平4−241684号公報「画像統合・整合方式」に
記載の発明のような手法を用いることができる。
As an example of a method of realizing the similarity deriving means, a method as disclosed in Japanese Patent Application Laid-Open No. 4-241684, "Image Integration / Matching Method" can be used.

【0037】この「画像統合・整合方式」は、あらかじ
め領域分割された画像間の類似度を測定する方式の一つ
で、領域毎の対応関係が明確になるように領域を統合し
たのち、統合後の領域に関して統合後の形状の情報と統
合前の色情報の双方を用いて整合度を判定する方法であ
る。
The "image integration / matching method" is a method for measuring the similarity between images divided in advance, and after integrating the regions so that the correspondence between the regions is clear, the integration is performed. This is a method of determining the degree of matching using both the information on the shape after integration and the color information before integration for the subsequent area.

【0038】この「画像統合・整合方式」を用いて実現
した本実施例の類似度導出手段29のブロック図を図6
に示す。
FIG. 6 is a block diagram of the similarity deriving means 29 of this embodiment realized by using the "image integration / matching method".
Shown in

【0039】図6において、入力手段61を用いて、図
7に示すように、画像インデックス格納手段26に蓄え
られている画像インデックスが示す領域画像と問い合わ
せ画像から生成される領域画像の2枚の画像を入力す
る。これを画像A、画像Bとする。画像Aは図2中で、
画像インデックス格納手段26より、画像Bは問い合わ
せ画像入力手段28より得たものである。領域統合手段
26は2枚の画像の各領域が一対一対応になるまで画像
A、画像Bの領域の統合を繰り返す。
In FIG. 6, using the input means 61, as shown in FIG. 7, two images, an area image indicated by the image index stored in the image index storage means 26 and an area image generated from the query image, are displayed. Enter an image. These are referred to as an image A and an image B. Image A is shown in FIG.
The image B is obtained from the inquiry image input unit 28 from the image index storage unit 26. The area integrating means 26 repeats the integration of the areas of the image A and the image B until each area of the two images has a one-to-one correspondence.

【0040】一例として、具体的には、画像Aの各領域
ともっとも重なっている画像B中の領域を抽出し、逆に
画像Bの各領域ともっとも重なっている画像A中の領域
を抽出し、この対応関係に基づいて領域の統合を行う。
As an example, specifically, a region in the image B that overlaps each region of the image A most is extracted, and a region in the image A that most overlaps each region of the image B is extracted. The regions are integrated based on this correspondence.

【0041】双方一対一に対応した後、形状整合度導出
手段64は、統合後の各領域の形状の類似度を測定す
る。
After a one-to-one correspondence, the shape matching degree deriving means 64 measures the similarity of the shape of each integrated region.

【0042】一例として、重なり具合(例えば重なった
画素数)から、形状の類似度を導出する。すなわち、対
応する各領域が何画素重なっているか、重なっている画
素数を類似の得点として表現し、対応する各領域毎の類
似の得点の総和を形状の類似度とする。位置づれ等を考
慮して、双方の領域がもっとも重なるように一方の領域
を上下左右に動かした後に重なりあった画素数を計算す
る方法でもよい。
As an example, a shape similarity is derived from the degree of overlap (for example, the number of overlapped pixels). That is, the number of overlapping pixels in each corresponding region is expressed as a similar score, and the sum of similar scores for each corresponding region is defined as the shape similarity. A method of calculating the number of pixels that overlap after moving one region up, down, left, and right so that both regions overlap most may be considered in consideration of positional deviation and the like.

【0043】色情報整合度導出手段63は、入力手段6
1から、統合前の各領域情報並びにその領域を代表する
色情報を入力し、領域統合手段62から統合後の各領域
情報を読込み、統合後の各領域に使われている色情報の
色間類似度(例えばRGB値の距離など)から、統合後
の各領域の色に関する類似度を導出する。
The color information matching degree deriving means 63 includes an input means 6
1, the area information before integration and the color information representing the area are input, the area information after integration is read from the area integration means 62, and the color space of the color information used for each area after integration is read. From the similarity (for example, the distance between the RGB values), the similarity regarding the color of each area after integration is derived.

【0044】画像間整合度導出手段65は、色情報整合
度導出手段63から、統合後各領域の色の類似度を受取
り、形状整合度導出手段64から各領域の形状に関する
類似度を受取り、双方を考慮した画像全体の類似度を導
出する。
The inter-image matching degree deriving means 65 receives the color similarity of each area after integration from the color information matching degree deriving means 63, and receives the similarity regarding the shape of each area from the shape matching degree deriving means 64. The similarity of the entire image in consideration of both is derived.

【0045】一例として、各領域毎の類似度の得点の総
和を画像全体の類似度としても良いし、各領域の画素数
で重み付けして、全体の類似度を導出してもよい。ま
た、色整合度と形状整合度の値を単純に加えあわせて全
体の類似度としてもよいし、色と形状の得点に重みをつ
けた後、加え合わせてもよい。
As an example, the total sum of similarity scores for each region may be used as the similarity of the entire image, or the overall similarity may be derived by weighting with the number of pixels in each region. Further, the values of the color matching degree and the shape matching degree may be simply added to obtain the overall similarity, or the scores of the color and the shape may be weighted and then added.

【0046】出力手段66は2枚の類似度を図2中の類
似度評価手段2Bに出力する。
The output means 66 outputs the similarity between the two sheets to the similarity evaluation means 2B in FIG.

【0047】領域の統合の過程の一例は図7に示す通り
である。
FIG. 7 shows an example of the process of area integration.

【0048】これにより類似度導出手段2Bは、類似度
導出手段29より各インデックスと問い合わせ画像の類
似度を受取り、これを類似度に基づいて出力すべき画像
を決定し、原画像・インデックス対応付け手段27に通
知する。
Thus, the similarity deriving means 2B receives the similarity between each index and the query image from the similarity deriving means 29, determines an image to be output based on the similarity, and associates the original image with the index. Notify the means 27.

【0049】一例として類似度(得点)の高い画像イン
デックスを選択する。
As an example, an image index having a high similarity (score) is selected.

【0050】原画像・インデックス対応付け手段27
は、類似度評価手段から出力された画像インデックスに
対応する原画像を特定して出力手段2Aに通知する。画
像出力手段2Aは、原画像・インデックス対応付け手段
27よりどの原画像が選択されたかに関する情報を受取
り、原画像蓄積手段から、その原画像情報を受取り、検
索結果をユーザに提示する。
Original image / index associating means 27
Specifies the original image corresponding to the image index output from the similarity evaluation means and notifies the output means 2A. The image output means 2A receives information on which original image has been selected from the original image / index associating means 27, receives the original image information from the original image storage means, and presents a search result to the user.

【0051】原画像・インデックス対応付け手段27
は、原画像を特定するための情報(ID)とインデック
スを特定するための情報(ID)を相互に参照する機能
を有し、一例として表のような形態で管理している。
Original image / index associating means 27
Has a function of mutually referencing information (ID) for specifying an original image and information (ID) for specifying an index, and manages the information in a table form as an example.

【0052】次に本発明の画像蓄積・管理装置の第2の
実施例について、図8、図9を利用して説明する。画像
蓄積・管理装置において、入力される画像はさまざまで
ある。例えば、図8のような2種類の領域分割画像に対
して同じ解像度の配列(ブロック分割における格子数)
を割り当てるのは不適当である。図8(a)は、比較的
均等に領域分割された例を示し、図8(b)は、不均一
に領域分割された例を示している。すなわち、図8
(b)に対しては解像度の高い配列を用意する必要が高
いのに対して、図8(a)においては比較的低い解像度
の配列で十分なことが多い。また、類似の画像が数多い
場合、それらの画像に対しては配列の解像度を高くして
インデックスの識別力をあげてやる必要がある。
Next, a second embodiment of the image storage / management apparatus of the present invention will be described with reference to FIGS. In the image storage / management device, various images are input. For example, the same resolution array (the number of grids in block division) for two types of region division images as shown in FIG.
It is inappropriate to assign FIG. 8A shows an example in which the region is relatively evenly divided, and FIG. 8B shows an example in which the region is unevenly divided. That is, FIG.
For (b), it is necessary to prepare an array with a high resolution, whereas in FIG. 8 (a), an array with a relatively low resolution is often sufficient. When there are many similar images, it is necessary to increase the resolution of the array for those images to increase the discriminating power of the index.

【0053】このため、画像蓄積・管理装置の第2の実
施例では、第1の実施例において、画像毎に格子の大き
さを適応的に変化させ、インデックスのサイズ(格子
数)、各領域の属性(例えば色成分)、代表領域番号の
配列を記述した画像インデックスを記述を行う。
For this reason, in the second embodiment of the image storage / management apparatus, in the first embodiment, the size of the grid is adaptively changed for each image, the size of the index (the number of grids), (For example, color components) and an image index describing an array of representative region numbers are described.

【0054】画像インデックスの例として、図9をあげ
る。画像インデックス識別ID、画像インデックスのサ
イズ(格子数)、インデックス中の領域の数と各々の領
域に対する属性情報、領域配列(代表領域番号の配列)
が記載されている。
FIG. 9 shows an example of an image index. Image index identification ID, image index size (number of grids), number of areas in the index and attribute information for each area, area array (array of representative area numbers)
Is described.

【0055】このように、インデックスのサイズが可変
だった際の検索の実施例について説明する。
An embodiment of the search when the index size is variable will be described.

【0056】これは図8において、データベース側の領
域画像のサイズが画像毎に異なっていることを指す。
This means that in FIG. 8, the size of the region image on the database side differs for each image.

【0057】このような、画像インデックスのサイズが
画像毎に異なる状況における類似検索の実施例を図19
並びに図20を利用して説明する。
FIG. 19 shows an embodiment of similarity search in a situation where the size of the image index differs for each image.
Explanation will be made with reference to FIG.

【0058】画像蓄積・管理装置の第2の実施例におい
ては、図2においてブロック分割手段24が行うブロッ
ク分割のサイズが画像によって異なっていること、画像
インデックス格納手段26に格納される画像インデック
スの情報に画像インデックス生成手段25により得られ
たインデックスサイズの情報が含まれていること、及び
類似度導出手段29が各々異なるサイズの画像インデッ
クスを整合できるような機構を備えていることを特徴と
する。適応的なサイズのインデックス生成手段の実施例
については本発明の画像インデックス生成方法及び装置
の第一の実施例で一例を述べるので、ここでは各々が異
なるサイズの画像インデックスを整合できるような類似
度導出手段29の一実施例を示す。
In the second embodiment of the image storage / management apparatus, the size of the block division performed by the block division means 24 in FIG. The information includes the index size information obtained by the image index generation means 25, and the similarity derivation means 29 has a mechanism capable of matching image indexes of different sizes. . An example of the adaptive size index generating means will be described in the first embodiment of the image index generating method and apparatus according to the present invention. Here, the similarity is set so that image indexes of different sizes can be matched. One embodiment of the deriving means 29 will be described.

【0059】画像によって、画像インデックスのサイズ
が異なる場合、整合の際にサイズを共通にすることによ
り類似度を測定することが可能である。入力手段191
は、問い合わせ画像入力手段28(図2中)から問い合
わせ画像の領域画像を受取り、画像インデックス格納手
段26から整合するべきピクチャインデックスを受け取
る(図20中ステップ2001)。問い合わせ領域画像
のサイズは、問い合わせ画像入力手段28により決定さ
れる。問い合わせ画像の内容により、変化してよい。ま
た、データベース中の画像を問い合わせ画像とする際は
その画像のピクチャインデックスのサイズをピクチャイ
ンデックスのサイズとすることができる。
When the size of the image index differs depending on the image, the similarity can be measured by making the size common during matching. Input means 191
Receives the region image of the query image from the query image input unit 28 (FIG. 2) and the picture index to be matched from the image index storage unit 26 (step 2001 in FIG. 20). The size of the inquiry area image is determined by the inquiry image input unit 28. It may change depending on the contents of the inquiry image. When an image in the database is used as a query image, the size of the picture index of that image can be used as the size of the picture index.

【0060】インデックスサイズ変更手段197は、比
較するべきインデックスのサイズを問い合わせ領域画像
と同一にする(図20中ステップ2002)。インデッ
クスのサイズが問い合わせ領域画像より大きい場合に
は、同じサイズに間引く等の処理により、また、問い合
わせ領域画像より小さい場合には、同じサイズになるよ
うに補間を行う等の手法で実現される。
The index size changing means 197 makes the size of the index to be compared equal to that of the query area image (step 2002 in FIG. 20). When the size of the index is larger than the query area image, it is realized by a process such as thinning out to the same size. When the size of the index is smaller than the query area image, it is realized by a method such as performing interpolation so as to have the same size.

【0061】問い合わせ領域画像とインデックス領域画
像のサイズが等しくなった後は、例えば両方の領域が一
対一に対応付くように領域統合した(図20中ステップ
2003)後に領域毎の類似度を測定し、その総合評価
により両画像の類似度を評価する(図20中ステップ2
004)等の手法がある。ステップ2003、ステップ
2004の例として、特開平4−241684号公報
「画像統合・整合方式」に記載した発明のような手法を
用いることができる。この手法については、図6、図7
をもちいて説明済みである。
After the size of the query area image and the size of the index area image become equal, for example, after integrating the areas so that both areas correspond one-to-one (step 2003 in FIG. 20), the similarity of each area is measured. The similarity between the two images is evaluated based on the overall evaluation (step 2 in FIG. 20).
004). As an example of step 2003 and step 2004, a method like the invention described in Japanese Patent Application Laid-Open No. 4-241684, “Image Integration / Alignment Method” can be used. This method is described in FIGS.
Has already been explained.

【0062】次に、本発明の画像インデックス生成方法
及び装置の第1の実施例を図10、図11、図12、図
13を利用して説明する。図10は、画像インデックス
生成装置の第1の実施例の機能ブロック図、図11及び
図12は、本実施例の処理の流れ図である。また、図1
3はその中のインデックス配列サイズ決定手段の一実施
例の処理流れ図である。
Next, a first embodiment of the image index generating method and apparatus according to the present invention will be described with reference to FIGS. 10, 11, 12, and 13. FIG. FIG. 10 is a functional block diagram of the first embodiment of the image index generation device, and FIGS. 11 and 12 are flowcharts of the processing of the present embodiment. FIG.
FIG. 3 is a processing flowchart of an embodiment of the index array size determining means therein.

【0063】画像入力手段101は、画像インデックス
を生成するための原画像を入力する。領域間類似度導出
手段102は、領域分割手段104から、現在分割され
ている領域についての情報を受取り、各領域間の類似度
を測定する。統合化しきい値保存手段103は、利用者
が入力した統合化処理を行うか否かのしきい値を保存し
ている。領域分割手段104は、各領域間の類似度を領
域間類似度導出手段102から受取り、もっとも類似度
の高かった領域の統合を行うという処理を、各領域間の
類似度が統合化しきい値保存手段103の持つ値より低
くなるまで繰り返す。領域数記録手段106は、領域分
割手段104から、領域分割画像を受取り、統合化しき
い値保存手段103により各領域間の類似度が特定のし
きい値より低くなった後の領域分割画像を受取り、現在
の分割されている領域数を計算し、保存する。最終領域
数保持手段105は最終的に利用者によって提供される
最終的な領域の数を保存する。インデックス配列サイズ
決定手段107は、領域分割手段104より領域分割情
報を受取り、領域数記録手段106からの現状の分割領
域数を受取り、最終領域保持手段105から最終的な領
域数を受取り、分割領域数が最終領域数より多い場合
に、インデックスのサイズを縮小し、決定する。インデ
ックス出力手段108は、領域分割手段104より領域
分割画像を受取り、インデックス配列サイズ決定手段よ
り決定した配列の大きさを受取り、画像インデックスを
生成する。
The image input means 101 inputs an original image for generating an image index. The inter-region similarity deriving unit 102 receives information on the currently divided region from the region dividing unit 104, and measures the similarity between the regions. The integrated threshold value storage unit 103 stores a threshold value of whether or not to perform the integration process input by the user. The area dividing means 104 receives the similarity between the areas from the inter-area similarity deriving means 102 and performs processing of integrating the areas having the highest similarity. Repeat until the value is lower than the value of the means 103. The region number recording unit 106 receives the region divided image from the region dividing unit 104, and receives the region divided image after the similarity between the regions becomes lower than a specific threshold by the integrated threshold storage unit 103. Calculate and save the current number of divided areas. The final area number holding unit 105 stores the number of final areas finally provided by the user. The index array size determining means 107 receives the area dividing information from the area dividing means 104, receives the current number of divided areas from the area number recording means 106, receives the final number of areas from the final area holding means 105, If the number is larger than the final area number, the size of the index is reduced and determined. The index output unit 108 receives the region divided image from the region dividing unit 104, receives the size of the array determined by the index array size determining unit, and generates an image index.

【0064】以下、各ブロックの処理を流れ図に即して
説明する。
Hereinafter, the processing of each block will be described with reference to a flowchart.

【0065】システム構築者がデータベース全体に事前
に行う処理(図11)として、最終領域数の入力と、画
像の統合化のために例えば領域間類似度しきい値の入力
を行う(図11中のステップ1101,1102)。行
われた結果は図10中の最終領域数保持手段105及び
統合化しきい値補保存手段103にそれぞれ蓄えられ
る。
As a process (FIG. 11) to be performed in advance by the system builder on the entire database (FIG. 11), input of the number of final regions and, for example, input of an inter-region similarity threshold for integration of images (FIG. 11) Steps 1101 and 1102). The result of the execution is stored in the final area number holding unit 105 and the integrated threshold supplementary storage unit 103 in FIG.

【0066】すなわち、最終領域保持手段105には、
画像インデックスとして最終的に分割する領域数が、統
合化しきい値保存手段103には、画像中の一つまたは
複数の画素からなる領域を統合するための領域間類似度
しきい値が保存されている。
That is, the final area holding means 105
The number of regions to be finally divided as an image index is stored in the integrated threshold storage unit 103, and the inter-region similarity threshold for integrating the region including one or more pixels in the image is stored. I have.

【0067】次に登録用の新規画像は、画像入力手段1
01により入力される(図12のステップ1201)。
領域間類似度導出手段102は、画像中の一つまたは複
数の画素からなる領域間の距離(類似度)を測定する。
Next, a new image for registration is input to the image input means 1.
01 (step 1201 in FIG. 12).
The inter-region similarity deriving unit 102 measures a distance (similarity) between regions including one or a plurality of pixels in an image.

【0068】領域分割手段104は、領域間類似度導出
手段102より、各領域間の類似度を受取り、存在する
各領域相互の類似度が、一定の値(類似度)より低くな
るように原画像を分割する。
The area dividing means 104 receives the similarity between the areas from the inter-area similarity deriving means 102, and sets the original similarity between the existing areas so as to be lower than a certain value (similarity). Divide the image.

【0069】一例として、領域間の距離を、色情報のみ
を用いて測定したときの例で、画像中の(m1 ,n1
成分と(m2 ,n2 )成分のRGB値を(R1 ,G1
1)及び(R2 ,G2 ,B2 )としたとき、各画素間
の距離をD12=(R1 −R22 +(G1 −G2 2
(B1 −B2 2 として、このベクトルデータを結合す
るための境界がしきい値以下になるまで最長距離法によ
り統合化することにより原画像を分割する(以上図12
のステップ1202)。
As an example, this is an example in which the distance between the regions is measured using only the color information, and the (m 1 , n 1 )
The RGB values of the component and the (m 2 , n 2 ) component are represented by (R 1 , G 1 ,
B 1 ) and (R 2 , G 2 , B 2 ), the distance between each pixel is D 12 = (R 1 −R 2 ) 2 + (G 1 −G 2 ) 2 +
As (B 1 −B 2 ) 2 , the original image is divided by integrating by the longest distance method until the boundary for combining the vector data becomes equal to or less than the threshold (see FIG. 12).
Step 1202).

【0070】次に領域数記録手段106は現在分割され
ている総領域数をカウントする。この際、現在の領域数
が最終領域数保持手段105に保持されている領域数よ
り少なければ、インデックス配列サイズ決定手段107
では、領域分割手段104が保持する画像サイズを出力
する。また、この際のサイズはあらかじめシステム構築
者が定めた特定の値であってもよい。
Next, the area number recording means 106 counts the total number of areas currently divided. At this time, if the current number of areas is smaller than the number of areas held in the last area number holding means 105, the index array size determination means 107
Then, the image size held by the area dividing means 104 is output. The size at this time may be a specific value determined in advance by the system builder.

【0071】一方、領域数が多かった場合、インデック
ス配列サイズ決定手段107は、配列の大きさを縮小さ
せることにより総領域数が最終領域数保持手段105に
保持されている領域数と等しくなるように処理を行う
(以上図12のステップ1203及びステップ120
4)。
On the other hand, if the number of areas is large, the index array size determining means 107 reduces the size of the array so that the total number of areas becomes equal to the number of areas held in the final area number holding means 105. (Steps 1203 and 1203 in FIG. 12 are described above).
4).

【0072】すなわち、インデックス配列サイズ決定手
段107は、領域数記録手段106より現在の領域数を
受取り、最終領域数保持手段105から最終的な領域数
を受取り、領域分割手段104より領域分割画像を受取
り、画像インデックスのサイズを出力する。この際、現
在の領域数が最終領域保持数と等しいあるいは、少なか
ったときは、領域分割手段104より受け取った配列を
出力する(あるいは、あらかじめ定められた大きさの配
列サイズを出力する。)(以上ステップ1203)。
That is, the index array size determining means 107 receives the current number of areas from the area number recording means 106, receives the final number of areas from the final area number holding means 105, and converts the area divided image from the area dividing means 104. Receive and output the size of the image index. At this time, if the current number of areas is equal to or less than the last area holding number, the array received from the area dividing means 104 is output (or an array size of a predetermined size is output) ( Step 1203).

【0073】現在の領域数が最終領域保持数より多かっ
た時は、現在の画像のサイズを縮小し、縮小前に一画素
が一つの領域になっているものについて周辺の他の領域
と統合することにより領域数を減少させ、総領域数が最
終領域数保持手段105と等しくなるようにインデック
ス配列サイズを決定する(図中ステップ1204)。
If the current number of areas is larger than the last area holding number, the size of the current image is reduced, and the area where one pixel is one area is integrated with other surrounding areas before the reduction. Thus, the number of areas is reduced, and the index array size is determined so that the total number of areas is equal to the final area number holding unit 105 (step 1204 in the figure).

【0074】現在の領域数が最終領域保持数より多かっ
た際のインデックス配列サイズを決定するための一例を
図13を利用して説明する。
An example for determining the index array size when the current number of areas is larger than the last area holding number will be described with reference to FIG.

【0075】領域分割手段104より受け取った領域分
割画像を格子上に直和分割し(ステップ1301)、直
和分割された、各ブロックの代表の領域番号をそのブロ
ック内の領域番号のヒストグラムの最大値で評価し(ス
テップ1302)、各ブロックで決定される領域の代表
値の種類が最終領域サイズと等しくなるように直和分割
するブロック数を減らしている(各格子の配列数を増や
していく)(ステップ1304)といった方法が考えら
れる(以上ステップ1204及びステップ1205)。
The area-divided image received from the area dividing means 104 is directly sum-divided on a grid (step 1301), and the representative area number of each block obtained by the sum-sum division is set to the maximum of the histogram of the area number in the block. The number of blocks for direct sum division is reduced so that the type of the representative value of the area determined by each block is equal to the final area size (step 1302). ) (Step 1304) (steps 1204 and 1205).

【0076】インデックス出力手段108は、領域情報
並びに属性情報を領域分割手段104より受取り、配列
サイズをインデックス配列サイズ決定手段107より受
取り、画像インデックス用の領域画像並びに領域に対す
る属性情報を計算してインデックスを生成し出力する
(以上ステップ1206)。
The index output means 108 receives the area information and the attribute information from the area dividing means 104, receives the array size from the index array size determining means 107, calculates the area image for the image index and the attribute information for the area, and calculates the index. Is generated and output (step 1206).

【0077】属性情報付与の一例として、領域の属性と
して色情報を考え、対応する原画像中の色の平均をとっ
て、RGB値で記述するといった処理が考えられる。
As an example of the attribute information assignment, a process is considered in which color information is considered as an attribute of a region, an average of the colors in the corresponding original image is calculated, and RGB values are described.

【0078】次に、本発明の画像インデックス生成方法
及び装置の第2の実施例を図14、図15を用いて説明
する。図14は、画像インデックス装置の第2の実施例
の機能ブロック図、図15は本実施例の処理の流れ図で
ある。
Next, a second embodiment of the image index generating method and apparatus of the present invention will be described with reference to FIGS. FIG. 14 is a functional block diagram of the second embodiment of the image indexing apparatus, and FIG. 15 is a flowchart of the processing of the second embodiment.

【0079】本実施例は、登録済みの画像インデックス
間の情報の識別力を一定に保つためのもので、新規に登
録するインデックスと既に登録されているインデックス
との類似度を測定して、各々のインデックス間の類似度
が一定の値より、類似していないようにインデックスを
作成するものである。
The present embodiment is for keeping the discriminating power of information between registered image indices constant, and measures the similarity between a newly registered index and an already registered index. The index is created such that the similarity between the indices is not more similar than a certain value.

【0080】システム構築者は、初めに、画像インデッ
クス間の情報の識別力の基準となる、各インデックス間
の距離を表す類似度として許容できる最高の類似度を入
力する。この類似度をしきい値とする。
First, the system builder inputs the highest allowable similarity as the similarity representing the distance between the indexes, which is the reference of the discriminating power of the information between the image indexes. This similarity is used as a threshold.

【0081】このしきい値は、登録されているインデッ
クスと登録しようとする画像インデックスとの類似度の
上限を示すものであり、このしきい値によって、インデ
ックスサイズを変更するか否かを決定する。本実施例
は、登録する画像のインデックスと、既に登録されてい
る全てのインデックス間の類似度がこのしきい値より低
くなるように登録画像のインデックス及び既に登録され
ている画像インデックスのサイズを大きくするものであ
る。これにより一定の識別力を有する画像インデックス
を生成することができる。
This threshold value indicates the upper limit of the similarity between the registered index and the image index to be registered. The threshold value determines whether or not to change the index size. . The present embodiment increases the size of the registered image index and the already registered image index so that the similarity between the index of the image to be registered and all the already registered indexes is lower than this threshold. Is what you do. This makes it possible to generate an image index having a certain discriminating power.

【0082】これを、インデックス間距離しきい値導出
手段145に備えておく。
This is provided in the index distance threshold deriving means 145.

【0083】新規画像入力手段142により、あらたに
登録すべき新規画像を入力する(以上ステップ150
1)。
A new image to be newly registered is input by the new image input means 142 (step 150).
1).

【0084】インデックス生成手段143は、入力画像
に対して画像インデックスを生成する。この際の画像イ
ンデックスサイズは、システム構築者が明示的に与えて
もよいし、本発明の画像インデックス生成方法及び装置
の第1の実施例で説明したように、画像に対して適応的
に設定することも可能である(以上ステップ150
2)。
The index generation means 143 generates an image index for an input image. At this time, the image index size may be explicitly given by the system builder, or may be set adaptively to the image as described in the first embodiment of the image index generation method and apparatus of the present invention. It is also possible to perform
2).

【0085】インデックス蓄積手段144には、図9に
示す画像インデックスが蓄積されている。
The index storage means 144 stores the image indexes shown in FIG.

【0086】インデックス間距離評価手段146はイン
デックス蓄積手段144より、画像インデックスを呼出
し、また、インデックスサイズを変更するか否かを決定
するために前述のしきい値をインデックス間距離しきい
値導出手段145より読込み(以上ステップ150
3)、登録済みの全ての画像インデックスと入力画像に
対して作成されたインデックスとのインデックス間距離
を測定する(以上ステップ1504)。
The inter-index distance evaluation means 146 calls the image index from the index storage means 144 and uses the above-mentioned threshold value to determine whether or not to change the index size. Read from 145 (step 150 above)
3) Measure the inter-index distance between all the registered image indexes and the index created for the input image (step 1504).

【0087】この際のインデックス間の距離の評価尺度
として例えば上述の特開平4−241684号公報「画
像統合・整合方式」に記載の発明を利用することができ
る。
As the evaluation scale of the distance between the indexes at this time, for example, the invention described in the above-mentioned Japanese Patent Application Laid-Open No. 4-241684, “Image Integration / Matching Method” can be used.

【0088】すなわち、インデックス間距離評価手段1
46は、インデックス生成手段143より新規登録用イ
ンデックス候補を受取り、また、インデックス蓄積手段
144より原画像保存手段141中に格納されている画
像のインデックス情報を受取り、また、インデックス間
距離しきい値導出手段145よりインデックス間の類似
度の上限であるしきい値を受取り、新規登録用インデッ
クス候補との距離を計算し評価して、新規登録用インデ
ックスとしきい値以上に類似しているインデックス蓄積
手段14中のインデックスを導出する。
That is, the index distance evaluation means 1
Numeral 46 receives a new registration index candidate from the index generation means 143, receives index information of an image stored in the original image storage means 141 from the index storage means 144, and derives a distance threshold between indexes. A threshold value, which is the upper limit of the similarity between indexes, is received from the means 145, and the distance to the newly registered index candidate is calculated and evaluated. Derive the index inside.

【0089】測定されたインデックス間距離がしきい値
以上に類似しているとき、インデックスサイズ変更手段
147は、新規画像に対する画像インデックスもしくは
それとしきい値以上に類似している画像インデックスの
サイズを変更し、両者がしきい値以上に類似していない
ように変更する。どちらの画像インデックスのサイズを
変更するかは、例えば、画像インデックスのサイズが小
さい方の画像デックスのサイズを変更するといった処理
がある。この際、原画像保存手段141から対応する原
画像を引き出してくる。インデックスサイズの変更の仕
方として、格子の数を増やして配列を増やすといった処
理がある。
When the measured distance between indexes is similar to or larger than the threshold, the index size changing means 147 changes the size of the image index for the new image or the image index similar to the image index for the new image. Then, both are changed so that they are not more similar than the threshold. Which image index size is to be changed includes, for example, a process of changing the size of the image index having the smaller image index size. At this time, the corresponding original image is drawn from the original image storage unit 141. As a method of changing the index size, there is a process of increasing the number of grids to increase the array.

【0090】すなわち、インデックスサイズ変更手段1
47は、インデックス距離評価手段146より新規登録
用インデックス及び、新規登録用インデックスとしきい
値以上に類似しているインデックスの評価結果を受取
り、該当する画像インデックスをインデックス蓄積手段
144より受取り、原画像保存手段141より対応する
原画像情報を受取り、各インデックス間距離の判別距離
がしきい値以上に類似しないように、領域情報の配列サ
イズを大きくした画像インデックスを作成する。
That is, the index size changing means 1
47 receives the new registration index and the evaluation result of the index that is similar to the new registration index by a threshold value or more from the index distance evaluation unit 146, receives the corresponding image index from the index storage unit 144, and stores the original image. The corresponding original image information is received from the means 141, and an image index in which the array size of the area information is increased is created so that the discrimination distance of each index distance is not more than a threshold value.

【0091】変更された画像インデックスはインデック
ス入力手段148により、インデックス蓄積手段144
に変更して蓄積される(以上ステップ1505)。イン
デックス入力手段148は、各領域から領域属性情報を
抽出してインデックス蓄積手段に蓄積する(以上ステッ
プ1506)。一例として、領域の属性として色情報を
考え、対応する原画像中の色の平均をとって、RGB値
で記述するといった処理が考えられる。
The changed image index is stored in the index storage unit 144 by the index input unit 148.
(Step 1505). The index input means 148 extracts the area attribute information from each area and stores it in the index storage means (step 1506). As an example, a process in which color information is considered as an attribute of a region, an average of the colors in the corresponding original image is calculated, and the process is described using RGB values is considered.

【0092】次に本発明の画像インデックス生成方法及
び装置の第3の実施例について図16、図17を利用し
て説明する。図16は画像インデックス生成装置の第3
の実施例の機能ブロック図であり、図17は処理の一例
である。
Next, a third embodiment of the image index generating method and apparatus of the present invention will be described with reference to FIGS. FIG. 16 shows a third example of the image index generation device.
FIG. 17 is a functional block diagram of the embodiment, and FIG. 17 is an example of a process.

【0093】本発明はインデックスのサイズを固定にし
なければならない時に、システムが定義すべきインデッ
クスのサイズを自動的に決定するための手法である。
The present invention is a technique for automatically determining the size of an index to be defined by the system when the size of the index has to be fixed.

【0094】画像蓄積手段161には画像インデックス
を生成するための画像が蓄えられている。画像選択手段
162は、画像蓄積手段161の一部または全部を選択
する(図17ステップ1701)。適応的インデックス
生成手段163が各画像毎に最適なサイズの画像インデ
ックスを作成する。一例としては本発明の画像信号生成
装置の第1、第2の実施例を用いる(図17ステップ1
702,1703)。
The image storing means 161 stores an image for generating an image index. The image selection means 162 selects a part or all of the image storage means 161 (step 1701 in FIG. 17). The adaptive index generation unit 163 generates an image index having an optimal size for each image. As an example, the first and second embodiments of the image signal generating apparatus of the present invention are used (step 1 in FIG. 17).
702, 1703).

【0095】このようにして導出されたインデックスの
サイズをインデックスサイズ検出手段164で検出し、
この結果、画像インデックスサイズ決定手段165が固
定的なインデックスサイズを決定する(図17ステップ
1704)。一例として、検出されたサイズの最大値
や、中央値、平均値等が考えられる。固定サイズインデ
ックス生成手段166はこの結果得られた固定サイズの
画像インデックスを生成し、インデックス蓄積手段16
7に蓄える(以上図17ステップ1705)。固定サイ
ズインデックス生成手段としては、上述の特開平4−3
07668号公報に記載の「概略画像作成方法及び装
置」等がある。
The size of the index thus derived is detected by the index size detecting means 164,
As a result, the image index size determining means 165 determines a fixed index size (step 1704 in FIG. 17). As an example, the maximum value, the median value, the average value, or the like of the detected sizes can be considered. The fixed-size index generating means 166 generates the fixed-size image index obtained as a result, and
7 (step 1705 in FIG. 17). The fixed-size index generating means is described in Japanese Patent Laid-Open No.
No. 07668, “Outline Image Creation Method and Apparatus” and the like.

【0096】[0096]

【発明の効果】以上説明したように、本発明によれば、
利用者の画像に対して持っている視覚的な手がかりを利
用して画像蓄積・利用システムから検索が可能であり、
またその際の画像インデックスを対象な入力枚数などの
外部条件に併せて適応的に選択することが可能である。
また、固定サイズの画像インデックス生成手段に対し
て、有効な画像インデックスサイズを提供することが可
能であり、状況に応じた画像インデックス作成が容易に
なる。
As described above, according to the present invention,
It is possible to search from the image storage and use system using visual cues that the user has on the image,
Further, it is possible to adaptively select an image index at that time in accordance with external conditions such as a target input number.
Further, it is possible to provide an effective image index size to the fixed-size image index generation means, and it becomes easy to create an image index according to a situation.

【0097】これにより、利用者の検索に対する適合率
を向上させることができる。
Thus, it is possible to improve the relevance rate for the user's search.

【図面の簡単な説明】[Brief description of the drawings]

【図1】原画像と対応する画像のインデックスの例を示
す図。
FIG. 1 is a diagram showing an example of an index of an image corresponding to an original image.

【図2】本発明の画像蓄積・管理装置の機能ブロック
図。
FIG. 2 is a functional block diagram of the image storage / management device of the present invention.

【図3】格子サイズが一定でない場合の例を示す図。FIG. 3 is a diagram showing an example when the grid size is not constant.

【図4】特開平4−307668号公報に記載の発明の
処理の流れを示す図。
FIG. 4 is a diagram showing a processing flow of the invention described in JP-A-4-307668.

【図5】特開平4−307668号公報に記載の発明の
機能ブロック図。
FIG. 5 is a functional block diagram of the invention described in JP-A-4-307668.

【図6】特開平4−241684号公報に記載の発明の
機能ブロック図。
FIG. 6 is a functional block diagram of the invention described in JP-A-4-241684.

【図7】領域統合の過程を示す図。FIG. 7 is a diagram showing a process of area integration.

【図8】画像インデックスの配列のサイズの説明図。FIG. 8 is an explanatory diagram of the size of an array of image indexes.

【図9】画像インデックスの例を示す図。FIG. 9 is a diagram showing an example of an image index.

【図10】画像インデックス生成装置の第1の実施例の
機能ブロック図。
FIG. 10 is a functional block diagram of a first embodiment of the image index generation device.

【図11】画像インデックス生成装置の第1の実施例の
処理の流れを示す図。
FIG. 11 is a diagram showing the flow of the process of the first embodiment of the image index generation device.

【図12】画像インデックス生成装置の第1の実施例の
処理の流れを示す図。
FIG. 12 is a diagram showing a flow of processing of the first embodiment of the image index generation device.

【図13】インデックス配列サイズ決定手段の処理の流
れを示す図。
FIG. 13 is a diagram showing a flow of processing of an index array size determining unit.

【図14】画像インデックス生成装置の第2の実施例の
機能ブロック図。
FIG. 14 is a functional block diagram of a second embodiment of the image index generation device.

【図15】画像インデックス生成装置の第2の実施例の
処理の流れを示す図。
FIG. 15 is a diagram showing a flow of processing of the second embodiment of the image index generation device.

【図16】画像インデックス生成装置の第3の実施例の
機能ブロック図。
FIG. 16 is a functional block diagram of a third embodiment of the image index generation device.

【図17】画像インデックス生成装置の第3の実施例の
処理の流れを示す図。
FIG. 17 is a diagram showing the flow of processing of the third embodiment of the image index generation device.

【図18】従来の技術を示す図。FIG. 18 is a diagram showing a conventional technique.

【図19】インデックスサイズが異なる際の整合処理の
ブロック図。
FIG. 19 is a block diagram of a matching process when the index sizes are different.

【図20】インデックスサイズが異なる際の整合処理を
説明する図。
FIG. 20 is a view for explaining matching processing when index sizes are different.

【符号の説明】[Explanation of symbols]

21 画像入力手段 22 原画像蓄積手段 23 領域分割手段 24 ブロック分割手段 25 画像インデックス生成手段 26 画像インデックス格納手段 27 原画像・インデックス対応付け手段 28 問い合わせ画像入力手段 29 類似度導出手段 2A 画像出力手段 51 入力手段 52 画像縮小手段 53 ブロック分割手段 54 信号変換手段 55 起伏度判断手段 56 領域分割手段 57 概略画像作成手段 58 出力手段 61 入力手段 62 領域統合手段 63 色情報整合度導出手段 64 領域整合度導出手段 65 画像間整合度導出手段 66 出力手段 101 画像入力手段 102 領域間類似度導出手段 103 統合化しきい値保存手段 104 領域分割手段 105 最終領域数保持手段 106 領域数記憶手段 107 インデックス配列サイズ決定手段 108 インデックス出力手段 141 原画像保存手段 142 新規画像入力手段 143 インデックス生成手段 144 インデックス蓄積手段 145 インデックス間距離しきい値導出手段 146 インデックス間距離評価手段 147 インデックスサイズ変更手段 148 インデックス入力手段 161 画像蓄積手段 162 画像選択手段 163 適応的インデックス生成手段 164 インデックスサイズ検出手段 165 画像インデックスサイズ決定手段 166 固定サイズインデックス生成手段 167 インデックス蓄積手段 181 入力手段 182 画像格納手段 183 概略画像格納手段 184 画像照合手段 185 画像表示手段 186 出力手段 Reference Signs List 21 image input means 22 original image storage means 23 area division means 24 block division means 25 image index generation means 26 image index storage means 27 original image / index correspondence means 28 inquiry image input means 29 similarity derivation means 2A image output means 51 Input means 52 Image reduction means 53 Block division means 54 Signal conversion means 55 Undulation degree determination means 56 Area division means 57 Schematic image creation means 58 Output means 61 Input means 62 Area integration means 63 Color information consistency degree derivation means 64 Area consistency degree derivation Means 65 Inter-image matching degree deriving means 66 Output means 101 Image input means 102 Inter-similarity deriving means 103 Integrated threshold storing means 104 Area dividing means 105 Final area number holding means 106 Area number storing means 107 Index array size determination Determination means 108 index output means 141 original image storage means 142 new image input means 143 index generation means 144 index storage means 145 index distance threshold derivation means 146 index distance evaluation means 147 index size change means 148 index input means 161 image Storage means 162 Image selection means 163 Adaptive index generation means 164 Index size detection means 165 Image index size determination means 166 Fixed size index generation means 167 Index storage means 181 Input means 182 Image storage means 183 Schematic image storage means 184 Image comparison means 185 Image display means 186 Output means

フロントページの続き (56)参考文献 特開 平4−307668(JP,A) 特開 平2−278379(JP,A) 特開 平6−309377(JP,A) 特開 平6−195396(JP,A) 特開 平4−60769(JP,A) 特開 平2−187864(JP,A) 平田、原,「概略画像を用いた画像検 索」,電子情報通信学会技術研究報告, Vol.92,No.51(DE92−1〜 6),1992年5月22日,p.9−16 (58)調査した分野(Int.Cl.7,DB名) G06F 17/30 170 G06F 17/30 210 G06T 1/00 200 Continuation of the front page (56) References JP-A-4-307668 (JP, A) JP-A-2-278379 (JP, A) JP-A-6-309377 (JP, A) JP-A-6-195396 (JP) , A) JP-A-4-60769 (JP, A) JP-A-2-187864 (JP, A) Hirata, Hara, "Image search using schematic images", IEICE Technical Report, Vol. 92, No. 51 (DE92-1-6), May 22, 1992, p. 9-16 (58) Field surveyed (Int. Cl. 7 , DB name) G06F 17/30 170 G06F 17/30 210 G06T 1/00 200

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】原画像を入力する画像入力手段と、 入力された前記原画像を蓄積する原画像蓄積手段と、 前記原画像の視覚的特徴に基づいて領域分割を行い、同
一の属性情報を持つ画素に同一の領域番号が付与された
領域分割画像を生成する領域分割手段と、 画像毎に格子の大きさを適応的に変化させて、前記原画
像を格子上に分割し、分割情報を生成するブロック分割
手段と、 前記分割情報及び前記領域分割情報を入力し、前記領域
分割画像に基づいて前記分割された各格子毎に代表領域
番号を決定し配列化し、前記領域分割画像から前記領域
分割された領域毎に色情報を含む前記属性情報を抽出
、抽出された属性情報に基づいて前記分割された各格
子毎の領域属性情報を決定し、前記代表領域番号と前記
決定された領域属性情報を用いて画像インデックス情報
を記述する画像インデックス生成手段と、 前記画像インデックス情報を格納する画像インデックス
格納手段とを有することを特徴とする画像蓄積・管理装
置。
Performs an image input means for inputting claim 1 original image, the original image storing means for storing the original image that is input, the area dividing based on the visual characteristics of the original image, the
Region dividing means for generating a region divided image in which the same region number is assigned to a pixel having one piece of attribute information; and adaptively changing the size of a lattice for each image, divided on a lattice, a block dividing means for generating division information, enter the division information and the area division information, the area
The divided for each grid to determine the representative area number and sequenced on the basis of the divided image, the extracts the attribute information including the color information from the region-divided image for each of the areas divided region, the extracted attribute Each case divided based on the information
Determine the area attribute information for each child, the representative area number and the
An image storage / management apparatus comprising: an image index generating unit that describes image index information using determined area attribute information; and an image index storage unit that stores the image index information.
JP35997997A 1997-12-26 1997-12-26 Image storage / management apparatus and image index generation method Expired - Fee Related JP3199009B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35997997A JP3199009B2 (en) 1997-12-26 1997-12-26 Image storage / management apparatus and image index generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35997997A JP3199009B2 (en) 1997-12-26 1997-12-26 Image storage / management apparatus and image index generation method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP7101979A Division JP2776295B2 (en) 1994-10-27 1995-04-26 Image index generation method and image index generation device

Publications (2)

Publication Number Publication Date
JPH10149373A JPH10149373A (en) 1998-06-02
JP3199009B2 true JP3199009B2 (en) 2001-08-13

Family

ID=18467281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35997997A Expired - Fee Related JP3199009B2 (en) 1997-12-26 1997-12-26 Image storage / management apparatus and image index generation method

Country Status (1)

Country Link
JP (1) JP3199009B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636331B1 (en) * 1999-09-09 2003-10-21 Xerox Corporation Segmentation tag cleanup based on connected components
US6516091B1 (en) * 1999-09-09 2003-02-04 Xerox Corporation Block level analysis of segmentation tags
KR100450793B1 (en) * 2001-01-20 2004-10-01 삼성전자주식회사 Apparatus for object extraction based on the feature matching of region in the segmented images and method therefor
US7917518B2 (en) * 2007-07-20 2011-03-29 Hewlett-Packard Development Company, L.P. Compositional balance and color driven content retrieval
JP5333589B2 (en) * 2009-07-01 2013-11-06 日本電気株式会社 Representative feature extraction system and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2754937B2 (en) * 1991-04-05 1998-05-20 日本電気株式会社 Schematic image creation method and device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
平田、原,「概略画像を用いた画像検索」,電子情報通信学会技術研究報告,Vol.92,No.51(DE92−1〜6),1992年5月22日,p.9−16

Also Published As

Publication number Publication date
JPH10149373A (en) 1998-06-02

Similar Documents

Publication Publication Date Title
JP2776295B2 (en) Image index generation method and image index generation device
JP3747589B2 (en) Image feature amount comparison device and recording medium storing image feature amount comparison program
US5644765A (en) Image retrieving method and apparatus that calculates characteristic amounts of data correlated with and identifying an image
EP1516264B1 (en) Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance
US7392233B2 (en) Image searching system, image searching method, and a recording medium storing an image searching program
US20040024758A1 (en) Image classification method, image feature space displaying method, program, and recording medium
US6690828B2 (en) Method for representing and comparing digital images
US7917518B2 (en) Compositional balance and color driven content retrieval
JPWO2009072466A1 (en) Image classification device and image classification program
JP2003507793A (en) System and method for performing region-based image retrieval using color-based segmentation
JP4772819B2 (en) Image search apparatus and image search method
JP4160050B2 (en) Image search program
JP3199009B2 (en) Image storage / management apparatus and image index generation method
US20050210019A1 (en) Method and apparatus for retrieving image from database, and computer product
JP2004021430A (en) Image searching device, image searching method, and image searching program
JP3718967B2 (en) Image feature amount extraction apparatus and method, and recording medium on which image feature amount extraction program is recorded
US6522779B2 (en) Representing an image with a posterized joint histogram
JPH08137908A (en) Image retrieval method and device
US7130492B2 (en) Image processing apparatus and method, and program
JPH08263522A (en) Image retrieving method
JP2936599B2 (en) Color image processing equipment
JP2001034763A (en) Document image processing apparatus, document title extracting method and document tag information providing method
JP3661774B2 (en) Character string recognition method, character recognition device and program
JP2005353101A (en) Image feature extraction method and computer-readable recording medium storing a program for causing a computer to execute each step of the method
JPH11212993A (en) Picture retrieval device/method and record medium recording picture retrieval program

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20010116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010515

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080615

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090615

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees