JP2002007413A - Image retrieval device - Google Patents
Image retrieval deviceInfo
- Publication number
- JP2002007413A JP2002007413A JP2000185226A JP2000185226A JP2002007413A JP 2002007413 A JP2002007413 A JP 2002007413A JP 2000185226 A JP2000185226 A JP 2000185226A JP 2000185226 A JP2000185226 A JP 2000185226A JP 2002007413 A JP2002007413 A JP 2002007413A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- character
- similarity
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 文字認識と画像認識との両側面から目的の画
像を高い確率で効率的に検索し得る画像検索装置の提
供。
【解決手段】 画像Iに含まれる文字を認識するOCR
部1と、画像特徴を抽出する画像特徴量計算部3と、文
字認識結果に基づき、検索キーの文字を含む画像候補を
検索するテキスト検索実行部5と、画像認識結果に基づ
き、検索キーと可及的に類似する画像特徴を有する画像
候補を検索する画像特徴検索実行部6と、文字認識結果
の画像候補と、画像認識結果の画像候補の検索キーとの
類似度をそれぞれ数値化して統合する統合部7とを設け
る。
(57) [Summary] [PROBLEMS] To provide an image retrieval apparatus capable of efficiently retrieving a target image with high probability from both sides of character recognition and image recognition. An OCR for recognizing a character included in an image I is provided.
Unit 1, an image feature amount calculation unit 3 for extracting image features, a text search execution unit 5 for searching for an image candidate including the character of the search key based on the character recognition result, and a search key based on the image recognition result. An image feature search execution unit 6 that searches for image candidates having image features that are as similar as possible, and numerically integrates the degree of similarity between the image candidate of the character recognition result and the search key of the image candidate of the image recognition result. And an integrating unit 7 for performing the operation.
Description
【0001】[0001]
【発明の属する技術分野】本発明は、文字、図形、表、
写真等の画像、又はこれらが混在した画像を蓄積してい
る電子図書館、電子博物館、ナレッジ・マネジメント・
システム等の画像の中から、これらの中の所定の画像又
は、文字、背景の色等の条件を指定した所定の画像を検
索キーとして目的の画像を検索する装置に関する。TECHNICAL FIELD The present invention relates to characters, figures, tables,
Digital libraries, electronic museums, and knowledge management stores that store images such as photos or images containing a mixture of these
The present invention relates to an apparatus for searching a target image from among images of a system or the like using a predetermined image or a predetermined image in which conditions such as characters and background color are designated as search keys.
【0002】[0002]
【従来の技術】コンピュータの急速な普及によって、紙
文書を電子化して保存することが一般的になっている。
またインターネットのような通信ネットワークを利用
し、電子化した文書をネットワーク経由で閲覧できるシ
ステムを構築することにより、ナレッジ・マネジメント
等の知識共有基盤として活用することが可能になる。電
子化文書の量が増大するに従って、蓄積している大量の
電子化文書を活用するために、電子化文書に適切なイン
デックスを付与して検索可能な状態にすることが重要で
ある。2. Description of the Related Art With the rapid spread of computers, it has become common to electronically store paper documents.
In addition, by using a communication network such as the Internet and constructing a system that can browse digitized documents via the network, the system can be used as a knowledge sharing base for knowledge management and the like. As the amount of digitized documents increases, it is important to assign an appropriate index to the digitized documents so that the documents can be searched in order to utilize the accumulated large number of digitized documents.
【0003】また、文書作成ソフトウェアの機能向上に
伴い、テキストだけの文書だけでなく、例えばプレゼン
テーションでの訴求力向上を目的として、図、表、写真
等を多用したフルカラー文書を作成することが容易にな
ってきている。このような文書では、図、表、写真等の
情報が、文書の内容に対してテキスト情報と同等の重要
性を持っている。[0003] Further, with the improvement of the functions of the document creation software, it is easy to create not only a text-only document but also a full-color document using many figures, tables, photographs, etc., for the purpose of, for example, improving the appeal of presentations. It is becoming. In such documents, information such as figures, tables, and photographs is as important as the text information in the contents of the document.
【0004】このように、テキストだけの文書、テキス
トと画像とが混在する文書が存在するようなシステムで
は、文書をイメージ・スキャナ等で読み取って蓄積して
おく方が一括管理が容易である。As described above, in a system in which a document including only text or a document including both text and image exists, it is easier to collectively manage the document by reading and storing the document with an image scanner or the like.
【0005】従来、テキストと、図、表、写真等の画像
とが混在する文書を検索する装置として、文書の画像化
データから、文書に含まれる画像を含む画像領域と、テ
キストを含む文字領域とを認識し、文字領域から文字認
識した文字列を画像領域の画像に関連付けて登録してお
き、この文字列を検索キーとして目的の画像を検索する
装置が開示されている(特開平11−25113号公
報)。Conventionally, as an apparatus for retrieving a document in which text and images such as figures, tables, and photographs are mixed, an image area including an image included in the document, and a character area including a text from image data of the document. A device that recognizes a character string from a character region, registers the character string in association with an image in the image region, and uses this character string as a search key to search for a target image has been disclosed (JP-A-11-1999). No. 25113).
【0006】また、テキストと画像とが混在する文書の
ファイリング装置として、文書の画像化データから、文
書に含まれるテキストを含む文字領域を認識し、文字領
域から文字列を文字認識するとともに各文字の大きさを
抽出し、各文字の大きさから得られた相対的文字サイズ
を文字列とともに記憶しておき、例えば相対的文字サイ
ズが大きい文字列はタイトルである確率が高く、タイト
ルの文字列が検索キーと一致した検索結果は目的とする
検索結果により近いであろうという推定に基づき、検索
結果の優先度を相対的文字サイズに従って算出し、検索
結果を優先度でランク付けして出力する装置が開示され
ている(特開平10−177641号公報)。Further, as a filing apparatus for a document in which text and images are mixed, a character area including a text included in the document is recognized from image data of the document, a character string is recognized from the character area, and each character is recognized. The size of each character is extracted, and the relative character size obtained from the size of each character is stored together with the character string. For example, a character string having a large relative character size has a high probability of being a title, and the character string of the title A device that calculates the priority of a search result according to the relative character size based on the estimation that a search result that matches the search key will be closer to the target search result, and ranks and outputs the search results by priority (Japanese Patent Application Laid-Open No. H10-177641).
【0007】また、写真画像と文字情報とが記録され、
画像記録部と文字記録部が分離されたコマ画像に対し
て、文字記録部の文字列を文字認識し、文字認識した文
字を検索キーワードとして検索する装置が開示されてい
る(特開平8−185508号公報)。Further, a photographic image and character information are recorded,
There is disclosed an apparatus for recognizing a character string in a character recording unit from a frame image in which an image recording unit and a character recording unit are separated, and retrieving the recognized character as a search keyword (Japanese Patent Laid-Open No. 8-185508). No.).
【0008】さらに、文字認識時の誤りに対処した装置
として、イメージデータのテキストデータ部分を文字認
識して検索に使用する場合で、文字認識誤りが発生した
場合に、検索ヒット率が低下することを解決するため
に、文字認識時に候補としてあがった第2候補以降の文
字も含めて格納し、検索する装置が開示されている(特
開平8−69477号公報)。Furthermore, as a device for dealing with errors in character recognition, when a text data portion of image data is used for searching by character recognition, the search hit rate is reduced when a character recognition error occurs. In order to solve the problem, there is disclosed an apparatus for storing and searching for characters including second and subsequent candidates which have been selected as candidates at the time of character recognition (Japanese Patent Laid-Open No. 8-69477).
【0009】[0009]
【発明が解決しようとする課題】以上のように、従来の
装置では、文書の画像化データの中の文字列を含む領域
から文字認識した文字列を、文書に含まれる画像の検索
キーとしているため、文書に文字列を含む領域がない場
合、検索キーを付与することができない。As described above, in the conventional apparatus, a character string obtained by character recognition from an area including a character string in the image data of a document is used as a search key for an image included in the document. Therefore, if there is no area including a character string in the document, a search key cannot be assigned.
【0010】また、建物の写真に含まれる看板の文字の
ように、画像の中に検索キーとして非常に有効な文字列
が存在していても、画像に含まれている文字列を検索キ
ーとして付与することができない。[0010] Even if a very effective character string exists as a search key in an image such as a signboard character included in a photograph of a building, the character string included in the image is used as a search key. Cannot be granted.
【0011】さらに、装置の認識精度が低かったり、画
像化した文字の一部が文字認識が不可能な程度まで欠け
ていること等が原因で文字列を誤って文字認識し、誤っ
た文字列が検索キーとして付与された場合、この画像
は、文字列を検索キーとした検索によって検索され得な
いという不具合が生じる。[0011] Further, the character string is erroneously recognized due to the low recognition accuracy of the apparatus or the fact that part of the imaged character is missing to the extent that character recognition is not possible. Is given as a search key, a problem occurs that this image cannot be searched by a search using a character string as a search key.
【0012】また、文書に含まれる図形の形、背景の色
等の画像の特徴が、文字列と同等又はそれ以上に文書の
特徴を良く表していたり、印象に残り易いような文書に
対しては、文書の画像特徴に基づいて検索する方が目的
の文書を検索し得る確率が高い。しかし、例えば同じ建
物を正面から撮影した場合と、下から仰いで撮影した場
合とでは建物の形が異なり、その結果、画像特徴が類似
しないため、画像特徴を検索キーとして目的の画像を検
索することができない。その他にも、照明条件、大気の
状態、撮影した季節、撮影機材の性能等、種々の条件に
よって画像特徴は大きく変動する。[0012] Also, for a document in which the features of an image such as the shape of a figure and the color of a background included in the document express the features of the document better than or equal to a character string, or remain easily in an impression. In the case of, there is a higher probability that a target document can be searched by searching based on the image characteristics of the document. However, for example, when the same building is photographed from the front and when it is photographed from below, the shape of the building is different, and as a result, the image features are not similar. Therefore, the target image is searched using the image feature as a search key. Can not do. In addition, image characteristics vary greatly depending on various conditions, such as lighting conditions, atmospheric conditions, the season in which the images were taken, and the performance of imaging equipment.
【0013】本発明はこのような問題点を解決するため
になされたものであって、文字、図形、表、写真等が混
在する画像の中から、いずれかの画像又は、文字、背景
の色等の条件を指定した所定の画像を検索キーとして目
的の画像を検索する際、文字認識によって画像候補を検
索するとともに、画像認識によっても画像候補を検索し
て文字認識による検索結果と画像認識による検索結果と
を統合することにより、文字認識と画像認識との両側面
から目的の画像を高い確率で効率的に検索し得る画像検
索装置の提供を目的とする。The present invention has been made in order to solve such a problem, and is intended to solve the problem by selecting any one of images, characters, and background colors from images in which characters, figures, tables, photographs, and the like are mixed. When searching for a target image using a predetermined image that specifies conditions such as a search key, an image candidate is searched by character recognition, an image candidate is also searched by image recognition, and a search result by character recognition and a search result by image recognition are used. An object of the present invention is to provide an image search device that can efficiently search for a target image with high probability from both sides of character recognition and image recognition by integrating search results.
【0014】[0014]
【課題を解決するための手段】図1は本発明の検索の原
理の概念図である。画像に一意に付与されている識別番
号ID001の画像は、文字列「AAA」と書かれた紙
文書をイメージ・スキャナ等で読み取った画像(画像特
徴量0.5)であり、ID002の画像は、紙文書の損
傷、過度の複写等により、文字列「AAA」のうち、3
番目の「A」の一部が、「A」と文字認識することが不
可能な程度まで欠けている紙文書をイメージ・スキャナ
等で読み取った画像(画像特徴量0.52)である。I
D001とID002の画像は、画像としての形状が近
いため、画像特徴量が近い値になっている。FIG. 1 is a conceptual diagram of the principle of retrieval according to the present invention. The image with the identification number ID001 uniquely assigned to the image is an image (image feature amount 0.5) obtained by reading a paper document written with the character string “AAA” with an image scanner or the like, and the image with ID002 is Of the character string "AAA" due to damage to the paper document, excessive copying, etc.
A part of the second "A" is an image (image feature amount 0.52) obtained by reading a paper document lacking to the extent that character recognition as "A" is impossible, using an image scanner or the like. I
Since the images D001 and ID002 have similar shapes as images, the image feature values have similar values.
【0015】ID003の画像は、文字列「CCC」が
壁面に描かれた正面視正方形の建物を正面から撮影した
画像(画像特徴量0.1)、ID004の画像は、同様
に文字列「CCC」が壁面に描かれた正面視正方形の建
物を下から仰いで撮影した画像(画像特徴量0.9)で
ある。ID003とID004の画像は、被写体が同一
物であっても画像としての形状が大きく異なっているた
め(正方形と台形)、画像特徴量の差が大きくなってい
る。The image of ID003 is an image (image feature amount 0.1) of a square building viewed from the front in which the character string "CCC" is drawn on the wall surface, and the image of ID004 is similarly the character string "CCC". Is an image (image feature amount 0.9) of a square building viewed from the front, which is drawn on a wall surface, and is photographed while looking up from below. Since the images of ID003 and ID004 have significantly different shapes (square and trapezoidal) even if the subjects are the same, the difference between the image feature amounts is large.
【0016】画像特徴量は、その他、照明条件、大気の
状態、撮影した季節、撮影機材等の条件の差異によって
も大きく変動する。なお、画像特徴量は、一般的にn次
元のベクトル情報で表現されるが、本例では、説明の簡
単のために一次元のスカラ値とする。The image feature quantity also greatly varies depending on differences in conditions such as lighting conditions, atmospheric conditions, photographing seasons, photographing equipment, and the like. Note that the image feature amount is generally represented by n-dimensional vector information, but in this example, it is a one-dimensional scalar value for simplicity of explanation.
【0017】上述のような画像に対して、ID001の
画像を検索キーの画像として検索した場合、文字認識だ
けでは、ID002〜ID004のいずれの画像も、含
まれている文字列が検索キーの画像ID001に含まれ
る文字列と一致しないため、検索結果が得られない。When an image of ID001 is searched as an image of a search key with respect to an image as described above, the character string included in any of the images of ID002 to ID004 is the image of the search key only by character recognition. Since the character string does not match the character string included in ID001, a search result cannot be obtained.
【0018】しかし、画像認識によって検索した場合、
文字認識だけでは検索されなかったID002の画像
が、検索キーの画像ID001の画像の画像特徴量と非
常に近い、即ち画像特徴が可及的に類似する目的の画像
として検索される。However, when searching by image recognition,
The image of ID002 that has not been searched only by character recognition is searched as a target image that is very close to the image feature amount of the image of image ID001 of the search key, that is, the image features are as similar as possible.
【0019】また、ID003の画像を検索キーの画像
として検索した場合、画像認識だけでは、ID001、
ID002、ID004のいずれの画像も、ID003
の画像特徴量との差の絶対値がかなり大きく、画像特徴
量からだけでは、これらの中に目的の画像が存在しない
ことになる。Further, when the image of ID003 is searched as the image of the search key, ID001, ID001,
Both images of ID002 and ID004 have ID003
The absolute value of the difference from the image feature amount is considerably large, and the target image does not exist in these images only from the image feature amount.
【0020】しかし、文字認識によって検索した場合、
ID004の画像が、検索キーの画像であるID003
の画像に含まれている文字列「CCC」と同一の文字列
を含むため、目的の画像として検索される。However, when searching by character recognition,
The image of ID 004 is the image of the search key ID 003
Since the same character string as the character string "CCC" included in the image is included, the image is searched for as the target image.
【0021】以上のように、本発明では、文字認識と画
像認識との両側面から画像候補を検索して両方の検索結
果を統合するので、ID001の画像を検索キーの画像
として検索した場合、文字認識だけであれば検索されな
かったID002の画像が、画像認識によって検索さ
れ、また逆に、ID003の画像を検索キーの画像とし
て検索した場合、画像認識だけであれば検索されなかっ
たID004の画像が、文字認識によって検索される。As described above, in the present invention, image candidates are searched from both sides of character recognition and image recognition, and both search results are integrated. Therefore, when the image of ID001 is searched as the image of the search key, The image of ID002 which was not searched for only by character recognition is searched by image recognition. Conversely, when the image of ID003 is searched as a search key image, the image of ID004 which is not searched for only image recognition is searched. Images are retrieved by character recognition.
【0022】図2は本発明の統合の原理の概念図であ
る。図2の画像候補は、検索対象の画像の中から、文字
認識及び画像認識により検索された画像候補を示すもの
である。これらの画像候補は、例えば、当初、文字列
「CCC」をテキスト検索条件として入力した文字認識
の検索結果の中から、画像ID001を検索キーの画像
とする画像認識による検索の結果、得られた候補であ
る。FIG. 2 is a conceptual diagram of the principle of integration of the present invention. The image candidates in FIG. 2 indicate image candidates searched by character recognition and image recognition from among images to be searched. For example, these image candidates were initially obtained as a result of a search by image recognition using the image ID 001 as an image of a search key from among character recognition search results in which the character string “CCC” was input as a text search condition. It is a candidate.
【0023】ID001は文字列「CCC」が長方形の
図形の中に書かれた画像(画像特徴量0.5)、ID0
02は文字列「CCC」が楕円形の図形の中に書かれた
画像(画像特徴量0.3)、ID003は文字列「CC
C」が正方形の図形の中に書かれた画像(画像特徴量
0.55)、ID004は文字列「CCC」が台形の図
形の中に書かれた画像(画像特徴量0.9)である。ID001 is an image in which the character string "CCC" is written in a rectangular figure (image feature amount 0.5).
02 is an image (image feature amount 0.3) in which the character string “CCC” is written in an elliptical figure, and ID003 is the character string “CC”.
"C" is an image (image feature value 0.55) written in a square figure, and ID004 is an image in which the character string "CCC" is written in a trapezoidal figure (image feature value 0.9). .
【0024】画像候補ID002〜ID004に含まれ
る文字列「CCC」は、検索キーの画像ID001に含
まれる文字列と完全に一致しているので、文字認識にお
ける、検索キーの画像ID001に対する画像候補ID
002〜ID004の類似度の順位は同列である。Since the character string "CCC" included in the image candidate IDs 002 to ID004 completely matches the character string included in the image ID 001 of the search key, the image candidate ID corresponding to the image ID 001 of the search key in character recognition is used.
The order of similarity between 002 and ID004 is the same.
【0025】しかし、画像認識における類似度、即ち検
索キーの画像ID001と画像候補ID002〜ID0
04との画像特徴量の差はそれぞれ異なっている。この
状態で、文字認識及び画像認識による検索結果を統合す
ると、画像特徴量の差の絶対値が小さい方から順(ID
003→ID002→ID004)に、検索キーの画像
との類似度がより高い画像候補としてランク付けするこ
とができる。However, the similarity in image recognition, that is, the image ID001 of the search key and the image candidate ID002 to ID0
The difference between the image feature amount and the image feature amount is different from each other. In this state, when the search results obtained by the character recognition and the image recognition are integrated, the absolute value of the difference between the image feature amounts is determined in ascending order (ID
003 → ID002 → ID004) can be ranked as image candidates having a higher similarity to the image of the search key.
【0026】以上のように、文字認識の検索結果と画像
認識の検索結果とを統合することで、一致する/しない
といった二律背反の検索ではなく、所定範囲の類似度を
示す画像候補の検索が可能になり、目的の画像を高い確
率で効果的に検索することができる。また統合してラン
ク付けした画像候補を、ランク順に検索者に提示するこ
とで、検索者は目的の画像を早期に発見することができ
る。As described above, by integrating the search result of character recognition and the search result of image recognition, it is possible to search for an image candidate showing a similarity degree within a predetermined range, instead of searching for a match / no match. , And the target image can be effectively searched with a high probability. Also, by presenting the integrated and ranked image candidates to the searcher in the order of the rank, the searcher can find the target image at an early stage.
【0027】次に本発明の検索・統合の手順を図3のフ
ローチャートに基づいて説明する。なお、以下の説明で
は、画像を検索キーとして指定する場合について説明す
るが、検索キーは画像に限らず、文字列を指定するテキ
ストデータ、画像特徴を表現したテキストデータ等であ
ってもよい。また、検索キーの画像は検索対象の画像群
の中から選択しても、また予め用意されているサンプル
の中から選択してもよい。Next, the search / integration procedure of the present invention will be described with reference to the flowchart of FIG. In the following description, a case where an image is specified as a search key will be described. However, the search key is not limited to an image, and may be text data specifying a character string, text data expressing an image feature, or the like. The image of the search key may be selected from a group of images to be searched, or may be selected from samples prepared in advance.
【0028】検索キーの画像のOCRテキスト、及び画
像特徴量を抽出する(ステップS1)。全ての画像候補
のデータについて処理したか否かをチェックしながら
(ステップS2)、データベースに蓄積されている検索
対象の画像のOCRテキスト及び画像特徴量を抽出する
(ステップS3)。The OCR text and the image feature amount of the image of the search key are extracted (step S1). While checking whether or not all the image candidate data have been processed (step S2), the OCR text and the image feature amount of the search target image stored in the database are extracted (step S3).
【0029】検索キーの画像に対する、OCRテキスト
の類似度と画像特徴量の類似度とを統合した、画像候補
の統合類似度を計算する(ステップS4)。全てのデー
タについて処理したか否かをチェックしながら(ステッ
プS2)、ステップS3及びS4を繰り返す。An integrated similarity of an image candidate is calculated by integrating the similarity of the OCR text with the image of the search key and the similarity of the image feature amount (step S4). Steps S3 and S4 are repeated while checking whether or not all the data has been processed (step S2).
【0030】全ての画像候補のデータについて処理が完
了すると、統合類似度の高い順番にソートしてランク付
けし、例えばディスプレイ表示等により、ランク順に検
索結果を出力する(ステップS5)。When the processing has been completed for all the image candidate data, the data is sorted and ranked in the order of the highest integrated similarity, and the search results are output in the rank order, for example, on a display (step S5).
【0031】第1発明の画像検索装置は、検索対象の画
像の中から目的の画像を検索する装置において、画像に
含まれる文字を認識する文字認識手段と、画像の画像特
徴を抽出する画像認識手段と、文字認識手段の認識結果
に基づき、検索キーの文字を含む画像候補を検索する第
1の検索手段と、画像認識手段の認識結果に基づき、検
索キーの画像特徴と可及的に類似する画像特徴を有する
画像候補を検索する第2の検索手段と、第1及び第2の
検索手段の検索結果を統合する統合手段とを備えたこと
を特徴とする。An image retrieval apparatus according to a first aspect of the present invention is an apparatus for retrieving a target image from images to be retrieved, a character recognizing means for recognizing characters contained in the image, and an image recognizing means for extracting image features of the image. Means, first search means for searching for an image candidate including the character of the search key based on the recognition result of the character recognition means, and image characteristics of the search key as similar as possible based on the recognition result of the image recognition means A second search unit that searches for an image candidate having an image feature to be searched, and an integrating unit that integrates search results of the first and second search units.
【0032】第2発明の画像検索装置は、第1発明の前
記統合手段が、検索キーに対する第1及び第2の検索手
段の検索結果の画像候補の類似度をそれぞれ数値化する
手段を備え、画像候補を、第1及び第2の検索手段の該
類似度を統合した統合類似度が相対的に高い画像候補に
絞り込むべくなしたことを特徴とする。[0032] The image search device of the second invention is characterized in that the integration means of the first invention has means for digitizing the similarity of image candidates of search results of the first and second search means with respect to a search key, respectively. An image candidate is narrowed down to an image candidate having a relatively high integrated similarity obtained by integrating the similarities of the first and second search means.
【0033】第3発明の画像検索装置は、第1発明の前
記統合手段が、検索キーに対する第1及び第2の検索手
段の検索結果の画像候補の類似度をそれぞれ数値化し、
該類似度に、第1及び第2の検索手段に対して定められ
た重み係数をそれぞれ乗じた重み付き類似度を算出する
手段を備え、画像候補を、該重み付き類似度を統合した
統合類似度が相対的に高い画像候補に絞り込むべくなし
たことを特徴とする。According to a third aspect of the present invention, in the image retrieval apparatus according to the first aspect of the present invention, the integration means quantifies the similarity of the image candidates of the retrieval results of the first and second retrieval means to the retrieval key, respectively.
Means for calculating a weighted similarity by multiplying the similarity by a weighting factor determined for the first and second search means, respectively, and combining an image candidate with an integrated similarity obtained by integrating the weighted similarity. It is characterized by narrowing down to image candidates having a relatively high degree.
【0034】本発明では、検索対象の画像に含まれる文
字を認識するとともに、画像特徴を抽出し、文字認識の
認識結果に基づき、検索キーの文字を含む画像候補を検
索し、また画像認識の認識結果に基づき、検索キーと可
及的に類似する画像特徴を有する画像候補を検索して、
これらの検索結果を統合する。According to the present invention, characters included in an image to be searched are recognized, image features are extracted, and an image candidate including a character of a search key is searched based on the recognition result of the character recognition. Based on the recognition result, search for image candidates having image characteristics as similar as possible to the search key,
Integrate these search results.
【0035】このとき、検索結果を統合する一つの方法
として、文字認識による検索結果の画像候補と、画像認
識による検索結果の画像候補の検索キーとの類似度をそ
れぞれ数値化し、文字認識による画像候補と画像認識に
よる画像候補との類似度を統合し、画像候補を、統合し
た統合類似度が相対的に高い画像候補に絞り込む。At this time, as one method of integrating the search results, the similarity between the image candidate of the search result by the character recognition and the search key of the image candidate of the search result by the image recognition is digitized, and the image recognition by the character recognition is performed. The similarity between the candidate and the image candidate obtained by image recognition is integrated, and the image candidates are narrowed down to image candidates having a relatively high integrated similarity.
【0036】また検索結果を統合する他の方法として、
文字認識による検索結果の画像候補と、画像認識による
検索結果の画像候補の検索キーとの類似度をそれぞれ数
値化し、この類似度に、文字認識による検索結果及び画
像認識による検索結果に対して定められた重み係数をそ
れぞれ乗じた重み付き類似度を算出して統合し、画像候
補を、重み付き類似度を統合した統合類似度が相対的に
高い画像候補に絞り込む。As another method of integrating search results,
The similarity between the image candidate of the search result by character recognition and the search key of the image candidate of the search result by image recognition is quantified, and the similarity is determined for the search result by character recognition and the search result by image recognition. The weighted similarities multiplied by the weighted coefficients are calculated and integrated, and the image candidates are narrowed down to image candidates having a relatively high integrated similarity obtained by integrating the weighted similarities.
【0037】従って、例えば紙文書の損傷、過度の複写
等により、文字列の一部が文字認識の不可能な程度まで
欠けている文書の画像、文字が描かれた建物を異なる角
度で撮影した写真の画像等のように、文字認識だけ、又
は画像認識だけでは検索され得ない画像が検索対象の画
像に含まれている場合でも、文字認識と画像認識との両
側面から目的の画像を高い確率で効率的に検索し得る。Therefore, for example, due to damage of a paper document, excessive copying, or the like, an image of a document in which a part of a character string is lacking to the extent that character recognition is impossible, and a building on which a character is drawn are photographed at different angles. Even if the image to be searched includes an image that cannot be searched only by character recognition or image recognition alone, such as a photograph image, the target image is raised from both sides of the character recognition and image recognition. Can be searched efficiently by probability.
【0038】第4発明の画像検索装置は、第2又は第3
発明に加えて、統合類似度の高さ順に応じた順序で画像
候補の情報を提示する手段をさらに備えたことを特徴と
する。The image search device according to the fourth aspect of the present invention is the image search device according to the second or third aspect.
In addition to the invention, the information processing apparatus further includes means for presenting information on image candidates in an order according to the order of the integrated similarity.
【0039】本発明では、統合類似度の高さ順に応じた
順序で、目的の画像により近い画像候補から先にその情
報を提示する。従って、検索結果として得られた画像候
補の数が膨大であっても、検索者は目的の画像を早期に
発見することができる。In the present invention, the information is presented first in the order corresponding to the height of the integrated similarity, starting from the image candidates closer to the target image. Therefore, even if the number of image candidates obtained as a search result is enormous, the searcher can find the target image at an early stage.
【0040】第5発明の画像検索装置は、第1乃至第4
発明のいずれかに加えて、第1又は第2の検索手段によ
る検索結果の画像候補のいずれかを検索キーとして、第
2又は第1の検索手段により、検索結果の画像候補の中
から画像候補を検索する手段をさらに備えたことを特徴
とする。The image search apparatus according to the fifth aspect of the present invention includes the first to fourth
In addition to any one of the inventions, an image candidate is selected from the image candidates of the search result by the second or first search means by using any one of the image candidates of the search result by the first or second search means as a search key. Is further provided.
【0041】本発明では、文字認識及び画像認識のいず
れか一方の認識手段で画像候補を一旦絞り込み、この検
索結果の画像候補の中のいずれかを検索キーとして、他
方の認識手段で画像候補を検索する。従って、一方の認
識手段による検索結果の画像候補をヒントとして、目的
の画像の検索に、より適した画像を検索条件として指定
することができる。According to the present invention, image candidates are once narrowed down by one of the character recognition and image recognition means, and one of the image candidates obtained as a search result is used as a search key, and the other is used by the other recognition means. Search for. Therefore, an image more suitable for searching for a target image can be designated as a search condition by using the image candidate of the search result by the one recognition unit as a hint.
【0042】[0042]
【発明の実施の形態】図4は本発明の画像検索装置(以
下、本発明装置という)の機能ブロック図である。上半
部は画像の登録処理に関連し、下半部は検索処理に関連
する。OCR(光学式文字認識:Optical Ch
aracter Recognition)部1は、紙
文書をイメージ・スキャナ等で読み取った画像I、又は
既に電子化されている文書を画像化した画像Iに含まれ
ている文字を光学的に読み取る文字認識手段である。FIG. 4 is a functional block diagram of an image retrieval apparatus according to the present invention (hereinafter, referred to as the apparatus of the present invention). The upper half relates to image registration processing, and the lower half relates to search processing. OCR (Optical Character Recognition: Optical Ch
An arc recognition unit 1 is a character recognizing unit that optically reads characters included in an image I obtained by reading a paper document by an image scanner or the like or an image I obtained by converting a digitized document into an image. .
【0043】OCR部1は、画像Iから抽出した文字列
から、検索ができるようにテキスト・インデックスを生
成し、画像Iに一意に付与した識別番号に関連付けてO
CRテキスト・データベース(以下、OCRテキストD
Bと略記する)2に格納する。The OCR unit 1 generates a text index from the character string extracted from the image I so that it can be searched, and associates the text index with an identification number uniquely assigned to the image I.
CR text database (hereinafter, OCR text D)
B).
【0044】OCRの手法としては、「文字認識・文書
理解の最新動向〔I〕 −文字認識とは−」(電子情報
通信学会誌、平成12年1月 JANUARY VO
L.83 No.1 pp.64−68)、「文字認識
・文書理解の最新動向〔II〕−文字認識手法−」(電
子情報通信学会誌、平成12年2月 FEBRUARY
VOL.83 No.2 pp.143−148)等
のいずれを使用してもよい。As the OCR method, "Latest trend of character recognition and document understanding [I]-What is character recognition?" (Journal of the Institute of Electronics, Information and Communication Engineers, January 2000, JANUARY VO
L. 83 No. 1 pp. 64-68), "Latest Trends in Character Recognition and Document Understanding [II]-Character Recognition Method-" (Journal of the Institute of Electronics, Information and Communication Engineers, February 2000, FEBRUARY)
VOL. 83 No. 2 pp. 143-148).
【0045】画像特徴量計算部3は、上述の画像Iのエ
ッジ、色、濃淡等を検出して画像特徴量を計算する画像
認識手段である。画像特徴量計算部3は、計算した画像
特徴量から、検索ができるように画像インデックスを生
成し、画像Iに一意に付与した識別番号に対応付けて画
像特徴データベース(以下、画像特徴DBと略記する)
4に格納する。The image feature value calculation section 3 is an image recognition means for calculating the image feature value by detecting the edge, color, shading, etc. of the image I described above. The image feature amount calculation unit 3 generates an image index from the calculated image feature amount so that the image index can be searched, and associates the image index with an identification number uniquely assigned to the image I (hereinafter abbreviated as image feature DB). Do)
4 is stored.
【0046】画像認識の手法としては、例えば「画像を
キーとする類似画像検索システム」(村尾晃平、安藤淳
禎:1998年電子情報通信学会情報・システムソサイ
エティ大会 D−11−60,p.175,1998)
を使用することができる。As a method of image recognition, for example, a “similar image retrieval system using an image as a key” (Kohei Murao, Junsada Ando: 1998 IEICE Information and System Society Conference D-11-60, p. 175) 1998)
Can be used.
【0047】テキスト処理では、図示しない入力手段
(キーボード、マウス等)により入力された検索キー
(テキストキー、画像キー)を受け付け、テキスト検索
実行部5は、OCRテキストDB2を参照してテキスト
キーに基づくテキスト検索を実行し、画像検索実行部6
は、画像特徴DB4を参照して画像キーに基づく画像検
索を実行する。In the text processing, a search key (text key, image key) input by input means (keyboard, mouse, etc.) (not shown) is received, and the text search execution unit 5 refers to the OCR text DB 2 and changes the text key. A text search based on the image, and an image search execution unit 6
Executes an image search based on the image key with reference to the image feature DB4.
【0048】テキスト検索実行部5及び画像検索実行部
6は、検索キーに対する検索結果の画像候補の類似度を
それぞれ数値化して検索結果の画像候補の情報(例え
ば、縮小画像、OCRテキストデータ等)とともに統合
部7に渡す。The text search execution unit 5 and the image search execution unit 6 respectively digitize the similarity of the image candidate of the search result with respect to the search key and obtain information of the image candidate of the search result (for example, reduced image, OCR text data, etc.). To the integration unit 7.
【0049】統合部7は、テキスト検索実行部5及び画
像検索実行部6から渡された類似度を、後述するような
方法で統合し、統合後の類似度に基づいて画像候補をラ
ンク順にソーティングし、ランクの高い順に、画像候補
の情報をランキング情報とともに検索結果出力部8に渡
す。The integration unit 7 integrates the similarities passed from the text search execution unit 5 and the image search execution unit 6 by a method to be described later, and sorts the image candidates in rank order based on the similarities after the integration. Then, the information of the image candidates is passed to the search result output unit 8 together with the ranking information in the descending order of the rank.
【0050】例えばディスプレイを有する検索結果出力
部8は、統合部7から渡されたランク順に応じた並び順
で、1ページに表示が可能な数ずつ、画像候補の情報を
出力して検索者に提示する(図7参照)。For example, the search result output unit 8 having a display outputs image candidate information by the number that can be displayed on one page in the arrangement order according to the rank order passed from the integration unit 7 to the searcher. (See FIG. 7).
【0051】図5は本発明装置における統合例(その
1)の概念図である。テキスト検索実行部5による文字
認識の検索結果(A)として画像候補ID004、ID
007、ID010、ID040が検索されている。全
ての画像候補に含まれる文字列が検索キーの文字列と一
致するため本例ではランキングしていない。なお、この
とき、同列のランクの画像候補に同一の類似度を与えて
もよい。FIG. 5 is a conceptual diagram of an integrated example (part 1) in the apparatus of the present invention. Image candidate ID 004, ID as the search result (A) of the character recognition by the text search execution unit 5
007, ID010 and ID040 are searched. Since the character strings included in all the image candidates match the character strings of the search key, they are not ranked in this example. Note that, at this time, the same similarity may be given to image candidates having the same rank.
【0052】画像特徴検索実行部6による画像認識の検
索結果(B)として上位から4つの画像候補ID007
(類似度0.9)、ID010(類似度0.8)、ID
040(類似度0.75)、ID051(類似度0.
7)が検索されている。なお、類似度は数値が大きいほ
ど高いものとする。As the search result (B) of the image recognition by the image feature search execution unit 6, the four highest candidate image IDs 007
(Similarity 0.9), ID010 (similarity 0.8), ID
040 (similarity 0.75), ID051 (similarity 0.
7) has been searched. It is assumed that the similarity increases as the numerical value increases.
【0053】統合部7は、検索結果(A)と検索結果
(B)との論理積をとり、ID004とID051の画
像を候補から外し、残りの画像候補ID007、ID0
10、ID040の画像特徴における類似度を統合類似
度として、これらをランク付けする。即ち、画像候補I
D007が第一位、ID010が第2位、ID040が
第3位となる。The integrating unit 7 takes the logical product of the search result (A) and the search result (B), removes the images of ID004 and ID051 from the candidates, and leaves the remaining image candidate IDs 007 and ID0.
10. The similarity in the image feature of ID 040 is ranked as the integrated similarity. That is, image candidate I
D007 is the first place, ID010 is the second place, and ID040 is the third place.
【0054】また図6は本発明装置における統合例(そ
の2)の概念図である。テキスト検索実行部5による文
字認識の検索結果(A)として画像候補ID004(類
似度0.9)、ID007(類似度0.8)、ID01
0(類似度0.5)、ID040(類似度0.4)が検
索されている。前述と同様に、類似度は数値が大きいほ
ど高いものとする。なお、全ての画像候補に含まれる文
字列が検索キーの文字列と一致する場合、類似度は同一
値になる。FIG. 6 is a conceptual diagram of an integrated example (part 2) in the apparatus of the present invention. Image candidate ID 004 (similarity 0.9), ID 007 (similarity 0.8), ID 01 as search results (A) of character recognition by the text search execution unit 5
0 (similarity 0.5) and ID040 (similarity 0.4) are searched. As described above, the larger the numerical value is, the higher the similarity is. When the character strings included in all the image candidates match the character strings of the search key, the similarities have the same value.
【0055】画像特徴検索実行部6による画像認識の検
索結果(B)として上位から4つの画像候補ID007
(類似度0.9)、ID010(類似度0.8)、ID
040(類似度0.75)、ID051(類似度0.
7)が検索されている。As the search result (B) of the image recognition by the image feature search execution unit 6, the four highest image candidate IDs 007
(Similarity 0.9), ID010 (similarity 0.8), ID
040 (similarity 0.75), ID051 (similarity 0.
7) has been searched.
【0056】統合部7は、検索結果(A)と検索結果
(B)との論理積をとり、ID004とID051の画
像を候補から外す。残りの画像候補ID007、ID0
10、ID040に対して、テキスト検索実行部5によ
る検索結果(A)のそれぞれの類似度に、文字認識の重
み付け係数として定めた「5」を乗じ、また画像特徴検
索実行部6による検索結果(B)の画像候補のそれぞれ
の類似度に、画像認識の重み付け係数として定めた「1
0」を乗じ、重み付けした類似度を統合した統合類似度
に基づいて画像候補をランク付けする。The integrating unit 7 calculates the logical product of the search result (A) and the search result (B), and removes the images of ID004 and ID051 from the candidates. Remaining image candidate ID 007, ID 0
10, the ID 040 is multiplied by each of the similarities of the search result (A) by the text search execution unit 5 by “5” defined as a weighting coefficient for character recognition, and the search result by the image feature search execution unit 6 ( The similarity of each of the image candidates B) is determined as a weighting coefficient for image recognition of “1”.
The image candidates are ranked based on the integrated similarity obtained by integrating the weighted similarities.
【0057】即ち、画像候補ID007が(5×0.8
+10×0.9=13.0)で第一位、ID010が
(5×0.5+10×0.8=10.5)で第2位、I
D040が(5×0.4+10×0.75=9.5)で
第3位となる。That is, if the image candidate ID 007 is (5 × 0.8
+ 10 × 0.9 = 13.0), the first place is ID010 (5 × 0.5 + 10 × 0.8 = 10.5), the second place, I
D040 ranks third when (5 × 0.4 + 10 × 0.75 = 9.5).
【0058】なお、検索結果(A)(B)の統合に用い
るブール演算は論理積に限らず、論理和、否定等であっ
てもよい。The Boolean operation used for integrating the search results (A) and (B) is not limited to a logical product, and may be a logical sum, a negation, or the like.
【0059】また、ネットワーク上のサーバ装置に本発
明装置の機能を持たせ、このサーバ装置にアクセスが可
能な複数のクライアント装置から検索を行う構成とする
こともできる。この場合のユーザ・インタフェースは市
販のブラウザが使用できる環境であれば、クライアント
装置の機種には依存せずに検索結果をクライアント装置
から閲覧することができる。It is also possible to provide a server device on the network with the function of the device of the present invention, and perform a search from a plurality of client devices that can access the server device. In this case, as long as the user interface is in an environment where a commercially available browser can be used, the search result can be browsed from the client device without depending on the model of the client device.
【0060】図7は本発明装置における検索結果の画面
表示例の図である。統合部7によるランク付けに応じた
順位で、第1位から第3位までの画像候補の画像(縮小
画像)が表示され、それぞれのランキング情報、テキス
ト検索における類似度、画像特徴検索における類似度、
これらを統合した総合の類似度、文字認識したテキスト
本文、例えばクライアント装置からサーバ装置へ検索を
依頼した場合等に機能する一括ダウンロード用ボタン等
が提示される。FIG. 7 is a diagram showing a screen display example of a search result in the apparatus of the present invention. The images (reduced images) of the first to third image candidates are displayed in the order according to the ranking by the integration unit 7, and the ranking information, the similarity in the text search, and the similarity in the image feature search are displayed. ,
A total similarity degree obtained by integrating these, a text body with character recognition, for example, a batch download button that functions when a search is requested from a client device to a server device, or the like is presented.
【0061】また「画像で検索」ボタンを選択すると、
検索結果の画像候補を検索キーの画像として、さらなる
検索が連鎖的に実行される。When the "search by image" button is selected,
Further search is executed in a chain by using the image candidate of the search result as the image of the search key.
【0062】[0062]
【発明の効果】以上のように、本発明装置は、文字、図
形、表、写真等が混在する画像の中から、いずれかの画
像、又は文字と背景の色を指定したような所定の画像を
検索キーとして目的の画像を検索する際、文字認識によ
って画像候補を検索するとともに、画像認識によっても
画像候補を検索し、文字認識による検索結果と画像認識
による検索結果とを統合するので、文字認識と画像認識
との両側面から目的の画像を高い確率で効率的に検索し
得るという優れた効果を奏する。As described above, the apparatus of the present invention can be used to select any one of images including characters, figures, tables, photographs, etc., or a predetermined image in which the colors of characters and background are specified. When searching for a target image using as a search key, image candidates are searched by character recognition, image candidates are also searched by image recognition, and the search result by character recognition and the search result by image recognition are integrated. There is an excellent effect that a target image can be efficiently searched with high probability from both sides of recognition and image recognition.
【図1】本発明の検索の原理の概念図である。FIG. 1 is a conceptual diagram of the search principle of the present invention.
【図2】本発明の統合の原理の概念図である。FIG. 2 is a conceptual diagram of the principle of integration of the present invention.
【図3】本発明の検索・統合手順のフローチャートであ
る。FIG. 3 is a flowchart of a search / integration procedure of the present invention.
【図4】本発明装置の機能ブロック図である。FIG. 4 is a functional block diagram of the device of the present invention.
【図5】本発明装置における統合例(その1)の概念図
である。FIG. 5 is a conceptual diagram of an example of integration (part 1) in the apparatus of the present invention.
【図6】本発明装置における統合例(その2)の概念図
である。FIG. 6 is a conceptual diagram of an integration example (part 2) in the apparatus of the present invention.
【図7】本発明装置における検索結果の画面表示例の図
である。FIG. 7 is a diagram showing a screen display example of a search result in the apparatus of the present invention.
1 OCR部 2 OCRテキストDB 3 画像特徴量計算部 4 画像特徴DB 5 テキスト検索実行部 6 画像特徴検索実行部 7 統合部 8 検索結果出力部 I 画像 REFERENCE SIGNS LIST 1 OCR section 2 OCR text DB 3 image feature amount calculation section 4 image feature DB 5 text search execution section 6 image feature search execution section 7 integration section 8 search result output section I image
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 200 G06T 1/00 200E 7/00 300 7/00 300F Fターム(参考) 5B050 BA16 BA20 EA04 EA18 GA08 5B064 AA10 BA01 5B075 ND06 NK02 NK06 PP02 PP03 PP04 PQ02 PQ36 PQ74 PR06 QM08 5L096 FA06 FA14 GA38 HA08 JA03 JA11 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification code FI Theme coat ゛ (Reference) G06T 1/00 200 G06T 1/00 200E 7/00 300 7/00 300F F-term (Reference) 5B050 BA16 BA20 EA04 EA18 GA08 5B064 AA10 BA01 5B075 ND06 NK02 NK06 PP02 PP03 PP04 PQ02 PQ36 PQ74 PR06 QM08 5L096 FA06 FA14 GA38 HA08 JA03 JA11
Claims (5)
索する装置において、 画像に含まれる文字を認識する文字認識手段と、 画像の画像特徴を抽出する画像認識手段と、 文字認識手段の認識結果に基づき、検索キーの文字を含
む画像候補を検索する第1の検索手段と、 画像認識手段の認識結果に基づき、検索キーの画像特徴
と可及的に類似する画像特徴を有する画像候補を検索す
る第2の検索手段と、 第1及び第2の検索手段の検索結果を統合する統合手段
とを備えたことを特徴とする画像検索装置。An apparatus for retrieving a target image from images to be retrieved, a character recognizing means for recognizing characters included in the image, an image recognizing means for extracting image features of the image, and a character recognizing means. First search means for searching for an image candidate including the character of the search key based on the recognition result; and image candidate having an image feature as similar as possible to the image feature of the search key based on the recognition result of the image recognition means. An image search device comprising: a second search unit that searches for a search result; and an integrating unit that integrates search results of the first and second search units.
及び第2の検索手段の検索結果の画像候補の類似度をそ
れぞれ数値化する手段を備え、画像候補を、第1及び第
2の検索手段の該類似度を統合した統合類似度が相対的
に高い画像候補に絞り込むべくなしたことを特徴とする
請求項1記載の画像検索装置。2. The method according to claim 1, wherein the integrating means includes a first key for the search key.
And means for quantifying the similarity of the image candidates of the search results of the second search means, respectively, and the integrated similarity obtained by integrating the similarities of the first and second search means is relatively 2. The image retrieval apparatus according to claim 1, wherein the apparatus is narrowed down to high image candidates.
及び第2の検索手段の検索結果の画像候補の類似度をそ
れぞれ数値化し、該類似度に、第1及び第2の検索手段
に対して定められた重み係数をそれぞれ乗じた重み付き
類似度を算出する手段を備え、画像候補を、該重み付き
類似度を統合した統合類似度が相対的に高い画像候補に
絞り込むべくなしたことを特徴とする請求項1記載の画
像検索装置。3. The method according to claim 1, wherein the integrating unit includes a first key for the search key.
And a numerical value of the similarity between the image candidates of the search result of the second search means, and a weighted similarity obtained by multiplying the similarity by a weight coefficient determined for the first and second search means, respectively. 2. The image search apparatus according to claim 1, further comprising a calculating unit, wherein the image candidates are narrowed down to image candidates having a relatively high integrated similarity obtained by integrating the weighted similarities.
候補の情報を提示する手段をさらに備えたことを特徴と
する請求項2又は3に記載の画像検索装置。4. The image retrieval apparatus according to claim 2, further comprising: means for presenting information of image candidates in an order according to a height order of the integrated similarity.
の画像候補のいずれかを検索キーとして、第2又は第1
の検索手段により、検索結果の画像候補の中から画像候
補を検索する手段をさらに備えたことを特徴とする請求
項1乃至4のいずれかに記載の画像検索装置。5. A method according to claim 1, wherein one of the image candidates of the search result by the first or second search means is used as a search key.
5. The image retrieval apparatus according to claim 1, further comprising: means for retrieving an image candidate from among the image candidates of the retrieval result by the retrieval means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000185226A JP2002007413A (en) | 2000-06-20 | 2000-06-20 | Image retrieval device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000185226A JP2002007413A (en) | 2000-06-20 | 2000-06-20 | Image retrieval device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002007413A true JP2002007413A (en) | 2002-01-11 |
Family
ID=18685574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000185226A Pending JP2002007413A (en) | 2000-06-20 | 2000-06-20 | Image retrieval device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002007413A (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003289432A (en) * | 2002-03-28 | 2003-10-10 | Toshiba Corp | Printer and print method |
JP2003345815A (en) * | 2002-05-28 | 2003-12-05 | Jiishisu:Kk | Server and system for url search, and server and system for image processing |
JP2007172077A (en) * | 2005-12-19 | 2007-07-05 | Fuji Xerox Co Ltd | Image search system, method thereof, and program thereof |
US7437398B2 (en) * | 2004-07-30 | 2008-10-14 | Intel Corporation | Pattern matching architecture |
JP2010152884A (en) * | 2008-12-02 | 2010-07-08 | Intel Corp | Image recognition algorithm, method of identifying target image using the same, and method of selecting data for transmission to portable electronic device |
JP2010218109A (en) * | 2009-03-16 | 2010-09-30 | Ricoh Co Ltd | Image retrieval apparatus and image retrieval method |
US8005300B2 (en) | 2005-07-21 | 2011-08-23 | Fuji Xerox Co., Ltd. | Image search system, image search method, and storage medium |
JP2013504112A (en) * | 2009-09-04 | 2013-02-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Relevance visualization for content-based image retrieval |
JP2013145587A (en) * | 2013-03-22 | 2013-07-25 | Olympus Imaging Corp | Image search system |
JP5259876B2 (en) * | 2010-02-26 | 2013-08-07 | 楽天株式会社 | Information processing apparatus, information processing method, and recording medium recording information processing program |
CN112766269A (en) * | 2021-03-04 | 2021-05-07 | 深圳康佳电子科技有限公司 | Picture text retrieval method, intelligent terminal and storage medium |
WO2024117018A1 (en) * | 2022-12-01 | 2024-06-06 | 株式会社東芝 | Information processing system, information processing method, and program |
WO2025041187A1 (en) * | 2023-08-18 | 2025-02-27 | 日本電気株式会社 | Processing device |
CN119988318A (en) * | 2025-04-17 | 2025-05-13 | 浙江啄云智能科技有限公司 | Data archiving method, device, electronic equipment and storage medium |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0492971A (en) * | 1990-08-06 | 1992-03-25 | Canon Inc | Picture recording device |
JPH06325084A (en) * | 1993-01-19 | 1994-11-25 | Canon Inf Syst Inc | Document processing device, its method, document display device and its method |
JPH09237282A (en) * | 1996-03-01 | 1997-09-09 | Ricoh Co Ltd | Document image database search method, image feature vector extraction method, document image browsing system, machine-readable medium and image display method |
JPH10289241A (en) * | 1997-04-14 | 1998-10-27 | Canon Inc | Image processing apparatus and control method thereof |
JPH1115852A (en) * | 1997-06-27 | 1999-01-22 | Nippon Telegr & Teleph Corp <Ntt> | Image database center device, image database registration / search method, and recording medium |
JPH11149485A (en) * | 1997-09-24 | 1999-06-02 | Ricoh Co Ltd | Document image database search method, document image database organization method, recording medium, and document image database organization device |
JPH11232296A (en) * | 1998-02-18 | 1999-08-27 | Mitsubishi Electric Corp | Document filing system and document filing method |
JP2000148793A (en) * | 1998-09-11 | 2000-05-30 | Nippon Telegr & Teleph Corp <Ntt> | Composite media document similarity search method and apparatus, and storage medium storing composite media document similarity search program |
-
2000
- 2000-06-20 JP JP2000185226A patent/JP2002007413A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0492971A (en) * | 1990-08-06 | 1992-03-25 | Canon Inc | Picture recording device |
JPH06325084A (en) * | 1993-01-19 | 1994-11-25 | Canon Inf Syst Inc | Document processing device, its method, document display device and its method |
JPH09237282A (en) * | 1996-03-01 | 1997-09-09 | Ricoh Co Ltd | Document image database search method, image feature vector extraction method, document image browsing system, machine-readable medium and image display method |
JPH10289241A (en) * | 1997-04-14 | 1998-10-27 | Canon Inc | Image processing apparatus and control method thereof |
JPH1115852A (en) * | 1997-06-27 | 1999-01-22 | Nippon Telegr & Teleph Corp <Ntt> | Image database center device, image database registration / search method, and recording medium |
JPH11149485A (en) * | 1997-09-24 | 1999-06-02 | Ricoh Co Ltd | Document image database search method, document image database organization method, recording medium, and document image database organization device |
JPH11232296A (en) * | 1998-02-18 | 1999-08-27 | Mitsubishi Electric Corp | Document filing system and document filing method |
JP2000148793A (en) * | 1998-09-11 | 2000-05-30 | Nippon Telegr & Teleph Corp <Ntt> | Composite media document similarity search method and apparatus, and storage medium storing composite media document similarity search program |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003289432A (en) * | 2002-03-28 | 2003-10-10 | Toshiba Corp | Printer and print method |
JP2003345815A (en) * | 2002-05-28 | 2003-12-05 | Jiishisu:Kk | Server and system for url search, and server and system for image processing |
US7437398B2 (en) * | 2004-07-30 | 2008-10-14 | Intel Corporation | Pattern matching architecture |
US8005300B2 (en) | 2005-07-21 | 2011-08-23 | Fuji Xerox Co., Ltd. | Image search system, image search method, and storage medium |
JP2007172077A (en) * | 2005-12-19 | 2007-07-05 | Fuji Xerox Co Ltd | Image search system, method thereof, and program thereof |
CN101950351B (en) * | 2008-12-02 | 2013-11-13 | 英特尔公司 | Method of identifying target image using image recognition algorithm |
JP2010152884A (en) * | 2008-12-02 | 2010-07-08 | Intel Corp | Image recognition algorithm, method of identifying target image using the same, and method of selecting data for transmission to portable electronic device |
CN101950351A (en) * | 2008-12-02 | 2011-01-19 | 英特尔公司 | Method of identifying target image using image recognition algorithm |
US8391615B2 (en) | 2008-12-02 | 2013-03-05 | Intel Corporation | Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device |
JP2010218109A (en) * | 2009-03-16 | 2010-09-30 | Ricoh Co Ltd | Image retrieval apparatus and image retrieval method |
JP2013504112A (en) * | 2009-09-04 | 2013-02-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Relevance visualization for content-based image retrieval |
US9495388B2 (en) | 2009-09-04 | 2016-11-15 | Koninkijke Philips N.V. | Visualization of relevance for content-based image retrieval |
JP5259876B2 (en) * | 2010-02-26 | 2013-08-07 | 楽天株式会社 | Information processing apparatus, information processing method, and recording medium recording information processing program |
JP2013145587A (en) * | 2013-03-22 | 2013-07-25 | Olympus Imaging Corp | Image search system |
CN112766269A (en) * | 2021-03-04 | 2021-05-07 | 深圳康佳电子科技有限公司 | Picture text retrieval method, intelligent terminal and storage medium |
CN112766269B (en) * | 2021-03-04 | 2024-03-12 | 深圳康佳电子科技有限公司 | Picture text retrieval method, intelligent terminal and storage medium |
WO2024117018A1 (en) * | 2022-12-01 | 2024-06-06 | 株式会社東芝 | Information processing system, information processing method, and program |
WO2025041187A1 (en) * | 2023-08-18 | 2025-02-27 | 日本電気株式会社 | Processing device |
CN119988318A (en) * | 2025-04-17 | 2025-05-13 | 浙江啄云智能科技有限公司 | Data archiving method, device, electronic equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7076503B2 (en) | Managing media objects in a database | |
US7844139B2 (en) | Information management apparatus, information management method, and computer program product | |
JP5309155B2 (en) | Interactive concept learning in image retrieval | |
US7801893B2 (en) | Similarity detection and clustering of images | |
US9430719B2 (en) | System and method for providing objectified image renderings using recognition information from images | |
US9053357B2 (en) | Identifying images using face recognition | |
US6549913B1 (en) | Method for compiling an image database, an image database system, and an image data storage medium | |
US7809192B2 (en) | System and method for recognizing objects from images and identifying relevancy amongst images and information | |
US8897505B2 (en) | System and method for enabling the use of captured images through recognition | |
US7809722B2 (en) | System and method for enabling search and retrieval from image files based on recognized information | |
CN100414549C (en) | Image search system, image search method and storage medium | |
US20080215548A1 (en) | Information search method and system | |
WO2009158135A2 (en) | Statistical approach to large-scale image annotation | |
US20060031211A1 (en) | Information processing apparatus, document search method, program, and storage medium | |
JP2002007413A (en) | Image retrieval device | |
JP4240896B2 (en) | Image classification system | |
WO2009031924A1 (en) | Method for creating an indexing system for searching objects on digital images | |
US20060026127A1 (en) | Method and apparatus for classification of a data object in a database | |
KR20030029410A (en) | System for searching image data being based on web and method thereof | |
JP2007011637A (en) | Image management device | |
JP2001357045A (en) | IMAGE MANAGEMENT DEVICE, IMAGE MANAGEMENT METHOD, AND IMAGE MANAGEMENT PROGRAM RECORDING MEDIUM | |
JP2001319232A (en) | Device and method for retrieving similar image | |
KR101896177B1 (en) | An Image Searching System Providing Multiplex Result | |
JPH07120355B2 (en) | Image information memory retrieval method | |
JP2003233800A (en) | Image retrieval system, image retrieval method, and computer program for retrieving image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100415 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100629 |