JP2007226536A - Image search apparatus, image search method, and image search program - Google Patents
Image search apparatus, image search method, and image search program Download PDFInfo
- Publication number
- JP2007226536A JP2007226536A JP2006046804A JP2006046804A JP2007226536A JP 2007226536 A JP2007226536 A JP 2007226536A JP 2006046804 A JP2006046804 A JP 2006046804A JP 2006046804 A JP2006046804 A JP 2006046804A JP 2007226536 A JP2007226536 A JP 2007226536A
- Authority
- JP
- Japan
- Prior art keywords
- digital image
- image content
- attribute
- display
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 8
- 239000013598 vector Substances 0.000 description 25
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するに際しての表示器の画面における画像の選択や属性の指定を検索者の意図に忠実に且つ簡便に行うことができる画像検索装置、方法、および、プログラムを提供する。
【解決手段】検索の基準（検索の出発点）としたデジタル画像コンテンツに付与されている複数の属性を提示し（２２０）、検索者が所望に応じ、検索の意図に近いと思われる属性を指定すると（２２１ａ）、基準としたデジタル画像コンテンツ（２１１ａ）と指定属性上類似した画像を複数表示する（２１０）。表示されたデジタル画像コンテンツから、最も類似するデジタル画像コンテンツを次の基準（出発点）として検索者が選択し（２１１ｂ）、上記検索操作を繰り返す。
【選択図】図２An image search apparatus capable of simply and faithfully and intentionally selecting an image and specifying an attribute on a display screen when searching for digital image content based on ambiguous memory by a searcher. , Methods, and programs are provided.
A plurality of attributes assigned to a digital image content as a reference for search (starting point of search) are presented (220), and an attribute that seems to be close to the intention of the search is selected by the searcher as desired. When designated (221a), a plurality of images similar in designation attribute to the reference digital image content (211a) are displayed (210). From the displayed digital image content, the searcher selects the most similar digital image content as the next reference (starting point) (211b), and repeats the above search operation.
[Selection] Figure 2
Description
本発明は、保存された比較的大量のデジタル画像コンテンツから、検索者によるあいまいな記憶に基づいて所望のデジタル画像コンテンツを検索する画像検索装置、画像検索方法、および、画像検索用プログラムに関する。 The present invention relates to an image search apparatus, an image search method, and an image search program for searching for a desired digital image content from a relatively large amount of stored digital image content based on ambiguous storage by a searcher.
近年、低価格で高画質な撮影を行うことが可能なデジタルカメラやデジタルビデオカメラが普及し、更に、大容量のメモリカードやハードディスクドライブ装置の利用も一般化してきていることとも相俟って、一般の検索者でも大量のデジタル画像コンテンツ（画像、映像）を保有することが可能になってきている。
一方、保存されているデジタル画像コンテンツが大量のものとなると、そこから所望のデジタル画像コンテンツを探し出すことは極めて困難である。
In recent years, digital cameras and digital video cameras capable of high-quality shooting at low prices have become widespread, and in addition, the use of large-capacity memory cards and hard disk drive devices has become common. Even a general searcher can hold a large amount of digital image content (images, videos).
On the other hand, when a large amount of digital image content is stored, it is extremely difficult to find a desired digital image content therefrom.
特に所望のデジタル画像コンテンツを探し出す情報、例えば日付や撮影被写体を明確に記憶している場合は稀である。従って、多くの場合、デジタル画像コンテンツの複数の属性に関するあいまいな記憶からデジタル画像コンテンツを探し出すことになる。
このような状況での画像の検索方法の一つとして、表示器に表示した画像の中から検索対象となる画像に類似していると感じられる画像を検索者に選択させながら、検索対象の画像を漸次絞り込み、大量の画像の中から検索者の意図に叶った画像を効率よく検索しようとする技術も提案されている。
In particular, it is rare that information for searching for a desired digital image content, for example, a date or a photographing subject is clearly stored. Therefore, in many cases, the digital image content is searched from ambiguous storage regarding a plurality of attributes of the digital image content.
As one of the image search methods in such a situation, the searcher image is selected while allowing the searcher to select an image that appears to be similar to the image to be searched from among the images displayed on the display device. There is also proposed a technique for gradually narrowing down and efficiently searching for an image that meets the searcher's intention from a large number of images.
この提案では、大量のデジタル画像コンテンツを夫々属性情報と伴って記憶装置に蓄積しておき、これら蓄積されたデジタル画像コンテンツのうちから複数のものを表示器に表示し、表示されたデジタル画像コンテンツのうち所望の画像に類似した画像を検索者に選択させ、この選択結果から検索者の意図に合った特徴量（注目属性）を判定し、判定結果から認識される属性において類似度が所定値以上のデジタル画像コンテンツを記憶装置から検索して表示器に表示するというものである（特許文献１参照）。
しかしながら、上述した特許文献１に提案の技術では、表示されたデジタル画像コンテンツのうち所望の画像に類似した画像を検索者に選択させるについて、その選択を如何に検索者の意図に忠実に簡便な方法で行い得るようにするかといった実用面で重要になる課題認識とその解決手段については別段の提案がなされていない。
本発明はこのような状況に鑑みてなされたものであり、検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するに際しての表示器の画面におけるデジタル画像コンテンツの選択や属性の指定を検索者の意図に忠実に且つ簡便に行うことができる画像検索装置、画像検索方法、および、画像検索用プログラムを提供することを目的とする。
However, in the technique proposed in
The present invention has been made in view of such a situation, and the searcher selects the digital image content and designates the attribute on the display screen when searching for the digital image content based on ambiguous memory by the searcher. An object of the present invention is to provide an image search apparatus, an image search method, and an image search program that can be performed faithfully and simply.
上記課題を解決するべく、本願では次に列記するような技術を提案する。尚、以下に述べる本発明の説明における「デジタル画像コンテンツ」の語は当該コンテンツが静止画像である場合も動画像（映像）である場合をも包摂する意である。 In order to solve the above-described problems, the present application proposes the following techniques. In the following description of the present invention, the term “digital image content” is intended to encompass both cases where the content is a still image and a moving image (video).
（１）検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するための画像検索装置であって、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示するためのデジタル画像コンテンツ表示手段と、前記デジタル画像コンテンツ表示手段によって表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択するためのデジタル画像コンテンツ選択手段と、前記デジタル画像コンテンツ選択手段によって選択されたデジタル画像コンテンツを基準として前記所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示するためのデジタル画像コンテンツ属性表示手段と、前記デジタル画像コンテンツ属性表示手段によって表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択手段と、検索対象となるデジタル画像コンテンツに関して前記デジタル画像コンテンツ属性選択手段によって選択された属性に係る類似度を各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出するためのデジタル画像コンテンツ類似度算出手段と、を含んで構成されていることを特徴とする画像検索装置。 (1) An image search apparatus for searching for digital image content based on ambiguous memory by a searcher, and a digital image content candidate that can be selected as a reference in one-step search in sequential search or Digital image content display means for displaying the digital image content searched for having a predetermined similarity with the digital image content selected as the reference on the display, and display on the display by the digital image content display means Digital image content selecting means for arbitrarily selecting a specific digital image content to be used as a reference in a one-stage search in a sequential search from among the digital image content obtained, and the digital image content selection Selected by means Digital image content attribute display means for recognizing the searcher to recognize attribute candidates related to similarity when searching for digital image content having the predetermined similarity with reference to digital image content; and the digital Digital image content attribute selection means for selecting a specific attribute as desired by the searcher from among the attribute candidates displayed by the image content attribute display means, and the digital image content attribute for the digital image content to be searched Digital image content similarity calculating means for calculating each degree of similarity related to the attribute selected by the selection means and extracting digital image content having a relatively high similarity. A featured image retrieval device.
上記（１）の画像検索装置では、検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するに際し、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツをデジタル画像コンテンツ表示手段によって、適用された、例えば液晶表示器のような表示器（テレビジョン受像機やパーソナルコンピュータにおける表示器であっても、また、独立したモニタとしての表示器であってもよい）に表示する。 In the image search apparatus of (1) above, when searching for digital image content based on ambiguous memory by the searcher, candidates for digital image content that can be selected as a reference in one-step search in sequential search or A digital image content retrieved as having a predetermined similarity with the digital image content selected as the reference is applied by a digital image content display means, for example, a display such as a liquid crystal display (television receiver) Or a display device in a personal computer, or a display device as an independent monitor).
この表示を見た検索者が自己の任意によって、デジタル画像コンテンツ選択手段を操作して、これらのデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択する。
デジタル画像コンテンツ属性表示手段が、デジタル画像コンテンツ選択手段によって選択されたデジタル画像コンテンツを基準としてこの基準と所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示する。
The searcher who sees this display operates the digital image content selection means by his / her own discretion, and selects a specific digital image content to be used as a reference in a one-step search in the sequential search from among these digital image contents. Is arbitrarily selected by the searcher.
When the digital image content attribute display means searches for digital image content having a predetermined similarity with the reference based on the digital image content selected by the digital image content selection means, the attribute candidate related to the similarity is searched. Display in a recognizable manner.
このデジタル画像コンテンツ属性表示手段による表示を見た検索者が、デジタル画像コンテンツ属性選択手段を通して、自己の任意によりこれら表示された属性の候補のうちから特定の属性を選択する。
デジタル画像コンテンツ類似度算出手段が、検索対象となるデジタル画像コンテンツに関して、デジタル画像コンテンツ属性選択手段を通して選択された属性に係る類似度を各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出する。
このようにして抽出されたデジタル画像コンテンツは上記デジタル画像コンテンツ表示手段によって、上述のような表示器に表示される。
A searcher who sees the display by the digital image content attribute display means selects a specific attribute from among the displayed attribute candidates through his / her digital image content attribute selection means.
The digital image content similarity calculation means calculates the similarity related to the attribute selected through the digital image content attribute selection means for the digital image content to be searched, and obtains the digital image content having a relatively high similarity. Extract.
The digital image content extracted in this way is displayed on the display as described above by the digital image content display means.
（２）前記デジタル画像コンテンツ類似度算出手段は、当該類似度が相対的に高いデジタル画像コンテンツを複数抽出し、前記デジタル画像コンテンツ表示手段は、当該複数抽出されたデジタル画像コンテンツを同時に前記表示器に表示すると共に類似度に応じて表示方法を変更することを特徴とする（１）の画像検索装置。
上記（２）の画像検索装置では、（１）の画像検索装置において特に、デジタル画像コンテンツ類似度算出手段は、当該類似度が相対的に高いデジタル画像コンテンツを複数抽出し、デジタル画像コンテンツ表示手段は、当該複数抽出されたデジタル画像コンテンツを同時に前記表示器に表示すると共に類似度に応じて表示方法を変更するため、検索者が表示器の画面上で、複数のデジタル画像コンテンツを同時に視認できるので便利であり、且つ、類似度に応じて表示方法が変更されるため、装置側での類似度の認識状況を把握しながら検索作業を行うことができる。
(2) The digital image content similarity calculation means extracts a plurality of digital image contents having a relatively high similarity, and the digital image content display means simultaneously outputs the plurality of extracted digital image contents to the display device. And the display method is changed according to the degree of similarity.
In the image search device of (2), particularly in the image search device of (1), the digital image content similarity calculation means extracts a plurality of digital image contents having a relatively high similarity, and the digital image content display means Since the plurality of extracted digital image contents are displayed on the display device at the same time and the display method is changed according to the similarity, the searcher can view the plurality of digital image contents on the display device at the same time. Therefore, it is convenient and the display method is changed according to the similarity, so that the search operation can be performed while grasping the recognition status of the similarity on the apparatus side.
（３）前記デジタル画像コンテンツ類似度算出手段は、当該類似度が相対的に高いデジタル画像コンテンツを複数抽出し、前記デジタル画像コンテンツ表示手段は、当該複数抽出されたデジタル画像コンテンツのうち類似度が最も高いデジタル画像コンテンツを前記表示器の表示面における所定の基準位置に表示し、該基準位置に表示されたデジタル画像コンテンツに対して相対的に高い類似度を有するデジタル画像コンテンツほど該基準位置に近接した位置に配置するようにして同時に複数のデジタル画像コンテンツを前記表示器に当該類似度の系列に従って表示するように構成されていることを特徴とする（１）の画像検索装置。 (3) The digital image content similarity calculation means extracts a plurality of digital image contents having a relatively high similarity, and the digital image content display means has a similarity between the extracted digital image contents. The highest digital image content is displayed at a predetermined reference position on the display surface of the display unit, and the digital image content having a relatively high similarity to the digital image content displayed at the reference position is located at the reference position. (1) The image search device according to (1), wherein a plurality of digital image contents are simultaneously displayed on the display device according to the similarity series so as to be arranged at close positions.
上記（３）の画像検索装置では、（１）の画像検索装置において特に、デジタル画像コンテンツ類似度算出手段は、当該類似度が相対的に高いデジタル画像コンテンツを複数抽出し、デジタル画像コンテンツ表示手段は、当該複数抽出されたデジタル画像コンテンツのうち類似度が最も高いデジタル画像コンテンツを表示器の表示面における所定の基準位置に表示する。 In the image search device of (3) above, particularly in the image search device of (1), the digital image content similarity calculation means extracts a plurality of digital image contents having a relatively high similarity, and the digital image content display means Displays the digital image content having the highest similarity among the plurality of extracted digital image content at a predetermined reference position on the display surface of the display.
更に、該基準位置に表示されたデジタル画像コンテンツに対して相対的に高い類似度を有するデジタル画像コンテンツほど該基準位置に近接した位置に配置するようにして同時に複数のデジタル画像コンテンツを前記表示器に当該類似度の系列に従って表示する。
このため、検索者が表示器の画面上で、検索での基準とされるデジタル画像コンテンツに対して相対的に高い類似度を有する複数のデジタル画像コンテンツを同時に視認できるので便利であり、且つ、デジタル画像コンテンツの表示位置が、基準とされるデジタル画像コンテンツに対して相対的に高い類似度を有するデジタル画像コンテンツほど該基準位置に近接した位置に配置するようにして表示されるため、表示の判読が容易であり、この表示によって操作性に優れた検索の作業環境が提供される。
Furthermore, the digital image content having a relatively high degree of similarity to the digital image content displayed at the reference position is arranged at a position closer to the reference position, and a plurality of digital image contents are simultaneously displayed on the display unit. Are displayed according to the series of the similarity.
For this reason, it is convenient because the searcher can simultaneously view a plurality of digital image contents having a relatively high similarity to the digital image content used as a reference in the search on the display screen, and Since the display position of the digital image content has a relatively high similarity to the reference digital image content, the digital image content is displayed so as to be arranged at a position closer to the reference position. Reading is easy, and this display provides a search work environment with excellent operability.
（４）前記デジタル画像コンテンツ表示手段は、現在時点よりも以前の時点で前記表示器に表示したデジタル画像コンテンツを現在時点での検索者の操作に応じて再度表示し得るように構成されていることを特徴とする（１）の画像検索装置。
上記（４）の画像検索装置では、（１）の画像検索装置において特に、コンテンツ選択表示処理手段は、現在時点よりも以前の時点で前記表示器に表示したデジタル画像コンテンツを現在時点での検索者の操作に応じて再度表示し得るため、検索者は状況に応じて過去の表示に遡って検索操作をやり直すことができる。
(4) The digital image content display means is configured to be able to display again the digital image content displayed on the display at a time before the current time according to the searcher's operation at the current time. (1) The image search apparatus characterized by the above-mentioned.
In the image search device of (4) above, particularly in the image search device of (1), the content selection display processing means searches the digital image content displayed on the display at a time before the current time at the current time. Since it can be displayed again according to the user's operation, the searcher can redo the search operation retroactively to the past display according to the situation.
（５）前記デジタル画像コンテンツ表示手段は、予め設定された属性毎の類似度の基準に照らして、現在時点で前記表示器に表示しているデジタル画像コンテンツにおける複数の属性のうち、他のデジタル画像コンテンツとの類似度が当該基準より低い属性は表示しないことを特徴とする（１）の画像検索装置。
上記（５）の画像検索装置では、（１）の画像検索装置において特に、コンテンツ選択表示処理手段は、予め設定された属性毎の類似度の基準に照らして、現在時点で前記表示器に表示しているデジタル画像コンテンツにおける複数の属性のうち、他のデジタル画像コンテンツとの類似度が当該基準より低い属性は表示しないため、必要な限りの判読容易な表示が行われる。
(5) The digital image content display means, based on a similarity criterion for each attribute set in advance, out of a plurality of attributes in the digital image content displayed on the display at the present time The image search apparatus according to (1), wherein an attribute having a similarity to the image content lower than the reference is not displayed.
In the image search device of (5) above, particularly in the image search device of (1), the content selection display processing means displays on the display at the current time point in view of a similarity criterion for each preset attribute. Among the plurality of attributes in the digital image content that is being used, an attribute that is lower in similarity to the other digital image content than the reference is not displayed.
（６）前記デジタル画像コンテンツ属性表示手段は、前記属性の候補として、撮影日時、撮影場所、色相分布、構図、被写体の人物数、被写体人物、メタデータのいずれかを含む属性を表示するように構成されていることを特徴とする（１）の画像検索装置。
上記（６）の画像検索装置では、（１）の画像検索装置において特に、デジタル画像コンテンツ属性表示手段は、基準となるデジタル画像コンテンツと類似性の高いデジタル画像コンテンツを検索するに際しての、該類似性に係る属性の候補として、撮影日時、撮影場所、色相分布、構図、被写体の人物数、被写体人物、メタデータのいずれかを含む属性を表示するため、この表示を見た検索者は、これらの属性のいずれかに着目した検索を行うべくデジタル画像コンテンツ属性選択手段を通して所望に応じた属性を選択することができる。
(6) The digital image content attribute display means displays an attribute including any of shooting date / time, shooting location, hue distribution, composition, number of subjects, subject person, and metadata as the attribute candidate. The image search device according to (1), wherein the image search device is configured.
In the image search device of (6) above, particularly in the image search device of (1), the digital image content attribute display means searches for the digital image content having a high similarity to the reference digital image content. Since the attributes including any of the shooting date / time, shooting location, hue distribution, composition, number of subjects, subject person, and metadata are displayed as candidate attributes related to sex, It is possible to select an attribute as desired through the digital image content attribute selection means in order to perform a search focusing on one of the attributes.
（７）前記デジタル画像コンテンツ属性選択手段は、検索対象となるデジタル画像コンテンツに関する類似度に応じて当該類似度に係る属性選択操作の容易性が変化するように構成されていることを特徴とする（１）の画像検索装置。
上記（７）の画像検索装置では、（１）の画像検索装置において特に、デジタル画像コンテンツ属性選択手段は、属性の類似度に応じて属性指定操作の容易性が変化するものであり、類似度が相対的に低い属性については、例えば、意識的に操作キーを所定時間以上押下操作した状態が維持されたときに限ってこのキー操作を有効なものとして受付けたり、或いは、関係する表示の輝度を下げて視認性を意識的に低下させたりすること等により、属性の類似度に見合うように操作の容易性が変化する。このため、類似度が相対的に低い属性を（ユーザーが）あらかじめ認識できるので、効率的な検索が可能になる。
(7) The digital image content attribute selection means is configured such that the ease of attribute selection operation related to the similarity changes according to the similarity with respect to the digital image content to be searched. (1) The image search device.
In the image search device of (7) above, particularly in the image search device of (1), the digital image content attribute selection means changes the ease of attribute designation operation according to the similarity of attributes, and the similarity For an attribute with a relatively low value, for example, this key operation is accepted as valid only when the state in which the operation key is pressed down for a predetermined time or more is maintained, or the brightness of the related display The ease of operation changes to match the degree of similarity of attributes by, for example, lowering the visibility consciously. For this reason, since an attribute with a relatively low similarity can be recognized in advance (by the user), an efficient search becomes possible.
（８）検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するための画像検索方法であって、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示し、該表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択するためのデジタル画像コンテンツ選択操作を受付け、該受付けたデジタル画像コンテンツ選択操作によって選択されたデジタル画像コンテンツを基準として前記所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示器に表示し、該表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択操作を受付け、該受付けたデジタル画像コンテンツ属性選択操作によって選択された属性に係る類似度を検索対象となるデジタル画像コンテンツに関して各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出することを特徴とする画像検索方法。 (8) An image search method for searching digital image content based on ambiguous memory by a searcher, wherein the digital image content candidate or selectable to be used as a reference in one-step search in sequential search The digital image content searched for having a predetermined similarity with the digital image content selected as the reference is displayed on the display, and one of the digital image contents displayed on the display is sequentially searched. Accepting a digital image content selection operation for arbitrarily selecting a specific digital image content as a reference in the search of the stage, and using the digital image content selected by the received digital image content selection operation as a reference Digital image having the predetermined similarity In order to display the candidate of the attribute related to the similarity in searching the content on the display unit so that the searcher can recognize it, and to select a specific attribute from the displayed attribute candidate arbitrarily by the searcher The digital image content attribute selection operation is received, and the degree of similarity relating to the attribute selected by the received digital image content attribute selection operation is calculated for each digital image content to be searched, and the similarity is relatively high. An image search method characterized by extracting image content.
上記（８）の画像検索方法では、検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するに際して、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示する。
該表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択するためのデジタル画像コンテンツ選択操作を受付ける。
In the image search method of the above (8), when searching for digital image content based on ambiguous memory by the searcher, candidates for digital image content that can be selected as a reference in one-step search in sequential search or The digital image content retrieved as having a predetermined similarity with the digital image content selected as the reference is displayed on the display.
Accepting a digital image content selection operation for arbitrarily selecting a specific digital image content from among the digital image contents displayed on the display unit as a reference in a one-stage search in a sequential search .
該受付けたデジタル画像コンテンツ選択操作によって選択されたデジタル画像コンテンツを基準として所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示器に表示しておき、該表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択操作を受付ける。
該受付けたデジタル画像コンテンツ属性選択操作によって選択された属性に係る類似度を予め蓄積するなどして用意された検索対象となるデジタル画像コンテンツに関して各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出する。
The searcher can recognize candidate attributes related to similarity when searching for digital image content having a predetermined similarity with the digital image content selected by the received digital image content selection operation as a reference. A digital image content attribute selection operation for selecting a specific attribute as desired by the searcher from the displayed attribute candidates is accepted.
A digital image having a relatively high similarity degree by calculating each of the digital image contents to be searched that are prepared by, for example, storing the similarity degree related to the attribute selected by the received digital image content attribute selection operation in advance. Extract content.
（９）検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するための画像検索処理用プログラムであって、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示するデジタル画像コンテンツ表示処理と、該表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択するためのデジタル画像コンテンツ選択操作を受付けるデジタル画像コンテンツ選択操作受付処理と、該受付けたデジタル画像コンテンツ選択操作によって選択されたデジタル画像コンテンツを基準として前記所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示器に表示するデジタル画像コンテンツ属性表示処理と、該表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択操作を受付けるデジタル画像コンテンツ属性選択操作受付処理と、該受付けたデジタル画像コンテンツ属性選択操作によって選択された属性に係る類似度を検索対象となるデジタル画像コンテンツに関して各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出するデジタル画像コンテンツ類似度算出処理との各処理をコンピュータに実行させることを特徴とする画像検索用プログラム。 (9) An image search processing program for searching digital image content based on ambiguous storage by a searcher, wherein the digital image content can be selected as a reference in one-step search in sequential search A digital image content display process for displaying the digital image content retrieved as having a predetermined similarity to the candidate or the digital image content selected as the reference on the display, and the digital image content displayed on the display A digital image content selection operation reception process for receiving a digital image content selection operation for arbitrarily selecting a specific digital image content to be used as a reference in a one-stage search in a sequential search from among the search, and the reception Digital image content selection operation Digital image content attribute display for displaying a candidate for an attribute related to similarity when the digital image content having the predetermined similarity is searched on the basis of the digital image content selected by Processing, a digital image content attribute selection operation acceptance process for accepting a digital image content attribute selection operation for selecting a specific attribute as desired by the searcher from the displayed attribute candidates, and the received digital image Each of the digital image content similarity calculation processing for calculating the similarity related to the attribute selected by the content attribute selection operation with respect to the digital image content to be searched and extracting the digital image content having a relatively high similarity It is characterized by having a computer execute the process. Image search program.
上記（９）の画像検索用プログラムでは、所定のコンピュータにインストールされて稼動したときには、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示するデジタル画像コンテンツ表示処理と、該表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択するためのデジタル画像コンテンツ選択操作を受付けるデジタル画像コンテンツ選択操作受付処理と、該受付けたデジタル画像コンテンツ選択操作によって選択されたデジタル画像コンテンツを基準として前記所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示器に表示するデジタル画像コンテンツ属性表示処理と、該表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択操作を受付けるデジタル画像コンテンツ属性選択操作受付処理と、該受付けたデジタル画像コンテンツ属性選択操作によって選択された属性に係る類似度を検索対象となるデジタル画像コンテンツに関して各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出するデジタル画像コンテンツ類似度算出処理との各処理が実行され得る。 When the image search program of (9) is installed and operated on a predetermined computer, it is selected as a digital image content candidate that can be selected as a reference in a one-step search in sequential search or as the reference. Digital image content display processing for displaying the digital image content searched for having a predetermined similarity with the digital image content on the display, and one of the sequential search from the digital image content displayed on the display A digital image content selection operation acceptance process for accepting a digital image content selection operation for arbitrarily selecting a specific digital image content to be used as a reference in the search at the stage, and the received digital image content selection operation chosen A digital image content attribute display process for displaying a candidate for an attribute related to the similarity when searching for the digital image content having the predetermined similarity on the basis of the digital image content; Digital image content attribute selection operation acceptance processing for accepting a digital image content attribute selection operation for selecting a specific attribute as desired by the searcher from among the displayed attribute candidates, and the accepted digital image content attribute selection operation Each processing is performed with respect to the digital image content to be searched for by calculating the similarity related to the attribute selected by the digital image content and extracting the digital image content having a relatively high similarity. obtain.
以下、本発明の実施の形態を図面を参照して説明する。尚、以下に参照する図においては、便宜上、説明の主題となる要部は適宜誇張し、要部以外については適宜簡略化し乃至省略されている。
図１は、本発明の一つの実施の形態を表す概念図である。本発明の実施の形態としての画像検索装置１００は、検索者によるあいまいな記憶に基づいて検索対象となる多くのデジタル画像コンテンツの中から所望のものを検索するに適合するものである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings to be referred to below, for the sake of convenience, the main part that is the subject of the description is exaggerated as appropriate, and other than the main part is appropriately simplified or omitted.
FIG. 1 is a conceptual diagram showing one embodiment of the present invention. The
この検索は、検索者が検索における基準とすべく当初に選択したデジタル画像コンテンツ（以下に述べる順次の検索における当初の検索の出発点とするものであり、多くの場合静止画像であるがこれに限られない）に対し複数呈示される属性のうちから所望に応じて該検索者により選択された属性に関して類似度が相対的に高いデジタル画像コンテンツを本画像検索装置１００が抽出し、適用された、例えば液晶表示器のような表示器（テレビジョン受像機やパーソナルコンピュータにおける表示器であっても、また、独立したモニタとしての表示器であってもよい）に表示する。
This search is the digital image content initially selected by the searcher as a reference in the search (the starting point of the initial search in the sequential search described below, which is often a still image, The
このように表示されたデジタル画像コンテンツのうちから検索者が次の検索における基準（次の検索の出発点）とすべく或るデジタル画像コンテンツを選択すると、以下、同様にして、順次、検索対象となる多くのデジタル画像コンテンツの中から所望のものを検索する動作が繰り返し実行され得る。
即ち、複数のデジタル画像コンテンツを複数提示し、検索属性を選択しながら、検索操作を繰り返すことで、所望のデジタル画像コンテンツを検索できるようにする。
When a searcher selects a certain digital image content from among the digital image contents displayed in this way to be used as a reference (starting point of the next search) in the next search, the search target is sequentially sequentially changed. The operation of searching for a desired one of many digital image contents can be repeatedly executed.
That is, a plurality of digital image contents are presented, and a desired digital image content can be searched by repeating a search operation while selecting a search attribute.
図１の実施の形態では、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示するためのデジタル画像コンテンツ表示手段１１０が設けられている。
デジタル画像コンテンツ表示手段１１０は、上述のような表示を当該適用された表示器に行うための信号処理を行うものであるが、このデジタル画像コンテンツ表示手段１１０自体に、例えば液晶表示器のような表示器をも有する構成を採って支障はない。
In the embodiment of FIG. 1, a search is performed on the assumption that a digital image content candidate that can be selected as a reference in a one-step search in a sequential search or a digital image content selected as the reference has a predetermined similarity. A digital image
The digital image content display means 110 performs signal processing for performing the display as described above on the applied display. The digital image content display means 110 itself includes a liquid crystal display, for example. There is no problem in adopting a configuration having an indicator.
デジタル画像コンテンツ表示手段１１０によって表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択する（より厳密には、この選択の操作を受付ける）ためのデジタル画像コンテンツ選択手段１２０が設けられている。
このデジタル画像コンテンツ選択手段１２０は、例えばキーボードのようなキー入力装置、リモートコントローラ、および／または、マウスやジョイスティックのような表示器の画面におけるカーソルを操作するポインティングデバイス等とそれらによる入力を処理する処理機能部の形態を採り得る。
A specific digital image content is arbitrarily selected by the searcher to be used as a reference in a one-step search in the sequential search from among the digital image contents displayed on the display device by the digital image content display means 110 (more strictly). Is provided with digital image content selection means 120 for accepting this selection operation.
The digital image content selection means 120 processes a key input device such as a keyboard, a remote controller, and / or a pointing device that operates a cursor on a display screen such as a mouse and a joystick, and inputs by them. The form of a processing function part can be taken.
このデジタル画像コンテンツ選択手段１２０による特定のデジタル画像コンテンツの選択は、後に図２を参照して説明するように、例えば、該当するサムネイル画像を枠線で特定するなどして表示器に表示される。
デジタル画像コンテンツ選択手段１２０によって選択されたデジタル画像コンテンツを基準として、或る属性に注目して見たときに所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る当該属性の候補を当該検索者が認識可能に表示するためのデジタル画像コンテンツ属性表示手段１３０が設けられている。
The selection of the specific digital image content by the digital image content selection means 120 is displayed on the display unit, for example, by specifying the corresponding thumbnail image with a frame line, as will be described later with reference to FIG. .
Using the digital image content selected by the digital image
このデジタル画像コンテンツ属性表示手段１３０による属性の候補の表示は、この手段１３０において表示を行うための信号処理（データ処理）が実行され、本実施の形態では、既述のデジタル画像コンテンツ自体の表示に適用されるものと共通の表示器に表示が行われる。
画像コンテンツ属性選択手段１４０が設けられ、この手段１４０によって、上述のようにしてデジタル画像コンテンツ属性表示手段１３０によって表示器に表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するための操作の受付けと処理が行われる。
The display of candidate attributes by the digital image content attribute display means 130 is performed by signal processing (data processing) for display in this means 130. In the present embodiment, the display of the above-described digital image content itself is displayed. The display is made on the same display as that applied to the.
An image content
この画像コンテンツ属性選択手段１４０は、より具体的には、デジタル画像コンテンツ選択手段１２０について説明したところと同様の、例えばキーボードのようなキー入力装置、リモートコントローラ、および／または、マウスやジョイスティックのような表示器の画面におけるカーソルを操作するポインティングデバイス等とそれらによる入力を処理する処理機能部の形態を採り得る。
More specifically, the image content
この画像コンテンツ属性選択手段１４０による特定の属性の選択は、後に図２を参照して説明するように、例えば、表示画面における該当する属性表示のアイコンにカーソルを合わせてクリックする等して行われ得る。
更に、デジタル画像コンテンツ類似度算出手段としての機能部を含むシステムコントローラ１５０が設けられ、このシステムコントローラ１５０のデジタル画像コンテンツ類似度算出手段としての機能部によって、例えばハードディスクドライブのようなデジタル画像コンテンツ記憶手段１６０に蓄積されるなどして準備された検索対象となるデジタル画像コンテンツに関して、デジタル画像コンテンツ属性選択手段１４０によって選択された属性に係る類似度を各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出するための演算処理が実行される。
The selection of a specific attribute by the image content
Further, a
システムコントローラ１５０は、例えば、コンピュータの演算処理機能部によって構成され、このようにデジタル画像コンテンツ類似度算出手段としての機能部を含み、且つ、上掲のデジタル画像コンテンツ表示手段１１０、デジタル画像コンテンツ選択手段１２０、デジタル画像コンテンツ属性表示手段１３０、画像コンテンツ属性選択手段１４０、および、デジタル画像コンテンツ記憶手段１６０と信号伝送路によって結ばれ、所要の命令およびデータの授受を行って、本発明の実施の形態としての画像検索装置１００の系全体を統括的に制御する。
The
図２は、本発明を実施したときの既述の表示器における表示の一例を表す図である。図２では、適用された、例えば液晶表示器やプラズマディスプレイのような表示器２００（テレビジョン受像機やパーソナルコンピュータにおける表示器であっても、また、独立したモニタとしての表示器であってもよい）の表示面２１０に、順次の検索操作における検索の出発点としての基準にするデジタル画像コンテンツ（例えば静止画像）の候補が複数サムネイル表示されている（その内容を、１０，２０，３０，４０，５０，６０，７０，８０，９０と象徴的に表記）。
FIG. 2 is a diagram illustrating an example of display on the above-described display when the present invention is implemented. In FIG. 2, the applied
また、これらのデジタル画像コンテンツと共に、表示面２００上に細線の破線で囲むように図示された属性表示フィールド２２０には、類似度に関する属性（複数の選択可能な候補である「撮影場所」、「撮影日時」、「色相分布」、「構図」、「人物数」、「被写体人物」）を表す属性アイコン２２１が表示され、属性表示フィールド外には、その他所要の操作ボタン様の操作アイコン２３０（図示の例では「検索続行」、「検索終了」、「戻る」）が夫々表示されている。
In addition to these digital image contents, an
尚、属性表示フィールド２２０におけるような属性として、図示は省略するが、検索対象となるデジタル画像コンテンツ（図１のデジタル画像コンテンツ記憶手段１６０に格納された各デジタル画像コンテンツ）には通常メタデータが付帯しており、このメタデータをも選択可能な一つの属性（候補）とし、これに対応する例えば象徴的な乃至は略語のようなアイコンをも属性表示フィールド２２０における属性として加えた構成を採ってもよい。
Although not shown as an attribute in the
上述のような属性表示フィールド２２０における表示を見た検索者は、これらの属性のいずれかに着目した検索を行うべくデジタル画像コンテンツ属性選択手段を通して所望に応じた属性を選択することができる。図示の例では「撮影場所」のアイコン２２１ａが選択されている様子を太線の実線で示している。
A searcher who sees the display in the
図１を参照して説明したような、例えばキーボードのようなキー入力装置、リモートコントローラ、および／または、マウスやジョイスティックのようなポインティングデバイス等（不図示）を用いて、検索者たるユーザーが表示器２００の画面（表示面２１０）において公知のカーソルを移動させて確定操作を行うことによって、図中１０，２０，３０，４０，５０，６０，７０，８０，９０と象徴的に表記された複数のサムネイル表示された候補のうちから順次の検索操作における検索の出発点としての基準にするデジタル画像コンテンツ（図示の例では「２０」であり、）が選択される。
Displayed by a searcher user using a key input device such as a keyboard, a remote controller, and / or a pointing device such as a mouse or a joystick (not shown) as described with reference to FIG. The symbol (10, 20, 30, 40, 50, 60, 70, 80, 90) is symbolically represented by moving a known cursor on the screen (display surface 210) of the
このように検索の出発点としての基準にするデジタル画像コンテンツが選択された状態で、属性表示フィールド２２０に表示された属性（選択可能な候補）のうちから、例えば図示のように「撮影場所」を選択する（選択されたものが図では太線の実線で表されている）。以上の選択が行われ、次いで、操作アイコン２３０の「検索続行」が選択操作されると（この操作が行われたアイコンが図では太線の実線で表されて参照符号２２１ａを附してある）、上述のように設定された条件下での検索が実行される。
In this state, with the digital image content used as a reference as a starting point of the search being selected, among the attributes (selectable candidates) displayed in the
図３は、図２の表示と操作に次いで表示器に現れる表示の例を表す図である。即ち、図２のように設定された条件下での検索が実行された結果としての表示の例を表している。この表示例から、検索の出発点としての基準にするデジタル画像コンテンツ「２０」に、「撮影場所」という属性で類似度が相対的に高いデジタル画像コンテンツとして表示器２００の画面（表示面２１０）に２１，２２，２３，２４，２５，２６，２７，２８と象徴的に表記されたデジタル画像コンテンツがサムネイル表示される。この例では、基準にするデジタル画像コンテンツ「２０」も同じ画面の最上段左端の位置にサムネイル表示される。
FIG. 3 is a diagram illustrating an example of a display that appears on the display after the display and operation of FIG. That is, an example of display as a result of executing a search under conditions set as shown in FIG. From this display example, the screen (display surface 210) of the
図３の状態では、検索者たるユーザーによって、次の検索の出発点としての基準にするデジタル画像コンテンツ「２１」が選択されている（参照符号２１１ｂを附してある）。次いで、再び、属性を選択すれば、上述のような検索が繰り返し実行され、所望のデジタル画像コンテンツが次々にサムネイル表示されることになる。
上述のように繰り返して検索を行う過程での、本実施の形態における特徴は次のような点にある。
In the state of FIG. 3, the digital image content “21” as a reference as a starting point for the next search is selected by the user who is the searcher (
The characteristics of the present embodiment in the process of performing the search repeatedly as described above are as follows.
即ち、図２の段階（この場合は検索の当初の段階）で一の属性（この例では「撮影場所」）が選択された結果、この属性での類似度が相対的に高いデジタル画像コンテンツ「２１」、「２２」、「２３」、「２４」、「２５」、「２６」、「２７」、「２８」がサムネイル表示され、そのうちから次の検索の出発点としての基準にするデジタル画像コンテンツ「２１」が選択されたが、このデジタル画像コンテンツ「２１」には被写体人物が全く含まれていないといった場合には、当該次の検索における属性の選択可能な範囲から「被写体人物」が自動的に除外され、属性表示フィールド２２０からその表示が消去される（細線の破線で図示し参照符号２２１ｂを附してある）。 That is, as a result of selecting one attribute (in this example, “shooting location”) in the stage of FIG. 2 (in this case, the initial stage of the search), the digital image content “relatively high similarity in this attribute” 21 ”,“ 22 ”,“ 23 ”,“ 24 ”,“ 25 ”,“ 26 ”,“ 27 ”,“ 28 ”are displayed as thumbnails, from which a digital image is used as a reference as a starting point for the next search. When the content “21” is selected, but the digital image content “21” does not include any subject person, the “subject person” is automatically selected from the selectable range of attributes in the next search. And the display is deleted from the attribute display field 220 (shown by a thin broken line and attached with reference numeral 221b).
即ち、この構成の基とされている本発明の実施の形態における技術思想は、予め設定された属性毎の類似度の基準に照らして、現在時点で表示器２００に表示しているデジタル画像コンテンツ（図３の例では、デジタル画像コンテンツ「２１」）における複数の属性のうち（図３の例では、属性表示フィールド２２０における各属性のうち）、検索対象となる他のデジタル画像コンテンツ（図１のデジタル画像コンテンツ記憶手段１６０に格納された各デジタル画像コンテンツ）との類似度が当該基準より低い属性（図３の例では、デジタル画像コンテンツ「２１」に関して「被写体人物」は皆無）は表示しないというものである。無駄な表示で限られた表示面を占有してしまうといった不合理が発生せず、必要な限りの判読容易な表示が行われる。
That is, the technical idea in the embodiment of the present invention based on this configuration is that the digital image content displayed on the
属性の選択に関しては、更に、図１を参照して既述のデジタル画像コンテンツ属性選択手段１４０は、検索対象となるデジタル画像コンテンツに関する類似度に応じて当該類似度に係る属性選択操作の容易性が変化するように構成されていることを一つの特徴としている。
即ち、デジタル画像コンテンツ記憶手段に含まれる他のデジタル画像コンテンツと相対的に類似度が低い場合には、類似度が相対的に低い属性については、例えば、意識的に操作キーを所定時間以上押下操作した状態が維持されたときに限ってこのキー操作を有効なものとして受付けたり、或いは、関係する表示の輝度を下げて視認性を意識的に低下させたりすること等により、属性の類似度に見合うように操作の容易性が変化する。このため、類似度が低い属性を（ユーザーが）あらかじめ認識できるので、効率的な検索が可能になる。
Regarding the selection of attributes, the digital image content
That is, when the similarity is relatively low with other digital image content included in the digital image content storage means, for example, for an attribute with a relatively low similarity, the operation key is consciously pressed for a predetermined time or more. Accepting this key operation as valid only when the operated state is maintained, or by reducing the brightness of the related display and consciously reducing visibility, etc. The ease of operation changes to meet the requirements. For this reason, since an attribute with low similarity can be recognized in advance (by the user), an efficient search can be performed.
また、上記類似度が相対的に高いデジタル画像コンテンツ「２１」、「２２」、「２３」、「２４」、「２５」、「２６」、「２７」、「２８」のサムネイル表示は、このときの検索の基準にしたデジタル画像コンテンツ「２０」が画面の最上段左端の位置にサムネイル表示されているのと同じ最上段に、この「２０」に隣接して、最上段中央位置に、最も類似度が高いデジタル画像コンテンツ「２１」が表示され（この表示位置を「基準位置」という）、次いで類似度が高い「２２」がその右隣に隣接して表示され、中段の位置には、類似度がこれらに次いで高い「２３」、「２４」、「２５」が、更に、下段の位置には類似度がこれらに次ぐ「２６」、「２７」、「２８」がサムネイル表示されるといったように、類似度に応じて表示方法を変更する点（この場合では、相対的に高い類似度を有するデジタル画像コンテンツほど上記基準位置に近接した位置に配置するが、このような配置方法は一例であって、類似度に応じて一定の表示のルールが適用されれば良い）も一つの特徴である。 In addition, the thumbnail display of the digital image contents “21”, “22”, “23”, “24”, “25”, “26”, “27”, “28” having relatively high similarity The digital image content “20” used as a reference for the search at the top of the screen is the same as the thumbnail displayed at the leftmost position of the top row, adjacent to the “20”, at the center of the top row. Digital image content “21” having a high similarity is displayed (this display position is referred to as “reference position”), and then “22” having a high similarity is displayed adjacent to the right side thereof. “23”, “24”, “25” with the second highest similarity are displayed as thumbnails, and “26”, “27”, “28” with the second highest similarity are displayed as thumbnails at the lower position. To display according to similarity (In this case, digital image content having a relatively high degree of similarity is arranged at a position closer to the reference position. However, such an arrangement method is an example, and is constant according to the degree of similarity. (It is sufficient if the display rule is applied).
即ち、基準位置に表示されたデジタル画像コンテンツに対して相対的に高い類似度を有するデジタル画像コンテンツほど該基準位置に近接した位置に配置するようにして同時に複数のデジタル画像コンテンツを前記表示器に当該類似度の系列に従って表示するように構成されており、ユーザーは相対的に高い類似度を有する複数のデジタル画像コンテンツを同時に視認できるので便利であり、且つ、装置側での類似度の認識状況を把握しながら検索作業を行うことができ、更に、表示の判読が容易であり、この表示によって操作性に優れた検索の作業環境が提供される。 That is, a digital image content having a relatively high similarity to the digital image content displayed at the reference position is arranged at a position closer to the reference position, and a plurality of digital image contents are simultaneously displayed on the display. It is configured to display according to the series of similarity, and it is convenient because the user can view a plurality of digital image contents having relatively high similarity at the same time, and the recognition status of similarity on the device side It is possible to perform a search operation while grasping the information, and the display is easy to interpret. This display provides a search work environment with excellent operability.
図３において、現在時点での検索者の操作に応じて、操作アイコン２３０中の「戻る」のアイコンが選択操作されると、現在時点よりも以前の時点で表示器２００に表示したデジタル画像コンテンツ（この例では図２のもの）が再度表示されるように構成されているため、検索者は状況に応じて過去の表示に遡って検索操作をやり直すことができる。
In FIG. 3, when the “return” icon in the
図４は、図１乃至図３を参照して説明した本発明の実施の形態の動作について時系列に表したフローチャートである。
装置の電源をオンにして適宜の準備操作が行われ動作が開始すると、先ず、検索当初の所定のデフォルト画面としての設定に従って、図２のようなデジタル画像コンテンツの選択候補（１０，２０，３０，４０，５０，６０，７０，８０，９０と象徴的に表記）が表示器に複数サムネイル表示されている状態になる（ステップＳ４０１）。
FIG. 4 is a flowchart showing the operation of the embodiment of the present invention described with reference to FIGS. 1 to 3 in time series.
When the apparatus is turned on and an appropriate preparation operation is performed and the operation starts, first, according to the setting as a predetermined default screen at the beginning of the search, digital image content selection candidates (10, 20, 30) as shown in FIG. , 40, 50, 60, 70, 80, 90) are displayed in a plurality of thumbnails on the display (step S401).
ステップＳ４０１のような表示を行うための処理は、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示するデジタル画像コンテンツ表示処理の一部に該当する処理として実行される。 The processing for performing the display as in step S401 is a digital image content candidate that can be selected as a reference in a one-stage search in a sequential search or a predetermined similarity with a digital image content selected as the reference. This processing is executed as a process corresponding to a part of the digital image content display processing for displaying the digital image content searched as being on the display.
ステップＳ４０１の状態で表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツをユーザーである検索者の任意によって選択するためのデジタル画像コンテンツ選択操作を受付けるデジタル画像コンテンツ選択操作受付処理に移行する。
このデジタル画像コンテンツ選択操作受付処理では、先ず、このようなデジタル画像コンテンツに対する選択操作があるまで待機し（ステップＳ４０２：Ｎｏ）、選択操作があったときには（ステップＳ４０２：Ｙｅｓ）その操作を受付けて、選択されたデジタル画像コンテンツを検索における出発点たる基準画像として認識する（ステップＳ４０３）。
Digital image content selection for arbitrarily selecting a specific digital image content from among the digital image contents displayed in the state of step S401 as a reference in a one-stage search in a sequential search. The process proceeds to a digital image content selection operation acceptance process for accepting an operation.
In this digital image content selection operation acceptance processing, first, it waits until there is a selection operation for such digital image content (step S402: No), and when there is a selection operation (step S402: Yes), the operation is accepted. The selected digital image content is recognized as a reference image as a starting point in the search (step S403).
次いで、ステップＳ４０３で受付たデジタル画像コンテンツ選択操作によって選択されたデジタル画像コンテンツを基準として、所定の類似度がある（類似度が相対的に高い）デジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を検索者が認識可能に表示器に表示するデジタル画像コンテンツ属性表示処理が実行される。
このデジタル画像コンテンツ属性表示処理はステップＳ４０１のデフォルト画面に、図２のように、属性フィールド２２０に選択可能な一通りの属性の表示がなされるため、選択された基準画像としてのデジタル画像コンテンツには該当しないような属性の表示を行なわない等、属性フィールド２２０の表示を該当する属性の表示へと更新するようにして行なわれる（ステップＳ４０４）。
Next, based on the digital image content selected by the digital image content selection operation received in step S403, the degree of similarity when searching for digital image content having a predetermined similarity (relatively high similarity) A digital image content attribute display process for displaying a candidate for the attribute on the display unit so that the searcher can recognize it is executed.
In this digital image content attribute display process, since the default screen of step S401 displays a variety of attributes that can be selected in the
次いで、ステップＳ４０４で表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択操作を受付けるデジタル画像コンテンツ属性選択操作受付処理へと移行する。
このデジタル画像コンテンツ属性選択操作受付処理では、先ず、デジタル画像コンテンツの属性に対する選択操作があるまで待機し（ステップＳ４０５：Ｎｏ）、選択操作があったときには（ステップＳ４０５：Ｙｅｓ）その操作を受付けて、選択されたデジタル画像コンテンツの属性として認識する（ステップＳ４０６）。
Next, the process proceeds to a digital image content attribute selection operation reception process for receiving a digital image content attribute selection operation for selecting a specific attribute as desired by the searcher from among the attribute candidates displayed in step S404.
In this digital image content attribute selection operation accepting process, first, it waits until there is a selection operation for the attribute of the digital image content (step S405: No), and when there is a selection operation (step S405: Yes), the operation is accepted. This is recognized as an attribute of the selected digital image content (step S406).
次いで、受付けたデジタル画像コンテンツ属性選択操作によって選択された属性に係る類似度を検索対象となるデジタル画像コンテンツに関して各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出するデジタル画像コンテンツ類似度算出処理を実行する。この抽出はデジタル画像コンテンツ記憶手段（図１、１６０）に蓄積された検索の母集団たるデジタル画像コンテンツのうち該当するものについて行なわれる（ステップＳ４０７）。 Next, the digital image content similarity for extracting the digital image content having a relatively high similarity by calculating the similarity related to the attribute selected by the received digital image content attribute selection operation with respect to the digital image content to be searched The degree calculation process is executed. This extraction is performed for the corresponding digital image content as a search population stored in the digital image content storage means (FIG. 1, 160) (step S407).
次いで、ステップＳ４０７で抽出されたデジタル画像コンテンツを所定の配列で表示画面（表示面２１０）に表示する。茲に、所定の配列での表示とは、図３を参照して既述のように、基準位置に表示されたデジタル画像コンテンツに対して相対的に高い類似度を有するデジタル画像コンテンツほど該基準位置に近接した位置に配置するようにして同時に複数のデジタル画像コンテンツを当該類似度の系列に従ってサムネイル表示する（ステップＳ４０８）。 Next, the digital image content extracted in step S407 is displayed on the display screen (display surface 210) in a predetermined arrangement. Furthermore, as described above with reference to FIG. 3, display in a predetermined arrangement means that the digital image content having a relatively high similarity to the digital image content displayed at the reference position is the reference. At the same time, a plurality of digital image contents are displayed as thumbnails in accordance with the similarity series so as to be arranged at positions close to the positions (step S408).
このステップＳ４０８での表示の処理も、ステップＳ４０１について説明したデジタル画像コンテンツ表示処理の一部に該当する処理として実行される。
上述のような処理過程でサムネイル表示されたデジタル画像コンテンツは、検索者の所望に応じてタッチパネル操作やポインティングデバイスによる選択・確定操作等によって伸長処理されて通常のサイズに表示され得るが、これらの機能自体は公知のものであるため詳細な説明は省略する。
The display process in step S408 is also executed as a process corresponding to a part of the digital image content display process described in step S401.
Digital image content displayed as thumbnails in the above-described processing process can be decompressed and displayed in a normal size by a touch panel operation or a selection / confirmation operation by a pointing device according to a searcher's request. Since the function itself is publicly known, detailed description is omitted.
ステップＳ４０８での表示が行なわれて移行に、ユーザーたる検索者によって操作ボタン型の操作アイコン２３０（図２、図３のように「検索続行」、「検索終了」、「戻る」）の何れが操作されたかが判定される（ステップＳ４０９）。
ステップＳ４０９で、「検索終了」が選択されたと判定されたときには必要なデータの保存処理等を含む検索終了処理を実行し（ステップＳ４１０）、処理を終了する。
As a result of the display in step S408, the operation button type operation icon 230 ("Continue search", "End search", "Return" as shown in FIGS. 2 and 3) is selected by the searcher who is the user). It is determined whether it has been operated (step S409).
If it is determined in step S409 that “search end” is selected, a search end process including a necessary data saving process is executed (step S410), and the process ends.
一方、「検索続行」が選択されたと判定されたときには、上述のステップＳ４０２に戻って、これ以降の処理を繰り返す。
また、「戻る」が選択されたと判定されたときには、以前に表示した表示内容に戻るための処理を実行し（ステップＳ４１１）、この処理の後、当該以前に表示した表示内容から処理をやり直すことができるように上述のステップＳ４０２に戻って、これ以降の処理を繰り返す。
On the other hand, when it is determined that “continue search” is selected, the process returns to step S402 described above, and the subsequent processing is repeated.
If it is determined that “return” is selected, a process for returning to the previously displayed display content is executed (step S411), and after this process, the process is restarted from the previously displayed display content. So that the process returns to step S402 described above, and the subsequent processing is repeated.
以上、フローチャートに基づいて説明した各処理のうち、ステップＳ４０７のデジタル画像コンテンツ類似度算出処理に関してその詳細を説明する。
本実施の形態では、属性を表現する特徴ベクトルを生成し、この特徴ベクトル間の距離を用いて各属性の類似度を算出する。以下に、注目した属性毎の類似度の算出について各別に説明する。
The details of the digital image content similarity calculation process in step S407 will be described among the processes described based on the flowchart.
In the present embodiment, a feature vector expressing an attribute is generated, and the similarity of each attribute is calculated using the distance between the feature vectors. Hereinafter, calculation of similarity for each attribute of interest will be described separately.
・属性「撮影日時」について：デジタルスチルカメラ用画像ファイルフォーマット規格であるＥｘｉｆ ２．２では、撮影した日時の情報をデジタルコンテンツと共に記録する標準規格が規定されている。この情報を抽出して、特徴ベクトルＶ＝（day）を生成する。
この特徴ベクトルは1次元で、dayは基準日時からの経過時間である。このときの基準日時は任意で良い。例えば、基準日時を２００１年１月１日０時として、経過時間をdayで表現すればよく、dayの単位は秒を採用する。
Attribute “Shooting Date / Time”: Exif 2.2, which is an image file format standard for digital still cameras, defines a standard for recording information on shooting date and time together with digital content. This information is extracted to generate a feature vector V = (day).
This feature vector is one-dimensional, and day is the elapsed time from the reference date. The reference date and time at this time may be arbitrary. For example, the reference date and time may be expressed as midnight on January 1, 2001, and the elapsed time may be expressed as day, and the unit of day employs seconds.
・属性「撮影場所」について：撮影日時と同じく、デジタルスチルカメラ用画像ファイルフォーマット規格であるＥｘｉｆ ２．２では撮影した緯度、経度をデジタルコンテンツと共に記録する標準規格が規定されている。この情報を抽出して、特徴ベクトルＶ＝（ｘ,ｙ）を生成する。この特徴ベクトルは２次元で、ｘ，ｙは緯度及び経度である。 Attribute “Shooting Location”: Like the shooting date and time, Exif 2.2, which is an image file format standard for digital still cameras, defines a standard for recording latitude and longitude of a shot together with digital content. This information is extracted to generate a feature vector V = (x, y). This feature vector is two-dimensional, and x and y are latitude and longitude.
・属性「色相分布」について：色相分布の特徴ベクトルは、次のようにして生成する。
１）対象画像を所定のブロック、例えば１６×１６ブロックに分割する。
２）各ブロックの色の平均値を算出する。
３）算出した色とブロックの位置を用いて、特徴ベクトルを生成する。
About the attribute “Hue distribution”: The feature vector of the hue distribution is generated as follows.
1) The target image is divided into predetermined blocks, for example, 16 × 16 blocks.
2) The average value of the color of each block is calculated.
3) A feature vector is generated using the calculated color and block position.
即ち、特徴ベクトルは、Ｖ＝（ｒ1，ｇ1，ｒ2，ｇ2，……，ｒ256，ｇ256）
となり、５１２（１６×１６×２）次元のベクトルである。ここで、Ｒ，Ｇ，ＢをＲ成分、Ｇ成分、Ｂ成分とした場合、ｒ、ｇはＲ、ＧをＲ＋Ｇ＋Ｂで除した値の各ブロックでの平均値であり、次の数式１〜３で表される。
That is, the feature vector is V = (r 1 , g 1 , r 2 , g 2 ,..., R 256 , g 256 ).
And a 512 (16 × 16 × 2) dimensional vector. Here, when R, G, and B are R components, G components, and B components, r and g are average values in each block of values obtained by dividing R and G by R + G + B. It is represented by
ここにｍkは、ブロックｋの画素数である。勿論、ｒ，ｇ，ｂの代わりにＲ，Ｇ，Ｂを用いても良い。 Here, m k is the number of pixels of the block k. Of course, R, G, and B may be used instead of r, g, and b.
・属性「構図」について：本実施の形態においては、構図の判定方法を同一デジタル画像コンテンツ内の注目度を算出することによって行う。即ち、デジタル画像コンテンツを構成する各画素の注目度と画素の位置から特徴ベクトルを生成する。即ち、構図を表す特徴ベクトルは、Ｖ＝（ｆ1，ｆ2，……，ｆn）となり、この特徴ベクトルの次元は画素数であり、ｆ1，ｆ2，……，ｆnは各画素の注目度である。 Regarding the attribute “composition”: In the present embodiment, the composition determination method is performed by calculating the degree of attention in the same digital image content. That is, a feature vector is generated from the attention level and pixel position of each pixel constituting the digital image content. That is, the feature vector representing the composition, V = (f 1, f 2, ......, f n) , and the dimension of the feature vector is the number of pixels, f 1, f 2, ...... , f n is the This is the degree of attention of the pixel.
「注目度」は本出願人が特開２００４−２２８９９３号公報（同公報にて引用の、特開２００１−１２６０７０号公報「注目領域抽出装置およびそれを用いた自動構図決定装置」に「誘目度」として更に詳細開示あり）にて既に開示したものと同義であり、端的には、人間の主観に合致した方法で評価を行うことによって特定される、物理的特徴によって規定される注目領域のことである。 “Attention degree” is disclosed in Japanese Patent Laid-Open No. 2004-228993 (referred to in Japanese Patent Application Laid-Open No. 2001-122070 “Attention area extraction device and automatic composition determination device using the same”). Is a synonym for what has already been disclosed in “Detailed Disclosure”), and in short, a region of interest specified by physical characteristics, identified by performing evaluation in a manner that matches human subjectivity. It is.
・属性「被写体の人物数」について：人物顔を検出するための手法は様々な手法が知られているが、例えば、特開平８−６３５９７号公報に開示されている手法を用いることができる。この手法では、輪郭およびテンプレートのマッチング度により人物の顔を検出する。
人物顔の検出結果により、特徴ベクトルは、Ｖ＝（ｎ）となり、１次元のベクトルである。ここにｎは、検出した人物顔の数である。
Regarding the attribute “number of subjects”: Various methods for detecting a person's face are known. For example, the method disclosed in Japanese Patent Laid-Open No. 8-63597 can be used. In this method, a human face is detected based on the degree of matching between the contour and the template.
According to the detection result of the human face, the feature vector is V = (n), which is a one-dimensional vector. Here, n is the number of detected human faces.
・属性「被写体人物」について：人物の顔を認識する手法もまた、様々な手法が知られているが、例えば、特開平５−２０４４２号公報に開示されている手法を用いることができる。この手法では、顔画像から特徴パターンを抽出し（フーリエスペクトル）、識別辞書ファイルを用いて、個人識別を行う。特徴ベクトルは、Ｖ＝（ｈ1，ｈ2，……，ｈn） となり、ｎ次元のベクトルである。ここにｈ1，……，ｈnはデジタル画像コンテンツに含まれていた人物に対応し、デジタル画像コンテンツに含まれていれば１、含まれていなければ０とする。 Regarding the attribute “subject person”: Various methods for recognizing a person's face are known. For example, the method disclosed in Japanese Patent Laid-Open No. 5-20442 can be used. In this method, a feature pattern is extracted from a face image (Fourier spectrum), and personal identification is performed using an identification dictionary file. The feature vector is V = (h 1 , h 2 ,..., H n ), and is an n-dimensional vector. Here, h 1 ,..., H n correspond to persons included in the digital image content, and are 1 if included in the digital image content, and 0 if not included.
・属性「メタデータ」について：デジタル画像コンテンツを検索しやすくするために、あるいは説明を加えるために、該デジタル画像コンテンツに付与されたテキスト（語句または文）である。テキストを構成する語によって、メタデータの類似度を定義することができる。
一方、メタデータ自体は画像に固有のものではなくより一般的なものであるところから、その取り扱いに関するより一般的な開示がある次の文献を引用して、その説明として援用する。
About the attribute “metadata”: text (phrase or sentence) given to the digital image content in order to make it easy to search the digital image content or add a description. The similarity of metadata can be defined by the words constituting the text.
On the other hand, since the metadata itself is more general than unique to the image, the following document with more general disclosure regarding its handling is cited and used as an explanation thereof.
即ち：Concept Based Query Expansion, Y.Qiu，Proc.SIGIR-93,16th ACM International Conference on Research and Development in Information Retrieval,1993には、多数の文書を用いて、語の類似度を示す特徴ベクトルを以下のように定義することができることが開示されている。これによれば、多数の文書を解析した結果から、語の類似度を示す特徴ベクトルをＶ＝（ｄ1，ｄ2，……，ｄn）のように定義することができる。
この特徴ベクトルはｎ次元（参照した文書数）であり、ｄkは、各文書で出現した頻度から求めた重みである。また、同じ文献に開示されているように、上記ベクトルを正規化して用いても良い。
That: Concept Based Query Expansion, Y.Qiu, the Proc.SIGIR-93,16 th ACM International Conference on Research and Development in Information Retrieval, 1993, using a number of documents, the feature vector indicating the similarity of the words It is disclosed that it can be defined as follows. According to this, from a result of analyzing a large number of documents, a feature vector indicating a word similarity can be defined as V = (d 1 , d 2 ,..., D n ).
This feature vector is n-dimensional (the number of documents referred to), and d k is a weight obtained from the frequency of appearance in each document. Further, as disclosed in the same document, the above vector may be normalized and used.
次に、以上の各属性に関して生成した夫々の特徴ベクトル間の距離を用いて類似度を算出する。 Next, the similarity is calculated using the distance between the respective feature vectors generated for each of the above attributes.
ここで
Ｄk：基準とする、デジタル画像コンテンツと、デジタル画像コンテンツｋとの類似度（即ち、Ｄkが小さければ、類似度が高いとみなすことができる）。
ｄk i：類似度を調べるデジタル画像コンテンツｋの、属性ｉの特徴ベクトル
ｄi：基準とする、デジタル画像コンテンツの、属性ｉの特徴ベクトル
Ｗi：属性が異なる特徴ベクトルの距離を調整するための、重み係数。
σm i：検索者が指定した属性をｍとした場合、以下の何れかの値を設定する。
Here, D k : the similarity between the digital image content and the digital image content k as a reference (that is, if D k is small, it can be considered that the similarity is high).
d k i : Feature vector of attribute i of digital image content k whose similarity is to be examined d i : Feature vector of attribute i of digital image content as reference, W i : To adjust the distance between feature vectors having different attributes Of the weighting factor.
σ m i : When the attribute designated by the searcher is m, one of the following values is set.
（１）指定した属性のみで類似度を算出する場合
指定した属性のみを考慮する場合である。
ｍ＝ｉの時、1、ｍ≠ｉの時、０とする。
（２）指定した属性以外も考慮して、類似度を算出する場合
検索結果が大きく変化するのを回避する場合に使用する。
ｍ＝ｉの時、1、ｍ≠ｉの時、１よりも小さい値。
(1) When calculating similarity using only specified attributes
This is when only the specified attributes are considered.
Set to 1 when m = i and 0 when m ≠ i.
(2) When calculating the degree of similarity considering other than the specified attributes
Used to avoid significant changes in search results.
1 when m = i, and smaller than 1 when m ≠ i.
以上に説明したところから容易に理解される通り、本発明は、検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するための画像検索方法であって、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補（図２：１０，２０，３０，４０，５０，６０，７０，８０，９０）または当該基準として選択されたデジタル画像コンテンツ（図２：２０）と所定の類似度があるものとして検索されたデジタル画像コンテンツ（図３：２１，２２，２３，２４，２５，２６，２７，２８）を表示器（２００）に表示し（図４：ステップＳ４０１、ステップＳ４９８）、該表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択するためのデジタル画像コンテンツ選択操作を受付け（図４：ステップＳ４０２、ステップＳ４０３）、該受付けたデジタル画像コンテンツ選択操作によって選択されたデジタル画像コンテンツ（図２：２０）を基準として前記所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示器に表示し（図４：ステップＳ４０４、図３：属性表示フィールド２２０）、該表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択操作を受付け（図４：ステップＳ４０５、ステップＳ４０６）、該受付けたデジタル画像コンテンツ属性選択操作によって選択された属性に係る類似度を検索対象となるデジタル画像コンテンツに関して各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出する（図４：ステップＳ４０７）ことを特徴とする画像検索方法としても観念されるものである。 As can be easily understood from the above description, the present invention is an image search method for searching digital image content based on ambiguous memory by a searcher, and is a one-step search in sequential search. Digital image content candidates (FIG. 2: 10, 20, 30, 40, 50, 60, 70, 80, 90) that can be selected as the reference in FIG. 2 or digital image content selected as the reference (FIG. 2:20). ) And the digital image content (FIG. 3: 21, 22, 23, 24, 25, 26, 27, 28) retrieved as having a predetermined similarity is displayed on the display (200) (FIG. 4: step). S401, step S498), the digital image content displayed on the display unit should be used as a reference for the search in one stage in the sequential search. A digital image content selection operation for selecting a specific digital image content as desired by the searcher is accepted (FIG. 4: Steps S402 and S403), and the digital image content selected by the accepted digital image content selection operation ( The candidate of the attribute related to the similarity when searching for the digital image content having the predetermined similarity with reference to FIG. 2:20) is displayed on the display so that the searcher can recognize (FIG. 4: Step S404, FIG. 3: Attribute display field 220), and accepts a digital image content attribute selection operation for selecting a specific attribute as desired by the searcher from among the displayed attribute candidates (FIG. 4: Steps S405 and S406). ) By the received digital image content attribute selection operation An image search method characterized in that the similarity related to the selected attribute is calculated for each digital image content to be searched and the digital image content having a relatively high similarity is extracted (FIG. 4: step S407). As well.
更に、本発明は、以上に説明した装置の機能をコンピュータによって実現し、乃至は、方法をコンピュータによって実行するためのプログラムとして、検索者によるあいまいな記憶に基づいてデジタル画像コンテンツを検索するための画像検索処理用プログラムであって、順次の検索における一の段階の検索における基準とするべく選択可能なデジタル画像コンテンツの候補または当該基準として選択されたデジタル画像コンテンツと所定の類似度があるものとして検索されたデジタル画像コンテンツを表示器に表示するデジタル画像コンテンツ表示処理と（図４：ステップＳ４０１、ステップＳ４０８）、該表示器に表示されたデジタル画像コンテンツのうちから順次の検索における一の段階の検索における基準とするべく特定のデジタル画像コンテンツを当該検索者の任意によって選択するためのデジタル画像コンテンツ選択操作を受付けるデジタル画像コンテンツ選択操作受付処理と（図４：ステップＳ４０２、ステップＳ４０３）、該受付けたデジタル画像コンテンツ選択操作によって選択されたデジタル画像コンテンツを基準として前記所定の類似度があるデジタル画像コンテンツを検索するに際しての類似度に係る属性の候補を当該検索者が認識可能に表示器に表示するデジタル画像コンテンツ属性表示処理と（図４：ステップＳ４０４、図３：属性表示フィールド２２０）、該表示された属性の候補のうちから当該検索者の任意によって特定の属性を選択するためのデジタル画像コンテンツ属性選択操作を受付けるデジタル画像コンテンツ属性選択操作受付処理と（図４：ステップＳ４０５、ステップＳ４０６）、該受付けたデジタル画像コンテンツ属性選択操作によって選択された属性に係る類似度を検索対象となるデジタル画像コンテンツに関して各算出して当該類似度が相対的に高いデジタル画像コンテンツを抽出するデジタル画像コンテンツ類似度算出処理（図４：ステップＳ４０７）との各処理をコンピュータに実行させるプログラムであることを特徴とするものである。 Furthermore, the present invention realizes the functions of the apparatus described above by a computer, or searches digital image content based on ambiguous memory by a searcher as a program for executing the method by a computer. It is an image search processing program that has a predetermined similarity to a digital image content candidate that can be selected as a reference in a one-step search in a sequential search or a digital image content selected as the reference A digital image content display process for displaying the searched digital image content on the display (FIG. 4: step S401, step S408), and one stage in the sequential search from the digital image content displayed on the display Specific digital to serve as a reference in search A digital image content selection operation acceptance process for accepting a digital image content selection operation for selecting an image content as desired by the searcher (FIG. 4: step S402, step S403), and the selected digital image content selection operation. A digital image content attribute display process for displaying a candidate for an attribute related to the similarity when the digital image content having the predetermined similarity is searched with reference to the digital image content as a reference so that the searcher can recognize the attribute. FIG. 4: Step S404, FIG. 3: Attribute display field 220), Digital image content for accepting a digital image content attribute selection operation for selecting a specific attribute as desired by the searcher from among the displayed attribute candidates Attribute selection operation acceptance processing and ( 4: Step S405, Step S406), the digital image content having a relatively high similarity by calculating the similarity related to the attribute selected by the received digital image content attribute selection operation with respect to the digital image content to be searched. The present invention is characterized by being a program for causing a computer to execute each process of the digital image content similarity calculation process (FIG. 4: step S407) for extracting content.
以上説明した本発明の実施の形態では、あいまいな記憶に基づいて、デジタル画像コンテンツの検索が可能であり、また、煩雑な検索キーワードや検索式の入力が不要である。
また、本発明は、例えば、ハードディスクドライブのような大容量の画像記憶機能部を内蔵するデジタルテレビジョン受像機のような形態としても実現され、或いは、大容量の画像記憶機能部に格納された多数のデジタル画像コンテンツのうちから、ユーザーの所望に応じたデジタル画像コンテンツを検索して画面に表示するフォトビューアとしても実現され、更に、ＤＶＤレコーダーの形態でも実現される。
In the embodiment of the present invention described above, digital image content can be searched based on ambiguous storage, and complicated search keywords and search expressions are not required to be input.
In addition, the present invention can be realized as a digital television receiver having a large-capacity image storage function unit such as a hard disk drive, or stored in a large-capacity image storage function unit. It is also realized as a photo viewer that searches digital image contents according to the user's request from a large number of digital image contents and displays them on the screen, and is also realized in the form of a DVD recorder.
更に、本発明の装置は、所要の機能部の保有の仕方として、図１を参照して既述のような、典型的にはフォトビューアやハードディスクドライブを内蔵するデジタルテレビジョン受像機のように所要の機能部を全て自己に保有して一つの筐体で完結したような形態を採る他、何れの機能部を自己の内部に保有して構成するかに応じて、以下に図を参照して例示するように、種々の形態を採り得る。 In addition, the apparatus of the present invention, as described above with reference to FIG. 1, typically has a function such as a digital television receiver with a built-in photo viewer or hard disk drive. In addition to adopting a form in which all the required functional parts are owned by oneself and completed in one case, refer to the figure below depending on which functional part is owned and configured within itself. As illustrated, various forms may be adopted.
図５は、本発明の他の実施の形態を表す概念図である。図５において図１との対応部には同一の参照符号を附してある。
図５の実施の形態では、画像検索装置１００は自己の外部の例えばハードディスクドライブのような大容量のデジタル画像コンテンツ記憶手段１６０と結ばれて、このデジタル画像コンテンツ記憶手段１６０に蓄積された検索の母集団となる大量のデジタル画像コンテンツに対して検索を行なう。
FIG. 5 is a conceptual diagram showing another embodiment of the present invention. In FIG. 5, the same reference numerals are assigned to the corresponding parts in FIG.
In the embodiment of FIG. 5, the
本発明の画像検索装置１００がフォトビューアとしても実現され外部のハードディスクドライブ装置と接続された場合も、図５のような形態に該当し、また、本発明の画像検索装置１００がデジタルテレビジョン受像機として実現され外部のハードディスクドライブ装置と接続された場合も、図５のような形態に該当する。
When the
図１を参照して説明したところと同様に、システムコントローラ１５０の統括的な制御下で、デジタル画像コンテンツ表示手段１１０、デジタル画像コンテンツ選択手段１２０、デジタル画像コンテンツ属性表示手段１３０、画像コンテンツ属性選択手段１４０が機能するが、デジタル画像コンテンツ表示手段１１０は、本装置がデジタルテレビジョン受像機として実現される場合には、映像表示画面としての表示器をも有する構成を採り、デジタル画像コンテンツ選択手段１２０およびデジタル画像コンテンツ属性表示手段１３０は映像表示画面上に表示されたアイコンに対して選択・確定の操作を行い得るリモートコントローラとこれに対応する信号処理部とによって実現される。
As described with reference to FIG. 1, under the overall control of the
図６は、本発明の更に他の実施の形態を表す概念図である。図６において図１との対応部には同一の参照符号を附してある。
図６の実施の形態では、画像検索装置１００は、デジタル画像コンテンツ表示手段１１０が画像表示を行なうために適用する表示器２００は自己の外部の例えば独立したモニタ装置であって、これを接続して用い、デジタル画像コンテンツ選択手段１２０に関連して、選択操作を受付けるための選択操作受付手段１２１として、自己の外部の、例えばリモートコントローラ等を用いる。その一方、大容量のデジタル画像コンテンツ記憶手段１６０を自己の内部に保有する。
FIG. 6 is a conceptual diagram showing still another embodiment of the present invention. In FIG. 6, the same reference numerals are assigned to the corresponding parts in FIG.
In the embodiment of FIG. 6, in the
図６の構成においても、システムコントローラ１５０は、デジタル画像コンテンツ表示手段１１０、デジタル画像コンテンツ選択手段１２０、および、デジタル画像コンテンツ記憶手段１６０の作動を統括的に制御するが、例えばリモートコントローラである選択操作受付手段１２１によって、デジタル画像コンテンツ表示手段１１０が画像表示を行なうために適用する表示器２００にサムネイル表示された画像やアイコンを選択・確定操作するような制御が行われる。
In the configuration of FIG. 6 as well, the
図６の構成は、典型的にはリモートコントローラで操作し表示器として外部のテレビモニタ等を利用するフォトビューアとしても実現され、また、ＤＶＤレコーダーとしても実現される。 The configuration of FIG. 6 is typically realized as a photo viewer that is operated by a remote controller and uses an external television monitor or the like as a display, and is also realized as a DVD recorder.
１００…画像検索装置 １１０…デジタル画像コンテンツ表示手段 １２０…デジタル画像コンテンツ選択手段 １２１…選択操作受付手段 １３０…デジタル画像コンテンツ属性表示手段 １４０…デジタル画像コンテンツ属性選択手段 １５０…システムコントローラ １６０…デジタル画像コンテンツ記憶手段 ２００…表示器 ２１０…表示面 ２１１ａ…検索の出発点としての基準にするデジタル画像コンテンツ ２２０…属性表示フィールド ２２１…属性アイコン ２２１ａ…属性表示フィールドから選択された属性のアイコン ２２１ｂ…属性表示フィールドでの表示が消去された属性のアイコン ２３０…操作アイコン
DESCRIPTION OF
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006046804A JP2007226536A (en) | 2006-02-23 | 2006-02-23 | Image search apparatus, image search method, and image search program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006046804A JP2007226536A (en) | 2006-02-23 | 2006-02-23 | Image search apparatus, image search method, and image search program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007226536A true JP2007226536A (en) | 2007-09-06 |
Family
ID=38548301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006046804A Pending JP2007226536A (en) | 2006-02-23 | 2006-02-23 | Image search apparatus, image search method, and image search program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007226536A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205467A (en) * | 2008-02-28 | 2009-09-10 | Seiko Epson Corp | Image output method, image output device, and image output program |
| JP2010212932A (en) * | 2009-03-10 | 2010-09-24 | Nikon Corp | Image display device |
| JP2010283691A (en) * | 2009-06-05 | 2010-12-16 | Casio Computer Co Ltd | Image specifying device, display control device, image specifying program, and display control program |
| JP2011039755A (en) * | 2009-08-11 | 2011-02-24 | Nippon Telegr & Teleph Corp <Ntt> | Data retrieval method, data retrieval device and data retrieval program |
| JP2012044251A (en) * | 2010-08-12 | 2012-03-01 | Casio Comput Co Ltd | Image display device and program |
| US8451365B2 (en) | 2009-09-04 | 2013-05-28 | Olympus Imaging Corp. | Image control apparatus, image control method, and recording medium |
| JP2013225876A (en) * | 2013-06-04 | 2013-10-31 | Casio Comput Co Ltd | Image specifying device, and image specifying program |
| CN103823678A (en) * | 2014-02-21 | 2014-05-28 | 联想(北京)有限公司 | Image processing method and image processing device |
| KR20140089170A (en) * | 2013-01-04 | 2014-07-14 | 삼성전자주식회사 | Method and apparatus for playing contents in electronic device |
| JP2014522012A (en) * | 2011-05-26 | 2014-08-28 | トムソン ライセンシング | Visual search and recommended user interface and equipment |
| JP2015049796A (en) * | 2013-09-03 | 2015-03-16 | キヤノン株式会社 | Information processing device, display device, and display system |
| JP2016057901A (en) * | 2014-09-10 | 2016-04-21 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| JP2016081330A (en) * | 2014-10-17 | 2016-05-16 | 富士通株式会社 | Search result display program, information processing apparatus, and search result display method |
| KR20190133653A (en) * | 2019-11-25 | 2019-12-03 | 삼성전자주식회사 | Method and apparatus for playing contents in electronic device |
| US10732799B2 (en) | 2014-07-14 | 2020-08-04 | Samsung Electronics Co., Ltd | Electronic device for playing-playing contents and method thereof |
| KR20200119761A (en) * | 2019-11-25 | 2020-10-20 | 삼성전자주식회사 | Method and apparatus for playing contents in electronic device |
-
2006
- 2006-02-23 JP JP2006046804A patent/JP2007226536A/en active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009205467A (en) * | 2008-02-28 | 2009-09-10 | Seiko Epson Corp | Image output method, image output device, and image output program |
| JP2010212932A (en) * | 2009-03-10 | 2010-09-24 | Nikon Corp | Image display device |
| JP2010283691A (en) * | 2009-06-05 | 2010-12-16 | Casio Computer Co Ltd | Image specifying device, display control device, image specifying program, and display control program |
| JP2011039755A (en) * | 2009-08-11 | 2011-02-24 | Nippon Telegr & Teleph Corp <Ntt> | Data retrieval method, data retrieval device and data retrieval program |
| US8451365B2 (en) | 2009-09-04 | 2013-05-28 | Olympus Imaging Corp. | Image control apparatus, image control method, and recording medium |
| JP2012044251A (en) * | 2010-08-12 | 2012-03-01 | Casio Comput Co Ltd | Image display device and program |
| JP2014522012A (en) * | 2011-05-26 | 2014-08-28 | トムソン ライセンシング | Visual search and recommended user interface and equipment |
| US9990394B2 (en) | 2011-05-26 | 2018-06-05 | Thomson Licensing | Visual search and recommendation user interface and apparatus |
| KR102050594B1 (en) * | 2013-01-04 | 2019-11-29 | 삼성전자주식회사 | Method and apparatus for playing contents in electronic device |
| KR20140089170A (en) * | 2013-01-04 | 2014-07-14 | 삼성전자주식회사 | Method and apparatus for playing contents in electronic device |
| JP2013225876A (en) * | 2013-06-04 | 2013-10-31 | Casio Comput Co Ltd | Image specifying device, and image specifying program |
| JP2015049796A (en) * | 2013-09-03 | 2015-03-16 | キヤノン株式会社 | Information processing device, display device, and display system |
| CN103823678A (en) * | 2014-02-21 | 2014-05-28 | 联想(北京)有限公司 | Image processing method and image processing device |
| US10732799B2 (en) | 2014-07-14 | 2020-08-04 | Samsung Electronics Co., Ltd | Electronic device for playing-playing contents and method thereof |
| US11249620B2 (en) | 2014-07-14 | 2022-02-15 | Samsung Electronics Co., Ltd | Electronic device for playing-playing contents and method thereof |
| JP2016057901A (en) * | 2014-09-10 | 2016-04-21 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
| US9721163B2 (en) | 2014-09-10 | 2017-08-01 | Fujifilm Corporation | Image processing apparatus, image processing method, and recording medium |
| JP2016081330A (en) * | 2014-10-17 | 2016-05-16 | 富士通株式会社 | Search result display program, information processing apparatus, and search result display method |
| KR102165339B1 (en) * | 2019-11-25 | 2020-10-13 | 삼성전자 주식회사 | Method and apparatus for playing contents in electronic device |
| KR20200119761A (en) * | 2019-11-25 | 2020-10-20 | 삼성전자주식회사 | Method and apparatus for playing contents in electronic device |
| KR102289293B1 (en) | 2019-11-25 | 2021-08-12 | 삼성전자 주식회사 | Method and apparatus for playing contents in electronic device |
| KR20190133653A (en) * | 2019-11-25 | 2019-12-03 | 삼성전자주식회사 | Method and apparatus for playing contents in electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007226536A (en) | Image search apparatus, image search method, and image search program | |
| CN100456294C (en) | Image display control device and method | |
| JP4536638B2 (en) | Display information selection apparatus and method, program, and recording medium | |
| US20120254790A1 (en) | Direct, feature-based and multi-touch dynamic search and manipulation of image sets | |
| JP5062819B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2004234228A (en) | Image search device, keyword assignment method in image search device, and program | |
| US20150339348A1 (en) | Search method and device | |
| TW201322050A (en) | Electronic device and read guiding method thereof | |
| CN100410928C (en) | Surface Search Support Devices | |
| JP5653131B2 (en) | Object recognition apparatus and recognition method thereof | |
| JP2008217117A (en) | Image search method and image search system | |
| JP2008192055A (en) | Content search method and content search device | |
| US20020111939A1 (en) | Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database | |
| JP2007317034A (en) | Image processing apparatus, image processing method, program, and recording medium | |
| TW201322049A (en) | Electronic device and read guiding method thereof | |
| EP2947584A1 (en) | Multimodal search method and device | |
| WO2018171047A1 (en) | Photographing guide method, device and system | |
| JP2014229091A (en) | Program for character input | |
| CN110825928A (en) | Searching method and device | |
| JP2008040753A (en) | Image processing apparatus, method, program, and recording medium | |
| US8400466B2 (en) | Image retrieval apparatus, image retrieving method, and storage medium for performing the image retrieving method in the image retrieval apparatus | |
| JP4650293B2 (en) | Image classification display device and image classification display program | |
| JPH10254901A (en) | Method and device for retrieving image | |
| JP2014026596A (en) | Image processor, control method thereof, and control program | |
| KR20150135059A (en) | Method for Searching and Device Thereof |