[go: up one dir, main page]

WO2019194569A1 - 이미지 검색 방법, 장치 및 컴퓨터 프로그램 - Google Patents

이미지 검색 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2019194569A1
WO2019194569A1 PCT/KR2019/003934 KR2019003934W WO2019194569A1 WO 2019194569 A1 WO2019194569 A1 WO 2019194569A1 KR 2019003934 W KR2019003934 W KR 2019003934W WO 2019194569 A1 WO2019194569 A1 WO 2019194569A1
Authority
WO
WIPO (PCT)
Prior art keywords
search
image
information
similar
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/003934
Other languages
English (en)
French (fr)
Inventor
최승권
김상연
윤주호
이세린
김종택
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of WO2019194569A1 publication Critical patent/WO2019194569A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture

Definitions

  • the present invention relates to a method, an apparatus, and a computer program for searching an image, and more particularly, by using a plurality of search data information including one or more search images input by a user and a plurality of search attribute information thereof.
  • the present invention relates to an image retrieval method, apparatus, and computer program characterized by retrieving a similar image by combining portions corresponding to the respective retrieval attribute information in each retrieval data information.
  • a document including the text is searched and provided based on text such as a search word input by a user, but in recent years, users are increasingly searching for an image such as a picture or a picture. It is because it is often more efficient to see images such as actual photographs than to acquire information by text alone. However, when it is not easy to clearly describe the characteristics by text alone, such as clothing or scenery, the user may have difficulty in finding an image desired by the user. For example, even when a user wants to search for clothing of a style that he / she thinks of, he or she often encounters a difficulty in finding an appropriate image by entering text as a search word.
  • the user when a user inputs a red horizontal stripe T-shirt image as a search image, the user may search for the image most similar to the input red horizontal stripe T-shirt image, but similar to the T-shirt included in the search image. It was difficult to search for images of T-shirts with different colors or different patterns, and furthermore, by combining the T-shirt form of the first search image and the pattern of the second search image, the second search was performed on the T-shirt form of the first search image. As in the case of searching for an image having a pattern of an image, it was more difficult to search for a similar image by combining properties of objects included in several search images.
  • the present invention was devised to solve the above problems of the prior art, and in searching and providing an image similar to the search image input by the user, the similar image is based on a specific property of the search image input by the user.
  • An object of the present invention is to provide an image retrieval method, apparatus, and computer program that can be searched and provided.
  • an object of the present invention is to provide an image retrieval method, apparatus, and computer program capable of searching for and providing similar images by combining specific attributes of a plurality of search images input by a user.
  • the server receives a search information receiving a plurality of search data information including one or more search images input by the user; A similar image retrieval step of retrieving a similar image by combining retrieval data partial information corresponding to respective retrieval attribute information for the plurality of retrieval data information from the retrieval data information; And providing similar image information for transmitting the similar image information about the found similar image to the terminal.
  • a computer program according to another aspect of the present invention is a computer program stored in a computer readable medium for executing each step of the image retrieval method described above on a computer.
  • a server includes: a search information receiver configured to receive a plurality of search data information including at least one search image input by a user from a terminal; A similar image search unit for searching for a similar image by combining search data partial information corresponding to respective search attribute information of the plurality of search data information in the plurality of search data information; And similar image providing unit which transmits similar image information about the retrieved similar image to the terminal.
  • a terminal may include: a search information transmitter configured to transmit a plurality of search data information including one or more search images input by a user to a server; A similar image information receiver configured to receive similar image information of a similar image found by combining search data partial information corresponding to respective search attribute information of the plurality of search data information in the plurality of search data information from the server; And similar image information providing unit which provides similar image information on the similar image to the user.
  • the user in searching for and providing an image similar to a given search image, searches for and provides a similar image based on a specific attribute of the given search image. You will be able to search for the images you want more conveniently and accurately.
  • FIG. 1 is a block diagram of an image retrieval system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of an image retrieval method from a server perspective according to an embodiment of the present invention.
  • FIG 3 is an exemplary view of a search information input screen according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a similar image search result using a plurality of search images according to an embodiment of the present invention.
  • FIG. 5 is an exemplary view of a search information input screen according to another embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a similar image search result using a search image and a text input according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view of a search information selection screen according to an embodiment of the present invention.
  • 10 to 12 are diagrams for describing a detailed operation of an image retrieval method according to an embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an operation of an image retrieval system according to an embodiment of the present invention.
  • FIGS. 14 to 15 are diagrams illustrating a method of calculating an index feature vector according to an embodiment of the present invention.
  • 16 is a flowchart illustrating an image retrieval method from a terminal perspective according to an embodiment of the present invention.
  • 17 is a detailed flowchart of an image retrieval method according to an embodiment of the present invention.
  • FIG. 18 is a block diagram of a server for searching for an image according to an embodiment of the present invention.
  • 19 is a block diagram of a terminal for image search according to an embodiment of the present invention.
  • FIG. 1 shows a configuration diagram of an image retrieval system 100 according to an embodiment of the present invention.
  • the image search system 100 according to an embodiment of the present invention transmits a plurality of pieces of search data information including one or more search images input by a user to the server 120.
  • the terminal 110 receives the similar image information of the similar image retrieved from the server 120 and provides the same to the user, and a plurality of pieces of search data information including one or more search images input by the user from the terminal 110.
  • the similar image is searched by combining search data partial information corresponding to each search attribute information of the plurality of search data information from the plurality of search data information, and the similar image information of the similar image is searched for by the terminal ( It may be configured to include a server 120 for transmitting to 110 and the network 130 for connecting the terminal 110 and the server 120.
  • the terminal 110 various portable terminals such as a smart phone, a tablet PC, a PDA, a mobile phone, etc. may be used.
  • the terminal 110 may receive search information from a user such as a personal computer (PC), a notebook PC, and receive the search information.
  • a user such as a personal computer (PC), a notebook PC, and receive the search information.
  • Various types of terminals may be employed that may be used to provide an image retrieved using.
  • the image in the present invention includes a picture, a picture, and the like, and may further be configured in various ways including a character, a symbol, a figure, and the like.
  • the network 130 connecting the terminal 110 and the server 120 may include a wired network and a wireless network.
  • various communication networks such as an area network (WAN) and a wide area network (WAN).
  • the network 130 may include a known World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 130 according to the present invention is not limited to the networks listed above, and may include at least part of a known wireless data network, a known telephone network, or a known wired / wireless television network.
  • the server 120 receives a plurality of search data information including one or more search images input by the user from the terminal 110 Search image receiving step (S110) to perform a similar image search step (S120) to search for a similar image by combining the search data portion information corresponding to each search attribute information for the plurality of search data information from the plurality of search data information (S120) And providing similar image information of the searched similar image to the terminal (S130).
  • the server 120 receives a plurality of search data information including one or more search images input by the user from the terminal 110.
  • the server 120 may receive a plurality of search attribute information for the plurality of search data information together with the plurality of search data information from the terminal 110.
  • a user inputs a plurality of search images 101, 102, and 103 to the terminal 110 to search for the plurality of search images 101, 102, and 103.
  • Data information may be transmitted to the server 120.
  • the plurality of search images 101, 102, 103 itself may be transmitted as the search data information, but URL information of the plurality of search images 101, 102, 103 may be transmitted to the server 120.
  • the plurality of search image files 101, 102, 103 may be collected from a device other than the terminal 110 using the URL information.
  • the user may directly input the searched images 101, 102, and 103 by using his or her own terminal, or select an image generated by himself or another user.
  • the user may input search text in addition to the search images 101, 102, and 103 as the search data information.
  • search attribute information for a plurality of pieces of search data information such as the search image is set in advance so that the user searches for the corresponding search attribute information.
  • An image or the like may be input, or a user may input a search image or the like and set a search attribute for the input search image or the like.
  • the user sets “shape” as search attribute information for the first search image 101 (104 in FIG. 3), and “pattern” as search attribute information for the second search image 102. 3 is set (105 in FIG. 3), and as the search attribute information for the third search image 103, " color " is set (106 in FIG. 3).
  • the server 120 searches for similar images by combining search data partial information corresponding to the respective search criterion attribute information in the respective search data information.
  • the first search image 101 excludes “pattern” or “color”.
  • Information about the “shape” of the shirt included in the first search image 101 similarly, “pattern” information is taken from the second search image 102, and “ Similar to an image that takes and combines the "color” information to combine the "shape" of the first search image 101 with the "pattern” of the second search image 102 and the "color” of the third search image 103. The image will be searched.
  • a plurality of search criteria attribute information for the plurality of search images For example, an image combining the plurality of search images based on "shape", “pattern”, “color” ("shape" of the first search image 101 and "" of the second search image 102).
  • the "shape" of the first search image 101 the "pattern” of the second search image 102, and the "color” of the third search image 103. It can be seen that similar images including the characteristic of "can be searched for.
  • the server 120 transmits similar image information about the found similar image to the terminal 110.
  • the server 120 may transmit the searched similar image itself as the similar image information, but the URL information of the searched similar image is transmitted, and thus the terminal 110 uses the URL information to transmit the similar image. It may be to collect from a device other than the server 120.
  • the present invention will be mainly described below using examples such as "clothing", but the present invention is not limited thereto.
  • the present invention may combine specific attributes of a plurality of pieces of search data information such as a search image or a search keyword. It can be used in various ways as an application for searching for similar images.
  • the image search method not only can search for similar images using a plurality of search images input by the user, but also search for one or more search images and one or more search texts input by the user. You can also search for similar images.
  • FIG. 5 illustrates a case in which the user inputs the second search text 301 together with the first search image 302.
  • the server 120 receives the first search image.
  • the second search data portion information i.e., "shape" of the skirt
  • shape corresponding to the second search attribute information
  • FIG. 5 when one first search image (FIG. 5A) and one second search text (“skirt”) are input, the first search image and the second search image are input. Based on the respective search criteria attribute information for the search text (in FIG. 4, "pattern” 305 for the first search image 302, "shape” 304 for the second search text 301). Search for similar images for the image combining the first search image and the partial information of the second search text (the image having the "pattern" of the first search image 302 and the "shape" of the second search text 301) Done.
  • an image search may be performed using the detected object.
  • Figure 6 (a) if there is a region that does not correspond to the object of the input search image, this may cause a obstacle in obtaining a desired search image, the object area of the input search image
  • Fig. 6 (b) when the image search is performed using the detected object area
  • the "shape" of the first search image 101 the "pattern” of the second search image 102, and the "color” of the third search image 103. It can be seen that similar images including the characteristic of "can be searched for.
  • the terminal 110 may provide a user interface for selecting a search image stored in advance by the user and search attribute information thereof.
  • the user may search for similar images more conveniently using previously stored search images and search attribute information thereof.
  • the terminal 110 may provide the user with a "pattern" list 502 stored in advance so that the user may select 201.
  • the user when the user takes a picture of an object, it provides an interface for selecting search attribute information (for example, providing a menu for selecting "shape", "pattern", "color”, etc.).
  • the search attribute information and the photo selected by the user may be stored in the terminal 110 or transmitted to and stored in the server 120, and then may be easily selected by the user later.
  • the picture may be stored as the image itself, but may be converted into a feature and the like to represent the feature.
  • a function of recommending using the user's selection history, taste, profile, statistics, etc. may be added while providing the user with the search image and the search attribute information thereof.
  • the user may recommend the search results by adding a polka dot condition.
  • the search results may be recommended to the user using an item corresponding to a trendy item that the user searched a lot in the last month and a search condition therefor.
  • the items searched by many users may be selected based on behavior patterns of all other users who use the service, and may be selected in consideration of behavior patterns of users similar to the age, gender, and taste of the target user. have.
  • the user may designate a list of target articles of an image to be searched to perform an image search within the designated category range.
  • the user may designate a list of items to be searched through text input or list selection, such as "clothing" or "furniture".
  • the present invention provides the search image within the range of the specified list of items to be searched.
  • an image is searched using a plurality of search data information such as search text and a plurality of search attribute information thereof.
  • the calculated search image A similar image may be searched for in a plurality of stored images stored in the database 124 using the feature-specific feature vector.
  • the database 124 stores the feature vectors for each of the stored image attributes, which are calculated and stored with respect to the plurality of stored attribute information, for the plurality of stored images together with the plurality of stored images. Accordingly, in the image retrieval method according to an embodiment of the present invention, the feature vectors for each of the plurality of search image attributes calculated from the plurality of search images are compared with the feature vectors for each of the stored image attributes stored in the database 124. The image similar to the image obtained by combining the plurality of search images may be searched and provided based on the search attribute information of the plurality of search images.
  • the similar image search step (S120) corresponds to the plurality of search attribute information in the plurality of search images
  • a plurality of search image property-specific feature vector calculating steps (S121) and a plurality of stored images stored in the database 124 are calculated based on the plurality of search property information and are stored.
  • the method may include a database search step (S122) of searching similar images by comparing the feature vector for each stored image attribute with the feature vector for each of the plurality of search image attributes.
  • the step of calculating a feature vector for each search image property may include detecting one or more objects included in the search image (S1211) and for each of the one or more objects.
  • a feature vector for each search image property may be calculated based on the search property information (S1212).
  • a feature vector for each retrieval image property is calculated from a plurality of retrieval images, and among the plurality of stored images stored in the database 124 using the feature vector. The method of searching similar images will be described in more detail.
  • the search image 702 is trained using a machine learning technique such as deep learning. It enters into the neural network model and goes through the processing process.
  • the neural network model is configured based on a region with CNN (Region with CNN features) algorithm, which is a kind of deep learning technology, and thus detects the position of an object such as a fashion item in the input search image 701.
  • An object detector model may be implemented (702, 703, 704 in FIG. 10B), and the object may be classified according to a predetermined type.
  • an YOLO v2 model or the like may be used as the object detector model, and the YOLO v2 model may be implemented by learning using learning data such as a fashion item image having a bounding box. have.
  • the neural network model may detect the position of an object such as a fashion item in an input image, and then classify the detected object such as a fashion item into a top, a bottom, a bag, a shoe, an outer, and the like. .
  • an object such as a fashion item, a pattern, a color, and the like, for an object such as a fashion item included in the search image 701 by using a neural network model It may be implemented as a feature vector extractor model for calculating a feature vector for each search image property according to the specified search attribute information.
  • the detected object It is possible to calculate the feature vector 708 for each search image property according to predetermined search property information such as category, texture, and color with respect to 705, 706, and 707.
  • an Inception v3 model or the like may be used as the feature vector extractor model, in which the Inception v3 model uses a pre-trained model for category, texture, and color. For example, fine tuning may be performed using learning data such as a fashion item image based on predetermined search attribute information.
  • the learning data may be produced by tagging the location and search attribute of the object in a fashion item image collected through web crawling or the like.
  • the objects 802, 803, and 804 included in the first search image may be sensed.
  • the feature vector for each search image property is calculated according to the determined search property information.
  • objects of the upper 802, the lower 803, and the bag 804 have been detected, and then feature vector by attribute of the search image for the upper 802 according to the “shape” search attribute information.
  • the feature vector for each search image attribute according to the search attribute information such as "pattern” and "color” is calculated.
  • a feature vector for each search image attribute according to the “pattern” search attribute information is calculated (for example, ⁇ 0.761, 0.8616, 0.135, ⁇ )
  • the feature vector for each search image property is calculated according to the color " search attribute information (for example, ⁇ 0.101, 0.1672, 0.583, ⁇ )
  • the “form” search attribute information for the image of the first search image is calculated.
  • Feature vector by search image property ( ⁇ 0.761, 0.8616, 0.135, ⁇ ) according to the feature vector ( ⁇ 0.22, 0.8280, 0.3311, ⁇ ) by search image attribute and the "pattern" search attribute information on the second search image.
  • feature vectors ( ⁇ 0.101, 0.1672, 0.583, ⁇ ) according to the search image attributes according to the "color" search attribute information for the third search image ([ ⁇ 0.22, 0.8280, 0.3311, ⁇ , ⁇ 0.761, 0.8616, 0.135, ⁇ , ⁇ 0.101, 0.1672, 0.583, ⁇ ] and use it to form the "shape" of the first search image. It is possible to effectively search for similar images similar to the image in which the "pattern" of the second search image and the "color" of the third search image are combined.
  • the detected object (901 of FIG. 12) is previously described.
  • the feature vector for each stored image attribute is calculated according to the determined search attribute information.
  • the characteristic vector 902 for each stored image attribute is calculated for each of the predetermined search attribute information "shape”, "pattern”, and "color” (shape: ⁇ 0.22, 0.8280, 0.3311, VIII, Pattern: ⁇ 0.342, 0.081, 0.0017, VIII ⁇ , Color: ⁇ 0.84, 0.5402, 0.7813, VIII ⁇ ).
  • the feature vector for each stored image attribute of the search attribute information may be stored in the database 124 (903 of FIG. 12) and used to search for a similar image for an image combining a plurality of search images.
  • the database 124 may store a connection storage image feature vector to which the plurality of storage image property vectors are connected to the storage image, and in this case, the server 120 may store the feature by the plurality of search image properties. After generating the connection search image feature vector to which the vector is connected, the similar image may be searched based on the similarity with the connection storage image feature vector stored in the database 124.
  • the stored images having the feature vectors for each of the stored image attributes similar to the combined feature vector for the search image attributes are searched for the plurality of search images. It is possible to effectively search for and provide an image similar to the image combining the plurality of search images based on the respective search attributes.
  • FIG. 13 is a view for explaining in more detail the operation of the image search method, apparatus and system 100 according to an embodiment of the present invention.
  • a user may input search data information such as a plurality of search images 601, 602, and 603 using the terminal 110.
  • the user may input the first search image 101, the second search image 102, and the third search image 103 as shown in FIG. 3.
  • some or all of the plurality of search images 601, 602, and 603 may be subjected to a process of detecting an object (for example, a fashion item) as described in FIG. 6B. (604).
  • a neural network model or the like is applied to the plurality of search images 601, 602, 603 or the detected object 604 to predetermined search attribute information such as category, texture, and color.
  • the feature vectors for respective search image attributes are calculated (605, 606, 607).
  • similar images may be searched by combining the calculated feature vectors 605, 606, and 607 of each search image property, but further, an image search method, apparatus, and system according to an embodiment of the present invention.
  • a vector quantization and indexing technique may be applied to search for similar images more quickly from a large storage image.
  • the top k having the largest size is obtained.
  • the index feature vector is used to search the search image. You can also search for similar images.
  • FIGS. 14 and 15 illustrate a method of searching for similar images by calculating an index feature vector according to an embodiment of the present invention.
  • the feature vectors for each “shape” reference image attribute of the image are also similar to each other. If the element having a large value is located (1001, 1002, 1003 in FIG. 14) and the image has a different shape (for example, clothing B in FIG. 14), the "shape" reference image attribute of the image Star feature vectors also have very different values. Accordingly, when the feature vector for each "shape" reference image attribute of each image shows a similar pattern, the likelihood of each image having the same or similar shape increases.
  • an index feature vector is formed by calculating a predetermined number of some elements based on the size of the elements among a plurality of elements included in the feature vector for each image property, and includes only the some elements.
  • the index feature vector may be arranged in order of the size of some elements calculated by a predetermined number based on the size in the feature vector for each image property including the plurality of elements. (top-k), the index feature vector may be configured with each index value representing a position of the calculated partial elements of the feature-specific feature vector.
  • a predetermined number (eight in FIG. 15) of elements of the feature vector for each image property is determined based on a size. Calculate (“7, 7, 6, 8, 7, 7, 7, 9” in FIG. 15) and sort in that order ("9, 8, 7, 7, 7, 7, 7, in the above example). 6 "), the index value (position) of" 9 “is” 19 ", and the index of” 8 “is” 15 “,” 7 “indicating the position of the calculated element-specific feature vectors of the elements.
  • the index feature vector for each image can efficiently judge similarity of each image while having only elements that are significantly reduced than the feature vector for each image property, thereby reducing similar computational resources and reducing similar computational resources. And efficient search.
  • index feature vectors F1, F2, and F3 for the plurality of search images 601, 602, and 603 may be calculated 608, 609, and 610, and may also be stored in a database (611 of FIG. 13). Since the index feature vector for the image is stored, a stored image having an index feature vector similar to the case of combining the index feature vectors for the plurality of search images (601, 602, 603) (F1, F2, F3) is obtained. By searching, it is possible to search for and provide an image similar to an image combining the plurality of search images based on the search attributes of the plurality of search images 601, 602, 603.
  • index-based search techniques such as Matched Term Count (MTC), TF-IDF, and BM25.
  • FIG. 16 illustrates a flowchart of an image retrieval method from the perspective of the terminal 110 according to an embodiment of the present invention.
  • the image retrieval method from the terminal 110 perspective according to an embodiment of the present invention will be inferred from the description of the image retrieval method from the server 120 perspective according to the embodiment of the present invention described above. Where possible, more detailed description will be omitted below and the gist will be described.
  • the terminal 110 transmits a plurality of pieces of search data information including one or more search images input by a user to the server 120.
  • a plurality of search attribute information for the plurality of search data information may be transmitted together with the plurality of search data information.
  • the search information transmitting step (S210) may include a search image attribute for calculating a plurality of search image attribute feature vectors corresponding to the plurality of search attribute information in the one or more search images.
  • the feature vector calculating step S211 and the feature vector transmission step S212 for transmitting the calculated feature vectors for each of the plurality of search image attributes to the server 120 may be included.
  • a plurality of search image property vectors corresponding to the plurality of search image properties calculated in correspondence with the plurality of search property information in the one or more search images are connected to one connected search image feature.
  • a vector may be generated and transmitted to the server 120.
  • the computer program according to another aspect of the present invention is characterized in that the computer program stored in a computer readable medium for executing each step of the previously described image search method in a computer.
  • the computer program may be a computer program including not only a computer program including machine code generated by a compiler, but also a high-level language code executable on a computer using an interpreter or the like.
  • the computer is not limited to a personal computer (PC) or a notebook computer, but is provided with a central processing unit (CPU) such as a server, a smart phone, a tablet PC, a PDA, a mobile phone, and any information processing capable of executing a computer program. Device.
  • PC personal computer
  • CPU central processing unit
  • the computer-readable medium may include an electronic recording medium (eg, ROM, flash memory, etc.), a magnetic storage medium (eg, floppy disk, hard disk, etc.), an optical reading medium (eg, CD-ROM, DVD, etc.), any storage medium that can be read by a computer.
  • an electronic recording medium eg, ROM, flash memory, etc.
  • a magnetic storage medium eg, floppy disk, hard disk, etc.
  • an optical reading medium eg, CD-ROM, DVD, etc.
  • FIG. 18 illustrates a configuration diagram of a server 120 that provides an image search according to an embodiment of the present invention.
  • the server 120 for providing an image search includes a search information receiver 121, a similar image search unit 122, and a similar image information transmitter 123. Can be configured.
  • the server 120 for providing an image search according to an embodiment of the present invention is divided and searched for each component.
  • the server 120 for providing an image search according to an embodiment of the present invention can be inferred from the description of the image search method according to an embodiment of the present invention described above, in more detail below Description is omitted.
  • the search information receiving unit 121 receives a plurality of pieces of search data information including one or more search images input by a user from the terminal 110.
  • the search information receiver 121 may receive a plurality of search attribute information for the plurality of search data information together with the plurality of search data information.
  • the similar image search unit 122 searches for similar images by combining search data partial information corresponding to respective search attribute information of the plurality of search data information in the plurality of search data information.
  • the similar image providing unit 123 transmits similar image information about the found similar image to the terminal.
  • FIG. 19 illustrates a configuration diagram of a terminal 110 that provides an image search according to an embodiment of the present invention.
  • the terminal 110 providing an image search uses a search information transmitter 111, a similar image information receiver 112, and a similar image information provider 113. It can be configured to include.
  • the terminal 110 for providing an image search according to an embodiment of the present invention is divided and searched for each component.
  • the terminal 110 providing an image search according to an embodiment of the present invention can be inferred from the description of the image search method according to an embodiment of the present invention described above, in more detail below Description is omitted.
  • the search information transmitter 111 transmits a plurality of search data information including one or more search images input by a user to the server 120.
  • the search information transmitter 111 may transmit a plurality of search attribute information for the plurality of search data information together with the plurality of search data information.
  • the similar image information receiving unit 112 combines the search data portion information corresponding to the respective search attribute information of the plurality of search data information from the plurality of search data information from the server 120 to a similar image searched for. Receive similar image information about an image.
  • the similar image information providing unit 113 provides similar image information on the similar image to the user.
  • a similar image is searched and provided based on a specific property of the given search image. Further, by searching for and providing an image similar to the image combining the plurality of search images based on the respective search attributes of the plurality of search images, a similar image for the image combining the plurality of search images is more convenient. You will be provided correctly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자가 입력한 검색 이미지와 유사한 이미지를 검색함에 있어, 사용자가 입력한 하나 이상의 검색 이미지 및 그에 대한 각 검색 기준 속성을 이용하여, 상기 각 검색 기준 속성을 기준으로 상기 하나의 이상의 검색 이미지를 조합하여 유사한 이미지를 검색하는 것을 특징으로 하는 이미지 검색 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 서버가 단말로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하는 검색 정보 수신 단계; 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하는 유사 이미지 검색 단계; 및 상기 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말로 송신하는 유사 이미지 제공 단계;를 포함하는 이미지 검색 방법을 개시한다.

Description

이미지 검색 방법, 장치 및 컴퓨터 프로그램
본 발명은 이미지를 검색하는 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보 및 그에 대한 복수의 검색 속성 정보를 이용하여, 상기 각 검색 데이터 정보에서 상기 각 검색 속성 정보에 대응하는 부분들을 조합하여 유사한 이미지를 검색하는 것을 특징으로 하는 이미지 검색 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
정보통신 기술의 발달과 함께 스마트폰이나 개인용 컴퓨터(PC) 등 다양한 단말을 이용한 정보의 검색이 폭넓게 활용되고 있다.
특히, 종래에는 주로 사용자가 입력한 검색어 등의 텍스트를 기준으로 상기 텍스트를 포함하는 문서 등을 검색하여 제공하였으나, 근래 들어서는 사용자가 사진이나 그림 등 이미지를 검색하는 경우가 늘어나고 있으며, 이는 백문불여일견이라는 말처럼 텍스트 만으로 정보를 습득하는 것보다는 실제 사진 등의 이미지를 보는 것이 효율적인 경우가 많기 때문이다. 그런데, 의류나 풍경 등과 같이 텍스트 만으로는 그 특징을 명확하게 기술하는 것이 쉽지 않은 경우에는 사용자가 자신이 원하는 이미지를 찾는데 어려움을 겪게 된다. 예를 들어, 사용자가 자신이 생각하는 스타일의 의류를 검색하고자 하는 경우에도 텍스트를 검색어로 입력해서는 적절한 이미지를 찾는데 어려움을 느끼게 되는 경우를 종종 마주하게 된다.
이에 대하여, 최근에는 사용자로부터 텍스트가 아닌 검색 이미지를 입력받고, 입력된 검색 이미지와 유사한 이미지를 검색하여 제공하는 서비스도 시도되고 있다. 그런데, 이러한 경우에는 사용자가 입력한 검색 이미지와 가장 유사한 이미지를 선별하여 제공하여 줄 수 있을 뿐, 검색 이미지의 특정한 속성을 기준으로 유사한 이미지를 검색하여 제공하지는 못하였다. 즉, 종래에는 입력된 검색 이미지에 포함된 객체의 형태, 색상, 질감(texture) 등을 모두 고려하여 가장 유사한 이미지를 검색할 수는 있었으나, 입력된 검색 이미지의 특정한 속성을 기준으로 유사한 이미지를 검색하거나, 입력된 복수의 검색 이미지의 특정한 속성들을 조합하여 이를 기준으로 이미지를 검색하는 것은 어려웠다.
예를 들어, 종래에는 사용자가 빨간색 가로줄무늬 티셔츠 이미지를 검색 이미지로 입력하는 경우, 상기 입력된 빨간색 가로줄무늬 티셔츠 이미지와 가장 유사한 이미지를 검색할 수는 있었으나, 상기 검색 이미지에 포함된 티셔츠와 유사한 형태의 티셔츠이면서 다른 색깔 또는 다른 무늬를 가지는 티셔츠의 이미지를 검색하기는 어려웠으며, 나아가 제1 검색 이미지의 티셔츠 형태와 제2 검색 이미지의 무늬 패턴을 조합하여 제1 검색 이미지의 티셔츠 형태에 제2 검색 이미지의 무늬 패턴을 가지는 이미지를 검색하는 경우와 같이 여러 검색 이미지에 포함된 객체의 속성들을 조합하여 유사 이미지를 검색하는 것은 더욱 어려울 수 밖에 없었다.
이에 따라, 이미지를 검색함에 있어서, 주어진 검색 이미지의 특정한 속성을 기준으로 이미지를 검색하여 제공할 수 있을 뿐만 아니라, 나아가 복수의 검색 이미지의 특정한 속성들을 조합하여 유사 이미지를 검색하여 제공할 수 있는 방안이 있다면 사용자가 보다 편리하고 정확하게 자신이 원하는 이미지를 검색할 수 있을 것이나, 아직 이를 위한 적절한 솔루션은 제공되지 못하고 있는 상황이다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 사용자가 입력한 검색 이미지와 유사한 이미지를 검색하여 제공함에 있어, 상기 사용자가 입력한 검색 이미지의 특정한 속성을 기준으로 유사 이미지를 검색하여 제공할 수 있는 이미지 검색 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
나아가, 본 발명은 사용자가 입력한 복수의 검색 이미지의 특정한 속성들을 조합하여 유사 이미지를 검색하여 제공할 수 있는 이미지 검색 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 이미지 검색 방법은, 서버가 단말로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하는 검색 정보 수신 단계; 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하는 유사 이미지 검색 단계; 및 상기 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말로 송신하는 유사 이미지 제공 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 이미지 검색 방법은, 단말이 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 서버로 송신하는 검색 정보 송신 단계; 상기 서버로부터 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 검색된 유사 이미지에 대한 유사 이미지 정보를 수신하는 유사 이미지 정보 수신 단계; 및 상기 사용자에게 상기 유사 이미지에 대한 유사 이미지 정보를 제공하는 유사 이미지 정보 제공 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 상기 기재된 이미지 검색 방법의 각 단계를 컴퓨터에서 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 서버는, 단말로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하는 검색 정보 수신부; 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하는 유사 이미지 검색부; 및 상기 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말로 송신하는 유사 이미지 제공부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 단말은, 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 서버로 송신하는 검색 정보 송신부; 상기 서버로부터 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 검색된 유사 이미지에 대한 유사 이미지 정보를 수신하는 유사 이미지 정보 수신부; 및 상기 사용자에게 상기 유사 이미지에 대한 유사 이미지 정보를 제공하는 유사 이미지 정보 제공부;를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 이미지 검색 방법, 장치 및 컴퓨터 프로그램에서는, 주어진 검색 이미지와 유사한 이미지를 검색하여 제공함에 있어, 주어진 검색 이미지의 특정한 속성을 기준으로 유사 이미지를 검색하여 제공함으로써, 사용자가 보다 편리하고 정확하게 자신이 원하는 이미지를 검색할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 이미지 검색 방법, 장치 및 컴퓨터 프로그램에서는, 복수의 검색 이미지에 대한 각 검색 속성들을 기준으로 상기 복수의 검색 이미지를 조합한 이미지와 유사한 이미지를 검색하여 제공함으로써, 상기 복수의 검색 이미지를 조합한 이미지에 대한 유사 이미지를 보다 편리하고 정확하게 제공 받을 수 있게 된다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 검색 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 서버 관점의 이미지 검색 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 검색 정보 입력 화면의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 복수의 검색 이미지를 이용한 유사 이미지 검색 결과를 예시하는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 검색 정보 입력 화면의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 검색 이미지와 텍스트 입력을 이용한 유사 이미지 검색 결과를 예시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 검색 정보 선택 화면의 예시도이다.
도 8과 도 9는 본 발명의 일 실시예에 따른 이미지 검색 방법의 구체적 순서도이다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 이미지 검색 방법의 구체적인 동작을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 이미지 검색 시스템의 동작을 설명하는 도면이다.
도 14 내지 도 15는 본 발명의 일 실시예에 따른 인덱스 특징 벡터의 산출 방법을 설명하는 도면이다.
도 16은 본 발명의 일 실시예에 따른 단말 관점의 이미지 검색 방법의 순서도이다.
도 17은 본 발명의 일 실시예에 따른 이미지 검색 방법의 구체적 순서도이다.
도 18은 본 발명의 일 실시예에 따른 이미지 검색을 위한 서버의 구성도이다.
도 19는 본 발명의 일 실시예에 따른 이미지 검색을 위한 단말의 구성도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하에서는, 본 발명에 따른 이미지 검색 방법, 장치 및 컴퓨터 프로그램의 예시적인 실시형태들을 첨부된 도면을 참조하여 상세히 설명한다.
먼저, 도 1에서는 본 발명의 일 실시예에 따른 이미지 검색 시스템(100)의 구성도를 보여주고 있다. 도 1에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 이미지 검색 시스템 (100)은, 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 서버(120)로 전송하고, 상기 서버(120)로부터 검색된 유사 이미지에 대한 유사 이미지 정보를 전송 받아 사용자에게 제공하는 단말(110)과, 상기 단말(110)로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 전송 받아, 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하여, 상기 유사 이미지에 대한 유사 이미지 정보를 상기 단말(110)로 전송하는 서버(120) 및 상기 단말(110)과 서버(120)를 연결하는 네트워크(130)를 포함하여 구성될 수 있다.
이때, 상기 단말(110)로서는 스마트폰, 태블릿 PC, PDA, 휴대전화 등 다양한 휴대 단말기가 사용될 수 있고, 그외에도 퍼스널 컴퓨터(PC), 노트북 PC 등 사용자로부터 검색 정보를 입력 받고, 상기 검색 정보를 이용하여 검색된 이미지를 제공하는데 사용될 수 있는 다양한 종류의 단말들이 채택될 수 있다.
또한, 본 발명에서 이미지는 그림, 사진 등을 포함하며, 나아가 문자나 기호, 도형 등을 포함하여 다양하게 구성될 수도 있다.
또한, 상기 단말(110)과 서버(120)를 연결하는 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크 또는 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.
도 2에서는 본 발명의 일 실시예에 따른 서버(120) 관점의 이미지 검색 방법의 순서도를 도시하고 있다. 도 2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 이미지 검색 방법은, 서버(120)가 단말(110)로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하는 검색 정보 수신 단계(S110), 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하는 유사 이미지 검색 단계(S120) 및 상기 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말로 송신하는 유사 이미지 제공 단계(S130)를 포함할 수 있다.
아래에서는 도 2를 참조하여 본 발명의 일 실시예에 따른 이미지 검색 방법을 각 단계별로 나누어 자세하게 검토한다.
먼저, 상기 검색 정보 수신 단계(S110)에서는, 서버(120)가 단말(110)로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하게 된다. 이때, 상기 서버(120)는 상기 단말(110)로부서 상기 복수의 검색데이터 정보와 함께 상기 복수의 검색 데이터 정보에 대한 복수의 검색 속성 정보를 수신할 수 있다.
구체적인 예로서, 도 3에서 볼 수 있는 바와 같이, 사용자는 단말(110)에 복수의 검색 이미지(101, 102, 103)를 입력하여, 상기 복수의 검색 이미지(101, 102, 103)에 대한 검색 데이터 정보를 서버(120)로 전송할 수 있다.
이때, 상기 검색 데이터 정보로서 상기 복수의 검색 이미지(101, 102, 103) 자체가 전송될 수도 있으나, 상기 복수의 검색 이미지(101, 102, 103)의 URL 정보 등이 전달되어 서버(120)가 상기 URL 정보 등을 이용하여 상기 복수의 검색 이미지(101, 102, 103) 파일을 상기 단말(110)이 아닌 다른 장치로부터 수집하도록 할 수도 있다.
또한, 사용자는 상기 검색 이미지(101, 102, 103)를 자신의 단말을 이용하여 직접 촬영하거나, 자신이나 다른 사용자가 생성한 이미지를 선택하는 등의 다양한 방법으로 입력할 수 있다.
또한, 사용자는 상기 검색 데이터 정보로서 상기 검색 이미지(101, 102, 103) 외에 검색 텍스트를 입력할 수도 있다.
또한, 상기 검색 이미지 등 복수의 검색 데이터 정보에 대한 검색 속성 정보(예를 들어, 도 3에서 "형태", "무늬", "색상")는 미리 설정되어 사용자가 각 검색 속성 정보에 대응하는 검색 이미지 등을 입력하도록 할 수도 있으며, 또는 사용자가 검색 이미지 등을 입력한 후 입력된 검색 이미지 등에 대한 검색 속성을 설정할 수도 있다. 예를 들어, 도 3에서는 사용자가 제1 검색 이미지(101)에 대한 검색 속성 정보로서는 "형태"를 설정(도 3의 104)하고, 제2 검색 이미지(102)에 대한 검색 속성 정보로서는 "무늬"를 설정(도 3의 105)하며, 제3 검색 이미지(103)에 대한 검색 속성 정보로서는 "색상"을 설정(도 3의 106)한 것을 볼 수 있다.
이어서, 상기 유사 이미지 검색 단계(S120)에서는, 서버(120)가 상기 각 검색 데이터 정보에서 상기 각 검색 기준 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하게 된다.
즉, 도 3의 경우를 참조하여 살펴보면, 사용자가 입력한 제1 검색 이미지(101)의 검색 속성 정보는 "형태"이므로, 상기 제1 검색 이미지(101)에서는 "무늬"나 "색상"을 제외하고 상기 제1 검색 이미지(101)에 포함되는 셔츠의 "형태"에 대한 정보를 취하고, 유사하게 제2 검색 이미지(102)에서는 "무늬" 정보를 취하며, 제3 검색 이미지(103)에서는 "색상" 정보를 취해 조합하여, 제1 검색 이미지(101)의 "형태"와 제2 검색 이미지(102)의 "무늬"와 제3 검색 이미지(103)의 "색상"을 조합한 이미지에 대한 유사 이미지를 검색하게 된다.
이에 따라, 도 4에서 볼 수 있는 바와 같이, 복수의 검색 이미지(도 4의 (a), (b), (c))가 입력되면, 상기 복수의 검색 이미지에 대한 복수의 검색 기준 속성 정보(예를 들어, "형태", "무늬", "색상")를 기준으로 상기 복수의 검색 이미지를 조합한 이미지(제1 검색 이미지(101)의 "형태"와 제2 검색 이미지(102)의 "무늬"와 제3 검색 이미지(103)의 "색상"을 가지는 이미지)에 대한 유사 이미지를 검색하게 된다.
이에 따라, 도 4의 (d)에서 볼 수 있는 바와 같이, 제1 검색 이미지(101)의 "형태"와 제2 검색 이미지(102)의 "무늬"와 제3 검색 이미지(103)의 "색상"의 특성을 포함하는 유사 이미지들이 검색될 수 있음을 확인할 수 있다.
이어서, 상기 유사 이미지 제공 단계(S130)에서는, 상기 서버(120)가 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말(110)로 송신하게 된다.
이때, 상기 서버(120)는 상기 유사 이미지 정보로서 상기 검색된 유사 이미지자체를 전송할 수도 있으나, 상기 검색된 유사 이미지의URL 정보 등이 전달되어 단말(110)이 상기 URL 정보 등을 이용하여 상기 유사 이미지를 상기 서버(120)가 아닌 다른 장치로부터 수집하도록 할 수도 있다.
덧붙여, 본 발명에 대하여 아래에서는 주로 "의류" 등의 예를 들어 설명하나, 본 발명이 이에 한정되는 것은 아니며, 이외에도 본 발명은 검색 이미지나 검색 키워드 등 복수의 검색 데이터 정보의 특정한 속성들을 조합하여 유사 이미지를 검색하는 어플리케이션으로 다양하게 활용될 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 검색 방법은, 사용자가 입력하는 복수의 검색 이미지를 이용하여 유사 이미지를 검색할 수 있을 뿐만 아니라, 사용자가 입력하는 하나 이상의 검색 이미지와 하나 이상의 검색 텍스트를 이용하여 유사 이미지를 검색할 수도 있다.
예를 들어, 도 5에서는 사용자가 제1 검색 이미지(302)와 함께 제2 검색 텍스트(301)를 입력한 경우를 예시하고 있다.
이때, 상기 검색 정보 수신 단계에서(S110)에서는, 상기 서버(120)가 단말(110)로부터 상기 사용자가 입력한 제1 검색 이미지(302)와 그에 대한 제1 검색 속성 정보(305)와, 제2 검색 텍스트(301)와 그에 대한 제2 검색 기준 정보(304)를 포함하는 검색 정보를 수신하게 되며, 이에 따라 상기 유사 이미지 검색 단계(S120)에서는, 상기 서버(120)가 상기 제1 검색 이미지(302)에서 상기 제1 검색 속성 정보(도 5의 305에서 "무늬")에 대응하는 제1 검색 데이터 부분 정보(즉, 도 5의 제1 검색 이미지(302)의 "무늬")와, 상기 제2 검색 텍스트(301)에 대하여 상기 제2 검색 속성 정보(도 5의 304에서 "형태")에 대응하는 제2 검색 데이터 부분 정보(즉, 치마의 "형태")를 조합하여, 도 5의 제1 검색 이미지(302)의 "무늬"와 치마의 "형태"를 조합한 이미지에 대해 유사 이미지를 검색하게 된다.
또한, 도 5에서 볼 수 있는 바와 같이 "색상"(도 5의 306)에 대한 검색 이미지 또는 검색 텍스트의 입력은 생략(도 5의 303 "pass")하였으므로, 유사 이미지를 검색함에 있어서 "색상"에 대한 제한은 없이 "형태"와 "무늬" 만을 기준으로 유사 이미지를 검색할 수 있다.
이에 따라, 도 5에서 볼 수 있는 바와 같이, 하나의 제1 검색 이미지(도 5의 (a))와 하나의 제2 검색 텍스트("치마")가 입력되면, 상기 제1 검색 이미지와 제2 검색 텍스트에 대한 각 검색 기준 속성 정보(도 4에서, 제1 검색 이미지(302)에 대한 "무늬"(305), 제2 검색 텍스트(301)에 대한 "형태"(304))를 기준으로 상기 제1 검색 이미지와 제2 검색 텍스트의 부분 정보를 조합한 이미지(제1 검색 이미지(302)의 "무늬"와 제2 검색 텍스트(301)의 "형태"를 가지는 이미지)에 대한 유사 이미지를 검색하게 된다.
나아가, 본 발명에서 검색 이미지가 입력되면, 상기 검색 이미지 중 미리 정해진 객체(object)를 검출한 후, 상기 검출된 객체를 사용하여 이미지 검색을 수행할 수도 있다. 도 6(a)에서 볼 수 있는 바와 같이, 입력된 검색 이미지 중 객체에 해당하지 않는 영역이 존재하는 경우, 이로 인하여 사용자가 원하는 검색 이미지를 얻는데 장애가 될 수 있으므로, 입력된 검색 이미지 중 객체 영역을 검출한 후(도 6의 401), 검출된 객체 영역을 사용하여 이미지 검색을 수행(도 6의 (b))하는 경우 보다 정확한 검색 결과를 도출할 수 있게 된다.
이에 따라, 도 6의 (c)에서 볼 수 있는 바와 같이, 제1 검색 이미지(101)의 "형태"와 제2 검색 이미지(102)의 "무늬"와 제3 검색 이미지(103)의 "색상"의 특성을 포함하는 유사 이미지들이 검색될 수 있음을 확인할 수 있다.
또한, 본 발명에서는, "형태" 및 "무늬"에 대한 검색 이미지와 검색 텍스트만이 입력되고 "색상"에 대한 검색 이미지나 검색 키워드가 입력되지 않는 경우, 도 6의 (d)에서 볼 수 있는 바와 같이, 입력된 검색 이미지와 검색 텍스트에 따라 유사한 무늬를 가지는 치마이면서도 전혀 다른 색상을 가지는 경우도 검색될 수 있음을 알 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 검색 방법에서는, 상기 단말(110)에서 상기 사용자가 미리 저장해둔 검색 이미지 및 그에 대한 검색 속성 정보를 선택할 수 있는 사용자 인터페이스를 제공하도록 할 수 있으며, 이에 따라 사용자는 미리 저장해둔 검색 이미지 및 그에 대한 검색 속성 정보를 사용하여 보다 편리하게 유사 이미지를 검색할 수도 있다.
보다 구체적으로, 도 7에서 볼 수 있는 바와 같이, 상기 단말(110)에서는 사용자가 미리 저장해둔 "무늬" 목록(502)을 제공하여 사용자가 선택(201)하도록 할 수 있다. 이를 위하여, 사용자가 어떤 객체에 대한 사진을 찍으면, 이에 대한 검색 속성 정보를 선택할 수 있는 인터페이스(예를 들어, "형태", "무늬", "색상" 등을 선택할 수 있는 메뉴를 제공)를 제공하고, 사용자가 선택한 검색 속성 정보와 상기 사진을 상기 단말(110)에 저장하거나 상기 서버(120)로 전송하여 저장한 후, 차후에 사용자가 손쉽게 선택할 수 있도록 제공할 수 있다. 이때, 상기 사진 등은 이미지 자체로서 저장될 수도 있겠으나, 그 특징을 나타내는 자질(feature) 등으로 변환되어 저장될 수도 있다.
나아가, 사용자에게 검색 이미지 및 그에 대한 검색 속성 정보를 제공하면서, 상기 사용자의 선택 이력이나 취향, 프로필, 통계치 등을 사용하여 추천하는 기능이 부가될 수도 있다.
예를 들어, 사용자가 평소에 도트 무늬의 원피스를 많이 검색한 경우, 사용자가 무늬 항목에 대한 검색 이미지나 검색 텍스트 등을 지정하지 않더라도, 도트 무늬의 조건을 추가해 검색한 결과를 사용자에게 추천할 수도 있으며, 또는 최근 1달간 사용자들이 많이 검색한 최신 유행 아이템에 해당하는 항목 및 그에 대한 검색 조건을 사용하여 검색한 결과를 사용자에게 추천할 수도 있다. 이 때 사용자들이 많이 검색한 항목은 해당 서비스를 이용하는 다른 모든 사용자들의 행동 패턴을 대상으로 선정될 수도 있음은 물론이고, 대상 사용자의 나이, 성별, 취향 등과 유사한 사용자들의 행동 패턴을 고려하여 선정될 수 있다.
나아가, 사용자는 검색하고자 하는 이미지의 대상 물품 목록을 지정하여 상기 지정된 카테고리 범위 내에서 이미지 검색이 이루어지도록 할 수도 있다. 예를 들어, 사용자는 "의류"나 "가구" 등과 같이 텍스트 입력 또는 목록 선택 등을 통해 검색 대상 물품 목록을 지정할 수 있으며, 이러한 경우 본 발명에서는 상기 지정된 검색 대상 물품 목록의 범위 내에서 상기 검색 이미지나 검색 텍스트 등 복수의 검색 데이터 정보와 그에 대한 복수의 검색 속성 정보를 이용하여 이미지를 검색하게 된다.
나아가, 본 발명의 일 실시예에 따른 이미지 검색 방법에서는, 상기 입력된 복수의 검색 이미지에서 상기 복수의 검색 속성 정보에 대응하는 복수의 검색 이미지 속성별 특징 벡터를 산출한 후, 상기 산출된 검색 이미지 속성별 특징 벡터를 이용하여 데이터베이스(124)에 저장된 복수의 저장 이미지에서 유사 이미지를 검색할 수 있다.
이때, 상기 데이터베이스(124)에서는 상기 복수의 저장 이미지와 함께 상기 복수의 저장 이미지에 대하여 상기 복수의 검색 속성 정보를 기준으로 산출되어 저장된 복수의 저장 이미지 속성별 특징 벡터를 저장하게 된다. 이에 따라, 본 발명의 일 실시예에 따른 이미지 검색 방법에서는, 상기 복수의 검색 이미지에서 산출된 복수의 검색 이미지 속성별 특징 벡터를 상기 데이터베이스(124)에 저장된 복수의 저장 이미지 속성별 특징 벡터와 비교하여 상기 복수의 검색 이미지에 대한 각 검색 속성 정보를 기준으로 상기 복수의 검색 이미지를 조합한 이미지와 유사한 이미지를 검색하여 제공할 수 있다.
보다 구체적으로, 도 8에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 이미지 검색 방법에서, 상기 유사 이미지 검색 단계(S120)는, 상기 복수의 검색 이미지에서 상기 복수의 검색 속성 정보에 대응하는 복수의 검색 이미지 속성별 특징 벡터를 산출하는 검색 이미지 속성별 특징 벡터 산출 단계(S121) 및 데이터베이스(124)에 저장된 복수의 저장 이미지에 대하여 상기 복수의 검색 속성 정보를 기준으로 산출되어 저장된 복수의 저장 이미지 속성별 특징 벡터를 상기 복수의 검색 이미지 속성별 특징 벡터와 대비하여 유사 이미지를 검색하는 데이터베이스 검색 단계(S122)를 포함할 수 있다.
나아가, 도 9에서 볼 수 있는 바와 같이, 상기 검색 이미지 속성별 특징 벡터 산출 단계(S121)는, 상기 검색 이미지에 포함된 하나 이상의 객체를 검출하는 단계(S1211) 및 상기 하나 이상의 객체에 대하여 각각 상기 검색 속성 정보를 기준으로 하여 검색 이미지 속성별 특징 벡터를 산출하는 단계(S1212)를 포함할 수도 있다.
이하 도 10 내지 도 12를 참조하여 본 발명의 일 실시예에 따른 이미지 검색 방법에서, 복수의 검색 이미지로부터 검색 이미지 속성별 특징 벡터를 산출하고 이를 이용하여 데이터베이스(124)에 저장된 복수의 저장 이미지 중에서 유사 이미지를 검색하는 방법을 보다 자세하게 설명한다.
먼저, 사용자가 검색 이미지(701)를 촬영하거나 업로드 하는 등의 방법으로 입력하면(도 10의 (a)), 상기 검색 이미지(702)는 딥러닝(deep learning) 등 기계 학습 기술을 이용하여 학습된 신경망 모델로 입력되어 처리 프로세스를 거치게 된다.
이때, 상기 신경망 모델은 딥러닝 기술의 일종인 R-CNN(Region with CNN features) 알고리즘 등을 기반으로 구성되어, 이에 따라 입력된 검색 이미지(701) 내에서 패션 아이템 등의 객체의 위치를 감지하는 객체 검출(object detector) 모델로 구현될 수 있으며(도 10의 (b) 에서 702, 703, 704), 나아가 상기 객체를 미리 정해진 종류에 따라 분류할 수도 있다. 보다 구체적으로, 상기 객체 검출(object detector) 모델로서는 YOLO v2 모델 등을 사용할 수 있으며, 이때 상기 YOLO v2 모델은 바운딩 박스(bounding box)가 있는 패션 아이템 이미지 등의 학습 데이터를 사용하여 학습시켜 구현할 수 있다.
나아가, 본 발명의 일 실시예로서 상기 신경망 모델은 입력된 이미지에서 패션 아이템 등 객체의 위치를 감지한 후, 감지된 패션 아이템 등 객체를 상의, 하의, 가방, 신발, 아우터 등으로 분류할 수도 있다.
또한, 본 발명의 일 실시예에 따른 이미지 검색 방법에서는 신경망 모델을 이용하여 상기 검색 이미지(701)에 포함되는 패션 아이템 등 객체에 대하여 형태(category), 무늬(texture), 색상(color) 등 미리 정해진 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터를 산출하는 특징 벡터 산출(feature vector extractor) 모델로서 구현될 수 있으며, 이에 따라 도 10의 (c)에서 볼 수 있는 바와 같이, 상기 검출된 객체(705, 706, 707)에 대하여 형태(category), 무늬(texture), 색상(color) 등 미리 정해진 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터(708)를 산출할 수 있게 된다.
보다 구체적으로, 상기 특징 벡터 산출(feature vector extractor) 모델로서는 Inception v3 모델 등을 사용할 수 있으며, 이때 상기 Inception v3 모델은 미리 학습된 모델을 사용해 형태(category), 무늬(texture), 색상(color) 등 미리 정해진 검색 속성 정보에 따른 패션 아이템 이미지 등의 학습 데이터로 세부 튜닝(fine tuning)을 수행해 구현할 수 있다.
나아가, 상기 학습 데이터는 웹 크롤링(web crawling) 등을 통해 수집한 패션 아이템 이미지 등에서 객체의 위치 및 검색 속성 등을 태깅하여 제작될 수 있다.
보다 구체적인 예를 들어, 도 11의 제1 검색 이미지(801)가 입력되면 상기 제1 검색 이미지에 포함되는 객체들(802, 803, 804)가 감지될 수 있으며, 이어서 상기 각 개체들에 대하여 미리 정해진 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터가 산출되게 된다. 도 11의 제1 검색 이미지에서는 상의(802), 하의(803) 및 가방(804)의 객체가 검출되었고, 이어서 "형태" 검색 속성 정보에 따른 상기 상의(802)에 대한 검색 이미지 속성별 특성 벡터(802a)가 산출되었고({0.22, 0.8280, 0.3311, 쪋}), 상기 하의(803)에 대한 검색 이미지 속성별 특성 벡터(803a)가 산출되었으며({0.5213, 0.0027, 0.68, 쪋}), 또한 상기 가방(804)에 대한 검색 이미지 속성별 특성 벡터(804a)도 산출되었음을 알 수 있다({0.48, 0.0187, 0.241, 쪋}).
또한, 사용자가 입력한 다른 검색 이미지로부터는 "무늬", "색상" 등의 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터가 산출되게 된다. 예를 들어, 제2 검색 이미지에 대해서는 "무늬" 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터를 산출하고(예를 들어, {0.761, 0.8616, 0.135, 쪋}), 제3 검색 이미지에 대해서는 "색상" 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터를 산출한 후(예를 들어, {0.101, 0.1672, 0.583, 쪋}), 상기 제1 검색 이미지의 상의에 대한 "형태" 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터({0.22, 0.8280, 0.3311, 쪋})와 상기 제2 검색 이미지에 대한 "무늬" 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터({0.761, 0.8616, 0.135, 쪋})와 제3 검색 이미지에 대한 "색상" 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터({0.101, 0.1672, 0.583, 쪋})를 조합함으로써([{0.22, 0.8280, 0.3311, 쪋}, {0.761, 0.8616, 0.135, 쪋}, {0.101, 0.1672, 0.583, 쪋}], 이를 이용하여 제1 검색 이미지의 "형태"와 제2 검색 이미지의 "무늬"와 제3 검색 이미지의 "색상"이 조합된 이미지와 유사한 유사 이미지들을 효과적으로 검색할 수 있게 된다.
나아가, 상기 데이터베이스(124)에 저장되는 저장 이미지에 대해서도, 도 12에서 볼 수 있는 바와 같이, 상기 저장 이미지에 포함되는 객체들을 감지한 후, 이어서 상기 감지된 객체(도 12의 901)에 대하여 미리 정해진 검색 속성 정보에 따른 저장 이미지 속성별 특징 벡터를 산출하게 된다.
이에 따라, 도 12의 저장 이미지에서 검출된 객체(901)에 대하여, 미리 정해진 검색 속성 정보 "형태", "무늬", "색상" 별로 저장 이미지 속성별 특성 벡터(902)가 산출되었다(형태 : {0.22, 0.8280, 0.3311, 쪋}, 무늬 : {0.342, 0.081, 0.0017, 쪋}, 색상 : {0.84, 0.5402, 0.7813, 쪋}).
이에 따라, 상기 검색 속성 정보 별 저장 이미지 속성별 특성 벡터는 데이터베이스(124)에 저장되어(도 12의 903) 복수의 검색 이미지를 조합한 이미지에 대한 유사 이미지를 검색하는데 사용될 수 있다.
나아가, 상기 데이터베이스(124)에는 저장 이미지에 대하여 상기 복수의 저장 이미지 속성별 특징 벡터가 연결된 연결 저장 이미지 특징 벡터가 저장될 수 있으며, 이러한 경우 상기 서버(120)는 상기 복수의 검색 이미지 속성별 특징 벡터가 연결된 연결 검색 이미지 특징 벡터를 생성한 후, 상기 데이터베이스(124)에 저장된 상기 연결 저장 이미지 특징 벡터와의 유사성을 기준으로 유사 이미지를 검색할 수 있다.
이에 따라, 상기 복수의 검색 이미지에 대한 각 검색 이미지 속성별 특징 벡터를 조합하여, 조합된 검색 이미지 속성별 특징 벡터와 유사한 저장 이미지 속성별 특징 벡터를 가지는 저장 이미지를 검색함으로써, 복수의 검색 이미지에 대하여 각 검색 속성들을 기준으로 상기 복수의 검색 이미지를 조합한 이미지와 유사한 이미지를 효과적으로 검색하여 제공할 수 있게 된다.
또한, 도 13에서는 본 발명의 일 실시예에 따른 이미지 검색 방법, 장치 및 시스템(100)의 동작을 보다 자세하게 설명하기 위한 도면이 예시되어 있다.
이하, 도 13을 참조하여 본 발명의 일 실시예에 따른 이미지 검색 방법, 장치 및 시스템(100)의 동작을 보다 자세하게 살핀다.
먼저, 도 13에서 볼 수 있는 바와 같이, 사용자는 단말(110)을 이용하여 복수의 검색 이미지(601, 602, 603) 등 검색 데이터 정보를 입력할 수 있다.
보다 구체적인 예로서, 사용자가 도 3과 같이 제1 검색 이미지(101), 제2 검색 이미지(102) 및 제3 검색 이미지(103)을 입력한 경우를 들 수 있다. 이때, 상기 복수의 검색 이미지(601, 602, 603) 중 일부 또는 전부에 대하여, 도 6의 (b)에서 설명한 바와 같이, 객체(예를 들어, 패션 아이템 등)를 검출하는 프로세스를 거칠 수도 있다(604).
이어서, 상기 복수의 검색 이미지(601, 602, 603) 또는 검출된 객체(604)에 대하여 신경망 모델 등을 적용하여 형태(category), 무늬(texture), 색상(color) 등 미리 정해진 검색 속성 정보에 따른 검색 이미지 속성별 특징 벡터를 산출하게 된다(605, 606, 607).
이에 따라, 상기 산출된 복수의 검색 이미지 속성별 특징 벡터(605, 606, 607)을 조합하여 유사 이미지를 검색할 수도 있겠으나, 더 나아가 본 발명의 일 실시예에 따른 이미지 검색 방법, 장치 및 시스템(100)에서는 벡터 양자화 및 인덱싱(vector quantization & indexing) 기법을 적용하여 대용량의 저장 이미지로부터 보다 빠르게 유사 이미지를 검색할 수도 있다.
이에 따라, 본 발명의 일 실시예에 따른 이미지 검색 방법, 장치 및 시스템(100)에서는, 상기 검색 이미지 속성별 특징 벡터에 포함되는 복수의 원소를 크기 기준으로 정렬한 후, 가장 크기가 큰 상위 k개의 원소들의 상기 검색 이미지 속성별 특징 벡터에서의 위치를 나타내는 인덱스 값을 원소로 가지는 인덱스 특징 벡터를 산출(도 13의 608, 609, 610)한 후, 상기 인덱스 특징 벡터를 이용하여 상기 검색 이미지에 대한 유사 이미지를 검색할 수도 있다.
보다 구체적인 예를 들어, 도 14와 도 15에서는 본 발명의 일 실시예에 따라 인덱스 특징 벡터를 산출하여 유사 이미지를 검색하는 방법을 설명하고 있다.
먼저, 도 14에서 볼 수 있는 바와 같이, 두 개의 이미지(검색 이미지 또는 저장 이미지 모두 가능)가 유사한 형태를 가지는 경우(예를 들어 도 14의 의류 A와 의류 A')), 상기 각 이미지의 "형태" 기준 (검색 또는 저장) 이미지 속성별 특징 벡터는 큰 값을 가지는 원소가 서로 유사한 위치에(즉, 유사한 인덱스 값에) 위치하게 된다. 반면, 이미지가 서로 다른 형태를 가지는 경우(예를 들어, 도 14의 의류 B)에는 상기 각 이미지의 "형태" 기준 이미지 속성별 특징 벡터도 상당히 다른 값을 가지게 된다.
즉, 도 14의 예에서 볼 수 있는 바와 같이, 이미지가 서로 유사한 형태를 가지는 경우(도 14의 의류 A, 의류 A')에는 상기 이미지에 대한 "형태" 기준 이미지 속성별 특징 벡터도 서로 유사한 위치에 큰 값을 가지는 원소가 위치(도 14의 1001, 1002, 1003)하게 되고, 이미지가 이와 다른 형태를 가지는 경우(예를 들어, 도 14의 의류 B)에는 상기 이미지의 "형태" 기준 이미지 속성별 특징 벡터도 상당히 다른 값을 가지게 된다. 이에 따라, 각 이미지의 "형태" 기준 이미지 속성별 특징 벡터가 유사한 패턴을 보이는 경우, 상기 각 이미지는 서로 동일하거나 유사한 형태를 가질 가능성이 높아진다.
따라서, 본 발명에서는 상기 이미지 속성별 특징 벡터에 포함되는 복수의 원소(element) 중에서 상기 원소의 크기를 기준으로 미리 정해진 개수의 일부 원소를 산출하여 인덱스 특징 벡터를 구성하고, 상기 일부 원소만을 포함하는 인덱스 특징 벡터를 이용하여 유사 이미지를 산출함으로써, 소요되는 전산 자원을 줄이면서도 유사 이미지를 신속하고 효율적으로 검색할 수 있게 된다.
나아가, 상기 인덱스 특징 벡터는, 도 15에서 볼 수 있는 바와 같이, 상기 복수의 원소를 포함하는 이미지 속성별 특징 벡터에서 크기를 기준으로 미리 정해진 개수만큼 산출된 일부 원소를 그 크기 순으로 정렬한 후(top-k), 상기 산출된 일부 원소들의 상기 이미지 속성별 특징 벡터에서의 위치를 나타내는 각 인덱스 값으로 상기 인덱스 특징 벡터를 구성할 수 있다.
보다 구체적인 예를 들어, 도 15에서 이미지에 대한 이미지 속성별 특징 벡터(1101)가 주어지면, 상기 이미지 속성별 특징 벡터의 원소 중 크기를 기준으로 미리 정해진 개수(도 15에서는 8개)의 원소를 산출(도 15에서 "7, 7, 6, 8, 7, 7, 7, 9")하고, 그 크기 순으로 정렬(위의 예에서 "9, 8, 7, 7, 7, 7, 7, 6")한 후, 상기 산출된 원소들의 상기 이미지 속성별 특징 벡터에서의 위치를 나타내는 각 인덱스 값("9"의 인덱스(위치)는 "19, "8"의 인덱스는 "15", "7"의 인덱스는 "2, 3, 16, 17, 18"(5개이므로 순차 나열), "6"의 인덱스는 "11")으로 상기 이미지에 대한 인덱스 특징 벡터(도 15의 1102)을 구성({19, 15, 2, 3, 16, 17, 18, 11})할 수 있게 된다.
이에 따라, 각 이미지에 대한 인덱스 특징 벡터는 각 이미지에 대한 이미지 속성별 특징 벡터보다 크게 줄어든 원소 만을 가지면서도 각 이미지의 유사성을 효율적으로 판단할 수 있어, 소요되는 전산 자원을 줄이면서도 유사 이미지를 신속하고 효율적으로 검색할 수 있게 된다.
이에 따라, 상기 복수의 검색 이미지(601, 602, 603)에 대한 인덱스 특징 벡터(F1, F2, F3)가 산출(608, 609, 610)될 수 있으며, 또한 데이터베이스(도 13의 611)에도 저장 이미지에 대한 인덱스 특징 벡터가 저장되어 있는 바, 상기 복수의 검색 이미지(601, 602, 603)에 대한 인덱스 특징 벡터를 조합한 경우(F1, F2, F3)와 유사한 인덱스 특징 벡터를 가지는 저장 이미지를 검색함으로써, 상기 복수의 검색 이미지(601, 602, 603)에 대한 각 검색 속성들을 기준으로 상기 복수의 검색 이미지를 조합한 이미지와 유사한 이미지를 검색하여 제공할 수 있게 된다.
이때, 상기 데이터베이스(611)에 저장된 저장 이미지의 인덱스 특징 벡터와 상기 복수의 검색 이미지(601, 602, 603)에 대한 인덱스 특징 벡터를 조합한 경우(F1, F2, F3)의 유사도를 산정함에 있어서는 MTC(Matched Term Count), TF-IDF, BM25 등 색인 기반 검색 기술을 활용하는 것이 바람직하다.
또한, 도 16에서는 본 발명의 일 실시예에 따른 단말(110) 관점의 이미지 검색 방법의 순서도를 도시하고 있다. 본 발명의 일 실시예에 따른 단말(110) 관점에서의 이미지 검색 방법에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 서버(120) 관점에서의 이미지 검색 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략하고 그 요지를 중심으로 기술한다.
먼저, 도 16에서 볼 수 있는 바와 같이, 단말(110)이 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 서버(120)로 송신하는 검색 정보 송신 단계(S210), 상기 서버(120)로부터 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 검색된 유사 이미지에 대한 유사 이미지 정보를 수신하는 유사 이미지 정보 수신 단계(S220) 및 상기 사용자에게 상기 유사 이미지에 대한 유사 이미지 정보를 제공하는 유사 이미지 정보 제공 단계(S230)를 포함할 수 있다.
이때, 상기 검색 정보 송신 단계(S210)에서는, 상기 복수의 검색 데이터 정보와 함께 상기 복수의 검색 데이터 정보에 대한 복수의 검색 속성 정보를 송신할 수도 있다.
또한, 상기 검색 정보 송신 단계(S210)는, 도 17에서 볼 수 있는 바와 같이, 상기 하나 이상의 검색 이미지에서 상기 복수의 검색 속성 정보에 대응하는 복수의 검색 이미지 속성별 특징 벡터를 산출하는 검색 이미지 속성별 특징 벡터 산출 단계(S211) 및 상기 산출된 복수의 검색 이미지 속성별 특징 벡터를 상기 서버(120)로 송신하는 검색 이미지 속성별 특징 벡터 송신 단계(S212)를 포함할 수 있다.
나아가, 상기 검색 이미지 속성별 특징 벡터 송신 단계(S211)에서는, 상기 하나 이상의 검색 이미지에서 상기 복수의 검색 속성 정보에 대응하여 산출된 복수의 검색 이미지 속성별 특징 벡터를 연결하여 하나의 연결 검색 이미지 특징 벡터를 생성하여 상기 서버(120)로 송신할 수 있다.
또한, 본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 앞서 살핀 이미지 검색 방법의 각 단계를 컴퓨터에서 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다. 상기 컴퓨터 프로그램은 컴파일러에 의해 만들어지는 기계어 코드를 포함하는 컴퓨터 프로그램뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에서 실행될 수 있는 고급 언어 코드를 포함하는 컴퓨터 프로그램일 수도 있다. 이때, 상기 컴퓨터로서는 퍼스널 컴퓨터(PC)나 노트북 컴퓨터 등에 한정되지 아니하며, 서버, 스마트폰, 태블릿 PC, PDA, 휴대전화 등 중앙처리장치(CPU)를 구비하여 컴퓨터 프로그램을 실행할 수 있는 일체의 정보처리 장치를 포함한다. 또한, 상기 상기 컴퓨터로 판독 가능한 매체는 전자적 기록 매체(예를 들면, 롬, 플래시 메모리, 등), 마그네틱 저장매체(예를 들면, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같이 컴퓨터로 판독이 가능한 일체의 저장매체를 포함한다.
또한, 도 18에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)의 구성도를 예시하고 있다.
도 18에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)는 검색 정보 수신부(121), 유사 이미지 검색부(122) 및 유사 이미지 정보 송신부(123)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)를 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 서버(120)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 이미지 검색 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.
먼저, 상기 검색 정보 수신부(121)에서는, 단말(110)로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하게 된다.
이때, 상기 검색 정보 수신부(121)에서는, 상기 복수의 검색 데이터 정보와 함께 상기 복수의 검색 데이터 정보에 대한 복수의 검색 속성 정보를 수신할 수도 있다.
또한, 상기 유사 이미지 검색부(122)에서는 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하게 된다.
마지막으로, 상기 유사 이미지 제공부(123)에서는 상기 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말로 송신하게 된다.
또한, 도 19에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 단말(110)의 구성도를 예시하고 있다.
도 19에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 단말(110)은 검색 정보 송신부(111), 유사 이미지 정보 수신부(112) 및 유사 이미지 정보 제공부(113)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 단말(110)을 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 이미지 검색을 제공하는 단말(110)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 이미지 검색 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.
먼저, 상기 검색 정보 송신부(111)에서는, 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 서버(120)로 송신하게 된다.
이때, 상기 검색 정보 송신부(111)에서는, 상기 복수의 검색 데이터 정보와 함께 상기 복수의 검색 데이터 정보에 대한 복수의 검색 속성 정보를 송신할 수도 있다.
또한, 상기 유사 이미지 정보 수신부(112)에서는 상기 서버(120)로부터 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 검색된 유사 이미지에 대한 유사 이미지 정보를 수신하게 된다.
마지막으로, 상기 유사 이미지 정보 제공부(113)에서는 상기 사용자에게 상기 유사 이미지에 대한 유사 이미지 정보를 제공하게 된다.
이에 따라, 본 발명의 일 실시예에 따른 이미지 검색 방법, 장치 및 컴퓨터 프로그램에서는, 주어진 검색 이미지와 유사한 이미지를 검색하여 제공함에 있어, 주어진 검색 이미지의 특정한 속성을 기준으로 유사 이미지를 검색하여 제공할 수 있으며, 나아가 복수의 검색 이미지에 대한 각 검색 속성들을 기준으로 상기 복수의 검색 이미지를 조합한 이미지와 유사한 이미지를 검색하여 제공함으로써, 상기 복수의 검색 이미지를 조합한 이미지에 대한 유사 이미지를 보다 편리하고 정확하게 제공 받을 수 있게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 서버가 단말로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하는 검색 정보 수신 단계;
    상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하는 유사 이미지 검색 단계; 및
    상기 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말로 송신하는 유사 이미지 제공 단계;
    를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  2. 제1항에 있어서,
    상기 검색 정보 수신 단계에서는,
    상기 사용자가 입력한 복수의 검색 이미지 및 상기 복수의 검색 이미지에 대한 복수의 검색 속성 정보를 수신하며,
    상기 유사 이미지 검색 단계에서는,
    상기 복수의 검색 속성 정보 별로 상기 복수의 검색 이미지에서 대응하는 검색 이미지 부분 정보들을 조합하여 유사 이미지를 검색하는 것을 특징으로 하는 이미지 검색 방법.
  3. 제2항에 있어서,
    상기 유사 이미지 검색 단계는,
    상기 복수의 검색 이미지에서 상기 복수의 검색 속성 정보에 대응하는 복수의 검색 이미지 속성별 특징 벡터를 산출하는 검색 이미지 속성별 특징 벡터 산출 단계; 및
    데이터베이스에 저장된 복수의 저장 이미지에 대하여 상기 복수의 검색 속성 정보를 기준으로 산출되어 저장된 복수의 저장 이미지 속성별 특징 벡터를 상기 복수의 검색 이미지 속성별 특징 벡터와 대비하여 유사 이미지를 검색하는 데이터베이스 검색 단계;
    를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  4. 제3항에 있어서,
    상기 데이터베이스에는 상기 복수의 저장 이미지에 대하여 상기 복수의 저장 이미지 속성별 특징 벡터가 연결된 연결 저장 이미지 특징 벡터가 저장되며,
    상기 유사 이미지 검색 단계에서는,
    상기 복수의 검색 이미지 속성별 특징 벡터가 연결된 연결 검색 이미지 특징 벡터를 생성한 후,
    상기 데이터베이스에 저장된 상기 연결 저장 이미지 특징 벡터와의 유사성을 기준으로 유사 이미지를 검색하는 것을 특징으로 하는 이미지 검색 방법.
  5. 제3항에 있어서,
    상기 검색 이미지 속성별 특징 벡터 산출 단계는,
    상기 검색 이미지에 포함된 하나 이상의 객체를 검출하는 단계; 및
    상기 하나 이상의 객체에 대하여 각각 상기 검색 속성 정보를 기준으로 하여 검색 이미지 속성별 특징 벡터를 산출하는 단계;
    를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  6. 제3항에 있어서,
    상기 검색 이미지 속성별 특징 벡터 산출 단계에서는,
    상기 검색 이미지 속성별 특징 벡터에 포함되는 복수의 원소를 크기 기준으로 정렬한 후, 가장 크기가 큰 상위 k개의 원소들의 상기 검색 이미지 속성별 특징 벡터에서의 위치를 나타내는 인덱스 값을 원소로 가지는 인덱스 특징 벡터를 산출하고,
    상기 특징 벡터 유사 이미지 검색 단계에서는,
    상기 인덱스 특징 벡터를 이용하여 상기 검색 이미지에 대한 유사 이미지를 검색하는 것을 특징으로 하는 객체 분류 방법.
  7. 제1항에 있어서,
    상기 검색 정보 수신 단계에서는,
    상기 사용자가 입력한 제1 검색 이미지와 그에 대한 제1 검색 속성 정보와, 제2 검색 텍스트와 그에 대한 제2 검색 기준 정보를 포함하는 검색 정보를 수신하며,
    상기 유사 이미지 검색 단계에서는,
    상기 제1 검색 이미지에서 상기 제1 검색 속성 정보에 대응하는 제1 검색 데이터 부분 정보와, 상기 제2 검색 텍스트에 대하여 상기 제2 검색 속성 정보에 대응하는 제2 검색 데이터 부분 정보를 조합하여 유사 이미지를 검색하는 것을 특징으로 하는 이미지 검색 방법.
  8. 제1항에 있어서,
    상기 검색 정보 수신 단계에서는,
    상기 단말에서 상기 사용자가 미리 저장해둔 검색 이미지 및 그에 대한 검색 속성 정보를 선택할 수 있는 사용자 인터페이스를 제공하도록 하고,
    상기 유사 이미지 검색 단계에서는,
    상기 미리 저장해둔 검색 이미지 및 그에 대한 검색 속성 정보를 사용하여 유사 이미지를 검색하는 것을 특징으로 하는 이미지 검색 방법.
  9. 제1항에 있어서,
    상기 검색 정보 수신 단계에서는,
    상기 단말에서 상기 사용자가 입력한 복수의 검색 데이터 정보에 대해 검색 속성 정보를 설정할 수 있는 사용자 인터페이스를 제공하도록 하고,
    상기 단말로부터 상기 복수의 검색 데이터 정보에 대하여 설정된 각 검색 속성 정보를 수신하는 것을 특징으로 하는 이미지 검색 방법.
  10. 단말이 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 서버로 송신하는 검색 정보 송신 단계;
    상기 서버로부터 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 검색된 유사 이미지에 대한 유사 이미지 정보를 수신하는 유사 이미지 정보 수신 단계; 및
    상기 사용자에게 상기 유사 이미지에 대한 유사 이미지 정보를 제공하는 유사 이미지 정보 제공 단계;
    를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  11. 제10항에 있어서,
    상기 검색 정보 송신 단계는,
    상기 하나 이상의 검색 이미지에서 상기 복수의 검색 속성 정보에 대응하는 복수의 검색 이미지 속성별 특징 벡터를 산출하는 검색 이미지 속성별 특징 벡터 산출 단계; 및
    상기 산출된 복수의 검색 이미지 속성별 특징 벡터를 상기 서버로 송신하는 검색 이미지 속성별 특징 벡터 송신 단계;
    를 포함하는 것을 특징으로 하는 이미지 검색 방법.
  12. 제11항에 있어서,
    상기 검색 이미지 속성별 특징 벡터 송신 단계에서는,
    상기 하나 이상의 검색 이미지에서 상기 복수의 검색 속성 정보에 대응하여 산출된 복수의 검색 이미지 속성별 특징 벡터를 연결하여 하나의 연결 검색 이미지 특징 벡터를 생성하여 상기 서버로 송신하는 것을 특징으로 하는 이미지 검색 방법.
  13. 컴퓨터에서 제1항 내지 제12항 중 어느 한 항에 기재된 이미지 검색 방법의 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  14. 단말로부터 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 수신하는 검색 정보 수신부;
    상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 유사 이미지를 검색하는 유사 이미지 검색부; 및
    상기 검색된 유사 이미지에 대한 유사 이미지 정보를 상기 단말로 송신하는 유사 이미지 제공부;
    를 포함하는 것을 특징으로 하는 서버.
  15. 사용자가 입력한 하나 이상의 검색 이미지를 포함하는 복수의 검색 데이터 정보를 서버로 송신하는 검색 정보 송신부;
    상기 서버로부터 상기 복수의 검색 데이터 정보에서 상기 복수의 검색 데이터 정보에 대한 각 검색 속성 정보에 대응하는 검색 데이터 부분 정보들을 조합하여 검색된 유사 이미지에 대한 유사 이미지 정보를 수신하는 유사 이미지 정보 수신부; 및
    상기 사용자에게 상기 유사 이미지에 대한 유사 이미지 정보를 제공하는 유사 이미지 정보 제공부;
    를 포함하는 것을 특징으로 하는 단말.
PCT/KR2019/003934 2018-04-04 2019-04-03 이미지 검색 방법, 장치 및 컴퓨터 프로그램 Ceased WO2019194569A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0039221 2018-04-04
KR1020180039221A KR20190115930A (ko) 2018-04-04 2018-04-04 이미지 검색 방법, 장치 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2019194569A1 true WO2019194569A1 (ko) 2019-10-10

Family

ID=68100902

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/003934 Ceased WO2019194569A1 (ko) 2018-04-04 2019-04-03 이미지 검색 방법, 장치 및 컴퓨터 프로그램

Country Status (2)

Country Link
KR (1) KR20190115930A (ko)
WO (1) WO2019194569A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076433A (zh) * 2021-04-26 2021-07-06 支付宝(杭州)信息技术有限公司 具有多模态信息的检索对象的检索方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102323880B1 (ko) * 2021-04-27 2021-11-09 다온플레이스 주식회사 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135597A1 (en) * 2005-05-09 2010-06-03 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
KR20150111552A (ko) * 2014-03-25 2015-10-06 에스케이플래닛 주식회사 모바일 서비스 시스템, 그 시스템에서의 위치 기반 앨범 생성 방법 및 장치
KR20170039524A (ko) * 2015-10-01 2017-04-11 주식회사 버추어패브릭스 시각 부분 사전을 이용한 이미지 검색 시스템 및 방법
KR20170131924A (ko) * 2016-05-23 2017-12-01 네이버 주식회사 이미지 검색 방법, 장치 및 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100706389B1 (ko) 2005-07-15 2007-04-10 (주)첫눈 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135597A1 (en) * 2005-05-09 2010-06-03 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
KR20150111552A (ko) * 2014-03-25 2015-10-06 에스케이플래닛 주식회사 모바일 서비스 시스템, 그 시스템에서의 위치 기반 앨범 생성 방법 및 장치
KR20170039524A (ko) * 2015-10-01 2017-04-11 주식회사 버추어패브릭스 시각 부분 사전을 이용한 이미지 검색 시스템 및 방법
KR20170131924A (ko) * 2016-05-23 2017-12-01 네이버 주식회사 이미지 검색 방법, 장치 및 컴퓨터 프로그램

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CNN BUSINESS: "Google Lens makes your camera smarter than you", YOUTUBE, 17 May 2017 (2017-05-17), XP054979933, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=1LHP5eh4Y54> [retrieved on 20190619] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076433A (zh) * 2021-04-26 2021-07-06 支付宝(杭州)信息技术有限公司 具有多模态信息的检索对象的检索方法和装置
CN113076433B (zh) * 2021-04-26 2022-05-17 支付宝(杭州)信息技术有限公司 具有多模态信息的检索对象的检索方法和装置

Also Published As

Publication number Publication date
KR20190115930A (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
KR102130448B1 (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
WO2016013914A1 (ko) 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램
WO2010117213A2 (en) Apparatus and method for providing information related to broadcasting programs
WO2022060066A1 (ko) 전자 장치, 컨텐츠 검색 시스템 및 검색 방법
JP2017117306A (ja) マーキング解析システム及びマーキング解析方法
JP2018165926A (ja) 類似画像検索装置
WO2013165083A1 (ko) 이미지에 기반하여 동영상 서비스를 제공하는 시스템 및 방법
WO2012093815A2 (ko) 적어도 한 명의 사용자의 성향을 고려하여 타사용자 또는 사물을 추천하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2020085558A1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
WO2016013915A1 (ko) 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램
WO2020251233A1 (ko) 영상데이터의 추상적특성 획득 방법, 장치 및 프로그램
WO2019093599A1 (ko) 사용자 관심 정보 생성 장치 및 그 방법
WO2020032487A1 (ko) 우선 순위에 기반하여 상품과 관련된 정보를 제공하는 방법 및 그 전자 장치
WO2017026852A1 (ko) 상대 비교를 통한 상품 추천 서비스 방법 및 이를 위한 추천 서비스 장치와 프로그램
WO2015133856A1 (ko) 정답 키워드 제공 방법 및 장치
WO2017142361A1 (ko) 스타일 특징을 이용한 상품 추천 방법
WO2020186777A1 (zh) 图像检索方法、装置、设备及计算机可读存储介质
WO2021153964A1 (ko) 패션 상품 추천 방법, 장치 및 시스템
WO2019194569A1 (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
WO2012046906A1 (ko) 다중 자원을 통합한 지식베이스를 이용하여 연구 주체간의 상관관계가 표시된 자원검색 정보 제공 장치 및 방법
WO2015037815A1 (ko) 스마트 기기 내 시맨틱 검색 시스템 및 검색방법
WO2024019226A1 (ko) 유해 url 탐지 방법
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
WO2025226091A1 (ko) 매장 내의 동일인을 식별하는 고객 식별 방법 및 장치
WO2019151620A1 (ko) 컨텐츠 정보 제공 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19780800

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19780800

Country of ref document: EP

Kind code of ref document: A1