JP2018142288A - Commodity discrimination device, commodity discrimination program, and commodity discrimination method - Google Patents
Commodity discrimination device, commodity discrimination program, and commodity discrimination method Download PDFInfo
- Publication number
- JP2018142288A JP2018142288A JP2017037807A JP2017037807A JP2018142288A JP 2018142288 A JP2018142288 A JP 2018142288A JP 2017037807 A JP2017037807 A JP 2017037807A JP 2017037807 A JP2017037807 A JP 2017037807A JP 2018142288 A JP2018142288 A JP 2018142288A
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- category
- representative
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012850 discrimination method Methods 0.000 title description 9
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 230000004044 response Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000007844 bleaching agent Substances 0.000 description 1
- 239000003599 detergent Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、商品陳列棚に陳列された商品を判別する商品判別装置、商品判別プログラム及び商品の判別方法に関するものである。 The present invention relates to a product discriminating apparatus, a product discriminating program, and a product discriminating method for discriminating products displayed on a merchandise display shelf.
コンビニエンスストアやドラッグストア、スーパーマーケット等の総合小売業の店舗には、数千〜数万種類の商品が陳列されているが、陳列された商品や在庫の補充等を行うために、商品陳列棚における商品の陳列状況を随時確認することが求められている。 Thousands to tens of thousands of products are displayed in general retail stores such as convenience stores, drug stores, and supermarkets. It is required to check the display status of the product from time to time.
こうした課題に対応して、商品陳列棚にある商品を判別して、陳列状況を速やかに把握するために、商品陳列棚に陳列される各商品を識別する商品識別情報を付した商品ラベルを商品棚に取り付ける方法や（特許文献１参照）、商品陳列棚の商品載置面にその場所に配置する商品を識別できるマークを表示して、商品陳列棚を撮影した画像にそのマークが表れるか否かから、商品の陳列状況を把握する方法（特許文献２参照）等が開示されている。 In response to these issues, the product label with product identification information that identifies each product displayed on the product display shelf is used to identify the product on the product display shelf and quickly grasp the display status. A method of attaching to a shelf (see Patent Document 1), a mark that can identify a product placed at the place on the product placement surface of the product display shelf, and whether or not the mark appears in an image of the product display shelf Therefore, a method for grasping the display status of a product (see Patent Document 2) and the like are disclosed.
これらの方法を実施するためには、小売店が商品陳列棚に商品ラベルや商品の識別マークを付さなければならないが、そうした小売店側の作業を要することなく商品の陳列状況を把握できる手段として、商品陳列棚を撮影し、撮影した画像に含まれる商品の画像を登録されている商品の画像情報と照合して、商品陳列棚にある商品を判別する発明が開示されている（例えば、特許文献３、４参照）。 In order to carry out these methods, retail stores must put product labels and product identification marks on product display shelves, but the means for grasping the product display status without requiring such work on the retail store side. As an invention, a product display shelf is photographed, and an image of a product included in the photographed image is compared with image information of a registered product to determine a product on the product display shelf (for example, (See Patent Documents 3 and 4).
商品陳列棚における商品の陳列状況の把握は、陳列する商品や在庫の適切な管理が求められる小売店を運営する小売業者のみでなく、自社の商品が小売店の棚のどのような位置に置かれているか、どのような競合商品と並べて販売されているか、といった情報を把握したい、小売店に商品を納品しているメーカーにとっての課題でもある。そのため、こうしたメーカーではラウンダーと呼ばれる小売店を巡回する担当者を配置して、小売店の商品陳列棚における自社商品の陳列状況の把握に努めている。 Understanding the display status of products on product display shelves is not limited to retailers that operate retail stores that require appropriate management of products to be displayed or inventory, and where their products are located on retail store shelves. It is also a challenge for manufacturers who want to get information on what products are being sold and what kind of competing products are being sold alongside them. For this reason, these manufacturers have assigned a person in charge of visiting a retail store called a rounder to grasp the display status of their products on the retail store shelves.
ラウンダーが商品陳列棚の状況を把握する際には、特許文献１や特許文献２に示したような小売店側での作業を必要とする商品ラベルや商品の識別マークを用いた方法に依存することができないので、特許文献３や特許文献４に示したような商品陳列棚の画像を撮影して商品を判別する方法が採用されやすく、近時は画像認識技術を用いた様々なシステムが提供されるようになっている。 When the rounder grasps the state of the merchandise display shelf, it depends on a method using merchandise labels or merchandise identification marks that require work on the retail store side as shown in Patent Literature 1 and Patent Literature 2. Therefore, it is easy to adopt a method for discriminating products by taking images of product display shelves as shown in Patent Document 3 and Patent Document 4, and recently various systems using image recognition technology are provided. It has come to be.
ところが、こうした画像認識技術を用いた商品判別システムにおいて問題になるのが、コンビニエンスストアやドラッグストア、スーパーマーケット等の総合小売業の店舗では、扱われる商品の種類が膨大な数に及ぶため、撮影した画像から識別される商品画像と、商品毎にあらかじめ登録された商品画像を照合するデータ処理が非常に重くなるとともに、照合の対象が膨大な数になるとマッチングの精度も低下しやすい、ということである。 However, the problem with such product recognition systems using image recognition technology is that there are a huge number of products handled in general retail stores such as convenience stores, drug stores, and supermarkets. The data processing that matches the product image identified from the image and the product image registered in advance for each product becomes very heavy, and the accuracy of matching tends to decrease when the number of objects to be matched becomes large is there.
例えば、コンビニエンスストアの標準的な店舗であれば、一店舗あたり約３，０００ＳＫＵ（ＳＫＵは商品を管理する最小単位のこと、コンビニエンスストアチェーン全体では年間約１０，０００ＳＫＵ）、ドラッグストアの標準的な店舗であれば、一店舗あたり約１５，０００ＳＫＵ（ドラッグストアチェーン全体では年間約５０，０００ＳＫＵ）、総合スーパーマーケットの標準的な店舗であれば、一店舗あたり約５０，０００ＳＫＵ（総合スーパーマーケットチェーン全体では年間約８０，０００ＳＫＵ）の商品を扱っているものと推測され、これら全てを照合の対象とすると、照合のデータ処理にかかる負担やマッチングの精度の低下が深刻な問題となりやすい。膨大な種類の商品を対象にしながらも、商品を判別するための処理を効率化する仕組みが求められるところである。 For example, if it is a standard store of a convenience store, it is about 3,000 SKU per store (SKU is the smallest unit for managing merchandise, about 10,000 SKU per year for the entire convenience store chain) If it is a store, about 15,000 SKU per store (about 50,000 SKU per year for the entire drug store chain), if it is a standard store of a general supermarket, about 50,000 SKU per store (annual for the entire general supermarket chain) If it is estimated that about 80,000 SKU) products are handled, and all of these items are to be collated, the burden of collation data processing and a decrease in matching accuracy tend to be serious problems. There is a need for a mechanism that makes processing for discriminating products more efficient while targeting a huge variety of products.
本発明は、このような課題に対応するためになされたものであり、商品陳列棚に陳列された商品を判別するための処理を効率化する、商品判別装置、商品判別プログラム及び商品の判別方法を提供することを目的とするものである。 The present invention has been made in order to cope with such a problem, and a product discrimination device, a product discrimination program, and a product discrimination method for improving the efficiency of processing for discriminating products displayed on a product display shelf. Is intended to provide.
このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、前記商品画像識別手段によって識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定手段と、前記商品画像識別手段によって識別された商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段と、を備えることを特徴とする商品判別装置である。 The present invention that solves such a problem is a product discriminating device that discriminates products displayed on a product display shelf, and identifies a product image included in the image from an image of the product display shelf The product image identified by the identifying unit and the product image identifying unit is compared with the image of the representative product designated for each product category, the product image identified as the representative product is selected, and the selected product image Product category determining means for preferentially determining one or two or more product categories to which at least one representative product belongs from among representative products for which the product has been identified as a product category to be searched, and the product image identifying means The identified product image is collated with the product image of the product belonging to the product category determined by the product category determining means, and the product corresponding to each product image is determined. The first product discrimination unit and the product image for which the product cannot be discriminated by the first product discrimination unit belong to one or more other product categories excluding the product category determined by the product category determination unit. A product discrimination apparatus comprising: a second product discrimination unit that collates with a product image of a product and discriminates a product corresponding to each product image.
本発明では、通常の小売店の商品陳列棚には、同じ商品カテゴリーに属する商品が並べられることが多いこと、商品カテゴリー毎に必ず陳列される代表商品が存在することに着目して、はじめに商品陳列棚を撮影した画像から、商品カテゴリー毎の代表商品のみを検索対象として商品画像を照合し、判別された代表商品から商品陳列棚に並べられている商品カテゴリーを推認する。次に、その商品カテゴリーの商品のみを対象に商品画像を照合する検索処理を実行して、商品を判別する構成とした。判別できなかった商品については、その後に検索対象を他の商品カテゴリーに拡大して商品画像を照合し、全ての商品画像に対応する商品を判別する。 In the present invention, focusing on the fact that merchandise belonging to the same merchandise category is often arranged on the merchandise display shelves of ordinary retail stores, and there are representative merchandise that are always displayed for each merchandise category, The product images are collated from the images obtained by photographing the display shelves for only the representative products for each product category as search targets, and the product categories arranged on the product display shelves are inferred from the determined representative products. Next, a configuration is made in which a product is discriminated by executing a search process for matching product images only for products in the product category. For products that could not be discriminated, the search object is expanded to other product categories, and product images are collated, and products corresponding to all product images are discriminated.
このように構成することによって、商品画像を照合する処理の対象となる商品を大幅に絞り込んで、照合のデータ処理にかかる負担を著しく軽減することが可能になる。代表商品に着目することで、商品陳列棚の実態にあわせて検索対象を適切に絞り込むことができるため、マッチングの精度も向上することが期待できる。 By configuring in this way, it is possible to greatly narrow down the products that are subject to processing for comparing product images, and to significantly reduce the burden on data processing for verification. By focusing on the representative product, it is possible to appropriately narrow down the search target according to the actual state of the product display shelf, and it can be expected that the matching accuracy will be improved.
また、本発明は、前記商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。 The present invention further comprises second product category determining means for determining one or more product categories related to the product category determined by the product category determining means as a product category to be searched, The second product discriminating unit collates the product images that cannot be discriminated by the first product discriminating unit with the product images of the products belonging to the product category determined by the second product category determining unit. It is also possible to distinguish a product corresponding to the product image.
さらに、本発明は、前記商品カテゴリー決定手段において、選択された商品画像が判別された代表商品が属する商品カテゴリーのうち、優先的に検索対象とする商品カテゴリーに決定されなかった一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を特徴としてもよい。 Furthermore, the present invention provides the product category determination means, wherein one or more of the product categories to which the representative product for which the selected product image is identified belong not preferentially determined as a search target product category. A third product category determining unit that determines another product category as a search target product category, and a product image in which a product cannot be determined by the first product determining unit and the second product determining unit, Third product discrimination means for discriminating a product corresponding to each product image by collating with the product images of the products belonging to the product category determined by the 3 product category determination means may be characterized.
以上のように構成すると、代表商品から決定される商品カテゴリーによって判別できない商品画像の照合についても、決定された商品カテゴリーに関連する商品カテゴリー、あるいは、先に決定された商品カテゴリー以外の代表商品から決定される他の商品カテゴリーを優先的に検索対象とすることによって、効率的な商品画像の照合による商品の判別が実現される。 With the above configuration, for product image matching that cannot be identified by the product category determined from the representative product, the product category related to the determined product category or representative products other than the previously determined product category By determining other product categories to be determined with priority, product discrimination by efficient product image matching is realized.
本発明は、本発明に係る商品判別装置において動作する、商品判別プログラムとして特定することもできる。 The present invention can also be specified as a product discrimination program that operates in the product discrimination device according to the present invention.
本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。 The product identification program according to the present invention is a product image identification step for identifying a product image included in the image from an image obtained by photographing the product display shelf in a product determination device that determines a product displayed on the product display shelf. The product image identified in the product image identification step is collated with the image of the representative product designated for each product category, the product image identified as the representative product is selected, and the selected product image is identified. A product category determining step for preferentially determining one or two or more product categories to which at least one representative product belongs from among representative products as a product category to be searched, and the product image identified in the product image identification step Is compared with the product image of the product belonging to the product category determined in the product category determination step, and the product corresponding to each product image A product image in which a product cannot be discriminated in the first product discriminating step and the first product discriminating step belongs to one or more other product categories excluding the product category determined in the product category determining step. A product discrimination program for executing a second product discrimination step for discriminating a product corresponding to each product image by collating with a product image of the product.
また、本発明に係る商品判別プログラムは、先に説明した商品判別装置の各々の構成に対応する商品判別プログラムとして特定することもできる。 Moreover, the product discrimination program according to the present invention can be specified as a product discrimination program corresponding to each configuration of the product discrimination device described above.
本発明は、本発明に係る商品判別装置によって実行される、商品の判別方法として特定することもできる。 The present invention can also be specified as a product discrimination method executed by the product discrimination device according to the present invention.
本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、前記商品判別装置が、前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、前記商品判別装置が、前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、を有することを特徴とする商品の判別方法である。 The product discrimination method according to the present invention includes a product image identification step in which a product discrimination device that discriminates a product displayed on a product display shelf identifies a product image included in the image from an image obtained by photographing the product display shelf; The product discriminating device collates the product image identified in the product image identification step with the image of the representative product designated for each product category, selects the product image that is discriminated as the representative product, and is selected. A product category determination step for preferentially determining one or more product categories to which at least one representative product belongs from among representative products whose product images have been identified as product categories to be searched, and the product determination The apparatus compares the product image identified in the product image identification step with the product image of the product belonging to the product category determined in the product category determination step. A first product determination step for determining a product corresponding to each product image; and a product image for which the product determination device cannot determine a product in the first product determination step. A second product discrimination step of discriminating a product corresponding to each product image by comparing with product images of products belonging to one or more other product categories excluding the designated product category. This is a method for distinguishing a characteristic product.
また、本発明に係る商品の判別方法は、先に説明した商品判別装置の各々の構成に対応する商品の判別方法として特定することもできる。 The product discrimination method according to the present invention can also be specified as a product discrimination method corresponding to each configuration of the product discrimination device described above.
本発明によると、商品陳列棚を撮影して、撮影した商品画像から陳列された商品を判別する処理が、マッチングの精度を低下させることなく、著しく効率化される。本発明は特に、商品陳列棚が設置された小売店に商品を納入するメーカーのラウンダーが、小売店における商品の陳列状況を確認する作業の効率化、高度化に資するものであり、こうしたメーカーにおける商品の販売戦略への好影響が期待できるものである。 According to the present invention, the process of photographing the product display shelf and discriminating the displayed product from the photographed product image is remarkably improved without reducing the matching accuracy. In particular, the present invention contributes to the efficiency and sophistication of the work of confirming the display status of products in retail stores by a manufacturer's rounder who delivers products to retail stores with product display shelves. A positive impact on product sales strategies can be expected.
本発明を実施するための形態について、図面を用いて以下に詳細に説明する。尚、以下の説明では、スマートフォン等の携帯端末で撮影した商品陳列棚の画像をインターネット経由でサーバに送信して商品を判別する例について説明するが、以下に示した例は本発明の実施形態の一例を示したものであって、本発明はかかる実施形態に限定されるものではない。 Embodiments for carrying out the present invention will be described below in detail with reference to the drawings. In the following description, an example in which an image of a merchandise display shelf photographed with a mobile terminal such as a smartphone is transmitted to a server via the Internet to discriminate the merchandise will be described. The example shown below is an embodiment of the present invention. However, the present invention is not limited to such an embodiment.
図１は、本発明の実施形態の概要を示している。図１において、本発明に係る商品判別装置は商品情報管理サーバに包含されており、ラウンダー等の利用者が、スマートフォン等の携帯端末を用いて小売店に設置された商品陳列棚を撮影した画像を商品情報管理サーバに送信すると、商品情報管理サーバでは商品陳列棚の画像に含まれる各々の商品を判別して、小売店の商品陳列棚における商品の陳列状況に関する情報をデータベースに保存して、商品陳列情報として管理する。商品陳列棚の画像を送信した携帯端末に、商品陳列棚に陳列された商品に関する情報を返信することとしてもよい。 FIG. 1 shows an overview of an embodiment of the present invention. In FIG. 1, the product identification device according to the present invention is included in a product information management server, and a user such as a rounder images a product display shelf installed in a retail store using a mobile terminal such as a smartphone. Is transmitted to the product information management server, the product information management server determines each product included in the image of the product display shelf, stores information on the display status of the product in the product display shelf of the retail store in the database, Managed as product display information. Information regarding the product displayed on the product display shelf may be returned to the mobile terminal that has transmitted the image of the product display shelf.
ここで本発明においては、商品情報管理サーバで商品陳列棚の画像に含まれる各々の商品を判別する際に、商品情報管理サーバのデータベースに商品画像が登録されている全ての商品を対象にして商品画像の照合を実行するのではなく、はじめに商品陳列棚を撮影した画像から、商品カテゴリー毎の代表商品に指定された商品のみに対象を絞り込んで商品画像を照合する。本発明では、小売店の商品陳列棚には、同じ商品カテゴリーに属する商品が並べられることが多いこと、商品カテゴリー毎に必ず陳列される代表商品が存在することに着目して、代表商品に絞り込んで検索すれば、通常はいずれかの商品を判別することが可能であり、判別された商品の商品カテゴリーに検索対象を絞り込めば、マッチングの精度が高く、効率的な商品画像の照合を実現できると考えられるためである。 Here, in the present invention, when each product included in the product display shelf image is determined by the product information management server, all products whose product images are registered in the database of the product information management server are targeted. Rather than executing product image verification, product images are verified by narrowing down the target to only the products designated as representative products for each product category from the image of the product display shelf. In the present invention, focusing on the fact that merchandise belonging to the same product category is often arranged on the merchandise display shelves of retail stores, and that there are representative products that are always displayed for each product category, narrow down to representative products. It is usually possible to identify one of the products by searching with, and if the search target is narrowed down to the product category of the identified product, matching accuracy is high and efficient product image matching is realized. This is because it is considered possible.
代表商品が判別されると、判別された代表商品の商品カテゴリーから、商品陳列棚に陳列されている可能性が高い商品カテゴリーを決定して、決定した商品カテゴリーのみを対象に絞り込んで、商品画像の照合によって商品を判別する処理を実行する。判別できなかった商品の商品画像については、先に決定した商品カテゴリーとの関連が強い商品カテゴリー等に検索対象を拡大して、さらに商品画像の照合によって商品を判別する処理を実行する。 When representative products are identified, product categories that are likely to be displayed on the product display shelf are determined from the product categories of the identified representative products, and only the determined product categories are narrowed down to product images. The process which discriminate | determines goods by collation of is performed. For the product image of the product that could not be discriminated, the search target is expanded to the product category or the like that is strongly related to the previously determined product category, and the product is further discriminated by matching the product image.
尚、図１では、商品画像を照合して商品を判別する処理を、商品陳列棚の画像を撮影した携帯端末とインターネットを介して接続可能な商品情報管理サーバにおいて実行する実施形態の例を示したが、商品情報管理サーバと通信することなく、こうした処理をスマートフォン等の携帯端末で実行する構成としてもよく、その場合は、ラウンダー等が所持する携帯端末が、本発明に係る商品判別装置に該当することになる。また、携帯端末の種類も特に限定されるものではなく、タブレット型コンピュータやパーソナルコンピュータを用いて、これらの携帯端末で商品画像を照合して商品を判別する処理を実行することとしてもよい。 FIG. 1 shows an example of an embodiment in which the product information management server that can be connected via the Internet to the portable terminal that captures the product display shelf image is shown in FIG. However, such a process may be executed by a mobile terminal such as a smartphone without communicating with the product information management server. In this case, the mobile terminal possessed by the rounder or the like is included in the product discrimination device according to the present invention. That will be true. Also, the type of the mobile terminal is not particularly limited, and using a tablet computer or a personal computer, it is also possible to execute processing for identifying a product by comparing product images with these mobile terminals.
図２は、本発明に係る商品判別装置の構成の一例を示している。図２では、商品情報管理サーバ１０に備えられる機能の一部が、本発明に係る商品判別装置を構成することとなる。 FIG. 2 shows an example of the configuration of the product discrimination device according to the present invention. In FIG. 2, a part of the functions provided in the product information management server 10 constitutes the product discrimination device according to the present invention.
本発明に係る商品判別装置に対応する機能を備えた商品情報管理サーバ１０は、ＣＰＵ、メインメモリ、ＨＤＤ等の補助記憶装置が備えられ、ネットワークに接続されてサーバとして機能するコンピュータであって、補助記憶装置に格納されたプログラムがメインメモリに読み出され、ＣＰＵで演算処理を実行することによって、所定の機能が実現される。 The product information management server 10 having a function corresponding to the product discrimination device according to the present invention is a computer that includes an auxiliary storage device such as a CPU, a main memory, and an HDD, and is connected to a network and functions as a server. A program stored in the auxiliary storage device is read into the main memory, and a predetermined function is realized by executing arithmetic processing by the CPU.
商品情報管理サーバ１０を構成するコンピュータの物理的な構成は特に限定されるものではなく、本発明における商品陳列棚の画像に含まれる商品を判別する機能の他の機能が同一のコンピュータに備えられるものであってもよい。本発明に必要な各々の機能は、物理的に一台のコンピュータによって実現されるものであってもよいし、複数のコンピュータを用いて実現されるものであってもよい。 The physical configuration of the computer constituting the product information management server 10 is not particularly limited, and the same computer is provided with other functions for determining the product included in the product display shelf image in the present invention. It may be a thing. Each function necessary for the present invention may be physically realized by one computer or may be realized by using a plurality of computers.
商品情報管理サーバ１０の画像受信部１１、商品判別部１２、代表商品検索部１２１、カテゴリー決定部１２２、商品検索部１２３、商品陳列情報送信部１３は、いずれも機能的に特定されるものであって、ＨＤＤ等の補助記憶装置に格納された各部の機能に対応するプログラムがメインメモリに読み出され、ＣＰＵで演算処理を実行することによって、各部に対応する機能が実現される。 The image receiving unit 11, the product determining unit 12, the representative product searching unit 121, the category determining unit 122, the product searching unit 123, and the product display information transmitting unit 13 of the product information management server 10 are all functionally specified. Thus, a program corresponding to the function of each unit stored in an auxiliary storage device such as an HDD is read into the main memory, and a function corresponding to each unit is realized by executing arithmetic processing by the CPU.
商品情報管理サーバ１０の商品情報格納部１４（商品マスタ１４１、カテゴリーマスタ１４２等が格納される）、商品陳列情報格納部１５には、それぞれＨＤＤ等の補助記憶装置の所定の記憶領域が割り当てられる。これらの記憶領域は物理的に一台のコンピュータに設けられることを要件とするものではなく、データベースサーバを構成するコンピュータ等を含む複数のコンピュータに設けられるものであってもよい。 The product information storage unit 14 (product master 141, category master 142, etc.) and product display information storage unit 15 of the product information management server 10 are each assigned a predetermined storage area of an auxiliary storage device such as an HDD. . These storage areas are not required to be physically provided in one computer, but may be provided in a plurality of computers including a computer constituting a database server.
携帯端末２０には、スマートフォンやタブレット型コンピュータ等の携帯型のネットワーク端末が用いられる。画像撮影部２１、画像送信部２２、商品陳列情報受信部２３は、いずれも機能的に特定されるものであって、携帯端末２０のメインメモリにＳＳＤ等の補助記憶装置から対応するプログラムを呼び出して、ＣＰＵで演算処理を実行することによって、各部に対応する機能が実現される。 As the portable terminal 20, a portable network terminal such as a smartphone or a tablet computer is used. The image capturing unit 21, the image transmitting unit 22, and the product display information receiving unit 23 are all functionally specified, and call a corresponding program from an auxiliary storage device such as an SSD in the main memory of the portable terminal 20. Thus, the functions corresponding to the respective units are realized by executing arithmetic processing by the CPU.
管理者端末３０は、商品情報管理サーバ１０の商品情報格納部１４や商品陳列情報格納部１５への情報の入出力が可能なコンピュータであり、その構成は特に限定されるものではなく、パーソナルコンピュータ等を用いることとしてもよい。管理者端末３０は、インターネットを介して商品情報管理サーバ１０と接続されるものであってもよい。 The administrator terminal 30 is a computer capable of inputting / outputting information to / from the product information storage unit 14 and the product display information storage unit 15 of the product information management server 10, and the configuration thereof is not particularly limited. Etc. may be used. The administrator terminal 30 may be connected to the product information management server 10 via the Internet.
以上の構成を前提にして、図３のフローチャートに沿って、本発明に係る商品判別プログラムの処理フローについて説明する。 Based on the above configuration, the processing flow of the product discrimination program according to the present invention will be described along the flowchart of FIG.
小売店を巡回する携帯端末２０を所持するメーカーのラウンダー等は、携帯端末２０の画像撮影部２１を起動して、小売店の店内において、陳列されている商品を判別したい商品陳列棚を撮影する。撮影された商品陳列棚の画像（イメージファイル）は、画像送信部２２からインターネット経由で商品情報管理サーバ１０に送信される。 A manufacturer's rounder or the like who owns a mobile terminal 20 that visits a retail store activates the image capturing unit 21 of the mobile terminal 20 to capture a product display shelf in the retail store where the displayed product is to be identified. . The photographed product display shelf image (image file) is transmitted from the image transmission unit 22 to the product information management server 10 via the Internet.
商品情報管理サーバ１０では画像受信部１１が起動されて、携帯端末２０から送信された商品陳列棚の画像を受信する（Ｓ１）。受信した商品陳列棚の画像の画像認識を実行して、商品陳列棚の画像に含まれている各々の商品画像を識別する（Ｓ２）。尚、この画像認識において採用される技術は特に限定されるものではなく、例えば輪郭の形状や大きさ、色彩のパターン等から、商品陳列棚に陳列されている商品に該当する部分を認識することとすればよい。 In the merchandise information management server 10, the image receiving unit 11 is activated to receive the image of the merchandise display shelf transmitted from the portable terminal 20 (S1). Image recognition of the received product display shelf image is executed to identify each product image included in the product display shelf image (S2). The technology employed in this image recognition is not particularly limited. For example, the part corresponding to the product displayed on the product display shelf is recognized from the shape and size of the contour, the color pattern, etc. And it is sufficient.
続いて、商品判別部１２が起動されて、商品陳列棚の画像の中で商品と識別された各々の商品画像を、商品情報格納部１４に格納された商品のＳＫＵ（商品を管理する最小単位）毎に登録されている商品画像と照合して、識別された各々の商品画像がどの商品に該当するかを検索するが、本発明では、ここで商品情報格納部１４に商品情報が登録されている全ての商品の商品画像を対象にして照合処理を行うのではなく、代表商品検索部１２１によって、商品カテゴリー毎に代表商品に設定されている商品の商品画像のみを対象に照合して、検索処理を実行する（Ｓ３）。 Subsequently, the product determination unit 12 is activated, and each product image identified as a product in the product display shelf image is converted into the SKU (minimum unit for managing the product) of the product stored in the product information storage unit 14. ) The product image registered every time is searched to find out which product each identified product image corresponds to. In the present invention, product information is registered in the product information storage unit 14 here. Rather than performing the matching process on the product images of all the products that are currently being sold, the representative product search unit 121 performs matching on only the product images of the products set as the representative products for each product category, Search processing is executed (S3).
図４は、商品情報格納部１４に格納される商品マスタ１４１の一例を示したものであるが、商品コードによって識別される商品のＳＫＵ毎に設けられたレコードには、照合に用いられる商品画像や、その商品が属する商品カテゴリーに関する情報が格納され、各々の商品カテゴリーの中でも多くの小売店で扱われている代表商品と認められる商品には、代表商品であることを示すフラグ（この例では「代表商品」のフィールドの「１」が代表商品であることを示すフラグとする）が立てられている。尚、代表商品のフラグが立てられる商品は、商品カテゴリー毎に１つの商品（ＳＫＵ）に限定されるものではなく、複数の商品（ＳＫＵ）が代表商品に選定されるものであってもよい。 FIG. 4 shows an example of the product master 141 stored in the product information storage unit 14, but the product image used for matching is shown in the record provided for each SKU of the product identified by the product code. Information on the product category to which the product belongs, and a product that is recognized as a representative product handled in many retail stores in each product category is a flag indicating that it is a representative product (in this example, “1” in the “representative product” field is set as a flag indicating that the product is a representative product). The product for which the flag of the representative product is set is not limited to one product (SKU) for each product category, and a plurality of products (SKU) may be selected as the representative product.
次に、カテゴリー決定部１２２において、Ｓ３で代表商品と判別された商品画像に関する情報から、撮影された商品陳列棚に最も多く陳列されていることが推測される商品カテゴリーが決定される（Ｓ４）。尚、ここで決定される商品カテゴリーは、複数の商品カテゴリーであってもよい。 Next, in the category determination unit 122, the product category that is presumed to be most frequently displayed on the photographed product display shelf is determined from the information regarding the product image determined as the representative product in S3 (S4). . Note that the product category determined here may be a plurality of product categories.
図５に示した例で説明すると、図５では、代表商品検索部１２１による検索が行われて、商品陳列棚の画像の中で商品と識別された各々の商品画像のうち、一部が代表商品と判別された例を示しているが、６個の商品画像が代表商品と判別されており、判別された各々の代表商品の商品カテゴリー毎に集計すると、Ａカテゴリーの代表商品が３個、Ｂカテゴリーの代表商品が２個、Ｃカテゴリーの代表商品が１個、それぞれ判別されていることが確認できる。 Referring to the example shown in FIG. 5, in FIG. 5, a search is performed by the representative product search unit 121, and a part of each product image identified as a product in the product display shelf image is a representative. Although an example of being identified as a product is shown, six product images are identified as representative products, and when the total product category of each identified representative product is tabulated, there are three representative products in category A, It can be confirmed that two representative products of the B category and one representative product of the C category are identified.
本発明は、通常の小売店の商品陳列棚には、同じ商品カテゴリーに属する商品が並べられることが多いこと、商品カテゴリー毎に必ず陳列される代表商品が存在することに着目して、まずは商品陳列棚を撮影した画像に含まれる代表商品を判別して、代表商品が属する商品カテゴリーをその商品陳列棚に陳列されている可能性が高い商品の商品カテゴリーと推認して、商品画像を照合する検索対象を絞り込むこととしている。図５の例では、Ａカテゴリーの代表商品の数が最も多いことから、この商品陳列棚にはＡカテゴリーの商品が多く陳列されていることが推認され、Ａカテゴリーの商品に絞り込んで残りの商品画像の判別を行うのが効率的と判断することができる。尚、上位２件のＡカテゴリーとＢカテゴリーのように、複数の商品カテゴリーを検索対象の商品カテゴリーに決定することとしてもよい。 The present invention focuses on the fact that merchandise belonging to the same merchandise category is often arranged on merchandise display shelves of ordinary retail stores, and that representative merchandise is always displayed for each merchandise category. The representative product included in the image of the display shelf is identified, the product category to which the representative product belongs is inferred as the product category of the product that is likely to be displayed on the product display shelf, and the product image is verified. The search target is narrowed down. In the example of FIG. 5, since the number of representative products of category A is the largest, it is assumed that a large number of products of category A are displayed on this product display shelf, and the remaining products are narrowed down to products of category A. It can be determined that it is efficient to discriminate the image. A plurality of product categories may be determined as search target product categories, such as the top two A category and B category.
以上のようにして、代表商品と判別された商品以外の商品画像を検索する商品カテゴリーが決定されると、商品検索部１２３によって、代表商品と判別された商品以外の商品画像を、決定された商品カテゴリーに属する商品の商品画像のみを対象に照合して、商品を判別するための検索処理を実行する（Ｓ５）。 As described above, when the product category for searching for the product image other than the product determined as the representative product is determined, the product image other than the product determined as the representative product is determined by the product search unit 123. Only the product images of the products belonging to the product category are collated and the search process for discriminating the products is executed (S5).
Ｓ５の検索処理によって、商品陳列棚の画像から識別された全ての商品画像について商品が判別されれば（Ｓ６がＹｅｓ）、商品陳列情報送信部１３を起動して、商品陳列棚に陳列されている各々の商品が判別された商品陳列情報を携帯端末２０に送信するとともに（Ｓ７）、送信した商品陳列情報を商品陳列情報格納部１５に保存する（Ｓ８）。携帯端末２０に送信した商品陳列情報は、商品陳列情報受信部２３で受信され、携帯端末２０の画面に所定の形式で出力される。 If the product is determined for all the product images identified from the images on the product display shelf by the search process of S5 (Yes in S6), the product display information transmission unit 13 is activated and displayed on the product display shelf. The merchandise display information in which each merchandise is identified is transmitted to the portable terminal 20 (S7), and the transmitted merchandise display information is stored in the merchandise display information storage unit 15 (S8). The merchandise display information transmitted to the portable terminal 20 is received by the merchandise display information receiving unit 23 and output on the screen of the portable terminal 20 in a predetermined format.
商品陳列情報格納部１５に格納された商品陳列情報は、管理者端末３０から確認することが可能なので、メーカーの販売担当者等は、この情報を用いて商品の販売戦略を検討することができる。どの小売店の商品陳列棚に関する情報かを明らかにするためには、例えば、携帯端末２０から商品陳列棚の画像を送信する際に、携帯端末２０のＧＰＳ機能によって特定される位置情報をあわせて送信し、この位置情報から特定される小売店の店舗コード等を、商品陳列情報に含めることとすればよい。 Since the product display information stored in the product display information storage unit 15 can be confirmed from the administrator terminal 30, a sales person in charge of the manufacturer can consider the sales strategy of the product using this information. . In order to clarify which retail store's merchandise display shelf is information, for example, when transmitting an image of the merchandise display shelf from the mobile terminal 20, the position information specified by the GPS function of the mobile terminal 20 is also added. The store code of the retail store that is transmitted and specified from the location information may be included in the product display information.
Ｓ５の検索処理によって、商品陳列棚の画像から識別された全ての商品画像について商品が判別されない場合は（Ｓ６がＮｏ）、カテゴリー決定部１２２に戻って、次に検索する商品カテゴリーを決定する（Ｓ４）。 If the product is not determined for all product images identified from the image on the product display shelf by the search processing in S5 (No in S6), the process returns to the category determination unit 122 to determine the next product category to be searched ( S4).
次に検索対象とする商品カテゴリーをどのように決定するか、２回目以降のカテゴリーの決定方法は特に限定されるものではないが、例えば、商品情報格納部１４のカテゴリーマスタ１４２に、図６に例示したような各々の商品カテゴリーとの関連が強い商品カテゴリーを関連カテゴリーとして関連づけたカテゴリーマスタを格納しておき、ここに初めに検索対象とした商品カテゴリーと関連づけられている関連カテゴリーを、次に検索する商品カテゴリーに決定することとすればよい。 The method for determining the product category to be searched next is not particularly limited, but for example, the category master 142 of the product information storage unit 14 is shown in FIG. Store a category master that associates product categories that are strongly related to each product category as shown as related categories. Here, the related categories that are associated with the product categories that were initially searched are listed below. The product category to be searched may be determined.
例えば「衣料用洗剤」という商品カテゴリーに属する商品に対しては、「衣料用柔軟剤」「衣料用漂白剤」といった商品カテゴリーに属する商品が同じ商品陳列棚に並べて陳列されることが多いので、こうした商品カテゴリーを関連カテゴリーとして関連づけ、カテゴリーマスタ１４２に設定しておくこととすればよい。 For example, for products belonging to the product category “clothing detergent”, products belonging to the product category such as “clothing softener” and “clothing bleach” are often displayed side by side on the same product display shelf. Such product categories may be associated as related categories and set in the category master 142.
このようにして決定された商品カテゴリーを対象にして、商品検索部１２３で再度検索処理を行っても（Ｓ５）、商品陳列棚の画像から識別された全ての商品画像について商品が判別されない場合は（Ｓ６がＮｏ）、さらにカテゴリー決定部１２２に戻って、その次に検索する商品カテゴリーを決定する（Ｓ４）。 Even if the product search unit 123 performs the search process again for the product category determined as described above (S5), the product is not determined for all product images identified from the images on the product display shelf. (S6 is No), it returns to the category determination part 122, and the goods category searched next is determined (S4).
その次に検索する商品カテゴリーの決定方法も特に限定されるものではないが、関連カテゴリーが複数存在する場合には、残りの関連カテゴリーを順に検索することとすればよい。その他にも、代表商品から商品カテゴリーを決定する際に、商品陳列棚を撮影した画像に異なる商品カテゴリーに属する複数の代表商品が判別された場合は、先に検索対象に決定された商品カテゴリー以外の他の商品カテゴリー（図５の例では、最も商品数が多いＡカテゴリーを最初の検索対象に決定したが、その次には二番目に商品数が多いＢカテゴリー、さらにその次にはＣカテゴリー）を検索対象に決定することとしてもよい。 The method for determining the product category to be searched next is not particularly limited, but when there are a plurality of related categories, the remaining related categories may be searched in order. In addition, when determining the product category from the representative product, if multiple representative products belonging to different product categories are identified in the image of the product display shelf, other than the product category previously determined as the search target Other product categories (In the example of FIG. 5, the category A with the largest number of products is determined as the first search target, then the category B with the second largest number of products, and then the category C. ) May be determined as a search target.
１０ 商品情報管理サーバ
１１ 画像受信部
１２ 商品判別部
１２１ 代表商品検索部
１２２ カテゴリー決定部
１２３ 商品検索部
１３ 商品陳列情報送信部
１４ 商品情報格納部
１４１ 商品マスタ
１４２ カテゴリーマスタ
１５ 商品陳列情報格納部
２０ 携帯端末
２１ 画像撮影部
２２ 画像送信部
２３ 商品陳列情報受信部
３０ 管理者端末
DESCRIPTION OF SYMBOLS 10 Product information management server 11 Image receiving part 12 Product discrimination | determination part 121 Representative product search part 122 Category determination part 123 Product search part 13 Product display information transmission part 14 Product information storage part 141 Product master 142 Category master 15 Product display information storage part 20 Mobile terminal 21 Image photographing unit 22 Image transmitting unit 23 Product display information receiving unit 30 Administrator terminal
このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、前記商品画像識別手段によって識別された商品画像を、商品カテゴリー毎に指定された代表商品の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定手段と、前記商品画像識別手段によって識別された商品画像を、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、を備えることを特徴とする商品判別装置である。前記第１の商品判別手段で商品を判別できない商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段を備えることを特徴とすることもできる。
The present invention that solves such a problem is a product discriminating device that discriminates products displayed on a product display shelf, and identifies a product image included in the image from an image of the product display shelf The product image identified by the identifying unit and the product image identifying unit is compared with the product image of the representative product designated for each product category, and at least one representative is obtained from information regarding the product image determined as the representative product. A first product category determining means for preferentially determining one or more product categories to which the product belongs to a product category to be searched; and a product image identified by the product image identifying means ; A first product discriminator for discriminating a product corresponding to each product image by comparing with product images of products belonging to the product category determined by the product category determining means When a product discriminating apparatus comprising: a. Product images that cannot be identified by the first product identification unit are compared with product images of products that belong to one or more other product categories, excluding the product category determined by the product category determination unit, It is also possible to provide a second product discrimination means for discriminating a product corresponding to the product image.
また、本発明は、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。
The present invention further comprises second product category determining means for determining one or more product categories related to the product category determined by the first product category determining means as product categories to be searched. The second product discriminating unit collates a product image whose product cannot be discriminated by the first product discriminating unit with a product image of a product belonging to the product category determined by the second product category determining unit. The product corresponding to each product image can be determined.
さらに、本発明は、前記第１の商品カテゴリー決定手段において、優先的に検索対象とする商品カテゴリーに決定されなかった、代表商品と判別された商品画像から特定される代表商品が属する一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を備えることを特徴としてもよい。
Further, according to the present invention, in the first product category determining means, one or two representative products to which a representative product identified from a product image determined as a representative product, which has not been determined as a preferential search target product category, belong. Third product category determining means for determining the other product category as a search target product category, and a product image in which the product cannot be determined by the first product determining means and the second product determining means, against the said third product category determining unit of goods belonging to the product category determined commodity image, the third product discriminating means for discriminating the product corresponding to each product image, be characterized in that it comprises Good.
本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品画像識別ステップ識別された商品画像を、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。
The product identification program according to the present invention is a product image identification step for identifying a product image included in the image from an image obtained by photographing the product display shelf in a product determination device that determines a product displayed on the product display shelf. The product image identified in the product image identification step is compared with the product image of the representative product designated for each product category, and at least one representative product belongs from the information regarding the product image determined as the representative product. Alternatively, a first product category determining step for preferentially determining two or more product categories as product categories to be searched, and a product image identified in the product image identifying step in the first product category determining step. First product discrimination for discriminating a product corresponding to each product image by comparing with a product image of a product belonging to the determined product category Is a product discrimination program characterized by executing the steps, the.
本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品判別装置が、前記商品画像識別ステップ識別された商品画像を、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を有することを特徴とする商品の判別方法である。 The product discrimination method according to the present invention includes a product image identification step in which a product discrimination device that discriminates a product displayed on a product display shelf identifies a product image included in the image from an image obtained by photographing the product display shelf; the product discriminating device, product images identified by the product image identification step, against the commodity image of the representative instruments designated for each product category, from the information on the determined product image representative product, at least one one or more of the product range representative product belongs, a first product category determining step of determining the product range to be preferentially searched, the product discriminating device, is the product image identification step identifies product images, the against the goods product images belonging to the first item category to product determined in decision step, to each product image A first product determination step of determining a product of response, a determination method of the product being characterized by having a.
このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段と、前記商品画像識別手段によって識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定手段と、前記商品画像識別手段によって識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、を備えることを特徴とする商品判別装置である。前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段を備えることを特徴とすることもできる。 The present invention that solves such a problem is a product discriminating device that discriminates products displayed on a product display shelf, and identifies a product image included in the image from an image of the product display shelf Product information for each product including the product image used for identification for identifying the product and the product category and the product category to which the product belongs corresponds to the representative product designated as a product that is necessarily displayed for each product category Product information storage means for storing the product image in a state that can be discriminated, and the product image identified by the product image identification means, the representative designated for each product category among the product information stored in the product information storage means against the commodity image of the commodity information corresponding to commodity, from the information on the determined product image representative product, at least one representative item of one or more belonging product The Tegori a first product range determining means for determining the product range to be preferentially searched, product images identified by the commodity image identifying means, among the product information stored in said product-information storage means the first product range determining means against the product image included in the product information of the products belonging to the product category was determined, and the first product discriminating means for discriminating the product corresponding to each product image, the A product discriminating apparatus characterized by comprising: One or more product images in which the product cannot be identified by the first product discrimination means, excluding the product category determined by the first product category determination means from the product information stored in the product information storage means It is also possible to provide a second product discriminating unit that discriminates a product corresponding to each product image by collating with a product image included in product information of a product belonging to another product category.
また、本発明は、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。 The present invention further comprises second product category determining means for determining one or more product categories related to the product category determined by the first product category determining means as product categories to be searched. Then, the second product discriminating unit is configured to select a product image whose product cannot be discriminated by the first product discriminating unit from among the product information stored in the product information storing unit. It may be characterized in that a product corresponding to each product image is discriminated by comparing with a product image included in the product information of the product belonging to the determined product category.
さらに、本発明は、前記第１の商品カテゴリー決定手段において、優先的に検索対象とする商品カテゴリーに決定されなかった、代表商品と判別された商品画像から特定される代表商品が属する一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を備えることを特徴としてもよい。 Further, according to the present invention, in the first product category determining means, one or two representative products to which a representative product identified from a product image determined as a representative product, which has not been determined as a preferential search target product category, belong. Third product category determining means for determining the other product category as a search target product category, and a product image in which the product cannot be determined by the first product determining means and the second product determining means, Of the product information stored in the product information storage unit, the product image is compared with the product image included in the product information of the product belonging to the product category determined by the third product category determination unit, and corresponds to each product image It is good also as providing the 3rd goods discrimination means which discriminates goods.
本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品画像識別ステップで識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。 The product identification program according to the present invention is a product image identification step for identifying a product image included in the image from an image obtained by photographing the product display shelf in a product determination device that determines a product displayed on the product display shelf. The product image identified in the product image identification step, the product image used for collation for identifying the product, and the product information for each product including the product category to which the product belongs are displayed for each product category. The product information stored in the product information storage means that stores in a state where it can be determined whether it corresponds to the representative product specified as the product image of the product information corresponding to the representative product specified for each product category From the information on the product image determined to be the representative product, one or more product categories to which at least one representative product belongs are preferentially searched. A first product category determining step of determining a product category to the commodity images identified by the product image identification step, among the product information stored in said product-information storage means, determining the first item category And a first product determination step of determining a product corresponding to each product image by collating with a product image included in the product information of the product belonging to the product category determined in the step. This is a product discrimination program.
本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を有することを特徴とする商品の判別方法である。 The product discrimination method according to the present invention includes a product image identification step in which a product discrimination device that discriminates a product displayed on a product display shelf identifies a product image included in the image from an image obtained by photographing the product display shelf; , The product discriminating apparatus uses the product image identified in the product image identifying step, the product image used for collation for discriminating the product and the product information for each product including the product category to which the product belongs. always of products information stored in the product information storage means for storing in a distinguishable state or corresponding to the designated representative products as commodities displayed corresponds to the representative instruments designated for each product category for each against the commodity image of the commodity information, from the information on the determined product image representative product, one or more goods category at least one representative item belongs A first product category determining step of determining the product range to be preferentially searched, items the product discriminating device, a commodity image identified by the product image identification step, which is stored in the product information storage unit Of the information, a first product determination for determining a product corresponding to each product image by comparing with a product image included in the product information of the product belonging to the product category determined in the first product category determination step A product discriminating method characterized by comprising: a step.
このような課題を解決する本発明は、商品陳列棚に陳列された商品を判別する商品判別装置であって、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段と、前記商品画像識別手段によって識別された商品画像を、前記商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定手段と、前記第１の商品カテゴリー決定手段によって優先的に検索対象とする商品カテゴリーが決定されると、前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、を備えることを特徴とする商品判別装置である。前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像であり、かつ、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段を備えることを特徴とすることもできる。
The present invention that solves such a problem is a product discriminating device that discriminates products displayed on a product display shelf, and identifies a product image included in the image from an image of the product display shelf Product information for each product including the product image used for identification for identifying the product and the product category and the product category to which the product belongs corresponds to the representative product designated as a product that is necessarily displayed for each product category Product information storage means for storing the product image in a state that can be discriminated, and the product image identified by the product image identification means, the representative designated for each product category among the product information stored in the product information storage means One or more products to which at least one representative product belongs from information on the product image determined to be the representative product by comparing with the product image of the product information corresponding to the product The Tegori a first product range determining means for determining the product range to be preferentially searched, when the product range to preferentially searched by the first product range determining means is determined, the product Among the product information stored in the product information storage unit, a product image other than the product image determined as the representative product by the first product category determination unit among the product images identified by the image identification unit. First product discrimination means for discriminating a product corresponding to each product image by comparing with a product image included in the product information of the product belonging to the product category determined by the first product category determination means. A product discriminating apparatus characterized by comprising: Of the product images identified by the product image identifying means, the product images are product images other than the product images determined by the first product category determining means, and the first product determining means. Products whose product images cannot be identified are products that belong to one or more other product categories excluding the product category determined by the first product category determination unit from the product information stored in the product information storage unit The product information included in the product information may be compared with second product discrimination means for discriminating the product corresponding to each product image.
また、本発明は、前記第１の商品カテゴリー決定手段が決定した商品カテゴリーに関連する一又は二以上の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第２の商品カテゴリー決定手段を備えていて、前記第２の商品判別手段は、前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像であり、かつ、前記第１の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別することを特徴とすることもできる。
The present invention further comprises second product category determining means for determining one or more product categories related to the product category determined by the first product category determining means as product categories to be searched. The second product determination means is a product image other than the product image determined by the first product category determination means as the representative product among the product images identified by the product image identification means. In addition, among the product information stored in the product information storage unit, product images that cannot be determined by the first product determination unit are items of products that belong to the product category determined by the second product category determination unit. A product image corresponding to each product image may be determined by collating with a product image included in the product information.
さらに、本発明は、前記第１の商品カテゴリー決定手段において、優先的に検索対象とする商品カテゴリーに決定されなかった、代表商品と判別された商品画像から特定される代表商品が属する一又は二以上の他の商品カテゴリーを、検索対象とする商品カテゴリーに決定する第３の商品カテゴリー決定手段と、前記商品画像識別手段によって識別された各々の商品画像のうち、前記第１の商品カテゴリー決定手段によって代表商品と判別された商品画像以外の商品画像であり、かつ、前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、を備えることを特徴としてもよい。
Further, according to the present invention, in the first product category determining means, one or two representative products to which a representative product identified from a product image determined as a representative product, which has not been determined as a preferential search target product category, belong. Third product category determining means for determining the other product category as a search target product category, and among the product images identified by the product image identifying means, the first product category determining means. A product image that is a product image other than the product image determined by the representative product and cannot be determined by the first product determination unit and the second product determination unit is stored in the product information storage unit. The product image included in the product information of the product belonging to the product category determined by the third product category determination means Te, a third product discriminating means for discriminating the product corresponding to each product image may be characterized in that it comprises.
本発明に係る商品判別プログラムは、商品陳列棚に陳列された商品を判別する商品判別装置に、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記第１の商品カテゴリー決定ステップで優先的に検索対象とする商品カテゴリーが決定されると、前記商品画像識別ステップで識別された各々の商品画像のうち、前記第１の商品カテゴリー決定ステップで代表商品と判別された商品画像以外の商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を実行させることを特徴とする商品判別プログラムである。
The product identification program according to the present invention is a product image identification step for identifying a product image included in the image from an image obtained by photographing the product display shelf in a product determination device that determines a product displayed on the product display shelf. The product image identified in the product image identification step, the product image used for collation for identifying the product, and the product information for each product including the product category to which the product belongs are displayed for each product category. The product information stored in the product information storage means that stores in a state where it can be determined whether it corresponds to the representative product specified as the product image of the product information corresponding to the representative product specified for each product category From the information on the product image determined to be the representative product, one or more product categories to which at least one representative product belongs are preferentially searched. Each of the first product category determining step of determining the product range, when the first product range preferentially product range to be retrieved at decision step is determined, identified in the product image identification step of the of product images, the first product range product images other than the representative product and discriminated commodity image in decision step, the product information storage unit among the stored product information, determining the first item category And a first product determination step of determining a product corresponding to each product image by collating with a product image included in the product information of the product belonging to the product category determined in the step. This is a product discrimination program.
本発明に係る商品の判別方法は、商品陳列棚に陳列された商品を判別する商品判別装置が、商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品を判別するための照合に用いられる商品画像と前記商品が属する商品カテゴリーを含む商品毎の商品情報を、商品カテゴリー毎に必ず陳列される商品として指定された代表商品に該当するかを判別可能な状態で格納する商品情報格納手段に格納された商品情報のうち、商品カテゴリー毎に指定された代表商品に該当する商品情報の商品画像と照合して、代表商品と判別された商品画像に関する情報から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する第１の商品カテゴリー決定ステップと、前記商品判別装置が、前記第１の商品カテゴリー決定ステップで優先的に検索対象とする商品カテゴリーが決定されると、前記商品画像識別ステップで識別された各々の商品画像のうち、前記第１の商品カテゴリー決定ステップで代表商品と判別された商品画像以外の商品画像を、前記商品情報格納手段に格納された商品情報のうち、前記第１の商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品情報に含まれる商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、を有することを特徴とする商品の判別方法である。 The product discrimination method according to the present invention includes a product image identification step in which a product discrimination device that discriminates a product displayed on a product display shelf identifies a product image included in the image from an image obtained by photographing the product display shelf; , The product discriminating apparatus uses the product image identified in the product image identifying step, the product image used for collation for discriminating the product and the product information for each product including the product category to which the product belongs. Corresponds to the representative product specified for each product category among the product information stored in the product information storage means that stores in a state where it can be determined whether it corresponds to the representative product specified as the product that is displayed every time One or two or more product categories to which at least one representative product belongs from information on the product image identified as the representative product by comparing with the product image of the product information A first product category determining step of determining the product range to be preferentially searched, when the product discriminating device, the product range to preferentially searched by the first product range determining step is determined of the product image of each said identified in item image identification step, the first product range determining product images other than commodity image is determined as the representative product in step, stored in the product information storage unit product Of the information, a first product determination for determining a product corresponding to each product image by comparing with a product image included in the product information of the product belonging to the product category determined in the first product category determination step A product discriminating method characterized by comprising: a step.
Claims (5)
商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別手段と、
前記商品画像識別手段によって識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定手段と、
前記商品画像識別手段によって識別された商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別手段と、
前記第１の商品判別手段で商品を判別できない商品画像を、前記商品カテゴリー決定手段が決定した商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別手段と、
を備えることを特徴とする商品判別装置。 A product discrimination device for discriminating products displayed on a product display shelf,
Product image identification means for identifying a product image included in the image from an image of the product display shelf;
The product image identified by the product image identification means is collated with the image of the representative product designated for each product category, the product image identified as the representative product is selected, and the selected product image is identified. A product category determination means for preferentially determining one or more product categories to which at least one representative product belongs from among representative products as a product category to be searched;
A first product discrimination that compares the product image identified by the product image identification unit with a product image of a product belonging to the product category determined by the product category determination unit, and determines a product corresponding to each product image Means,
Product images that cannot be identified by the first product identification unit are compared with product images of products that belong to one or more other product categories, excluding the product category determined by the product category determination unit, Second product discrimination means for discriminating a product corresponding to the product image of
A product discriminating apparatus comprising:
前記第２の商品判別手段は、前記第１の商品判別手段で商品を判別できない商品画像を、前記第２の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別すること
を特徴とする請求項１記載の商品判別装置。 A second product category determining means for determining one or more product categories related to the product category determined by the product category determining means as a product category to be searched;
The second product discriminating unit compares a product image in which the product cannot be discriminated by the first product discriminating unit with a product image of a product belonging to the product category determined by the second product category determining unit, The product discrimination device according to claim 1, wherein a product corresponding to the product image is discriminated.
前記第１の商品判別手段及び前記第２の商品判別手段で商品を判別できない商品画像を、前記第３の商品カテゴリー決定手段が決定した商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第３の商品判別手段と、
を備えることを特徴とする請求項２記載の商品判別装置。 In the product category determining means, among the product categories to which the representative product from which the selected product image is identified belongs, one or more other product categories that have not been determined as the product category to be preferentially searched, A third product category determining means for determining a product category to be searched;
A product image in which a product cannot be determined by the first product determination unit and the second product determination unit is compared with a product image of a product belonging to the product category determined by the third product category determination unit, Third product discrimination means for discriminating a product corresponding to the product image;
The product discriminating apparatus according to claim 2, further comprising:
商品陳列棚を撮影した画像から、前記画像に含まれる商品画像を識別する商品画像識別ステップと、
前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、
前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、
前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、
を実行させることを特徴とする商品判別プログラム。 In the product discriminating device for discriminating the products displayed on the product display shelf,
A product image identification step for identifying a product image included in the image from an image of a product display shelf;
The product image identified in the product image identification step is collated with the image of the representative product designated for each product category, the product image identified as the representative product is selected, and the selected product image is identified. A product category determining step for preferentially determining one or more product categories to which at least one representative product belongs from among representative products as a product category to be searched;
The product image identified in the product image identification step is compared with the product image of the product belonging to the product category determined in the product category determination step, and a first product determination for determining a product corresponding to each product image Steps,
A product image in which a product cannot be determined in the first product determination step is compared with a product image of a product belonging to one or more other product categories, excluding the product category determined in the product category determination step. A second product determination step for determining a product corresponding to the product image of
A product discrimination program characterized by causing
前記商品判別装置が、前記商品画像識別ステップで識別された商品画像を、商品カテゴリー毎に指定された代表商品の画像と照合して、代表商品と判別される商品画像を選択し、選択された商品画像が判別された代表商品の中から、少なくとも一の代表商品が属する一又は二以上の商品カテゴリーを、優先的に検索対象とする商品カテゴリーに決定する商品カテゴリー決定ステップと、
前記商品判別装置が、前記商品画像識別ステップ識別された商品画像を、前記商品カテゴリー決定ステップで決定された商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第１の商品判別ステップと、
前記商品判別装置が、前記第１の商品判別ステップで商品を判別できない商品画像を、前記商品カテゴリー決定ステップ決定された商品カテゴリーを除く、一又は二以上の他の商品カテゴリーに属する商品の商品画像と照合して、各々の商品画像に対応する商品を判別する第２の商品判別ステップと、
を有することを特徴とする商品の判別方法。 A product image identifying step of identifying a product image included in the image from an image obtained by photographing a product display shelf, wherein the product determination device that determines the product displayed on the product display shelf;
The product discrimination device compares the product image identified in the product image identification step with the image of the representative product designated for each product category, selects the product image that is identified as the representative product, and is selected. A product category determination step for preferentially determining one or two or more product categories to which at least one representative product belongs from among representative products whose product images have been determined, as product categories to be preferentially searched;
The product discrimination device compares the product image identified in the product image identification step with the product image of the product belonging to the product category determined in the product category determination step, and determines the product corresponding to each product image. A first product discrimination step to perform,
The product image of the product belonging to one or more other product categories excluding the product category determined in the product category determination step, the product image in which the product determination device cannot determine the product in the first product determination step And a second product determination step for determining the product corresponding to each product image,
A method for discriminating a product characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017037807A JP6209694B1 (en) | 2017-02-28 | 2017-02-28 | Product discrimination device, product discrimination program, and product discrimination method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017037807A JP6209694B1 (en) | 2017-02-28 | 2017-02-28 | Product discrimination device, product discrimination program, and product discrimination method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017174421A Division JP2018142293A (en) | 2017-09-11 | 2017-09-11 | Commodity discrimination device, commodity discrimination program, and commodity discrimination method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6209694B1 JP6209694B1 (en) | 2017-10-04 |
| JP2018142288A true JP2018142288A (en) | 2018-09-13 |
Family
ID=59997712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017037807A Active JP6209694B1 (en) | 2017-02-28 | 2017-02-28 | Product discrimination device, product discrimination program, and product discrimination method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6209694B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6651169B2 (en) * | 2018-04-17 | 2020-02-19 | 株式会社マーケットヴィジョン | Display status judgment system |
| KR102588267B1 (en) * | 2022-08-22 | 2023-10-13 | 최성민 | Logistics management system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110011936A1 (en) * | 2007-08-31 | 2011-01-20 | Accenture Global Services Gmbh | Digital point-of-sale analyzer |
| US8438084B1 (en) * | 2004-06-09 | 2013-05-07 | Amazon Technologies, Inc. | Method and system for inventory verification |
| JP2013145527A (en) * | 2012-01-16 | 2013-07-25 | Toshiba Tec Corp | Information processor, store system and program |
| JP2014044478A (en) * | 2012-08-24 | 2014-03-13 | Fujifilm Corp | Article collating device, article collating method and article collating program |
-
2017
- 2017-02-28 JP JP2017037807A patent/JP6209694B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8438084B1 (en) * | 2004-06-09 | 2013-05-07 | Amazon Technologies, Inc. | Method and system for inventory verification |
| US20110011936A1 (en) * | 2007-08-31 | 2011-01-20 | Accenture Global Services Gmbh | Digital point-of-sale analyzer |
| JP2013145527A (en) * | 2012-01-16 | 2013-07-25 | Toshiba Tec Corp | Information processor, store system and program |
| JP2014044478A (en) * | 2012-08-24 | 2014-03-13 | Fujifilm Corp | Article collating device, article collating method and article collating program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6209694B1 (en) | 2017-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7205565B2 (en) | Planogram support device, planogram support system, planogram support method, and recording medium | |
| JP6043094B2 (en) | Product display information aggregation system | |
| EP3182349A2 (en) | Planogram matching | |
| US10311270B2 (en) | Filtering inventory objects using images in an RFID system | |
| US20140247997A1 (en) | Information processing system, information processing method, and computer program product | |
| CA2987190A1 (en) | Route optimization methods and devices | |
| JPWO2015140853A1 (en) | POS terminal device, POS system, product recognition method and program | |
| JP2016062545A (en) | Product registration device | |
| JP5047378B1 (en) | Information processing system, information processing method, program, and information recording medium | |
| JP5869988B2 (en) | Article collation apparatus and method, and program | |
| US8866612B1 (en) | Suppressing alerts for RFID systems | |
| JP6624063B2 (en) | Vending machine recognition device, merchandise shelf recognition device, vending machine recognition method, program and image processing device | |
| JP2014218313A (en) | Image recognition system for inventory control and marketing | |
| JP2019174959A (en) | Commodity shelf position registration program and information processing apparatus | |
| WO2019096222A1 (en) | Unmanned vending method and device based on identity identification and product identification | |
| JP2017088345A (en) | Inspection processing device, inspection system, inspection processing method and program | |
| JP6209694B1 (en) | Product discrimination device, product discrimination program, and product discrimination method | |
| JP7235119B2 (en) | Processing device, accounting device, processing method and program | |
| JP2018142293A (en) | Commodity discrimination device, commodity discrimination program, and commodity discrimination method | |
| JP6670511B2 (en) | Product information acquisition system | |
| US11556891B2 (en) | Operations system for combining independent product monitoring systems to automatically manage product inventory and product pricing and automate store processes | |
| JP5019977B2 (en) | Electronic shelf label system | |
| JP6875760B1 (en) | Filtering processing system | |
| JP6598321B1 (en) | Information processing apparatus, control method, and program | |
| JP6210554B2 (en) | Recognition device, recognition program, and recognition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170911 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6209694 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |