JP2022093039A - Information processing equipment, information processing methods and information processing systems - Google Patents
Information processing equipment, information processing methods and information processing systems Download PDFInfo
- Publication number
- JP2022093039A JP2022093039A JP2020206103A JP2020206103A JP2022093039A JP 2022093039 A JP2022093039 A JP 2022093039A JP 2020206103 A JP2020206103 A JP 2020206103A JP 2020206103 A JP2020206103 A JP 2020206103A JP 2022093039 A JP2022093039 A JP 2022093039A
- Authority
- JP
- Japan
- Prior art keywords
- product
- image data
- registered
- store
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法及び情報処理システムに関する。 The present invention relates to an information processing apparatus, an information processing method and an information processing system.
インターネット上で商品の売買をすることができるシステムが知られている。特許文献１には、商品の購入者の情報端末に仮想店舗と商品の画像を表示させ、購入者が情報端末を操作することにより商品を購入するためのシステムが開示されている。
A system that can buy and sell goods on the Internet is known.
従来のシステムにおいて情報端末に表示される商品の画像は、実際の店舗で販売されている商品ではないので、システムの管理者が操作をしない限りは、商品が表示される位置と商品との関係が変化することがなかった。しかしながら、実際の店舗で撮影して作成された商品の画像を情報端末に表示させる場合、店舗で商品の位置を変更することにより、情報端末において商品が表示される位置と商品との関係が変化する場合があった。その結果、情報端末のユーザが、商品の画像を選択することにより商品を注文した場合に、過去にその位置に表示されていた商品が誤って注文されてしまう場合があるという問題があった。 Since the image of the product displayed on the information terminal in the conventional system is not the product sold in the actual store, the relationship between the position where the product is displayed and the product unless the system administrator operates it. Did not change. However, when displaying an image of a product taken at an actual store on an information terminal, changing the position of the product at the store changes the relationship between the position where the product is displayed on the information terminal and the product. There was a case. As a result, when the user of the information terminal orders the product by selecting the image of the product, there is a problem that the product displayed at the position in the past may be erroneously ordered.
そこで、本発明はこれらの点に鑑みてなされたものであり、店舗において商品の位置が変更されても、店舗で撮影された画像が表示された情報端末のユーザが、店舗で撮影された画像に基づいて適切に商品を指定できるようにするための情報処理装置、情報処理方法及び情報処理システムを提供することを目的とする。 Therefore, the present invention has been made in view of these points, and even if the position of the product is changed in the store, the user of the information terminal displaying the image taken in the store can see the image taken in the store. It is an object of the present invention to provide an information processing device, an information processing method, and an information processing system so that a product can be appropriately specified based on the above.
本発明の第１の態様の情報処理装置は、店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得する画像取得部と、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、を有する。 The information processing apparatus according to the first aspect of the present invention includes a product shelf of a store, an image acquisition unit for acquiring captured image data created by photographing a product placed on the product shelf, and the product shelf. A storage unit that stores a database in which a plurality of registered product image data in association with a plurality of registered product image data, which is an image of a product placed in each of the plurality of registered positions, is stored, and the image data included in the captured image data. Based on the relationship between the position of the image of the product shelf and the position of the store product image data which is the image of the product, the position specifying unit for specifying the position of the product on the product shelf is included in the captured image data. By comparing the store product image data, which is an image of the product, with the plurality of registered product image data in the database, the registered product image data corresponding to the product indicated by the store product image data is specified. When the registered position associated with the specified registered product image data does not match the position of the specified product by the position specifying unit, the registered position associated with the specified registered product image data is determined. The position specifying unit has a position management unit that updates the position of the specified product.
前記位置特定部は、前記撮像画像データから、前記複数の登録位置に対応する領域の画像を切り出すことにより複数の前記店舗商品画像データを作成してもよい。 The position specifying unit may create a plurality of the store product image data by cutting out an image of a region corresponding to the plurality of registered positions from the captured image data.
前記位置特定部は、前記撮像画像データにおける前記登録位置に対応する領域に、同一の形状の複数の画像が含まれている場合、当該複数の画像のうち１つの画像を切り出すことにより前記店舗商品画像データを作成してもよい。 When a plurality of images having the same shape are included in the area corresponding to the registered position in the captured image data, the position specifying unit cuts out one of the plurality of images to obtain the store product. Image data may be created.
前記画像取得部は、それぞれ異なる位置から前記商品棚及び前記商品が撮影された複数の前記撮像画像データを取得し、前記位置管理部は、前記複数の撮像画像データそれぞれに含まれている前記店舗商品画像データと前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定してもよい。 The image acquisition unit acquires a plurality of captured image data in which the product shelf and the product are photographed from different positions, and the position management unit acquires the captured image data included in each of the plurality of captured image data. By comparing the product image data with the plurality of registered product image data, the registered product image data corresponding to the product indicated by the store product image data may be specified.
前記位置管理部は、前記複数の撮像画像データに含まれている複数の前記店舗商品画像データのうち、前記複数の登録商品画像データのいずれかに最も類似する店舗商品画像データに基づいて、当該店舗商品画像データが示す商品に対応する前記登録商品画像データを特定してもよい。 The position management unit is based on the store product image data most similar to any of the plurality of registered product image data among the plurality of store product image data included in the plurality of captured image data. The registered product image data corresponding to the product indicated by the store product image data may be specified.
前記位置管理部は、前記撮像画像データにおける前記登録位置に商品の画像が含まれていない場合、前記登録位置に関連付けられた前記登録商品画像データを前記データベースから削除してもよい。 When the registered position in the captured image data does not include the image of the product, the position management unit may delete the registered product image data associated with the registered position from the database.
前記位置管理部は、前記データベースにおける前記登録位置に前記登録商品画像データが関連付けられていない場合、前記撮像画像データにおける前記登録位置に含まれている前記店舗商品画像データを、前記登録位置に関連付けて前記登録商品画像データとして前記データベースに登録してもよい。
前記位置管理部は、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、前記店舗で使用される店舗内装置に所定の通知を送信してもよい。
When the registered product image data is not associated with the registered position in the database, the position management unit associates the store product image data included in the registered position in the captured image data with the registered position. It may be registered in the database as the registered product image data.
The position management unit may be used in an in-store device used in the store when the registered position associated with the specified registered product image data does not match the position of the specified product by the position specifying unit. A predetermined notification may be sent.
前記位置特定部は、前記撮像画像データに人が写っていることを検出した後に所定の条件が満たされた場合に、前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。 When a predetermined condition is satisfied after detecting that a person is shown in the captured image data, the position specifying unit determines the position of the image on the product shelf and the store product image data which is an image of the product. The relationship with the position may be specified.
前記撮像画像データを情報端末に送信する画像送信部と、前記情報端末から、前記情報端末に表示された前記撮像画像データにおいて所定の操作が行われたことを示す操作情報を取得する情報取得部と、をさらに有し、前記位置特定部は、前記情報取得部が前記操作情報を取得した場合に、前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。 An image transmission unit that transmits the captured image data to the information terminal, and an information acquisition unit that acquires operation information indicating that a predetermined operation has been performed on the captured image data displayed on the information terminal from the information terminal. Further, the position specifying unit has a relationship between the position of the image of the product shelf and the position of the store product image data which is an image of the product when the information acquisition unit acquires the operation information. May be specified.
本発明の第２の態様の情報処理方法は、コンピュータが実行する、店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得するステップと、前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定するステップと、前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定するステップと、特定した前記登録商品画像データに関連付けられた前記登録位置が、特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新するステップと、を有する。 The information processing method of the second aspect of the present invention includes a step of acquiring captured image data created by photographing a product shelf of a store and a product placed on the product shelf, which is executed by a computer. A step of specifying the position of the product on the product shelf based on the relationship between the position of the image of the product shelf included in the captured image data and the position of the store product image data which is an image of the product. Store product image data, which is an image of a product included in the captured image data, a plurality of registered product images on the product shelf, and a plurality of registered product images, which are images of products placed at each of the plurality of registered positions. The step of specifying the registered product image data corresponding to the product indicated by the store product image data by comparing with the plurality of registered product image data in the database associated with the data, and the specified registered product image. When the registered position associated with the data does not match the position of the specified product, the registered position associated with the specified registered product image data is moved to the position of the product specified by the position specifying unit. It has a step to update.
本発明の第３の態様の情報処理システムは、情報端末と、前記情報端末に商品に関する情報を提供する情報処理装置と、を備え、前記情報処理装置は、店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得する画像取得部と、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、前記店舗商品画像データを前記情報端末に送信する画像送信部と、を有し、前記情報端末は、前記店舗商品画像データを表示する表示部を有する。 The information processing system according to the third aspect of the present invention includes an information terminal and an information processing device that provides information about a product to the information terminal, and the information processing device includes a store product shelf and the product shelf. It is an image acquisition unit that acquires captured image data created by photographing a product placed in a product shelf, a plurality of registered positions on the product shelf, and an image of a product placed in each of the plurality of registered positions. The relationship between the storage unit that stores the database associated with a plurality of registered product image data, the position of the image on the product shelf included in the captured image data, and the position of the store product image data that is the image of the product. Based on the above, a position specifying unit that specifies the position of the product on the product shelf, store product image data that is an image of the product included in the captured image data, and the plurality of registered product images in the database. By comparing with the data, the registered product image data corresponding to the product indicated by the store product image data is specified, and the registered position associated with the specified registered product image data is specified by the position specifying unit. A position management unit that updates the registered position associated with the specified registered product image data to the position of the specified product when the position of the specified product does not match, and the store product image. It has an image transmission unit that transmits data to the information terminal, and the information terminal has a display unit that displays the store product image data.
本発明によれば、店舗において商品の位置が変更されても、店舗で撮影された画像が表示された情報端末のユーザが、店舗で撮影された画像に基づいて適切に商品を指定できるという効果を奏する。 According to the present invention, even if the position of the product is changed in the store, the user of the information terminal displaying the image taken in the store can appropriately specify the product based on the image taken in the store. Play.
［情報処理システムＳの概要］
図１は、本実施の形態に係る情報処理システムＳの構成を示す図である。情報処理システムＳは、店舗Ｍから離れた場所にいるユーザＵが、店舗Ｍで販売される商品を購入することを可能にするためのシステムである。情報処理システムＳは、情報処理装置１と、情報端末２と、を備える。情報処理装置１は、例えばコンピュータ又はサーバであり、情報端末２は、例えばスマートフォン、タブレット又はコンピュータである。情報処理装置１及び情報端末２はネットワークＮに接続されており、ネットワークＮを介して互いにデータを送受信することができる。ネットワークＮは、例えばインターネット及び携帯電話網を含む。
[Overview of information processing system S]
FIG. 1 is a diagram showing a configuration of an information processing system S according to the present embodiment. The information processing system S is a system that enables a user U who is located away from the store M to purchase a product sold at the store M. The information processing system S includes an
店舗Ｍには商品棚Ｔが設置されており、商品棚Ｔには各種の商品が載置されている。店舗Ｍは、例えばコンビニエンスストア又はスーパーマーケットであるが、これらに限らず任意の商品を販売する店舗でよい。 A product shelf T is installed in the store M, and various products are placed on the product shelf T. The store M is, for example, a convenience store or a supermarket, but is not limited to these, and may be a store that sells any product.
店舗Ｍには、商品棚Ｔ及び商品棚Ｔに置かれた商品を撮影するためのカメラＣが設置されている。カメラＣは、例えば商品棚Ｔの前方から商品を撮影し、商品の撮像画像データを作成する。カメラＣは、ネットワークＮに接続されており、ネットワークＮを介して、作成した撮像画像データを情報処理装置１に送信する（図１における（１））。
In the store M, a product shelf T and a camera C for photographing the products placed on the product shelves T are installed. The camera C takes a picture of the product from the front of the product shelf T, for example, and creates captured image data of the product. The camera C is connected to the network N, and transmits the created captured image data to the
情報処理装置１は、カメラＣから受信した撮像画像データに基づいて、ユーザＵが使用する情報端末２に、ユーザＵが商品を購入するための画面を表示させる。具体的には、情報処理装置１は、撮像画像データを含む購入処理用画面データを作成し、ユーザＵが情報端末２において所定の操作をしたことに応じて、購入処理用画面データを情報端末２に送信することにより、購入処理用画面を情報端末２に表示させる（図１における（２））。
The
ユーザＵが行う所定の操作は、例えば、店舗Ｍで販売している商品を購入するためのアプリケーションソフトウェアを起動する操作である。一例として、情報処理装置１は、複数の店舗Ｍから送信される複数の撮像画像データに基づいて、複数の店舗Ｍのそれぞれに対応する購入処理用画面データを作成する。ユーザＵは、複数の店舗Ｍから所望の店舗Ｍを選択する操作をすることにより、選択した店舗Ｍの商品棚Ｔが写った購入処理用画面を情報端末２に表示させることができる。
The predetermined operation performed by the user U is, for example, an operation of activating application software for purchasing a product sold at the store M. As an example, the
図２は、情報端末２に表示される購入処理用画面の一例を示す図である。図２（ａ）は、商品棚Ｔの画像と、商品棚Ｔに置かれた複数の商品の画像とを含む購入処理用画面を示している。図２（ａ）におけるＡ－１～Ａ－５の記号は、商品が置かれている棚板の位置を特定するための記号である。Ａ－１の棚板にはおにぎり、Ａ－２の棚板にはサンドイッチ、Ａ－３の棚板には弁当、Ａ－４の棚板にはカップ麺、Ａ－５の棚板には缶飲料が置かれている。
FIG. 2 is a diagram showing an example of a purchase processing screen displayed on the
図２（ａ）における黒丸（●）は、ユーザＵが購入することができる商品の位置を示している。ユーザＵが、指Ｙにより黒丸又は商品画像を選択する操作（例えばタッチ操作）を行うと、情報端末２は、図２（ｂ）に示す画面に遷移し、選択された商品の詳細情報を表示する。
The black circles (●) in FIG. 2A indicate the positions of the products that the user U can purchase. When the user U performs an operation (for example, a touch operation) to select a black circle or a product image with the finger Y, the
図２（ｂ）においては、商品名と商品の価格が表示されている。また、ユーザＵが購入した商品は、予め指定された場所まで配達されることが想定されており、商品を購入した場合に指定場所に届くまでに要する時間も表示されている。ユーザＵがこれらの情報を確認して購入個数を入力して「購入する」を押すことにより、情報端末２は、選択された商品をユーザＵが購入したことを示す購入情報を情報処理装置１に送信する（図１における（３））。
In FIG. 2B, the product name and the price of the product are displayed. Further, it is assumed that the product purchased by the user U is delivered to the designated place in advance, and the time required to reach the designated place when the product is purchased is also displayed. When the user U confirms these information, inputs the purchase quantity, and presses "purchase", the
情報処理装置１は、購入情報を受信すると、店舗Ｍに対して、購入情報が示す商品をユーザＵが購入したことを示す通知を送信する。情報処理装置１は、例えば、店舗Ｍの店員が使用するコンピュータ、店舗Ｍの管理者が使用するコンピュータ、又は店舗Ｍに設けられたロボットに当該通知を送信する。店舗Ｍに設けられたロボットは、例えば、ユーザＵが購入した商品を商品棚Ｔから取り出して、ユーザＵに運搬される箱に入れたり、取り出した商品をユーザＵが指定した場所まで運搬したりする。
Upon receiving the purchase information, the
情報処理システムＳが以上のように動作することにより、ユーザＵは、店舗Ｍで撮影された画像に表示された商品を見て商品を注文することができるので、実際の店舗に行って買物をする場合に近い感覚で、情報端末を用いて買物をできるようになる。
以下、情報処理装置１及び情報端末２の構成及び動作について詳細に説明する。
When the information processing system S operates as described above, the user U can see the product displayed in the image taken at the store M and order the product, so that the user U can go to the actual store and shop. You will be able to shop using the information terminal as if you were shopping.
Hereinafter, the configuration and operation of the
［情報処理装置１及び情報端末２の構成］
図３は、情報処理装置１及び情報端末２の構成を示す図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、画像取得部１３１と、画像送信部１３２と、情報取得部１３３と、購入処理部１３４と、を有する。情報処理装置１の各部の詳細については後述する。
[Configuration of
FIG. 3 is a diagram showing the configurations of the
情報端末２は、通信部２１と、表示部２２と、操作部２３と、記憶部２４と、制御部２５と、を有する。通信部２１は、ネットワークＮを介して情報処理装置１との間でデータを送受信するための通信インターフェースを有する。通信部２１は、例えば携帯電話網にアクセスするための無線通信コントローラを有する。
The
表示部２２は、各種の情報を表示するディスプレイである。表示部２２は、例えば情報処理装置１から送信された撮像画像を含む購入処理用画面を表示する。
操作部２３は、ユーザＵの操作を受け付けるためのデバイスである。操作部２３は、例えば表示部２２に重ねて設けられたタッチパネルである。
The
The
記憶部２４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部２４は、制御部２５が実行するプログラムを記憶する。また、記憶部２４は、情報処理装置１から受信したデータを記憶する。
The
制御部２５は、ＣＰＵ（Central Processing Unit）を有する。制御部２５は、記憶部２４に記憶されたプログラムを実行することにより、情報処理装置１から受信した購入処理用画面を表示部２２に表示させる。また、制御部２５は、操作部２３を介してユーザＵが行った操作に基づいて、購入情報を情報処理装置１に送信するように通信部２１を制御する。
The
続いて情報処理装置１の詳細について説明する。通信部１１は、ネットワークＮを介して情報端末２との間でデータを送受信するための通信インターフェースを有する。通信部１１は、例えば情報処理装置１が接続されたルータを介してインターネットに接続するための通信コントローラを有する。
Subsequently, the details of the
記憶部１２は、ＲＯＭ、ＲＡＭ及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、情報端末２に送信する購入処理用画面を作成するために用いられる商品データベース１２１及び商品棚データベース１２２を記憶する。商品データベース１２１は、商品を識別するための商品識別情報（以下、「商品ＩＤ」という）と商品名とが関連付けられたデータベースである。商品棚データベース１２２は、商品棚Ｔにおける複数の登録位置と、複数の登録位置それぞれに置かれた商品を識別するための商品ＩＤとが関連付けられたデータベースである。登録位置は、例えば店舗Ｍの店員により指定された位置である。
The
図４は、商品データベース１２１の一例を示す図である。図４に示す商品データベース１２１においては、商品を識別するための商品ＩＤと、商品名と、商品の画像とが関連付けられている。商品データベース１２１においては、商品ＩＤに関連付けて、商品の価格、及び在庫数といった他の情報がさらに関連付けられていてもよい。
FIG. 4 is a diagram showing an example of the
図５は、商品棚データベース１２２の一例を示す図である。図５に示す商品棚データベース１２２においては、商品棚Ｔにおける登録位置を示す商品位置ＩＤと、商品ＩＤとが関連付けられており、商品棚Ｔにおけるどの登録位置にどの商品が載置されているかが示されている。商品位置ＩＤの欄に示されている記号は、商品棚Ｔにおいて商品が置かれる可能性がある場所に対応している。
FIG. 5 is a diagram showing an example of the
記憶部１２は、商品棚Ｔの特徴点の位置と複数の登録位置それぞれとの関係である複数の登録位置関係をさらに記憶してもよい。商品棚Ｔの特徴点の位置は、商品棚Ｔにおける位置を規定する基準となる位置であり、例えば商品棚Ｔの左上の角の位置である。特徴点の位置と複数の登録位置それぞれとの関係は、例えば、特徴点の位置に対する登録位置の方向、及び特徴点の位置と登録位置との距離により表される。商品棚Ｔの特徴点が、商品棚Ｔが有する複数の棚板それぞれの端部であり、登録位置関係が、当該端部からの距離であってもよい。登録位置関係は、購入処理部１３４が、ユーザＵが商品棚Ｔの画像上で操作した位置が、どの登録位置に対応するかを特定するために使用される。
The
記憶部１２は、撮像画像データにおける複数の登録位置それぞれに対応する登録位置座標を記憶してもよい。登録位置座標は、商品棚Ｔの特徴点の位置を原点として、原点に対する水平方向の距離に対応する水平方向座標、及び原点に対する垂直方向の距離に対応する垂直方向座標により表される。記憶部１２は、例えば、店舗Ｍの店員が使用する端末（例えばコンピュータ又はタブレット）に商品棚Ｔの画像を表示した状態で店員により指定された位置の座標を、登録位置座標として記憶する。記憶部１２は、店員により入力された商品位置ＩＤを登録位置座標に関連付けて記憶してもよく、登録位置座標に基づいて制御部１３が自動的に決定した商品位置ＩＤを記憶してもよい。
The
ところで、店舗においては、店員が商品の位置を変更する場合がある。このような場合には、例えば店舗のコンピュータにおいて店員が入力したデータに基づいて、商品棚データベース１２２のデータが更新される。図５（ａ）は、第１時点（例えば図１に示した商品棚Ｔが撮影された時点）における商品棚データベース１２２を示しており、図５（ｂ）は、第１時点と異なる第２時点における商品棚データベース１２２を示している。
By the way, in a store, a clerk may change the position of a product. In such a case, for example, the data in the
図６は、商品棚データベース１２２に対応する商品棚Ｔの状態を示す図である。図６には、商品棚Ｔとして複数の商品棚（商品棚Ｔ１及び商品棚Ｔ２）が示されている。商品棚Ｔ１及び商品棚Ｔ２のそれぞれに商品位置ＩＤが示されている。図６（ａ）の状態は、図５（ａ）に示した商品棚データベース１２２の状態に対応している。図６（ｂ）の状態は、図６（ａ）において商品位置ＩＤがＡ－１１、Ａ－１２、Ａ－１３に置かれていた商品（おにぎり）が、商品棚Ｔ２における商品位置ＩＤがＢ－１１、Ｂ－１２、Ｂ－１３に移動された状態であり、図５（ｂ）に示した商品棚データベース１２２の状態に対応している。
FIG. 6 is a diagram showing a state of the product shelf T corresponding to the
記憶部１２は、関連性がある複数の商品を関連付けて記憶してもよい。記憶部１２は、例えば、複数の商品のうち第１の商品と、第１の商品と一緒に購入することが推奨される第２の商品とを関連付けて記憶する。記憶部１２は、第１の商品に対して、複数の商品を関連付けて記憶してもよい。店舗Ｍにおいて、サンドイッチを買った人がコーヒーを購入することが多いという傾向がある場合、記憶部１２は、例えば店舗の店員の操作によって、サンドイッチと缶コーヒーとを関連推奨商品として記憶する。この情報は、例えば、第１の商品を購入したユーザＵに対して、情報処理装置１が第２の商品を推奨する場合に使用される。
The
図３に戻り、制御部１３の構成を詳細に説明する。制御部１３は、例えばＣＰＵを有しており、記憶部１２に記憶されたプログラムを実行することにより、画像取得部１３１、画像送信部１３２、情報取得部１３３及び購入処理部１３４として機能する。
Returning to FIG. 3, the configuration of the
画像取得部１３１は、ネットワークＮを介して、店舗Ｍの商品棚Ｔと、商品棚Ｔに置かれた複数の商品とを撮影することによりカメラＣが作成した撮像画像データを取得する。画像取得部１３１は、取得した撮像画像データを画像送信部１３２に入力する。
The
画像送信部１３２は、画像取得部１３１から入力された撮像画像データを含む購入処理用画面を作成し、作成した購入処理用画面を情報端末２に送信する。画像送信部１３２は、例えば、マークアップ言語を用いて、図２（ａ）に示したように、撮像画像データに他の情報を重ねた購入処理用画面のデータを作成する。画像送信部１３２は、例えば、商品位置を示す画像（例えば図２に示した黒丸画像）、及び商品の名称又は価格の少なくともいずれかのテキスト情報を撮像画像に重ねた購入処理用画面のデータを作成する。
The
画像送信部１３２が、撮像画像データに他の情報を重ねる位置を設定する方法は任意である。画像送信部１３２は、商品位置を登録するモードにおいて、例えば、店舗Ｍの店員が使用可能な端末に商品棚Ｔの画像を表示させ、表示させた画像において指定された位置の座標を上述した登録位置座標として記憶部１２に記憶させてもよい。画像送信部１３２は、購入処理用画面データを作成する際に、記憶部１２に記憶された座標を読み出し、読み出した座標の位置に商品位置を示す画像を重ねる。画像送信部１３２は、撮像画像データにおいて商品の画像の輪郭線を検出することにより商品の位置を特定し、特定した位置に商品位置を示す画像を重ねてもよい。
The method of setting the position where the
画像送信部１３２は、購入処理用画面の画像データとともに、少なくとも一部の画素の座標を送信してもよい。画像送信部１３２は、例えば、購入処理用画面の画像データの画素に関連付けて登録位置座標を送信する。画像送信部１３２がこのような情報を情報端末２に送信することで、情報端末２は、ユーザＵが操作した位置に対応する登録位置座標を情報処理装置１に送信することができる。
The
画像送信部１３２は、購入処理用画面においてユーザＵが選択した商品の位置の座標を示す操作位置情報を情報取得部１３３から取得し、取得した操作位置情報に基づいて、ユーザＵが操作をした位置を特定する。画像送信部１３２は、商品棚データベース１２２を参照することにより、特定した位置に最も近い登録位置座標に対応する商品を選択商品として特定する。そして、画像送信部１３２は、商品データベース１２１を参照することにより、特定した選択商品に対応する商品画像のデータを記憶部１２から取得する。
The
具体的には、画像送信部１３２は、図２（ｂ）に示したように、選択商品を示す商品画像データと選択商品の価格とを含む購入処理用画面を情報端末２に送信してもよい。画像送信部１３２は、例えば、商品の登録画像と商品ＩＤとが関連付けられた商品データベース１２１において、選択商品の商品ＩＤに関連付けられた登録画像データを、選択商品を示す商品画像データとして情報端末２に送信する。画像送信部１３２がこのような商品画像データを送信することで、情報端末２には、予め登録された鮮明な商品画像が表示される。したがって、購入処理用画面に含まれている商品の画像が不鮮明な場合であっても、ユーザＵが、選択した商品の内容を正しく把握することができる。
Specifically, as shown in FIG. 2B, the
ところで、カメラＣが撮影する範囲によっては、画像送信部１３２が撮像画像データをそのまま送信すると、情報端末２に表示される商品の画像が小さ過ぎて、ユーザＵが、商品を選択しづらいという場合がある。そこで、画像送信部１３２は、情報取得部１３３を介して、店舗Ｍの中の領域のうち情報端末２に表示させる領域を示す表示領域情報を情報端末２から取得し、画像取得部１３１が取得した撮像画像データのうち、表示領域情報が示す領域の画像を情報端末２に送信してもよい。画像送信部１３２は、例えば、情報端末２において画像を拡大する操作が行われた場合、又は表示範囲を変更する操作が行われた場合、操作の内容に応じた領域の画像を情報端末２に送信する。
By the way, depending on the range taken by the camera C, when the
また、画像送信部１３２は、情報端末２において、表示する商品棚Ｔの位置を変更する操作が行われた場合、操作の内容に応じて、購入処理用画面に含める商品棚Ｔの範囲を変更してもよい。画像送信部１３２は、例えば、情報端末２において右側にスワイプする操作が行われると、情報端末２が表示している領域よりも左側の領域の画像を情報端末２に送信する。画像送信部１３２がこのように動作することで、ユーザＵは、自身が店舗Ｍに実際にいる場合と同様に、いろいろな商品を見ることができる。
Further, when the operation of changing the position of the product shelf T to be displayed is performed on the
また、画像送信部１３２は、選択商品に関連付けて記憶部１２に記憶された他の商品が写った撮像画像データを含む他の購入処理用画面を情報端末２に送信してもよい。画像送信部１３２は、例えば、選択商品がサンドイッチであり、サンドイッチに関連付けて缶コーヒーが記憶部１２に記憶されている場合、缶コーヒーが写っている撮像画像データを含む購入処理用画面を情報端末２に表示させる。
Further, the
図６に示す例において、サンドイッチが商品棚Ｔ１のＡ－２１～Ａ－２３の位置に置かれており、缶コーヒーが商品棚Ｔ２のＢ－５１～Ｂ－５４の位置に置かれているとする。商品棚Ｔ１が写った撮像画像データを含む購入処理用画面において、ユーザＵがサンドイッチを購入する操作を行った場合、商品棚データベース１２２は、商品棚Ｔ２が写った撮像画像データを含む購入処理用画面を情報端末２に送信する。
In the example shown in FIG. 6, the sandwich is placed at the positions A-21 to A-23 of the product shelf T1, and the canned coffee is placed at the positions B-51 to B-54 of the product shelf T2. do. When the user U purchases a sandwich on the purchase processing screen including the captured image data of the product shelf T1, the
その際、ユーザＵが、お勧め商品を把握しやすくするために、画像送信部１３２は、推奨する他の商品がどれであるかを示す情報を重ねて表示した他の購入処理用画面を情報端末２に送信してもよい。上記の例の場合、商品棚データベース１２２は、例えば、商品棚Ｔ２のＢ－５１～Ｂ－５４の位置を囲む線を含む画像情報を表示したり、Ｂ－５１～Ｂ－５４の位置の付近に、「サンドイッチもいかがですか？」といったテキスト情報を表示したりする。商品棚データベース１２２がこのような情報を表示することで、ユーザＵにとっては、選択した商品と一緒に購入する方が良い商品を探す手間が省けるという利点がある。また、店舗Ｍにとっては、ユーザＵが他の商品を購入する蓋然性が高まるので、収益につながるという利点がある。
At that time, in order to make it easier for the user U to grasp the recommended product, the
情報取得部１３３は、情報端末２から送信される情報を取得する。情報取得部１３３は、例えば、店舗Ｍ内の領域のうち情報端末２に表示させる領域を示す表示領域情報をさらに取得する。また、情報取得部１３３は、情報端末２から、情報端末２に表示された購入処理用画面において所定の操作が行われた位置を示す操作位置情報を取得する。操作位置情報は、例えば、ユーザＵが操作した位置の座標を示す情報である。操作位置情報は、ユーザＵが操作した位置に最も近い登録位置座標であってもよい。情報取得部１３３は、取得した操作位置情報を、画像送信部１３２及び購入処理部１３４に通知する。
The
購入処理部１３４は、ユーザＵが情報端末２において購入する操作をした商品をユーザＵに届けるために必要な処理である購入処理を実行する。購入処理部１３４は、例えば、操作位置情報が示す位置に対応する登録位置を特定し、特定した登録位置に記憶部１２に記憶された商品棚データベース１２２において関連付けられた商品ＩＤに対応する選択商品を情報端末２のユーザＵが購入するための購入処理を実行する。購入処理は、例えば、店舗Ｍが選択商品をユーザＵに配達することを可能にするための処理であり、選択商品を購入する操作をユーザＵが行ったということを、店舗Ｍで使用される店舗内装置に送信する処理である。店舗内装置は、店舗Ｍの店員が使用可能なコンピュータ、又は選択商品を商品棚Ｔから取り出すことができるロボットである。
The
具体的には、購入処理部１３４は、購入処理用画面において購入操作が行われた場合に、購入処理として、ユーザを識別するためのユーザ識別情報（以下、「ユーザＩＤ」という）と、購入処理用画面において購入操作が行われた位置に対応する選択商品の商品ＩＤとを関連付けて、店舗Ｍで使用される店舗内装置に送信する。購入処理部１３４は、商品棚データベース１２２を参照することにより、商品ＩＤに関連付けられた商品位置ＩＤを店舗内装置に送信してもよい。
Specifically, when the purchase operation is performed on the purchase processing screen, the
ユーザＩＤと選択商品の商品ＩＤとが、店舗Ｍの店員が使用可能なコンピュータに送信され、当該コンピュータがユーザＩＤに対応するユーザＵの情報（例えば氏名と住所）と商品ＩＤに対応する商品名を表示すると、店舗Ｍの店員は、商品ＩＤに対応する選択商品を商品棚Ｔから取り出して、当該商品の配達又は発送をすることができる。また、ユーザＩＤと選択商品の商品ＩＤとが店舗Ｍのロボットに送信された場合、ロボットは、商品ＩＤ又は商品位置ＩＤに対応する選択商品を商品棚Ｔから取り出して、配送用の箱に入れたり、ロボット自身が選択商品をユーザＵまで配送したりしてもよい。 The user ID and the product ID of the selected product are transmitted to a computer that can be used by the clerk of the store M, and the information (for example, name and address) of the user U corresponding to the user ID and the product name corresponding to the product ID. Is displayed, the clerk of the store M can take out the selected product corresponding to the product ID from the product shelf T and deliver or ship the product. Further, when the user ID and the product ID of the selected product are transmitted to the robot of the store M, the robot takes out the selected product corresponding to the product ID or the product position ID from the product shelf T and puts it in the delivery box. Alternatively, the robot itself may deliver the selected product to the user U.
購入処理部１３４は、例えば、操作位置情報が示す位置の座標に最も近い登録位置座標を特定することにより、操作位置情報が示す位置に対応する登録位置を特定する。購入処理部１３４は、撮像画像データに含まれる商品棚Ｔの特徴点の位置と、操作位置情報が示す位置との関係が最も近い登録位置関係に対応する登録位置を特定してもよい。購入処理部１３４がこのように動作することにより、ユーザＵが登録位置座標から少しずれた位置に触った場合であっても、購入処理部１３４は選択商品を特定することができるので、ユーザＵの操作性が向上する。
The
図７は、情報処理システムＳにおける処理の流れを示すシーケンス図である。図７に示すシーケンス図は、ユーザＵが情報端末２において店舗Ｍで販売している商品を購入するためのアプリケーションを起動した時点から開始している。
FIG. 7 is a sequence diagram showing a processing flow in the information processing system S. The sequence diagram shown in FIG. 7 starts from the time when the user U starts the application for purchasing the product sold at the store M on the
画像送信部１３２は、画像取得部１３１が取得した商品棚Ｔの撮像画像データを含む購入処理用画面を情報端末２に送信する。情報端末２の制御部２５は、通信部２１が受信した購入処理用画面を表示部２２に表示する（Ｓ１１）。その状態で、制御部２５は、ユーザＵにより商品を選択する操作が操作部２３において行われたか否かを監視する（Ｓ１２）。制御部２５は、ユーザＵが商品を選択する操作を行ったことを検出すると（Ｓ１２においてＹＥＳ）、通信部２１に、ユーザＵが操作をした位置を示す座標情報を情報処理装置１に送信させる。
The
購入処理部１３４は、受信した座標情報に基づいて、ユーザＵが選択した商品を特定する（Ｓ１３）。具体的には、購入処理部１３４は、商品棚データベース１２２に記憶された登録位置の座標を参照することにより、ユーザＵが選択した登録位置を特定し、登録位置に対応する商品ＩＤを特定する。購入処理部１３４が商品ＩＤを特定すると、画像送信部１３２は、商品データベース１２１を参照することにより商品ＩＤに対応する商品画像を記憶部１２から取得し、取得した商品画像を情報端末２に送信する。
The
情報端末２は、商品画像を受信すると、図２（ｂ）に示したような画面を表示する（Ｓ１４）。制御部２５は、この状態で、ユーザＵが購入処理の操作を行うかどうかを監視する（Ｓ１５）。制御部２５は、ユーザＵが購入処理の操作を行ったと判定すると（Ｓ１５においてＹＥＳ）、購入処理の操作が行われたことを示す購入情報を情報処理装置１に送信する。購入処理部１３４は、購入情報を受信すると購入処理を実行する（Ｓ１６）。
Upon receiving the product image, the
［複数の撮像画像データの利用（第１変形例）］
以上の説明においては、店舗Ｍに設置された１台のカメラＣが１つの方向で撮影することにより撮像画像データが生成される場合を例示した。ところが、店舗Ｍで販売される商品にはいろいろな種類があり、１つの方向で複数の商品を撮影した場合、商品の内容を識別しやすい画像が生成される商品もあれば、商品の内容を識別しやすい画像が生成されない商品もある。
[Use of multiple captured image data (first modification)]
In the above description, the case where the captured image data is generated by taking a picture in one direction by one camera C installed in the store M has been exemplified. However, there are various types of products sold at store M, and when multiple products are photographed in one direction, some products generate images that make it easy to identify the contents of the products. Some products do not produce easy-to-identify images.
例えば、商品棚Ｔの前方から商品が撮影されて撮像画像データが生成された場合、おにぎりやサンドイッチの画像を見たユーザＵは、当該画像によって、おにぎりやサンドイッチの種類を識別しやすい。一方、弁当の画像を見たユーザＵは、当該画像を見ても、どのような弁当であるかを識別することが難しい。 For example, when a product is photographed from the front of the product shelf T and captured image data is generated, the user U who sees the image of the rice ball or sandwich can easily identify the type of rice ball or sandwich by the image. On the other hand, it is difficult for the user U who sees the image of the bento to identify what kind of bento it is even by looking at the image.
そこで、情報処理装置１の画像送信部１３２は、店舗Ｍに設置された複数のカメラＣ、又は異なる方向で撮影が可能な１台のカメラＣにより、複数の異なる位置から撮影することにより生成された複数の撮像画像データから切り出された複数の店舗商品画像データから、商品に適した選択商品画像データを選択し、選択商品画像データを情報端末２に送信してもよい。画像送信部１３２は、例えばユーザＵによる店舗商品画像データに対応する商品の特定しやすさに基づいて、選択商品画像データを選択する。
Therefore, the
図８は、第１変形例に係る店舗Ｍの状態の一例を示す図である。図８に示す例においては、カメラＣ１、カメラＣ２及びカメラＣ３が店舗Ｍに設置されている。カメラＣ１は、商品棚Ｔの上方から商品棚Ｔに置かれた商品を撮影する。カメラＣ２は、商品棚Ｔの前方から商品棚Ｔに置かれた商品を撮影する。カメラＣ３は、商品棚Ｔの後方から商品棚Ｔに置かれた商品を撮影する。 FIG. 8 is a diagram showing an example of the state of the store M according to the first modification. In the example shown in FIG. 8, the camera C1, the camera C2, and the camera C3 are installed in the store M. The camera C1 photographs a product placed on the product shelf T from above the product shelf T. The camera C2 takes a picture of the product placed on the product shelf T from the front of the product shelf T. The camera C3 photographs the product placed on the product shelf T from behind the product shelf T.
図９は、第１変形例に係る情報処理装置１ａの構成を示す図である。図９に示す情報処理装置１ａは、画像作成部１３５をさらに有するという点で、図３に示した情報処理装置１と異なる。図１０は、情報処理装置１ａにおける処理の流れを示す図である。図１１は、情報処理装置１ａの商品棚データベース１２２の一例を示す図である。以下、既述の情報処理装置１の構成及び動作と異なる点を中心に、情報処理装置１ａの構成及び動作を説明する。
FIG. 9 is a diagram showing a configuration of the
図１１に示すように、情報処理装置１ａの商品棚データベース１２２においては、商品棚における位置と商品の属性とが関連付けられている。商品の属性は、ユーザＵが商品を購入する際に参照する情報が示される撮影方向に対応する特徴である。言い換えると、商品の属性は、商品棚Ｔに置かれた状態で、ユーザＵが商品の内容を認識しやすい撮影方向に対応する特徴である。
As shown in FIG. 11, in the
ユーザＵが商品を購入する際に参照する情報は、商品に付されている商品の名称や価格等を示すテキスト情報、又は商品に固有のデザインである。これらの情報は、ユーザＵが購買するか否かを判断する際に使用される購入判断情報であり、ユーザＵが情報端末２において購入判断情報を視認することができると、ユーザＵが適切な商品を選択しやすい。そこで、画像送信部１３２は、購入判断情報が商品に付されている位置を商品の属性として利用して、選択商品画像データを選択してもよい。商品の属性は、商品の種別又は商品の形状であってもよい。
The information referred to by the user U when purchasing a product is text information indicating the name, price, etc. of the product attached to the product, or a design unique to the product. These pieces of information are purchase decision information used when the user U decides whether or not to purchase, and if the user U can visually recognize the purchase decision information on the
画像取得部１３１は、店舗の商品棚Ｔと、商品棚Ｔに置かれた商品とを複数の異なる位置から撮影することにより作成された複数の撮像画像データを取得する。画像取得部１３１は、例えば、カメラＣ１、カメラＣ２及びカメラＣ３が撮影して作成した複数の撮像画像データを取得する。すなわち、画像取得部１３１は、例えば商品棚Ｔの上方から商品を撮影することにより作成された上方撮像画像データと、商品棚Ｔの前方から商品を撮影することにより作成された前方撮像画像データと、商品棚Ｔの後方から商品を撮影することにより作成された後方撮像画像データとを、複数の撮像画像データとして取得する。画像取得部１３１は、取得した複数の撮像画像データを画像作成部１３５に入力する。
The
画像作成部１３５は、複数の撮像画像データそれぞれに含まれる複数の商品の画像を切り出すことにより、１つの商品に対応する複数の店舗商品画像を作成する。図１０に示すように、画像作成部１３５は、複数の撮像画像データに基づいて、各商品位置に置かれた商品を上方から撮影して生成された店舗商品画像データ（例えばＡ－１１上方画像データ）、前方から撮影して生成された店舗商品画像データ（例えばＡ－１１前方画像データ）、及び後方から撮影して生成された店舗商品画像データ（例えばＡ－１１後方画像データ）を作成する。画像作成部１３５は、作成したこれらの店舗商品画像データを画像送信部１３２に入力する。
The
画像送信部１３２は、画像作成部１３５から入力された複数の店舗商品画像データのうち、ユーザＵが商品の内容を特定するのに適した店舗商品画像データを選択する。画像送信部１３２は、画像作成部１３５から入力された複数の店舗商品画像データから選択した店舗商品画像データである選択商品画像データを情報端末２に送信する。画像送信部１３２は、前方撮像画像データに商品の特徴が表れることを属性が示している場合（例えば、購入判断情報が示されている場合）に、前方撮像画像データを情報端末２に提供し、上方撮像画像データに商品の特徴が表れることを属性が示している場合に、上方撮像画像データを情報端末２に提供する。
The
一例として、画像送信部１３２は、複数の店舗商品画像データそれぞれに対応する商品の商品棚Ｔにおける位置を特定する。そして、画像送信部１３２は、商品棚データベース１２２において、特定した位置に関連付けられた商品の属性に基づいて選択商品画像データを選択する。図１１に示す例の場合、画像送信部１３２は、複数の撮像画像データから切り出された複数の店舗商品画像データが商品位置Ａ－１１に対応することを特定した場合、商品の属性が「前方」であると認識する。この場合、画像送信部１３２は、複数の店舗商品画像データのうち、前方から撮影して生成されたＡ－１１前方画像データを選択する。
As an example, the
商品データベース１２１が、商品の属性と商品の画像とが関連付けられたデータベースであり、画像送信部１３２は、商品データベース１２１において店舗商品画像データに最も類似する画像に関連付けられた商品の属性に基づいて選択商品画像データを選択してもよい。
The
図１２は、画像送信部１３２が情報端末２に送信する選択商品画像データを含む購入処理用画面の一例を示す図である。図２（ａ）に示した購入処理用画面と比較すると、Ａ－３及びＡ－４の棚板に置かれている弁当とカップ麺が、上方から撮影された画像になっている点で異なっている。画像送信部１３２は、このように、属性が飲料、サンドイッチ又はおにぎりであることを示している場合に、前方撮像画像データを情報端末２に提供し、属性が弁当であることを示している場合に、上方撮像画像データを情報端末２に提供する。画像送信部１３２が、商品棚Ｔにおける複数の位置に関連付けて複数の店舗商品画像データを含む表示用画像を情報端末２に送信し、情報端末２が、Ｕが商品の内容を認識しやすい方向から撮影された画像を組み合わせて表示することで、ユーザＵが適切に商品を選択しやすくなる。
FIG. 12 is a diagram showing an example of a purchase processing screen including selected product image data transmitted by the
なお、図１２においては、商品棚Ｔにおける全ての位置に選択商品画像データが表示されているが、一部の位置に商品が置かれていないような場合もある。このようなときに、商品が置かれていないということをユーザＵが認識しやすいように、画像送信部１３２は、複数の位置のうち、店舗商品画像データが関連付けられていない位置を所定の態様にした表示用画像を情報端末２に送信してもよい。所定の態様は、透明加工した画像又はグレーアウトした画像のように、欠品であることをユーザＵが認識できるように、他の位置と色又は模様が異なる態様である。
In FIG. 12, the selected product image data is displayed at all positions on the product shelf T, but there are cases where the product is not placed at some positions. In such a case, the
画像送信部１３２は、ある商品位置に対応する複数の店舗商品画像データから１つの選択商品画像データを選択する際に、上記の属性に代えて又は上記の属性とともに、他の情報を用いてもよい。一例として、画像送信部１３２は、商品棚Ｔにおける同一の位置に対応する複数の店舗商品画像データのうち、商品を示す領域の面積が最も大きい店舗商品画像データを選択商品画像データとして選択してもよい。画像送信部１３２は、商品が例えばおにぎりである場合、前方画像データにおける商品の面積が、上方画像データにおける商品の面積よりも大きいと判定し、前方画像データを選択商品画像データとして選択する。面積が大きい画像の方が、ユーザＵが商品の内容を認識しやすいので、画像送信部１３２がこのように動作することで、ユーザＵが商品の内容をより認識しやすくなる。
When the
画像送信部１３２は、商品棚における同一の位置に対応する複数の店舗商品画像データのうち、商品を示す領域の輝度が最も高い店舗商品画像データを選択商品画像データとして選択してもよい。前方画像データにおいては商品が暗く写っていて文字を認識することが困難であり、上方画像データにおいては商品が明るく写っていてるような場合、ユーザＵが商品の内容を認識するには上方画像データの方が適しているという場合がある。そこで、画像送信部１３２が、商品を示す領域の輝度に基づいて選択商品画像データを選択することで、商品の内容の認識に適していない店舗商品画像データが情報端末２に表示されることを防げる。
The
また、画像送信部１３２は、選択商品画像データに関連付けて、選択商品画像データに対応する商品の名称又は価格を示す購入判断情報を情報端末２に送信してもよい。画像送信部１３２は、選択商品画像データに購入判断情報が含まれていない場合、選択商品画像データに購入判断情報を合成した画像を作成し、当該画像を情報端末２に送信してもよい。画像送信部１３２は、選択商品画像と購入判断情報を重ねてもよく、選択商品画像の近傍に購入判断情報を配置した購入処理用画面を作成してもよい。
Further, the
また、情報取得部１３３が、情報端末２に表示させる店舗商品画像データの大きさを示す操作情報を情報端末２から取得し、画像送信部１３２は、操作情報が示す店舗商品画像データを表示させる大きさに基づいて、処理を変えてもよい。具体的には、画像送信部１３２は、第１の大きさで店舗商品画像データを情報端末２に表示させることを操作情報が示している場合には、同一の位置からの撮影により作成された１つの撮像画像データに含まれる複数の店舗商品画像データを情報端末２に送信する。また、画像送信部１３２は、第１の大きさよりも大きい第２の大きさで店舗商品画像データを情報端末２に表示させることを操作情報が示している場合には、選択商品画像データを情報端末２に送信する。
Further, the
画像送信部１３２がこのように動作することで、ユーザＵが、商品棚Ｔの全体を見たいという場合には、図２（ａ）に示したように、前方から撮影された画像が情報端末２に表示されるので、ユーザＵは店舗Ｍの臨場感を味わうことができる。そして、ユーザＵが商品を選択するために商品の詳細を見たいという場合に、商品の属性に適した方向から撮影された選択商品画像データが情報端末２に表示されるので、ユーザＵは適切な商品を購入しやすくなる。
When the user U wants to see the entire product shelf T by operating the
［商品位置変更の検出（第２変形例）］
以上のとおり、情報処理装置１は、商品棚における複数の登録位置と、複数の登録位置それぞれに置かれた商品の商品ＩＤとが関連付けられた商品棚データベース１２２を参照することにより、店舗Ｍの商品棚Ｔの撮像画像データを表示する情報端末２においてユーザＵが操作を行った位置に基づいて、操作された位置に対応する商品を特定する。店舗においては、商品の位置が変更になる場合がある。商品の位置が変更になったにもかかわらず、商品棚データベース１２２に登録されているデータが更新されていないと、情報処理装置１は、ユーザＵが操作を行った位置に対応する商品を誤って特定してしまう。そこで、情報処理装置１は、商品の位置が変更されたことを検出し、商品の位置が変更されたにもかかわらず、商品棚データベース１２２のデータが更新されていない場合に、警告を出力したり、商品棚データベース１２２のデータを更新したりしてもよい。
[Detection of product position change (second modification)]
As described above, the
図１３は、第２変形例に係る情報処理装置１ｂの構成を示す図である。図１３に示す情報処理装置１ｂは、位置特定部１３６及び位置管理部１３７をさらに有するという点で、図９に示した情報処理装置１ａと異なり、他の点で同じである。情報処理装置１ｂは、画像作成部１３５を有していなくてもよい。
FIG. 13 is a diagram showing a configuration of the information processing apparatus 1b according to the second modification. The information processing device 1b shown in FIG. 13 is different from the
位置特定部１３６は、撮像画像データに含まれている商品棚Ｔの画像の位置と、商品の画像（店舗商品画像）の位置との関係に基づいて、商品の商品棚Ｔにおける位置を特定する。位置特定部１３６は、例えば、撮像画像データから、複数の登録位置に対応する領域の画像を切り出すことにより複数の店舗商品画像データを作成し、作成した店舗商品画像データの位置と、商品棚Ｔの画像における基準となる位置（例えば特徴点の位置）との関係に基づいて、店舗商品画像データが示す商品の位置を特定する。位置特定部１３６は、店舗商品画像データに関連付けて、特定した位置を位置管理部１３７に通知する。
The
位置特定部１３６は、撮像画像データにおける登録位置に対応する領域に、同一の形状の複数の画像が含まれている場合、当該複数の画像のうち１つの画像を切り出すことにより店舗商品画像データを作成してもよい。一例として、図２（ａ）の上から３段目に置かれている弁当のように、商品棚に積み重ねることができる商品の場合、商品棚Ｔにおける一つの登録位置に複数の商品が置かれている場合がある。このような場合、位置特定部１３６は、複数の同じ商品の画像のうち１つの画像を選択することで、切り出した店舗商品画像データが、商品データベース１２１に登録された登録商品画像データと同等の画像になる。
When a plurality of images having the same shape are included in the area corresponding to the registered position in the captured image data, the
位置特定部１３６は、撮像画像データに人が写っていることを検出した後に所定の条件が満たされた場合に、商品棚Ｔの画像の位置（例えば、商品棚Ｔの基準位置）と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。所定の条件は、例えば、商品の手前から人がいなくなり、撮像画像データに基づいて商品を識別できる状態になったことである。
The
撮像画像データに人が写っている場合、その人が商品の位置を変更するという可能性がある。そこで、位置特定部１３６が、上記のタイミングで商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定することで、人が商品の位置を変更した場合に、後述する位置管理部１３７が速やかに商品棚データベース１２２を更新することが可能になる。また、位置特定部１３６が、商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定する処理を常時行う必要がなくなるので、制御部１３の処理負荷が軽くなる。
If a person appears in the captured image data, that person may change the position of the product. Therefore, the
また、位置特定部１３６は、情報取得部１３３が操作情報を取得した場合に、商品棚Ｔの画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定してもよい。位置特定部１３６がこのようなタイミングで商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定することで、ユーザＵが商品を購入する操作をする時点で、購入処理用画面に示されている商品の位置と商品棚データベース１２２に登録されている商品の位置とが一致するため、ユーザＵが意図した商品と異なる商品が購入されてしまうことを防げる。また、この場合にも、また、位置特定部１３６が、商品棚Ｔの画像の位置と店舗商品画像データの位置との関係を特定する処理を常時行う必要がなくなるので、制御部１３の処理負荷が軽くなる。
Further, the
位置管理部１３７は、撮像画像データに含まれている商品の画像である店舗商品画像データと、商品データベース１２１内の複数の登録商品画像データとを比較することにより、店舗商品画像データが示す商品に対応する登録商品画像データを特定する。そして、位置管理部１３７は、特定した登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、特定した登録商品画像データに関連付けられた登録位置を、位置特定部１３６が特定した商品の位置に更新する。位置管理部１３７は、特定した登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、店舗内装置に警告情報を送信し、店舗内装置から所定の指示を受信したことを条件として、登録位置を更新してもよい。
The
商品の位置が変更されたかどうかを判定する精度を高めるために、情報処理装置１は、複数の方向から撮影された複数の店舗商品画像データを利用してもよい。この場合、画像取得部１３１は、それぞれ異なる位置から商品棚Ｔ及び商品が撮影された複数の撮像画像データを取得する。位置管理部１３７は、複数の撮像画像データそれぞれに含まれている店舗商品画像データと複数の登録商品画像データとを比較することにより、店舗商品画像データが示す商品に対応する登録商品画像データを特定する。
In order to improve the accuracy of determining whether or not the position of the product has been changed, the
位置管理部１３７は、例えば、複数の撮像画像データに含まれている複数の店舗商品画像データのうち、複数の登録商品画像データのいずれかに最も類似する店舗商品画像データに基づいて、当該店舗商品画像データが示す商品に対応する登録商品画像データを特定する。位置管理部１３７は、複数の店舗商品画像データのいずれかと登録商品画像データとの類似度が閾値以上である場合、店舗商品画像データと登録商品画像データとが一致していると判定してもよい。このように、位置管理部１３７が複数の方向から撮影された複数の店舗商品画像データを利用することで、商品が置かれた向きが、登録商品画像データにおける商品の向きと異なっている場合であっても、誤判定をしづらくなる。
The
位置管理部１３７は、撮像画像データにおける登録位置に商品の画像が含まれていない場合、登録位置に関連付けられた登録商品画像データを商品データベース１２１から削除してもよい。位置管理部１３７がこのように動作することで、特定の位置に商品が置かれない状態になった場合に、その状態が速やかに商品データベース１２１に反映されるので、ユーザＵが購入処理用画面における当該位置に誤って触れた場合に、実際には存在しない商品が特定されてしまうことを防げる。
When the registered product image is not included in the registered position in the captured image data, the
また、位置管理部１３７は、商品データベース１２１において登録位置に商品画像が登録されていない場合、撮像画像データから切り出した商品画像を登録してもよい。すなわち、位置管理部１３７は、商品データベース１２１における登録位置に登録商品画像データが関連付けられていない場合、撮像画像データにおける登録位置に含まれている店舗商品画像データを、登録位置に関連付けて登録商品画像データとして商品データベース１２１に登録する。位置管理部１３７がこのように動作することで、商品データベース１２１に登録されていない新しい商品を販売する際に、店舗Ｍの店員が商品データベース１２１を登録する処理をすることなく、商品棚Ｔの状態が速やかに商品データベース１２１に反映されるので、店員による登録作業が不要になり店員の業務効率が向上する。
Further, when the product image is not registered at the registered position in the
位置管理部１３７は、自動的に商品データベース１２１を更新する代わりに、特定した登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、店舗Ｍで使用される店舗内装置（例えばコンピュータ）に所定の通知を送信してもよい。店舗内装置が、送信された通知の内容を表示することで、店員が、商品データベース１２１の状態が商品の位置と合っていないということを認識できるので、店員は、商品の位置を変更したり、実際の商品の位置に合わせて商品データベース１２１を更新する処理をしたりすることができる。位置管理部１３７がこのように動作することで、店員が商品を置く位置を間違えている場合に商品データベース１２１を更新してしまうことなく、店員が正しい位置に商品を移動させることが可能になる。
Instead of automatically updating the
［情報処理システムＳによる効果］
以上説明したように、情報処理装置１は、店舗Ｍで撮影されることにより作成された撮像画像データを含む購入処理用画面を情報端末２に送信し、情報端末２から、購入処理用画面において所定の操作が行われた位置を示す操作位置情報を取得する。そして、購入処理部１３４は、操作位置情報が示す位置に対応する商品棚Ｔの位置（登録位置）を特定し、特定した位置に商品データベース１２１において関連付けられた商品ＩＤに対応する商品をユーザＵが購入するための購入処理を実行する。情報処理装置１がこのように構成されていることで、ユーザＵは、実際の店舗Ｍに行って買物をする場合に近い感覚で、情報端末２を用いて買物をできるようになる。
[Effect of information processing system S]
As described above, the
また、画像取得部１３１は、商品棚Ｔに置かれた商品を複数の異なる位置から撮影することにより作成された複数の撮像画像データを取得する。そして、画像作成部１３５は、複数の撮像画像データそれぞれに含まれる複数の商品の画像を切り出すことにより、１つの商品に対応する複数の店舗商品画像データを作成し、画像送信部１３２は、複数の店舗商品画像データから選択した店舗商品画像データを情報端末２に送信する。画像送信部１３２は、例えば、ユーザＵが購入する際の判断に用いる購入判断情報が見える方向から撮影された店舗商品画像データを情報端末２に送信する。情報処理装置１がこのように構成されていることで、商品が置かれた向きや商品の形状によらず、ユーザＵが、店舗Ｍにおいて撮影された商品の画像に基づいて、商品の内容を把握することができるようになる。
Further, the
また、位置特定部１３６は、撮像画像データに含まれている商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、商品の商品棚Ｔにおける位置を特定する。そして、位置管理部１３７は、撮像画像データに含まれている店舗商品画像データに対応する登録商品画像データに関連付けられた登録位置が、位置特定部１３６が特定した商品の位置と一致していない場合に、特定した登録商品画像データに関連付けられた登録位置を、位置特定部１３６が特定した商品の位置に更新する。位置特定部１３６及び位置管理部１３７がこのように動作することで、店舗Ｍにおいて商品が置かれる位置が変わった場合に、店舗Ｍにおける商品の位置と商品データベース１２１に登録された商品の位置とが一致した状態が維持される。その結果、店舗において商品の位置が変更されても、ユーザＵが、店舗Ｍで撮影された画像に基づいて適切に商品を指定できる。
Further, the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. be. For example, all or part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment together.
１ 情報処理装置
２ 情報端末
１１ 通信部
１２ 記憶部
１３ 制御部
２１ 通信部
２２ 表示部
２３ 操作部
２４ 記憶部
２５ 制御部
１２１ 商品データベース
１２２ 商品棚データベース
１３１ 画像取得部
１３２ 画像送信部
１３３ 情報取得部
１３４ 購入処理部
１３５ 画像作成部
１３６ 位置特定部
１３７ 位置管理部
1
Claims (12)
前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、
前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、
前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、
を有する情報処理装置。 An image acquisition unit that acquires captured image data created by photographing a product shelf of a store and a product placed on the product shelf, and an image acquisition unit.
A storage unit that stores a database that associates a plurality of registered product image data on the product shelf with a plurality of registered product image data that are images of products placed at each of the plurality of registered positions.
A position specifying unit that specifies the position of the product on the product shelf based on the relationship between the position of the image of the product shelf included in the captured image data and the position of the store product image data that is the image of the product. When,
By comparing the store product image data, which is an image of the product included in the captured image data, with the plurality of registered product image data in the database, the product corresponding to the product indicated by the store product image data is described. When the registered product image data is specified and the registered position associated with the specified registered product image data does not match the position of the specified product by the position specifying unit, the specified registered product image data is used. A position management unit that updates the associated registered position to the position of the product specified by the position identification unit, and
Information processing device with.
請求項１に記載の情報処理装置。 The position specifying unit creates a plurality of the store product image data by cutting out an image of a region corresponding to the plurality of registered positions from the captured image data.
The information processing apparatus according to claim 1.
請求項２に記載の情報処理装置。 When a plurality of images having the same shape are included in the area corresponding to the registered position in the captured image data, the position specifying unit cuts out one of the plurality of images to obtain the store product. Create image data,
The information processing apparatus according to claim 2.
前記位置管理部は、前記複数の撮像画像データそれぞれに含まれている前記店舗商品画像データと前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定する、
請求項２又は３に記載の情報処理装置。 The image acquisition unit acquires a plurality of captured image data in which the product shelf and the product are photographed from different positions.
The position management unit corresponds to the product indicated by the store product image data by comparing the store product image data included in each of the plurality of captured image data with the plurality of registered product image data. Identify registered product image data,
The information processing apparatus according to claim 2 or 3.
請求項４に記載の情報処理装置。 The position management unit is based on the store product image data most similar to any of the plurality of registered product image data among the plurality of store product image data included in the plurality of captured image data. Identify the registered product image data corresponding to the product indicated by the store product image data,
The information processing apparatus according to claim 4.
請求項１から５のいずれか一項に記載の情報処理装置。 When the registered position in the captured image data does not include the image of the product, the position management unit deletes the registered product image data associated with the registered position from the database.
The information processing apparatus according to any one of claims 1 to 5.
請求項１から６のいずれか一項に記載の情報処理装置。 When the registered product image data is not associated with the registered position in the database, the position management unit associates the store product image data included in the registered position in the captured image data with the registered position. Registered in the database as the registered product image data.
The information processing apparatus according to any one of claims 1 to 6.
請求項１から７のいずれか一項に記載の情報処理装置。 The position management unit may be used in an in-store device used in the store when the registered position associated with the specified registered product image data does not match the position of the specified product by the position specifying unit. Send the prescribed notification,
The information processing apparatus according to any one of claims 1 to 7.
請求項１から８のいずれか一項に記載の情報処理装置。 When a predetermined condition is satisfied after detecting that a person is shown in the captured image data, the position specifying unit determines the position of the image on the product shelf and the store product image data which is an image of the product. Identify the relationship with the position,
The information processing apparatus according to any one of claims 1 to 8.
前記情報端末から、前記情報端末に表示された前記撮像画像データにおいて所定の操作が行われたことを示す操作情報を取得する情報取得部と、
をさらに有し、
前記位置特定部は、前記情報取得部が前記操作情報を取得した場合に、前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係を特定する、
請求項１から９のいずれか一項に記載の情報処理装置。 An image transmission unit that transmits the captured image data to an information terminal, and
An information acquisition unit that acquires operation information indicating that a predetermined operation has been performed on the captured image data displayed on the information terminal from the information terminal.
Have more
The position specifying unit specifies the relationship between the position of the image of the product shelf and the position of the store product image data which is an image of the product when the information acquisition unit acquires the operation information.
The information processing apparatus according to any one of claims 1 to 9.
店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得するステップと、
前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定するステップと、
前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定するステップと、
特定した前記登録商品画像データに関連付けられた前記登録位置が、特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新するステップと、
を有する情報処理方法。 Computer runs,
A step of acquiring captured image data created by photographing a product shelf of a store and a product placed on the product shelf, and
A step of specifying the position of the product on the product shelf based on the relationship between the position of the image of the product shelf included in the captured image data and the position of the store product image data which is an image of the product.
Store product image data that is an image of a product included in the captured image data, a plurality of registered product images on the product shelf, and a plurality of registered product images that are images of products placed at each of the plurality of registered positions. A step of identifying the registered product image data corresponding to the product indicated by the store product image data by comparing with the plurality of registered product image data in the database associated with the data.
When the registered position associated with the specified registered product image data does not match the position of the specified product, the position specifying unit determines the registered position associated with the specified registered product image data. Steps to update to the location of the specified product,
Information processing method with.
前記情報処理装置は、
店舗の商品棚と、前記商品棚に置かれた商品とを撮影することにより作成された撮像画像データを取得する画像取得部と、
前記商品棚における複数の登録位置と、前記複数の登録位置それぞれに置かれた商品の画像である複数の登録商品画像データとを関連付けたデータベースを記憶する記憶部と、
前記撮像画像データに含まれている前記商品棚の画像の位置と、商品の画像である店舗商品画像データの位置との関係に基づいて、前記商品の前記商品棚における位置を特定する位置特定部と、
前記撮像画像データに含まれている商品の画像である店舗商品画像データと、前記データベース内の前記複数の登録商品画像データとを比較することにより、前記店舗商品画像データが示す商品に対応する前記登録商品画像データを特定し、特定した前記登録商品画像データに関連付けられた前記登録位置が、前記位置特定部が特定した商品の位置と一致していない場合に、特定した前記登録商品画像データに関連付けられた前記登録位置を、前記位置特定部が特定した商品の位置に更新する位置管理部と、
前記店舗商品画像データを前記情報端末に送信する画像送信部と、
を有し、
前記情報端末は、前記店舗商品画像データを表示する表示部を有する、
情報処理システム。
It is equipped with an information terminal and an information processing device that provides information about products to the information terminal.
The information processing device is
An image acquisition unit that acquires captured image data created by photographing a product shelf of a store and a product placed on the product shelf, and an image acquisition unit.
A storage unit that stores a database that associates a plurality of registered product image data on the product shelf with a plurality of registered product image data that are images of products placed at each of the plurality of registered positions.
A position specifying unit that specifies the position of the product on the product shelf based on the relationship between the position of the image of the product shelf included in the captured image data and the position of the store product image data that is the image of the product. When,
By comparing the store product image data, which is an image of the product included in the captured image data, with the plurality of registered product image data in the database, the product corresponding to the product indicated by the store product image data is described. When the registered product image data is specified and the registered position associated with the specified registered product image data does not match the position of the specified product by the position specifying unit, the specified registered product image data is used. A position management unit that updates the associated registered position to the position of the product specified by the position identification unit, and
An image transmission unit that transmits the store product image data to the information terminal,
Have,
The information terminal has a display unit for displaying the store product image data.
Information processing system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020206103A JP2022093039A (en) | 2020-12-11 | 2020-12-11 | Information processing equipment, information processing methods and information processing systems |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020206103A JP2022093039A (en) | 2020-12-11 | 2020-12-11 | Information processing equipment, information processing methods and information processing systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022093039A true JP2022093039A (en) | 2022-06-23 |
Family
ID=82069346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020206103A Pending JP2022093039A (en) | 2020-12-11 | 2020-12-11 | Information processing equipment, information processing methods and information processing systems |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022093039A (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008539491A (en) * | 2005-04-29 | 2008-11-13 | スプリングボード リテール ネットワークス ライセンシング エスアールエル | Information management system and method employing personal computer device |
| JP2009205481A (en) * | 2008-02-28 | 2009-09-10 | Kenwood Corp | Commodity position management system and method |
| JP2012108758A (en) * | 2010-11-18 | 2012-06-07 | Nec Corp | Commodity management system and commodity management method |
| JP2014222374A (en) * | 2013-05-13 | 2014-11-27 | 大日本印刷株式会社 | Planogram information generation device, planogram information generation method, program, planogram reproduction system and planogram reproduction device |
| WO2016117600A1 (en) * | 2015-01-22 | 2016-07-28 | 日本電気株式会社 | Product shelf allocation management device and product shelf allocation management method |
| JP2018092455A (en) * | 2016-12-06 | 2018-06-14 | 株式会社野村総合研究所 | OTC product EC system |
| WO2019107157A1 (en) * | 2017-11-29 | 2019-06-06 | 株式会社Ｎｔｔドコモ | Shelf-allocation information generating device and shelf-allocation information generating program |
| WO2020066775A1 (en) * | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | Information processing system, information processing device, information processing method, and recording medium storing program |
| WO2020131881A1 (en) * | 2018-12-17 | 2020-06-25 | Cooler Screens Inc. | An intelligent marketing and advertising platform |
| JP2020119000A (en) * | 2019-01-18 | 2020-08-06 | 株式会社パン・パシフィック・インターナショナルホールディングス | Information processing apparatus, shelf management system, information processing method, and program |
| JP6754987B1 (en) * | 2019-08-29 | 2020-09-16 | パナソニックＩｐマネジメント株式会社 | Business support system, business support device, business support method, and computer program |
-
2020
- 2020-12-11 JP JP2020206103A patent/JP2022093039A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008539491A (en) * | 2005-04-29 | 2008-11-13 | スプリングボード リテール ネットワークス ライセンシング エスアールエル | Information management system and method employing personal computer device |
| JP2009205481A (en) * | 2008-02-28 | 2009-09-10 | Kenwood Corp | Commodity position management system and method |
| JP2012108758A (en) * | 2010-11-18 | 2012-06-07 | Nec Corp | Commodity management system and commodity management method |
| JP2014222374A (en) * | 2013-05-13 | 2014-11-27 | 大日本印刷株式会社 | Planogram information generation device, planogram information generation method, program, planogram reproduction system and planogram reproduction device |
| WO2016117600A1 (en) * | 2015-01-22 | 2016-07-28 | 日本電気株式会社 | Product shelf allocation management device and product shelf allocation management method |
| JP2018092455A (en) * | 2016-12-06 | 2018-06-14 | 株式会社野村総合研究所 | OTC product EC system |
| WO2019107157A1 (en) * | 2017-11-29 | 2019-06-06 | 株式会社Ｎｔｔドコモ | Shelf-allocation information generating device and shelf-allocation information generating program |
| WO2020066775A1 (en) * | 2018-09-26 | 2020-04-02 | 日本電気株式会社 | Information processing system, information processing device, information processing method, and recording medium storing program |
| WO2020131881A1 (en) * | 2018-12-17 | 2020-06-25 | Cooler Screens Inc. | An intelligent marketing and advertising platform |
| JP2020119000A (en) * | 2019-01-18 | 2020-08-06 | 株式会社パン・パシフィック・インターナショナルホールディングス | Information processing apparatus, shelf management system, information processing method, and program |
| JP6754987B1 (en) * | 2019-08-29 | 2020-09-16 | パナソニックＩｐマネジメント株式会社 | Business support system, business support device, business support method, and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11854071B2 (en) | In-store product detection system | |
| JP6489262B2 (en) | Guided image capture user interface | |
| US20190005569A1 (en) | Methods and systems for automatically mapping a retail location | |
| JP7104948B2 (en) | Inventory control server, inventory control system, inventory control program and inventory control method | |
| KR20150131342A (en) | Continuous display shelf edge label device | |
| JP6924662B2 (en) | Information processing device | |
| JP6185216B1 (en) | Information providing system, information providing apparatus, information providing method, and program | |
| US20220180302A1 (en) | System and method for inventory management and multimedia content delivery | |
| US20210118038A1 (en) | Self-service kiosk for determining glove size | |
| JP6842288B2 (en) | Over-the-counter product EC system and method | |
| JP2021099831A (en) | Display control device, control method, program, and storage medium | |
| JP2018120645A (en) | Selling support device, selling system, selling support method, and program | |
| JP7477438B2 (en) | Information processing device, information processing method, and information processing system | |
| JP7477439B2 (en) | Information processing device, information processing method, and information processing system | |
| JP7468508B2 (en) | Information processing device, information processing method, program, and information processing system | |
| JP2022093039A (en) | Information processing equipment, information processing methods and information processing systems | |
| US20240104628A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| JP2005184624A (en) | Product sales / management method, product sales / management system and server | |
| JP2021051804A (en) | Over-the-counter commodity ec system and method | |
| US12136064B1 (en) | Optical pattern recognition for locating objects in an environment | |
| CN115099748B (en) | Smart terminal accessory positioning method, device and storage equipment | |
| TWI723458B (en) | Information delivery method and information delivery system | |
| JP2019061430A (en) | Image forming apparatus and system | |
| JP2025001127A (en) | Search and guide system | |
| JP2022129282A (en) | Product listing management support system, product listing management support method, program and management system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230214 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240227 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240402 |