[go: up one dir, main page]

TWI872458B - 根據在結帳通道處收集的多個圖像的３ｄ產品重建之方法及系統 - Google Patents

根據在結帳通道處收集的多個圖像的３ｄ產品重建之方法及系統 Download PDF

Info

Publication number
TWI872458B
TWI872458B TW112105291A TW112105291A TWI872458B TW I872458 B TWI872458 B TW I872458B TW 112105291 A TW112105291 A TW 112105291A TW 112105291 A TW112105291 A TW 112105291A TW I872458 B TWI872458 B TW I872458B
Authority
TW
Taiwan
Prior art keywords
product
identified product
image
identified
processor
Prior art date
Application number
TW112105291A
Other languages
English (en)
Other versions
TW202341036A (zh
Inventor
亞歷杭德羅 貝
安德里亞 米羅比力
Original Assignee
美商斑馬技術公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商斑馬技術公司 filed Critical 美商斑馬技術公司
Publication of TW202341036A publication Critical patent/TW202341036A/zh
Application granted granted Critical
Publication of TWI872458B publication Critical patent/TWI872458B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping
    • G06Q30/0643—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping graphically representing goods, e.g. 3D product representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本文揭示使用在結帳通道處收集的多個圖像進行三維產品重建的技術。示例方法包括：通過與銷售點(POS)工作站相關聯的條碼讀取器，擷取與通過POS工作站的產品掃瞄區域的多個產品之每一者產品相關聯的第一圖像資料；分析來自由條碼讀取器擷取的第一圖像資料的條碼資料，以標識通過POS工作站的產品掃瞄區域的多個產品之每一者產品；通過與POS工作站相關聯的一或多個彩色相機，擷取與通過POS工作站的產品掃瞄區域的多個產品中的所標識的產品相關聯的第二圖像資料；及通過處理器，基於與所標識的產品相關聯的第二圖像資料來產生所標識的產品的紋理化三維網格重建。

Description

根據在結帳通道處收集的多個圖像的3D產品重建之方法及系統
本揭露書關於根據在結帳通道處收集的多個圖像的3D產品重建。
品牌和零售商使用包裝消費品(CPG)圖像來提供消費者可以方便獲取的相關產品資訊。一般而言，CPG圖像可包括真實地圖示零售產品的真實形狀和質地的三維圖像，包括所有包裝上資料和圖像(例如，成分、營養資訊、重量、尺寸等)。例如，這些CPG圖像可用於向消費者展示零售商提供的產品。例如，消費者可以選擇產品的CPG圖像以從零售商那裡取貨或送貨。
目前，為產品產生三維CPG圖像對於零售商來說是耗時且乏味的程序。對於每個產品，必須獲取與產品每個面或側對應的圖像，從而產生單個三維CPG圖像。例如，工作人員可能需要從幾個規定的角度拍攝與每個產品的照片，從而擷取產品的每個面或側對應的圖像。然後必須對典型零售商攜帶的數萬種不同產品之每一者產品重複此程序，並在產品的包裝更新時(例如，當包裝的形狀、其上的圖像或文字或任何徽標被產品的生產商重新設計或季節性修改時)進行更新，或者當新產品添加到零售商的庫存時進行更新，以便零售商為其產品提供最新的三維CPG圖像。
在實施例中，本發明是用於使用在POS工作站處收集的多個圖像進行三維產品重建的方法，包括：通過與銷售點（POS）工作站相關聯的條碼讀取器，擷取與通過POS工作站的產品掃瞄區域的多個產品相關聯的第一圖像資料；分析來自由條碼讀取器擷取的第一圖像資料的條碼資料，以標識通過POS工作站的產品掃瞄區域的多個產品中的至少一些產品；回應於從多個產品中標識產品而得到所標識的產品，通過與POS工作站相關聯的一或多個彩色相機，擷取與所標識的產品相關聯的第二圖像資料；及通過處理器，基於與所標識的產品相關聯的第二圖像資料來產生所標識的產品的紋理化三維網格重建。
在該實施例的變體中，基於與每個所標識的產品相關聯的第二圖像資料來產生與每個所標識的產品相關聯的紋理化三維網格重建包括：對於與每個所標識的產品相關聯的第二圖像資料的每個圖像：通過處理器，從背景或圖像中的任何手部分割所標識的產品；通過處理器，分析所標識的產品的經分割圖像，以決定與圖像中的所標識的產品的每個圖元相關聯的深度和紋理；及通過處理器，基於與所標識的產品的每個圖元相關聯的深度和紋理來產生與所標識的產品的經分割圖像相關聯的三維點雲；及通過處理器，將與所標識的產品相關聯的第二圖像資料的每個圖像相關聯的三維點雲拼接在一起，以產生與所標識的產品相關聯的紋理化三維網格重建。
例如，在該實施例的變體中，通過處理器，將與和每個所標識的產品相關聯的第二圖像資料的每個圖像相關聯的三維點雲拼接在一起以產生與所標識的產品相關聯的紋理化三維網格重建可包括：對於與每個所標識的產品相關聯的每個三維點雲：通過處理器，標識條碼或其他產品標籤在三維點雲中的位置；通過處理器，基於條碼或其他產品標籤在三維點雲中的所標識的位置來決定產品在三維點雲中的取向；及通過處理器，基於產品在每個三維點雲中所決定的取向來將與和每個所標識的產品相關聯的第二圖像資料的每個圖像相關聯的三維點雲拼接在一起，以產生與產品相關聯的紋理化三維網格重建。
附加地，在該實施例的變體中，基於與每個所標識的產品相關聯的第二圖像資料來產生每個所標識的產品的紋理化三維網格重建包括：對於每個所標識的產品，通過處理器決定與所標識的產品相關聯的形狀的指示；通過處理器，基於與所標識的產品相關聯的形狀的指示來產生與所標識的產品相關聯的三維網格；及通過處理器，將與所標識的產品相關聯的第二圖像資料拼接至與所標識的產品相關聯的三維網格，從而產生與所標識的產品相關聯的紋理化三維網格。
在一些示例中，在該實施例的變體中，決定與所標識的產品相關聯的形狀的指示包括：通過處理器，存取儲存與每個所標識的產品相關聯的產品形狀的指示的資料庫。
附加地，在一些示例中，在該實施例的變體中，決定與圖像中所示的產品相關聯的形狀的指示包括，對於與每個所標識的產品相關聯的第二圖像資料的至少一個圖像：通過處理器，從背景或圖像中的任何手部分割所標識的產品；及通過處理器，使用神經網路來分析所標識的產品的經分割圖像，以將與所標識的產品相關聯的形狀分類為多個可能的產品形狀中的一個產品形狀。
此外，在一些示例中，在該實施例的變體中，將與所標識的產品相關聯的第二圖像資料拼接至與所標識的產品相關聯的三維網格從而產生與所標識的產品相關聯的紋理化三維網格包括：對於與每個所標識的產品相關聯的第二圖像資料的每個圖像：通過處理器，從背景或圖像中的任何手部分割所標識的產品；通過處理器，標識條碼或其他產品標籤在圖像中的位置；通過處理器，基於條碼或其他產品標籤在圖像中的所標識位置來決定產品在圖像中的取向；及通過處理器，基於產品在與所標識的產品相關聯的第二圖像資料的每個圖像中的取向，將與所標識的產品相關聯的第二圖像資料的每個圖像拼接至與所標識的產品相關聯的三維網格。
在另一實施例中，本發明是用於使用在POS工作站處收集的多個圖像進行三維產品重建的系統，包括：與銷售點（POS）工作站相關聯的條碼讀取器，該條碼讀取器被配置成擷取與通過POS工作站的產品掃瞄區域的多個產品相關聯的第一圖像資料，以及分析來自第一圖像資料的條碼資料，以標識通過POS工作站的產品掃瞄區域的多個產品中的至少一些產品；與POS工作站相關聯的一或多個彩色相機，該一或多個彩色相機被配置成響應於條碼讀取器從多個產品中標識產品而得到所標識的產品，擷取與所標識的產品相關聯的第二圖像資料；處理器；及儲存非瞬態電腦可讀取指令的記憶體，在由處理器執行時，指令使處理器基於與所標識的產品相關聯的第二圖像資料來產生所標識的產品的紋理化三維網格重建。
在該實施例的變體中，使處理器基於與每個所標識的產品相關聯的第二圖像資料來產生與每個所標識的產品相關聯的紋理化三維網格重建的指令包括使處理器進行以下操作的指令：對於與每個所標識的產品相關聯的第二圖像資料的每個圖像：從背景或圖像中的任何手部分割所標識的產品；分析所標識的產品的經分割圖像，以決定與圖像中的所標識的產品的每個圖元相關聯的深度和紋理；及基於與所標識的產品的每個圖元相關聯的深度和紋理來產生與所標識的產品的經分割圖像相關聯的三維點雲；及將與和所標識的產品相關聯的第二圖像資料的每個圖像相關聯的三維點雲拼接在一起，以產生與所標識的產品相關聯的紋理化三維網格重建。
例如，在該實施例的變體中，使處理器將與和每個所標識的產品相關聯的第二圖像資料的每個圖像相關聯的三維點雲拼接在一起以產生與所標識的產品相關聯的紋理化三維網格重建的指令包括使處理器進行以下操作的指令：對於與每個所標識的產品相關聯的每個三維點雲，標識條碼或其他產品標籤在三維點雲中的位置；及基於條碼或其他產品標籤在三維點雲中的所標識位置來決定產品在三維點雲中的取向；及基於產品在每個三維點雲中所決定的取向來將與和每個所標識的產品相關聯的第二圖像資料的每個圖像相關聯的三維點雲拼接在一起，以產生與產品相關聯的紋理化三維網格重建。
附加地，在該實施例的變體中，使處理器基於與每個所標識的產品相關聯的第二圖像資料來產生每個所標識的產品的紋理化三維網格重建的指令包括使處理器進行以下操作的指令：對於每個所標識的產品，決定與所標識的產品相關聯的形狀的指示；基於與所標識的產品相關聯的形狀的指示來產生與所標識的產品相關聯的三維網格；及將與所標識的產品相關聯的第二圖像資料拼接至與所標識的產品相關聯的三維網格，從而產生與所標識的產品相關聯的紋理化三維網格。
在一些示例中，在該實施例的變體中，使處理器決定與所標識的產品相關聯的形狀的指示的指令包括使處理器存取資料庫的指令，該資料庫儲存與每個所標識的產品相關聯的產品形狀的指示。
此外，在一些示例中，在該實施例的變體中，使處理器決定與圖像中所示的產品相關聯的形狀的指示的指令包括使處理器進行以下操作的指令：對於與每個所標識的產品相關聯的第二圖像資料中的至少一個圖像：從背景或圖像中的任何手部分割所標識的產品；及使用神經網路來分析所標識的產品的經分割圖像，以將與所標識的產品相關聯的形狀分類為多個可能的產品形狀中的一個產品形狀。
此外，在一些示例中，在該實施例的變體中，使處理器將與所標識的產品相關聯的第二圖像資料拼接至與所標識的產品相關聯的三維網格從而產生與所標識的產品相關聯的紋理化三維網格的指令包括使處理器進行以下操作的指令：對於與每個所標識的產品相關聯的第二圖像資料的每個圖像：從背景或圖像中的任何手部分割所標識的產品；標識條碼或其他產品標籤在圖像中的位置；基於條碼或其他產品標籤在圖像中的所標識位置來決定產品在圖像中的取向；及基於產品在與所標識的產品相關聯的第二圖像資料的每個圖像中的取向，將與所標識的產品相關聯的第二圖像資料的每個圖像拼接至與所標識的產品相關聯的三維網格。
本文提供的技術利用在消費者在零售環境中購買產品時已經由銷售點（POS）工作站擷取的圖像來產生這些產品的三維CPG圖像。圖1A-圖1B圖示從數個不同角度觀察的三維CPG圖像的示例。具體地，使用本文提供的技術，在產品被購買時，與POS工作站相關聯的條碼讀取器可以擷取與粘附至產品的條碼相關聯的圖像資料，從而標識該產品。一旦產品被標識，與POS工作站相關聯的一或多個其他彩色相機就可以擷取與所標識的產品相關聯的圖像資料。因此，由彩色相機擷取的圖像可以基於哪些產品被條碼讀取器標識而按產品自動分類。隨著時間的推移，當消費者在零售環境中購買產品時，可以從各種角度擷取每個產品的大量圖像，而不會給工作人員帶來有意地從數個規定的角度擷取每個產品的圖像的額外負擔。然後可以將與每個產品相關聯的圖像拼接在一起，以產生表示產品的紋理化三維圖像，例如，如圖2和圖3所示。在一些示例中，條碼的定位或產品包裝上的徽標或其他標籤的定位可用於對圖像進行定向，從而將圖像拼接在一起以產生表示產品的紋理化三維圖像，例如，如圖4所示。
例如，在一些示例中，可以決定與產品相關聯的每個（二維圖像）的每個圖元的深度和紋理（例如，如圖5所示），並且可以基於圖像的每個圖元的深度和紋理來產生紋理化三維點雲（例如，如圖6所示）。與產品相關聯的每個圖像的紋理化三維點雲可以基於條碼的定位或產品包裝上的徽標或其他標籤的定位而相對於彼此進行定向。一旦經定向，紋理化的三維點雲就可以拼接在一起，從而產生表示產品的紋理化三維網格，例如，如圖7所示。
在其他示例中，與產品相關聯的每個（二維）圖像可以基於條碼（在每個圖像中）的定位或產品包裝上的徽標或其他標籤（在每個圖像中）的定位而相對於彼此進行定向。一旦經定向，就可以將二維圖像和與產品相關聯的三維網格形狀拼接在一起，從而產生表示產品的紋理化三維網格。例如，可以基於所標識的產品來決定與產品相關聯的三維網格形狀，例如，通過存取列出與零售環境庫存之每一者產品相關聯的三維形狀的資料庫。作為另一示例，可以基於與產品相關聯的二維圖像的神經網路分析來決定與產品相關聯的三維網格形狀。在任一情況下，與產品相關聯的二維圖像可以基於它們的取向而拼接至與產品相關聯的三維網格形狀，例如，如圖8所示。
有利地，本文提供的技術允許零售商自動產生其商店中產品的三維CPG圖像，包括產品細節、產品包裝、產品圖像等。本文提供的技術提供了自動化、眾包的（crowdsourced）、並且能夠對為每個產品建立的資訊的建立和等級進行標準化的程序。
圖9圖示使用在POS工作站處收集的多個圖像進行紋理化三維產品重建的示例系統100的方塊圖。圖9中所示的高級架構可包括硬體和軟體應用兩者，以及用於在各種硬體元件與軟體元件之間傳送資料的各種資料通訊通道，如下所述。
系統100可以包括可以被配置成經由網路106彼此通訊的POS工作站102和計算設備104，網路106可以是有線或無線網路。雖然POS工作站102和計算設備104被示出為兩個分離的設備，但在一些示例中，本文中描述為由POS工作站102與計算設備104執行的操作可以由同一設備執行。此外，在一些示例中，系統100可以包括附加設備，該附加設備被配置成執行本文中描述為由POS工作站102及/或計算設備104執行的一或多個操作。
POS工作站102可以包括條碼讀取器108、（可在POS工作站102內部或外部的）一或多個彩色相機110、處理器112和記憶體114。處理器112（例如，可以是一或多個微處理器、控制器及/或任何合適類型的處理器）可以（例如，經由記憶體控制器）與可由一或多個處理器112存取的記憶體114互動，以獲得例如儲存在記憶體114中的電腦可讀取指令。儲存在記憶體114中的電腦可讀取指令可以使一或多個處理器112執行儲存在記憶體114中的一或多個應用。
執行儲存在記憶體114中的一或多個應用可包括使條碼讀取器108在產品通過產品掃瞄區域時擷取與產品相關聯的第一圖像資料（在某些情況下，可能不是彩色圖像資料），以及分析第一圖像資料以基於與每個物品相關聯的條碼或其他產品標籤來標識通過產品掃瞄區域的產品。例如，在一些示例中，標識產品可以包括將與產品相關聯的條碼的有效載荷與儲存與每個條碼有效載荷相關聯的產品的標識（例如，SKU號）的指示的資料庫（例如，資料庫122）進行比較。此外，執行儲存在記憶體114中的一或多個應用可以包括使一或多個彩色相機110擷取與每個所標識的產品相關聯的第二圖像資料。在一些示例中，一或多個彩色相機110可以被定位成從各種不同角度擷取每個所標識的產品的圖像。附加地，執行儲存在記憶體114中的一或多個應用可以包括使POS工作站102（例如，經由網路106）向計算設備104發送由（多個）彩色相機110擷取的第二圖像資料以及與第二圖像資料的每個圖像相對應的所標識的產品。此外，在一些示例中，執行儲存在記憶體114中的一或多個應用可以包括使POS工作站102向一或多個外部資料庫（諸如例如，產品圖像資料庫124）發送由（多個）彩色相機110擷取的第二圖像資料以及與第二圖像資料的每個圖像相對應的所標識的產品。
此外，在一些示例中，儲存在記憶體114上的電腦可讀取指令可以包括用於執行以下關於圖10更詳細地描述的方法200、以下關於圖11更詳細地描述的方法300及/或以下關於圖12更詳細地描述的方法400的步驟中的任何步驟的指令。
計算設備104可以包括處理器116和記憶體118。處理器112（例如，可以是一或多個微處理器、控制器及/或任何合適類型的處理器）可以（例如，經由記憶體控制器）與可由一或多個處理器116存取的記憶體118互動，以獲得例如儲存在記憶體118中的電腦可讀取指令。儲存在記憶體118中的電腦可讀取指令可以使一或多個處理器116執行一或多個應用，包括紋理化三維網格重建應用120。例如，執行紋理化三維網格重建應用120可以包括（例如，從POS工作站102及/或從產品圖像資料庫124）獲得由一或多個彩色相機110擷取的與各種所標識的產品相關聯的第二圖像資料，以及基於與每個所標識的產品相關聯的第二圖像資料來產生每個所標識的產品的紋理化三維網格重建。
在一些示例中，紋理化三維網格重建應用120可以通過分析與所標識的產品相關聯的第二圖像資料的每個圖像來產生給定的所標識的產品的紋理化三維網格重建，從而從每個圖像中存在的任何背景及/或用戶手部（或其他非產品物品）分割所標識的產品。紋理化三維網格重建應用120接著可以分析圖像的經分割部分，從而決定條碼或其他產品標籤在圖像中的位置，以及與圖像中所標識的產品的每個圖元相關聯的深度和紋理。使用與圖像中所標識的產品的每個圖元相關聯的經決定的深度和紋理，紋理化三維網格重建應用120可以產生與圖像相關聯的紋理化三維點雲。紋理化三維網格重建應用120接著可以將與第二圖像資料的每個圖像（第二圖像資料的每個圖像與給定所標識的產品相關聯）相關聯的紋理化三維點雲拼接在一起，以產生與所標識的產品相關聯的紋理化三維網格。例如，在一些示例中，紋理化三維網格重建120可以基於條碼或其他產品標籤在每個圖像中的位置，對來自第二圖像資料的每個圖像的紋理化三維點雲相對於彼此進行定向，以便將紋理化三維點雲拼接在一起。
附加地，在一些示例中，紋理化三維網格重建應用120可以通過以下操作產生給定的所標識的產品的紋理化三維網格重建：決定與所標識的產品相關聯的形狀，產生與所標識的產品的經決定形狀相關聯的三維網格，以及將第二圖像資料的（二維）圖像拼接至所產生的三維網格。
例如，可能的產品形狀可以包括瓶形、盒形、罐形、袋形等。資料庫126可以儲存與每個所標識的產品相關聯的產品形狀的指示，並且紋理化三維網格重建應用120可以通過存取資料庫126來決定哪個形狀與給定的所標識的產品相關聯。附加地或替代地，在一些示例中，紋理化三維網格重建應用120可以通過從背景或圖像中的任何手部分割所標識的產品來標識或決定所標識的產品的形狀。紋理化三維網格重建應用120然後可以例如，使用神經網路將與所標識的產品相關聯的形狀分類為多個可能的產品形狀中的一個產品形狀，來分析所標識的產品的經分割圖像。
一旦紋理化三維網格重建應用120產生表示與所標識的產品相關聯的形狀的三維網格，紋理化三維網格重建應用120就可以通過將來自第二圖像資料的（二維）圖像拼接至三維網格來向三維網格添加紋理，從而產生與所標識的產品相關聯的紋理化三維網格。
例如，紋理化三維網格重建應用120可以將第二圖像資料的圖像拼接至三維網格的相應面、側或角度。在一些示例中，紋理化三維網格重建應用120可以決定第二圖像資料的圖像之每一者圖像的取向，從而決定哪些圖像應該被拼接至三維網格的每個面、側或角度。在一些示例中，紋理化三維網格重建應用120可以基於條碼或產品標籤在每個圖像中的位置來決定每個圖像的取向。例如，在一些示例中，紋理化三維網格重建應用120可以從背景或圖像中的任何手部分割所標識的產品，並標識條碼或其他產品標籤在經分割的圖像中的位置。紋理化三維網格重建應用120然後可以基於條碼或其他產品標籤在圖像中的所標識的位置來決定產品在圖像中的取向，並使用所決定的取向將第二圖像資料的圖像拼接至三維網格，從而產生紋理化三維網格。
附加地，在一些示例中，儲存在記憶體118上的電腦可讀取指令可以包括用於執行以下關於圖10更詳細地描述的方法200、以下關於圖11更詳細地描述的方法300及/或以下關於圖12更詳細地描述的方法400的步驟中的任何步驟的指令。
圖10圖示可由圖9的系統實現的用於實現本文描述的示例方法及/或操作的示例程序200的方塊圖，包括用於使用在POS工作站處收集的多個圖像進行三維產品重建的系統和方法。方法200的一或多個步驟可以實現為儲存在電腦可讀記憶體（例如，記憶體114及/或記憶體118）上並且在一或多個處理器（例如，處理器112及/或處理器116）上可執行的一組指令。
在框202處，與銷售點（POS）工作站相關聯的條碼讀取器可以擷取與通過POS工作站的產品掃瞄區域的多個產品之每一者產品相關聯的第一圖像資料。在框204處，可以分析來自由條碼讀取器擷取的第一圖像資料的條碼資料，以標識通過POS工作站的產品掃瞄區域的多個產品之每一者產品。
在框206處，與POS工作站相關聯的一或多個彩色相機可以擷取與通過POS工作站的產品掃瞄區域的多個產品之每一者所標識的產品相關聯的第二圖像資料。
在框208處，可以基於與每個所標識的產品相關聯的第二圖像資料來產生每個所標識的產品的紋理化三維網格重建。在一些示例中，經實現的框210可以包括執行圖10所示的方法及/或操作中的一或多個方法及/或操作，或者執行圖11所示的方法及/或操作中的一或多個方法及/或操作。
圖11圖示可由圖9的系統實現的用於實現本文描述的示例方法及/或操作的示例程序300的方塊圖，包括用於使用與在POS工作站處收集的多個圖像相關聯的三維點雲進行三維產品重建的系統和方法。方法300的一或多個步驟可以實現為儲存在電腦可讀記憶體（例如，記憶體114及/或記憶體118）上並且在一或多個處理器（例如，處理器112及/或處理器116）上可執行的一組指令。可以針對與每個所標識的產品相關聯的第二圖像資料的每個圖像執行框302-框308，同時可以針對所標識的產品中的每一者執行框310。
在框302處，可從背景或圖像中的任何手部分割所標識的產品。在框304處，可以分析所標識的產品的經分割圖像，以決定與圖像中的所標識的產品的每個圖元相關聯的深度和紋理。在框306處，可以基於與所標識的產品的每個圖元相關聯的深度和紋理來產生與所標識的產品的經分割圖像相關聯的三維點雲。
在框308處，可以基於條碼或其他產品標籤在所標識的產品的經分割圖像中的位置或條碼或其他產品標籤在三維點雲中的位置，來標識或決定所標識的產品在所標識的產品的經分割圖像中的取向。
在框310處，可以將與所標識的產品相關聯的第二圖像資料的每個圖像相關聯的三維點雲拼接在一起，以產生與所標識的產品相關聯的紋理化三維網格重建。在一些示例中，可以基於每個三維點雲中的產品的所決定的取向來將三維點雲拼接在一起。
圖12圖示可由圖9的系統實現的用於實現本文描述的示例方法及/或操作的示例程序400的方塊圖，包括用於使用與在POS工作站處收集的多個二維圖像和與產品的形狀相關聯的三維網格進行三維產品重建的系統和方法。方法400的一或多個步驟可以實現為儲存在電腦可讀記憶體（例如，記憶體114及/或記憶體118）上並且在一或多個處理器（例如，處理器112及/或處理器116）上可執行的一組指令。可以針對每個所標識的產品執行框402-框406。
在框402處，可以標識或決定與所標識的產品相關聯的形狀的指示。例如，可能的產品形狀可以包括瓶、盒、罐、袋等。例如，在一些示例中，資料庫可以儲存與每個所標識的產品相關聯的產品形狀的指示，並且可以通過存取資料庫來決定與給定的所標識的產品相關聯的形狀。附加地，在一些示例中，標識或決定所標識的產品的形狀可以包括從背景或圖像中的任何手部分割所標識的產品。可以例如使用神經網路來分析所標識的產品的經分割圖像，以將與所標識的產品相關聯的形狀分類為多個可能的產品形狀中的一個產品形狀。
在框404處，可以基於與所標識的產品相關聯的形狀的指示來產生與所標識的產品相關聯的三維網格。例如，可以基於與所標識的產品相關聯的形狀的指示來產生與瓶狀、盒狀、罐狀、袋狀等相關聯的三維網格。
在框406處，可以將與所標識的產品相關聯的第二圖像資料拼接至與所標識的產品相關聯的三維網格，從而產生與所標識的產品相關聯的紋理化三維網格。例如，第二圖像資料的圖像可以被拼接至三維網格的相應面、側或角度。在一些示例中，可以決定第二圖像資料的圖像的取向，從而決定哪些圖像應該被拼接至三維網格的每個面、側或角度。在一些示例中，可以基於條碼或產品標籤在每個圖像中的位置來決定每個圖像的取向。例如，在一些示例中，方法400可以進一步包括從背景或圖像中的任何手部分割所標識的產品，並標識條碼或其他產品標籤在經分割圖像中的位置。可以基於條碼或其他產品標籤在圖像中的所標識的位置來決定產品在圖像中的取向，並且產品在圖像中的取向可用於決定如何將第二圖像資料的圖像拼接至三維網格從而產生紋理化三維網格。
以上描述涉及附圖的方塊圖。由方塊圖表示的示例的替代實現方式包括一或多個附加或替代要素、程序及/或設備。附加地或替代地，可以排合、劃分、重新佈置或省略圖中的示例框中的一或多個。由圖中的框表示的元件由硬體、軟體、韌體及/或硬體、軟體及/或韌體的任何排合來實現。在一些示例中，由框表示的元件中的至少一個由邏輯電路實現。如本文所使用的，術語「邏輯電路」明確地定義為包括至少一個硬體部件的實體設備，該至少一個硬體部件被配置（例如，經由根據預定配置的操作及/或經由儲存的機器可讀取指令的執行）為控制一或多個機器及/或執行一或多個機器的操作。邏輯電路的示例包括一或多個處理器、一或多個輔助處理器、一或多個微處理器、一或多個控制器、一或多個數位訊號處理器（DSP）、一或多個專用積體電路（ASIC）、一或多個現場可程式設計閘陣列（FPGA）、一或多個微控制器單元（MCU）、一或多個硬體加速器、一或多個專用電腦晶片、以及一或多個片上系統（SoC）設備。諸如ASIC或FPGA之類的一些示例邏輯電路是用於執行操作（例如，由本文所描述的流程圖表示的操作中的一或多個）的專門配置的硬體。一些示例邏輯電路是執行機器可讀取指令以執行操作（例如，由本案的流程圖表示的一或多個操作，如果存在）的硬體。一些示例邏輯電路包括專門配置的硬體和執行機器可讀取指令的硬體的組合。上述描述涉及本文所描述的各種操作以及可以附在本文中以說明那些操作的流程的流程圖。任何此類流程圖表示本文所揭示的示例方法。在一些示例中，由流程圖表示的方法實現由方塊圖表示的裝置。本文所揭示的示例方法的替代實現方式可以包括附加或替代操作。此外，可以組合、劃分、重新佈置或省略本文所揭示的方法的替代實現的操作。在一些示例中，由流程圖表示的本文所描述的操作由儲存在媒體（例如，有形機器可讀取媒體）上的機器可讀取指令（例如，軟體及/或韌體）實現，用於由一或多個邏輯電路（例如，（多個）處理器）執行。在一些示例中，本文所描述的操作由一或多個專門設計的邏輯電路（例如，（多個）ASIC）的一或多個配置實現。在一些示例中，本文所描述的操作由（多個）專門設計的邏輯電路和儲存在媒體（例如，有形機器可讀取媒體）上以由（多個）邏輯電路執行的機器可讀取指令的組合來實現。
如本文所使用的，術語「有形機器可讀取媒體」、「非瞬態機器可讀取媒體」和「機器可讀存放裝置」中的每一者被明決定義為儲存媒體（例如，硬碟、數位多功能光碟、光碟、快閃記憶體、唯讀記憶體、隨機存取記憶體等的碟片），在其上儲存機器可讀取指令（例如，以軟體及/或韌體的形式的程式碼）達任何合適的時間段（例如，永久地，在延長的時間段（例如，當與機器可讀取指令相關聯的程式正在執行時）及/或短時間段（例如，在機器可讀取指令被快取記憶體及/或在緩衝程序中）。進一步，如本文所使用的，術語「有形機器可讀取媒體」、「非暫態機器可讀取媒體」和「機器可讀存放裝置」中的每一者被明確地定義為排除傳播信號。也就是說，如在本專利的任何請求項中所使用的，術語「有形機器可讀取媒體」、「非瞬態機器可讀取媒體」和「機器可讀存放裝置」中的任何一者都不能被理解為由傳播信號實現。
在上述說明書中，已經描述了具體實施例。然而，本領域一般技藝人士理解，可以做出各種修改和改變而不脫離如以下申請專利範圍所闡述的本發明的範圍。因此，說明書和附圖被認為是說明性的而非限制性的意義，並且所有此類修改都旨在被包括在本教導的範圍內。附加地，所描述的實施例/示例/實現方式不應該被解釋為相互排斥的，而應被理解為潛在地可組合的，如果此類組合以任何方式是允許的。換句話說，前述實施例/示例/實現方式中的任一者中所揭示的任何特徵可以被包括在其他前述實施例/示例/實現方式中的任一者中。
這些益處、優勢、問題解決方案以及可能使任何益處、優勢或解決方案發生或變得更為突出的任何（多個）要素不被解釋成任何或所有請求項的關鍵的、必需的或必要的特徵或要素。本要求保護的發明僅由所附申請專利範圍限定，包括在本案處於待審狀態期間做出的任何修改以及授權公告的那些請求項的所有均等物。
此外，在該文件中，諸如第一和第二、頂部和底部等之類的關係術語可以單獨地用於區分一個實體或動作與另一實體或動作，而不一定要求或暗示此類實體或動作之間具有任何實際的此類關係或順序。術語「包括」、「包括有」、「具有」、「具備」、「包含」、「包含有」、「涵蓋」、「涵蓋有」或它們的任何其他變型旨在覆蓋非排他性包括，使得包括、具有、包含、涵蓋一要素列表的程序、方法、物品或裝置不僅包括那些要素還可包括未明確列出的或對此類程序、方法、物品或裝置固有的其他要素。以「包括一」、「具有一」、「包含一」、「涵蓋一」開頭的要素，在沒有更多約束條件的情形下，不排除在包括、具有、包含、涵蓋該要素的程序、方法、物品或裝置中有另外的相同要素存在。術語「一」和「一個」被定義為一或多個，除非本文中另有明確聲明。術語「基本」、「大致」、「近似」、「約」或這些術語的任何其他版本被定義為如本領域技藝人士理解的那樣接近，並且在一個非限制性實施例中，這些術語被定義為在10%以內，在另一實施例中在5%以內，在另一實施例中在1%以內，而在另一實施例中在0.5%以內。本文中使用的術語「耦合的」被定義為連接的，儘管不一定是直接連接的也不一定是機械連接的。以某種方式「配置」的設備或結構至少以該種方式進行配置，但也可以以未列出的方式進行配置。
本案的摘要被提供以允許讀者快速地決定本技術公開的性質。提交該摘要，並且理解該摘要將不用於解釋或限制申請專利範圍的範圍或含義。另外，在上述具體實施方式中，可以看出出於使本案整體化的目的，各種特徵在各種實施例中被編組到一起。這種公開方法不應被解釋為反映要求保護的實施例與各項請求項中明確記載的相比需要更多的特徵的意圖。相反，如以下請求項所反映，發明主題可能在於少於單個公開的實施例的全部特徵。因此，以下請求項由此被結合到具體實施方式中，其中各個請求項作為單獨要求保護的主題代表其自身。
100:系統 102:POS工作站 104:計算設備 106:網路 108:條碼讀取器 110:彩色相機 112:處理器 114:記憶體 116:處理器 118:記憶體 120:紋理化三維網格重建應用 122:資料庫 124:產品圖像資料庫 126:資料庫 200:方法 202:框 204:框 206:框 208:框 300:方法 302:框 304:框 306:框 308:框 310:框 400:方法 402:框 404:框 406:框
附圖（其中貫穿不同的視圖，相同的元件符號表示相同的或功能類似的要素）連同下面的具體實施方式被併入說明書並形成說明書的一部分，並用於進一步說明包括所要求保護的發明的概念的實施例，以及解釋那些實施例的各種原理和優勢。
圖1A-圖1B圖示根據本文提供的一些示例的從數個不同角度觀察的三維CPG圖像的示例。
圖2和圖3圖示根據本文提供的一些示例的與使用在POS工作站處收集的多個圖像進行三維產品重建的示例方法相關聯的圖像。
圖4圖示根據本文提供的一些示例的與用於基於條碼或其他產品標籤的位置來對產品圖像進行定向從而使用在POS工作站處收集的多個圖像產生三維產品重建的示例方法相關聯的圖像。
圖5圖示根據本文提供的一些示例的與用於決定與產品相關聯的二維圖像的圖元的深度和紋理的方法相關聯的圖像。
圖6圖示根據本文提供的一些示例的與用於基於產品的圖像的每個圖元的深度和紋理來產生紋理化三維點雲的方法相關聯的圖像。
圖7圖示根據本文提供的一些示例的與用於將與特定產品相關聯的數個三維點雲拼接在一起從而產生表示該產品的紋理化三維網格的方法相關聯的圖像。
圖8圖示根據本文提供的示例的與用於將與產品相關聯的二維圖像拼接至與產品相關聯的三維網格形狀的方法相關聯的圖像。
圖9圖示根據本文提供的一些示例的用於使用在POS工作站處收集的多個圖像進行三維產品重建的示例系統的方塊圖。
圖10圖示根據本文提供的一些示例的用於（如可由圖9的系統所實現的）使用在POS工作站處收集的多個圖像進行三維產品重建的示例方法的流程圖。
圖11圖示根據本文提供的一些示例的用於（如可由圖9的系統所實現的）使用與在POS工作站處收集的多個圖像相關聯的三維點雲進行三維產品重建的示例方法的流程圖。
圖12圖示根據本文提供的一些示例用於（如可由圖9的系統所實現的）使用在POS工作站處收集的多個二維圖像和與產品的形狀相關聯的三維網格進行三維產品重建的示例方法的流程圖。
本領域技藝人士將理解，附圖中的要素出於簡化和清楚而示出，並且不一定按尺度繪製。例如，附圖中的要素中的一些要素的尺寸可相對於其它要素被誇大以幫助提升對本發明的實施例的理解。
已在附圖中通過一般符號在合適位置表示裝置和方法構成，所述表示僅示出與理解本發明的實施例有關的那些特定細節，以免因對得益於本文的描述的本領域一般技藝人士而言顯而易見的細節而混淆本案。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
200:方法
202:框
204:框
206:框
208:框

Claims (10)

  1. 一種用於使用在POS工作站處收集的多個圖像進行三維產品重建的方法，包括：通過與銷售點(POS)工作站相關聯的條碼讀取器，擷取與通過所述POS工作站的產品掃瞄區域的多個產品相關聯的第一圖像資料；分析來自由所述條碼讀取器擷取的所述第一圖像資料的條碼資料，以標識通過所述POS工作站的所述產品掃瞄區域的所述多個產品中的至少一些產品；回應於從所述多個產品中標識產品而得到所標識的產品，通過與所述POS工作站相關聯的一或多個彩色相機，擷取與所標識的產品相關聯的第二圖像資料；及通過處理器，基於與所標識的產品相關聯的所述第二圖像資料來產生所標識的產品的紋理化三維網格重建；其中基於與所標識的產品相關聯的所述第二圖像資料來產生與所標識的產品相關聯的紋理化三維網格重建包括：對於與所標識的產品相關聯的所述第二圖像資料的每個圖像：通過所述處理器，從背景或所述圖像中的任何手部分割所標識的產品；通過所述處理器，分析所標識的產品的所述經分割圖像，以決定與所述圖像中的所標識的產品的每個圖元相關聯的深度和紋理；及 通過所述處理器，基於與所標識的產品的每個圖元相關聯的所述深度和所述紋理來產生與所標識的產品的所述經分割圖像相關聯的三維點雲；及通過所述處理器，將與和所標識的產品相關聯的所述第二圖像資料的每個圖像相關聯的所述三維點雲拼接在一起，以產生與所標識的產品相關聯的紋理化三維網格重建，其中通過所述處理器將與和所標識的產品相關聯的所述第二圖像資料的每個圖像相關聯的所述三維點雲拼接在一起以產生與所述產品相關聯的紋理化三維網格重建包括：對於與所標識的產品相關聯的每個三維點雲：通過所述處理器，標識條碼或其他產品標籤在所述三維點雲中的位置；及通過所述處理器，基於所述條碼或其他產品標籤在所述三維點雲中的所標識的位置來決定所述產品在所述三維點雲中的取向；及通過所述處理器，基於所述產品在每個三維點雲中的所決定的取向來將與和所標識的產品相關聯的所述第二圖像資料的每個圖像相關聯的所述三維點雲拼接在一起，以產生與所述產品相關聯的所述紋理化三維網格重建。
  2. 如請求項1之方法，其中基於與所標識的產品相關聯的所述第二圖像資料來產生所標識的產品的所述紋理化三維網格重建包括： 通過所述處理器，決定與所標識的產品相關聯的形狀的指示；通過所述處理器，基於與所標識的產品相關聯的所述形狀的所述指示來產生與所標識的產品相關聯的三維網格；及通過所述處理器，將與所標識的產品相關聯的所述第二圖像資料拼接至與所標識的產品相關聯的所述三維網格，從而產生與所標識的產品相關聯的紋理化三維網格。
  3. 如請求項2之方法，其中決定與所標識的產品相關聯的形狀的所述指示包括：通過所述處理器，存取資料庫，所述資料庫儲存與所標識的產品相關聯的產品形狀的指示。
  4. 如請求項2之方法，其中決定與所述圖像中示出的所述產品相關聯的形狀的所述指示包括：對於與所標識的產品相關聯的所述第二圖像資料中的至少一個圖像：通過所述處理器，從背景或所述圖像中的任何手部分割所標識的產品；以及通過處理器，使用神經網路來分析所標識的產品的所述經分割圖像，以將與所標識的產品相關聯的所述形狀分類為多個可能的產品形狀中的一個產品形狀。
  5. 如請求項2之方法，其中將與所標識的產品相關聯的所述第二圖像資料拼接至與所標識的產品相關 聯的所述三維網格從而產生與所標識的產品相關聯的紋理化三維網格包括：對於與所標識的產品相關聯的所述第二圖像資料的每個圖像：通過所述處理器，從背景或所述圖像中的任何手部分割所標識的產品；通過所述處理器，標識條碼或其他產品標籤在所述圖像中的位置；及通過所述處理器，基於所述條碼或其他產品標籤在所述圖像中的所標識位置來決定所述產品在所述圖像中的取向；及通過所述處理器，基於所述產品在與所標識的產品相關聯的所述第二圖像資料的每個圖像中的所述取向，將與所標識的產品相關聯的所述第二圖像資料的每個圖像拼接至與所標識的產品相關聯的所述三維網格。
  6. 一種用於使用在POS工作站處收集的多個圖像進行三維產品重建的系統，包括：與銷售點(POS)工作站相關聯的條碼讀取器，所述條碼讀取器被配置成擷取與通過所述POS工作站的產品掃瞄區域的多個產品相關聯的第一圖像資料，以及分析來自所述第一圖像資料的條碼資料，以標識通過所述POS工作站的所述產品掃瞄區域的所述多個產品中的至少一些產品；與所述POS工作站相關聯的一或多個彩色相機，所 述一或多個彩色相機被配置成響應於所述條碼讀取器從所述多個產品中標識產品而得到所標識的產品，擷取與所標識的產品相關聯的第二圖像資料；處理器；及儲存非瞬態電腦可讀取指令的記憶體，在由所述處理器執行時，該等指令使所述處理器基於與所標識的產品相關聯的所述第二圖像資料來產生所標識的產品的紋理化三維網格重建；其中使所述處理器基於與所標識的產品相關聯的所述第二圖像資料來產生與所標識的產品相關聯的所述紋理化三維網格重建的該等指令包括使所述處理器進行以下操作的指令：對於與所標識的產品相關聯的所述第二圖像資料的每個圖像：從背景或所述圖像中的任何手部分割所標識的產品；分析所標識的產品的所述經分割圖像，以決定與所述圖像中的所標識的產品的每個圖元相關聯的深度和紋理；及基於與所標識的產品的每個圖元相關聯的所述深度和所述紋理來產生與所標識的產品的所述經分割圖像相關聯的三維點雲；及將與和所標識的產品相關聯的所述第二圖像資料的每個圖像相關聯的所述三維點雲拼接在一起，以產生與所標識的產品相關聯的紋理化三維網格重建， 其中使所述處理器將與和所標識的產品相關聯的所述第二圖像資料的每個圖像相關聯的所述三維點雲拼接在一起以產生與所標識的產品相關聯的紋理化三維網格重建的該等指令包括使所述處理器進行以下操作的指令：對於與所標識的產品相關聯的每個三維點雲：標識條碼或其他產品標籤在所述三維點雲中的位置；及基於所述條碼或其他產品標籤在所述三維點雲中的所標識位置來決定所述產品在所述三維點雲中的取向；及基於所述產品在每個三維點雲中所決定的取向來將與和所標識的產品相關聯的所述第二圖像資料的每個圖像相關聯的所述三維點雲拼接在一起，以產生與所述產品相關聯的所述紋理化三維網格重建。
  7. 如請求項6之系統，其中使所述處理器基於與所標識的產品相關聯的所述第二圖像資料來產生所標識的產品的所述紋理化三維網格重建的該等指令包括使所述處理器進行以下操作的指令：決定與所標識的產品相關聯的形狀的指示；基於與所標識的產品相關聯的所述形狀的所述指示來產生與所標識的產品相關聯的三維網格；及將與所標識的產品相關聯的所述第二圖像資料拼接至與所標識的產品相關聯的所述三維網格，從而產生與所標識的產品相關聯的紋理化三維網格。
  8. 如請求項7之系統，其中使所述處理器決定 與所標識的產品相關聯的所述形狀的所述指示的該等指令包括使所述處理器存取資料庫的指令，所述資料庫儲存與所標識的產品相關聯的產品形狀的指示。
  9. 如請求項7之系統，其中使所述處理器決定與所述圖像中所示的所述產品相關聯的所述形狀的所述指示的該等指令包括使所述處理器進行以下操作的指令：對於與所標識的產品相關聯的所述第二圖像資料中的至少一個圖像：從背景或所述圖像中的任何手部分割所標識的產品；及使用神經網路來分析所標識的產品的所述經分割圖像，以將與所標識的產品相關聯的所述形狀分類為多個可能的產品形狀中的一個產品形狀。
  10. 如請求項7之系統，其中使所述處理器將與所標識的產品相關聯的所述第二圖像資料拼接至與所標識的產品相關聯的所述三維網格從而產生與所標識的產品相關聯的所述紋理化三維網格的該等指令包括使所述處理器進行以下操作的指令：對於與所標識的產品相關聯的所述第二圖像資料的每個圖像：從背景或所述圖像中的任何手部分割所標識的產品；標識條碼或其他產品標籤在所述圖像中的位置；及基於所述條碼或其他產品標籤在所述圖像中的所標識 位置來決定所述產品在所述圖像中的取向；及基於所述產品在與所標識的產品相關聯的所述第二圖像資料的每個圖像中的所述取向，將與所標識的產品相關聯的所述第二圖像資料的每個圖像拼接至與所標識的產品相關聯的所述三維網格。
TW112105291A 2022-02-22 2023-02-15 根據在結帳通道處收集的多個圖像的３ｄ產品重建之方法及系統 TWI872458B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/677,686 US11875457B2 (en) 2022-02-22 2022-02-22 3D product reconstruction from multiple images collected at checkout lanes
US17/677,686 2022-02-22

Publications (2)

Publication Number Publication Date
TW202341036A TW202341036A (zh) 2023-10-16
TWI872458B true TWI872458B (zh) 2025-02-11

Family

ID=87574668

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112105291A TWI872458B (zh) 2022-02-22 2023-02-15 根據在結帳通道處收集的多個圖像的３ｄ產品重建之方法及系統

Country Status (3)

Country Link
US (1) US11875457B2 (zh)
TW (1) TWI872458B (zh)
WO (1) WO2023163961A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12254709B2 (en) * 2022-02-28 2025-03-18 Zebra Technologies Corporation Using image processing to identify produce
JP2024156470A (ja) * 2023-04-24 2024-11-06 東芝テック株式会社 商品登録システム及び情報処理プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090267895A1 (en) * 2005-09-23 2009-10-29 Bunch Jesse C Pointing and identification device
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
US20160012646A1 (en) * 2014-07-10 2016-01-14 Perfetch, Llc Systems and methods for constructing a three dimensional (3d) color representation of an object
TWI528019B (zh) * 2014-03-31 2016-04-01 大猩猩科技股份有限公司 用於物件包裝之物件三維尺寸估測系統及方法
US20170105601A1 (en) * 2015-10-14 2017-04-20 Siemens Aktiengesellschaft Method and System for Calculating Resected Tissue Volume from 2D/2.5D Intraoperative Image Data
US20200043195A1 (en) * 2017-05-16 2020-02-06 Fujifilm Corporation Image generation apparatus, image generation system, image generation method, and image generation program
CN110942120A (zh) * 2018-09-21 2020-03-31 北京京东尚科信息技术有限公司 用于自动产品登记的系统和方法
US20200372228A1 (en) * 2011-08-30 2020-11-26 Digimarc Corporation Methods and arrangements for identifying objects
US20210035084A1 (en) * 2018-01-31 2021-02-04 Mehdi Afraite-Seugnet Methods and systems for assisting a purchase at a physical point of sale
US20210153479A1 (en) * 2018-06-25 2021-05-27 Farmsee Ltd. Monitoring livestock in an agricultural pen
CN109658641B (zh) * 2017-10-10 2022-01-04 东芝泰格有限公司 读取装置及控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198653B2 (en) * 2017-04-26 2019-02-05 Sensors Incorporated System and method for performing production line product identification
US10732284B2 (en) * 2017-07-28 2020-08-04 The Boeing Company Live metrology of an object during manufacturing or other operations
US20190188513A1 (en) * 2017-12-20 2019-06-20 Datalogic Usa Inc. Systems and methods for object deskewing using stereovision or structured light
US11074752B2 (en) * 2018-02-23 2021-07-27 Sony Group Corporation Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
US11531838B2 (en) * 2019-11-08 2022-12-20 Target Brands, Inc. Large-scale automated image annotation system
CA3210620A1 (en) * 2021-04-21 2022-10-27 Maplebear, Inc. (Dba Lnstacart) System for item recognition using computer vision

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090267895A1 (en) * 2005-09-23 2009-10-29 Bunch Jesse C Pointing and identification device
US20200372228A1 (en) * 2011-08-30 2020-11-26 Digimarc Corporation Methods and arrangements for identifying objects
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
TWI528019B (zh) * 2014-03-31 2016-04-01 大猩猩科技股份有限公司 用於物件包裝之物件三維尺寸估測系統及方法
US20160012646A1 (en) * 2014-07-10 2016-01-14 Perfetch, Llc Systems and methods for constructing a three dimensional (3d) color representation of an object
US20170105601A1 (en) * 2015-10-14 2017-04-20 Siemens Aktiengesellschaft Method and System for Calculating Resected Tissue Volume from 2D/2.5D Intraoperative Image Data
US20200043195A1 (en) * 2017-05-16 2020-02-06 Fujifilm Corporation Image generation apparatus, image generation system, image generation method, and image generation program
CN109658641B (zh) * 2017-10-10 2022-01-04 东芝泰格有限公司 读取装置及控制方法
US20210035084A1 (en) * 2018-01-31 2021-02-04 Mehdi Afraite-Seugnet Methods and systems for assisting a purchase at a physical point of sale
US20210153479A1 (en) * 2018-06-25 2021-05-27 Farmsee Ltd. Monitoring livestock in an agricultural pen
CN110942120A (zh) * 2018-09-21 2020-03-31 北京京东尚科信息技术有限公司 用于自动产品登记的系统和方法

Also Published As

Publication number Publication date
US20230267685A1 (en) 2023-08-24
WO2023163961A1 (en) 2023-08-31
TW202341036A (zh) 2023-10-16
US11875457B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
US12373971B2 (en) Systems and methods for trigger-based updates to camograms for autonomous checkout in a cashier-less shopping
US20240144340A1 (en) Remote SKU On-Boarding of Products for Subsequent Video Identification and Sale
US11587195B2 (en) Image processing methods and arrangements useful in automated store shelf inspections
US12488211B1 (en) Label verification using image analysis
JP6744430B2 (ja) 製品を店舗内の棚構造に割り当てる棚割表を自動的に生成する方法
TWI872458B (zh) 根據在結帳通道處收集的多個圖像的３ｄ產品重建之方法及系統
Tonioni et al. Product recognition in store shelves as a sub-graph isomorphism problem
WO2019165892A1 (zh) 自动售货方法、装置和计算机可读存储介质
US12136061B2 (en) Retail shelf image processing and inventory tracking system
CN112686220B (zh) 商品识别方法及装置、计算设备、计算机存储介质
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN109657681A (zh) 图片的标注方法、装置、电子设备及计算机可读存储介质
CN113627415B (zh) 确定目标对象摆放信息的方法及装置
Pietrini et al. Shelf Management: A deep learning-based system for shelf visual monitoring
CN117237929A (zh) 商品的缺货率获取方法、装置、存储介质和计算机设备
US20250078022A1 (en) Methods and apparatus for machine learning system for edge computer vision and active reality
Naumann et al. Parcel3d: Shape reconstruction from single RGB images for applications in transportation logistics
US12524868B2 (en) Retail shelf image processing and inventory tracking system
US20250086585A1 (en) Retail shelf image processing and inventory tracking system
Herrera-Toranzo et al. Detection and Verification of the Status of Products Using YOLOv5.
KR102553304B1 (ko) 딥러닝 비전 학습 기반 물류 검수 서버 및 그 동작 방법
WO2017161034A1 (en) System for verifying physical object absences from assigned regions using video analytics
CN113591594B (zh) 称重处理方法、装置及电子设备
CN115171061A (zh) 车辆检测方法、装置和设备
CN119229385B (zh) 一种多角度融合的厅店场景热力图生成方法和装置