[go: up one dir, main page]

CN111339929B - 一种无人超市的零售系统 - Google Patents

一种无人超市的零售系统 Download PDF

Info

Publication number
CN111339929B
CN111339929B CN202010115039.3A CN202010115039A CN111339929B CN 111339929 B CN111339929 B CN 111339929B CN 202010115039 A CN202010115039 A CN 202010115039A CN 111339929 B CN111339929 B CN 111339929B
Authority
CN
China
Prior art keywords
user
commodity
information
weight
goods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010115039.3A
Other languages
English (en)
Other versions
CN111339929A (zh
Inventor
李海伟
周夏杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010115039.3A priority Critical patent/CN111339929B/zh
Publication of CN111339929A publication Critical patent/CN111339929A/zh
Application granted granted Critical
Publication of CN111339929B publication Critical patent/CN111339929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种无人超市的零售系统,用以解决现有技术中存在的识别商品的正确率较低的技术问题,包括:出入口闸机、视频监控设备、重量传感器、精确定位设备以及云服务器;云服务器,用于在第一用户进入无人超市时,根据接收到的第一图像信息生成对应的第一记录;在第二用户选购商品时,根据接收到的第二图像信息、重量信息及用户操作的信息,识别第二用户及其实际购买的商品类型及对应的商品数量,并记录在第二用户对应的第一记录中;在第三用户离开无人超市时,将与第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联,并从对应的第一记录中获取第三用户选购的所有商品类型及对应的商品数量,从其支付账户中扣取对应的消费金额。

Description

一种无人超市的零售系统
技术领域
本发明涉及无人超市领域,尤其是涉及一种无人超市的零售系统。
背景技术
随着科技的不断进步,无人售卖机被广泛布置在商场、医院、旅游景点等,为人们的生活提供着便利。
然而,用户在无人售卖机上购买商品时,往往需要按下与商品对应的按钮来选择商品,并且在付款后售卖机才会将用户选中的商品发放给用户,这使得售卖机只能售卖较为单一的商品,这使得用户可选择的范围较小。
现有技术中,为了让用户能有更为多样的选择,开设了无人商店,用户可以在无人商店中挑选商品,这种无人商店通常是通过采集商品的图像信息和货架的重量变化信息,来识别用户选取的商品。但这种方式并不能识别出较小的商品,从而降低了识别商品的正确率。
鉴于此,如何提高识别商品的正确率,成为一个亟待解决的技术问题。
发明内容
本发明提供一种无人超市的零售系统,用以解决现有技术中存在的识别商品的正确率较低的技术问题。
第一方面,为解决上述技术问题,本发明实施例提供的一种无人超市的零售系统的技术方案如下:
闸机,分别安装在无人超市的出入口,用于获取进出所述无人超市的用户信息;
视频监控设备,包括出入口监控设备,和商品监控设备;入口监控设备安装在入口闸机上,用于采集进入所述无人超市的第一用户的第一图像信息;所述商品监控设备,安装在货架所在区域,用于采集第二用户取放商品的第二图像信息;出口监控设备,安装在出口闸机上,用于采集即将离开所述无人超市的第三用户的第三图像信息;
重量传感器,安装在所述货架上,用于采集所述第二用户取放所述货架上的商品后的重量信息;
精确定位设备,安装在每类商品的容纳区,用于检测所述第二用户是否对与所述精确定位设备对应的商品执行用户操作;
云服务器,用于在所述第一用户进入所述无人超市时,根据接收到的所述第一图像信息生成第一记录;在所述第二用户选购商品时,根据接收到的所述第二图像信息、所述重量信息及所述用户操作的信息,识别第二用户及所述第二用户从所述无人超市购买的商品类型及对应的商品数量,并记录所述第二用户从所述无人超市购买的商品类型及对应的商品数量到第一记录中;在第三用户离开所述无人超市时,将与所述第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联在一起,并从对应的所述第一记录中获取所述第三用户选购的所有商品类型及对应的商品数量,从所述第三用户的支付账户中扣取对应的消费金额。
可选地,所述云服务器具体用于:
对所述第一图像信息进行识别,获得所述第一用户的第一人脸信息,并为所述第一用户分配临时编码;
基于所述临时编码与所述第一人脸信息,生成所述第一记录,并存储在所述无人超市的数据库中。
可选地,所述云服务器具体用于:
针对同一时间获得的所述第二用户对应的所述第二图像信息、所述重量信息、所述商品类型,执行以下操作:
对所述第二图像信息进行识别,获得所述第二用户的第二人脸信息,及第一商品;
基于所述重量信息及所述货架的原重量信息,获得重量变化信息;
基于所述重量变化信息,及所述货架上各种类型的商品的重量信息变化量,确定第二商品;
基于所述商品类型,确定第三商品;
根据所述商品监控设备、所述重量传感器、所述精确定位设备各自对应的预设权重值,从所述第一商品、所述第二商品以及所述第三商品中确定所述第二用户实际取放的商品类型;
根据所述第二用户实际取放的商品类型的单件重量,及所述重量变化信息,计算所述第二用户实际选取的商品类型的商品数量;
将所述第二人脸信息与各第一记录中的第一人脸信息进行比对,确定所述第二人脸信息对应的第一记录;
将所述第二用户实际取放的商品类型的商品数量,记录在所述第二人脸信息对应的第一记录的一项中;其中,所述重量信息为增加时,所述第二用户为放回商品,删除或修改所述第一记录中的对应项;所述重量信息为减少时,所述第二用户为取走商品,增加或修改所述第一记录中的对应项。
可选地,所述云服务器用于:
若所述第一商品、所述第二商品、所述第三商品中,有至少两个商品相同时,将对相同商品对应的预设权重值进行加法运算,将加法运算后权重值最高的商品确定为所述第二用户实际取放的商品类型;
若所述第一商品、所述第二商品、所述第三商品为互不相同的三种商品,将最高的预设权重值对应的商品确定为所述第二用户实际取放的商品类型。
可选地,所述云服务器还用于:
当所述重量信息为增加时,
若所述重量变化信息与所述货架中商品的重量变化不一致,确定所述第二用户将商品放错了货架;
向所述第二用户发送重新放置商品的提示信息。
可选地,所述云服务器还用于:
若在向所述第二用户发送重新放置商品的提示信息后的预设时长内,确定所述第二用户将商品放错了货架,则向工作人员发送所述提示信息;
当有其它用户来到所述货架时,向所述其它用户发送所述商品放置错误的信息。
可选地,所述云服务器用于:
对所述第三图像信息进行识别,获得所述第三用户的第三人脸信息;
将所述第三人脸信息,与所述数据库中各第一记录中的第一人脸信息、各第二人脸信息进行比对,确定所述第三人脸信息对应的第一记录。
可选地,所述云服务器用于:
当所述商品数量为零时,确定所述第三用户未购物;
控制所述出口闸机打开,以便让所述第三用户离开。
可选地,所述云服务器用于:
当所述商品数量非零时,确定所述第三用户购物;
基于所述第三人脸信息及所述数据库,判断所述数据库中是否存在所述第三人脸信息对应的支付账户;
若不存在,则向所述第三用户发送绑定支付账户的提示信息。
可选地,所述云服务器用于:
发送扣取所述消费金额的提示信息到语音设备进行语音播报;
或,发送所述消费金额的提示信息到所述第三用户的指定设备中。
通过本发明实施例的上述一个或多个实施例中的技术方案,本发明实施例至少具有如下技术效果:
在本发明提供的实施例中,云服务器在第一用户进入无人超市时,根据接收到的第一图像信息生成对应的第一记录;在第二用户选购商品时,根据接收到的第二图像信息、重量信息及用户操作的信息,识别第二用户及第二用户实际从无人超市购买的商品类型及对应的商品数量,并记录在第二用户对应的第一记录中;在第三用户离开所述无人超市时,将与第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联在一起,进而可以综合确定出第三用户对应的第一记录中记载的其在无人超市中选购的商品类及对应的商品数量,并据此确定第三用户的消费金额,从第三用户的支付账户中扣取对应的消费金额。由于在用户选购商品时,是根据第二图像信息、重量信息及用户操作的信息,识别用户身份及用户实际选购的商品,所以能有效的提高识别商品的正确率。
附图说明
图1为本发明实施例提供的无人超市的零售系统的组成示意图一;
图2为本发明实施例提供的视频监控设备的组成示意图;
图3为本发明实施例提供的无人超市的零售系统的组成示意图二;
图4为本发明实施例提供的无人超市的零售系统的组成示意图三。
具体实施方式
本发明实施列提供一种无人超市的零售系统,以解决现有技术中存在的识别商品的正确率较低的技术问题。
本申请实施例中的技术方案为解决上述的技术问题,总体思路如下:
提供一种无人超市的零售系统,包括:闸机,安装在无人超市的出入口,用于获取进出无人超市的用户信息;视频监控设备,包括出入口监控设备,和商品监控设备;入口监控设备安装在入口闸机上,用于采集进入无人超市的第一用户的第一图像信息;商品监控设备,安装在货架所在区域,用于采集第二用户取放商品的第二图像信息;出口监控设备,安装在出口闸机上,用于采集即将离开无人超市的第三用户的第三图像信息;重量传感器,安装在货架上,用于采集第二用户取放货架上的商品后的重量信息;精确定位设备,安装在每类商品的容纳区,用于检测第二用户是否对与精确定位设备对应的商品执行用户操作;云服务器,用于在第一用户进入无人超市时,根据接收到的第一图像信息生成第一记录;在第二用户选购商品时,根据接收到的第二图像信息、重量信息及用户操作的信息,识别第二用户及第二用际从无人超市购买的商品类型及对应的商品数量,并记录第二用户从无人超市购买的商品类型及对应的商品数量到第一记录中;在第三用户离开无人超市时,将与第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联在一起,并从对应的第一记录中获取第三用户选购的所有商品类型及对应的商品数量,从第三用户的支付账户中扣取对应的消费金额。
由于在上述方案中,云服务器在第一用户进入无人超市时,根据接收到的第一图像信息生成对应的第一记录;在第二用户选购商品时,根据接收到的第二图像信息、重量信息及用户操作的信息,识别第二用户及第二用户实际从无人超市购买的商品类型及对应的商品数量,并记录在第二用户对应的第一记录中;在第三用户离开无人超市时,将与第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联在一起,进而可以综合确定出第三用户对应的第一记录中记载的其在无人超市中选购的商品类及对应的商品数量,并据此确定第三用户的消费金额,从第三用户的支付账户中扣取对应的消费金额。由于在用户选购商品时,是根据第二图像信息、重量信息及用户操作的信息,识别用户身份及用户实际选购的商品,所以能有效的提高识别商品的正确率。
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明,而不是对本发明技术方案的限定,在不冲突的情况下,本发明实施例以及实施例中的技术特征可以相互组合。
请参考图1-图2,图1为本发明实施例提供的无人超市的零售系统的组成示意图一,图2为本发明实施例提供的视频监控设备的组成示意图,本发明实施例提供一种无人超市的零售系统,该零售系统包括:
闸机,该闸机包括入口闸机101、出口闸机102分别安装在无人超市的入口、出口,用于获取进出无人超市的用户信息。
视频监控设备103,包括出入口监控设备,出入口监控设备包括入口监控设备1031、出口监控设备1032,和商品监控设备1033;入口监控设备1031安装在入口闸机101上,用于采集进入无人超市的第一用户的第一图像信息;商品监控设备1033,安装在货架在区域,用于采集第二用户取放商品的第二图像信息;出口监控设备1032,安装在出口闸机102上,用于采集即将离开无人超市的第三用户的第三图像信息。
重量传感器104,安装在货架上,用于采集第二用户取放货架上的商品后的重量信息。
精确定位设备105,安装在每类商品的容纳区,用于检测第二用户是否对与所述精确定位设备对应的商品执行用户操作。
云服务器106,用于在第一用户进入无人超市时,根据接收到的第一图像信息生成第一记录;在第二用户选购商品时,根据接收到的第二图像信息、重量信息及用户操作的信息,识别第二用户及第二用户从无人超市购买的商品类型及对应的商品数量,并记录第二用户从无人超市购买的商品类型及对应的商品数量到第一记录中;在第三用户离开无人超市时,将与第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联在一起,并从对应的第一记录中获取第三用户选购的所有商品类型及对应的商品数量,从第三用户的支付账户中扣取对应的消费金额。
在本发明提供的实施例中,上述各设备之间的通信方式可以采用4G,5G,wifi,蓝牙中的任一种或组合。
精确定位设备105,可以是红外价签、3D激光成像等,能进行精确定位的设备。
例如,在商品A放置的区域装有精确定位设备105红外价签,当用户从商品A放置的区域拿取商品时,精确定位设备105红外价签就能检测出有用户在拿取商品A。
需要说明的是,在本发明提供的实施例中,出口闸机102、入口闸机101分别可以是一个,也可以是几个在此不做限定;入口监控设备1031、出口监控设备1032的数量分别与入口闸机101、出口闸机102对应,商品监控设备1033、重量传感器104为多个,一个货架至少对应一个商品监控设备1033、重量传感器104;精确定位设备105为多个,一种商品只有对应一个精确定位设备105。在图1-图2中,尽管上述设备在图中只示出了一个,但实际不应被理解为只有一个,而应该理解为一类,如安装在入口的所有闸机都被称之为入口闸机,无人超市中的所有监控设备都被称之为视频监控设备,装在入口闸机上的所有视频监控设备都被称之为入口监控设备1031,以此类推,不再赘述。
云服务器106,根据接收到的第一图像信息生成对应的第一记录,是采用以下方式生成的:
先对第一图像信息进行识别,获得第一用户的第一人脸信息,并为第一用户分配临时编码;再基于临时编码与第一人脸信息,生成第一记录,并存储在无人超市的数据库中。
例如,当用户A、B、C进行无人超市时,用户A、B、C通过入口处的入口闸机101进入无人超市,并且在用户通过入口闸机101时,安装在入口闸机101上的入口监控设备1031会采集用户A的第一图像信息A、用户B的第一图像信息B、用户C的第一图像信息C,并发送给云服务器106,云服务器106对第一图像信息A、第一图像信息B、第一图像信息C进行识别,获得第一人脸信息A、第一人脸信息B、第一人脸信息C,并为之依次分配临时编码1、2、3,进而生成第一记录A(1,第一人脸信息A)、第一记录B(2,第一人脸信息B)、第一记录C(3,第一人脸信息C),之后将第一记录A、第一记录B、第一记录C存储在无人超市的数据库中。
在本发明提供的实施例中,无论用户之前是否在无人超市注册,都可以进入无人超市,无人超市的云服务器106通过采集的进入无人超市的用户的第一图像信息为用户建立记录,方便后续用户在无人超市中挑选商品时准确记录各个用户挑选的商品。
在用户进入无人超市后,当用户在挑选商品(在本发明提供的实施例中将取放了商品的用户称之为第二用户)时,安装在货架区域的商品监控设备1033会采集第二用户的第二图像信息,安装在货架上的重量传感器104会采集第二用户取放货架上的商品后的重量,而安装在第二用户取放的商品所在的入口区的精确定位设备105,会向云服务器106发送信号,使云服务器106根据精确定位设备105对应的商品类型,确定第二用户对该商品类型的商品执行了用户操作,用户操作包括取商品的去操作和放回商品的放回操作。
云服务器106根据接收到的第二图像信息、重量信息及用户操作的信息,识别第二用户及第二用户实际从无人超市购买的商品类型及对应的商品数量,具体可以采用以下方式:
针对同一时间获得的第二用户对应的第二图像信息、重量信息、商品类型,执行以下操作:
对第二图像信息进行识别,获得第二用户的第二人脸信息,及第一商品。
由于第二图像信息中是用户取放商品的图像,所以通过对第二图像信息进行识别,既可以识别出第二用户的第二人脸信息,又能识别出第二用户具体是取放了什么商品,即第二商品。
在对第二图像信息进行识别前或之后,可以基于重量信息及货架的原重量信息,获得重量变化信息。
由于货架上的各商品的种类是确定的,所以可以基于重量变化信息,及货架上各种类型的商品的重量信息变化量,确定第二商品。
由于精确定位设备105是安装在每类商品的入口区,当用户取放商品时,服务器可以根据接收到的精确定位设备105的信号,确定对应的商品类型,进而基于商品类型,确定第三商品。
由于通过第一图像信息、重量变化信息、精确定位设备105对应的商品类型,可以确定三种商品,而这三种方式的准确度是不同的,即通过第一图像信息确定出来的商品的准确度最高,其次是精确定位设备105,最低的是重量变化信息,所以为这三种方式确定出的商品设置预设权重值,比如第一商品的预设权重值为0.45,第二商品的预设权重值为0.3,第三商品的预设权重值为0.25。然后,根据商品监控设备1033、重量传感器104、精确定位设备105各自对应的预设权重值,从第一商品、第二商品以及第三商品中确定第二用户实际取放的商品类型。
之后,根据第二用户实际取放的商品类型的单件重量,及重量变化信息,计算第二用户实际选取的商品类型的商品数量。
计算第二用户实际选取的商品类型的商品数量前或后,将第二人脸信息与各第一记录中的第一人脸信息进行比对,确定第二人脸信息对应的第一记录;
将第二用户实际取放的商品类型的商品数量,记录在第二人脸信息对应的第一记录的一项中;其中,重量信息为增加时,第二用户为放回商品,删除或修改第一记录中的对应项;重量信息为减少时,第二用户为取走商品,增加或修改第一记录中的对应项。
例如,假设无人超市中有用户A、用户B、用户C,当用户A在货架1选取商品时,货架1对应的商品采集设备对用户A进行图像采集,并将采集到的第二图像信息A发送给云服务器106,云服务器106对第二图像信息A进行识别,确定时用户A选取了第一商品A,即云服务器106获得第二用户的第二人脸信息A及第一商品A,并且云服务器106通过货架1上的重量传感器104获得了货架1当前的重量信息,并根据货架1的原重量信息与当前的重量信息,确定重量变化信息,进而结合商品重量确定用户A可能选取的是第二商品A,云服务器106根据接收到的精确定位设备105的信号及精确定位设备105与商品的对应关系,确定用户A可能选取的是第三商品A,由于第一商品A、第二商品A、第三商品A的预设权重值依次为0.45、0.3、0.25,所以可以根据第一商品A、第二商品A、第三商品A的预设权重值确定用户A(即第二用户)实际拿了什么商品,进而根据用户A实际拿的商品(假设为牛奶)及重量变化信息,确定用户A拿的商品数量(假设为2盒)。
将第二人脸信息A与数据库中的各第一人脸信息进行比对,确定第二人脸信息A与第一记录A对应,将用户A实际拿的2盒牛奶记录在第一记录A的一项中。若在第一记录中已经有牛奶这项,那直接修改牛奶的数量,若没有牛奶这项,则在第一记录中增加牛奶这一项,并记录商品数量为2。
需要理解的是,在本发明提供的实施例中,第一记录中的一项应理解为完全相同的一种商品,而不应理解为同类商品中的不同品牌的商品。
当用户为放回商品到货架时,对于商品的识别及用户的识别,与上述选取商品的过程相似,在此不再赘述,不同的是在将其记录到第一记录中时,是删除相应的商品或修改相应商品的数量。
云服务器106在根据商品监控设备1033、重量传感器104、精确定位设备105各自对应的预设权重值,从第一商品、第二商品以及第三商品中确定第二用户实际取放的商品类型时,是采用以下方式实现的:
若第一商品、第二商品、第三商品中,有至少两个商品相同时,将对相同商品对应的预设权重值进行加法运算,将加法运算后权重值最高的商品确定为第二用户实际取放的商品类型。
若第一商品、第二商品、第三商品为互不相同的三种商品,将最高的预设权重值对应的商品确定为第二用户实际取放的商品类型。
例如,假设第一商品A、第二商品A、第三商品A为三种不同的商品,它们的预设权重值依次为0.45、0.3、0.25,则将最大预设权重值0.45对应的第一商品A确定为用户A实际拿的商品。
再如,假设第二商品A与第三商品A为相同的商品,且与第一商品A为不同的商品,则将第二商品A和第三商品A的预设权重值相加,得到的权重值为0.3+0.25=0.55,而第一商品A的权重值为0.45,进而可以将最大预设权重值0.55对应的第二商品A或第三商品A确定为用户A实际拿的商品。
假设未能识别出第以商品A,则将而第二商品A、第三商品A为不同商品,则将两者中预设权重值最大的商品确定为用户A实际拿的商品。
请参见图3,为本发明实施例提供的无人超市的零售系统的组成示意图二,在云服务器106获得重量变化信息后,当重量变化信息为增加时,若重量变化信息与货架中商品的重量变化不一致,确定第二用户将商品放错了货架;云服务器106向第二用户发送重新放置商品的提示信息。该提示信息可以通过语音设备107进行播报,也可以是通过用户可以看见的显示设备108进行显示,具体不做限定。
若在云服务器106向第二用户发送重新放置商品的提示信息后的预设时长内,确定第二用户将商品放错了货架,则向工作人员发送所述提示信息。
当有其它用户来到该货架时,云服务器106向其它用户发送商品放置错误的信息。
例如,假设商品B应该放在货架1上,第二用户B在将商品B放到货架2上后,云服务器106识别出第二用户B将商品B放错了货架,并向第二用户发送了商品B放错货架,请重新放置的提示信息,但是第二用户B并没有重新放置商品B,即云服务器106通过采集的图像信息确定第二用户B在预设时长(如3分钟)内,并没有重新放置商品B,于是向工作人员发送提示信息,使工作人员将商品B放到正确的货架上。
当有其它用户来到错放商品B的货架时,云服务器106向其它用户发送商品B放置错误的信息,使其它用户知道商品B放置位置的标价并非商品B的真实标价,并且还可以提示其它用户将商品B放到正确的货架上。
需要说明的是,由于将商品B放回货架的识别过程,与前面选取商品的识别过程相似,故在此不再赘述。
在用户选购完商品来到出口闸机102时,安装在出口闸机102上的出口监控设备1032采集第三图像信息,云服务器106对第三图像信息进行识别,获得第三用户的第三人脸信息,并与数据库中记录的各第一人脸信息、各第二人脸信息进行比对,确定第三人脸信息对应的第一记录。
当第一记录中的商品数量为零时,确定第三用户未购物;控制出口闸机102打开,以便让第三用户离开。
当第一记录中的商品数量非零时,确定第三用户购物;基于第三人脸信息及数据库,判断数据库中是否存在第三人脸信息对应的支付账户;若不存在,则向第三用户发送绑定支付账户的提示信息。
请见图4为本发明实施例提供的无人超市的零售系统的组成示意图三,在根据第一记录中所有商品数量和商品类型计算出第三用户的消费金额后,从第三用户的支付账户中扣去消费金额,并发送扣去消费金额的提示信息到语音设备107进行语音播报;或,发送消费金额的提示信息到第三用户的指定设备109中。
指定设备109可以是移动设备,如手机、平板电脑、手提电脑等,在此不做限定。
在本发明提供的实施例中,云服务器在第一用户进入无人超市时,根据接收到的第一图像信息生成对应的第一记录;在第二用户选购商品时,根据接收到的第二图像信息、重量信息及用户操作的信息,识别第二用户及第二用户实际从无人超市购买的商品类型及对应的商品数量,并记录在第二用户对应的第一记录中;在第三用户离开所述无人超市时,将与第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联在一起,进而可以综合确定出第三用户对应的第一记录中记载的其在无人超市中选购的商品类及对应的商品数量,并据此确定第三用户的消费金额,从第三用户的支付账户中扣取对应的消费金额。由于在用户选购商品时,是根据第二图像信息、重量信息及用户操作的信息,识别用户身份及用户实际选购的商品,所以能有效的提高识别商品的正确率。
本领域内的技术人员应明白,本发明实施例可提供为方法、系统、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种无人超市的零售系统,其特征在于,包括:
闸机,安装在无人超市的出入口,用于获取进出所述无人超市的用户信息;
视频监控设备,包括出入口监控设备,和商品监控设备;入口监控设备安装在入口闸机上,用于采集进入所述无人超市的第一用户的第一图像信息;所述商品监控设备,安装在货架所在区域,用于采集第二用户取放商品的第二图像信息;出口监控设备,安装在出口闸机上,用于采集即将离开所述无人超市的第三用户的第三图像信息;
重量传感器,安装在所述货架上,用于采集所述第二用户取放所述货架上的商品后的重量信息;
精确定位设备,安装在每类商品的容纳区,用于检测所述第二用户是否对与所述精确定位设备对应的商品执行用户操作;
云服务器,用于在所述第一用户进入所述无人超市时,根据接收到的所述第一图像信息生成第一记录;在所述第二用户选购商品时,根据接收到的所述第二图像信息、所述重量信息及所述用户操作的信息,识别第二用户及所述第二用户从所述无人超市购买的商品类型及对应的商品数量,并记录所述第二用户从所述无人超市购买的商品类型及对应的商品数量到所述第一记录中;在第三用户离开所述无人超市时,将与所述第三图像信息具有相同人脸信息的第一图像信息和第二图像信息关联在一起,并从对应的所述第一记录中获取所述第三用户选购的所有商品类型及对应的商品数量,从所述第三用户的支付账户中扣取对应的消费金额;
其中,根据接收到的所述第二图像信息、所述重量信息及所述用户操作的信息,识别第二用户及所述第二用户从所述无人超市购买的商品类型及对应的商品数量,包括:针对同一时间获得的所述第二用户对应的所述第二图像信息、所述重量信息、所述商品类型,执行以下操作:对所述第二图像信息进行识别,获得所述第二用户的第二人脸信息,及第一商品;基于所述重量信息及所述货架的原重量信息,获得重量变化信息;基于所述重量变化信息,及所述货架上各种类型的商品的重量信息变化量,确定第二商品;根据接收到的所述精确定位设备的信号,确定商品类型,基于所述商品类型,确定第三商品;根据所述商品监控设备、所述重量传感器、所述精确定位设备各自对应的预设权重值,从所述第一商品、所述第二商品以及所述第三商品中确定所述第二用户实际取放的商品类型;根据所述第二用户实际取放的商品类型的单件重量,及所述重量变化信息,计算所述第二用户实际选取的商品类型的商品数量;将所述第二人脸信息与各第一记录中的第一人脸信息进行比对,确定所述第二人脸信息对应的第一记录;将所述第二用户实际取放的商品类型的商品数量,记录在所述第二人脸信息对应的第一记录的一项中;其中,所述重量信息为增加时,所述第二用户为放回商品,删除或修改所述第一记录中的对应项;所述重量信息为减少时,所述第二用户为取走商品,增加或修改所述第一记录中的对应项。
2.如权利要求1所述的零售系统,其特征在于,所述云服务器具体用于:
对所述第一图像信息进行识别,获得所述第一用户的第一人脸信息,并为所述第一用户分配临时编码;
基于所述临时编码与所述第一人脸信息,生成所述第一记录,并存储在所述无人超市的数据库中。
3.如权利要求1所述的零售系统,其特征在于,所述云服务器用于:
若所述第一商品、所述第二商品、所述第三商品中,有至少两个商品相同时,将对相同商品对应的预设权重值进行加法运算,将加法运算后权重值最高的商品确定为所述第二用户实际取放的商品类型;
若所述第一商品、所述第二商品、所述第三商品为互不相同的三种商品,将最高的预设权重值对应的商品确定为所述第二用户实际取放的商品类型。
4.如权利要求3所述的零售系统,其特征在于,所述云服务器还用于:
当所述重量信息为增加时,
若所述重量变化信息与所述货架中商品的重量变化不一致,确定所述第二用户将商品放错了货架;
向所述第二用户发送重新放置商品的提示信息。
5.如权利要求4所述的零售系统,其特征在于,所述云服务器还用于:
若在向所述第二用户发送重新放置商品的提示信息后的预设时长内,确定所述第二用户将商品放错了货架,则向工作人员发送所述提示信息;
当有其它用户来到所述货架时,向所述其它用户发送所述商品放置错误的信息。
6.如权利要求2所述的零售系统,其特征在于,所述云服务器用于:
对所述第三图像信息进行识别,获得所述第三用户的第三人脸信息;
将所述第三人脸信息,与所述数据库中各第一记录中的第一人脸信息、各第二人脸信息进行比对,确定所述第三人脸信息对应的第一记录。
7.如权利要求6所述的零售系统,其特征在于,所述云服务器用于:
当所述商品数量为零时,确定所述第三用户未购物;
控制所述出口闸机打开,以便让所述第三用户离开。
8.如权利要求6所述的零售系统,其特征在于,所述云服务器用于:
当所述商品数量非零时,确定所述第三用户购物;
基于所述第三人脸信息及所述数据库,判断所述数据库中是否存在所述第三人脸信息对应的支付账户;
若不存在,则向所述第三用户发送绑定支付账户的提示信息。
9.如权利要求1所述的零售系统,其特征在于,所述云服务器用于:
发送扣取所述消费金额的提示信息到语音设备进行语音播报;
或,发送所述消费金额的提示信息到所述第三用户的指定设备中。
CN202010115039.3A 2020-02-25 2020-02-25 一种无人超市的零售系统 Active CN111339929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010115039.3A CN111339929B (zh) 2020-02-25 2020-02-25 一种无人超市的零售系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010115039.3A CN111339929B (zh) 2020-02-25 2020-02-25 一种无人超市的零售系统

Publications (2)

Publication Number Publication Date
CN111339929A CN111339929A (zh) 2020-06-26
CN111339929B true CN111339929B (zh) 2023-05-16

Family

ID=71185613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010115039.3A Active CN111339929B (zh) 2020-02-25 2020-02-25 一种无人超市的零售系统

Country Status (1)

Country Link
CN (1) CN111339929B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114267112B (zh) * 2020-09-16 2024-12-27 东芝泰格有限公司 门禁控制装置、门禁控制方法及存储介质
CN113254910B (zh) * 2021-07-07 2021-10-26 新石器慧通(北京)科技有限公司 用于无人车认证系统的用户便捷认证方法及装置
CN113744473B (zh) * 2021-08-31 2022-08-23 智码迅付信息科技有限公司 一种基于3d结构光的人脸识别系统及方法
US11891295B2 (en) * 2021-10-21 2024-02-06 Haier Us Appliance Solutions, Inc. Systems and methods for accurately tracking water consumption from a liquid dispenser
CN115641548B (zh) * 2022-10-10 2025-10-17 浙江莲荷科技有限公司 异常检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564442A (zh) * 2018-04-11 2018-09-21 合肥美的智能科技有限公司 无人零售系统及其控制方法、售货装置和云服务器
CN109147174A (zh) * 2018-09-05 2019-01-04 深圳正品创想科技有限公司 一种无人售货方法、服务器及无人售货柜
KR20190093733A (ko) * 2018-01-10 2019-08-12 트라이큐빅스 인크. 무인 점포에서의 아이템 인식 시스템 및 그 방법
CN110246284A (zh) * 2018-03-07 2019-09-17 上海善解人意信息科技有限公司 无人值守超市购物系统及其控制方法
CN110443637A (zh) * 2019-07-16 2019-11-12 浙江大华技术股份有限公司 用户购物行为分析方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190093733A (ko) * 2018-01-10 2019-08-12 트라이큐빅스 인크. 무인 점포에서의 아이템 인식 시스템 및 그 방법
CN110246284A (zh) * 2018-03-07 2019-09-17 上海善解人意信息科技有限公司 无人值守超市购物系统及其控制方法
CN108564442A (zh) * 2018-04-11 2018-09-21 合肥美的智能科技有限公司 无人零售系统及其控制方法、售货装置和云服务器
CN109147174A (zh) * 2018-09-05 2019-01-04 深圳正品创想科技有限公司 一种无人售货方法、服务器及无人售货柜
CN110443637A (zh) * 2019-07-16 2019-11-12 浙江大华技术股份有限公司 用户购物行为分析方法、装置及存储介质

Also Published As

Publication number Publication date
CN111339929A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111339929B (zh) 一种无人超市的零售系统
US11847689B2 (en) Dynamic customer checkout experience within an automated shopping environment
CN107103502B (zh) 一种订单信息确定方法和装置
JP6463804B2 (ja) 物品の相互作用及び移動検出方法
CN107103503B (zh) 一种订单信息确定方法和装置
US11373160B2 (en) Monitoring shopping activities using weight data in a store
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
CN110866429A (zh) 漏扫识别方法、装置、自助收银终端及系统
US20170046774A1 (en) Payment assistance device, payment assistance method, and program
US20190251619A1 (en) Apparatuses, systems, and methods for in store shopping
CN112464697A (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
US9311668B2 (en) Determining to audit a customer utilizing analytics
JP2023509844A (ja) カスタマイズされた小売環境
JPWO2019171572A1 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
CN116665380B (zh) 一种智能结账处理方法、系统、pos收银机及储介质
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
JP3837475B2 (ja) 自動化ショッピングシステム
US20210287226A1 (en) System and method for managing intangible shopping transactions in physical retail stores
CN110647783A (zh) 一种无人货架付款检测方法、装置和系统
CN107644332A (zh) 一种检测用户是否偷盗物品的方法、装置、系统以及智能设备
CN111383405A (zh) 一种售货处理方法、系统、装置和收银处理方法、装置
CN112036991A (zh) 一种商场智慧管理导购系统
CN115641548A (zh) 异常检测方法、装置、设备及存储介质
US11797920B1 (en) Customized retail environments
TW202009878A (zh) 於商品售盡時提示購物者至其他裝置購買之裝置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant