CN111507702A - 无人超市自助购物方法、计算机可读存储介质及系统 - Google Patents

Abstract

本发明提供一种无人超市自助购物方法，用于实现用户在商场内的自助购物，其特征在于：该方法包括步骤：S1，获取身份信息；S2，识别商场内商品的变化，并匹配与之对应的身份信息；及S3，统计身份信息匹配的商品，获取身份信息对应购买的商品信息。本发明还提供一种计算机可读存储介质。本发明还提供一种商场购物系统。

Description

无人超市自助购物方法、计算机可读存储介质及系统

【技术领域】

本发明涉及商场自动购物领域，尤其涉及一种无人超市自助购物方法、计算机可读存储介质及系统。

【背景技术】

现有购物方式都需要用户在超市里选取需要购买的商品后，将商品带至收银台，然后经过收银员逐件计算商品的价格，最后得到商品的总价，这种操作方式需要人工进行辅助，且在商场内购物人员加多时，可能出价格计算或漏算等失误，影响购物体验。

进一步地，随着人力成本的增加，无人超市得到人们越来越多的青睐，现有的超市自助购物系统出错频率高且商品识别速度慢，使用体验不佳，因此，亟待提供一种无人超市可实现自助购物的新的技术方案。

【发明内容】

为克服现有问题，本发明提供一种无人超市自助购物方法、计算机可读存储介质及系统。

本发明解决技术问题的技术方案是提供一种无人超市自助购物方法，用于实现用户在商场内的自助购物，其特征在于：该方法包括步骤：S1，获取身份信息；S2，识别商场内商品的变化信息，并匹配与之对应的身份信息；及S3，统计身份信息匹配的商品种类及数量，获取身份信息对应购买的商品信息。

优选地，步骤S2包括：步骤S21，记录商场内所有的商品状态；步骤S22，识别商品状态发生变化时捕捉到的身份信息及发生变化的商品位置；及步骤S23，匹配发生变化的商品及与之对应的身份信息。

优选的，步骤S22包括：步骤S221，获取商场内实时的视频信息；步骤S222，将视频信息以帧为单位转换为图片；及步骤S223，将每帧图片依次与步骤S21中的图片对比，当发现对比结果不同时，识别该帧图片中的商品变化区域及变化的商品，并捕捉靠近该区域的身份信息，将该身份信息与变化的商品进行匹配；

优选的，步骤S22还包括：步骤S224，匹配发生变化的商品及与之对应的身份信息。

优选的，步骤S22还包括：步骤S225，将身份信息与购物车进行绑定；步骤S226，对商品扫码，获取每件扫码商品的商品信息，并记录所有经过扫码的商品；步骤S227，获取商品扫码后的视频，设定视频中的购物车区域，并捕捉视频中商品的运动轨迹，以判断商品是否被放入购物车内；步骤S228：在判断商品被放入购物车后，获取购物车内的重量变化，并判断购物车内的重量变化是否与放入商品的单重一致；及步骤S229：在判断重量变化一致后，根据经过扫码商品的商品信息计算购物车内的商品总价。

优选的，步骤S22还包括：步骤S2210，提供付款码，以使用户可以通过扫描付款码对购物车内的商品进行付款。

优选的，步骤S227包括步骤：步骤S2271，将获取的视频以每帧为单位转换为图片；步骤S2272，以每张图片相同的位置为原点，在每张图片上建立坐标系；步骤S2273，在坐标系中建立购物车区域；及步骤S2274，识别每一张图片中商品在坐标系中的位置，当有图片中商品的位置处于购物车区域时，则判断商品被放入购物车内，当在坐标系内无法找到商品位置时，则判断用户的操作违规，购物车报警。

本发明还提供一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-7中任一项中所述商场购物方法。

本发明还提供一种无人超市自助购物系统，其特征在于：所述商场购物系统包括：

识别模块，用于获取身份信息，并识别商场内商品的变化；

服务器，用于接收识别模块获取的身份信息及商场内商品的变化，并将变化的商品与身份信息进行匹配。

优选地，所述商场购物系统还包括退货模块、智能货架、及购物车；

所述退货模块用于在用户拿取商品后又失去购买欲望时，将拿取的商品退回；

所述智能货架投放于商场内，以实现对智能货架上的商品进行称重，从而与识别模块结合验证用户从商场内拿取商品的商品信息；

所述购物车包括称重模块、扫码模块及拍摄模块；所述称重模块用于称量购物车内的商品重量并传送至服务器，所述扫码模块用于扫描商品上的二维码，以获取商品信息并传送至服务器。所述摄像模块用于拍摄商品扫码后的运动视频，并将视频传送至服务器。

与现有技术相比，本发明提供的一种无人超市自助购物方法、计算机可读存储介质及系统具有以下优点：

1.通过该商场购物方法，可实现在商场中自助购买商品，无需人工辅助，自主完成从进入商场-购买商品-支付-离开商场的整个流程。

2.通过匹配身份信息与商场内商品的变化，可以获取每个身份信息在商场内所购买的商品，从而自动生成购买商品的价格，便于用户支付。

3.通过设置具有称重功能的智能货架，可获取被拿取商品的重量，以对识别的匹配结果进行验证，增加匹配的精准度。

4.通过设置购物车，进一步对匹配结果进行验证，以进一步增加匹配的准确度，避免计价时产生误差。

【附图说明】

图1是本发明第一实施例一种无人超市自助购物系统的流程示意图。

图2A是本发明第二实施例智能货架的结构示意图。

图2B是图2A的A出放大图。

图3是本发明第三实施例无人超市自助购物系统的模块示意图。

图4是本发明第四实施例无人超市自助购物方法的流程示意图。

图5A是图4中步骤S2的流程示意图。

图5B是图5A中步骤S22的流程示意图。

图6是图5A中步骤S22的进一步流程示意图。

图7是图5A中步骤S22的进一步流程示意图。

图8是图7中步骤S226的流程示意图。

图9是图7中步骤S227的流程示意图。

图10A是图5A中步骤S22的进一步流程示意图。

图10B是图10A中步骤S228的流程示意图。

图11是图5A中步骤S22的进一步流程示意图。

附图标记：10、无人超市自助购物系统；20、识别模块；30、服务器；40、退货模块；50、智能货架；60、购物车；51、货架主体；511、第一称量装置；53、第二称量装置；513、储物区；55、付款码打印装置；57、显示装置；59、自动封装机构；591、封口单元；593、感应单元；595、调节单元；601、称重模块；603、扫码模块；605、拍摄模块；607、显示模块。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明第一实施例提供一种无人超市自助购物系统10，其包括识别模块20及服务器30，服务器30上存储了商场中所有商品的商品信息。识别模块20用于在用户进入商场时识别用户的身份信息，且将识别到的身份信息传送至服务器30进行储存。同时，在用户进入商场进行购物时，以每个用户的身份信息为标签实时记录用过的购物过程。并在用户完成购物后，将每个身份信息从商场内拿取的商品信息一同传送至服务器30，服务器30统计每个身份信息购买的商品数量，并根据数量生成购买商品的总价，以使用户可以对购买的商品进行支付，从而完成购物。

可以理解，商品信息包括商品的外观特征、商品单价及商品单重。

在一些应用场景中，识别模块20可以是摄像头，在用户进入商场时，通过获取每个用户的面部特征，并将面部特征传送至服务器30储存作为每个用户的身份信息。在用户购买商品时，实时记录每个身份信息从商场内拿取的商品，并将拿取商品的信息及与之对应的身份信息发送至服务器30进行储存。当用户完成购物时，服务器30根据身份信息及与身份信息对应的商品信息计算每个用户在商场内的购物情况，即每个用户总共购买了多少商品，并根据购买的商品生成总价以便于用户进行支付，从而完成购物操作。

在一些应用场景中，识别模块20还可以是读卡器，用户在进入商场时将身份证、银行卡或其他绑定身份的证件在读卡器上进行刷卡操作，以使识别模块20能够读取到用户的身份信息，从而将身份信息传送至服务器30。在用户进入商场内进行购物时，每次拿取商品时识别模块20读取用户的身份信息，并将拿取的商品及与之对应的身份信息发送至服务器30进行储存，以便于对每个用户购买的商品进行统计，从而帮助用户完成购物操作。

可以理解，当识别模块20为摄像头时，可以直接同时获取用户的身份信息及拿取货物的外观特征，从而得到每个用户拿取的商品信息。当识别模块20为读卡器时，商场中每个区域内的商品信息都预先存储在服务器30中，根据用户身份信息识别其在商场内拿取商品的位置，即可得到与身份信息对应的拿取商品的信息。

可以理解，识别模块20可以设置于商场内的任意位置，只要能够在用户进入商场时识别用户的身份信息，并在用户购物时能够记录用户拿取货物的过程即可。

可以理解，在本发明另外一些实施例中，所述识别模块20还可为指纹识别模块、MAC标识识别模块等识别模块，具体身份识别模块及身份识别方法的选择，是基于实际应用场景决定的，在此不做限定。例如，以MAC标识识别模块为例，其工作原理为当消费者的手机的wifi是打开的，MAC标识识别装置就可以识别消费者的手机的MAC标识从而获得消费者的相关讯息。

在本发明中，以设备模块20为摄像头进行说明。

进一步的，商场购物系统还包括退货模块40，退货模块40用于在用户拿取商品后又失去购买欲望时，将拿取的商品退回，从而在完成购物后进行支付操作时，不会将退回的商品价格也算入总价中，从而使得产生的总价与所购买的商品不对应的情况。

在一些应用场景中，退货模块40为一设定在指定位置的货柜，例如，可设置在商场的出口或者分散设置在商场的任意位置。用户在拿取商品后又不想购买时，将商品放入退货模块40中，并将放入退货模块40中的商品信息及与之对应的身份信息通过识别模块20进行识别，然后传送至服务器30。在用户完成购物操作时，服务器30将身份信息下对应的商品信息减去放入退货模块40中的商品信息，最后生成购买商品的总价。

可以理解，识别用户放入退货模块40中的商品信息的方式可以是利用识别模块20对其进行识别，即通过摄像头获取商品的外观特征。

更进一步地，退货模块40具有称重功能，当用户将商品放入退货模块40时，除了利用识别模块20识别商品的外观特征外，还可以通过获取放入退货模块40中的商品单重进行验证，以使识别的结果更加精确。

在本发明一些优选的实施例中，所述退货模块40进一步包括一退货货架，所述退货货架上设有冷藏腔室，需要保鲜的商品可放置在冷藏腔室内，以避免由于在常温下放置，导致商品变质，给商场运营带来损失。

请参阅图2A，本发明第二实施例提供一种可用在第一实施例中的智能货架50，智能货架50投放于商场内，以实现对智能货架50上的商品进行称重，从而与识别模块20结合验证用户从商场内拿取商品的商品信息，避免单靠识别模块20识别商品外观特征从而得到与之对应的商品信息时，出现识别误差。即，当用户从智能货架50上拿取商品时，除了通过识别模块20识别用户拿取商品的外观特征外，还可以通过被拿取的商品单重进行进一步的验证，以增加识别的准确性。

进一步的，当商品为散称的商品，如瓜子、水果等商品时，由于其商品单重各不相同，无法直接的通过智能货架50称量的商品单重与服务器30内存储的商品单重进行比对，所以智能货架50还具有散称验证功能。

具体的，智能货架50包括货架主体51、设于货架主体51上的第一称量装置511及第二称量装置53。货架主体51上开设有至少一个储物区513，在本实施例中，以货架主体51上开设有多个储物区513为例进行说明，每个储物区513中存放对应的商品，以方便顾客选购。具体地，每个储物区513内仅能存放种类和价格均相同的产品。

所述第一称量装置511设于各储物区513内承托商品的底板正下方，用于感测顾客取走每个储物区513内对应商品的第一重量信息。即顾客每取走一个储物区513中的一个商品，则所述第一称量装置511对应检测获得因重量减少而产生的第一重量信息，也即储物区513内重量变化的信息。

可选地，所述第一称量装置511为重力感测器。

第二称量装置53，设于货架主体51的两侧，当顾客从储物区513内拿取商品完毕后，第二称量装置53可便于顾客将将从储物区513内拿取的商品进行称重得到第二重量信息，以与第一称量装置511得到的第一重量信息进行验证。

当顾客按照超市设定的购买规则，完成购买每个储物区513内的对应商品后，所述第一称量装置511获得的第一重量信息等于所述第二称量装置53获得第二重量信息。

所述超市设定的购买规则为：顾客每次仅能选取同一储物区513内的商品到第二称量装置53处称量。

当顾客在购物过程中，出现失误操作，也即不按照设定的购买规则购买商品，如同时取走多个储物区513的商品时，则所述第一称量装置511获得的各第一重量信息之和与所述第二称量装置53获得第二重量信息不匹配，当出现上述情形，则会产生报警信号。

在一些应用场景中，用户从其中一个储物区513内取走了3个苹果，则第一重量信息为3个苹果的重量，然后再将3个苹果放在第二称量装置53上进行称重，得到的第二重量信息仍然是3个苹果的重量，此时第一重量信息等于第二重量信息。当用户从其中一个储物区513内取走了2个苹果，又从另外一个储物区513内取走了1个橘子时，两个储物区513上的第一称量装置511得到的第一重量分别是2个苹果的重量和一个橘子的重量。而客户将取走的商品放入第二称量装置53上进行称量时，得到的第二重量信息为2个苹果加1个橘子的重量，其余任何一个称量装置511称量得到的第一重量信息都不相同，此时则认为用户未按照规则进行购买。

可以理解，当用户未按照规则进行购买时，智能货架50发出警报，提示客户操作异常。

可以理解，第一称量装置511及第二称量装置53在获得第一重量信息及第二重量信息后，将第一重量信息及第二重量信息传送至服务器30，并在服务器30上进行验证是否一致。

可以理解，散称商品的商品单价即为设定的重量下的价格，例如可为商品每公斤或者商品每斤的价格。

进一步地，如图2A中所示，智能货架50还包括付款码打印装置55，付款码打印装置55设置于货架主体51上，当第一重量信息与第二重量信息一致后，服务器30生成用户购买的商品的价格信息，并价格信息传送至付款码打印装置55。付款码打印装置55在接收到价格信息后，将价格信息生成付款码后打印，以便于用户可以扫描付款码进行付款。

可以理解，付款码打印装置55可打印条形付款码或二维码中任一种，在本发明另外的一些实施例中，所述付款码打印装置55还可直接将可分辨商品信息的RFID标签印制在待购买的商品之上。

进一步地，继续如图2A中所示，货架主体51还包括显示装置57，所述显示装置57设于货架主体51靠近储物区513的一面上，服务器30将每个储物区513的商品信息发送至显示装置57上进行显示，以便于顾客选购商品时可以实时获知所购商品的单价及购买商品的总价。

可以理解，所述显示装置57还可以显示用户的身份信息及广告信息。即当用户从智能货架50上选购商品时，服务器还可以将识别模块20识别到身份信息发送至显示装置57上。

可以理解，显示装置57为触控显示装置，用户可点击显示装置57进行操作，如对推送的广告有兴趣时，可点击广告处，以观看具体的内容。需要说明的是，在本实施例中，所述的显示装置57的位置仅作为一种示例，在实际应用中，所述显示装置57的大小、具体设置位置可基于实际的需求做调整，在此不作为本发明的限定。

更进一步地，智能货架50还包括设于货架主体51沿着储物区513排列方向其中一侧上的自动封装机构59，以在顾客购买的商品时将装商品的包装袋进行封口。优选地，自动封装机构59与第二称量装置53或付款码打印装置55相邻设置，方便及时对称量好的商品进行封口及贴付款码。

请参阅图2B，所述自动封装机构59包括封口单元591及感应单元593。所述感应单元593与封口单元591相邻设置，以根据感应到的放置于购物袋的商品的变化情况，进行准确封装。可选地，所述感应单元593为红外感应器，以通过感测放置于购物袋的商品信息变化，确定封口时机。

所述自动封装机构59进一步包括调节单元595及驱动单元(图未视)，所诉调节单元595与所述驱动单元可根据商品信息调节封口单元591的封口位置。

具体地，所述调节单元595与封口单元591及感应单元593连接，并通过驱动单元带动封口单元591及感应单元593沿待封口物品重力方向和/或重力的反方向来回滑动；所述感应单元593为红外传感器；当感应单元593感应到包装袋时，封口单元591对包装袋进行封口。

可以理解，用户可以扫码付款码直接对散称的商品进行付款操作。

请参阅图3，本发明的第三实施例提供一种可以用于第一实施例或第二实施例的购物车60，购物车60用于临时装载商品，且与识别模块20配合，以增加用户购物时，统计购买商品的精确度。

购物车60包括称重模块601、扫码模块603及拍摄模块605。称重模块601用于称量购物车60内的商品重量并传送至服务器30，扫码模块603用于扫描商品上的二维码，以获取商品信息并传送至服务器30。摄像模块605用于拍摄商品扫码后的运动视频，并将视频传送至服务器30。服务器30用于对比购物车60内重量信息的变化与放入购物车60内的商品单重是否一致、分析视频中商品的运动轨迹及统计购物车60内的商品总价。

具体的，摄像模块605包括多个摄像头，多个摄像头同时拍摄商品在扫码后的运动轨迹，以避免增加拍摄范围，避免拍摄死角。

进一步的，购物车60上还包括显示模块607，显示模块607为触控显示装置，设置于购物车60上，用于显示购物车内的商品信息，且在用户需将购物车60内的商品退回时，可通过显示模块进行操作。同时，服务器30统计完购物车内商品总价后，显示模块607可以显示二维码，方便用户扫码付款。

可以理解，用户在商场里购物时可以使用购物车，也可以不使用购物车直接购买。当用户不使用购物车时，在购物结束需要离开商场时，在商场的出口将购买的商品逐一通过摄像区，以对购买的商品再进行一次验证。具体点，摄像区可以是由摄像头及传送带组成，将商品逐一放在传送带上，通过摄像头逐一拍摄确认。

请参阅图4，本发明的第四实施例提供一种无人超市自助购物方法，该方法包括步骤:

S1，获取身份信息；

S2，识别身份信息在商场内是否拿取商品；及

S3，统计身份信息拿取的商品并累加，获取身份信息对应购买商品的信息。

具体的，用户在进入商场之前先获取每个用户对应的身份信息，在获取身份信息后用户进入商场内进行购物。用户进行购物时会进行对商品的拿取，通过每个用户在商场内的拿取的商品并将这些商品累加，可以得到该用户总共拿取了多少商品。在用户购物结束后，直接根据用户拿取的商品生成需要支付的价格，用户完成支付后即可从商场离开。

在一些应用场景中，用户在商场入口时商场通过人脸识别、身份信息读取等方式获取该用户的身份信息。获取身份信息后商场的入口打开，用户通过入口进入到商场内部进行购物操作。当用户在商场内想要购买某一款商品时会拿取该商品，此时判断用户购买了此商品，在购物结束时，用户只需在出口处对该商品进行支付操作后，商场的出口就会打开，以便于用户离开。

更进一步地，在出口处可设置显示屏，显示用户相关信息，如出现报警信息，则显示屏上会显示具体哪些商品的购买出现问题，以便于用户及时获知并做相应的处理。

可以理解，身份信息可以通过人脸识别、读取用户身份证、绑定用户手机等方式进行获取。优选地，通过人脸识别的方式进行获取。

请参阅图5A，步骤S2包括步骤：

S21，记录商场内所有商品的状态；

S22，识别商品状态发生变化时捕捉到的身份信息及发生变化的商品；

S23，匹配发生变化的商品及与之对应的身份信息。

具体的，当用户进入商场内部前，商场内商品的状态，即每个商品处于商场中的位置已经被记录。当用户拿取商品后，商品的状态发生变化，即某个商品从原先的位置上移动到另外的一个位置。此时，识别该变化商品是什么，并将最靠近该变化位置的用户及其的身份信息与该商品进行匹配。也即，认定变化的商品被该用户拿取。

在一些应用场景中，商场内的用户进入商场后先后分别拿取了一瓶酸奶、一袋泡面及一盒饼干，即商场中发生变化的商品为一瓶酸奶、一袋泡面及一盒饼干。当捕捉到这些变化时，判定离该商品区域最近的用户将该商品拿取，在其购物结束后，统计得到该用户购买的商品即为一瓶酸奶、一袋泡面及一盒饼干。

可以理解，用户购物结束即为用户到达商场出口区域的位置，该区域位置的大小可以视具体情况而定，在此不做限制。

可以理解，记录商场内所有商品的状态即为在商场开放购物前，将所有的商品状态拍摄为图片的形式保存。

可以理解，匹配即为认定具有该身份信息的用户购买了发生变化的商品。

请参阅图5B，步骤S23包括步骤：

S221，获取商场内部的实时视频信息；

S222，将视频信息以帧为单位转换为图片；

S223，将每帧图片依次与步骤S21中的图片对比，当发现对比结果不同时，识别该帧图片中的商品变化区域及变化的商品，并捕捉靠近该区域最近的身份信息，将该身份信息与变化的商品进行匹配。

具体的，在步骤S21获的了商场内商品的初始图片后，用户进入商场内开始购物。在有用户进入商场购物的时候，通过摄像头实时监控商场内部，并将拍摄到的视频以帧为单位转换为图片。再按照顺序依次将每帧图片分别与初始图片进行对比，当发现对比后的图片与初始图片不同时，识别图片中发生变化的区域，并识别出变化的商品具体是什么。同时识别此帧图片中离该区域最近的用户的身份信息，最后将该身份信息与变化的商品匹配，判定该用户购买了变化的商品。

可以理解，视频以帧为单位后按照视频的时间单位进行排序，当排在前面的图片已经发现变化时，该变化区域在后续图片与初始图片的比较中不予比较。

请参阅图6，本方法步骤S223之后还包括步骤S224，获取发生变化的商品的重量，通过重量验证与身份信息匹配的商品。

具体的，步骤S223匹配商品与身份信息是通过图像识别的方式来具体判断发生变化的商品具体为什么商品，但是单一的图像识别可能在识别过程中发生误差，无法精准的得到该商品的商品信息。此时，通过该商品的重量进行验证，可以提高匹配的准确率。

在一些应用场景中，商场内的商品放置于货架上，且货架具有称重功能。当用户拿取货架上的商品时，货架通过拿取前与拿取后的重量变化，可以得到被拿取商品的重量。在结合步骤S223中通过图像识别的方式得到商品的商品信息，将商品信息中的商品单重与被拿去商品的重量进行比对，如对比结果一致则说明步骤S223中的匹配结果是正确的，反之则是错误的，将该商品标记为异常商品，在用户购买结束付款时再次对该商品进行确认。

请参阅图7，在上述步骤S224之后还包括步骤:

S225，将身份信息与购物车进行绑定；

S226，对商品扫码，获取每件扫码商品的商品信息，并记录所有经过扫码的商品；及

S227，获取商品扫码后的视频，设定视频中的购物车区域，并捕捉视频中商品的运动轨迹，以判断商品是否被放入购物车内。

用户在商场内购物时，通常在拿取商品后会放入购物车中以便于携带商品。先将购物车与用户的身份信息绑定，在将商品放入购物车前先对商品进行扫码操作，然后将商品放入到购物车内，可进一步验证步骤S224中。即，当通过图像识别，重量验证后，扫码验证后，最终放入购物车内的商品一定是用户所购买的商品。

在一些应用场景中，用户存在将商品扫码后又失去购买欲望，随手丢回货架的情况，或在将商品扫码后，对商品进行替换，将非扫码的商品置入购物车内的情况，这些错误的操作都会影响购物的后续进程，同时也增加了超市的管理成本。

为了避免付款时总价与购物车内时间产品不对应的情况，则需要对用户自主购物时的行为进行进一步的管控。

具体为，货架上的商品信息皆提前预存于数据库中，当用户从货架上取下想要购买的商品后，可获得该商品单重的具体数值。接着在用户将从货架上取下的商品进行扫码，可得到商品的商品信息，即商品的外观特征、商品的单重信息及商品的单价。此时获取扫码后的商品的运动轨迹，即用户在将商品扫码后，将商品放入何处的一个过程中，商品的运动路线。当显示商品被放入购物车内时，购物车内在放入商品后，其重量也发生变化，若购物车内的重量变化与从货架上取走的商品单重一致，则说明放入购物车内的商品与从货架上取下的商品是同一个商品，用户只需在购买结束后，对购物车内根据商品信息生成的总价进行付款操作即可完成购物。当显示商品没有放入到购物车中，例如用户将扫码后的商品随意放回货架或用其他的商品进行置换，则购物车会发生异常报警，提醒用户存在违规操作。

请参阅图8，步骤S226包括步骤S2261，将商品扫码并获取商品信息；及

步骤S2262，累加经过扫码的商品单价。

具体的，在从货架上取下商品后到放入购物车之前，需要先对商品进行扫码，以获取商品的商品信息，也即商品的外观特征、单重信息及商品单价。为了便于后续的支付操作，在用户每次进行扫码时，都将商品单价进行累加，以便于形成购物车内商品的总价。

在一些应用场景中，用户在对商品扫码并放入购物车后，又失去了购买欲望，需要将购物车内的商品取出并再进行一次扫码，然后将商品放回货架或放到指定位置。在这种情况，扫码得到的商品单价为负数，累加后的结果为总价减去取出商品的价格，以保证最后购物车内的商品与实际生成的总价相吻合。

即，当用户对从购物车外取得的商品进行扫码得到的商品单价为正数，当用户从购物车内取出商品进行扫码，得到的商品单价为负数。

可以理解，用户是否是从购物车内取出商品进行扫码可以通过购物车内的总重是否减少作为判断依据。如检测到购物车内的商品总重减少，且用户又将商品进行了扫码操作，则判断为是从购物车内取出商品，扫码得到的商品单价为负数。

可以理解，获取购物车内的商品总价并不限定于通过每次扫码的累加，只要最终能过获取购物车内商品的总价即可。

请参阅图9，步骤S227包括步骤S2271，将获取的视频以每帧为单位转换为图片；

步骤S2272，以每张图片相同的位置为原点，在每张图片上建立坐标系；

步骤S2273，在坐标系中建立购物车区域；及

步骤S2274，识别每一张图片中商品在坐标系中的位置，当有图片中商品的位置处于购物车区域时，则判断商品被放入购物车内，当在坐标系内无法找到商品位置时，则判断用户的操作违规，购物车报警。

以上所述选取作为原点的具体位置不受限制，可以基于实际购物车的状态做调整。需要特别说明的是，上述步骤S3的具体步骤S2271-步骤S2274仅作为本发明的示例，不作为本发明的限制。

当用户从货架取下商品并进行扫码后，为了防止用户未将商品放入到购物车中，或者用其他商品替换扫码的商品放入购物车中，需要对扫码后的物品进行监控，也即对商品的运动轨迹进行监控。

在一些应用场景中，用户取下一个单价为10元的商品A，然后将商品A进行扫码，扫码后将商品A放回，在取下一个单价为20元的商品B放入购物车内，若商品A与商品B的重量差异较小，则可能会出现用10元的价格买走20元商品的情况，对商场造成损失。

为了避免该种情况发生，需要保证扫码后的商品不会被其他商品替换。具体的实现方法为，获取到商品扫码后的视频，并捕捉视频中商品的位置变化，通过位置的变化来分析扫码的商品是否被放入到购物车中。当扫码后的商品确实放入购物车中，则可以正常的进行下一步操作，当扫码后的商品未放入购物车并脱离的视频可监控的范围，则说明可能出现商品替换或其他状况，此时购物车发出警报以提醒用户异常操作。

需要说明的是，上述步骤中，可根据需要选取每帧图片的间隔时间，以符合不同应用场景的需求，从而在尽量减少运算量的同时，可以保证监控的精确度。

具体地，在获取的视频后，将视频以帧为单位转化为图片的形式，并且以每张图片的相同位置为原点建立坐标系，如所有图片都以其中的一个边角为原点进行建立坐标系。接着在坐标系内建立对应的购物车区域，由于每张图片中原点的位置相同，所以每张图片中购物车区域处于坐标系中的位置也相同，同时在扫码时获得的商品信息中包括了商品的外观特征，该外观特征作为商品在坐标系中位置的判断依据，可以得到每一张图片中商品在坐标系中的位置。只要有任意图片中无法捕捉到商品的位置，即认为对应的商品在坐标系中丢失，则说明商品离开了获取视频的范围，可能存在违规操作。当视频对应的所有图片中都没有出现捕捉到商品在坐标系中丢失，且有图片中捕捉到商品的位置处于购物车区域内，则判断商品被放入了购物车内。

可以理解，当使用多个不同角度的摄像头进行视频拍摄时，将每个摄像头拍摄到的视频所形成图片分开判断，即每个摄像头拍摄视频所形成的图片设置的坐标系中，购物车区域相同。

例如，使用摄像头A、摄像头B及摄像头C三个摄像头对商品的运动轨迹进行拍摄，拍摄到的视频可为分为视频A、视频B及视频C三个视频，再利用三个视频所形成的图片分别建立坐标系，以判断商品是否被放入了购物车。

请参阅图10A-10B，无人超市自助购物方法还包括步骤S228：在判断商品被放入购物车后，获取购物车内的重量变化，并判断购物车内的重量变化是否与放入商品的单重一致；及

步骤S229：在判断重量变化一致后，根据经过扫码商品的商品信息计算购物车内的商品总价。

具体的，在通过步骤S227验证用户的操作正常后，再加入一次重量的验证，即将经过扫码商品的单重与购物车实际变化的重量进行对比，然后计算出购物车内的总价，以使计算的总价更加的精确。

具体的，步骤S228还包括步骤S2281：获取购物车内商品的总重；

步骤S2282：将步骤S41获得的总重减去扫码前购物车内的重量，得到商品重量的变化；及

步骤S2283：将得到商品重量的变化与货架上被取走的商品进行比较，判断是否一致。

具体的，如图10B中所示，在判断到商品在扫码后被放入到购物车内后，获取购物车内商品的总重，然后将总重减去商品扫码前购物车内商品的重量，可得到购物车内商品重量的变化也即放入购物车内商品的重量。接着将该重量与步骤S1中得到的货架上被取走商品的单重进行比对，如果比对的结果一致，则判断从货架上取下的商品与放入购物车内的商品一致。反之，则判断为异常操作，购物车进行报警。

通过获取商品扫码后运动轨迹及货架重量与购物车重量之间的对比，可以准确的获取最终购物车内商品的总价。

请参阅图11，无人超市自助购物方法还包括步骤S2210，提供付款码，以使用户可以通过扫描付款码对购物车内的商品进行付款。

具体的，在生成购物车内商品的总价后，生成付款码，用户可以扫码付款码对购物车内的商品进行付款。

可以理解，生成付款码可以是在购物车上设置显示屏，以根据总结生成付款码，也可以是在购物车上贴上付款用的二维码，用户扫码后自行输入金额。

可以理解，步骤S223之后可以是步骤S224和/或步骤S2210、步骤S225-步骤S229、步骤S224-步骤S229、步骤S225-步骤S2210、步骤S224-步骤S2210中的一种。

本发明的第五实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行如上所述自助购物方法。

根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从信息传输模块上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的信息传输模块包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

与现有技术相比，本发明所述提供的一种无人超市自助购物方法、计算机可读存储介质及系统具有以下优点：

1.通过该商场购物方法，可实现在商场中自助购买商品，无需人工辅助，自主完成从进入商场-购买商品-支付-离开商场的整个流程。

2.通过匹配身份信息与商场内商品的变化，可以获取每个身份信息在商场内所购买的商品，从而自动生成购买商品的价格，便于用户支付。

3.通过设置具有称重功能的智能货架，可获取被拿取商品的重量，以对识别的匹配结果进行验证，增加匹配的精准度。

4.通过设置购物车，进一步对匹配结果进行验证，以进一步增加匹配的准确度，避免计价时产生误差。

本发明所提供的计算机可读存储介质及系统均具有如上的有益效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种无人超市自助购物方法，用于实现用户在商场内的自助购物，其特征在于：该方法包括步骤：

S1，获取身份信息；

S2，识别商场内商品的变化，并匹配与之对应的身份信息；及

S3，统计身份信息匹配的商品，获取身份信息对应购买的商品信息。

2.如权利要求1所述的一种无人超市自助购物方法，其特征在于：步骤S2包括：

步骤S21，记录商场内所有的商品状态；

步骤S22，识别商品状态发生变化时捕捉到的身份信息及发生变化的商品位置；及

步骤S23，匹配发生变化的商品及与之对应的身份信息。

3.如权利要求2所述的一种无人超市自助购物方法，其特征在于：步骤S22包括：

步骤S221，获取商场内实时的视频信息；

步骤S222，将视频信息以帧为单位转换为图片；及

步骤S223，将每帧图片依次与步骤S21中的图片对比，当发现对比结果不同时，识别该帧图片中的商品变化区域及变化的商品，并捕捉靠近该区域的身份信息，将该身份信息与变化的商品进行匹配。

4.如权利要求3所述的一种无人超市自助购物方法，其特征在于：步骤S223后还包括：

步骤S224，匹配发生变化的商品及与之对应的身份信息和/或

步骤S2210，提供付款码，以使用户可以通过扫描付款码对购物车内的商品进行付款。

5.如权利要求3或4所述的一种无人超市自助购物方法，其特征在于：步骤S223后还包括：

步骤S225，将身份信息与购物车进行绑定；

步骤S226，对商品扫码，获取每件扫码商品的商品信息，并记录所有经过扫码的商品；及

步骤S227，获取商品扫码后的视频，设定视频中的购物车区域，并捕捉视频中商品的运动轨迹，以判断商品是否被放入购物车内；

步骤S228：在判断商品被放入购物车后，获取购物车内的重量变化，并判断购物车内的重量变化是否与放入商品的单重一致；及

步骤S229：在判断重量变化一致后，根据经过扫码商品的商品信息计算购物车内的商品总价。

6.如权利要求5所述的一种无人超市自助购物方法，其特征在于：步骤S229还包括：

步骤S2210，提供付款码，以使用户可以通过扫描付款码对购物车内的商品进行付款。

7.如权利要求5所述的一种无人超市自助购物方法，其特征在于：步骤S227包括步骤：

步骤S2271，将获取的视频以每帧为单位转换为图片；

步骤S2272，以每张图片相同的位置为原点，在每张图片上建立坐标系；

步骤S2273，在坐标系中建立购物车区域；及

步骤S2274，识别每一张图片中商品在坐标系中的位置，当有图片中商品的位置处于购物车区域时，则判断商品被放入购物车内，当在坐标系内无法找到商品位置时，则判断用户的操作违规，购物车报警。

8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-7中任一项中所述商场购物方法。

9.一种无人超市自助购物系统，其特征在于：所述商场购物系统包括：

识别模块，用于获取身份信息，并识别商场内商品的变化；

服务器，用于接收识别模块获取的身份信息及商场内商品的变化，并将变化的商品与身份信息进行匹配。

10.如权利要求9所述的一种无人超市自助购物系统，其特征在于：

所述商场购物系统还包括退货模块、智能货架、及购物车；

所述退货模块用于在用户拿取商品后又失去购买欲望时，将拿取的商品退回；

所述智能货架投放于商场内，以实现对智能货架上的商品进行称重，从而与识别模块结合验证用户从商场内拿取商品的商品信息；

所述购物车包括称重模块、扫码模块及拍摄模块；所述称重模块用于称量购物车内的商品重量并传送至服务器，所述扫码模块用于扫描商品上的二维码，以获取商品信息并传送至服务器。所述摄像模块用于拍摄商品扫码后的运动视频，并将视频传送至服务器。

Images