[go: up one dir, main page]

CN109165992A - 一种智能导购方法、装置、系统及计算机存储介质 - Google Patents

一种智能导购方法、装置、系统及计算机存储介质 Download PDF

Info

Publication number
CN109165992A
CN109165992A CN201810779063.XA CN201810779063A CN109165992A CN 109165992 A CN109165992 A CN 109165992A CN 201810779063 A CN201810779063 A CN 201810779063A CN 109165992 A CN109165992 A CN 109165992A
Authority
CN
China
Prior art keywords
customer
image information
human body
shopping
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810779063.XA
Other languages
English (en)
Inventor
梁喆
周舒畅
何蔚然
朱雨
李广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810779063.XA priority Critical patent/CN109165992A/zh
Publication of CN109165992A publication Critical patent/CN109165992A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Recommending goods or services

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种智能导购方法、装置、系统及计算机存储介质。所述智能导购购物方法包括:获取顾客的实时图像信息;基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境;根据所述顾客的购物记录、人体属性和/或周边环境,向所述顾客推荐商品。根据本发明的方法、装置、系统及计算机存储介质,将图像识别技术与购物装置相结合,能够通过采集顾客的图像信息,从而建立起智能推荐或者导购服务,给商家带来潜在盈利机会,提升了顾客的购物体验。

Description

一种智能导购方法、装置、系统及计算机存储介质
技术领域
本发明涉及图像处理技术领域,更具体地涉及一种智能导购方法及装置。
背景技术
目前我国各种大型购物超市商品种类数以万计,伴随超市规模的扩大和消费者购物选择多元化,会遇到诸如无法快捷地在超市里准确找到想要购买的商品、对同类商品不同品牌的商品信息了解不充分、对智能购物车内购买商品的数量和价格明细不了解、购物高峰时期在交款台边排很长的队等待结算等等问题。现有智能购物车RFID读取附近商品,导致屏幕上会出现附近货架上几十或十几种商品目录,其本身对用户来讲从根本改变顾客购物习惯,导致选取时科目繁多选择错误率高,由于一次读取几十种商品反应速度势必减慢。
因此,现有技术中存在商场或者超市的购物车功能单一,只能用于盛装顾客的货物的问题。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种智能导购方法、装置、系统及计算机存储介质,能够通过采集顾客图像信息,从而建立起智能推荐或者导购服务,给商家带来潜在盈利机会,提升了顾客的购物体验。
根据本发明一方面,提供了一种智能导购方法,其特征在于,所述方法包括:
获取顾客的实时图像信息;
基于所述顾客的实时人脸图像确定所述顾客的购物记录、人体属性和/或周边环境;
根据所述顾客的购物记录、人体属性和/或周边环境人体属性,向所述顾客推荐商品。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境,包括:向服务器发送所述顾客的实时图像信息;接收所述服务器发送的所述顾客的购物记录、人体属性和/或周边环境,所述购物记录、人体属性和/或周边环境是所述服务器基于所述实时图像信息确定的。
示例性地,所述实时图像信息包括所述顾客的人脸图像信息;所述基于所述顾客的实时图像信息确定所述顾客的购物记录,包括:基于所述顾客的人脸图像信息进行身份识别,确定所述顾客的身份识别结果;根据所述身份识别结果查询所述顾客的购物记录。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的人体属性包括:基于所述顾客的人脸图像信息进行人脸属性识别,确定所述顾客的属性,所述顾客的人体属性包括性别、年龄、表情、妆容中的至少一种。
示例性地,所述实时图像信息还包括所述顾客的人体图像信息,所述基于所述顾客的实时图像信息确定所述顾客的人体属性,还包括:基于所述顾客的人体图像信息进行人体属性识别,确定所述顾客的人体属性,所述顾客的人体属性包括衣着、身高、动作姿态、是否穿戴特定物品中的至少一种。
示例性地,所述实时图像信息还包括所述顾客的背景图像信息,所述基于所述顾客的实时图像信息确定所述顾客的周边环境,包括:基于所述顾客的背景图像信息进行背景识别,确定所述顾客的周边环境。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则将该顾客的人脸图像信息存储到人脸底库,并储存该客户的本次购物记录。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则向顾客推荐预先指定的商品。
示例性地,所述向所述顾客推荐商品,包括:在显示屏上显示所述商品的信息,所述显示屏位于智能导购装置上。
示例性地,所述根据购买记录向顾客推荐商品的方法包括:将购物记录的商品分为消耗品和耐用品两大类,根据不同类别选择推荐策略。
示例性地,所述根据不同类别选择推荐策略的方法包括:当消耗品的商品购买时间超过第一预设值时,将相同及同类促销的商品加入推荐物品清单。
示例性地,所述根据不同类别选择推荐策略的方法还包括:根据耐用品的购物记录将关联类的商品加入推荐物品清单。
示例性地,所述智能导购方法还包括:获取所有注册顾客的图像信息,并基于所述注册顾客的图像信息建立人脸底库。
示例性地,所述向所述顾客推荐商品,包括:在显示屏上显示所述商品,所述显示屏位于智能导购装置上。
根据本发明另一方面,提供了一种智能导购装置,包括:
图像获取模块,用于获取顾客的实时图像信息;
顾客信息模块,基于顾客的实时人脸图像确定所述顾客的购物记录、人体属性和/或周边环境;
商品推荐模块,用于根据所述顾客的购物记录、人体属性和/或周边环境人体属性,向所述顾客推荐商品。
示例性地,所述图像获取模块可以进一步地包括:
图像信息接收模块,用于接收顾客的实时图像信息;
分帧模块,用于对所述顾客的实时图像信息中的视频数据进行视频图像分帧;
人脸检测模块,用于对所述图像信息接收模块输出的单帧图像或所述分帧模块输出的多帧图像中的每一帧进行人脸检测和跟踪,得到顾客的实时人脸图像;
获取判断模块,用于判断所述顾客的实时图像信息中是否含有人脸信息,如果有则进行下一步骤,否则继续获取顾客的实时图像信息。
示例性地,所述顾客信息模块还包括:人体属性模块,用于基于所述顾客的实时图像信息确定所述顾客的人体属性。
示例性地,所述人脸属性模块可以进一步地包括:人脸特征降维模块,用于生成顾客实时人脸特征后降低所述顾客人脸特征的维度。
示例性地,所述实时图像信息还包括所述顾客的背景图像信息,顾客信息模块还包括周边环境模块,用于基于所述背景图像信息进行背景识别,确定所述顾客的周边环境。
示例性地,所述顾客信息模块可以包括:通信模块,用于向服务器发送所述顾客的实时图像信息;接收所述服务器发送的所述顾客的购物记录、人体属性和/或周边环境,所述购物记录、人体属性和/或周边环境是所述服务器基于所述实时图像信息确定的。
示例性地,所述顾客信息模块可以包括:购物记录模块,用于基于所述顾客的人脸图像信息进行身份识别,确定所述顾客的身份识别结果;根据所述身份识别结果查询所述顾客的购物记录。
示例性地,所述顾客信息模块可以包括:存储介质模块,用于存储建立好的人脸底库、顾客的购物记录和人体属性。
示例性地,所述顾客信息模块可以进一步地包括:如果所述身份识别结果为无则所述顾客无购物记录;否则查询所述顾客的购物记录。
示例性地,所述商品推荐模块还可以进一步地包括:
信息获取模块,用于获取所述顾客的购物记录和/或人体属性;
商品推荐策略模块,用于根据所述顾客的购物记录和/或人体属性,向顾客推荐商品;
商品信息输出模块,用于输出所述推荐的商品。
示例性地,所述推荐商品包括推荐商品信息及其广告。
示例性地,商品推荐策略模块包括:如果没有获取到顾客的购物记录,则向顾客推荐预先指定的商品或根据所述顾客的人体属性和/或周边环境向所述顾客推荐商品;如果获取到顾客的购物记录,则根据所述顾客的购物记录、人体属性和/或周边环境向顾客推荐商品。
示例性地,所述根据购买记录向所述顾客推荐商品的方法包括:将购物记录的商品分为消耗品和耐用品两大类,根据不同类别选择推荐策略。因为消耗品和耐用品是消费习惯是不一样的,比如油盐酱醋、洗漱用品等消耗品短期内就会用完,用完还得再购买;而锅碗瓢盆等耐用品则长时间使用,用户短期内一般不会更换。
示例性地,所述根据不同类别选择推荐策略的方法包括:当消耗品的商品购买时间超过第一预设值时,将相同及同类促销的商品加入推荐物品清单。
根据本发明实施例的智能导购方法和装置,能够通过采集顾客图像信息,从而建立起智能推荐或者导购服务,给商家带来潜在盈利机会,提升了顾客的购物体验。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是用于实现根据本发明实施例的智能导购方法和装置的示例电子设备的示意性框图;
图2是根据本发明实施例的智能导购方法的示意性流程图;
图3是根据本发明实施例的智能导购装置的示意性框图;
图4是根据本发明实施例的智能导购系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。
首先,参考图1来描述用于实现本发明实施例的智能导购方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、图像传感器110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。在一个实施例中,所述图像传感器110设置于购物车上,用于采集顾客的实时图像信息。
示例性地,用于实现根据本发明实施例的智能导购方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑、门禁系统的视频采集端等。
下面,将参照图2描述根据本发明实施例的智能导购方法200。
首先,在步骤S210,获取顾客的实时图像信息;
在步骤S220,基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境。
在步骤S230,根据所述顾客的购物记录、人体属性和/或周边环境向所述顾客推荐商品。
可以根据购物记录、人体属性和周边环境三者中的任一种信息来向顾客推荐商品,也可以根据三者中的两种或三种的组合信息来向顾客推荐商品。在推荐商品时综合考虑以上多种信息,能够为顾客提供个性化的推荐服务,有利于提高顾客满意度以及推荐成功率。
示例性地,根据本发明实施例的智能导购方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本发明实施例的智能导购方法可以部署在图像采集端处,例如,可以部署在个人终端处,诸如智能导购装置、购物车等。
替代地,根据本发明实施例的智能导购方法还可以分布地部署在服务器端(或云端)和个人终端处。例如,图像采集设备将采集的实时图像传递至服务器端(或云端),可以在服务器端(或云端)生成实时人脸图像,服务器端(或云端)将所生成的实时人脸图像、人体图像和/或背景图像传递给个人终端,个人终端根据所接收的实时人脸图像、人体图像和/或背景图像进行智能导购。再例如,可以在服务器端(或云端)生成实时人脸图像、人体图像和/或背景图像,个人终端将图像传感器采集的视频信息以及非图像传感器采集的图像信息传递给服务器端(或云端),然后服务器端(或云端)进智能导购。
根据本发明实施例的智能导购方法,能够通过采集顾客图像信息,从而建立起智能推荐或者导购服务,给商家带来潜在盈利机会,提升了顾客的购物体验。
根据本发明实施例,所述智能导购方法在执行步骤210之前还进一步地包括:获取所有注册顾客的图像信息,并基于所述注册顾客的图像信息以建立人脸底库。
示例性地,所述建立人脸底库包括:获取包含注册顾客的人脸的注册顾客图像信息,对所述注册顾客图像信息进行预处理后,生成对应的注册顾客人脸图像,基于所述注册顾客人脸图像提取特征得到注册顾客人脸特征,并将所述注册顾客人脸图像及其对应的注册顾客人脸特征存储到人脸底库,或者将所述注册顾客人脸特征存储到人脸底库。
示例性地,所述人脸底库可以根据单个注册顾客或者多个注册顾客分别建立,在多个注册顾客的情况下,每个顾客拥有对应自己的单独的脸部图像特征库。所述人脸底库中包括所述注册顾客人脸图像和/或对应的注册顾客人脸特征,所述注册顾客人脸图像和/或对应的注册顾客人脸特征可以称为人脸底图。
示例性地,所述注册顾客图像信息包括单帧图像或连续的多帧图像或不连续的任意选定的多帧图像。
示例性地,所述注册顾客人脸图像是通过对所述注册顾客图像信息进行人脸检测和人脸跟踪处理所确定的包含有注册顾客人脸的图像帧。具体的,可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测方法在包含目标人脸的起始图像帧中确定该目标人脸的大小和位置,随后基于目标人脸的颜色信息、局部特征、或运动信息等对该目标人脸进行跟踪,从而确定视频中包含有目标人脸的各帧图像。上述通过人脸检测和人脸跟踪确定包含有目标人脸的图像帧的处理是图像处理领域中的常见处理,此处不再对其进行详细描述。
根据本发明实施例,步骤210可以进一步地包括:获取顾客的实时图像信息,判断所述实时图像信息中是否含有人脸信息,如果有则进行下一步骤,否则继续获取顾客的实时图像信息。
示例性地,所述判断所述实时图像信息中是否含有人脸信息是通过对所述顾客的实时图像信息进行人脸检测和人脸跟踪处理所确定的包含有顾客人脸的图像帧。通过人脸检测和人脸跟踪确定包含有目标人脸的图像帧的处理是图像处理领域中的常见处理,此处不再对其进行详细描述。
示例性地,所述顾客的实时图像信息包括人脸图像信息,所述人脸图像信息包括人脸图像和/或根据所述人脸图像提取的人脸特征。
示例性地,所述顾客的实时图像信息还可以是图像采集设备拍摄到的原始图像,也可以经过预处理之后的图像,还可以是从拍摄到的原始图像中抠出来的人脸图像和/或人体图像,还可以是经神经网络提取出的人脸特征和/或人体特征。示例性地,所述实时图像信息还可以包括顾客的背景图像信息,该背景图像信息能够指示顾客所在的位置或顾客所在位置处的商品类别。
根据本发明实施例,步骤220可以进一步地包括:所述基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境,包括:
向服务器发送所述顾客的实时图像信息;
接收所述服务器发送的所述顾客的购物记录、人体属性和/或周边环境,所述购物记录、人体属性和/或周边环境是所述服务器基于所述实时图像信息确定的。
根据本发明实施例,所述实时图像信息包括所述顾客的人脸图像信息。相应地,步骤220可以包括:所述基于所述顾客的实时图像信息确定所述顾客的购物记录,包括:基于所述顾客的人脸图像信息进行身份识别,确定所述顾客的身份识别结果;根据所述身份识别结果查询所述顾客的购物记录。
示例性地,所述人体属性包括所述顾客的性别、年龄、表情、发型中的至少一项(通过人脸属性识别得到);可选地,还可以包括衣着、身高、是否带眼镜、是否戴帽子、是否抽烟、是否背包、是否穿戴特定物品、动作姿态等中的至少一项(通过人体属性识别得到);其中,特定物品可以是饰品,或标志物件(例如徽章)等。
在一个实施例中,所述实时图像信息还包括所述顾客的背景图像信息。相应地,步骤220中,所述基于所述顾客的实时图像信息确定所述顾客的周边环境,包括:基于所述顾客的背景图像信息进行背景识别,确定所述顾客的周边环境。通过确定顾客的周边环境,能够更加方便的推荐顾客可能感兴趣的商品。例如,如果顾客位于水果区或者顾客的背景图像中出现了水果,则可以向顾客推荐水果。在一个实施例中,图像采集装置设置在智能购物车上,采集顾客的实时图像信息,智能购物车将该实时图像信息发送给服务器,由服务器进行身份识别、人体属性识别和/或背景识别。
在一个实施例中,图像采集装置设置在智能购物车上以采集顾客的实时图像信息,由智能购物车自己进行人脸属性识别和/或人体属性识别。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的购物记录,还可以包括:根据所述顾客的实时图像信息生成所述实时人脸特征后降低所述实时人脸特征的维度;将所述降低维度后的实时人脸特征在人脸底库中进行比对,以加快比对的速度。
示例性地,所述特征提取可以采用诸如LBP(局部二值模式)、HoG(方向梯度直方图)、PCA(主成分分析法)或者神经网络等各种适当的人脸特征提取方法来进行特征提取并生成所述多个特征向量。可选的,对于所述人脸图片序列中的每一帧图像中的目标人脸均采用相同的特征提取方法生成特征向量。下面仅仅是为了说明的完整性,对本实施例中所采用的人脸特征提取方法进行简单的说明。
在一个实施例中,采用基于卷积神经网络的特征提取方法对视频中的人脸图片序列中的目标人脸进行特征提取以生成分别与所述人脸图片序列中的目标人脸对应的多个特征向量。例如,首先对于所述人脸图片序列中的每一帧图像,确定其中与目标人脸对应的人脸图像区域;随后,对该人脸图像区域基于卷积神经网络进行特征提取,以生成与该帧图像中的目标人脸对应的一个特征向量。此处,可以将该人脸图像区域作为一个整体进行特征提取,也可以在该人脸图像区域的不同子图像区域中分别进行特征提取。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的购物记录,还可以包括:将顾客实时人脸特征在人脸底库中进行比对,得到若干相似度得分;根据所述相似度得分与识别阈值得到身份识别结果。
示例性地,如果所述若干相似度得分均小于识别阈值,则得到身份识别结果为无;如果所述若干相似度得分中的至少一个大于或等于识别阈值则大于或等于识别阈值的相似度得分为高相似度得分,由所述至少一个高相似度得分确定所述身份识别结果。。
在一个实施例中,所述由至少一个高相似度得分确定所述身份识别结果包括:选择相似度得分最高的人脸图像或人脸所对应的顾客信息作为身份识别结果。
在一个实施例中,所述由至少一个高相似度得分确定所述身份识别结果包括:通过输入装置接收用户在在多个高相似度得分的人脸图像或人脸中的选择,根据用户的选择确定所述身份识别结果。
示例性地,所述身份识别结果包括顾客的ID、名称、身份证号中的至少一个。进一步地,所述身份识别结果还可以包括顾客的人脸图像和/或人脸特征。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的购物记录,可以包括:将顾客实时人脸特征在人脸底库中进行比对,得到对比结果;根据所述对比结果与识别阈值得到身份识别结果。
在一个实施例中,所述对比结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
在一个实施例中,所述对比结果是指顾客实时人脸特征在人脸底库中进行对比时,相似度最高的那张人脸底图的人脸ID。在一个实施例中,对比结果以及人脸底图可以使用ID进行表示,例如数字编号0123表示在包含10000张人脸底图的人脸底库中,人脸ID为0123的底图。当待识别的人脸特征在人脸底库中进行对比时,返回对比结果,可以是对应的人脸ID号码。
在一个实施例中,还可以进一步地包括:如果所述对比结果在人脸底库中搜索的相似度得分小于识别阈值,则得到身份识别结果为无;如果相似度得分大于或等于识别阈值则得到身份识别结果为对比结果。在一个实施例中,满分为100分时,投票阈值为90分。
步骤220还可以进一步地包括:如果所述身份识别结果为无则所述顾客无购物记录;否则查询所述顾客的购物记录。
示例性地,如果所述顾客无购物记录且无身份识别结果,则将该顾客的人脸特征及相关信息存储到人脸底库,并储存该客户的本次购物记录;如果所述顾客无购物记录但有身份识别结果,则储存该客户的本次购物记录。
根据本发明实施例,步骤230可以进一步地包括:如果顾客无购物记录,则向顾客推荐预先指定的商品或根据所述顾客的人体属性向所述顾客推荐商品。
示例性地,如果顾客有购物记录,则根据购物记录和/或所述顾客的人体属性向顾客推荐商品。
示例性地,所述推荐商品包括推荐商品信息(例如名称、功能、售价、是否有活动等)及其广告。
示例性地,所述根据购物记录向所述顾客推荐商品的方法包括:将购物记录的商品分为消耗品和耐用品两大类,根据不同类别选择推荐策略。因为消耗品和耐用品是消费习惯是不一样的,比如油盐酱醋、洗漱用品等消耗品短期内就会用完,用完还得再购买;而锅碗瓢盆等耐用品则长时间使用,用户短期内一般不会更换。
示例性地,所述根据不同类别选择推荐策略的方法包括:当消耗品的商品购买时间超过第一预设值时,将相同及同类促销的商品加入推荐物品清单。根据时间来推荐消耗品可以精准把握用户的消费习惯,推荐的商品更符合用户需求。
在一个实施例中,从顾客的历史购物记录来看,客户一般每半个月左右都要购买10公斤的大米,那么就可以把15天作为大米这种商品的第一预设值,当顾客距离上次购买大米超过半个月,当客户过来购物时就可以推荐大米给用户,提醒用户购买大米。进一步地,还可以根据顾客购买的品牌型号来推荐特定的大米。
示例性地,所述根据不同类别选择推荐策略的方法还包括:根据耐用品的购物记录将关联类的商品加入推荐物品清单。例如,很多耐用品之间是具有强关联性的,必然炒锅和锅铲,沙煲和勺子,煤气灶和抽油烟机等等,而顾客可能买完一个商品后就回去了,忘记购买相关的商品,还得来回跑几趟才能购置齐全。顾客购买一个耐用品后推荐其他未购买的关联商品,让用户的购物更有效率。
根据本发明实施例,步骤230可以进一步地包括:所述向所述顾客推荐商品,包括:显示或播放所述商品的信息。
示例性地,显示所述商品包括:在显示装置(例如显示屏)上显示所述商品的信息,所述显示装置位于智能导购装置上。
示例性地,播放所述商品包括:通过语音播放装置(例如扬声器)所述商品的信息,所述语音播放装置位于智能导购装置上。
图3示出了根据本发明实施例的智能导购装置300的示意性框图。
如图3所示,根据本发明实施例的智能导购装置300包括图像获取模块310、顾客信息模块320、商品推荐模块330。
图像获取模块310,用于获取顾客的实时图像信息;
顾客信息模块320,基于所述顾客的实时图像信息确定所述顾客的购物记录和/或人体属性;
商品推荐模块330,根据所述顾客的购物记录、人体属性和/或周边环境,向所述顾客推荐商品。
根据本发明实施例的智能导购装置300,能够通过采集顾客图像信息,从而建立起智能推荐或者导购服务,给商家带来潜在盈利机会,提升了顾客的购物体验。
根据本发明实施例,所述图像获取模块310可以进一步地包括:
图像信息接收模块,用于接收包括顾客的实时图像信息;
分帧模块,用于对所述顾客的实时图像信息中的视频数据进行视频图像分帧;
人脸检测模块,用于对所述图像信息接收模块输出的单帧图像或所述分帧模块输出的多帧图像中的每一帧进行人脸检测和跟踪,得到顾客的实时人脸图像;
获取判断模块,用于判断所述顾客的实时图像信息中是否含有人脸信息,如果有则进行下一步骤,否则继续获取顾客的实时图像信息。
示例性地,所述判断所述实时图像信息中是否含有人脸信息是人脸检测模块通过对图像信息接收模块输出的单帧图像或分帧模块输出每帧图像进行人脸检测和人脸跟踪处理所确定的包含有目标人脸的图像帧。具体的,人脸检测模块可以通过诸如模板匹配、SVM(支持向量机)、神经网络等各种本领域中常用的人脸检测方法在包含目标人脸的起始图像帧中确定该目标人脸的大小和位置,随后基于目标人脸的颜色信息、局部特征、或运动信息等对该目标人脸进行跟踪,从而确定视频中包含有目标人脸的各帧图像。上述通过人脸检测和人脸跟踪确定包含有目标人脸的图像帧的处理是图像处理领域中的常见处理,此处不再对其进行详细描述。
示例性地,所述顾客的实时图像信息包括单帧图像或连续的多帧图像或不连续的任意选定的多帧图像。
示例性地,所述顾客的实时图像信息包括人脸图像信息,所述人脸图像信息包括人脸图像和/或根据所述人脸图像提取的人脸特征。
示例性地,所述顾客的实时图像信息还可以是图像采集设备拍摄到的原始图像,也可以经过预处理之后的图像,还可以是从拍摄到的原始图像中抠出来的人脸图像和/或人体图像,还可以是经神经网络提取出的人脸特征和/或人体特征。
根据本发明实施例,所述顾客信息模块320可以包括:
人体属性模块321,用于基于所述顾客的实时图像信息确定所述顾客的人体属性。
示例性地,所述人体属性包括所述顾客的性别、年龄、表情、发型中的至少一项(通过人脸属性识别得到);可选地,还可以包括衣着、身高、是否带眼镜、是否戴帽子、是否抽烟、是否背包、是否穿戴特定物品、动作姿态等中的至少一项(通过人体属性识别得到);其中,特定物品可以是饰品,或标志物件(例如徽章)等。其中,所述人脸属性识别和人体属性识别均属于本领域的常见处理,此处不再对其进行详细描述。
在一个实施例中,所述实时图像信息还包括所述顾客的背景图像信息,顾客信息模块320还包括周边环境模块(图中未示出),用于基于所述背景图像信息进行背景识别,确定所述顾客的周边环境。
在一个实施例中,图像采集装置设置在智能购物车上以采集顾客的实时图像信息,由智能购物车自己进行身份识别、人体属性识别和/或背景识别。
示例性地,所述人脸属性模块321可以进一步地包括:人脸特征降维模块,用于生成顾客实时人脸特征后降低所述顾客人脸特征的维度。
根据本发明实施例,所述顾客信息模块320可以包括:
通信模块322,用于向服务器发送所述顾客的实时图像信息;接收所述服务器发送的所述顾客的购物记录、人体属性和/或周边环境,所述购物记录、人体属性和/或周边环境是所述服务器基于所述实时图像信息确定的。
在一个实施例中,图像采集装置设置在智能购物车上,采集顾客的实时图像信息,智能购物车将该实时图像信息发送给服务器,由服务器进行身份识别、人体属性识别和/或背景识别。
根据本发明实施例,所述顾客信息模块320可以进一步地包括:
购物记录模块323,用于基于所述顾客的人脸图像信息进行身份识别,确定所述顾客的身份识别结果;根据所述身份识别结果查询所述顾客的购物记录。
示例性地,所述购物记录模块323还可以包括:将顾客实时人脸特征在人脸底库中进行比对,得到若干相似度得分;根据所述相似度得分与识别阈值得到身份识别结果。
示例性地,如果所述若干相似度得分均小于识别阈值,则得到身份识别结果为无;如果所述若干相似度得分中的至少一个大于或等于识别阈值则大于或等于识别阈值的相似度得分为高相似度得分,由所述至少一个高相似度得分确定所述身份识别结果。
在一个实施例中,所述由至少一个高相似度得分确定所述身份识别结果包括:选择相似度得分最高的人脸图像或人脸所对应的顾客信息作为身份识别结果。
示例性地,所述身份识别结果包括顾客的ID、名称、身份证号中的至少一个。进一步地,所述身份识别结果还可以包括顾客的人脸图像和/或人脸特征。
示例性地,所述购物记录模块323还可以包括:将顾客实时人脸特征在人脸底库中进行比对,得到对比结果;根据所述对比结果与识别阈值得到身份识别结果。
在一个实施例中,所述对比结果是指所述实时人脸特征在人脸底库中进行搜索比对得到的相似度得分最高的结果。
在一个实施例中,所述对比结果是指顾客实时人脸特征在人脸底库中进行对比时,相似度最高的那张人脸底图的人脸ID。在一个实施例中,对比结果以及人脸底图可以使用ID进行表示,例如数字编号0123表示在包含10000张人脸底图的人脸底库中,人脸ID为0123的底图。当待识别的人脸特征在人脸底库中进行对比时,返回对比结果,可以是对应的人脸ID号码。
在一个实施例中,还可以进一步地包括:如果所述对比结果在人脸底库中搜索的相似度得分小于识别阈值,则得到身份识别结果为无;如果相似度得分大于或等于识别阈值则得到身份识别结果为对比结果。在一个实施例中,满分为100分时,投票阈值为90分。
根据本发明实施例,所述顾客信息模块320可以进一步地包括:
存储介质模块324,用于存储建立好的人脸底库、顾客的购物记录和人体属性。
示例性地,存储介质模块324还可以进一步地包括:所述购物记录和人体属性分别与所述人脸底库中的顾客相对应。
示例性地,所述人脸底库可以根据单个注册顾客或者多个注册顾客分别建立,在多个注册顾客的情况下,每个注册顾客拥有对应自己的单独的脸部图像特征库。
根据本发明实施例,所述顾客信息模块320可以进一步地用于:如果所述身份识别结果为无则所述顾客无购物记录;否则查询所述顾客的购物记录。
示例性地,如果所述顾客无购物记录且无身份识别结果,则将该顾客的人脸特征及相关信息存储到人脸底库,并储存该客户的本次购物记录到存储介质模块324;如果所述顾客无购物记录但有身份识别结果,则储存该客户的本次购物记录存储介质模块324。
根据本发明实施例,所述商品推荐模块330还可以进一步地包括:
信息获取模块,用于获取所述顾客的购物记录和/或人体属性;
商品推荐策略模块,用于根据所述顾客的购物记录和/或人体属性选择不同的商品推荐策略向顾客推荐商品;
商品信息输出模块,用于输出所述推荐的商品及其广告。
示例性地,商品推荐策略模块包括:如果顾客无购物记录,则向顾客推荐预先指定的商品或根据所述顾客的人体属性和/或周边环境向所述顾客推荐商品;如果顾客有购物记录,则根据购物记录、人体属性和/或周边环境向顾客推荐商品。
示例性地,所述推荐商品包括推荐商品信息(例如名称、功能、售价、是否有活动等)及其广告。
示例性地,所述商品推荐策略模块还包括:将购物记录的商品分为消耗品和耐用品两大类,根据不同类别选择推荐策略。因为消耗品和耐用品是消费习惯是不一样的,比如油盐酱醋、洗漱用品等消耗品短期内就会用完,用完还得再购买;而锅碗瓢盆等耐用品则长时间使用,用户短期内一般不会更换。
示例性地,所述根据不同类别选择推荐策略的方法包括:当消耗品的商品购买时间超过第一预设值时,将相同及同类促销的商品加入推荐物品清单。根据时间来推荐消耗品可以精准把握用户的消费习惯,推荐的商品更符合用户需求。
在一个实施例中,从顾客的历史购物记录来看,客户一般每半个月左右都要购买10公斤的大米,那么就可以把15天作为大米这种商品的第一预设值,当顾客距离上次购买大米超过半个月,当客户过来购物时就可以推荐大米给用户,提醒用户购买大米。进一步地,还可以根据顾客购买的品牌型号来推荐特定的大米。
示例性地,所述根据不同类别选择推荐策略的方法还包括:根据耐用品的购物记录将关联类的商品加入推荐物品清单。例如,很多耐用品之间是具有强关联性的,必然炒锅和锅铲,沙煲和勺子,煤气灶和抽油烟机等等,而顾客可能买完一个商品后就回去了,忘记购买相关的商品,还得来回跑几趟才能购置齐全。顾客购买一个耐用品后推荐其他未购买的关联商品,让用户的购物更有效率。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图4示出了根据本发明实施例的智能导购系统400的示意性框图。智能导购系统400包括图像传感器410、存储装置430、以及处理器440。
图像传感器410用于采集图像信息。
所述存储装置430存储用于实现根据本发明实施例的智能导购方法中的相应步骤的程序代码。
所述处理器440用于运行所述存储装置430中存储的程序代码,以执行根据本发明实施例的智能导购方法的相应步骤,并且用于实现根据本发明实施例的智能导购装置中的图像获取模块310、顾客信息模块320、商品推荐模块330。
在一个实施例中,在所述程序代码被所述处理器440运行时执行以下步骤:
获取顾客的实时图像信息;
基于所述顾客的实时人脸图像确定所述顾客的购物记录、人体属性和/或周边环境;
根据所述顾客的购物记录、人体属性和/或周边环境,向所述顾客推荐商品。
此外,在所述程序代码被所述处理器440运行时还执行以下步骤:
示例性地,
所述基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境,包括:
向服务器发送所述顾客的实时图像信息;
接收所述服务器发送的所述顾客的购物记录、人体属性和/或周边环境,所述购物记录、人体属性和/或周边环境是所述服务器基于所述实时图像信息确定的。
示例性地,所述实时图像信息包括所述顾客的人脸图像信息;
所述基于所述顾客的实时图像信息确定所述顾客的购物记录,包括:基于所述顾客的人脸图像信息进行身份识别,确定所述顾客的身份识别结果;根据所述身份识别结果查询所述顾客的购物记录。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的人体属性包括:
基于所述顾客的人脸图像信息进行人脸属性识别,确定所述顾客的属性,所述顾客的人体属性包括性别、年龄、表情、妆容中的至少一种。
示例性地,所述实时图像信息还包括所述顾客的人体图像信息,
所述基于所述顾客的实时图像信息确定所述顾客的购物记录人体属性,还包括:
基于所述顾客的人体图像信息进行人体属性识别,确定所述顾客的人体属性,所述顾客的人体属性包括衣着、身高、动作姿态、是否穿戴特定物品中的至少一种。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则将该顾客的人脸特征及相关信息存储到人脸底库,并储存该客户的本次购物记录。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的人体属性包括:基于所述顾客的人脸图像信息进行人脸属性识别,确定所述顾客的属性,所述顾客的人体属性包括性别、年龄、表情、妆容中的至少一种。
示例性地,所述实时图像信息包括所述顾客的人体图像信息,所述基于所述顾客的实时图像信息确定所述顾客的购物记录人体属性,还包括:基于所述顾客的人体图像信息进行人体属性识别,确定所述顾客的人体属性,所述顾客的人体属性包括衣着、身高、动作姿态、是否穿戴特定物品中的至少一种。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则将该顾客的人脸特征及相关信息存储到人脸底库,并储存该客户的本次购物记录。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则向顾客推荐预先指定的商品。
示例性地,所述根据购买记录向顾客推荐商品的方法包括:将购物记录的商品分为消耗品和耐用品两大类,根据不同类别选择推荐策略。
示例性地,所述根据不同类别选择推荐策略的方法包括:当消耗品的商品购买时间超过第一预设值时,将相同及同类促销的商品加入推荐物品清单。
示例性地,所述根据不同类别选择推荐策略的方法还包括:根据耐用品的购物记录将关联类的商品加入推荐物品清单。
示例性地,所述智能导购方法还包括:获取所有注册顾客的图像信息,并基于所述注册顾客的图像信息建立人脸底库。
示例性地,所述向所述顾客推荐商品,包括:在显示屏上显示所述商品的信息,所述显示屏位于智能导购装置上。
示例性地,所述智能导购系统400还包括用于存储由图像传感器410采集的图像数据,包括视频数据和非视频数据。
示例性地,所述视频数据的存储方式可以包括以下存储方式之一:本地(local)存储、数据库存储、分布式文件系统(hdfs)存储以及远程存储,存储服务地址可以包括服务器IP和服务器端口。其中,本地存储是指将智能导购系统所接收的视频数据在系统本地;数据库存储是指将智能导购系统所接收的视频数据保存在系统的数据库中,数据库存储需要在智能导购系统上安装相应的数据库;分布式文件系统存储是指将智能导购系统所接收的视频数据保存在分布式文件系统中,分布式文件系统存储需要在智能导购系统上安装分布式文件系统;远程存储是指将智能导购系统所接收的视频数据交由其他存储服务进行存储。在其他示例中,所配置的存储方式也可以包括其他任何合适类型的存储方式,本发明对此不作限制。
示例性地,在上述对视频数据进行存取时,可以以流的形式进行。例如,可以采用二进制流的传输方式实现对视频数据的存取。所述智能导购系统400以流的形式发送文件后,存储服务获取到文件流时,开始保存文件。不同于读入内存的方式,两端的交互存取将会以流的形式快速进行,不需要等待任何一方将文件读入内存后再进行发送。同理,所述智能导购系统400从存储服务获取文件时,也是使用此种方式。存储服务将文件以流的形式传输到所述智能导购系统400,并不是读入内存再发送。当文件流传输不完整,两端连接断掉时,双方服务会引发异常,服务进行捕获,此时可在等待若干时间例如几秒后尝试重新获取或存储文件。以流的方式进行文件的存取可以实现高效快速的文件存取。
此外,根据本发明实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本发明实施例的智能导购方法的相应步骤,并且用于实现根据本发明实施例的智能导购装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合,例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码,另一个计算机可读存储介质包含用于进行智能导购的计算机可读的程序代码。
在一个实施例中,所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的智能导购装置的各个功能模块,并且/或者可以执行根据本发明实施例的智能导购方法。
在一个实施例中,所述计算机程序指令在被计算机运行时执行以下步骤:获取顾客的实时图像信息;基于所述顾客的实时人脸图像确定所述顾客的购物记录、人体属性和/或周边环境;根据所述顾客的购物记录、人体属性和/或周边环境,向所述顾客推荐商品。
此外,所述计算机程序指令在被计算机运行时还执行以下步骤:
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的购物记录和/或人体属性,包括:
向服务器发送所述顾客的实时图像信息;
接收所述服务器发送的所述顾客的购物记录和/或人体属性,所述购物记录和所述人体属性是所述服务器基于所述实时图像信息确定的。
示例性地,所述实时图像信息包括所述顾客的人脸图像信息;所述基于所述顾客的实时图像信息确定所述顾客的购物记录,包括:基于所述顾客的人脸图像信息进行身份识别,确定所述顾客的身份识别结果;根据所述身份识别结果查询所述顾客的购物记录。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的人体属性包括:
基于所述顾客的人脸图像信息进行人脸属性识别,确定所述顾客的属性,所述顾客的人体属性包括性别、年龄、表情、妆容中的至少一种。
示例性地,所述实时图像信息包括所述顾客的人体图像信息,所述基于所述顾客的实时图像信息确定所述顾客的购物记录人体属性,还包括:
基于所述顾客的人体图像信息进行人体属性识别,确定所述顾客的人体属性,所述顾客的人体属性包括衣着、身高、动作姿态、是否穿戴特定物品中的至少一种。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则将该顾客的人脸特征及相关信息存储到人脸底库,并储存该客户的本次购物记录。
示例性地,所述基于所述顾客的实时图像信息确定所述顾客的人体属性包括:基于所述顾客的人脸图像信息进行人脸属性识别,确定所述顾客的属性,所述顾客的人体属性包括性别、年龄、表情、妆容中的至少一种。
示例性地,所述实时图像信息包括所述顾客的人体图像信息,所述基于所述顾客的实时图像信息确定所述顾客的购物记录人体属性,还包括:基于所述顾客的人体图像信息进行人体属性识别,确定所述顾客的人体属性,所述顾客的人体属性包括衣着、身高、动作姿态、是否穿戴特定物品中的至少一种。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则将该顾客的人脸特征及相关信息存储到人脸底库,并储存该客户的本次购物记录。
示例性地,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则向顾客推荐预先指定的商品。
示例性地,所述根据购买记录向顾客推荐商品的方法包括:将购物记录的商品分为消耗品和耐用品两大类,根据不同类别选择推荐策略。
示例性地,所述根据不同类别选择推荐策略的方法包括:当消耗品的商品购买时间超过第一预设值时,将相同及同类促销的商品加入推荐物品清单。
示例性地,所述根据不同类别选择推荐策略的方法还包括:根据耐用品的购物记录将关联类的商品加入推荐物品清单。
示例性地,所述智能导购方法还包括:获取所有注册顾客的图像信息,并基于所述注册顾客的图像信息建立人脸底库。
示例性地,所述向所述顾客推荐商品,包括:在显示屏上显示所述商品,所述显示屏位于智能导购装置上。
根据本发明实施例的智能导购系统中的各模块可以通过根据本发明实施例的智能导购的电子设备的处理器运行在存储器中存储的计算机程序指令来实现,或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的智能导购方法及装置、智能导购设备以及存储介质,将图像识别技术与购物车相结合,则能够通过采集顾客图像信息,从而建立起智能推荐或者导购服务,给商家带来潜在盈利机会,提升了顾客的购物体验。
本发明实施例还提供了一种智能导购车,该智能导购车包括:
购物车;以及,
安装在所述购物车上的如图3描述的智能导购装置或如图4描述的智能导购系统。
根据本发明实施例的智能导购车,能够在顾客购物时为顾客提供个性化的推荐服务,有利于提升顾客的购物体验。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种智能导购方法,其特征在于,所述智能导购方法包括:
获取顾客的实时图像信息;
基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境;
根据所述顾客的购物记录、人体属性和/或周边环境,向所述顾客推荐商品。
2.如权利要求1所述的智能导购方法,其特征在于,
所述基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境,包括:
向服务器发送所述顾客的实时图像信息;
接收所述服务器发送的所述顾客的购物记录、人体属性和/或周边环境,所述购物记录、所述人体属性和/或所述周边环境是所述服务器基于所述实时图像信息确定的。
3.如权利要求1所述的智能导购方法,其特征在于,
所述实时图像信息包括所述顾客的人脸图像信息;
所述基于所述顾客的实时图像信息确定所述顾客的购物记录,包括:
基于所述顾客的人脸图像信息进行身份识别,确定所述顾客的身份识别结果;
根据所述身份识别结果查询所述顾客的购物记录。
4.如权利要求3所述的智能导购方法,其特征在于,所述基于所述顾客的实时图像信息确定所述顾客的人体属性包括:
基于所述顾客的人脸图像信息进行人脸属性识别,确定所述顾客的人体属性,所述顾客的人体属性包括性别、年龄、表情、妆容中的至少一种。
5.如权利要求3或4所述的智能导购方法,其特征在于,
所述实时图像信息还包括所述顾客的人体图像信息,
所述基于所述顾客的实时图像信息确定所述顾客的人体属性,还包括:
基于所述顾客的人体图像信息进行人体属性识别,确定所述顾客的人体属性,所述顾客的人体属性包括衣着、身高、动作姿态、是否穿戴特定物品中的至少一种。
6.如权利要求3或4所述的智能导购方法,其特征在于,
所述实时图像信息还包括所述顾客的背景图像信息,
所述基于所述顾客的实时图像信息确定所述顾客的周边环境,包括:
基于所述顾客的背景图像信息进行背景识别,确定所述顾客的周边环境。
7.如权利要求3所述的智能导购方法,其特征在于,所述智能导购方法还包括:如果没有获取到所述顾客的购物记录,则将该顾客的人脸图像信息存储到人脸底库,并储存该客户的本次购物记录;和/或,如果没有获取到所述顾客的购物记录,则向顾客推荐预先指定的商品。
8.如权利要求1或2所述的智能导购方法,其特征在于,所述根据购买记录向顾客推荐商品的方法包括:将购物记录的商品分为消耗品和耐用品两大类,根据不同类别选择推荐策略。
9.如权利要求8所述的智能导购方法,其特征在于,所述根据不同类别选择推荐策略的方法包括:当消耗品的商品购买时间超过第一预设值时,将相同及同类促销的商品加入推荐物品清单;和/或,根据耐用品的购物记录将关联类的商品加入推荐物品清单。
10.如权利要求1或2所述的智能导购方法,其特征在于,所述智能导购方法还包括:获取所有注册顾客的图像信息,并基于所述注册顾客的图像信息建立人脸底库。
11.如权利要求1或2所述的智能导购方法,其特征在于,所述向所述顾客推荐商品,包括:
在显示屏上显示所述商品的信息,所述显示屏位于智能导购装置上。
12.一种智能导购装置,其特征在于,所述智能导购装置包括:
图像获取模块,用于获取顾客的实时图像信息;
顾客信息模块,用于基于所述顾客的实时图像信息确定所述顾客的购物记录、人体属性和/或周边环境;
商品推荐模块,用于根据所述购物记录、人体属性和/或周边环境向所述顾客推荐商品。
13.一种智能导购系统,包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
14.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被计算机执行时实现权利要求1至11中任一项所述方法的步骤。
15.一种智能导购车,其特征在于,包括:
购物车;以及,
安装在所述购物车上的如权利要求12所述的智能导购装置或如权利要求13所述的智能导购系统。
CN201810779063.XA 2018-07-16 2018-07-16 一种智能导购方法、装置、系统及计算机存储介质 Pending CN109165992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810779063.XA CN109165992A (zh) 2018-07-16 2018-07-16 一种智能导购方法、装置、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810779063.XA CN109165992A (zh) 2018-07-16 2018-07-16 一种智能导购方法、装置、系统及计算机存储介质

Publications (1)

Publication Number Publication Date
CN109165992A true CN109165992A (zh) 2019-01-08

Family

ID=64897864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810779063.XA Pending CN109165992A (zh) 2018-07-16 2018-07-16 一种智能导购方法、装置、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN109165992A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109817217A (zh) * 2019-01-17 2019-05-28 深圳壹账通智能科技有限公司 基于语音识别的自助贩卖方法、装置、设备及介质
CN110070669A (zh) * 2019-04-29 2019-07-30 东莞市糖酒集团美宜佳便利店有限公司 一种贩卖机出货方法
CN110070395A (zh) * 2019-04-19 2019-07-30 优估(上海)信息科技有限公司 一种辅助车辆销售的系统、方法及装置
CN110097400A (zh) * 2019-04-29 2019-08-06 贵州小爱机器人科技有限公司 信息推荐方法、装置及系统、存储介质、智能交互设备
CN110135906A (zh) * 2019-05-14 2019-08-16 赵东 一种能够导购和精准推送的智能柜台
CN110197399A (zh) * 2019-05-22 2019-09-03 苏州工业职业技术学院 一种绿色茶饮导引系统
CN110415048A (zh) * 2019-08-06 2019-11-05 即悟(上海)智能科技有限公司 一种广告推荐方法、设备、系统、计算机设备及存储介质
CN111309230A (zh) * 2020-02-19 2020-06-19 北京声智科技有限公司 信息展示方法、装置、电子设备及计算机可读存储介质
CN111582964A (zh) * 2019-02-18 2020-08-25 宏碁股份有限公司 智能商场系统及应用该系统的控制方法
CN111652620A (zh) * 2020-04-15 2020-09-11 珠海小礼鱼科技有限公司 一种智能终端交互系统
CN111784372A (zh) * 2019-04-03 2020-10-16 Tcl集团股份有限公司 门店商品推荐方法及设备
CN111784405A (zh) * 2020-07-10 2020-10-16 大连中维世纪科技有限公司 基于人脸智能识别knn算法的线下门店智能导购方法
CN111967943A (zh) * 2020-08-20 2020-11-20 渭南双盈未来科技有限公司 一种智能购物系统
CN111967942A (zh) * 2020-08-20 2020-11-20 渭南双盈未来科技有限公司 一种智能购物方法
CN112348299A (zh) * 2019-08-09 2021-02-09 上海红星美凯龙悦家互联网科技有限公司 商业场所内基于画像的人员管理方法、装置、终端、及介质
CN112348607A (zh) * 2019-08-09 2021-02-09 上海红星美凯龙悦家互联网科技有限公司 商业场所内基于画像的导购方法、终端、装置、介质、及系统
CN112348543A (zh) * 2019-08-09 2021-02-09 上海红星美凯龙悦家互联网科技有限公司 商业场所内的智能导购方法、装置、终端、介质、系统
CN112927055A (zh) * 2021-04-01 2021-06-08 山西慧虎健康科技有限公司 一种精准推荐相关商品的智能零售服务方法及系统
WO2021143234A1 (zh) * 2020-01-17 2021-07-22 北京市商汤科技开发有限公司 一种信息投放方法及装置、电子设备、存储介质和计算机程序
CN113392671A (zh) * 2020-02-26 2021-09-14 上海依图信息技术有限公司 基于顾客动作的商品检索方法、装置及电子设备
CN113435983A (zh) * 2021-07-21 2021-09-24 陕西科技大学 一种基于机器视觉与改进神经网络的个性化商品推荐方法
CN113887884A (zh) * 2021-09-13 2022-01-04 青岛颐中科技有限公司 商超服务系统
CN114365175A (zh) * 2019-09-09 2022-04-15 松下知识产权经营株式会社 店铺利用信息分发装置、具备该店铺利用信息分发装置的店铺利用信息分发系统以及店铺利用信息分发方法
CN114596666A (zh) * 2022-03-03 2022-06-07 浙江吉利控股集团有限公司 车辆租赁业务处理方法、装置、系统、服务器及存储介质
CN116720899A (zh) * 2023-08-09 2023-09-08 山东商软信息科技有限公司 商超智能监控管理方法、装置、电子设备及介质
CN117520856A (zh) * 2023-09-08 2024-02-06 南京邮电大学 一种基于大数据的商超智能导购方法及系统
CN118154116A (zh) * 2024-01-30 2024-06-07 广州伯威逊科技有限公司 一种商城商户智能管理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920122A (zh) * 2017-01-18 2017-07-04 北京光年无限科技有限公司 一种基于机器人的顾客数据处理方法以及系统
CN107067284A (zh) * 2017-04-24 2017-08-18 济南浪潮高新科技投资发展有限公司 一种应用于大数据的个性精准导购方法
CN107169797A (zh) * 2017-05-16 2017-09-15 京东方科技集团股份有限公司 智能导购方法、系统、共享服务器和智能导购机器人
CN107358451A (zh) * 2017-07-17 2017-11-17 竹间智能科技(上海)有限公司 一种交互式智能魔镜
CN107798560A (zh) * 2017-10-23 2018-03-13 武汉科技大学 一种零售商店个性广告智能推送方法及系统
CN108122156A (zh) * 2017-10-31 2018-06-05 深圳市博鑫创科科技有限公司 一种基于平衡购物车的导购方法和平衡购物车

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920122A (zh) * 2017-01-18 2017-07-04 北京光年无限科技有限公司 一种基于机器人的顾客数据处理方法以及系统
CN107067284A (zh) * 2017-04-24 2017-08-18 济南浪潮高新科技投资发展有限公司 一种应用于大数据的个性精准导购方法
CN107169797A (zh) * 2017-05-16 2017-09-15 京东方科技集团股份有限公司 智能导购方法、系统、共享服务器和智能导购机器人
CN107358451A (zh) * 2017-07-17 2017-11-17 竹间智能科技(上海)有限公司 一种交互式智能魔镜
CN107798560A (zh) * 2017-10-23 2018-03-13 武汉科技大学 一种零售商店个性广告智能推送方法及系统
CN108122156A (zh) * 2017-10-31 2018-06-05 深圳市博鑫创科科技有限公司 一种基于平衡购物车的导购方法和平衡购物车

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109817217A (zh) * 2019-01-17 2019-05-28 深圳壹账通智能科技有限公司 基于语音识别的自助贩卖方法、装置、设备及介质
CN111582964A (zh) * 2019-02-18 2020-08-25 宏碁股份有限公司 智能商场系统及应用该系统的控制方法
CN111784372A (zh) * 2019-04-03 2020-10-16 Tcl集团股份有限公司 门店商品推荐方法及设备
CN110070395A (zh) * 2019-04-19 2019-07-30 优估(上海)信息科技有限公司 一种辅助车辆销售的系统、方法及装置
CN110070669A (zh) * 2019-04-29 2019-07-30 东莞市糖酒集团美宜佳便利店有限公司 一种贩卖机出货方法
CN110097400A (zh) * 2019-04-29 2019-08-06 贵州小爱机器人科技有限公司 信息推荐方法、装置及系统、存储介质、智能交互设备
CN110135906A (zh) * 2019-05-14 2019-08-16 赵东 一种能够导购和精准推送的智能柜台
CN110197399A (zh) * 2019-05-22 2019-09-03 苏州工业职业技术学院 一种绿色茶饮导引系统
CN110415048A (zh) * 2019-08-06 2019-11-05 即悟(上海)智能科技有限公司 一种广告推荐方法、设备、系统、计算机设备及存储介质
CN112348607A (zh) * 2019-08-09 2021-02-09 上海红星美凯龙悦家互联网科技有限公司 商业场所内基于画像的导购方法、终端、装置、介质、及系统
CN112348543A (zh) * 2019-08-09 2021-02-09 上海红星美凯龙悦家互联网科技有限公司 商业场所内的智能导购方法、装置、终端、介质、系统
CN112348299A (zh) * 2019-08-09 2021-02-09 上海红星美凯龙悦家互联网科技有限公司 商业场所内基于画像的人员管理方法、装置、终端、及介质
CN114365175A (zh) * 2019-09-09 2022-04-15 松下知识产权经营株式会社 店铺利用信息分发装置、具备该店铺利用信息分发装置的店铺利用信息分发系统以及店铺利用信息分发方法
JP2022520514A (ja) * 2020-01-17 2022-03-31 北京市商▲湯▼科技▲開▼▲發▼有限公司 情報投入方法および装置、電子デバイス、記憶媒体、並びにコンピュータプログラム
WO2021143234A1 (zh) * 2020-01-17 2021-07-22 北京市商汤科技开发有限公司 一种信息投放方法及装置、电子设备、存储介质和计算机程序
CN111309230A (zh) * 2020-02-19 2020-06-19 北京声智科技有限公司 信息展示方法、装置、电子设备及计算机可读存储介质
CN111309230B (zh) * 2020-02-19 2021-12-17 北京声智科技有限公司 信息展示方法、装置、电子设备及计算机可读存储介质
CN113392671A (zh) * 2020-02-26 2021-09-14 上海依图信息技术有限公司 基于顾客动作的商品检索方法、装置及电子设备
CN111652620A (zh) * 2020-04-15 2020-09-11 珠海小礼鱼科技有限公司 一种智能终端交互系统
CN111784405A (zh) * 2020-07-10 2020-10-16 大连中维世纪科技有限公司 基于人脸智能识别knn算法的线下门店智能导购方法
CN111967943A (zh) * 2020-08-20 2020-11-20 渭南双盈未来科技有限公司 一种智能购物系统
CN111967942A (zh) * 2020-08-20 2020-11-20 渭南双盈未来科技有限公司 一种智能购物方法
CN112927055A (zh) * 2021-04-01 2021-06-08 山西慧虎健康科技有限公司 一种精准推荐相关商品的智能零售服务方法及系统
CN113435983A (zh) * 2021-07-21 2021-09-24 陕西科技大学 一种基于机器视觉与改进神经网络的个性化商品推荐方法
CN113887884A (zh) * 2021-09-13 2022-01-04 青岛颐中科技有限公司 商超服务系统
CN113887884B (zh) * 2021-09-13 2024-11-15 青岛颐中科技有限公司 商超服务系统
CN114596666A (zh) * 2022-03-03 2022-06-07 浙江吉利控股集团有限公司 车辆租赁业务处理方法、装置、系统、服务器及存储介质
CN116720899A (zh) * 2023-08-09 2023-09-08 山东商软信息科技有限公司 商超智能监控管理方法、装置、电子设备及介质
CN116720899B (zh) * 2023-08-09 2023-11-03 山东商软信息科技有限公司 商超智能监控管理方法、装置、电子设备及介质
CN117520856A (zh) * 2023-09-08 2024-02-06 南京邮电大学 一种基于大数据的商超智能导购方法及系统
CN118154116A (zh) * 2024-01-30 2024-06-07 广州伯威逊科技有限公司 一种商城商户智能管理方法及系统

Similar Documents

Publication Publication Date Title
CN109165992A (zh) 一种智能导购方法、装置、系统及计算机存储介质
CN108876526B (zh) 商品推荐方法、装置和计算机可读存储介质
US11341515B2 (en) Systems and methods for sensor data analysis through machine learning
US9031858B2 (en) Using biometric data for a customer to improve upsale ad cross-sale of items
US9031857B2 (en) Generating customized marketing messages at the customer level based on biometric data
US10002337B2 (en) Method for collaborative shopping
US8812355B2 (en) Generating customized marketing messages for a customer using dynamic customer behavior data
US9361623B2 (en) Preferred customer marketing delivery based on biometric data for a customer
US9626684B2 (en) Providing customized digital media marketing content directly to a customer
KR20210098884A (ko) 사용자의 체형 및 구매 이력을 이용하여 패션 아이템 추천 서비스를 제공하는 방법
US12406005B2 (en) Media triggered virtual repository with temporal data recognition and matching engine
CN110163715A (zh) 信息推荐方法、装置、设备及系统
KR102374861B1 (ko) O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법
CN107507017A (zh) 一种线下导购方法和装置
CN106055710A (zh) 基于视频的商品推荐方法及装置
JP6472925B1 (ja) 情報処理装置、情報処理システム、学習装置、学習済の推定モデル、および学習用データの収集方法
CN110084657A (zh) 一种推荐服饰的方法和装置
CN110135906A (zh) 一种能够导购和精准推送的智能柜台
KR102286286B1 (ko) 패션 코디네이션 공유 시스템 및 방법
CN106570715A (zh) 一种信息推荐方法、装置和系统
WO2018230356A1 (ja) 情報提示システム
TW201942836A (zh) 店面系統、物品搭配方法、裝置及電子設備
KR102176705B1 (ko) 각 사용자의 인적 네트워크를 기반으로 한 능동적 물품 판매 시스템 및 방법
US20230111817A1 (en) Fingerprinted media triggering virtual repository
CN113313545A (zh) 信息推荐方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108