[go: up one dir, main page]

TWI688881B - 儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體 - Google Patents

儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體 Download PDF

Info

Publication number
TWI688881B
TWI688881B TW107146114A TW107146114A TWI688881B TW I688881 B TWI688881 B TW I688881B TW 107146114 A TW107146114 A TW 107146114A TW 107146114 A TW107146114 A TW 107146114A TW I688881 B TWI688881 B TW I688881B
Authority
TW
Taiwan
Prior art keywords
user
item
information
storage device
voice information
Prior art date
Application number
TW107146114A
Other languages
English (en)
Other versions
TW201947360A (zh
Inventor
曉 吳
胡龍耀
耿路
劉潤聲
吳靖
範育宸
劉懷國
Original Assignee
大陸商連雲港伍江數碼科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商連雲港伍江數碼科技有限公司 filed Critical 大陸商連雲港伍江數碼科技有限公司
Publication of TW201947360A publication Critical patent/TW201947360A/zh
Application granted granted Critical
Publication of TWI688881B publication Critical patent/TWI688881B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Recommending goods or services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Locating goods or services, e.g. based on physical position of the goods or services within a shopping facility
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申請涉及一種儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體。所述方法包括：偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域，根據使用者行為提取使用者的語音資訊及/或臉部資訊，根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊。本方案使使用者能夠及時瞭解到自己感興趣的物品資訊，解決了傳統的購物消費模式存在的問題。

Description

儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體
本申請涉及偵測分析技術領域，特別是涉及一種儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體。
隨著人們消費水準及消費品質的進一步提升，人們對於消費環境、消費體驗的要求也越來越高。
在傳統的購物消費模式中，消費者在挑選商品時，往往需要通過向售貨員詢問商品的相關資訊，從而進一步瞭解商品。在詢問的過程中，需要耗費大量的人力和時間，而且詢問結果也存在不準確甚至無法找到售貨員詢問等情況，傳統的購物消費模式存在著消費者不能及時瞭解物品資訊的缺陷。
基於此，有必要針對上述技術問題，提供一種能夠基於使用者行為提供準確物品資訊的儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體。
一種儲物裝置中人機互動方法，所述方法包括：
偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
根據使用者行為提取使用者的語音資訊及/或臉部資訊；
根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送物品標識對應的物品資訊。
在其中一個實施例中，根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置包括：
根據語音資訊，提取使用者關注的物品的資訊；
根據使用者關注的物品的資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在其中一個實施例中，臉部資訊包括眼球焦點資訊和臉部表情。
在其中一個實施例中，根據使用者行為提取使用者的語音資訊及/或臉部資訊之後，包括：
根據使用者行為提取使用者的位置資訊；
根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置包括：
根據位置資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在其中一個實施例中，偵測預設區域內的使用者行為之後，包括：
推送預設的推薦物品的物品資訊。
在其中一個實施例中，推送物品標識對應的物品資訊之後，包括：
接收使用者回饋語音資訊；
查找與使用者回饋語音資訊對應的操作指令，回應操作指令。
在其中一個實施例中，回應操作指令之後，包括：
儲存使用者的相關資訊，使用者的相關資訊包括語音資訊及/或臉部資訊以及使用者回饋語音資訊。
一種儲物裝置中人機互動裝置，所述裝置包括：
偵測模組，用於偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
提取模組，用於根據使用者行為提取使用者的語音資訊及/或臉部資訊；
處理模組，用於根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
獲取模組，用於根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送模組，用於推送物品標識對應的物品資訊。
一種儲物裝置，包括儲物裝置本體和處理器，儲物裝置本體與處理器相連接，處理器內儲存有電腦程式，電腦程式被處理器執行時實現以下步驟：
偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
根據使用者行為提取使用者的語音資訊及/或臉部資訊；
根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送物品標識對應的物品資訊。
一種電腦可讀儲存媒體，其上儲存有電腦程式，電腦程式被處理器執行時實現以下步驟：
偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
根據使用者行為提取使用者的語音資訊及/或臉部資訊；
根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送物品標識對應的物品資訊。
上述儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體，通過偵測預設區域內的使用者行為，根據使用者行為提取使用者的語音資訊及/或臉部資訊，對語音資訊及/或臉部資訊進行分析，從而確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，使使用者能夠及時瞭解到自己感興趣的物品資訊，解決了傳統的購物消費模式存在的問題。
為了使本申請的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本申請進行進一步詳細說明。應當理解，此處描述的具體實施例僅僅用以解釋本申請，並不用於限定本申請。
在一個實施例中，如圖1所示，提供了一種儲物裝置中人機互動方法，包括以下步驟：
S120：偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域。
偵測常用於無人值守的監控領域，在預設區域內對使用者行為進行偵測，可以降低人工監控成本，提高監控效率和監控精度。偵測技術是運動檢測錄影技術的基礎，被廣泛的應用於各個領域。預設區域指的是儲物裝置感應區域，感應區域的範圍閾值可根據需要自行設置，其中，儲物裝置指的是用於存放物品的裝置。使用者行為包括使用者在預設區域內的語言行為和動作行為，通過偵測預設區域內的使用者語言行為和動作行為，可為推送物品資訊提供依據。
S140：根據使用者行為提取使用者的語音資訊及/或臉部資訊。
根據使用者的語言行為通過語音辨識技術可提取使用者的語音資訊，語音辨識技術也成為自動語音辨識，其目標是將人類的語音中的詞彙內容轉換為電腦可讀的輸入，語音辨識技術提取使用者的語音資訊，分析使用者的語音資訊中包括的詞彙，根據使用者的語音資訊中包括的詞彙，確定使用者關注的物品。使用者的臉部資訊包括使用者的眼球焦點資訊和臉部表情，根據使用者的動作行為通過眼球焦點定位可提取使用者的眼球焦點資訊，根據使用者的動作行為通過人臉識別技術可提取使用者的臉部資訊，使用者的眼球焦點資訊可用於確定使用者關注的物品的目標位置，使用者的臉部表情可以判斷使用者對放置於儲物裝置中的物品的喜好程度。
S160：根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置。
根據使用者的語音資訊中包括的詞彙，分析使用者的意圖，確定使用者關注的物品。舉例說明，當使用者的語音資訊中包括“飲料”等詞彙時，可認為使用者此時需要的物品為飲料，進一步的，若使用者的語音中包括“可樂”等詞彙時，可認為使用者此時需要的物品為可樂；當使用者的語音資訊中包括“餅乾”或“麵包”等詞彙時，可認為使用者此時需要的物品為食物；當使用者的語音資訊中包括“餓”等詞彙時，可認為使用者此時需要的物品為食物；當使用者的語音資訊中包括“渴”等詞彙時，可認為使用者此時需要的物品為飲料。當確定使用者此時需要的物品之後，進一步確定物品的目標位置。
根據使用者臉部資訊中的眼球焦點資訊可確定使用者關注的物品的目標位置，分析眼球焦點資訊，確定使用者眼球焦點，將與使用者眼球焦點相對應的物品的位置作為使用者關注的物品的目標位置。根據使用者臉部資訊中的臉部表情可以判斷使用者對放置於儲物裝置中的物品的喜好程度。舉例說明，當使用者靠近儲物裝置時，儲物裝置會推送預設的推薦物品的物品資訊，通過分析使用者在看到推薦物品的物品資訊時的臉部表情，判斷使用者是否喜好當前推薦物品；當使用者站在儲物裝置前時，通過分析使用者的臉部表情可以判斷使用者是否喜好與其正對的放置於儲物裝置內的物品。當確定使用者喜歡的物品之後，進一步確定物品的目標位置。
S180：根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識。
儲物裝置中儲存物品位置與儲存物品標識是對應關係，可根據儲存物品位置獲取對應的儲存物品標識。在本實施例中，可根據使用者關注的物品的目標位置獲取與目標位置對應的物品標識。舉例說明，在儲物裝置中，儲存有可樂、雪碧、餅乾、麵包，它們的位置分別為A、B、C、D，對應的標識分別為1、2、3、4，當確定使用者關注的物品為可樂時，此時確定使用者關注的物品的目標位置為A位置，進一步可獲取A位置對應的物品標識1。
S190：推送物品標識對應的物品資訊。
物品標識對應不同的物品，當確定使用者關注的物品的目標位置之後，進一步獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，物品資訊包括物品的價格、重量以及保存期限等。其中，物品標識以及其對應的物品資訊已儲存於儲物裝置中的處理器內。
上述儲物裝置中人機互動方法，通過偵測預設區域內的使用者行為，根據使用者行為提取使用者的語音資訊及/或臉部資訊，對語音資訊及/或臉部資訊進行分析，從而確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，使使用者能夠及時瞭解到自己感興趣的物品資訊，解決了傳統的購物消費模式存在的問題。
在其中一個實施例中，如圖2所示，S160包括：
S202：根據語音資訊，提取使用者關注的物品的資訊；
S204：根據使用者關注的物品的資訊，確定使用者關注的物品；
S206：獲取使用者關注的物品的目標位置。
根據語音資訊中包括的詞彙提取使用者關注的物品的資訊，將使用者語音資訊中包括的詞彙與儲物裝置中的物品的名稱、類別以及用途進行匹配，提取使用者關注的物品的資訊。舉例說明，當使用者的語音資訊中包括“飲料”等詞彙時，可認為使用者關注的物品為飲料，進一步的，若使用者的語音中包括“可樂”等詞彙時，可認為使用者關注的物品為可樂；當使用者的語音資訊中包括“餅乾”或“麵包”等詞彙時，可認為使用者關注的物品為食物；當使用者的語音資訊中包括“餓”等詞彙時，可認為使用者關注的物品為食物；當使用者的語音資訊中包括“渴”等詞彙時，可認為使用者關注的物品為飲料。當確定使用者關注的物品之後，進一步確定物品的目標位置。
在其中一個實施例中，臉部資訊包括眼球焦點資訊和臉部表情。
眼球焦點資訊包括使用者眼球焦點的位置資訊，根據使用者眼球焦點的位置資訊可確定使用者關注的物品，即將與使用者眼球焦點的位置相對應的物品作為使用者關注的物品。如圖3所示，儲物裝置內放置有物品標識分別為①、②、③、④的四個物品，當使用者關注的物品為④號物品時，通過分析使用者眼球焦點的位置資訊，可確定④號物品為使用者關注的物品。通過人臉識別技術可識別到使用者的臉部表情，通過使用者的臉部表情可判斷使用者對與其臉部正對的放置於儲物裝置中的物品的喜好程度，確定正對使用者臉部的物品是否為使用者關注的物品。
在其中一個實施例中，如圖4所示，S140之後，包括：
S402：根據使用者行為提取使用者的位置資訊；
S160包括：
S404：根據位置資訊，確定使用者關注的物品；
S406：獲取使用者關注的物品的目標位置。
根據使用者行為可提取使用者的位置資訊，根據位置資訊以及語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置。舉例說明，當使用者站在儲物裝置的左側時，可確定使用者關注的物品的目標位置在儲物裝置的左側。
在其中一個實施例中，如圖4所示，S120之後，包括：
S408：推送預設的推薦物品的物品資訊。
在偵測預設區域內的使用者行為之後，當使用者不斷靠近預設區域內時，推送預設的推薦物品的物品資訊。其中，推薦物品包括儲物裝置中的暢銷物品，在推送預設的推薦物品的物品資訊的同時，也會推送歡迎資訊，吸引使用者靠近儲物裝置。
在其中一個實施例中，如圖4所示，S190之後，包括：
S410：接收使用者回饋語音資訊；
S412：查找與使用者回饋語音資訊對應的操作指令，回應操作指令。
在推送物品標識對應的物品資訊之後，會接收使用者回饋語音資訊，查找與使用者回饋語音資訊對應的操作指令，回應操作指令。其中，操作指令包括推送物品標識對應的物品的詳細資訊和推送預設的推薦物品的物品資訊等。舉例說明，在推送物品標識對應的物品資訊之後，若使用者想進一步瞭解物品的詳細資訊時，接收使用者回饋的“進一步瞭解”的語音資訊，查找與使用者回饋的“進一步瞭解”的語音資訊對應的操作指令，推送物品標識對應的物品的詳細資訊；當使用者不想進一步瞭解物品的詳細資訊時，接收使用者回饋的“不感興趣”的語音資訊，查找與使用者回饋的“不感興趣”的語音資訊對應的操作指令，不再推送物品標識對應的物品資訊，轉而推送預設的推薦物品的物品資訊。其中物品的詳細資訊包括物品的價格、重量、名稱和保存期限等。
在其中一個實施例中，S412之後，包括：
S414：儲存使用者的相關資訊，使用者的相關資訊包括語音資訊及/或臉部資訊以及使用者回饋語音資訊。
儲存使用者的相關資訊可用於資料分析，以及在下一次使用者靠近儲物裝置時實現精準推送。
應該理解的是，雖然圖1-4的流程圖中的各個步驟按照箭頭的指示依次顯示，但是這些步驟並不是必然按照箭頭指示的順序依次執行。除非本文中有明確的說明，這些步驟的執行並沒有嚴格的順序限制，這些步驟可以以其它的順序執行。而且，圖1-4中的至少一部分步驟可以包括多個子步驟或者多個階段，這些子步驟或者階段並不必然是在同一時刻執行完成，而是可以在不同的時刻執行，這些子步驟或者階段的執行順序也不必然是依次進行，而是可以與其它步驟或者其它步驟的子步驟或者階段的至少一部分輪流或者交替地執行。
在一個實施例中，如圖5所示，提供了一種儲物裝置中人機互動裝置，包括：偵測模組100、提取模組200、處理模組300、獲取模組400和推送模組500，其中：
偵測模組100，用於偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
提取模組200，用於根據使用者行為提取使用者的語音資訊及/或臉部資訊；
處理模組300，用於根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
獲取模組400，用於根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送模組500，用於推送物品標識對應的物品資訊。
在其中一個實施例中，如圖6所示，處理模組300包括語音模組320，用於：
根據語音資訊，提取使用者關注的物品的資訊；
根據使用者關注的物品的資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在其中一個實施例中，如圖6所示，儲物裝置中人機互動裝置還包括位置模組600，用於：
根據使用者行為提取使用者的位置資訊；
處理模組300包括位置獲取模組340，用於：
根據位置資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在其中一個實施例中，如圖6所示，儲物裝置中人機互動裝置還包括推薦模組700，用於推送預設的推薦物品的物品資訊。
在其中一個實施例中，如圖6所示，儲物裝置中人機互動裝置還包括回饋模組800，用於：
接收使用者回饋語音資訊；
查找與使用者回饋語音資訊對應的操作指令，回應操作指令。
在其中一個實施例中，如圖6所示，儲物裝置中人機互動裝置還包括儲存模組900，用於儲存使用者的相關資訊，使用者的相關資訊包括語音資訊及/或臉部資訊以及使用者回饋語音資訊。
上述儲物裝置中人機互動裝置，通過偵測預設區域內的使用者行為，根據使用者行為提取使用者的語音資訊及/或臉部資訊，對語音資訊及/或臉部資訊進行分析，從而確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，使使用者能夠及時瞭解到自己感興趣的物品資訊，解決了傳統的購物消費模式存在的問題。
關於儲物裝置中人機互動裝置的具體限定可以參見上文中對於儲物裝置中人機互動方法的限定，在此不再贅述。上述儲物裝置中人機互動裝置中的各個模組可全部或部分通過軟體、硬體及其組合來實現。上述各模組可以硬體形式內嵌於或獨立於電腦設備中的處理器中，也可以以軟體形式儲存於電腦設備中的記憶體中，以便於處理器載入執行以上各個模組對應的操作。
在一個實施例中，提供了一種電腦設備，該電腦設備可以是伺服器，其內部結構圖可以如圖7所示。該電腦設備包括通過系統匯流排連接的處理器、記憶體、網路介面和資料庫。其中，該電腦設備的處理器用於提供計算和控制能力。該電腦設備的記憶體包括非揮發性儲存媒體、內存。該非揮發性儲存媒體儲存有作業系統、電腦程式和資料庫。該內存為非揮發性儲存媒體中的作業系統和電腦程式的運行提供環境。該電腦設備的網路介面用於與外部的終端通過網路連接通信。該電腦程式被處理器執行時以實現一種儲物裝置中人機互動方法。
本領域技術人員可以理解，圖7中示出的結構，僅僅是與本申請方案相關的部分結構的方塊圖，並不構成對本申請方案所應用於其上的電腦設備的限定，具體的電腦設備可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件佈置。
一種儲物裝置，如圖8所示，包括儲物裝置本體820和處理器840，儲物裝置本體820與處理器840相連接，處理器內儲存有電腦程式，電腦程式被處理器執行時實現以下步驟：
偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
根據使用者行為提取使用者的語音資訊及/或臉部資訊；
根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送物品標識對應的物品資訊。
儲物裝置本體包括偵測器和顯示器，儲物裝置本體用於放置儲存物品，偵測器用於根據處理器的指令對預設範圍內的使用者行為進行偵測，顯示器用於根據處理器的指令顯示處理器推送的物品標識對應的物品資訊、推薦物品的資訊、歡迎資訊以及物品的詳細資訊。
上述儲物裝置，通過偵測預設區域內的使用者行為，根據使用者行為提取使用者的語音資訊及/或臉部資訊，對語音資訊及/或臉部資訊進行分析，從而確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，使使用者能夠及時瞭解到自己感興趣的物品資訊，解決了傳統的購物消費模式存在的問題。
在一個實施例中，提供了一種電腦設備，包括記憶體和處理器，記憶體中儲存有電腦程式，該處理器執行電腦程式時實現以下步驟：
偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
根據使用者行為提取使用者的語音資訊及/或臉部資訊；
根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送物品標識對應的物品資訊。
上述電腦設備，通過偵測預設區域內的使用者行為，根據使用者行為提取使用者的語音資訊及/或臉部資訊，對語音資訊及/或臉部資訊進行分析，從而確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，使使用者能夠及時瞭解到自己感興趣的物品資訊，解決了傳統的購物消費模式存在的問題。
在一個實施例中，處理器執行電腦程式時還實現以下步驟：
根據語音資訊，提取使用者關注的物品的資訊；
根據使用者關注的物品的資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在一個實施例中，處理器執行電腦程式時還實現以下步驟：
根據使用者行為提取使用者的位置資訊；
根據位置資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在一個實施例中，處理器執行電腦程式時還實現以下步驟：
推送預設的推薦物品的物品資訊。
在一個實施例中，處理器執行電腦程式時還實現以下步驟：
接收使用者回饋語音資訊；
查找與使用者回饋語音資訊對應的操作指令，回應操作指令。
在一個實施例中，處理器執行電腦程式時還實現以下步驟：
儲存使用者的相關資訊，使用者的相關資訊包括語音資訊及/或臉部資訊以及使用者回饋語音資訊。
在一個實施例中，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式，電腦程式被處理器執行時實現以下步驟：
偵測預設區域內的使用者行為，預設區域包括儲物裝置感應區域；
根據使用者行為提取使用者的語音資訊及/或臉部資訊；
根據語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置；
根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識；
推送物品標識對應的物品資訊。
上述儲存媒體，通過偵測預設區域內的使用者行為，根據使用者行為提取使用者的語音資訊及/或臉部資訊，對語音資訊及/或臉部資訊進行分析，從而確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，使使用者能夠及時瞭解到自己感興趣的物品資訊，解決了傳統的購物消費模式存在的問題。
在一個實施例中，電腦程式被處理器執行時還實現以下步驟：
根據語音資訊，提取使用者關注的物品的資訊；
根據使用者關注的物品的資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在一個實施例中，電腦程式被處理器執行時還實現以下步驟：
根據使用者行為提取使用者的位置資訊；
根據位置資訊，確定使用者關注的物品；
獲取使用者關注的物品的目標位置。
在一個實施例中，電腦程式被處理器執行時還實現以下步驟：
推送預設的推薦物品的物品資訊。
在一個實施例中，電腦程式被處理器執行時還實現以下步驟：
接收使用者回饋語音資訊；
查找與使用者回饋語音資訊對應的操作指令，回應操作指令。
在一個實施例中，電腦程式被處理器執行時還實現以下步驟：
儲存使用者的相關資訊，使用者的相關資訊包括語音資訊及/或臉部資訊以及使用者回饋語音資訊。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述的電腦程式可儲存於一非揮發性電腦可讀取儲存媒體中，該電腦程式在執行時，可包括如上述各方法的實施例的流程。其中，本申請所提供的各實施例中所使用的對記憶體、儲存媒體、資料庫或其它介質的任何引用，均可包括非揮發性及/或揮發性記憶體。非揮發性記憶體可包括唯讀記憶體（ROM）、可程式唯讀記憶體（PROM）、可抹除可程式唯讀記憶體（EPROM）、電子可抹除可程式唯讀記憶體（EEPROM）或快閃記憶體。揮發性記憶體可包括隨機存取記憶體（RAM）或者外部高速緩衝記憶體。作為說明而非局限，RAM以多種形式可得，諸如靜態隨機存取記憶體（SRAM）、動態隨機取記憶體（DRAM）、同步動態隨機存取記憶體（SDRAM）、雙倍資料傳輸同步動態隨機存取記憶體（DDRSDRAM）、增強型同步動態隨機存取記憶體（ESDRAM）、同步鏈路（Synchlink） 動態隨機存取記憶體（SLDRAM）、記憶體匯流排（Rambus）直接隨機存取記憶體（RDRAM）、直接記憶體匯流排動態隨機存取記憶體（DRDRAM）、以及記憶體匯流排動態隨機存取記憶體（RDRAM）等。
下面通過一個實施例來說明本申請的方案。
當使用者靠近儲物裝置感應區域時，推送歡迎資訊和推薦物品的資訊吸引使用者，偵測儲物裝置感應區域內的使用者行為，根據使用者行為提取使用者的語音資訊及/或臉部資訊，以及位置資訊，根據使用者的語音資訊及/或臉部資訊，以及位置資訊確定使用者關注的物品的目標位置，根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取目標位置對應的物品標識，推送物品標識對應的物品資訊，接收使用者回饋語音資訊，當使用者想進一步瞭解物品的詳細資訊時，推送物品的詳細資訊；當使用者對推送的物品資訊不感興趣時，停止推送與物品標識對應的物品資訊，轉而推送推薦物品的資訊。
以上實施例的各技術特徵可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特徵所有可能的組合都進行描述，然而，只要這些技術特徵的組合不存在矛盾，都應當認為是本說明書記載的範圍。
以上所述實施例僅表達了本申請的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本申請構思的前提下，還可以做出若干變形和改進，這些都屬於本申請的保護範圍。因此，本申請專利的保護範圍應以所附權利要求為准。
S120、S140、S160、S180、S190‧‧‧儲物裝置中人機互動方法的步驟S202、S204、S206‧‧‧儲物裝置中人機互動方法的步驟S402、S404、S406、S408、S410、S412、S414‧‧‧儲物裝置中人機互動方法的步驟100‧‧‧偵測模組200‧‧‧提取模組300‧‧‧處理模組400‧‧‧獲取模組500‧‧‧推送模組320‧‧‧語音模組340‧‧‧位置獲取模組600‧‧‧位置模組700‧‧‧推薦模組800‧‧‧回饋模組900‧‧‧儲存模組820‧‧‧儲物裝置本體840‧‧‧處理器
圖1為一個實施例中儲物裝置中人機互動方法的流程示意圖； 圖2為另一個實施例中儲物裝置中人機互動方法的流程示意圖； 圖3為一個實施例中根據眼球焦點資訊確定使用者關注的物品的示意圖； 圖4為另一個實施例中儲物裝置中人機交互方法的流程示意圖； 圖5為一個實施例中儲物裝置中人機互動裝置的結構方塊圖； 圖6為另一個實施例中儲物裝置中人機互動裝置的結構方塊圖； 圖7為一個實施例中電腦設備的內部結構圖； 圖8為一個實施例中儲物裝置的結構方塊圖。
S120、S140、S160、S180、S190‧‧‧儲物裝置中人機互動方法的步驟

Claims (10)

  1. 一種儲物裝置中人機互動方法，包括：偵測預設區域內的使用者行為，其中所述預設區域包括儲物裝置感應區域；根據所述使用者行為提取使用者的語音資訊及/或臉部資訊；根據所述語音資訊及/或臉部資訊，確定所述使用者關注的物品的目標位置，其中根據所述使用者的所述語音資訊中包括的詞彙，分析所述使用者的意圖，確定所述使用者關注的所述物品；根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取所述目標位置對應的物品標識；以及推送所述物品標識對應的物品資訊，所述物品資訊為所述使用者關注的物品的資訊。
  2. 如申請專利範圍第1項所述的方法，其中所述根據所述語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置的步驟包括：根據所述語音資訊，提取使用者關注的物品的資訊；根據所述使用者關注的物品的資訊，確定使用者關注的物品；以及獲取所述使用者關注的物品的目標位置。
  3. 如申請專利範圍第1項所述的方法，其中所述臉部資訊包括眼球焦點資訊和臉部表情。
  4. 如申請專利範圍第1項所述的方法，其中在所述根據所述使用者行為提取使用者的語音資訊及/或臉部資訊的步驟之後，更包括：根據所述使用者行為提取使用者的位置資訊； 其中根據所述語音資訊及/或臉部資訊，確定使用者關注的物品的目標位置的步驟包括：根據所述位置資訊，確定使用者關注的物品；以及獲取所述使用者關注的物品的目標位置。
  5. 如申請專利範圍第1項所述的方法，其中在所述偵測預設區域內的使用者行為的步驟之後，包括：推送預設的推薦物品的物品資訊。
  6. 如申請專利範圍第1項所述的方法，其中在所述推送所述物品標識對應的物品資訊的步驟之後，更包括：接收使用者回饋語音資訊；以及查找與所述使用者回饋語音資訊對應的操作指令，回應所述操作指令。
  7. 如申請專利範圍第6項所述的方法，其中在所述回應所述操作指令的步驟之後，更包括：儲存使用者的相關資訊，所述使用者的相關資訊包括所述語音資訊及/或臉部資訊以及所述使用者回饋語音資訊。
  8. 一種儲物裝置中人機互動裝置，包括：偵測模組，用於偵測預設區域內的使用者行為，其中所述預設區域包括儲物裝置感應區域；提取模組，用於根據所述使用者行為提取使用者的語音資訊及/或臉部資訊；處理模組，用於根據所述語音資訊及/或臉部資訊，確定所述使用者 關注的物品的目標位置，其中根據所述使用者的所述語音資訊中包括的詞彙，分析所述使用者的意圖，確定所述使用者關注的所述物品；獲取模組，用於根據預設的儲物裝置中儲存物品位置與儲存物品標識對應關係，獲取所述目標位置對應的物品標識；以及推送模組，用於推送所述物品標識對應的物品資訊，所述物品資訊為所述使用者關注的物品的資訊。
  9. 一種儲物裝置，包括儲物裝置本體和處理器，所述儲物裝置本體與所述處理器相連接，所述處理器內儲存有電腦程式，所述處理器執行所述電腦程式時實現如申請專利範圍第1至7項中任一項所述的方法的步驟。
  10. 一種電腦可讀儲存媒體，其上儲存有電腦程式，所述電腦程式被處理器執行時實現如申請專利範圍第1至7項中任一項所述的方法的步驟。
TW107146114A 2018-05-09 2018-12-20 儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體 TWI688881B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810439679.2 2018-05-09
CN201810439679.2A CN108681940A (zh) 2018-05-09 2018-05-09 储物装置中人机交互方法、装置、储物装置及存储介质

Publications (2)

Publication Number Publication Date
TW201947360A TW201947360A (zh) 2019-12-16
TWI688881B true TWI688881B (zh) 2020-03-21

Family

ID=63806031

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107146114A TWI688881B (zh) 2018-05-09 2018-12-20 儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體

Country Status (6)

Country Link
US (1) US20190347705A1 (zh)
EP (1) EP3567452A1 (zh)
CN (1) CN108681940A (zh)
AU (2) AU2018282398A1 (zh)
TW (1) TWI688881B (zh)
WO (1) WO2019214672A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681940A (zh) * 2018-05-09 2018-10-19 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置及存储介质
CN115132199A (zh) * 2022-06-08 2022-09-30 芜湖美的厨卫电器制造有限公司 收纳控制方法、装置、收纳装置和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW498282B (en) * 1999-08-31 2002-08-11 Andersen Consulting Llp System, method, and article of manufacture for a load balancer in environment services patterns
US20130142398A1 (en) * 2011-12-01 2013-06-06 Finding Rover, Inc. Facial Recognition Lost Pet Identifying System
CN103502972A (zh) * 2011-03-23 2014-01-08 洲际大品牌有限责任公司 关于自动化的消费者-交互体验的方法和装置
CN104620522A (zh) * 2012-07-18 2015-05-13 谷歌公司 通过所检测到的身体标记来确定用户兴趣
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134056B2 (en) * 2011-12-16 2018-11-20 Ebay Inc. Systems and methods for providing information based on location
US11030599B2 (en) * 2012-02-24 2021-06-08 Netclearance Systems, Inc. Smart beacon point of sale (POS) interface
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US10275825B2 (en) * 2012-12-04 2019-04-30 Paypal, Inc. Augmented reality in-store product detection system
US20140180874A1 (en) * 2012-12-21 2014-06-26 Lucy Ma Zhao Local product comparison system
US10357118B2 (en) * 2013-03-05 2019-07-23 Rtc Industries, Inc. Systems and methods for merchandizing electronic displays
KR20160068916A (ko) * 2013-10-11 2016-06-15 인터디지탈 패튼 홀딩스, 인크 시선 구동 증강 현실
US20150178793A1 (en) * 2013-12-23 2015-06-25 VNG Corporation System and method for managing online advertising
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
US9460442B2 (en) * 2014-09-19 2016-10-04 Salesforce.Com, Inc. Sensor data gathering
US10748191B2 (en) * 2014-12-19 2020-08-18 Capital One Services, Llc Systems and methods for detecting and tracking customer interaction
CN104462530A (zh) * 2014-12-23 2015-03-25 小米科技有限责任公司 用户喜好的分析方法及装置、电子设备
WO2016135816A1 (ja) * 2015-02-23 2016-09-01 株式会社日立国際電気 情報システム
WO2016183898A1 (zh) * 2015-05-18 2016-11-24 向莉妮 个性化商品匹配推荐系统、方法及电子装置
KR20180000603A (ko) * 2016-06-23 2018-01-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106502422A (zh) * 2016-11-23 2017-03-15 上海擎感智能科技有限公司 智能眼镜及其控制方法、控制装置
CN107230137A (zh) * 2017-05-31 2017-10-03 北京小米移动软件有限公司 商品信息获取方法及装置
CN107247759A (zh) * 2017-05-31 2017-10-13 深圳正品创想科技有限公司 一种商品推荐方法及装置
CN108009891A (zh) * 2017-12-15 2018-05-08 杨智勇 基于富媒体显示商品信息的系统及货架及信息展示方法
CN108681940A (zh) * 2018-05-09 2018-10-19 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW498282B (en) * 1999-08-31 2002-08-11 Andersen Consulting Llp System, method, and article of manufacture for a load balancer in environment services patterns
CN103502972A (zh) * 2011-03-23 2014-01-08 洲际大品牌有限责任公司 关于自动化的消费者-交互体验的方法和装置
US20130142398A1 (en) * 2011-12-01 2013-06-06 Finding Rover, Inc. Facial Recognition Lost Pet Identifying System
CN104620522A (zh) * 2012-07-18 2015-05-13 谷歌公司 通过所检测到的身体标记来确定用户兴趣
CN107343382A (zh) * 2014-09-02 2017-11-10 Mbl有限公司 在具有电子微操纵库的仪器化环境中执行特定领域应用的机器人操纵方法和系统

Also Published As

Publication number Publication date
AU2019267982A1 (en) 2020-11-26
CN108681940A (zh) 2018-10-19
EP3567452A1 (en) 2019-11-13
TW201947360A (zh) 2019-12-16
AU2018282398A1 (en) 2019-11-28
US20190347705A1 (en) 2019-11-14
WO2019214672A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
WO2019214673A1 (en) Method and device for human-computer interaction with a storage apparatus, storage apparatus and storage medium
WO2019154262A1 (zh) 一种图像分类方法及服务器、用户终端、存储介质
JP6894534B2 (ja) 情報処理方法及び端末、コンピュータ記憶媒体
CN105094315B (zh) 基于人工智能的人机智能聊天的方法和装置
TWI623842B (zh) Image search and method and device for acquiring image text information
CN111414457A (zh) 基于联邦学习的智能问答方法、装置、设备及存储介质
CN112528004B (zh) 语音交互方法、装置、电子设备、介质和计算机程序产品
CN108846314A (zh) 一种基于深度学习的食材辨识系统和食材辨识方法
US11455501B2 (en) Response based on hierarchical models
CN111784405A (zh) 基于人脸智能识别knn算法的线下门店智能导购方法
WO2023124215A1 (zh) 用户问题的标注方法及装置
TWI688881B (zh) 儲物裝置中人機互動方法、裝置、儲物裝置及儲存媒體
CN108491519A (zh) 人机交互方法及装置、存储介质、终端
US20210295186A1 (en) Computer-implemented system and method for collecting feedback
US11347805B2 (en) Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium
CN112507066B (zh) 标签标记的方法、装置、电子设备及可读存储介质
CN119740614A (zh) 生成式人工智能模型决策的解释方法和系统
Zhou et al. Multi-modal multi-hop interaction network for dialogue response generation
CN119919194A (zh) 实体店的导购方法和导购装置、计算机可读存储介质
CN114511095A (zh) 数据处理方法及装置、计算设备、存储介质
CN117896484A (zh) 基于可视对讲系统的目标找寻方法、装置、设备及介质
HK1257627A1 (zh) 储物装置中人机交互方法、装置、储物装置以及存储介质
CN112084814B (zh) 一种学习辅助方法和智能装置
Su et al. A User-friendly Cloud-based Multi-agent Information System for Smart Energy-saving
CN114282589B (zh) 故障检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees