[go: up one dir, main page]

TWI883341B - 用於預測使用者-項目互動值之方法、系統及非暫時性電腦可讀媒體 - Google Patents

用於預測使用者-項目互動值之方法、系統及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI883341B
TWI883341B TW111129533A TW111129533A TWI883341B TW I883341 B TWI883341 B TW I883341B TW 111129533 A TW111129533 A TW 111129533A TW 111129533 A TW111129533 A TW 111129533A TW I883341 B TWI883341 B TW I883341B
Authority
TW
Taiwan
Prior art keywords
user
item
neural network
interaction
vector
Prior art date
Application number
TW111129533A
Other languages
English (en)
Other versions
TW202314558A (zh
Inventor
雷米 拉吉波契柯拉艾
Original Assignee
日商樂天集團股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商樂天集團股份有限公司 filed Critical 日商樂天集團股份有限公司
Publication of TW202314558A publication Critical patent/TW202314558A/zh
Application granted granted Critical
Publication of TWI883341B publication Critical patent/TWI883341B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Recommending goods or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本發明係關於一種改良之基於機器學習之推薦系統及用於在一電子商務平台上進行冷起動預測之方法。該改良之系統針對其中僅旁側資訊可用之冷起動項目預測使用者-項目互動。將由一項目類神經網路編碼器自項目旁側資訊產生之項目表示與一使用者類神經網路共享。該等項目表示係連同使用者回饋歷史一起使用以產生使用者表示。明確言之，將該使用者類神經網路編碼器之第一層中之一權重矩陣用共享式項目嵌入項固定。此效應在於，當該使用者類神經網路編碼器應用於一輸入之使用者-項目互動向量時，該使用者類神經網路編碼器之該第一層之輸出依據使用者針對其等提供正向回饋之該項目之該等項目表示而變化。結果係以較少訓練反覆而能針對冷起動項目達成較佳效能之一推薦系統。

Description

用於預測使用者-項目互動值之方法、系統及非暫時性電腦可讀媒體
本發明大體上係關於基於機器學習之推薦系統且更明確言之，係關於一種用於冷起動推薦之使用共享式類神經項目表示之推薦系統。
推薦系統係在許多購物平台上使用。一推薦系統之目標係獲取對一項目之已知使用者回饋並預測未知使用者回饋。通常被稱為一使用者-項目互動之回饋可為隱式的(例如，購買/有可能購買)或顯式的(例如，1與5之間的一評級)。經預測回饋可用於在一購物平台上向使用者推薦項目或為項目提供有目標性廣告。
許多推薦系統使用機器學習模型來進行預測。例如，類神經協同過濾(NCF)系統將類神經網路編碼器應用於使用者及項目資料以產生該使用者及項目資料之表示，且接著使用使用者及項目表示來預測針對項目之使用者回饋。
推薦系統可使用各種輸入源來完成其等之任務。一個重要的資訊源係使用者對項目之先前回饋。對於一平台上之具有高銷售量之項 目，當至使用者之輸入及至項目類神經網路之輸入兩者皆包含回饋資料時，通常達成最佳預測結果。然而，此不適用於「冷起動項目」。冷起動項目係針對其無回饋歷史或具有不足歷史(自歷史進行與項目有關之預測)之項目。
為針對冷起動項目預測使用者-項目互動，一種已知解決方案係使用使用者回饋用於至使用者類神經網路編碼器之輸入及使用項目旁側資訊作為至項目類神經網路編碼器之輸入。在訓練期間，學習類神經網路編碼器之參數，使得編碼器針對具有已知正向互動之使用者及項目對產生類似使用者及項目表示且否則產生不同表示。
訓練類神經網路係運算密集型的。訓練資料愈多，預測愈佳。然而，在上文描述之系統中，在訓練期間需要學習之編碼器參數之數目隨著使用者及項目之數目增加而幾乎線性地增加。隨著實體愈來愈多地依靠推薦系統，需要以更少訓練反覆進行此等系統之持續效能改良。
本發明係關於一種改良之基於機器學習之推薦系統及用於在一電子商務平台上進行冷起動預測之方法。該改良之系統針對其中僅旁側資訊可用之冷起動項目預測使用者-項目互動。如同已知解決方案一樣，該系統基於分別由使用者及項目類神經網路編碼器產生之使用者及項目表示來預測使用者-項目互動值。然而，不同於已知解決方案，由項目類神經網路編碼器自項目旁側資訊產生之項目表示係與使用者類神經網路編碼器共享。明確言之，取代用隨機產生之嵌入項初始化使用者類神經網路編碼器之第一層中之一權重矩陣且接著在訓練期間學習最佳權重，該權重矩陣係用由項目類神經網路編碼器產生並與使用者類神經網路編碼器共 享之項目嵌入項固定。
為產生使用者表示，將使用者類神經網路應用於一輸入之使用者-項目互動向量。該輸入向量針對一使用者與其具有一正向互動之各項目具有一「1」值且針對所有其他項目具有一「0」值。在使用者類神經網路編碼器之第一層中使用使用者-項目互動向量作為輸入及使用共享式項目表示作為權重之組合效應在於，使用者類神經網路編碼器之第一層之輸出係依據使用者針對其等提供正向回饋之項目之項目表示而變化。此與其中第一層之輸出係依據必須在訓練期間學習之隨機初始化之權重而變化的已知系統不同。改良以更少訓練反覆引起更佳效能。
在一項實施例中，一種用於預測一使用者與一項目之一互動值之方法包括以下步驟：關於一訓練階段執行以下各者：(a)獲得用於訓練使用者及項目之一訓練資料集，其中該訓練資料集包含該資料集中之各項目之項目資料及各訓練使用者之一使用者互動向量，其中該等使用者互動向量係自具有該訓練資料集中之各使用者-項目對之一互動值之一互動矩陣獲得；(b)使用一項目類神經網路編碼器來運算至少一個訓練使用者針對其具有一正向互動值之該訓練資料集中之各項目的一項目向量表示；(c)使用該等項目向量表示設定一使用者類神經網路編碼器之一第一層中之一權重矩陣；(d)對於該訓練資料集中之各使用者-項目對，執行以下各者： 藉由將該使用者類神經網路編碼器應用於該訓練使用者之該使用者互動向量來運算一使用者向量表示，其中在運算該訓練使用者之該使用者向量表示時，使用者類神經網路編碼器之該第一層之該輸出係依據該訓練使用者與其等具有一正向互動值之該等項目之該等項目向量表示而變化；藉由將該項目類神經網路編碼器應用於該對中之該項目之項目資料來運算一項目向量表示；及基於針對該對產生之該等使用者及項目向量表示來運算該使用者-項目對之一經預測互動值；(e)計算該訓練集中之該等使用者-項目對之經預測互動值與實際互動值之間的一損失；(f)調整該等項目及使用者類神經網路編碼器之可訓練參數以最小化該損失；(g)重複步驟(b)至(f)數次反覆；關於一預測階段執行以下各者：(h)運算複數個項目之項目向量表示，其中該等項目向量表示係藉由將該項目類神經網路編碼器應用於該等項目之項目資料來產生；(i)使用該等項目向量表示設定該使用者類神經網路編碼器之該第一層中之該權重矩陣；(j)關於一測試使用者執行以下各者：獲得該測試使用者之一使用者互動向量；獲得與該測試使用者不具有已知互動值之一項目k之項目資料；藉由將該使用者類神經網路編碼器應用於該使用者互動向量來運 算該測試使用者之一使用者向量表示，其中該使用者類神經網路編碼器之該第一層之該輸出係依據該測試使用者與其等具有一正向互動值之該等項目之該等項目向量表示而變化；藉由將該項目類神經網路編碼器應用於項目k之項目資料來運算項目k之一項目向量表示；及基於針對該測試使用者及項目運算之該等使用者及項目向量表示來運算該測試使用者與項目k之一經預測互動值。
110:步驟
120:步驟
130:步驟
140:步驟
150:步驟
160:步驟
170:步驟
180:步驟
210:步驟
220:步驟
230:步驟
240:步驟
250:步驟
260:步驟
270:步驟
305:使用者輸入資料
310:項目
315:輸入項目資料
320:項目類神經網路編碼器
330a:項目表示
330b:項目表示
340:使用者類神經網路編碼器
350:項目向量表示
360:使用者向量表示/使用者表示
370:內積
410:層
420:層
430:層
510:使用者-互動向量
520:旁側項目資料
530:項目類神經網路編碼器
540:使用者類神經網路編碼器
550:預測模型
555:內積模組
560:使用者-項目互動評分
580:訓練模組
圖1A至圖1B係繪示根據一項實施例之用於訓練一機器學習模型以預測使用者-項目互動值之一方法之流程圖。
圖2係繪示根據一項實施例之用於預測一測試使用者及一項目之一互動值之一方法之一流程圖。
圖3係繪示根據一項實施例之用於預測使用者-項目互動值之一機器學習模型之一方塊圖。
圖4係繪示根據一項實施例之使用者類神經網路編碼器之架構之一方塊圖。
圖5係根據一項實施例之一實例性推薦系統架構之一方塊圖。
相關申請案
本申請案主張於2021年8月6日申請且標題為「Shared Neural Item Representations for Completely Cold Start Problem」之美國臨時申請案 第63/230,676號之權利，該案之內容宛如在本文中完整揭示般以引用的方式併入本文中。
本申請案亦主張於2021年8月18日申請且標題為「Shared Neural Item Representations for Completely Cold Start Problem」之美國臨時申請案第63/234,651號之權利，該案之內容宛如在本文中完整揭示般以引用的方式併入本文中。
本發明係關於一種改良之基於機器學習之推薦系統及用於在一電子商務平台上進行冷起動預測之方法。該改良之系統針對其中僅旁側資訊可用之冷起動項目預測使用者-項目互動。在改良之系統中，由一項目類神經網路編碼器自項目旁側資訊產生之項目表示係與一使用者類神經網路共享且連同使用者回饋歷史一起使用以產生使用者表示。結果係以更少訓練反覆針對冷起動項目達成更佳效能(例如，更佳召回率)之一推薦系統。
本文中所描述之方法係由一電腦系統(「系統」或「推薦系統」)執行。下文針對推薦系統描述一訓練階段及一預測階段兩者。在該訓練階段期間，訓練由推薦系統使用之一機器學習預測模型以預測使用者-項目互動。在預測階段期間，使用該模型來針對冷起動項目預測使用者-項目互動。
1.數學符號
關於本文中使用之數學符號，讓
Figure 111129533-A0305-12-0006-16
表示一使用者-項目互動矩陣，其中m及n分別係使用者及項目之數目。R jk 係使用者j與項目k之互動值。R jk =1意謂使用者j與(例如，經購買)項目k互動，且R jk =0意謂互動係未知的。全部n個項目之s維旁側資訊係由
Figure 111129533-A0305-12-0006-17
表示。矩陣H 之第i列係由H i,：展示，且第j行係由H ,j：展示。
一使用者之項目支援集係使用者針對其具有一正向互動值之項目集。讓I j 表示使用者j之項目支援集中之項目，其中N j 係該集合之大小。使用者j之項目支援集係由
Figure 111129533-A0305-12-0007-18
展示。
2.預測模型
推薦系統使用一機器學習模型來預測使用者-項目互動值(「模型」或「預測模型」)。圖3繪示根據一項實施例之模型。該模型包含自使用者輸入資料305產生一使用者向量表示360之一使用者類神經網路編碼器340及自輸入項目資料315產生一項目向量表示350之一項目類神經網路編碼器320。如下文將描述，使用者表示360亦依據由項目類神經網路編碼器320針對使用者與其等具有一正向互動值之項目310(例如，使用者先前已購買之項目)產生之項目表示330a至330b而變化。在某些實施例中，使用者與項目之經預測互動值係使用者表示與項目表示之內積(dot product)370。訓練該模型包括學習提供最準確預測之使用者及項目類神經網路編碼器之參數。
3.訓練階段
圖1繪示用於訓練由推薦系統使用之預測模型以進行使用者-項目互動預測之一方法。
2.1 獲得訓練資料
系統獲得具有項目資料及使用者資料之一訓練資料集(步驟110)。項目資料係作為描述項目之特點之資料之「旁側項目資料」。旁側項目資料之實例係產品類別及子類別。
使用者資料包含各訓練使用者之一使用者-項目互動向量。該使用者-項目互動向量針對一使用者與其已具有一正向互動之各項目具有一「1」值且針對所有其他項目具有一「0」值。使用者互動向量係自具有訓練資料集中之各使用者-項目對之一互動值之一使用者-項目互動矩陣獲得。例如，對於m個使用者及n個項目採用以下使用者-項目互動矩陣：
Figure 111129533-A0305-12-0008-1
在使用者-項目矩陣中，「1」意謂一正向互動值且「0」意謂一未知互動值。例如，在某些實施例中，一「1」意謂一使用者已購買一項目。在其他實施例中，一「1」意謂一使用者已對一項目評級高於一臨限值(例如，一5星標度上之3顆或更多顆星)。
使用者m之輸入之使用者-項目互動向量將為如下之矩陣中之列m：
Figure 111129533-A0305-12-0008-2
 使用者m之輸入之使用者-項目互動向量
2.2. 產生項目表示以與使用者編碼器共享
系統使用項目類神經網路編碼器(320)以運算至少一個訓練使用者針對其具有一正向互動值之訓練資料集中之各項目的一項目向量表示(步驟120)。步驟120中產生之項目表示係與使用者類神經網路編碼器共享，如下文描述。
2.3 使用項目表示設定使用者編碼器中之權重矩陣
系統使用在步驟120產生之項目向量表示設定一使用者類神經網路編碼器之一第一層中之一權重矩陣(步驟130)。該使用者類神經網路編碼器之該第一層之該權重矩陣中之各權重向量對應於訓練資料集中之一項目。對於針對其產生一項目表示之各項目(由於至少一個使用者與該項目具有一正向互動)，對應於該項目之權重向量係所產生之項目表示。如下文將更詳細描述，此效應在於，對於各使用者，使用者類神經網路編碼器之第一層之輸出係依據使用者與其等具有一正向互動值之項目之項目表示而變化。
2.4 運算訓練資料集中之各使用者-項目對之一經預測互動值
系統運算訓練資料集中之各使用者-項目對之一經預測互動值。此係在圖1中之步驟140至160中繪示。對於各使用者-項目對，系統藉由將項目類神經網路編碼器應用於該對中之項目資料來運算一項目向量表示(步驟140)。同樣地，系統藉由將使用者類神經網路編碼器應用於訓練使用者之使用者-項目互動向量來運算該對中之訓練使用者之一使用者向量表示(步驟140)。由於使用者類神經網路編碼器之第一層中之權重矩陣係由訓練資料集中之項目向量表示構成，因此使用者類神經網路之第一層之輸出係依據訓練使用者與其等具有一正向互動值之項目之項目向量表示而變化。在一項實施例中，運算使用者類神經網路編碼器之第一層之輸出 包括將一融合函數應用於使用者與其等具有一正向互動值之項目之項目向量表示。該融合函數基於輸入之項目向量表示產生一單個向量。由融合函數產生之該單個向量係使用者類神經網路編碼器之第一層之輸出。作為一實例，融合函數可為平均化項目向量表示之一平均函數。此外，如章節2.7中更詳細描述，融合函數可為基於該等項目向量表示與針對其預測一互動值之項目之項目向量表示之相似性來運算項目向量表示之一經加權平均值之一加權平均函數。
系統基於使用者-項目對之使用者及項目向量表示來運算該對之一經預測互動值(步驟160)。在一項實施例中，經預測互動值係使用者表示與項目表示之內積。
2.5 計算損先及調整模型參數
系統計算訓練資料集中之使用者-項目對之經預測互動值與實際互動值之間的一損失(步驟170)。系統調整使用者及項目類神經網路編碼器之可訓練參數以最小化損失(步驟180)。在一項實施例中，使用者及項目類神經網路編碼器之各者具有多個層，其中一權重矩陣係與各層相關聯。權重矩陣係可調整參數，惟使用者類神經網路編碼器之第一層中之權重矩陣除外。此權重矩陣係固定的且僅回應於訓練資料集中之項目表示在一後續反覆中改變而改變。系統重複步驟120至180數次反覆。
在數學上，模型之目標函數係如下表示：
Figure 111129533-A0305-12-0010-3
Figure 111129533-A0305-12-0010-4
Figure 111129533-A0305-12-0010-5
其中：
Figure 111129533-A0305-12-0011-6
表示第j個使用者表示；
Figure 111129533-A0305-12-0011-7
表示第k個項目表示；R jk 表示實際使用者-項目互動值；g u 係使用者類神經網路編碼器；g i 係項目類神經網路編碼器；σ係一啟動函數；X係訓練資料集中之所有項目之s維旁側資訊(其中s係一正整數)；X k 係第k個項目之旁側資訊；及
Figure 111129533-A0305-12-0011-19
係使用者類神經網路編碼器之第L個層之權重矩陣(其中L係一正整數)
以上目標(損失)函數係在項目類神經網路編碼器g i 及使用者類神經網路編碼器g u 之參數上最小化，其中g u 之參數係
Figure 111129533-A0305-12-0011-8
。
Figure 111129533-A0305-12-0011-9
並非使用者類神經網路編碼器之一可調整參數，此係因為此係用在步驟120產生之項目表示來設定。
2.6 使用小批次進行更快訓練
在一項實施例中，使用小批次梯度下降來訓練使用者及項目類神經網路編碼器。在此實施例中，訓練資料集被劃分成複數個小批次。對於各小批次，使用者類神經網路編碼器之第一層中之權重矩陣係基於小批次使用者已與其互動之整個訓練資料集中之項目來設定。針對各小批次執行圖1中之步驟140至150。
在現實世界資料集中，各使用者具有他/她與其等具有一正向互動值之少量項目。因此，將訓練集劃分成複數個小批次意謂系統針對 其等需要在小批次中運算一表示之項目數目相較於訓練資料集中之項目之總數為小。此導致模型之更快整體訓練。
2.7 學習表示中之關注機制
如上文所描述，使用者類神經網路編碼器之第一層之輸出係依據使用者針對其等具有一正向互動值之項目之表示而變化。一使用者與其具有一正向互動之項目集在本文中被稱為一使用者之「相鄰項目集」或「相鄰集」。在某些實施例中，在計算使用者類神經網路編碼器之第一層之輸出時，同等地加權於一使用者之相鄰項目集之各者之表示。在其他實施例中，在計算使用者j及項目k之一互動評分時，第一層之輸出係使用者j之相鄰集之表示之一經加權總和，其中權重係基於使用者j之相鄰集之各者與項目k之相似性來運算。在此等實施例中，目標函數可如下表示：
Figure 111129533-A0305-12-0012-10
Figure 111129533-A0305-12-0012-11
其中：α pk 基於第p個項目個與第k個項目之相似性將權重給予第p個項目。
可使用餘弦、內積或一般關注機制來學習權重。權重α pk 可使用以下之一者來運算：
點：
Figure 111129533-A0305-12-0012-12
一般：
Figure 111129533-A0305-12-0012-13
餘弦：
Figure 111129533-A0305-12-0012-14
，
其中W a 係一般關注中之一可學習矩陣。最終權重係藉由應用一softmax函數來達到：
Figure 111129533-A0305-12-0013-15
2.8 實驗展示改良之效能
在相關申請案章節中以引用的方式併入本文中之臨時申請案闡述比較使用共享式類神經項目表示(且根據本文中所描述之方法訓練)之一推薦系統及不使用共享式類神經項目表示之一推薦系統之效能之實驗結果。如本文中描述之使用共享式類神經項目表示之推薦系統關於冷起動推薦以更少反覆達成更佳召回率。在非共享式模型之訓練期間必須學習之參數之數目隨著使用者及項目之數目以幾乎線性方式增加。相比而言，由於項目表示在本文中描述之模型中之使用者類神經網路編碼器中共享並用作權重，因此在訓練期間需要學習之參數之數目顯著更少。此使共享式模型能夠對更大資料集進行更快最佳化及更佳一般化。
3.0 預測階段
在一預測階段中，經訓練模型可用於在電子商務平台上針對有目標性廣告將使用者推薦給具有冷起動項目之商店或將冷起動項目推薦給使用者。為完成此等之任一者，系統需要預測電子商務平台之使用者與冷起動項目之間的互動值。
圖2繪示用於預測一測試使用者與一冷起動項目之一互動值之一方法。系統運算電子商務平台上之項目之項目向量表示(步驟210)。在一項實施例中，此係針對在電子商務平台上供出售之所有或實質上所有項目進行。系統使用項目向量表示來設定使用者類神經網路編碼器之第一層中之權重矩陣(步驟220)。系統獲得一測試使用者之一使用者-項 目互動向量(步驟230)。系統獲得一冷起動項目k之旁側項目資料(步驟240)。系統藉由將使用者類神經網路編碼器應用於測試使用者之使用者-項目互動向量來運算測試使用者之一使用者向量表示(步驟250)。使用者類神經網路編碼器之第一層之輸出依據測試使用者已與其等具有一正向互動之項目之項目表示而變化。系統藉由將項目類神經網路編碼器應用於在步驟240獲得之旁側項目資料來運算冷起動項目k之一項目向量表示(步驟260)。系統基於針對測試使用者及項目運算之使用者及項目向量表示來運算測試使用者與冷起動項目k之一經預測互動值(步驟270)。
為識別一商店應將其等作為關於一冷起動項目之廣告的目標之使用者，系統運算項目與複數個使用者之各者之一經預測互動值。系統接著向商店推薦具有針對項目具有一正向互動值之最高概率之特定數目或特定百分比之使用者。
為識別推薦給一特定使用者之產品，系統運算使用者與在電子商務平台上出售之複數個項目之各者之一經預測互動值。系統接著向使用者推薦使用者與其等具有一正向互動之最高概率之特定數目個項目。
4.0 使用者類神經網路架構
圖4繪示根據一項實施例之使用者類神經網路編碼器之架構。使用者類神經網路編碼器包含L個層(410、420、...、430)，其中L係大於1之一整數。各層包含一權重矩陣及一非線性啟動函數。在層2至層L中，權重矩陣係一可調整參數。在層1中，權重矩陣係使用由項目類神經網路編碼器產生之項目表示來設定。
5.0 實例性系統架構
圖5繪示用於推薦系統之一實例性系統架構。如上文所描 述，推薦系統包含預測使用者-項目對之使用者-項目互動之一預測模型550。至模型之輸入係旁側項目資料520及使用者-互動向量510。模型之預測係以使用者-項目互動評分560之形式(例如，使用者表示與項目表示之間的相似性評分)輸出。模型包含項目類神經網路編碼器530及使用者類神經網路編碼器540。在某些實施例中，使用者及項目類神經網路編碼器係多層感知器。模型亦包含計算使用者表示與項目表示之內積之一內積模組555。
用於540之一推薦模組接收來自預測模型550之使用者-項目互動評分並使用該等評分來向商店推薦使用者或向使用者推薦項目，如上文在章節3.0中所描述。
一訓練模組580根據圖1A至圖1B之方法訓練預測模型。
6.0 一般
關於圖1至圖5所描述之方法體現於軟體中且由執行該軟體之一電腦系統(包括一或多個運算裝置)執行。熟習此項技術者將理解，一電腦系統具有用於儲存軟體指令之一或多個實體記憶體單元、磁碟或其他實體、電腦可讀儲存媒體，以及用於執行軟體指令之一或多個處理器。熟習此項技術者亦將理解，一電腦系統可為一獨立電腦或一起工作之一電腦網路，諸如在一用戶端-伺服器架構中。
如熟習此項技術者將理解，本發明可在不脫離其精神或基本特性的情況下以其他特定形式體現。因此，以上發明旨在為闡釋而非限制本發明之範疇。
110:步驟 120:步驟 130:步驟 140:步驟 150:步驟 160:步驟

Claims (20)

  1. 一種藉由電腦系統執行之用於預測使用者與項目之互動值之方法，該方法包括：關於訓練階段執行以下各者：(a)獲得用於訓練使用者及項目之訓練資料集，其中該訓練資料集包含該資料集中之各項目之項目資料及各訓練使用者之使用者互動向量，其中該等使用者互動向量係自具有該訓練資料集中之各使用者-項目對之互動值之互動矩陣獲得；(b)使用項目類神經網路編碼器來運算：至少一個訓練使用者具有正向互動值之該訓練資料集中之各項目的項目向量表示；(c)使用該等項目向量表示設定使用者類神經網路編碼器之第一層中之權重矩陣；(d)對於該訓練資料集中之各使用者-項目對，執行以下各者：藉由將該使用者類神經網路編碼器應用於該訓練使用者之該使用者互動向量來運算使用者向量表示，其中在運算該訓練使用者之該使用者向量表示時，使用者類神經網路編碼器之該第一層之該輸出係該訓練使用者具有正向互動值之該等項目之該等項目向量表示的函數；藉由將該項目類神經網路編碼器應用於該對中之該項目之項目資料來運算項目向量表示；及基於針對該對產生之該等使用者及項目向量表示來運算該使用者-項目對之經預測互動值； (e)計算該訓練資料集中之該等使用者-項目對之經預測互動值與實際互動值之間的損失(loss)；(f)調整該等項目及使用者類神經網路編碼器之可訓練參數以最小化該損失；(g)重複步驟(b)至(f)數次反覆；關於預測階段執行以下各者：(h)運算複數個項目之項目向量表示，其中該等項目向量表示係藉由將該項目類神經網路編碼器應用於該等項目之項目資料來產生；(i)使用該等項目向量表示設定該使用者類神經網路編碼器之該第一層中之該權重矩陣；(j)關於測試使用者執行以下各者：獲得該測試使用者之使用者互動向量；獲得與該測試使用者不具有已知互動值之項目k之項目資料；藉由將該使用者類神經網路編碼器應用於該使用者互動向量來運算該測試使用者之使用者向量表示，其中該使用者類神經網路編碼器之該第一層之該輸出係該測試使用者具有正向互動值之該等項目之該等項目向量表示的函數；藉由將該項目類神經網路編碼器應用於項目k之項目資料來運算項目k之項目向量表示；及基於針對該測試使用者及項目運算之該等使用者及項目向量表示，來運算該測試使用者與項目k之經預測互動值。
  2. 如請求項1之方法，其進一步包括： 針對該測試使用者之不具有已知互動值之複數個項目重複步驟(j)；及基於針對該測試使用者及該複數個項目運算之該等經預測互動值向該測試使用者推薦一或多個項目。
  3. 如請求項1之方法，其進一步包括：針對複數個不同測試使用者重複步驟(j)；基於測試使用者及項目k之該等經預測互動值向該等測試使用者之一或多者推薦項目k。
  4. 如請求項1之方法，其中運算該使用者類神經網路編碼器之該第一層之該輸出包括：將融合函數應用於該使用者具有正向互動值之該等項目之該等項目向量表示，以將該等項目向量表示映射至單個向量；及使用該單個向量作為該使用者類神經網路編碼器之該第一層之該輸出。
  5. 如請求項4之方法，其中該融合函數係平均化該等項目向量表示之平均函數。
  6. 如請求項4之方法，其中該融合函數係基於該等項目向量表示與針對其預測一互動值之該項目之該項目向量表示之相似性，來運算該等項目向量表示之經加權平均值之加權平均函數。
  7. 如請求項1之方法，其中該使用者類神經網路編碼器具有複數個層，其中各層係與權重矩陣相關聯，且其中該等可訓練參數包含該等權重矩陣，惟固定且僅回應於步驟(b)之該等項目向量表示在後續反覆中改變而改變之該第一層中之該權重矩陣除外。
  8. 如請求項1之方法，其中該訓練資料集被劃分成複數個小批次，且該等使用者及項目類神經網路編碼器係使用小批次梯度下降來訓練，且其中對於各小批次，該使用者類神經網路編碼器之該第一層中之該權重矩陣係基於小批次使用者已與其互動之該整個訓練資料集中之該等項目來設定，且針對各小批次執行步驟(d)至(g)。
  9. 如請求項1之方法，其中步驟(h)之該複數個項目係在電子商務平台上出售之項目。
  10. 如請求項1之方法，其中項目k係冷起動項目。
  11. 如請求項1之方法，其中使用者-項目對之該經預測互動值係基於該對之該使用者向量表示與該項目向量表示之間的內積。
  12. 一種包括電腦程式之非暫時性電腦可讀媒體，該電腦程式在藉由電腦系統執行時，使該電腦系統能夠執行用於訓練機器學習模型以預測使用者與項目之互動值之以下方法，該方法包括： (a)獲得用於訓練使用者及項目之訓練資料集，其中該訓練資料集包含該資料集中之各項目之項目資料及各訓練使用者之使用者互動向量，其中該等使用者互動向量係自具有該訓練資料集中之各使用者-項目對之互動值之互動矩陣獲得；(b)使用項目類神經網路編碼器來運算：至少一個訓練使用者具有正向互動值之該訓練資料集中之各項目的項目向量表示；(c)使用該等項目向量表示設定使用者類神經網路編碼器之第一層中之權重矩陣；(d)對於該訓練資料集中之各使用者-項目對，執行以下各者：藉由將該使用者類神經網路編碼器應用於該訓練使用者之該使用者互動向量來運算使用者向量表示，其中在運算該訓練使用者之該使用者向量表示時，使用者類神經網路編碼器之該第一層之該輸出係該訓練使用者具有正向互動值之該等項目之該等項目向量表示的函數；藉由將該項目類神經網路編碼器應用於該對中之該項目之項目資料來運算項目向量表示；及基於針對該對產生之該等使用者及項目向量表示來運算該使用者-項目對之經預測互動值；(e)計算該訓練資料集中之該等使用者-項目對之經預測互動值與實際互動值之間的損失；(f)調整該等項目及使用者類神經網路編碼器之可訓練參數以最小化該損失；及(g)重複步驟(b)至(f)數次反覆。
  13. 如請求項12之非暫時性電腦可讀媒體，其中運算該使用者類神經網路編碼器之該第一層之該輸出包括：將融合函數應用於該使用者具有正向互動值之該等項目之該等項目向量表示以將該等項目向量表示映射至單個向量；及使用該單個向量作為該使用者類神經網路編碼器之該第一層之該輸出。
  14. 如請求項13之非暫時性電腦可讀媒體，其中該融合函數係平均化該等項目向量表示之平均函數。
  15. 如請求項13之非暫時性電腦可讀媒體，其中該融合函數係基於該等項目向量表示與針對其預測一互動值之該項目之該項目向量表示之相似性，來運算該等項目向量表示之經加權平均值之加權平均函數。
  16. 一種包括電腦程式之非暫時性電腦可讀媒體，該電腦程式在藉由電腦系統執行時，使該電腦系統能夠執行用於預測使用者與項目之互動值之以下方法，該方法包括：(a)運算複數個項目之項目向量表示，其中該等項目向量表示係藉由將項目類神經網路編碼器應用於該等項目之項目資料來產生；(b)使用該等項目向量表示設定使用者類神經網路編碼器之第一層中之權重矩陣；及(c)關於測試使用者，執行以下各者： 獲得該測試使用者之使用者互動向量；獲得該測試使用者之不具有已知互動值之項目k之項目資料；藉由將該使用者類神經網路編碼器應用於該使用者互動向量來運算該測試使用者之使用者向量表示，其中該使用者類神經網路編碼器之該第一層之該輸出係該測試使用者具有正向互動值之該等項目之該等項目向量表示的函數；藉由將該項目類神經網路編碼器應用於項目k之項目資料來運算項目k之項目向量表示；及基於針對該測試使用者及項目運算之該等使用者及項目向量表示來運算該測試使用者與項目k之經預測互動值。
  17. 如請求項16之非暫時性電腦可讀媒體，其進一步包括：針對該測試使用者之不具有已知互動值之複數個項目重複步驟(c)；及基於針對該測試使用者及該複數個項目運算之該等經預測互動值，向該測試使用者推薦一或多個項目。
  18. 如請求項16之非暫時性電腦可讀媒體，其進一步包括：針對複數個不同測試使用者重複步驟(c)；基於測試使用者及項目k之該等經預測互動值向該等測試使用者之一或多者推薦項目k。
  19. 一種用於在電子商務平台上預測使用者-項目互動值之系統，其包 括：處理器，其構成為執行使用一組機器程式碼程式化之指令；一或多個記憶體單元，其耦合至該處理器；及機器學習模型，其儲存於該系統之該一或多個記憶體單元中，在該電子商務平台上獲取使用者輸入及項目輸入且輸出使用者及項目之經預測使用者-互動值，其中該模型包含在該機器程式碼中實施以用於產生該輸出之運算指令，且其中該模型係根據包括以下之方法來訓練：(a)獲得用於訓練使用者及項目之訓練資料集，其中該訓練資料集包含該資料集中之各項目之項目資料及各訓練使用者之使用者互動向量，其中該等使用者互動向量係自具有該訓練資料集中之各使用者-項目對之互動值之互動矩陣獲得；(b)使用項目類神經網路編碼器來運算：至少一個訓練使用者具有正向互動值之該訓練資料集中之各項目的項目向量表示；(c)使用該等項目向量表示設定使用者類神經網路編碼器之第一層中之權重矩陣；(d)對於該訓練資料集中之各使用者-項目對，執行以下各者：藉由將該使用者類神經網路編碼器應用於該訓練使用者之該使用者互動向量來運算使用者向量表示，其中在運算該訓練使用者之該使用者向量表示時，使用者類神經網路編碼器之該第一層之該輸出係該訓練使用者具有正向互動值之該等項目之該等項目向量表示的函數；藉由將該項目類神經網路編碼器應用於該對中之該項目之項目資料來運算項目向量表示；及 基於針對該對產生之該等使用者及項目向量表示來運算該使用者-項目對之經預測互動值；(e)計算該訓練資料集中之該等使用者-項目對之經預測互動值與實際互動值之間的損失；(f)調整該等項目及使用者類神經網路編碼器之可訓練參數以最小化該損失；及(g)重複步驟(b)至(f)數次反覆。
  20. 如請求項19之系統，其中運算該使用者類神經網路編碼器之該第一層之該輸出包括：將融合函數應用於該使用者具有正向互動值之該等項目之該等項目向量表示以將該等項目向量表示映射至單個向量；及使用該單個向量作為該使用者類神經網路編碼器之該第一層之該輸出。
TW111129533A 2021-08-06 2022-08-05 用於預測使用者-項目互動值之方法、系統及非暫時性電腦可讀媒體 TWI883341B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163230676P 2021-08-06 2021-08-06
US63/230,676 2021-08-06
US202163234651P 2021-08-18 2021-08-18
US63/234,651 2021-08-18
US17/556,954 US20230055699A1 (en) 2021-08-06 2021-12-20 Recommender system and method using shared neural item representations for cold-start recommendations
US17/556,954 2021-12-20

Publications (2)

Publication Number Publication Date
TW202314558A TW202314558A (zh) 2023-04-01
TWI883341B true TWI883341B (zh) 2025-05-11

Family

ID=82786898

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111129533A TWI883341B (zh) 2021-08-06 2022-08-05 用於預測使用者-項目互動值之方法、系統及非暫時性電腦可讀媒體

Country Status (4)

Country Link
US (1) US20230055699A1 (zh)
EP (1) EP4131122A1 (zh)
JP (1) JP7460703B2 (zh)
TW (1) TWI883341B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593861B2 (en) * 2019-10-28 2023-02-28 Fiserv, Inc. Automated product recommendation
US12211073B2 (en) * 2021-07-14 2025-01-28 Rakuten Group, Inc. Reducing sample selection bias in a machine learning-based recommender system
US12530435B2 (en) 2022-07-27 2026-01-20 Rakuten Group, Inc. One-class recommender system with hinge pairwise distance loss and orthogonal representations
US20240152842A1 (en) * 2022-10-27 2024-05-09 6Sense Insights, Inc. Predictive model for mitigating cold-start problem with data quality and quantity
CN118411221A (zh) * 2023-03-21 2024-07-30 滴图(北京)科技有限公司 一种数据处理方法和装置
CN116166890B (zh) * 2023-04-25 2023-07-18 中国科学技术大学 基于浅层自动编码器模型的推荐方法、系统、设备及介质
CN116662661B (zh) * 2023-06-05 2025-10-17 杭州电子科技大学 一种基于轻量化图卷积自注意力模型的评分序列推荐方法
CN116645174B (zh) * 2023-07-27 2023-10-17 山东省人工智能研究院 基于解耦多行为表征学习的个性化推荐方法
CN117422526B (zh) * 2023-11-15 2024-07-26 哈尔滨工业大学 一种基于提示的用户跨域冷启动方法
CN118427442B (zh) * 2024-05-23 2025-11-07 福州大学 一种融合交叉网络和特征重要性选择的推荐方法
CN118313446B (zh) * 2024-06-07 2024-08-27 安徽大学 面向冷启动场景的因果元学习多视角图学习方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288436A (zh) * 2019-06-19 2019-09-27 桂林电子科技大学 一种基于游客偏好建模的个性化景点推荐方法
CN111210008A (zh) * 2020-01-09 2020-05-29 支付宝(杭州)信息技术有限公司 利用lstm神经网络模型处理交互数据的方法及装置
CN111815410A (zh) * 2020-07-07 2020-10-23 中国人民解放军军事科学院国防科技创新研究院 基于选择性邻域信息的商品推荐方法
US20210150337A1 (en) * 2019-11-20 2021-05-20 Rakuten, Inc. System, method, and computer program for recommending items using a direct neural network structure

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650432B1 (en) * 2016-11-28 2020-05-12 Amazon Technologies, Inc. Recommendation system using improved neural network
US11004135B1 (en) * 2017-08-18 2021-05-11 Amazon Technologies, Inc. Artificial intelligence system for balancing relevance and diversity of network-accessible content
US11544340B2 (en) * 2020-12-15 2023-01-03 Docusign, Inc. Content item selection in a digital transaction management platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288436A (zh) * 2019-06-19 2019-09-27 桂林电子科技大学 一种基于游客偏好建模的个性化景点推荐方法
US20210150337A1 (en) * 2019-11-20 2021-05-20 Rakuten, Inc. System, method, and computer program for recommending items using a direct neural network structure
CN111210008A (zh) * 2020-01-09 2020-05-29 支付宝(杭州)信息技术有限公司 利用lstm神经网络模型处理交互数据的方法及装置
CN111815410A (zh) * 2020-07-07 2020-10-23 中国人民解放军军事科学院国防科技创新研究院 基于选择性邻域信息的商品推荐方法

Also Published As

Publication number Publication date
JP2023024950A (ja) 2023-02-21
TW202314558A (zh) 2023-04-01
JP7460703B2 (ja) 2024-04-02
US20230055699A1 (en) 2023-02-23
EP4131122A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
TWI883341B (zh) 用於預測使用者-項目互動值之方法、系統及非暫時性電腦可讀媒體
US11809993B2 (en) Systems and methods for determining graph similarity
US11551280B2 (en) Method, manufacture, and system for recommending items to users
Liu et al. Multi-task recommendations with reinforcement learning
TWI864403B (zh) 機器學習方法、訓練方法、預測系統及非暫時性電腦可讀媒體
TWI877494B (zh) 機器學習方法、訓練方法、預測系統、及非暫時性電腦可讀媒體
WO2022166125A1 (en) Recommendation system with adaptive weighted baysian personalized ranking loss
CN114240555A (zh) 训练点击率预测模型和预测点击率的方法和装置
CN110889747B (zh) 商品推荐方法、装置、系统、计算机设备及存储介质
TWI871518B (zh) 機器學習方法、訓練方法、預測系統及非暫時性電腦可讀媒體
TWI877495B (zh) 機器學習方法、訓練方法、預測系統、及非暫時性電腦可讀媒體
Dash DECPNN: A hybrid stock predictor model using Differential Evolution and Chebyshev Polynomial neural network
TWI881345B (zh) 預測方法、訓練方法、預測系統及非暫時性電腦可讀媒體
US20240062071A1 (en) Systems and methods for sequential recommendation with cascade-guided adversarial training
Roh et al. Stochastic parameter search for events