[go: up one dir, main page]

TWI766531B - 電腦實行系統以及方法 - Google Patents

電腦實行系統以及方法 Download PDF

Info

Publication number
TWI766531B
TWI766531B TW110100293A TW110100293A TWI766531B TW I766531 B TWI766531 B TW I766531B TW 110100293 A TW110100293 A TW 110100293A TW 110100293 A TW110100293 A TW 110100293A TW I766531 B TWI766531 B TW I766531B
Authority
TW
Taiwan
Prior art keywords
detectable effect
user
minimum detectable
future value
future
Prior art date
Application number
TW110100293A
Other languages
English (en)
Other versions
TW202209221A (zh
Inventor
小偉 貢
貝貝 葉
俊 葉
澈 徐
Original Assignee
南韓商韓領有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商韓領有限公司 filed Critical 南韓商韓領有限公司
Publication of TW202209221A publication Critical patent/TW202209221A/zh
Application granted granted Critical
Publication of TWI766531B publication Critical patent/TWI766531B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Managing shopping lists, e.g. compiling or processing purchase lists

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本揭露的實施例包含預測最小可偵測效應的電腦實行系 統及方法。系統可包含經組態以執行指令以進行步驟的至少一個處理器。步驟可包含將第一網頁發送至第一使用者裝置以及將第二網頁發送至第二使用者裝置。第二網頁可包含不同於第一網頁的至少一個特性。步驟可包含收集來自第一使用者裝置及第二使用者裝置的使用者交互資料，以及判定使用者體驗的當前最小可偵測效應。步驟可包含檢索與較早時間段相關聯的歷史最小可偵測效應值的集合，以及基於所檢索的歷史最小可偵測效應值的集合而判定當前最小可偵測效應的百分等級。步驟可包含預測使用者體驗的最小可偵測效應的第一未來值及第二未來值，以及聚集第一未來值及第二未來值。所聚集的第一未來值及第二未來值可與臨限值相比較以判定是否停止實驗且對網站實行改變。

Description

電腦實行系統以及方法
本揭露大體上是關於判定最小可偵測效應的電腦化系統及方法。特定而言，本揭露的實施例是關於預測當前運行實驗的最小可偵測效應的發明性及非習知系統及方法。
隨著電子商務的發展及廣泛接受，網際網路購物為包含食品、傢俱、電子產品、衣服、書籍等的所有購物需求提供了一站式商店。為了最佳化及增強客戶的線上體驗，許多電子商務公司利用實驗設計(design of experiment；DOE)來瞭解其客戶的行為模式。一些電子商務公司可利用其網頁的A/B測試來瞭解客戶如何對特定網頁元素的改變作出回應。A/B測試是包含在同一營銷資產(諸如社交媒體帖、電子郵件或網頁)的兩個版本之間進行比較的實驗。在習知A/B測試中，向網站的一半訪客呈現標準網頁，且向一半訪客呈現標準網頁的變型。基於轉化率或其他度量，可判定哪一網頁表現最佳。舉例而言，若網站的目標為鼓勵更多用戶，且具有變型的網站比標準網站帶來更多用戶，則所述變型可被視為成功且永久地實行於網站上。A/B測試可允許電子商務公司建構假設且學習為何某些元素正面地或負面地影響客戶的行為。理 解客戶的反應可引起藉由吸引對網頁的改變作出正面回應的客戶來最大化利潤的網頁設計。
然而，雖然用於網頁的DOE或A/B測試為有用的，但其需要大量資源及時間來運行。DOE或A/B測試可能需要長實驗測試時間，以便獲得作出變型是否帶來顯著影響的決策的足夠資料。舉例而言，一些實驗測試可持續長至六個月以恢復足夠大量的統計資料，從而作出哪種變型具有對客戶的最正面影響的適當決策。P值常常用於評估實驗是否運行足夠長時間以得出在統計學上顯著的結論。通常，認為低於0.05的p值在統計學上顯著。在達成低於0.05的p值時，可認為實驗成功且結束。然而，並非所有實驗皆能夠收集足夠資料或具有足夠樣本大小以達成小於0.05的p值。在此等情況下，其適用於預測最小可偵測效應，以幫助判定是否停止實驗。
因此，需要預測實驗的最小可偵測效應的改良方法及系統。
本揭露的一個態樣是關於一種判定最小可偵測效應的電腦實行系統。系統可包含：記憶體，包括處理器指令；以及至少一個處理器，經組態以執行指令以進行步驟。步驟可包含將第一網頁發送至第一使用者裝置以及將第二網頁發送至第二使用者裝置。第二網頁可包含不同於第一網頁的至少一個特性。步驟可包含收集來自第一使用者裝置及第二使用者裝置的使用者交互資料。步驟可包含自使用者交互資料判定指示使用者體驗的成功度量的當 前最小可偵測效應。步驟可包含針對與較早時間段相關聯的成功度量檢索歷史最小可偵測效應值的集合。步驟可包含基於所檢索的歷史最小可偵測效應值的集合而判定當前最小可偵測效應的百分等級。步驟可包含預測使用者體驗的最小可偵測效應的第一未來值以及預測使用者體驗的最小可偵測效應的第二未來值。步驟可包含聚集使用者體驗的最小可偵測效應的第一未來值及第二未來值，以及基於當前最小可偵測效應以及所聚集的值(或預測MDE)判定終止條件。步驟可包含在終止條件存在的情況下停止將第二網頁發送至第二使用者裝置。
本揭露的另一態樣是關於一種判定最小可偵測效應的電腦實行方法。方法可包含將第一網頁發送至第一使用者裝置以及將第二網頁發送至第二使用者裝置。第二網頁可包含不同於第一網頁的至少一個特性。方法可包含收集來自第一使用者裝置及第二使用者裝置的使用者交互資料。方法可包含自使用者交互資料判定指示使用者體驗的成功度量的當前最小可偵測效應。方法可包含針對與較早時間段相關聯的成功度量檢索歷史最小可偵測效應值的集合。方法可包含基於所檢索的歷史最小可偵測效應值的集合而判定當前最小可偵測效應的百分等級。方法可包含預測使用者體驗的最小可偵測效應的第一未來值以及預測使用者體驗的最小可偵測效應的第二未來值。方法可包含聚集使用者體驗的最小可偵測效應的第一未來值及第二未來值，以及基於當前最小可偵測效應以及所聚集的值判定終止條件。方法可包含在終止條件存在的情況下停止將第二網頁發送至第二使用者裝置。
本揭露的又一態樣是關於一種判定最小可偵測效應的電 腦實行系統。系統可包含：記憶體，包括處理器指令；以及至少一個處理器，經組態以執行指令以進行步驟。步驟可包含將第一網頁發送至第一使用者裝置以及將第二網頁發送至第二使用者裝置。第二網頁可包含不同於第一網頁的至少一個特性。步驟可包含收集來自第一使用者裝置及第二使用者裝置的使用者交互資料。步驟可包含自使用者交互資料判定指示使用者體驗的成功度量的當前最小可偵測效應。步驟可包含針對與較早時間段相關聯的成功度量檢索歷史最小可偵測效應值的集合。步驟可包含基於所檢索的歷史最小可偵測效應值的集合而判定當前最小可偵測效應的百分等級。步驟可包含預測使用者體驗的最小可偵測效應的第一未來值以及預測使用者體驗的最小可偵測效應的第二未來值。步驟可包含聚集使用者體驗的最小可偵測效應的第一未來值及第二未來值。步驟可包含基於使用者體驗的當前最小可偵測效應以及最小可偵測效應的所聚集的第一未來值及第二未來值，判定在當前最小可偵測效應以及所聚集的第一未來值及第二未來值並不指示終止條件的情況下繼續將第二網頁發送至第二使用者裝置，且在當前最小可偵測效應以及所聚集的第一未來值及第二未來值指示終止條件的情況下停止將第二網頁發送至第二使用者裝置。
本文中亦論述其他系統、方法以及電腦可讀媒體。
100、300:系統
101:運送授權技術系統
102A、107A、107B、107C、119A、119B、119C:行動裝置
102B:電腦
103:外部前端系統
105:內部前端系統
107:運輸系統
109:賣方入口網站
111:運送及訂單追蹤系統
113:履行最佳化系統
115:履行通信報閘道
117:供應鏈管理系統
119:倉庫管理系統
121A、121B、121C:第3方履行系統
123:履行中心授權系統
125:勞動管理系統
200:履行中心
201、222:卡車
202A、202B、208:物件
203:入站區
205:緩衝區
206:叉車
207:卸貨區
209:揀貨區
210:儲存單元
211:包裝區
213:樞紐區
214:運輸機構
215:營地區
216:牆
218、220:包裹
224A、224B:遞送工作者
226:汽車
302:處理器
304:伺服器
306:資料庫
310:記憶體
400:搜尋結果頁
410:「快速遞送」的字體
420:新按鈕或核取方塊
430:搜尋結果
500:圖解
510、601、603、605、607:歷史最小可偵測效應值
511、512、640、641、642、643、644:最小可偵測效應值
600:最小可偵測效應
610:第二未來值
620:所聚集的第一未來值及第二未來值
630:第一未來值
650、Di:當前日
660、Di+1:未來日
700:方法
702、704、706、708、710、712、714、716、718、720、722、724:步驟
圖1A為與所揭露實施例一致的示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的網路的例示性實施例的示 意性方塊圖。
圖1B描繪與所揭露實施例一致的包含滿足搜尋請求的一或多個搜尋結果以及交互式使用者介面元素的樣本搜尋結果頁(Search Result Page；SRP)。
圖1C描繪與所揭露實施例一致的包含產品及關於所述產品的資訊以及交互式使用者介面元素的樣本單一顯示頁(Single Display Page；SDP)。
圖1D描繪與所揭露實施例一致的包含虛擬購物車中的物件以及交互式使用者介面元素的樣本購物車頁。
圖1E描繪與所揭露實施例一致的包含來自虛擬購物車的物件以及關於購買及運送的資訊以及交互式使用者介面元素的樣本訂單頁。
圖2為與所揭露實施例一致的經組態以利用所揭露電腦化系統的例示性履行中心的圖解圖示。
圖3描繪與所揭露實施例一致的示出預測最小可偵測效應的例示性系統的方塊圖。
圖4描繪與所揭露實施例一致的形成A/B測試實驗的一部分的樣本搜尋結果頁(SRP)。
圖5描繪繪示多個A/B測試實驗的歷史最小可偵測效應的圖解。
圖6描繪與所揭露實施例一致的沿著當前A/B測試實驗的最小可偵測效應繪示歷史最小可偵測效應值的圖解。
圖7為與所揭露實施例一致的預測最小可偵測效應的例示性方法的流程圖。
以下詳細描述參考隨附圖式。只要可能，即在圖式及以下描述中使用相同附圖標號來指代相同或類似部分。儘管本文中描述若干示出性實施例，但修改、調適以及其他實施方案是可能的。舉例而言，可對圖式中所示出的組件及步驟進行替代、添加或修改，且可藉由取代、重新排序、移除步驟或將步驟添加至所揭露方法來修改本文中所描述的示出性方法。因此，以下詳細描述不限於所揭露實施例及實例。實情為，本發明的正確範圍由隨附申請專利範圍界定。
本揭露的實施例是關於經組態以用於藉由在不等待剩餘物件的情況下個別地運送同一訂單的物件來減少週期時間且提高包裹遞送的效率，從而避免減慢電腦化系統及過程的系統及方法。
參考圖1A，繪示示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的網路的例示性實施例的示意性方塊圖100。如圖1A中所示出，系統100可包含各種系統，所述系統中的每一者可經由一或多個網路彼此連接。所描繪系統包含運送授權技術(shipment authority technology；SAT)系統101、外部前端系統103、內部前端系統105、運輸系統107、行動裝置107A、行動裝置107B以及行動裝置107C、賣方入口網站109、運送及訂單追蹤(shipment and order tracking；SOT)系統111、履行最佳化(fulfillment optimization；FO)系統113、履行通信報閘道(fulfillment messaging gateway；FMG)115、供應鏈管理(supply chain management；SCM)系統117、倉庫管理系統119、行動裝置 119A、行動裝置119B以及行動裝置119C(描繪為在履行中心(FC)200內部)、第3方履行系統121A、第3方履行系統121B以及第3方履行系統121C、履行中心授權系統(fulfillment center authorization；FC Auth)123以及勞動管理系統(labor management system；LMS)125。
在一些實施例中，SAT系統101可實行為監視訂單狀態及遞送狀態的電腦系統。舉例而言，SAT系統101可判定訂單是否超過其承諾遞送日期(PDD)且可採取適當的動作，包含發起新訂單、對未遞送訂單中的物件進行重新運送、取消未遞送訂單、發起與訂購客戶的連絡，或類似者。SAT系統101亦可監視其他資料，包含輸出(諸如在特定時間段期間運送的包裹的數目)及輸入(諸如接收到的用於運送的空紙板盒的數目)。SAT系統101亦可充當系統100中的不同裝置之間的閘道，從而(例如，使用儲存及轉發或其他技術)實現諸如外部前端系統103及FO系統113的裝置之間的通信。
在一些實施例中，外部前端系統103可實行為使得外部使用者能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，外部前端系統103可實行為接收搜尋請求、呈現物件頁以及索求支付資訊的網頁伺服器。舉例而言，外部前端系統103可實行為電腦或電腦運行軟體，諸如阿帕奇(Apache)HTTP伺服器、微軟網際網路資訊服務(Internet Information Service；IIS)、NGINX，或類似者。在其他實施例中，外部前端系統103可運行經設計以接收及處理來自外部裝置(未描繪)的請求、基於彼等請 求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，外部前端系統103可包含網頁快取系統、資料庫、搜尋系統或支付系統中的一或多者。在一個態樣中，外部前端系統103可包括此等系統中的一或多者，而在另一態樣中，外部前端系統103可包括連接至此等系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。
藉由圖1B、圖1C、圖1D以及圖1E所示出的例示性步驟集合將有助於描述外部前端系統103的一些操作。外部前端系統103可自系統100中的系統或裝置接收資訊以供呈現及/或顯示。舉例而言，外部前端系統103可代管或提供一或多個網頁，包含搜尋結果頁(SRP)(例如，圖1B)、單一詳情頁(Single Detail Page；SDP)(例如，圖1C)、購物車頁(例如，圖1D)，或訂單頁(例如，圖1E)。(例如，使用行動裝置102A或電腦102B的)使用者裝置可導航至外部前端系統103且藉由將資訊輸入至搜尋方塊中來請求搜尋。外部前端系統103可向系統100中的一或多個系統請求資訊。舉例而言，外部前端系統103可向FO系統113請求滿足搜尋請求的結果。外部前端系統103亦可(自FO系統113)請求及接收搜尋結果中返回的每一產品的承諾遞送日期或「PDD」。在一些實施例中，PDD表示在特定時間段內(例如，在一天結束(下午11：59)前)訂購的情況下對包裹將何時抵達使用者的所要位置的估計。(PDD在下文相對於FO系統113進一步論述。)
外部前端系統103可基於資訊來準備SRP(例如，圖1B)。 SRP可包含滿足搜尋請求的資訊。舉例而言，此可包含滿足搜尋請求的產品的圖像。SRP亦可包含每一產品的各別價格，或與每一產品的增強遞送選項、PDD、重量、大小、報價、折扣或類似者相關的資訊。外部前端系統103可(例如，經由網路)將SRP遞送至請求使用者裝置。
使用者裝置可接著例如藉由點選或輕觸使用者介面或使用另一輸入裝置自SRP選擇產品，以選擇表示於SRP上的產品。使用者裝置可製訂對關於所選產品的資訊的請求且將其發送至外部前端系統103。作為回應，外部前端系統103可請求與所選產品相關的資訊。舉例而言，資訊可包含除針對各別SRP上的產品呈現的資訊以外的額外資訊。此可包含例如保存期限、原產國、重量、大小、包裹中的物件的數目、處置說明，或關於產品的其他資訊。資訊亦可包含類似產品的推薦(基於例如巨量資料及/或對購買此產品及至少一個其他產品的客戶的機器學習分析)、頻繁詢問的問題的答案、來自客戶的評論、製造商資訊、圖像，或類似者。
外部前端系統103可基於接收到的產品資訊來準備SDP(單一詳情頁)(例如，圖1C)。SDP亦可包含其他交互式元素，諸如「現在購買」按鈕、「添加至購物車」按鈕、數量欄、物件的圖像，或類似者。外部前端系統103可(例如，經由網路)將SDP遞送至請求使用者裝置。
請求使用者裝置可接收列出產品資訊的SDP。在接收到SDP後，使用者裝置可接著與SDP交互。舉例而言，請求使用者裝置的使用者可點選或以其他方式與SDP上的「放在購物車中」按鈕交互。此將產品添加至與使用者相關聯的購物車。使用者裝置 可將把產品添加至購物車的此請求傳輸至外部前端系統103。
外部前端系統103可產生購物車頁(例如，圖1D)。在一些實施例中，購物車頁列出使用者已添加至虛擬「購物車」的產品。使用者裝置可藉由在SRP、SDP或其他頁上的圖標上點選或以其他方式與所述圖標交互來請求購物車頁。在一些實施例中，購物車頁可列出使用者已添加至購物車的所有產品，以及關於購物車中的產品的資訊(諸如每一產品的數量、每一產品每物件的價格、每一產品基於相關聯數量的價格)、關於PDD的資訊、遞送方法、運送成本、用於修改購物車中的產品(例如，刪除或修改數量)的使用者介面元素、用於訂購其他產品或設置產品的定期遞送的選項、用於設置利息支付的選項、用於前進至購買的使用者介面元素，或類似者。使用者裝置處的使用者可在使用者介面元素(例如，寫著「現在購買」的按鈕)上點選或以其他方式與所述使用者介面元素交互，以發起對購物車中的產品的購買。在如此做後，使用者裝置可將發起購買的此請求傳輸至外部前端系統103。
外部前端系統103可回應於接收到發起購買的請求而產生訂單頁(例如，圖1E)。在一些實施例中，訂單頁重新列出來自購物車的物件且請求支付及運送資訊的輸入。舉例而言，訂單頁可包含請求關於購物車中的物件的購買者的資訊(例如，姓名、地址、電子郵件地址、電話號碼)、關於接收者的資訊(例如，姓名、地址、電話號碼、遞送資訊)、運送資訊(例如，遞送及/或揀貨的速度/方法)、支付資訊(例如，信用卡、銀行轉賬、支票、儲存的積分)的部分、請求現金收據(例如，出於稅務目的)的使用者介面元素，或類似者。外部前端系統103可將訂單頁發送至使用者 裝置。
使用者裝置可輸入關於訂單頁的資訊，且點選或以其他方式與將資訊發送至外部前端系統103的使用者介面元素交互。自此處，外部前端系統103可將資訊發送至系統100中的不同系統，以使得能夠創建及處理具有購物車中的產品的新訂單。
在一些實施例中，外部前端系統103可進一步經組態以使得賣方能夠傳輸及接收與訂單相關的資訊。
在一些實施例中，內部前端系統105可實行為使得內部使用者(例如，擁有、操作或租用系統100的組織的雇員)能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，內部前端系統105可實行為使得使用者能夠查看關於訂單的診斷及統計資訊、修改物件資訊或審查與訂單相關的統計的網頁伺服器。舉例而言，內部前端系統105可實行為電腦或電腦運行軟體，諸如阿帕奇HTTP伺服器、微軟網際網路資訊服務(IIS)、NGINX，或類似者。在其他實施例中，內部前端系統105可運行經設計以接收及處理來自系統100中所描繪的裝置(以及未描繪的其他裝置)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊來將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，內部前端系統105可包含網頁快取系統、資料庫、搜尋系統、支付系統、分析系統、訂單監視系統或類似者中的一或多者。在一個態樣中，內部前端系統105可包括此等系統中的一或多者，而在另一態樣中，內部前端系統105可包 括連接至此等系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。
在一些實施例中，運輸系統107可實行為實現系統100中的裝置與行動裝置107A至行動裝置107C之間的通信的電腦系統。在一些實施例中，運輸系統107可自一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA，或類似者)接收資訊。舉例而言，在一些實施例中，行動裝置107A至行動裝置107C可包括由遞送工作者操作的裝置。遞送工作者(其可為永久雇員、暫時雇員或輪班雇員)可利用行動裝置107A至行動裝置107C來實現對由使用者訂購的包裹的遞送。舉例而言，為遞送包裹，遞送工作者可在行動裝置上接收指示遞送哪一包裹及將所述包裹遞送到何處的通知。在抵達遞送位置後，遞送工作者可(例如，在卡車的後部中或在包裹的條板箱中)定位包裹、使用行動裝置掃描或以其他方式擷取與包裹上的識別符(例如，條碼、影像、文字串、RFID標籤，或類似者)相關聯的資料，且遞送包裹(例如，藉由將其留在前門處、將其留給警衛、將其交給接收者，或類似者)。在一些實施例中，遞送工作者可擷取包裹的相片及/或可獲得簽名。行動裝置可將通信發送至運輸系統107，所述通信包含關於遞送的資訊，包含例如時間、日期、GPS位置、相片、與遞送工作者相關聯的識別符、與行動裝置相關聯的識別符，或類似者。運輸系統107可在資料庫(未描繪)中儲存此資料以用於由系統100中的其他系統訪問。在一些實施例中，運輸系統107可使用此資訊來準備追蹤資料且將所述追蹤資料發送至其他系統，從而指示特定包裹的位置。
在一些實施例中，某些使用者可使用一個種類的行動裝置(例如，永久工作者可使用具有定製硬體(諸如條碼掃描器、尖筆以及其他裝置)的專用PDA)，而其他使用者可使用其他類型的行動裝置(例如，暫時工作者或輪班工作者可利用現成的行動電話及/或智慧型手機)。
在一些實施例中，運輸系統107可使使用者與每一裝置相關聯。舉例而言，運輸系統107可儲存使用者(由例如使用者識別符、雇員識別符或電話號碼表示)與行動裝置(由例如國際行動設備身分(International Mobile Equipment Identity；IMEI)、國際行動訂用識別符(International Mobile Subscription Identifier；IMSI)、電話號碼、通用唯一識別符(Universal Unique Identifier；UUID)或全球唯一識別符(Globally Unique Identifier；GUID)表示)之間的關係。運輸系統107可結合在遞送時接收到的資料使用此關係來分析儲存於資料庫中的資料，以便尤其判定工作者的位置、工作者的效率，或工作者的速度。
在一些實施例中，賣方入口網站109可實行為使得賣方或其他外部實體能夠與涉及訂單的資訊的其他態樣電子地通信的電腦系統。舉例而言，賣方可利用電腦系統(未描繪)來上載或提供賣方希望經由系統100來出售的產品的產品資訊、訂單資訊、連絡資訊或類似者。
在一些實施例中，運送及訂單追蹤系統111可實行為接收、儲存以及轉送關於由客戶(例如，由使用裝置102A至裝置102B的使用者)訂購的包裹的位置的資訊的電腦系統。在一些實施例中，運送及訂單追蹤系統111可請求或儲存來自由遞送由客 戶訂購的包裹的運送公司操作的網頁伺服器(未描繪)的資訊。
在一些實施例中，運送及訂單追蹤系統111可請求及儲存來自在系統100中描繪的系統的資訊。舉例而言，運送及訂單追蹤系統111可請求來自運輸系統107的資訊。如上文所論述，運輸系統107可自與使用者中的一或多者(例如，遞送工作者)或車輛(例如，遞送卡車)相關聯的一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA或類似者)接收資訊。在一些實施例中，運送及訂單追蹤系統111亦可向倉庫管理系統(warehouse management system；WMS)119請求資訊以判定個別包裹在履行中心(例如，履行中心200)內部的位置。運送及訂單追蹤系統111可向運輸系統107或WMS 119中的一或多者請求資料，在請求後處理所述資料，且將所述資料呈現給裝置(例如，使用者裝置102A及使用者裝置102B)。
在一些實施例中，履行最佳化(FO)系統113可實行為儲存來自其他系統(例如，外部前端系統103及/或運送及訂單追蹤系統111)的客戶訂單的資訊的電腦系統。FO系統113亦可儲存描述特定物件保存或儲存於何處的資訊。舉例而言，客戶訂購的一些物件可能僅儲存於一個履行中心中，而其他物件可能儲存於多個履行中心中。在再其他實施例中，某些履行中心可經設計以僅儲存特定物件集合(例如，新鮮農產品或冷凍產品)。FO系統113儲存此資訊以及相關聯資訊(例如，數量、大小、接收日期、過期日期等)。
FO系統113亦可計算每一產品的對應PDD(承諾遞送日期)。在一些實施例中，PDD可以基於一或多個因素。舉例而言， FO系統113可基於下述者來計算產品的PDD：對產品的過去需求(例如，在一段時間期間訂購了多少次所述產品)、對產品的預期需求(例如，預測在即將到來的一段時間期間多少客戶將訂購所述產品)、指示在一段時間期間訂購了多少產品的全網路過去需求、指示預期在即將到來的一段時間期間將訂購多少產品的全網路預期需求、儲存於每一履行中心200中的產品的一或多個計數、哪一履行中心儲存每一產品、產品的預期或當前訂單，或類似者。
在一些實施例中，FO系統113可定期(例如，每小時)判定每一產品的PDD且將其儲存於資料庫中以供檢索或發送至其他系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)。在其他實施例中，FO系統113可自一或多個系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)接收電子請求且按需求計算PDD。
在一些實施例中，履行通信報閘道(FMG)115可實行為電腦系統，所述電腦系統自系統100中的一或多個系統(諸如FO系統113)接收通信，將通信中的資料轉換為另一格式，且將呈經轉換格式的資料轉發至其他系統，諸如WMS 119或第3方履行系統121A、第3方履行系統121B或第3方履行系統121C，且反之亦然。
在一些實施例中，供應鏈管理(SCM)系統117可實行為進行預測功能的電腦系統。舉例而言，SCM系統117可基於例如下述者來判定對特定產品的預測需求水平：基於對產品的過去需求、對產品的預期需求、全網路過去需求、全網路預期需求、儲存於每一履行中心200中的產品的計數、每一產品的預期或當前訂 單，或類似者。回應於此所判定預測水平及所有履行中心中的每一產品的量，SCM系統117可產生一或多個購買訂單以滿足對特定產品的預期需求。
在一些實施例中，倉庫管理系統(WMS)119可實行為監視工作流程的電腦系統。舉例而言，WMS 119可自個別裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)接收指示離散事件的事件資料。舉例而言，WMS 119可接收指示此等裝置中的一者的使用掃描包裹的事件資料。如下文相對於履行中心200及圖2所論述，在履行過程期間，可藉由特定階段處的機器(例如，自動式或手持式條碼掃描器、RFID讀取器、高速攝影機、諸如平板電腦119A、行動裝置/PDA 119B、電腦119C的裝置或類似者)掃描或讀取包裹識別符(例如，條碼或RFID標籤資料)。WMS 119可將指示掃描或包裹識別符的讀取的每一事件以及包裹識別符、時間、日期、位置、使用者識別符或其他資訊儲存於對應資料庫(未描繪)中，且可將此資訊提供至其他系統(例如，運送及訂單追蹤系統111)。
在一些實施例中，WMS 119可儲存使一或多個裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)與一或多個使用者(所述一或多個使用者與系統100相關聯)相關聯的資訊。舉例而言，在一些情形下，使用者(諸如兼職雇員或全職雇員)可與行動裝置相關聯，此是由於使用者擁有行動裝置(例如，行動裝置為智慧型手機)。在其他情形下，使用者可與行動裝置相關聯，此是由於使用者暫時保管行動裝置(例如，使用者在一天開始時拿到行動裝置，將在一天期間使用所述行動裝置，且將在一天結束時 退還所述行動裝置)。
在一些實施例中，WMS 119可維護與系統100相關聯的每一使用者的工作日志。舉例而言，WMS 119可儲存與每一雇員相關聯的資訊，包含任何指定的過程(例如，自卡車卸載、自揀貨區揀取物件、合流牆(rebin wall)工作、包裝物件)、使用者識別符、位置(例如，履行中心200中的樓層或區)、藉由雇員經由系統移動的單位數目(例如，所揀取物件的數目、所包裝物件的數目)、與裝置(例如，裝置119A至裝置119C)相關聯的識別符，或類似者。在一些實施例中，WMS 119可自計時系統接收登記及登出資訊，所述計時系統諸如在裝置119A至裝置119C上操作的計時系統。
在一些實施例中，第3方履行(3rd party fulfillment；3PL)系統121A至第3方履行系統121C表示與物流及產品的第三方提供商相關聯的電腦系統。舉例而言，儘管一些產品儲存於履行中心200中(如下文相對於圖2所論述)，但其他產品可儲存於場外、可按需求生產，或可以其他方式不可供用於儲存於履行中心200中。3PL系統121A至3PL系統121C可經組態以(例如，經由FMG 115)自FO系統113接收訂單，且可直接為客戶提供產品及/或服務(例如，遞送或安裝)。
在一些實施例中，履行中心Auth系統(FC Auth)123可實行為具有各種功能的電腦系統。舉例而言，在一些實施例中，FC Auth 123可充當系統100中的一或多個其他系統的單一簽入(single-sign on；SSO)服務。舉例而言，FC Auth 123可使得使用者能夠經由內部前端系統105登入、判定使用者具有訪問運送及 訂單追蹤系統111處的資源的類似特權，且使得使用者能夠在不需要第二登入過程的情況下取得彼等特權。在其他實施例中，FC Auth 123可使得使用者(例如，雇員)能夠使自身與特定任務相關聯。舉例而言，一些雇員可能不具有電子裝置(諸如裝置119A至裝置119C)，且實際上可能在一天的過程期間在履行中心200內自任務至任務以及自區至區移動。FC Auth 123可經組態以使得彼等雇員能夠在一天的不同時間指示其正進行何任務以及其位於何區。
在一些實施例中，勞動管理系統(LMS)125可實行為儲存雇員(包含全職雇員及兼職雇員)的出勤及超時資訊的電腦系統。舉例而言，LMS 125可自FC Auth 123、WMS 119、裝置119A至裝置119C、運輸系統107及/或裝置107A至裝置107C接收資訊。
圖1A中所描繪的特定組態僅為實例。舉例而言，儘管圖1A描繪經由FMG 115連接至FO系統113的FC Auth系統123，但並非所有實施例均要求此特定組態。實際上，在一些實施例中，系統100中的系統可經由一或多個公用或私用網路彼此連接，所述網路包含網際網路、企業內部網路、廣域網路(Wide-Area Network；WAN)、都會區域網路(Metropolitan-Area Network；MAN)、順應IEEE 802.11a/b/g/n標準的無線網路、租用線，或類似者。在一些實施例中，系統100中的系統中的一或多者可實行為在資料中心、伺服器群或類似者處實行的一或多個虛擬伺服器。
圖2描繪履行中心200。履行中心200為儲存用於在訂購時運送至客戶的物件的實體位置的實例。可將履行中心(FC)200 劃分成多個區，所述區中的每一者描繪於圖2中。在一些實施例中，可認為此等「區」為接收物件、儲存物件、檢索物件以及運送物件的過程的不同階段之間的虛擬劃分。因此，儘管在圖2中描繪「區」，但其他區劃分為可能的，且在一些實施例中可省略、複製或修改圖2中的區。
入站區203表示FC 200的自希望使用來自圖1A的系統100出售產品的賣方接收到物件的區域。舉例而言，賣方可使用卡車201來遞送物件202A及物件202B。物件202A可表示足夠大以佔據其自身運送托板的單一物件，而物件202B可表示在同一托板上堆疊在一起以節省空間的物件集合。
工作者將在入站區203中接收物件，且可使用電腦系統(未描繪)來視情況檢查物件的損壞及正確性。舉例而言，工作者可使用電腦系統來比較物件202A及物件202B的數量與物件的所訂購數量。若數量不匹配，則工作者可拒絕物件202A或物件202B中的一或多者。若數量的確匹配，則工作者可(使用例如台車、手推平車、叉車或手動地)將彼等物件移動至緩衝區205。緩衝區205可為當前(例如由於揀貨區中存在足夠高數量的物件以滿足預測需求而)無需處於揀貨區中的所述物件的暫時儲存區域。在一些實施例中，叉車206操作以圍繞緩衝區205及在入站區203與卸貨區207之間移動物件。若(例如，由於預測需求而)需要揀貨區中的物件202A或物件202B，則叉車可將物件202A或物件202B移動至卸貨區207。
卸貨區207可為FC 200的在將物件移動至揀貨區209之前儲存所述物件的區域。指定給揀貨任務的工作者(「揀貨員」)可 靠近卸貨區中的物件202A及物件202B，使用行動裝置(例如，裝置119B)來掃描揀貨區的條碼，且掃描與物件202A及物件202B相關聯的條碼。揀貨員可接著(例如，藉由將物件置放於推車上或攜帶所述物件)將所述物件取至揀貨區209。
揀貨區209可為FC 200的將物件208儲存於儲存單元210上的區域。在一些實施例中，儲存單元210可包括實體擱架、書架、盒、手提包、冰箱、冷凍機、冷儲存區或類似者中的一或多者。在一些實施例中，揀貨區209可組織成多個樓層。在一些實施例中，工作者或機器可以多種方式將物件移動至揀貨區209中，包含例如叉車、電梯、傳送帶、推車、手推平車、台車、自動化機器人或裝置，或手動地移動。舉例而言，揀貨員可在卸貨區207中將物件202A及物件202B置放於手推平車或推車上，且將物件202A及物件202B步移至揀貨區209。
揀貨員可接收將物件置放(或「堆裝」)於揀貨區209中的特定點(諸如儲存單元210上的特定空間)的指令。舉例而言，揀貨員可使用行動裝置(例如，裝置119B)來掃描物件202A。裝置可例如使用指示走道、貨架以及位置的系統來指示揀貨員應將物件202A堆裝於何處。裝置可接著提示揀貨員在將物件202A堆裝於所述位置之前掃描所述位置處的條碼。裝置可(例如，經由無線網路)將資料發送至諸如圖1A中的WMS 119的電腦系統，從而指示已由使用裝置119B的使用者將物件202A堆裝於所述位置處。
一旦使用者下訂單，揀貨員即可在裝置119B上接收自儲存單元210檢索一或多個物件208的指令。揀貨員可檢索物件208、 掃描物件208上的條碼，且將所述物件208置放於運輸機構214上。儘管將運輸機構214表示為滑動件，但在一些實施例中，運輸機構可實行為傳送帶、電梯、推車、叉車、手推平車、台車或類似者中的一或多者。物件208可接著抵達包裝區211。
包裝區211可為FC 200的自揀貨區209接收到物件且將所述物件包裝至盒或包中以用於最終運送至客戶的區域。在包裝區211中，指定給接收物件的工作者(「合流工作者」)將自揀貨區209接收物件208且判定所述物件208對應於哪一訂單。舉例而言，合流工作者可使用諸如電腦119C的裝置來掃描物件208上的條碼。電腦119C可在視覺上指示物件208與哪一訂單相關聯。此可包含例如對應於訂單的牆216上的空間或「單元格」。一旦訂單完成(例如，由於單元格含有所述訂單的所有物件)，合流工作者即可指示包裝工作者(或「包裝員」)訂單完成。包裝員可自單元格檢索物件且將所述物件置放於盒或包中以用於運送。包裝員可接著例如經由叉車、推車、台車、手推平車、傳送帶、手動地或以其他方式將盒或包發送至樞紐區(hub zone)213。
樞紐區213可為FC 200的自包裝區211接收所有盒或包(「包裹」)的區域。樞紐區213中的工作者及/或機器可檢索包裹218且判定每一包裹預期去至遞送區域的哪一部分，且將包裹投送至適當的營地區(camp zone)215。舉例而言，若遞送區域具有兩個更小子區域，則包裹將去至兩個營地區215中的一者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。將包裹投送至營地區215可包括例如(例如，基於郵遞碼)判定包裹去往的地理區域的 一部分，以及判定與地理區域的所述部分相關聯的營地區215。
在一些實施例中，營地區215可包括一或多個建築物、一或多個實體空間或一或多個區域，其中自樞紐區213接收包裹以用於分選至路線及/或子路線中。在一些實施例中，營地區215與FC 200實體地分開，而在其他實施例中，營地區215可形成FC 200的一部分。
營地區215中的工作者及/或機器可例如基於下述者來判定包裹220應與哪一路線及/或子路線相關聯：目的地與現有路線及/或子路線的比較、對每一路線及/或子路線的工作負荷的計算、時刻、運送方法、運送包裹220的成本、與包裹220中的物件相關聯的PDD，或類似者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。一旦將包裹220指定給特定路線及/或子路線，工作者及/或機器即可移動待運送的包裹220。在例示性圖2中，營地區215包含卡車222、汽車226以及遞送工作者224A及遞送工作者224B。在一些實施例中，卡車222可由遞送工作者224A駕駛，其中遞送工作者224A為遞送FC 200的包裹的全職雇員，且卡車222由擁有、租用或操作FC 200的同一公司擁有、租用或操作。在一些實施例中，汽車226可由遞送工作者224B駕駛，其中遞送工作者224B為在視需要基礎上(例如，季節性地)遞送的「靈活」或臨時工作者。汽車226可由遞送工作者224B擁有、租用或操作。
圖3為與所揭露實施例一致的示出在實驗期間預測最小可偵測效應的例示性系統300的方塊圖。系統300可與系統100的一部分(諸如，內部前端系統105)分離或併入至其中。系統300 可包含一或多個處理器302，所述一或多個處理器302經組態以在系統100上實施的當前或主動A/B測試或實驗設計測試期間判定指示使用者體驗的一或多個成功度量的最小可偵測效應。系統300可包含記憶體310，其包含處理器指令。系統300可包含資料庫306。資料庫306可包括經組態以儲存與當前或先前進行A/B測試或測試實驗資料相關聯的資料的一或多個本端或遠端資料庫。舉例而言，資料庫306可包含來自多個先前進行的A/B測試或測試實驗的成功度量的歷史最小可偵測效應值。資料庫306可連續地更新(例如，藉由系統300、外部前端系統103或內部前端系統105)，以包含來自當前或最近完成的A/B測試或測試實驗的資料。可在外部前端系統103上實施當前或主動A/B測試或實驗設計。舉例而言，當前或主動A/B測試可包含向客戶或站點訪客的一部分呈現一個版本的網頁、行動應用程式或其他營銷資產，以及向客戶或地點訪客的另一部分呈現第二版本的網頁、行動應用程式或具有至少一個不同特性的其他營銷資產。系統300可監視及記錄與客戶與網頁、行動應用程式或其他營銷資產的交互有關的任何資料。可例如在伺服器304上收集及記錄使用者交互資料，諸如在頁上花費的時間、鏈路點選、物件購買、用戶聯合、社交媒體帖、轉化率、彈跳率、退出率以及與導航網頁相關聯的任何其他可定量資料。系統300、外部前端系統103或內部前端系統105可收集使用者交互資料且將資料儲存於伺服器304上、儲存於資料庫306中或儲存於另一資料儲存位置中以供稍後檢索。伺服器304可與一或多個資料庫或其他記憶體儲存裝置通信。一或多個資料庫或其他記憶體儲存裝置可為遠端(諸如在雲端)或本端。系統300可 利用交互資料來判定至少一個不同特性是否指示增加的使用者體驗，且接著將至少一個特性應用於第三網頁、行動應用程式或其他營銷資產。
當前或主動A/B測試或測試實驗可包含當前或主動地向一或多個客戶或訪客呈現網頁或其他營銷資產的任何A/B測試或測試實驗。在一些態樣中，A/B測試實驗可將訊務相等地劃分至營銷資產。舉例而言，在一些態樣中，可向50%的客戶或訪客呈現第一版本的營銷資產，且可向50%的客戶或訪客呈現第二版本的營銷資產。在其他態樣中，A/B測試實驗可將訊務不相等地劃分至營銷資產。舉例而言，可向30%的客戶或訪客呈現第一版本的營銷資產，且可向70%的客戶或訪客呈現第二版本的營銷資產。A/B測試實驗可包含兩個或多於兩個版本的營銷態樣，且可測試大於一個營銷態樣變型。舉例而言，A/B測試或測試實驗可相對於在一個變型中具有改變的第二版本來測試第一版本，或A/B測試或測試實驗可相對於在一個變型中具有改變的第二版本、在兩個變型中具有改變的第三版本以及在十個變型中具有改變的第四版本來測試第一版本。可針對測試修改或變化的變型的數目或可向不同客戶或訪客顯示的營銷態樣的版本數目不受限制。
圖4描繪形成當前或主動A/B測試實驗的一部分的樣本搜尋結果頁(SRP)400。在此實例中，可向第一使用者裝置呈現圖1B中所示的SRP，而向第二使用者裝置顯示SRP 400。SRP 400與圖1B中所示的SRP類似，但包含不同於第一網頁的至少一個特性。SRP 400包含至少一個修改的變型，以便測試修改的效應。舉例而言，如410處所示，「快速遞送」的字體修改為加粗及傾斜。 另外，在420處，已將新類別「最高排名」以及不同的形狀核取方塊添加至SRP 400。另一修改包含每頁僅顯示3個搜尋結果(如430處所指示)，而非如圖1B中所示出的每頁6個。亦在不同的更多中心位置中展示的搜尋結果。使用者交互資料可由系統100的一或多個部分(例如，由外部前端系統103或內部前端系統105)自第一使用者裝置及第二使用者裝置收集，且可儲存於一或多個記憶體儲存裝置中。使用者交互資料可包含涉及與圖1B中所示的SRP及SRP 400的使用者交互的任何資料。系統300、外部前端系統103或內部前端系統105可使用使用者交互資料來判定400、410以及420處展示的改變是否造成使用者體驗的差異。舉例而言，使用者交互資料可展示使用者在選擇最高排名類別時花費較少時間來完成物件的購買。應理解，相對於圖4繪示的變型中的改變僅出於說明性目的，且並不限制第一營銷態樣與第二營銷態樣之間可產生的變型類型或修改。
在沒有足夠資料來判定修改是否導致在統計學上顯著的影響的情況下，分析最小可偵測效應以決定是否結束當前A/B測試實驗可為有益的。在此情形下，能夠預測或預報最小可偵測效應允許作出更決定性的決定。本發明系統及方法依賴於歷史最小可偵測效應值來幫助預報或預測當前A/B測試實驗的最小可偵測效應，如下文所論述。
圖5描繪繪示多個A/B測試實驗的所儲存實例歷史最小可偵測效應值510的圖解500。歷史最小可偵測效應值510可與指示使用者體驗的一或多個成功度量有關。成功度量可包含利用使用者交互資料來評估實驗結果的任何度量。舉例而言，成功度量可 包含在給定時段中購買的物件的數目。
在圖5中，顯示於圖表500上的每一線表示先前進行的A/B測試或測試實驗或A/B測試或測試實驗的不同迭代的最小可偵測效應值。如上文所提及，最小可偵測效應值可與來自先前進行的A/B測試實驗相關聯的一或多個成功度量。最小可偵測效應值510可與相同或類似成功度量有關。在此實例中，第一A/B測試或測試實驗的最小可偵測效應值繪示在511處，且第二A/B測試或測試實驗的最小可偵測效應值繪示在512處。替代地，A/B測試或測試實驗的第一迭代的最小可偵測效應值繪示在511處，且A/B測試或測試實驗的第二迭代的最小可偵測效應值繪示在512處。在圖表500中，最小可偵測效應繪示在y軸上，且實驗的運行天數沿著x軸繪示。如圖5中可見，歷史最小可偵測效應510隨著實驗運行而變小。此部分地是針對實驗而獲得的資料增加的結果。
圖6描繪沿著來自當前A/B測試實驗的成功度量的最小可偵測效應600繪示與相同或類似成功度量相關聯的歷史最小可偵測效應值601、歷史最小可偵測效應值603、歷史最小可偵測效應值605以及歷史最小可偵測效應值607的圖解，所述相同或類似成功度量與先前進行的A/B測試或測試實驗相關聯。歷史最小可偵測效應值可用於與當前或主動A/B測試實驗600類似的實驗，且可與一或多個成功度量相關聯。在圖6中，最小可偵測效應繪示在y軸上，且x軸繪示實驗的運行天數。在圖6中，歷史最小可偵測效應值601、歷史最小可偵測效應值603、歷史最小可偵測效應值605以及歷史最小可偵測效應值607與當前A/B測試實驗的最小可偵測效應600同時顯示，使得每一實驗的天數對準。舉 例而言，650示出當前日Di，且660示出未來日Di+1。對應於歷史最小可偵測效應值601、歷史最小可偵測效應值603、歷史最小可偵測效應值605以及歷史最小可偵測效應值607的當前日Di的最小可偵測效應值分別繪示在641、642、643以及644處。可以看出，當前日Di的當前A/B測試實驗的最小可偵測效應值繪示在640處。應注意，僅出於說明性目的繪示四個歷史最小可偵測效應值，此數目可更大或更小。下文關於預報或預測最小可偵測效應論述圖6。
圖7為根據本揭露的一態樣的預測最小可偵測效應的例示性方法700的流程圖。方法可由形成系統100的一部分的至少一個處理器(例如，處理器302或內部前端系統105)進行。至少一個處理器可執行儲存於記憶體(諸如，記憶體310)上的指令。指令可由系統100的多於一個特徵(諸如，外部前端系統103或內部前端系統105)執行，且可經由任何有線或無線通信通道執行。所屬技術領域中具有通常知識者將理解，包含圖1A或圖3中所描述的彼等系統或裝置的其他系統或裝置可進行圖7中所揭露的一或多個步驟。在一個實例中，內部前端系統105可經組態以進行不同版本的營銷態樣(諸如，網頁、電子郵件或社交媒體帖)的A/B測試。內部前端系統105可基於轉化率或其他度量收集資料，以判定哪一版本的營銷態樣表現更佳。轉化率可包含採取所要動作的訪客的百分比。在一些態樣中，雖然未詳盡列出，但所要動作可包含購買產品、註冊會員、訂用簡報、下載資訊、「點贊」帖子、點選鏈路或將物件保存在購物車中。
為了開始方法700，處理器302或內部前端系統105可在 步驟702處將第一網頁(或其他營銷資產)發送至第一使用者裝置。網頁可包含能夠經由網際網路或其他傳輸平台傳輸的任何媒體、資料或文件。網頁可包含能夠傳輸的文字、影像、視訊、音訊、鏈路、超連結或任何特徵的任何組合。在一個態樣中，網頁可包含首頁、登陸頁、搜尋結果頁、單一顯示頁、購物車頁或與線上市場、企業或平台相關聯的任何網頁。網頁亦可包含電子郵件或社交媒體帖。第一網頁可包含當前使用或作為用於線上市場、電子商務公司或企業、或具有線上呈現的其他實體的標準網頁的網頁。第一使用者裝置可包含使用者可自其訪問網際網路或全球資訊網(World Wide Web)或可另外訪問及與第一網頁交互的任何介面。舉例而言，第一使用者裝置可包含行動裝置102A、電腦102B、平板電腦、PDA、智慧型電話、智慧型手錶或能夠與營銷資產交互的任何其他裝置。
在步驟704處，內部前端系統105可將第二網頁發送至第二使用者裝置。第二使用者裝置可包含使用者可自其訪問網際網路或全球資訊網或可另外訪問及與第二網頁交互的任何介面，如上文所論述。第二網頁可包含不同於第一網頁的至少一個特性。差異可包含第一網頁的任何態樣中的改變或修改。舉例而言，改變或修改可包含網頁的大小、顏色、形狀、方位、位置、次序、拼寫、措辭、字元、圖像、影像、頻率、等級、亮度、色調、體積、視覺特徵或聽覺特徵中的至少一個差異。在一個態樣中，第二網頁可實質上與第一網頁類似，具有對第一網頁的至少一部分的修改。在一個實例中，圖1B可示出發送至第一使用者裝置的第一網頁，且圖4可示出發送至第二使用者裝置的第二網頁。雖然SRP 400實質上 與圖1B中所示的SRP類似，此意指在大多數態樣中SRP 400與圖1B中的SRP一致，但存在差異。舉例而言，「快速遞送」的字體已在410處改變，新按鈕或核取方塊已在410處添加以選擇新類別「最高排名」，且每頁結果已在420處減少至3個。
在步驟706處，來自第一使用者裝置及第二使用者裝置的使用者交互資料可由系統300、外部前端系統103或內部前端系統105收集。使用者交互資料可包含涉及使用者與網頁的交互的任何資訊。舉例而言，使用者交互資料可包含在頁上花費的時間、鏈路點選、物件購買、社交媒體帖、轉化率、彈跳率、退出率以及與導航網頁相關聯的任何其他可定量資料。收集使用者交互資料可包含自一或多個遠端伺服器或本端伺服器或其他記憶體儲存下載或接收資料。資料可實時地收集或在一段時間內於資料封包中編譯及接收。可回應於以設置間隔自動查詢或收集來收集資料。資料可適用於創建熱圖或滾動圖以指示使用者大部分時間在網頁上何處捲動或點選。在步驟708處，系統300、外部前端系統103或內部前端系統105可使用所收集的使用者交互資料來判定指示使用者體驗的成功度量的當前最小可偵測效應。
指示使用者體驗的成功度量的最小可偵測效應表示對於基線的所要相對最小改良，且可指示值得投入時間及金錢來永久地實行改變的最小可能改變。在步驟708處，系統300、外部前端系統103或內部前端系統105可實時地或每日地判定使用者體驗的當前最小可偵測效應。當前最小可偵測效應可包含大於一個觀察值以及離散個別值的趨向。當前最小可偵測效應可儲存於本端或遠端記憶體中。若指示使用者體驗的成功度量的當前最小可偵 測效應大於所要最小可偵測效應或臨限值，則系統100可預測實驗的未來天數的最小可偵測效應。圖6在640處示出當前最小可偵測效應。
在步驟710處，系統300、外部前端系統103或內部前端系統105檢索與較早時間段相關聯的歷史最小可偵測效應值的集合。歷史值可與一或多個成功度量相關聯。可自本端或遠端記憶體(諸如資料庫306)檢索且可經由任何有線或無線通信通道檢索歷史值。系統300、外部前端系統103或內部前端系統105可組織或校準歷史值以與當前A/B測試或測試實驗的資料對準或協調。歷史值可與類似於當前實驗的一或多個先前實施的實驗有關，且/或可與如當前實驗中利用的類似成功度量相關聯。歷史最小可偵測效應值的集合可包含一或多個歷史最小可偵測效應值。舉例而言，圖5示出包含多個歷史最小可偵測效應值510的集合。圖6在601、603、605以及607處示出歷史最小可偵測效應值的集合的另一實例。
在步驟712處判定基於所檢索的歷史最小可偵測效應值的集合的當前最小可偵測效應的百分等級。百分等級可由下式判定：
Figure 110100293-A0305-02-0032-2
 其中L為小於或等於當前最小可偵測效應的資料值的數目，且N為資料集合的大小。當在圖6中的所示實例中判定當前最小可偵測效應640的百分等級時，資料集合(N)包含當前日(Di)的歷史最小可偵測效應值601、歷史最小可偵測效應值603、歷史最小可偵測效應值605以及歷史最小可偵測效應值607中的每一 者的值(繪示在641、642、643以及644處)以及當前最小可偵測效應640。如此，N等於5。僅一個MDE值(644)小於640，因此L等於1。如此，當前最小可偵測效應640的百分等級為(1/5) * 100或20%。
在步驟714處，預測使用者體驗的最小可偵測效應的第一未來值。可藉由將函數擬合至當前最小可偵測效應的曲線來預測使用者體驗的最小可偵測效應的第一未來值。當前最小可偵測可包含當前運行A/B測試實驗期間的任何觀察到的最小可偵測效應。在一個實例中，交互資料可用於判定指示使用者體驗的一或多個成功度量的最小可偵測效應。圖6在600處繪示當前實驗的最小可偵測效應。在一個態樣中，可藉由將函數擬合至當前或主動實驗的最小可偵測效應的曲線來預測使用者體驗的最小可偵測效應的第一未來值。如所繪示，當前實驗的最小可偵測效應600包含可用於將函數擬合至資料且外推未來資料的總體趨向。取決於趨向，函數可呈任何方程形式，諸如簡單線性方程或複雜多項式方程。函數可用於外推未來日Di+1的最小可偵測效應。在630處繪示未來日Di+1的使用者體驗的最小可偵測效應的第一未來值。更厚的虛線指示已擬合至當前實驗600的最小可偵測效應的函數。
在步驟716處，預測使用者體驗的最小可偵測效應的第二未來值。可藉由在歷史值之中判定具有與當前最小可偵測效應的百分等級相等的百分等級的歷史最小可偵測效應值來預測最小可偵測效應的第二未來值。舉例而言，如上文所論述，日Di 640的當前最小可偵測效應的百分等級為20%。因此，第二未來值是在日Di+1處具有等於20%的百分等級的歷史最小可偵測效應值。圖 6中在610處示出第二未來值。
在步驟718處，聚集使用者體驗的最小可偵測效應的第一未來值及第二未來值。可以允許考慮到兩個值的任何方式聚集第一未來值及第二未來值。在一個態樣中，聚集使用者體驗的最小可偵測效應的第一未來值及第二未來值包含對使用者體驗的最小可偵測效應的第一未來值及第二未來值求平均。在另一態樣中，聚集使用者體驗的最小可偵測效應的第一未來值及第二未來值包含使用者體驗的最小可偵測效應的第一未來值及第二未來值的線性組合。在圖6中，在620處繪示所聚集的第一值及第二值。在此實例中，最小可偵測效應的第一未來值630及最小可偵測效應的第二未來值610平均化以得出所聚集的第一未來值及第二未來值620。
可由系統300、外部前端系統103或內部前端系統105使用當前最小可偵測效應以及所聚集的第一未來值及第二未來值來判定終止條件。終止條件可以基於功率、p值、最小可偵測效應或允許判定實驗的統計顯著性的任何其他可定量值或臨限值。終止條件可以基於當前最小可偵測效應及/或所聚集的第一未來值及第二未來值及/或任何額外未來值的趨向。終止條件可指示當前最小可偵測效應或所聚集的第一未來值及第二未來值低於所要最小可偵測效應。在步驟720處，系統300、外部前端系統103或內部前端系統105可判定終止條件是否存在。若終止條件存在，則可認為實驗完成。此時，在步驟722處，系統300、外部前端系統103或內部前端系統105可停止將第二網頁發送至第二使用者裝置。可手動地或自動地停止將第二網頁發送至第二使用者裝置。在一 個態樣中，可將停止實驗的通知或指示傳輸至使用者，因此停止發佈第二網頁。在另一態樣中，系統300、外部前端系統103或內部前端系統105可自動停止發送第二網頁且僅發送第一網頁，或可利用第三網頁替換第一網頁及第二網頁。另外，若判定不同於第一網頁的變型或至少一個特性指示增加的使用者體驗，則處理器302可將至少一個特性應用於第三網頁或營銷資產。此外，若判定所聚集的第一未來值及第二未來值高於所要最小可偵測效應，則方法可繼續，且所聚集的第一未來值及第二未來值可成為步驟724處的預測的下一迭代的基礎，以供計算第三未來值、第四未來值、第五未來值等。舉例而言，在下一迭代中，可藉由外推下一時間段(例如，Di+2)的擬合函數來判定第三未來值可計算所聚集值的百分等級，且第四未來值將基於此百分等級。第三未來值及第四未來值可聚集，且接著與臨限值相比較或在終止條件存在的情況下用於進行判定。在另一態樣中，替代直接比較所聚集的第一未來值及第二未來值(或任何所聚集的未來值)與所要最小可偵測效應，所聚集的第一未來值及第二未來值可用於計算，接著值與臨限值相比較。舉例而言，所聚集的第一未來值及第二未來值可用於計算實驗的功率，其接著與臨限功率相比較以判定統計顯著性。
儘管已參考本揭露內容的特定實施例繪示及描述本揭露內容，但應理解，可在不修改的情況下在其他環境中實踐本揭露內容。已出於示出的目的呈現前述描述。前述描述並不詳盡且不限於所揭露的精確形式或實施例。修改及調適對所屬技術領域中具有通常知識者將自本說明書的考量及所揭露實施例的實踐顯而易見。另外，儘管將所揭露實施例的態樣描述為儲存於記憶體中，但 所屬技術領域中具有通常知識者應瞭解，此等態樣亦可儲存於其他類型的電腦可讀媒體上，諸如次級儲存裝置，例如硬碟或CD ROM，或其他形式的RAM或ROM、USB媒體、DVD、藍光，或其他光碟機媒體。
基於書面描述及所揭露方法的電腦程式在有經驗開發者的技能內。各種程式或程式模組可使用所屬技術領域中具有通常知識者已知的技術中的任一者來創建或可結合現有軟體來設計。舉例而言，程式區段或程式模組可以或藉助於.Net框架(.Net Framework)、.Net緊密框架(.Net Compact Framework)(及相關語言，諸如視覺培基(Visual Basic)、C等)、爪哇(Java)、C++、目標-C(Objective-C)、HTML、HTML/AJAX組合、XML或包含爪哇小程式的HTML來設計。
此外，儘管本文中已描述示出性實施例，但所屬技術領域中具有通常知識者將基於本揭露內容瞭解具有等效元件、修改、省略、(例如，各種實施例中的態樣的)組合、調適及/或更改的任何及所有實施例的範圍。申請專利範圍中的限制應基於申請專利範圍中所採用的語言來廣泛地解釋，且不限於本說明書中所描述或在本申請案的審查期間的實例。實例應視為非排他性的。另外，所揭露方法的步驟可以包含藉由對步驟重新排序及/或插入或刪除步驟的任何方式修改。因此，希望僅將本說明書及實例視為示出性的，其中藉由以下申請專利範圍及其等效物的完整範圍指示真實範圍及精神。
700:方法
702、704、706、708、710、712、714、716、718、720、722、724:步驟

Claims (16)

  1. 一種電腦實行系統，包括：記憶體，包括處理器指令；以及至少一個處理器，經組態以執行所述指令以進行步驟，所述步驟包括：將第一網頁發送至第一使用者裝置；將第二網頁發送至第二使用者裝置，其中所述第二網頁包括不同於所述第一網頁的至少一個特性；收集來自所述第一使用者裝置及所述第二使用者裝置的使用者交互資料；自所述使用者交互資料判定指示使用者體驗的成功度量的當前最小可偵測效應；針對與較早時間段相關聯的所述成功度量檢索歷史最小可偵測效應值的集合；基於所檢索的所述歷史最小可偵測效應值的集合而判定所述當前最小可偵測效應的百分等級；預測所述使用者體驗的所述當前最小可偵測效應的第一未來值；預測所述使用者體驗的所述當前最小可偵測效應的第二未來值；聚集所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值，其中所述聚集包括所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值的平均或所述使用者體驗的所述當前最小可偵測效應的所述第一未 來值及所述第二未來值的線性組合中的至少一個；基於所述當前最小可偵測效應及所聚集的所述第一未來值及所述第二未來值而判定終止條件；以及當所述終止條件存在時停止將所述第二網頁發送至所述第二使用者裝置。
  2. 如請求項1所述的電腦實行系統，其中藉由將函數擬合至所述當前最小可偵測效應的曲線來預測所述第一未來值。
  3. 如請求項2所述的電腦實行系統，其中藉由在歷史值之中判定具有與所述當前最小可偵測效應的所述百分等級相等的百分等級的歷史最小可偵測效應值來預測所述第二未來值。
  4. 如請求項1所述的電腦實行系統，其中所述至少一個處理器進一步經組態以執行所述指令以進行步驟包括：預測所述使用者體驗的所述當前最小可偵測效應的第三未來值；以及預測所述使用者體驗的所述當前最小可偵測效應的第四未來值。
  5. 如請求項4所述的電腦實行系統，其中所述至少一個處理器進一步經組態以執行所述指令以進行步驟包括：聚集所述使用者體驗的所述當前最小可偵測效應的所述第三未來值及所述第四未來值。
  6. 如請求項5所述的電腦實行系統，其中聚集所述使用者體驗的所述當前最小可偵測效應的所述第三未來值及所述第四未來值包含所述使用者體驗的所述當前最小可偵測效應的所述第三未來值及所述第四未來值的平均或所述使用者體驗的所述當 前最小可偵測效應的所述第三未來值及所述第四未來值的線性組合中的至少一者。
  7. 如請求項1所述的電腦實行系統，其中所述至少一個處理器進一步經組態以執行所述指令以進行步驟包括：判定不同於所述第一網頁的所述至少一個特性是否指示增加的使用者體驗；以及將所述至少一個特性應用於第三網頁。
  8. 如請求項1所述的電腦實行系統，其中不同於所述第一網頁的所述至少一個特性包括大小、顏色、形狀、方位、位置、次序、拼寫、措辭、字元、圖像、影像、頻率、等級、亮度、色調、體積、視覺特徵或聽覺特徵中的至少一個差異。
  9. 一種電腦實行方法，包括：將第一網頁發送至第一使用者裝置；將第二網頁發送至第二使用者裝置，其中所述第二網頁包括不同於所述第一網頁的至少一個特性；收集來自所述第一使用者裝置及所述第二使用者裝置的使用者交互資料；自所述使用者交互資料判定指示使用者體驗的成功度量的當前最小可偵測效應；針對與較早時間段相關聯的所述成功度量檢索歷史最小可偵測效應值的集合；基於所檢索的所述歷史最小可偵測效應值的集合而判定所述當前最小可偵測效應的百分等級；預測所述使用者體驗的所述當前最小可偵測效應的第一未來 值；預測所述使用者體驗的所述當前最小可偵測效應的第二未來值；聚集所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值，其中所述聚集包括所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值的平均或所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值的線性組合中的至少一個；基於所述當前最小可偵測效應及所聚集的所述第一未來值及所述第二未來值而判定終止條件；以及當所述終止條件存在時停止將所述第二網頁發送至所述第二使用者裝置。
  10. 如請求項9所述的電腦實行方法，其中藉由將函數擬合至所述當前最小可偵測效應的曲線來預測所述第一未來值。
  11. 如請求項10所述的電腦實行方法，其中藉由判定具有與所述當前最小可偵測效應的所述百分等級相等的百分等級的歷史最小可偵測效應值來預測所述第二未來值。
  12. 如請求項9所述的電腦實行方法，更包括：預測所述使用者體驗的所述當前最小可偵測效應的第三未來值；預測所述使用者體驗的所述當前最小可偵測效應的第四未來值；以及聚集所述使用者體驗的所述當前最小可偵測效應的所述第三未來值及所述第四未來值。
  13. 如請求項12所述的電腦實行方法，其中聚集所述使用者體驗的所述當前最小可偵測效應的所述第三未來值及所述第四未來值包含所述使用者體驗的所述當前最小可偵測效應的所述第三未來值及所述第四未來值的平均或所述使用者體驗的所述當前最小可偵測效應的所述第三未來值及所述第四未來值的線性組合中的至少一者。
  14. 如請求項9所述的電腦實行方法，更包括：判定不同於所述第一網頁的所述至少一個特性是否指示增加的使用者體驗；以及將所述至少一個特性應用於第三網頁。
  15. 如請求項9所述的電腦實行方法，其中不同於所述第一網頁的所述至少一個特性包括大小、顏色、形狀、方位、位置、次序、拼寫、措辭、字元、圖像、影像、頻率、等級、亮度、色調、體積、視覺特徵或聽覺特徵中的至少一個差異。
  16. 一種電腦實行系統，包括：記憶體，包括處理器指令；以及至少一個處理器，經組態以執行所述指令以進行步驟，所述步驟包括：將第一網頁發送至第一使用者裝置；將第二網頁發送至第二使用者裝置，其中所述第二網頁包括不同於所述第一網頁的至少一個特性；收集來自所述第一使用者裝置及所述第二使用者裝置的使用者交互資料；自所述使用者交互資料判定指示使用者體驗的成功度量的當 前最小可偵測效應；針對與較早時間段相關聯的所述成功度量檢索歷史最小可偵測效應值的集合；基於所檢索的所述歷史最小可偵測效應值的集合而判定所述當前最小可偵測效應的百分等級；預測所述使用者體驗的所述當前最小可偵測效應的第一未來值；預測所述使用者體驗的所述當前最小可偵測效應的第二未來值；聚集所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值，其中所述聚集包括所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值的平均或所述使用者體驗的所述當前最小可偵測效應的所述第一未來值及所述第二未來值的線性組合中的至少一個；以及基於所述使用者體驗的所述當前最小可偵測效應以及所述當前最小可偵測效應的所聚集的所述第一未來值及所述第二未來值，判定在所述當前最小可偵測效應以及所聚集的所述第一未來值及所述第二未來值並不指示終止條件的情況下繼續將所述第二網頁發送至所述第二使用者裝置，且在所述當前最小可偵測效應以及所聚集的所述第一未來值及所述第二未來值指示終止條件的情況下停止將所述第二網頁發送至所述第二使用者裝置。
TW110100293A 2020-08-27 2021-01-05 電腦實行系統以及方法 TWI766531B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/005,232 2020-08-27
US17/005,232 US20220067754A1 (en) 2020-08-27 2020-08-27 Computerized systems and methods for predicting a minimum detectable effect

Publications (2)

Publication Number Publication Date
TW202209221A TW202209221A (zh) 2022-03-01
TWI766531B true TWI766531B (zh) 2022-06-01

Family

ID=80352748

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111116726A TWI885261B (zh) 2020-08-27 2021-01-05 電腦實行系統以及方法
TW110100293A TWI766531B (zh) 2020-08-27 2021-01-05 電腦實行系統以及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111116726A TWI885261B (zh) 2020-08-27 2021-01-05 電腦實行系統以及方法

Country Status (4)

Country Link
US (1) US20220067754A1 (zh)
KR (2) KR102382625B1 (zh)
TW (2) TWI885261B (zh)
WO (1) WO2022043762A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230134724A (ko) * 2022-03-15 2023-09-22 성균관대학교산학협력단 웹 페이지의 시변화 데이터 예측 방법, 장치, 이를 이용한 웹 관리 시스템, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
US20240070692A1 (en) * 2022-08-29 2024-02-29 Coupang Corp. Systems and Methods for Calculating Latency Metrics and Disabling User Experiments
US12536576B2 (en) * 2022-10-19 2026-01-27 Maplebear Inc. Method, medium, and system for scoring improvements by test features to user interactions with item groups

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201439941A (zh) * 2013-04-12 2014-10-16 Alibaba Group Services Ltd 多版本測試方法和裝置
US20160077672A1 (en) * 2014-09-12 2016-03-17 International Business Machines Corporation Flexible Analytics-Driven Webpage Design and Optimization
CN108536608A (zh) * 2018-04-25 2018-09-14 万惠投资管理有限公司 页面版本测试方法及装置
CN109739749A (zh) * 2018-12-14 2019-05-10 平安普惠企业管理有限公司 网站性能优化方法、装置、设备及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2352302A1 (en) * 1998-11-30 2000-06-08 Index Systems, Inc. Smart agent based on habit, statistical inference and psycho-demographic profiling
JP4596807B2 (ja) 2004-04-02 2010-12-15 富士通株式会社 情報処理システム
US8090703B1 (en) * 2008-04-08 2012-01-03 Google Inc. Overlapping experiments
US11188949B2 (en) * 2010-02-03 2021-11-30 Persona Ip Licensing, Llc Segment content optimization delivery system and method
CN103914468B (zh) 2012-12-31 2018-01-09 阿里巴巴集团控股有限公司 一种投放信息搜索的方法和装置
KR102077495B1 (ko) * 2013-07-17 2020-02-14 한국전자통신연구원 웹 서버 및 웹 요구사항 예측을 이용한 웹 서버의 성능 향상 방법
US9922131B2 (en) * 2013-11-06 2018-03-20 Hipmunk, Inc. Graphical user interface machine to present a window
US20160189207A1 (en) * 2014-12-26 2016-06-30 Yahoo! Inc. Enhanced online content delivery system using action rate lift
US20160225063A1 (en) * 2015-01-30 2016-08-04 Sears Brands, L.L.C. System and method for using crowdsourced personalized recommendations
US11086958B2 (en) * 2015-02-23 2021-08-10 Micro Focus Llc Navigation menu based on crowd data
US20160253290A1 (en) * 2015-02-27 2016-09-01 Linkedln Corporation Post experiment power
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
WO2017044349A1 (en) * 2015-09-07 2017-03-16 Hamedi Jehan Systems and methods for determining recommended aspects of future content, actions, or behavior
US9760471B2 (en) * 2015-09-23 2017-09-12 Optimizely, Inc. Implementing a reset policy during a sequential variation test of content
US10204359B1 (en) * 2016-01-08 2019-02-12 Adnoli LLC System and method for determining purchase records of mobile devices to provide effective mobile advertising
US20170316432A1 (en) * 2016-04-27 2017-11-02 Linkedin Corporation A/b testing on demand
US10699294B2 (en) * 2016-05-06 2020-06-30 Adobe Inc. Sequential hypothesis testing in a digital medium environment
US10755304B2 (en) * 2016-05-06 2020-08-25 Adobe Inc. Sample size determination in sequential hypothesis testing
US10586200B2 (en) * 2016-05-16 2020-03-10 Adobe Inc. Systems and methods associated with sequential multiple hypothesis testing
US20180082326A1 (en) * 2016-09-19 2018-03-22 Adobe Systems Incorporated Testing an Effect of User Interaction with Digital Content in a Digital Medium Environment
US11042603B2 (en) * 2016-11-09 2021-06-22 Adobe Inc. Sequential hypothesis testing in a digital medium environment using continuous data
GB201620476D0 (en) * 2016-12-02 2017-01-18 Omarco Network Solutions Ltd Computer-implemented method of predicting performance data
KR102408476B1 (ko) * 2017-07-10 2022-06-14 십일번가 주식회사 사용자 행동 순서에 기반한 구매 확률 예측 방법 및 이를 위한 장치
US10380650B2 (en) * 2017-07-26 2019-08-13 Jehan Hamedi Systems and methods for automating content design transformations based on user preference and activity data
US10853840B2 (en) * 2017-08-02 2020-12-01 Adobe Inc. Performance-based digital content delivery in a digital medium environment
US11526421B2 (en) * 2018-01-21 2022-12-13 Microsoft Technology Licensing, Llc. Dynamic experimentation evaluation system
US10839406B2 (en) * 2018-06-28 2020-11-17 Microsoft Technology Licensing, Llc A/B testing for search engine optimization
US20200089786A1 (en) * 2018-09-19 2020-03-19 Microsoft Technology Licensing, Llc Clustering techniques to automatically create groups of geographic regions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201439941A (zh) * 2013-04-12 2014-10-16 Alibaba Group Services Ltd 多版本測試方法和裝置
US20160077672A1 (en) * 2014-09-12 2016-03-17 International Business Machines Corporation Flexible Analytics-Driven Webpage Design and Optimization
CN108536608A (zh) * 2018-04-25 2018-09-14 万惠投资管理有限公司 页面版本测试方法及装置
CN109739749A (zh) * 2018-12-14 2019-05-10 平安普惠企业管理有限公司 网站性能优化方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR20220027722A (ko) 2022-03-08
TW202232417A (zh) 2022-08-16
TWI885261B (zh) 2025-06-01
TW202209221A (zh) 2022-03-01
KR20220044186A (ko) 2022-04-06
WO2022043762A1 (en) 2022-03-03
US20220067754A1 (en) 2022-03-03
KR102382625B1 (ko) 2022-04-08

Similar Documents

Publication Publication Date Title
US11386478B1 (en) Computerized systems and methods for using artificial intelligence to generate product recommendations
TWI813926B (zh) 用於網頁顯示修正的電腦化系統及方法
TWI845898B (zh) 自動遞送工作者指配的電腦實施系統及電腦實施方法
TWI763067B (zh) 用於自動化人員排程的聯網伺服器系統以及用於自動化人員排程的電腦實施方法
TWI766531B (zh) 電腦實行系統以及方法
TWI869525B (zh) 在測試期間限制偏離值的電腦實行系統以及方法
TWI879480B (zh) 用於多電腦物流協調的電子系統以及用於生成保證遞送時間的日曆以供使用者選擇的方法
TWI824221B (zh) 用於線上顧客協助的電腦實行系統及電腦實行方法
US20210304275A1 (en) Computer-implemented systems and methods for electronicaly determining a real-time product registration
TWI834101B (zh) 用於低潛時聚合資料供應的電腦實施的系統與用於區域需求估計的電腦實施的系統以及方法
TWI813928B (zh) 實行用於提供要求資訊的網路瀏覽器外掛程式的系統以及經由網路瀏覽器外掛程式提供要求資訊的方法
TWI773077B (zh) 用於在實驗測試期間預測最佳停止點的電腦實行系統以及方法
TWI906536B (zh) 用於流線型產品檢索的電腦實行系統以及方法
TWI829592B (zh) 智慧型利潤差額決定與反應調整電腦實行系統以及方法