[go: up one dir, main page]

TWI869525B - 在測試期間限制偏離值的電腦實行系統以及方法 - Google Patents

在測試期間限制偏離值的電腦實行系統以及方法 Download PDF

Info

Publication number
TWI869525B
TWI869525B TW110100196A TW110100196A TWI869525B TW I869525 B TWI869525 B TW I869525B TW 110100196 A TW110100196 A TW 110100196A TW 110100196 A TW110100196 A TW 110100196A TW I869525 B TWI869525 B TW I869525B
Authority
TW
Taiwan
Prior art keywords
data
value
metric
users
user groups
Prior art date
Application number
TW110100196A
Other languages
English (en)
Other versions
TW202209113A (zh
Inventor
倩 翁
葉俊
貝貝 葉
Original Assignee
南韓商韓領有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商韓領有限公司 filed Critical 南韓商韓領有限公司
Publication of TW202209113A publication Critical patent/TW202209113A/zh
Application granted granted Critical
Publication of TWI869525B publication Critical patent/TWI869525B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0832—Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0838—Historical data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本發明揭露一種在實驗測試期間限制偏離值的電腦實行 系統及方法。電腦實行系統包括儲存指令的記憶體以及至少一或多個處理器。至少一或多個處理器可經組態以執行指令以：判定包括多個使用者的至少兩個使用者群組；獲得與多個使用者中的每一者相關的度量資料；基於度量資料來計算第一值及第二值；使用度量資料、第一值以及第二值來識別觸發事件的發生；將度量資料分配至受限制資料及未受限制資料中且判定受限制資料的臨限值；計算受限制資料及未受限制資料的第三值；基於第三值來判定受限制資料臨限值是否已改變；以及在觸發事件的發生後實行至少一個限制百分位數值。

Description

在測試期間限制偏離值的電腦實行系統以及方 法
本揭露內容大體上是關於分析資料的電腦化系統及方法，其中在實驗測試期間自所述資料偵測到及移除偏離值元素。特定而言，本揭露內容的實施例是關於在實驗測試期間限制偏離值的發明性及非習知系統及方法。
許多訂單履行公司利用A/B測試來理解其客戶的行為模式，以便最大化其利潤。具體而言，訂單履行公司可利用其網頁上的A/B測試來理解其客戶如何對其網頁上的特定元素的改變作出回應。因此，利用具有某些元素的形式及視覺印象的變化的網頁的多個版本來量測彼等變化的表現。A/B測試可允許訂單履行公司建構假設且更佳地學習為何某些要素正面地或負面地影響客戶的行為。理解客戶的反應可使得將網頁設計為藉由吸引對網頁的改變作出正面回應的客戶來最大化利潤。
在運行A/B測試時，最重要問題中的一者為哪一變化表現更佳。然而，客戶行為的突然偏差可能嚴重影響變化的成功或失敗。偵測及移除資料驅動模型中的偏離值資料對於確保根據下層 資料來開發代表性且公平的分析是重要的。
當前，限制偏離值為進行A/B測試時的重要任務且存在用於處理資料中的偏離值的多種策略。然而，當前實施方案僅在獲得所有資料之後使用一個度量來偵測偏離值。即時處理偏離值是重要的，此是由於客戶行為的巨大偏差可能導致A/B測試中及(進一步)在最佳化期間的非預期後果。
因此，需要改良的方法及系統，所述方法及系統用於在測試環境內使用適用於資料品質操作、資料驗證、資料挖掘、資料分析、統計模型化、數學計算等的動態過程針對多個度量客觀地即時監視及移除偏離值資料。
本揭露內容的一個態樣是針對一種在測試期間限制偏離值的電腦實行系統，所述系統包括：記憶體，儲存指令；以及至少一或多個處理器，經組態以執行所述指令以進行包括下述者的步驟：判定包括多個使用者的至少兩個使用者群組；獲得與所述多個使用者中的每一者相關的度量資料；基於所述度量資料來計算第一值及第二值；使用所述度量資料、所述第一值以及所述第二值來識別觸發事件的發生；將所述度量資料分配至受限制資料及未受限制資料中且判定所述受限制資料的臨限值；計算所述受限制資料及所述未受限制資料的第三值；基於所述第三值來判定所述受限制資料臨限值是否已改變；以及在所述觸發事件的發生後實行至少一個限制百分位數值。
本揭露內容的另一態樣是針對一種在測試期間限制偏離 值的方法，所述方法包括：判定包括多個使用者的至少兩個使用者群組；獲得與所述多個使用者中的每一者相關的度量資料；基於所述度量資料來計算第一值及第二值；使用所述度量資料、所述第一值以及所述第二值來識別觸發事件的發生；將所述度量資料分配至受限制資料及未受限制資料中且判定所述受限制資料的臨限值；計算所述受限制資料及所述未受限制資料的第三值；基於所述第三值來判定所述受限制資料臨限值是否已改變；以及在所述觸發事件的發生後實行至少一個限制百分位數值。
本揭露內容的又一態樣是針對一種在測試期間限制偏離值的電腦實行系統，所述系統包括：記憶體，儲存指令；以及至少一或多個處理器，經組態以執行所述指令以進行包括下述者的步驟：判定包括多個使用者的至少兩個使用者群組；獲得與所述多個使用者中的每一者相關的度量資料，其中所述度量資料包括自電子商務網站收集的所述多個使用者中的每一者在測試時段期間的頁視圖、產品視圖以及支出中的一或多者；基於所述度量資料來計算第一值及第二值；判定獲得所述度量資料的所述至少兩個群組中的每一者中的使用者的樣本大小；判定至少兩個群組中的使用者的所述樣本大小大於預定臨限值；使用所述第一值來判定是否滿足第一條件；使用所述第一值及所述第二值來判定是否滿足第二條件；以及基於所述樣本大小及所述第一條件或所述第二條件來實行至少一個限制百分位數值。
本文中亦論述其他系統、方法以及電腦可讀媒體。
100、300:系統
101:運送授權技術系統
102A、107A、107B、107C、119A、119B、119C:行動裝置
102B:電腦
103:外部前端系統
105:內部前端系統
107:運輸系統
109:賣方入口網站
111:運送及訂單追蹤系統
113:履行最佳化系統
115:履行通信報閘道
117:供應鏈管理系統
119:倉庫管理系統
121A、121B、121C:第3方履行系統
123:履行中心授權系統
125:勞動管理系統
200:履行中心
201、222:卡車
202A、202B、208:產品
203:入站區
205:緩衝區
206:叉車
207:卸貨區
209:揀貨區
210:儲存單元
211:包裝區
213:樞紐區
214:運輸機構
215:營地區
216:牆
218、220:包裹
224A、224B:遞送工作者
226:汽車
302:處理器
304:電子商務服務提供商裝置
306:資料庫
308:通信網路
310(1)、310(n):客戶裝置
400:方法
402、404、406、408、410、412、414、416、418、420、502、504、506、508、510:步驟
500:方法/過程
圖1A為與所揭露實施例一致的示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的網路的例示性實施例的示意性方塊圖。
圖1B描繪與所揭露實施例一致的包含滿足搜尋請求的一或多個搜尋結果以及交互式使用者介面元素的樣本搜尋結果頁(Search Result Page；SRP)。
圖1C描繪與所揭露實施例一致的包含產品及關於所述產品的資訊以及交互式使用者介面元素的樣本單一顯示頁(Single Display Page；SDP)。
圖1D描繪與所揭露實施例一致的包含虛擬購物車中的物件以及交互式使用者介面元素的樣本購物車頁。
圖1E描繪與所揭露實施例一致的包含來自虛擬購物車的物件以及關於購買及運送的資訊以及交互式使用者介面元素的樣本訂單頁。
圖2為與所揭露實施例一致的經組態以利用所揭露電腦化系統的例示性履行中心的圖解圖示。
圖3為與所揭露實施例一致的示出在實驗測試期間限制偏離值的例示性系統的方塊圖。
圖4為與所揭露實施例一致的在實驗測試期間限制偏離值的例示性方法的流程圖。
圖5為與所揭露實施例一致的判定用於在實驗測試期間實行限制的條件的例示性方法的流程圖。
以下詳細描述參考隨附圖式。只要可能，即在圖式及以下描述中使用相同附圖標號來指代相同或類似部分。儘管本文中描述若干示出性實施例，但修改、調適以及其他實施方案是可能的。舉例而言，可對圖式中所示出的組件及步驟進行替代、添加或修改，且可藉由取代、重新排序、移除步驟或將步驟添加至所揭露方法來修改本文中所描述的示出性方法。因此，以下詳細描述不限於所揭露實施例及實例。實情為，本發明的正確範圍由隨附申請專利範圍界定。
本揭露內容的實施例是針對經組態以具體地進行對在網頁上進行的主動A/B測試或實驗設計測試的偏離值的限制的系統及方法。如以下實施例中所論述，與由使用適當百分位數來限制的資料值構成的受限制資料集的協方差相比，極端資料處置可用於基於未受限制資料集的協方差來定量地且定性地評估資料集。在存在可能的極值的一些實施例中，此等極值可能具有高方差且因此具有低測試靈敏度。在此類情形下，更容易具有誤判為負錯誤，亦即，未能偵測到不同測試群之間的真實差異。在一些情形下，極值可能不均勻地分佈於不同測試群上且可能導致誤判為正，亦即，結果可能在兩個測試群之間展示出強烈的差異，而所述差異僅是由於收集的樣本而非實際測試引起的。在此類情形下，可將限制應用於累積式每日更新，此使得系統能夠快速計算百分位數資料且考慮偏離值，而無需每次重新計數及重新計算整個資料集。此顯著減少處理能力及計算負擔的量且表現出優於當前系統的顯著改良。
參考圖1A，繪示示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的系統的例示性實施例的示意性方塊圖100。如圖1A中所示出，系統100可包含各種系統，所述系統中的每一者可經由一或多個網路彼此連接。所述系統亦可經由直接連接(例如，使用電纜)彼此連接。所描繪系統包含運送授權技術(shipment authority technology；SAT)系統101、外部前端系統103、內部前端系統105、運輸系統107、行動裝置107A、行動裝置107B以及行動裝置107C、賣方入口網站109、運送及訂單追蹤(shipment and order tracking；SOT)系統111、履行最佳化(fulfillment optimization；FO)系統113、履行通信報閘道(fulfillment messaging gateway；FMG)115、供應鏈管理(supply chain management；SCM)系統117、倉庫管理系統119、行動裝置119A、行動裝置119B以及行動裝置119C(描繪為位於履行中心(fulfillment center；FC)200內部)、第3方履行系統121A、第3方履行系統121B以及第3方履行系統121C、履行中心授權系統(fulfillment center authorization；FC Auth)123以及勞動管理系統(labor management system；LMS)125。
在一些實施例中，SAT系統101可實行為監視訂單狀態及遞送狀態的電腦系統。舉例而言，SAT系統101可判定訂單是否超過其承諾遞送日期(Promised Delivery Date；PDD)且可採取適當的動作，包含發起新訂單、對未遞送訂單中的產品進行重新運送、取消未遞送訂單、發起與訂購客戶的連絡，或類似者。SAT系統101亦可監視其他資料，包含輸出(諸如在特定時間段期間運送的包裹的數目)及輸入(諸如接收到的用於運送的空紙板盒的數 目)。SAT系統101亦可充當系統100中的不同裝置之間的閘道，從而(例如，使用儲存及轉發或其他技術)實現諸如外部前端系統103及FO系統113的裝置之間的通信。
在一些實施例中，外部前端系統103可實行為使得外部使用者能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，外部前端系統103可實行為接收搜尋請求、呈現物件頁以及索求支付資訊的網頁伺服器。舉例而言，外部前端系統103可實行為電腦或電腦運行軟體，諸如阿帕奇(Apache)HTTP伺服器、微軟網際網路資訊服務(Internet Information Service；IIS)、NGINX，或類似者。在其他實施例中，外部前端系統103可運行經設計以接收及處理來自外部裝置(例如，行動裝置102A或電腦102B)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，外部前端系統103可包含網頁快取系統、資料庫、搜尋系統或支付系統中的一或多者。在一個態樣中，外部前端系統103可包括此等系統中的一或多者，而在另一態樣中，外部前端系統103可包括連接至此等系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。
藉由圖1B、圖1C、圖1D以及圖1E所示出的例示性步驟集合將有助於描述外部前端系統103的一些操作。外部前端系統103可自系統100中的系統或裝置接收資訊以供呈現及/或顯示。舉例而言，外部前端系統103可代管或提供一或多個網頁，包 含搜尋結果頁(SRP)(例如，圖1B)、單一詳情頁(Single Detail Page；SDP)(例如，圖1C)、購物車頁(例如，圖1D)，或訂單頁(例如，圖1E)。(例如，使用行動裝置102A或電腦102B的)使用者裝置可導航至外部前端系統103且藉由將資訊輸入至搜尋方塊中來請求搜尋。外部前端系統103可向系統100中的一或多個系統請求資訊。舉例而言，外部前端系統103可向FO系統113請求滿足搜尋請求的資訊。外部前端系統103亦可(自FO系統113)請求及接收包含於搜尋結果中的每一產品的承諾遞送日期或「PDD」。在一些實施例中，PDD可表示在特定時間段內(例如，在一天結束(下午11：59)前)訂購的情況下對含有產品的包裹將何時抵達使用者的所要位置或承諾將產品遞送至使用者的所要位置處的日期的估計。(PDD在下文相對於FO系統113進一步論述。)
外部前端系統103可基於資訊來準備SRP(例如，圖1B)。SRP可包含滿足搜尋請求的資訊。舉例而言，此可包含滿足搜尋請求的產品的圖像。SRP亦可包含每一產品的各別價格，或與每一產品的增強遞送選項、PDD、重量、大小、報價、折扣或類似者相關的資訊。外部前端系統103可(例如，經由網路)將SRP發送至請求使用者裝置。
使用者裝置可接著例如藉由點選或輕觸使用者介面或使用另一輸入裝置自SRP選擇產品，以選擇表示於SRP上的產品。使用者裝置可製訂對關於所選產品的資訊的請求且將其發送至外部前端系統103。作為回應，外部前端系統103可請求與所選產品相關的資訊。舉例而言，資訊可包含除針對各別SRP上的產品呈 現的資訊以外的額外資訊。此可包含例如保存期限、原產國、重量、大小、包裹中的物件的數目、處置說明，或關於產品的其他資訊。資訊亦可包含類似產品的推薦(基於例如巨量資料及/或對購買此產品及至少一個其他產品的客戶的機器學習分析)、頻繁詢問的問題的答案、來自客戶的評論、製造商資訊、圖像，或類似者。
外部前端系統103可基於接收到的產品資訊來準備SDP(單一詳情頁)(例如，圖1C)。SDP亦可包含其他交互式元素，諸如「現在購買」按鈕、「添加至購物車」按鈕、數量欄、物件的圖像，或類似者。SDP可更包含提供產品的賣方的列表。可基於每一賣方提供的價格來對列表進行排序，使得可在頂部處列出提供以最低價格銷售產品的賣方。亦可基於賣方排名來對列表進行排序，使得可在頂部處列出排名最高的賣方。可基於多個因素來製訂賣方排名，所述因素包含例如賣方的符合承諾PDD的過去的追蹤記錄。外部前端系統103可(例如，經由網路)將SDP遞送至請求使用者裝置。
請求使用者裝置可接收列出產品資訊的SDP。在接收到SDP後，使用者裝置可接著與SDP交互。舉例而言，請求使用者裝置的使用者可點選或以其他方式與SDP上的「放在購物車中」按鈕交互。此將產品添加至與使用者相關聯的購物車。使用者裝置可將把產品添加至購物車的此請求傳輸至外部前端系統103。
外部前端系統103可產生購物車頁(例如，圖1D)。在一些實施例中，購物車頁列出使用者已添加至虛擬「購物車」的產品。使用者裝置可藉由在SRP、SDP或其他頁上的圖標上點選或以其他方式與所述圖標交互來請求購物車頁。在一些實施例中，購 物車頁可列出使用者已添加至購物車的所有產品，以及關於購物車中的產品的資訊(諸如每一產品的數量、每一產品每物件的價格、每一產品基於相關聯數量的價格)、關於PDD的資訊、遞送方法、運送成本、用於修改購物車中的產品(例如，刪除或修改數量)的使用者介面元素、用於訂購其他產品或設置產品的定期遞送的選項、用於設置利息支付的選項、用於前進至購買的使用者介面元素，或類似者。使用者裝置處的使用者可在使用者介面元素(例如，寫著「現在購買」的按鈕)上點選或以其他方式與所述使用者介面元素交互，以發起對購物車中的產品的購買。在如此做後，使用者裝置可將發起購買的此請求傳輸至外部前端系統103。
外部前端系統103可回應於接收到發起購買的請求而產生訂單頁(例如，圖1E)。在一些實施例中，訂單頁重新列出來自購物車的物件且請求支付及運送資訊的輸入。舉例而言，訂單頁可包含請求關於購物車中的物件的購買者的資訊(例如，姓名、地址、電子郵件地址、電話號碼)、關於接收者的資訊(例如，姓名、地址、電話號碼、遞送資訊)、運送資訊(例如，遞送及/或揀貨的速度/方法)、支付資訊(例如，信用卡、銀行轉賬、支票、儲存的積分)、請求現金收據(例如，出於稅務目的)的使用者介面元素，或類似者的區段。外部前端系統103可將訂單頁發送至使用者裝置。
使用者裝置可輸入關於訂單頁的資訊，且點選或以其他方式與將資訊發送至外部前端系統103的使用者介面元素交互。自此處，外部前端系統103可將資訊發送至系統100中的不同系統，以使得能夠創建及處理具有購物車中的產品的新訂單。
在一些實施例中，外部前端系統103可進一步經組態以使得賣方能夠傳輸及接收與訂單相關的資訊。
在一些實施例中，內部前端系統105可實行為使得內部使用者(例如，擁有、操作或租用系統100的組織的雇員)能夠與系統100中的一或多個系統交互的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，內部前端系統105可實行為使得內部使用者能夠查看關於訂單的診斷及統計資訊、修改物件資訊或審查與訂單相關的統計的網頁伺服器。舉例而言，內部前端系統105可實行為電腦或電腦運行軟體，諸如阿帕奇HTTP伺服器、微軟網際網路資訊服務(IIS)、NGINX，或類似者。在其他實施例中，內部前端系統105可運行經設計以接收及處理來自系統100中所描繪的系統或裝置(以及未描繪的其他裝置)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊來將回應提供至接收到的請求的定製網頁伺服器軟體。
在一些實施例中，內部前端系統105可包含網頁快取系統、資料庫、搜尋系統、支付系統、分析系統、訂單監視系統或類似者中的一或多者。在一個態樣中，內部前端系統105可包括此等系統中的一或多者，而在另一態樣中，內部前端系統105可包括連接至此等系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。
在一些實施例中，運輸系統107可實行為實現系統100中的系統或裝置與行動裝置107A至行動裝置107C之間的通信的電腦系統。在一些實施例中，運輸系統107可自一或多個行動裝 置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA，或類似者)接收資訊。舉例而言，在一些實施例中，行動裝置107A至行動裝置107C可包括由遞送工作者操作的裝置。遞送工作者(其可為永久雇員、暫時雇員或輪班雇員)可利用行動裝置107A至行動裝置107C來實現對含有由使用者訂購的產品的包裹的遞送。舉例而言，為遞送包裹，遞送工作者可在行動裝置上接收指示遞送哪一包裹及將所述包裹遞送到何處的通知。在抵達遞送位置後，遞送工作者可(例如，在卡車的後部中或在包裹的條板箱中)定位包裹、使用行動裝置掃描或以其他方式擷取與包裹上的識別符(例如，條碼、影像、文字串、RFID標籤，或類似者)相關聯的資料，且遞送包裹(例如，藉由將其留在前門處、將其留給警衛、將其交給接收者，或類似者)。在一些實施例中，遞送工作者可使用行動裝置擷取包裹的相片及/或可獲得簽名。行動裝置可將資訊發送至運輸系統107，所述資訊包含關於遞送的資訊；包含例如時間、日期、GPS位置、相片、與遞送工作者相關聯的識別符、與行動裝置相關聯的識別符，或類似者。運輸系統107可在資料庫(未描繪)中儲存此資訊以用於由系統100中的其他系統訪問。在一些實施例中，運輸系統107可使用此資訊來準備追蹤資料且將所述追蹤資料發送至其他系統，從而指示特定包裹的位置。
在一些實施例中，某些使用者可使用一個種類的行動裝置(例如，永久工作者可使用具有定製硬體(諸如條碼掃描器、尖筆以及其他裝置)的專用PDA)，而其他使用者可使用其他類型的行動裝置(例如，暫時工作者或輪班工作者可利用現成的行動電話及/或智慧型手機)。
在一些實施例中，運輸系統107可使使用者與每一裝置相關聯。舉例而言，運輸系統107可儲存使用者(由例如使用者識別符、雇員識別符或電話號碼表示)與行動裝置(由例如國際行動設備身分(International Mobile Equipment Identity；IMEI)、國際行動訂用識別符(International Mobile Subscription Identifier；IMSI)、電話號碼、通用唯一識別符(Universal Unique Identifier；UUID)或全球唯一識別符(Globally Unique Identifier；GUID)表示)之間的關聯。運輸系統107可結合在遞送時接收到的資料使用此關聯來分析儲存於資料庫中的資料，以便尤其判定工作者的位置、工作者的效率，或工作者的速度。
在一些實施例中，賣方入口網站109可實行為使得賣方或其他外部實體能夠與系統100中的一或多個系統電子地通信的電腦系統。舉例而言，賣方可利用電腦系統(未描繪)來上載或提供賣方希望經由使用賣方入口網站109的系統100來銷售的產品的產品資訊、訂單資訊、連絡資訊或類似者。
在一些實施例中，運送及訂單追蹤系統111可實行為接收、儲存以及轉送關於含有由客戶(例如，由使用裝置102A至裝置102B的使用者)訂購的產品的包裹的位置的資訊的電腦系統。在一些實施例中，運送及訂單追蹤系統111可請求或儲存來自由遞送含有由客戶訂購的產品的包裹的運送公司操作的網頁伺服器(未描繪)的資訊。
在一些實施例中，運送及訂單追蹤系統111可請求及儲存來自在系統100中描繪的系統的資訊。舉例而言，運送及訂單追蹤系統111可請求來自運輸系統107的資訊。如上文所論述， 運輸系統107可自與使用者(例如，遞送工作者)或車輛(例如，遞送卡車)中的一或多者相關聯的一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA或類似者)接收資訊。在一些實施例中，運送及訂單追蹤系統111亦可向倉庫管理系統(warehouse management system；WMS)119請求資訊以判定個別產品在履行中心(例如，履行中心200)內部的位置。運送及訂單追蹤系統111可向運輸系統107或WMS 119中的一或多者請求資料，在請求後處理所述資料，且將所述資料呈現給裝置(例如，使用者裝置102A及使用者裝置102B)。
在一些實施例中，履行最佳化(FO)系統113可實行為儲存來自其他系統(例如，外部前端系統103及/或運送及訂單追蹤系統111)的客戶訂單的資訊的電腦系統。FO系統113亦可儲存描述特定物件保存或儲存於何處的資訊。舉例而言，某些物件可能僅儲存於一個履行中心中，而某些其他物件可能儲存於多個履行中心中。在再其他實施例中，某些履行中心可經設計以僅儲存特定物件集合(例如，新鮮農產品或冷凍產品)。FO系統113儲存此資訊以及相關聯資訊(例如，數量、大小、接收日期、過期日期等)。
FO系統113亦可計算每一產品的對應PDD(承諾遞送日期)。在一些實施例中，PDD可以基於一或多個因素。舉例而言，FO系統113可基於下述者來計算產品的PDD：對產品的過去需求(例如，在一段時間期間訂購了多少次所述產品)、對產品的預期需求(例如，預測在即將到來的一段時間期間多少客戶將訂購所述產品)、指示在一段時間期間訂購了多少產品的全網路過去需求、指示預期在即將到來的一段時間期間將訂購多少產品的全網路預期 需求、儲存於每一履行中心200中的產品的一或多個計數、哪一履行中心儲存每一產品、產品的預期或當前訂單，或類似者。
在一些實施例中，FO系統113可定期(例如，每小時)判定每一產品的PDD且將其儲存於資料庫中以供檢索或發送至其他系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)。在其他實施例中，FO系統113可自一或多個系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)接收電子請求且按需求計算PDD。
在一些實施例中，履行通信報閘道(FMG)115可實行為自系統100中的一或多個系統(諸如FO系統113)接收呈一種格式或協定的請求或回應、將其轉換為另一格式或協定且將其以轉換後的格式或協定轉發至其他系統(諸如WMS 119或第3方履行系統121A、第3方履行系統121B或第3方履行系統121C)且反之亦然的電腦系統。
在一些實施例中，供應鏈管理(SCM)系統117可實行為進行預測功能的電腦系統。舉例而言，SCM系統117可基於例如下述者來預測對特定產品的需求水平：對產品的過去需求、對產品的預期需求、全網路過去需求、全網路預期需求、儲存於每一履行中心200中的計數產品、每一產品的預期或當前訂單，或類似者。回應於此預測水平及所有履行中心中的每一產品的量，SCM系統117可產生一或多個購買訂單以購買及儲備足夠數量，以滿足對特定產品的預測需求。
在一些實施例中，倉庫管理系統(WMS)119可實行為監視工作流程的電腦系統。舉例而言，WMS 119可自個別裝置(例 如，裝置107A至裝置107C或裝置119A至裝置119C)接收指示離散事件的事件資料。舉例而言，WMS 119可接收指示此等裝置中的一者的使用掃描包裹的事件資料。如下文相對於履行中心200及圖2所論述，在履行過程期間，可藉由特定階段處的機器(例如，自動式或手持式條碼掃描器、RFID讀取器、高速攝影機、諸如平板電腦119A、行動裝置/PDA 119B、電腦119C的裝置或類似者)掃描或讀取包裹識別符(例如，條碼或RFID標籤資料)。WMS 119可將指示掃描或包裹識別符的讀取的每一事件以及包裹識別符、時間、日期、位置、使用者識別符或其他資訊儲存於對應資料庫(未描繪)中，且可將此資訊提供至其他系統(例如，運送及訂單追蹤系統111)。
在一些實施例中，WMS 119可儲存使一或多個裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)與一或多個使用者(所述一或多個使用者與系統100相關聯)相關聯的資訊。舉例而言，在一些情形下，使用者(諸如兼職雇員或全職雇員)可與行動裝置相關聯，此是由於使用者擁有行動裝置(例如，行動裝置為智慧型手機)。在其他情形下，使用者可與行動裝置相關聯，此是由於使用者暫時保管行動裝置(例如，使用者在一天開始時拿到行動裝置，將在一天期間使用所述行動裝置，且將在一天結束時退還所述行動裝置)。
在一些實施例中，WMS 119可維護與系統100相關聯的每一使用者的工作日志。舉例而言，WMS 119可儲存與每一雇員相關聯的資訊，包含任何指定的過程(例如，自卡車卸載、自揀貨區揀取物件、合流牆(rebin wall)工作、包裝物件)、使用者識別 符、位置(例如，履行中心200中的樓層或區)、藉由雇員經由系統移動的單位數目(例如，所揀取物件的數目、所包裝物件的數目)、與裝置(例如，裝置119A至裝置119C)相關聯的識別符，或類似者。在一些實施例中，WMS 119可自計時系統接收登記及登出資訊，所述計時系統諸如在裝置119A至裝置119C上操作的計時系統。
在一些實施例中，第3方履行(3rd party fulfillment；3PL)系統121A至第3方履行系統121C表示與物流及產品的第三方提供商相關聯的電腦系統。舉例而言，儘管一些產品儲存於履行中心200中(如下文相對於圖2所論述)，但其他產品可儲存於場外、可按需求生產，或可以其他方式不可供用於儲存於履行中心200中。3PL系統121A至3PL系統121C可經組態以(例如，經由FMG 115)自FO系統113接收訂單，且可直接為客戶提供產品及/或服務(例如，遞送或安裝)。在一些實施例中，3PL系統121A至3PL系統121C中的一或多者可為系統100的部分，而在其他實施例中，3PL系統121A至3PL系統121C中的一或多者可在系統100外部(例如，由第三方提供商擁有或操作)。
在一些實施例中，履行中心Auth系統(FC Auth)123可實行為具有各種功能的電腦系統。舉例而言，在一些實施例中，FC Auth 123可充當系統100中的一或多個其他系統的單一簽入(single-sign on；SSO)服務。舉例而言，FC Auth 123可使得使用者能夠經由內部前端系統105登入、判定使用者具有訪問運送及訂單追蹤系統111處的資源的類似特權，且使得使用者能夠在不需要第二登入過程的情況下取得彼等特權。在其他實施例中，FC Auth 123可使得使用者(例如，雇員)能夠使自身與特定任務相關聯。舉例而言，一些雇員可能不具有電子裝置(諸如裝置119A至裝置119C)，且實際上可能在一天的過程期間在履行中心200內自任務至任務以及自區至區移動。FC Auth 123可經組態以使得彼等雇員能夠在一天的不同時間指示其正進行何任務以及其位於何區。
在一些實施例中，勞動管理系統(LMS)125可實行為儲存雇員(包含全職雇員及兼職雇員)的出勤及超時資訊的電腦系統。舉例而言，LMS 125可自FC Auth 123、WMS 119、裝置119A至裝置119C、運輸系統107及/或裝置107A至裝置107C接收資訊。
圖1A中所描繪的特定組態僅為實例。舉例而言，儘管圖1A描繪連接至FO系統113的FC Auth系統123，但並非所有實施例均要求此特定組態。實際上，在一些實施例中，系統100中的系統可經由一或多個公用或私用網路彼此連接，所述網路包含網際網路、企業內部網路、廣域網路(Wide-Area Network；WAN)、都會區域網路(Metropolitan-Area Network；MAN)、順應IEEE 802.11a/b/g/n標準的無線網路、租用線，或類似者。在一些實施例中，系統100中的系統中的一或多者可實行為在資料中心、伺服器群或類似者處實行的一或多個虛擬伺服器。
圖2描繪履行中心200。履行中心200為儲存用於在訂購時運送至客戶的物件的實體位置的實例。可將履行中心(FC)200劃分成多個區，所述區中的每一者描繪於圖2中。在一些實施例中，可認為此等「區」為接收物件、儲存物件、檢索物件以及運送 物件的過程的不同階段之間的虛擬劃分。因此，儘管在圖2中描繪「區」，但其他區劃分為可能的，且在一些實施例中可省略、複製或修改圖2中的區。
入站區203表示FC 200的自希望使用來自圖1A的系統100出售產品的賣方接收到物件的區域。舉例而言，賣方可使用卡車201來遞送物件202A及物件202B。物件202A可表示足夠大以佔據其自身運送托板的單一物件，而物件202B可表示在同一托板上堆疊在一起以節省空間的物件集合。
工作者將在入站區203中接收物件，且可使用電腦系統(未描繪)來視情況檢查物件的損壞及正確性。舉例而言，工作者可使用電腦系統來比較物件202A及物件202B的數量與物件的所訂購數量。若數量不匹配，則工作者可拒絕物件202A或物件202B中的一或多者。若數量的確匹配，則工作者可(使用例如台車、手推平車、叉車或手動地)將彼等物件移動至緩衝區205。緩衝區205可為當前(例如由於揀貨區中存在足夠高數量的物件以滿足預測需求而)無需處於揀貨區中的所述物件的暫時儲存區域。在一些實施例中，叉車206操作以圍繞緩衝區205及在入站區203與卸貨區207之間移動物件。若(例如，由於預測需求而)需要揀貨區中的物件202A或物件202B，則叉車可將物件202A或物件202B移動至卸貨區207。
卸貨區207可為FC 200的在將物件移動至揀貨區209之前儲存所述物件的區域。指定給揀貨任務的工作者(「揀貨員」)可靠近揀貨區中的物件202A及物件202B，使用行動裝置(例如，裝置119B)來掃描揀貨區的條碼，且掃描與物件202A及物件202B 相關聯的條碼。揀貨員可接著(例如，藉由將物件置放於推車上或攜帶所述物件)將所述物件取至揀貨區209。
揀貨區209可為FC 200的將物件208儲存於儲存單元210上的區域。在一些實施例中，儲存單元210可包括實體擱架、書架、盒、手提包、冰箱、冷凍機、冷儲存區或類似者中的一或多者。在一些實施例中，揀貨區209可組織成多個樓層。在一些實施例中，工作者或機器可以多種方式將物件移動至揀貨區209中，包含例如叉車、電梯、傳送帶、推車、手推平車、台車、自動化機器人或裝置，或手動地移動。舉例而言，揀貨員可在卸貨區207中將物件202A及物件202B置放於手推平車或推車上，且將物件202A及物件202B步移至揀貨區209。
揀貨員可接收將物件置放(或「堆裝」)於揀貨區209中的特定點(諸如儲存單元210上的特定空間)的指令。舉例而言，揀貨員可使用行動裝置(例如，裝置119B)來掃描物件202A。裝置可例如使用指示走道、貨架以及位置的系統來指示揀貨員應將物件202A堆裝於何處。裝置可接著提示揀貨員在將物件202A堆裝於所述位置之前掃描所述位置處的條碼。裝置可(例如，經由無線網路)將資料發送至諸如圖1A中的WMS 119的電腦系統，從而指示已由使用裝置119B的使用者將物件202A堆裝於所述位置處。
一旦使用者下訂單，揀貨員即可在裝置119B上接收自儲存單元210檢索一或多個物件208的指令。揀貨員可檢索物件208、掃描物件208上的條碼，且將所述物件208置放於運輸機構214上。儘管將運輸機構214表示為滑動件，但在一些實施例中，運輸 機構可實行為傳送帶、電梯、推車、叉車、手推平車、台車或類似者中的一或多者。物件208可接著抵達包裝區211。
包裝區211可為FC 200的自揀貨區209接收到物件且將所述物件包裝至盒或包中以用於最終運送至客戶的區域。在包裝區211中，指定給接收物件的工作者(「合流工作者」)將自揀貨區209接收物件208且判定所述物件208對應於哪一訂單。舉例而言，合流工作者可使用諸如電腦119C的裝置來掃描物件208上的條碼。電腦119C可在視覺上指示物件208與哪一訂單相關聯。此可包含例如對應於訂單的牆216上的空間或「單元格」。一旦訂單完成(例如，由於單元格含有所述訂單的所有物件)，合流工作者即可指示包裝工作者(或「包裝員」)訂單完成。包裝員可自單元格檢索物件且將所述物件置放於盒或包中以用於運送。包裝員可接著例如經由叉車、推車、台車、手推平車、傳送帶、手動地或以其他方式將盒或包發送至樞紐區(hub zone)213。
樞紐區213可為FC 200的自包裝區211接收所有盒或包(「包裹」)的區域。樞紐區213中的工作者及/或機器可檢索包裹218且判定每一包裹預期去至遞送區域的哪一部分，且將包裹投送至適當的營地區(camp zone)215。舉例而言，若遞送區域具有兩個更小子區域，則包裹將去至兩個營地區215中的一者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。將包裹投送至營地區215可包括例如(例如，基於郵遞碼)判定包裹去往的地理區域的一部分，以及判定與地理區域的所述部分相關聯的營地區215。
在一些實施例中，營地區215可包括一或多個建築物、 一或多個實體空間或一或多個區域，其中自樞紐區213接收包裹以用於分選至路線及/或子路線中。在一些實施例中，營地區215與FC 200實體地分開，而在其他實施例中，營地區215可形成FC 200的一部分。
營地區215中的工作者及/或機器可例如基於下述者來判定包裹220應與哪一路線及/或子路線相關聯：目的地與現有路線及/或子路線的比較、對每一路線及/或子路線的工作負荷的計算、時刻、運送方法、運送包裹220的成本、與包裹220中的物件相關聯的PDD，或類似者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。一旦將包裹220指定給特定路線及/或子路線，工作者及/或機器即可移動待運送的包裹220。在例示性圖2中，營地區215包含卡車222、汽車226以及遞送工作者224A及遞送工作者224B。在一些實施例中，卡車222可由遞送工作者224A駕駛，其中遞送工作者224A為遞送FC 200的包裹的全職雇員，且卡車222由擁有、租用或操作FC 200的同一公司擁有、租用或操作。在一些實施例中，汽車226可由遞送工作者224B駕駛，其中遞送工作者224B為在視需要基礎上(例如，季節性地)遞送的「靈活」或臨時工作者。汽車226可由遞送工作者224B擁有、租用或操作。
圖3為用於進行與所揭露實施例一致的一或多個操作的例示性系統300的方塊圖。在一些實施例中，系統300包含一或多個客戶裝置310(1)......客戶裝置310(n)、電子商務服務提供商裝置304、資料庫306以及通信網路308。系統300亦可包含彼此直接通信且經由通信網路308進一步與客戶裝置310(1)至客戶裝置 310(n)通信的多個電子商務服務提供商裝置304(圖式中未繪示)以及多個資料庫306(圖式中未繪示)。包含於系統300中的組件及組件的配置可改變。因此，系統300可包含進行或輔助進行與所揭露實施例一致的一或多個操作的其他組件。
客戶裝置310(1)至客戶裝置310(n)、電子商務服務提供商裝置304以及資料庫306可包含一或多個計算裝置(例如，電腦、伺服器等)、儲存資料及/或軟體指令的記憶體(例如，資料庫、記憶體裝置等)以及其他已知計算組件。在一些實施例中，一或多個計算裝置可經組態以執行儲存於記憶體中的軟體指令以進行與所揭露實施例一致的一或多個操作。客戶裝置310(1)至客戶裝置310(n)、裝置304以及資料庫306的態樣可經組態以例如經由通信網路308與系統100的一或多個其他組件通信。在一些實施例中，客戶裝置310(1)至客戶裝置310(n)可連接至系統100的外部前端系統103。在某些態樣中，客戶操作客戶裝置310(1)至客戶裝置310(n)，藉由發送及接收通信、啟動操作及/或為與所揭露實施例一致的一或多個操作提供輸入來與系統300的一或多個組件交互。
電子商務服務提供商裝置304可與接收、處理、管理或以其他方式提供針對物件的訂購服務的實體相關聯。此實體可為用於購買物件且將所述物件遞送至與客戶裝置310(1)至客戶裝置310(n)相關聯的客戶的電子商務網站。舉例而言，可經由實體訂購的物件可包含預製食品、雜貨、電子產品、傢俱、書籍、電腦及/或衣服，但亦可訂購任何其他類型的物件。舉例而言，裝置304可使用客戶裝置310(1)至客戶裝置310(n)接收來自客戶的訂單請求，且處理接收到的訂單請求以將訂單請求中所訂購的物件運送至與 訂單請求相關聯的客戶。
系統300的資料庫306可直接地或經由通信網路308以通信方式耦接至裝置304。另外，系統300的資料庫306可經由通信網路308以通信方式耦接至客戶裝置310(1)至客戶裝置310(n)，以及電子商務服務提供商裝置304。資料庫306可包含儲存資訊且由系統300的一或多個組件存取及/或管理的一或多個記憶體裝置(未繪示)。作為實例，資料庫306可包含甲骨文TM(OracleTM)資料庫、賽貝斯TM(SybaseTM)資料庫或其他關連式資料庫或非關連式資料庫，諸如Hadoop順序檔案、HBase或Cassandra。資料庫306可包含計算組件(例如，資料庫管理系統、資料庫伺服器等)(未繪示)，所述計算組件經組態以接收及處理對儲存於資料庫306的記憶體裝置中的資料的請求且提供來自資料庫306的資料。在另一實施例中，裝置304可將資料庫306本地地儲存於其中。
資料庫306經組態以尤其儲存度量資料、客戶設定檔資訊、庫存資訊、收入資訊、物流及運送相關資訊等。舉例而言，資料庫306中的客戶設定檔資訊可包含客戶姓名、客戶家庭地址、客戶像片及/或客戶電話號碼，但亦可包含與商家相關聯的任何其他類型的資訊。
資料庫306可儲存度量資料。在一些實施例中，度量資料可為與與網站的客戶交互相關的任何資料。在一些實施例中，度量資料可包括客戶交互資料中的一或多者，包含在測試時段期間客戶的總支出、在測試時段期間網頁視圖的數目、由客戶用以訪問網頁的裝置的類型等。客戶交互資料可包含例如客戶在特定日已訪問網頁的次數、客戶在特定時間段或日期範圍期間訪問網站的 次數、客戶在特定日已訪問網站的次數、客戶在特定時間段或日期範圍期間訪問網頁的次數、客戶已查看一或多個產品的次數、客戶已購買一或多個產品的次數、由客戶在特定一或多個產品上花費的貨幣量、由客戶在特定日花費的貨幣量、由客戶在特定時間段或日期範圍期間花費的貨幣量、客戶已針對一或多個產品發佈評論的次數、在特定時間段或日期範圍期間每客戶的總支出、在特定時間段或日期範圍期間每客戶的平均支出、客戶在特定日已訪問網頁的次數、由客戶使用的裝置的類型等。
在一個態樣中，裝置304可包含經組態以進行與所揭露實施例一致的一或多個操作的一或多個計算裝置。在一個態樣中，裝置304可包含一或多個伺服器或伺服器系統。裝置304可包含經組態以執行儲存於記憶體或其他儲存裝置中的軟體指令的一或多個處理器302。處理器302可經組態以執行所儲存的軟體指令以進行網路通信、電子商務計算的基於線上訂單的過程以及與限制偏離值相關的過程等。裝置304的一或多個計算裝置可經組態以儲存客戶度量資料。裝置304的一或多個計算裝置亦可經組態以與系統300的其他組件通信以接收及處理訂單請求。在一些實施例中，裝置304可提供可由客戶裝置310(1)至客戶裝置310(n)經由通信網路308訪問的一或多個行動應用程式、網站或線上入口網站。自客戶裝置310(1)至客戶裝置310(n)獲得的度量資料可由處理器304用以針對度量資料中的一或多者計算限制統計資料，所述限制統計資料包含p值、樣本大小、標準偏差、協方差資料、限制百分位數、可觸發限制的條件、限制臨限值等，如下文參考圖4及圖5詳細解釋。所揭露實施例不限於電子商務服務提供商裝置 304的任何特定組態。
通信網路308可包括經組態以在系統300的組件之間提供通信或交換資料或兩者的任何類型的電腦網路連結配置。舉例而言，通信網路308可包含任何類型的網路(包含基礎設施)，所述網路(諸如網際網路、私用資料網路、使用公用網路的虛擬私用網路、LAN或WAN網路、Wi-FiTM網路及/或可使得資訊能夠在系統300的各種組件當中交換資訊的其他合適連接)可提供通信、交換資訊及/或促進資訊的交換。通信網路308亦可包含公用交換電話網路(public switched telephone network；「PSTN」)及/或無線蜂巢式網路。通信網路308可為安全網路或不安全網路。在一些實施例中，系統300的一或多個組件可經由專用通信鏈路直接通信。
客戶裝置310(1)至客戶裝置310(n)可為經組態以進行與所揭露實施例一致的一或多個操作的一或多個計算裝置。客戶裝置310(1)至客戶裝置310(n)可執行瀏覽器或相關行動顯示軟體，所述瀏覽器或相關行動顯示軟體在包含於客戶裝置310(1)至客戶裝置310(n)中或連接至客戶裝置310(1)至客戶裝置310(n)的顯示器上顯示用於下物件遞送的訂單、接收訂單以及遞送所訂購物件的電子商務網站。客戶裝置310(1)至客戶裝置310(n)亦可儲存及執行其他行動應用程式，所述其他行動應用程式允許客戶與由裝置304提供的網站介面交互。
在一些實施例中，系統300中的裝置可為系統100的一部分。在其他實施例中，系統300可為可結合系統100使用以進行與所揭露實施例一致的方法的單獨系統。主動A/B測試或實驗 設計測試可在自客戶裝置310(1)至客戶裝置310(n)收集度量資料之後在裝置304上進行，其中客戶與網站或行動應用程式交互。關於主動A/B測試或實驗設計測試的資料可由裝置304記錄及使用以進行與所揭露實施例一致的過程。裝置304亦可經組態以自系統100的內部前端系統105獲取資料。由電子裝置304獲得的資料亦可包含客戶特定度量資料。自前端系統105獲得的資料亦可由處理器304用以計算限制資料，所述限制資料包含統計資料、p值、樣本大小、協方差資料、限制資料、限制百分比、限制條件、限制臨限值等。
在進行A/B測試的一些實施例中，第一測試變體可包含網站或行動應用程式的現有版本，而第二測試變體可包含對網站或行動應用程式的的一或多個修改，以改善客戶體驗。舉例而言，網站或行動應用程式的現有版本可包含例如視覺、音訊、觸感或其他使用者交互式內容的第一特徵或特徵集合。網站的實驗性版本可包含不同於現有版本的第二特徵或特徵集合。此等特徵可與與網站或行動應用程式的客戶交互相關，諸如供客戶交互的內容的位置，或可用於購買產品的介面的顏色，亦即不同網頁設計、不同佈局、針對不同客戶顯示的不同產品、基於客戶交互的不同折扣等。A/B測試可用於判定與網站的兩個版本相關聯的一或多個度量。藉由A/B測試判定的度量可包含每一所測試特徵或特徵集合的查看鏈接、廣告或產品或與鏈接、廣告或產品交互的客戶、購買產品的客戶、查看多個產品的客戶、對購買的產品的評論、審查購買的產品等等的數量或百分比。
圖4與所揭露實施例一致的在實驗測試期間限制偏離值 的例示性方法400的流程圖。方法400的步驟可由處理器302進行。在步驟402處，系統300可自系統100獲得度量資料且將所述度量資料儲存於資料庫306中。在一些實施例中，度量資料(亦稱為客戶交互資料)可使用餅乾(cookie)、客戶的位址資訊(亦即IP或MAC位址)或客戶是否已在網站註冊等來判定。舉例而言，若網站或行動應用程式支援餅乾且餅乾啟用，則對網站的每一後續請求可包含餅乾。餅乾的使用可允許諸如電子商務服務提供商裝置304的電子商務網頁伺服器經由多個對話追蹤客戶的特定動作及狀態。餅乾通常實行為儲存於客戶的裝置上的檔案，所述檔案指示客戶的身分或許多網站所需的其他資訊。餅乾可包含資訊，諸如登入或註冊資料、使用者偏好資料或主機發送至客戶的網頁瀏覽器以供網頁瀏覽器稍後返回至伺服器的任何其他資訊。在一些實施例中，可收集關於特定客戶的額外資訊。舉例而言，額外資訊可包含與客戶的人口統計資料、地理位置(例如，基於行動裝置中的GPS、IP位址等)、系統資訊(例如，網頁瀏覽器、計算裝置的類型等)相關的資訊，以及與客戶與網站或行動應用程式的交互相關的任何其他類型的度量資料。
可使用當前度量資料即時進行方法400的步驟。當前度量資料可包括在不同測試選項的測試時段期間所收集的客戶交互資料。測試時段可為在其期間進行實驗測試的數小時或數日。在一些實施例中，測試時段可為幾日，而在其他實施例中，測試時段可為幾週，諸如在許多人線上購買產品的假期期間。在此情形下，測試時段可為5日，自感恩節(週四)開始至網路週一(Cyber Monday)(之後的週一)。在此時段期間線上賣方理解客戶行為可為重要的， 所述客戶行為例如由客戶花費的量、由客戶購買的產品的數目及產品的類型、客戶的遞送要求、訪問網站的客戶的數目等。此資料可用於網站表現及負載管理、收入管理、庫存管理、倉庫管理、運送(例如，遞送及/或揀貨的速度/方法)、運輸以及物流管理等。
另外或替代地，可對歷史度量資料進行方法400的步驟。在一些實施例中，歷史度量資料可包括在與網站或行動應用程式的先前客戶交互期間所收集的資料。舉例而言，歷史度量資料可包括在先前幾年中在感恩節假期期間所收集的客戶交互資料。歷史度量資料可儲存於資料庫306中。歷史度量資料可能先前已用於進行A/B測試。歷史測試資料可包括使用歷史度量資料的先前所進行測試的結果。歷史測試資料可用於獲得即時A/B測試的某些參數。舉例而言，可使用歷史度量資料及歷史測試資料來判定樣本大小。過大樣本大小或過小樣本大小均可能具有可能損害自測試得出的結論的限制。過小樣本可能阻止對發現進行外插，而過大樣本可能放大對差異的偵測，從而突出不相關的統計差異。樣本大小為在實驗測試期間的重要考量，且歷史度量資料及歷史測試資料可證明對判定用於未來測試的樣本大小有用。
在一些實施例中，可使用歷史測試資料來判定樣本大小，所述歷史測試資料可提供準確平均值且識別具有較小誤差邊際的偏離值。舉例而言，可使用度量資料針對每一客戶獲得特定度量，例如花費的總量。可將花費的總量的平均值判定為任意度量，可將所述任意度量設定為期望值(β)。任意度量的期望值(β)可設定為使得其與改良的商業相關。在一些實施例中，可計算出最小樣本大小「n」，當用於特定度量的A/B測試時，所述最小樣本大小將 實現任意度量的期望值(β)。在一些實例中，最小樣本大小(n)可為1000。使用特定樣本大小的意圖為收集足夠資料點以基於使用所述樣本大小來進行的測試的結果確信地進行預測或改變。首先，可考慮樣本大小「m」，且可針對「m」個樣本獲得花費的總量。此過程可多次重複以獲得虛無假設下的抽樣分佈的經驗估計。在一些實施例中，可用移位了偏移(△)的樣本大小(m)重複抽樣，且可在使用樣本大小(m+△)或(m-△)的對立假設下使用抽樣分佈來獲得估計。使用多個偏移值(△)且以最佳化迴路重複程序，可獲得實現任意度量的期望值(β)所需的最小樣本大小「n」。在一些實施例中，可在度量級上使用方法400以指示特定度量(例如，在測試時段期間的平均訂單值或每客戶的收入)是否包含偏離值且需要限制。偏離值為顯著不同於其他資料點的值。換言之，其可為資料集中的異常值。偏離值對於許多統計分析是成問題的，此是由於其可能導致測試錯過重要發現或扭曲真實結果。
在其他實施例中，方法400可針對多個度量及多個測試選項或測試群實行。多個使用者可拆分成多個測試群以便進行A/B測試。使用單一度量或多個度量來比較多個測試群，通常藉由測試客戶對例如群組A與群組B的回應且判定兩個群組中的哪一者更有效。可針對多個測試群中的一個單一度量或多個測試群中的多個度量實行方法400。在一些實施例中，測試實驗可包含測試群A及測試群B。處理器302可經組態以將客戶劃分成不同測試群。處理器302可進一步經組態以實行網站的不同版本以向不同測試群展示不同特徵。舉例而言，處理器302可經組態以向測試群A的客戶公開網站的版本A。版本A可在電子商務網站上展示用於銷 售鞋的包含鞋的單一影像的現有網頁。處理器302亦可經組態以向測試群B的客戶公開網站的版本B。版本B可為同一電子商務網站的不同變體，其可在電子商務網站上展示用於銷售鞋的包含鞋的來自各種角度的多個影像的現有網頁。
在步驟404處，處理器302使用度量資料來計算第一值(亦即COV)及第二值(亦即COV_lift)。COV為由COV=σ/μ表示的變異係數，其將度量的相對變異性量測為度量的標準偏差與度量的平均數的比。處理器302可計算多個測試群中的單一度量的COV。舉例而言，處理器302可計算在測試時段期間由群A的客戶花費的貨幣量及由群B的客戶花費的貨幣量的COV。在此情況下，處理器302可將由群A的客戶花費的貨幣量的COV計算為由群A的客戶花費的貨幣量的標準偏差與由群A的客戶花費的平均貨幣量的比。處理器302可計算多個測試群中的多個度量的COV。舉例而言，處理器302可計算在測試時段期間由群A及群B的客戶在網站上花費的時間量及由群A及群B的在網站上購買鞋的客戶花費的貨幣量的COV。第二值COV_lift為兩個不同測試群之間的協方差的差，其中將COV_lift定義為百分比。舉例而言，處理器302計算在測試時段期間針對由群A的客戶花費的貨幣量計算出的COV及針對由群B的客戶花費的貨幣量計算出的COV之間的差。此差由COV_lift表示。處理器302可使用COV及COV_lift來判定度量資料內是否存在極值的可能性。
在步驟406處，處理器302使用COV及COV_lift值來判定觸發事件是否發生，亦即是否應觸發限制。舉例而言，COV愈高，資料內具有極值的機率愈高。處理器302可自多個測試群中 的計算出的COV值判定最大值，亦即max(COV)。處理器302可判定多個測試群中的每一度量的每度量COV的最大值，亦即max(COV)。在一些實施例中，處理器302可判定兩個測試群(測試群A及測試群B)中的每一度量的max(COV)。Max(COV)可表示計算出COV的所有多個測試群當中的每度量最大值。舉例而言，在一些實施例中，max(COV)可為針對由兩個測試群A及測試群B中的客戶花費的貨幣量計算出的COV的最大值。
在一些實施例中，處理器302可判定第一預定臨限值或上限最大COV、第二預定臨限值或下限最大COV以及第三預定臨限值或max(COV_lift)。上限最大COV可定義為多個測試選項中的度量的max(COV)的最高值，下限最大COV可定義為針對多個測試選項中的度量獲得的max(COV)的最低值，且max(COV_lift)可定義為多個測試選項中的度量的COV_lift的最高值。在一些實施例中，處理器302可藉由作出當前度量類似於歷史度量的假定根據歷史測試資料的經驗評估客觀地判定上限最大COV、下限最大COV以及max(COV_lift)。歷史測試資料可包括使用歷史度量資料的先前所進行實驗性測試的結果。處理器302可自在先前進行的多個實驗測試中所收集的歷史測試資料獲得每一度量的max(COV)。處理器302可判定上限最大COV、下限最大COV以及max(COV_lift)的多個值，且可選擇具有低百分比誤判為正的臨限值。在一些實施例中，處理器302可判定上限最大COV、下限最大COV以及max(COV_lift)的多個值，且可使用包含其中存在已知偏離值的資料集的歷史測試資料來選擇臨限值。
處理器302可判定測試群A及測試群B中的每一者的每 度量max(COV)是高於抑或低於抑或等於第一預定臨限值或上限最大COV。在一些實施例中，第一預定臨限值可為例如3(在此情況下處理器302可判定max(COV)是否>=3)。若處理器302判定度量(例如，由客戶花費的貨幣量的度量)的max(COV)大於或等於群A或群B中的任一者的第一預定臨限值(例如，3)，則可觸發限制。
在一些實施例中，處理器302可判定測試群A及測試群B中的每一者的每度量的max(COV)低於第一預定臨限值(例如，3)。在此情形下，處理器302可進一步判定max(COV)是否大於第二預定臨限值或下限最大COV。在一些實施例中，第二預定臨限值為2。亦即，處理器302可判定是否2<=max(COV)<3。處理器302可進一步判定每度量COV_lift的最大值，亦即，測試群A及測試群B中的每一者的max(COV_lift)。處理器302可判定測試群A及測試群B中的每一者的每度量max(COV_lift)是否大於或等於第三預定臨限值或max(COV_lift)。在一些實施例中，第三預定臨限值為0.036。若處理器302判定測試群(測試群A或測試群B)中的一者的每度量max(COV)小於第一預定臨限值(例如，3)但大於或等於第二預定臨限值(例如，2)，且兩個測試群A及測試群B的每度量max(COV_lift)大於或等於第三預定臨限值(例如，0.036)，則可針對度量觸發限制。
若在步驟406處，判定觸發了限制(是)，則處理器302繼續限制所有測試群的單一度量或多個度量的資料。處理器302繼續進行至步驟408(在所述步驟408中處理器302針對所有百分位數實行限制)，其中百分位數創建具有修整或移除的偏離值的受限 制資料範圍。在一些實施例中，可針對三個不同限制百分位數(例如，99%、99.9%以及99.99%)實行限制。在一些實施例中，第99百分位數表示初始資料集的子集，其中0.5%的偏離值自其常態分佈的每一側受限制，第99.9百分位數表示初始資料集的子集，其中0.05%的偏離值自其常態分佈的每一側受限制，且第99.99百分位數表示初始資料集的子集，其中0.005%的偏離值自其常態分佈的每一側受限制。初始資料集由表示每測試群客戶的數目的樣本大小構成。在一些實施例中，處理器302可在步驟404處判定已針對一個度量針對一或多個測試群觸發限制。如上文所論述，處理器302可判定已針對度量(在測試時段期間由客戶花費的貨幣量)針對測試群A及測試群B兩者觸發限制。作為實例考慮，初始資料集具有為1000的樣本大小，第99百分位數將移除前5個(最小)值及最末5個(最大)值且使用剩餘值作為受限制資料集。類似地，第99.9百分位數將移除前0.5個(最小)及最末0.5個(最大)值且使用剩餘值作為受限制資料集，且第99.99百分位數將移除前0.05個(最小)及最末0.05個(最大)值且使用剩餘值作為受限制資料集。在測試時段期間，所有測試群可用針對不同度量的同一限制百分位數來處理。
在步驟410處，處理器302針對所有百分位數計算限制統計資料。舉例而言，處理器302可使用每一百分位數的度量資料、COV以及COV_lift來計算限制臨限值、算術平均值等。
在步驟412處，處理器302使用計算出的受限制統計資料來判定是否已藉由特定百分位數限制過多資料。在一些實施例中，處理器302可計算sum及sum_capped的值。將sum定義為在 移除偏離值之前針對所有客戶的度量所收集的資料的總和，且將sum_capped定義為在移除偏離值之後針對度量所收集的資料的總和。舉例而言，sum可由處理器302計算為在移除偏離值之前在多個測試選項中針對度量(針對例如所有客戶的每客戶平均支出)所收集的資料的總和，且sum_capped可由處理器302計算為在移除偏離值之後在多個測試選項中針對度量(針對例如所有客戶的每客戶平均支出)所收集的資料的總和。舉例而言，在一些實施例中，對於待實行的限制，針對每一百分位數，sum_capped與sum的比必須大於95%。若比大於95%，則處理器302可判定過多資料受限制。舉例而言，在一些實施例中，處理器302可在步驟410處判定過多資料已受限於第99百分位數，可跳過第99.9及第99.99百分位數且方法400可繼續進行至步驟414。在一些實施例中，處理器302可在步驟410處判定過多資料已受限於99.9百分位數，可跳過99.99百分位數且方法400可繼續進行至步驟414。在一些實施例中，處理器302可在步驟410處判定過多資料已受限於99.99百分位數且方法可繼續進行至步驟414。若過多資料未受限於百分位數中的任一者，亦即比小於95%，則方法400可繼續進行至步驟420以使用未受限制資料且可能不實行限制。
當處理器302在步驟412處判定過多資料已受百分位數(99.99、99.9或99)中的一者限制時，方法400繼續進行至步驟414。在步驟414處，計算出初始資料的p值及受限制資料的p值。可針對99.99、99.9或99百分位數中的一或多者計算出受限制資料的p值。
在一些實施例中，自統計測試獲得的p值可用於決定自 實驗觀測到的差異是否可能由不同測試群或樣本雜訊引起。度量的p值計算可以是基於觀測到的差異的大小及方差。對於具有長尾分佈的度量(亦即，具有可能的極值的度量)，觀測到的差異的大小及方差兩者可能易受尾部影響。彼等極值對測試統計的影響可顯示，具有更多極值的度量可具有高方差且因此具有低測試靈敏度。可能更難以達到統計顯著性且更易於具有誤判為負錯誤，其中誤判為負錯誤是指可能未偵測到測試群之間的真實差異的情況。極值可在不同選項中不均勻地分佈且極大地影響平均數。此可能導致誤判為正，亦即，不同測試群中的變化可為所收集的樣本而非實際資料的結果。處理器302可使用歷史測試資料來模擬測試以評估多個參數且設定可接受的誤判為正率。假設測試可產生p值，所述p值為誤判為正可能已發生的概率。在一些實施例中，可將p值(例如，0.05)用作臨限值。使用0.05作為p值臨限值，處理器302可判定可接受的誤判為正率可為5%。
在一些實施例中，藉由觸發限制，可判定自不顯著至顯著或自顯著至不顯著的統計顯著性結論(方向)改變。每一百分位數的未受限制資料的p值可預計算為0.05，亦即用於獲得最佳結果的最佳值。在步驟414處，可針對每一度量及每一百分位數的受限制資料計算出p值。在一些實施例中，若百分位數中的任一者的未受限制資料及受限制資料的p值之間不存在顯著差異，亦即不存在顯著方向改變，則方法400可繼續進行至步驟420以使用未受限制資料且可能不實行限制。相反，若受限制資料及未受限制資料的p值之間存在顯著差異，則可實行第99.99限制百分位數。方法400可繼續進行至步驟418且可將結果儲存於資料庫306中 的表中。另外，在步驟418處，亦可計算出第99.9百分位數及第99百分位數的結果且儲存於資料庫306中的不同表中。
圖5為與所揭露實施例一致的判定用於實行限制的條件的例示性方法的流程圖。在一些實施例中，例示性方法500描述由處理器302在圖4的步驟406中進行以判定是否可觸發限制的方法。處理器302使用COV及COV_lift值來判定觸發事件是否發生，亦即是否應觸發限制。如上文所解釋，可針對所有測試群的度量中的每一者計算出COV及COV_lift值。圖5的流程圖繪示可產生限制的三個條件。步驟502、步驟504以及步驟506描述必須滿足以實行限制的條件。僅當滿足步驟502時，過程才將移動至檢查是否滿足步驟504或步驟506。為了實行限制，需要滿足「步驟502(i)」及「步驟504(ii)或步驟506(iii)」。若i &(ii | iii)為真，則存在有效尾部效應的高機率且應觸發限制。在步驟502處，處理器302判定測試群中的每一者的樣本大小是否大於預定臨限值。預定臨限值可基於進行的測試的類型及所需結果來改變。舉例而言，在此實施例中，樣本大小可預定為1000。若對於度量中的一者樣本大小小於1000，則不針對所述度量實行限制(步驟510)。舉例而言，若度量「由客戶花費的平均量」的樣本大小僅由50個客戶組成，且其他度量的樣本大小大於1000，則針對「由客戶花費的平均量」度量進行所有限制計算可能不為高效的。然而，處理器302可針對具有大於1000的樣本大小的其他度量繼續檢查第二條件及第三條件。
在步驟504處，處理器302檢查所有選項中的第二條件，亦即max(COV)是否大於上限最大COV。絕對最大點為其中功能 獲得其最大可能值的點。處理器302經組態以計算max(COV)，如上文所論述。另外，處理器302亦可經組態以獲得指示長尾分佈的起點的COV臨限值。處理器302可計算測試群A及測試群B中的每一者的每度量COV的最大值，亦即max(COV)。處理器302可判定測試群A及測試群B中的每一者的每度量max(COV)是高於抑或低於抑或等於第一預定臨限值(上限最大COV)。在一些實施例中，第一預定臨限值為3。亦即，處理器302可判定max(COV)是否>=上限最大COV(例如，3)。若處理器302判定度量(例如，由客戶花費的貨幣量的度量)的max(COV)大於或等於群A或群B中的任一者的第一預定臨限值(例如，3)，則滿足步驟502。在一些實施例中，在步驟502處，處理器302可判定測試群A及測試群B中的每一者的每度量的max(COV)低於第一預定臨限值或上限最大COV。若判定測試群A及測試群B中的每一者的每度量max(COV)低於第一預定臨限值，則過程移動至步驟506。
在步驟506處，處理器302檢查第三條件。處理器302可判定max(COV)是否大於第二預定臨限值或下限最大COV。舉例而言，在一些實施例中，下限最大COV可預定為2。亦即，處理器302可判定是否下限最大COV(例如，2)<=max(COV)<上限最大COV(例如，3)。處理器302可進一步判定每度量COV_lift的最大值，亦即，測試群A及測試群B中的每一者的max(COV_lift)。
處理器302可判定測試群A及測試群B中的每一者的每度量max(COV_lift)是否大於或等於第三預定臨限值或COV_lift_percent。舉例而言，在一些實施例中，COV_lift_percent 可預定為0.036。若處理器302判定測試群(測試群A或測試群B)中的一者的每度量max(COV)小於上限最大COV(例如，3)但大於或等於下限最大COV(例如，2)，且測試群A及測試群B兩者的每度量max(COV_lift)大於或等於第三預定臨限值或COV_lift_percent(例如，0.036)，則可針對所述度量觸發限制。在步驟506處，若處理器302判定滿足第三條件，則過程500繼續進行至步驟508以根據上文參考圖4所論述的方法針對每一度量及測試群實行限制。若處理器302判定滿足第二條件或第三條件中的一者以及第一條件，則根據上文參考圖4所論述的方法來實行限制。若處理器302判定滿足第一條件但不滿足第二條件及第三條件，則不實行限制。
儘管已參考本揭露內容的特定實施例繪示及描述本揭露內容，但應理解，可在不修改的情況下在其他環境中實踐本揭露內容。已出於示出的目的呈現前述描述。前述描述並不詳盡且不限於所揭露的精確形式或實施例。修改及調適對所屬技術領域中具有通常知識者將自本說明書的考量及所揭露實施例的實踐顯而易見。另外，儘管將所揭露實施例的態樣描述為儲存於記憶體中，但所屬技術領域中具有通常知識者應瞭解，此等態樣亦可儲存於其他類型的電腦可讀媒體上，諸如次級儲存裝置，例如硬碟或CD ROM，或其他形式的RAM或ROM、USB媒體、DVD、藍光，或其他光碟機媒體。
基於書面描述及所揭露方法的電腦程式在有經驗開發者的技能內。各種程式或程式模組可使用所屬技術領域中具有通常知識者已知的技術中的任一者來創建或可結合現有軟體來設計。 舉例而言，程式區段或程式模組可以或藉助於.Net框架(.Net Framework)、.Net緊密框架(.Net Compact Framework)(及相關語言，諸如視覺培基(Visual Basic)、C等)、爪哇(Java)、C++、目標-C(Objective-C)、HTML、HTML/AJAX組合、XML或包含爪哇小程式的HTML來設計。
此外，儘管本文中已描述示出性實施例，但所屬技術領域中具有通常知識者將基於本揭露內容瞭解具有等效元件、修改、省略、(例如，各種實施例中的態樣的)組合、調適及/或更改的任何及所有實施例的範圍。申請專利範圍中的限制應基於申請專利範圍中所採用的語言來廣泛地解釋，且不限於本說明書中所描述或在本申請案的審查期間的實例。實例應視為非排他性的。另外，所揭露方法的步驟可以包含藉由對步驟重新排序及/或插入或刪除步驟的任何方式修改。因此，希望僅將本說明書及實例視為示出性的，其中藉由以下申請專利範圍及其等效物的完整範圍指示真實範圍及精神。
100、300:系統
302:處理器
304:電子商務服務提供商裝置
306:資料庫
308:通信網路
310(1)~310(n):客戶裝置

Claims (18)

  1. 一種在測試期間限制偏離值的電腦實行系統，所述系統包括：記憶體，儲存指令；以及至少一或多個處理器，經組態以執行所述指令以進行包括下述者的步驟：判定包括多個使用者的至少兩個使用者群組；收集與所述多個使用者中的每一者相關的度量資料，所述度量資料包括使用所述至少一或多個處理器來追蹤所述多個使用者中的每一者的當前交互以進行實驗；計算與所述至少兩個使用者群組中的每一群組的所述度量的相對變異性相關聯的第一值及與所述至少兩個使用者群組之間的協方差的差相關聯的第二值；使用所述度量資料、所述第一值以及所述第二值來識別觸發事件的發生；將所述度量資料分配至受限制資料及未受限制資料中且判定所述受限制資料的多個臨限值；計算所述受限制資料及所述未受限制資料的第三值；基於所述第三值來判定所述受限制資料的所述多個臨限值是否發生改變；以及在所述觸發事件的發生後實行至少一個限制百分位數值。
  2. 如請求項1所述的系統，其中包括所述多個使用者的所述至少兩個使用者群組中的群組是基於測試實驗來判定的，所述度量資料是自所述測試實驗獲得的。
  3. 如請求項1所述的系統，其中所述至少一或多個處理器經進一步組態以進行包括下述者的步驟：判定獲得所述度量資料的所述至少兩個使用者群組中的每一者中的使用者的樣本大小；以及判定所述至少兩個使用者群組中的使用者的所述樣本大小大於預定臨限值。
  4. 如請求項1所述的系統，其中所述至少一或多個處理器經進一步組態以進行包括下述者的步驟：使用所述第一值來判定是否滿足第一條件；使用所述第一值及所述第二值來判定是否滿足第二條件；以及基於樣本大小及所述第一條件或所述第二條件來判定所述觸發事件已發生。
  5. 如請求項1所述的系統，其中基於三個不同限制百分位數中的至少一者來選擇所述限制百分位數值。
  6. 如請求項1所述的系統，其中所述度量資料包括自電子商務網站收集的所述多個使用者中的每一者在測試時段期間的網頁視圖以及支出中的一或多者。
  7. 如請求項1所述的系統，其中所述至少一或多個處理器經進一步組態以在限制之前計算所述度量資料中的一或多者的第四值。
  8. 如請求項1所述的系統，其中所述至少一或多個處理器經進一步組態以當所述受限制資料及所述未受限制資料的所述第三值在預定範圍內時使用所述未受限制資料。
  9. 如請求項1所述的系統，其中自所述多個使用者中的每一使用者在各別使用者裝置上的交互獲得所述度量資料。
  10. 一種在測試期間限制偏離值的電腦實行方法，所述方法包括：判定包括多個使用者的至少兩個使用者群組；收集與所述多個使用者中的每一者相關的度量資料，所述度量資料包括使用所述至少一或多個處理器來追蹤所述多個使用者中的每一者的當前交互以進行實驗；計算與所述至少兩個使用者群組中的每一群組的所述度量的相對變異性相關聯的第一值及與所述至少兩個使用者群組之間的協方差的差相關聯的第二值；使用所述度量資料、所述第一值以及所述第二值來識別觸發事件的發生；將所述度量資料分配至受限制資料及未受限制資料中且判定所述受限制資料的多個臨限值；計算所述受限制資料及所述未受限制資料的第三值；基於所述第三值來判定所述受限制資料的所述多個臨限值是否發生改變；以及在所述觸發事件的發生後實行至少一個限制百分位數值。
  11. 如請求項10所述的方法，其中包括所述多個使用者的所述至少兩個使用者群組中的群組是基於測試實驗來判定的，所述度量資料是自所述測試實驗獲得的。
  12. 如請求項10所述的方法，所述方法更包括：判定獲得所述度量資料的所述至少兩個使用者群組中的每一 者中的使用者的樣本大小；判定所述至少兩個使用者群組中的使用者的所述樣本大小大於預定臨限值。
  13. 如請求項10所述的方法，所述方法更包括：使用所述第一值來判定是否滿足第一條件；使用所述第一值及所述第二值來判定是否滿足第二條件；基於樣本大小及所述第一條件或所述第二條件來判定所述觸發事件已發生。
  14. 如請求項10所述的方法，其中基於三個不同限制百分位數中的至少一者來選擇所述限制百分位數值。
  15. 如請求項10所述的方法，其中所述度量資料包括自電子商務網站收集的所述多個使用者中的每一者在測試時段期間的網頁視圖以及支出中的一或多者。
  16. 如請求項10所述的方法，更包括在限制之前計算所述度量資料中的一或多者的第四值。
  17. 如請求項10所述的方法，更包括當所述受限制資料及所述未受限制資料的所述第三值在預定範圍內時使用所述未受限制資料。
  18. 一種在測試期間限制偏離值的電腦實行系統，所述系統包括：記憶體，儲存指令；以及至少一或多個處理器，經組態以執行所述指令以進行包括下述者的步驟：判定至少兩個使用者群組，每一使用者群組包括多個使用者 的；收集與所述多個使用者中的每一者相關的度量資料，所述度量資料包括使用所述至少一或多個處理器來追蹤所述多個使用者中的每一者的當前交互以進行實驗，其中所述度量資料包括自電子商務網站收集的所述多個使用者中的每一者在測試時段期間的網頁視圖以及支出中的一或多者；計算與所述至少兩個使用者群組中的每一群組的所述度量的相對變異性相關聯的第一值及與所述至少兩個使用者群組之間的協方差的差相關聯的第二值；判定獲得所述度量資料的所述至少兩個使用者群組中的每一者中的使用者的樣本大小；判定所述至少兩個使用者群組中的使用者的所述樣本大小大於預定臨限值；使用所述第一值來判定是否滿足第一條件；使用所述第一值及所述第二值來判定是否滿足第二條件；以及基於所述樣本大小及所述第一條件或所述第二條件來實行至少一個限制百分位數值。
TW110100196A 2020-08-26 2021-01-05 在測試期間限制偏離值的電腦實行系統以及方法 TWI869525B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/003,218 2020-08-26
US17/003,218 US20220067122A1 (en) 2020-08-26 2020-08-26 System and method for capping outliers during an experiment test

Publications (2)

Publication Number Publication Date
TW202209113A TW202209113A (zh) 2022-03-01
TWI869525B true TWI869525B (zh) 2025-01-11

Family

ID=80352762

Family Applications (2)

Application Number Title Priority Date Filing Date
TW113147988A TWI901472B (zh) 2020-08-26 2021-01-05 在測試期間限制偏離值的電腦實行系統以及方法
TW110100196A TWI869525B (zh) 2020-08-26 2021-01-05 在測試期間限制偏離值的電腦實行系統以及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW113147988A TWI901472B (zh) 2020-08-26 2021-01-05 在測試期間限制偏離值的電腦實行系統以及方法

Country Status (4)

Country Link
US (1) US20220067122A1 (zh)
KR (1) KR102488638B1 (zh)
TW (2) TWI901472B (zh)
WO (1) WO2022043767A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230075026A1 (en) * 2021-08-19 2023-03-09 Ebay Inc. Online Experiment Randomization Evaluation
KR102649770B1 (ko) * 2023-01-10 2024-03-21 쿠팡 주식회사 정보를 제공하는 방법 및 이를 지원하는 전자 장치
US20240241812A1 (en) * 2023-01-16 2024-07-18 Convertcart Solutions Private Limited System and method for computing results in multiple overlapping a/b testing experiments

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130282510A1 (en) * 2012-04-18 2013-10-24 Google Inc. Splitting of User-Lists
US8732528B1 (en) * 2012-01-06 2014-05-20 Amazon Technologies, Inc. Measuring test effects using adjusted outlier data
US20150278160A1 (en) * 2011-08-19 2015-10-01 Hartford Steam Boiler Inspection & Insurance Company Dynamic outlier bias reduction system and method
US20160364745A1 (en) * 2015-06-09 2016-12-15 Yahoo! Inc. Outlier data detection
CN108369612A (zh) * 2015-11-04 2018-08-03 梅塔博隆股份有限公司 自动化样品质量评估
US20190250971A1 (en) * 2015-10-08 2019-08-15 Lightbend, Inc. Tuning context-aware rule engine for anomaly detection
TW201945996A (zh) * 2018-03-14 2019-12-01 美商史科爾得推論股份有限公司 將資料分析系統轉換為對可配置目標度量優化的跨平台即時決策系統的方法
US10541890B1 (en) * 2016-12-21 2020-01-21 Amazon Technologies, Inc. Windowed approach to analytics processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9492114B2 (en) * 2004-06-18 2016-11-15 Banner Health Systems, Inc. Accelerated evaluation of treatments to prevent clinical onset of alzheimer's disease
US8015239B2 (en) * 2004-10-19 2011-09-06 Ebay Inc. Method and system to reduce false positives within an automated software-testing environment
US20100293486A1 (en) * 2007-02-22 2010-11-18 Mark Baartse Website Optimisation System
US20130085769A1 (en) * 2010-03-31 2013-04-04 Risk Management Solutions Llc Characterizing healthcare provider, claim, beneficiary and healthcare merchant normal behavior using non-parametric statistical outlier detection scoring techniques
US20170017760A1 (en) * 2010-03-31 2017-01-19 Fortel Analytics LLC Healthcare claims fraud, waste and abuse detection system using non-parametric statistics and probability based scores
US10373194B2 (en) * 2013-02-20 2019-08-06 Datalogix Holdings, Inc. System and method for measuring advertising effectiveness
US20140289241A1 (en) * 2013-03-15 2014-09-25 Spotify Ab Systems and methods for generating a media value metric
US20160253672A1 (en) * 2014-12-23 2016-09-01 Palantir Technologies, Inc. System and methods for detecting fraudulent transactions
US10394796B1 (en) * 2015-05-28 2019-08-27 BloomReach Inc. Control selection and analysis of search engine optimization activities for web sites
US10257211B2 (en) * 2016-05-20 2019-04-09 Informatica Llc Method, apparatus, and computer-readable medium for detecting anomalous user behavior
CA3085092A1 (en) * 2019-06-27 2020-12-27 Royal Bank Of Canada System and method for detecting data drift

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278160A1 (en) * 2011-08-19 2015-10-01 Hartford Steam Boiler Inspection & Insurance Company Dynamic outlier bias reduction system and method
US8732528B1 (en) * 2012-01-06 2014-05-20 Amazon Technologies, Inc. Measuring test effects using adjusted outlier data
US20130282510A1 (en) * 2012-04-18 2013-10-24 Google Inc. Splitting of User-Lists
US20160364745A1 (en) * 2015-06-09 2016-12-15 Yahoo! Inc. Outlier data detection
US20190250971A1 (en) * 2015-10-08 2019-08-15 Lightbend, Inc. Tuning context-aware rule engine for anomaly detection
CN108369612A (zh) * 2015-11-04 2018-08-03 梅塔博隆股份有限公司 自动化样品质量评估
US10541890B1 (en) * 2016-12-21 2020-01-21 Amazon Technologies, Inc. Windowed approach to analytics processing
TW201945996A (zh) * 2018-03-14 2019-12-01 美商史科爾得推論股份有限公司 將資料分析系統轉換為對可配置目標度量優化的跨平台即時決策系統的方法

Also Published As

Publication number Publication date
KR20220030326A (ko) 2022-03-10
US20220067122A1 (en) 2022-03-03
KR102488638B1 (ko) 2023-01-17
TWI901472B (zh) 2025-10-11
WO2022043767A1 (en) 2022-03-03
TW202209113A (zh) 2022-03-01
TW202514362A (zh) 2025-04-01

Similar Documents

Publication Publication Date Title
TWI731618B (zh) 電腦實施系統及電腦實施方法
KR102620766B1 (ko) 제품 추천을 생성하기 위해 인공 지능을 사용하는 컴퓨터 시스템 및 방법
TWI857275B (zh) 用於出站預測之電腦實施方法及其電腦實施系統
TWI820660B (zh) 電腦實行的系統以及方法
TWI869525B (zh) 在測試期間限制偏離值的電腦實行系統以及方法
KR20230134454A (ko) 데이터의 동적 집계와 데이터 손실의 최소화를 위한 시스템 및 방법
TWI766531B (zh) 電腦實行系統以及方法
TWI839610B (zh) 偵測與避免退貨詐欺之系統以及方法
TWI760982B (zh) 透過進行小波轉換產生需求預測數據用於產生準確訂購單之電腦實行系統以及方法
TWI865330B (zh) 電子式判定實時登記的電腦實行系統以及方法
KR20230139285A (ko) 결정론적 또는 추론적 접근에 기초한 최고의 대안 제품을 식별하는 시스템 및 방법
TWI760043B (zh) 詐欺偵測與使用者帳號去除重複之電腦化系統以及方法
TWI834101B (zh) 用於低潛時聚合資料供應的電腦實施的系統與用於區域需求估計的電腦實施的系統以及方法
TWI852033B (zh) 用於在實驗測試期間判定最佳停止點的電腦實行系統以及方法
TWI906585B (zh) 基於確定性方案或推測性方案辨別頂級替代產品之系統以及方法