TWI861586B

TWI861586B - 用於控制測試的電腦實行系統以及電腦化方法

Info

Publication number: TWI861586B
Application number: TW111141472A
Authority: TW
Inventors: 恩戈蘭伊莎貝爾潘; 葉俊; 貝貝葉; 澈徐
Original assignee: 南韓商韓領有限公司
Priority date: 2020-08-28
Filing date: 2021-01-04
Publication date: 2024-11-11
Also published as: US11797423B2; TW202209117A; KR102359352B1; US20220066913A1; TW202311952A; KR20220029601A; KR20250007453A; KR102743784B1; US11232018B1; WO2022043761A1; TWI785452B

Abstract

本發明提供一種用於控制測試的電腦化方法，包括：為事件資料提供設計規格，設計規格包含事件資料源、事件資料過濾器以及事件格式中的至少一者；檢索測試度量；藉由以下操作基於設計規格來組態測試事件：自設計規格中規定的事件資料源檢索測試事件，基於設計規格而過濾檢索的測試事件，以及基於設計規格而格式化過濾的測試事件；藉由將測試度量應用於經組態的事件資料來產生分析資料；基於測試規則而產生輸出資料；以及產生使用者介面以顯示輸出資料。

Description

用於控制測試的電腦實行系統以及電腦化方法

本揭露大體上是關於用於實驗平台引擎的電腦化系統及方法。特定言之，本揭露的實施例是關於用於解釋A/B測試的結果需要的度量的配置及計算的發明性及非習知系統。

亦被稱作「隨機控制實驗」的A/B測試是一種改良過程的方法，通常與電腦系統的使用者體驗相關。自此方法獲得的結果資料可用於改良電腦系統的各個技術態樣以允許更快的操作、更容易的使用、降低的錯誤率、最佳化的使用者介面以及對電腦系統的使用者滿意度的其他增強。

A/B測試的一個態樣為處理資料以獲得有用的結果。用於給定系統或在若干系統當中，可為每一操作或子系統設計大量A/B測試。每一測試可轉而產生不同類型的資料，所述資料在某些狀況下可能需要不同的處理。實驗平台引擎可用於處理及分析此等資料以獲得有用的結果。

現有實驗平台引擎可能在可組態度、處理速度以及產出量上受到限制，由此降低整體能力及效用。在某些情況下，一個A/B測試可與另一A/B測試顯著地不同，由此一個實驗平台引擎可能不適合在不廣泛客製化的情況下分析兩個A/B測試的資料。即使對於相關的A/B測試，微小的變化亦可能需要對實驗平台引擎進行修改，從而可能引起整個系統操作的延遲。延遲可降低實驗平台引擎的產出量，使得正在進行及處理的測試及資料的整體數目小於最佳。

因此，需要改良的方法及系統來實行實驗平台引擎。

本揭露的一個態樣是針對一種用於控制測試的電腦化方法，包括：為事件資料提供設計規格，設計規格包含事件資料源、事件資料過濾器以及事件格式中的至少一者；檢索測試度量；藉由以下操作基於設計規格來組態測試事件：自設計規格中規定的事件資料源檢索測試事件，基於設計規格而過濾檢索的測試事件，以及基於設計規格而格式化過濾的測試事件；藉由將測試度量應用於經組態的事件資料來產生分析資料；基於測試規則而產生輸出資料；以及產生使用者介面以顯示輸出資料。

本揭露的另一態樣是針對一種用於控制測試的方法，包括：使用者介面，記憶體，儲存指令；以及至少一個處理器，經組態以執行指令以進行操作，所述操作包括：經由使用者介面為事件資料提供設計規格，設計規格包含事件資料源、事件資料過濾器以及事件格式中的至少一者；檢索測試度量；藉由以下操作基於設計規格來組態測試事件：自設計規格中規定的事件資料源檢索測試事件，基於設計規格而過濾檢索的測試事件，以及基於設計規格而格式化過濾測試事件；藉由將測試度量應用於經組態的事件資料來產生分析資料；基於測試規則而產生輸出資料；以及在使用者介面上顯示輸出資料。

本揭露的又一態樣是針對一種用於控制測試的系統平台，包括：使用者介面顯示器；一或多個資料庫；一或多個記憶體，儲存電腦可讀指令；以及至少一個處理器經組態以執行儲存指令以進行以下的步驟：以標準化設計文件的形式提供設計規格，所述標準化設計文件規定：事件資料源、事件資料過濾器以及事件格式中的至少一者，一或多個測試度量源以及一或多個測試規則源；自儲存於一或多個資料庫中的指定測試源檢索測試度量；藉由以下基於設計規格來組態測試事件：自儲存於一或多個資料庫中的事件資料源檢索測試事件，基於測試週期、測試區或事件資料類型中的至少一者來過濾檢索測試事件，以及基於設計規格基於一或多個事件資料格式規則而格式化過濾測試事件；藉由將測試度量應用於經組態的事件資料來產生分析資料；基於測試規則而產生輸出資料；以及產生使用者介面以顯示輸出資料。

本文亦論述其他系統、方法以及電腦可讀媒體。

100:系統

101:運送授權技術系統

102A、107A、107B、107C、119A、119B、119C:行動裝置

102B:電腦

103:外部前端系統

105:內部前端系統

107:運輸系統

109:賣方入口網站

111:運送及訂單追蹤系統

113:履行最佳化系統

115:履行通信報閘道

117:供應鏈管理系統

119:倉庫管理系統

121A、121B、121C:第3方履行系統

123:履行中心授權系統

125:勞動管理系統

200:履行中心

201、222:卡車

202A、202B、208:物件

203:入站區

205:緩衝區

206:叉車

207:卸貨區

209:揀貨區

210:儲存單元

211:包裝區

213:樞紐區

214:運輸機構

215:營地區

216:牆

218、220:包裹

224A、224B:遞送工作者

226:汽車

300:測試

302:使用者

304-a、304-b:組

306-a:變體A

306-b:變體B

400:實驗平台引擎

402-a、402-b、402-c:事件源

404-a、404-b、404-c:度量源

406:設計規格

408:事件組態

410:度量組態

412:事件產生器

414:度量產生器

416:分析引擎

418:輸出產生器

420:輸出

500:過程

502、504、506、508、510、512、214、516:步驟

600:顯示器

601、603、605、607、608:介面

602、604、606:值

圖1A為與所揭露實施例一致的示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的網路的例示性實施例的示意性方塊圖。

圖1B描繪與所揭露實施例一致的包含滿足搜尋請求的一或多個搜尋結果以及交互式使用者介面元素的樣本搜尋結果頁 (Search Result Page；SRP)。

圖1C描繪與所揭露實施例一致的包含產品及關於所述產品的資訊以及交互式使用者介面元素的樣本單一顯示頁(Single Display Page；SDP)。

圖1D描繪與所揭露實施例一致的包含虛擬購物車中的物件以及交互式使用者介面元素的樣本購物車頁。

圖1E描繪與所揭露實施例一致的包含來自虛擬購物車的物件以及關於購買及運送的資訊以及交互式使用者介面元素的樣本訂單頁。

圖2為與所揭露實施例一致的經組態以利用所揭露電腦化系統的例示性履行中心的圖解圖示。

圖3描繪與所揭露實施例一致的例示性A/B測試的示意圖。

圖4描繪與所揭露實施例一致的例示性實驗平台引擎的示意圖。

圖5描繪與所揭露實施例一致的實驗平台引擎的例示性過程的流程圖。

圖6描繪與所揭露實施例一致的例示性使用者介面。

以下詳細描述參考隨附圖式。只要可能，即在圖式及以下描述中使用相同附圖標號來指代相同或類似部分。儘管本文中描述若干示出性實施例，但修改、調適以及其他實施方案是可能的。舉例而言，可對圖式中所示出的組件及步驟進行替代、添加或修改，且可藉由替代、重新排序、移除步驟或將步驟添加至所揭露的方法來修改本文中所描述的示出性方法。因此，以下詳細描述不限於所揭露實施例及實例。實情為，本發明的正確範疇由隨附申請專利範圍界定。

本揭露的實施例是針對經組態用於分析控制測試的結果資料的系統及方法。

參考圖1A，示出包括用於實現運送、運輸以及物流操作的通信的電腦化系統的系統的例示性實施例的示意性方塊圖100。如圖1A中所示出，系統100可包含各種系統，所述系統中的每一者可經由一或多個網路彼此連接。系統亦可經由直接連接(例如，使用電纜)彼此連接。所描繪系統包含：運送授權技術(shipment authority technology；SAT)系統101、外部前端系統103、內部前端系統105、運輸系統107、行動裝置107A、行動裝置107B以及行動裝置107C、賣方入口網站109、運送及訂單追蹤(shipment and order tracking；SOT)系統111、履行最佳化(fulfillment optimization；FO)系統113、履行通信報閘道(fulfillment messaging gateway；FMG)115、供應鏈管理(supply chain management；SCM)系統117、倉庫管理系統119、行動裝置119A、行動裝置119B以及行動裝置119C(描繪為位於履行中心(fulfillment center；FC)200的內部)、第3方履行系統121A、第3方履行系統121B以及第3方履行系統121C、履行中心授權系統(fulfillment center authorization；FC Auth)123以及勞動管理系統(labor management system；LMS)125。

在一些實施例中，SAT系統101可實行為監視訂單狀態及遞送狀態的電腦系統。舉例而言，SAT系統101可判定訂單是否超過其承諾遞送日期(Promised Delivery Date；PDD)且可採取適當的動作，包含發起新訂單、對未遞送訂單中的物件進行重新運送、取消未遞送訂單、發起與訂購客戶的連絡或類似者。SAT系統101亦可監視其他資料，包含輸出(諸如在特定時間段期間運送的包裹的數目)及輸入(諸如接收到的用於運送的空紙板盒的數目)。SAT系統101亦可充當系統100中的不同裝置之間的閘道，從而(例如，使用儲存及轉發或其他技術)實現諸如外部前端系統103及FO系統113的裝置之間的通信。

在一些實施例中，外部前端系統103可實行為使得外部使用者能夠與系統100中的一或多個系統交互作用的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，外部前端系統103可實行為接收搜尋請求、呈現物件頁以及索求支付資訊的網頁伺服器。舉例而言，外部前端系統103可實行為電腦或電腦運行軟體，諸如阿帕奇(Apache)HTTP伺服器、微軟網際網路資訊服務(Internet Information Service；IIS)、NGINX或類似者。在其他實施例中，外部前端系統103可運行經設計以接收及處理來自外部裝置(例如，行動裝置102A或電腦102B)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊將回應提供至接收到的請求的定製網頁伺服器軟體。

在一些實施例中，外部前端系統103可包含網頁快取系統、資料庫、搜尋系統或支付系統中的一或多者。在一個態樣中，外部前端系統103可包括此等系統中的一或多者，而在另一態樣中，外部前端系統103可包括連接至此等系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫，或其他網路連接)。

藉由圖1B、圖1C、圖1D以及圖1E所示出的例示性步驟集合將有助於描述外部前端系統103的一些操作。外部前端系統103可自系統100中的系統或裝置接收資訊以用於呈現及/或顯示。舉例而言，外部前端系統103可代管或提供一或多個網頁，包含搜尋結果頁(SRP)(例如，圖1B)、單一詳情頁(Single Detail Page；SDP)(例如，圖1C)、購物車頁(例如，圖1D)或訂單頁(例如，圖1E)。(例如，使用行動裝置102A或電腦102B的)使用者裝置可導航至外部前端系統103且藉由將資訊輸入至搜尋方塊中來請求搜尋。外部前端系統103可向系統100中的一或多個系統請求資訊。舉例而言，外部前端系統103可向FO系統113請求滿足搜尋請求的資訊。外部前端系統103亦可(自FO系統113)請求及接收包含於搜尋結果中的每一產品的承諾遞送日期或「PDD」。在一些實施例中，PDD可表示在特定時間段內(例如，在一天結束(下午11：59)前)訂購的情況下對含有產品的包裹將何時抵達使用者的所要位置或承諾將產品遞送至使用者的所要位置處的日期的估計。(PDD在下文相對於FO系統113進一步論述。)

外部前端系統103可基於資訊來準備SRP(例如，圖1B)。SRP可包含滿足搜尋請求的資訊。舉例而言，此可包含滿足搜尋請求的產品的圖像。SRP亦可包含每一產品的各別價格，或與每一產品的增強遞送選項、PDD、重量、大小、報價、折扣或類似者相關的資訊。外部前端系統103可(例如，經由網路)將SRP發送至請求使用者裝置。

使用者裝置可接著例如藉由點選或輕觸使用者介面或使用另一輸入裝置自SRP選擇產品，以選擇表示於SRP上的產品。使用者裝置可製訂對關於所選產品的資訊的請求且將其發送至外部前端系統103。作為回應，外部前端系統103可請求與所選產品相關的資訊。舉例而言，資訊可包含除針對各別SRP上的產品呈現的資訊以外的額外資訊。此可包含例如存放期、原產國、重量、大小、包裹中的物件的數目、處置說明或關於產品的其他資訊。資訊亦可包含類似產品的推薦(基於例如巨量資料及/或對購買此產品及至少一個其他產品的客戶的機器學習分析)、頻繁詢問的問題的答案、來自客戶的評論、製造商資訊、圖像或類似者。

外部前端系統103可基於接收到的產品資訊來準備SDP(單一詳情頁)(例如，圖1C)。SDP亦可包含其他交互式元素，諸如「現在購買」按鈕、「添加至購物車」按鈕、數量欄、物件的圖像或類似者。SDP可更包含提供產品的賣方的列表。可基於每一賣方提供的價格來對列表進行排序，使得可在頂部處列出提供以最低價格出售產品的賣方。亦可基於賣方排名來對列表進行排序，使得可在頂部處列出排名最高的賣方。可基於多個因素來製訂賣方排名，所述因素包含例如賣方的符合承諾PDD的過去的追蹤記錄。外部前端系統103可(例如，經由網路)將SDP遞送至請求使用者裝置。

請求使用者裝置可接收列出產品資訊的SDP。在接收到SDP後，使用者裝置可接著與SDP交互作用。舉例而言，請求使用者裝置的使用者可點選或以其他方式與SDP上的「放在購物車中」按鈕交互作用。此將產品添加至與使用者相關的購物推車。使用者裝置可將把產品添加至購物車的此請求傳輸至外部前端系統103。

外部前端系統103可產生購物車頁(例如，圖1D)。在一些實施例中，購物車頁列出使用者已添加至虛擬「購物車」的產品。使用者裝置可藉由在SRP、SDP或其他頁上的圖標上點選或以其他方式與所述圖標交互作用來請求購物車頁。在一些實施例中，購物車頁可列出使用者已添加至購物車的所有產品，以及關於購物車中的產品的資訊(諸如每一產品的數量、每一產品每物件的價格、每一產品基於相關聯數量的價格)、關於PDD的資訊、遞送方法、運送成本、用於修改購物車中的產品(例如，刪除或修改數量)的使用者介面元素、用於訂購其他產品或設置產品的定期遞送的選項、用於設置利息支付的選項、用於前進至購買的使用者介面元素或類似者。使用者裝置處的使用者可在使用者介面元素(例如，寫著「現在購買」的按鈕)上點選或以其他方式與所述使用者介面元素交互作用，以發起對購物車中的產品的購買。在如此做後，使用者裝置可將發起購買的此請求傳輸至外部前端系統103。

外部前端系統103可回應於接收到發起購買的請求而產生訂單頁(例如，圖1E)。在一些實施例中，訂單頁重新列出來自購物車的物件且請求支付及運送資訊的輸入。舉例而言，訂單頁可包含請求關於購物車中的物件的購買者的資訊(例如，姓名、地址、電子郵件地址、電話號碼)、關於接收者的資訊(例如，姓名、地址、電話號碼、遞送資訊)、運送資訊(例如，遞送及/或揀貨的速度/方法)、支付資訊(例如，信用卡、銀行轉賬、支票、儲存的積分)、請求現金收據(例如，出於稅務目的)的使用者介面元素或類似者。外部前端系統103可將訂單頁面發送至使用者裝置。

使用者裝置可輸入關於訂單頁的資訊，且點選或以其他方式與將資訊發送至外部前端系統103的使用者介面元素交互作用。自此處，外部前端系統103可將資訊發送至系統100中的不同系統，以使得能夠創建及處理具有購物車中的產品的新訂單。

在一些實施例中，外部前端系統103可進一步經組態以使得賣方能夠傳輸及接收與訂單相關的資訊。

在一些實施例中，內部前端系統105可實行為使得內部使用者(例如，擁有、操作或租用系統100的組織的雇員)能夠與系統100中的一或多個系統交互作用的電腦系統。舉例而言，在系統100使得系統的呈現能夠允許使用者針對物件下訂單的實施例中，內部前端系統105可實行為使得內部使用者能夠查看關於訂單的診斷及統計資訊、修改物件資訊或審查與訂單相關的統計的網頁伺服器。舉例而言，內部前端系統105可實行為電腦或電腦運行軟體，諸如阿帕奇HTTP伺服器、微軟網際網路資訊服務(IIS)、NGINX或類似者。在其他實施例中，內部前端系統105可運行經設計以接收及處理來自系統100中所描繪的系統或裝置(以及未描繪的其他裝置)的請求、基於彼等請求自資料庫及其他資料儲存庫獲取資訊，以及基於所獲取的資訊來將回應提供至接收到的請求的定製網頁伺服器軟體。

在一些實施例中，內部前端系統105可包含網頁快取系統、資料庫、搜尋系統、支付系統、分析系統、訂單監視系統或類似者中的一或多者。在一個態樣中，內部前端系統105可包括此等系統中的一或多者，而在另一態樣中，內部前端系統105可包括連接至此等系統中的一或多者的介面(例如，伺服器至伺服器、資料庫至資料庫或其他網路連接)。

在一些實施例中，運輸系統107可實行為實現系統100中的系統或裝置與行動裝置107A至行動裝置107C之間的通信的電腦系統。在一些實施例中，運輸系統107可自一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA或類似者)接收資訊。舉例而言，在一些實施例中，行動裝置107A至行動裝置107C可包括由遞送工作者操作的裝置。遞送工作者(其可為永久雇員、臨時雇員或輪班雇員)可利用行動裝置107A至行動裝置107C來實現對含有由使用者訂購的產品的包裹的遞送。舉例而言，為遞送包裹，遞送工作者可在行動裝置上接收指示遞送哪個包裹及將所述包裹遞送至何處的通知。在抵達遞送位置後，遞送工作者可(例如，在卡車的後部中或在包裹的條板箱中)定位包裹，使用行動裝置掃描或以其他方式擷取與包裹上的識別符(例如，條碼、影像、文字串、RFID標籤或類似者)相關聯的資料，且遞送包裹(例如，藉由將其留在前門處、將其留給警衛、將其交給接收者或類似者)。在一些實施例中，遞送工作者可使用行動裝置擷取包裹的相片及/或可獲得簽名。行動裝置可將資訊發送至運輸系統107，所述資訊包含關於遞送的資訊，包含例如時間、日期、GPS位置、相片、與遞送工作者相關聯的識別符、與行動裝置相關聯的識別符或類似者。運輸系統107可在資料庫(未描繪)中儲存此資訊以用於藉由系統100中的其他系統訪問。在一些實施例中，運輸系統107可使用此資訊來準備追蹤資料且將所述追蹤資料發送至其他系統，從而指示特定包裹的位置。

在一些實施例中，某些使用者可使用一個種類的行動裝置(例如，永久工作者可使用具有定製硬體(諸如條碼掃描器、尖筆以及其他裝置)的專用PDA)，而其他使用者可使用其他類型的行動裝置(例如，暫時工作者或輪班工作者可利用現成的行動電話及/或智慧型手機)。

在一些實施例中，運輸系統107可將使用者與每一裝置相關聯。舉例而言，運輸系統107可儲存使用者(由例如使用者識別符、雇員識別符或電話號碼表示)與移動式裝置(由例如國際移動式設備識別(International Mobile Equipment Identity；IMEI)、國際移動式訂用識別符(International Mobile Subscription Identifier；IMSI)、電話號碼、通用唯一識別符(Universal Unique Identifier；UUID)或全球唯一識別符(Globally Unique Identifier；GUID)表示)之間的關聯。運輸系統107可結合在遞送時接收到的資料使用此關聯來分析儲存於資料庫中的資料，以便尤其判定工作者的位置、工作者的效率或工作者的速度。

在一些實施例中，賣方入口網站109可實行為使得賣方或其他外部實體能夠與系統100中的一或多個系統電子通信的電腦系統。舉例而言，賣方可利用電腦系統(未描繪)來上載或提供賣方希望經由使用賣方入口網站109的系統100來出售的產品的產品資訊、訂單資訊、連絡資訊或類似者。

在一些實施例中，運送及訂單追蹤系統111可實行為接收、儲存以及轉送關於含有由客戶(例如，由使用裝置102A至裝置102B的使用者)訂購的產品的包裹的位置的資訊的電腦系統。在一些實施例中，運送及訂單追蹤系統111可請求或儲存來自由遞送含有由客戶訂購的產品的包裹的運送公司操作的網頁伺服器(未描繪)的資訊。

在一些實施例中，運送及訂單追蹤系統111可請求及儲存來自系統100中所描繪的系統的資訊。舉例而言，運送及訂單追蹤系統111可要求來自運輸系統107的資訊。如上文所論述，運輸系統107可自與一或多個使用者(例如，遞送工作者)或車輛(例如，遞送卡車)相關聯的一或多個行動裝置107A至行動裝置107C(例如，行動電話、智慧型手機、PDA或類似者)接收資訊。在一些實施例中，運送及訂單追蹤系統111亦可向倉庫管理系統(workforce management system；WMS)119請求資訊以判定個別產品在履行中心(例如，履行中心200)內部的位置。運送及訂單追蹤系統111可向運輸系統107或WMS 119中的一或多者請求資料，在請求後處理所述資料，且將所述資料呈現給裝置(例如，使用者裝置102A及使用者裝置102B)。

在一些實施例中，履行最佳化(FO)系統113可實行為儲存來自其他系統(例如，外部前端系統103及/或運送及訂單追蹤系統111)的客戶訂單的資訊的電腦系統。FO系統113亦可儲存描述特定物件保存或儲存於何處的資訊。舉例而言，某些物件可能僅儲存於一個履行中心中，而某些其他物件可能儲存於多個履行中心中。在再其他實施例中，某些履行中心可經設計以僅儲存特定物件集合(例如，新鮮農產品或冷凍產品)。FO系統113儲存此資訊以及相關聯資訊(例如，數量、大小、接收的日期、過期日期等)。

FO系統113亦可計算每一產品的對應承諾遞送日期 (PDD)。在一些實施例中，PDD可基於一或多個因素。舉例而言，FO系統113可基於以下來計算產品的PDD：對產品的過去需求(例如，在一段時間期間訂購了多少次所述產品)、對產品的預期需求(例如，預測在即將到來的一段時間期間多少客戶將訂購所述產品)、指示在一段時間期間訂購了多少產品的全網路過去需求、指示預期在即將到來的一段時間期間將訂購多少產品的全網路預期需求、儲存於每一履行中心200中的產品的一或多個計數、哪一履行中心儲存每一產品、產品的預期或當前訂單或類似者。

在一些實施例中，FO系統113可定期(例如，每小時)判定每一產品的PDD且將其儲存於資料庫中以用於檢索或發送至其他系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)。在其他實施例中，FO系統113可自一或多個系統(例如，外部前端系統103、SAT系統101、運送及訂單追蹤系統111)接收電子請求且按需求計算PDD。

在一些實施例中，履行通信報閘道(FMG)115可實行為自系統100中的一或多個系統(諸如FO系統113)接收呈一種格式或協定的請求或回應、將其轉換為另一格式或協定且將其以轉換後的格式或協定轉送至其他系統(諸如WMS 119或第3方履行系統121A、第3方履行系統121B或第3方履行系統121C)且反之亦然的電腦系統。

在一些實施例中，供應鏈管理(SCM)系統117可實行為執行預測功能的電腦系統。舉例而言，SCM系統117可基於例如下述者來預測對特定產品的需求水平：對產品的過去需求、對產品的預期需求、全網路過去需求、全網路預期需求、儲存於每一履行中心200中的計數產品、每一產品的預期或當前訂單或類似者。回應於此預測水平及所有履行中心中的每一產品的量，SCM系統117可產生一或多個購買訂單以購買及儲備足夠數量，以滿足對特定產品的預測需求。

在一些實施例中，倉庫管理系統(WMS)119可實行為監視工作流程的電腦系統。舉例而言，WMS 119可自個別裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)接收指示離散事件的事件資料。舉例而言，WMS 119可接收指示使用此等裝置中的一者來掃描包裹的事件資料。如下文相對於履行中心200及圖2所論述，在履行過程期間，可藉由特定階段處的機器(例如，自動式或手持式條碼掃描器、RFID讀取器、高速攝影機、諸如平板電腦119A、行動裝置/PDA 119B、電腦119C的裝置或類似者)掃描或讀取包裹識別符(例如，條碼或RFID標籤資料)。WMS 119可將指示掃描、包裹識別符的讀取或感測器事件的每一事件以及包裹識別符、時間、日期、位置、使用者識別符或其他資訊儲存於對應資料庫(未描繪)中，且可將此資訊提供至其他系統(例如，運送及訂單追蹤系統111)。

在一些實施例中，WMS 119可儲存使一或多個裝置(例如，裝置107A至裝置107C或裝置119A至裝置119C)與一或多個使用者(所述一或多個使用者與系統100相關聯)相關聯的資訊。舉例而言，在一些情形下，使用者(諸如全職雇員或兼職雇員)可與行動裝置相關聯，此是由於使用者擁有行動裝置(例如，行動裝置為智慧型手機)。在其他情形下，使用者可與行動裝置相關聯，此是由於使用者暫時保管行動裝置(例如，使用者在一天開始時拿到行動裝置，將在一天期間使用所述行動裝置，且將在一天結束時退還所述行動裝置)。

在一些實施例中，WMS 119可維護與系統100相關聯的每一使用者的工作日志。舉例而言，WMS 119可儲存與每一雇員相關聯的資訊，包含任何指定的過程(例如，自卡車卸載、自揀貨區揀取物件、合流牆(rebin wall)工作、包裝物件)、使用者識別符、位置(例如，履行中心200中的樓層或區)、藉由雇員經由系統移動的單位數目(例如，所揀取物件的數目、所包裝物件的數目)、與裝置(例如，裝置119A至裝置119C)相關聯的識別符或類似者。在一些實施例中，WMS 119可自計時系統接收登記及登出資訊，所述計時系統諸如在裝置119A至裝置119C上操作的計時系統。

在一些實施例中，第3方履行(3^rd party fulfillment；3PL)系統121A至第3方履行系統121C表示與物流及產品的第三方提供商相關聯的電腦系統。舉例而言，儘管一些產品儲存於履行中心200中(如下文相對於圖2所論述)，但其他產品可儲存於場外、可按需求生產，或可以其他方式不可供用於儲存於履行中心200中。3PL系統121A至3PL系統121C可經組態以(例如，經由FMG 115)自FO系統113接收訂單，且可將產品及/或服務(例如，遞送或安裝)直接提供至客戶。在一些實施例中，3PL系統121A至3PL系統121C中的一或多者可為系統100的部分，而在其他實施例中，3PL系統121A至3PL系統121C中的一或多者可位於系統100外部(例如，由第三方提供商擁有或操作)。

在一些實施例中，履行中心Auth系統(FC Auth)123可實行為具有各種功能的電腦系統。舉例而言，在一些實施例中，FC Auth 123可充當系統100中的一或多個其他系統的單一簽入(single-sign on；SSO)服務。另外，FC Auth 123可使得使用者能夠經由內部前端系統105登入、判定使用者具有訪問運送及訂單追蹤系統111處的資源的類似特權，且使得使用者能夠在不需要第二登入過程的情況下取得彼等特權。在其他實施例中，FC Auth 123可使得使用者(例如，雇員)能夠使自身與特定任務相關聯。舉例而言，一些雇員可能不具有電子裝置(諸如裝置119A至裝置119C)，且實際上可能在一天的過程期間在履行中心200內自任務至任務以及自區至區移動。FC Auth 123可經組態以使得彼等雇員能夠在一天的不同時間指示其正執行何任務以及其位於何區。

在一些實施例中，勞動管理系統(LMS)125可實行為儲存雇員(包含全職雇員及兼職雇員)的出勤及超時資訊的電腦系統。舉例而言，LMS 125可自FC Auth 123、WMS 119、裝置119A至裝置119C、運輸系統107及/或裝置107A至裝置107C接收資訊。

圖1A中所描繪的特定組態僅為實例。舉例而言，儘管圖1A描繪連接至FO系統113的FC Auth系統123，但並非所有實施例均需要此特定組態。實際上，在一些實施例中，系統100中的系統可經由一或多個公用或私用網路彼此連接，所述網路包含網際網路、企業內部網路、廣域網路(Wide-Area Network；WAN)、都會區域網路(Metropolitan-Area Network；MAN)、順應IEEE 802.11a/b/g/n標準的無線網路、租用線或類似者。在一些實施例中，系統100中的系統中的一或多者可實行為在資料中心、伺服器群或類似者處實行的一或多個虛擬伺服器。

圖2描繪履行中心200。履行中心200為儲存用於在訂購時運送至客戶的物件的實體位置的實例。可將履行中心(FC)200劃分成多個區，所述區中的每一者描繪於圖2中。在一些實施例中，可認為此等「區」為接收物件、儲存物件、檢索物件以及運送物件的過程的不同階段之間的虛擬劃分。因此，儘管在圖2中描繪「區」，但其他區劃分為可能的，且在一些實施例中可省略、複製或修改圖2中的區。

入站區203表示FC 200的自希望使用來自圖1A的系統100出售產品的賣方接收到物件的區域。舉例而言，賣方可使用卡車201來遞送物件202A及物件202B。物件202A可表示足夠大以佔據其自己的運送托板的單一物件，而物件202B可表示在同一托板上堆疊在一起以節省空間的物件集合。

工作者將在入站區203中接收物件，且可使用電腦系統(未描繪)來視情況檢查物件的損壞及正確性。舉例而言，工作者可使用電腦系統來比較物件202A及物件202B的數量與物件的訂購數量。若數量不匹配，則工作者可拒絕物件202A或物件202B中的一或多者。若數量的確匹配，則工作者可(使用例如台車、手推平車、叉車或手動地)將彼等物件移動至緩衝區205。緩衝區205可為當前(例如由於揀貨區中存在足夠高數量的物件以滿足預測需求而)無需處於揀貨區中的物件的臨時儲存區域。在一些實施例中，叉車206操作以圍繞緩衝區205及在入站區203與卸貨區207之間移動物件。若(例如，由於預測需求而)需要揀貨區中的物件202A或物件202B，則叉車可將物件202A或物件202B移動至卸貨區207。

卸貨區207可為FC 200的在將物件移動至揀貨區209之前儲存所述物件的區域。指定給揀貨任務的工作者(「揀貨員」)可靠近揀貨區中的物件202A及物件202B，使用行動裝置(例如，裝置119B)來掃描揀貨區的條碼，且掃描與物件202A及物件202B相關聯的條碼。揀貨員可接著(例如，藉由將物件置放於推車上或攜帶所述物件)將所述物件取至揀貨區209。

揀貨區209可為FC 200的將物件208儲存於儲存單元210上的區域。在一些實施例中，儲存單元210可包括實體擱架、書架、盒、手提包、冰箱、冷凍機、冷儲存區或類似者中的一或多者。在一些實施例中，揀貨區209可組織成多個樓層。在一些實施例中，工作者或機器可以多種方式將物件移動至揀貨區209中，包含例如叉車、電梯、傳送帶、推車、手推平車、台車、自動化機器人或裝置或手動地移動。舉例而言，揀貨員可在卸貨區207中將物件202A及物件202B置放於手推平車或推車上，且將物件202A及物件202B步移至揀貨區209。

揀取員可接收將物件置放(或「堆積」)於揀貨區209中的特定點(諸如儲存單元210上的特定空間)的指令。舉例而言，揀貨員可使用行動裝置(例如，裝置119B)來掃描物件202A。裝置可例如使用指示走道、貨架以及位置的系統來指示揀貨員應將物件202A堆裝於何處。裝置可接著提示揀貨員在將物件202A堆裝於所述位置之前掃描所述位置處的條碼。裝置可(例如，經由無線網路)將資料發送至諸如圖1A中的WMS 119的電腦系統，從而指示物件202A已由使用裝置119B的使用者堆裝於所述位置處。

一旦使用者下訂單，揀貨員即可在裝置119B上接收自儲存單元210檢索一或多個物件208的指令。揀貨員可檢索物件208、掃描物件208上的條碼，且將所述物件208置放於運輸機構214上。儘管將運輸機構214表示為滑動件，但在一些實施例中，運輸機構可實行為傳送帶、電梯、推車、叉車、手推平車、台車或類似者中的一或多者。物件208可接著抵達包裝區211。

包裝區211可為FC 200的自揀貨區209接收到物件且將所述物件包裝至盒或包中以用於最終運送至客戶的區域。在包裝區211中，指定給接收物件的工作者(「合流工作者」)將自揀貨區209接收物件208且判定所述物件208對應於哪一訂單。舉例而言，合流工作者可使用諸如電腦119C的裝置來掃描物件208上的條碼。電腦119C可在視覺上指示物件208與哪一訂單相關聯。此可包含例如對應於訂單的牆216上的空間或「單元格」。一旦訂單完成(例如，由於單元格含有所述訂單的所有物件)，合流工作者即可指示包裝工作者(或「包裝員」)訂單完成。包裝員可自單元格檢索物件且將所述物件置放在盒或包中以用於運送。包裝員可接著例如經由叉車、推車、台車、手推平車、傳送帶、手動地或以其他方式將盒或包發送至樞紐區(hub zone)213。

樞紐區213可為FC 200的自包裝區211接收所有盒或包(「包裹」)的區域。樞紐213中的工作者及/或機器可檢索包裹218且判定每一包裹預期去至遞送區域的哪一部分，且將包裹投送至適當的營地區215。舉例而言，若遞送區域具有兩個更小子區域，則包裝將去至兩個營地區215中的一者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。將包裹投送至營地區215可包括例如(例如，基於郵遞碼)判定包裹去往的地理區域的一部分，以及判定與地理區域的所述部分相關聯的營地區215。

在一些實施例中，營地區215可包括一或多個建築物、一或多個實體空間或一或多個區域，其中自樞紐區213接收包裹以用於分選至路線及/或子路線中。在一些實施例中，營地區215與FC 200實體地分開，而在其他實施例中，營地區215可形成FC 200的一部分。

營地區215中的工作者及/或機器可例如基於以下來判定包裹220應與哪一路線及/或子路線相關聯：目的地與現有路線及/或子路線的比較、每一路線及/或子路線的工作量的計算、一天中的時間、運送方法、運送包裹220的成本、與包裹220中的物件相關聯的PDD或類似者。在一些實施例中，工作者或機器可(例如，使用裝置119A至裝置119C中的一者)掃描包裹以判定其最終目的地。一旦將包裹220指定給特定路線及/或子路線，工作者及/或機器就即可移動待運送的包裹220。在例示性圖2中，營地區215包含卡車222、汽車226以及遞送工作者224A及遞送工作者224B。在一些實施例中，卡車222可由配送工作者224A駕駛，其中配送工作者224A為遞送FC 200的包裹的全職雇員，且卡車222由擁有、租用或操作FC 200的同一公司擁有、租用或操作。在一些實施例中，汽車226可由遞送工作者224B駕駛，其中遞送工作者224B為在視需要基礎上(例如，季節性地)遞送的「靈活」或臨時工作者。汽車226可由遞送工作者224B擁有、租用或操作。

控制測試可為其中一或多個變量組與控制組一起測試的測試或實驗的進行。控制組可表示預設狀態、初始狀態或測試或實驗中不變的任何狀態，與變化的狀態進行比較。變量組可表示與控制組不同的狀態。A/B測試可為其中僅存在單一變量的控制測試類型。在一些實施例中，由於僅分析單一變化的簡單性，A/B測試可更佳。在一些實施例中，控制測試(諸如A/B測試)可部署為測試兩個不同版本、特徵或實行之間的電腦系統或其子系統的效能。舉例而言，一個版本可為變量組A，且替代版本可為變量組B。當實行變量組A及變量組兩者時，可監視或收集產生的資料。在某些情況下，各種度量可用於量測產生的資料，且可基於度量及測試的規則來產生結果。在一些實施例中，在測試期間產生的資料被稱作「事件」。

根據一些實施例，A/B測試可能與具有由使用者使用的交互式特徵的電腦系統相關。交互式特徵可包含允許系統向使用者產生輸出或自使用者接收輸入的特徵。舉例而言，輸出可包含圖形使用者介面(graphic user interface；GUI)、影像、視訊、本文以及/或聲音。輸入可包含經由鍵盤、滑鼠、觸控式螢幕的使用者輸入、經由音訊或視訊裝置擷取的聲音或影像、以及/或可藉由系統接收到的任何動作或無動作。藉助於非限制性實例，系統100可為具有交互式特徵的電腦。外部前端系統103可產生圖1B至圖1E中所示出的交互式顯示的非限制性實例作為經由裝置102A及裝置102B向使用者的輸出。外部前端系統103亦可經由裝置102A及裝置102B接收使用者與輸出的交互作用。當使用者經由交互式顯示器例如瀏覽、查看、選擇、購買、拒絕、離開或進行任何其他動作時，系統100可接收及收集使用者動作。在一些實施例中，使用者交互作用可引起自一或多個履行中心(諸如，圖2中所示出的FC 200)的貨物的運送。

圖3提供通用A/B測試的簡化實例，諸如測試300。可將使用者302劃分成組304-a及組304-b。在一些實施例中，將使用者302隨機地劃分成組。在一些其它實施例中，使用者302可基於一些預定或動態條件來分組。對於實例，條件可包含使用者的特徵，諸如年齡、性別、地理區、活動歷史、習慣、購買模式、交互作用類型、收入、市場片段以及/或其他相關的使用者片段。在一些實施例中，組304-a是針對與變體A 306-a交互作用，而組304-b是針對與變體B 306-b交互作用。變量或變體可表示正在測試的系統的特徵(例如，與控制不同)。在一些實施例中，變體B 306-b在至少一個態樣中可不同於變體A 306-a。在一些實施例中，變體A 306-a及變體B 306-b可能與系統100相關。舉例而言，測試的特徵可為由外部前端系統103產生的顯示中的一者，諸如圖1B至圖1E中所示出的，其可經由一或多個使用者裝置呈現給使用者302。在某些情況下，圖1B至圖1E的現有版本可顯示給一些使用者，此等使用者形成組304-a。圖1B至圖1E的現有版本可為變體A 306-a。顯示器的一些替代版本可顯示為組304-b。顯示器的替代版本可為變體B 306-b。舉例而言，圖1B至圖1E的變體A版本在可產品物件的列表、產品物件的列表的順序、顯示特徵(諸如，顏色、字體、大小、影像、視訊以及/或此等特徵的配置)中不同於變體B版本。所屬領域中具有通常知識者將瞭解，可將可更改、移除或新添加到系統100的任何特徵作為變量進行測試。

測試300可生成測試資料。在一些實施例中，在與圖3中例示的使用者交互作用相關的控制測試的上下文中，測試資料可被稱作「事件」。可處理及分析此等事件以生成與系統100的改良及最佳化相關的結果。在一些實施例中，分析事件且事件在實驗平台引擎中。

實驗平台引擎可為用於處理、分析、產生以及輸出事件及控制測試(例如，A/B測試)的結果的電腦系統。藉助於實例，圖4示出與所揭露實施例一致的實驗平台引擎(experiment platform engine；XPE)400及其操作處理的非限制性實例。圖5描繪與所揭露實施例一致的實驗平台引擎的例示性過程的流程圖。在一些實施例中，XPE 400的各種子模組可經組態以進行處理500的步驟。

根據一些實施例，設計規格406界定由XPE 400分析的控制測試的各種參數。各種參數的實例可包含(但不限於)：事件源、度量源、事件組態、度量組態、測試規則以及輸出規則。在一些實施例中，設計規格406可為電腦系統可讀的標準化檔案或電腦碼的其他格式。在一些實施例中，設計規格406與測試300相關。

事件可在測試300中產生且可儲存於一或多個記憶體儲存器中，所述記憶體儲存器可充當XPE 400事件的源。事件源402-a、事件源402-b以及/或事件源402-c可為含有事件的記憶體儲存器的實例。在一些實施例中，事件組態408基於在設計規格406中經規定的參數來製備XPE 400所需的事件。一般而言，在組織內，可針對不同系統或針對相同系統進行大量控制測試。XPE 400分析特定控制測試所需的特定事件集合可能需要自對應事件源檢索。事件組態408基於由設計規格406界定的參數來識別及檢索所需的事件。在一些實施例中，事件組態408可將事件源402-a、事件源402-b以及/或事件源402-c中的一或多者識別為含有所需的特定事件集合。在一些實施例中，檢索的事件可能需要額外處理，諸如過濾或格式化。事件組態408可基於設計規格406來判定XPE 400分析檢索的事件可能需要的特定過濾及格式化。

在一些實施例中，度量可包括用於操縱事件以生成一些結果的演算法、邏輯或公式。度量的實例可包含加法、減法、乘法、除法、總和、積分、比較、布耳運算(Boolean operation)以及/或任何其他資料邏輯或操作。在一些非限制性實例中，若事件為產品物件的出售，則度量可為將所有事件(例如，出售)總和以獲得出售產品的總量的總和操作。在一些實施例中，度量可儲存於度量源404-a、度量源404-b以及/或度量源404-c中，且可藉由度量組態410檢索。在一些實施例中，度量組態410基於設計規格406的參數而檢索用於XPE 400的適當度量。

事件產生器412基於事件組態408中判定的選擇及規則來輸出事件以供分析。度量產生器414提供用於分析由事件產生器412提供的事件的度量。在一些實施例中，事件產生器412及/或度量產生器414可採用所屬領域中已知的演算法來拷貝、轉移、檢索、格式化、截斷、分選以及/或以其他方式操縱事件及/或度量。選擇及規則可包含事件源、用於過濾的範圍以及/或用於事件的格式化。

分析引擎416將度量應用於事件。在一些實施例中，應用度量可包含執行一個或多個操作，諸如與度量相關聯的演算法、邏輯或公式。藉助於實例，若度量為總和操作且事件表示使用者動作的單一情況，則將總和操作應用於事件可包含將使用者動作的所有情況總和以生成使用者動作的總數目的結果。

輸出產生器418將輸出規則及/或測試規則應用於由分析引擎416生成的結果。在一些實施例中，輸出規則可由設計規格406指定，且可控管輸出420的各種態樣。舉例而言，可將分析引擎406的結果格式化為所屬領域中已知的檔案格式，諸如純文字、逗號分隔值(comma separated value；CSV)、微軟表格(Microsoft Excel)或其他合適的資料格式。在其他實例中，輸出420可包含基於分析416中生成的結果而產生的一或多個視覺表示，諸如曲線圖或圖表。

測試規則可由設計規格406指定。測試規則可包含將統計方法應用於分析引擎416的結果。統計方法可包含統計假設測試，諸如P值、信賴區間、最小可偵測差異(minimum detectable difference；MDE)以及其他數值或定性評價，以判定變體A 306-a與306-b之間可能存在何種結果差異(若存在)。

在一些實施例中，事件組態408可動態基於XPE 400或由設計規格402提供的一些演算法來判定事件源、過濾器以及/或格式。XPE 400的通用性可取決於其是否可適於不同控制測試的使用。每一不同測試可具有儲存於不同事件源中、待過濾的不同範圍或需要不同格式的不同度量的事件。若例如當XPE 400分析不同控制測試時需要廣泛修改，則XPE 400的效率及通用性可能受到限制。此外，即使對於相同的控制測試，可能存在希望分段結果的情況，因此可能需要分別地對事件進行分段及分析。因此，若XPE 400能夠自動化事件的操縱，則XPE 400的效率及效用可提高。舉例而言，事件組態408可藉由允許並行地進行許多併發分析來增加XPE 400的產出量，所述併發分析可能需要不同的事件集合、事件片段，而不需要XPE 400的廣泛修改。此外，藉由減少操縱XPE 400的事件所需的修改量，使用XPE 400的時間及勞動成本可減少，從而允許分析或重新分析更多的測試資料。

圖5示出描繪與所揭露實施例一致的XPE 400的操作的處理500、非限制性實例的流程圖。

在步驟502中，將設計規格406提供至XPE 400。在一些實施例中，設計規格406可為具有XPE 400可讀且可執行的指令的標準化設計文件。在一些實施例中，XPE 400可連接至具有使用者介面的裝置，且設計規格406可經由使用者介面提供至XPE 400。

在步驟504中，度量產生器414基於設計規格406來檢索度量。可自度量源404-a、度量源404-b以及/或度量源404-c中的一或多者檢索度量。在一些實施例中，設計規格406可指定待檢索的特定度量及/或特定度量源。在一些實施例中，度量組態410可基於設計規格406來判定特定度量及/或特定度量源，而無需由設計規格406具體指定。舉例而言，度量組態410可基於設計規格406中所含有的參數來自動判定特定控制測試可能需要儲存於特定度量源中的特定度量集合。

在步驟506中，事件產生器412基於設計規格406來檢索事件。可自事件源402-a、事件源404-b以及/或事件源404-c中的一或多者檢索事件。在一些實施例中，設計規格406可指定待檢索的特定事件及/或特定事件源。在一些實施例中，事件組態408可在不由設計規格406具體指定的情況下判定事件源。舉例而言，可基於一些預定規則對對應於特定控制測試的事件進行索引且儲存於特定事件源中。事件組態408可基於預定規則來識別特定控制測試的事件源。

在步驟508中，事件產生器412過濾步驟506中檢索的事件。可能需要分析及提供片段中的控制測試的結果，以便可自結果獲得額外理解。另外地或可替代地，事件的僅部分可與所要目標相關，且因此對不相關部分的分析可為系統資源的浪費。藉由過濾事件，事件產生器412可將檢索事件劃分成用於單獨分析的片段，且防止在不相關的資料上不必要地使用系統資源。

舉例而言，可基於測試週期過濾事件。可在整個時間段內發生控制測試。可將與控制測試相關聯的事件劃分為整個時間段的片段。可能需要隨著時間推移觀測結果，由此可將事件分段成整個時間段的較小增量。一年中發生的控制測試的例如可劃分成月份、星期等的片段。在此實例中，若所關注的結果為針對四月，則事件產生器412可僅針對四月的事件進行過濾。

在另一實例中，控制測試的結果可基於使用者302的一些特徵分析。在一些實施例中，當在控制測試中產生事件時，可追蹤使用者302的一或多個特徵。特徵可基於(但不限於)年齡、性別、地理區、活動歷史、習慣、購買模式、收入、交互作用類型、市場片段以及/或可表徵使用者302的其他相關片段。舉例而言，可能希望能夠基於可對應於相關市場劃分的地理區來分析交互作用如何不同。事件產生器412可基於使用者302中的每一者的位置而將事件過濾成片段，由此允許分析引擎416單獨地對每一片段進行分析。

在又另一實例中，控制測試的結果可含有不同資料類型的事件。在一些實施例中，在控制測試期間，正在產生及收集事件的多種資料類型，且每一資料類型可能需要不同度量來分析。此外，可基於資料類型將事件分段以用於不同分析。舉例而言，網頁的元素的控制測試可以滑鼠點選、頁面刷新、查看計數以及/或查看時間的形式來收集事件。事件產生器412可藉由過濾一或多個資料類型以進行分析來分段事件。

在一些實施例中，設計規格406可向事件組態408提供指令以用於判定檢索事件的過濾。舉例而言，設計規格406可指定所要片段範圍及類型。在一些實施例中，事件組態408可基於一些預定規則判定檢索的事件的所需過濾。

在步驟510中，可格式化步驟508中過濾的事件，使得事件可與步驟504中檢索的度量相容。在一些實施例中，設計規格406可為事件指定格式化。在一些實施例中，事件組態408可基於檢索的度量的格式化需要來判定。舉例而言，每一度量可與一或多個格式化規則相關聯，且事件可基於與檢索的度量相關聯的格式化規則而格式化。

在步驟512中，分析引擎416使用自步驟504檢索的度量來分析自步驟510格式化的事件。在一些實施例中，度量對事件進行操作且產生結果。

在步驟514中，輸出產生器418使用步驟512中所獲得的結果來產生輸出。在一些實施例中，設計規格可指定進一步分析結果以產生輸出的測試規則。測試規則可包含對變體A 306-a與變體B 306-b之間的結果進行比較。舉例而言，輸出產生器418可進行進一步的分析以查看在變體A 306-a與306-b之間可能存在何種結果差異(若存在)。在一些實施例中，統計分析可用以分析在變體A 306-a與306-b的結果之間的比較以量測統計顯著性。統計分析的實例包含值差異、百分比差異、P值、信賴區間、最小可偵測差異(MDE)以及與控制測試相關的其他數值或定性評價。在一些實施例中，為了易於查看，可產生統計分析的圖形表示。在一些實施例中，測試規則可儲存於一或多個記憶體儲存器中，且設計規格406可引導XPE 400檢索測試規則。

在步驟516中，輸出產生器418可提供在步驟514中產生的輸出以用於在使用者介面中顯示。藉助於實例，圖6描繪與所揭露實施例一致的例示性使用者介面。顯示器600可顯示在輸出裝置上，諸如裝置107A到裝置107C、裝置119A到裝置119C或一些其他行動或計算裝置.顯示器600包含介面601、介面603、介面605、介面607以及介面608。介面601含有與控制測試相關的度量，諸如「買方轉換」、「每個客戶的GMV」、「每個客戶的訂單」以及「總ASP」。介面603含有控制測試中的不同變量組。介面605含有介面601中繪示的用於變量組及/或控制的不同度量的值。在一些實施例中，介面605中繪示的值可為分析引擎416在步驟512中產生的結果。舉例而言，在「總ASP」度量中，可能顯示三個不同的值。602表示控制組的值，而604及606可分別表示變體組A及變體組B的值。介面607描繪由輸出產生器418在步驟514中產生的結果不同的統計分析。在一些實施例中，可以圖形或圖表形式來呈現結果不同的統計分析，諸如介面608中所繪示。

儘管已參考本揭露的特定實施例來繪示及描述本揭露，但應理解，可在不修改的情況下在其他環境中實踐本揭露。已出於示出的目的呈現前述描述。前述描述並不詳盡且不限於所揭露的精確形式或實施例。修改及調適對所屬技術技術領域中具有通常知識者將自本說明書的考量及所揭露實施例的實踐顯而易見。另外，儘管將所揭露實施例的態樣描述為儲存於記憶體中，但所屬領域中具有通常知識者應瞭解，此等態樣亦可儲存於其他類型的電腦可讀媒體上，諸如輔助儲存裝置，例如硬碟或CD ROM，或其他形式的RAM或ROM、USB媒體、DVD、藍光或其他光碟機媒體。

基於書面描述及所揭露方法的電腦程式在有經驗的開發者的技能內。各種程式或程式模組可使用所屬領域中具有通常知識者已知的技術中的任一者來創建或可結合現有軟體設計。舉例而言，程式區段或程式模組可以或藉助於.Net框架(.Net Framework)、.Net緊密框架(.Net Compact Framework)(及相關語言，諸如視覺培基(Visual Basic)、C等)、爪哇(Java)、C++、目標-C(Objective-C)、HTML、HTML/AJAX組合、XML或包含爪哇小程式的HTML來設計。

此外，儘管本文中已描述示出性實施例，但所屬技術領域中具有通常知識者將基於本揭露瞭解具有等效元件、修改、省略、組合(例如，各種實施例中的態樣的組合)、調適及/或更改的任何及所有實施例的範疇。申請專利範圍中的限制應基於申請專利範圍中所採用的語言廣泛地解釋，且不限於本說明書中所描述或在本申請案的審查期間的實例。實例應視為非排他性的。此外，所揭露方法的步驟可以包含藉由對步驟重新排序及/或插入或刪除步驟的任何方式修改。因此，希望僅將本說明書及實例視為示出性的，其中藉由以下申請專利範圍及其等效物的完整範疇指示真實範疇及精神。