TWI768554B

TWI768554B - 計算系統及其效能調整方法

Info

Publication number: TWI768554B
Application number: TW109140913A
Authority: TW
Inventors: 蘇凱農
Original assignee: 宏碁股份有限公司
Priority date: 2020-11-23
Filing date: 2020-11-23
Publication date: 2022-06-21
Also published as: TW202221523A

Abstract

本發明實施例提出計算系統及其效能調整方法。在此方法中，依據效能配置執行效能測試。計算系統包括兩個或更多個處理器。效能測試是針對一種負載情境，且效能配置相關於那些處理器在此負載情境下付出效能的比重。決定效能測試的測試結果對應的梯度。測試結果相關於用於效能測試決定效能表現的多變數函數。此梯度是對基於那效能配置及測試結果的多變數函數進行梯度運算所得出。依據此梯度修改效能配置。藉此，可在系統限制下取得較好的總體效能表現。

Description

計算系統及其效能調整方法

本發明是有關於一種多處理器效能調教技術，且特別是有關於一種用於多處理器的計算系統及其效能調整方法。

現今電子產品為了符合各領域的應用，從高效能運算(High Performance Computing，HPC)伺服器、個人電腦、甚至到智慧型手機等裝置逐漸採用異質計算(Heterogeneous Computing)系統設計，以達到較好的計算效益或能源效率。例如，HPC 伺服器同時搭載中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing unit，GPU)、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit，ASIC)、特殊規格加速卡及/或神經網路加速器。而個人電腦和手機除了原有獨立 CPU結合GPU 設計之外，CPU 設計也開始朝向由不同計算能力或功能的大小核心整合在單一晶片的趨勢，且針對不同工作負載(Workload)的特性採用較有優勢的計算單元達成最佳運算效益。

針對多計算單元的一個常見設計問題是：各計算單元的運算能力因系統設計而彼此牽制。例如，CPU 和 GPU 因熱管(Heat Pipe)相連而共用熱容量(Thermal Capacity)。若一個計算單元高速運行，則另一計算單元的運算能力將被擠壓。另一常見設計問題是：瓦數不足的產品設計將導致在時間上先進行運算的模組會搶佔能量預算(Power Budget)，進而壓縮其他模組的能力表現。這兩種常見情況均降低了異質計算的優勢。

有鑑於此，本發明實施例提供一種計算系統及其效能調整方法，基於梯度特性調整多處理器(即，計算單元)的效能配置，以在系統限制的條件下快速得出較佳配置。

本發明實施例的計算系統的效能調整方法包括(但不僅限於)下列步驟：依據效能配置執行效能測試。計算系統包括兩個或更多個處理器。效能測試是針對一種負載情境，且效能配置相關於那些處理器在此負載情境下付出效能的比重。決定效能測試的測試結果對應的梯度(gradient)。測試結果相關於用於效能測試決定效能表現的多變數函數。此梯度是對基於那效能配置及測試結果的多變數函數進行梯度運算所得出。依據此梯度修改效能配置。

本發明實施例的計算系統包括(但不僅限於)兩個或更多個處理器。這些處理器經配置用以依據效能配置執行效能測試，決定效能測試的測試結果對應的梯度，並依據此梯度修改效能配置。效能測試是針對一種負載情境，且效能配置相關於那些處理器在此負載情境下付出效能的比重。測試結果相關於用於效能測試決定效能表現的多變數函數。此梯度是對基於那效能配置及測試結果的多變數函數進行梯度運算所得出。

基於上述，在本發明實施例的計算系統及其效能調整方法中，對特定負載情境(即，工作負載)下的多變數效能函數進行梯度運算，以了解效能增長的趨向，進而調整那些處理器的效能配置。藉此，可取得較好的總體效能表現。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的計算系統100的方塊圖。請參照圖1，計算系統100可以是桌上型電腦、筆記型電腦、AIO電腦、智慧型手機、平板電腦、或伺服器等裝置。計算系統100包括但不僅限於記憶體110及兩個或更多個處理器130。

記憶體110可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory，RAM)、唯讀記憶體(Read Only Memory，ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid-State Drive，SSD)或類似元件。在一實施例中，記憶體110用以記錄程式碼、軟體模組、組態配置、資料或檔案。

處理器130耦接記憶體110，處理器130並可以是CPU、GPU，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、FPGA、ASIC、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中，處理器130用以執行計算系統100的所有或部份作業，且可載入並執行記憶體110所記錄的各軟體模組、檔案及資料。

在一實施例中，若欲實現異質計算系統，那些處理器130的類型可能不同。例如，計算系統100包括CPU和GPU。在一些實施例中，部分或全部的處理器130的類型可能相同。例如，計算系統100包括三個GPU。

下文中，將搭配計算系統100中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例的效能調整方法的流程圖。請參照圖2，處理器130可依據效能配置執行效能測試(步驟S210)。具體而言，效能測試例如是Cinebench、3DMark、3DMark11、AnTuTu或其他用於評估負載、壓力、斷點等各類型效能或基準(Benchmark)測試。此效能測試是針對一種特定負載情境(例如，time spy、伺服器的雲端處理、神經網路訓練/推論、影片播放、遊戲、影片編輯、網頁瀏覽、視訊對話、浮點運算等)。此外，效能配置相關於那些處理器130在此負載情境下付出效能的比重。換句而言，此比重代表那些處理器130共同運作的情況下影響整體效能的比例。效能配置可藉由對處理器130的執行頻率、電壓、功率、或風扇速度等因素之變化來改變。例如，三維模型編輯的負載情境需要對GPU設定較高的比重。

處理器130可決定效能測試的測試結果對應的梯度(gradient)(步驟S230)。具體而言，測試結果相關於用於效能測試決定效能表現的多變數函數。此多變數函數相關於在此負載情境下那些處理器130的效能表現及計算系統100的整體表現。例如，效能表現作為變數，且整體表現作為函數值。在一些實施例中，計算系統100可能是取得來自其他計算系統100的測試結果。

在一實施例中，測試結果包括那些處理器130的個別測試分數及整體測試分數。其中，各處理器130的個別測試分數作為變數，且整體測試分數作為函數的解。即，整體測試分數是將處理器130的個別測試分數輸入多變數函數所得出。多變數函數以加權調和平均(Weighted Harmonic Mean)效能表現函數P為例：

…(1) 其中

為各處理器130在當前負載情境下的個別測試分數(或個別測試表現)，

為各處理器130在此負載情境下的權重，n為處理器130的個數，i為正整數。

需說明的是，不同負載情境的多變數函數可能不同，本發明實施例不加以限制。

另一方面，梯度是對基於效能配置及測試結果的多變數函數進行梯度運算所得出。在向量微積分中，梯度是一種關於多變數/多元導數的概括。而多變數函數的梯度是向量值函數。多變數可微函數在多維向量空間上的點上的梯度，是以多變數可微函數在此點上的偏導數為分量的向量。針對效能的多變數函數，此向量的方向是此函數在那點上最大增長的效能，且其分量代表此方向上效能的增長率。由此可知，基於梯度的特性可了解如何讓特定負載情境的多變數函數的函數值(即，整體效能表現)增長。

在一實施例中，處理器130可決定梯度中對應於那些處理器130的梯度向量。此梯度向量包括分別對應於那些處理器130的向量的分量大小及方向。以函數(1)為例，對函數(1)進行梯度運算可得出：

…(2) 其中

為這些處理器130在所形成的n維向量空間中使處理器130的效能增加方向為正的單位向量，

為第i處理器130對應向量的分量大小。

以3Dmark Time Spy的負載情境為例，其效能的多變數函數為：

…(3) 其中

為GPU和CPU在當前負載情境下的個別測試分數，0.85:0.15為GPU和CPU在此負載情境下的權重。

多變數函數可表示為一個多維向量空間的多維曲面。以函數(3)為例，圖3A是一範例說明效能曲面。請參照圖3A，給定一個 CPU、GPU 個別測試分數(第一分數,第二分數)，即得出總體效能表現(第一分數,第二分數)座標往上對應到曲面該點的整體分數座標，其中箭頭方向定義為使效能表現增加之方向。

每個點的座標都代表一種可能的設置規則。例如，圖3A所示的點T1代表某一次效能測試結果。在此測試中，同時限制 GPU、CPU 的效能配置的比重大約在 1.3:1。同一台計算系統100，由圖3A所示點T1的位置大幅放寬 GPU 的效能，但限制 CPU 的能力。假設GPU、CPU的個別測試分數S1、S2分別為7,354、5,657，且整體測試分數S3為7,037。

圖3B是另一範例說明效能曲面。請參照圖3B，假設GPU、CPU 的效能配置的比重大約在 5:1 情況下得出此測試結果。以此配置修改(位於點T2的位置)而言，雖然大幅提高了 GPU的個別測試分數S1(由7,354升高至10,041)，但整體測試分數S3由 7,037 降至 6,437。

另值得注意的是，現有常見的系統設計方式是針對每個處理器130給定由經驗或特定 Benchmark反覆實驗得出的結果而設置對應規則。例如 3DMark Time Spy的負載情境大量使用 DirectX 12 API 進行影像計算，因此配置優化在大方向上是採取限制CPU的使用瓦數但讓出熱容量給 GPU 使用來達成。然而，實務上要如何設置到最佳平衡點，現有的反覆測試微調沒有系統化規則可遵循，同時也相當費時。

而在本發明實施例中，處理器130可依據梯度修改效能配置(步驟S250)。具體而言，本發明實施例可將某個設置規則(即，效能配置)下的運算結果(即，測試結果)帶入梯度函數(例如，函數(2))，藉由提高梯度函數中具有最大向量成份的處理器130的能力，同時降低其他處理器130的能力，來取得更好的總體效能表現(例如，整體測試分數)。

舉例而言，對函數(3)進行梯度運算後可得函數(4)：

…(5)

值得注意的是，由前述圖3A及圖3B的範例可知，針對特定負載情境，基於已知圖3A的測試結果而言，不應繼續進行圖3B的效能配置，且這樣的配置改變這樣對總體效能沒有幫助。而若欲使多維曲面上的每個點得到最高的垂直軸上升(即，整體測試分數增加)，GPU和CPU的效能比重可由梯度函數(例如，函數(4))決定。

圖4是一範例說明梯度向量。請參照圖4，函數(4)的梯度向量場為一個二維向量場，其是將此向量場投影在如圖3A或圖3B中垂直軸的數值為零的水平面之位置，並經過正規化後可得出圖4。每個位置的箭頭方向(即，向量方向)即代表此效能配置在局部應如何配置可獲得最大整體測試分數提升。

在一實施例中，處理器130可依據那些處理器130對應的分量大小修改效能配置。換句而言，各處理器130對應的單位向量的分量大小可作為效能配置的比重調整的依據。以函數(4)為例，CPU 和GPU的效能配置可設置為梯度向量中單位向量

和

的分量大小的比例，這樣可以提升最大的總體效能表現。圖3A中點T1的位置的梯度向量大約為

，且其正規化向量(

)大約為

。此正規化向量大約對應到圖4所示點T1。此配置下，向量

的分量大於

的分量，因此梯度向量的向量方向指向為左上，但較偏上。而基於梯度所得出的效能配置的比重為0.958:0.286 ≈ 3.3:1。處理器130可依據此比重修改原效能配置。例如，直接將此比重設定為新效能配置。又例如，適當增加部分比重。

在一實施例中，處理器130可判斷那些處理器130的梯度向量在多維向量空間中的向量方向。此多維向量空間即是由對應於那些處理器130的個別測試分數的多個維度所形成。以圖4為例，GPU及CPU的個別測試分數S1,S2(即，第一分數及第二分數)分別定義成兩個維度。

處理器130可依據向量方向的指向修改效能配置。例如，朝指向增加或減少對應維度的比重。舉例而言，若欲針對圖4中的點T1增加更多整體測試分數(整體效能呈現)，則第一分數對應的GPU的比重應再增加，但第二分數對應的CPU的比重可維持(對應到指向為左上但較偏上的向量方向)。

而針對圖3B的範例(過度放寬GPU效能)，圖3B中點T2的位置的梯度向量大約為

，且其正規化向量(

)大約為

。此正規化向量大約對應到圖4所示點T2。此配置下，向量

的分量大於

的分量，因此梯度向量的向量方向指向為左上，但較偏左。若欲針對圖4中的點T2增加更多整體測試分數(整體效能呈現)，則例如是第一分數對應的GPU的比重應降低，但第二分數對應的CPU的比重應增加。而基於梯度所得出的效能配置的比重為0.245:0.969 ≈ 1:3.96。處理器130可依據此比重修改原效能配置。

圖5是依據本發明一實施例說明系統限制決策的流程圖。請參照圖5，處理器130可判斷判斷梯度是否達到系統限制(步驟S510)。具體而言，系統限制相關於計算系統100所允許的效能配置。例如，供應瓦數、散熱能力或其他影響效能的因素。又例如，CPU的在梯度對應的分量大小大約為5，但比重超過4所需的供應瓦數大於計算系統100所能提供最高上限，即判斷達到系統限制。若梯度尚未達到系統限制，處理器130可基於梯度向量修改效能配置(步驟S530)，依據修改的效能配置再次執行效能測試(例如，執行步驟S210)，並依據再次執行的該效能測試的測試結果決定對應的梯度(例如，執行步驟S230)。例如，前述梯度所得出的效能配置的比重為1:3.96，則處理器130將GPU和CPU的效能配置修改為1:3.96，並再次執行相同負載情境的效能測試，以得出測試結果，並據以得出對應梯度。如此反覆進行(其數值應可收斂)，直到效能調整已達系統設計限制，處理器130將禁能用於效能配置之調整(即，不再調整效能配置)，並可據以決定最終效能配置(步驟S550)。此時，最終效能配置應是可針對此特定負載情境下提供最佳總體效能表現的配置。

在實際應用上，處理器130可記錄基於梯度且對應於不同負載情境的效能配置。此外，處理器130可偵測計算系統100的當前運作行為(例如，遊戲、影片、或網頁瀏覽等)，並據以設定為對應負載情境的效能配置。藉此，即可讓計算系統100在特定應用上能發揮更佳的效能。

綜上所述，依據本發明計算系統及其效能調整方法，可針對特定負載情境利用效能測試的測試結果對應的梯度得出合適的效能配置。藉此，可快速找出受系統限制的情況下的最佳配置。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:計算系統 110:記憶體 130:處理器 S210~S250、S510~S550:步驟 T1、T2:點 S1、S2:個別測試分數 S3:整體測試分數

圖1是依據本發明一實施例的計算系統的方塊圖。圖2是依據本發明一實施例的效能調整方法的流程圖。圖3A是一範例說明效能曲面。圖3B是另一範例說明效能曲面。圖4是一範例說明梯度向量。圖5是依據本發明一實施例說明系統限制決策的流程圖。

S210~S250:步驟

Claims

一種計算系統的效能調整方法，其中該計算系統包括至少二處理器，且該效能調整方法包括：依據一效能配置執行一效能測試，其中該效能測試是針對一負載情境，且該效能配置相關於該至少二處理器在該負載情境下付出效能的比重；決定該效能測試的測試結果對應的一梯度(gradient)，其中該測試結果相關於用於該效能測試決定效能表現的一多變數函數，且該梯度是對基於該效能配置及該測試結果的該多變數函數進行梯度運算所得出；依據該梯度修改該效能配置；依據修改的效能配置再次執行該效能測試；以及依據再次執行的該效能測試的測試結果決定對應的梯度。
如請求項1所述的效能調整方法，其中決定該效能測試的測試結果對應的該梯度的步驟包括：決定該梯度中對應於該至少二處理器的梯度向量，其中該梯度向量包括分別對應於該至少二處理器的向量的分量大小；以及依據該至少二處理器對應的分量大小修改該效能配置。
如請求項2所述的效能調整方法，其中該測試結果包括該至少二處理器的個別測試分數及一整體測試分數，該整體測試分數是將該至少二處理器的個別測試分數輸入該多變數函數所得出，且依據該梯度修改該效能配置的步驟包括：判斷該至少二處理器的該梯度向量在一多維向量空間中的向量方向，其中該多維向量空間由對應於該至少二處理器的該個別測試分數的多個維度所形成；以及依據該向量方向的指向修改該效能配置，其中朝該指向增加或減少對應維度的比重。
一種計算系統的效能調整方法，其中該計算系統包括至少二處理器，且該校能調正方法包括：依據一效能配置執行一效能測試，其中該效能測試是針對依負載情境，且該效能配置相關於該至少二處理器在該負載情境下付出效能的比重；決定該效能測試的測試結果對應的一梯度，其中該測試結果相關於用於該效能測試決定效能表現的一多變數函數，且該梯度是對基於該效能配置及該測試結果的該多變數函數進行梯度運算所得出；依據該梯度修改該效能配置；判斷該梯度是否達到一系統限制，其中該系統限制相關於該計算系統所允許的效能配置；以及針對達到該系統限制的該梯度，禁能用於該效能配置之調整。
一種計算系統，包括：至少二處理器，其中的一者經配置用以執行：依據一效能配置執行一效能測試，其中該效能測試是針對一負載情境，且該效能配置相關於該至少二處理器在該負載情境下付出效能的比重；決定該效能測試的測試結果對應的一梯度，其中該測試結果相關於用於該效能測試決定效能表現的一多變數函數，且該梯度是對基於該效能配置及該測試結果的該多變數函數進行梯度運算所得出；依據該梯度修改該效能配置；依據修改的效能配置再次執行該效能測試；以及依據再次執行的該效能測試的測試結果決定對應的梯度。
如請求項5所述的計算系統，其中該至少二處理器中的一者更經配置用以執行：決定該梯度中對應於該至少二處理器的梯度向量，其中該梯度向量包括分別對應於該至少二處理器的向量的分量大小；以及依據該至少二處理器對應的分量大小修改該效能配置。
如請求項6所述的計算系統，其中該測試結果包括該至少二處理器的個別測試分數及一整體測試分數，該整體測試分數是將該至少二處理器的個別測試分數輸入該多變數函數所得出，且該至少二處理器中的一者更經配置用以執行：判斷該至少二處理器的該梯度向量在一多維向量空間中的向量方向，其中該多維向量空間由對應於該至少二處理器的該個別測試分數的多個維度所形成；以及依據該向量方向的指向修改該效能配置，其中朝該指向增加或減少對應維度的比重。
一種計算系統，包括：至少二處理器，其中的一者經配置用以執行：依據一效能配置執行一效能測試，其中該效能測試是針對一負載情境，且該效能配置相關於該至少二處理器在該負載情境下付出效能的比重；決定該效能測試的測試結果對應的一梯度，其中該測試結果相關於用於該效能測試決定效能表現的一多變數函數，且該梯度是對基於該效能配置及該測試結果的該多變數函數進行梯度運算所得出；依據該梯度修改該效能配置；判斷該梯度是否達到一系統限制，其中該系統限制相關於該計算系統所允許的效能配置；以及針對達到該系統限制的該梯度，禁能用於該效能配置之調整。