TWI493451B

TWI493451B - 使用預解碼資料進行指令排程的方法和裝置

Info

Publication number: TWI493451B
Application number: TW101148710A
Authority: TW
Inventors: Jack Hilaire Choquette; Robert J Stoll; Olivier Giroux
Original assignee: Nvidia Corp
Priority date: 2011-12-21
Filing date: 2012-12-20
Publication date: 2015-07-21
Also published as: US20130166881A1; CN103226463A; US9798548B2; DE102012222913A1; TW201342212A

Description

使用預解碼資料進行指令排程的方法和裝置

本發明概略關於多執行緒指令排程，尤指利用預解碼資料進行指令排程的方法和裝置。

平行處理器具有多個獨立的核心，其能夠使用不同的硬體資源而同時執行多個執行緒。單一指令多重資料(SIMD，Single instruction,multiple data)架構處理器在該等多個核心中每一核心上執行相同的指令，其中每一核心處理不同的輸入資料。多重指令多重資料(MIMD，Multiple instruction,multiple data)架構處理器利用供應給每一核心之不同輸入資料來在不同核心上執行不同的指令。平行處理器亦可被多執行緒化，其可使用一單一處理核心的資源使得兩個或更多的執行緒可實質上同時地執行(即該等不同執行緒在不同時脈循環期間在該核心上執行)。指令排程代表一種用於在下一時脈循環期間決定哪些執行緒要在哪些核心上執行的技術。

基本上，指令排程運算法將在自記憶體提取指令之後解碼複數個指令，以決定每一特定作業所需要的特殊資源，以及關聯於那些資源的潛時。然後系統可以評估該等潛時來決定該等複數個指令的最佳排程順序。例如，一指令可指定一運算元(即一暫存器數值)，其係根據由來自相同執行緒的前一指令正在執行的一計算。然後排程器延遲該一個指令的執行直到該前一指令完成執行為止。

上述系統的一個問題是解碼複數個指令、辨識該等指令之間的相依性、以及分析關聯於由該等指令所指定的所有運算之潛時皆需要處理器中大量的管理資源，以及大量的狀態資訊儲存。該處理器可以決定由該等指令所指定的特定運算碼、關聯於該等作業的資源(例如做為運算元傳送給每一指令的特定暫存器)、指令之間的交互相關性、以及關聯於該等指令的任何其它重要資料。這些計算法的實作會耗用許多時脈循環來完成，以及用於儲存和解碼指令的大量記憶體。

因此，本技術中需要一種系統和方法來執行指令排程，而不需要決定做為其它指令之輸入的運算潛時。

在一具體實施例中，一多核心處理器在每一核心中包括一排程單元，用於在每一排程循環自兩個或更多的執行緒選擇指令來在該特定核心上執行。當執行緒被排程在該核心上執行時，來自該等執行緒的指令被提取到一緩衝器中而並未解碼。預解碼資料由一編譯器決定，且在運行時間當中，該預解碼資料由該排程單元擷取，並用於控制要執行之執行緒的選擇。該預解碼資料可以在發出該指令之前指定要等待的排程循環之數目。該預解碼資料亦可指定該指令的一排程優先性，或是該等兩個指令必須在一單一排程循環中發出。一旦該排程單元已經選擇一指令來發出而執行時，一解碼單元完整地解碼該指令。

本發明一示例具體實施例提出一種用於在一平行運算機器內排程指令的電腦實作方法。該方法包括以下步驟：自一指令快取單元提取對應於兩個或更多執行緒群組的指令，並接收關聯於該等指令之每一者的預解碼資料，其中該預解碼資料係在當該等指令被編譯時決定。該等步驟進一步包括至少部份基於該預解碼資料來選擇一指令做執行、解碼該指令、並分派該指令到平行處理單元做執行。

本發明另一示例具體實施例提出一排程單元，其包含一指令快取提取單元、一巨集排程器單元、一微排程器仲裁器、一解碼單元和一分派單元。該指令快取提取單元設置成導引對應於兩個或更多執行緒群組的指令到一第一緩衝器，以及導引關聯於該等指令之每一指令的預解碼資料到一第二緩衝器。該巨集排程器單元耦合至該指令快取提取單元，並設置成接收預解碼資料，其中該預解碼資料係在當該等指令被編譯時決定。該微排程器仲裁器耦合至該巨集排程器單元和該第二緩衝器，並設置成在運行時間中至少部份基於該預解碼資料選擇一第一指令來由一處理單元執行。該解碼單元耦合至該第一緩衝器，並設置成解碼該第一指令。該分派單元耦合至該解碼單元，並設置成分派該第一指令到一處理單元執行。

本發明又另一示例具體實施例提出一種運算裝置，其中包括一中央處理單元和一平行處理單元。該平行處理單元包括一排程單元，其設置成自一指令快取單元提取對應於兩個或更多執行緒群組的複數個指令，並接收關聯於該等指令之每一者的預解碼資料，其中該預解碼資料係在當該等指令被編譯時決定。該排程單元進一步設置成至少部份基於該預解碼資料來選擇一指令做執行、解碼該指令、並分派該指令到該平行處理單元做執行。

較佳地是，使用對應於每一指令的預解碼資料可緩解排程單元上的工作負荷。特別是該排程單元不再需要辨識該等指令之間的相依性，以及分析關聯於由該等指令所指定的所有運算之潛時。因此，在處理器中管理資源的數量可減少，並可減少由該排程單元所保持的狀態資訊數量。

在以下的說明中，許多特定細節係被提出來提供對於本發明之更為完整的瞭解。但是本技術專業人士將可瞭解到本發明可不利用一或多個這些特定細節來實施。

本發明描述在解碼指令之前排程該等指令在一處理器核心上執行的系統和方法。在一具體實施例中，一多核心處理器在每一核心中包括一排程單元，用於排程來自該特定核心上兩個或更多執行緒的指令。當執行緒被排程來執行並發出給一處理器核心時，來自該等執行緒的指令自一指令快取被提取到一緩衝器中而並未解碼。該排程單元包括一巨集排程器單元，其用於進行執行相同或不同指令集的執行緒群組之一優先性排序。一微排程器仲裁器決定在每一排程循環自該等執行緒群組之一選擇至少一指令，並發出該至少一指令來執行。該微排程器仲裁器使用預解碼資料來實作排程計算法。該預解碼資料於編譯時針對每一指令來決定。在運行時間當中，該預解碼資料藉由僅解碼該指令的一小部份來擷取。替代地，該預解碼資料可連同該指令被接收，例如嵌入在與該指令相同的快取線上。一旦該微排程器仲裁器已經選擇一指令來發出給執行單元時，一解碼單元完整地解碼該指令。

系統概述

第一圖係例示設置成實作本發明一或多種態樣之一電腦系統100的方塊圖。電腦系統100包括一中央處理單元(CPU，CPU)102與一系統記憶體104，其經由包括一記憶體橋接器105的互連接路徑進行通訊。記憶體橋接器105可為例如一北橋晶片，其經由一匯流排或其它通訊路徑106(例如超傳送標準鏈路)連接到一輸入/輸出I/O，IO橋接器107。I/O橋接器107可為例如一南橋晶片，其接收來自一或多個使用者輸入裝置108(例如鍵盤、滑鼠)的使用者輸入，並經由通訊路徑106及記憶體橋接器105轉送該輸入到CPU 102。一平行處理子系統112經由一匯流排或第二通訊路徑113(例如快速周邊組件互連接(PCI Express，Peripheral Component Interconnect Express)、加速圖形處理埠、或超傳送標準鏈路)耦合至記憶體橋接器105；在一具體實施例中，平行處理子系統112為一圖形子系統，其傳遞像素到一顯示器110(例如一習用陰極射線管或液晶式的顯示器)。一系統碟114亦連接至I/O橋接器107。一交換器116提供I/O橋接器107與其它像是網路轉接器118與多種嵌入卡120及121之組件之間的連接。其它組件(未明確顯示)，包括有通用串列匯流排(USB，Universal serial bus)或其它埠連接、光碟(CD，CD)驅動器、數位視訊碟(DVD，DVD)驅動器、薄膜記錄裝置及類似者，其亦可連接至I/O橋接器107。第一圖所示之該等多種通訊路徑(包括特定名稱的通訊路徑106與113)可使用任何適當的協定來實作，例如PCI Express、加速圖形通訊埠(AGP，Accelerated Graphics Port)、超傳送標準、或任何其它匯流排或點對點通訊協定，及不同裝置之間的連接皆可使用如本技術中所知的不同協定。

在一具體實施例中，平行處理子系統112加入可針對圖形及視訊處理最佳化的電路，其包括例如視訊輸出電路，且構成一圖形處理器(GPU，GPU)。在另一具體實施例中，平行處理子系統112加入可針對一般性目的處理最佳化的電路，而可保留底層的運算架構，在此處會有更為詳細的說明。在又另一具體實施例中，平行處理子系統112在一單一子系統中可被整合於一或多個其它系統元件，例如結合記憶體橋接器105、CPU 102及I/O橋接器107而形成一系統單晶片(SoC，System on chip)。

將可瞭解到此處所示的系統僅為例示性，其有可能有多種變化及修正。連接拓樸，包括橋接器的數目與配置、CPU 102的數目及平行處理子系統112的數目皆可視需要修改。例如，在一些具體實施例中，系統記憶體104直接連接至CPU 102而非透過一橋接器耦接，而其它裝置透過記憶體橋接器105及CPU 102與系統記憶體104進行通訊。在其它可替代的拓樸中，平行處理子系統112連接至I/O橋接器107或直接連接至CPU 102，而非連接至記憶體橋接器105。在又其它具體實施例中，替代於做為一或多個分散的裝置，I/O橋接器107及記憶體橋接器105可被整合到一單一晶片當中。大型具體實施例可包括兩個或更多的CPU 102，及兩個或更多的平行處理子系統112。此處所示的特定組件皆為選擇性的；例如可支援任何數目的嵌入卡或周邊裝置。在一些具體實施例中，交換器116被省略，且網路轉接器118及嵌入卡120、121直接連接至I/O橋接器107。

第二圖例示根據本發明一具體實施例之一平行處理子系統112。如所示，平行處理子系統112包括一或多個平行處理單元(PPU，parallel processing unit)202，其每一者耦合於一局部平行處理(PP，parallel processing)記憶體204。概言之，一平行處理子系統包括數目為U的PPU，其中U□1。(在此處，類似物件的多個實例標示有辨識該物件之參考編號，而括號中的數目辨識所需要的實例。)PPU 202及平行處理記憶體204可以使用一或多個積體電路裝置來實作，例如可程式化處理器、特殊應用積體電路(ASIC，Application specific integrated circuit)，或記憶體裝置，或以任何其它技術上可行的方式來實作。

請再次參照第一圖以及第二圖，在一些具體實施例中，平行處理子系統112中部份或所有的PPU 202為圖形處理器，其具有顯像管線，其能夠設置成執行關於自CPU 102及/或系統記憶體104經由記憶體橋接器105及第二通訊路徑113所供應的圖形資料產生像素資料的多種作業，與局部平行處理記憶體204進行互動(其能夠做為圖形記憶體，其包括例如一習用圖框緩衝器)，以儲存及更新像素資料，傳遞像素資料到顯示器110及類似者。在一些具體實施例中，平行處理子系統112可以包括可操作為圖形處理器的一或多個PPU 202，及用於通用型運算的一或多個其它PPU 202。該等PPU可為相同或不同，且每個PPU可以具有一專屬的平行處理記憶體裝置或並無專屬的平行處理記憶體裝置。在平行處理子系統112中一或多個PPU 202可以輸出資料到顯示器110，或在平行處理子系統112中每個PPU 202可以輸出資料到一或多個顯示器110。

在作業中，CPU 102為電腦系統100的主控處理器，其控制及協調其它系統組件的作業。特別是CPU 102發出控制PPU 202之作業的命令。在一些具體實施例中，CPU 102對每一PPU 202寫入一命令串流至一資料結構(未明確示於第一圖或第二圖中)，其可位於系統記憶體104、平行處理記憶體204或可由CPU 102與PPU 202存取的其它儲存位置。指向至每一資料結構的一指標被寫入至一推入緩衝器來啟始在該資料結構中該命令串流之處理。PPU 202自一或多個推入緩衝器讀取命令串流，然後相對於CPU 102的該作業非同步地執行命令。執行優先性可針對每一推入緩衝器由一應用程式經由裝置驅動器103來指定，以控制該等不同推入緩衝器的排程。

現在請回頭參照第二圖以及第一圖，每個PPU 202包括一I/O單元205，其經由通訊路徑113與電腦系統100的其它部份進行通訊，其連接至記憶體橋接器105(或在一替代具體實施例中直接連接至CPU 102)。PPU 202與電腦系統100的其餘部份之連接亦可改變。在一些具體實施例中，平行處理子系統112係實作成一嵌入卡，其可被插入到電腦系統100的一擴充槽中。在其它具體實施例中，PPU 202可與一匯流排橋接器整合在一單一晶片上，例如記憶體橋接器105或I/O橋接器107。在又其它的具體實施例中，PPU 202之部份或所有元件可與CPU 102整合在一單一晶片上。

在一具體實施例中，通訊路徑113為一PCI Express鏈路，其中如本技術中所熟知，具有專屬的線路分配給每個PPU 202。亦可使用其它通訊路徑。一I/O單元205產生封包(或其它信號)在通訊路徑113上傳輸，且亦自通訊路徑113接收所有進入的封包(或其它信號)，導引該等進入封包到PPU 202的適當組件。例如，關於處理任務的命令可被導引到一主控介面206，而關於記憶體作業的命令(例如自平行處理記憶體204讀取或寫入其中)可被導引到一記憶體交叉開關單元210。主控介面206讀取每個推入緩衝器，並輸出儲存在該推入緩衝器中的命令串流至一前端212。

每一PPU 202較佳地是實作一高度平行的處理架構。如詳細所示，PPU 202(0)包括一處理叢集陣列230，其包括數目為C的通用處理叢集(GPC，General processing cluster)208，其中C1。每一GPC 208能夠同時執行大量(例如數百或數千)的執行緒，其中每個執行緒為一程式的一實例。在多種應用中，不同的GPC 208可分配來處理不同種類的程式，或執行不同種類的運算。GPC 208的分配可根據每種程式或運算所產生的工作負荷而改變。

GPC 208由一任務/工作單元207內的一工作分配單元接收要被執行的處理任務。該工作分配單元接收指向至被編碼成任務中介資料(TMD，Task Metadata)且儲存在記憶體中的處理任務的指標。該等指向至TMD的指標被包括在儲存成一推入緩衝器且由前端單元212自主控介面206接收的命令串流中。可被編碼成TMD的處理任務包括要被處理之資料的索引，以及定義了該資料要如何被處理的狀態參數和命令(例如哪一個程式要被執行)。任務/工作單元207自前端212接收任務，並確保GPC 208在由該等TMD之每一者所指定的處理啟始之前被設置成一有效狀態。一優先性可針對用於排程該處理任務之執行的每一TMD來指定。處理任務亦可自處理叢集陣列230接收。視需要，該TMD可包括一參數，其控制該TMD是否要被加入至一處理任務清單(或指向至該等處理任務的指標清單)的頭端或尾端，藉此提供在優先性之上的另一控制層級。

記憶體介面214包括數目為D 的區隔單元215，其每一者被直接耦合至平行處理記憶體204的一部份，其中D 1。如所示，區隔單元215的該數目大致上等於動態隨機存取記憶體(DRAM，Dynamic Random Access Memory)220的數目。在其它具體實施例中，區隔單元215的數目可能不等於記憶體裝置的數目。本技術專業人士將可瞭解到DRAM 220可由其它適當儲存裝置取代，並可為一般的習用設計，因此可省略詳細說明。顯像目標，例如圖框緩衝器或紋路映射，其可儲存在DRAM 220中，其允許區隔單元215平行地寫入每個顯像目標之部份而有效率地使用平行處理記憶體204之可使用頻寬。

GPC 208之任何一者可處理要被寫入到平行處理記憶體204內DRAM 220中任一者的資料。交叉開關單元210設置成導引每個GPC 208之輸出到任何區隔單元215的輸入或到另一個GPC 208做進一步處理。GPC 208經由交叉開關單元210與記憶體介面214進行通訊，以自多個外部記憶體裝置讀取或寫入其中。在一具體實施例中，交叉開關單元210具有與記憶體介面214的一連接來與I/O單元205進行通訊，以及與局部平行處理記憶體204的一連接，藉此使得不同GPC 208內的處理核心能夠與系統記憶體104或並非位在PPU 202局部之其它記憶體進行通訊。在第二圖所示的該具體實施例中，交叉開關單元210直接連接於I/O單元205。交叉開關單元210可使用虛擬通道來隔開GPC 208與區隔單元215之間的流量串流。

再次地，GPC 208可被程式化來執行關於許多種應用之處理任務，其中包括但不限於線性及非線性資料轉換、影片及/或聲音資料的過濾、模型化作業(例如應用物理定律來決定物件的位置、速度及其它屬性)、影像顯像作業(例如鑲嵌著色器、頂點著色器、幾何著色器及/或像素著色器程式)等等。PPU 202可將來自系統記憶體104及/或局部平行處理記憶體204的資料轉移到內部(晶片上)記憶體，處理該資料及將結果資料寫回到系統記憶體104及/或局部平行處理記憶體204，其中這些資料可由其它系統組件存取，包括CPU 102或另一個平行處理子系統112。

一PPU 202可具有任何數量的局部平行處理記憶體204，並不包括局部記憶體，並可用任何的組合來使用局部記憶體及系統記憶體。例如，一PPU 202可為在一統一記憶體架構(UMA，Unified memory architecture)具體實施例中的一圖形處理器。在這些具體實施例中，將可提供少數或沒有專屬的圖形(平行處理)記憶體，且PPU 202將專有地或大致專有地使用系統記憶體。在UMA具體實施例中，一PPU 202可被整合到一橋接器晶片中或處理器晶片中，或提供成具有一高速鏈路(例如PCI Express)之一分離的晶片，其經由一橋接器晶片或其它通訊手段連接PPU 202到系統記憶體。

如上所述，任何數目的PPU 202可以包括在一平行處理子系統112中。例如，多個PPU 202可提供在一單一嵌入卡上，或多個嵌入卡可被連接至通訊路徑113，或一或多個PPU 202可被整合到一橋接器晶片中。在一多PPU系統中的PPU 202可彼此相同或彼此不相同。例如，不同的PPU 202可具有不同數目的處理核心、不同數量的局部平行處理記憶體等等。當存在有多個PPU 202時，那些PPU可平行地作業而以高於一單一PPU 202所可能處理的流量來處理資料。加入有一或多個PPU 202之系統可實作成多種組態及形式因子，其中包括桌上型、膝上型、或掌上型個人電腦、伺服器、工作站、遊戲主機、嵌入式系統及類似者。

多並行任務排程

多個處理任務可在GPC 208上並行地執行，且一處理任務於執行期間可以產生一或多個「子」(child)處理任務。任務/工作單元207接收該等任務，並動態地排程該等處理任務和子處理任務來由GPC 208執行。

第三A圖係根據本發明一具體實施例中第二圖之任務/工作單元207的方塊圖。任務/工作單元207包括一任務管理單元300和工作分配單元340。任務管理單元300基於執行優先性程度組織要被排程的任務。針對每一優先性程度，任務管理單元300儲存對應於在排程器表321中該等任務之指向TMD 322的一指標清單，其中該清單可做為一鏈接串列來實作。TMD 322可被儲存在PP記憶體204或系統記憶體104中。任務管理單元300接受任務並儲存該等任務在排程器表321中的速率與任務管理單元300排程任務來執行的速率相脫離。因此，任務管理單元300可在排程該等任務之前收集數個任務。然後該等經收集的任務可基於優先性資訊或使用其它技術進行排程，例如循環式排程。

工作分配單元340包括一任務表345，其具有位置，而每一位置可由將要被執行的一任務之TMD 322佔用。任務管理單元300在當任務表345中有空的位置時即可排程任務來執行。當沒有空位置時，未佔用一位置的一較高優先性的任務可以逐出佔用一位置的一較低優先性的任務。當一任務被逐出時，該任務即停止，且如果該任務的執行尚未完成，則指向至該任務的一指標被加入到要被排程的一任務指標清單，以致該任務的執行將在稍後恢復。當於一任務執行期間產生一子處理任務時，指向至該子任務的一指標被加入到要被排程的該任務指標清單。一子任務可由在處理叢集陣列230中執行的一TMD 322來產生。

不像是任務/工作單元207自前端212接收的一任務，子任務係自處理叢集陣列230接收。子任務不會被插入到推入緩衝器中或被傳送至該前端。當產生一子任務或該子任務的資料被儲存在記憶體中時，不會通知CPU 102。經由推入緩衝器提供的該等任務和子任務之間另一個差別在於經由該等推入緩衝器提供的該等任務由應用程式定義，然而該等子任務係於該等任務的執行期間被動態地產生。

任務處理概述

第三B圖為根據本發明一具體實施例中第二圖之該等PPU 202中之一者內的一GPC 208的方塊圖。每個GPC 208可設置成平行地執行大量的執行緒，其中術語「執行緒」(thread) 代表在一特定組合的輸入資料上執行的一特定程式之實例。在一些具體實施例中，使用單一指令多重資料(SIMD，Single-instruction,multiple-data)指令發行技術來支援大量執行緒之平行執行，而不需要提供多個獨立指令單元。在其它具體實施例中，單一指令多重執行緒(SIMT，Single-instruction,multiple-thread)技術係用來支援大量概略同步化執行緒的平行執行，其使用一共用指令單元，該共用指令單元設置成發出指令到GPU 208之每一者內的一組處理引擎。不像是一SIMD執行方式，其所有處理引擎基本上執行相同的指令，SIMT的執行係允許不同的執行緒經由一給定執行緒程式而更可立即地遵循相異的執行路徑。本技術專業人士將可瞭解到一SIMD處理方式代表一SIMT處理方式的一功能子集合。

GPC 208的作業較佳地是經由一管線管理員305控制，其可分配處理任務至串流多處理器(SM，Streaming multiprocessor)310。管線管理員305亦可設置成藉由指定SM 310之已處理資料輸出的目的地來控制一工作分配交叉開關330。

在一具體實施例中，每個GPC 208包括M 個數目的SM 310，其中M1，每個SM 310設置成處理一或多個執行緒群組。同時，每個SM 310較佳地是包括可被管線化的相同組合的功能性執行單元(例如執行單元和載入儲存單元，如第三C圖中所示的執行單元302和載入儲存單元(LSU，Load-store Unit)303)，允許在一先前指令已經完成之前發出一新指令，其為本技術中已知。並可提供任何功能性執行單元的組合。在一具體實施例中，該等功能單元支援多種運算，其中包括整數及浮點數算術(例如加法及乘法)、比較運算、布林運算(AND、OR、XOR)、位元偏位及多種代數函數的運算(例如平面內插、三角函數、指數及對數函數等)；及相同的功能單元硬體可被利用來執行不同的運算。

傳送到一特定GPC 208之指令系列構成一執行緒，如先前此處所定義者，遍及一SM 310內之平行處理引擎(未示出)的並行地執行某個數目之執行緒的集合在此稱之為「包繞」(warp)或「執行緒群組」(thread group)。如此處所使用者，一「執行緒群組」代表同步地對於不同輸入資料執行相同程式的一執行緒的群組，該群組的一執行緒被指定給一SM 310內的一不同處理引擎。一執行緒群組可包括比SM 310內之處理引擎的數目要少的執行緒，其中當該執行緒群組正在被處理的循環期間，一些處理引擎將為閒置。一執行緒群組亦可包括比SM 310內的處理引擎之數目要更多的執行緒，其中處理將發生在連續的時脈循環之上。因為每個SM 310可並行地支援最多到G 個執行緒群組，因此在任何給定時間在GPC 208中最多可執行G *M 個執行緒群組。

此外，在相同時間於一SM 310內可以啟動複數個相關的執行緒群組(在不同的執行階段)。此執行緒群組的集合在此處稱之為「協同執行緒陣列」(CTA，Cooperative thread array)或「執行緒陣列」(thread array)。一特定CTA之大小等於m*k，其中k為在一執行緒群組中並行地執行的執行緒之數目，其基本上為SM 310內平行處理引擎的數目之整數倍數，而m為在SM 310內同時啟動的執行緒群組之數目。一CTA的大小概略由程式器及該CTA可使用之硬體資源(例如記憶體或暫存器)的數量所決定。

每一SM 310包含一階(L1)快取(如第三C圖所示)，或使用在SM 310外部的一相對應L1快取中用於執行負載與儲存作業的空間。每個SM 310亦可存取到所有GPC 208之間共用的二階(L2)快取，並可用於在執行緒之間傳送資料。最後，SM 310亦可存取到晶片外的「通用」記憶體，其可包括例如平行處理記憶體204及/或系統記憶體104。應瞭解到在PPU 202外部的任何記憶體皆可做為通用記憶體。此外，一1.5階(L1.5) 快取335可包括在GPC 208之內，設置成由SM 310要求經由記憶體介面214接收及保持自記憶體提取的資料，其中包括指令、一致性資料與常數資料，並提供該要求的資料至SM 310。在GPC 208中具有多個SM 310的具體實施例較佳地是共用被快取在L1.5快取335中的共通指令和資料。

每一GPC 208可包括一記憶體管理單元(MMU，Memory management unit)328，其設置成將虛擬位址映射到實體位址。在其它具體實施例中，MMU 328可存在於記憶體介面214內。MMU 328包括一組頁表項(PTE，Page table entry)，用於將一虛擬位址映射到一瓷磚的一實體位址，或是一快取線索引。MMU 328可以包括位址轉譯後備緩衝器(TLB，Translation lookaside buffer)或可以存在於多處理器SM 310或L1快取或GPC 208內的快取。該實體位址被處理成分配表面資料存取局部性，以允許在區隔單元215之間有效率的要求交叉。該快取線索引可用於決定一快取線的一要求為一命中或錯失。

在圖形和運算應用中，一GPC 208可設置成使得每個SM 310耦合於一紋路單元315，用於執行紋路映射作業，例如決定紋路樣本位置、讀取紋路資料及過濾該紋路資料。紋路資料自一內部紋路L1快取(未示出)讀取，或是在一些具體實施例中自SM 310內的L1快取讀取，且視需要自所有GPC 208、平行處理記憶體204或系統記憶體104之間所共用的一L2快取來擷取。每一SM 310輸出已處理的任務至工作分配交叉開關330，藉以提供該已處理的任務至另一GPC 208進行進一步處理，或是將該已處理的任務經由交叉開關單元210儲存在一L2快取、平行處理記憶體204或系統記憶體104中。一預先掃描場化作業(preROP，Pre-raster Operation)325設置成自SM 310接收資料、導引資料到間隔單元215內的ROP單元並進行色彩混合的最佳化、組織像素色彩資料並執行位址轉譯。

將可瞭解到此處所示的核心架構僅為例示性，其有可能有多種變化及修正。在一GPC 208內可包括任何數目的處理單元，例如SM 310或紋路單元315、preROP 325。再者，如第二圖所示，一PPU 202可以包括任何數目的GPC 208，其較佳地是在功能上彼此類似，以致執行行為並不會根據是哪一個GPC 208接收一特定處理任務而決定。再者，每個GPC 208較佳地是與其它使用分開且不同的處理單元、L1快取的GPC 208獨立地運作，以針對一或多個應用程式來執行任務。

本技術專業人士將可瞭解到在第一圖、第二圖、第三A圖和第三B圖中所述之該架構並未以任何方式限制本發明之範疇，而此處所教示的技術可以實作在任何適當設置的處理單元上，其包括但不限於一或多個CPU、一或多個多核心CPU、一或多個PPU 202、一或多個GPC 208、一或多個圖形或特殊目的處理單元或類似者，其皆不背離本發明之範疇。

在本發明之具體實施例中，需要使用PPU 202或一運算系統的其它處理器來使用執行緒陣列執行一般性運算。在該執行緒陣列中每一執行緒被指定一唯一執行緒識別(thread ID)，其可在該執行緒的執行期間由該執行緒存取。可被定義成一維或多維度數值的執行緒ID控制該執行緒的處理行為之多種態樣。例如，一執行緒ID可用於決定一執行緒要做處理的是輸入資料集的哪一部份，及/或決定一執行緒要產生或寫入的是一輸出資料集的哪一部份。

每個執行緒指令的一序列可以包括至少一指令來定義代表性執行緒和執行緒陣列的一或多個其它執行緒之間的一協同行為。例如，每個執行緒指令的該序列可以包括一指令來在該序列中一特定點處中止該代表性執行緒之作業的執行，直到當該等其它執行緒中一或多者到達該特定點為止，該代表性執行緒的一指令係儲存資料在該等其它執行緒中一或多者可存取的一共用記憶體中，該代表性執行緒的一指令係基於它們的執行緒ID原子性地讀取和更新儲存在該等其它執行緒中一或多者可存取的一共用記憶體中的資料，或類似者。CTA程式亦可包括一指令來運算在該共用記憶體中的一位址，資料係從該共用記憶體讀取，其中該位址為執行緒ID的函數。藉由定義適當的函數和提供同步化技術，資料可藉由一CTA的一執行緒被寫入到共用記憶體中一給定的位置，並以一可預測的方式由該相同CTA的一不同執行緒自該位置讀取。因此，即可支援在執行緒當中共用任何需要的資料型式，且在一CTA中的任何執行緒能夠與該相同CTA中的任何其它執行緒共用資料。如果有的話，在一CTA的執行緒當中之資料共用的程度係由該CTA程式決定；因此，應瞭解到在使用CTA的一特定應用中，根據該CTA程式，一CTA的該等執行緒可以或不需要實際地彼此共用資料，該等術語「CTA」和「執行緒陣列」在此處為同義地使用。

第三C圖為根據本發明一具體實施例中第三B圖的SM 310的方塊圖。SM 310包括一指令L1快取370，其設置成經由L1.5快取335自記憶體接收指令和常數。一包繞排程器和指令單元312自指令L1快取370接收指令和常數，並根據該等指令和常數控制局部暫存器檔案304和SM 310功能性單元。SM 310功能性單元包括N個執行(執行或處理)單元302和P個載入儲存單元(LSU)303。

SM 310提供具有不同程度之存取性的晶片上(內部)資料儲存。特殊暫存器(未示出)可由LSU 303讀取但不能寫入，並用於儲存定義每一執行緒的「位置」之參數。在一具體實施例中，特殊暫存器包括每一執行緒(或SM 310內的每一執行單元302)的一暫存器，用於儲存一執行緒ID；每一執行緒ID暫存器僅可由執行單元302的個別單元存取。特殊暫存器亦可包括額外的暫存器，其可由執行由儲存一CTA識別、CTA維度、該CTA所屬的一格柵的維度(或如果TMD 322編碼一佇列任務而非一格柵任務時的佇列位置)、以及該CTA被指定到的TMD 322之一識別的一TMD 322(或由所有LSU 303)所代表的處理相同任務的所有執行緒來讀取。

如果TMD 322為一格柵TMD，TMD 322的執行造成固定數目的CTA被啟動及執行，以處理儲存在佇列525中固定數量的資料。該CTA的數目被指定為格柵之寬度、高度及深度的產物。該固定數量的資料可以儲存在TMD 322中，或者TMD 322可以儲存指向至將由該等CTA處理的資料之一指標。TMD 322亦儲存由該等CTA執行的程式之一開始位址。

如果TMD 322為一佇列TMD，則使用TMD 322的一佇列特徵，這代表要被處理的資料量並不一定是固定的。佇列項目儲存資料來由指定給TMD 322的CTA做處理。該等佇列項目亦可代表於一執行緒的執行期間由另一TMD 322產生的一子任務，藉此提供巢化的平行度。基本上，該執行緒或包括該執行緒的CTA之執行被中止，直到該子任務的執行完成為止。該佇列可儲存在TMD 322中或隔離於TMD 322，其中TMD 322儲存指向至該佇列的一佇列指標。較佳地是，當代表該子任務的TMD 322正在執行時，由該子任務產生的資料可被寫入到該佇列。該佇列可實作成一圓形佇列，以致資料的總量並不限於該佇列的大小。

屬於一格柵的CTA具有隱式格柵寬度、高度和深度參數以指明該格柵內個別CTA的位置。特殊暫存器在啟始期間回應於經由前端212自裝置驅動器103接收的命令而被寫入，且於一處理任務的執行期間不會改變。前端212排程每一處理任務來執行。每一CTA關聯於一特定TMD 322來用於一或多個任務的並行執行。此外，一單一GPC 208可以並行地執行多個任務。

一參數記憶體(未示出)儲存運行時間參數(常數)，其可被相同CTA(或任何LSU 303)內的任何執行緒讀取但無法寫入。在一具體實施例中，裝置驅動器103在導引SM 310開始使用這些參數的一項任務之執行之前提供參數至該參數記憶體。任何CTA內的任何執行緒(或SM 310內的任何執行單元302)能夠經由一記憶體介面214存取共通記憶體。共通記憶體的一些部份可被儲存在L1快取320中。

局部暫存器檔案304由每一執行緒使用做為暫存空間；每一暫存器被分配做為一執行緒的專屬使用，而在任何局部暫存器檔案304中的資料僅可由該暫存器被分配到的執行緒來存取。局部暫存器檔案304可實作成被實體或邏輯性地區分成P條線路的一暫存器檔案，其每一者具有某個數目的項目(其中每個項目可以儲存例如32位元的字元)。一條線路被指定給N個執行單元302和P個載入儲存單元LSU 303的每一者，且在不同線路中的相對應的項目可存在有執行相同程式的不同執行緒之資料來實施SIMD執行。該等線路的不同部份可被分配給G個並行執行緒群組之不同的執行緒群組，以致於在局部暫存器檔案304中一給定項目僅可由一特定執行緒存取。在一具體實施例中，局部暫存器檔案304內某些項目被保留來儲存執行緒識別及實作特殊暫存器之一。此外，一一致性L1快取375儲存N個執行單元302和P個載入儲存單元LSU 303之每一線路的一致性或常數值。

共用記憶體306可由一單一CTA內的執行緒存取；換言之，在共用記憶體306中的任何位置可由該相同CTA內任何執行緒存取(或可由SM 310內任何處理引擎存取)。共用記憶體306可實作成利用一互連接的一共用暫存器檔案或共用的晶片上快取記憶體，其可允許任何處理引擎可讀取或寫入到該共用記憶體中的任何位置。在其它具體實施例中，共用的狀態空間可映射到晶片外記憶體的一每一CTA的區域之上，且被快取在L1快取320中。參數記憶體可被實作成該相同共用暫存器檔案或實作共用記憶體306的共用快取記憶體內一指定的區段，或是實作成一獨立的共用暫存器檔案或LSU 303可唯讀存取的晶片上快取記憶體。在一具體實施例中，實作該參數記憶體的區域亦用於儲存CTA ID與任務ID，以及CTA與格柵維度或佇列位置，實作特殊暫存器的某些部份。在SM 310中的每一LSU 303耦合至一統一位址映射單元352，其轉換提供用於載入與儲存在一統一記憶體空間中指定的指令之一位址成為在每一不同記憶體空間中的一位址。因此，一指令可藉由指定在該統一記憶體空間中的一位址來用於存取局部、共用或共通記憶體空間之任一者。

在每一SM 310中的L1快取320可用於快取私密的每一執行緒之局部資料，以及每一應用程式的共通資料。在一些具體實施例中，每一CTA共用的資料可被快取在L1快取320中。LSU 303經由一記憶體和快取互連接380耦合至共用記憶體306和L1快取320。

指令排程

第四圖為根據本發明一示例具體實施例之第三C圖的該包繞排程器和指令單元312的方塊圖。如第四圖所示，包繞排程器和指令單元312包括一指令快取提取單元412，其設置成自指令L1快取370提取包含有包繞的指令之快取線。在一具體實施例中，每一快取線為512位元寬，儲存八個指令(64位元寬)在一單一快取線中。指令快取提取單元412導引自指令L1快取370提取的指令到指令提取緩衝器(IFB，Instruction fetch buffer)422做暫時儲存，而並未解碼該等指令。此外，指令快取提取單元412導引關聯於該等指令的預解碼資料到指令預解碼緩衝器(IPB，Instruction pre-decode buffer)424和巨集排程器單元420。該預解碼資料可以編碼關聯於該指令的一潛時值(由一編譯器預定)(例如此指令之執行在來自包繞的下一個指令可以執行之前將需要四個時脈循環)。該預解碼資料可以指明該指令必須在與下一指令相同的排程循環中被發出。該預解碼資料可以指明該指令和該下一指令必須在連續的排程循環中被發出。最後，該預解碼資料可以調整該指令的一選擇優先性程度，以在當另一執行緒群組的一指令並無資格被發出時增加或降低該指令被選擇來被發出的可能性。

在一具體實施例中，預解碼資料可藉由僅解碼指令的一部份來產生(例如解碼該指令的前三個位元)。將可瞭解到僅解碼該指令的該小部份比解碼整個64位元的指令要有效率得多，其係對於執行該解碼作業所需要的時脈循環數目或是SM 310中實體邏輯電路的數量而言皆然。在另一具體實施例中，該預解碼資料可被包括成在快取線中的一獨立指令。例如，PPU 202的指令集架構(ISA，Instruction set architecture)可以定義一特殊指令(ss-inst )，其在當由PPU 202解碼來執行時，即為一未執行作業(NOP，No Operation Performed)指令的同等者。

當一程式被編譯來產生用於在PPU 202上執行多個執行緒的機器碼時，編譯器可設置成寫入一ss-inst 指令到記憶體之每一列的開頭處(其中記憶體的每一列對應於快取線的寬度)。該ss-inst 可以包括一8位元運算碼，其可辨識做為一ss-inst 指令的指令，以及儲存被寫入到該記憶體之相對應的列之其它七個指令之每一指令的預解碼資料之七個8位元數值。在另外其它具體實施例中，預解碼資料可藉由其它技術上可行的手段傳送至巨集排程器單元420和IPB 424，例如藉由寫入該預解碼資料到PPU 202中的特殊暫存器。

在一具體實施例中，IPB 424實作一簡單讀取排程器來確保包繞先進先出(FIFO，First In,First Out)442並非空的。在一具體實施例中，包繞FIFO 442可被實作成一些FIFO，其可儲存對應於被排程來在SM 310上執行之包繞的每一者的ss-inst 指令。IPB 424使得快取提取係與指令分派到SM 310的邏輯單元為非同步地執行。巨集排程器單元420維持關聯於被排程在SM 310上之包繞的每一者的一優先性，並基於該等優先性執行關聯於經提取的指令之預解碼資料的一排序。例如，巨集排程器單元420可以維持關聯於在任何給定時間16個排程在SM 310上之不同包繞的每一者的一6位元或10位元優先性數值。該優先性可基於多種因素被指定。在一具體實施例中，優先性可基於何時該包繞被排程在SM 310上(即該最長待決包繞可具有最高優先性)。在其它具體實施例中，每一包繞的該優先性可由被該包繞執行的指令所定義的程式來指定。

在一具體實施例中，巨集排程器單元420在每j個數目的時脈循環時執行一新的排序。例如，對於16個包繞，巨集排程器單元420可以在每四個時脈循環時執行一優先性排序。在第一時脈循環中，巨集排程器單元420可以針對該等16個待決包繞之每一者取樣目前優先性數值，該等優先性的開始順序可基於先前的排序順序。在第二時脈循環中，巨集排程器單元420基於關聯於該兩個包繞的優先性數值比較和交換包繞0和2、包繞1和3、包繞4和6......以及包繞13和15(其中包繞0對應於最高優先性數值，而包繞15對應於最低優先性數值)。在第三時脈循環中，巨集排程器單元420基於優先性數值比較和交換包繞0和1、包繞2和3、包繞4和5......以及包繞14和15。在第四時脈循環中，巨集排程器單元420比較和交換包繞1和2、包繞3和4......以及包繞13和14。然後基於此優先性排序的新順序即用於由微排程器仲裁器440決定由哪一個包繞來分派下一指令。

微排程器仲裁器440基於由巨集排程器單元420產生的包繞順序之一優先性調整和預解碼資料來選擇一儲存在IFB 422中的一指令。微排程器仲裁器440並不必要在由巨集排程器單元420所指定的新順序中選擇該等指令。當一第一指令可基於該預解碼資料發出時，該指令由微排程器仲裁器440發出。當該第一指令無法基於該預解碼資料發出時，微排程器仲裁器440決定一不同包繞的一指令是否可基於個別指令的預解碼資料來發出。在一些案例中，該第一指令可被發出，但該預解碼資料指定該第一指令為低優先性，所以發出的是另一指令(來自一不同的包繞)。在所有案例中，每一個別包繞的指令以該個別包繞的該等指令可以自該巨集排程器單元420接收的順序來發出。因此，針對任何排程循環，微排程器仲裁器440以由巨集排程器單元420提供的該新順序做選擇來考慮該第一指令。根據該第一指令的該預解碼資料，微排程器仲裁器440可自一不同包繞選擇一指令。

微排程器仲裁器440維持SM 310的一狀態模型，其基於經發出的指令來更新。該狀態模型允許微排程器仲裁器440基於程式的動態執行和SM 310內資源的可用性來選擇指令。例如，一SM 310或在一SM 310內將執行該指令的一功能性單元可被辨識為該指令需要的一資源，且該資源的可用性可由微排程器仲裁器440使用。

一旦微排程器仲裁器440選擇下一指令來發出時，微排程器仲裁器440使得該指令從IFB 422導引到解碼單元450。在一些具體實施例中，根據SM 310的架構，指令可為雙重或四重發出，這代表在一特定時脈循環中可以發出和解碼一個以上的指令。

解碼單元450接收要從IFB 422分派的下一指令。解碼單元450執行該指令的一完整解碼，並傳送該經解碼的指令到分派單元470。再次地，在一些具體實施例中，指令可為雙重或四重發出，且解碼單元450可針對每一經發出的指令實作一獨立的解碼邏輯。分派單元470實作一FIFO，並寫入經解碼的數值到局部暫存器檔案340來由執行單元302或載入/儲存單元303執行。在同時發出多個指令的具體實施例中，分派單元470可發出每一指令到SM 310的功能性單元之一不同部份。分數板單元480管理和追蹤已經被解碼及分派給每一執行緒群組的指令數目。

包繞排程器和指令單元312亦可包括一重播緩衝器430。在一些實例中，由分派單元470分派的一指令可被SM 310中的功能性執行單元拒絕。在這些實例中，替代於重新提取該指令和重新解碼該指令，該經解碼的指令可以儲存在重播緩衝器430中來再次地於一稍後的時脈循環被發出和分派。被推測性發出而未執行的指令可能需要被重新發出並輸入到重播緩衝器430。一指令可能由於一快取錯失或一不正確分支而不被執行。與其等待該快取錯失被解決並使得在該指令之後已經發出的指令被延遲，該指令會在稍後被重新發出。

微排程器仲裁器440接收要從重播緩衝器430重新發出的指令。微排程器仲裁器440基本上設置成自重播緩衝器430選擇一重新發出指令而高於包繞FIFO 442中任何的指令。但是，在包繞FIFO 442中之第一指令的預解碼資料可以指定該第一指令必須由微排程器仲裁器440選擇，即使當一重新發出指令為可使用時。

第五A圖例示根據本發明一示例具體實施例之自指令L1快取370提取的一快取線500。如所示，快取線500為512位元寬，且包括八個指令。位元0到63儲存一特殊指令(ss-inst )510，類似於以上在第四圖中所述之該指令，其中包括關聯於在快取線500中另外七個指令之每一者的預解碼資料。除了ss-inst 510之外，快取線500的位元64到127儲存一第一指令(inst_1 )512，位元128到191儲存一第二指令(inst_2 )522，位元192到255儲存一第三指令(inst_3 )523，位元256到319儲存一第四指令(inst_4 )524，位元320到383儲存一第五指令(inst_5 )525，位元384到447儲存一第六指令(inst_6 )526以及位元448到512儲存一第七指令(inst_7 )527。將可瞭解到快取線500的大小可在不同具體實施例中變化。例如，在一具體實施例中，指令可為32位元寬，且快取線500可為256位元寬。在其它具體實施例中，預解碼資料的數量可高於每一指令的8位元，因此驅動器103可以寫入兩個連續的ss-inst 指令到快取線500的位元0到128，以及寫入六個指令在位元128到512中，其中每一ss-inst 提供快取線500中六個指令中之三個的預解碼資料。

第五B圖例示根據本發明一示例具體實施例之第五A圖的該特殊指令ss-inst 510。如第五B圖所示，ss-inst 510包括一8位元寬的運算碼530，其儲存在ss-inst 510的位元0到7。ss-inst 510指令亦包括關聯於ss-inst 510的七個指令之預解碼資料。一第一組預解碼資料(P_1 )541儲存在位元8到15，一第二組預解碼資料(P_2 )542儲存在位元16到23，一第三組預解碼資料(P_3 )543儲存在位元24到31，一第四組預解碼資料(P_4 )544儲存在位元32到39，一第五組預解碼資料(P_5 )545儲存在位元40到47，一第六組預解碼資料(P_6 )546儲存在位元48到55以及一第七組預解碼資料(P_7 )547儲存在位元56到63。如以上簡短之討論，預解碼資料541-547可以編碼關聯於一相對應指令的排程資訊之一或多個數值。例如，該預解碼資料可以編碼具有四個位元的一潛時值(即0和15之間的一數值)，以及具有其它四個位元的一特殊排程提示，例如一個碼，其指明給包繞排程器和指令單元312，在至少八個排程循環的該相對應指令之後並無來自該相同包繞的額外指令必須被發出。

有四種不同型式的排程提示被編碼在一指令的預解碼資料中，例如預設、成對、保持和等待。預設排程提示係針對指定該預設排程提示的指令來定義(固定或程式化)及使用。成對排程提示指定第一指令必須在與相同包繞的下一指令相同的排程循環中被發出。針對該下一指令所指定的該提示被應用到與該下一指令成對的該第一指令。保持排程提示指定該第一指令必須在任何其它包繞的一指令之前被選擇。此外，該保持排程提示亦指定自重播緩衝器430接收的重新發出指令是否可在該第一指令之前被選擇。在一具體實施例中，該保持排程提示亦指定該第一指令是否可被發出，即使一先前發出的載入或儲存作業針對該包繞尚未完成。

等待排程提示指定微排程器仲裁器440必須在發出第一指令之前等待w個發出循環。此外，該排程提示可以指明一特定包繞的發出優先性必須針對該包繞的指令來提高。相反地，該排程提示可以指明一特定包繞的發出優先性必須降低，以致該包繞同意允許其它包繞的指令可針對一給定指令來發出。該包繞之指令的排程優先性在針對該等待排程提示所指定的排程循環數目已經耗盡之後可被增加或降低。當該包繞的指令之優先性被降低時，可以指定一特定數目的排程循環，然後該排程優先性被增加回到一中性程度。當對應於該等待排程提示的指令發出時，該包繞的該排程優先性可在當該包繞的另一指令為自包繞FIFO 442提供給微排程器仲裁器440的第一指令時被改變。最後，該排程提示亦可指明該指令是否當在該包繞中的一或多個執行緒於執行期間發散時有可能被重新發出一或多次。

針對每一排程提示之不同類型的預解碼資料和選項皆示於表一中。

第六圖例示根據本發明一示例具體實施例的一種用於無指令解碼而排程指令的方法600。雖然方法步驟係配合第一圖、第二圖、第三A圖到第三C圖、第四圖和第五圖之系統做說明，本技術專業人士將可瞭解到設置成以任何順序執行該等方法步驟的任何系統皆在本發明之範疇內。

方法600開始於步驟610，其中包繞排程器和指令單元312自指令L1快取370提取關聯於兩個或更多執行緒群組的複數個指令。每一提取可以擷取一快取線，其中包含儲存在該相同快取線中一些不同的指令。在一具體實施例中，該快取線的第一指令為一特殊指令(ss-inst )510，其中包括儲存在該快取線中其它指令的預解碼資料。在步驟612，包繞排程器和指令單元312儲存指令在包繞排程器和指令單元312內的IFB 422中。在步驟614，包繞排程器和指令單元312傳送預解碼資料到IPB 424。在一具體實施例中，該預解碼資料藉由執行該指令的一部份解碼所產生。在另一具體實施例中，該預解碼資料自包括在該快取線中的一特殊指令讀取。在又另一具體實施例中，該預解碼資料可自記憶體中的一特殊位置讀取。

在步驟616，包括在包繞排程器和指令單元312中的一巨集排程器單元420執行一優先性排序來決定兩個或更多執行緒群組的一順序。在一具體實施例中，包繞排程器和指令單元312可以管理最多到十六個不同執行緒群組來平行執行。該等執行緒群組的順序代表每一執行緒群組用於排程決策的優先性。巨集排程器單元420可以指定一6位元優先性數值給該等執行緒群組之每一者。巨集排程器單元420根據該等執行緒群組優先性數值排序在IPB 422中的預解碼資料到包繞FIFO 442中，產生該等執行緒群組之指令的一順序。在步驟618，包括在包繞排程器和指令單元312中的一微排程器仲裁器440至少部份基於在包繞FIFO 442中該等執行緒群組和該預解碼資料的順序來選擇一指令做執行。

在步驟620，包括在包繞排程器和指令單元312中的解碼單元450解碼經選擇的指令來在SM 310上執行。在一具體實施例中，解碼單元450可以實作兩個或更多的獨立和不同的邏輯方塊來平行地解碼多個指令。在步驟622，分派單元470傳送該等經解碼的指令到局部暫存器檔案304來由SM 310的功能性單元執行。在步驟624，包繞排程器和指令單元312決定在IFB 422中是否有更多的待決指令。如果有更多的待決指令，方法600回到步驟610，並選擇另一指令來執行。但是，如果在IFB 422中沒有待決指令，方法600即終止。

所揭示系統的一項好處為解碼單元僅解碼要被排程的下一個指令，降低由於在決定哪一指令要排程之前等待直到複數指令已經解碼所造成的潛時。所揭示系統的另一項好處為在利用微排程器仲裁器調整執行緒群組的順序之前利用巨集排程器單元執行一優先性排序即可大為降低實作排程計算法所需要的邏輯數量，其僅需要該等經排序的執行緒群組之一快速樹狀穿越來決定預備好要被分派的最高優先性指令。

第七圖例示根據本發明一示例具體實施例的一種使用預解碼資料排程指令的方法700。方法700中顯示的步驟可以用於執行第六圖的步驟618之至少一部份。雖然方法步驟係配合第一圖、第二圖、第三A圖到第三C圖、第四圖和第五圖之系統做說明，本技術專業人士將可瞭解到設置成以任何順序執行該等方法步驟的任何系統皆在本發明之範疇內。

方法700由微排程器仲裁器440針對每一排程循環來執行。方法700開始於步驟705，其中微排程器仲裁器440決定預解碼資料是否編碼一保持排程提示，如果是，則在步驟710，微排程器仲裁器440決定針對該保持排程提示是否指定「全部」選項。如果指定該「全部」選項，則在步驟762，微排程器仲裁器440發出第一指令。即使一重新發出指令可以被發出，該第一指令仍被發出。

如果在步驟710微排程器仲裁器440決定針對保持排程提示並未指定「全部」選項，則針對該保持排程提示指定IFB選項，以及在步驟714，微排程器仲裁器440決定在重播緩衝器430中是否有一重新發出指令可用。如果在重播緩衝器430中並無可用的一重新發出指令，則在步驟762微排程器仲裁器440發出第一指令。如果在步驟714在重播緩衝器430中有一重新發出指令可用，則在步驟716微排程器仲裁器440發出該重新發出指令。

回到步驟705，如果微排程器仲裁器440決定預解碼資料並未編碼一保持排程提示，則在步驟706微排程器仲裁器440決定在重播緩衝器430中是否有一重新發出指令可用。如果在重播緩衝器430中有一重新發出指令可用，則在步驟716微排程器仲裁器440發出該重新發出指令。

如果在步驟706微排程器仲裁器440決定在重播緩衝器430中並無一重新發出指令可用，則在步驟715微排程器仲裁器440決定成對排程提示是否存在，而如果是，則在步驟717第一和第二指令在相同排程循環中被發出。該第一指令為由巨集排程器單元420提供給微排程器仲裁器440的包繞之指令之新順序中的第一指令。該第二指令為與該第一指令有相同包繞的第二指令。換言之，該第二指令並非必要為在指令的新順序中的第二指令。

如果在步驟715微排程器仲裁器440決定預解碼資料並未編碼一成對排程提示，則在步驟730微排程器仲裁器440決定該預解碼資料是否編碼一等待排程提示。如果該預解碼資料並未編碼一等待排程提示，則該預解碼資料必須使用預設排程提示來編碼。該預設排程提示可以為相關聯選項的成對、等待或保持排程提示。在步驟732，微排程器仲裁器440使用該預設排程提示，並回到步驟705來決定由該預設排程提示所指定的排程提示。

如果在步驟730微排程器仲裁器440決定預解碼資料編碼一等待排程提示，則在步驟735微排程器仲裁器440決定第一指令是否為在一先前排程循環中尚未被考慮來選擇的一新指令。如果該第一指令為一新指令時，則在步驟740包繞的等待計數器基於針對該等待排程提示所指定的w數值被初始化。該包繞的該等待計數器在每一排程循環中被更新(遞減或遞增)。該第一指令直到至少w個排程循環已經耗盡之後才會發出。如果在步驟735微排程器仲裁器440決定該第一指令並非一新指令，則在步驟745微排程器仲裁器440決定該包繞的該等待計數器是否已經到期，即指明針對該第一指令已經耗盡w個排程循環。如果在步驟745該等待計數器尚未到期，則在步驟780發出來自另一包繞的一指令。

如果在步驟745微排程器仲裁器440決定包繞的等待計數器已經到期，則在步驟750微排程器仲裁器440決定針對等待排程提示是否指定提高選項。當指定該提高選項時，在步驟755微排程器仲裁器440更新該包繞的優先性以增加排程優先性。在步驟780，第一指令會被儘快地發出。

當未指定提高選項時，在步驟760微排程器仲裁器440決定針對等待排程提示是否指定產生選項。如果未指定該產生選項，在步驟762第一指令即被發出。否則，在步驟765微排程器仲裁器440決定等待計數器是否針對該第一指令剛好到期。當該等待計數器針對包繞剛好到期時，則產生計數器必須被初始化。在步驟767該包繞的排程優先性被更新。在步驟770該包繞的該產生計數器基於針對該等待排程提示所指定的y數值被初始化。該包繞的該產生計數器在每一排程循環中被更新(遞減或遞增)，直到已經耗盡y個排程循環為止。當該包繞的排程優先性被降低時，微排程器仲裁器440將選擇具有一較高排程優先性的一不同包繞的一指令。因此，在步驟780，微排程器仲裁器440發出一不同包繞的一指令。

回到步驟765，當微排程器仲裁器440決定等待計數器尚未到期時，產生計數器已經針對包繞被初始化，且在步驟775，微排程器仲裁器440決定該包繞的該產生計數器是否已經到期，以指明針對第一指令已經耗盡y個排程循環。如果在步驟775該產生計數器尚未到期，則在步驟780發出來自另一包繞的一指令。否則，在步驟755該包繞的優先性被更新到中性值。

預解碼資料編碼排程提示來在運行時間期間內使用，以相對於相同包繞的其它指令來控制何時發出指令來執行，並調整優先性程度來控制微排程器仲裁器440如何選擇指令來在不同包繞之間發出。該等排程提示由一編譯器決定。該等排程提示可以指定在排程該指令之前要等待的排程循環數目，且亦可指定該指令的一排程優先性。一旦微排程器仲裁器440選擇一指令來發出執行，一解碼單元完整地解碼該指令。僅解碼該指令的該預解碼資料部份來控制該指令的排程會比解碼整個64位元指令並分析每一包繞的指令序列要有效率得多。

本發明一具體實施例可以實作成由一電腦系統使用的一程式產品。該程式產品的程式定義具體實施例的功能(包括此處所述的方法)，並可包含在多種電腦可讀取儲存媒體上。例示性的電腦可讀取儲存媒體包括但不限於：(i)不可寫入儲存媒體(例如在一電腦內的唯讀記憶體裝置，例如可由光碟唯讀記憶體(CD-ROM，Compact Disc Read Only Memory)驅動器讀取的光碟唯讀記憶體(CD-ROM)碟片、快閃記憶體、唯讀記憶體(ROM)晶片或任何其它種類的固態非揮發性半導體記憶體)，其上可永久儲存資訊；及(ii)可寫入儲存媒體(例如在一磁碟機內的軟碟片、硬碟機或任何種類的固態隨機存取半導體記憶體)，其上可儲存可改變的資訊。

本發明已經參照特定具體實施例在以上進行說明。但是本技術專業人士將可瞭解到在不背離所附申請專利範圍所提出之本發明的廣義精神與範疇之下可對其進行多種修正與改變。因此前述的說明及圖式係在以例示性而非限制性的角度來看待。

100‧‧‧電腦系統

102‧‧‧中央處理單元

103‧‧‧裝置驅動器

104‧‧‧系統記憶體

105‧‧‧記憶體橋接器

106‧‧‧通訊路徑

107‧‧‧輸入/輸出橋接器

108‧‧‧輸入裝置

110‧‧‧顯示器

112‧‧‧平行處理子系統

113‧‧‧通訊路徑

114‧‧‧系統碟

116‧‧‧交換器

118‧‧‧網路轉接器

120,121‧‧‧嵌入卡

202‧‧‧平行處理單元

204‧‧‧平行處理記憶體

205‧‧‧輸入/輸出單元

206‧‧‧主控介面

207‧‧‧任務/工作單元

208‧‧‧通用處理叢集

210‧‧‧交叉開關單元

212‧‧‧前端

214‧‧‧記憶體介面

215‧‧‧區隔單元

220‧‧‧動態隨機存取記憶體

230‧‧‧處理叢集陣列

300‧‧‧任務管理單元

302‧‧‧執行單元

303‧‧‧載入儲存單元

304‧‧‧局部暫存器檔案

305‧‧‧管線管理員

306‧‧‧共用記憶體

310‧‧‧串流多處理器

312‧‧‧包繞排程器和指令單元

315‧‧‧紋路單元

320‧‧‧L1快取

321‧‧‧排程器表

322‧‧‧任務中介資料

325‧‧‧預先掃描場化作業

328‧‧‧記憶體管理單元

330‧‧‧工作分配交叉開關

335‧‧‧L1.5快取

340‧‧‧工作分配單元

345‧‧‧任務表

352‧‧‧統一位址映射單元

370‧‧‧指令L1快取

380‧‧‧記憶體和快取互連接

412‧‧‧指令快取提取單元

420‧‧‧巨集排程器單元

422‧‧‧指令提取緩衝器

424‧‧‧指令預解碼緩衝器

430‧‧‧重播緩衝器

440‧‧‧微排程器仲裁器

442‧‧‧包繞先進先出

450‧‧‧解碼單元

470‧‧‧分派單元

480‧‧‧分數板

500‧‧‧快取線

510‧‧‧特殊指令

521‧‧‧第一指令

522‧‧‧第二指令

523‧‧‧第三指令

524‧‧‧第四指令

525‧‧‧第五指令

526‧‧‧第六指令

527‧‧‧第七指令

530‧‧‧運算碼

541‧‧‧預解碼資料

542‧‧‧預解碼資料

543‧‧‧預解碼資料

544‧‧‧預解碼資料

545‧‧‧預解碼資料

546‧‧‧預解碼資料

547‧‧‧預解碼資料

所以，可以詳細瞭解本發明上述特徵之方式中，一更為特定的說明簡述如上，其可藉由參照示例具體實施例來進行，其中一些例示於所附圖式中。但是可注意到，所附圖式僅例示本發明的典型具體實施例，因此其並非要做為本發明之範疇的限制，其可允許其它同等有效的具體實施例。

第一圖為例示設置成實作本發明一或多種態樣之電腦系統的方塊圖；第二圖為根據本發明一具體實施例中第一圖之電腦系統的一平行處理子系統之方塊圖；第三A圖為根據本發明一具體實施例中第二圖的該前端的方塊圖；第三B圖為根據本發明一具體實施例中第二圖之該等平行處理單元中之一者內的一通用處理叢集的方塊圖；第三C圖為根據本發明一具體實施例之第三B圖的該串流多處理器之一部份的方塊圖；以及第四圖為根據本發明一示例具體實施例之第三C圖的該包繞排程器和指令單元的方塊圖；第五A圖例示根據本發明一示例具體實施例之自指令L1快取提取的一快取線；第五B圖例示根據本發明一示例具體實施例之第五A圖的該特殊指令ss-inst ；第六圖例示根據本發明一示例具體實施例的一種用於無指令解碼而排程指令的方法；以及第七圖例示根據本發明一示例具體實施例的一種使用預解碼資料排程指令的方法。