[go: up one dir, main page]

TWI867991B - 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法 - Google Patents

向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法 Download PDF

Info

Publication number
TWI867991B
TWI867991B TW113113006A TW113113006A TWI867991B TW I867991 B TWI867991 B TW I867991B TW 113113006 A TW113113006 A TW 113113006A TW 113113006 A TW113113006 A TW 113113006A TW I867991 B TWI867991 B TW I867991B
Authority
TW
Taiwan
Prior art keywords
vector
data
processing unit
vector processing
memory
Prior art date
Application number
TW113113006A
Other languages
English (en)
Other versions
TW202445347A (zh
Inventor
威廉 賴西
格雷戈里 麥克 索森
克里斯多福 艾倫 克拉克
諾曼 保羅 約皮
湯瑪士 諾里
安德魯 艾佛列特 菲而普斯
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW202445347A publication Critical patent/TW202445347A/zh
Application granted granted Critical
Publication of TWI867991B publication Critical patent/TWI867991B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/3001—Arithmetic instructions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3893—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled in tandem, e.g. multiplier-accumulator
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G06F15/8092—Array of vector units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G06F7/588—Random number generators, i.e. based on natural stochastic processes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30032—Movement instructions, e.g. MOVE, SHIFT, ROTATE, SHUFFLE
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043—LOAD or STORE instructions; Clear instruction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3889—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute
    • G06F9/3891—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute organised in groups of units sharing resources, e.g. clusters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3893—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled in tandem, e.g. multiplier-accumulator
    • G06F9/3895—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled in tandem, e.g. multiplier-accumulator for complex operations, e.g. multidimensional or interleaved address generators, macros
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8046—Systolic arrays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30076—Arrangements for executing specific machine instructions to perform miscellaneous control operations, e.g. NOP
    • G06F9/30087—Synchronisation or serialisation instructions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Advance Control (AREA)
  • Complex Calculations (AREA)

Abstract

本發明描述一種向量處理單元，且該向量處理單元包含各包含多個處理資源之處理器單元。該等處理器單元各經組態以執行與向量化計算相關聯之算術運算。該向量處理單元包含與該等處理器單元之各者及其等各自處理資源資料通信之一向量記憶體。該向量記憶體包含經組態以儲存由該等處理器單元之各者用來執行該等算術運算之資料的記憶體庫。該等處理器單元及該向量記憶體經緊密耦合於該向量處理單元之一區域內，使得基於各自處理器單元相對於彼此之放置且基於該向量記憶體相對於各處理器單元之放置而依一高頻寬來交換資料通信。

Description

向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
本說明書係關於可用於執行與可大體上被稱為向量之維度資料陣列相關聯之各種計算之本端向量處理單元。 向量處理單元可用於與技術領域(諸如數值模擬、圖形處理、遊戲主控台設計、超級計算及深度類神經網路(「DNN」)層之機器學習計算)相關聯之計算。 一般言之，類神經網路為採用一或多個模型層來產生一經接收輸入之一輸出(例如，一分類)之機器學習模型。具有多個層之一類神經網路可用於藉由透過類神經網路之各層處理輸入而計算推論。
相較於習知向量處理單元(VPU)之特徵，本說明書描述一VPU，該VPU經組態以將計算分割為：a)一實例單指令多資料(SIMD) VPU，其具有增大的靈活性，增大的記憶體頻寬要求及相當低的計算密度；b)一矩陣單元(MXU)，其具有較低靈活性、低記憶體頻寬需求及高計算密度；c)一低記憶體頻寬交叉通道(cross-lane)單元(XU)，其用於執行可不符合SIMD範例而且可能不具有MXU計算運算之計算密度之特定運算。一般言之，至少a)與b)之計算特徵之間的對比提供相對於當前/習知SIMD處理器之一增強SIMD處理器設計架構。在一些實施方案中，所描述之VPU為一實例范紐曼(Von-Neumann)SIMD VPU。 一般言之，本說明書中描述之標的物之一個新穎態樣可體現於一向量處理單元中，該向量處理單元包含：一或多個處理器單元，其或其等各經組態以執行與一多維資料陣列之向量化計算相關聯之算術運算；及一向量記憶體，其與該一或多個處理器單元之各者資料通信。該向量記憶體包含經組態以儲存由該一或多個處理器單元之各者用來執行該等算術運算之資料之記憶體庫。該一或多個處理器單元及該向量記憶體緊密耦合於該向量處理單元之一區域內，使得可基於各自處理器單元相對於彼此之放置且基於該向量記憶體相對於各處理器單元之放置依一高頻寬交換資料通信。 在一些實施方案中，該向量處理單元耦合至經組態以從一特定處理器單元接收至少兩個運算元之一矩陣運算單元，該至少兩個運算元可由該矩陣運算單元用於執行與該多維資料陣列之向量化計算相關聯之運算。在一些實施方案中，該向量處理單元進一步包含耦合至該特定處理器單元之一第一資料串列化器，該第一資料串列化器經組態以串列化對應於藉由該特定處理器單元提供且藉由該矩陣運算單元接收之一或多個運算元之輸出資料。在一些實施方案中，該向量處理單元進一步包含耦合至該特定處理器單元之一第二資料串列化器，該第二資料串列化器經組態以串列化藉由該特定處理器單元提供且藉由該矩陣運算單元、一交叉通道單元或一縮減及排列單元之至少一者接收之一輸出資料。 在一些實施方案中，該一或多個處理器單元之各者包含複數個處理資源且該複數個處理資源包含一第一算術邏輯單元、一第二算術邏輯單元、一多維暫存器或一函數處理器單元之至少一者。在一些實施方案中，該向量記憶體經組態以將與一特定記憶體庫相關聯之資料載入至各自處理器單元，且其中該資料由該等各自處理器單元之一特定資源使用。在一些實施方案中，該向量處理單元進一步包含位於該一或多個處理器單元與該向量記憶體中間之一縱橫制連接器(crossbar connector)，該縱橫制連接器經組態以將與一向量記憶體庫相關聯之資料提供至一特定處理器單元之該複數個處理資源之一特定資源。 在一些實施方案中，該向量處理單元進一步包含與一特定處理器單元之一資源資料通信之一隨機數產生器，該隨機數產生器經組態以週期性地產生可用作藉由該特定處理器單元執行之至少一個運算之一運算元之一數。在一些實施方案中，該向量處理單元提供一主處理通道且包含多個處理器單元，該多個處理器單元之各者分別在該向量處理單元內形成一處理器子通道。在一些實施方案中，各處理器子通道基於每次存取而動態組態以存取該向量記憶體之一特定記憶體庫以擷取用於執行與該多維資料陣列之向量化計算相關聯之一或多個算術運算之資料。 此說明書中描述之標的物之另一新穎態樣可體現於具有一向量處理單元之一計算系統中，該計算系統包含：處理器單元，其等各包含經組態以執行複數個算術運算之一第一算術邏輯單元；一向量記憶體，其與該一或多個處理器單元之各者資料通信，該向量記憶體包含經組態以儲存由該一或多個處理器單元之各者用來執行該等算術運算之資料之記憶體庫；及一矩陣運算單元，其經組態以從一特定處理器單元接收至少兩個運算元，該至少兩個運算元由該矩陣運算單元用於執行與向量化計算相關聯之運算。 該一或多個處理器單元及該向量記憶體緊密耦合於該向量處理單元之一區域內，使得可基於至少一個處理器單元與該向量記憶體之間的一第一距離依一第一頻寬交換資料通信。該向量處理單元及該矩陣運算單元經耦合使得可基於至少一個處理器單元與該矩陣運算單元之間的一第二距離依一第二頻寬交換資料通信。該第一距離小於該第二距離，且該第一頻寬大於該第二頻寬。 在一些實施方案中，該計算系統進一步包含耦合至該特定處理器單元之一第一資料串列化器，該第一資料串列化器經組態以串列化對應於藉由該特定處理器單元提供且藉由該矩陣運算單元接收之一或多個運算元之輸出資料。在一些實施方案中，該計算系統進一步包含耦合至該特定處理器單元之一第二資料串列化器，該第二資料串列化器經組態以串列化藉由該特定處理器單元提供且藉由該矩陣運算單元、一交叉通道單元或一縮減及排列單元之至少一者接收之輸出資料。在一些實施方案中，該一或多個處理器單元之各者進一步包含複數個處理資源，該複數個處理資源包括一第二算術邏輯單元、一多維暫存器或一函數處理器單元之至少一者。 在一些實施方案中，該向量記憶體經組態以將與一特定記憶體庫相關聯之資料載入至各自處理器單元，且其中該資料由該等各自處理器單元之一特定資源使用。在一些實施方案中，該計算系統進一步包含位於該一或多個處理器單元與該向量記憶體中間之一縱橫制連接器，該縱橫制連接器經組態以將與一向量記憶體庫相關聯之資料提供至一特定處理器單元之該複數個處理資源之一特定資源。在一些實施方案中，該計算系統進一步包含與一特定處理器單元之一資源資料通信之一隨機數產生器，該隨機數產生器經組態以週期性地產生可用作藉由該特定處理器單元執行之至少一個運算之一運算元之一數。在一些實施方案中，該計算系統進一步包含在該向量記憶體與該矩陣運算單元之間延伸之一資料路徑，該資料路徑實現在該向量記憶體與至少該矩陣運算單元之間發生之與直接記憶體存取操作相關聯之資料通信。 在本說明書中描述之標的物之另一新穎態樣可體現於具有一向量處理單元之一計算系統中之一電腦實施方法中。該方法包含：藉由一向量記憶體提供用於執行一或多個算術運算之資料，該向量記憶體包含用於儲存各自資料集之記憶體庫；藉由一或多個處理器單元從該向量記憶體之一特定記憶體庫接收資料，該資料由該一或多個處理器單元用於執行與向量化計算相關聯之一或多個算術運算；及藉由一矩陣運算單元從一特定處理器單元接收至少兩個運算元，該至少兩個運算元由該矩陣運算單元用於執行與向量化計算相關聯之運算。該一或多個處理器單元及該向量記憶體緊密耦合於該向量處理單元之一區域內，使得資料通信基於至少一個處理器單元與該向量記憶體之間的一第一距離依一第一頻寬發生。該向量處理單元及該矩陣運算單元經耦合使得資料通信基於至少一個處理器單元與該矩陣運算單元之間的一第二距離依一第二頻寬發生。該第一距離小於該第二距離，且該第一頻寬大於該第二頻寬。 本說明書中描述之標的物可實施於特定實施例中以實現下列優點之一或多者。使用包含高度本端化之資料儲存器及計算資源之一向量處理單元可提供相對於當前向量處理器之增大之資料處理量。所描述之向量記憶體及向量處理單元架構實現與一實例矩陣向量處理器之向量元素相關聯之本端化高頻寬資料處理及算術運算。因此，可基於依一緊密耦合之配置安置於一電路晶粒內之向量處理資源之使用增強且加速與向量算術運算相關聯之計算效率。 此態樣及其他態樣之其他實施方案包含對應系統、設備及在電腦儲存裝置上編碼之經組態以執行方法之動作之電腦程式。一或多個電腦之一系統可藉由安裝於該系統上之在操作中使該系統執行該等動作之軟體、韌體、硬體或其等之一組合如此組態。一或多個電腦程式可藉由具有當藉由資料處理設備執行時使該設備執行該等動作之指令而如此組態。 在下文之附圖及描述中陳述在此說明書中描述之標的物之一或多個實施方案之細節。自描述、圖式及發明申請專利範圍將瞭解標的物之其他潛在特徵、態樣及優勢。
本說明書中描述之標的物大體上係關於一向量處理單元(VPU)，其包含經組態以提供相對於當前向量處理器之增大之資料處理量之高度本端化資料處理及計算資源。所描述之VPU包含支援與一實例矩陣向量處理器之向量元素相關聯之本端化高頻寬資料處理及算術運算之一架構。 特定言之，說明書描述一計算系統，其包含可依一緊密耦合配置安置於一積體電路晶粒之一預界定區域內之一VPU之計算資源。預界定區域可經分段為多個VPU通道且各通道可包含多個本端化且相異的計算資源。在各VPU通道內，資源包含可包含各具有多個記憶體位址位置之多個記憶體庫之一向量記憶體結構。資源可進一步包含多個向量處理單元或VPU子通道，其等各包含多個相異計算資產/資源。 各VPU子通道可包含：一多維資料/檔案暫存器，其經組態以儲存多個向量元素；及至少一個算術邏輯單元(ALU)，其經組態以對可從資料暫存器存取且儲存於資料暫存器內之向量元素執行算術運算。計算系統可進一步包含從各自VPU子通道接收經串列化資料之至少一個矩陣處理單元。一般言之，矩陣處理單元可用於執行與(例如)類神經網路推論工作量相關聯之非本端、低頻寬且高延時計算。 針對所描述之計算系統，向量處理功能之高度本端化性質提供向量記憶體與多個VPU子通道之間、各自VPU子通道之間以及資料暫存器與ALU之間的高頻寬且低延時資料交換。此等資源之實質上相鄰近接性使資料處理操作能夠在具有足夠靈活性之一VPU通道內且按超過現有向量處理器之期望效能及資料處理率發生。 藉由實例，本說明書中描述之計算系統可藉由跨多個矩陣向量處理器散佈向量化計算而執行一類神經網路層之計算。在一類神經網路層內執行之一計算程序可包含一輸入張量(其包含輸入啟動)與一參數張量(包含權重)之一乘法。一張量係一多維幾何物件且實例多維幾何物件包含矩陣及資料陣列。 一般言之，可在本說明書中參考與類神經網路相關聯之計算以繪示所描述之VPU之一或多個功能。然而，所描述之VPU不應限於機器學習或類神經網路計算。實情係，所描述之VPU可用於與實施向量處理器之各種技術領域相關聯之計算以達成預期技術目標。 此外，在一些實施方案中，可單獨處理大計算集，使得一第一計算子集可經劃分用於在單獨VPU通道內處理，而一第二計算子集可在一實例矩陣處理單元內處理。因此，本說明書描述實現兩種資料連接性(例如，本端VPU通道連接性及非本端矩陣單元連接性)以實現與兩種形式之資料處理相關聯之優勢之資料流架構。 圖1繪示包含一或多個向量處理單元及多個計算資源之一實例計算系統100之一方塊圖。計算系統100 (系統100)係用於執行與多層DNN之推論工作量相關聯之張量或向量化計算之一實例資料處理系統。系統100大體上包含向量處理單元(VPU)通道102、核心定序器104、外部記憶體(Ext.Mem.) 106及晶片間互連件(ICI) 108。 如本文中使用，一通道大體上對應於可包含一VPU之一(若干)計算/資料處理資源之一實例積體電路晶粒之一區域、區段或部分。類似地，如本文中使用，一子通道大體上對應於可包含一VPU之一(若干)計算/資料處理資源之一實例積體電路晶粒之一通道之一子區域、子區段或子部分。 系統100可包含安置於一積體電路(IC)晶粒103上之多個VPU通道102。在一些實施方案中，IC晶粒103可對應於在相鄰晶粒區段中包含圖1中描繪之其他電路組件/計算資源之一更大IC晶粒之一部分或區段。而在其他實施方案中，IC晶粒103可對應於在單一晶粒內大體上不包含圖1中描繪之其他電路組件/計算資源之一單一IC晶粒。 如展示，其他組件/計算資源可包含在藉由IC晶粒103之虛線圍封之區域外側之參考特徵部(即，外部記憶體106、ICI 108、MXU 110、XU 112、RPU 113)。在一些實施方案中，多個VPU通道102形成所描述之VPU，且VPU可藉由由MXU 110、XU 112或RPU 113之至少一者提供之功能性增強。例如，128個VPU通道102可形成一實例所描述VPU。在一些例項中，少於128個VPU通道102或超過128個VPU通道102可形成一實例所描述VPU。 如下文更詳細論述，各VPU通道102可包含向量記憶體(圖2中之vmem 204)，該向量記憶體具有多個記憶體庫，該多個記憶體庫具有用於儲存與一向量之元素相關聯之資料之位址位置。向量記憶體提供可藉由可安置於IC晶粒103內之多個VPU通道102之各自向量處理單元存取之晶片上向量記憶體。一般言之，外部記憶體106及ICI 108之各者與各與各自VPU通道102相關聯之個別vmem 204 (下文描述)交換資料通信。資料通信可大體上包含(例如)將向量元素資料寫入至一特定VPU通道102之一vmem或從一特定VPU通道102之一vmem讀取資料。 如展示，在一些實施方案中，IC晶粒103可為提供系統100內之向量處理能力之一單一VPU通道組態。在一些實施方案中，系統100可進一步包含具有總共128個VPU通道102之一多VPU通道組態，該等VPU通道在系統100內提供相對於單一VPU通道組態之甚至更大的向量處理能力。在下文參考圖2更詳細論述128個VPU通道組態。 外部記憶體106係藉由系統100使用來提供高頻寬資料及/或與與VPU通道102之各自向量處理單元相關聯之向量記憶體交換高頻寬資料之一實例記憶體結構。一般言之，外部記憶體106可為一遠端或非本端記憶體資源，其經組態以執行各種直接記憶體存取(DMA)操作來存取、讀取、寫入或以其他方式儲存且擷取與系統100內之向量記憶體庫之位址位置相關聯之資料。外部記憶體106可經描述為經組態以與系統100之晶片上向量記憶體庫(例如，vmem 204)交換資料通信之晶片外記憶體。例如，參考圖1，外部記憶體106可經安置於IC晶粒103外側之一位置處且因此可相對於安置於IC晶粒103內之計算資源係遠端或非本端的。 在一些實施方案中，系統100可包含一嵌入式處理裝置(下文論述)，該嵌入式處理裝置執行基於軟體之程式化指令(例如，可從一指令記憶體存取)以(例如)將資料區塊從外部記憶體106移動至vmem 204。此外，藉由嵌入式處理器執行程式化指令可使外部記憶體106起始資料傳送以載入且儲存可藉由VPU通道102之各自向量處理單元存取之一向量記憶體內之資料元素。經儲存之資料元素可對應於可藉由一特定向量處理單元存取之暫存器資料以樣例化準備好用於執行一或多個向量算術運算之一向量元素。 在一些實施方案中，系統100之vmem 204、外部記憶體106及其他相關記憶體裝置可各包含一或多個非暫時性機器可讀儲存媒體。非暫時性機器可讀儲存媒體可包含固態記憶體、磁碟(內部硬碟或隨身碟)、光碟、一隨機存取記憶體(RAM)、一唯讀記憶體(ROM)、一可擦除可程式化唯讀記憶體(例如，EPROM、EEPROM或快閃記憶體)或能夠儲存資訊之任何其他有形媒體。系統100可進一步包含一或多個處理器及記憶體，其等可輔以或被併入專用邏輯電路。 ICI 108提供一實例資源，該資源可管理及/或監測耦合系統100內之不同計算/資料處理資源之多個互連資料通信路徑。在一些實施方案中，ICI 108可大體上包含實現非本端/晶片外裝置與晶片上/本端計算資源之間的資料流之一資料通信路徑。此外，ICI 108亦可大體上包含實現安置於IC晶粒103內之各種晶片上或本端計算資源之間的資料流之一通信路徑。 耦合各種資源之系統100內之多個通信路徑可各經組態以具有不同或重疊頻寬或資料處理率。如本文中使用，在計算系統之內容脈絡中，術語頻寬及術語處理量大體上對應於資料傳送之速率(諸如位元率或資料量)。在一些實施方案中，位元率可以(例如)每秒位元/位元組、每時脈循環位元/位元組為單位量測，而資料量可對應於以移動通過系統100之多個通道之資料之位元/字組為單位之大體寬度(例如，2個通道×16個位元)。 系統100可進一步包含一矩陣單元(MXU) 110、一交叉通道單元(XU) 112、一縮減及排列單元(RPU) 113、一矩陣返回元件(mrf) 114、一交叉通道返回元件(xrf) 116及一輸入控制122。一般言之，輸入控制122可為藉由一非本端控制裝置(例如，核心定序器104)使用來提供一或多個控制信號以使MXU 110、XU 112、RPU 113、mrf 114、xrf 116或PRNG 118之至少一者執行一預期功能之一習知控制線。在一些實施方案中，核心定序器104經由輸入控制122將多個控制信號提供至VPU通道102之組件，以控制一整個VPU通道102之功能。 雖然在圖1之實例中描繪，但在下文中參考圖2之實施方案來更詳細論述mrf 114、xrf 116及PRNG 118及其等對應功能性。類似地，在下文中參考圖2及圖3之實施方案來更詳細論述MXU 110、XU 112及RPU 113。 圖1包含資料清單124 (在圖2中亦展示為特徵部224)，其等指示與「N」個通道之一特定資料路徑相關聯之資料處理量的相對大小(例如，以位元為單位)，其中N可自(例如) 1個通道變動至16個通道/範圍可自(例如) 1個通道至16個通道。如在圖1及圖2中展示，可使用不同虛線特徵部來描繪資料線，以指示特定通道/資料路徑可具有不同個別處理量(以位元/位元組為單位)屬性。注意，資料清單124及224並未被包含於系統100中，而在圖1及圖2中為清晰起見展示，且經展示以指示耦合不同計算資源之特定資料路徑的處理量。 圖2繪示圖1之系統之一實例向量處理單元之一硬體結構之一方塊圖。計算系統200 (系統200)大體上包含多個向量處理單元202、一向量記憶體(vmem) 204、一暫存器檔案206、一處理單元互連件207、一第一算術邏輯單元(ALU) 208a、一第二ALU 208b、一特殊單元210、一第一縱橫開關(corssbar)212a，及一第二縱橫開關212b。在圖2之實施方案中，向量處理單元202經描繪為VPU通道202之一子通道。在一些實施方案中，多個(×8)向量處理單元202可經安置於一單一VPU通道202內。 在一些實施方案中，系統100之一或多個電路部分可經安置於IC晶粒103之一預定義區域內。如上文論述，系統100可包含經安置於IC晶粒103上之多個VPU通道102。在一些實施方案中，IC晶粒103可經分段為包含晶粒子區段之部分或區段，該等晶粒子區段具有經安置於子區段內之特定計算資源。因此，在圖2之實例中，一單一VPU通道102可包含經安置在對應於更大IC晶粒103之一子部分/子區段之一IC晶粒區段203上的多個VPU子通道(即，向量處理單元) 202。 一般言之，VPU通道102之處理器單元202可各包含多個處理資源，且各處理器單元202可經組態以(經由ALU)執行與一多維資料陣列之向量化計算相關聯的算術運算。如展示，各向量處理單元或子通道102包含暫存器檔案206、ALU 208a與ALU 208b，及特殊單元210。經安置於IC晶粒區段203內之計算資源可係緊密耦合在一起，且因此，經安置為在IC晶粒區段203內實質上彼此相鄰。此等處理資源之實質上相鄰近接性使資料運算能夠按足夠之靈活性及高頻寬或資料處理率發生在VPU通道102中。 在一些實施方案中，「緊密耦合」可對應於組件/計算資源與資料傳送頻寬之間的接線，其等兩者皆與連接在彼此之(例如) 100微米內之組件/資源一致。在其他實施方案中，「耦合」而非「緊密耦合」可對應於組件/資源與資料傳送頻寬之間的接線，其等各與連接在彼此之(例如) 200微米至10 mm內之組件一致。 在替代性實施方案中，系統100、200之組件或計算資源可參考總晶粒尺寸(例如，晶粒103之尺寸或晶粒區段203之尺寸)之一特定比率，緊密耦合或耦合。例如，「緊密耦合」可對應於在高達總晶粒邊緣尺寸之5%內連接之組件，而「耦合」可對應於更遠離(諸如高達總晶粒邊緣尺寸之50%)之組件。 在一些實施方案中，計算系統100之所描述VPU之新穎特徵包含VPU通道102中之組件及/或計算資源，其等各位於彼此之一特定(或臨限)距離內，使得資料(例如，一或多個32位元字組)可在一單一時脈循環(即，連線延遲(wire delay))中輕易橫穿該距離。在一些實施方案中，所描述VPU之此等新穎特徵至少直接對應於VPU通道102之組件相對於彼此之緊密耦合放置。 在一些實施方案中，提供子通道102之單獨(緊密耦合之)資源之間的資料流路徑之導體(即，導線)可具有相當短之長度，但具有較大之導體計數或匯流排寬度，其中一匯流排可為一組導線。更大之匯流排寬度(當相較於習知IC匯流排寬度時)實現資料之高頻寬傳輸(對應於大量運算)。多個運算之高頻寬屬性使資料能夠依低延時橫穿向量處理單元102之本端化資源。如本文中使用，高頻寬及低延時對應於與在一單一時脈循環(即，低延時)中從一個計算資源移動至另一計算資源之多個16位元至32位元字組(即，高頻寬)相關聯之數百(或在一些實施方案中數千)個運算。如下在本文中更詳細描述系統200之高頻寬、低延時屬性。 一般言之，與各自VPU通道102相關聯之個別vmem 204各經組態以與外部記憶體106交換資料通信。資料通信可大體上包含(例如)外部記憶體106將向量元素資料寫入至各自VPU通道102之vmem 204/從各自VPU通道102之vmem 204讀取向量元素資料。vmem 204與處理器單元202及其等各自多個處理資源(例如，ALU 208a/208b)之各者資料通信。vmem 204可包含多個記憶體庫，其等在各自位址位置處儲存藉由處理器單元202之各者使用來(經由暫存器206)樣例化藉由ALU 208a/208b存取以執行一或多個算術運算之向量之資料。 在一些實施方案中，VPU通道102可包含在vmem 204與安置於系統200中一或多個位置處之一鬆散耦合記憶體之間延伸之一資料路徑。鬆散耦合記憶體可包含晶片外記憶體、不需要緊密耦合或高頻寬之晶片上記憶體、來自其他處理單元(諸如互連件上之其他VPU)之記憶體或傳送至一經附接主機電腦或自該經附接主機電腦傳送之資料。在一些實施方案中，可本端(例如，自CS單元104)或遠端(例如，藉由主機電腦)藉由控制信號起始DMA傳送。在一些實施方案中，資料通信經由ICI網路108橫穿資料路徑，而在其他實施方案中，資料通信可橫穿通過一處理器單元202之資料路徑。在一些實施方案中，亦可在如藉由延伸至MXU 110且自MXU 110延伸之資料路徑使用之相同機構中串列化/去串列化DMA路徑。 系統200大體上提供緊密耦合之資料路徑之一二維(2-D)陣列，使得系統100可執行每時脈循環數千個資料運算。二維對應於總共128個通道(例如，128個VPU通道102)×每通道8個子通道。VPU通道102可經描述為一處理單元，該處理單元包含各大體耦合至多個(例如，×8)記憶體庫之一者之多個(例如，×8)處理器單元(即，子通道)。系統200之資料路徑之2-D陣列可具有一空間特性，藉此特定資料路徑可跨單獨硬體結構耦合且實施。 在一些實施方案中，針對一VPU通道102之8個相異向量處理單元202 (即，×8尺寸)，當8個向量處理單元202與系統200之其他資源(諸如MXU 110、XU 112及RPU 113 (下文論述))交換資料通信時，可藉由去串列化器222a/b串列化且去串列化該單一通道102之資料運算。例如，一特定向量處理操作可包含VPU通道102發送多個(×8) 32位元字組至MXU 110。因此，一單一通道102中之8個向量處理單元202之各者可將可自其本端暫存器206存取之一32位元字組傳輸至MXU 110。 在一些實施方案中，32位元字組可按每時脈循環一個字組之一實例資料率作為16位元舍入浮點數以一串列化方式發送(16位元/ clk)。向量處理操作可進一步包含MXU 110將藉由MXU執行之乘法運算之結果提供至8個向量處理單元202之各者。結果可在一單一處理器時脈循環中藉由一VPU通道102接收且同時儲存於(即，去串列化於) 8個子通道202之各自暫存器206內(256位元/ clk)。 縱橫開關212a提供從vmem 204至至少一個處理器單元202之一資料路徑且包含在特定資料傳送操作期間橫穿資料路徑之32位元字組。同樣地，縱橫開關212b提供從至少一個處理器單元202至vmem 204之一資料路徑且包含在特定資料傳送操作期間橫穿資料路徑之32位元字組。在一些實施方案中，vmem 204與一特定VPU子通道202之間的介面係一載入類型指令。例如，一特定運算指令(例如，來自指令記憶體)可針對各子通道202指定一子通道將存取以拉出向量相關資料以用於載入至本端暫存器206之特定記憶體庫。在一些實施方案中，各處理器單元202可基於每次存取動態組態以存取vmem 204之一特定記憶體庫以擷取向量資料。 在一些實施方案中，經由縱橫開關212a/b之資料傳送發生於系統200內之資料路徑之上述2-D陣列之×8尺寸中。縱橫開關212a/b實現128個通道之各通道內之個別子通道202 (×8)之各者與vmem 204之個別記憶體庫(×8)之各者之間的完整連接性。一般言之，因為vmem 204經安置為IC晶粒區段203內實質上緊密接近各自處理器單元202，故縱橫開關212a/b可經由具有相當短之長度，但具有相當大之匯流排寬度(或導線計數)之導體導線實施以促進一處理器單元202與vmem 204之間的高資料處理量。在一些實施方案中，vmem 204可執行一廣播功能以將一特定向量資料集提供至多個向量處理單元202。 如上文指示，各向量處理單元202可包含經組態以儲存多個向量元素之一多維資料/檔案暫存器206。因此，暫存器206可為儲存對應於一單一向量之資料之固定長度記憶體單元。特定言之，可由暫存器206使用藉由一處理器單元202(自vmem 204)接收之資料來填入具有多個向量元素之一特定向量暫存器。在一些實施方案中，暫存器206使用自vmem 204之一特定記憶體庫接收之資料來填入多達32個向量暫存器，該32個向量暫存器可大體上表示為V 0至V 31。更具體而言，各向量暫存器可包含多個32位元字組。如本文中使用，一向量可大體上對應於二進位值之一(線性或非線性)陣列。該等二進位值對應於特定類型之資料(諸如整數或浮點數)。 32位元資料可對應於一或多個ALU運算元。在一些實施方案中，各向量處理單元202存取vmem 204之一特定記憶體庫以載入其自身之本端暫存器檔案206以執行其自身之本端處理。在一實例程序中，系統200之一或多個向量處理單元202可經組態以執行一實例算術運算之指令(例如，一碼序列)。子通道互連件207可用於在系統200之至少兩個相異向量處理單元之間移動資料。 算術運算可包含兩個暫存器載入操作、一加法運算及一儲存操作。在一些實施方案中，運算之指令可自一指令記憶體(未展示)提取且回應於系統200從一實例較高階控制器裝置接收特定控制信號而在本端解碼。關於運算，一第一載入序列可包含系統200將來自vmem 204之一實例記憶體位址0x00F100之向量資料載入至向量處理單元202之至少一個向量暫存器(V 0)。類似地，一第二載入序列可包含系統200將來自vmem 204之一實例記憶體位址0x00F200之向量資料載入至向量處理單元202之至少另一個向量暫存器(V 1)。 在硬體佈局方面，在一些實施方案中，vmem 204可劃分為128個通道×每通道8個記憶體庫，各記憶體庫具有多個位址位置。因此，在運算之一載入序列期間，系統100、200內之一實例暫存器將從vmem 204接收向量資料。在一些實施方案中，且如上文指示，一實例向量處理單元可包含多個VPU通道102。因此，跨一或多個VPU通道102之各自暫存器206可協作以形成橫跨128個通道×8個子通道202之一尺寸之一向量暫存器。 在128尺寸中，一單一VPU通道102可自其各自vmem 204載入。更具體而言，在子通道尺寸(×8)中，各子通道202可自vmem 204之8個記憶體庫之一特定記憶體庫載入其向量暫存器。在一些實施方案中，亦可執行跨越記憶體存取操作。關於操作，第一載入序列之完成使向量資料載入至向量暫存器V 0中，使得暫存器將包含128×8值。為清晰起見，在一些實施方案中，VPU通道102之向量暫存器之完整尺寸可為128個通道×8個子通道×32個暫存器×32個位元。因此，128×8對應於子通道之總數目，而32×32對應於每各子通道之向量暫存器位元之數目。 第二載入序列之完成使向量資料載入至向量暫存器V 1中，使得暫存器亦將包含128×8值。接著，可經由ALU 208a或208b之一者執行一加法指令，其包含將V 0(128×8值)與V 1(128×8值)相加。在一些實施方案中，在執行一儲存操作以將資料儲存於一實例向量暫存器V 3中之後對經求和向量資料執行一實例排列操作(以排序、再配置或定序資料)。此外，如下文論述，可執行一排列操作以在至少兩個相異VPU通道102之間移動資料。 可參考下列實例特徵化IC晶粒區段203內之本端化資源之高頻寬、低延時屬性。一般言之，系統200之128×8維度產生一實例VPU內之1024個潛在資料路徑。此等資料路徑對應於在一單一通道(VPU通道102)中之vmem 204之8個記憶體庫，其等沿著8個個別通道(經由縱橫開關212a/b)將8個個別32位元字組提供至VPU通道102內之8個個別子通道之各者。更具體而言，跨128個通道複製此8個個別通道以產生1024個潛在資料路徑。 當各自32位元字組橫穿IC晶粒區段203中之一第一資源與IC晶粒區段203中之一第二資源之間的一路徑時，1024個資料路徑可對應於1024個運算。此外，包含ALU 208a、208b產生對應於可跨IC晶粒203內之多個資源發生之至少2048個運算之額外1024個潛在資料路徑。因此，IC晶粒區段203中之資源之緊密耦合、高度本端化、高頻寬屬性使在一單一時脈循環中能夠發生至少2048個運算。此外，在一單一時脈循環中同時發生之此2048個運算之各者可包含橫穿一特定資料路徑(取決於對字組執行之運算類型)之一32位元字組(例如，一向量或運算元)。 在一些實施方案中，且為了擴展上述實例，在藉由系統200執行之一單一時脈循環中，以下之一或多者可發生在一單一VPU通道102內：1) 8個向量從vmem 204移動至8個子通道202；2) 兩個向量運算元從暫存器206移動至ALU 208a、208b；3)兩個結果向量從ALU 208a、208b移動至暫存器206；4) 8個向量運算元從各自子通道202移動至串列化器214或216 (下文描述)；5) 8個結果向量從mrf 114或xrf 116 (下文描述)移動；及6) 8個結果向量從8個子通道移動至XU/RPU串列化器218 (下文描述)。實例運算的之前清單僅表示系統200之緊密耦合本端化資源之高頻寬屬性。 特殊單元210提供額外本端處理能力，在一些實施方案中，該額外本端處理能力可與藉由各自子通道202之ALU 208a/208b提供之功能性同義。在一些實施方案中，特殊單元210可被描述為一函數處理器單元。例如，特殊單元210可經設計以處理且評估與對儲存於本端暫存器206中之向量資料之算術運算相關聯之一元超越函數。因此，可藉由特殊單元210執行對應於(例如)指數函數或對數函數之特定複合算術運算。 如上文論述，所描述系統100、200之一技術特徵為各子通道202實質上實體靠近在一起(即，非常緊密地耦合)，使得藉由ALU 208a及208b執行之高頻寬算術運算二者皆在一單一處理器時脈循環期間同時發生。在一些實施方案中，特定複合算術運算可需要完成額外/多個時脈循環。因此，可藉由系統200接合特殊單元210以分離特定複合多循環運算以用於特殊處理。 PRNG 118可為經組態以產生偽隨機數之一共用資源，該等偽隨機數可由暫存器206在藉由各自子通道202之ALU 208a/208b執行之向量算術運算期間跨多個子通道202使用。一般言之，PRNG 118可從一向量處理單元202接收至少一個控制信號以將一實例數產生電路初始化至一起始狀態。PRNG 118可稍後從該起始狀態演進以週期性地產生可由一特定向量處理單元202使用來完成與向量算術相關聯之一特定運算之一隨機數。 一般言之，各向量處理單元202將通常執行有關PRNG 118之讀取操作。偶爾，一特定子通道可提供一控制信號至PRNG 118以執行一寫入定序(例如)以引起一特定數值複製運算。特定複製運算可用於實施可適用於涉及類神經網路推論工作量之計算之特定數值技術。此外，在向量化計算期間，系統200藉由注入隨機雜訊以使與計算相關聯之數值舍入運算略微失真而產生一或多個數之特定較狹隘表示可係有利的。同樣地，在一些實施方案中，PRNG 118可提供運算元之另一來源以用於一子通道202內發生之資料處理。 系統200進一步包含一第一資料串列化器214、一第二資料串列化器216、一XU/RPU串列化器218及資料去串列化器222a/b，其等各經耦合至一特定處理器單元202。一般言之，資料串列化器214、216經組態以串列化可包含藉由特定處理器單元202提供且藉由MXU 110接收之至少兩個運算元之向量輸出資料。如展示，經串列化向量資料可經由資料路徑220a/b提供至MXU 110，使得可經由一第一資料路徑220a提供一第一運算元且可經由一第二資料路徑220b提供一第二運算元。在一些實施方案中，資料串列化器214及216可經組態以作為在多個時脈循環內(高延時)循序移出運算元資料之一移位暫存器。 一般言之，資料串列化器214及216可使各自子通道202能夠跨昂貴之互連導線時間多工經串列化向量輸出資料。高價互連導線提供資料路徑220a/b/c至對經接收之串列化向量資料執行特定乘法運算之遠端非本端協同處理資源。如上文指示，針對圖2之實施方案，遠端非本端協同處理資源可對應於在IC晶粒區段203外側之資源(例如，MXU 110、XU 112及RPU 113)。此等資源大體上經由資料路徑220a/b/c接收低頻寬(例如，單一32位元運算元)、高延時(在多個時脈循環內)向量資料。 關於資料移動及資料量，128個通道之各者(即，VPU通道102)可具有各為32位元寬之8個資料字組或運算元。8個資料字組可對應於VPU通道102內之8個子通道之各者。系統200可經組態以將8個資料字組載入至(例如)資料串列化器214、216或218中。8個資料字組可接著在8個處理器時脈循環之一週期內移出至MXU 110、XU 112或RPU 113之一者。與IC晶粒區段203之緊密耦合之本端化資源之間的較短、較寬、高頻寬資料路徑相反，MXU 110、XU 112及RPU 113各相對於單元與各自子通道202之資源之近接性係相當遠端且非本端的。 因此，在併入系統100及200之一實例VPU中，VPU可在每一時脈循環執行一指令以執行利用及/或移動各為32位元寬之1024個字組之運算。當全體來自1024個字組之向量資料之部分到達及/或通過一單一資料串列化器214、216時，資料接著行進通過一資料路徑220a/b，該資料路徑220a/b每時脈循環僅對128個字組進行運算(或將其等移出)。因此，資料串列化器214、216可經組態以僅串列化×8維度之資料，使得保留跨×128維度之各VPU通道102之平行性。 例如，資料串列化器214、216可在功能上獨立於彼此，因此，在一第一時脈循環(例如，循環N)中，系統200可使所有1024個字組(對於所有128個通道，每通道8個字組(各子通道1個字組))載入至(例如)一特定向量處理單元202之第一資料串列化器214之一記憶體位置。系統200可接著執行一或多個指令以使跨128個通道之各第一資料串列化器214之內容經由對應資料路徑220a按每時脈循環16個位元之一頻寬朝向MXU 110移出。在一些實施方案中，藉由串列化器214接收之32位元字組可以一串列化方式作為16位元舍入浮點數發送。 此外，為清晰起見，雖然經提供至MXU 110、XU 112及RPU 113之32位元運算元在本文中被描述為「字組」，但運算元可大體上對應於數(例如，浮點)，且描述詞「字組」僅用於指示可藉由一實例處理器核心之硬體裝置作為一單元處置之二進位資料之一固定大小片段。 再次參考實例資料流序列，在一第二時脈循環(例如，循環N+1)中，系統200可使另一1024個字組(對於所有128個通道，每通道8個字組(各子通道1個字組))載入至(例如)相同向量處理單元202之第二資料串列化器216之一記憶體位置。系統200可接著執行一或多個指令以使跨128個通道之各第二資料串列化器216之內容(例如)經由對應資料路徑220b按每時脈循環16個位元之一頻寬朝向MXU 110移出。因此，從資料串列化器214、216延伸之資料路徑220a/b可彼此並行使用。 在一些實施方案中，此實例資料流序列可在多個資料循環(例如，循環N+2、循環N+3等)內繼續，以向MXU 110載入若干矩陣乘法運算元集。在載入時，與(例如)向量化計算相關聯之大量矩陣乘法運算可藉由MXU 110處理，以計算一實例推論工作量。矩陣乘法之結果可由(例如) mrf 114之一記憶體單元接收，且被儲存於該記憶體單元內以供特定VPU通道102內之一特定子通道202接收。mrf 114包含先進先出(FIFO)功能性，且可經組態以保存/儲存與更長延時運算相關聯之返回資料(乘法結果)。經儲存於mrf 114之記憶體內之返回資料可使用一單獨較短延時指令被回寫至一向量暫存器206。 矩陣乘法結果可按每時脈循環32個位元之一處理量，在一經串列化資料串流中，從MXU 110移動至mrf 114。在一些實施方案中，矩陣乘法之結果在一第一時段接收，且在藉由去串列化器222a去串列化之後被儲存於mrf 114內，以用於在時間上遲於第一時段之一第二時段，由一子通道202接收。在一些實施方案中，第二時段對應於範圍可從1個時脈循環之發生至128個時脈循環之發生之一時間點。 例如，在一第一處理器時脈循環，mrf 114可在一第一時段接收矩陣乘法結果，且將結果儲存於mrf 114之一記憶體位址內。在系統200已執行額外100個處理器時脈循環以執行其他向量處理操作之後，系統200可接著執行一指令以提取(pop) mrf 114，且在時間上遲100個時脈循環之第二時間段接收結果資料。如上文提及，mrf 114實施一先進先出資料流序列，使得首先接收之矩陣乘法結果首先被寫入至暫存器206之一特定向量暫存器。 關於縮減及排列操作，RPU 113可包含一西格瑪(sigma)單元及一排列單元。在一些實施方案中，藉由西格瑪單元處理之計算結果被提供至排列單元。西格瑪單元或排列單元可被停用，使得資料不變地通過一特定單元。一般言之，西格瑪單元執行跨一單一資料線之循序縮減。縮減可包含求和及各種類型之比較運算。 回應於接收輸入資料，排列單元可至少部分基於使用來自輸入資料之位元設定之一命令/控制向量來執行全通用縱橫制運算。針對縮減運算，由RPU 113使用之資料可為一32位元浮點(FP)格式；而針對排列操作，可使用包含FP、整數及位址之各種資料類型/格式。在一些實施方案中，RPU 113將任何經接收資料提供至XU 112，接收來自XU 112之結果資料，且執行一或多個多工操作，以產生具有多個結果資料之相異輸出串流。 在一些實施方案中，可藉由RPU 113執行一排列操作以在至少兩個相異VPU通道102之間移動資料。一般言之，排列指令使128×8個資料值從各自暫存器206移動至子通道XU/RPU串列化器218。特定言之，在排列操作之執行期間，依×8維度串列化32位元向量結果資料。故，在128個通道(VPU通道102)之各者內，對應於8個子通道之8個向量結果字組可在8個處理器時脈循環之一週期內從一第一VPU通道102移動至一第二VPU通道102。 向量資料可在一串列化資料串流中按跨兩個通道之每時脈循環32個位元之一處理量沿著資料路徑220c從XU/RPU串列化器218移動至XU/RPU 112、113。針對接收交叉通道向量資料之特定VPU通道102，xrf 116可包含(例如)經組態以儲存在一特定VPU通道102處接收之交叉通道向量結果資料之記憶體。在一些實施方案中，向量資料可在一第一時段接收且在藉由去串列化器222b去串列化之後儲存於xrf 116內以用於在時間上遲於第一時段之一第二時段由一子通道202接收。 在一些實施方案中，第二時段對應於範圍可從1個時脈循環的發生至128個時脈循環的發生之一時間點。例如，在一第一處理器時脈循環，xrf 116可在一第一時段接收來自一第一VPU通道102之向量資料且將結果儲存於xrf 116之一記憶體位址內。在系統200已執行額外100個處理器時脈循環以執行其他向量處理操作之後，系統200可接著執行一指令以提取xrf 116且在時間上遲100個時脈循環之第二時間段接收向量資料。一般言之，類似於mrf 114，xrf 116亦實施一先進先出資料流序列，使得首先接收之向量首先被寫入至暫存器206之一特定向量暫存器。 圖3繪示包含一乘法累加陣列及多個計算資源之圖1之實例計算系統之一方塊圖。如展示，系統300可大體上包含上文參考圖1及圖2論述之一或多個組件。系統300可進一步包含嵌入式協同處理器302。一般言之，處理器302可經組態以執行基於軟體之程式化指令以將資料區塊從外部記憶體106移動至多個vmem 204。此外，執行指令可使外部記憶體106起始資料傳送以將資料元素載入且儲存於vmem 204內。 圖3包含一資料圖304，其指示與針對一特定流路徑之資料處理量相關聯之相對大小(例如，以位元為單位)。如展示，資料圖304包含各種圖例，其等對應於針對特定計算資源之間的給定路徑之個別處理量(以位元為單位)。注意，資料圖304未包含於系統300中，而在圖3中為清晰起見展示且經展示以指示耦合不同計算資源之特定資料路徑之處理。 一般言之，圖3之實例提供系統200之資源之一替代性表示。例如，系統300包含兩個VPU通道102，該兩個VPU通道102對應於上文論述之128個個別通道之二者。同樣地，針對各通道102，系統300進一步包含兩個子通道202，其等對應於上文論述之8個個別子通道之二者。系統300進一步包含8個個別通道306，其等(經由縱橫開關212)提供vmem 204之8個記憶體庫與各自8個子通道202之間的資料流路徑。 如上文論述，且如藉由資料圖304指示，八個32位元向量字組可在一單一處理器時脈循環期間從vmem 204移動至8個個別子通道。如展示，在一些實施方案中，vmem 204可為一靜態隨機存取記憶體(SRAM)且子通道202可經描述為一單輸入多資料處理單元。系統300進一步包含上文參考圖2論述之MXU 110及交叉通道(XU)單元112之一替代性表示。 一般言之，MXU 110對應於具有128×128之一維度之一乘法累加運算子且因此經組態以接收許多向量矩陣乘法運算元集。如上文提及，一旦載入有大量向量運算元，則與向量化計算相關聯之大量矩陣乘法運算可藉由MXU 110處理以計算一實例推論工作量。 如展示，各子通道202包含朝向XU 112 (向外)之一資料流路徑以及從XU 112朝向子通道202 (向內)之一資料流路徑。此兩個相異流路徑對應於使向量資料能夠在至少兩個相異VPU通道102之間移動之XU之功能。因此，各VPU通道102將大體上包含朝向XU 112之一向外向量資料流路徑以對應於來自第一VPU通道102之向量資料移動至一第二VPU通道102的時刻。類似地，各VPU通道102將大體上包含來自XU 112之一向內向量資料流路徑以對應於藉由一第二VPU通道102接收來自第一VPU通道102之向量資料的時刻。 圖4係用於使用圖1及圖2之計算系統執行向量計算之一程序之一實例流程圖。因此，可使用系統100及200之上文提及之計算資源實施程序400。 程序400在方塊402開始且向量記憶體(vmem 204)提供用於執行一或多個算術運算之資料。如上文提及，vmem 204可包含用於儲存各自向量資料集之多個記憶體庫。向量資料經提供至VPU通道102之一或多個處理器單元202。在方塊404，至少一個處理器單元202接收藉由vmem 204提供之向量資料。經接收資料可對應於一特定記憶體庫，且此外，可為藉由處理器單元202從記憶體庫之一特定位址位置存取之向量資料。藉由處理器單元202接收之資料由暫存器206使用來樣例化具有多個向量元素之一特定向量暫存器。 在方塊406，基於處理器單元202與vmem 204經緊密耦合按一特定頻寬(第一頻寬)交換vmem 204與至少一個處理器單元202之間的資料通信。在一些實施方案中，針對特定運算，資料可跨互連vmem 204與處理器單元202之暫存器206之8個通道之一或多者按每時脈循環256個位元(8個通道×32個位元)之一實例頻寬或資料率移動。一般言之，可在一給定時脈循環期間發生多個運算且運算之數目可在每時脈循環1024個至2048個運算之範圍中(例如，高頻寬運算)。 在一些實施方案中，當處理器單元202與vmem 204之間的一特定距離(例如，一第一距離)在0.001至100微米(micrometer)之範圍中時，該兩個計算資源經緊密耦合。例如，當一第一距離在0.001微米與0.1微米之間，在0.01微米與10微米之間或在0.1微米與100微米之間時，處理器單元202及vmem 202經緊密耦合。同樣地，處理器單元202之多個處理資源(例如，暫存器檔案206、ALU 208a/b及特殊單元210)可在該多個資料之間的一特定距離亦在0.001至100微米之範圍中時，相對於彼此緊密耦合。上文參考處理器單元202及vmem 202提供之實例距離亦可適用於向量處理單元202之多個資源之間的距離。 在方塊408，可由處理器單元202之ALU 208a或ALU 208b使用、存取或修改經接收資料以執行與用於計算推論工作量之向量化計算相關聯之一或多個算術運算。在程序400之方塊410，基於處理器單元202與MXU 110經耦合而非緊密耦合，按一特定頻寬(第二頻寬)交換至少一個處理器單元202與MXU 110之間的資料通信。 在一些實施方案中，針對特定運算，資料可跨互連一單一處理器單元202與MXU 110之2條資料線之至少一者按每時脈循環32個位元(2條線×16個位元)之一實例頻寬或資料率移動。一般言之，本端資源與非本端資源(例如，子通道202至MXU或XU)之間的多個運算可在一給定時脈循環期間發生且運算之數目可在每時脈循環10個至12個運算之範圍中(例如，低頻寬運算)。 在一些實施方案中，當處理器單元202與MXU 110之間的一特定距離(例如，一第二距離)在200微米至10毫米(mm)之一實例範圍中時，兩個計算資源經耦合(相對於緊密耦合)。例如，當一第二距離在200微米與1 mm之間，在500微米與2 mm之間或在1 mm與10 mm之間時，處理器單元202與MXU 110可經耦合。同樣地，當處理器單元202與XU 112 (或RPU 113)之間的一特定距離亦在200微米至10 mm之範圍中時，該處理器單元202可經耦合而非緊密耦合至XU 112 (或RPU 113)。 上文參考處理器單元202及MXU 110提供之實例距離亦可適用於向量處理單元202與XU 112 (或RPU 113)之間的距離。在一些實施方案中，第二距離可超過10 mm但可低於一實例電腦系統之一印刷電路板之單獨IC之間的一標準距離。 在方塊412，MXU 110從至少一個處理器單元202接收至少兩個運算元(各為32位元寬)。一般言之，該至少兩個運算元由MXU 110使用來執行與一多維資料陣列之向量化計算相關聯之運算。如上文論述，MXU 110可包含一乘法累加運算子陣列(MAC陣列310)，該乘法累加運算子陣列經組態以執行與向量化計算相關聯之數千個乘法及浮點運算以計算一特定類神經網路層之一推論工作量。 MAC陣列310可經進一步組態以將計算結果提供回至vmem 204以用於儲存於特定記憶體庫之位址位置中。在一些實施方案中，一子通道202將本端向量結果資料提供至XU 112，使得結果可在一或多個其他VPU通道102之間共用。例如，來自一第一VPU通道102之計算結果(輸出)可用作在另一第二VPU通道102內發生之計算之一輸入。在一些實施方案中，第二VPU通道102可經組態以執行與另一類神經網路層之推論工作量相關聯之向量化計算。 本說明書中描述之標的物及功能操作之實施例可依以下各者實施：數位電子電路、有形體現之電腦軟體或韌體、電腦硬體(包含本說明書中揭示之結構及其等結構等效物)，或其等之一或多者之組合。本說明書中描述之標的物之實施例可實施為一或多個電腦程式，即，在一有形非暫時性程式載體上編碼以供資料處理設備執行或控制該資料處理設備之操作之電腦程式指令之一或多個模組。或者或另外，程式指令可在一人工產生的傳播信號(例如，一機器產生電、光學或電磁信號)上編碼，產生該信號以編碼資訊以供傳輸至適當接收器設備從而供一資料處理設備執行。電腦儲存媒體可為一機器可讀儲存裝置、一機器可讀儲存基板、一隨機或串列存取記憶體裝置或其等之一或多者之一組合。 本說明書中描述之程序及邏輯流程可藉由一或多個可程式化電腦執行，該一或多個可程式化電腦執行一或多個電腦程式以藉由對輸入資料進行操作及產生(若干)輸出而執行功能。程序及邏輯流程亦可藉由專用邏輯電路(例如，一FPGA (場可程式化閘陣列)、一ASIC (特定應用積體電路)或一GPGPU (通用圖形處理單元))執行，且設備亦可實施為專用邏輯電路。 適用於執行一電腦程式之電腦包含(舉例而言，可基於)通用或專用微處理器或兩者，或任何其他種類之中央處理單元。通常，一中央處理單元將從一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之基本元件係用於執行(performing或executing)指令之一中央處理單元及用於儲存指令及資料之一或多個記憶體裝置。通常，一電腦亦將包含用於儲存資料之一或多個大容量儲存裝置(例如，磁碟、磁光碟或光碟)，或可操作耦合以從該大容量儲存裝置接收資料或傳送資料至該大容量儲存裝置，或既從該大容量儲存裝置接收資料亦傳送資料至該大容量儲存裝置。然而，一電腦未必具有此等裝置。 適用於儲存電腦程式指令及資料之電腦可讀媒體包含所有形式之非揮發性記憶體、媒體及記憶體裝置，包含舉例而言半導體記憶體裝置，例如，EPROM、EEPROM及快閃記憶體裝置；磁碟，例如，內部硬碟或隨身碟。處理器及記憶體可由專用邏輯電路補充或被併入至專用邏輯電路中。 雖然本說明書含有許多特定實施方案細節，但此等不應被解釋為對本發明之範疇或者可主張之內容之範疇之限制，而應當解釋為可特定於本發明之特定實施例之特徵之描述。本說明書中在單獨實施例之內容脈絡中描述之某些特徵亦可在一單一實施例中組合實施。相反地，在一單一實施例之內容脈絡中描述之各種特徵亦可以單獨地或者以任何合適之子組合在多個實施例中實施。再者，儘管上文可將特徵描述為以特定組合起作用且甚至最初如此主張，但在一些情況中，來自所主張組合之一或多個特徵可自組合中免除，且所主張組合可係關於一子組合或一子組合之變動。 類似地，雖然在圖式中按一特定順序描繪操作，但此不應被理解為要求按所展示之特定順序或循序順序執行此等操作，或執行所有繪示之操作以達成所要結果。在特定境況中，多任務處理及平行處理可為有利的。再者，在上文中描述之實施例中之各種系統模組及組件之分離不應被理解為在所有實施例中皆需要此分離，且應理解所描述之程式組件及系統可大體上一起整合於一單一軟體產品中或封裝至多個軟體產品中。 已描述標的物之特定實施例。其他實施例在下列發明申請專利範圍之範疇內。例如，在發明申請專利範圍中敘述之動作可按一不同順序執行且仍達成所要結果。作為一個實例，在附圖中描繪之程序不必要求所展示之特定順序或連續順序來達成所要結果。在特定實施方案中，多工處理及平行處理可為有利的。 較佳實施例： 實施例1a： 一種向量處理單元，其包括： 一或多個處理器單元，其或其等各經組態以執行與一多維資料陣列之向量化計算相關聯之算術運算；及 一向量記憶體，其與該一或多個處理器單元之各者資料通信，其中該向量記憶體包含經組態以儲存由該一或多個處理器單元之各者用來執行該等算術運算之資料之記憶體庫； 其中該一或多個處理器單元及該向量記憶體緊密耦合於該向量處理單元之一區域內，使得可基於各自處理器單元相對於彼此之放置且基於該向量記憶體相對於各處理器單元之放置依一高頻寬交換資料通信。 實施例1b： 如實施例1a之向量處理單元，其中緊密耦合之特徵在於以下實施例之至少一者： -       一或多個處理器單元及該向量記憶體在一IC晶粒區段內實體靠近，較佳地經安置為彼此相鄰； -       低於100微米，較佳地低於10微米，更佳地低於1微米之一距離；或 -       低於總IC晶粒邊緣尺寸之5%之一距離； 及/或其中高頻寬之特徵為下列實施例之至少一者： -       與多個16位元或32位元字組相關聯之數百或數千個運算；或 -       至少2048個運算，其等較佳地跨一IC晶粒內之多個資源發生，更佳地包含32位元字組， 較佳地按低延時，更佳地具有每單一時脈循環之以上數目個運算。 實施例2： 如實施例1a或1b之向量處理單元，其中該向量處理單元經組態用於耦合至一矩陣運算單元，該矩陣運算單元經組態以從一特定處理器單元接收至少兩個運算元，該至少兩個運算元由該矩陣運算單元用於執行與該多維資料陣列之向量化計算相關聯之運算。 實施例3： 如實施例2之向量處理單元，其進一步包括耦合至該特定處理器單元之一第一資料串列化器，該第一資料串列化器經組態以串列化對應於藉由該特定處理器單元提供且藉由該矩陣運算單元接收之一或多個運算元之輸出資料。 實施例4： 如實施例2或3之向量處理單元，其進一步包括耦合至該特定處理器單元之一第二資料串列化器，該第二資料串列化器經組態以串列化藉由該特定處理器單元提供且藉由該矩陣運算單元、一交叉通道單元或一縮減及排列單元之至少一者接收之輸出資料。 實施例5： 如實施例1a至4中任一項之向量處理單元，其中該一或多個處理器單元之各者包括： 複數個處理資源，該複數個處理資源包括一第一算術邏輯單元、一第二算術邏輯單元、一多維暫存器或一函數處理器單元之至少一者。 實施例6： 如實施例1a至5中任一項之向量處理單元，其中該向量記憶體經組態以將與一特定記憶體庫相關聯之資料載入至各自處理器單元，且其中該資料由該等各自處理器單元之一特定資源使用。 實施例7： 如實施例1a至6中任一項之向量處理單元，其進一步包括位於該一或多個處理器單元與該向量記憶體中間之一縱橫制連接器，該縱橫制連接器經組態以將與一向量記憶體庫相關聯之資料提供至一特定處理器單元之複數個處理資源之一特定資源。 實施例8： 如實施例1a至7中任一項之向量處理單元，其進一步包括與一特定處理器單元之一資源資料通信之一隨機數產生器，該隨機數產生器經組態以週期性地產生可用作藉由該特定處理器單元執行之至少一個運算之一運算元之一數。 實施例9： 如實施例1a至8中任一項之向量處理單元，其中該向量處理單元提供一處理通道且包含多個處理器單元，該多個處理器單元之各者分別在該向量處理單元內形成一處理器子通道。 實施例10： 如實施例9之向量處理單元，其中各處理器子通道基於每次存取動態組態以存取該向量記憶體之一特定記憶體庫以擷取用於執行與該多維資料陣列之向量化計算相關聯之一或多個算術運算之資料。 實施例11： 一種具有一向量處理單元之計算系統，該系統包括; 一或多個處理器單元，其或其等各包含經組態以執行複數個算術運算之一第一算術邏輯單元； 一向量記憶體，其與該一或多個處理器單元之各者資料通信，該向量記憶體包含經組態以儲存由該一或多個處理器單元之各者用來執行該等算術運算之資料之記憶體庫；及 一矩陣運算單元，其經組態以從一特定處理器單元接收至少兩個運算元，該至少兩個運算元由該矩陣運算單元用於執行與向量化計算相關聯之運算； 其中該一或多個處理器單元及該向量記憶體緊密耦合於該向量處理單元之一區域內，使得可基於至少一個處理器單元與該向量記憶體之間的一第一距離依一第一頻寬交換資料通信； 其中該向量處理單元及該矩陣運算單元經耦合使得可基於至少一個處理器單元與該矩陣運算單元之間的一第二距離依一第二頻寬交換資料通信；及 其中該第一距離小於該第二距離，且該第一頻寬大於該第二頻寬。 實施例12： 如實施例11之計算系統，其進一步包括耦合至該特定處理器單元之一第一資料串列化器，該第一資料串列化器經組態以串列化對應於藉由該特定處理器單元提供且藉由該矩陣運算單元接收之一或多個運算元之輸出資料。 實施例13： 如實施例12之計算系統，其進一步包括耦合至該特定處理器單元之一第二資料串列化器，該第二資料串列化器經組態以串列化藉由該特定處理器單元提供且藉由該矩陣運算單元、一交叉通道單元或一縮減及排列單元之至少一者接收之輸出資料。 實施例14： 如實施例11至13中任一項之計算系統，其中該一或多個處理器單元之各者包含複數個處理資源，該複數個處理資源包括一第二算術邏輯單元、一多維暫存器或一函數處理器單元之至少一者。 實施例15： 如實施例14之計算系統，其中該向量記憶體經組態以將與一特定記憶體庫相關聯之資料載入至各自處理器單元，且其中該資料由該等各自處理器單元之一特定資源使用。 實施例16： 如實施例14或15之計算系統，其進一步包括位於該一或多個處理器單元與該向量記憶體中間之一縱橫制連接器，該縱橫制連接器經組態以將與一向量記憶體庫相關聯之資料提供至一特定處理器單元之該複數個處理資源之一特定資源。 實施例17： 如實施例14至16中任一項之計算系統，其進一步包括與一特定處理器單元之一資源資料通信之一隨機數產生器，該隨機數產生器經組態以週期性地產生可用作藉由該特定處理器單元執行之至少一個運算之一運算元之一數。 實施例18： 如實施例11至17中任一項之計算系統，其進一步包括在該向量記憶體與該矩陣運算單元之間延伸之一資料路徑，該資料路徑實現在該向量記憶體與至少該矩陣運算單元之間發生之與直接記憶體存取操作相關聯之資料通信。 實施例19： 一種在具有一向量處理單元之一計算系統中之電腦實施方法，該方法包括： 藉由一向量記憶體提供用於執行一或多個算術運算之資料，該向量記憶體包含用於儲存各自資料集之記憶體庫； 藉由一或多個處理器單元從該向量記憶體之一特定記憶體庫接收資料，該資料由該一或多個處理器單元用於執行與向量化計算相關聯之一或多個算術運算；及 藉由一矩陣運算單元從一特定處理器單元接收至少兩個運算元，該至少兩個運算元由該矩陣運算單元用於執行與向量化計算相關聯之運算； 其中該一或多個處理器單元及該向量記憶體緊密耦合於該向量處理單元之一區域內，使得資料通信基於至少一個處理器單元與該向量記憶體之間的一第一距離依一第一頻寬發生； 其中該向量處理單元及該矩陣運算單元經耦合使得資料通信基於至少一個處理器單元與該矩陣運算單元之間的一第二距離依一第二頻寬發生；及 其中該第一距離小於該第二距離，且該第一頻寬大於該第二頻寬。 實施例20： 如實施例19之電腦實施方法，其進一步包括： 藉由一第一資料串列化器或一第二資料串列化器之一者將串列化輸入資料提供至該矩陣運算單元、一交叉通道單元或一縮減及排列單元之至少一者，其中該串列化輸入資料包含多個運算元；及 其中該第一資料串列化器及該第二資料串列化器經安置於該一或多個處理器單元與該矩陣運算單元、該交叉通道單元或該縮減及排列單元之至少一者中間。
100:計算系統 102:向量處理單元(VPU)通道 103:積體電路(IC)晶粒 104:核心定序器 106:外部記憶體(Ext.Mem.) 108:晶片間互連件(ICI) 110:矩陣單元(MXU) 112:交叉通道單元(XU) 113:縮減及排列單元(RPU) 114:矩陣返回元件(mrf) 116:交叉通道返回元件(xrf) 118:PRNG 122:輸入控制 124:資料清單 200:計算系統 202:向量處理單元 203:IC晶粒區段 204:向量記憶體(vmem) 206:暫存器檔案 207:處理單元互連件 208a:第一算術邏輯單元(ALU) 208b:第二算術邏輯單元(ALU) 210:特殊單元 212a:第一縱橫開關 212b:第二縱橫開關 214:第一資料串列化器 216:第二資料串列化器 218:XU/RPU串列化器 220a:第一資料路徑 220b:第二資料路徑 220c:資料路徑 222a:去串列化器 222b:去串列化器 224:資料清單 300:系統 302:嵌入式協同處理器 304:資料圖 306:個別通道 400:程序 402:方塊 404:方塊 406:方塊 408:方塊 410:方塊 412:方塊
圖1繪示包含一或多個向量處理單元及多個計算資源之一實例計算系統之一方塊圖。 圖2繪示一實例向量處理單元之一硬體結構之一方塊圖。 圖3繪示包含一乘法累加陣列及多個計算資源之一實例計算系統之一方塊圖。 圖4係用於執行向量計算之一程序之一實例流程圖。 在各種圖式中之相同元件符號及命名指示相同元件。
102:向量處理單元(VPU)通道 110:矩陣單元(MXU) 112:交叉通道單元(XU) 113:縮減及排列單元(RPU) 114:矩陣返回元件(mrf) 116:交叉通道返回元件(xrf) 118:PRNG 200:計算系統 202:向量處理單元 203:IC晶粒區段 204:向量記憶體(vmem) 206:暫存器檔案 207:處理單元互連件 208a:第一算術邏輯單元(ALU) 208b:第二算術邏輯單元(ALU) 210:特殊單元 212a:第一縱橫開關 212b:第二縱橫開關 214:第一資料串列化器 216:第二資料串列化器 218:XU/RPU串列化器 220a:第一資料路徑 220b:第二資料路徑 220c:資料路徑 222a:去串列化器 222b:去串列化器 224:資料清單

Claims (20)

  1. 一種計算系統，其包括： 一第一向量處理單元(vector processing unit, VPU)通道(lane)； 與該第一向量處理單元通道共置(co-located)之一向量記憶體，該向量記憶體具有複數個記憶體庫；及 一第二向量處理單元通道，其在與該第一向量處理單元通道共置之該向量記憶體之一距離內，使得資料在一單一時脈循環中橫穿(traverse)該距離。
  2. 如請求項1之系統，其中該第一向量處理單元通道及該第二向量處理單元通道之各者包含具有複數個記憶體庫之一各自向量記憶體。
  3. 如請求項1之系統，其中該第一向量處理單元通道及該第二向量處理單元通道之各者係一向量處理單元子通道。
  4. 如請求項1之系統，其中該第一向量處理單元通道及該第二向量處理單元通道之各者係該系統之一積體電路晶粒區段之一各自計算資源。
  5. 如請求項4之系統，其中該第一向量處理單元通道及該第二向量處理單元通道之各者包括複數個向量處理單元子通道。
  6. 如請求項4之系統，其中在該第一向量處理單元通道之一向量處理單元子通道內之一第一資源係在與在該第一向量處理單元通道之該向量處理單元子通道內之一第二資源之一距離內，使得資料在一單一時脈循環中橫穿該距離。
  7. 如請求項6之系統，其中在該第二向量處理單元通道之一向量處理單元子通道內之一第一資源係在與在該第二向量處理單元通道之該向量處理單元子通道內之一第二資源之一距離內，使得資料在一單一時脈循環中橫穿該距離。
  8. 如請求項4之系統，其進一步包括： 一外部記憶體，其耦合至該第一向量處理單元通道及該第二向量處理單元通道之各者；及 一晶片間互連件(inter-chip interconnect)，其與該外部記憶體、該第一向量處理單元通道及該第二向量處理單元通道之各者互連。
  9. 如請求項8之系統，其中該外部記憶體係在該積體電路晶粒區段之外部。
  10. 如請求項8之系統，其中該外部記憶體及該積體電路晶粒區段之各者經組態以與該向量記憶體及該第一向量處理單元通道交換資料。
  11. 如請求項4之系統，其中該向量記憶體包含於該第一向量處理單元通道中。
  12. 如請求項11之系統，其進一步包括： 複數個第二向量處理單元通道；及 在該複數個第二向量處理單元通道之每一第二向量處理單元通道中之一各自向量記憶體。
  13. 如請求項4之系統，其進一步包括： 一矩陣單元，其經組態以對接收自該第一向量處理單元通道及該第二向量處理單元通道之資料執行矩陣乘法。
  14. 如請求項13之系統，其中： 該矩陣單元係在該積體電路晶粒區段之外部；及 該資料在一單一時脈循環中橫穿該矩陣單元與至少該第一向量處理單元通道之間的一距離。
  15. 如請求項13之系統，其中該資料包括至少1024個向量運算元(operands)。
  16. 如請求項1之系統，其中該資料係表示作為一多維向量及該系統進一步包括： 一排列單元，其經組態以參考該多維向量而重塑或再配置該資料。
  17. 如請求項1之系統，其進一步包括： 一交叉通道單元，其經組態以在該第一向量處理單元通道及該第二向量處理單元通道之間移動資料。
  18. 一種計算系統，其包括： 一外部記憶體； 一晶片間互連件；及 至少一向量處理單元通道； 其中該至少一向量處理單元通道之每一向量處理單元通道包括具有複數個記憶體庫之對應向量記憶體， 其中該外部記憶體及該晶片間互連件之各者經組態以與該至少一向量處理單元通道之該向量記憶體交換資料， 其中該至少一向量處理單元通道之每一向量處理單元通道包括複數個向量處理單元子通道，及 其中該至少一向量處理單元通道之每一向量處理單元通道係在與該對應向量記憶體之一距離內，使得資料在一單一時脈循環中橫穿該距離。
  19. 如請求項18之系統，其進一步包括： 一矩陣單元，其經組態以對對應於該資料之向量運算元執行矩陣乘法，其中該等向量運算元係接收自該第一向量處理單元通道及該第二向量處理單元通道。
  20. 如請求項19之系統，其中該資料係表示作為一多維向量及該系統進一步包括： 一排列單元，其經組態以參考該多維向量而重塑或再配置該資料；及 一交叉通道單元，其經組態以在該系統之兩個或更多個向量處理單元通道之間移動資料。
TW113113006A 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法 TWI867991B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/454,214 US10261786B2 (en) 2017-03-09 2017-03-09 Vector processing unit
US15/454,214 2017-03-09

Publications (2)

Publication Number Publication Date
TW202445347A TW202445347A (zh) 2024-11-16
TWI867991B true TWI867991B (zh) 2024-12-21

Family

ID=60201400

Family Applications (5)

Application Number Title Priority Date Filing Date
TW112103841A TWI841222B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
TW108110038A TWI751409B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
TW110144862A TWI795107B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
TW106137499A TWI658408B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
TW113113006A TWI867991B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
TW112103841A TWI841222B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
TW108110038A TWI751409B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
TW110144862A TWI795107B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
TW106137499A TWI658408B (zh) 2017-03-09 2017-10-31 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法

Country Status (7)

Country Link
US (6) US10261786B2 (zh)
EP (2) EP4517645A3 (zh)
CN (3) CN108572850B (zh)
DE (2) DE102017125348A1 (zh)
GB (2) GB2560400B (zh)
TW (5) TWI841222B (zh)
WO (1) WO2018164730A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261786B2 (en) * 2017-03-09 2019-04-16 Google Llc Vector processing unit
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US12430543B2 (en) 2017-04-04 2025-09-30 Hailo Technologies Ltd. Structured sparsity guided training in an artificial neural network
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US10417731B2 (en) 2017-04-24 2019-09-17 Intel Corporation Compute optimization mechanism for deep neural networks
US10417734B2 (en) 2017-04-24 2019-09-17 Intel Corporation Compute optimization mechanism for deep neural networks
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) * 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US11561791B2 (en) * 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US10970080B2 (en) 2018-02-08 2021-04-06 Marvell Asia Pte, Ltd. Systems and methods for programmable hardware architecture for machine learning
US11016801B1 (en) 2018-05-22 2021-05-25 Marvell Asia Pte, Ltd. Architecture to support color scheme-based synchronization for machine learning
US10929778B1 (en) 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Address interleaving for machine learning
US10929779B1 (en) 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Architecture to support synchronization between core and inference engine for machine learning
US10891136B1 (en) 2018-05-22 2021-01-12 Marvell Asia Pte, Ltd. Data transmission between memory and on chip memory of inference engine for machine learning via a single data gathering instruction
US10997510B1 (en) 2018-05-22 2021-05-04 Marvell Asia Pte, Ltd. Architecture to support tanh and sigmoid operations for inference acceleration in machine learning
US10929760B1 (en) 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Architecture for table-based mathematical operations for inference acceleration in machine learning
US10831507B2 (en) 2018-11-21 2020-11-10 SambaNova Systems, Inc. Configuration load of a reconfigurable data processor
US11188497B2 (en) 2018-11-21 2021-11-30 SambaNova Systems, Inc. Configuration unload of a reconfigurable data processor
CN111222624B (zh) * 2018-11-26 2022-04-29 深圳云天励飞技术股份有限公司 一种并行计算方法及装置
CN110033091B (zh) * 2018-12-13 2020-09-01 阿里巴巴集团控股有限公司 一种基于模型进行预测的方法和装置
US10698853B1 (en) 2019-01-03 2020-06-30 SambaNova Systems, Inc. Virtualization of a reconfigurable data processor
US11386038B2 (en) * 2019-05-09 2022-07-12 SambaNova Systems, Inc. Control flow barrier and reconfigurable data processor
US11055141B2 (en) 2019-07-08 2021-07-06 SambaNova Systems, Inc. Quiesce reconfigurable data processor
KR102824062B1 (ko) * 2019-08-22 2025-06-23 구글 엘엘씨 온칩 오퍼레이션 초기화
US11416422B2 (en) 2019-09-17 2022-08-16 Micron Technology, Inc. Memory chip having an integrated data mover
US11397694B2 (en) 2019-09-17 2022-07-26 Micron Technology, Inc. Memory chip connecting a system on a chip and an accelerator chip
US11853758B2 (en) * 2019-09-27 2023-12-26 Intel Corporation Techniques for decoupled access-execute near-memory processing
US11651209B1 (en) * 2019-10-02 2023-05-16 Google Llc Accelerated embedding layer computations
CN111105042B (zh) * 2019-12-13 2023-07-25 广东浪潮大数据研究有限公司 一种并行消息处理方法、系统及相关装置
US11922292B2 (en) * 2020-01-27 2024-03-05 Google Llc Shared scratchpad memory with parallel load-store
CN113849951B (zh) * 2020-06-28 2025-11-25 中兴通讯股份有限公司 芯片仿真方法、装置、设备、系统及存储介质
US11347652B2 (en) * 2020-08-31 2022-05-31 Microsoft Technology Licensing, Llc Banked memory architecture for multiple parallel datapath channels in an accelerator
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US12248367B2 (en) 2020-09-29 2025-03-11 Hailo Technologies Ltd. Software defined redundant allocation safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
CN114698391A (zh) * 2020-10-30 2022-07-01 深圳市大疆创新科技有限公司 数字管理单元和数字信号处理系统
US11816061B2 (en) 2020-12-18 2023-11-14 Red Hat, Inc. Dynamic allocation of arithmetic logic units for vectorized operations
US20220215235A1 (en) * 2021-01-07 2022-07-07 Micron Technology, Inc. Memory system to train neural networks
CN116263873A (zh) * 2021-12-14 2023-06-16 澜起电子科技(昆山)有限公司 一种利用神经网络处理数据的方法
EP4423631A2 (en) * 2021-12-16 2024-09-04 Google LLC One-dimensional computational unit for an integrated circuit
US11487694B1 (en) 2021-12-17 2022-11-01 SambaNova Systems, Inc. Hot-plug events in a pool of reconfigurable data flow resources
US20230418604A1 (en) * 2022-06-27 2023-12-28 Intel Corporation Reconfigurable vector processing in a memory
CN117608861A (zh) * 2024-01-18 2024-02-27 上海芯联芯智能科技有限公司 一种中央处理器cpu装置
CN118333118B (zh) * 2024-06-13 2024-10-01 苏州元脑智能科技有限公司 数据处理装置、方法、加速单元、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089792A1 (en) * 2010-09-29 2012-04-12 Brian Fahs Efficient implementation of arrays of structures on simt and simd architectures
US20140365548A1 (en) * 2013-06-11 2014-12-11 Analog Devices Technology Vector matrix product accelerator for microprocessor integration
US20160163016A1 (en) * 2014-12-09 2016-06-09 Julia A. Gould Thread dispatching for graphics processors
CN105930902A (zh) * 2016-04-18 2016-09-07 中国科学院计算技术研究所 一种神经网络的处理方法、系统
TW201638788A (zh) * 2015-02-23 2016-11-01 英特爾股份有限公司 向量快取線回寫處理器、方法、系統及指令

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4150434A (en) 1976-05-08 1979-04-17 Tokyo Shibaura Electric Co., Ltd. Matrix arithmetic apparatus
US4128880A (en) * 1976-06-30 1978-12-05 Cray Research, Inc. Computer vector register processing
US4636942A (en) 1983-04-25 1987-01-13 Cray Research, Inc. Computer vector multiprocessing control
JPS60136870A (ja) * 1983-12-26 1985-07-20 Hitachi Ltd ベクトル処理装置
JPS62180470A (ja) 1986-02-04 1987-08-07 Hitachi Ltd ベクトル処理装置
US5175862A (en) 1989-12-29 1992-12-29 Supercomputer Systems Limited Partnership Method and apparatus for a special purpose arithmetic boolean unit
US5067095A (en) * 1990-01-09 1991-11-19 Motorola Inc. Spann: sequence processing artificial neural network
US5327365A (en) * 1991-08-23 1994-07-05 Fujitsu Limited Generating system of random-number sequences for a parallel computer system
JPH07271764A (ja) * 1994-03-24 1995-10-20 Internatl Business Mach Corp <Ibm> 計算機プロセッサ及びシステム
US5758176A (en) * 1994-09-28 1998-05-26 International Business Machines Corporation Method and system for providing a single-instruction, multiple-data execution unit for performing single-instruction, multiple-data operations within a superscalar data processing system
TW270192B (en) * 1995-05-11 1996-02-11 Ind Tech Res Inst Artificial neural network architecture
US5790821A (en) * 1996-03-08 1998-08-04 Advanced Micro Devices, Inc. Control bit vector storage for storing control vectors corresponding to instruction operations in a microprocessor
US5805875A (en) 1996-09-13 1998-09-08 International Computer Science Institute Vector processing system with multi-operation, run-time configurable pipelines
RU2131145C1 (ru) * 1998-06-16 1999-05-27 Закрытое акционерное общество Научно-технический центр "Модуль" Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор
US7681013B1 (en) * 2001-12-31 2010-03-16 Apple Inc. Method for variable length decoding using multiple configurable look-up tables
DE112004000026D2 (de) * 2003-04-04 2006-06-14 Pact Xpp Technologies Ag Verfahren und Vorrichtung für die Datenverarbeitung
US7412586B1 (en) * 2003-07-29 2008-08-12 Colorado State University Research Foundation Switch memory architectures
US20050251644A1 (en) * 2004-05-06 2005-11-10 Monier Maher Physics processing unit instruction set architecture
US20070150697A1 (en) 2005-05-10 2007-06-28 Telairity Semiconductor, Inc. Vector processor with multi-pipe vector block matching
EP2004288B1 (en) * 2006-03-23 2010-10-20 Medtronic, Inc. Medical electrical lead connection systems and methods
US20080091924A1 (en) * 2006-10-13 2008-04-17 Jouppi Norman P Vector processor and system for vector processing
US7809925B2 (en) * 2007-12-07 2010-10-05 International Business Machines Corporation Processing unit incorporating vectorizable execution unit
US8078836B2 (en) * 2007-12-30 2011-12-13 Intel Corporation Vector shuffle instructions operating on multiple lanes each having a plurality of data elements using a common set of per-lane control bits
US20100257329A1 (en) 2009-04-02 2010-10-07 Brucek Khailany Apparatus and method for loading and storing multi-dimensional arrays of data in a parallel processing unit
KR101699910B1 (ko) * 2010-03-04 2017-01-26 삼성전자주식회사 재구성 가능 프로세서 및 그 제어 방법
GB2483225B (en) * 2010-08-27 2018-07-11 Nvidia Tech Uk Limited Improved processor architecture
GB2484906A (en) 2010-10-21 2012-05-02 Bluwireless Tech Ltd Data processing unit with scalar processor and vector processor array
US8531858B2 (en) * 2011-02-18 2013-09-10 Ideal Power, Inc. Power conversion with current sensing coupled through saturating element
US9529571B2 (en) * 2011-10-05 2016-12-27 Telefonaktiebolaget Lm Ericsson (Publ) SIMD memory circuit and methodology to support upsampling, downsampling and transposition
US20150120631A1 (en) * 2012-05-10 2015-04-30 Consejo Superior de Investagaciones Cientificas (CSIC) Method and System for Converting Pulsed-Processing Neural Network with Instantaneous Integration Synapses into Dynamic Integration Synapses
US9588766B2 (en) * 2012-09-28 2017-03-07 Intel Corporation Accelerated interlane vector reduction instructions
US9600442B2 (en) * 2014-07-18 2017-03-21 Intel Corporation No-locality hint vector memory access processors, methods, systems, and instructions
US20160026912A1 (en) * 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
US11061682B2 (en) 2014-12-15 2021-07-13 Hyperion Core, Inc. Advanced processor architecture
US10275247B2 (en) * 2015-03-28 2019-04-30 Intel Corporation Apparatuses and methods to accelerate vector multiplication of vector elements having matching indices
US10192162B2 (en) * 2015-05-21 2019-01-29 Google Llc Vector computation unit in a neural network processor
US9870339B2 (en) * 2015-06-26 2018-01-16 Intel Corporation Hardware processors and methods for tightly-coupled heterogeneous computing
US9830150B2 (en) 2015-12-04 2017-11-28 Google Llc Multi-functional execution lane for image processor
US20170371654A1 (en) * 2016-06-23 2017-12-28 Advanced Micro Devices, Inc. System and method for using virtual vector register files
US10261786B2 (en) * 2017-03-09 2019-04-16 Google Llc Vector processing unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089792A1 (en) * 2010-09-29 2012-04-12 Brian Fahs Efficient implementation of arrays of structures on simt and simd architectures
US20140365548A1 (en) * 2013-06-11 2014-12-11 Analog Devices Technology Vector matrix product accelerator for microprocessor integration
US20160163016A1 (en) * 2014-12-09 2016-06-09 Julia A. Gould Thread dispatching for graphics processors
TW201638788A (zh) * 2015-02-23 2016-11-01 英特爾股份有限公司 向量快取線回寫處理器、方法、系統及指令
CN105930902A (zh) * 2016-04-18 2016-09-07 中国科学院计算技术研究所 一种神经网络的处理方法、系统

Also Published As

Publication number Publication date
TW202445347A (zh) 2024-11-16
CN108572850B (zh) 2023-11-24
TW202333072A (zh) 2023-08-16
EP4517645A2 (en) 2025-03-05
TW201833767A (zh) 2018-09-16
US12399714B2 (en) 2025-08-26
GB2587825B (en) 2021-11-03
US20190243645A1 (en) 2019-08-08
WO2018164730A1 (en) 2018-09-13
CN208061184U (zh) 2018-11-06
US11016764B2 (en) 2021-05-25
TWI841222B (zh) 2024-05-01
EP4517645A3 (en) 2025-04-30
US20250315257A1 (en) 2025-10-09
US10261786B2 (en) 2019-04-16
GB201717851D0 (en) 2017-12-13
GB2560400B (en) 2020-04-29
US20210357212A1 (en) 2021-11-18
GB202003781D0 (en) 2020-04-29
GB2587825A (en) 2021-04-14
CN117667215A (zh) 2024-03-08
US20230297372A1 (en) 2023-09-21
GB2560400A (en) 2018-09-12
US10915318B2 (en) 2021-02-09
TWI795107B (zh) 2023-03-01
TWI751409B (zh) 2022-01-01
TWI658408B (zh) 2019-05-01
US20200233663A1 (en) 2020-07-23
EP3373152A1 (en) 2018-09-12
CN108572850A (zh) 2018-09-25
US20180260220A1 (en) 2018-09-13
TW202213128A (zh) 2022-04-01
US11520581B2 (en) 2022-12-06
DE202017106562U1 (de) 2018-02-22
DE102017125348A1 (de) 2018-09-13
TW201928712A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
TWI867991B (zh) 向量處理單元與具有向量處理單元之計算系統，以及電腦實施方法
US20250190749A1 (en) Multiple tiling configurations in single processing graph
CN107229463B (zh) 计算设备和相应计算方法
US12079156B2 (en) Lossless tiling in convolution networks—materialization of tensors
US11561925B2 (en) Tensor partitioning and partition access order
US11250061B1 (en) Lossless tiling in convolution networks—read-modify-write in backward pass
CN108388527A (zh) 直接存储器存取引擎及其方法
US11580397B2 (en) Tensor dropout using a mask having a different ordering than the tensor
KR20210113099A (ko) 조정 가능한 기능-인-메모리 컴퓨팅 시스템
WO2021126318A1 (en) Topological scheduling
HK40108723A (zh) 矢量处理单元、含有其的计算系统及在其中执行的方法
HK1261497A1 (zh) 矢量处理单元、含有其的计算系统及在其中执行的方法
HK1261497B (zh) 矢量处理单元、含有其的计算系统及在其中执行的方法
CN113362878A (zh) 用于存储器内计算的方法和用于计算的系统
US12541669B2 (en) Lossless tiling in convolution networks—section boundaries