TWI898651B - 記憶體裝置及其操作方法 - Google Patents

Abstract

提供一種記憶體裝置及其操作方法。記憶體裝置包括：輸入資料記憶體、權重資料記憶體、輸出資料記憶體以及邏輯運算電路。邏輯運算電路耦接至輸入資料記憶體、權重資料記憶體以及輸出資料記憶體。輸入資料記憶體儲存多筆輸入資料。權重資料記憶體儲存分別對應於多筆輸入資料的多個權重值。邏輯運算單元根據至少一輸入資料及其對應的至少一權重值計算輸出資料，並將輸出資料儲存至輸出資料記憶體。輸出資料記憶體傳送輸出資料。

Description

記憶體裝置及其操作方法

本發明是有關於一種人工智慧技術，且特別是有關於一種記憶體及其操作方法。

在使用大語言模型（Large Language Model，LLM）的情況下，通常會使用堆疊式靜態隨機存取記憶體（Stacked Static Random Access Memory，Stacked SRAM）裝置搭配外部的運算邏輯電路來完成資料的處理。然而，在資料量龐大的LLM中，由Stacked SRAM與運算邏輯電路之間的溝通傳輸所造成存取延遲時間也大幅增加，進而影響整體效能。

有鑑於此，本發明提供一種記憶體裝置及其操作方法，藉由將邏輯運算電路設置於記憶體裝置中，來避免邏輯運算電路與記憶體裝置的溝通傳輸時間，可提升執行資料運算的速度，並減少存取延遲時間。

本發明的記憶體裝置，包括：輸入資料記憶體、權重資料記憶體、輸出資料記憶體以及邏輯運算電路。邏輯運算電路耦接輸入資料記憶體、權重資料記憶體以及輸出資料記憶體。輸入資料記憶體儲存多筆輸入資料。權重資料記憶體儲存分別對應於多筆輸入資料的多個權重值。邏輯運算單元根據至少一輸入資料及其對應的至少一權重值計算輸出資料，並將輸出資料儲存至輸出資料記憶體。輸出資料記憶體傳送輸出資料。

本發明的記憶體裝置的操作方法，包括：透過輸入資料記憶體儲存多筆輸入資料；透過權重資料記憶體儲存分別對應於多筆輸入資料的多個權重值；透過邏輯運算單元根據至少一輸入資料及其對應的至少一權重值計算輸出資料，並將輸出資料儲存至輸出資料記憶體；以及透過輸出資料記憶體傳送輸出資料。

基於上述，本發明所提供的記憶體及其操作方法，可藉由設置於記憶體裝置中的邏輯運算電路，來避免邏輯運算電路與記憶體裝置的溝通傳輸時間，大幅減少存取延遲時間，以因應大語言模型（LLM）的龐大資料量的處理需求。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的範例。

圖1繪示本發明的一實施例的一種記憶體裝置的示意圖；圖2繪示本發明的一實施例的邏輯運算電路的運作的示意圖。請參照圖1與圖2。在本實施例中，記憶體裝置10可例如是堆疊式靜態隨機存取記憶體（Stacked Static Random Access Memory，Stacked SRAM）。記憶體裝置100包括輸入資料記憶體110、權重資料記憶體120、輸出資料記憶體130以及邏輯運算電路140。邏輯運算電路140耦接至輸入資料記憶體110、權重資料記憶體120以及輸出資料記憶體130。輸入資料記憶體110用以儲存多筆輸入資料。權重資料記憶體120用以儲存分別對應於多筆輸入資料的多個權重值。

邏輯運算單元140可根據輸入資料D1~DN及其對應的權重值W1~WN計算輸出資料Z，並將輸出資料Z儲存至輸出資料記憶體130。具體來說，邏輯運算單元140包括乘法器141以及累加器142。乘法器141耦接累加器142。如圖2所示，乘法器141可分別計算輸入資料D1~DN及其對應的權重值W1~WN的多個乘積。例如，乘法器141可計算輸入資料Di與權重值Wi的乘積Di*Wi，其中i為1~N的任一整數。接下來，累加器142將由乘法器141所計算出的乘積進行加總，以計算輸出資料Z。也就是說，Z=D1*W1+ D1*W1+…+ DN*WN。

邏輯運算單元140可將輸出資料Z儲存至輸出資料記憶體130。在後續需要使用到輸出資料Z時，輸出資料記憶體130可將輸出資料Z輸出至對應的組件。例如，輸出資料記憶體130可將輸出資料Z輸出至中央處理器（Central Processing Unit，CPU）（未繪示）。也就是說，中央處理器可存取輸出資料記憶體130，以取得所需的資料（意即，輸出資料Z）。

如此一來，本發明的記憶體裝置10可藉由裝置內的邏輯運算電路140來進行資料運算的操作，以降低存取延遲時間。

圖3繪示本發明的一實施例的一種記憶體裝置的示意圖；圖4繪示本發明的一實施例的一種記憶體裝置的操作方法的流程圖。請參照圖3與圖4。記憶體裝置30包括輸入資料記憶體310、權重資料記憶體320、輸出資料記憶體330、邏輯運算電路340、資料讀取邏輯電路350、控制邏輯電路360、輸入緩衝器370、權重緩衝器380、輸出緩衝器390、地址匯流排BA以及資料匯流排BD。邏輯運算電路340包括乘法器341以及累加器342。資料讀取邏輯電路350包括地址生成器351以及資料擷取器352。

在步驟S401中，輸入資料記憶體310儲存多筆輸入資料，並且權重資料記憶體320儲存分別對應於多筆輸入資料的多個權重值。在步驟S402中，地址生成器351基於地址控制訊號CON-A，產生至少一輸入資料D1~DN的至少一第一地址A-D1~A-DN以及對應於至少一輸入資料D1~DN的至少一權重值W1~WN的至少一第二地址A-W1~A-WN。

具體來說，當多筆輸入資料被寫入輸入資料記憶體310時，地址生成器351可對應地產生多個地址，以確保被寫入輸入資料記憶體310中的每一筆輸入資料皆具有唯一的地址。類似地，當對應於多筆輸入資料的多個權重值被寫入權重資料記憶體320時，地址生成器351可對應地產生多個地址，以確保被寫入權重資料記憶體320中的每一個權重值皆具有唯一的地址。如此一來，地址生成器351可基於由控制邏輯電路360所產生的用以指示當前所需要的至少一輸入資料D1~DN及其對應的至少一權重值W1~WN的地址控制訊號CON-A來產生至少一第一地址A-D1~A-DN以及至少一第二地址A-W1~A-WN。

在步驟S403中，地址生成器351透過地址匯流排BA將至少一第一地址A-D1~A-DN以及至少一第二地址A-W1~A-WN分別傳送至輸入資料記憶體310以及權重資料記憶體320。

在步驟S404中，資料擷取器352基於資料控制訊號CON-D，自輸入資料記憶體310以及權重資料記憶體320分別提取至少一輸入資料D1~DN以及至少一權重值W1~WN。具體來說，由控制邏輯電路360所產生的資料控制訊號CON-D可用以指示提取資料的時序關係。資料擷取器352可基於資料控制訊號CON-D來進行提取輸入資料D1~DN以及權重值W1~WN的操作，以確保資料讀取的正確性。

根據上述，控制邏輯電路360可分別藉由地址控制訊號CON-A以及資料控制訊號CON-D來控制地址生成器351以及資料擷取器352的操作，以確保資料讀取邏輯電路350執行讀取資料操作的資料正確性及時序關係。

在步驟S405中，控制邏輯電路360可判斷資料擷取器352是否提取成功。若是資料擷取器352提取成功，進入步驟S406。反之，若是資料擷取器352提取失敗，則回到步驟S404中，使得資料擷取器352可重新提取輸入資料D1~DN以及權重值W1~WN。

在一實施例中，控制邏輯電路360可基於第一地址A-D1~A-DN以及第二地址A-W1~A-WN，判斷資料擷取器352是否提取成功。具體來說，控制邏輯電路360可驗證第一地址A-D1~A-DN以及第二地址A-W1~A-WN是否皆符合預期範圍。若符合，則第一地址A-D1~A-DN以及第二地址A-W1~A-WN為正確的地址，資料擷取器352可成功提取對應的輸入資料D1~DN以及權重值W1~WN。若不符合，則第一地址A-D1~A-DN以及第二地址A-W1~A-WN的其中之一為錯誤的地址，意即，地址生成器351所生成的地址有誤，資料擷取器352無法成功提取對應的輸入資料D1~DN及/或權重值W1~WN。換言之，資料擷取器352提取失敗。

在一實施例中，控制邏輯電路360可基於輸入資料D1~DN以及權重值W1~WN，判斷資料擷取器352是否提取成功。具體來說，控制邏輯電路360可判斷輸入資料D1~DN以及權重值W1~WN是否為有效（valid）資料。例如，控制邏輯電路360可檢查輸入資料D1~DN以及權重值W1~WN的有效標誌位元。若是有效標誌位元為邏輯值1，則代表資料為有效資料，資料擷取器352提取成功。若是有效標誌位元為邏輯值0，則代表資料為無效（invalid）資料，資料擷取器352提取失敗。在另一實施例中，若是有效標誌位元為邏輯值0，則代表資料為有效資料，資料擷取器352提取成功。若是有效標誌位元為邏輯值1，則代表資料為無效資料，資料擷取器352提取失敗。

在一實施例中，控制邏輯電路360可基於輸入緩衝器370以及權重緩衝器380的性能，判斷資料擷取器352是否提取成功。具體來說，輸入緩衝器370以及權重緩衝器380需要具備足夠的儲存容量及/或足夠的傳輸速率來儲存及/或傳輸由資料擷取器352所提取的輸入資料D1~DN以及權重值W1~WN。若是輸入緩衝器370以及權重緩衝器380的儲存容量不足及/或傳輸速率不足，會導致資料延遲或丟失等問題，控制邏輯電路360可判斷資料擷取器352提取失敗。若是輸入緩衝器370以及權重緩衝器380具有足夠的儲存容量及傳輸速率，控制邏輯電路360可判斷資料擷取器352提取成功。

在一實施例中，控制邏輯電路360可基於是否發生雜訊干擾或傳輸錯誤，判斷資料擷取器352是否提取成功。若是在資料擷取器352提取輸入資料D1~DN以及權重值W1~WN的過程中，發生雜訊干擾或傳輸錯誤，控制邏輯電路360可判斷資料擷取器352提取失敗。若是在資料擷取器352提取輸入資料D1~DN以及權重值W1~WN的過程中，並未發生雜訊干擾或傳輸錯誤，控制邏輯電路360可判斷資料擷取器352提取成功。

在一實施例中，控制邏輯電路360可基於地址控制訊號CON-A及資料控制訊號CON-D的正確性，判斷資料擷取器352是否提取成功。具體來說，控制邏輯電路360可分別藉由地址控制訊號CON-A以及資料控制訊號CON-D來控制地址生成器351以及資料擷取器352的操作，以確保資料的正確性及時序關係。控制邏輯電路360可透過模擬測試、驗證測試等測試方法來檢查其所生成的地址控制訊號CON-A以及資料控制訊號CON-D的正確性，意即，檢查地址控制訊號CON-A以及資料控制訊號CON-D是否符合需求。若是地址控制訊號CON-A及/或資料控制訊號CON-D有誤，控制邏輯電路360可判斷資料擷取器352提取失敗。若是地址控制訊號CON-A以及資料控制訊號CON-D正確，控制邏輯電路360可判斷資料擷取器352提取成功。

在步驟S406中，資料擷取器352透過資料匯流排BD將至少一輸入資料D1~DN以及至少一權重值W1~WN分別傳送至輸入緩衝器370以及權重緩衝器380。輸入緩衝器370用以暫存從輸入資料記憶體310所提取出的輸入資料D1~DN。權重緩衝器380用以暫存從權重資料記憶體320所提取出的權重值W1~WN。

在步驟S407中，邏輯運算電路340分別自輸入緩衝器370以及權重緩衝器380獲得至少一輸入資料D1~DN以及至少一權重值W1~WN，以根據至少一輸入資料D1~DN以及至少一權重值W1~WN計算輸出資料Z。具體來說，輸入緩衝器370的寄存器（Register）（未繪示）可將輸入資料D1~DN載入乘法器341的寄存器（未繪示）。類似地，權重緩衝器380的寄存器（未繪示）可將權重值W1~WN載入乘法器341的寄存器。接下來，乘法器341可分別計算輸入資料D1~DN及其對應的權重值W1~WN的多個乘積。乘法器341的寄存器將多個乘積載入累加器342的寄存器（未繪示），累加器342可將多個乘積進行加總，以計算出輸出資料Z。

在步驟S408中，邏輯運算電路340將輸出資料Z輸出至輸出緩衝區390。在步驟S409中，輸出資料記憶體330傳送輸出緩衝器390中的輸出資料Z。具體來說，輸出緩衝器390的寄存器（未繪示）可將輸出資料Z載入輸出資料記憶體330的寄存器（未繪示）。輸出資料記憶體330可將輸出資料Z傳送至對應的組件（例如，中央處理器）。

如此一來，本發明的記憶體裝置30可藉由裝置內的邏輯運算電路340來進行資料運算的操作，以降低存取延遲時間。另外，本發明的記憶體裝置30還可藉由控制邏輯電路360所生成的地址控制訊號CON-A以及資料控制訊號CON-D來控制資料讀取邏輯電路350的操作，以確保資料的正確性及時序關係。此外，控制邏輯電路360還可進一步地判斷資料讀取邏輯電路350是否提取成功，以再次確認資料的正確性。據此，本發明的記憶體裝置30可大幅降低邏輯運算電路340與輸入資料記憶體310、權重資料記憶體320以及輸出資料記憶體330的溝通傳輸時間，並確保資料的正確性及時序關係，可滿足對於大語言模型（LLM）的龐大資料量的處理需求。

圖5繪示本發明的一實施例的一種記憶體裝置的操作方法的流程圖。操作方法可由圖1的記憶體裝置10來實現。請參照圖1與圖5。在步驟S501中，透過輸入資料記憶體110儲存多筆輸入資料。在步驟S502中，透過權重資料記憶體120儲存分別對應於多筆輸入資料的多個權重值。在步驟S503中，透過邏輯運算單元140根據至少一輸入資料及其對應的至少一權重值計算輸出資料，並將輸出資料儲存至輸出資料記憶體130。在步驟S504中，透過輸出資料記憶體130傳送輸出資料。

綜上所述，本發明所提供的記憶體裝置及其操作方法，可大幅降低邏輯運算電路與輸入資料記憶體、權重資料記憶體以及輸出資料記憶體之間的溝通傳輸時間，並確保資料讀取邏輯電路所提取出的資料的正確性及時序關係，以滿足對於大語言模型（LLM）的龐大資料量的處理需求。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10、30:記憶體 110、310:輸入資料記憶體 120、320:權重資料記憶體 130、330:輸出資料記憶體 140、340:邏輯運算電路 141、341:乘法器 142、342:累加器 350:資料讀取邏輯電路 351:地址生成器 352:資料擷取器 360:控制邏輯電路 370:輸入緩衝器 380:權重緩衝器 390:輸出緩衝器 A-D1、A-DN、A-W1、A-WN:地址 BA、BD:匯流排 CON-A、CON-D:控制訊號 D1、D2、Di、DN:輸入資料 W1、W2、Wi、WN:權重值 S401、S402、S403、S404、S405、S406、S407、S408、S409、S501、S502、S503、S504:步驟 Z:輸出資料

圖1繪示本發明的一實施例的一種記憶體裝置的示意圖。 圖2繪示本發明的一實施例的邏輯運算電路的運作的示意圖。 圖3繪示本發明的一實施例的一種記憶體裝置的示意圖。 圖4繪示本發明的一實施例的一種記憶體裝置的操作方法的流程圖。 圖5繪示本發明的一實施例的一種記憶體裝置的操作方法的流程圖。

10:記憶體裝置

110:輸入資料記憶體

120:權重資料記憶體

130:輸出資料記憶體

140:邏輯運算電路

141:乘法器

142:累加器

D1、DN:輸入資料

W1、WN:權重值

Z:輸出資料

Claims (14)

1. 一種記憶體裝置，包括： 輸入資料記憶體，用以儲存多筆輸入資料； 權重資料記憶體，用以儲存分別對應於該些輸入資料的多個權重值； 輸出資料記憶體；以及 邏輯運算電路，耦接至該輸入資料記憶體、該權重資料記憶體以及該輸出資料記憶體，其中 該邏輯運算單元根據至少一輸入資料及其對應的至少一權重值計算輸出資料，並將該輸出資料儲存至該輸出資料記憶體， 該輸出資料記憶體傳送該輸出資料， 其中該記憶體裝置更包括： 資料讀取邏輯電路，包括： 地址生成器，用以基於地址控制訊號，產生該至少一輸入資料的至少一第一地址以及對應於該至少一輸入資料的該至少一權重值的至少一第二地址：以及 資料擷取器，用以基於資料控制訊號，自該輸入資料記憶體以及該權重資料記憶體分別提取該至少一輸入資料以及該至少一權重值。
2. 如請求項1所述的記憶體裝置，其中該邏輯運算電路包括： 乘法器；以及 累加器，耦接至該乘法器，其中 該乘法器分別計算該至少一輸入資料及其對應的至少一權重值的至少一乘積， 該累加器將該至少一乘積進行加總，以計算該輸出資料。
3. 如請求項1所述的記憶體裝置，更包括： 地址匯流排；以及 資料匯流排，其中 該地址生成器透過該地址匯流排將該至少一第一地址以及該至少一第二地址分別傳送至該輸入資料記憶體以及該權重資料記憶體， 該資料擷取器透過該資料匯流排傳送該至少一輸入資料以及該至少一權重值。
4. 如請求項3所述的記憶體裝置，更包括； 控制邏輯電路，用以判斷該資料擷取器是否提取成功， 響應於該控制邏輯電路判斷該資料擷取器提取失敗，該資料擷取器重新自該輸入資料記憶體以及該權重資料記憶體分別提取該至少一輸入資料以及該至少一權重值。
5. 如請求項4所述的記憶體裝置，其中 響應於該控制邏輯電路判斷該資料擷取器提取成功，該資料擷取器透過該資料匯流排將該至少一輸入資料以及該至少一權重值分別傳送至輸入緩衝器以及權重緩衝器。
6. 如請求項4所述的記憶體裝置，其中 該邏輯運算電路分別自該輸入緩衝器以及該權重緩衝器獲得該至少一輸入資料以及該至少一權重值，以根據該至少一輸入資料以及該至少一權重值計算該輸出資料。
7. 如請求項4所述的記憶體裝置，其中該控制邏輯電路基於該至少一第一地址以及該至少一第二地址，判斷該資料擷取器是否提取成功。
8. 如請求項4所述的記憶體裝置，其中該控制邏輯電路基於該至少一輸入資料以及該至少一權重值，判斷該資料擷取器是否提取成功。
9. 如請求項4所述的記憶體裝置，其中該控制邏輯電路基於該輸入緩衝器以及該權重緩衝器的性能，判斷該資料擷取器是否提取成功。
10. 如請求項4所述的記憶體裝置，其中該控制邏輯電路基於是否發生雜訊干擾或傳輸錯誤，判斷該資料擷取器是否提取成功。
11. 如請求項4所述的記憶體裝置，其中該控制邏輯電路基於該地址控制訊號及該資料控制訊號的正確性，判斷該資料擷取器是否提取成功。
12. 如請求項1所述的記憶體裝置，其中該邏輯運算電路將該輸出資料輸出至輸出緩衝器。
13. 如請求項1所述的記憶體裝置，其中該記憶體裝置為堆疊式靜態隨機存取記憶體（Stacked Static Random Access Memory，Stacked SRAM）。
14. 一種記憶體裝置的操作方法，包括： 透過輸入資料記憶體儲存多筆輸入資料； 透過權重資料記憶體儲存分別對應於該些輸入資料的多個權重值； 透過邏輯運算單元根據至少一輸入資料及其對應的至少一權重值計算輸出資料，並將該輸出資料儲存至輸出資料記憶體； 透過輸出資料記憶體傳送該輸出資料； 透過資料讀取邏輯電路的地址生成器基於地址控制訊號，產生該至少一輸入資料的至少一第一地址以及對應於該至少一輸入資料的該至少一權重值的至少一第二地址；以及 透過該資料讀取邏輯電路的資料擷取器基於資料控制訊號，自該輸入資料記憶體以及該權重資料記憶體分別提取該至少一輸入資料以及該至少一權重值。