[go: up one dir, main page]

TWI761860B - 記憶體設備及使用記憶體之方法 - Google Patents

記憶體設備及使用記憶體之方法 Download PDF

Info

Publication number
TWI761860B
TWI761860B TW109120424A TW109120424A TWI761860B TW I761860 B TWI761860 B TW I761860B TW 109120424 A TW109120424 A TW 109120424A TW 109120424 A TW109120424 A TW 109120424A TW I761860 B TWI761860 B TW I761860B
Authority
TW
Taiwan
Prior art keywords
memory
signal
circuit
signals
digital
Prior art date
Application number
TW109120424A
Other languages
English (en)
Other versions
TW202105259A (zh
Inventor
法比歐 佩里茲
Original Assignee
美商美光科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商美光科技公司 filed Critical 美商美光科技公司
Publication of TW202105259A publication Critical patent/TW202105259A/zh
Application granted granted Critical
Publication of TWI761860B publication Critical patent/TWI761860B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0004—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising amorphous/crystalline phase transition cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Neurology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Semiconductor Memories (AREA)
  • Read Only Memory (AREA)
  • Memory System (AREA)

Abstract

本發明揭示一種設備，諸如一堆疊人工神經網路，其可包含處於一第一層級之一半導體。該半導體可包含第一電路。一記憶體可處於一第二層級。第二電路可處於一第三層級，使得該記憶體介於該第一電路與該第二電路之間。該第一電路可經組態以將一第一信號傳播至該記憶體。該記憶體可經組態以回應於該第一信號而基於經儲存於該記憶體中之資料將一第二信號傳播至該第二電路。該第二電路可經組態以基於該第二信號來產生一資料信號。

Description

記憶體設備及使用記憶體之方法
本發明大體上係關於神經網路且更特定言之，係關於堆疊(例如，三維)人工神經網路。
人工神經網路係可藉由模型化神經元(諸如一人腦中之神經元)之一網路而處理信號(例如，資訊)之網路。在各種例項中，一人工神經網路可包含具有數個節點之一輸入層、具有數個節點之一輸出層及各具有介於輸入層與輸出層之間之數個節點之數個隱藏層。例如，該等節點之各者可係一人工神經元，諸如一神經元模型。層可藉由可被稱為突觸之連接互連。例如，突觸可將神經元模型互連。
信號可透過人工神經網路經由突觸(在一些例項中，其等可將權重施加至信號)自輸人層傳播至輸出層。信號可由各隱藏層且由輸出層修改，使得由輸出層輸出之信號相對於在輸入層處接收之信號被修改。
100:人工神經元/神經元模型
102-1至102-3:輸入
103:乘法函數
104:求和函數
106:輸出
108:函數
110:輸出
216:人工神經網路
217:輸入層
218-1至218-3:輸入節點
220-1:層
220-2:層
222-1至222-4:神經元模型
224-1:互連層/互連區域
224-2:互連層/互連區域
224-3:互連層/互連區域
226-1至226-3:神經元模型
228:輸出層
230-1:神經元模型
230-2:神經元模型
316:堆疊人工神經網路
334:堆疊
336:平面半導體
338-1至338-3:記憶體
340-1:電路
340-2:電路
342:層級
344:層級
346:層級
348:層級
350:層級
352:層級
353:電路
355:解碼電路
356:數位轉類比轉換(DAC)電路
357:類比轉數位轉換(ADC)電路
358:運算電路
360-1:類比轉數位轉換(ADC)電路
360-2:類比轉數位轉換(ADC)電路
361-1:數位轉類比轉換(DAC)電路
361-2:數位轉類比轉換(DAC)電路
362-1:解碼電路
362-2:解碼電路
363-1:運算電路
363-2:運算電路
365:數位資料信號
366:類比激發信號
367:類比信號
368:類比激發信號
369:類比信號
370:類比激發信號
371:類比信號
372:數位資料信號
373:類比錯誤信號
374:類比權重信號
375:類比激發信號
376:類比權重信號
377:類比激發信號
378:類比權重信號
416:堆疊人工神經網路
434:堆疊
438-1:記憶體陣列
438-2:記憶體陣列
440:電路
442:層級
444:層級
446:層級
448:層級
453:電路
455:解碼電路
456:數位轉類比轉換(DAC)電路
457:類比轉數位轉換(ADC)電路
458:運算電路
460:類比轉數位轉換(ADC)電路
461:數位轉類比轉換(DAC)電路
462:解碼電路
463:運算電路
465-1至465-M:數位資料信號
466-1至466-M:類比激發信號
468-1至468-M:類比激發信號
472-1至472-N:數位資料信號
480-1至480-M:信號線
482-1至482-N:信號線
485-1至485-M:記憶體胞
486-1至486-N:行
516:人工神經網路
538:記憶體陣列
580-1至580-M:信號線
582-1至582-N:信號線
585-11至585-MN:記憶體胞
586-1至586-N:行
590:電路
591-1至591-M:列
592:電路
593-1至593-M:電晶體
594-1至594-M:數位轉類比轉換器(DAC)
595-1至595-N:電晶體
596-1至596-N:類比轉數位轉換器(ADC)
597:運算電路
601:人工神經網路系統
605:控制器
607:介面
609:主機介面
616:堆疊人工神經網路
701:神經網路系統
705:控制器
707:介面
713:系統
714:控制器
715:介面
716:神經網路
a1至a3:輸入
a1w1:經加權輸入
a2w2:經加權輸入
a3w3:經加權輸入
AI1至AIN:類比電流
AV0:類比電壓
AV1至AVM:類比激發電壓
DI1至DIN:數位信號
DV1至DVM:數位信號
I1-1至I1-N:電流
I2-1至I2-N:經加權電流
V1-1至V1-M:類比激發電壓
V2-1至V2-M:類比激發電壓
w1至w3:權重
W11至WMN:權重
x1至x3:輸入資料信號
y1:輸出信號
y2:輸出信號
Y1至YN:數位資料信號
圖1繪示根據本發明之數項實施例之一人工神經元之一實例。
圖2繪示根據本發明之數項實施例之一人工神經網路之一 實例。
圖3繪示根據本發明之數項實施例之經組態以促進神經網路操作之一堆疊人工神經網路。
圖4繪示根據本發明之數項實施例之經組態以促進神經網路操作之一堆疊人工神經網路。
圖5繪示根據本發明之數項實施例之一人工神經網路之一部分。
圖6係根據本發明之數項實施例之呈一人工神經網路系統之形式之一設備之一平面視圖。
圖7係根據本發明之數項實施例之呈其中可實施一堆疊人工神經網路之一系統之形式之一設備之一平面視圖。
在人工神經網路之各種先前實施方案中，已結合整合於一基底半導體(諸如一單晶半導體(例如，單晶矽))中之電路使用一記憶體陣列以促進神經網路操作特性。例如，記憶體陣列可用於儲存突觸權重且電路可用於產生可傳播至神經網路之另一層之信號。
在各種實例中，半導體及記憶體陣列可係一單一晶片，諸如一動態隨機存取記憶體(DRAM)晶片。在一些例項中，為了滿足對於具有增加之處理能力之較大人工神經網路之需求，已組合各具有一個別單晶半導體及一記憶體陣列之大量晶片以形成一人工神經網路。在一些先前方法中，已增加記憶體陣列之大小及半導體之面積(例如，佔據面積)以滿足對於具有增加之處理能力之較大人工神經網路之需求。然而，增加單晶半導體之數目或單晶半導體之佔據面積可係昂貴的。
本文中揭示之實施例藉由使用堆疊神經網路(諸如單晶片神經網路)而改良涉及大量晶片及/或增加之半導體佔據面積以促進神經網路操作之先前方法。例如，堆疊神經網路可滿足對於具有增加之處理能力而不增加單晶半導體之數目及/或半導體之佔據面積之較大人工神經網路之需求。
在各種實例中，一設備(諸如一堆疊人工神經網路)可包含處於一第一層級之一半導體。半導體可包含第一電路。一記憶體可處於一第二層級。第二電路可處於一第三層級，使得記憶體介於第一電路與第二電路之間。第一電路可經組態以將一第一信號傳播至記憶體。記憶體可經組態以回應於第一信號而基於儲存於記憶體中之資料將一第二信號傳播至第二電路。第二電路可經組態以基於第二信號產生一資料信號。
在一些實例中，一記憶體層及電路層堆疊可自半導體延伸，使得每一各自電路層介於一各自對之記憶體層之間。每一各自電路層可經組態以：自各自對之記憶體層之一第一記憶體層接收信號；基於經接收信號產生激發信號；且將激發信號施加至各自對之記憶體層之一第二記憶體層。
相較於如在各種先前方法中可完成之可執行半導體中之電路層之功能性之神經網路之路由電路、半導體佔據面積及處理速度，將電路層放置於堆疊內，使得每一各自電路層介於一各自對之記憶體層之間可簡化路由電路，減少半導體之佔據面積及/或增加神經網路之處理速度。
圖1繪示根據本發明之數項實施例之可用於模型化(例如，一人腦之)一神經元之一人工神經元(例如，神經元模型)100之一實例。此等神經元模型有時可被稱為感知器。數個輸入a1至a3(其等可被稱為刺激 (例如，激發))可分別施加至神經元模型100之輸入102-1至102-3。對應於輸入a1至a3之信號(諸如電壓、電流或特定資料值(例如，二進位數字))可回應於感測到某一形式之刺激而經產生且可經施加至輸入102-1至102-3。
在各種例項中，輸入a1至a3可分別由可被稱為突觸權重之權重w1至w3加權。神經元模型100可包含可分別將輸入a1至a3乘以權重w1至w3以分別對輸入a1至a3進行加權之一乘法函數103。例如，乘法函數103可產生經加權輸入a1w1、a2w2及a3w3。在一些例項中，各經加權輸入可被稱為一突觸，且權重可對應於人腦行為中之一記憶體。應注意，雖然在圖1之實例中展示三個輸入及三個權重，但本發明不限於此，且可存在各種數目個輸入及權重。
神經元模型100可包含可對經加權輸入執行一加法操作以產生一輸出106(諸如SUM=a1w1+a2w2+a3w3)之一求和函數104。例如，可對對應於經加權輸入a1w1至a3w3之經加權信號求和(例如，累加)。在一些實例中，求和函數可被稱為一傳遞函數。
神經元模型100進一步包含經組態以回應於總和SUM且在一輸出110處產生一輸出資料值(例如，一資料信號)b=φ(SUM)之一函數108(諸如一函數φ)。例如，可將函數φ應用至SUM以產生依據SUM而變化之φ。在一些實例中，函數108可被稱為一激發函數。神經元模型之輸出有時可被稱為類別。
各種函數可用作函數108。例如，函數108可包含用於判定SUM是否係高於或低於一特定臨限位準之一臨限函數(例如，一步階函數)。此一臨限函數可在SUM大於或等於特定臨限量之情況下在輸出110上產生一邏輯高輸出(例如，一邏輯1)且可在SUM低於特定臨限量之情況 下在輸出110上產生一邏輯低(例如，一邏輯0)。
在一些實例中，函數108可係一S型函數，其中S型函數可表達為SIG(S)=1/(1+eλS)，其中λ係一常數且S可係SUM。例如，函數108可係一非線性函數。在各種例項中，輸出110處之所產生輸出值b可被施加至數個額外神經元模型，諸如至不同神經元模型之輸入102或神經元模型之一神經網路。例如，輸出b可係可激發該等神經元模型之一激發。
圖2繪示一人工神經網路216之一實例，其可被稱為一神經網路模型且可對應於本文中揭示之根據本發明之數項實施例之各種神經網路模型。結合圖2描述之程序可被稱為一正向傳播程序，其可係將輸入資料值(例如，資料信號)饋送至神經網路且獲得一輸出(諸如一輸出資料信號)之程序。
在一些實例中，正向傳播程序可被稱為推斷，且執行此一程序之神經網路可被稱為一卷積神經網路。如本文中使用，術語「正向傳播」可係指信號在正向傳播程序期間在自一神經網路之一輸入朝向神經網路之一輸出之方向上之移動。在各種實例中，正向傳播可用作用於回應於各種輸入而訓練神經網路以產生所要輸出之一訓練程序之一部分。
在一些實例中，訓練可涉及將訓練資料(例如，訓練資料信號)輸入至網路且容許訓練資料透過網路正向傳播以便產生對應輸出資料信號。與輸出資料信號相關聯之錯誤可被判定且接著作為一反向傳播程序之部分透過網路反向傳播以將此錯誤分配至網路中之個別神經元。此後，可調整各神經元之權重以減少輸入資料之總網路錯誤。如本文中使用，術語「反向傳播」可係指作為反向傳播程序之部分信號在自一神經網路之輸出朝向神經網路之輸入之方向上之移動。
神經網路216可包含具有輸入節點218-1至218-3之一輸入層217，但輸入層217不限於此。輸入節點218-1至218-3可分別接收輸入資料信號x1至x3作為至神經網路218之輸入。例如，輸入資料信號x1至x3可係訓練資料信號。
神經網路216可包含介於輸入層217與一輸出層228之間之層220-1及220-2(其等可被稱為隱藏層)。神經網路216可具有各種數目個隱藏層且不限於兩個隱藏層。層220-1可包含神經元模型222-1至222-4，但不限於四個神經元模型。各自神經元模型222-1至222-4之各者可係(例如)神經元模型100。
各自神經元模型222-1至222-4之各者可經耦合以自節點218-1至218-3接收輸入(激發信號)。例如，各自節點218-1至218-3可透過一互連層224-1將各自輸入信號x1至x3正向傳播至神經元模型222-1至222-4之各者。
在各種實例中，節點218-1至218-3可在不對輸入信號x1至x3執行任何操作之情況下傳播各自輸入信號x1至x3。介於輸入層217與層220-1之間之互連區域224-1中之各自互連之各者可係一各自突觸。例如，耦合於節點218-1與層220-1之間之各自突觸之各者可將一各自權重施加至輸入信號x1；耦合於節點218-2與層220-1之間之各自突觸之各者可將一各自權重施加至輸入信號x2；且耦合於節點218-3與層220-1之間之各自突觸之各者可將一各自權重施加至輸入信號x3。各自神經元模型222-1至222-4之各者可回應於經加權輸入信號x1、x2及x3而產生一各自輸出資料信號(諸如如先前結合圖1論述之一輸出b)且可透過一互連層224-2將各自輸出資料信號正向傳播至層220-2。
介於層220-1與層220-2之間之互連區域224-2中之各自互連之各者可係一各自突觸。例如，耦合於神經元模型222-1與層220-2之間之各自突觸之各者可將一各自權重施加至來自神經元模型222-1之輸出信號；耦合於神經元模型222-2與層220-2之間之各自突觸之各者可將一各自權重施加至來自神經元模型222-2之輸出信號；耦合於神經元模型222-3與層220-2之間之各自突觸之各者可將一各自權重施加至來自神經元模型222-3之輸出信號；且耦合於神經元模型222-4與層220-2之間之各自突觸之各者可將一各自權重施加至來自神經元模型222-4之輸出信號。
層220-2可包含神經元模型226-1至226-3，但不限於三個神經元模型。各自神經元模型226-1至226-3之各者可係(例如)神經元模型100。各自神經元模型226-1至226-3之各者藉由互連區域224-2中之一各自組之突觸耦合至神經元模型222-1至222-4之各者。例如，各自神經元模型226-1至226-3之各者可自一各自組之突觸接收一各自組之經加權信號。各自神經元模型226-1至226-3之各者可回應於各自組之經加權信號而產生一各自輸出資料信號(諸如如先前結合圖1論述之一輸出b)且可透過一互連層224-3將各自輸出資料信號正向傳播至輸出層228。
介於層220-2與輸出層228之間之互連區域224-3中之各自互連之各者可係一各自突觸。例如，耦合於神經元模型226-1與輸出層228之間之各自突觸之各者可將一各自權重施加至來自神經元模型226-1之輸出信號；耦合於神經元模型226-2與輸出層228之間之各自突觸之各者可將一各自權重施加至來自神經元模型226-2之輸出信號；且耦合於神經元模型226-3與輸出層228之間之各自突觸之各者可將一各自權重施加至來自神經元模型226-3之輸出信號。
輸出層228可包含神經元模型230-1及230-2，但不限於兩個神經元模型。各自神經元模型230-1及230-2之各者可係(例如)神經元模型100。各自神經元模型230-1及230-2之各者藉由互連區域224-3中之一各自組之突觸耦合至神經元模型226-1至226-3之各者。例如，各自神經元模型230-1及230-2之各者可自一各自組之突觸接收一各自組之經加權信號。神經元模型230-1及230-2可回應於各自組之經加權信號而分別產生輸出信號y1及y2。例如，各自神經元模型230-1及230-2可以類似於先前結合圖1針對輸出b之產生描述之方式之一方式分別產生輸出資料信號y1及y2。應注意，輸出資料信號y1及y2係神經網路216之輸出。
在各種實例中，可諸如回應於輸入信號x1至x3係訓練信號而產生輸出信號y1及y2作為訓練神經網路216之部分。在此等實例中，可比較信號y1及y2與所要輸出以判定錯誤信號。可透過神經網路216將錯誤信號自輸出層228反向傳播至輸入層217以判定對互連層224-1至224-3之各者中之權重之各者之更新(例如，校正)，且可隨後使用更新對權重進行更新。
圖3繪示根據本發明之數項實施例之經組態以促進神經網路操作之一堆疊人工神經網路316。例如，神經網路316可被稱為一三維神經網路，此係因為神經網路316包含在z方向上自一平面半導體336延伸之一堆疊334。在各種實例中，人工神經網路316可經組態以模型化人工神經網路216。在一些實例中，神經網路316可操作為一遞迴式神經網路316及/或一雙向神經網路。
半導體336可係一單晶半導體(諸如單晶矽)，其可係神經網路316之一基底結構。例如，半導體336可係其上形成堆疊334之一單一半 導體晶圓。z方向垂直於一基底平面(諸如一基底結構(例如，半導體336))且可係垂直方向。應認知，術語「垂直」考量歸因於常規製造及/或組裝變動之自「完全」垂直之變動且一般技術者將知道術語「垂直」之意義。
堆疊334可包含可被稱為記憶體層且可包含記憶體胞陣列(其等可被稱為記憶體陣列)之記憶體338-1至338-3。堆疊334亦可包含可被稱為電路層之電路340-1及340-2。例如，電路340-1及340-2可被稱為邏輯/類比層。神經網路316可係具有多個記憶體層及多個電路層之一單一晶片。
半導體336可處於一層級342(例如，一基底層級)，記憶體338-1處於一層級344，電路340-1處於一層級346，記憶體338-2處於一層級348，電路340-2處於一層級350且記憶體338-3處於一層級352。如本文中使用，術語「層級」用於指代在z方向(其可係垂直方向)上之一大體上平坦區域。因此，形成於一特定層級之元件可係指具有在z方向上形成於一特定平坦區域內之至少一部分之元件。不同層級可係指在z方向上不重疊之平坦區域。因此，形成於不同層級之元件係指在z方向上不重疊之元件。
在一些實例中，電路340-1可介於記憶體對338-1與338-2之間，且電路340-2可介於記憶體對338-2與338-3之間，使得每一各自電路層介於一各自對之記憶體之間。例如，堆疊334可包含與電路層交替之記憶體，其以一記憶體(例如，記憶體338-1)開始且以一記憶體(例如，記憶體338-3)結束。然而，本發明不限於此。例如，可在記憶體對338-1及338-2以及記憶體對338-2及338-3之間之不同層級存在多個電路層。雖然堆疊334包含三個記憶體338及兩個電路340，但在堆疊334中可存在各種 數目個記憶體338及電路340。
半導體336可包含可(例如)使用互補金屬氧化物半導體(CMOS)處理形成之電路353。例如，電路353可包含CMOS電晶體及其他CMOS裝置。電路353可包含解碼電路355，該解碼電路355可包含數個解碼器。電路353可包含數位轉類比轉換(DAC)電路356及類比轉數位轉換(ADC)電路357。半導體336可包含可執行如本文中進一步描述之各種數學運算及數位運算之運算電路358。
DAC電路356可包含數個數位轉類比轉換器(DAC)，且ADC電路可包含數個類比轉數位轉換器(ADC)。DAC在結合電路使用時可係指數位轉類比轉換或在單獨使用時係指一數位轉類比轉換器，且ADC在結合電路使用時可係指類比轉數位轉換或在單獨使用時係指一類比轉數位轉換器。
電路340-1及340-2之各者可包含ADC電路360、DAC電路361、解碼電路362及經組態以執行數位運算之運算電路363。例如，電路340-1包含ADC電路360-1、DAC電路361-1、解碼電路362-1及運算電路363-1，且電路340-2包含ADC電路360-2、DAC電路361-2、解碼電路362-2及運算電路363-2。在各種實例中，電路340-1及340-2可使用薄膜技術形成且可包含薄膜電晶體及其他薄膜裝置。例如，相對於基於單晶(例如，單晶矽)之CMOS裝置，薄膜裝置可係基於多晶(例如，多晶矽)。
可在有時可被稱為一前段製程之程序中在半導體336中及/或上形成電路353。可在形成電路353之後在有時可被稱為一後段製程之程序中鄰近半導體336(例如，在半導體336上方)形成堆疊334。例如，依序地可鄰近半導體336形成記憶體338-1；可鄰近記憶體338-1形成電路 340-1；可鄰近電路340-1形成記憶體338-2；可鄰近記憶體338-2形成電路340-2；且可鄰近電路340-2形成記憶體338-3。
前段製程處理及後段製程處理可具有不同熱約束，其中前段製程處理涉及高於後段製程處理之溫度。例如，記憶體338可能無法耐受在一單晶半導體(諸如半導體336)中及/或上形成電路353(例如，CMOS電路)時涉及之溫度。因而，以形成電路353之形式(諸如(例如，使用CMOS處理)在單晶半導體中及/或上)形成電路340可能不可行。然而，記憶體338可能能夠耐受形成薄膜裝置時涉及之溫度。因而，薄膜處理可容許電路340-1鄰近記憶體338-1形成且電路340-2鄰近記憶體338-2形成。
一般言之，信號可透過神經網路316在自電路353朝向記憶體338-3之正z方向上正向傳播且透過網路316在自記憶體338-3朝向電路353之負z方向上反向傳播。然而，可反轉透過神經網路316之正向及反向傳播之方向。可在如先前結合圖2描述般訓練神經網路316時執行正向傳播及反向傳播。
在正向傳播期間，可藉由將數位資料信號365(例如，數位資料)輸入至電路353中，而將信號365輸入至神經網路316。例如，信號365可係類比激發信號(諸如類比激發電壓)之數位表示。DAC電路355可將信號365轉換為類比激發信號366(例如，類比電壓)，且將信號366正向傳播至記憶體338-1以激發記憶體338-1。
記憶體338-1可回應於由信號366激發而基於經儲存於記憶體338-1中之資料將類比信號367(例如，電流)正向傳播至電路340-1。電路340-1可基於信號367來產生資料信號(例如，資料值)。電路340-1可接著回應於經產生信號而將類比激發信號368正向傳播至記憶體338-2以激發 記憶體338-2。
記憶體338-1可儲存權重，且可將該等權重施加至信號366。記憶體338-1可對經加權信號366進行求和以產生可被稱為權重信號之類比信號367。ADC 360-1可將類比信號367轉換為數位信號(諸如信號367之數位表示)，且運算電路363-1可藉由將函數(諸如函數108)應用至信號367之數位表示來運算數位資料值(例如，呈數位資料信號之形式)。DAC電路361-1可將經運算數位資料值轉換為類比激發信號368，且電路340-1可正向傳播信號368以激發記憶體338-2。
記憶體338-2可回應於由信號368激發而基於經儲存於記憶體338-2中之資料，將類比信號369(例如，電流)正向傳播至電路340-2。電路340-2可基於信號369來產生信號。電路340-2可接著回應於經產生信號而將類比激發信號370正向傳播至記憶體338-3以激發記憶體338-3。
記憶體338-2可儲存權重，且可將該等權重施加至信號368。記憶體338-2可對經加權信號368進行求和以產生可被稱為權重信號之類比信號369。ADC 360-2可將類比信號369轉換為數位信號(諸如信號369之數位表示)，且運算電路363-2可藉由將函數(諸如函數108)應用至信號369之數位表示來運算數位資料值。DAC電路361-2可將經運算數位資料值轉換為類比激發信號370，且電路340-2可將信號370正向傳播至記憶體338-3以激發記憶體338-3。
記憶體338-3可回應於藉由信號370激發而基於儲存於記憶體338-3中之資料將類比信號371(例如，電流)正向傳播至電路353。電路353可基於信號371產生數位資料信號(例如，資料值)372且可輸出數位資料信號372。
記憶體338-3可儲存權重且可將該等權重施加至信號370。記憶體338-3可對經加權信號370進行求和以產生可被稱為權重信號之類比信號371。ADC 357可將類比信號371轉換為數位信號(諸如信號371之數位表示)，且運算電路358可藉由將函數(諸如函數108)應用至信號371之數位表示而運算數位信號372。
在一些實例中，運算電路358可比較數位資料信號372與預期數位資料信號且可基於比較判定數位錯誤信號。DAC電路356可將數位錯誤信號轉換為類比錯誤信號373(例如，一類比電壓)。電路353可接著將錯誤信號373反向傳播至記憶體338-3以激發記憶體338-3。再者，運算電路358可基於數位資料信號372及數位錯誤信號判定對儲存於記憶體338-3中之權重之校正。
記憶體338-3可回應於藉由信號373激發而基於儲存於記憶體338-3中之資料將類比權重信號374(例如，電流)反向傳播至電路340-2。電路340-2可基於類比信號374產生數位資料信號。例如，ADC電路360-2可將類比信號374轉換為數位信號(其等係類比信號374之數位表示)，且運算電路363-2可藉由將一函數(諸如函數108)應用至類比信號374之數位表示而產生數位資料信號。電路340-2可接著回應於經產生數位資料信號而將類比激發信號375反向傳播至記憶體338-2以激發記憶體338-2。再者，運算電路363-2可基於信號369及信號374判定對儲存於記憶體338-2中之權重之校正。
記憶體338-2可回應於藉由信號375激發而基於儲存於記憶體338-2中之資料將類比權重信號376(例如，電流)反向傳播至電路340-1。電路340-1可基於信號376產生數位資料信號。電路340-1可接著回應 於經產生數位資料信號而將類比激發信號377反向傳播至記憶體338-1以激發記憶體338-1。再者，運算電路363-1可基於信號367及信號376判定對儲存於記憶體338-1中之權重之校正。記憶體338-1可回應於藉由信號377激發而基於儲存於記憶體338-1中之資料將類比權重信號378(例如，電流)反向傳播至電路353。
記憶體338-1、338-2及338-3可使用基於經判定權重校正之權重重新程式化且前述程序可使用資料信號365重複以產生可經程式化至記憶體338-1及338-2中之另一組權重。此可反覆地重複，直至數位資料信號372匹配預期數位資料信號。
應注意，相較於如在各種先前方法中可進行之可將電路340-1及340-2定位於半導體中之神經網路之路由、半導體佔據面積及處理速度，在堆疊334中分別在記憶體對338-1及338-2之間以及在記憶體對338-2及338-3之間定位電路340-1及340-2可簡化路由電路，減少半導體336之佔據面積及/或增加神經網路316之處理速度。
圖4繪示根據本發明之數項實施例之經組態以促進神經網路操作之一堆疊人工神經網路416。神經網路416可包含可在一層級442(例如，一基底層級)形成於一半導體(諸如半導體336)中及/或上(例如，整合於一半導體中)之電路453(例如，CMOS電路)。神經網路416可包含在z方向上自電路453延伸之一堆疊434。
堆疊434可包含一對記憶體陣列438-1及438-2，其中電路440介於記憶體陣列438-1及438-2之間。記憶體陣列438-1及438-2可分別處於層級444及448，且電路440可處於介於層級444與448之間之一層級446。
記憶體陣列438可被稱為記憶體(諸如記憶體338)，或可係一記憶體338之一部分。電路440可被稱為一電路層，諸如一邏輯/類比層。雖然堆疊434包含其中電路介於其等之間之一對記憶體陣列，但堆疊434可包含各種數目對之記憶體陣列，其中數個電路介於各對之間。
電路453可係電路353且可包含具有數個DAC之DAC電路456、具有數個ADC之ADC電路457、具有數個解碼器之解碼電路455及運算電路458。電路440可係電路340且可包含具有數個DAC之DAC電路461、具有數個ADC之ADC電路460、具有數個解碼器之解碼電路462及經組態以執行數位運算之運算電路463。
記憶體陣列438-1及438-2之各者可包含彼此交叉(例如，在不同平面中相交)之信號線480-1至480-M及信號線482-1至482-N。信號線480-1至480-M可被稱為激發線(諸如存取線(例如，字線))，且信號線482-1至482-N可被稱為資料線(例如，位元線)。在各種實例中，信號線482-1至482-N可被稱為求和節點。
記憶體陣列438-1及438-2之各者包含以一交叉點(例如，交叉條(crossbar))架構配置之記憶體胞485，使得各記憶體胞485介於一信號線480與一信號線482之間在一信號線480及一信號線482之各交叉處。記憶體胞485-1至485-M之一各自分組(例如，群組)可耦合至各自信號線482-1至482-N之各者。記憶體胞485-1至485-M之每一各自分組可被稱為一行記憶體胞。例如，記憶體胞485-1至485-M之行486-1至486-N可分別耦合至信號線482-1至482-N。
記憶體胞485之一各自分組可耦合至各自信號線480-1至480-M之各者。例如，記憶體胞485-1之一分組至記憶體胞485-M之一分 組可分別耦合至信號線480-1至480-M。耦合至一各自信號線480之記憶體胞之每一各自分組可被稱為一列記憶體胞，使得行486-1至486-N之各者包含來自各列記憶體胞之一個記憶體胞。雖然將陣列438-1及438-2展示為具有記憶體胞之一單一階層之單階層陣列(例如，二維陣列)，但本發明不限於此，且陣列438-1及438-2可係具有一階層堆疊之多階層陣列(例如，三維陣列)。
記憶體胞485可係電阻可變記憶體胞。一電阻可變記憶體胞之狀態(例如，經儲存資料值)可取決於記憶體胞之經程式化電阻。經程式化電阻可對應於記憶體胞之一臨限電壓(Vt)狀態，使得當施加至(例如，跨)胞之一激發電壓超過胞之Vt時，胞被置於一導電狀態中。胞可傳導與激發電壓成比例之電流。例如，電流I可係I=Vact x(1/R)，其中Vact係跨胞之激發電壓且R係胞之經程式化電阻。在各種實例中，(1/R)可係施加至激發電壓之權重且電流I可被稱為一經加權電流。可藉由將陣列438-1及438-2中之各自記憶體胞485之各者程式化至對應於一各自電阻之一各自Vt而程式化各自胞以儲存一各自權重。因而，記憶體胞485可用作經加權突觸且可被稱為經加權突觸胞。
在神經網路模型416之操作期間，可在電路453處(例如，自神經網路416外部之一控制器)接收數位資料信號465-1至465-M。數位資料信號465-1至465-M可係類比信號(其等可係類比電壓)之數位表示。DAC電路456可分別將數位資料信號465-1至465-M轉換為分別具有類比激發電壓V1-1至V1-M之類比激發信號466-1至466-M。解碼電路455可回應於對應於信號線480-1至480-M之位址而分別將電壓V1-1至V1-M施加至陣列438-1之信號線480-1至480-M，同時將信號線482-1至482-N偏壓至 (例如)零伏特，使得跨行486-1至486-N之各者中之記憶體胞485-1至485-M之電壓差分別係V1-1至V1-M。然而，施加至線482-1至482-N之偏壓電壓不限於零伏特。
一行中之經激發記憶體胞之各者可將電流自一各自信號線480傳導至耦合至行之信號線482，使得由經激發記憶體胞傳導之電流在信號線482上被求和。例如，若分別耦合至信號線482-1至482-N之各自行486-1至486-N之記憶體胞485-1至485-M被激發，則流動通過耦合至信號線482-1至482-N之記憶體胞485-1至485-M之電流在信號線482-1至482-N上被求和。因而，信號線482-1至482-N可實施圖1中之求和函數104。
信號線482-1至482-N上之電流之總和可分別係電流I1-1至I1-N。雖然本發明將行486-1至486-N中之記憶體胞485-1至485-M之全部視為被激發，但在各種例項中，可激發少於全部記憶體胞且不同行可具有不同數目個經激發胞。
應注意，流動通過各經激發記憶體胞之電流可由經程式化至各自記憶體胞之經程式化電阻加權且信號線482-1至482-N上之電流之總和係經加權電流之總和，使得電流I1-1至I1-N可被稱為經加權總和。可回應於解碼電路462回應於對應於信號線482-1至482-N之位址選擇信號線482-1至482-N而將電流I1-1至I1-N正向傳播至電路440。
ADC電路460可將電流I1-1至I1-N轉換為數位信號(諸如電流I1-1至I1-N之數位表示)。運算電路463可藉由將一函數(諸如函數108)施加至對應於電流I1-1至I1-N之數位信號而自電流I1-1至I1-N運算數位資料信號。
DAC電路461可接著將由運算電路463運算之數位資料信號 轉換為可分別係類比激發電壓V2-1至V2-M之類比激發信號468-1至468-M。解碼電路462可回應於對應於信號線480-1至480-M之位址而分別將電壓V2-1至V2-M施加至陣列438-2之信號線480-1至480-M，同時將陣列438-2之信號線482-1至482-N偏壓至(例如)零伏特，使得跨行486-1至486-N之各者中之記憶體胞485-1至485-M之電壓差分別係V2-1至V2-M。
流動通過耦合至陣列438-2之信號線482-1至482-N且分別回應於電壓V2-1至V2-M而被激發之記憶體胞485-1至485-M之電流可在信號線482-1至482-N上被求和，如先前結合陣列438-1描述。信號線482-1至482-N上之經求和電流可分別係經加權電流I2-1至I2-N。可回應於解碼電路455回應於對應於陣列438-2之信號線482-1至482-N之位址選擇信號線482-1至482-N而將電流I2-1至I2-N正向傳播至電路453。
ADC電路457可將電流I2-1至I2-N轉換為數位信號(諸如電流I2-1至I2-N之數位表示)。運算電路458可藉由將一函數(諸如函數108)應用至電流I2-1至I2-N之各者而自電流I2-1至I2-N運算數位資料信號。例如，數位資料信號472-1至472-N可分別自電流I2-1至I2-N之數位表示運算且自神經網路416輸出。
圖5繪示根據本發明之數項實施例之可係神經網路316或神經網路416之一人工神經網路516之一部分。神經網路可包含電路590及電路592。可被稱為一記憶體(例如，一記憶體層)之一記憶體陣列538可介於電路590與電路592之間且耦合至電路590及電路592。人工神經網路516可係一堆疊神經網路，且電路590、記憶體陣列538及電路592可處於網路516中之不同層級。
在一實例中，電路590可在一基底層級形成於一半導體(諸 如半導體336)中及/或上(例如，整合於一半導體中)，且電路592可係一電路層。例如，電路590可係圖4中之電路453之部分且可係CMOS電路，且電路592可係圖4中之電路440之部分且可係薄膜電路。在另一實例中，電路592可形成於一半導體(諸如半導體336)中及/或上且電路590可係一電路層。例如，電路592可係電路453之部分且可係CMOS電路，且電路590可係電路440之部分且可係薄膜電路。在另一實例中，電路590及電路592可分別係圖3中之電路340-1及340-2之部分且可係薄膜電路。
記憶體陣列538可如針對圖4中之記憶體陣列438-1及438-2描述般。例如，記憶體陣列538可包含彼此交叉(例如，在不同平面中相交)之信號線580-1至580-M及信號線582-1至582-N。信號線580-1至580-M可被稱為激發線(諸如存取線(例如，字線))，且信號線582-1至582-N可被稱為資料線(例如，位元線)。在各種實例中，信號線582-1至582-N可被稱為求和節點。
記憶體陣列538包含以一交叉點架構配置之記憶體胞585，使得各記憶體胞585介於一信號線580與一信號線582之間在一信號線580及一信號線582之各交叉處。記憶體胞之一各自分組可耦合至各自信號線582-1至582-N之各者且可被稱為一行記憶體胞。例如，行586-1至586-N分別耦合至信號線582-1至582-N，且行586-1至行586-N分別包含記憶體胞585-11至585-M1之分組至記憶體胞585-1N至585-MN之分組。
記憶體胞之一各自分組可耦合至各自信號線580-1至580-M之各者且可被稱為一列記憶體胞。例如，列591-1至591-M分別耦合至信號線580-1至580-M，且列591-1至列591-M分別包含記憶體胞585-11至585-1N之分組至記憶體胞585-M1至585-MN之分組。應注意，行586-1至 586-N之各者可包含來自列591-1至591-M之各者之一個記憶體胞。
記憶體胞585-11至585-M1之分組至記憶體胞585-1N至585-MN之分組可分別經程式化以儲存權重W11至WM1至權重W1N至WMN。例如，一各自權重可對應於一各自Vt。在各種實例中，記憶體胞585可係電阻可變記憶體胞。例如，如先前描述，一電阻可變記憶體胞之權重可係1/R，其中R係記憶體胞之經程式化電阻。
電路590可具有可包含一解碼器(諸如耦合至信號線580之各者之一電晶體593)之解碼電路。例如，電晶體593-1至593-M可分別耦合至信號線580-1至580-M。在其中電路590可係電路453之部分之實例中，電晶體593-1至593-M可係CMOS電晶體且可係解碼電路455之部分。在其中電路590可係電路440或電路340-1之部分之實例中，電晶體593-1至593-M可係薄膜電晶體(TFT)且可係解碼電路462或362-1之部分。
電晶體593-1至593-M可回應於在其等各自閘極處接收各自控制信號(例如，對應於各自位址)而被激發。各自位址可對應於各自信號線580-1至580-M及因此各自列591-1至591-M之各自位址。例如，電晶體593-1至593-M可被稱為列解碼器。
電路590可具有分別與電晶體593-1至593-M串聯耦合之DAC 594-1至594-M。在其中電路590可係電路453之部分之實例中，DAC 594-1至594-M可係CMOS DAC且可係DAC電路456之部分。在其中電路590可係電路440或電路340-1之部分之實例中，DAC 594-1至594-M可係薄膜DAC且可係DAC電路461或361-1之部分。
電路592可具有可包含一解碼器(諸如耦合至信號線582之各者之一電晶體595)之解碼電路。例如，電晶體595-1至595-N可分別耦 合至信號線582-1至582-N。在其中電路590可係電路453之部分之實例中，電晶體595-1至595-N可係CMOS電晶體且可係解碼電路455之部分。在其中電路592可係電路440或電路340-2之部分之實例中，電晶體595-1至595-N可係TFT且可係解碼電路462或362-2之部分。
電晶體595-1至595-N可回應於在其等各自閘極處接收各自控制信號(例如，對應於各自位址)而被激發。各自位址可對應於各自信號線582-1至582-N及因此各自行586-1至586-N之各自位址。例如，電晶體595-1至595-N可被稱為行解碼器。
電路592可具有分別與電晶體595-1至595-N串聯耦合之ADC 596-1至596-N。在各種實例中，ADC 596-1至596-N可被併入可感測類比信號(諸如信號線582-1至582-N上之電流及/或電壓)之各自感測放大器中。ADC 596-1至596-N可將類比信號轉換為數位信號(諸如經感測電流及/或電壓之數位表示)。
在其中電路590可係電路453之部分之實例中，ADC 596-1至596-N可係CMOS ADC且可係ADC電路457之部分。在其中電路592可係電路440或電路340-2之部分之實例中，ADC 596-1至596-N可係薄膜ADC且可係ADC電路460或360-2之部分。
電路592可包含耦合至ADC 596-1至596-N之運算電路597。在其中電路590可係電路453之部分之實例中，運算電路597可包含CMOS電路且可係運算電路458之部分。在其中電路592可係電路440或電路340-2之部分之實例中，運算電路597可係薄膜運算電路且可係運算電路463或363-2之部分。
在神經網路516之操作期間，DAC 594-1至594-M可分別 接收可係類比電壓之數位表示之數位信號(例如，數位激發)DV1至DVM。在其中電路590可係電路453之部分之實例中，數位信號DV1至DVM可分別係圖4中之數位信號465-1至465-M。在其中電路592可係電路440之部分之實例中，數位信號DV1至DVM可自運算電路463接收。在其中電路592可係電路363-2之部分之實例中，數位信號DV1至DVM可自運算電路363-2接收。
DAC 594-1至594-M可分別將數位信號DV1至DVM轉換為類比激發信號(諸如類比激發電壓AV1至AVM)。電晶體593-1至593-M可回應於藉由對應於各自列位址之各自控制信號激發而將激發電壓AV1至AVM分別傳輸至信號線580-1至580-M。
在各種實例中，可將可係零伏特之一類比電壓AV0施加至信號線582-1至582-N(例如，介於電晶體595-1至595-N與ADC 596-1至596-N之間)，而將激發電壓AV1至AVM施加至信號線580-1至580-M。例如，在將激發電壓AV1至AVM施加至信號線580-1至580-M時，信號線582-1至582-N可耦合至接地。因而，可分別跨列591-1至591-M中之記憶體胞施加電壓差AV1-AV0至AVM-AV0。
在其中電路590可係電路453之部分之實例中，激發電壓AV1至AVM可分別係圖4中之電壓V1-1至V1-M。在其中電路590可係電路440之部分之實例中，激發電壓AV1至AVM可分別係圖4中之電壓V2-1至V2-M。
可回應於跨記憶體胞之電壓差超過胞之經程式化Vt而激發一記憶體胞585。一各自電流可根據由各經激發記憶體胞585儲存之權重W自各自信號線580流動通過該胞至各自信號線582。例如，如先前描 述，電流I可係I=Vact x W=Vact x(1/R)，其中Vact=AV-AV0係跨胞之激發電壓，W=(1/R)係胞之經程式化權重，R係胞之經程式化電阻，AV係施加至各自信號線580之一激發電壓，且AV0係施加至各自信號線582之一電壓。應注意，針對AV0=0伏特，I=AV x W。
流動通過各自行586-1至586-N之各者中之各經激發記憶體胞之電流在耦合至各自行586-1至586-N之各自信號線582-1至582-N上被求和。類比電流AI1至AIN可分別係信號線582-1至582-N上之經求和類比電流。例如，針對AV0=0伏特，類比電流AI1至AIN可分別係AI1=(AV1 x W11+AV2 x W21...+...AVM x WM1)至AIN=(AV1 x W1N+AV2 x W2N...+...AVM x WMN)。
在其中電路592可係電路453之部分之實例中，類比電流AI1至AIN可分別係圖4中之電流I2-1至I2-N。在其中電路592可係電路440之部分之實例中，電流AI1至AIN可分別係圖4中之電流I1-1至I1-N。
電晶體595-1至595-N可回應於藉由對應於各自行位址之各自控制信號激發而將類比電流AI1至AIN分別傳輸至ADC 596-1至596-N。ADC 596-1至596-N可分別將類比電流AI1至AIN轉換為數位信號DI1至DIN(其等可分別係類比電流AI1至AIN之數位表示)。運算電路597可將一各自函數(諸如函數108)應用至各自數位信號DI1至DIN以運算各自數位資料信號Y1至YN。在其中電路592可係電路453之部分的實例中，數位資料信號Y1至YN可分別係圖4中之自神經網路416輸出的數位資料信號472-1至472-N。
在其中電路592可係電路440之部分的實例中，電路440可回應於數位資料信號Y1至YN而產生圖4中之類比激發電壓V2-1至V2-M。 在各種實例中，M可等於N，且電路440可分別將數位資料信號Y1至YN轉換為類比激發電壓V2-1至V2-M。
記憶體胞485及585可係各種類型之電阻可變儲存元件及/或開關元件。例如，胞可係相變隨機存取記憶體(PCRAM)胞或電阻隨機存取記憶體(RRAM)胞。
如本文中使用，一儲存元件係指一記憶體胞之一可程式化部分。例如，記憶體胞485及585可包含其中一儲存元件與一開關元件串聯耦合且在本文中可被稱為一3D相變材料及開關(PCMS)裝置之一「堆疊」結構。3D PCMS胞可包含(例如)與一雙端子基於硫族化物之開關元件(諸如一雙向定限開關(OTS))串聯耦合之一雙端子基於硫族化物的儲存元件。在一些實例中，記憶體胞可係其中一單一材料可用作開關元件及儲存元件兩者之自選記憶體(SSM)胞。一SSM可包含硫族化物合金；然而，實施例不限於此。
作為非限制性實例，記憶體胞485及585可包含一相變材料(例如，相變硫族化物合金)，諸如銦(In)-銻(Sb)-碲(Te)(IST)材料(例如，In2Sb2Te5、In1Sb2Te4、In1Sb4Te7等)或鍺(Ge)-銻(Sb)-碲(Te)(GST)材料(例如，Ge2Sb2Te5、Ge1Sb2Te4、Ge1Sb4Te7等)。如本文中使用之用連字符連接的化學組合物標記法指示包含於一特定混合物或化合物中的元素且旨在表示涉及經指示元素的全部理想配比。其他記憶體胞可包含GeTe、In-Se、Sb2Te3、GaSb、InSb、As-Te、Al-Te、Ge-Sb-Te、Te-Ge-As、In-Sb-Te、Te-Sn-Se、Ge-Se-Ga、Bi-Se-Sb、Ga-Se-Te、Sn-Sb-Te、In-Sb-Ge、Te-Ge-Sb-S、Te-Ge-Sn-O、Te-Ge-Sn-Au、Pd-Te-Ge-Sn、In-Se-Ti-Co、Ge-Sb-Te-Pd、Ge-Sb-Te-Co、Sb-Te-Bi-Se、Ag-In- Sb-Te、Ge-Sb-Se-Te、Ge-Sn-Sb-Te、Ge-Te-Sn-Ni、Ge-Te-Sn-Pd及Ge-Te-Sn-Pt，以及各種其他材料。
雖然各種實例已包含具有以交叉點架構配置之記憶體胞之記憶體陣列，但實施例不限於此，且可使用其他架構，諸如NAND架構。例如，在一NAND架構中，數個信號線之各者(諸如資料線(例如，位元線))可耦合至經串聯耦合之記憶體胞之數個串(例如，NAND串)，使得各串儲存可控管通過各自串之電流流動之一各自權重。例如，流動通過各自經激發串之各自經加權電流可在耦合至串之位元線上被求和。一串中之記憶體胞之各者可耦合至一信號線(諸如一存取線(例如，一字線))，該信號線可載送用於激發串中之記憶體胞，使得經加權電流可流動通過串之激發信號。
圖6係根據本發明之數項實施例之呈一人工神經網路系統601(諸如一專屬神經網路系統)之形式之一設備之一平面視圖。例如，神經網路系統601可形成為可包含一基底半導體(諸如圖3中之半導體336)之一單一晶片。在圖6中，晶片之大部分區域可對應於一堆疊人工神經網路616(其可係神經網路316、416或516)。晶片之區域之一相對小部分可包含可經由一介面607耦合至神經網路616之一控制器605。例如，半導體336可包含控制器605(其可包含各種CMOS裝置)。
控制器605可控制神經網路616之各種操作。例如，控制器605可控制由神經網路616執行之各種訓練操作且可控制至神經網路616之資料寫入，諸如用於在各種訓練運行期間更新由記憶體胞儲存之權重。介面607可包含一資料匯流排且可支援各種標準及/或符合各種介面類型(諸如雙資料速率(DDR)等)。
控制器605可經由一主機介面609自一主機接收命令(諸如讀取及寫入命令)。控制器605可(例如)產生用於激發神經網路616之各種列及行解碼器之對應於各種位址(諸如列位址及行位址)之控制信號。在一些實例中，控制器605可經由主機介面609自主機接收位址。如本文中使用，神經網路616可被單獨視為一設備。
在一些實例中，神經網路616可對經由介面607自控制器605接收之數位資料信號(諸如數位資料信號365(圖3)或465(圖4))執行先前論述之各種神經網路操作。神經網路616可回應於對自控制器605接收之數位資料信號執行各種神經網路操作而經由介面607將數位資料信號(諸如數位資料信號372或472)輸出至控制器605。在一些實例中，控制器605可經由介面609自主機接收數位資料信號且可經由介面607將數位資料信號發送至神經網路616以供處理。控制器605可經由介面607自神經網路616接收數位資料信號且可經由介面609將信號發送至主機。
主機可係(例如)一主機系統，諸如一個人膝上型電腦、一桌上型電腦、一數位相機、一行動裝置(例如，蜂巢式電話)、網路伺服器、具備物聯網(IoT)功能之裝置或一記憶卡讀取器以及各種其他類型之主機。例如，主機可包含能夠透過可包含一匯流排之介面609(例如，經由控制器605)存取神經網路616之一或多個處理器。介面609可係一標準化介面，諸如一串列進階附接技術(SATA)、周邊組件互連快速(PCIe)或一通用串列匯流排(USB)以及各種其他標準化介面。
圖7係根據本發明之數項實施例之呈其中可實施一堆疊人工神經網路之一系統713之形式之一設備之一平面視圖。系統713可係一處理器，諸如一中央處理單元(CPU)或一圖形處理單元(GPU)。例如，系 統713可形成為可包含一基底半導體(諸如半導體336)之一單一晶片。在圖7中，晶片之大部分區域可對應於一控制器714。晶片之區域之一相對小部分可包含可係系統601之一神經網路系統701。例如，神經網路系統701可包含可係神經網路616之一神經網路716。系統701可包含藉由一介面707(其可係介面607)耦合至神經網路716之一控制器705(其可係控制器605)。控制器714可藉由一介面715耦合至系統701。
半導體可包含控制器714(其可包含各種CMOS裝置)。半導體之一部分可包含控制器705，且半導體之一部分可對應於神經網路716。
在各種實例中，控制器705可回應於來自控制器714之命令而引起神經網路716執行先前描述之各種神經網路操作。例如，神經網路716可對經由介面715自控制器714接收之數位資料信號(諸如數位資料信號365或465)執行各種神經網路操作。神經網路716可回應於對自控制器714接收之信號執行各種神經網路操作而經由介面715將數位資料信號(諸如數位資料信號372或472)輸出至控制器714。
在本發明之前述詳細描述中，參考形成本發明之一部分且其中藉由圖解展示可如何實踐本發明之數項實施例之隨附圖式。足夠詳細地描述此等實施例以使一般技術者能夠實踐本發明之實施例，且應理解，可利用其他實施例且可在不脫離本發明之範疇之情況下做出程序、電及/或結構改變。
術語半導體可係指(例如)一材料層、一晶圓或一基板且包含任何基底半導體結構。「半導體」應被理解為包含藍寶石上覆矽(SOS)技術、絕緣體上覆矽(SOI)技術、薄膜電晶體(TFT)技術、經摻雜及未經摻 雜半導體、由一基底半導體結構支撐之矽之磊晶層以及其他半導體結構。此外，當在以下描述中提及一半導體時，可已利用先前程序步驟以在基底半導體結構中形成區域/接面，且術語半導體可包含含有此等區域/接面之下伏層。
本文中之圖遵循一編號慣例，其中首位或前幾位數字對應於圖式圖號且剩餘數字識別圖式中之一元件或組件。可藉由使用類似數字識別不同圖之間的類似元件或組件。如將暸解，可添加、交換及/或消除在本文中之各項實施例中展示之元件，以便提供本發明之數項額外實施例。另外，如將暸解，在圖中提供之元件之比例及相對尺度旨在繪示本發明之實施例，且不應被視為一限制意義。
如在本文中使用，「數個」或「一定數量之」某物可係指一或多個此等事物。例如，數個或一定數量之記憶體胞可係指一或多個記憶體胞。「複數個」某物旨在為兩個或兩個以上。如本文中使用，經同時執行之多個動作係指在一特定時間段內至少部分重疊之動作。如本文中使用，術語「耦合」可包含電耦合、(例如，藉由直接實體接觸)直接耦合及/或直接連接而無中介元件、與中介元件間接耦合及/或連接或無線耦合。術語耦合可進一步包含彼此協作或相互作用之兩個或兩個以上元件(例如，如在一因果關係中)。
雖然已在本文中繪示及描述特定實施例，但一般技術者將暸解，經計算以達成相同結果之一配置可取代展示之特定實施例。本發明旨在涵蓋本發明之若干實施例之調適或變動。應理解，已以一闡釋性方式且非一限制性方式做出上述描述。熟習此項技術者在閱讀上述描述後將明白在本文中未具體描述之上述實施例之組合及其他實施例。本發明之若干 實施例之範疇包含其中使用上文之結構及方法之其他應用。因此，應參考隨附發明申請專利範圍連同此等發明申請專利範圍被授權之等效物之全範圍而判定本發明之數項實施例之範疇。
在前述實施方式中，為簡化本發明之目的將一些特徵一起集合於一單項實施例中。本發明之此方法不應被解釋為反映本發明之所揭示實施例必須使用多於每一請求項中明確敘述之特徵之一意圖。實情係，如以下發明申請專利範圍反映，本發明標的物在於少於一單一所揭示實施例之全部特徵。因此，特此將以下發明申請專利範圍併入實施方式中，其中每一請求項獨立地作為一單獨實施例。
100:人工神經元/神經元模型
102-1至102-3:輸入
103:乘法函數
104:求和函數
106:輸出
108:函數
110:輸出
a1至a3:輸入
a1w1:經加權輸入
a2w2:經加權輸入
a3w3:經加權輸入
w1至w3:權重

Claims (20)

  1. 一種記憶體設備，其包括：一半導體，其處於一第一層級且包括第一電路；一記憶體，其處於一第二層級；及第二電路，其處於一第三層級，使得該記憶體介於該第一電路與該第二電路之間；其中：該第一電路經組態以將一第一信號傳播至該記憶體；該記憶體經組態以回應於該第一信號而基於經儲存於該記憶體中之資料將一第二信號傳播至該第二電路；且該第二電路經組態以基於該第二信號來產生一資料信號。
  2. 如請求項1之記憶體設備，其中該第一信號包括一電壓，且該第二信號包括電流。
  3. 如請求項1至2中任一項之記憶體設備，其中該第二電路包括經組態以藉由將一數學函數應用至該第二信號之一數位表示來產生該資料信號之運算電路，且其中該第二電路包括經組態以將該第二信號轉換為該第二信號之該數位表示之一類比轉數位轉換器。
  4. 如請求項1至2中任一項之記憶體設備，其中該設備包括一額外記憶體，該額外記憶體處於一第四層級，使得 該第二電路介於該記憶體與該額外記憶體之間；且該第二電路經組態以回應於資料值而將一第三信號傳播至該額外記憶體陣列，其中：該資料信號係一第一資料信號；該額外記憶體經組態以回應於該第三信號而基於經儲存於該額外記憶體陣列中之資料將一第四信號傳播至該第一電路；且該第一電路經組態以產生基於該第四信號之一第二資料信號。
  5. 如請求項4之記憶體設備，其中該第一電路經組態以自該設備輸出該第二資料信號。
  6. 如請求項4之記憶體設備，其中該第一電路經組態以比較該第二資料信號與一所要資料信號；回應於該比較而產生一錯誤信號；且將該錯誤信號反向傳播至該額外記憶體，其中：該額外記憶體經組態以基於經儲存於該額外記憶體中之該資料將一第五信號反向傳播至該第二電路；且該第二電路經組態以基於該經反向傳播之第五信號來判定對經儲存於該額外記憶體中之該資料之一校正。
  7. 如請求項1至2中任一項之記憶體設備，其中該資料信號係一數位資料信號；且 該第二電路包括經組態以將該數位資料信號轉換為一類比信號之一數位轉類比轉換器。
  8. 如請求項1至2中任一項之記憶體設備，其中該記憶體包括：記憶體胞之複數個第一分組；及記憶體胞之複數個第二分組；各第二分組包括來自各第一分組之一個記憶體胞；該等第一分組經耦合至第一信號線；該等第二分組經耦合至第二信號線；該第一信號係藉由將複數個第一信號施加至該等第一信號線而被傳播至該記憶體之該等第一信號中之一者；且該第二信號係藉由該等第二信號線傳播至該第二電路之複數個第二信號中之一者，其中該第二電路包括經耦合至該等第二信號線之類比轉數位轉換器；且該等類比轉數位轉換器經組態以將該等第二信號轉換為數位信號。
  9. 如請求項1至2中任一項之記憶體設備，其中該記憶體包括：記憶體胞之複數個第一分組；及記憶體胞之複數個第二分組；各第二分組包括來自各第一分組之一個記憶體胞； 該等第一分組經耦合至第一信號線；該等第二分組經耦合至第二信號線；該第一信號係藉由將複數個第一信號施加至該等第一信號線而被傳播至該記憶體之該等第一信號中之一者；且該第二信號係藉由該等第二信號線傳播至該第二電路之複數個第二信號中之一者，且其中：該第一電路包括經耦合至該等第一信號線之數位轉類比轉換器；且該等數位轉類比轉換器經組態以將在該第一電路處接收之數位信號轉換為該等第一信號。
  10. 如請求項1至2中任一項之記憶體設備，其中該第一電路包括CMOS電路；且該第二電路包括薄膜電路。
  11. 一種記憶體設備，其包括：一堆疊(stacked)人工神經網路，其包括：一半導體，其包括電路；一記憶體層及電路層堆疊，其自該半導體延伸，使得每一各自電路層係介於一各自對(a respective pair)之該等記憶體層之間；其中每一各自電路層經組態以：自該各自對之該等記憶體層之一第一記憶體層接收信號； 基於該等經接收信號來產生激發信號(activation signals)；且將該等激發信號施加至該各自對之該等記憶體層之一第二記憶體層。
  12. 如請求項11之記憶體設備，其中自該第一記憶體層接收之該等信號係自該第一記憶體層正向傳播，且該等激發信號被正向傳播至該第二記憶體層。
  13. 如請求項11之記憶體設備，其中自該第一記憶體陣列接收之該等信號包括錯誤信號，且係自該第一記憶體層反向傳播，且該等激發信號被反向傳播至該第二記憶體層。
  14. 一種記憶體設備，其包括：一半導體，其處於一第一層級，其中該半導體包括第一電路；一堆疊，其自該半導體延伸，其中該堆疊包括：一第一記憶體陣列，其處於一第二層級；第二電路，其處於一第三層級；及一第二記憶體陣列，其處於一第四層級；其中：該第一電路經組態以將第一激發信號施加至該第一記憶體陣列；該第一記憶體陣列經組態以回應於該等經施加第一激發信號而 將信號輸出至該第二電路；且該第二電路經組態以：基於藉由該第一記憶體陣列輸出至該第二電路之該等信號來產生第二激發信號；且將該等第二激發信號施加至該第二記憶體陣列。
  15. 如請求項14之記憶體設備，其中該第一記憶體陣列包括複數個群組之記憶體胞；每一各自群組之記憶體胞經耦合至一各自信號線；藉由該第一記憶體陣列輸出至該第二電路之該等信號包括在每一各自信號線上之一信號；且在每一各自信號線上之該信號包括流動通過經耦合至該各自信號線之該各自群組之記憶體胞之各自經激發記憶體胞之各自電流之一總和，其中每一各自電流根據該各自經激發記憶體胞之一各自資料狀態被加權。
  16. 如請求項14之記憶體設備，其中該第一記憶體陣列包括複數個群組之記憶體胞；每一各自群組之記憶體胞經耦合至一各自信號線；藉由該第一記憶體陣列輸出至該第二電路之該等信號包括在每一各自信號線上之一信號；且在每一各自信號線上之該信號包括流動通過經耦合至該各自信號線之該各自群組之記憶體胞之各自經激發記憶體胞之各自電流之一 總和，其中每一各自經激發記憶體胞係由該等經施加第一激發信號之一各自第一激發信號激發。
  17. 如請求項14至16中任一項之記憶體設備，其中該第二電路包括經組態以選擇用於藉由該第一記憶體陣列輸出至該第二電路之該等信號之解碼電路。
  18. 一種使用一記憶體之方法，其包括：將第一信號自一半導體中之第一電路傳播至處於自該半導體延伸之一堆疊中之一第一層級之一第一記憶體陣列；回應於該等第一信號而激發該第一記憶體陣列；基於經儲存於該第一記憶體陣列中之資料而將第二信號自該經激發第一記憶體陣列傳播至處於該堆疊中之一第二層級之第二電路；回應於該等第二信號而藉由該第二電路來產生第三信號；將該等第三信號傳播至處於該堆疊中之一第三層級之一第二記憶體陣列；及回應於該等第二信號而激發該第二記憶體陣列。
  19. 如請求項18之方法，進一步包括：在將該等第二信號傳播至該第二電路之前，藉由該第二電路之各自第一解碼器來選擇該等各自第二信號；及在將該等第三信號傳播至該第二記憶體陣列之前，藉由該第二電路之各自第二解碼器來選擇該等各自第三信號，其中： 各經傳播第二信號包括分別流動通過分別由該等第一信號激發之記憶體胞之電流之一總和；且分別流動通過該等記憶體胞之該等電流分別根據該等記憶體胞之資料狀態被加權。
  20. 如請求項18至19中任一項之方法，其中回應於該等第二信號而藉由該第二電路來產生第三信號包括：藉由該第二電路之類比轉數位轉換器，將該等第二信號轉換為第一數位信號；藉由該第二電路之運算電路，自該等第一數位信號產生第二數位信號；及藉由該第二電路之數位轉類比轉換器，將該等第二數位信號轉換為該等第三信號。
TW109120424A 2019-06-26 2020-06-17 記憶體設備及使用記憶體之方法 TWI761860B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/453,528 2019-06-26
US16/453,528 US12026601B2 (en) 2019-06-26 2019-06-26 Stacked artificial neural networks

Publications (2)

Publication Number Publication Date
TW202105259A TW202105259A (zh) 2021-02-01
TWI761860B true TWI761860B (zh) 2022-04-21

Family

ID=74043750

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109120424A TWI761860B (zh) 2019-06-26 2020-06-17 記憶體設備及使用記憶體之方法

Country Status (7)

Country Link
US (1) US12026601B2 (zh)
EP (1) EP3991101A4 (zh)
JP (1) JP2022538845A (zh)
KR (1) KR102910294B1 (zh)
CN (1) CN114041142A (zh)
TW (1) TWI761860B (zh)
WO (1) WO2020263515A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11593624B2 (en) * 2019-08-23 2023-02-28 Micron Technology, Inc. Self select memory cell based artificial synapse
TWI763503B (zh) * 2021-05-25 2022-05-01 東旭能興業有限公司 神經元胞體採非仿射轉換技術之人工神經網路系統及應用該系統之方法
US12086461B2 (en) * 2021-06-14 2024-09-10 SanDisk Technologies, Inc. Systems and methods of compensating degradation in analog compute-in-memory (ACIM) modules
US11782642B2 (en) * 2021-06-14 2023-10-10 Western Digital Technologies, Inc. Systems and methods of determining degradation in analog compute-in-memory (ACIM) modules
US11989440B2 (en) * 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
CN119476383A (zh) * 2024-10-18 2025-02-18 新存科技(武汉)有限责任公司 半导体器件以及半导体器件的制备方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150106314A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for constructing a dynamic adaptive neural network array (danna)
US9619748B1 (en) * 2002-09-30 2017-04-11 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
JP2017130195A (ja) * 2015-05-21 2017-07-27 株式会社半導体エネルギー研究所 ニューラルネットワーク装置、ニューラルネットワークシステム、集積回路、及びｉｃチップ
CN107729994A (zh) * 2017-11-28 2018-02-23 北京地平线信息技术有限公司 执行卷积神经网络中的卷积层的运算的方法和装置
CN107844827A (zh) * 2017-11-28 2018-03-27 北京地平线信息技术有限公司 执行卷积神经网络中的卷积层的运算的方法和装置
CN108053848A (zh) * 2018-01-02 2018-05-18 清华大学 电路结构及神经网络芯片
TWI627593B (zh) * 2015-05-21 2018-06-21 美商谷歌有限責任公司 用於類神經網路計算的旋轉資料
JP6357525B2 (ja) * 2016-12-01 2018-07-11 ヴィア アライアンス セミコンダクター カンパニー リミテッド 効率的な３次元畳み込みを行うニューラルネットワークユニット
US10127494B1 (en) * 2017-08-02 2018-11-13 Google Llc Neural network crossbar stack

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8601013B2 (en) 2010-06-10 2013-12-03 Micron Technology, Inc. Analyzing data using a hierarchical structure
US8766666B2 (en) 2010-06-10 2014-07-01 Micron Technology, Inc. Programmable device, hierarchical parallel machines, and methods for providing state information
US9015093B1 (en) * 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9430735B1 (en) 2012-02-23 2016-08-30 Micron Technology, Inc. Neural network in a memory device
US10217045B2 (en) * 2012-07-16 2019-02-26 Cornell University Computation devices and artificial neurons based on nanoelectromechanical systems
CN104701309B (zh) * 2015-03-24 2017-10-13 上海新储集成电路有限公司 三维堆叠式神经元装置及制备方法
US10664751B2 (en) * 2016-12-01 2020-05-26 Via Alliance Semiconductor Co., Ltd. Processor with memory array operable as either cache memory or neural network unit memory
US10360971B1 (en) * 2015-11-02 2019-07-23 Green Mountain Semiconductor, Inc. Artificial neural network functionality within dynamic random-access memory
US10832127B2 (en) * 2015-11-30 2020-11-10 Samsung Electronics Co., Ltd. Three-dimensional integration of neurosynaptic chips
JP6658033B2 (ja) * 2016-02-05 2020-03-04 富士通株式会社 演算処理回路、および情報処理装置
JP6833873B2 (ja) * 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
WO2018002774A1 (en) * 2016-06-29 2018-01-04 Semiconductor Energy Laboratory Co., Ltd. Electronic device, operation method of the electronic device, and moving vehicle
US9992382B2 (en) 2016-07-08 2018-06-05 Hewlett-Packard Development Company, L.P. Color table compression
US9779355B1 (en) 2016-09-15 2017-10-03 International Business Machines Corporation Back propagation gates and storage capacitor for neural networks
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
US11315009B2 (en) 2017-03-03 2022-04-26 Hewlett Packard Enterprise Development Lp Analog multiplier-accumulators
JP6822253B2 (ja) * 2017-03-22 2021-01-27 富士通株式会社 電子装置及びその製造方法、電子部品
JP2018201003A (ja) * 2017-05-26 2018-12-20 株式会社半導体エネルギー研究所 半導体装置及び電子機器
JP2019028569A (ja) * 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
US12307359B2 (en) * 2017-09-20 2025-05-20 Look Dynamics, Inc. Device for optically transmitting and receiving images
US11348002B2 (en) * 2017-10-24 2022-05-31 International Business Machines Corporation Training of artificial neural networks
EP3528181B1 (en) * 2018-02-14 2024-04-17 Samsung Electronics Co., Ltd. Processing method of neural network and apparatus using the processing method
US20200012924A1 (en) * 2018-07-03 2020-01-09 Sandisk Technologies Llc Pipelining to improve neural network inference accuracy
CN109086807B (zh) * 2018-07-16 2022-03-18 哈尔滨工程大学 一种基于空洞卷积堆叠网络的半监督光流学习方法
US11320883B2 (en) 2018-09-28 2022-05-03 Intel Corporation Multi-die stacks with power management
US11144824B2 (en) * 2019-01-29 2021-10-12 Silicon Storage Technology, Inc. Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network
US12254526B2 (en) * 2019-03-15 2025-03-18 Intel Corporation On chip dense memory for temporal buffering
US11531898B2 (en) * 2019-05-16 2022-12-20 International Business Machines Corporation Training of artificial neural networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619748B1 (en) * 2002-09-30 2017-04-11 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US20150106314A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for constructing a dynamic adaptive neural network array (danna)
JP2017130195A (ja) * 2015-05-21 2017-07-27 株式会社半導体エネルギー研究所 ニューラルネットワーク装置、ニューラルネットワークシステム、集積回路、及びｉｃチップ
TWI627593B (zh) * 2015-05-21 2018-06-21 美商谷歌有限責任公司 用於類神經網路計算的旋轉資料
JP6357525B2 (ja) * 2016-12-01 2018-07-11 ヴィア アライアンス セミコンダクター カンパニー リミテッド 効率的な３次元畳み込みを行うニューラルネットワークユニット
US10127494B1 (en) * 2017-08-02 2018-11-13 Google Llc Neural network crossbar stack
CN107729994A (zh) * 2017-11-28 2018-02-23 北京地平线信息技术有限公司 执行卷积神经网络中的卷积层的运算的方法和装置
CN107844827A (zh) * 2017-11-28 2018-03-27 北京地平线信息技术有限公司 执行卷积神经网络中的卷积层的运算的方法和装置
CN108053848A (zh) * 2018-01-02 2018-05-18 清华大学 电路结构及神经网络芯片

Also Published As

Publication number Publication date
CN114041142A (zh) 2022-02-11
EP3991101A1 (en) 2022-05-04
TW202105259A (zh) 2021-02-01
KR102910294B1 (ko) 2026-01-12
JP2022538845A (ja) 2022-09-06
US20200410319A1 (en) 2020-12-31
US12026601B2 (en) 2024-07-02
EP3991101A4 (en) 2023-06-28
WO2020263515A1 (en) 2020-12-30
KR20220024894A (ko) 2022-03-03

Similar Documents

Publication Publication Date Title
TWI761860B (zh) 記憶體設備及使用記憶體之方法
JP6858870B2 (ja) 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
US10643119B2 (en) Differential non-volatile memory cell for artificial neural network
JP6956191B2 (ja) 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
JP7357079B2 (ja) 相変化メモリの閉ループ・プログラミング
TWI783539B (zh) 具有外部磁場程式化輔助的超低電力推理引擎
KR102605890B1 (ko) 멀티-레벨 초 저전력 추론 엔진 가속기
US12205008B2 (en) Dropout in neutral networks using threshold switching selectors in non-volatile memories
TW202141497A (zh) 仿神經型態計算裝置及其操作方法
US10832773B1 (en) Architecture for enabling zero value shifting
EP3973529A1 (en) Mixed digital-analog memory devices and circuits for secure storage and computing
US12229680B2 (en) Neural network accelerators resilient to conductance drift
JP7442625B2 (ja) 相変化メモリ・シナプスのプログラム中にドリフト係数外れ値を抑制すること
US20240303037A1 (en) Memory device having bonded integrated circuit dies used for multiplication
CN117391161A (zh) 基于存储器的神经拟态器件及其操作方法
KR102888761B1 (ko) 뉴로모픽 컴퓨팅 장치 및 그 구동 방법
TW202117727A (zh) 神經網絡中用於權重更新的記憶體元件
Guo et al. An emerging NVM CIM accelerator with shared-path transpose read and bit-interleaving weight storage for efficient on-chip training in edge devices
TWI874005B (zh) 積體電路及相變記憶體裝置
TW202032433A (zh) 類比計算的方法
JP7754601B2 (ja) Ｒｒａｍ抵抗の上限設定
CN118138026A (zh) 延时缓冲单元、电子装置、延时缓冲阵列及其操作方法
KR20230007597A (ko) 뉴로모픽 장치