TW201533668A

TW201533668A - 基於突觸前尖峰的短期突觸記憶

Info

Publication number: TW201533668A
Application number: TW104103902A
Authority: TW
Inventors: 杭茲格爾傑森法蘭克; 凱莉瑞恩麥可; 陳維特霍庫; 維爾辛司基卡西米爾馬修
Original assignee: 高通公司
Priority date: 2014-02-06
Filing date: 2015-02-05
Publication date: 2015-09-01
Also published as: US20160260012A1; WO2015119963A2; WO2015119963A3; US20150220831A1

Abstract

一種用於使用短期可塑性來建立和維持短期記憶的方法，包括基於突觸前尖峰活動來改變突觸的增益而不考慮突觸後尖峰活動。該方法亦包括基於與短期可塑性相關聯的持續地更新的突觸狀態變數來計算該增益。

Description

基於突觸前尖峰的短期突觸記憶

本案的某些態樣一般涉及神經系統工程設計，尤其涉及用於基於突觸前尖峰來實現短期突觸記憶的系統和方法。

可包括一群互連的人工神經元(即神經元模型)的人工神經網路是一種計算設備或者表示將由計算設備執行的方法。人工神經網路可具有生物學神經網路中的對應的結構及/或功能。然而，人工神經網路可為其中傳統計算技術是麻煩的、不切實際的，或不勝任的某些應用提供創新且有用的計算技術。由於人工神經網路能從觀察中推斷出功能，因此此種網路在因任務或資料的複雜度使得經由一般技術來設計該功能較為麻煩的應用中是特別有用的。由此，期望提供包括短期記憶的神經元形態接收器。

在本案的一個態樣中，提出了一種用於使用短期可塑性來建立和維持短期記憶的方法。該方法包括基於突觸前尖峰活動來改變突觸的增益而不考慮突觸後尖峰活動。

本案的另一態樣涉及一種設備，包括用於基於突觸前尖峰活動來改變突觸的增益而不考慮突觸後尖峰活動的手段。

在本案的另一態樣中，揭示一種用於使用短期可塑性來建立和維持短期記憶的電腦程式產品。該電腦程式產品具有非瞬態電腦可讀取媒體。該電腦可讀取媒體上記錄有非瞬態程式碼，該程式碼在由(諸)處理器執行時使(諸)處理器執行以下操作：基於突觸前尖峰活動來改變突觸的增益而不考慮突觸後尖峰活動。

另一態樣揭示一種具有記憶體以及耦合至該記憶體的至少一個處理器的無線通訊設備。(諸)處理器被配置成基於突觸前尖峰活動來改變突觸的增益而不考慮突觸後尖峰活動。

在本案的另一態樣中，提出了一種用於使用短期可塑性來建立和維持短期記憶的方法。該方法包括基於突觸前活動來在突觸中儲存狀態資訊。該方法進一步包括取得該狀態資訊作為突觸後活動。

本案的另一態樣涉及一種設備，包括用於基於突觸前活動來在突觸中儲存狀態資訊的手段。該設備亦包括用於取得該狀態資訊作為突觸後活動的手段。

在本案的另一態樣中，揭示一種用於使用短期可塑性來建立和維持短期記憶的電腦程式產品。該電腦程式產品具有非瞬態電腦可讀取媒體。該電腦可讀取媒體上記錄有非瞬態程式碼，該程式碼在由(諸)處理器執行時使(諸)處理器基於突觸前活動來在突觸中儲存狀態資訊。該程式碼亦使(諸)處理器取得該狀態資訊作為突觸後活動。

另一態樣揭示一種具有記憶體以及耦合至該記憶體的至少一個處理器的無線通訊裝置。(諸)處理器被配置成基於突觸前活動來在突觸中儲存狀態資訊。(諸)處理器被進一步配置成取得該狀態資訊作為突觸後活動。

100‧‧‧示例人工神經系統

102‧‧‧神經元級

104‧‧‧突觸連接網路

106‧‧‧另一神經元級

108₁‧‧‧輸入信號

108₂‧‧‧輸入信號

108_N‧‧‧輸入信號

110₁‧‧‧輸出尖峰

110₂‧‧‧輸出尖峰

110_M‧‧‧輸出尖峰

200‧‧‧示例性示圖

202‧‧‧神經元

204₁‧‧‧輸入信號

204_i‧‧‧輸入信號

204_N‧‧‧輸入信號

206₁‧‧‧可調節突觸權重

206_i‧‧‧可調節突觸權重

206_N‧‧‧可調節突觸權重

208‧‧‧輸出信號

300‧‧‧示例性示圖

302‧‧‧部分

304‧‧‧部分

306‧‧‧交越點

400‧‧‧模型

402‧‧‧負態相

404‧‧‧正態相

500‧‧‧神經網路

502‧‧‧神經元

504‧‧‧輸入突觸

506‧‧‧輸入突觸

508‧‧‧輸入突觸

510‧‧‧輸出突觸

602‧‧‧第一維持信號

604‧‧‧第二維持信號

606‧‧‧第三維持信號

608‧‧‧電壓

610‧‧‧特定區間

700‧‧‧示例實現

702‧‧‧通用處理器

704‧‧‧記憶體塊

706‧‧‧程式記憶體

800‧‧‧示例實現

802‧‧‧記憶體

804‧‧‧互連網路

808‧‧‧處理單元(神經處理器)

902‧‧‧記憶體組

904‧‧‧處理單元

1000‧‧‧神經網路

1002‧‧‧局部處理單元

1004‧‧‧局部狀態記憶體

1006‧‧‧局部參數記憶體

1008‧‧‧局部(神經元)模型程式(LMP)記憶體

1010‧‧‧局部學習程式(LLP)記憶體

1012‧‧‧局部連接記憶體

1014‧‧‧配置處理單元

1016‧‧‧路由連接處理元件

在結合附圖理解下文闡述的詳細描述時，本案的特徵、本質和優點將變得更加明顯，在附圖中，相同元件符號始終作相應標識。

圖1圖示根據本案的某些態樣的示例神經元網路。

圖2圖示根據本案的某些態樣的計算網路(神經系統或神經網路)的處理單元(神經元)的實例。

圖3圖示根據本案的某些態樣的尖峰時序依賴可塑性(STDP)曲線的實例。

圖4圖示根據本案的某些態樣的用於定義神經元模型的行為的正態相和負態相的實例。

圖5A圖示基於本案一態樣的神經元模型的實例。

圖5B和5C圖示根據本案各態樣在具有和沒有突觸的經更改狀態的情況下的尖峰發放電壓的實例。

圖6圖示基於本案一態樣的尖峰發放電壓和電壓衰退的實例。

圖7圖示根據本案的某些態樣的使用通用處理器來設計神經網路的示例實現。

圖8圖示根據本案的某些態樣的設計其中記憶體可以與個體的分散式處理單元對接的神經網路的示例實現。

圖9圖示根據本案的某些態樣的基於分散式記憶體和分散式處理單元來設計神經網路的示例實現。

圖10圖示根據本案的某些態樣的神經網路的示例實現。

以下結合附圖闡述的詳細描述意欲作為各種配置的描述，而無意表示可實踐本文中所描述的概念的僅有的配置。本詳細描述包括具體細節以便提供對各種概念的透徹理解。然而，對於本領域技藝人士將顯而易見的是，沒有該等具體細節亦可實踐該等概念。在一些情形中，以方塊圖形式示出眾所周知的結構和元件以避免湮沒此類概念。

基於此教示，本領域技藝人士應領會，本案的範圍意欲覆蓋本案的任何態樣，不論其是與本案的任何其他態樣相獨立地還是組合地實現的。例如，可以使用所闡述的任何數目的態樣來實現裝置或實踐方法。另外，本案的範圍意欲覆蓋使用作為所闡述的本案的各個態樣的補充或者與之不同的其他結構、功能，或者結構及功能來實踐的此類裝置或方法。應當理解，所揭示的本案的任何態樣可由請求項的一或多個元素來實施。

措辭「示例性」在本文中用於表示「用作示例、實例或解說」。本文中描述為「示例性」的任何態樣不一定被解釋為優於或勝過其他態樣。

儘管本文描述了特定態樣，但該等態樣的眾多變體和置換落在本案的範圍之內。儘管提到了優選態樣的一些益處和優點，但本案的範圍並非意欲被限定於特定益處、用途或目標。相反，本案的各態樣意欲能寬泛地應用於不同的技術、系統組態、網路和協定，其中一些作為示例在附圖以及以下對較佳態樣的描述中圖示。詳細描述和附圖僅僅解說本案而非限定本案，本案的範圍由所附請求項及其等效技術方案來定義。

示例神經系統、訓練及操作

圖1圖示根據本案的某些態樣的具有多級神經元的示例人工神經系統100。神經系統100可具有神經元級102，該神經元級102經由突觸連接網路104(亦即，前饋連接)來連接到另一神經元級106。為簡單起見，圖1中僅圖示了兩級神經元，但神經系統中可存在更少或更多級神經元。應注意，一些神經元可經由側向連接來連接至同層中的其他神經元。此外，一些神經元可經由回饋連接來後向連接至先前層中的神經元。

如圖1所圖示的，級102中的每一個神經元可以接收可由前級的神經元(未在圖1中示出)產生的輸入信號108。信號108可表示級102的神經元的輸入電流。該電流可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾值時，該神經元可激發並產生輸出尖峰，該輸出尖峰將被傳遞到下一級神經元(例如，級106)。在某些模型化方法中，神經元可以連續地向下一級神經元傳遞信號。該信號通常是膜電位的函數。此類行為可在硬體及/或軟體(包括類比和數位實現，諸如以下所述彼等實現)中進行模擬或仿真。

在生物學神經元中，在神經元激發時產生的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態的神經衝激，其具有約為100mV的振幅和約為1ms的歷時。在具有一系列連通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一級神經元)的神經系統的特定實施例中，每個動作電位皆具有基本上相同的振幅和歷時，並且因此該信號中的資訊可僅由尖峰的頻率和數目，或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的資訊可由尖峰、發放了尖峰的神經元、以及該尖峰相對於一個或數個其他尖峰的時間來決定。尖峰的重要性可由向各神經元之間的連接所應用的權重來決定，以下將進一步解釋。

尖峰從一級神經元向另一級神經元的傳遞可經由突觸連接(或簡稱「突觸」)網路104來達成，如圖1中所圖示的。相對於突觸104，級102的神經元可被視為突觸前神經元，而級106的神經元可被視為突觸後神經元。突觸104可接收來自級102的神經元的輸出信號(亦即，尖峰)，並根據可調節突觸權重，...，來按比例縮放彼等信號，其中P是級102的神經元與級106的神經元之間的突觸連接的總數，並且i是神經元級的指示符。在圖1的實例中，i表示神經元級102並且i+1表示神經元級106。此外，經按比例縮放的信號可被組合以作為級106中每個神經元的輸入信號。級 106之每一神經元可基於對應的組合輸入信號來產生輸出尖峰110。可使用另一突觸連接網路(圖1中未圖示)將該等輸出尖峰110傳遞到另一級神經元。

生物學突觸可以傳達突觸後神經元中的興奮性或抑制性(超級化)動作，並且亦可用於放大神經元信號。興奮性信號使膜電位去極化(亦即，相對於靜息電位增大膜電位)。若在某個時間段內接收到足夠的興奮性信號以使膜電位去極化到高於閾值，則在突觸後神經元中發生動作電位。相反，抑制性信號一般使膜電位超極化(亦即，降低膜電位)。抑制性信號若足夠強則可抵消掉興奮性信號之和並阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制亦可對自發活躍神經元施加強力的控制。自發活躍神經元是指在沒有進一步輸入的情況下(例如，由於其動力學或回饋而)發放尖峰的神經元。藉由壓制該等神經元中的動作電位的自發產生，突觸抑制可對神經元中的激發模式進行定形，這一般被稱為雕刻。取決於期望的行為，各種突觸104可充當興奮性或抑制性突觸的任何組合。

神經系統100可由通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘門或電晶體邏輯、個別的硬體元件、由處理器執行的軟體模組，或其任何組合來模擬。神經系統100可用在大範圍的應用中，諸如圖像和模式辨識、機器學習、電機控制，及類似應用等。神經系統100中的每一神經元可被實現為神經元電路。被充電至發起輸出尖峰的閾值的神經元膜可被實現為例如對流經其的電流進行積分的電容器。

在一態樣中，電容器作為神經元電路的電流積分裝置可被除去，並且可使用較小的憶阻器元件來替代它。此種方法可應用於神經元電路中，以及其中大容量電容器被用作電流積分器的各種其他應用中。另外，每個突觸104可基於憶阻器元件來實現，其中突觸權重改變可與憶阻器電阻的變化有關。使用奈米特徵尺寸的憶阻器，可顯著地減小神經元電路和突觸的面積，這可使得實現大規模神經系統硬體實施更為切實可行。

對神經系統100進行模擬的神經處理器的功能可取決於突觸連接的權重，該等權重可控制神經元之間的連接的強度。突觸權重可儲存在非揮發性記憶體中以在掉電之後保留該處理器的功能。在一態樣中，突觸權重記憶體可實現在與主神經處理器晶片分開的外部晶片上。突觸權重記憶體可與神經處理器晶片分開地封裝成可更換的儲存卡。這可向神經處理器提供多種多樣的功能，其中特定功能可基於當前附連至神經處理器的儲存卡中所儲存的突觸權重。

圖2圖示根據本案的某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，神經元或神經元電路)202的示例性示圖200。例如，神經元202可對應於來自圖1的級102和106的任何神經元。神經元202可接收多個輸入信號204₁-204_N，該等輸入信號可以是該神經系統外部的信號，或是由同一神經系統的其他神經元所產生的信號，或這兩者。輸入信號可以是電流、電導、電壓、實數值及/或複數值。輸入信號可包括具有定點或浮點表示的數值。可經由突觸連接將該等輸入信號遞送到神經元202，突觸連接根據可調節突觸權重206₁-206_N(W₁-W_N)對該等信號進行按比例縮放，其中N可以是神經元202的輸入連接總數。

神經元202可組合該等經按比例縮放的輸入信號，並且使用組合的經按比例縮放的輸入來產生輸出信號208(亦即，信號Y)。輸出信號208可以是電流、電導、電壓、實數值及/或複數值。輸出信號可以是具有定點或浮點表示的數值。隨後該輸出信號208可作為輸入信號傳遞至同一神經系統的其他神經元，或作為輸入信號傳遞至同一神經元202，或作為該神經系統的輸出來傳遞。

處理單元(神經元)202可由電路來模擬，並且其輸入和輸出連接可由具有突觸電路的電連接來模擬。處理單元202及其輸入和輸出連接亦可由軟體代碼來模擬。處理單元202亦可由電路來模擬，而其輸入和輸出連接可由軟體代碼來模擬。在一態樣中，計算網路中的處理單元202可以是類比電路。在另一態樣中，處理單元202可以是數位電路。在又一態樣中，處理單元202可以是具有類比和數位元件兩者的混合信號電路。計算網路可包括任何前述形式的處理單元。使用此種處理單元的計算網路(神經系統或神經網路)可用在大範圍的應用中，諸如圖像和模式辨識、機器學習、電機控制，及類似應用等。

在神經網路的訓練程序期間，突觸權重(例如，來自圖1的權重,...,及/或來自圖2的權重206₁-206_N)可用隨機值來初始化並根據學習規則而被增大或減小。本領域技藝人士將領會，學習規則的實例包括但不限於尖峰時序依賴可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等。在某些態樣中，該等權重可穩定或收斂至兩個值(亦即，權重的雙峰分佈)之一。該效應可被用於減少每個突觸權重的位元數量、提高從/向儲存突觸權重的記憶體讀取和寫入的速度、以及降低突觸記憶體的功率及/或處理器消耗。

突觸類型

在神經網路的硬體和軟體模型中，突觸相關功能的處理可基於突觸類型。突觸類型可以是非可塑突觸(權重和延遲沒有改變)、可塑突觸(權重可改變)、結構化延遲可塑突觸(權重和延遲可改變)、全可塑突觸(權重、延遲和連通性可改變)、以及以上的變型(例如，延遲可改變，但在權重或連通性方面沒有改變)。多種類型的優點在於處理可以被細分。例如，非可塑突觸不會要求執行可塑性功能(或等待此類功能完成)。類似地，延遲和權重可塑性可被細分成可一起或分開地、順序地或並行地運作的操作。不同類型的突觸對於適用的每一種不同的可塑性類型可具有不同的查找表或公式以及參數。因此，該等方法將針對該突觸的類型來存取相關的表、公式或參數。

亦進一步牽涉到以下事實：尖峰時序依賴型結構化可塑性可獨立於突觸可塑性地來執行。結構化可塑性即使在權重幅值沒有改變的情況下(例如，若權重已達最小或最大值，或者其由於某種其他原因而不被改變)亦可被執行，因為結構化可塑性(亦即，延遲改變的量)可以是前-後尖峰時間差的直接函數。或者，結構化可塑性可被設為權重改變量的函數或者可基於與權重或權重改變的界限有關的條件來設置。例如，突觸延遲可僅在權重改變發生時或者在權重到達0的情況下才改變，但在該等權重為最大值時則不改變。然而，具有獨立函數以使得該等程序能被並行化從而減少記憶體存取的次數和交疊可能是有利的。

突觸可塑性的決定

神經元可塑性(或簡稱「可塑性」)是大腦中的神經元和神經網路回應於新的資訊、感官刺激、生長、損壞，或機能障礙而改變其突觸連接和行為的能力。可塑性對於生物學中的學習和記憶、以及對於計算神經元科學和神經網路是重要的。已經研究了各種形式的可塑性，諸如突觸可塑性(例如，根據Hebbian理論)、尖峰時序依賴可塑性(STDP)、非突觸可塑性、活躍性依賴可塑性、結構化可塑性和自穩態可塑性。

STDP是調節神經元之間的突觸連接的強度的學習程序。連接強度是基於特定神經元的輸出與收到輸入尖峰(亦即，動作電位)的相對時序來調節的。在STDP程序下，若至某個神經元的輸入尖峰平均而言傾向於緊挨在該神經元的輸出尖峰之前發生，則可發生長期增強(LTP)。於是使得該特定輸入在一定程度上更強。另一方面，若輸入尖峰平均而言傾向於緊接在輸出尖峰之後發生，則可發生長期抑壓(LTD)。於是使得該特定輸入在一定程度上更弱，並由此得名「尖峰時序依賴可塑性」。因此，使得可能是突觸後神經元興奮原因的輸入甚至更有可能在將來作出貢獻，而使得不是突觸後尖峰的原因的輸入更不可能在將來作出貢獻。該程序繼續，直至初始連接集合的子集保留，而所有其他連接的影響減小至無關緊要的水平。

由於神經元一般在其許多輸入皆在一短時段內發生(亦即，累積後足以引起輸出)時產生輸出尖峰，因此通常保留下來的輸入子集包括傾向於在時間上相關的彼等輸入。另外，由於在輸出尖峰之前發生的輸入被加強，因此提供對相關性的最早充分累積性指示的彼等輸入將最終變成至該神經元的最後輸入。

STDP學習規則可根據突觸前神經元的尖峰時間t _pre與突觸後神經元的尖峰時間t _post之間的時間差(亦即，t=t _post-t _pre)來有效地適配將該突觸前神經元連接到該突觸後神經元的突觸的突觸權重。STDP的典型公式化是若該時間差為正(突觸前神經元在突觸後神經元之前激發)則增大突觸權重(亦即，增強該突觸)，以及若該時間差為負(突觸後神經元在突觸前神經元之前激發)則減小突觸權重(亦即，抑壓該突觸)。

在STDP程序中，突觸權重隨時間推移的改變可通常使用指數式衰退來達成，如下式：其中k ₊和分別是針對正和負時間差的時間常數，a ₊和a _-是對應的比例縮放幅值，並且μ是可應用於正時間差及/或負時間差的偏移。

圖3圖示根據STDP，突觸權重隨著突觸前(pre)和突觸後(post)尖峰的相對時序而改變的示例性示圖300。若突觸前神經元在突觸後神經元之前激發，則對應的突觸權重可被增大，如曲線圖300的部分302中所圖示的。該權重增大可被稱為該突觸的LTP。從曲線圖部分302可觀察到，LTP的量可隨著突觸前和突觸後尖峰時間之差而大致呈指數式地下降。相反的激發次序可減小突觸權重，如曲線圖300的部分304中所圖示的，從而導致該突觸的LTD。

如圖3中的曲線圖300中所圖示的，可向STDP曲線圖的LTP(因果性)部分302應用負偏移μ。x軸的交越點306(y=0)可被配置成與最大時間滯後重合以考慮到來自層i-1的各因果性輸入的相關性。在基於訊框的輸入(亦即，呈特定歷時的包括尖峰或脈衝的訊框的形式的輸入)的情形中，可計算偏移值μ以反映訊框邊界。該訊框中的第一輸入尖峰(脈衝)可被視為要麼如直接由突觸後電位所模型化地隨時間衰退，要麼在對神經狀態的影響的意義上隨時間衰退。若該訊框中的第二輸入尖峰(脈衝)被視為與特定的時間訊框相關或有關，則該訊框之前和之後的有關時間可藉由使STDP曲線的一或多個部分偏移以使得該等有關時間中的值可以不同(例如，若大於一個訊框則為負，而若小於一個訊框則為正)來在該時間訊框邊界處被分開並在可塑性意義上被不同地對待。例如，負偏移μ可被設為偏移LTP以使得曲線實際上在大於訊框時間的pre-post時間處變得低於零並且其由此為LTD而非LTP的一部分。

神經元模型及操作

存在一些用於設計有用的尖峰發放神經元模型的一般原理。良好的神經元模型在以下兩個計算態相(regime)方面可具有豐富的潛在行為：重合性偵測和功能計算。此外，良好的神經元模型應當具有允許時間編碼的兩個要素：輸入的抵達時間影響輸出時間，以及重合性偵測能具有窄時間窗。最後，為了在計算上是有吸引力的，良好的神經元模型在連續時間上可具有封閉形式解，並且具有穩定的行為，包括在靠近吸引子(attactor)和鞍點之處。換言之，有用的神經元模型是可實踐且可被用於模型化豐富的、現實的且生物學一致的行為並且可被用於對神經電路進行工程設計和逆向工程設計兩者的神經元模型。

神經元模型可取決於事件，諸如輸入抵達、輸出尖峰或其他事件，無論該等事件是內部的還是外部的。為了達成豐富的行為庫，可能需要能展現複雜行為的狀態機。若事件本身的發生在撇開輸入貢獻(若有)的情況下能影響狀態機並約束該事件之後的動力學，則該系統的將來狀態並非僅是狀態和輸入的函數，而是狀態、事件和輸入的函數。

在一態樣中，神經元n可被模型化為尖峰帶洩漏積分激發神經元，其膜電壓v _n(t)由以下動力學來支配：其中α和β是參數，w _m,n是將突觸前神經元m連接至突觸後神經元n的突觸的突觸權重，以及y _m(t)是神經元m的尖峰發放輸出，其可根據Δt _m,n被延遲達樹突或軸突延遲直至抵達神經元n的胞體。

應注意，從建立了對突觸後神經元的充分輸入的時間直至該突觸後神經元實際上激發的時間存在延遲。在動力學尖峰神經元模型(諸如Izhikevich簡單模型)中，若在去極化閾值v _t與峰值尖峰電壓v _peak之間有差量，則可引發時間延遲。例如，在該簡單模型中，神經元胞體動力學可由關於電壓和恢復的微分方程對來支配，即：

其中v是膜電位，u是膜恢復變數，k是描述膜電位v的時間尺度的參數，a是描述恢復變數u的時間尺度的參數，b是描述恢復變數u對膜電位v的閾下波動的敏感度的參數，v _r是膜靜息電位，I是突觸電流，以及C是膜的電容。根據該模型，神經元被定義為在v>v _peak時發放尖峰。

Hunzinger Cold模型

Hunzinger Cold神經元模型是能再現豐富多樣的各種神經行為的最小雙態相尖峰發放線性動力學模型。該模型的一維或二維線性動力學可具有兩個態相，其中時間常數(以及耦合)可取決於態相。在閾下態相中，時間常數(按照慣例為負)表示洩漏通道動力學，其一般作用於以生物學一致的線性方式使細胞返回到靜息。閾上態相中的時間常數(按照慣例為正)反映抗洩漏通道動力學，其一般驅動細胞發放尖峰，而同時在尖峰產生中引發等待時間。

如圖4中所圖示的，該模型400的動力學可被劃分成兩個(或更多個)態相。該等態相可被稱為負態相402(亦可互換地稱為帶洩漏積分激發(LIF)態相，勿與LIF神經元模型混淆)以及正態相404(亦可互換地稱為抗洩漏積分激發(ALIF)態相，勿與ALIF神經元模型混淆)。在負態相402中，狀態在將來事件的時間趨向於靜息(v _-)。在該負態相中，該模型一般展現出時間輸入偵測性質及其他閾下行為。在正態相404中，狀態趨向於尖峰發放事件(v _s)。在該正態相中，該模型展現出計算性質，諸如取決於後續輸入事件而引發發放尖峰的等待時間。在事件方面對動力學進行公式化以及將動力學分成這兩個態相是該模型的基礎特性。

線性雙態相二維動力學(對於狀態v和u)可按照慣例定義為：

其中q _ρ和r是用於耦合的線性變換變數。

符號ρ在本文中用於標示動力學態相，在論述或表達具體態相的關係時，按照慣例對於負態相和正態相分別用符號「-」或「+」來替換符號ρ。

模型狀態由膜電位(電壓)v和恢復電流u來定義。在基本形式中，態相在本質上是由模型狀態來決定的。該精確和通用的定義存在一些細微卻重要的態樣，但目前考慮該模型在電壓v高於閾值(v ₊)的情況下處於正態相404中，否則處於負態相402中。

態相依賴型時間常數包括負態相時間常數τ _-和正態相時間常數τ ₊。恢復電流時間常數τ _u通常是獨立於態相的。出於方便起見，負態相時間常數τ _-通常被指定為反映衰退的負量，從而用於電壓演變的相同運算式可用於正態相，在正態相中指數和τ ₊將一般為正，τ _u也如此。

這兩個狀態元素的動力學可在發生事件之際藉由使狀態偏離其零傾線(null-cline)的變換來耦合，其中變換變數為：q _ρ=-τ _ρ βu-v _ρ (7)

r=δ(v+ε) (8)其中δ、ε、β和v _-、v ₊是參數。v _ρ的兩個值是這兩個態相的參考電壓的基數。參數v _-是負態相的基電壓，並且膜電位在負態相中一般將朝向v _-衰退。參數v ₊是正態相的基電壓，並且膜電位在正態相中一般將趨向於背離v ₊。

v和u的零傾線分別由變換變數q _ρ和r的負數提供。參數δ是控制u零傾線的斜率的縮放因數。參數ε通常被設為等於-v _-。參數β是控制這兩個態相中的v零傾線的斜率的電阻值。τ _ρ時間常數參數不僅控制指數式衰退，亦分別地控制每個態相中的零傾線斜率。

該模型可被定義為在電壓v達到值v _S時發放尖峰。隨後，狀態可在發生重設事件(其可以與尖峰事件完全相同)之際被重設：

u=u+Δu (10)其中和Δu是參數。重設電壓通常被設為v _-。

依照暫態耦合的原理，封閉形式解不僅對於狀態是可能的(且具有單個指數項)，而且對於到達特定狀態所需的時間亦是可能的。封閉形式狀態解為：

因此，模型狀態可僅在發生事件之際被更新，諸如在輸入(突觸前尖峰)或輸出(突觸後尖峰)之際被更新。亦可在任何特定的時間(無論是否有輸入或輸出)執行操作。

而且，依照暫態耦合原理，可預計突觸後尖峰的時間，因此可提前決定到達特定狀態的時間而無需反覆運算技術或數值方法(例如，歐拉數值方法)。給定了先前電壓狀態v ₀，到達電壓狀態v _f之前的時間延遲由下式提供：

若尖峰被定義為發生在電壓狀態v到達v _S的時間，則從電壓處於給定狀態v的時間起量測的直至發生尖峰前的時間量或即相對延遲的封閉形式解為：其中通常被設為參數v ₊，但其他變型可以是可能的。

模型動力學的以上定義取決於該模型是在正態相還是負態相中。已經提及，耦合和態相ρ可基於事件來計算。出於狀態傳播的目的，態相和耦合(變換)變數可基於在上一(先前)事件的時間的狀態來定義。出於隨後預計尖峰輸出時間的目的，態相和耦合變數可基於在下一(當前)事件的時間的狀態來定義。

存在對該Cold模型、以及在時間上執行模擬、模擬，或模型化的若干可能實現。這包括例如事件-更新、步點-事件更新、以及步點-更新模式。事件更新是其中基於事件或「事件更新」(在特定時刻)來更新狀態的更新。步點更新是以間隔(例如，1ms)來更新模型的更新。這不一定要求反覆運算方法或數值方法。藉由僅在事件發生於步點處或步點間的情況下才更新模型或即藉由「步點-事件」更新，基於事件的實現以有限的時間解析度在基於步點的模擬器中實現亦是可能的。

具有短期可塑性的尖峰時序記憶

本案的各態樣涉及專用於神經網路的記憶，諸如短期記憶。記憶可被寫入、讀取、維持，或擦除。在本案中，術語神經網路可被稱為網路。

在一種配置中，藉由控制與突觸相關聯的增益來建立記憶。在此種配置中，記憶可由短期可塑性來改變。

具體地，在一種配置中，突觸強度(亦即，增益)的短期改變(諸如增大或減小)可基於突觸前活動。突觸前活動可包括突觸前尖峰的時序及/或突觸前尖峰集合的時序。在一種配置中，增益是突觸前活動的時序的函數。在本案中，術語短期突觸增益函數可以指突觸前尖峰時序的函數。增益可以是自最新近的突觸前尖峰起的時間的函數。該函數可以是指數式衰退形式的。該函數可以是指數式衰退的非線性函數，以提供用於突觸傳輸的最小閾值。

該函數允許增益增大及/或減小。增大的增益可被稱為促進。減小的增益可被稱為抑壓。

由於增益經受衰退，因此可藉由施加週期性突觸前尖峰(諸如維持信號)來維持記憶。在一種配置中，可使用持續地更新的突觸狀態變數來實現短期可塑性，可從該持續地更新的突觸狀態變數計算當前增益。在另一配置中，僅在期望突觸後傳輸時才計算突觸增益。在另一配置中，使用突觸前神經元模型中(而非突觸模型中)的狀態變數來實現此短期可塑性。短期可塑性可調節各種突觸類型。

在一些情形中，短期可塑性可用於短期記憶。可使用突觸前活動在突觸中儲存、維持、更新和擦除狀態資訊。在一些情形中，突觸前活動可被稱為持久的週期性突觸前尖峰發放。可取得狀態資訊作為突觸後活動。在一種配置中，可能狀態的數目是2。在另一配置中，可能狀態的數目大於2(即多狀態)。

由於增益通常經受衰退，因此若期望超過衰退時間的更長持久性，則可藉由施加週期性突觸前尖峰(其可被稱為維持尖峰)來維持記憶。具有規律週期的持久突觸前尖峰發放可提供指示應維持狀態值的信號。在一種配置中，系統在維持尖峰時序中容忍某個量的信號干擾，以使得其可能不是嚴格週期性的。

某個窗口內的額外突觸前尖峰(超過維持尖峰的頻率)指示應當增大狀態值。增大幅度可以是額外突觸前尖峰的數目的函數。某個窗口內缺少的突觸前維持尖峰(低於維持尖峰的頻率)指示應當減小狀態值。減小幅度可以是缺少的維持尖峰的數目的函數。

突觸後傳輸的增益攜帶關於當前狀態值的資訊。當前狀態值可等於所傳送的增益。當前狀態值可以是所傳送的增益的函數。突觸實現以上描述的短期可塑性機制，其中維持尖峰週期由短期突觸增益函數的指數式衰退時間常數來決定。

在一些神經網路中，可能期望實現短期學習程序以學習及/或執行對錯誤具有增大的回應的任務。亦即，持續特定的時間段(其可以是短期時段)，使用者可能期望網路操作與通常不同。短期學習程序可指定記憶，諸如短期記憶。在一種配置中，短期記憶可被鞏固為長期記憶，以使得增益改變是持久的。

短期記憶可以是指無限期記憶。在一些情形中，在短期記憶中不指定重複及/或預演。亦即，短期記憶可以是單個實例記憶。更具體地，短期記憶可被指定為基於突觸前尖峰在突觸中儲存及/或更新狀態值，並經由突觸後尖峰來取得該狀態值。短期記憶可通用於讀取、寫入、擦除及/或維持。

圖5A圖示神經網路500的神經元502。如圖5中所示，神經元502具有三個輸入突觸504-508和一個輸出突觸510。在本實例中，神經元502可回應於對來自突觸的兩個或兩個以上輸入的重合偵測而觸發尖峰發放輸出。亦即，在重合偵測中，神經元可回應於接收到來自第一突觸的第一輸入和來自不同於第一突觸的第二突觸的第二輸入而發放尖峰。

作為實例，在接收到來自三個輸入突觸504-508之一的第一輸入之前，神經元502的電壓(v_r)可處於靜息(例如，基線)。回應於接收到第一輸入，神經元502的電壓可發放尖峰。在接收到第一輸入的特定的時間段(ΔT)內，神經元502可接收來自三個輸入突觸504-508之一的第二輸入。回應於在該時間段內接收到第二輸入，神經元502的電壓可發放尖峰，從而電壓大於閾值。亦即，組合尖峰致使電壓超過閾值。在電壓大於閾值時，神經元502可經由輸出突觸510傳送輸出(例如，激發)。

圖5B圖示在特定的時間段內接收到的兩個或兩個以上尖峰致使神經元的電壓增大到大於閾值的水平時的神經元激發的實例。如圖5B中所示，在時間T0，神經元的電壓(Vr)可處於靜息電壓。此外，在時間T1，該神經元可接收第一輸入，該第一輸入致使電壓發放尖峰至第一電壓水平。第一輸入可經由連接至該神經元的突觸之一被接收。此外，在時間T2，該神經元可接收第二輸入，該第二輸入致使電壓發放尖峰至第二電壓水平。具體地，當在第一輸入的特定的時間段(ΔT)內接收到第二輸入時，電壓發放尖峰至第二電壓水平。第二輸入可經由連接至該神經元的突觸之一被接收。在該實例中，由於第二電壓水平大於閾值，因此在時間T3，電壓發放尖峰至第三電壓水平。亦即，當電壓在開始衰退之前大於閾值時，電壓發放尖峰(亦即，該神經元激發)至第三水平。

然而，在一些情形中，神經元502可接收到來自同一輸入突觸的連貫輸入。例如，神經元502可經由第一突觸504接收第一輸入並經由第一突觸504接收第二輸入。在該實例中，第一輸入和第二輸入是在彼此的特定的時間段內接收到的。此外，在本實例中，回應於在該特定的時間段內接收到第一輸入和第二輸入，神經元502的電壓可發放尖峰至大於閾值的值。相應地，在電壓大於閾值時，神經元502可經由輸出突觸510而激發。儘管如此，在本實例中，神經元502的尖峰發放可能是不期望的，因為神經元502回應於偵測到來自同一突觸的連貫輸入而激發，而非回應於偵測到來自不同突觸的重合輸入而激發。

由此，為了緩解回應於來自同一突觸的連貫輸入的神經元激發，本案的各態樣涉及在突觸已激發之後更改突觸的狀態。在一種配置中，突觸的狀態被更改達特定的時間量，諸如偵測窗口的歷時(例如，ΔT)。作為實例，基於本配置，神經元502可經由第一突觸504接收第一輸入並經由第一突觸504接收第二輸入。然而，在該實例中，第一突觸504的狀態可在第一輸入之後被更改，使得神經元502在經由第一突觸504接收到第二輸入之後不會激發。

圖5C圖示在已從突觸接收到輸入之後更改該突觸的狀態的實例。如圖5C中所示，在時間T0，神經元的電壓(Vr)可處於靜息電壓。此外，在時間T1，連接至該神經元的第一突觸可發放尖峰，從而該神經元接收第一輸入，該第一輸入致使電壓發放尖峰至第一電壓水平。在一種配置中，在該神經元接收到來自第一突觸的第一輸入之後，更改第一突觸的狀態。

亦即，在一種配置中，更改突觸的狀態以針對在第一尖峰(例如，第一輸入)之後的特定的時間段(ΔT)內的後續尖峰抑壓該突觸的增益。在本實例中，第一突觸可在時間T2再次發放尖峰，使得神經元接收到第二輸入。然而，在本實例中，儘管神經元的電壓作為第二輸入的結果而增大到第二電壓水平，但由於突觸的增益已被抑壓，因此該神經元的電壓不會增大到大於閾值的水平。亦即，由於抑壓，因此在特定的時間段(ΔT)內接收到的第二輸入不會致使第二電壓增大到大於閾值的水平。相應地，在該實例中，由於神經元的電壓小於閾值，因此該神經元不會激發。

在一種配置中，經更改的狀態是對突觸激發的抑壓，從而連貫輸入不會使神經元的電壓增大到超過閾值。因此，根據本配置，神經元仍會回應於來自不同突觸的重合輸入而激發，但不會回應於來自同一突觸的連貫輸入而激發。在另一種配置中，更改神經元狀態，使得在經由同一突觸接收到兩個或兩個以上連貫輸入時，神經元不會激發或者在激發時有延遲。

在一種配置中，每個突觸包括額外狀態以允許該突觸在激發之後被更改達特定的時間段。該額外狀態可允許突觸被抑壓(例如，激發的可能性更低)或被促進(例如，激發的可能性更高)。根據本案的一態樣，促進模型被指定為回應於突觸前啟動而短期地增強突觸。亦即，狀態改變可以是短期記憶的形式，其基於突觸前條件來調節突觸的狀態。在本配置中，為經調節的突觸指定衰退，從而狀態改變是短期的。在一種配置中，促進或延遲以多個時間常數呈指數地衰退。

突觸的額外狀態可定義為：

在式15中，δ是針對時間t_j處的啟動(例如，動作電位)的δ函數。此外，g(y)是關於啟動的一般化偏移函數。最後，靜息時段(例如，基線)是。式15被指定為決定從一突觸接收到的輸入並觸發啟動函數y在一時間段上向基線衰退。應注意，突觸的促進或抑壓不是為突觸後關聯指定的，相反，促進或抑壓是為突觸前關聯指定的(例如，輸入驅動型)。此外，是與y回到基線值的指數式衰退相關聯的時間常數。

在一些情形中，鈣濃度可影響促進。亦即，當第一輸入之後跟隨著第二輸入時，第二輸入可接收到比第一輸入的促進讀數大的促進讀數。突觸前Ca2+對促進的超線性影響可定義為： i. y~c ^a (16)

對於式16，a可以是預定數，諸如4或5。在一些情形中，在啟動之際可能存在對殘留鈣的攝取。亦即，在每次啟動時可能存在對Ca的恒定攝取(偏移)Δc。Ca可以指鈣或鈣濃度。攝取對促進y的影響可定義為：g(y)=(y ^1/a+Δc)^a-y (17)

此外，基於鈣濃度對促進的影響以及在啟動之際對殘留鈣的攝取，線性攝取模型可定義為分段線性攝取模型：i. g(y) m _i y+b _i (18)在式18中，m_i和b_i是取決於y的參數。亦即，對於範圍y _i-1≦y≦y _i的部分，例如定義m_i aΔc且b_i Δc可規定m_i>0。

如先前所論述的，在一種配置中，當神經元接收到來自突觸的輸入時，突觸的增益可增大(亦即，被促進)。或者，在另一配置中，當神經元接收到來自突觸的輸入時，突觸的增益可減小(亦即，被抑壓)。此外，突觸的抑壓或促進可隨時間衰退，從而改變的狀態可以是短期的。在一些情形中，網路可決定突觸何時將返回至基線值()。亦即，網路可決定隨時間(ΔT)的衰退量。

由此，在一種配置中，可在突觸返回至基線值的時間或在該時間之前向突觸傳送維持信號。亦即，由於網路可決定隨時間的衰退量以及突觸將返回至基線值的時間，因此網路可在突觸返回至基線值的時間之前或在該時間向突觸傳送維持信號。維持信號可將突觸的正或負增益狀態維持在特定水平。

此外，在一種配置中，可按特定間隔傳送維持信號。亦即，網路可能希望維持突觸的特定增益水平達一段時間。在一種配置中，維持信號的時序匹配衰退時間。在一個實例中，增益可在50ms中從峰值增益水平衰退至基線值。由此，為了維持特定增益值達特定的時間(諸如2秒)，則可在期望的2秒歷時裡每50ms或更短時間地傳送一次維持信號。該特定增益值可以是峰值增益值或大於基線值的另一增益值。

在一種配置中，突觸後傳輸的增益包括關於當前狀態值的資訊。突觸後傳輸可基於事件(諸如尖峰)而被觸發。在一種配置中，當前狀態值等於突觸後傳輸的增益。在另一配置中，當前狀態值是突觸後傳輸的增益的函數。當前狀態值不限於等於突觸後傳輸的增益或是突觸後傳輸的增益的函數。當然，當前狀態值可基於突觸後傳輸的增益經由各種公式來推導。

圖6圖示根據本案一態樣的施加於突觸的維持信號。如圖6中所示，在時間0，突觸的電壓可處於基線值。在圖6中，X軸表示時間，且Y軸表示電壓值。圖6的電壓值被用作實例，本案的各態樣不限於圖6的電壓。具體地，可構想本案的各態樣用於增大或減小電壓。

在初始時間0之後，可向突觸傳送第一維持信號602。回應於接收到第一維持信號602，電壓608可增大到特定水平。在發放尖峰至該特定水平之後，電壓608開始衰退。如圖6中所示，在電壓608的衰退期間，重傳第一維持信號602。第一維持信號602的重傳致使電壓608發放尖峰至另一水平。可按特定間隔傳送第一維持信號602以維持電壓608的水平。如圖6中所示，在維持信號的各傳輸之間，電壓減小。

另外，可傳送其他維持信號以增大電壓608的增益。例如，如圖6中所示，可在與第一維持信號602的週期性傳輸不同的時間傳送第二維持信號604。在該實例中，回應於第一維持信號602和第二維持信號604兩者，電壓608的增益增大至大於僅因第一維持信號602所產生的增益的量。

此外，如圖6中所示，當在特定區間610裡不傳送維持信號(諸如，第一維持信號602)時，電壓608可在該區間期間開始衰退。然而，如圖6中所示，在特定區間610之後，一旦第一維持信號602的週期性傳輸恢復，則電壓608的增益可增大。此外，在一種配置中，可在相同的時間段同時傳送兩個維持信號。如圖6中所示，在特定的時間區間，可同時傳送第一維持信號602和第三維持信號606。第一維持信號602和第三維持信號606的同時傳輸可致使電壓608的增益增大將大於僅因一個維持信號(諸如第一維持信號602)所產生的增益增大。

在一些情形中，由於緩衝、鈣梯度和活性移除，鈣濃度(且因此的促進)可被限於某個最大值或漸近界限。此外，不失一般性，y具有範圍[y,1]，其中y是靜息值。亦即，g(y)與y之和小於或等於1。由此，基於所強加的限制，存在點y _*，在該點，g(y _*)與y _*之和等於1。此後，對於y≧y _*，g(y)的值由該限制來管控。具體地，g(y)可基於下式來管控：

作為實例，線性三部分的分段線性攝取模型在鄰接初始部分和最終部分的中間部分中可具有由界限約束(通常是y₂=y_*)所促成的獨立性質，並且可定義為：

在式20中，，分段線性攝取模型可一般化為一或多個部分。

圖7圖示根據本案的某些態樣的使用通用處理器702對前述修改突觸的狀態及/或在突觸中儲存狀態資訊的示例實現700。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，和頻率槽資訊可被儲存在記憶體塊704中，而在通用處理器702處執行的指令可從程式記憶體706中載入。在本案的一態樣中，載入到通用處理器702中的指令可包括用於基於突觸前事件來修改突觸的參數從而突觸的強度可增大或減小的代碼。在本案的另一態樣中，載入到通用處理器702中的指令可包括用於至少部分地基於突觸前活動來在突觸中儲存狀態資訊以及取得該狀態資訊作為突觸後活動的代碼。

圖8圖示根據本案的某些態樣的前述修改突觸的狀態及/或在突觸中儲存狀態資訊的示例實現800，其中記憶體802可經由互連網路804與計算網路(神經網路)的個體(分散式)處理單元(神經處理器)808對接。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，及/或頻率槽資訊可被儲存在記憶體802中，並且可從記憶體802經由互連網路804的連接被載入到每個處理單元(神經處理器)808中。在本案的一態樣中，處理單元808可被配置成基於突觸前事件來修改突觸的參數從而突觸的強度可增大或減小。在本案的另一態樣中，處理單元808可被配置成至少部分地基於突觸前活動來在突觸中儲存狀態資訊以及取得該狀態資訊作為突觸後活動。

圖9圖示前述修改突觸的狀態及/或在突觸中儲存狀態資訊的示例實現900。如圖9中所圖示的，一個記憶體組902可與計算網路(神經網路)的一個處理單元904直接對接。每一個記憶體組902可儲存與對應的處理單元(神經處理器)904相關聯的變數(神經信號)、突觸權重，及/或系統參數，延遲，及/或頻率槽資訊。在本案的一態樣中，處理單元904可被配置成基於突觸前事件來修改突觸的參數從而突觸的強度可增大或減小。在本案的另一態樣中，處理單元904可被配置成至少部分地基於突觸前活動來在突觸中儲存狀態資訊以及取得該狀態資訊作為突觸後活動。

圖10圖示根據本案的某些態樣的神經網路1000的示例實現。如圖10中所圖示的，神經網路1000可具有多個局部處理單元1002，其可執行上述方法的各種操作。每個局部處理單元1002可包括儲存該神經網路的參數的局部狀態記憶體1004和局部參數記憶體1006。另外，局部處理單元1002可具有用於儲存局部模型程式的局部(神經元)模型程式(LMP)記憶體1008、用於儲存局部學習程式的局部學習程式(LLP)記憶體1010、以及局部連接記憶體1012。此外，如圖10中所圖示的，每個局部處理單元1002可與用於提供對局部處理單元的局部記憶體的配置的配置處理單元1014對接，並且與提供各局部處理單元1002之間的路由的路由連接處理元件1016對接。

在一種配置中，神經元模型被配置成用於基於突觸前活動來修改突觸的參數從而突觸的強度可增大或減小。神經元模型包括增益改變手段和增益計算手段。在一個態樣中，增益改變手段及/或增益計算使得可以是配置成執行所述功能的通用處理器702、程式記憶體706、記憶體塊704、記憶體802、互連網路804、處理單元808、處理單元904、局部處理單元1002，及/或路由連接處理單元1016。在另一配置中，前述手段可以是被配置成執行由前述手段所敘述的功能的任何模組或任何設備。

在另一配置中，神經元模型被配置成至少部分地基於突觸前活動來在突觸中儲存狀態資訊以及取得該狀態資訊作為突觸後活動。神經元模型包括儲存手段和取得手段。在一個態樣中，儲存手段及/或取得手段可以是配置成執行所述功能的通用處理器702、程式記憶體706、記憶體塊704、記憶體802、互連網路804、處理單元808、處理單元904、局部處理單元1002，及/或路由連接處理單元1016。在另一配置中，前述手段可以是被配置成執行由前述手段所敘述的功能的任何模組或任何設備。

根據本案的某些態樣，每一個處理單元808可被配置成基於神經網路的期望的一或多個功能特徵來決定神經網路的參數，以及隨著所決定的參數被進一步適配、調諧和更新來使這一或多個功能特徵朝著期望的功能特徵發展。

以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的手段來執行。該等手段可包括各種硬體及/或軟體元件及/或模組，包括但不限於電路、特殊應用積體電路(ASIC)，或處理器。一般而言，在附圖中有圖示的操作的場合，彼等操作可具有帶相似編號的相應配對手段功能元件。

如本文所使用的，術語「決定」涵蓋各種各樣的動作。例如，「決定」可包括演算、計算、處理、推導、研究、查找(例如，在表、資料庫或其他資料結構中查找)、探知及諸如此類。另外，「決定」可包括接收(例如接收資訊)、存取(例如存取記憶體中的資料)，及類似動作。而且，「決定」可包括解析、選擇、選取、確立及類似動作。

如本文中所使用的，引述一列項目中的「至少一個」的短語是指該等項目的任何組合，包括單個成員。作為實例，「a、b或c中的至少一個」意欲涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。

結合本案所描述的各種說明性邏輯區塊、模組、以及電路可用設計成執行本文所描述功能的通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列信號(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘門或電晶體邏輯、個別的硬體元件或被設計成執行本文描述的功能的任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，該處理器可以是任何市售的處理器、控制器、微控制器，或狀態機。處理器亦可以被實現為計算設備的組合，例如DSP與微處理器的組合、多個微處理器、與DSP核心協同的一或多個微處理器，或任何其他此類配置。

結合本案描述的方法或演算法的步驟可直接在硬體中、在由處理器執行的軟體模組中，或在這兩者的組合中實施。軟體模組可常駐在本領域所知的任何形式的儲存媒體中。可使用的儲存媒體的一些實例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、可抹除可程式設計唯讀記憶體(EPROM)、電子可抹除可程式設計唯讀記憶體(EEPROM)、暫存器、硬碟、可移除磁碟、CD-ROM，等等。軟體模組可包括單一指令，或許多數指令，且可分佈在若干不同的程式碼片段上，分佈在不同的程式間以及跨多個儲存媒體分佈。儲存媒體可被耦合到處理器以使得該處理器能從/向該儲存媒體讀寫資訊。或者，儲存媒體可以被整合到處理器。

本文所揭示的方法包括用於達成所描述的方法的一或多個步驟或動作。該等方法步驟及/或動作可以彼此互換而不會脫離請求項的範圍。換言之，除非指定了步驟或動作的特定次序，否則具體步驟及/或動作的次序及/或使用可以改動而不會脫離請求項的範圍。

所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若以硬體實現，則示例硬體設定可包括設備中的處理系統。處理系統可以用匯流排架構來實現。取決於處理系統的具體應用和整體設計約束，匯流排可包括任何數目的互連匯流排和橋接器。匯流排可將包括處理器、機器可讀取媒體、以及匯流排介面的各種電路連結在一起。匯流排介面可用於尤其將網路介面卡等經由匯流排連接至處理系統。網路介面卡可用於實現信號處理功能。對於某些態樣，使用者介面(例如，按鍵板、顯示器、滑鼠、操縱桿等)亦可被連接至匯流排。匯流排亦可連結各種其他電路(諸如時序源、周邊設備、穩壓器、電源管理電路等)，該等電路在本領域中是眾所周知的，因此將不再贅述。

處理器可負責管理匯流排和一般處理，包括執行儲存在機器可讀取媒體上的軟體。處理器可用一或多個通用及/或專用處理器來實現。實例包括微處理器、微控制器、DSP處理器、以及其他能執行軟體的電路系統。軟體應當被寬泛地解釋成意指指令、資料，或其任何組合，無論是被稱作軟體、韌體、仲介軟體、微代碼、硬體描述語言，或其他皆如此。作為實例，機器可讀取媒體可包括隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式設計唯讀記憶體(PROM)、可抹除可程式設計唯讀記憶體(EPROM)、電可抹除可程式設計唯讀記憶體(EEPROM)、暫存器、磁碟、光碟、硬碟，或者任何其他合適的儲存媒體，或其任何組合。機器可讀取媒體可被實施在電腦程式產品中。該電腦程式產品可以包括包裝材料。

在硬體實現中，機器可讀取媒體可以是處理系統中與處理器分開的一部分。然而，如本領域技藝人士將容易領會的，機器可讀取媒體，或其任何部分可在處理系統外部。作為實例，機器可讀取媒體可包括傳輸線、由資料調制的載波，及/或與設備分開的電腦產品，所有該等皆可由處理器經由匯流排介面來存取。替換地或補充地，機器可讀取媒體，或其任何部分可被整合到處理器中，諸如快取記憶體及/或通用暫存器檔可能就是此種情形。儘管所論述的各種元件可被描述為具有特定位置，諸如局部元件，但其亦可按各種方式來配置，諸如某些元件被配置成分散式運算系統的一部分。

處理系統可以被配置為通用處理系統，該通用處理系統具有一或多個提供處理器功能的微處理器和提供機器可讀取媒體中的至少一部分的外部記憶體，其皆經由外部匯流排架構與其他支援電路系統連結在一起。或者，該處理系統可以包括一或多個神經元形態處理器以用於實現本文述及之神經元模型和神經系統模型。作為另一替代方案，處理系統可以用帶有整合在單塊晶片中的處理器、匯流排介面、使用者介面、支援電路系統和至少一部分機器可讀取媒體的特殊應用積體電路(ASIC)來實現，或者用一或多個現場可程式設計閘陣列(FPGA)、可程式設計邏輯裝置(PLD)、控制器、狀態機、閘控邏輯、個別硬體元件，或者任何其他合適的電路系統，或者能執行本案通篇所描述的各種功能的電路的任何組合來實現。取決於具體應用和加諸於整體系統上的總設計約束，本領域技藝人士將認識到如何最佳地實現關於處理系統所描述的功能。

機器可讀取媒體可包括數個軟體模組。該等軟體模組包括當由處理器執行時使處理系統執行各種功能的指令。該等軟體模組可包括傳輸模組和接收模組。每個軟體模組可以常駐在單個存放裝置中或者跨多個存放裝置分佈。作為實例，當觸發事件發生時，可以從硬碟中將軟體模組載入到RAM中。在軟體模組執行期間，處理器可以將一些指令載入到快取記憶體中以提高存取速度。隨後可將一或多個快取記憶體行載入到通用暫存器檔中以供由處理器執行。在以下談及軟體模組的功能時，將理解此類功能是在處理器執行來自該軟體模組的指令時由該處理器來實現的。

若以軟體實現，則各功能可作為一或多數指令或代碼儲存在電腦可讀取媒體上或藉其進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，該等媒體包括促成電腦程式從一地向另一地轉移的任何媒體。儲存媒體可以是能被電腦存取的任何可用媒體。作為示例而非限定，此種電腦可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存裝置、磁碟儲存或其他磁存放裝置，或能被用來攜帶或儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。另外，任何連接亦被正當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)，或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、伺服器，或其他遠端源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電、以及微波)就被包括在媒體的定義之中。如本文中所使用的磁碟(disk)和光碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光^®光碟，其中磁碟(disk)常常磁性地再現資料，而光碟(disc)用鐳射來光學地再現資料。因此，在一些態樣中，電腦可讀取媒體可包括非瞬態電腦可讀取媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀取媒體可包括瞬態電腦可讀取媒體(例如，信號)。上述的組合亦應被包括在電腦可讀取媒體的範圍內。

因此，某些態樣可包括用於執行本文中提供的操作的電腦程式產品。例如，此類電腦程式產品可包括其上儲存(及/或編碼)有指令的電腦可讀取媒體，該等指令能由一或多個處理器執行以執行本文中所描述的操作。對於某些態樣，電腦程式產品可包括包裝材料。

此外，應當領會，用於執行本文中所描述的方法和技術的模組及/或其他合適裝置能由使用者終端及/或基地台在適用的場合下載及/或以其他方式獲得。例如，此類設備能被耦合至伺服器以促成用於執行本文中所描述的方法的手段的轉移。或者，本文述及之各種方法能經由儲存手段(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟等實體儲存媒體等)來提供，以使得一旦將該儲存手段耦合至或提供給使用者終端及/或基地台，該設備就能獲得各種方法。此外，能利用適於向設備提供本文描述的方法和技術的任何其他合適的技術。

應該理解的是，請求項並不被限定於以上所圖示的精確配置和元件。可在以上所描述的方法和設備的佈局、操作和細節上作出各種改動、更換和變形而不會脫離請求項的範圍。

602‧‧‧第一維持信號

604‧‧‧第二維持信號

606‧‧‧第三維持信號

608‧‧‧電壓

610‧‧‧特定區間

Claims

一種用於使用短期可塑性來建立和維持短期記憶的方法，包括：至少部分地基於突觸前活動來改變一突觸的一增益而不考慮突觸後活動。
如請求項1述及之方法，其中該增益至少部分地基於該突觸前尖峰活動的一時序。
如請求項2述及之方法，其中該增益至少部分地基於自一最新近的突觸前尖峰起的一時間的一函數。
如請求項3述及之方法，其中該函數特征在於具有指數式衰退。
如請求項3述及之方法，其中該函數特征在於指數式衰退的非線性函數，以提供用於突觸傳輸的最小閾值。
如請求項3述及之方法，其中該函數允許該增益增大及/或減小。
如請求項1述及之方法，進一步包括至少部分地基於與該短期可塑性相關聯的一持續地更新的突觸狀態變數來計算該增益。
如請求項1述及之方法，其中該突觸包括與該短期可塑性相關聯的一增益變數，該增益變數提供該突觸的一狀態。
如請求項1述及之方法，其中一神經元模型包括與該短期可塑性相關聯的一增益變數，該增益變數提供該突觸的一狀態。
一種用於使用短期可塑性來建立和維持短期記憶的方法，包括：至少部分地基於突觸前活動來在突觸中儲存狀態資訊；及取得該狀態資訊作為突觸後活動。
如請求項10述及之方法，進一步包括至少部分地基於該突觸前活動來調整該狀態資訊。
如請求項11述及之方法，其中該突觸前活動包括一維持信號，並且該方法進一步包括：在該突觸處週期性地接收維持信號以維持該突觸的一特定增益；及在該突觸處接收額外維持信號以增大該突觸的該增益。
如請求項11述及之方法，其中該突觸前活動包括一維持信號，並且該方法進一步包括在該突觸處週期性地接收較少維持信號以減小該突觸的一特定增益。
如請求項10述及之方法，其中該突觸後活動的一增益包括與當前狀態資訊相對應的資訊。
一種用於使用短期可塑性來建立和維持短期記憶的裝置，該裝置包括：一記憶體單元；及耦合至該記憶體單元的至少一個處理器；該至少一個處理器被配置成：至少部分地基於突觸前尖峰活動來改變一突觸的一增益而不考慮突觸後尖峰活動。
如請求項15述及之裝置，其中該增益至少部分地基於該突觸前尖峰活動的一時序。
如請求項16述及之裝置，其中該增益至少部分地基於自一最新近的突觸前尖峰起的一時間的函數。
如請求項17述及之裝置，其中該函數特征在於具有一指數式衰退。
如請求項17述及之裝置，其中該函數特征在於一指數式衰退的一非線性函數，以提供用於突觸傳輸的一最小閾值。
如請求項17述及之裝置，其中該函數允許該增益增大及/或減小。
如請求項15述及之裝置，其中該至少一個處理器被進一步配置成至少部分地基於與該短期可塑性相關聯的一持續地更新的突觸狀態變數來計算該增益。
如請求項15述及之裝置，其中該突觸包括與該短期可塑性相關聯的一增益變數，該增益變數提供該突觸的一狀態。
如請求項15述及之裝置，其中一神經元模型包括與該短期可塑性相關聯的一增益變數，該增益變數提供該突觸的一狀態。
一種用於使用短期可塑性來建立和維持短期記憶的裝置，該裝置包括：一記憶體單元；及耦合至該記憶體單元的至少一個處理器；該至少一個處理器被配置成：至少部分地基於突觸前活動來在一突觸中儲存狀態資訊；及取得該狀態資訊作為突觸後活動。
如請求項24述及之裝置，其中該至少一個處理器被進一步配置成至少部分地基於該突觸前活動來調整該狀態資訊。
如請求項25述及之裝置，其中：該突觸前活動包括一維持信號，並且該至少一個處理器被進一步配置成：在該突觸處週期性地接收維持信號以維持該突觸的一特定增益；及在該突觸處接收額外維持信號以增大該突觸的該增益。
如請求項25述及之裝置，其中：該突觸前活動包括一維持信號，並且該至少一個處理器被進一步配置成：在該突觸處週期性地接收維持信號以維持該突觸的一特定增益；及在該突觸處週期性地接收較少維持信號以減小該突觸的一特定增益。
如請求項24述及之裝置，其中該突觸後活動的一增益包括與當前狀態資訊相對應的資訊。
一種用於使用短期可塑性來建立和維持短期記憶的裝置，包括：用於至少部分地基於突觸前尖峰活動來改變一突觸的一增益而不考慮突觸後尖峰活動的手段；及用於至少部分地基於與該短期可塑性相關聯的一持續地更新的突觸狀態變數來計算該增益的手段。
一種用於使用短期可塑性來建立和維持短期記憶的裝置，包括：用於至少部分地基於突觸前活動來在一突觸中儲存狀態資訊的手段；及用於取得該狀態資訊作為突觸後活動的手段。
一種用於使用短期可塑性來建立和維持短期記憶的電腦程式產品，該電腦程式產品包括：其上記錄有程式碼的非瞬態電腦可讀取媒體，該程式碼包括：用於至少部分地基於突觸前尖峰活動來改變一突觸的一增益而不考慮突觸後尖峰活動的程式碼。
一種用於使用短期可塑性來建立和維持短期記憶的電腦程式產品，該電腦程式產品包括：其上記錄有程式碼的非瞬態電腦一可讀取媒體，該程式碼包括：用於至少部分地基於突觸前活動來在一突觸中儲存狀態資訊的程式碼；及用於取得該狀態資訊作為突觸後活動的程式碼。