TWI789654B

TWI789654B - 循環人工神經網路系統

Info

Publication number: TWI789654B
Application number: TW109143238A
Authority: TW
Inventors: 亨利馬克瑞; 菲力克斯舒爾曼; 丹尼爾米蘭路特海曼; 約翰拉蒙
Original assignee: 瑞士商Ｉｎａｉｔ公司
Priority date: 2019-12-11
Filing date: 2020-12-08
Publication date: 2023-01-11
Also published as: WO2021116071A1; EP4073706A1; KR20220106840A; CN115053229A; US20210182655A1; TW202137069A

Abstract

穩健型循環人工神經網路與改善循環人工神經網路的穩健性的技術。舉例而言，一種系統可包含：多個節點與多個連結，該多個節點與該多個連結被配置在一循環人工神經網路中，其中，不是沿著該多個連結的多個資訊傳輸就是在該多個結點上的多個決策是非確定性的；以及一輸出，該輸出被配置以輸出該循環人工神經網路中的活動的多個拓撲圖型的多個出現指標。

Description

循環人工神經網路系統

本發明是關於循環人工神經網路(recurrent artificial neural network)。更具體地，本發明是關於穩健型循環人工神經網路以及用於提高循環人工神經網路的穩健性的技術。

人工神經網路是受生物神經元網路的結構及功能態樣啟發的裝置。具體而言，人工神經網路使用被稱為節點的一互連構建系統來模擬生物神經元網路的資訊編碼及其他處理能力。一人工神經網路中節點之間連接的排列及強度決定了由該人工神經網路進行資訊處理或資訊儲存的結果。

一般而言，穩健性是容許一定量的損失或誤差(loss or error)但仍然執行有意義的操作的能力。舉例而言，穩健的訊號傳輸即使在傳輸期間損失多個位元，還是能夠傳遞資訊。另舉例而言，一個穩健的通訊網路，即使其中某些節點或通訊線路呈現無法操作，還是能夠傳輸資訊。

在損失之後執行的操作不需要是「完美的」，也不需要與在沒有損失的情況下執行的操作相同。相反地，一系統或設備可能會經歷「工作可靠但性能下降(graceful degradation)」，即使在某些組件發生故障的情況下，該系統或設備也將繼續運作(儘管其能力降低)。這與遭受不相稱的巨大錯誤及/或經歷災難性故障並在發生故障的情況下完全停止運作的設備及系統形成對比。

本文描述了穩健型循環人工神經網路以及用於提高循環人工神經網路的穩健性的方法。

在一般意義上，可以透過增加神經網路中的資訊儲存、傳輸、和處理的「纏結(entanglement)」，來提高循環人工神經網路的穩健性。在本文中，纏結是指循環人工神經網路的不同元件之間的功能分佈。循環人工神經網路的各個部分都包含其他部分的某些功能。在這個意義上，「纏結」僅提供了相同功能的多個離散的副本或版本。儘管這樣的重複性確實提高了穩健性(例如，在RAID編碼的技術中)，然而，本文所述的纏結是指一種循環人工神經網路結構，其扮演一個集成的整體且使用可互相操作的多個元件以執行操作。由於這些元件可以一起操作，故任何一個元件僅是較大整體的一小部分。任何一個元件中的故障都不會使循環人工神經網路完全無法運行。相反地，由循環人工神經網路執行的操作可以僅退化並偏離理想狀態。

在第一方面，一種系統包含：多個節點與多個連結，該多個節點與該多個連結被配置在一循環人工神經網路中，其中，不是沿著該多個連結的多個資訊傳輸就是在該多個結點上的多個決策是非確定性的；以及一輸出，該輸出被配置以輸出該循環人工神經網路中的活動的多個拓撲圖型(topological pattern)的多個出現指標。

在第二方面，一種系統包含：多個節點與多個連結，該多個節點與該多個連結被配置在一循環人工神經網路中，其中該多個節點各自被耦接以輸出多個訊號至10至10^6個其他節點，且從10至10^6個其他節點接收多個訊號；以及一輸出，該輸出被配置以輸出該循環人工神經網路中的活動的多個拓撲圖型的多個出現指標。

在第三方面，一種系統包含：多個節點與多個連結，該多個節點與該多個連結被配置在一循環人工神經網路中，其中，至少一些節點對是透過多個連接(connections)而被連結；以及一輸出，該輸出被配置以輸出該循環人工神經網路中的活動的多個拓撲圖型的多個出現指標。

在第四方面，一種系統包含：多個節點與多個連結，該多個節點與該多個連結被配置在一循環人工神經網路中，其中該循環人工神經網路包含不依賴於輸入資料的背景活動；以及一輸出，該輸出被配置以輸出該循環人工神經網路中的活動的多個拓撲圖型的多個出現指標。

上述第一方面至第四方面中的任一個以及其他方面可以包含以下特徵中的一個或多個。該多個節點的多個決策門檻值可具有一隨機度。該循環人工神經網路可包含不依賴於輸入資料的背景活動。不是訊號到達一目標節點的一時間就是在該目標節點上的一訊號振幅可具有該隨機度。至少一些節點對可以是透過多個連結而被連結。該系統還可包含一應用程式，該應用程式被訓練以處理活動的多個拓撲圖型的該多個出現指標。該應用程式可以是使用來自該循環人工神經網路的非確定性的輸出而被訓練。活動的該多個拓撲圖型可以是活動的多個集團型圖型。該多個節點各自可以被耦接以輸出多個訊號至10^3至10^5個其他節點，且從10^3至10^5個其他節點接收多個訊號。該多個連結各自可以被配置以傳遞資訊，該資訊被編碼為在一給定時間內傳輸的多個幾乎相同的訊號。沿著該多個連結的資訊傳輸可以是非確定性的(non-deterministic)。至少一些節點對可以是透過多個連結而被連結。該多個連接可包含多個激勵連結(excitatory link)。舉例而言，該多個激勵連結可包含2至20個激勵連結。該多個連接可包含多個抑制連結(inhibitory links)。舉例而言，該多個抑制連結可包含5至40個抑制連結。該多個連接可被配置以傳遞一相同的訊號，但確保該訊號在不同時間抵達一目標節點。該多個連接可被配置以傳遞一相同的訊號，但該訊號的傳輸具有一隨機度。不是訊號到達一目標節點的一時間就是在該目標節點上的一訊號振幅可以具有該隨機度。該多個連接包含一單一連結，該單一連結根據多個連結的一模型傳遞資訊。不是沿著該多個連結的多個資訊傳輸就是在該多個結點上的多個決策可以是非確定性的。至少一些節點對可以是透過多個連接而被連結。該多個連接可包含3至10個激勵連結。另舉例而言，該多個連接包含10至30個抑制連結。該多個節點各自可以被耦接以輸出多個訊號至10^3至10^5個其他節點，且從10^3至10^5個其他節點接收多個訊號。

相應的方法和機器可讀媒體也是可能的。

在圖式及以下說明中闡述了本發明的一或多個實施例的細節。根據以下說明及圖式、以及申請專利範圍，其他特徵和優點將變得顯而易見。

如下所示：

100:人工神經網路系統

105:輸入

110:循環神經網路

115:輸出

120:表示

200:部分

205、210、215、220:節點

225、230、235、240:連結

300:部分

305、310、315、320:節點

325:區域

400、405、410、415、420、425、430:圖型

500、505、510:圖型

605:圖

606、607、608、609:垂直線

610:圖

615、620、625:虛線矩形

630、635:峰值

640:基線水準

705:圖卷積神經網路

710:輸入

715:輸出

105’、105”、105''':輸入的子集

115’、115”、115''':輸出的子集

805、810:區域

第1圖是包含一相對穩健型循環神經網路的一人工神經網路系統的示意性表示圖。

第2圖是一循環神經網路的微小部分的示意性表示圖。

第3圖是一循環神經網路的另一微小部分的示意性表示圖。

第4圖與第5圖是可被辨識且從一循環神經網路讀取的活動的圖型的示意性表示圖。

第6圖是確定具有一可區分複雜性(distinguishable complexity)的活動圖型的定時的示意性表示圖。

第7圖是一種相對穩健型人工神經網路系統的示意性表示圖。

第8圖是將來自不同感測器的資料輸入至一循環神經網路中的一種方法的示意性表示圖。

不同圖示中相同的參考符號指示相同的元件。

第1圖是包含一相對穩健型循環神經網路的一人工神經網路系統100的示意性表示圖。人工神經網路系統100包含網路輸入105的集合、一循環神經網路110、網路輸出115的集合。在某些情況下，神經網路輸入105接收來自各種不同的感測器，例如將不同的物理屬性轉換為資料的傳感器(transducers)，或僅感測某些類型資料的裝置(例如，感測文件或資料流的內容的裝置)。循環神經網路110處理不同的輸入資料並抽取出一般表示(common representation)120，該一般表示120在輸出115上輸出且適用於多種不同的應用程式的輸入。在此，循環神經網路110類似於生物學的大腦，甚至不同的輸入資料(例如，視覺、聲音、氣味)可以被抽取出為「通用表示(universal representation)」，其被應用於各種不同的應用程式並用於例如運動(movement)、語言、及/或進一步的抽取。

網路輸入105

更詳細地，在所示的實施方式中，輸入105被示意性地表示為多個節點的一明確定義的輸入層(well-defined input layer)，每個節點被動地將輸入傳達至循環神經網路110中的一或多個位置。然而，情況未必如此。舉例而言，在某些實施方式中，一或多個輸入105可在資料被傳送至循環神經網路110之前，對輸入資料的某些部分或全部的輸入資料進行縮放、延遲、相移、或執行其他處理。作為另一實例，資料可被投入整個循環神經網路110的不同層及/或邊緣或節點中，即，無此種正式的輸入層。舉例而言，一使用者可指定將資料投入分佈在整個循環神經網路110中的具體節點或連結中。作為另一實例，循環神經網路110不需要被限制為以一已知的、先前定義的方式接收輸入(例如，總是將一第一位元投入一第一節點，將第二位元投入一第二節點......以此類推)。相反地，一使用者可指定將資料中的某些位元投入邊緣而非節點中、投入的順序不必遵循位元出現的順序、或者該等及其他參數的組合。然而，為方便起見，在本文中將保持作為一輸入層的輸入105的表示。

在一些實施方式中，循環神經網路110可藉由輸入105以接收來自多個不同感測器的資料。感測器可以是例如將不同物理性質轉換成資料的換能器或僅感測資料的裝置，例如感測一文件或資料流的內容的裝置。該資料不只可以來自不同的感測器，還可以具有不同的格式。舉例而言，某些類別的資料(例如，視訊或音訊資料)可在時間上或在「流(stream)」上相對快速地改變，而其他類別的資料(例如，靜止影像或溫度)可能相對緩慢地改變或者根本不改變。

舉例而言，該資料可包含來自例如一麥克風的聲音資料、來自例如一靜態照相機的靜止影像資料、來自例如一攝影機的視訊資料、以及來自例如一溫度感測器的溫度資料的其中之一或多者。此僅用於說明目的。該輸入資料可包含多種其他不同類型的資料(包含例如壓力資料、化學成分資料、加速度資料、電性資料、位置資料等)的其中之一或多者。在一些實施方式中，在一些實施方式中，該輸入資料在被輸入至循環神經網路110中之前可經歷一或多個處理動作。此類處理動作的實例包含例如在一人工神經網路裝置中的非線性處理。

循環神經網路110

在循環神經網路中，節點之間的連接沿著一時間序列形成一定向圖(directed graph)，且該網路表現出時間動態行為。在某些實施方式中，循環神經網路110為在一生物系統上建模的一相對複雜的神經網路。換言之，循環神經網路110自身可對一生物系統的形態、化學及其他特徵的程度進行建模。一般而言，在生物系統上建模的循環神經網路110是在一或多個具有相對高水準的計算效能的計算裝置上實施。

與例如傳統的前饋神經網路(feedforward neural networks)相反地，在生物系統上建模的循環神經網路110可顯示背景或其他不響應輸入資料的活動。事實上，即使在不存在輸入資料的情況下，此種循環神經網路110中亦可能存在活動。然而，在輸入資料時，循環神經網路110將受到干擾(perturbed)。由於此循環神經網路110對干擾的響應可能部分取決於輸入資料時循環神經網路110的狀態，故此種循環神經網路110對輸入資料的響應亦可能取決於背景或此循環神經網路110中已經存在的其他活動。然而，即使一神經網路中的此種活動不僅對資料的輸入作出響應，其對輸入資料作出響應。

循環神經網路110對輸入資料的響應可以被視為多個拓撲圖型的集合。具體而言，在輸入資料之後，循環神經網路110將透過某個活動做出響應。該活動將包含：與所定義的拓撲圖型不相符的活動，以及與所定義的拓撲圖型相符的活動。

循環神經網路110中與所定義的拓撲圖型不相符的活動在某些情況下可能是輸入資料的特徵的不正確或不完整的抽取，或輸入資料的其他操作。循環神經網路110中與所定義的拓撲圖型相符的活動可抽取輸入資料的不同特徵。依據應用，每個抽取的特徵可能或多或少有用。藉由將表示120限制為某些拓撲圖型的表示，不正確或不完整的抽取以及與一特定應用無關的特徵的抽取二者皆可被「過濾掉(filtered out)」並自表示120中排除。

有時，循環神經網路110將用一或多個相同的拓撲圖型對來自不同感測器的資料的輸入作出響應，即使其他拓撲圖型不同。舉例而言，循環神經網路110可用表示「熱(hot)」的一定性評估(qualitative assessment)的一拓撲圖型來對一溫度讀數或一沙漠的一靜止影像作出響應，即使其他拓撲圖型亦為對每個輸入的響應的一部分。類似地，循環神經網路110可用表示「完成(done)」的一定性評估的一拓撲圖型對一音樂作品的結束或帶有碎屑的一碟子的一靜止影像作出響應，即使其他拓撲圖型亦為對每個輸入的響應的一部分。因此，有時，可自具有不同來源及不同格式的資料中抽取出相同的特徵。

有時，循環神經網路110用表示來自不同感測器的資料的特徵的合成(synthesis)或融合(fusion)的一或多個拓撲圖型來對來自不同感測器的資料的輸入作出響應。換言之，單個此種圖型可表示對存在於不同類型的資料中的相同特徵的抽取。一般而言，來自不同感測器的資料的融合或合成將發揮作用以使得此種圖型出現或具有此種圖型的活動的強度增加。換言之，來自不同感測器的資料可充當在不同輸入資料中存在相同特徵的「確證(corroborative evidence)」。

在某些情況下，僅在來自不同感測器的資料中存在某些特徵時，才會出現代表來自不同感測器的資料的特徵的合成或融合的拓撲圖型。循環神經循環神經網路110可實際上充當「及閘(AND gate)」，並且需要來自不同感測器的資料中存在某些特徵，以便使活動的某些圖型出現。然而，情況未必如此。相反地，響應於來自不同感測器的資料，形成一圖型的活動的幅度可增加，或者活動的定時(timing)可縮短。實際上，活動的拓撲圖型(以及其在表示120中的表示)表示在一非常豐富的狀態空間中對輸入資料的特徵的抽取。換言之，活動的拓撲圖型及其表示未必是處理輸入資料的預定義「結果」，乃因舉例而言，一是/否(yes/no)分類是由一分類器產生的預定義結果，一組相關輸入是由一聚類裝置產生的預定義結果，或者一預測是由一預測模型產生的預定義結果。確切而言，拓撲圖型是對輸入資料的特徵的抽取。儘管該狀態空間有時可能包含例如一是/否分類等抽取，但該狀態空間並非僅限於該等預定義結果。

此外，拓撲圖型可僅抽取輸入資料的一部分(例如，一影像的一特定區域、或一視訊或音訊流中的一特定時刻、或例如一畫素等輸入的一特定細節)的特徵，而非抽取整個輸入資料的特徵。因此，抽取的狀態空間既不限於任一預定義類型的結果(例如，分類、聚類或預測)，亦不限於整個輸入資料的抽象形式。確切而言，拓撲圖型是一種工具，該工具允許讀取由一高維、非線性、循環動態系統(即，循環神經網路110)進行的處理。拓撲圖型提取循環神經網路110中出現的資料的相關性，包含將資料融合成一更完整的「整體」的相關性。此外，由於神經網路的循環性質，融合隨時間發生。當完成初始操作或抽取時，可以將這些初始操作或抽取的結果與同時或較晚完成的其他操作或抽取的結果融合。因此，融合發生的時間不同於、晚於初始操作或抽取發生的時間。

儘管來源及格式不同，但循環神經網路110仍可自資料中抽取特徵。舉例而言，循環神經網路110可抽取出： -物理特性(例如，顏色、形狀、定向、速度)，-類別(例如，汽車、貓、狗)，及/或-抽象定性特性(abstract qualitative traits)(例如，「活」對「死」、「光滑」對「粗糙」、「有生命的」對「無生命的」、「熱」對「冷」、「開」對「關」)。

若要將輸入資料限制為來自少量感測器，則循環神經網路110可能不太可能以某些方式自該感測器抽取資料。舉例而言，循環神經網路110可能不太可能將溫度資料自身抽取成與像形狀或定向等空間特性對應的活動的一圖型。然而，由於來自不同感測器的資料被輸入至循環神經網路110中，因此由不同的輸入資料引起的干擾彼此相遇，並且可共同影響循環神經網路110中的活動。因此，循環神經網路110可將輸入資料抽取成不同的或更確定的活動的圖型。

舉例而言，可能存在一定程度的與一圖型的存在與否相關的不確定性。若輸入資料包含來自不同範圍的感測器的資料，則隨著來自不同感測器的資料在循環神經網路110內被合成或融合，圖型的多樣性及圖型的確定性二者皆可增加。類比而言，在火車站坐在火車上的一乘客可向窗外望去，並看到一列相鄰的火車似乎在移動。該同一乘客亦可例如感受到來自座椅的向前壓力。此種資訊的融合或合成增加了乘客對乘客的列車而非相鄰的列車正在移動的確定程度。當神經網路接收到不同的輸入資料時，由該資料引起的干擾可被共同抽取成不同的或更確定的活動的圖型。

循環神經網路110處理來自不同感測器的輸入資料的能力亦為對該資料的抽取提供了一定程度的穩健性(robustness)。舉例而言，一群組中的一個感測器可能變得不準確或者甚至不起作用，但循環神經網路110仍可繼續自其他感測器抽取資料。循環神經網路110常常會將來自其他感測器的資料抽取成若所有的感測器都如所設計般發揮作用的話將會出現的該活動的相同圖型。然而，在某些情況下，該等抽取的確定性可能會降低。然而，即使將出現此種問題，抽取亦可繼續。

網路輸出115與表示120

循環神經網路110對資料的抽取可以從輸出115讀取為例如(通常是二進位的)數字(digits)的集合，每個數字代表響應於輸入資料的循環神經網路110中的活動的相應拓撲圖型的存在或不存在。在某些情況下，表示120中的每個數字表示循環神經網路110中相應活動圖型的存在或不存在。表示120只是示意性地被繪示，且表示120可以是例如數字的一維向量，數字的二維矩陣、或其他數字的集合。一般而言，表示120中的數字將是二進位的，而且以是/否的方式指示活動的一圖型是否存在。然而，情況未必如此。相反地，在一些實施方式中，表示120中的數字將是多值的(multi-valued)。該等值可指示循環神經網路110中活動的一相應圖型的存在與否的特徵。舉例而言，該等值可指示活動的強度或活動的一具體圖型實際存在的一統計概率(statistical probability)。舉例而言，幅度相對較大或在相對較短的時間窗內發生的活動可被視為指示已經執行或有可能已經執行了一具體操作。相比之下，幅度相對較小或在相對較長的時間內發生的活動可被認為不太可能指示已經執行了一具體操作。

在任何情況下，活動的響應圖型表示由循環神經網路110對輸入資料執行的特定操作。操作可以是任意複雜的。單個數字可對一任意複雜的操作進行編碼，且一組數字可傳送一組操作，每個操作具有任意的複雜程度。

此外，活動的拓撲圖型(以及其在表示120中的表示)可以是「通用的(universal)」，乃因其不依賴於輸入至神經網路中的資料的來源，也不依賴於表示129所應用的應用程式。相反地，活動的拓撲圖型表示被輸入至循環神經網路110的資料的抽取特徵，而無論該資料的來源為何。

一般而言，活動的多個拓撲圖型將響應於單個輸入而出現，而無論該輸入是離散的(例如，靜態照片或來自量測一物理參數的一換能器的單個讀數)還是連續的(例如，視訊或音訊流)。輸出的表示120因此可表示響應於輸入資料在活動的圖型中出現的拓撲結構的存在與否，即使在生物系統上建模的一相對複雜的循環神經網路中亦為如此。

在所示的實施方式中，輸出115示意性地表示為一多節點輸出層。然而，輸出115不需為一多節點輸出層。舉例而言，輸出節點115可以是個別「讀取器節點」，其辨識在循環神經網路110中的一特定節點集合處活動的一特定圖型的出現，並因此讀取循環神經網路110的輸出。當且僅當一特定節點集合處的活動滿足定時(以及可能的幅度或其他參數)標準時，讀取器節點才能觸發。舉例而言，輸出節點115可連接至循環神經網路110中的一節點集合，並基於例如以下來指示拓撲結構的存在與否：跨越一相應臨限值激活水準(threshold activation level)的每一個別節點的活動水準、跨越一臨限值激活水準的該等節點的活動水準的一加權和、或者跨越一臨限值激活水準的該等節點的活動水準的一非線性組合。

表示120中的資訊以全息方式表示(holographically represented)，即關於單個數字的值的資訊分佈在表示120的集合中其他數字的值上。換言之，表示120中的數字的隨機子集亦含有關於由循環神經網路110對輸入而執行的操作的資訊，只是其解析度低於表示120中的所有數字皆存在時將存在的解析度。如下文進一步論述，不同的拓撲圖型具有不同的複雜程度。某些相對更複雜的圖型可包含相對不太複雜的圖型。此外，簡單的圖型可組裝成更複雜的圖型。關於某些拓撲圖型的出現的資訊因此固有地包含關於其他拓撲圖型的出現的某些資訊。

為方便起見，本申請案的其餘部分將表示120稱為二進位位元的集合(a collection of binary bits)，且圖式將以同樣方式繪示。然而，應理解，在所有情況下，表示120的數字亦可以是多值的，以對由網路執行的操作的各種態樣進行編碼。

如上所述，循環神經網路110處理來自各種感測器的輸入資料的能力還為該資料的抽取提供了一定程度的穩健性。循環神經網路110不排他地依賴於任何一種類型的資料或任何一種類型的正確的資料。此外，從循環神經網路110輸出的拓撲圖型可以將錯誤的輸入資料(例如，不存在或不準確的輸入資料)與其他準確的輸入資料融合。融合的結果可能因為錯誤的輸入資料而在某些方面不準確，但會因為準確的輸入資料而確保能保持一定水準的準確性。

此外，由於神經網路的循環性質，處理隨時間發生。當完成初始操作或抽取時，這些初始操作或抽取的結果會與同時或較晚完成的其他操作或抽取的結果結合。循環神經網路110的循環性(recurrency)實際上使得循環神經網路110可以隨時間接近結果或結論(如拓撲圖型所表示)。故障可能會在相對短暫的時間內干擾循環神經網路110中的處理，而不會隨時間干擾所有處理。若隨時間發生的處理是準確的，則可以透過循環神經網路的較長時間的操作來克服暫時的干擾。

除了為循環神經網路110提供一定程度的穩健性的這些因素外，還可以對循環神經網路110中的連結和節點進行結構化以提高穩健性。一般來說，「纏結(entangles)」循環神經網路110內的資訊儲存、傳輸、和處理的結構化將改善循環神經網路110的穩健性。更詳細地，循環神經網路110中的節點和連結可以充當資料處理單元，即，接收訊號、確定接收的訊號的重要性、以及輸出代表該處理結果的額外訊號。循環神經網路110中的節點之間的互連可以被建構以確保該資料的處理即使在發生故障的情況下，是被廣泛地分佈且是穩健的。

第2圖和第3圖示意性地繪示了可以改善循環神經網路中的穩健性的循環神經網路中的節點和連結的示例性的特徵。儘管在每個圖式中僅繪示了極少量的節點和連結，但是該原理可應用於具有數億個節點和連結的循環神經網路。

第2圖是一循環神經網路的微小部分200的示意性表示圖。部分200僅包含四個節點205、210、215、220。節點205、210、215、220透過一組連結互連。另外節點205、210、215、220透過額外的連結連接至該循環神經網路中的其他節點。為了說明的目的，那些額外的連結以虛線表示。

該多個連結的多個特徵可以提高循環神經網路的穩健性。一個示例性的特徵是連接到節點205、210、215、220的連結的相對大的扇出(fan-out)及/或相對大的扇入(fan-in)。在這種情況下，扇出是從節點或連結的單個輸出接收的輸入的節點或連結的數量。扇入是節點或連結接收的輸入數量。巨大的扇入和扇出透過上述虛線連結而被示意性地繪示。

在一些實施方式中，單個節點(例如，節點205、210、215、220中的每一個)可以將訊號輸出到10至10^6個其他節點(例如10^3至10^5個其他節點)。在一些實施方式中，單個節點(例如，節點205、210、215、220中的每一個)可以從10到10^6個其他節點(例如10^3到10^5個其他節點)接收訊號。這種相對較大的扇出導致每個節點的處理結果非常顯著地分佈。此外，這種相對較大的扇入允許每個節點基於來自大量不同節點的輸入進行處理。任何特定的錯誤(在輸入資料中，或在循環神經網路本身內的節點和連結中)都不太可能導致災難性故障。

能夠提高循環神經網路的穩健性的另一個示例性的特徵是神經網路內資訊的非線性傳輸。舉例而言，循環神經網路110中的連結可以例如基於給定時間內的尖峰(spike)數量，以攜帶能夠攜帶資訊的尖峰狀傳輸。作為另一實例，循環神經網路110中的節點和連結可以具有非線性激活功能，包含類似於生物神經元的激活功能的激活功能。

能夠提高循環神經網路的穩健性的另一個示例性的特徵是各個節點之間的多連結(multi-link)連接。在示意圖中，節點205、215透過多個連結225、230連接。節點210、220透過多個連結235、240連接。在某些情況下，這樣的多個連結可能純粹是多餘的，並且在連接的節點之間以完全相同的方式傳遞完全相同的資訊。然而，一般而言，多個連結不會以完全相同的方式傳遞完全相同的資訊。舉例而言，可以透過不同的連結來傳遞不同的處理結果。作為另一個實例，多個連結可以傳遞相同的結果，但使得該結果在不同的時間到達目的地節點及/或在接收節點處具有不同的結果。

在一些實施方式中，循環神經網路中的連結可以是抑制性的或激勵性的。抑制連結使接收節點輸出特定訊號的可能性降低，而激勵連結使接收節點輸出特定訊號的可能性更高。在一些實施方式中，節點可以透過多個激勵連結(例如，2至20個連結，或3至10個連結)連接。在一些實施方式中，節點可以透過多個抑制連結(例如，5至40個連結，或10至30個連結)連接。

多連結連接既在節點之間提供了穩健的連接，又有助於避免完全確定性的處理。如下所述，能夠有助於穩健性的另一個特徵是節點之間的資訊的非確定性的傳輸。任何特定的錯誤(在輸入資料中，或在循環神經網路本身內的節點和連結中)都不太可能導致災難性故障，因為非確定性的資訊是透過多連結連接進行分佈式傳輸的。

能夠提高循環神經網路的穩健性的另一個示例性的特徵是各個節點之間的非確定性的傳輸。確定性的系統是一種無隨機性地發展未來狀態的系統。對於給定的輸入，確定性系統將始終產生相同的輸出。在本文中，對於給定的一組輸入資料，節點之間的非確定性的傳輸允許傳輸到另一個節點(或甚至自循環神經網路輸出)的訊號中具有一定程度的隨機性。輸入資料不僅是從整體地被輸入至循環神經網路的資料，還包含循環神經網路內各個節點接收的訊號。

這種隨機性可以以各種方式被引入訊號的傳輸中。舉例而言，在一些實施方式中，節點的行為可以是非確定性的。決策門檻值、時間常數、和其他參數可以隨機變化，以確保給定節點在任何時候都不會對相同的輸入訊號做出相同的響應。作為另一個實例，連結本身可以是非確定性的。舉例而言，傳輸時間和幅度衰減(amplitude attenuations)可以隨機變化，以確保給定的連結不會始終都相同地傳遞相同的輸入訊號。

再舉例而言，循環神經網路的行為整體上可以是非確定性的，且這種行為可以影響節點之間的訊號傳輸。舉例而言，循環神經網路可以顯示背景或其他不依賴於輸入資料的活動，例如即使沒有輸入資料也呈現。即使節點和連結本身是確定性定義的，這種活動的背景水準也可能導致各個節點之間的非確定性傳輸。

透過在訊號傳輸中引入一定程度的可變性(variability)，循環神經網路內的處理將固有地容許較小的偏差。具體而言，即使在輸入資料或節點中存在故障(不論在輸入資料中，或在循環神經網路本身內的節點和連結中)，儘管循環神經網路內訊號傳輸存在一定程度的變化但仍可以產生有意義結果的循環神經網路，也將能夠產生有意義的結果。循環神經網路的效能將適度降低，而不是災難性的降低。

此外，不僅循環神經網路本身，處理循環神經網路的輸出的任何應用都將容許一定程度的可變性。由於循環神經網路是非確定性的，其響應於給定輸入的輸出也是非確定性的。處理來自循環神經網路的非確定性的輸出的例如線性分類器或神經網路等應用程式將具有對可變性的內建的容忍度。

為了完整性，單個循環神經網路不需要同時具有所有這些特徵，以具有改善的穩健性。相反地，這些特徵的組合，或甚至這些特徵中的單個特徵可以在某種程度上改善穩健性。

第3圖是一循環神經網路的另一微小部分300的示意性表示圖。部分300僅包含四個節點305、310、315、320。節點305、310、315、320透過一組連結互連。另外節點305、310、315、320透過額外的連結連接至該循環神經網路中的其他節點。為了說明的目的，那些額外的連結以虛線表示。

儘管是透過不同的方式，部分300可以實現許多相同的特性，這些特性可以提高穩健性，如部分200(第2圖)所示。

舉例而言，在部分300中，巨大的扇出及/或扇入可以是體現生物神經元的至少一些形態和其他特徵的連結的結果。舉例而言，連結可以體現樹突狀連結(dendrite-like links)和軸突狀連結(axon-like links)之間的化學突觸(chemical synapses)和電性突觸(electrical synapses)的特徵。作為另一個實例，連結可以體現樹突間連接(dendro-dendritic connections)的至少一些形態和其他特徵，並表示節點之間的連續且立即的連接。

此外，樹突狀分支(dendrite-like branches)可以在各個節點之間形成多連結連接。舉例而言，在環繞(encircled)區域325中，來自節點305的莖(stem)的樹突狀分支可以與在節點315、320之間延伸的莖的樹突狀分支形成許多連接。一般而言，樹突狀分支和其他多連結連接不會以完全相同的方式傳遞完全相同的資訊。可以透過多種不同方式來實現可變性。舉例而言，某些多連結連接可能會對激勵訊號(excitatory signals)產生抑制性的反應。其他多連結連接可能會對抑制訊號(inhibitory signal)產生激勵性的反應。不同的樹突狀分支可能具有不同的傳輸時間和幅度衰減。不同的樹突狀分支之間的接觸點也可以具有不同的特性。舉例而言，在對生物系統的特徵進行建模的循環神經網路中，不同的接觸點可以對不同突觸的形態和化學特徵的不同程度進行建模。連結本身也是如此。舉例而言，某些連結的全部或僅一部分可以建模為纜線(cables)。在其他情況下，一或多個連結的全部或僅一部分及/或連結之間的連接可以根據對生物學或甚至非生物學特性進行建模的數學表達式來傳遞資訊。

部分300還可以顯示各個節點之間的非確定性傳輸。隨著部分300中的參數數量增加，用於引入非確定性傳輸的選項也隨之增加。

第4圖是可被辨識並「讀取」以自循環神經網路110(第1圖)產生表示120的活動的圖型400的表示圖。

圖型400是在一循環人工神經網路內的活動的表示。為讀取圖型400，一功能圖被視為以節點為點的一拓撲空間。與圖型400相符的節點及連結中的活動可被辨識為有序的，而無論參與該活動的特定節點及/或連結的身份如何。在所示的實施方式中，圖型400皆為定向集團(directed cliques)或定向單形(directed simplices)。在此類圖型中，活動來自於一源節點，該源節點將訊號傳輸至圖型中的每一其他節點。在圖型400中，此類源節點被指定為「點0」，而其他節點被指定為「點1」、「點2」...等等。此外，在定向集團或定向單形中，該等節點其中之一充當一接收裝置(sink)，且接收自圖型中的每個其他節點傳輸的訊號。在圖型400中，此類接收裝置節點被指定為圖型中編號最高的點。舉例而言，在圖型405中，接收裝置節點被指定為「點2」。在圖型410中，接收裝置節點被指定為「點3」。在圖型415中，接收裝置節點被指定為「點4」，以此類推。由圖型400表示的活動因此以可區分的方式排序。

每個圖型400具有不同數量的點，並且反映不同數量的節點中的有序活動。舉例而言，圖型405是二維單形並反映三個節點中的活動，圖型410是三維單形並反映四個節點中的活動，以此類推。隨著圖型中點數的增加，活動的有序程度及複雜程度亦增加。舉例而言，對於在一窗內具有一定水準的隨機活動的節點的一大的集合，該活動中的某些活動可能偶爾與圖型405相符。然而，隨機活動越來越不可能與圖型410、415、420、425、430等中的相應圖型相符。因此，相較於與圖型405相符的活動，與圖型430相符的活動具有相對較高的有序程度及複雜程度。

針對不同的活動複雜性的確定，可定義不同的持續時間窗。舉例而言，當要辨識與圖型430相符的活動時，可使用比要辨識與圖型405相符的活動時更長的持續時間窗。

第5圖是可被辨識及「讀取」以自循環神經網路110(第1圖)產生二進位數字的集合(表示)120的活動的圖型500的表示圖。

圖型500是多組具有相同維度(即，具有相同數量的點)的定向集團或定向單形，其定義了比個別集團或個別單形涉及更多點的圖型，並且在成組的定向單形內封閉空腔。

舉例而言，圖型505包含六個不同的三點二維圖型405，且這六個三點二維圖型405一起定義了一二級同調類(homology class of degree two)，而圖型510包含八個不同的三點二維圖型405，而這八個三點二維圖型405一起定義了一第二二級同調類。圖型505、510中的每個三點二維圖型405可被認為封閉了相應的空腔。與一定向圖相關聯的第n個貝蒂(Betti)數提供了在一拓撲表示內此種同調類的計數。

由例如圖型500等圖型所表示的活動表示一網路內活動的有序程度相對較高，此不太可能由隨機偶然事件引起。圖型500可用於表徵該活動的複雜性。

在某些實施方式中，僅辨識出活動的某些圖型，及/或丟棄或以其他方式忽略活動的圖型中被辨識出來的某些部分。舉例而言，參照第4圖，與五點四維單形圖型415相符的活動固有地包含與四點三維及三點二維單形圖型 410、405相符的活動。舉例而言，第4圖的四維單形圖型415中的「點0」、「點2」、「點3」、「點4」及「點1」、「點2」、「點3」、「點4」二者皆與三維單形圖型410相符。在某些實施方式中，包含較少點(且因此具有較低的維度)的圖型可被丟棄或以其他方式忽略。作為另一實例，僅需要辨識活動的某些圖型。舉例而言，在某些實施方式中，僅辨識有奇數個點(3、5、7...)或者偶數個維度(2、4、6...)的圖案。儘管僅辨識了某些圖型，但關於神經網路中的活動的資訊仍然可被以全息方式表示，即，以較在一輸出中所有圖型皆被辨識及/或表示時低的解析度表示。

如上所述，響應於輸入的資料的活動的圖型表示由循環神經網路110對該輸入的資料執行的具有任意複雜性的一具體操作。在某些實施方式中，操作的複雜性將反映在拓撲圖型的複雜性中。舉例而言，由五點四維單形圖型415表示的操作或抽取可能較由四點三維及三點二維單形圖型410、405表示的操作或抽取更複雜。在此種情況下，表示活動存在的數字表達出在循環神經網路110中執行一組操作或抽取，其中該等操作或抽取其中之每一者具有任意的複雜水準。

第6圖是確定具有一可區分複雜性的活動圖型的定時的示意性表示圖。第6圖中表示的確定可作為活動的圖型的辨識或「讀取」的一部分來執行，以自循環神經網路110(第1圖)產生數字的集合(表示)120。

第6圖包含一圖605及一圖610。圖605表示隨著沿x軸的時間而變化的圖型的出現。具體而言，個別出現被示意性地表示為垂直線606、607、608、609。每一列的出現可以是活動與一相應圖型或圖型類別相匹配的例子。舉例而言，頂列的出現可以是活動與圖型405(第4圖)相匹配的例子，第二列的出現可以是活動與圖型410(第4圖)相匹配的例子，第三列的出現可以是活動與圖型415(第4圖)相匹配的例子，以此類推。

圖605還包含虛線矩形615、620、625，當活動圖型具有一可區分的複雜性時，虛線矩形615、620、625示意性地描繪不同的時間窗。如圖所示，在由虛線矩形615、620、625描繪的窗期間，循環人工神經網路中的活動與指示複雜性的一圖型相匹配的可能性高於該等窗之外的可能性。

圖610表示與隨著沿x軸的時間而變化的該等出現相關聯的複雜性。圖610包含複雜性與由虛線矩形615描繪的窗一致的一第一峰值630、以及複雜性與由虛線矩形620、625描繪的窗一致的一第二峰值635。如圖所示，由峰值630、635表示的複雜性可與可被視為複雜性的一基線水準640的複雜性區分開來。

在某些實施方式中，讀取一循環人工神經網路的輸出的時間與具有一可區分的複雜性的活動圖型的出現是一致的。舉例而言，在第6圖的說明性環境中，一循環人工神經網路的輸出可在峰值630、635處、即在由虛線矩形615、620、625描繪的窗期間被讀取。

在某些實施方式中，自循環人工神經網路不僅可輸出具有一可區分的複雜性的活動圖型的內容，而且可輸出該活動圖型的定時。具體而言，不僅參與了與活動圖型相符的活動的節點的身份及活動，活動圖型的定時亦可被視為循環人工神經網路的輸出。因此，所辨識的活動圖型以及將讀取此決定的定時可表示神經網路的處理結果。

第7圖是一種相對穩健型人工神經網路系統700的實施的示意性表示圖。除了網路輸入105和循環神經網路110之外，神經網路系統700還包含圖卷積神經網路(graph convolutional neural network)705，其被耦合以讀取在循環神經網路110中出現的拓撲圖型。

圖卷積神經網路是一種對圖進行操作的神經網路。圖卷積神經網路705包含輸入710和輸出715的集合。在輸入710，圖卷積神經網路705可以接收循環神經網路110中的圖結構的表示以及循環神經網路110中各個節點的用以表示各個節點的活動的特徵矩陣(feature matrix)。圖卷積神經網路705可以提取活動中的拓撲圖型，如第4圖和第5圖所示，且在輸出715上輸出拓撲圖型的出現的表示。

透過使用圖卷積神經網路來讀取在循環神經網路110中出現的拓撲圖型，可以提高穩健性。具體而言，與傳統的處理影像且依賴影像中的空間連續性而抵抗雜訊的卷積神經網路相比，圖卷積神經網路可以依靠其他度量來抵抗雜訊。舉例而言，可以根據例如對輸入的響應的相似性來辨識循環神經網路110的圖中的相似或「相鄰(neighboring)」節點。圖卷積神經網路中節點的接受場域(receptive fields)可包含多個這樣相似或相鄰節點的部分。模糊層(blurring layer)可以使這些相似或相鄰的節點的活動水準模糊化。再次而言，任何特定的錯誤(在輸入資料中，或在循環神經網路本身內的節點和連結中)都不太可能導致災難性故障。

第8圖是將來自不同感測器的資料輸入至循環神經網路110中的一種方法的示意性表示圖。在所示的實施方式中，網路的輸入105的不同子集105’、105”、105'''專用於接收不同類型的輸入資料。舉例而言，第一子集105’可專用於接收一第一類別的輸入資料(例如，來自一第一感測器或換能器的資料)，而第二子集105”可專用於接收一第二類別的輸入資料(例如，來自一第二感測器或換能器的資料)。

在某些實施方式中，循環神經網路110的對應「區域」805、810自網路輸入105的不同子集105’、105”、105'''接收不同類別的輸入資料。舉例而言，在示意圖中，區域805、810被繪示為節點及邊緣的空間離散集合(spatially discrete collections)，每個區域之間具有相對較少的節點對節點連接。情況未必如此。確切而言，每個區域805、810的節點及邊緣可在循環神經網路110內空間分佈，但仍接收一特定類別的輸入資料。

無論在每個區域805、810中節點的分佈如何，每個區域805、810中的處理主要(但未必是唯一)受到分別接收的類別的輸入資料的干擾。干擾的程度可基於在存在及不存在相應類別的輸入資料的情況下在一區域中發生的活動來量測。舉例而言，主要受一第一類別的輸入資料干擾的一區域可以大致相同的方式對第一類別的輸入資料作出響應，而無論其他類別的輸入資料是否同時干擾循環神經網路110。由每個區域805、810執行的處理及抽取主要受到所接收的類別的輸入資料的影響。然而，在每個區域805、810中出現的活動的拓撲圖型可被讀取為數字的集合(表示)120。對於循環神經網路110的其他區域亦為如此。

這可藉由分別指定網路輸出115的不同子集115’、115”、115'''而在神經網路系統中示意性地表示。具體而言，子集115’可專用於輸出代表在循環神經網路110的區域805中出現的活動的拓撲圖型的數字，而子集115'''可專用於輸出代表在循環神經網路110的區域810中出現的活動的拓撲圖型的數字。然而，子集115”輸出在區域805、810其中之任一者中皆未發現的數字。實際上，在子集115”中輸出的數字可表示在區域805、810中出現的抽取表示及處理結果的融合或進一步抽取至更高的複雜性水準。

舉例而言，當且僅當子集115’中的一或多個數字及子集115'''中的一或多個數字兩者皆具有特定值時，子集115”中的一給定數字才可能出現。子集115”中的數字因此可表示任意更高水準的抽取(在區域805、810中產生的抽取還有輸入資料本身)。

當不同的區域主要受到單一類別的輸入資料的干擾時，該等區域中的處理可根據輸入資料的性質進行裁適(tailored)。舉例而言，可對輸入資料進行連接深度及網路迴路的拓撲的裁適。在於生物系統上建模的循環神經網路中，亦可對輸入資料進行神經元動力學及突觸可塑性的裁適。該裁適例如捕捉不同的時間標度。舉例而言，在為處理相對快速變化的輸入資料類別(例如，視訊或音訊資料)而裁適的一區域中的處理可比在為處理相對較慢變化或根本不變化的輸入資料類別而裁適的一區域中的處理更快。

此外，當循環神經網路的不同的區域主要受到單一類別的輸入資料的干擾，且不同區域中的處理結果隨後被融合時，循環神經網路中處理的穩健性可以被提高。具體而言，對輸入資料的各個類別執行的相對較低水準的處理可以產生普遍適用於不同情況的表示，即，比在高度訓練的神經網路中生成的表示更「通用」的表示。

這種普遍適用的表示傾向於比較高水準的表示更為穩健。舉例而言，在影像處理的情況中，例如「方向」和「顏色」等概念的表示可能比例如「狗」或「貓」等較高水準的分類更為穩健、更能抵抗雜訊或故障。

此外，由於循環神經網路110可以融合來自各種不同感測器的輸入資料的較低水準的表示，所以即使較高水準的表示也更穩健。循環神經網路110不僅依賴於正確的任何一種類型的資料，且錯誤的輸入可以與其他準確的輸入資料融合。

在本說明書中闡述的標的物及操作的實施例可在數位電子電路系統中實施，或者在電腦軟體、韌體或硬體(包含在本說明書中揭露的結構及其結構等效物)中或者以其一或多者的組合實施。在本說明書中闡述的標的物的實施例可被實施為一或多個電腦程式(即，電腦程式指令的一或多個模組)，該一或多個電腦程式編碼於電腦儲存媒體上以便由資料處理設備執行或控制資料處理設備的操作。作為另一選擇或另外，程式指令可編碼於一人工產生的傳播訊號上，該人工產生的傳播訊號為例如被產生以對用於傳輸至適合的接收器設備的資訊進行編碼以便由一資料處理設備執行的一由機器產生的電性訊號、光學訊號或電磁訊號。一電腦儲存媒體可以是一電腦可讀取儲存裝置、一電腦可讀取儲存基板、一隨機或串列存取記憶體陣列或裝置或其一或多者的組合，或者可包含於一電腦可讀取儲存裝置、一電腦可讀取儲存基板、一隨機或串列存取記憶體陣列或裝置或其一或多者的組合中。此外，儘管一電腦儲存媒體並非一傳播訊號，然而一電腦儲存媒體可以是編碼於一人工產生的傳播訊號中的電腦程式指令的一來源(source)或目的地(destination)。電腦儲存媒體亦可以是一或多個單獨的物理組件或媒體(例如，多個光碟(compact disc，CD)、碟片(disk)或其他儲存裝置)，或者可包含於該一或多個單獨的物理組件或媒體(例如，多個CD、碟片或其他儲存裝置)中。

在本說明書中闡述的操作可被實施為由一資料處理設備對儲存於一或多個電腦可讀取儲存裝置上的資料或自其他來源接收的資料實行的操作。

用語「資料處理設備」囊括用於處理資料的所有種類的設備、裝置及機器，包含例如一可程式化處理器、一電腦、一系統晶片或者前述中的多者或組合。該設備可包含專用邏輯電路系統，例如一現場可程式化閘陣列(field programmable gate array，FPGA)或一應用專用積體電路(application specific integrated circuit，ASIC)。該設備可除硬體之外亦包含為所論述的電腦程式創建一執行環境的碼，例如構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、一跨平臺運行時間環境、一虛擬機或其一或多者的組合的碼。該設備及執行環境可達成各種不同的計算模型基礎架構，例如網路服務、分佈式計算及網格式計算基礎架構。

一電腦程式(亦稱為一程式、軟體、軟體應用、腳本或碼)可以包含編譯或解譯語言、宣告性語言或程序性語言在內的任何形式的程式化語言來編寫，且該電腦程式可以任何形式來部署，包含作為一獨立程式或作為一模組、組件、次常式、對象或適合於在一計算環境中使用的其他單元。一電腦程式可(但無需)對應於一檔案系統中的一檔案。一程式可儲存於一檔案的保持其他程式或資料(例如，儲存於一標示語言文件中的一或多個腳本)的一部分中、專用於所論述的該程式的單一檔案中或者多個協調的檔案(例如，儲存一或多個模組、子程式或碼部分的檔案)中。一電腦程式可被部署成在位於一個站點(site)處的一個電腦上或在分佈於多個站點上並藉由一通訊網路互連的多個電腦上執行。

在本說明書中闡述的過程及邏輯流程可由一或多個可程式化處理器來實行，該一或多個可程式化處理器執行一或多個電腦程式，以藉由對輸入資料進行操作並產生輸出來實行動作。過程及邏輯流程亦可由專用邏輯電路系統來實行，且設備亦可被實施為專用邏輯電路系統，例如一現場可程式化閘陣列(FPGA)或一應用專用積體電路(ASIC)。

舉例而言，適合於執行一電腦程式的處理器包含通用微處理器與專用微處理器二者以及任何種類的數位電腦其中之任何一或多個處理器。一般而言，一處理器將自一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦的基本元件是用於根據指令實行動作的一處理器以及用於儲存指令及資料的一或多個記憶體裝置。一般而言，一電腦亦將包含用於儲存資料的一或多個巨量儲存裝置(例如磁碟、磁光碟或光碟)，或者被操作地耦合以自該一或多個巨量儲存裝置接收資料或向該一或多個巨量儲存裝置轉移資料或者進行兩者。然而，一電腦不必具有此種裝置。此外，一電腦可嵌置於例如(舉幾個例子)一行動電話、一個人數位助理(personal digital assistant，PDA)、一行動音訊或視訊播放機、一遊戲主控台(game console)、一全球定位系統(Global Positioning System，GPS)接收器或一可攜式儲存裝置(例如，一通用串列匯流排(universal serial bus，USB)快閃驅動器)等另一裝置中。適合於儲存電腦程式指令及資料的裝置包含所有形式的非揮發性記憶體、媒體及記憶體裝置，包含例如：半導體記憶體裝置，例如可抹除可程式化唯讀記憶體(erasable programmable read only memory，EPROM)、電子可抹除可程式化唯讀記憶體(electrically erasable programmable read only memory，EEPROM)及快閃記憶體裝置；磁碟，例如內部硬碟或可移除式碟片(removable disk)；磁光碟；以及光碟唯讀記憶體(compact disc-read only memory，CD ROM)及數位多功能光碟唯讀記憶體(digital versatile disc-read only memory，DVD ROM)碟片。處理器及記憶體可藉由專用邏輯電路系統來補充或包含於專用邏輯電路系統中。

為提供與一使用者的交互，在本說明書中闡述的標的物的實施例可在一電腦上實施，該電腦具有例如陰極射線管(cathode ray tube，CRT)或液晶顯示器(liquid crystal display，LCD)監視器等用於向使用者顯示資訊的顯示裝置以及可供使用者向電腦提供輸入的鍵盤及指針裝置(例如，一滑鼠或一軌跡球)。亦可使用其他種類的裝置來提供與一使用者的交互；舉例而言，提供至使用者的回饋可以是任何形式的感覺回饋，例如視覺回饋、聽覺回饋或觸覺回饋；且來自使用者的輸入可以包含聲響、語音或觸覺輸入在內的任何形式接收。此外，一電腦可藉由向使用者使用的一裝置發送文件及自使用者使用的一裝置接收文件來與一使用者交互；例如，藉由響應於自網路瀏覽器接收的請求，將網頁發送至一使用者客戶端裝置上的一網路瀏覽器。

儘管本說明書包含諸多具體的實施細節，然而該等實施細節不應被視為對任何發明的範圍或可主張的範圍的限制，而應被視為對特定發明的特定實施例的專有特徵的說明。本說明書中在單獨的實施例的上下文中闡述的某些特徵亦可在單一實施例中以組合方式實施。相反地，在單一實施例的上下文中闡述的各種特徵亦可在多個實施例中單獨地實施或以任何適合的子組合來實施。此外，儘管上文可將特徵闡述為在某些組合中起作用且甚至最初如此主張，然而在某些情形中，可自一所主張的組合中去除來自該組合的一或多個特徵，且所主張的組合可指向一子組合或一子組合的變型。

相似地，儘管在圖式中以一特定次序繪示操作，然而此不應被理解為要求以所示的特定次序或以順序次序實行此種操作或者要求實行所有所示操作以達成所期望的結果。在某些情況中，多任務及平行處理可以是有利的。此外，上述實施例中的各種系統組件的分離不應被理解為在所有實施例中均需要此種分離，且應理解，所闡述的程式組件及系統一般可一起整合於單一軟體產品中或者被封裝至多個軟體產品中。

因此，已闡述標的物的特定實施方式。其他實施方式處於以下申請專利範圍的範圍內。在某些情形中，申請專利範圍中陳述的動作可以一不同的次序實行，且仍然會達成所期望的結果。另外，圖式中繪示的過程未必需要所示的特定次序或順序次序來達成所期望的結果。在某些實施方式中，多任務及平行處理可以是有利的。

已描述了多個實施方式。然而，應理解，可進行各種修改。因此，其他實施方式在以下申請專利範圍的範圍內。