[go: up one dir, main page]

TW201439926A - 用於平行化迴旋神經網路之系統與方法 - Google Patents

用於平行化迴旋神經網路之系統與方法 Download PDF

Info

Publication number
TW201439926A
TW201439926A TW102147804A TW102147804A TW201439926A TW 201439926 A TW201439926 A TW 201439926A TW 102147804 A TW102147804 A TW 102147804A TW 102147804 A TW102147804 A TW 102147804A TW 201439926 A TW201439926 A TW 201439926A
Authority
TW
Taiwan
Prior art keywords
neural networks
parallel neural
interconnect layer
layer
layers
Prior art date
Application number
TW102147804A
Other languages
English (en)
Inventor
亞歷山大 克里斯撒夫基
伊亞 蘇斯卡菲
傑佛瑞Ｅ 西頓
Original Assignee
咕果公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 咕果公司 filed Critical 咕果公司
Publication of TW201439926A publication Critical patent/TW201439926A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種平行迴旋神經網路(CNN)。該CNN由各在一各別處理節點上之複數個迴旋神經網路實施。各CNN具有複數個層。該等層之一子集在處理節點之間互連，使得跨節點前饋啟動。剩餘子集無法如此互連。

Description

用於平行化迴旋神經網路之系統與方法
下文大體上係關於迴旋神經網路，且更特定言之係關於一平行迴旋神經網路。
迴旋神經網路(CNN)係可經組態以較佳適合於電腦視覺問題之強大模型。當CNN較大(即更複雜)(意指其等具有更多更深及高度互連層)時，其等通常表現最佳。此等CNN之一主要缺點係計算成本。因此，較大CNN通常不切實際的慢。在諸多應用中，一較大CNN需要比當前在一串列電腦上可用之更多計算。
因此，複雜CNN可藉由跨多個處理器平行化網路而實施。例如，針對影像處理或分類任務，可在若干圖像處理單元(GPU)上實施一CNN。
已存在各種建議以經由跨若干處理器平行化CNN而增加CNN之實用性。此等方法以使得最小化通信成本之一方式將網路分割成平行子網路。
一第一方法單純地將網路分割成平行子網路，且將每一子網路之層之狀態傳達至全部其他子網路。此方法可應用於CNN及完全連接網路兩者。
在此方法中，以某些方式將網路分割成某一數目個平行子網路。在每一層處，該等子網路將其等之啟動傳達至全部其他子網路，其導致前饋神經網路之一平行實施。
然而，在某些實施方案中，此方法在CNN中係低效的。其之效率最適合於完全連接加權矩陣，此乃因此等矩陣所需之計算量致使通信對計算之比較小。
相反地，CNN加權矩陣較稀疏，因此其等之通信對計算之比更大。因此，當將此方法應用於CNN時，花費一大部分時間在通信上，其使得平行化較無用。
一第二方法將網路分割成與其等之鄰近者通信之切片，且通常僅應用於迴旋或應用於局部連接網路。然而，此方法之當前實施通常無效率地處置集區。集區係用於使得網路之啟動對較小轉譯係更加不變的之一技術。儘管集區增加CNN之準確度，然其以通常針對第二方法允許較少平行性且需要增加之通信之一方式來改變啟動張量之維度。
例如，第二方法一項特定實施方案將CNN平行化成僅與其等之鄰近者通信之切片。該方法將輸入張量(尺寸為N×N×u)分割成具有尺寸(N/m)×N×u之m個子張量，且將一計算節點分配至m個子張量中之各者。此僅當N較大且u較小時有效，此乃因一較大N允許m(且因此計算節點之數目)變大，且一較小u允許鄰近切片通信不多。然而，當使用集區時，N必然較小且u必然較大。由於m無法超過N，所以一較小N限制計算節點之數目(其限制可達到之加速)，而一較大u需要鄰近切片之間之更多通信(其增加通信成本)。
下文之一目的係消除或減輕以上問題中之至少一者。
在一項態樣中，提供一種平行迴旋神經網路，該平行迴旋神經 網路包括複數個迴旋神經網路，每一迴旋神經網路實施於一各别處理節點上且每一者包括複數個層，該等層中之一子集在該等處理節點之間互連以前饋各别啟動，且一剩餘子集未如此互連。
在另一態樣中，提供一種用於建立一平行迴旋神經網路之方法。
300‧‧‧建立平行迴旋神經網路
302‧‧‧選擇層
304‧‧‧選擇節點
306‧‧‧使節點互連
將在其中參考附圖之以下詳細描述中明白本發明之特徵，其中：圖1係一四層前饋神經網路；圖2係一平行迴旋神經網路；圖3係描繪一種建立一平行迴旋神經網路之方法之一流程圖；及圖4係包括一平行迴旋神經網路之一神經網路。
現將參考圖式來描述實施例。應瞭解，出於簡單及清晰說明之目的，在認為適當處，可在圖式之中重複元件符號以指代對應或類似元件。另外，闡述許多特定細節以提供文中所描述之實施例之一透徹理解。然而，熟習此項技術者應瞭解，可在沒有此等特定細節之情況下實施文中所描述之實施例。在其他例項中，尚未詳細描述眾所周知之方法、程序及組件以不致使文中所描述之實施例難理解。此外，該描述不被視為限制文中所描述之實施例之範疇。
亦應瞭解，文中所例示之執行指令之任何模組、單元、組件、伺服器、電腦、終端機或裝置可包含或以其他方式可以使用電腦可讀媒體，諸如儲存媒體、電腦儲存媒體或資料儲存裝置(可抽換及/或非可抽換)(諸如，例如磁碟、光碟或磁帶)。電腦儲存媒體可包含以用於資訊(諸如電腦可讀指令、資料結構、程式模組、或其他資料)之儲存之任何方法或技術來實施之揮發性及非揮發性、可抽換及非可抽換媒 體。電腦儲存媒體之實例包含RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光學儲存、卡式磁帶、磁帶、磁碟儲存或其他磁儲存裝置或可用於儲存所要資訊且可由一應用、模組或兩者存取之任何其他媒體。任何此等電腦儲存媒體可為裝置之部分或可存取或連接至該裝置。可使用可由此等電腦可讀媒體儲存或以其他方式保持之電腦可讀/可執行指令來實施文中所描述之任何應用或模組。
下文描述一種用於平行化一神經網路之系統及方法，其中一平行神經網路包括複數個神經網路，該複數個神經網路將其等狀態情況之一子集傳達至該等神經網路中之其他者。因此，與一完全連接平行神經網路相比較，通信成本相對較低，同時維持適合能力以自平行計算中獲益。亦可在所描述之系統及方法下實現集區。
下文描述一CNN之平行化，然而，應理解，以下原理大體上應用於神經網路。
首先參考圖1，一前饋神經網路(FNN)包括複數個層，該複數個層中之每一者包括複數個胞。在各種實施方案中，網路、層及/或胞各由一處理器來實施。
一FNN係使用一序列加權矩陣(W1，...，W l )及一序列偏差向量(b1，...，b l )來參數化之將Rn映射至Rm之一函數族。給定一輸入x Rn，可藉由將i自1迭代至l藉由x i ←f i (W i x i-1 +b i )而計算網路之輸出x l ，其中x 0 ←x,x i 係第i層之啟動向量(或狀態)，且f i (．)易於計算非線性，諸如逐一元素tanh(雙曲正切)或逐一元素修正max(0,x)。
加權(W1，...，W l )及偏差(b1，...，b l )之每一組態定義一不同x0→x l 映射。訓練網路包括應用非線性最佳化方法以找出其之映射x0→x l 程序校正訓練集上之標記之一參數設定。據說當Wi矩陣中之各者為密集時，一FNN被完全連接。
若輸入影像經編碼為一向量，則原則上，神經網路可應用於視覺任務。然而，即使較小影像仍係極高維度的目標。例如，一256×256彩色影像具有196608維度。此高維度通常致使神經網路無法實際應用，此乃因其等之加權矩陣往往不切實際的大。例如，具有上述維度之一密集正方形矩陣具有近乎5．1010個參數，其需要比通常在一單一CPU上可用之更多計算。其亦通常需要不可行量之學習資料。
然而，一CNN通常需要比具有經類似定大小之層之一完全連接神經網路更少計算及訓練資料，同時能夠在任務上達成類似效能(諸如視覺)(前提係不存在對資料及計算之量之限制)。CNN具有一限制連接性，因此與整個影像相比，各神經僅連接至輸入影像之一較小截圖，此隨後減少連接之數目。此限制不會損壞相對於一完全連接網路之效能，此乃因空間上分離像素之加權總和並非資訊性。另外，CNN使用加權共享，其意指其用相同連接來處理每一影像截圖。此導致參數之數目之一額外減少，此大幅減少所需訓練資料之量。此加權共享不會損壞相對於不使用此共享之網路之效能，此乃因影像統計係均勻的，因此可在每一位置中以相同方式合理地處理影像。
更正式地描述，至一CNN加權矩陣之輸入I可係各具有尺寸N×N之u個影像之一堆疊，該堆疊係具有尺寸N×N×u之一張量。一單一CNN層可應用各具有尺寸(2m+1)×(2m+1)之u×v個濾波器以產生具有尺寸(N-2m)×(N-2m)×v之一輸出張量(啟動張量)0。輸出張量可使用以下各i、j及v'之公式來計算：
其中i'=i+m+1且j'=j+m+1。
因此，儘管具有經相同定大小之層之一完全連接網路具有N 2 u×(N-2m) 2 v個連接，然一迴旋神經網路具有(N-2m) 2 u×(2m+1) 2 v 個連接且僅u×v(2m+1) 2 個參數，因此連接之數目減少到約N 2 /4m 2 ，且參數之數目減少近乎N 4 /4m 2 。
然而，儘管一經合理定大小之迴旋神經網路之相對效率，實際上其針對較大影像之分類可係不可實施地慢。
現參考圖2，在一項態樣中，提供一種用於平行化一CNN之系統。該系統包括在複數個計算節點上實體化之複數個CNN。各計算節點係一處理器，諸如一CPU或GPU。應瞭解，一組節點可包括CPU及GPU以及其他處理器之組合。亦應瞭解，所描述之CNN無需僅應用於影像處理，而且可應用於其他適合任務。
在一項態樣中，該系統包括在針對其將啟動傳達至其他CNN之層之一預定子集處初始化之互連。可將該等啟動傳達至其他CNN之隨後鄰近層。例如，將在層i處之節點之啟動傳達至其他節點中之層i+1之胞。在圖2中所示之實例中，例如，將各節點中之層2及4之啟動分別傳達至其他節點之層3及5。
針對互連所選之層係全部層之一子集。在應視為非限制之一實例中，可以預定間隔跨越特定對鄰近層之全部節點而傳達啟動(即將層xi+k之節點傳達至層xi+k+1之節點，其中x係一整數且k係一偏移常數(offset constant)，以定義第一此互連層)。在一特定實例中，所選層係每第三層或第四層(即，x=3或4)。在另一實例中，此等層之間隔係不規則的，使得任意選擇啟動待被傳達之層，或基於額外考量而選擇。
在另一態樣中，可將一特定節點之啟動傳達至其他節點之一子集。例如，當計算節點之數目較大(諸如，例如大於10)時，將預定層處之每一CNN之啟動傳達至在各別隨後層處之各其他CNN之成本可不切實際地或過分昂貴。在此一情況下，可將啟動傳達至其他CNN之一預定子集(其可在訓練之前被隨機選擇或以某些其他方式選擇)。在一 實例中，節點1層1之啟動可互連至節點2層2而非節點3層2。
在又一態樣中，一特定層之節點之啟動可與其他CNN之隨後層互連，而其他CNN之對應層中之節點不與其他CNN之隨後層互連。在一實例中，節點1層1可互連至節點2層2及節點3層2，而節點2層1可僅連接至節點2層2，而不互連至節點1層2或節點3層2。在另一實例中，節點1及節點2兩者之層1可與各節點之層2互連，而節點3之層1可僅連接至節點3層2。
以上之組合亦係有可能的。例如，節點1層1可互連至節點2層2而非節點3層2；而節點2層1不可互連至節點1層2或節點3層2；且節點3層1可互連至節點1層2及節點2層2兩者。
此等實例可(例如)在一或多個節點(GPU中之一或多者)比其他慢之情況下係有益的。在此實例中，相對於在其他節點處之各層減小更慢節點處之彼層之尺寸使得全部GPU能夠以大致相同速度處理各層可係有益的。繼而，該GPU之更小層尺寸可使其在每一層通信較便宜，而沒有大幅增長通信成本。因此，在每一層處傳達較慢GPU之啟動，而僅在該等層中之某些層處傳達較快GPU之啟動係具有成本效益的。
參考圖3，建立一平行CNN之一方法可包括：建立各在一計算節點上實體化之複數個平行CNN(300)；對於各CNN(針對CNN將其等之啟動傳達至其他CNN)選擇一或多個層(302)；針對在各此CNN中之各此層，選擇將啟動傳達至其之其他CNN之至少一子集(304)；及使所選層中之各者與此子集之各别隨後層互連(308)。
參考圖4，展示包括實施於兩個節點上之一平行CNN之另一實例之一神經網路。在此實例中，神經網路包括八個層，其中前五個層係迴旋的且剩餘三個層係完全連接的。該第二迴旋層、第四迴旋層及第五迴旋層連接至僅在相同處理器內之先前層，而剩餘層中之彼等層跨越兩個節點互連。
儘管已參考某些特定實施例來描述本發明，然熟悉此項技術者將在不背離本發明之精神及範疇之情況下明白其之各種修改，如隨附申請專利範圍所概括。上文陳述之全部參考之全部揭示內容以引用之方式併入本文中。

Claims (21)

  1. 一種系統，其包括：複數個平行神經網路，其中該複數個平行神經網路各接收一相同輸入且基於該輸入共同產生一預測輸出，其中該等神經網路中之各者包括各别複數個層，其中各複數個層包括一互連層及一非互連層，且其中透過該複數個平行神經網路中之各者之該等層而處理資料包括：將輸出自該互連層提供至該複數個平行神經網路中之至少一個不同平行神經網路之至少一個層；及將輸出自該非互連層僅提供至該相同平行神經網路之一層。
  2. 如請求項1之系統，其中該複數個平行神經網路中之各者在一各别計算節點上實施。
  3. 如請求項1之系統，其中透過該複數個平行神經網路中之各者之該等層而處理資料進一步包括：將輸出自該互連層提供至該相同平行神經網路之至少一個層。
  4. 如請求項1之系統，其中將輸出自該互連層提供至該複數個平行神經網路中之至少一個不同平行神經網路之至少一個層包括：將輸出自該互連層提供至該複數個平行神經網路中之該等其他平行神經網路中之各者中之至少一個層。
  5. 如請求項1之系統，其中該複數個層中之各者包括各别複數個節點，且其中各節點基於自一或多個其他層接收之一輸入啟動而產生一各别輸出啟動。
  6. 如請求項5之系統，其中將輸出自該互連層提供至該複數個平行神經網路中之至少一個不同平行神經網路中之至少一個層包括：將輸出啟動自該互連層之各節點提供至該複數個平行神經 網路中之該等其他平行神經網路之一子集之至少一個層中之各節點。
  7. 如請求項5之系統，其中將輸出自該互連層提供至該複數個平行神經網路之至少一個不同平行神經網路之至少一個層包括：將輸出啟動僅自該互連層之該等節點之一子集提供至該複數個平行神經網路中之至少一個不同平行神經網路之至少一個層中之該等節點之一子集。
  8. 如請求項1之系統，其中該平行神經網路係迴旋神經網路。
  9. 如請求項1之系統，其中該非互連層係一迴旋層。
  10. 如請求項1之系統，其中該互連層係一完全連接層。
  11. 一種方法，其包括：使用複數個平行神經網路中之各者來處理資料，其中該複數個平行神經網路各接收一相同輸入，且基於該輸入而共同產生一預測輸出，其中該等神經網路中之各者包括各别複數個層，其中各複數個層包括一互連層及一非互連層，其中使用該複數個平行神經網路中之各者來處理資料包括：透過該複數個神經網路中之各者之該等層而處理該資料，且其中透過該複數個平行神經網路中之各者之該等層而處理該資料包括：將輸出自該互連層提供至該複數個平行神經網路之至少一個不同平行神經網路之至少一個層；及將輸出自該非互連層僅提供至該相同平行神經網路之一層。
  12. 如請求項11之方法，其中該複數個平行神經網路中之各者在一各别計算節點上實施。
  13. 如請求項11之方法，其中透過該複數個平行神經網路中之各者之該等層而處理資料進一步包括：將輸出自該互連層提供至該相同平行神經網路之至少一個層。
  14. 如請求項11之方法，其中將輸出自該互連層提供至該複數個平行神經網路中之至少一個不同平行神經網路之至少一個層包括：將輸出自該互連層提供至該複數個平行神經網路中之該等其他平行神經網路中之各者中之至少一個層。
  15. 如請求項11之方法，其中該複數個層中之各者包括各别複數個節點，且其中各節點基於自一或多個其他層接收之一輸入啟動而產生一各别輸出啟動。
  16. 如請求項15之方法，其中將輸出自該互連層提供至該複數個平行神經網路中之至少一個不同平行神經網路之至少一個層包括：將輸出啟動自該互連層之各節點提供至該複數個平行神經網路中之該等其他平行神經網路之一子集之至少一個層中之各節點。
  17. 如請求項15之方法，其中將輸出自該互連層提供至該複數個平行神經網路中之至少一不同平行神經網路之至少一個層包括：將輸出啟動僅自該互連層之該等節點之一子集提供至該複數個平行神經網路中之至少一個不同平行神經網路之至少一個層中之該等節點之一子集。
  18. 如請求項11之方法，其中該等平行神經網路係迴旋神經網路。
  19. 如請求項11之方法，其中該非互連層係一迴旋層。
  20. 如請求項11之方法，其中該互連層係一完全連接層。
  21. 一種編碼有指令之電腦儲存媒體，該等指令當由一或多個電腦執行時，致使該一或多個電腦執行操作，該等操作包括：使用複數個平行神經網路中之各者來處理資料，其中該複數個平行神經網路各接收一相同輸入，且基於該輸入而共同產生一預測輸出，其中該等神經網路中之各者包括各别複數個層，其中各複數個層包括一互連層及一非互連層，其中使用該複數 個平行神經網路中之各者來處理資料包括透過該複數個平行神經網路中之各者之該等層而處理該資料，且其中透過該複數個平行神經網路中之各者之該等層而處理該資料包括：將輸出自該互連層提供至該複數個平行神經網路中之至少一個不同平行神經網路之至少一個層；及將輸出自該非互連層僅提供至該相同平行神經網路之一層。
TW102147804A 2012-12-24 2013-12-23 用於平行化迴旋神經網路之系統與方法 TW201439926A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261745717P 2012-12-24 2012-12-24
US14/030,938 US9811775B2 (en) 2012-12-24 2013-09-18 Parallelizing neural networks during training

Publications (1)

Publication Number Publication Date
TW201439926A true TW201439926A (zh) 2014-10-16

Family

ID=50975837

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147804A TW201439926A (zh) 2012-12-24 2013-12-23 用於平行化迴旋神經網路之系統與方法

Country Status (4)

Country Link
US (5) US9811775B2 (zh)
AU (1) AU2013370514A1 (zh)
TW (1) TW201439926A (zh)
WO (1) WO2014105865A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638272B (zh) * 2015-05-21 2018-10-11 Google Llc 用於對類神經網路執行類神經網路計算之系統與方法及相關正規化電路
TWI645301B (zh) * 2015-05-21 2018-12-21 美商谷歌有限責任公司 使用類神經網路處理器計算卷積
TWI754682B (zh) * 2017-04-18 2022-02-11 南韓商三星電子股份有限公司 降低卷積神經網路的計算複雜度的方法及系統

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811775B2 (en) 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training
US9542626B2 (en) 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9679258B2 (en) * 2013-10-08 2017-06-13 Google Inc. Methods and apparatus for reinforcement learning
US10331997B2 (en) * 2014-05-07 2019-06-25 Seagate Technology Llc Adaptive configuration of a neural network device
US10346726B2 (en) * 2014-12-15 2019-07-09 Samsung Electronics Co., Ltd. Image recognition method and apparatus, image verification method and apparatus, learning method and apparatus to recognize image, and learning method and apparatus to verify image
KR102486699B1 (ko) 2014-12-15 2023-01-11 삼성전자주식회사 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치
US10580401B2 (en) 2015-01-27 2020-03-03 Google Llc Sub-matrix input for neural network layers
JP2016146174A (ja) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 決定方法およびプログラム
ES2993023T3 (en) 2015-02-19 2024-12-20 Digital Reasoning Systems Inc Systems and methods for neural language modeling
US10762894B2 (en) 2015-03-27 2020-09-01 Google Llc Convolutional neural networks
US9436895B1 (en) * 2015-04-03 2016-09-06 Mitsubishi Electric Research Laboratories, Inc. Method for determining similarity of objects represented in images
US10606651B2 (en) 2015-04-17 2020-03-31 Microsoft Technology Licensing, Llc Free form expression accelerator with thread length-based thread assignment to clustered soft processor cores that share a functional circuit
US9805303B2 (en) 2015-05-21 2017-10-31 Google Inc. Rotating data for neural network computations
US10083395B2 (en) 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
US9747546B2 (en) 2015-05-21 2017-08-29 Google Inc. Neural network processor
US10049322B2 (en) * 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
CN106203619B (zh) * 2015-05-29 2022-09-13 三星电子株式会社 数据优化的神经网络遍历
US10417555B2 (en) * 2015-05-29 2019-09-17 Samsung Electronics Co., Ltd. Data-optimized neural network traversal
US10769531B2 (en) 2015-06-05 2020-09-08 Cisco Technology, Inc. Methods and systems for counting people
US10452995B2 (en) 2015-06-29 2019-10-22 Microsoft Technology Licensing, Llc Machine learning classification on hardware accelerators with stacked memory
US10540588B2 (en) 2015-06-29 2020-01-21 Microsoft Technology Licensing, Llc Deep neural network processing on hardware accelerators with stacked memory
US10452971B2 (en) 2015-06-29 2019-10-22 Microsoft Technology Licensing, Llc Deep neural network partitioning on servers
US10002402B2 (en) 2015-07-23 2018-06-19 Sony Corporation Learning convolution neural networks on heterogeneous CPU-GPU platform
JP2018527660A (ja) * 2015-07-29 2018-09-20 ノキア テクノロジーズ オーユー ニューラルネットワークによるオブジェクト検出
US10311302B2 (en) 2015-08-31 2019-06-04 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
US11295506B2 (en) 2015-09-16 2022-04-05 Tmrw Foundation Ip S. À R.L. Chip with game engine and ray trace engine
US10078794B2 (en) 2015-11-30 2018-09-18 Pilot Ai Labs, Inc. System and method for improved general object detection using neural networks
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
JP6610278B2 (ja) 2016-01-18 2019-11-27 富士通株式会社 機械学習装置、機械学習方法及び機械学習プログラム
US10366451B2 (en) 2016-01-27 2019-07-30 Huawei Technologies Co., Ltd. System and method for prediction using synthetic features and gradient boosted decision tree
US9858340B1 (en) 2016-04-11 2018-01-02 Digital Reasoning Systems, Inc. Systems and methods for queryable graph representations of videos
US10338931B2 (en) 2016-04-29 2019-07-02 International Business Machines Corporation Approximate synchronization for parallel deep learning
CN111860813B (zh) 2016-04-29 2024-01-16 中科寒武纪科技股份有限公司 一种用于执行卷积神经网络正向运算的装置和方法
GB201607713D0 (en) 2016-05-03 2016-06-15 Imagination Tech Ltd Convolutional neural network
US10706348B2 (en) * 2016-07-13 2020-07-07 Google Llc Superpixel methods for convolutional neural networks
US20190265955A1 (en) * 2016-07-21 2019-08-29 Ramot At Tel-Aviv University Ltd. Method and system for comparing sequences
US11238337B2 (en) * 2016-08-22 2022-02-01 Applied Brain Research Inc. Methods and systems for implementing dynamic neural networks
US11556779B2 (en) 2016-09-26 2023-01-17 Arizona Board Of Regents On Behalf Of Arizona State University Cascaded computing for convolutional neural networks
US10733505B2 (en) 2016-11-10 2020-08-04 Google Llc Performing kernel striding in hardware
DE112017006136T5 (de) * 2016-12-05 2019-08-22 Avigilon Corporation System und Verfahren zur CNN-Schichtenteilung
CN108256544B (zh) * 2016-12-29 2019-07-23 杭州光启人工智能研究院 图片分类方法和装置、机器人
WO2018126073A1 (en) * 2016-12-30 2018-07-05 Lau Horace H Deep learning hardware
CN108229326A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
WO2018184224A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems for boosting deep neural networks for deep learning
US11640526B2 (en) 2017-05-23 2023-05-02 Intel Corporation Methods and apparatus for enhancing a neural network using binary tensor and scale factor pairs
CN107301456B (zh) * 2017-05-26 2020-05-12 中国人民解放军国防科学技术大学 基于向量处理器的深度神经网络多核加速实现方法
EP3635716A4 (en) * 2017-06-08 2021-04-07 D5Ai Llc DIVISION OF DATA BY GRADIENT DIRECTORATE FOR NEURAL NETWORKS
JP7146372B2 (ja) 2017-06-21 2022-10-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN107341127B (zh) * 2017-07-05 2020-04-14 西安电子科技大学 基于OpenCL标准的卷积神经网络加速方法
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
CN107247949B (zh) * 2017-08-02 2020-06-19 智慧眼科技股份有限公司 基于深度学习的人脸识别方法、装置和电子设备
CN107301864B (zh) * 2017-08-16 2020-12-22 重庆邮电大学 一种基于Maxout神经元的深度双向LSTM声学模型
CN107481209B (zh) * 2017-08-21 2020-04-21 北京航空航天大学 一种基于卷积神经网络的图像或视频质量增强方法
US11741354B2 (en) 2017-08-25 2023-08-29 Ford Global Technologies, Llc Shared processing with deep neural networks
RU2656990C1 (ru) * 2017-09-11 2018-06-07 Самсунг Электроникс Ко., Лтд. Система и способ для искусственной нейронной сети, инвариантной к сдвигу
EP3457324A1 (en) 2017-09-15 2019-03-20 Axis AB Method for locating one or more candidate digital images being likely candidates for depicting an object
CN107609645B (zh) * 2017-09-21 2024-04-02 百度在线网络技术（北京）有限公司 用于训练卷积神经网络的方法和装置
KR102586173B1 (ko) 2017-10-31 2023-10-10 삼성전자주식회사 프로세서 및 그 제어 방법
US10902318B2 (en) 2017-11-06 2021-01-26 Neuralmagic Inc. Methods and systems for improved transforms in convolutional neural networks
US10346720B2 (en) * 2017-11-08 2019-07-09 Bae Systems Information And Electronic Systems Integration Inc. Rotation variant object detection in Deep Learning
KR102561261B1 (ko) 2017-11-14 2023-07-28 삼성전자주식회사 커널을 이용한 컨볼루션 연산 처리 방법 및 장치
CN108229650B (zh) * 2017-11-15 2021-04-09 北京市商汤科技开发有限公司 卷积处理方法、装置及电子设备
US20190156214A1 (en) 2017-11-18 2019-05-23 Neuralmagic Inc. Systems and methods for exchange of data in distributed training of machine learning algorithms
CN108052975B (zh) * 2017-12-12 2020-12-11 浙江大学宁波理工学院 一种基于核主元和神经网络的车辆运行实时工况预测方法
CN108038815B (zh) * 2017-12-20 2019-12-17 深圳云天励飞技术有限公司 集成电路
US11580736B2 (en) * 2018-01-05 2023-02-14 Deepmind Technologies Limited Parallel video processing neural networks
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN108416270B (zh) * 2018-02-06 2021-07-06 南京信息工程大学 一种基于多属性联合特征的交通标志识别方法
US11119915B2 (en) 2018-02-08 2021-09-14 Samsung Electronics Co., Ltd. Dynamic memory mapping for neural networks
CN108364061B (zh) * 2018-02-13 2020-05-05 北京旷视科技有限公司 运算装置、运算执行设备及运算执行方法
US10601960B2 (en) 2018-02-14 2020-03-24 Eingot Llc Zero-knowledge environment based networking engine
US10719613B1 (en) * 2018-02-23 2020-07-21 Facebook, Inc. Systems and methods for protecting neural network weights
US10699190B1 (en) * 2018-03-04 2020-06-30 Facebook, Inc. Systems and methods for efficiently updating neural networks
US11301951B2 (en) 2018-03-15 2022-04-12 The Calany Holding S. À R.L. Game engine and artificial intelligence engine on a chip
US12182686B2 (en) 2018-04-30 2024-12-31 International Business Machines Corporation Neural hardware accelerator for parallel and distributed tensor computations
WO2019211651A1 (en) * 2018-05-02 2019-11-07 Telefonaktiebolaget Lm Ericsson (Publ) Placement-aware acceleration of parameter optimization in a predictive model
CN108694386B (zh) * 2018-05-15 2021-08-10 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN108734211B (zh) * 2018-05-17 2019-12-24 腾讯科技（深圳）有限公司 图像处理的方法和装置
US10963787B2 (en) 2018-05-31 2021-03-30 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US11449363B2 (en) 2018-05-31 2022-09-20 Neuralmagic Inc. Systems and methods for improved neural network execution
WO2021061172A1 (en) * 2019-09-27 2021-04-01 Neuralmagic Inc. System and method of executing neural networks
US10832133B2 (en) 2018-05-31 2020-11-10 Neuralmagic Inc. System and method of executing neural networks
US11216732B2 (en) 2018-05-31 2022-01-04 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US10417558B1 (en) 2018-09-28 2019-09-17 Deep Insight Solutions, Inc. Methods and systems for artificial neural network optimistic event processing
CN108830377B (zh) * 2018-06-21 2020-12-15 瑞芯微电子股份有限公司 一种神经网络电路及其自循环多级迭代方法
US12443833B2 (en) 2018-08-27 2025-10-14 Red Hat, Inc. Systems and methods for neural network convolutional layer matrix multiplication using cache memory
WO2020069533A1 (en) * 2018-09-29 2020-04-02 Brainworks Method, machine-readable medium and system to parameterize semantic concepts in a multi-dimensional vector space and to perform classification, predictive, and other machine learning and ai algorithms thereon
US11636343B2 (en) 2018-10-01 2023-04-25 Neuralmagic Inc. Systems and methods for neural network pruning with accuracy preservation
WO2020102339A1 (en) 2018-11-14 2020-05-22 Cape Analytics, Inc. Systems, methods, and computer readable media for predictive analytics and change detection from remotely sensed imagery
CN109631848B (zh) * 2018-12-14 2021-04-16 山东鲁能软件技术有限公司 输电线路异物入侵检测系统和检测方法
CN111461296B (zh) * 2018-12-29 2023-09-22 中科寒武纪科技股份有限公司 数据处理方法、电子设备和可读存储介质
KR102209917B1 (ko) * 2018-12-31 2021-01-29 아주대학교산학협력단 심층 강화 학습을 위한 데이터 처리 장치 및 방법
US11557107B2 (en) 2019-01-02 2023-01-17 Bank Of America Corporation Intelligent recognition and extraction of numerical data from non-numerical graphical representations
US11544559B2 (en) 2019-01-08 2023-01-03 Neuralmagic Inc. System and method for executing convolution in a neural network
US11313950B2 (en) 2019-01-15 2022-04-26 Image Sensing Systems, Inc. Machine learning based highway radar vehicle classification across multiple lanes and speeds
CN110110845B (zh) * 2019-04-24 2020-09-22 长安大学 一种基于并行多级宽度神经网络的学习方法
US11625884B2 (en) 2019-06-18 2023-04-11 The Calany Holding S. À R.L. Systems, methods and apparatus for implementing tracked data communications on a chip
JP7389575B2 (ja) 2019-07-02 2023-11-30 キヤノン株式会社 データ処理装置、データ処理方法、学習装置、学習方法、ニューラルネットワーク、及びプログラム
CA3147392A1 (en) * 2019-07-19 2021-01-28 Pavel SINHA Configurable processor for implementing convolution neural networks
US12125481B2 (en) * 2019-08-08 2024-10-22 Nippon Telegraph And Telephone Corporation Determination device, training device, determination method, and determination program
US11195095B2 (en) 2019-08-08 2021-12-07 Neuralmagic Inc. System and method of accelerating execution of a neural network
US11210474B2 (en) * 2019-08-15 2021-12-28 Advanced New Technologies Co., Ltd. Language processing using a neural network
WO2021071711A1 (en) * 2019-10-09 2021-04-15 The Uab Research Foundation Method for uncertainty estimation in deep neural networks
CN110807519B (zh) * 2019-11-07 2023-01-17 清华大学 基于忆阻器的神经网络的并行加速方法及处理器、装置
US11663056B2 (en) * 2019-12-20 2023-05-30 Intel Corporation Unified programming interface for regrained tile execution
KR20210091947A (ko) 2020-01-15 2021-07-23 삼성전자주식회사 뉴럴 네트워크 모델의 분산 처리 방법 및 장치
US11170300B2 (en) 2020-01-23 2021-11-09 UMNAI Limited Explainable neural net architecture for multidimensional data
KR20210115863A (ko) 2020-03-16 2021-09-27 삼성전자주식회사 뉴럴 네트워크 모델을 위한 병렬 처리 방법 및 장치
US12530573B1 (en) 2020-05-19 2026-01-20 Red Hat, Inc. Efficient execution of group-sparsified neural networks
US12333415B2 (en) 2020-07-10 2025-06-17 Hewlett Packard Enterprise Development Lp Neural network accelerators
US20220076100A1 (en) * 2020-09-10 2022-03-10 Mitsubishi Electric Research Laboratories, Inc. Multi-Dimensional Deep Neural Network
WO2022082007A1 (en) 2020-10-15 2022-04-21 Cape Analytics, Inc. Method and system for automated debris detection
US11875261B2 (en) 2020-10-16 2024-01-16 Ford Global Technologies, Llc Automated cross-node communication in distributed directed acyclic graph
US12373716B2 (en) 2020-10-16 2025-07-29 Ford Global Technologies, Llc Automated synchronization of clone directed acyclic graphs
US11556757B1 (en) 2020-12-10 2023-01-17 Neuralmagic Ltd. System and method of executing deep tensor columns in neural networks
KR20220096466A (ko) 2020-12-31 2022-07-07 삼성전자주식회사 뉴럴 네트워크 연산을 위한 메모리 관리 방법 및 장치
US11883746B2 (en) * 2021-02-23 2024-01-30 Electronic Arts Inc. Adversarial reinforcement learning for procedural content generation and improved generalization
WO2023283231A1 (en) 2021-07-06 2023-01-12 Cape Analytics, Inc. System and method for property condition analysis
US11954467B2 (en) 2021-08-05 2024-04-09 Aarish Technologies Convolutional neural network compiler for programmable functional array (PFA) processors
US11960982B1 (en) 2021-10-21 2024-04-16 Neuralmagic, Inc. System and method of determining and executing deep tensor columns in neural networks
WO2023114027A1 (en) 2021-12-16 2023-06-22 Cape Analytics, Inc. System and method for change analysis
WO2023141192A1 (en) 2022-01-19 2023-07-27 Cape Analytics, Inc. System and method for object analysis
US11935276B2 (en) 2022-01-24 2024-03-19 Cape Analytics, Inc. System and method for subjective property parameter determination
EP4523143A1 (en) * 2022-05-09 2025-03-19 Memcomputing, Inc. Deep neural network with multiple layers formed of multi-terminal logic gates
KR102740296B1 (ko) * 2022-06-03 2024-12-10 국립공주대학교 산학협력단 딥러닝 기반의 암호화된 데이터를 분류하기 위한 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체
US12229845B2 (en) 2022-06-13 2025-02-18 Cape Analytics, Inc. System and method for property group analysis
US20240394555A1 (en) * 2022-11-11 2024-11-28 Rakuten Mobile, Inc. Collaborative training with parallel operations
GB2631452A (en) * 2023-06-30 2025-01-08 Sony Interactive Entertainment Deutschland Gmbh Neural coding and decoding method and apparatus
US20250363500A1 (en) * 2024-05-21 2025-11-27 Rainforest Qa, Inc. Electronic systems generating product testing instructions and for providing automated product testing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960013709B1 (ko) 1992-06-26 1996-10-10 이정엽 전기 납땜 인두의 가열팁
TW226454B (en) 1993-11-02 1994-07-11 Ind Tech Res Inst Pattern recognition method for car plate
EP0694855B1 (en) 1994-07-28 2002-05-02 International Business Machines Corporation Search/sort circuit for neural networks
US6820070B2 (en) 2000-06-07 2004-11-16 Insyst Ltd. Method and tool for data mining in automatic decision making systems
EP1262907B1 (en) * 2001-05-28 2007-10-03 Honda Research Institute Europe GmbH Pattern recognition with hierarchical networks
US20030236760A1 (en) 2002-06-05 2003-12-25 Alex Nugent Multi-layer training in a physical neural network formed utilizing nanotechnology
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US20120203932A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Multi-master media metadata synchronization
US8463025B2 (en) * 2011-04-26 2013-06-11 Nec Laboratories America, Inc. Distributed artificial intelligence services on a cell phone
US10078620B2 (en) * 2011-05-27 2018-09-18 New York University Runtime reconfigurable dataflow processor with multi-port memory access module
US9811775B2 (en) 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI638272B (zh) * 2015-05-21 2018-10-11 Google Llc 用於對類神經網路執行類神經網路計算之系統與方法及相關正規化電路
TWI645301B (zh) * 2015-05-21 2018-12-21 美商谷歌有限責任公司 使用類神經網路處理器計算卷積
TWI754682B (zh) * 2017-04-18 2022-02-11 南韓商三星電子股份有限公司 降低卷積神經網路的計算複雜度的方法及系統

Also Published As

Publication number Publication date
US9563840B2 (en) 2017-02-07
US11928577B2 (en) 2024-03-12
US20140180989A1 (en) 2014-06-26
US10635966B2 (en) 2020-04-28
US20240346298A1 (en) 2024-10-17
US20170132514A1 (en) 2017-05-11
WO2014105865A1 (en) 2014-07-03
US9811775B2 (en) 2017-11-07
US20200327391A1 (en) 2020-10-15
US20150339571A1 (en) 2015-11-26
AU2013370514A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
TW201439926A (zh) 用於平行化迴旋神經網路之系統與方法
JP7158543B2 (ja) ニューラルネットワーク命令セットアーキテクチャ
JP7394104B2 (ja) ハードウェアにおけるカーネルストライドの実行
JP7346510B2 (ja) ニューラルネットワークプロセッサにおけるベクトル計算ユニット
CN112154462B (zh) 高性能流水线并行深度神经网络训练
CN112506669B (zh) 任务分配方法和装置、存储介质及电子设备
JP6840827B2 (ja) ニューラルネットワークプロセッサにおけるバッチ処理
CN112219209B (zh) 具有可重配置的核级和向量级并行度的并行计算架构
JP2022084674A (ja) 代替ループ限界値
US20200026997A1 (en) Method of managing data representation for deep learning, method of processing data for deep learning and deep learning system performing the same
US20200151573A1 (en) Dynamic precision scaling at epoch granularity in neural networks
US11556450B2 (en) Hybrid data-model parallelism for efficient deep learning
JP2024502225A (ja) ワークロードが平準化された活性化スパース性を用いた畳込みのための方法およびシステム
CN111652330A (zh) 图像处理方法、装置、系统、电子设备及可读存储介质
US10867008B2 (en) Hierarchical Jacobi methods and systems implementing a dense symmetric eigenvalue solver
CN106293942A (zh) 基于多机多卡的神经网络负载均衡优化方法和系统
CN111507456B (zh) 具有卷积神经网络处理的方法和装置
CN104854602B (zh) 一种神经网络单元、以及相关系统和方法
CN112966729A (zh) 一种数据处理方法、装置、计算机设备及存储介质
US11501134B2 (en) Convolution operator system to perform concurrent convolution operations
CN111712811A (zh) Hd地图的可扩展图形slam
HK40049195A (zh) 一种数据处理方法、装置、计算机设备及存储介质
WO2020194465A1 (ja) ニューラルネットワーク回路
US12518167B1 (en) Neural network training in a distributed system
CN115729517A (zh) 信息处理方法和装置、存储介质及电子设备