TWI819880B

TWI819880B - 硬體感知零成本神經網路架構搜尋系統及其網路潛力評估方法

Info

Publication number: TWI819880B
Application number: TW111141975A
Authority: TW
Inventors: 陳耀華; 楊鈞凱; 黃稚存
Original assignee: 財團法人工業技術研究院
Priority date: 2022-11-03
Filing date: 2022-11-03
Publication date: 2023-10-21
Also published as: US20240152731A1; TW202420146A; CN117993425A

Abstract

一種硬體感知零成本神經網路架構搜尋系統，用以執行以下步驟。將神經網路的搜尋空間分割成多個搜尋區塊，其中搜尋區塊的每一者包含多個候選區塊；透過潛在樣式產生模組(Latent Pattern Generator)引導評分該些候選區塊；以零成本準確度代理模組(Zero-cost Accuracy Proxy)評分每一搜尋區塊中的候選區塊；依序從每一搜尋區塊選取其所包括的其中一候選區塊以作為被選取候選區塊，將多個被選取候選區塊組合成多個待評估神經網路，並根據被選取候選區塊的評分計算該些待評估神經網路的網路潛力；以及挑選出網路潛力最高的待評估神經網路以確定對應的該些被選取候選區塊。

Description

硬體感知零成本神經網路架構搜尋系統及其網路潛力評估方法

本揭露是有關於一種神經網路搜尋技術，且特別是有關於一種硬體感知零成本神經網路架構搜尋系統及其網路潛力評估方法。

近年來，深度神經網路已經廣泛應用於各個領域。傳統的神經網路架構設計需要透過研究員或工程師反覆設計網路架構後實際訓練於訓練資料集，再測試其於驗證資料集的性能，但這樣的開發，對於網路架構搜尋空間的搜尋效率不佳。為了加速高性能網路架構設計速度，神經網路架構搜尋(NAS,Neural Architecture Search)應運而生，讓神經網路架構搜尋自動化高效率的進行搜索成為可能，並且成為近年各大公司商業化服務項目之一，例如Google的AutoML與百度的AutoDL。另一方面，因應神經網路實際部署於硬體需求，神經網路架構搜尋也依照需求設計成硬體感知的神經網路架構搜索，以利搜索出的神經網路符合硬體需求。

在神經網路架構搜尋上也具有與如前述手動神經網路架構設計的問題，例如反覆訓練與評估神經網路的時間代價、GPU性能需求、大量的能源消耗等，這些一直是神經網路架構搜尋的重要問題。隨著神經網路為了因應現實情境越來越複雜，訓練與驗證神經網路也需要更多的時間，神經網路架構搜尋速度成為影響研究進行與業界部署神經網路的時間的關鍵。因此，如何針對更快的神經網路架構搜尋進行更進一步的演算法開發是非常必要的。

近年來神經網路架構搜尋的開發仍面臨許多困難，主要困難在於多數出現搜尋速度越快，評估神經網路的準確程度會隨之下降，需要再搜尋速度上與找出的網路性能間進行取捨。通常所建立之模型若要求為搜尋空間最佳化的模型，則需耗費較多時間。尤其在近年來神經網路的寬度、深度、參數量等均大幅提高以提升神經網路架構搜尋性能，神經網路架構搜尋速度至關重要。因此，如何快速且有效的搜尋出高性能的神經網路，以符合近年來的神經網路快速設計與部屬需求，將是需要突破的課題。

本揭露提供一種硬體感知零成本(Zero-cost)神經網路架構搜尋系統，包括記憶體以及處理器。記憶體用以儲存神經網路；處理器耦接該記憶體，用以將該神經網路的搜尋空間分割成多個搜尋區塊，其中該些搜尋區塊的每一者包含多個候選區塊；透過潛在樣式產生模組(Latent Pattern Generator)引導評分該些候選區塊；以零成本準確度代理模組(Zero-cost Accuracy Proxy)評分該些搜尋區塊中每一者的該些候選區塊；依序從該些搜尋區塊的每一者的該些候選區塊當中選取被選取候選區塊，將該些被選取候選區塊組合成多個待評估神經網路，並根據該些被選取候選區塊的評分計算該些待評估神經網路的網路潛力；以及挑選出該些待評估神經網路中網路潛力最高之一者，以確定對應網路潛力最高之該待評估神經網路的該些被選取候選區塊。

本揭露提供一種硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法，包括：將神經網路的搜尋空間分割成多個搜尋區塊，其中該些搜尋區塊的每一者包含多個候選區塊；透過潛在樣式產生模組引導評分該些候選區塊；以零成本準確度代理模組評分該些候選區塊；依序從該些搜尋區塊的每一者的該些候選區塊當中選取被選取候選區塊，將該些被選取候選區塊組合成多個待評估神經網路，並根據該些被選取候選區塊的評分計算該些待評估神經網路的網路潛力；以及挑選出該些待評估神經網路中網路潛力最高之一者，以確定對應網路潛力最高之該待評估神經網路的該些被選取候選區塊。

基於上述，本揭露所述的硬體感知零成本神經網路架構搜尋系統及其網路潛力評估方法是結合目前學術發表中極具速度優勢的兩個神經網路搜尋技術(Neural Architecture Search，NAS)：逐塊(Blockwise)NAS與零成本(Zero-cost)NAS，大幅度提升近年來state-of-the-art(SOTA)神經網路架構搜尋(NAS,Neural Architecture Search，NAS)的搜尋效率。面對區塊在神經網路中的不同深度，進行正規化、排序等技巧，達到提升零成本NAS評估技術普遍不夠準確的問題，達到搜尋空間的搜索效率優化，並且具備評估神經網路準確度排序能力的提升。

1:硬體感知零成本神經網路架構搜尋系統

11:記憶體

110:神經網路

12:處理器

20:搜尋空間

200、201、202:搜尋區塊

200a~200c、201a~201e、202a~202c:候選區塊

21:潛在樣式產生模組

211:預訓練教師神經網路模型

212:高斯隨機雜訊模型

22:零成本準確度代理模組

220~222:零成本預測

23:分配調整模組

231:評分轉換排行子模組

232:評分正規化子模組

5:硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法

S51、S53、S531、S532、S55、S561、S562、S57、S59:步驟

圖1是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統的架構圖。

圖2是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統的方塊圖。

圖3是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統中透過預訓練教師神經網路模型引導評分候選區塊的方塊圖。

圖4是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統中透過高斯隨機雜訊模型引導評分候選區塊的方塊圖。

圖5是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法的流程圖。

本揭露的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本揭露的一部份，並未揭示所有本揭露的可實施方式。

圖1是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統1的架構圖。請參考圖1，硬體感知零成本神經網路架構搜尋系統1包括記憶體11以及處理器12。記憶體11用以儲存神經網路110，處理器12耦接記憶體11。

實務上來說，硬體感知零成本神經網路架構搜尋系統1可由電腦裝置來實作，例如是桌上型電腦、筆記型電腦、平板電腦、工作站等具有運算功能、顯示功能以及連網功能電腦裝置，本揭露並不加以限制。記憶體11例如是靜態隨機存取記憶體(Static Random-Access Memory，SRAM)、動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)或其他記憶體。處理器12可以是中央處理器(CPU)、微處理器(micro-processor)或嵌入式控制器(embedded controller)，本揭露並不加以限制。

圖2是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統的方塊圖，請參考圖1、2。處理器12將神經網路110的搜尋空間20以區塊(Block)為單位分割成多個搜尋區塊，如圖2所示的搜尋區塊0 200、搜尋區塊1 201、...、搜尋區塊N 202，共N+1個搜尋區塊，其中N為大於0的正整數。

搜尋空間20內多個搜尋區塊的每一者均包含多個候選區塊。如圖2所示，搜尋區塊0 200具有多個候選區塊0(200a~200c)，搜尋區塊1 201具有多個候選區塊1(201a~201c)，以此類推，搜尋區塊N 202具有多個候選區塊N(202a~202c)。

由於每一搜尋區塊中的多個候選區塊需有資料輸入之後，經由候選區塊運算，處理器12才能針對該候選區塊給予評分，因此，處理器12透過潛在樣式產生模組(Latent Pattern Generator)21引導評分每一搜尋區塊中的多個候選區塊。如圖2所示，處理器12會分別依序透過潛在樣式產生模組21引導評分搜尋區塊0 200內的候選區塊0(200a~200c)、搜尋區塊1 201內的候選區塊1(201a~201c)、...、搜尋區塊N 202內的候選區塊N(202a~202c)。

當處理器12透過潛在樣式產生模組21引導評分搜尋區塊0 200內的候選區塊0 200a~候選區塊0 200c後，處理器12以零成本準確度代理模組(Zero-cost Accuracy Proxy)22評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊，並紀錄搜尋區塊0 200中所有候選區塊0每一者的評分於記憶體11。

舉例來說，假設搜尋區塊0 200包括候選區塊0 200a、候選區塊0 200b以及候選區塊0 200c三者，處理器12以零成本準確度代理模組22的零成本預測0 220評分搜尋區塊0 200中的候選區塊0 200a、候選區塊0 200b、候選區塊0 200c，候選區塊0 200a的評分分數為7，候選區塊1 200b的評分分數為3，而候選區塊1 200c的評分分數為4，處理器12紀錄搜尋區塊0 200中候選區塊0 200a、候選區塊0 200b、候選區塊0 200c的評分於記憶體11。

同樣地，處理器12以零成本準確度代理模組22的零成本預測1 221評分搜尋區塊1 201中的候選區塊1 201a~候選區塊1 201c，並記錄搜尋區塊1 201中候選區塊1 201a~候選區塊1 201c的評分。處理器12以零成本準確度代理模組22的零成本預測N 222評分搜尋區塊N 202中的候選區塊N 202a~候選區塊N 202c，並記錄搜尋區塊N 202中候選區塊N 202a~候選區塊N 202c的評分於記憶體11。

當處理器12透過零成本準確度代理模組22評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊，並記錄搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊的評分之後，處理器12依序從搜尋區塊0 200~搜尋區塊N 202中每一者各選取一個候選區塊以作為被選取候選區塊，將被選取候選區塊組合成多個待評估神經網路。

舉例來說，首先，處理器12從搜尋區塊0 200選取了候選區塊0 200a，從搜尋區塊1 201選取了候選區塊1 201a，...，從搜尋區塊N 202選取了候選區塊N 202a，稱為第一次選取，因此，候選區塊0 200a、候選區塊1 201a、...、候選區塊N 202a是處理器12第一次選取出的多個被選取候選區塊，於是處理器12將候選區塊0 200a、候選區塊1 201a、...、候選區塊N 202a這些被選取候選區塊組合成第1個待評估神經網路。之後，處理器12又重新再從搜尋區塊0 200選取了候選區塊0 200b，從搜尋區塊1 201選取了候選區塊1 201a，...，從搜尋區塊N 202選取了候選區塊N 202a，稱為第二次選取，因此，候選區塊0 200b、候選區塊1 201a、...、候選區塊N 202a是處理器12第二次選取出的多個被選取候選區塊，於是處理器12將候選區塊0 200a、候選區塊1 201a、...、候選區塊N 202a這些被選取候選區塊組合成第2個待評估神經網路。以此類推，處理器12會透過M次從搜尋區塊中挑選候選區塊來組合成M個待評估神經網路。其中，M與搜尋區塊的個數和每一個搜尋區塊中候選區塊的個數有關係。

處理器12組合出M個待評估神經網路後，會根據每一個待評估神經網路中的多個被選取候選區塊的評分計算每一個待評估神經網路的網路潛力。之後，處理器12會從這M個待評估神經網路中挑選出網路潛力最高之一者，以確定對應網路潛力最高之待評估神經網路的被選取候選區塊，其中這些被選取候選區塊所組合出的神經網路會是網路潛力最高且預期其準確度也是最高的神經網路架構。

舉例來說，假設對應網路潛力最高之待評估神經網路是由被選取候選區塊0 200b、被選取候選區塊1 201a、...、被選取候選區塊N 202c所組合而成的，於是處理器12可確定候選區塊0 200b、候選區塊1 201a、...、候選區塊N 202c所組合出的神經網路會是網路潛力最高且預期其準確度也是最高的神經網路架構。

於一實施例中，處理器12還可透過分配調整(Distribution Tuner)模組23修改搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊的評分分布，其中，分配調整模組23包括評分轉換排行子模組231以及評分正規化子模組232。

當處理器12以零成本準確度代理模組22評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊後，處理器12透過分配調整模組23中的評分轉換排行子模組231針對每一搜尋區塊中的多個候選區塊評分分數轉換成候選區塊排行，根據該些候選區塊排行修改該些候選區塊的評分分布。

以搜尋區塊0 200為例，假設搜尋區塊0 200包括候選區塊0 200a、候選區塊0 200b以及候選區塊0 200c三者，候選區塊0 200a的評分分數為7，候選區塊1 200b的評分分數為3，而候選區塊1 200c的評分分數為4。處理器12透過分配調整模組23中的評分轉換排行子模組231將候選區塊0 200a~候選區塊0 200c三者的評分分數轉換成搜尋區塊0 200的候選區塊排行，即候選區塊0 200a為排行1，候選區塊1 200c為排行2，而候選區塊1 200b為排行3。

而後，處理器12依序從搜尋區塊0 200~搜尋區塊N 202中每一者各選取一個候選區塊以作為被選取候選區塊，將被選取候選區塊組合成多個待評估神經網路，經過多次從搜尋區塊中挑選候選區塊來組合成多個待評估神經網路。

處理器12組合出多個待評估神經網路後，會根據每一個待評估神經網路中的多個被選取候選區塊的排行計算每一個待評估神經網路的網路潛力。之後，處理器12會從這多個待評估神經網路中挑選出網路潛力最高之一者，以確定對應網路潛力最高之待評估神經網路的被選取候選區塊，其中這些被選取候選區塊所組合出的神經網路會是網路潛力最高且預期其準確度也是最高的神經網路架構。

於另一實施例中，當處理器12以零成本準確度代理模組22評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊後，處理器12透過分配調整模組23中的評分正規化子模組232針對每一搜尋區塊中的多個候選區塊的評分進行正規化。而後，處理器12根據搜尋區塊0 200~搜尋區塊N 202中每一者中的多個候選區塊的正規化評分修改候選區塊的評分分布。

處理器12組合出多個待評估神經網路後，會根據每一個待評估神經網路中的多個被選取候選區塊的正規化評分計算每一個待評估神經網路的網路潛力。之後，處理器12會從這多個待評估神經網路中挑選出網路潛力最高之一者，以確定對應網路潛力最高之待評估神經網路的被選取候選區塊。

於又一實施例中，當處理器12以零成本準確度代理模組22評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊後，處理器12透過分配調整模組23中的評分轉換排行子模組231針對每一搜尋區塊中的多個候選區塊評分分數轉換成候選區塊排行，再透過分配調整模組23中的評分正規化子模組232針對搜尋區塊0 200~搜尋區塊N 202中每一者中多個候選區塊排行進行正規化，根據搜尋區塊0 200~搜尋區塊N 202中每一者中的多個候選區塊排行的正規化評分修改候選區塊的評分分布。

處理器12組合出多個待評估神經網路後，會根據每一個待評估神經網路中的多個被選取候選區塊的正規化評分計算每一個待評估神經網路的網路潛力。之後，處理器12會從這多個待評估神經網路中挑選出網路潛力最高之一者，以確定對應網路潛力最高之待評估神經網路的被選取候選區塊，其中這些被選取候選區塊所組合出的神經網路會是網路潛力最高且預期其準確度也是最高的神經網路架構。

於一實施例中，潛在樣式產生模組21包含預訓練教師(Pre-trained Teacher)神經網路模型以及高斯隨機雜訊(Gaussian Normal Distributed Random)模型，處理器12透過預訓練教師神經網路模型以及高斯隨機雜訊模型當中之一者引導評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊。特別說明的是，處理器12不會同時透過預訓練教師神經網路模型以及高斯隨機雜訊模型當中之一者引導評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊。以下將更進一步說明處理器12透過預訓練教師神經網路模型或者高斯隨機雜訊模型引導評分候選區塊的部分。

圖3是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統中透過預訓練教師神經網路模型211引導評分候選區塊的方塊圖。請參考圖1、3。本揭露所敘及的預訓練教師神經網路模型211是一已預先訓練好的神經網路訓練模型。處理器12將預訓練教師神經網路模型211的搜尋空間以區塊為單位分割成多個搜尋區塊，如圖3所示的搜尋區塊0 200、搜尋區塊1 201、...、搜尋區塊N 202，共N+1個搜尋區塊，其中N為大於0的正整數。

搜尋空間20內的搜尋區塊0 200、搜尋區塊1 201、...、搜尋區塊N 202的每一者均包含多個候選區塊。如圖3所示，搜尋區塊0 200具有多個候選區塊0(200a~200c)，搜尋區塊1 201具有多個候選區塊1(201a~201c)，以此類推，搜尋區塊N 202具有多個候選區塊N(202a~202c)。

當資料輸入硬體感知零成本神經網路架構搜尋系統1之後，會依序經由預訓練教師神經網路模型211的搜尋空間內的搜尋區塊0 200、搜尋區塊1 201、...、搜尋區塊N 202進行運算，同時，處理器12也會透過預訓練教師神經網路模型211引導評分每一搜尋區塊中的多個候選區塊。如圖3所示，處理器12會分別依序透過預訓練教師神經網路模型211引導評分搜尋區塊0 200內的候選區塊0(200a~200c)、搜尋區塊1 201內的候選區塊1(201a~201c)、...、搜尋區塊N 202內的候選區塊N(202a~202c)。

接著，處理器12以零成本準確度代理模組22評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊。此部分的細節已於前面相關段落闡述，此處將不再贅述。當處理器12以零成本準確度代理模組22評分搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊之後，處理器21會紀錄每一個搜尋區塊的多個候選區塊的評分於記憶體11。

以搜尋區塊0 200為例，由於搜尋區塊0 200是已預先訓練好的預訓練教師神經網路模型211中的其中一個搜尋區塊，因此，可以搜尋區塊0 200作為基準，處理器12依序透過零成本準確度代理模組22的零成本預測0 220評分搜尋區塊0 200所對應的候選區塊0 200a~候選區塊0 200c，並記錄搜尋區塊0 200所包含的候選區塊0 200a~候選區塊0 200c的評分於記憶體11。

當處理器12記錄搜尋區塊0 200~搜尋區塊N 202中每一者的候選區塊的評分之後，會依序從搜尋區塊0 200~搜尋區塊N 202中每一者各選取一個候選區塊以作為被選取候選區塊，透過多次從搜尋區塊中挑選出被選取候選區塊組合成多個待評估神經網路。

處理器12組合出多個待評估神經網路後，會根據每一個待評估神經網路中的多個被選取候選區塊的評分計算每一個待評估神經網路的網路潛力。之後，處理器12會從這多個待評估神經網路中挑選出網路潛力最高之一者，以確定對應網路潛力最高之待評估神經網路的被選取候選區塊，其中這些被選取候選區塊所組合出的神經網路會是網路潛力最高且預期其準確度也是最高的神經網路架構。

圖4是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統中透過高斯隨機雜訊模型212引導評分候選區塊的方塊圖。請參考圖1、4。本揭露所敘及的高斯隨機雜訊模型212會產生隨機雜訊以提供輸入至神經網路110的搜尋空間20。

處理器12透過高斯隨機雜訊模型212引導評分每一搜尋區塊中的多個候選區塊。如圖4所示，處理器12會分別依序透過高斯隨機雜訊模型212引導評分搜尋區塊0 200內的候選區塊0(200a~200c)、搜尋區塊1 201內的候選區塊1(201a~201c)、...、搜尋區塊N 202內的候選區塊N(202a~202c)。處理器12依序透過零成本準確度代理模組22的零成本預測0 220~零成本預測N 222評分搜尋區塊0 200~搜尋區塊N 202所對應的候選區塊。處理器12會記錄搜尋區塊0 200~搜尋區塊N 202每一者中的候選區塊的評分。

圖5是根據本揭露的一實施例繪示硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法5的流程圖。請參考圖5。硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法5包括步驟S51、步驟S53、步驟S55、步驟S57以及步驟S59。

於步驟S51，將神經網路的搜尋空間分割成多個搜尋區塊，其中該些搜尋區塊的每一者包含多個候選區塊。於步驟S53，透過潛在樣式產生模組引導評分該些候選區塊。

於一實施例中，潛在樣式產生模組包含預訓練教師神經網路模型以及高斯隨機雜訊模型，透過預訓練教師神經網路模型以及高斯隨機雜訊模型當中之一者引導評分多個搜尋區塊中每一者的候選區塊。倘若硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法中的潛在樣式產生模組採用預訓練教師神經網路模型，則完成步驟S51之後，接續步驟S53中的步驟S531，即透過預訓練教師神經網路模型引導評分多個搜尋區塊中每一者的候選區塊。倘若硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法中的潛在樣式產生模組採用高斯隨機雜訊模型，則完成步驟S51之後，接續步驟S53中的步驟S532，即透過高斯隨機雜訊模型引導評分多個搜尋區塊中每一者的候選區塊。特別說明的是，步驟S531以及步驟S532不會同時執行。

無論硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法中的潛在樣式產生模組是採用預訓練教師神經網路模型(步驟S531)或者採用高斯隨機雜訊模型(步驟S532)，接下來，於步驟S55，以零成本準確度代理模組評分多個搜尋區塊中每一者的候選區塊。於步驟S57，依序從搜尋區塊的每一者選取候選區塊當中之一者以作為被選取候選區塊，將多個被選取候選區塊組合成多個待評估神經網路，並根據多個被選取候選區塊的評分計算多個待評估神經網路的網路潛力。於步驟S59，挑選出多個待評估神經網路中網路潛力最高之一者，以確定對應網路潛力最高之待評估神經網路的被選取候選區塊，其中這些被選取候選區塊所組合出的神經網路會是網路潛力最高且預期其準確度也是最高的神經網路架構。

於一實施例中，在硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法中，於步驟S55中以零成本準確度代理模組評分候選區塊之後，可直接執行步驟S57，更可於執行步驟S55之後，先修改該些候選區塊的評分分布，包含如步驟S561中將評分轉換成排行的方式，以及如步驟S562中將評分正規化的方式。特別說明的是，本揭露所述硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法中，在執行步驟S55之後，可單獨執行步驟S561以及步驟S562當中之一者，再執行步驟S57，亦可於執行步驟S55之後，先執行步驟S561，再執行步驟S562，最後執行步驟S57。

綜上所述，本揭露所述的硬體感知零成本神經網路架構搜尋系統及硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法可加速神經網路架構搜尋速度與提高神經網路架構搜尋準確度。利用Blockwise NAS的搜索空間搜索代理完整模型的搜索空間，達到指數等級的空間簡化優勢。近年來的零成本Zero-cost NAS引發學術界思考是否可以在完全無訓練的情境下完成神經網路搜索。本揭露所述的硬體感知零成本神經網路架構搜尋系統及硬體感知零成本神經網路架構搜尋系統的網路潛力評估方法結合空間代理與訓練代理技術，達到高速神經網路架構搜尋效果。另外，也將零成本Zero-cost的評估技術應用於Blockwise角度，取代過往均以完整網路的性能評估角度，藉由正規化、排序等技巧，進一步提升零成本Zero-cost評分與訓練後的準確度的相關程度，以利在尚未訓練的情形下也能正確搜索出高性能的神經網路。利用Blockwise與Zero-cost的結合可達到快速且準確的神經網路架構搜索效果，本揭露所提出的技術可以有效在現今日益龐大的神經網路架構的趨勢下，快速且準確的搜尋出高效能的神經網路架構。此外，本揭露所提出的技術亦可以應用於多離開點網路(Multi- exit Neural Network)架構搜索，適用於雲端與使用者之間需求的服務質量(Quality of Service，QoS)情境，呈現出優勢的多類型架構搜索能力。