[go: up one dir, main page]

TWI770922B - 低精度神經網路的資料特徵擴增系統及方法 - Google Patents

低精度神經網路的資料特徵擴增系統及方法 Download PDF

Info

Publication number
TWI770922B
TWI770922B TW110111849A TW110111849A TWI770922B TW I770922 B TWI770922 B TW I770922B TW 110111849 A TW110111849 A TW 110111849A TW 110111849 A TW110111849 A TW 110111849A TW I770922 B TWI770922 B TW I770922B
Authority
TW
Taiwan
Prior art keywords
signal
time difference
sample
input signal
hold circuit
Prior art date
Application number
TW110111849A
Other languages
English (en)
Other versions
TW202240474A (zh
Inventor
蔡富程
郭宜靜
林志昇
許世玄
林泰吉
張世杰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW110111849A priority Critical patent/TWI770922B/zh
Priority to CN202110453026.1A priority patent/CN115145534B/zh
Priority to US17/385,316 priority patent/US12260321B2/en
Application granted granted Critical
Publication of TWI770922B publication Critical patent/TWI770922B/zh
Publication of TW202240474A publication Critical patent/TW202240474A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G06F7/485—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/02—Sample-and-hold arrangements
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H03M1/124—Sampling or signal conditioning arrangements specially adapted for A/D converters
    • H03M1/1245—Details of sampling arrangements or methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Analogue/Digital Conversion (AREA)
  • Amplifiers (AREA)

Abstract

一種低精度神經網路的資料特徵擴增系統及方法。資料特徵擴增系統包括一第一時間差分單元。第一時間差分單元包括一第一取樣保持電路以及一減法器。第一取樣保持電路用以接收一輸入訊號，並根據輸入訊號獲得一第一訊號。第一訊號與第一取樣保持電路的一第一漏電速率相關。第一訊號與輸入訊號相差一個時間單位。減法器用以將輸入訊號與第一訊號相減以獲得一時間差分訊號。輸入訊號及時間差分訊號被輸入至低精度神經網路。

Description

低精度神經網路的資料特徵擴增系統及方法
本發明是有關於一種資料特徵擴增系統及方法，且特別是有關於一種低精度神經網路的資料特徵擴增系統及方法。
神經網路(Neural Networks，NN)可應用在不同的領域，例如影像辨識和語音識別等。在神經網路的應用中，包含大量的運算量，例如數億次的乘、加運算，其需要搭配高成本的相關硬體，來達到神經網路的效能。為了解決上述巨大運算量所帶來硬體資源消耗的問題，目前可透過降低神經網路的精度，使原本高精度的神經網路轉換成低精度的神經網路進行運算，來減少運算量。
此作法雖可降低運算量以使硬體資源消耗可減少，但是低精度神經網路的預測精準度也會跟著受到影響而大打折扣。因此，如何減少神經網路的運算量同時又可提升預測精準度成為業界努力的重點之一。
本發明係有關於一種低精度神經網路的資料特徵擴增系統及方法，其利用時間差分運算擴增輸入資料的特徵，可確保低精度神經網路的預測精準度。
根據本發明之一實施例，提出一種低精度神經網路的資料特徵擴增系統。資料特徵擴增系統包括一第一時間差分單元。第一時間差分單元包括一第一取樣保持電路以及一減法器。第一取樣保持電路用以接收一輸入訊號，並根據輸入訊號獲得一第一訊號。第一訊號與第一取樣保持電路的一第一漏電速率相關。第一訊號與輸入訊號相差一個時間單位。減法器用以將輸入訊號與第一訊號相減以獲得一時間差分訊號。輸入訊號及時間差分訊號被輸入至低精度神經網路。
根據本發明之另一實施例，提出一種低精度神經網路的資料特徵擴增方法。資料特徵擴增方法包括以下步驟。接收一輸入訊號，並根據輸入訊號獲得一第一訊號。第一訊號與一第一取樣保持電路的一第一漏電速率相關。第一訊號與輸入訊號相差一個時間單位。將輸入訊號與第一訊號相減以獲得一時間差分訊號。輸入訊號及時間差分訊號被輸入至低精度神經網路。
為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100,1100:資料特徵擴增系統
110:時間差分單元
111-1:第一取樣保持電路
111-2:第二取樣保持電路
111-K:第K取樣保持電路
112:減法器
120,1120:第一類比數位轉換器
130,1130:第二類比數位轉換器
200,1200:低精度神經網路
300,1300:全局池化
402,902,904:切換器
702,1202,1204:多工器
1110-1:第一時間差分單元
1110-2:第二時間差分單元
C1,C1’:第一係數
C2,C2’:第二係數
CK,CK’:第K係數
S:輸入訊號
S1:第一訊號
S2:第二訊號
SK:第K訊號
TDS:時間差分訊號
S’,TDS’,TDS2’:數位訊號
TDS1:第一時間差分訊號
TDS2:第二時間差分訊號
S110,S120,S210,S220,S230,S310,S320:步驟
N1,N2,N3:端點
第1圖繪示根據本發明一實施例之資料特徵擴增系統、低精度神經網路及全局池化的示意圖；第2圖繪示根據本發明一實施例之時間差分單元的示意圖；第3圖繪示根據本發明一實施例之低精度神經網路的資料特徵擴增方法； 第4圖繪示根據本發明另一實施例之時間差分單元的示意圖；第5圖繪示根據本發明一實施例之低精度神經網路的資料特徵擴增方法；第6圖繪示根據本發明另一實施例之時間差分單元的示意圖；第7圖繪示根據本發明另一實施例之時間差分單元的示意圖；第8圖繪示根據本發明另一實施例之時間差分單元的示意圖；第9圖繪示根據本發明另一實施例之時間差分單元的示意圖；第10圖繪示根據本發明一實施例之低精度神經網路的資料特徵擴增方法；第11圖繪示根據本發明另一實施例之時間差分單元的示意圖；第12圖根據本發明另一實施例之時間差分單元的示意圖；第13圖根據本發明另一實施例之時間差分單元的示意圖；及第14圖根據本發明另一實施例之資料特徵擴增系統的示意圖。
請參照第1圖，其繪示根據本發明一實施例之資料特徵擴增系統100、低精度神經網路200及全局池化300的示意圖。資料特徵擴增系統100包括一時間差分單元110、以及選擇性的包括一第一類比數位轉換器120及一第二類比數位轉換器130。第一類比數位轉換器120及第二類比數位轉換器130為低解析度的類比數位轉換器。時間差分單元110可接收一輸入資料，例如一輸入訊號S，並輸出一時間差分 訊號TDS。輸入訊號S以及時間差分訊號TDS為類比訊號。輸入訊號S及時間差分訊號TDS可直接被輸入至低精度神經網路200。
在一實施例中，輸入訊號S及時間差分訊號TDS被輸入至低精度神經網路200之前，先被分別輸入至第一類比數位轉換器120及第二類比數位轉換器130。第一類比數位轉換器120將輸入訊號S轉換成對應的數位訊號S’。第二類比數位轉換器130將時間差分訊號TDS轉換成對應的數位訊號TDS’。接著，數位訊號S’及TDS’才被輸入至低精度神經網路200。低精度神經網路200例如為二值化神經網路(Binarized Neural Network)或短字長神經網路(Short-Wordlength Neural Network)。然後，低精度神經網路200的輸出被輸入至全局池化(Global pool)300中進行全局池化運算。
如此一來，本發明可透過時間差分單元110對輸入訊號S進行時間差分運算以獲得時間差分訊號TDS來擴增輸入訊號S的特徵，並將輸入訊號S和時間差分訊號TDS作為低精度神經網路200的輸入，以提升低精度神經網路200的預測精準度。另外，若需要將輸入訊號S和時間差分訊號TDS轉換成數位訊號後再輸入至低精度神經網路200，則本發明僅需使用低解析度的類比數位轉換器，可節省硬體成本，且不會影響低精度神經網路200的預測精準度。
時間差分單元110根據輸入訊號S獲得時間差分訊號TDS的方法有多個實施方式，以下將進一步描述。
請參照第1至3圖。第2圖繪示根據本發明一實施例之時間差分單元110的示意圖。第3圖繪示根據本發明一實施例之低精度神 經網路200的資料特徵擴增方法。在一實施例中，時間差分單元110包括一第一取樣保持電路111-1及一減法器112，如第2圖所示。
步驟S110，第一取樣保持電路111-1接收一輸入訊號S，並根據輸入訊號S獲得一第一訊號S1，第一訊號S1與第一取樣保持電路111-1的一第一漏電速率相關且第一訊號S1與輸入訊號S相差一個時間單位。具體來說，第一取樣保持電路111-1對輸入訊號S進行取樣及保持，並控制第一取樣保持電路111-1的第一漏電速率以獲得第一訊號S1。第一訊號S1可表示為C1*[S-1]，其中[S-1]為與輸入訊號S相差一個時間單位的訊號，C1為第一係數其與第一漏電速率相關且第一係數C1界於0.5至1之間。第一漏電速率係可調整的，亦即可藉由調整第一漏電速率來決定第一係數C1的大小。其中，漏電速率係與取樣保持電路的RC常數相關，可以藉由調整取樣保持電路的電阻值或電容值，來改變漏電速率。漏電速率例如是指，將取樣保持電路中用以保持住取樣值之電容所儲存的電荷，以某種比例值(約50%~100%)進行漏電，以使取樣保持電路輸出的取樣值變小時，所對應之漏電後的電壓與漏電前的電壓的比值。
步驟S120，減法器112將輸入訊號S與第一訊號S1相減以獲得一時間差分訊號TDS。時間差分訊號TDS可表示為S-C1*[S-1]。
請參照第1、4、5圖。第4圖繪示根據本發明另一實施例之時間差分單元110的示意圖。第5圖繪示根據本發明一實施例之低精度神經網路200的資料特徵擴增方法。在一實施例中，時間差分單元110包括一第一取樣保持電路111-1、一第二取樣保持電路111-2及一減法器112，且第一取樣保持電路111-1與第二取樣保持電路111-2係 以並聯連接，並以一切換器402使輸入訊號S輸入至第一取樣保持電路111-1與第二取樣保持電路111-2二者之一，如第4圖所示。切換器402亦可使用多工器來達成。
步驟S210，第一取樣保持電路111-1接收一輸入訊號S，並根據輸入訊號S獲得一第一訊號S1，第一訊號S1與第一取樣保持電路111-1的一第一漏電速率相關且第一訊號S1與輸入訊號S相差一個時間單位。第一取樣保持電路111-1獲得第一訊號S1的方式如前所述，在此不多贅述。第一訊號S1可表示為C1*[S-1]，其中[S-1]為與輸入訊號S相差一個時間單位的訊號(例如，第一訊號S1係為目前之輸入訊號S的1個時脈週期之前的值[S-1]乘上C1)，C1為第一係數其與第一漏電速率相關且第一係數C1界於0.5至1之間。第一漏電速率係可調整的，亦即可藉由調整第一漏電速率來決定第一係數C1的大小。
步驟S220，第二取樣保持電路111-2接收一輸入訊號S，並根據輸入訊號S獲得一第二訊號S2，第二訊號S2與第二取樣保持電路111-2的一第二漏電速率相關且第二訊號S2與輸入訊號S相差二個時間單位。具體來說，第二取樣保持電路111-2對輸入訊號S進行取樣及保持，並控制第二取樣保持電路111-2的第二漏電速率以獲得第二訊號S2。第二訊號S2可表示為C2*[S-2]，其中[S-2]為與輸入訊號S相差兩個時間單位的訊號(例如，第二訊號S2係為目前之輸入訊號S的2個時脈週期之前的值[S-2]乘上C2)，C2為第二係數其與第二漏電速率相關且第二係數C1界於0.5至1之間。第二漏電速率係可調整的，亦即可藉由調整第二漏電速率來決定第二係數C2的大小。
步驟S230，減法器112將輸入訊號S與第一訊號S1及第二訊號S2相減以獲得時間差分訊號TDS。時間差分訊號TDS可表示為S-C1*[S-1]-C2*[S-2]。
茲舉一例說明如下。假設輸入訊號S為持續串流輸入的聲音訊號。請同時參考下列表一，其列示時間點t1至時間點t3之輸入訊號S、第一訊號S1與第二訊號S2之值之一例。於時間點t1時，切換器402之端點N1與端點N2電性連接，使第二取樣保持電路111-2對輸入訊號S(此時輸入訊號S的值例如為S(t1))進行取樣與保持。於時間點t2(落後時間點t1一個時脈週期)時，第二取樣保持電路111-2輸出第二訊號S2，第二訊號S2的值為C2*[S-1]，亦即為時間點t2之一個時脈週期前的S值([S-1])乘以C2，例如為C2*S(t1))。
同樣於時間點t2時，切換器402切換成使切換器402之端點N1與端點N3電性連接，使第一取樣保持電路111-1對輸入訊號S進行取樣與保持。而於時間點t3(落後時間點t1二個時脈週期)時，第一取樣保持電路111-1輸出第一訊號S1，第一訊號S1的值為=C1*[S-1]，亦即為時間點t3之一個時脈週期前的S值([S-1])乘以C1，例如為C1*S(t2))。於時間點t3，第二取樣保持電路111-2繼續輸出之前所保持的第二訊號S2，亦即C2*S(t1)，也就是時間點t3之二個時脈週期前的S值([S-2])乘以C2。
此時，於時間點t3時，減法器112將接收到取樣保持電路111-1輸出之第一訊號S1(=C1*[S-1]，例如為C1*S(t2))、第二取樣保持電路111-2輸出之第二訊號S2(=C2*[S-2]，例如為C2*S(t1))、與目前的輸入訊號S(例如為S(t3))，而進行減法運算，以得到時間差分訊號TDS(TDS=S-C1*[S-1]-C2*[S-2]，例如為S(t3)-C1*S(t2)-C2*S(t1)。
Figure 110111849-A0305-02-0010-1
請參照第6圖，其繪示根據本發明另一實施例之時間差分單元110的示意圖。雖第4圖之第一取樣保持電路111-1與第二取樣保持電路111-2係以並聯連接，但在另一實施例中，第一取樣保持電路111-1與第二取樣保持電路111-2也可以串聯連接，以執行步驟S210至S230，如第6圖所示。第6圖之時間差分單元110獲得的時間差分訊號TDS可表示為S-C1*[S-1]-C2*[S-2]。
茲舉一例說明如下。假設輸入訊號S為持續串流輸入的聲音訊號。請同時參考下列表二，其列示時間點t4至時間點t6之輸入訊號S、第一訊號S1與第二訊號S2之值之一例。例如，於時間點t4時，第一取樣保持電路111-1對輸入訊號S(此時輸入訊號S的值例如為S(t4))進行取樣與保持。於時間點t5時(落後時間點t4一個時脈週期)，第一取樣保持電路111-1輸出第一訊號S1，第一訊號S1的值為C1’*[S-1]，亦即為時間點t5之一個時脈週期前的S值([S-1])乘以C1’，例如為C1’*S(t4))，其中，C1’=C1。第一取樣保持電路111-1並且再 次對輸入訊號S(此時輸入訊號S的值例如為S(t5))進行取樣與保持。同樣於時間點t5，第二取樣保持電路111-2亦對第一訊號S1(=C1’*[S-1]，例如為C1’*S(t4))進行取樣與保持。
於時間點t6(落後時間點t4二個時脈週期)時，第一取樣保持電路111-1再次對輸入訊號S(此時輸入訊號S的值例如為S(t6))進行取樣與保持，第一取樣保持電路111-1並輸出第一訊號S1，第一訊號S1的值為C1’*[S-1]，即為時間點t6之一個時脈週期前的S值([S-1])乘以C1’，例如為C1’*S(t5)。亦是第一取樣保持電路111-1輸出時間點t5時取樣得到的輸入訊號S乘以C1’後的結果。同時，於時間點t6時，第二取樣保持電路111-2則是對第一訊號S1(例如為C1’*S(t5))進行取樣與保持，第二取樣保持電路111-2並輸出第二訊號S2，第二訊號S2的值為C2’*[S1-1]=C2’*C1’*[S-2]。亦即為時間點t6之一個時脈週期前的S1值([S1-1])乘以C2’，例如為C2’*S1(t5)，也就是時間點t6之二個時脈週期前的S值([S-2])乘以C2’*C1’，例如為C2’*C1’*S(t4)。
如此，於時間點t6，減法器112將可從第二取樣保持電路111-2的輸出端取得第二訊號S2(=C2’*C1’*[S-2]=C2*[S-2]，其中C2’*C1’=C2)，並可同時於第一取樣保持電路111-2的輸出端取得第一訊號S1(=C1’*[S-1])，且可同時接收目前的輸入訊號S，來進行減法運算，以得到時間差分訊號TDS之值(TDS=S-C1’*[S-1]-C1’*C2’*[S-2]=S-C1*[S-1]-C2*[S-2])。
Figure 110111849-A0305-02-0012-2
請參照第7圖，其繪示根據本發明另一實施例之時間差分單元110的示意圖。在一實施例中，時間差分單元110包括一第一取樣保持電路111-1、一第二取樣保持電路111-2...一第K取樣保持電路111-K及一減法器112，且第一取樣保持電路111-1、第二取樣保持電路111-2...第K取樣保持電路111-K係以並聯連接，並以一多工器702使輸入訊號S於不同時間點分別輸入至第一取樣保持電路111-1、第二取樣保持電路111-2...及第K取樣保持電路111-K，如第7圖所示。在此實施例中，時間差分單元110獲得的時間差分訊號TDS可表示為S-C1*[S-1]-C2*[S-2]-...-CK*[S-K]。其中[S-1]為與輸入訊號S相差一個時間單位的訊號，C1為第一係數，其與第一漏電速率相關且第一係數C1界於0.5至1之間。[S-2]為與輸入訊號S相差兩個時間單位的訊號，C2為第二係數，其與第二漏電速率相關且第二係數C1界於0.5至1之間。[S-K]為與輸入訊號S相差K個時間單位的訊號，CK為第K係數，其與第K漏電速率相關且第K係數界於0.5至1之間。第一漏電速率、第二漏電速率...、第K漏電速率係可調整的，亦即可藉由分別調整第一漏電速率、第二漏電速率...、第K漏電速率來決定第一係數C1、第二 係數C2...及第K係數的大小。第7圖之時間差分單元110獲得時間差分訊號TDS的方式類似於第4圖之時間差分單元110所述，在此不多贅述。
請參照第8圖，其繪示根據本發明另一實施例之時間差分單元110的示意圖。雖第7圖之第一取樣保持電路111-1、第二取樣保持電路111-2...及第K取樣保持電路111-K係以並聯連接，但在另一實施例中，第一取樣保持電路111-1、第二取樣保持電路111-2...及第K取樣保持電路111-K也可以串聯連接，如第8圖所示。第8圖之時間差分單元110所獲得的時間差分訊號TDS亦可表示為S-C1*[S-1]-C2*[S-2]-...-CK*[S-K]。
請參照第1、9、10圖。第9圖繪示根據本發明另一實施例之時間差分單元110的示意圖。第10圖繪示根據本發明一實施例之低精度神經網路200的資料特徵擴增方法。在一實施例中，時間差分單元110包括一第一取樣保持電路111-1、一第二取樣保持電路111-2及一減法器112，且第一取樣保持電路111-1與第二取樣保持電路111-2係以並聯連接，並以一切換器902使輸入訊號S輸入至第一取樣保持電路111-1或第二取樣保持電路111-2，以及以另一切換器904使第一取樣保持電路111-1的輸出或第二取樣保持電路111-2的輸出輸入至減法器112，如第9圖所示。以下以切換器902使輸入訊號S輸入至第二取樣保持電路111-2，以及以另一切換器904使第二取樣保持電路111-2的輸出輸入至減法器112為例。上述之切換器902與切換器904亦可使用多工器來達成。
步驟S310，第二取樣保持電路111-2接收一輸入訊號S，並根據輸入訊號S獲得一第二訊號S2，第二訊號S2與第二取樣保持電路111-2的一第二漏電速率相關且第二訊號S2與輸入訊號S相差二個時間單位。具體來說，第二取樣保持電路111-2對輸入訊號S進行取樣及保持，並控制第二取樣保持電路111-2的第二漏電速率以獲得第二訊號S2。第二訊號S2可表示為C2*[S-2]，其中[S-2]為與輸入訊號S相差兩個時間單位的訊號，C2為第二係數其與第二漏電速率相關且第二係數C2界於0.5至1之間。第二漏電速率係可調整的，亦即可藉由調整第二漏電速率來決定第二係數C2的大小。
步驟S320，減法器112將輸入訊號S與第二訊號S2相減以獲得時間差分訊號TDS。時間差分訊號TDS可表示為S-C2*[S-2]。
請參照第11圖，其繪示根據本發明另一實施例之時間差分單元110的示意圖。雖第9圖之第一取樣保持電路111-1與第二取樣保持電路111-2係以並聯連接，但在另一實施例中，第一取樣保持電路111-1與第二取樣保持電路111-2也可以串聯連接，以執行步驟S310及S320，如第11圖所示。第11圖之時間差分單元110獲得的時間差分訊號TDS可表示為S-C2*[S-2]，其中C2例如等於C1’*C2’。
請參照第12圖，其繪示根據本發明另一實施例之時間差分單元110的示意圖。在一實施例中，時間差分單元110包括一第一取樣保持電路111-1、一第二取樣保持電路111-2...及一第K取樣保持電路111-K及一減法器112，且第一取樣保持電路111-1、第二取樣保持電路111-2...及第K取樣保持電路111-K係以並聯連接，並以一多工器1202使輸入訊號S輸入至第一取樣保持電路111-1、第二取樣保持電路 111-2...或第K取樣保持電路111-K，以及以另一多工器1204使第一取樣保持電路111-1的輸出、第二取樣保持電路111-2的輸出或第K取樣保持電路111-K的輸出輸入至減法器112，如第12圖所示。以下以多工器1202使輸入訊號S輸入至第K取樣保持電路111-K，以及以另一多工器1204使第K取樣保持電路111-K的輸出輸入至減法器112為例。在此實施例中，時間差分單元110獲得的時間差分訊號TDS可表示為S-CK*[S-K]，其中[S-K]為與輸入訊號S相差K個時間單位的訊號，CK為第K係數其與第K漏電速率相關且第K係數C1界於0.5至1之間。第K漏電速率係可調整的，亦即可藉由調整第K漏電速率來決定第K係數的大小。第12圖之時間差分單元110獲得時間差分訊號TDS的方式類似於第9圖之時間差分單元110所述，在此不多贅述。
請參照第13圖，其繪示根據本發明另一實施例之時間差分單元110的示意圖。雖第12圖之第一取樣保持電路111-1、第二取樣保持電路111-2...及第K取樣保持電路111-K係以並聯連接，但在另一實施例中，第一取樣保持電路111-1、第二取樣保持電路111-2...及第K取樣保持電路111-K也可以串聯連接，如第13圖所示。第13圖之時間差分單元110所獲得的時間差分訊號TDS亦可表示為S-CK*[S-K]，其中CK例如等於C1’*C2’*...*CK’。
本發明可透過調整取樣保持電路的漏電速率，達到調整時間差分運算的比例，以獲得時間差分訊號。如此一來，可提升低精度神經網路的預測精準度。
請參照第14圖，繪示根據本發明另一實施例之資料特徵擴增系統1100的示意圖。在一實施例中，資料特徵擴增系統1100包括兩個時間差分單元。資料特徵擴增系統1100包括一第一時間差分單元1110-1、一第二時間差分單元1110-2、以及選擇性的包括一第一類比數位轉換器1120及一第二類比數位轉換器1130。第一時間差分單元1110-1與第二時間差分單元1110-2係以串接連接。第一時間差分單元1110-1可接收一輸入資料，例如一輸入訊號S，並輸出一第一時間差分訊號TDS1。輸入訊號S以及第一時間差分訊號TDS1為類比訊號。第一時間差分訊號TDS1被輸入至第二時間差分單元1110-2。接著，第二時間差分單元1110-2輸出一第二時間差分訊號TDS2。輸入訊號S及第二時間差分訊號TDS2可直接被輸入至低精度神經網路1200。
在一實施例中，輸入訊號S及第二時間差分訊號TDS2被輸入至低精度神經網路1200之前，先被分別輸入至第一類比數位轉換器1120及第二類比數位轉換器1130。第一類比數位轉換器1120將輸入訊號S轉換成對應的數位訊號S’。第二類比數位轉換器1130將第二時間差分訊號TDS2轉換成對應的數位訊號TDS2’。接著，數位訊號S’及TDS2’才被輸入至低精度神經網路1200。低精度神經網路1200例如為二值化神經網路或短字長神經網路。然後，低精度神經網路1200的輸出被輸入至全局池化(Global pool)1300中進行全局池化運算。第一時間差分單元1110-1及第二時間差分單元1110-2可以第2、4、6、7、8、9、11、12、13圖所示之時間差分單元的任一種來實施。
雖第14圖以資料特徵擴增系統1100包括兩個時間差分單元為例，但本發明不以此為限，資料特徵擴增系統1100可包括更多時間差分單元，且此些時間差分單元係以串接連接。
如此一來，本發明可透過串接多個時間差分單元對輸入訊號S進行時間差分運算以獲得時間差分訊號TDS2來擴增輸入訊號S的特徵，並將輸入訊號S和時間差分訊號TDS2作為低精度神經網路的輸入，以提升低精度神經網路1200的預測精準度。另外，若需要將輸入訊號S和時間差分訊號TDS2轉換成數位訊號後再輸入至低精度神經網路1200，則本發明僅需使用低解析度的類比數位轉換器，可節省硬體成本，且不會影響低精度神經網路1200的預測精準度。
綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
110:時間差分單元
111-1:第一取樣保持電路
112:減法器
S:輸入訊號
S1:第一訊號
C1:第一係數
TDS:時間差分訊號

Claims (18)

  1. 一種低精度神經網路的資料特徵擴增系統，包括：一第一時間差分單元，包括：一第一取樣保持電路，用以接收一輸入訊號，並根據該輸入訊號獲得一第一訊號，該第一訊號與該第一取樣保持電路的一第一漏電速率相關且該第一訊號與該輸入訊號相差一個時間單位；以及一減法器，用以將該輸入訊號與該第一訊號相減以獲得一時間差分訊號；其中該輸入訊號及該時間差分訊號被輸入至該低精度神經網路。
  2. 如請求項1所述之資料特徵擴增系統，其中該輸入訊號、該第一訊號及該時間差分訊號為類比訊號，且該資料特徵擴增系統更包括：一第一類比數位轉換器；以及一第二類比數位轉換器；其中該第一類比數位轉換器及該第二類比數位轉換器為低精度的類比數位轉換器，在該輸入訊號及該時間差分訊號被輸入至該低精度神經網路之前，該輸入訊號及該時間差分訊號被分別輸入至該第一類比數位轉換器及該第二類比數位轉換器。
  3. 如請求項1所述之資料特徵擴增系統，其中該低精度神經網路為二值化神經網路或短字長神經網路。
  4. 如請求項1所述之資料特徵擴增系統，其中該第一時間差分單元更包括：一第二取樣保持電路，接收該輸入訊號，並根據該輸入訊號獲得一第二訊號，該第二訊號與該第二取樣保持電路的一第二漏電速率相關，且該第二訊號與該輸入訊號相差兩個時間單位；其中該減法器更用以將該輸入訊號與該第一訊號及該第二訊號相減以獲得該時間差分訊號。
  5. 如請求項4所述之資料特徵擴增系統，其中該第一取樣保持電路及該第二取樣保持電路係以串聯連接。
  6. 如請求項4所述之資料特徵擴增系統，其中該第一取樣保持電路及該第二取樣保持電路係以並聯連接。
  7. 如請求項4所述之資料特徵擴增系統，其中該第一漏電速率與該第二漏電速率係可調整的。
  8. 如請求項1所述之資料特徵擴增系統，其中該第一時間差分單元更包括：一第二取樣保持電路，接收該輸入訊號，並根據該輸入訊號獲得一第二訊號，該第二訊號與該第二取樣保持電路的一第二漏電速率相關，且該第二訊號與該輸入訊號相差兩個時間單位； 其中該減法器更用以將該輸入訊號與該第二訊號相減以獲得該時間差分訊號。
  9. 如請求項8所述之資料特徵擴增系統，其中該第一取樣保持電路及該第二取樣保持電路係以串聯連接。
  10. 如請求項8所述之資料特徵擴增系統，其中該第一取樣保持電路及該第二取樣保持電路係以並聯連接。
  11. 如請求項1所述之資料特徵擴增系統，更包括：一第二時間差分單元，串接在該第一時間差分單元之後，用以根據該時間差分訊號獲得一第二時間差分訊號。
  12. 一種低精度神經網路的資料特徵擴增方法，包括：接收一輸入訊號，並根據該輸入訊號獲得一第一訊號，該第一訊號與一第一取樣保持電路的一第一漏電速率相關且該第一訊號與該輸入訊號相差一個時間單位；以及將該輸入訊號與該第一訊號相減以獲得一時間差分訊號；其中該輸入訊號及該時間差分訊號被輸入至該低精度神經網路。
  13. 如請求項12所述之資料特徵擴增方法，其中該輸入訊號、該第一訊號及該時間差分訊號為類比訊號，且該資料特徵擴增方法更包括：在該輸入訊號及該時間差分訊號被輸入至該低精度神經網路之前，該輸入訊號及該時間差分訊號被分別輸入至一第一類比數 位轉換器及一第二類比數位轉換器，且該第一類比數位轉換器及該第二類比數位轉換器為低精度的類比數位轉換器。
  14. 如請求項12所述之資料特徵擴增方法，其中該低精度神經網路為二值化神經網路或短字長神經網路。
  15. 如請求項12所述之資料特徵擴增方法，更包括：接收該輸入訊號，並根據該輸入訊號獲得一第二訊號，該第二訊號與該第二取樣保持電路的一第二漏電速率相關，且該第二訊號與該輸入訊號相差兩個時間單位；以及將該輸入訊號與該第一訊號及該第二訊號相減以獲得該時間差分訊號。
  16. 如請求項15所述之資料特徵擴增方法，其中該第一漏電速率與該第二漏電速率係可調整的。
  17. 如請求項15所述之資料特徵擴增方法，更包括：接收該輸入訊號，並根據該輸入訊號獲得一第二訊號，該第二訊號與該第二取樣保持電路的一第二漏電速率相關，且該第二訊號與該輸入訊號相差兩個時間單位；以及將該輸入訊號與該第二訊號相減以獲得該時間差分訊號。
  18. 一種具有低精度神經網路的資料特徵擴增系統之裝置，包括：一低精度神經網路的資料特徵擴增系統，包括：一第一時間差分單元，包括： 一第一取樣保持電路，用以接收一輸入訊號，並根據該輸入訊號獲得一第一訊號，該第一訊號與該第一取樣保持電路的一第一漏電速率相關且該第一訊號與該輸入訊號相差一個時間單位；及一減法器，用以將該輸入訊號與該第一訊號相減以獲得一時間差分訊號；以及一低精度神經網路；其中該輸入訊號及該時間差分訊號被輸入至該低精度神經網路。
TW110111849A 2021-03-31 2021-03-31 低精度神經網路的資料特徵擴增系統及方法 TWI770922B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110111849A TWI770922B (zh) 2021-03-31 2021-03-31 低精度神經網路的資料特徵擴增系統及方法
CN202110453026.1A CN115145534B (zh) 2021-03-31 2021-04-26 低精度神经网络的数据特征扩增系统及方法
US17/385,316 US12260321B2 (en) 2021-03-31 2021-07-26 Data feature augmentation system and method for low-precision neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110111849A TWI770922B (zh) 2021-03-31 2021-03-31 低精度神經網路的資料特徵擴增系統及方法

Publications (2)

Publication Number Publication Date
TWI770922B true TWI770922B (zh) 2022-07-11
TW202240474A TW202240474A (zh) 2022-10-16

Family

ID=83405581

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110111849A TWI770922B (zh) 2021-03-31 2021-03-31 低精度神經網路的資料特徵擴增系統及方法

Country Status (3)

Country Link
US (1) US12260321B2 (zh)
CN (1) CN115145534B (zh)
TW (1) TWI770922B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694442A (zh) * 2017-04-05 2018-10-23 株式会社日立制作所 计算机系统以及使用了递归神经网络的运算方法
TW201843998A (zh) * 2017-01-26 2018-12-16 日商半導體能源硏究所股份有限公司 半導體裝置、包括該半導體裝置的電子裝置
TW202025172A (zh) * 2018-10-16 2020-07-01 美商超捷公司 用於在深度學習人工神經網路中之類比神經記憶體之程式化的精確調整

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5793726A (en) * 1980-12-03 1982-06-10 Sony Corp A/d converter
EP0442321B1 (de) * 1990-02-14 1997-07-09 Siemens Aktiengesellschaft Analog-Digital-Umsetzer nach dem erweiterten Parallelverfahren
JP2004032343A (ja) * 2002-06-26 2004-01-29 Yokogawa Electric Corp サンプリングａ／ｄ変換器
JP3907194B2 (ja) 2003-05-23 2007-04-18 株式会社東芝 音声認識装置、音声認識方法及び音声認識プログラム
DE102012106926A1 (de) * 2012-07-30 2014-05-15 Endress + Hauser Flowtec Ag Meßelektronik sowie damit gebildetes Meßsystem
DE102013108573A1 (de) * 2013-08-08 2015-02-12 Infineon Technologies Ag Verfahren und Vorrichtungen zur Analog/Digital-Wandlung
US9721561B2 (en) 2013-12-05 2017-08-01 Nuance Communications, Inc. Method and apparatus for speech recognition using neural networks with speaker adaptation
US9721559B2 (en) 2015-04-17 2017-08-01 International Business Machines Corporation Data augmentation method based on stochastic feature mapping for automatic speech recognition
US11631421B2 (en) 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10373073B2 (en) 2016-01-11 2019-08-06 International Business Machines Corporation Creating deep learning models using feature augmentation
US10402688B2 (en) 2016-12-07 2019-09-03 Kla-Tencor Corporation Data augmentation for convolutional neural network-based defect inspection
CN107680586B (zh) 2017-08-01 2020-09-29 百度在线网络技术（北京）有限公司 远场语音声学模型训练方法及系统
TWI632378B (zh) * 2017-09-07 2018-08-11 新唐科技股份有限公司 低功耗電壓偵測電路
CN107729953B (zh) 2017-09-18 2019-09-27 清华大学 基于连续状态行为域强化学习的机器人羽状流追踪方法
US10346721B2 (en) 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
CN110061742B (zh) * 2018-01-19 2023-03-10 创意电子股份有限公司 模拟数字转换器校准系统
US10937438B2 (en) 2018-03-29 2021-03-02 Ford Global Technologies, Llc Neural network generative modeling to transform speech utterances and augment training data
TWI640784B (zh) * 2018-04-24 2018-11-11 新唐科技股份有限公司 電壓偵測電路
CN110110812B (zh) * 2019-05-20 2022-08-19 江西理工大学 一种用于视频动作识别的串流深度网络模型构建方法
CN110827837B (zh) 2019-10-18 2022-02-22 中山大学 一种基于深度学习的鲸鱼活动音频分类方法
US11101810B1 (en) * 2020-07-20 2021-08-24 Nxp B.V. Training a machine learning system for ADC compensation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201843998A (zh) * 2017-01-26 2018-12-16 日商半導體能源硏究所股份有限公司 半導體裝置、包括該半導體裝置的電子裝置
CN108694442A (zh) * 2017-04-05 2018-10-23 株式会社日立制作所 计算机系统以及使用了递归神经网络的运算方法
TW202025172A (zh) * 2018-10-16 2020-07-01 美商超捷公司 用於在深度學習人工神經網路中之類比神經記憶體之程式化的精確調整

Also Published As

Publication number Publication date
CN115145534B (zh) 2025-05-27
CN115145534A (zh) 2022-10-04
TW202240474A (zh) 2022-10-16
US12260321B2 (en) 2025-03-25
US20220318605A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US8004435B2 (en) Discrete-time circuit
CN104901695B (zh) 一种用于tiadc采样时间误差的校准模块及其校准方法
US6909393B2 (en) Space efficient low power cyclic A/D converter
US8836556B2 (en) ADC, IC including the same, and ADC method thereof
CN108064446A (zh) 模拟读取电路及影像传感模块
KR20110083482A (ko) Ａｄ 변환 장치 및 제어 방법
CN211375581U (zh) 一种电容检测电路、触控装置、终端设备
CN104135291B (zh) 一种以脉冲充电形式实现的连续接近式寄存器模数转换器
JP2003204487A (ja) 信号処理回路
TWI770922B (zh) 低精度神經網路的資料特徵擴增系統及方法
CN100334809C (zh) 模一数变换电路
CN119030544B (zh) 一种自适应模数转换装置及纳米孔生物检测系统
CN113890538A (zh) 采样电路、采样阵列、存算一体芯片以及电子设备
CN104076178A (zh) 一种具有改进触发功能的示波器
US20060017603A1 (en) Charge comparator with low input offset
CN112153313A (zh) 用于cmos图像传感器的高速列级adc电路
KR102199869B1 (ko) 반도체 장치 및 반도체 시스템
Delagnes What is the theoretical time precision achievable using a dCFD algorithm?
JPH05235761A (ja) Ａ／ｄ変換回路とａ／ｄ変換方法
JPH09181604A (ja) 半導体集積回路装置およびその雑音低減方法
CN111193840B (zh) 高速图像传感器读出电路的实现方法
US10312929B1 (en) Analog-to-digital conversion with sampling capacitor pre-charging
CN117277981B (zh) 倍增电路、比例积分电路和集成电路
CN102684695B (zh) 用于管线式模拟至数字转换器的乘积数字至模拟转换器
US20250015811A1 (en) Analog-to-digital converter, touch sensing chip and electronic device