WO2024143223A1 - Product-sum operator - Google Patents
Product-sum operator Download PDFInfo
- Publication number
- WO2024143223A1 WO2024143223A1 PCT/JP2023/046250 JP2023046250W WO2024143223A1 WO 2024143223 A1 WO2024143223 A1 WO 2024143223A1 JP 2023046250 W JP2023046250 W JP 2023046250W WO 2024143223 A1 WO2024143223 A1 WO 2024143223A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- digital
- analog
- conversion unit
- output
- successive approximation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/05—Digital input using the sampling of an analogue quantity at regular intervals of time, input from a/d converter or output to d/a converter
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06G—ANALOGUE COMPUTERS
- G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
- G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
- G06G7/14—Arrangements for performing computing operations, e.g. operational amplifiers for addition or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06G—ANALOGUE COMPUTERS
- G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
- G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
- G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06G—ANALOGUE COMPUTERS
- G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
- G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
- G06G7/18—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals
- G06G7/184—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals using capacitive elements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06G—ANALOGUE COMPUTERS
- G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
- G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
- G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Definitions
- the present invention relates to a multiply-and-accumulate unit. More specifically, the present invention relates to a multiply-and-accumulate unit using a digital-to-analog converter (DAC) and an analog-to-digital converter (ADC).
- DAC digital-to-analog converter
- ADC analog-to-digital converter
- Figure 8 is a conceptual diagram of neuro-calculation in an AI processor. Note that neuro-calculation requires many layers, but Figure 8 only shows the basic input layer, hidden layer, and output layer.
- the conventional digital multiply-and-accumulate unit mentioned above has problems with the calculation speed and energy consumption of the multiplier, and the calculation speed and energy consumption of the cumulative adder.
- the cumulative adder has issues with its slow calculation speed and high energy consumption because the output of the multiplier is sent to the cumulative adder sequentially via a bus.
- the inventor conducted research to solve the problems described above, and came to the following findings.
- energy consumption can be reduced by providing an RDAC with a current consumption control unit that controls current consumption to control the period during which the output voltage is generated, or by providing a successive approximation type ADC with a conversion count control unit that controls the number of successive approximations to set the number of successive approximations according to the required resolution.
- calculation accuracy can be reduced by providing an ADC with a reference voltage control unit to control the reference voltage, or by providing a coefficient control unit and a multiplier to multiply the ADC conversion value by a coefficient, thereby suppressing the occurrence of gain errors and improving calculation accuracy. Based on these findings, the inventor arrived at the present invention.
- the product-sum calculator comprises a resistive digital-to-analog conversion unit which includes a plurality of resistive digital-to-analog converters and converts the digital value of each element of an input vector into an analog voltage and outputs the analog voltage; a capacitive digital-to-analog conversion unit which includes a plurality of capacitive digital-to-analog converters and receives the analog voltage output from the resistive digital-to-analog conversion unit and sets a capacitance ratio between the input/output terminals and between the output terminal and ground corresponding to the digital value of each element of a matrix; a successive approximation type analog-to-digital conversion unit which includes a plurality of successive approximation type analog-to-digital converters and converts the voltage of a node commonly connected to each output terminal of the capacitive digital-to-analog conversion unit into a digital value and outputs the digital value; and a current consumption control unit which controls the current consumption of the resistive digital
- the response is a step response of an RC circuit
- the set voltage is V s and the time constant is ⁇
- the error voltage V e can be expressed by the following formula 3.
- the conversion count control unit 15 controls the number of successive approximations in the successive approximation type analog-digital conversion unit 13.
- Fig. 3A is a circuit diagram showing the configuration of the successive approximation type ADC of the successive approximation type analog-digital conversion unit 13, and
- Fig. 3B is a conceptual diagram showing a method of reducing power consumption.
- the successive approximation type analog-digital conversion unit 13 is composed of a binary-weighted capacitance array C, a switch S for selecting a voltage to be applied to each capacitance from a ground potential or a reference voltage, a comparator for comparing voltages, and an SAR logic for controlling the successive approximation.
- the reference voltage control unit 16 controls the reference voltage of each successive approximation type ADC in the successive approximation type analog-digital conversion unit 13 so that the gain error of the ADC is minimized.
- Fig. 4 is a circuit diagram showing an example of the configuration of the reference voltage control unit 16.
- the reference voltage can also be controlled by connecting a capacitance ⁇ C (capacitance with a capacitance ratio ⁇ ) that samples an input signal as the reference voltage control unit 16 to a connection part of the input end of a binary-weighted capacitive digital-to-analog converter (DAC) and a comparator 21 that are provided in the successive approximation type analog-digital conversion unit 13 and generate a voltage difference between an input signal and a comparison voltage, as shown in Fig. 4.
- DAC binary-weighted capacitive digital-to-analog converter
- the switch S10 is closed, and the input signal V inp or the input signal V inn is selected by the switches S 11 , S 12 ... S n+10 of each capacitance of the capacitive DAC, thereby sampling the input signal.
- the switch S10 is opened, and the capacitance C/2 of the capacitive DAC is connected to the input signal V RP or the input signal V RN , and the remaining capacitances C/4 ... C/2 N-1 are connected to the ground GND.
- the potential difference (Va - Vb) at the input terminals of the comparator 21 when performing the most significant bit (MSB) comparison is expressed by the following formula 4.
- the adder 19 adds an arbitrary value to the output value from the successive approximation type analog-digital conversion section 13 to perform offset compensation, and the offset control section 20 controls the value added by the adder 19 .
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Neurology (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Power Engineering (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
Description
本発明は、積和演算器に関する。より詳しくは、デジタル・アナログ変換器(Digital to Analog Converter;DAC)と、アナログ・デジタル変換器(Analog to Digital Converter;ADC)を用いた積和演算器に関する。 The present invention relates to a multiply-and-accumulate unit. More specifically, the present invention relates to a multiply-and-accumulate unit using a digital-to-analog converter (DAC) and an analog-to-digital converter (ADC).
デジタル演算は積和演算を基本とする。また、近年開発競争が激しいAIプロセッサではニューロ演算を行う(例えば、非特許文献1参照)。図8はAIプロセッサにおけるニューロ演算の概念図である。なお、ニューロ演算では多数のレイヤーを必要とするが、図8においては、基本となる入力層(Input layer)、隠れ層(Hidden Layer)及び出力層(Output layer)のみを示している。 Digital calculations are based on multiply-and-accumulate operations. Furthermore, AI processors, which have been the subject of fierce competition in recent years, use neuro-calculation (see, for example, Non-Patent Document 1). Figure 8 is a conceptual diagram of neuro-calculation in an AI processor. Note that neuro-calculation requires many layers, but Figure 8 only shows the basic input layer, hidden layer, and output layer.
図8に示すように、ニューロ演算における各層間では積和演算が行われている。その一例として、入力層と隠れ層間の演算を示す。入力層のベクトルをX、結合係数行列をW(0)とすると、隠れ層のベクトルYは、下記数式1により表される。
As shown in Fig. 8, product-sum operations are performed between each layer in neuro-operation. As an example, the operation between the input layer and the hidden layer is shown below. If the input layer vector is X and the connection coefficient matrix is W (0) , the hidden layer vector Y is expressed by the following
上記数式1において出力層の1つの要素yjに着目した場合下記数式2で表され、積和演算処理を行っていることがわかる。
When one element yj of the output layer in the
ニューロプロセッサでは、各レイヤーのノード数がNのとき、各レイヤーにおいてN2の積和演算が必要となる。例えば、画素数が100×100の画像認識では、N=104、N2=108となり、1レイヤーにつき1億回もの積和演算が必要となる。このため、ニューロプロセッサは、演算速度を上げると共に、演算の消費エネルギーを下げることが喫緊の課題となっている。 In a neuroprocessor, when the number of nodes in each layer is N, N2 product-sum operations are required in each layer. For example, in image recognition with 100 x 100 pixels, N = 104 , N2 = 108 , and 100 million product-sum operations are required per layer. For this reason, it is an urgent task for neuroprocessors to increase the operation speed while reducing the energy consumption of operations.
図9はデジタル回路を用いた従来の積和演算器の構成を示す図である。図9に示すように、従来の代表的なデジタル積和演算器では、入力Xはバスを通じて各フリップフロップ(F/F)に入力される。また、図9に示す積和演算器では、乗算器(MUL)が2次元的に配置されており、各乗算器には入力Xの各要素及び入力Wの各要素が入力され、乗算器において入力Xの各要素と入力Wの各要素の乗算が行われる。そして、乗算出力は、バスを通じて加算器(ADD)に順次入力され、累積加算が行われる。 Figure 9 shows the configuration of a conventional multiply-accumulate calculator using digital circuits. As shown in Figure 9, in a typical conventional digital multiply-accumulate calculator, input X is input to each flip-flop (F/F) via a bus. In addition, in the multiply-accumulate calculator shown in Figure 9, multipliers (MUL) are arranged two-dimensionally, and each element of input X and each element of input W are input to each multiplier, and each element of input X is multiplied by each element of input W in the multiplier. The multiplication outputs are then input sequentially to adders (ADD) via a bus, where cumulative addition is performed.
一方、前述した従来のデジタル積和演算器は、乗算器の演算速度と消費エネルギー、累積加算の演算速度と消費エネルギーに問題がある。特に、累積加算器は、乗算器の出力がバスを通じて順次累積加算器に送られるため、演算速度が遅く、消費エネルギーが大きいという課題がある。 On the other hand, the conventional digital multiply-and-accumulate unit mentioned above has problems with the calculation speed and energy consumption of the multiplier, and the calculation speed and energy consumption of the cumulative adder. In particular, the cumulative adder has issues with its slow calculation speed and high energy consumption because the output of the multiplier is sent to the cumulative adder sequentially via a bus.
これに対し、本発明者は、演算をアナログ回路で行うことで消費エネルギーを下げて演算速度を上げる技術を提案している(特許文献1参照)。図10は特許文献1に記載の積和演算器の構成を示すブロック図である。図10に示す積和演算器100には、複数のDACを備える電圧出力デジタル・アナログ変換部101と、複数の容量型デジタル・アナログ変換器(CDAC)を備える容量型デジタル・アナログ変換部102と、複数のADCを備えるアナログ・デジタル変換部103が設けられている。
In response to this, the present inventor has proposed a technique for reducing energy consumption and increasing the calculation speed by performing calculations using analog circuits (see Patent Document 1). FIG. 10 is a block diagram showing the configuration of the product-sum calculator described in
この積和演算器100では、例えば、2つの入力デジタル値列を入力とし、一方の入力は抵抗型デジタル・アナログ変換器(RDAC)を用いて電圧列に変換し、他方の入力は容量型デジタル・アナログ変換器(CDAC)に入力する。そして、電圧をアナログ入力とするCDACにより乗算を行い、複数のCDACの出力を共通に接続することで同時加算を行い、このノードの電圧をADCにおいてアナログ・デジタル変換することでデジタル出力値を得る。
In this multiply-and-accumulate
特許文献1に記載の積和演算器は、デジタル演算器を用いた積和演算器に比べて、低エネルギーで動作し、高速動作が可能であるが、RDACに定常的に一定の電流が流れるため、常に最小消費エネルギーで動作するとは限らない。また、このアナログ回路を用いた従来の積和演算器には、ADCにおいて必要な分解能以上のアナログ・デジタル変換を行うことにより消費エネルギーが増大するという課題や、CDACの出力端の寄生容量によって出力端に発生する電圧が減衰し、それによりADCのゲインエラーが発生して演算精度が劣化するという課題もある。
The multiply-and-accumulate calculator described in
そこで、本発明は、消費エネルギーが小さく、演算精度が高い積和演算器を提供することを目的とする。 The present invention aims to provide a multiply-and-accumulate calculator that consumes little energy and has high calculation accuracy.
本発明者は、前述した課題を解決するために検討を行った結果、以下に示す知見を得た。先ず、消費エネルギーについては、RDACに消費電流を制御する消費電流制御部を設けて出力電圧の発生期間を制御することや、逐次比較型ADCに逐次比較回数を制御する変換回数制御部を設けて必要な分解能に応じた逐次比較回数にすることにより、低減できることを見出した。また、演算精度については、ADCに参照電圧制御部を設け参照電圧を制御するか、又は、係数制御部と乗算器を設けてADCの変換値に係数を掛けることで、ゲインエラーの発生が抑えられ、演算精度を高められることを見出した。そして、本発明者は、これらの知見に基づき本発明に至った。 The inventor conducted research to solve the problems described above, and came to the following findings. First, the inventor discovered that energy consumption can be reduced by providing an RDAC with a current consumption control unit that controls current consumption to control the period during which the output voltage is generated, or by providing a successive approximation type ADC with a conversion count control unit that controls the number of successive approximations to set the number of successive approximations according to the required resolution. In addition, the inventor discovered that calculation accuracy can be reduced by providing an ADC with a reference voltage control unit to control the reference voltage, or by providing a coefficient control unit and a multiplier to multiply the ADC conversion value by a coefficient, thereby suppressing the occurrence of gain errors and improving calculation accuracy. Based on these findings, the inventor arrived at the present invention.
即ち、本発明に係る積和演算器は、複数の抵抗型デジタル・アナログ変換器を備え、入力されたベクトルの各要素のデジタル値をアナログ電圧に変換して出力する抵抗型デジタル・アナログ変換部と、複数の容量型デジタル・アナログ変換器を備え、前記抵抗型デジタル・アナログ変換部から出力されたアナログ電圧が入力され、行列の各要素のデジタル値に対応した容量比が入出力端子間及び出力端子と接地間に設定される容量型デジタル・アナログ変換部と、複数の逐次比較型アナログ・デジタル変換器を備え、前記容量型デジタル・アナログ変換部の各出力端に共通に接続されたノードの電圧をデジタル値に変換して出力する逐次比較型アナログ・デジタル変換部と、前記抵抗型デジタル・アナログ変換部の消費電流を制御する消費電流制御部とを有し、前記逐次比較型アナログ・デジタル変換部からの出力を出力ベクトルとするものである。
前記消費電流制御部は、例えば前記抵抗型デジタル・アナログ変換器から出力されるアナログ電圧の発生期間を制御してもよい。
本発明の積和演算器は、更に、前記逐次比較型アナログ・デジタル変換部における逐次比較回数を制御する変換回数制御部を有していてもよい。
本発明の積和演算器は、更に、前記逐次比較型アナログ・デジタル変換部の参照電圧を制御する参照電圧制御部を有していてもよい。その場合、前記逐次比較型アナログ・デジタル変換部の容量型デジタル・アナログ変換器と比較器の入力端の接続部に、前記参照電圧制御部として、入力信号を標本化する容量を接続してもよく、前記入力信号を標本化する容量を容量値が制御可能な構成とすることもできる。
本発明の積和演算器は、更に、前記逐次比較型アナログ・デジタル変換部からの出力にオフセット値を加算する加算器と、前記オフセット値を制御するオフセット制御部とを有していてもよい。
本発明の積和演算器は、更に、前記逐次比較型アナログ・デジタル変換部からの出力に係数を乗ずる乗算器と、前記係数を制御する係数制御部を有していてもよい。
That is, the product-sum calculator according to the present invention comprises a resistive digital-to-analog conversion unit which includes a plurality of resistive digital-to-analog converters and converts the digital value of each element of an input vector into an analog voltage and outputs the analog voltage; a capacitive digital-to-analog conversion unit which includes a plurality of capacitive digital-to-analog converters and receives the analog voltage output from the resistive digital-to-analog conversion unit and sets a capacitance ratio between the input/output terminals and between the output terminal and ground corresponding to the digital value of each element of a matrix; a successive approximation type analog-to-digital conversion unit which includes a plurality of successive approximation type analog-to-digital converters and converts the voltage of a node commonly connected to each output terminal of the capacitive digital-to-analog conversion unit into a digital value and outputs the digital value; and a current consumption control unit which controls the current consumption of the resistive digital-to-analog conversion unit, and the output from the successive approximation type analog-to-digital conversion unit is an output vector.
The current consumption control section may control, for example, a generation period of an analog voltage output from the resistive digital-to-analog converter.
The product-sum calculator of the present invention may further include a conversion count control section that controls the number of successive approximations in the successive approximation type analog-to-digital conversion section.
The product-sum calculator of the present invention may further include a reference voltage control unit that controls a reference voltage of the successive approximation type analog-digital conversion unit. In this case, a capacitor that samples an input signal may be connected as the reference voltage control unit to a connection unit between the capacitive digital-to-analog converter and the input end of a comparator of the successive approximation type analog-digital conversion unit, and the capacitance value of the capacitor that samples the input signal may be controlled.
The product-sum calculator of the present invention may further include an adder that adds an offset value to an output from the successive approximation type analog-to-digital converter, and an offset control section that controls the offset value.
The product-sum calculator of the present invention may further include a multiplier that multiplies an output from the successive approximation type analog-to-digital converter by a coefficient, and a coefficient control section that controls the coefficient.
本発明によれば、アナログ回路を用いた従来の積和演算器に比べて、消費電力を低減し、演算精度を向上させることができるため、より低エネルギーで動作し、高精度な演算が可能な積和演算器を実現できる。 According to the present invention, it is possible to reduce power consumption and improve calculation accuracy compared to conventional multiply-and-accumulate units using analog circuits, thereby realizing a multiply-and-accumulate unit that operates with less energy and is capable of highly accurate calculations.
以下、本発明を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本発明は、以下に説明する実施形態に限定されるものではない。 Below, the embodiment of the present invention will be described in detail with reference to the attached drawings. Note that the present invention is not limited to the embodiment described below.
(第1の実施形態)
先ず、本発明の第1の実施形態に係る積和演算器について説明する。図1は本実施形態の積和演算器の構成を示す図である。図1に示すように、本実施形態の積和演算器1には、複数のRDACを備える抵抗型デジタル・アナログ変換部11と、複数のCDACを備える容量型デジタル・アナログ変換部12と、複数の逐次比較型ADCを備える逐次比較型アナログ・デジタル変換部13と、抵抗型デジタル・アナログ変換部11の各RDACの消費電流を制御する消費電流制御部14が設けられている。
First Embodiment
First, a multiply-accumulate calculator according to a first embodiment of the present invention will be described. Fig. 1 is a diagram showing the configuration of the multiply-accumulate calculator of this embodiment. As shown in Fig. 1, the multiply-accumulate
また、本実施形態の積和演算器1には、必要に応じて、逐次比較型ADCの逐次比較回数を制御する変換回数制御部15、逐次比較型ADCの参照電圧を制御する参照電圧制御部16、逐次比較型ADCの出力に係数を乗ずる乗算器17及び係数を制御する係数制御部18などが設けられる。
In addition, the product-
[抵抗型デジタル・アナログ変換部11]
抵抗型デジタル・アナログ変換部11は、複数のRDACで構成されている。このデジタル・アナログ変換部11の各RDACには、それぞれバスを通じて複数のデジタル値を各要素とするベクトルXが入力される。そして、各RDACにおいてベクトルXの各要素のデジタル値がアナログ電圧に変換され、出力される。
[Resistive digital-to-analog conversion section 11]
The resistive digital-to-
[容量型デジタル・アナログ変換部12]
容量型デジタル・アナログ変換部12は、複数のCDACで構成されており、各CDACは二次元状に配置されている。この容量型デジタル・アナログ変換部12の各CDACには、抵抗型デジタル・アナログ変換部11から出力されたアナログ電圧(出力電圧)と、複数のデジタル値を各要素とする行列Wが入力される。そして、各CDACによって、行列Wの各要素のデジタル値に対応した容量比が入出力端子間及び出力端子と接地間に設定される。
[Capacitive digital-to-analog conversion section 12]
The capacitive digital-
[逐次比較型アナログ・デジタル変換部13]
逐次比較型アナログ・デジタル変換部13は、複数の逐次比較型ADCで構成されている。この逐次比較型アナログ・デジタル変換部13には、容量型デジタル・アナログ変換部12の各出力端に共通に接続されたノードの電圧が入力され、各逐次比較型ADCによりデジタル値に変換され、出力される。
[Successive approximation type analog-to-digital conversion section 13]
The successive approximation type analog-
[消費電流制御部14]
消費電流制御部14は、抵抗型デジタル・アナログ変換部11の各RDAC消費電流を制御するものである。消費電流の制御方法は、特に限定されるものではないが、例えば、抵抗型デジタル・アナログ変換器11から出力されるアナログ電圧(出力電圧)の発生期間を調整することにより、各RDAC消費電流を制御することができる。
[Current consumption control unit 14]
The current
図2A~Cは抵抗型デジタル・アナログ変換部11の各RDACの消費電流低減方法を示す波形図であり、RDACの入力データを切替えたときの様子を示している。図2Aに示すように、CDACのリセット期間TRSTにおいてはCDACの共通出力端子の電圧はゼロになり、リセット解除後RDACに信号が入力されるとRDACに電流が流れCDACの共通出力端子の電圧は上昇し、最終値に向けて収束する。時間T1は通常動作クロック周期で決まるため、図2Bに示すようにRDACに流れる電流はこの期間中流れ続ける。
2A to 2C are waveform diagrams showing a method for reducing the current consumption of each RDAC in the resistive digital-to-
一方、応答はRC回路のステップ応答であるため、設定電圧をVs、その時定数をτとすると、誤差電圧Veは下記数式3で表される。 On the other hand, since the response is a step response of an RC circuit, if the set voltage is V s and the time constant is τ, then the error voltage V e can be expressed by the following formula 3.
上記数式3から、時間tを6τ程度にすれば、誤差を8ビット精度の1/2にできることがわかる。このセットリング時間をT2とする。ADCが時間T2の信号をサンプリングすれば、その後のCDACの共通出力端子の電圧を発生させる必要がない。そこで、図2Cに示すように、セットリング時間がT2に達したらRDACの電流を遮断するようにすれば、RDACの消費電流を低減することができる。その際、RDACにおける最も簡単な電流遮断方法は、入力端子が全て接地を選択する方法である。 From the above formula 3, it can be seen that if the time t is set to about 6τ, the error can be reduced to 1/2 of the 8-bit accuracy. This settling time is T2 . If the ADC samples the signal at time T2 , there is no need to generate a voltage at the common output terminal of the CDAC thereafter. Therefore, as shown in FIG. 2C, if the current of the RDAC is cut off when the settling time reaches T2 , the current consumption of the RDAC can be reduced. In this case, the simplest current cut-off method in the RDAC is to select all input terminals to be grounded.
このように抵抗型デジタル・アナログ変換部11の各RDACの消費電流を制御する消費電流制御部14を設けることにより、積和演算器1の消費電力を低減することができる。
In this way, by providing a current
[変換回数制御部15]
変換回数制御部15は、逐次比較型アナログ・デジタル変換部13における逐次比較回数を制御するものである。図3Aは逐次比較型アナログ・デジタル変換部13の逐次比較型ADCの構成を示す回路図であり、図3Bはその消費電力低減方法を示す概念図である。図3Aに示すように、逐次比較型アナログ・デジタル変換部13は、二進で重み付けされた容量アレーC、各容量に与える電圧を接地電位又は参照電圧から選択するスイッチS、電圧を比較する比較器、逐次比較を制御するSARロジックで構成されている。
[Conversion count control unit 15]
The conversion
図3Bに示すように、逐次比較型アナログ・デジタル変換部13では、基本的にクロックに同期してシフトレジスタがスイッチS1~S5を順次選択し、比較器の出力状態に応じてスイッチが選択する電圧が決定する。このため、分解能に応じたクロック数が入力され、消費エネルギーはクロック数に比例する。一方、AIプロセッサにおいては、積和演算の分解能が一定とは限らず、一般的に入力に近いレイヤーでは高分解能が必要であるが、出力に近いレイヤーでは低分解能で十分であると言われている。そこで、変換回数制御部15により、逐次比較型ADCの逐次比較回数を、高分解能では多く、低分解能では低くなるよう制御することで、積和演算器1の消費電力を低減することができる。
As shown in FIG. 3B, in the successive approximation type analog-
[参照電圧制御部16]
参照電圧制御部16は、逐次比較型アナログ・デジタル変換部13における各逐次比較型ADCの参照電圧を、ADCの利得誤差が最小となるよう制御するものである。図4は参照電圧制御部16の構成例を示す回路図である。参照電圧の制御は、逐次比較型アナログ・デジタル変換部13の参照電圧そのものを直接制御する方法の他に、図4に示すように、逐次比較型アナログ・デジタル変換部13に設けられ、入力信号と比較電圧の電圧差を発生させる2進で重み付けされた容量型デジタル・アナログ変換器(DAC)と比較器21の入力端の接続部に、参照電圧制御部16として、入力信号を標本化する容量βC(容量比βの容量)を接続することでも実現することができる。
[Reference voltage control unit 16]
The reference
図4に示す回路構成を採った場合、先ず、スイッチS10を閉じ、容量型DACの各容量のスイッチS11,S12・・・Sn+10により入力信号Vinp又は入力信号Vinnを選択することで、入力信号をサンプリングする。次に、スイッチS10を開放し、容量型DACの容量C/2を入力信号VRP又は入力信号VRNに接続すると共に、残りの容量C/4・・・C/2N-1を接地GNDに接続する。この場合、最上位ビット(MSB)比較を行うときの比較器21の入力端の電位差(Va-Vb)は、下記数式4で表される。
4 is adopted, first, the switch S10 is closed, and the input signal V inp or the input signal V inn is selected by the switches S 11 , S 12 ... S n+10 of each capacitance of the capacitive DAC, thereby sampling the input signal. Next, the switch S10 is opened, and the capacitance C/2 of the capacitive DAC is connected to the input signal V RP or the input signal V RN , and the remaining capacitances C/4 ... C/2 N-1 are connected to the ground GND. In this case, the potential difference (Va - Vb) at the input terminals of the
これにより、参照電圧は1/(1+β)に減少するため、ADCの利得を増加させて利得誤差を低減することができる。更に、このような構成の参照電圧制御部16を設けることにより、消費電力の増大を生じさせることなく、CDACの出力端の寄生容量によって出力端に発生する電圧が減衰し、それにより生じる演算誤差を減少させることができる。
As a result, the reference voltage is reduced to 1/(1+β), and the gain of the ADC can be increased to reduce the gain error. Furthermore, by providing a reference
ここで、容量比βには正確性が要求される。図5は図4に示す容量βCの容量値を制御可能にする構成例を示す回路図である。例えば、参照電圧制御部16に、図5に示すような二進で重み付けされた複数の容量(βC/2~C/64)と複数のスイッチ(S21~S26)を備えた容量バンクを設け、スイッチ制御信号により各スイッチS21~S26を制御することにより、ADCの利得誤差を最小にすることができる。なお、図5には二進で重み付けを行った構成を示しているが、本発明はこの構成に限定されるものではない。このような参照電圧制御部16を設けることで、参照電圧を制御し、積和演算器1の演算精度を向上させることができる。
Here, the capacitance ratio β is required to be accurate. FIG. 5 is a circuit diagram showing an example of a configuration that makes it possible to control the capacitance value of the capacitance βC shown in FIG. 4. For example, the reference
[乗算器17・係数制御部18]
乗算器17は、逐次比較型アナログ・デジタル変換部13からの出力に係数を乗ずるものであり、係数制御部18は乗算器17で用いる係数を制御するものである。乗算器17により係数制御部18で発生した係数を乗算することで、演算の利得誤差を低減し、積和演算器1の演算精度を向上させることができる。
[
The
なお、前述した比較回数制御部15、参照電圧制御部16、乗算器17及び係数制御部18は、これら全てが必要ということではなく、変換回数制御部15は場合によっては省略してもよい。また、参照電圧制御部16と、乗算器17及び係数制御部18とは、どちらかが設けられていればよい。
Note that the comparison
以上詳述したように、本実施形態の積和演算器は、消費電流制御部により、抵抗型DACの消費電流を制御しているため、アナログ回路を用いた従来の積和演算器に比べて、消費電力を低減することができる。また、参照電圧制御部及び/又は乗算器と係数制御部などを設けて利得誤差を低減することにより、アナログ回路を用いた従来の積和演算器に比べて、演算精度を向上させることができる。その結果、本発明によれば、より低エネルギーで動作し、高精度な演算が可能な積和演算器を実現できる。 As described above in detail, the multiply-and-accumulate calculator of this embodiment controls the current consumption of the resistive DAC by the current consumption control unit, and therefore can reduce power consumption compared to conventional multiply-and-accumulate calculators using analog circuits. In addition, by providing a reference voltage control unit and/or a multiplier and a coefficient control unit, etc. to reduce gain error, it is possible to improve the calculation accuracy compared to conventional multiply-and-accumulate calculators using analog circuits. As a result, according to the present invention, it is possible to realize a multiply-and-accumulate calculator that operates with less energy and is capable of highly accurate calculations.
(第2の実施形態)
次に、本発明の第2の実施形態に係る積和演算器について説明する。図6は本実施形態の積和演算器の構成を示す図である。なお、図6では、図1に示す積和演算器1の構成と同じものには同じ符号を付しており、本実施形態ではそれらの構成について詳細な説明は省略する。
Second Embodiment
Next, a multiply-accumulate calculator according to a second embodiment of the present invention will be described. Fig. 6 is a diagram showing the configuration of the multiply-accumulate calculator of this embodiment. In Fig. 6, the same components as those in the multiply-accumulate
図6に示すように、本実施形態の積和演算器10には、抵抗型デジタル・アナログ変換部11、容量型デジタル・アナログ変換部12、逐次比較型アナログ・デジタル変換部13、消費電流制御部14、変換回数制御部15、参照電圧制御部16、乗算器17及び係数制御部18に加えて、逐次比較型ADCのオフセットを補償する加算器19及びオフセット制御部20が設けられている。
As shown in FIG. 6, the product-
[加算器19・オフセット制御部20]
加算器19は、逐次比較型アナログ・デジタル変換部13からの出力値に任意の値を加算してオフセット補償を行うものであり、オフセット制御部20は加算器19で加算する値を制御するものである。
[
The
図7は演算精度の劣化とその補償を示す特性図であり、CDACの理想出力電圧に対してADCのフルスケール値で規格化した出力値を示している。図7に示すように、理想的にはRDACのフルスケール電圧をVFSとし、この電圧をADCの参照電圧に用いればADCの規格化出力は1になるが、実際はオフセット誤差eoffや利得が1よりも小さいα-eoffになる。この原因はCDACの共通出力端に配線などにより寄生容量が付され、共通出力端の電圧が容量分圧されるからである。規格化出力の1からのずれは演算誤差となるためこれを補正する必要がある。 7 is a characteristic diagram showing the deterioration of calculation accuracy and its compensation, and shows the output value normalized by the full-scale value of the ADC with respect to the ideal output voltage of the CDAC. As shown in FIG. 7, ideally, if the full-scale voltage of the RDAC is VFS and this voltage is used as the reference voltage of the ADC, the normalized output of the ADC will be 1, but in reality, the offset error eoff and the gain will be α- eoff , which is smaller than 1. This is because a parasitic capacitance is added to the common output terminal of the CDAC by wiring, etc., and the voltage of the common output terminal is capacitively divided. The deviation of the normalized output from 1 becomes a calculation error, so this needs to be corrected.
そこで、本実施形態の積和演算器10では、先ずオフセット制御部20でオフセット誤差eoffを検知し、加算器19で逐次比較型アナログ・デジタル変換部13の各逐次比較型ADCからの出力値にオフセット誤差eoffを加えてオフセット補償を行う。次に、利得誤差を補正する。利得誤差の補正方法としては、参照電圧制御部16を設けて比較型ADCの参照電圧を制御する方法と、乗算器17及び係数制御部18を設けて、加算器19及びオフセット制御部20によりオフセット補償が行われた出力値に対して乗算器17により係数として1/(α-eoff)をかける方法がある。
Therefore, in the product-
本実施形態の積和演算器では、逐次比較型アナログ・デジタル変換部からの出力に対して、オフセット補償及び利得誤差の補正を行っているため、積和演算器の精度を向上させることができる。なお、本実施形態における上記以外の構成及び効果は、前述した第1の実施形態と同様である。 In the sum-of-products calculator of this embodiment, offset compensation and gain error correction are performed on the output from the successive approximation type analog-digital conversion unit, so the accuracy of the sum-of-products calculator can be improved. Note that the configuration and effects of this embodiment other than those described above are the same as those of the first embodiment described above.
なお、本発明は、下記の構成を採ることもできる。
〔1〕
複数の抵抗型デジタル・アナログ変換器を備え、入力されたベクトルの各要素のデジタル値をアナログ電圧に変換して出力する抵抗型デジタル・アナログ変換部と、
複数の容量型デジタル・アナログ変換器を備え、前記抵抗型デジタル・アナログ変換部から出力されたアナログ電圧が入力され、行列の各要素のデジタル値に対応した容量比が入出力端子間及び出力端子と接地間に設定される容量型デジタル・アナログ変換部と、
複数の逐次比較型アナログ・デジタル変換器を備え、前記容量型デジタル・アナログ変換部の各出力端に共通に接続されたノードの電圧をデジタル値に変換して出力する逐次比較型アナログ・デジタル変換部と、
前記抵抗型デジタル・アナログ変換部の消費電流を制御する消費電流制御部と、
を有し、
前記逐次比較型アナログ・デジタル変換部からの出力を出力ベクトルとする積和演算器。
〔2〕
前記消費電流制御部は、前記抵抗型デジタル・アナログ変換器から出力されるアナログ電圧の発生期間を制御する〔1〕に記載の積和演算器。
〔3〕
更に、前記逐次比較型アナログ・デジタル変換部における逐次比較回数を制御する変換回数制御部を有する〔1〕又は〔2〕に記載の積和演算器。
〔4〕
更に、前記逐次比較型アナログ・デジタル変換部の参照電圧を制御する参照電圧制御部を有する〔1〕~〔3〕のいずれかに記載の積和演算器。
〔5〕
前記逐次比較型アナログ・デジタル変換部の容量型デジタル・アナログ変換器と比較器の入力端の接続部に、前記参照電圧制御部として、入力信号を標本化する容量が接続されている〔4〕に記載の積和演算器。
〔6〕
前記入力信号を標本化する容量は、容量値が制御可能となっている〔5〕に記載の積和演算器。
〔7〕
更に、前記逐次比較型アナログ・デジタル変換部からの出力にオフセット値を加算する加算器と、前記オフセット値を制御するオフセット制御部とを有する〔1〕~〔6〕のいずれかに記載の積和演算器。
〔8〕
更に、前記逐次比較型アナログ・デジタル変換部からの出力に係数を乗ずる乗算器と、前記係数を制御する係数制御部を有する〔1〕~〔7〕のいずれかに記載の積和演算器。
The present invention can also have the following configurations.
[1]
a resistive digital-to-analog conversion unit including a plurality of resistive digital-to-analog converters, which converts the digital value of each element of an input vector into an analog voltage and outputs the analog voltage;
a capacitive digital-to-analog conversion unit including a plurality of capacitive digital-to-analog converters, the capacitive digital-to-analog conversion unit receiving the analog voltage output from the resistive digital-to-analog conversion unit and setting a capacitance ratio between input/output terminals and between an output terminal and ground corresponding to the digital value of each element of a matrix;
a successive approximation type analog-to-digital conversion unit including a plurality of successive approximation type analog-to-digital converters, the successive approximation type analog-to-digital conversion unit converting a voltage of a node commonly connected to each output terminal of the capacitive digital-to-analog conversion unit into a digital value and outputting the digital value;
a current consumption control unit for controlling a current consumption of the resistive digital-to-analog conversion unit;
having
a multiply-accumulate calculator that uses the output from the successive approximation type analog-to-digital converter as an output vector;
[2]
The multiply-accumulate calculator according to
[3]
The multiply-and-accumulate calculator according to
[4]
The multiply-add calculator according to any one of [1] to [3], further comprising a reference voltage control unit that controls a reference voltage of the successive approximation type analog-to-digital conversion unit.
[5]
The multiply-and-accumulate calculator according to
[6]
The multiply-add calculator according to claim 5, wherein the capacitance value of the capacitance for sampling the input signal is controllable.
[7]
The multiply-add calculator according to any one of [1] to [6], further comprising an adder that adds an offset value to an output from the successive approximation type analog-to-digital conversion unit, and an offset control unit that controls the offset value.
[8]
The multiply-add calculator according to any one of [1] to [7], further comprising a multiplier that multiplies an output from the successive approximation type analog-to-digital conversion unit by a coefficient, and a coefficient control unit that controls the coefficient.
1、10、100 積和演算器
11 抵抗型デジタル・アナログ変換部
12、102 容量型デジタル・アナログ変換部
13 逐次比較型アナログ・デジタル変換部
14 消費電流制御部
15 変換回数制御部
16 参照電圧制御部
17 乗算器
18 係数制御部
19 加算器
20 オフセット制御部
21 比較器
101 電圧出力デジタル・アナログ変換部
103 アナログ・デジタル変換部
1, 10, 100 Product-
Claims (8)
複数の容量型デジタル・アナログ変換器を備え、前記抵抗型デジタル・アナログ変換部から出力されたアナログ電圧が入力され、行列の各要素のデジタル値に対応した容量比が入出力端子間及び出力端子と接地間に設定される容量型デジタル・アナログ変換部と、
複数の逐次比較型アナログ・デジタル変換器を備え、前記容量型デジタル・アナログ変換部の各出力端に共通に接続されたノードの電圧をデジタル値に変換して出力する逐次比較型アナログ・デジタル変換部と、
前記抵抗型デジタル・アナログ変換部の消費電流を制御する消費電流制御部と、
を有し、
前記逐次比較型アナログ・デジタル変換部からの出力を出力ベクトルとする積和演算器。 a resistive digital-to-analog conversion unit including a plurality of resistive digital-to-analog converters, which converts the digital value of each element of an input vector into an analog voltage and outputs the analog voltage;
a capacitive digital-to-analog conversion unit including a plurality of capacitive digital-to-analog converters, the capacitive digital-to-analog conversion unit receiving the analog voltage output from the resistive digital-to-analog conversion unit and setting a capacitance ratio between input/output terminals and between an output terminal and ground corresponding to the digital value of each element of a matrix;
a successive approximation type analog-to-digital conversion unit including a plurality of successive approximation type analog-to-digital converters, the successive approximation type analog-to-digital conversion unit converting a voltage of a node commonly connected to each output terminal of the capacitive digital-to-analog conversion unit into a digital value and outputting the digital value;
a current consumption control unit for controlling a current consumption of the resistive digital-to-analog conversion unit;
having
a multiply-accumulate calculator that uses the output from the successive approximation type analog-to-digital converter as an output vector;
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024567758A JPWO2024143223A1 (en) | 2022-12-26 | 2023-12-22 | |
| CN202380088909.4A CN120418802A (en) | 2022-12-26 | 2023-12-22 | Product-sum arithmetic unit |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-208738 | 2022-12-26 | ||
| JP2022208738 | 2022-12-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024143223A1 true WO2024143223A1 (en) | 2024-07-04 |
Family
ID=91717862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2023/046250 Ceased WO2024143223A1 (en) | 2022-12-26 | 2023-12-22 | Product-sum operator |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPWO2024143223A1 (en) |
| CN (1) | CN120418802A (en) |
| WO (1) | WO2024143223A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09259205A (en) * | 1996-03-19 | 1997-10-03 | Yozan:Kk | Product-sum operation circuit |
| JP2010252247A (en) * | 2009-04-20 | 2010-11-04 | Fujitsu Ltd | Charge distribution type digital-to-analog converter and successive approximation type analog-to-digital converter having the same |
| JP2020009112A (en) * | 2018-07-06 | 2020-01-16 | 株式会社デンソー | Neural network circuit |
| WO2021171880A1 (en) * | 2020-02-26 | 2021-09-02 | 株式会社テックイデア | Product-sum calculator |
-
2023
- 2023-12-22 WO PCT/JP2023/046250 patent/WO2024143223A1/en not_active Ceased
- 2023-12-22 CN CN202380088909.4A patent/CN120418802A/en active Pending
- 2023-12-22 JP JP2024567758A patent/JPWO2024143223A1/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09259205A (en) * | 1996-03-19 | 1997-10-03 | Yozan:Kk | Product-sum operation circuit |
| JP2010252247A (en) * | 2009-04-20 | 2010-11-04 | Fujitsu Ltd | Charge distribution type digital-to-analog converter and successive approximation type analog-to-digital converter having the same |
| JP2020009112A (en) * | 2018-07-06 | 2020-01-16 | 株式会社デンソー | Neural network circuit |
| WO2021171880A1 (en) * | 2020-02-26 | 2021-09-02 | 株式会社テックイデア | Product-sum calculator |
Also Published As
| Publication number | Publication date |
|---|---|
| CN120418802A (en) | 2025-08-01 |
| JPWO2024143223A1 (en) | 2024-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9654130B2 (en) | Analog-to-digital converters for successive approximation incorporating delta sigma analog-to-digital converters and hybrid digital-to-analog with charge-sharing and charge redistribution | |
| US8599059B1 (en) | Successive approximation register analog-digital converter and method for operating the same | |
| WO2020226898A1 (en) | Bit-ordered binary-weighted multiplier-accumulator | |
| KR101020672B1 (en) | Analog-to-Digital Conversion Using Asynchronous Current-Mode Cyclic Comparison | |
| EP3537609B1 (en) | Method of applying a dither, and analog to digital converter operating in accordance with the method | |
| EP0730794B1 (en) | An efficient architecture for correcting component mismatches and circuit nonlinearities in a/d converters | |
| KR20180105027A (en) | Successive approximation register analog-digital converter having split-capacitor based digital-analog converter | |
| Chang et al. | A 28-nm 10-b 2.2-GS/s 18.2-mW relative-prime time-interleaved sub-ranging SAR ADC with on-chip background skew calibration | |
| KR20180122235A (en) | Successive-approximation register analog to digital converter | |
| TWI768479B (en) | Method of digital-to-analog conversion and apparatus of vector-matrix multiplication | |
| KR20060052937A (en) | Space Efficient Low Power Periodic A / D Converter | |
| EP1339169A1 (en) | Method of calibrating an analog-to-digital converter and a circuit implementing the same | |
| Stoops et al. | Digital background calibration of a split current-steering DAC | |
| TW202306324A (en) | Signal converter device, dynamic element matching circuit, and dynamic element matching method | |
| Fan | Effective method to improve linearity of high-resolution SAR ADC | |
| WO2024143223A1 (en) | Product-sum operator | |
| Baek et al. | A 600-MS/s, 65-dB SNDR, 75-MHz BW Time-Interleaved Noise-Shaping SAR ADC | |
| WO2025157294A1 (en) | Analog-to-digital converter apparatus and analog foreground correction method | |
| US12261621B2 (en) | Successive approximation register (SAR) analog- to-digital converter (ADC) with input-dependent least significant bit (LSB) size | |
| Zeloufi | A 12 bit 40 MSPS SAR ADC with a redundancy algorithm and digitalcalibration for the ATLAS LAr calorimeter readout | |
| US12489453B2 (en) | SAR ADC with bottom-plate sampling and mismatch error shaping | |
| Pelgrom | Successive Approximation Conversion | |
| US20250224928A1 (en) | Driving analog compute-in-memory cells using low power sparsity-aware digital-to-analog converters | |
| CN119893328B (en) | SAR-SS ADC circuit and module with pre-judging logic | |
| Hedayati et al. | An adaptive digital domain calibration technique for pipelined Analog-To-Digital Converters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23912003 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2024567758 Country of ref document: JP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 202380088909.4 Country of ref document: CN |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| WWP | Wipo information: published in national office |
Ref document number: 202380088909.4 Country of ref document: CN |