[go: up one dir, main page]

WO2024048704A1 - 人工知能処理装置および人工知能処理装置の重み係数書き込み方法 - Google Patents

人工知能処理装置および人工知能処理装置の重み係数書き込み方法 Download PDF

Info

Publication number
WO2024048704A1
WO2024048704A1 PCT/JP2023/031711 JP2023031711W WO2024048704A1 WO 2024048704 A1 WO2024048704 A1 WO 2024048704A1 JP 2023031711 W JP2023031711 W JP 2023031711W WO 2024048704 A1 WO2024048704 A1 WO 2024048704A1
Authority
WO
WIPO (PCT)
Prior art keywords
memory element
nonvolatile memory
variable resistance
resistance nonvolatile
voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/031711
Other languages
English (en)
French (fr)
Inventor
覚 藤井
俊作 村岡
雅大 森本
聡資 粟村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Nuvoton Technology Corp Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuvoton Technology Corp Japan filed Critical Nuvoton Technology Corp Japan
Priority to JP2024544553A priority Critical patent/JPWO2024048704A1/ja
Priority to CN202380062520.2A priority patent/CN119790401A/zh
Publication of WO2024048704A1 publication Critical patent/WO2024048704A1/ja
Priority to US19/050,821 priority patent/US20250182837A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/14—Arrangements for performing computing operations, e.g. operational amplifiers for addition or subtraction 
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/16—Arrangements for performing computing operations, e.g. operational amplifiers for multiplication or division
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/48—Analogue computers for specific processes, systems or devices, e.g. simulators
    • G06G7/60—Analogue computers for specific processes, systems or devices, e.g. simulators for living beings, e.g. their nervous systems ; for problems in the medical field
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B63/00—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B63/00—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices
    • H10B63/80—Arrangements comprising multiple bistable or multi-stable switching components of the same type on a plane parallel to the substrate, e.g. cross-point arrays
    • H10B63/82—Arrangements comprising multiple bistable or multi-stable switching components of the same type on a plane parallel to the substrate, e.g. cross-point arrays the switching components having a common active material layer

Definitions

  • the present disclosure relates to an artificial intelligence processing device and a weighting coefficient writing method thereof, and particularly relates to an artificial intelligence processing device using a variable resistance nonvolatile memory element whose resistance value changes depending on an applied electrical signal.
  • IoT Internet of Things
  • AI artificial intelligence
  • neural network technology which is an engineering imitation of human brain-type information processing, is used, and research and development of semiconductor integrated circuits that can perform neural network calculations at high speed and with low power consumption is being actively conducted. There is.
  • Patent Document 1 discloses a conventional neural network calculation circuit.
  • a neural network consists of basic elements called neurons (sometimes called perceptrons), in which multiple inputs are connected by connections called synapses, each with a different connection weighting coefficient, and by connecting multiple neurons to each other, It can perform advanced computational processing such as image recognition and voice recognition.
  • the neuron performs a product-sum calculation operation in which the products of each input and each connection weighting coefficient are added together.
  • the product-sum calculation circuit includes a memory circuit and a register circuit that store inputs and connection weighting coefficients, a multiplication circuit that multiplies the input and connection weighting coefficients, an accumulator circuit that cumulatively adds the multiplication results, and a control that controls the operation of these circuit blocks. Consists of circuits. All future circuit blocks will be composed of digital circuits.
  • the neural network calculation circuit is constructed using a variable resistance nonvolatile memory that can set multi-gradation analog resistance values or conductance (hereinafter simply referred to as "conductance"), which is the reciprocal of the resistance value.
  • conductance a conductance corresponding to a coupling weighting coefficient is stored in a memory element, a voltage value corresponding to an input is applied to the nonvolatile memory element, and at this time, an analog current value flowing through the nonvolatile memory element is utilized.
  • the product-sum calculation operation performed in a neuron stores multiple connection weighting coefficients as conductance in multiple non-volatile memory elements, applies a voltage value corresponding to the input to multiple non-volatile memory elements, and stores multiple connection weight coefficients as conductance in multiple non-volatile memory elements. This is performed by obtaining an analog current value, which is the sum of the current values flowing through the elements, as a result of a sum-of-products operation.
  • the conductance to be written to each nonvolatile memory is calculated from the coupling weight coefficient derived in advance, and the conductance is written to each nonvolatile memory.
  • Non-Patent Document 1 Yet another example of a conventional neural network calculation circuit is disclosed in Non-Patent Document 1.
  • the neural network calculation circuit is configured using a variable resistance nonvolatile memory whose conductance can be set, and the conductance corresponding to the coupling weighting coefficient is stored in the nonvolatile memory element, and the analog voltage corresponding to the input is stored in the nonvolatile memory element. They are the same in that they apply a value to a non-volatile memory element and utilize an analog current value flowing through the non-volatile memory element at this time.
  • the amount of change between the conductance at the time before writing and the conductance set after writing is first derived, and the amount of change in conductance is calculated according to the amount of change in conductance. Writing is performed to the non-volatile memory element.
  • the write operation is generally performed based on the conductance itself written to the non-volatile memory
  • the neural network calculation circuit as in Non-Patent Document 1 The circuit differs in that a write operation is generally performed based on the amount of change in conductance written into a nonvolatile memory before and after writing.
  • the neural network arithmetic circuits using nonvolatile memory elements disclosed in Patent Document 2 and Non-Patent Document 1 can both achieve lower power consumption than the neural network arithmetic circuits configured with digital circuits described above. Therefore, in recent years, process development, device development, and circuit development of variable resistance nonvolatile memory whose conductance can be set have been actively conducted.
  • the neural network arithmetic circuit which performs a write operation based on the conductance itself written to the nonvolatile memory, writes using the conductance itself derived in advance, so it is not possible to accurately write the conductance to the nonvolatile memory element. Therefore, after the product is shipped (that is, after the artificial intelligence processing device such as the neural network calculation circuit is shipped), it is suitable for the "artificial intelligence processing device for inference” that mainly processes only the product-sum calculations in the neural network. .
  • update of the connection weight coefficients that is, learning
  • conductance is frequently updated after the product is shipped.
  • a problem with the "artificial intelligence processing device for learning” is that learning cannot be performed efficiently when using a neural network calculation circuit that performs writing operations based on conductance itself.
  • FIG. 1A shows a learning process in a neural network arithmetic circuit in which a write operation is performed based on conductance itself.
  • inference is performed using the connection weight coefficient of each nonvolatile memory element (S10), the difference between the inference result and the teacher label is checked (S11), and the connection weight coefficient of each nonvolatile memory element is The amount of change at the time of update is calculated (S12), the current coupling weighting coefficient is read out for each nonvolatile memory element (S13), and the updated coupling weighting coefficient is calculated for each nonvolatile memory element based on the readout coupling weighting coefficient.
  • the calculated connection weighting coefficients are calculated (S14) and written into each nonvolatile memory element (S15). In other words, six steps are required to write the connection weighting coefficients themselves.
  • FIG. 1B shows a learning process in a neural network arithmetic circuit in which a writing operation is performed based on the amount of change in conductance before and after writing.
  • inference is performed using the connection weight coefficient of each nonvolatile memory element (S10), the difference between the inference result and the teacher label is checked (S11), and the connection weight coefficient of each nonvolatile memory element is The amount of change at the time of updating is calculated (S12), and the connection weighting coefficient is updated for each nonvolatile memory element so that the current connection weighting coefficient changes by the calculated amount of change in the connection weighting coefficient (S20).
  • S10 connection weight coefficient of each nonvolatile memory element
  • S11 the difference between the inference result and the teacher label
  • connection weight coefficient of each nonvolatile memory element is The amount of change at the time of updating is calculated (S12), and the connection weighting coefficient is updated for each nonvolatile memory element so that the current connection weighting coefficient changes by the calculated amount of change in the connection weighting coefficient (S20).
  • the conductance can be updated in the learning process shown in Figure 1B, and the conductance can be updated after the product is shipped. It is suitable for "artificial intelligence processing equipment for learning" that updates frequently.
  • the neural network calculation circuit in which the learning process shown in FIG. It is necessary to change the conductance to a value derived in advance by striking multiple times in succession. At that time, there is a problem that variations occur in the writing characteristics and initial settings cannot be performed with high efficiency and accuracy.
  • An object of the present invention is to provide an artificial intelligence processing device using a variable resistance nonvolatile memory element capable of performing the following steps, and a method for writing weighting coefficients therein.
  • An artificial intelligence processing device includes one substrate, a first variable resistance nonvolatile memory element and a second variable resistance nonvolatile memory element, each of which is mounted on the one substrate and has the same structure and maintains conductance. and a variable resistance nonvolatile memory element, and applying a first voltage pulse having a first voltage to the first variable resistance nonvolatile memory element.
  • the second resistance change is achieved by rewriting the conductance of the nonvolatile memory element and applying a second voltage pulse having a second voltage different from the first voltage to the second variable resistance nonvolatile memory element. and a write circuit that rewrites the conductance of the nonvolatile memory element.
  • a weighting coefficient writing method for an artificial intelligence processing device is a weighting coefficient writing method possessed by the artificial intelligence processing device, wherein the artificial intelligence processing device holds a weighting coefficient in a sum-of-products operation as a conductance. , comprising a first variable resistance nonvolatile memory element and a second variable resistance nonvolatile memory element having the same structure, and the writing method includes a first variable resistance nonvolatile memory element with respect to the first variable resistance nonvolatile memory element.
  • the setting (initial setting) of the coupling weighting coefficient with high efficiency and high accuracy at the time of product shipment, etc. makes it possible to simultaneously update (learn) the connection weighting coefficients in a highly efficient manner later on.
  • FIG. 1A is a diagram showing a learning process in a neural network arithmetic circuit in which a write operation is performed based on conductance itself.
  • FIG. 1B is a diagram showing a learning process in a neural network calculation circuit in which a writing operation is performed based on the amount of change in conductance before and after writing.
  • FIG. 2A is a schematic cross-sectional view of the first variable resistance nonvolatile memory element according to the embodiment.
  • FIG. 2B is a schematic cross-sectional view of the second variable resistance nonvolatile memory element according to the embodiment.
  • FIG. 1A is a diagram showing a learning process in a neural network arithmetic circuit in which a write operation is performed based on conductance itself.
  • FIG. 1B is a diagram showing a learning process in a neural network calculation circuit in which a writing operation is performed based on the amount of change in conductance before and after writing.
  • FIG. 2A is a schematic cross-sectional view of the first variable resistance nonvol
  • FIG. 3 is a diagram showing a change in conductance when the resistance of the first variable resistance nonvolatile memory element according to the embodiment is changed by continuously applying a plurality of voltage pulses of the same polarity and the same voltage.
  • FIG. 4 shows a second variable resistance nonvolatile memory element according to an embodiment using multiple voltages of the same polarity and the same voltage, which are different in voltage magnitude from those of the first variable resistance nonvolatile memory element 10.
  • FIG. 6 is a diagram showing changes in conductance when resistance is changed by continuous application of pulses.
  • FIG. 5A is a diagram illustrating definitions of a first variable resistance nonvolatile memory element and a second variable resistance nonvolatile memory element.
  • FIG. 5B is a diagram illustrating driving conditions of the first variable resistance nonvolatile memory element and the second variable resistance nonvolatile memory element.
  • FIG. 6A is a circuit diagram of a memory cell in the prior art.
  • FIG. 6B is a cross-sectional view of a memory cell in the prior art.
  • FIG. 7A is a circuit diagram of a memory cell according to an embodiment.
  • FIG. 7B is a cross-sectional view illustrating an example of a memory cell according to the embodiment.
  • FIG. 7C is a cross-sectional view showing an example of the memory cell according to the embodiment, which is different from FIG. 7B.
  • FIG. 8A is a circuit diagram of a memory cell according to another embodiment.
  • FIG. 8B is a diagram showing an example of a cross-sectional view of a memory cell of an artificial intelligence processing device in which the first variable resistance nonvolatile memory element described in FIG. 8A is mounted.
  • FIG. 8C is a diagram showing an example of a cross-sectional view of a memory cell of the artificial intelligence processing device in which the second variable resistance nonvolatile memory element described in FIG. 8A is mounted.
  • FIG. 9A is a block diagram showing a model of the artificial intelligence processing device according to the embodiment.
  • FIG. 9B is a diagram illustrating the function of the neuron shown in FIG. 9A.
  • FIG. 10A is a diagram showing an example of a circuit that implements the neuron shown in FIG. 9B.
  • FIG. 10B is a diagram illustrating another example circuit that implements the neuron shown in FIG. 9B.
  • FIG. 11 is a block diagram showing the overall configuration of an artificial intelligence processing device made up of neurons shown in FIG. 10A.
  • FIG. 12A is a diagram showing an example of voltages applied via the word line WL, bit lines BL1, BL2, and source line SL during writing and reading to the memory cell shown in FIG. 10A.
  • FIG. 12B is a diagram showing an example of voltages applied via word lines WL1, WL2, bit line BL, and source line SL during writing and reading to the memory cell shown in FIG. 10B.
  • FIG. 13 is a flowchart showing an example of the operation of the control circuit shown in FIG.
  • constituent elements in the following embodiments constituent elements that are not described in the independent claims representing the top concept of the present disclosure may be used in forms that may be adopted although they are not necessarily necessary to achieve the objects of the present disclosure. It is explained as configuring.
  • the present inventor has developed a system for setting high-accuracy coupling weighting coefficients (initial setting) at the time of product shipment, etc. in an artificial intelligence processing device using variable resistance non-volatile memory elements, and for setting highly efficient coupling weighting coefficients after product shipment, etc.
  • high-accuracy coupling weighting coefficients initial setting
  • variable resistance non-volatile memory elements variable resistance non-volatile memory elements
  • the present inventors have developed an artificial intelligence processing device using variable resistance nonvolatile memory elements by mounting two variable resistance nonvolatile memory elements with the same structure on one substrate, and By applying continuous voltage pulses of the same polarity and voltage to each nonvolatile memory element under different driving conditions (specifically, voltages of different magnitudes), the conductance of one nonvolatile memory element changes little by little.
  • the other non-volatile memory element has a structure in which the conductance changes greatly when the first voltage pulse is applied, and the amount of conductance change due to the second and subsequent voltage pulses is small, thereby solving the problem of resistance change. Operational efficiency of highly accurate connection weighting coefficient setting (initial setting) at the time of product shipment and highly efficient connection weighting coefficient updating (learning) after product shipment in an artificial intelligence processing device using non-volatile memory elements
  • “same structure” means that it is made of substantially the same material and has substantially the same structure, and the content of minute amounts of material components such as impurities is different, or the same structure is used. Even if there are differences due to dimensional variations that occur during the manufacturing process, they are still included in the "same structure.” Typically, identical structures are formed by identical manufacturing processes.
  • variable resistance nonvolatile memory element one of the variable resistance nonvolatile memory elements whose conductance is to be changed under two different driving conditions according to the embodiment will be referred to as a "first variable resistance nonvolatile memory element,” and the other will be referred to as a “second variable resistance nonvolatile memory element.”
  • first variable resistance nonvolatile memory element one of the variable resistance nonvolatile memory elements whose conductance is to be changed under two different driving conditions according to the embodiment
  • second variable resistance nonvolatile memory element An example of the configuration of the first variable resistance nonvolatile memory element and the second variable resistance nonvolatile memory element will be described. As described above, the first variable resistance nonvolatile memory element and the second variable resistance nonvolatile memory element are driven under different driving conditions, but have the same structure.
  • variable resistance nonvolatile memory element and the second variable resistance nonvolatile memory element are driven under different driving conditions.
  • FIG. 2A is a schematic diagram showing a configuration example of the first variable resistance nonvolatile memory element 10 according to the embodiment.
  • the first variable resistance nonvolatile memory element 10 is a variable resistance nonvolatile memory element that is used for setting (initial setting) highly accurate coupling weighting coefficients at the time of product shipment, etc. It is a sexual memory element.
  • the first variable resistance nonvolatile memory element 10 includes a substrate 1, a first electrode 2 formed on the substrate 1, and a metal oxide layer formed on the first electrode 2. It includes a variable resistance layer 3 formed and a second electrode 4 formed on the variable resistance layer 3. The first electrode 2 and the second electrode 4 are electrically connected to the variable resistance layer 3. That is, the first variable resistance nonvolatile memory element 10 includes a first electrode 2 , a second electrode 4 , and a variable resistance layer 3 interposed between the first electrode 2 and the second electrode 4 .
  • first electrode 2 may be of the same size as the second electrode 4, and the first electrode 2, second electrode 4, and variable resistance layer 3 may be arranged upside down or sideways. It may be placed in
  • the substrate 1 is composed of a silicon substrate on which circuit elements such as transistors are formed, for example.
  • the first electrode 2 or the second electrode 4 is made of a noble metal, such as Au (gold), Pt (platinum), Ir (iridium), Pd (palladium), Ru (ruthenium), etc. Constructed using one material.
  • the second electrode 4 in contact with the second tantalum oxide layer 3b is made of a noble metal
  • the first electrode 2 is made of a noble metal or a non-noble metal. Due to such electrode characteristics, the first variable resistance nonvolatile memory element 10 has resistance variable characteristics shown in FIG. 3, which will be described later.
  • the resistance (in other words, conductance) of the variable resistance layer 3 changes depending on the voltage pulse applied between the first electrode 2 and the second electrode 4.
  • the resistance change layer 3 is made of a metal oxide, and is formed by laminating a first tantalum oxide layer 3a and a second tantalum oxide layer 3b.
  • the oxygen content of the second tantalum oxide layer 3b is higher than the oxygen content of the first tantalum oxide layer 3a.
  • composition of the first tantalum oxide layer 3a is TaOx, 0 ⁇ x ⁇ 2.5, and when the composition of the second tantalum oxide layer 3b is TaOy, if x ⁇ y good.
  • FIG. 2B is a schematic diagram showing a configuration example of the second variable resistance nonvolatile memory element 20 according to the embodiment.
  • the second variable resistance nonvolatile memory element 20 is a variable resistance nonvolatile memory element used for highly efficient updating (learning) of coupling weighting coefficients after product shipment, etc., whose use is determined by the driving conditions described later. It is a memory element.
  • the second variable resistance nonvolatile memory element 20 has the same structure as the first variable resistance nonvolatile memory element 10, and includes a substrate 11 and a substrate 11 formed on the substrate 11. It includes a first electrode 12 , a variable resistance layer 13 formed as a metal oxide layer on the first electrode 12 , and a second electrode 14 formed on the variable resistance layer 13 .
  • the resistance change layer 13 is made of metal oxide, and is formed by laminating a first tantalum oxide layer 13a and a second tantalum oxide layer 13b.
  • the substrate 11, the first electrode 12, the variable resistance layer 13, the second electrode 14, the first tantalum oxide layer 13a, and the second tantalum oxide layer 13b correspond to the first variable resistance nonvolatile memory element 10, respectively. Constructed from the same material as the components.
  • the first electrode 2 is formed on the substrate 1 by sputtering. Thereafter, a tantalum oxide layer is formed on the first electrode 2 by a so-called reactive sputtering method in which a Ta target is sputtered in argon gas and oxygen gas.
  • the oxygen content in the tantalum oxide layer can be easily adjusted by changing the flow rate ratio of oxygen gas to argon gas. Note that the substrate temperature can be set to room temperature without being particularly heated.
  • the outermost surface of the tantalum oxide layer formed as described above is oxidized to modify the surface.
  • a layer with a higher oxygen content is formed by sputtering using a tantalum oxide (for example, Ta2O5) target with a high oxygen content.
  • a region (second region) having a higher oxygen content than the unoxidized region (first region) of the tantalum oxide layer is formed on the surface of the previously formed tantalum oxide layer.
  • variable resistance layer 3 is constituted by the layer 3b.
  • the second electrode 4 is formed by sputtering on the variable resistance layer 3 formed as described above.
  • the first electrode 2 the oxygen-deficient first tantalum oxide layer 3a, the second tantalum oxide layer 3b and the second electrode 4 to form a first variable resistance nonvolatile memory element 10 in which the variable resistance layer 3 is sandwiched between the first electrode 2 and the second electrode 4.
  • patterning was performed at once using the same mask in this step, but patterning may be performed individually for each step.
  • the sizes and shapes of the first electrode 2, the second electrode 4, and the variable resistance layer 3 can be adjusted using a photomask and photolithography.
  • the size of the second electrode 4 and the variable resistance layer 3 is 0.1 ⁇ m x 0.1 ⁇ m (area 0.01 ⁇ m 2 ), and the size of the portion where the first electrode 2 and the variable resistance layer 3 are in contact is also
  • the size is 0.1 ⁇ m ⁇ 0.1 ⁇ m (area 0.01 ⁇ m 2 )
  • the size and shape are not limited to this, and can be changed as appropriate depending on the layout design.
  • a plurality of voltage pulses of the same polarity and the same voltage with different magnitudes for each of the variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 for example, a first voltage pulse having a first voltage for the memory element 10, and a second voltage pulse having a second voltage different from the first voltage for the second variable resistance nonvolatile memory element 20).
  • the conductances of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 change between them.
  • a write voltage pulse of negative polarity is applied between the first electrode 2 and the second electrode 4 of the first variable resistance nonvolatile memory element 10 or the second variable resistance nonvolatile memory element 20.
  • the process in which the conductance of the variable resistance layer 3 increases and the variable resistance layer 3 changes from a high resistance state to a low resistance state is called resistance lowering (or “set”).
  • the conductance of the variable resistance layer 3 is reduced, and the process of changing the variable resistance layer 3 from a low resistance state to a high resistance state is increased (or (also called “reset”).
  • lowering and increasing the resistance of the variable resistance nonvolatile memory element is also referred to as "writing” or "rewriting” the conductance or resistance value.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 operate as nonvolatile memory elements.
  • the initial process will be explained.
  • the initial process is normally executed only once before the first writing.
  • the initial process is a preparatory process for realizing a stable resistance change operation in the subsequent lowering and higher resistance, and is also called "breaking" or "forming.”
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 immediately after manufacture have an initial resistance value that is higher than the high resistance state when the resistance changes. Even if a low resistance voltage pulse or a high resistance voltage pulse during normal operation is applied in this state, no resistance change occurs.
  • an initial voltage pulse is applied between the first electrode 2 and the second electrode 4.
  • the magnitude of the voltage applied to each of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 (that is, the driving conditions) will be different;
  • the conductance of the first variable resistance non-volatile memory element 10 and the second variable resistance non-volatile memory element 20 changes between a high resistance state and a low resistance state. It will change between.
  • the initial process is a first resistance change in an initial state to which no voltage has been applied after manufacturing the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20. This is a process performed on the type nonvolatile memory element 10 and the second variable resistance type nonvolatile memory element 20.
  • a local region called a filament having a degree of oxygen deficiency greater than the degree of oxygen deficiency in the surrounding area is formed in the resistance change layer 3.
  • the filament is formed through the initial process, but it is not necessarily necessary to form the filament through the initial process, and it is not necessary to form the filament through the initial process.
  • a large oxide layer may be provided.
  • FIG. 3 shows that in the first variable resistance non-volatile memory element 10 according to the present embodiment, the first variable resistance non-volatile memory element 10 according to the present embodiment is This is a resistance change characteristic when the conductance of the nonvolatile memory element 10 is changed to a high resistance state or a low resistance state.
  • the horizontal axis shows the number of voltage pulse applications, and the vertical axis shows conductance.
  • FIG. 3 when the resistance is lowered by continuously applying multiple voltage pulses of the same polarity and the same voltage to the first variable resistance nonvolatile memory element 10, a black circle on the upper side of the rectangular waveform in FIG.
  • the amount of change in conductance with the first voltage pulse is large, and the conductance increases from a high resistance state to a state close to a low resistance state due to the first voltage pulse. Thereafter, even if the second and third pulses are applied in succession, the amount of change in conductance remains very small compared to the amount of change in conductance caused by the first voltage pulse.
  • a plurality of voltage pulses of the same polarity and the same voltage are continuously applied to the first variable resistance nonvolatile memory element 10 to increase the resistance, as shown in the black circle plot on the lower side of the rectangular waveform in FIG.
  • the amount of change in conductance with the first voltage pulse is large, and the conductance decreases from a low resistance state to a state close to a high resistance state due to the first voltage pulse. Thereafter, even if the second and third pulses are applied in succession, the amount of change in conductance remains very small compared to the amount of change in conductance caused by the first voltage pulse. In other words, the conductance of the first variable resistance nonvolatile memory element 10 is reduced by continuous application of the first voltage pulse having a voltage different from that of the second variable resistance nonvolatile memory element 20. It has the characteristic of changing continuously (or non-linearly).
  • the conductance itself in a low resistance state (in other words, the multi-gradation analog resistance value) is adjusted by a current limiting circuit connected to the element. It is possible to do so.
  • the first variable resistance nonvolatile memory element 10 has a characteristic that the conductance changes greatly with the first voltage pulse in the application of continuous voltage pulses, and the amount of change is small with subsequent voltage pulses. Therefore, the first variable resistance nonvolatile memory element 10 can be said to be a variable resistance nonvolatile memory element suitable for setting (initial setting) highly accurate coupling weighting coefficients at the time of product shipment.
  • firmware update and learning can be performed before and after product shipment in an artificial intelligence processing device using a variable resistance nonvolatile memory element.
  • the coupling weighting coefficient is insufficient due to model updates, regular maintenance, and changes in the conductance of the second variable resistance nonvolatile memory element 20, the conductance setting value of each element is acquired in advance and written to each element. becomes possible.
  • FIG. 4 shows that, in the second variable resistance non-volatile memory element 20 according to the present embodiment, the magnitude of the voltage is different from that of the first variable resistance non-volatile memory element 10, and the same polarity and the same voltage are used.
  • This is a resistance change characteristic when the conductance of the second variable resistance nonvolatile memory element 20 is changed to a high resistance state or a low resistance state by continuous application of a plurality of voltage pulses (that is, second voltage pulses).
  • the horizontal axis shows the number of voltage pulse applications, and the vertical axis shows conductance.
  • the rate of change in conductance at the first voltage pulse is smaller than the rate of change in conductance at the first voltage pulse in the first variable resistance nonvolatile memory element 10.
  • the second variable resistance nonvolatile memory element 20 exhibiting such resistance change characteristics, a voltage pulse with a polarity toward lower resistance or a polarity toward higher resistance is generated regardless of the conductance before the pulse is applied.
  • a voltage pulse By applying a voltage pulse, it is possible to cause a certain amount of increase in conductance (lower resistance) or decrease in conductance (higher resistance).
  • the second variable resistance nonvolatile memory element 20 has a characteristic that the conductance gradually changes with successive voltage pulses. Therefore, the second variable resistance nonvolatile memory element 20 can be said to be a variable resistance nonvolatile memory element suitable for highly efficient updating (learning) of the coupling weighting coefficients after product shipment.
  • the second variable resistance non-volatile memory element 20 in an artificial intelligence processing device using a variable resistance non-volatile memory element, each It becomes possible to write directly to the element to increase or decrease the conductance by a certain amount.
  • the second voltage pulse changes with respect to the amount of conductance change in the first voltage pulse in the second variable resistance nonvolatile memory element 20.
  • the ratio of the amount of change in conductance at the second voltage pulse to the amount of change in conductance at the first voltage pulse in the first variable resistance nonvolatile memory element 10 is It's also big.
  • the second variable resistance nonvolatile memory element 20 has a continuous conductance due to the continuous application of the second voltage pulse having a voltage different from that of the first variable resistance nonvolatile memory element 10. It has the characteristic of changing linearly (or linearly).
  • the first variable resistance nonvolatile memory element 10 almost reaches the set conductance with a single voltage pulse, although the difference is caused by the difference in driving conditions (that is, the magnitude of the applied voltage pulse). Comparing the second variable resistance nonvolatile memory element 20 whose conductance gradually changes by continuous application of multiple voltage pulses of the same polarity and the same voltage, the first variable resistance nonvolatile memory element 20 whose conductance can be set by a single voltage pulse.
  • the variable resistance nonvolatile memory element 10 is considered to maintain a specific resistance state more firmly, and is therefore considered to have high retention characteristics after writing (that is, storage durability).
  • the second variable resistance nonvolatile memory element 20 whose conductance gradually changes due to the continuous application of multiple voltage pulses of the same polarity and the same voltage changes the conductance gradually, so that the degree of element deterioration due to writing itself is reduced. It is considered to be small and have high endurance characteristics (that is, write characteristics).
  • FIG. 5A is a diagram illustrating the definitions of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20.
  • a voltage pulse of the same polarity and the same voltage is applied 20 times in a row in the process of lowering the resistance, and then a voltage pulse of the opposite polarity and the same voltage is applied 20 times in a row in the process of increasing the resistance.
  • -Cycle (“n th _Cycle” in FIG. 5A) is repeated 50 times, and the relationship between the number of voltage pulses (horizontal axis) and conductance (vertical axis) is shown.
  • 0 th _LR, 1 th _LR, and Max_LR are the conductance after the 0th voltage pulse application (that is, as an initial value) and the 1st voltage pulse application in the resistance reduction process in 1 Super-Cycle, respectively.
  • the later conductance indicates the maximum conductance.
  • 0 th _HR, 1 th _HR, and Min_HR are the conductance after the 0th voltage pulse application (that is, as an initial value) and the conductance after the 1st voltage pulse application in the high resistance process in 1 Super-Cycle, respectively. Conductance, indicating the minimum conductance.
  • Ratio_LR the rate of change in conductance due to the first voltage pulse in the resistance reduction process.
  • Ratio_LR (1 th _LR-0 th _LR)/(Max_LR-0 th _LR) (Formula 1)
  • Ratio_HR rate of change in conductance due to the first voltage pulse in the process of increasing resistance
  • Ratio_HR (1 th _HR-0 th _HR)/(Min_HR-0 th _HR) (Formula 2)
  • Ratio_LR and Ratio_HR are collectively simply referred to as Ratio.
  • variable resistance nonvolatile memory element driven under the driving condition of Ratio>0.7 is defined as a "first variable resistance nonvolatile memory element” or a digital RAND ( It is called a Resistive Analog Neuro Device.
  • first variable resistance nonvolatile memory element or a digital RAND ( It is called a Resistive Analog Neuro Device.
  • second variable resistance nonvolatile memory element or analog RAND.
  • the "second variable resistance nonvolatile memory element" or analog RAND does not necessarily have to be driven under the same driving conditions (that is, Ratio_LR ⁇ 0.4 and Ratio_HR ⁇ 0.4), and may be driven under a drive condition that satisfies at least one of Ratio_LR ⁇ 0.4 and Ratio_HR ⁇ 0.4.
  • FIG. 5B is a diagram illustrating the driving conditions of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20.
  • the voltage of the voltage pulse to increase the resistance of the variable resistance non-volatile memory element as digital RAND is 1.0
  • the voltage ratio of the actually applied voltage pulse (HR-pulse_Voltage_Ratio) is plotted on the horizontal axis.
  • HR-pulse_Voltage_Ratio the voltage ratio of the actually applied voltage pulse
  • It is a diagram in which the results obtained in an experiment are plotted with the vertical axis representing the Ratio obtained with a voltage pulse.
  • the circle plots show the results obtained in the process of lowering the resistance
  • the square plots show the results obtained in the process of increasing the resistance.
  • a region satisfying "Ratio>0.7” is described as “Digital operation”, and the variable resistance nonvolatile memory element operates as the first variable resistance nonvolatile memory element 10 or digital RAND. It is an area. Further, the region satisfying "Ratio ⁇ 0.4" is described as “Analog-like operation”, and is a region where the variable resistance nonvolatile memory element operates as the second variable resistance nonvolatile memory element 20 or analog RAND. be.
  • the driving conditions of Equation 3 below are met, that is, the voltage pulse with a voltage smaller than 0.71 times the voltage of the voltage pulse that increases the resistance of the variable resistance nonvolatile memory element as digital RAND is used to change the resistance.
  • the variable resistance nonvolatile memory element can be operated as the second variable resistance nonvolatile memory element 20 or analog RAND.
  • FIG. 6A and 6B are a circuit diagram and a cross-sectional view of a resistance variable nonvolatile memory element in the prior art.
  • FIG. 6A shows a circuit diagram of a memory cell of an artificial intelligence processing device equipped with a conventional variable resistance nonvolatile memory element.
  • the memory cell MC is composed of a resistance variable non-volatile memory element RP and a cell transistor T0 connected in series, and is a "1T1R" type composed of one cell transistor T0 and one resistance variable non-volatile memory element RP. memory cell.
  • the word line WL of the memory cell MC is connected to the gate terminal of the cell transistor T0
  • the bit line BL is connected to the variable resistance nonvolatile memory element RP
  • the source line SL is connected to the source terminal of the cell transistor T0.
  • FIG. 6B shows a cross-sectional view of a memory cell of an artificial intelligence processing device equipped with a conventional variable resistance nonvolatile memory element RP.
  • Diffusion regions 61a and 61b are formed on the substrate 60, and the diffusion region 61a serves as the source terminal of the cell transistor T0, and the diffusion region 61b serves as the drain terminal of the cell transistor.
  • the area between the diffusion regions 61a and 61b acts as a channel region of the cell transistor T0, and an oxide film 62 and a gate electrode 63 made of polysilicon are formed on this channel region, and operates as the cell transistor T0.
  • Diffusion region 61a which is the source terminal of cell transistor T0, is connected to source line SL, which is first wiring layer 65a, via via 64a.
  • Diffusion region 61b which is the drain terminal of cell transistor T0, is connected to first wiring layer 65b via via 64b.
  • the first wiring layer 65b is connected to a second wiring layer 67 via a via 66, and the second wiring layer 67 is connected to a variable resistance nonvolatile memory element RP via a via 68a.
  • the variable resistance nonvolatile memory element RP is composed of a first electrode 2, a variable resistance layer 3, and a second electrode 4.
  • the variable resistance nonvolatile memory element RP is connected to the bit line BL, which is the third wiring layer 69, via the via 68b.
  • variable resistance nonvolatile memory element RP only the first variable resistance nonvolatile memory element 10 according to the embodiment, which approximately reaches the set conductance with a single voltage pulse, is used in the artificial intelligence processing device. It will be installed. Therefore, it is difficult to achieve both highly efficient and accurate connection weighting coefficient setting (initial setting) at the time of product shipment, and highly efficient connection weighting coefficient update (learning) after product shipment.
  • FIGS. 7A to 7C are diagrams showing examples of a circuit diagram and a cross-sectional view of a variable resistance nonvolatile memory element according to an embodiment.
  • FIG. 7A shows a circuit diagram of a memory cell of an artificial intelligence processing device in which both the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are mounted.
  • the memory cell MC is a first variable resistance nonvolatile memory element 10 whose conductance can be set by a single voltage pulse, and whose conductance gradually changes by continuously applying multiple voltage pulses of the same polarity and voltage that satisfy the above formula 3.
  • a "1T2R" type memory is composed of a second variable resistance nonvolatile memory element 20 connected to a cell transistor T0, and is a "1T2R” type memory composed of one cell transistor T0 and two variable resistance nonvolatile memory elements. It is a cell.
  • the word line WL of the memory cell MC is connected to the gate terminal of the cell transistor T0, the bit line BL1 is connected to the first variable resistance nonvolatile memory element 10, and the bit line BL2 is connected to the second variable resistance nonvolatile memory element 10.
  • the source line SL is connected to the source terminal of the cell transistor T0.
  • FIG. 7B is an example of a cross-sectional view of a memory cell of an artificial intelligence processing device in which both the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 shown in FIG. 7A are mounted. This is what is shown.
  • a first variable resistance nonvolatile memory element 10 and a second variable resistance nonvolatile memory element 20 are respectively arranged in a first layer sandwiched between two wiring layers and a first layer sandwiched between two wiring layers.
  • An example structure is illustrated in which the structure is arranged in a second layer different from the first layer.
  • Diffusion regions 71a and 71b are formed on a semiconductor substrate 70, and the diffusion region 71a acts as the source terminal of the cell transistor T0, and the diffusion region 71b acts as the drain terminal of the cell transistor.
  • the area between the diffusion regions 71a and 71b acts as a channel region of the cell transistor T0, and an oxide film 72 and a gate electrode 73 made of polysilicon are formed on this channel region, and operates as the cell transistor T0.
  • Diffusion region 71a which is the source terminal of cell transistor T0, is connected to source line SL, which is first wiring layer 75a, via via 74a.
  • Diffusion region 71b which is the drain terminal of cell transistor T0, is connected to first wiring layer 75b via via 74b.
  • first wiring layer 75b is connected to a second wiring layer 77 via a via 76a
  • second wiring layer 77 is connected to the first variable resistance nonvolatile memory element 10 via a via 78a.
  • the first variable resistance nonvolatile memory element 10 includes a first electrode 2, a variable resistance layer 3, and a second electrode 4.
  • the first variable resistance nonvolatile memory element 10 is connected to the bit line BL1, which is the third wiring layer 79, via the via 78b.
  • the second wiring layer 77 is connected to the second variable resistance nonvolatile memory element 20 via the via 76c.
  • the second variable resistance nonvolatile memory element 20 includes a first electrode 12 , a variable resistance layer 13 , and a second electrode 14 .
  • the second variable resistance nonvolatile memory element 20 is connected to the bit line BL2, which is the first wiring layer 75c, via the via 76b.
  • the center of the first variable resistance nonvolatile memory element 10 and the center of the second variable resistance nonvolatile memory element 20 coincide with each other when viewed in a direction perpendicular to the substrate plane.
  • FIG. 7C is a cross-sectional view of a memory cell of an artificial intelligence processing device in which both the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 shown in FIG. 7A are mounted.
  • a structural example is illustrated in which a first variable resistance nonvolatile memory element 10 and a second variable resistance nonvolatile memory element 20 are arranged in the same layer sandwiched between two wiring layers. .
  • Diffusion regions 81a and 81b are formed on a semiconductor substrate 80, and the diffusion region 81a acts as the source terminal of the cell transistor T0, and the diffusion region 81b acts as the drain terminal of the cell transistor.
  • the area between the diffusion regions 81a and 81b acts as a channel region of the cell transistor T0, and an oxide film 82 and a gate electrode 83 made of polysilicon are formed on this channel region to operate as the cell transistor T0.
  • Diffusion region 81a which is the source terminal of cell transistor T0, is connected to source line SL, which is first wiring layer 85a, via via 84a.
  • Diffusion region 81b which is the drain terminal of cell transistor T0, is connected to first wiring layer 85b via via 84b.
  • the first wiring layer 85b is connected to the second wiring layer 87b via a via 86c, and the second wiring layer 87b is connected to the first variable resistance nonvolatile memory element 10 via a via 88a.
  • the first variable resistance nonvolatile memory element 10 includes a first electrode 2, a variable resistance layer 3, and a second electrode 4.
  • the first variable resistance nonvolatile memory element 10 is connected to the bit line BL1, which is the third wiring layer 89b, via the via 88b.
  • the first wiring layer 85b is connected to the second wiring layer 87a via the via 86a, and the second wiring layer 87a is connected to the second variable resistance nonvolatile memory element 20 via the via 88c.
  • the second variable resistance nonvolatile memory element 20 includes a first electrode 12 , a variable resistance layer 13 , and a second electrode 14 .
  • the second variable resistance nonvolatile memory element 20 is connected to the bit line BL2, which is the third wiring layer 89a, via the via 88d.
  • the center of the first variable resistance nonvolatile memory element 10 and the center of the second variable resistance nonvolatile memory element 20 do not coincide when viewed in a direction perpendicular to the substrate plane.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are arranged between different wiring layers between the first wiring layer and the third wiring layer. , the same effect can be obtained even if it is placed between other wiring layers, for example between different wiring layers, such as between the second wiring layer and the fourth wiring layer.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are arranged in a layer sandwiched between the second wiring layer and the third wiring layer.
  • the same effect can be obtained even if it is placed between other wiring layers, for example, in a layer sandwiched between a first wiring layer and a second wiring layer.
  • the current flowing through the bit line BL or the source line SL is defined as the current flowing through the memory cell MC.
  • the current flowing through the memory cell MC is the sum of the currents flowing through the bit line BL1 and the bit line BL2, or the current flowing through the source line SL, that is, the sum of the current flowing through the first variable resistance nonvolatile memory element 10 and the first variable resistance nonvolatile memory element 10. It is defined as the sum of the currents flowing through the two variable resistance nonvolatile memory elements 20.
  • the signal on the word line WL corresponds to an input signal input to one neuron
  • the signal on the word line WL corresponds to the input signal input to one neuron
  • the total conductance of the non-volatile memory elements 20 corresponds to one coupling weighting coefficient corresponding to the input signal
  • the first variable resistance non-volatile memory element 10 and the second variable resistance non-volatile memory element 20 are connected to each other.
  • the sum of flowing currents (that is, the sum of currents flowing through bit line BL1 and bit line BL2, or the current flowing through source line SL) corresponds to the product of the input signal and the coupling weighting coefficient.
  • FIGS. 8A to 8C are diagrams showing examples of a circuit diagram and a cross-sectional view of a variable resistance nonvolatile memory element according to another embodiment.
  • FIG. 8A shows a circuit diagram of a memory cell of an artificial intelligence processing device in which both the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are mounted.
  • the memory cell MC1 is composed of a first variable resistance nonvolatile memory element 10 whose conductance can be set by a single voltage pulse and a cell transistor T1, and the memory cell MC2 has the same polarity that satisfies the above formula 3.
  • a cell transistor T2 is connected to a second variable resistance nonvolatile memory element 20 whose conductance gradually changes due to the continuous application of a plurality of voltage pulses of the same voltage, and two cell transistors T1 and T2 are connected to each other.
  • the word line WL1 of the memory cell MC1 is connected to the gate terminal of the cell transistor T1
  • the word line WL2 of the memory cell MC2 is connected to the gate terminal of the cell transistor T2
  • the bit line BL is connected to the first variable resistance nonvolatile memory element.
  • 10 and a second variable resistance nonvolatile memory element 20 is connected to the source terminals of cell transistors T1 and T2.
  • FIG. 8B shows an example of a cross-sectional view of the memory cell MC1 of the artificial intelligence processing device in which the first variable resistance nonvolatile memory element 10 shown in FIG. 8A is mounted.
  • Diffusion regions 91a and 91b are formed on a semiconductor substrate 90, and the diffusion region 91a serves as the source terminal of the cell transistor T1, and the diffusion region 91b serves as the drain terminal of the cell transistor T1.
  • the area between the diffusion regions 91a and 91b acts as a channel region of the cell transistor T1, and an oxide film 92 and a gate electrode 93 made of polysilicon are formed on this channel region to operate as the cell transistor T1.
  • Diffusion region 91a which is the source terminal of cell transistor T1 is connected to source line SL, which is first wiring layer 95a, via via 94a.
  • Diffusion region 91b which is the drain terminal of cell transistor T1 is connected to first wiring layer 95b via via 94b.
  • first wiring layer 95b is connected to a second wiring layer 97 via a via 96
  • second wiring layer 97 is connected to the first variable resistance nonvolatile memory element 10 via a via 98a.
  • the first variable resistance nonvolatile memory element 10 includes a first electrode 2, a variable resistance layer 3, and a second electrode 4.
  • the first variable resistance nonvolatile memory element 10 is connected to the bit line BL, which is the third wiring layer 99, via the via 98b.
  • FIG. 8C shows an example of a cross-sectional view of the memory cell MC2 of the artificial intelligence processing device in which the second variable resistance nonvolatile memory element 20 described in FIG. 8A is mounted.
  • Diffusion regions 101a and 101b are formed on the same substrate 90 as in FIG. 8B, and the diffusion region 101a acts as the source terminal of the cell transistor T2, and the diffusion region 101b acts as the drain terminal of the cell transistor T2.
  • the area between the diffusion regions 101a and 101b acts as a channel region of the cell transistor T2, and an oxide film 102 and a gate electrode 103 made of polysilicon are formed on this channel region, and operates as the cell transistor T2.
  • Diffusion region 101a which is the source terminal of cell transistor T2 is connected via via 104a to source line SL, which is the first wiring layer 95a common to FIG. 8B.
  • Diffusion region 101b which is the drain terminal of cell transistor T2, is connected to first wiring layer 105 via via 104b.
  • first wiring layer 105 is connected to a second wiring layer 107 via a via 106
  • second wiring layer 107 is connected to a second variable resistance nonvolatile memory element 20 via a via 108a.
  • the second variable resistance nonvolatile memory element 20 includes a first electrode 12 , a variable resistance layer 13 , and a second electrode 14 .
  • the second variable resistance nonvolatile memory element 20 is connected to the bit line BL, which is the third wiring layer 99 common to FIG. 8B, via the via 108b.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are placed in a layer sandwiched between the second wiring layer and the third wiring layer.
  • the same effect can be obtained even if it is placed between other wiring layers, for example, between different wiring layers such as a first wiring layer and a second wiring layer.
  • variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are arranged between different wiring layers.
  • the current flowing through the bit line BL or the source line SL that is, the current flowing through the variable resistance nonvolatile memory element RP
  • the current flowing through the memory cell MC is defined as the current flowing through the memory cell MC.
  • the current flowing through the bit line BL or the source line SL is the sum of the current flowing through the memory cell MC1 and the current flowing through the memory cell MC2, that is, the sum of the current flowing through the first variable resistance nonvolatile memory element 10 and the second current flowing through the memory cell MC2. is defined as the sum of the currents flowing through the variable resistance nonvolatile memory element 20.
  • a signal flowing in common to word lines WL1 and WL2 corresponds to an input signal input to one neuron.
  • the sum of the conductances of the first resistance variable nonvolatile memory element 10 and the second resistance variable nonvolatile memory element 20 corresponds to one coupling weighting coefficient corresponding to the input signal, and the first resistance variable nonvolatile memory element 20 corresponds to one coupling weighting coefficient corresponding to the input signal.
  • the sum of the currents flowing through the variable resistance storage element 10 and the second variable resistance nonvolatile storage element 20 is the product of the input signal and the coupling weighting coefficient. Equivalent to.
  • the first variable resistance nonvolatile memory element 10 approximately reaches the set conductance with a single voltage pulse, and the same polarity that satisfies the above formula 3,
  • both elements can be used.
  • the first variable resistance non-volatile memory element 10 is subject to firmware updates, learning model updates, periodic maintenance, and changes in the conductance of the second variable resistance non-volatile memory element 20 before and after product shipment.
  • the conductance is changed when the coupling weighting coefficient is insufficiently updated, and the second variable resistance nonvolatile memory element 20 is used in such a way that the conductance is changed when the coupling weighting coefficient is updated for learning after product shipment.
  • This makes it possible to achieve both highly efficient and highly accurate connection weighting coefficient setting (initial setting) at the time of product shipment, and highly efficient connection weighting coefficient updating (learning) after product shipment.
  • one of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 is selected depending on the application at that time.
  • a first neural network region that uses the connection weight coefficient settings of the existing neural network as is by applying the transfer learning or reinforcement learning using the connection weight coefficient settings of the existing neural network; If there is a second neural network area to perform new learning, the conductance of the first variable resistance nonvolatile memory element 10 is changed to set the coupling weight coefficient of the first neural network area. Transfer learning or reinforcement learning can be performed efficiently by changing the conductance of the second variable resistance non-volatile memory element 20 to set the connection weighting coefficient of the second neural network region. can.
  • FIG. 9A is a block diagram showing a model of the artificial intelligence processing device 200 according to the embodiment.
  • the artificial intelligence processing device 200 is a neural network composed of an input layer 201, a plurality of hidden layers 202, and an output layer 203.
  • Each layer (input layer 201, hidden layer 202, output layer 203) is composed of a plurality of neurons 210.
  • Output data from the neurons 210 forming the previous layer is input to each neuron 210 via a synapse 211 .
  • FIG. 9B is a diagram illustrating the function of neuron 210 shown in FIG. 9A.
  • the neuron 210 receives the output data from the neuron 210 forming the previous layer as input data x i via the synapse 211, and multiplies the received input data x i by the connection weighting coefficient w i corresponding to the synapse 211.
  • a sum-of-products operation ( ⁇ wi ⁇ x i ) is performed to add the product ( w i ⁇ x i ) for all input data x i .
  • the neuron 210 adds an internal bias b to the result of the product-sum operation, and applies the obtained result ( ⁇ w i ⁇ x i +b) to an internal activation function f such as a step function.
  • an internal activation function f such as a step function.
  • FIG. 10A is a diagram showing an example of a circuit that implements neuron 210 shown in FIG. 9B.
  • the neuron 210 includes a product-sum calculation circuit 215, a word line selection circuit 230, a determination circuit 250, and a column gate (transistors YTi1, YTi2, and transistor DTi).
  • the product-sum calculation circuit 215 is a circuit that performs a product-sum calculation in the neuron 210, and includes a plurality of 1T2R type memory cells shown in FIG. are connected in such a way that they are common to each other.
  • the current output from each memory cell corresponds to the product (w i ⁇ x i ) of the input data x i and the coupling weighting coefficient w i , and when these currents are combined, the current flowing to the source line SLi ( Alternatively, the sum of the currents flowing through the bit lines BLi1 and BLi2) corresponds to the product-sum calculation result ⁇ w i ⁇ x i .
  • the input data x i is "1" or "0”
  • the coupling weighting coefficient w i is between the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile This corresponds to the total conductance of the magnetic memory element 20.
  • a plurality of product-sum calculation circuits 215 corresponding to all the neurons 210 shown in FIG. 9A are arranged in rows, and among them, one product-sum calculation circuit 215 is , performs a sum-of-products operation in one neuron 210.
  • the word line selection circuit 230 selects or de-selects memory cells on a row-by-row basis via word lines WL0 to WLn to the gate terminals of transistors Ti included in memory cells MCi0 to MCin constituting the product-sum calculation circuit 215. This is a circuit that supplies input data x0 to xn for .
  • the determination circuit 250 is a circuit that executes the activation function f possessed by the neuron 210, and is a circuit that executes the activation function f that the neuron 210 has.
  • a value ( ⁇ wi ⁇ x i +b) obtained by adding the internal bias b to the total current ( ⁇ w i ⁇ x i ) flowing through the circuit is compared with a predetermined threshold value and output.
  • the determination circuit 250 can perform processing in parallel on a plurality of product-sum calculation circuits 215 arranged in the row direction.
  • Transistors YTi1 and YTi2 constituting the column gate connect bit lines BLi1 and BLi2 of memory cells MCi0 to MCin to a predetermined level, respectively, in response to a signal input to the gate terminal during writing and reading to and from memory cells MCi0 to MCin. Connect or disconnect from the power supply voltage. Further, the transistor DTi connects or disconnects the source line SLi to a predetermined power supply voltage according to a signal input to the gate terminal during writing and reading to and from the memory cells MCi0 to MCin.
  • FIG. 10B is a diagram showing another circuit example (neuron 210a) that implements neuron 210 shown in FIG. 9B.
  • the neuron 210a includes a product-sum calculation circuit 215a, a word line selection circuit 230a, a determination circuit 250a, and a column gate (transistor YTi, transistor DTi).
  • This neuron 210a has the same basic function as the neuron 210 shown in FIG. 10A, but unlike the neuron 210 in FIG. 10A which is composed of 1T2R type memory cells MCij, it corresponds to 2T2R type memory cells MCij.
  • the connection configuration is as follows.
  • Word line selection circuit 230a outputs two word lines WLj1 and WLj2 to each of memory cells MCi0 to MCin.
  • the determination circuit 250a adds an internal bias b to the current ( ⁇ wi ⁇ x i ) flowing through the bit line BLi or source line SLi indicating the result of the product-sum calculation output from the product-sum calculation circuit 215a.
  • the value ( ⁇ wi ⁇ x i +b) is compared with a predetermined threshold value and output.
  • one transistor YTi is provided for each bit line BLi to switch connection and disconnection to a predetermined power supply voltage.
  • FIG. 11 is a block diagram showing the overall configuration of the artificial intelligence processing device 200 consisting of neurons 210 shown in FIG. 10A.
  • the artificial intelligence processing device 200 includes a memory cell array 220, a word line selection circuit 230, a column gate 240, a determination circuit 250, a write circuit 260, and a control circuit 270.
  • Word line selection circuit 230, column gate 240, and determination circuit 250 are the same as those described in FIG. 10A.
  • the write circuit 260 is a circuit that supplies the predetermined power supply voltage explained in FIG. 10A, and is a current limiting circuit for writing a desired conductance (in other words, a multi-gradation analog resistance value) into the memory cell MCij. has.
  • the write circuit 260 applies a first voltage pulse having a first voltage to the first variable resistance nonvolatile memory element 10, thereby increasing the first resistance.
  • the second resistance is increased.
  • the conductance of the variable nonvolatile memory element 20 is rewritten.
  • the second voltage in the high resistance process is 0.71 times or less of the first voltage in the high resistance process, for example, 0.7 times the voltage, 0.5 times the voltage, 0.3 times the voltage, Alternatively, it is one voltage specified from a plurality of voltages that are 0.71 times or less.
  • the control circuit 270 is a circuit that controls writing and reading to and from the memory cell MCij by controlling the entire artificial intelligence processing device 200, and includes, for example, a memory storing a program, a processor, and the like. More specifically, when changing (that is, writing) the connection weighting coefficients of the artificial intelligence processing device 200, the control circuit 270 determines whether the high-precision connection weighting coefficients are set (initial setting) at the time of product shipment or the like.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element constituting each memory cell MCij may be used for highly efficient updating (learning) of coupling weighting coefficients later on.
  • the artificial intelligence processing device 200 is controlled to change the conductance of only one of the two.
  • control circuit 270 controls the first variable resistance nonvolatile memory element constituting each memory cell MCij.
  • the artificial intelligence processing device 200 is controlled to use the total value of the currents flowing through the variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20.
  • FIG. 11 is a block diagram showing the entire configuration of the artificial intelligence processing device 200 made up of the neurons 210 shown in FIG. 10A, the entire configuration of the artificial intelligence processing device 200 made of the neurons 210a shown in FIG.
  • the block diagram illustrating the block diagram is the same as that in FIG. 11 except for the above-mentioned connection wiring, so illustration and explanation thereof will be omitted.
  • FIG. 12A is a diagram showing an example of voltages applied via the word line WL, bit lines BL1, BL2, and source line SL during writing and reading to the memory cell MCij shown in FIG. 10A.
  • setting increasing resistance
  • Examples of applied voltages are shown when reading data from the memory cell MCij and when reading from the memory cell MCij.
  • FIG. 12A shows an example of voltages applied via the word line WL, bit lines BL1, BL2, and source line SL during writing and reading to the memory cell MCij shown in FIG. 10A.
  • mode 1 indicates writing of conductance to the first variable resistance nonvolatile memory element 10 (first rewriting step)
  • mode 2 indicates writing of conductance to the first variable resistance nonvolatile memory element 10
  • mode 2 indicates writing of conductance to the first variable resistance nonvolatile memory element 10
  • 3 shows writing of conductance to the memory element 20 (second rewriting step).
  • writing to memory cell MCij means setting or changing a coupling weighting coefficient in memory cell MCij
  • “reading to memory cell MCij” means measuring the current flowing through memory cell MCij. means.
  • a pulse voltage V g_on (for example, 2 V) is supplied to the gate terminal, a reset voltage V H1 (for example, 2 V) is applied to the bit line BL1, a reference voltage V SS (for example, 0 V) is applied to the bit line BL2, and a reference voltage V H1 (for example, 0 V) is applied to the source line SL.
  • a voltage V ss (eg, 0V) is applied.
  • a pulse voltage V g_on (for example, 2 V) is supplied to the gate terminal, a reference voltage V SS (for example, 0 V) is applied to the bit line BL1, and a reset voltage V H2 (for example, 1.4 V (that is, 0.4 V of V H1) is applied to the bit line BL2. 7 times)) is applied, and a reference voltage V ss (for example, 0 V) is applied to the source line SL.
  • writing is performed under different driving conditions. (In other words, writing is performed under the same driving conditions).
  • a pulse voltage V g_on (for example, 2 V) is supplied to the gate terminal, a reference voltage V ss (for example, 0 V) is applied to the bit line BL1, a set voltage V set (for example, 2 V) is applied to the bit line BL2, and a set voltage V set (for example, 2 V) is applied to the source line SL.
  • a voltage V set (eg, 2V) is applied.
  • a pulse voltage V g_on (for example, 2V) is supplied to the gate terminal, a set voltage V set (for example, 2V) is applied to the bit line BL1, a reference voltage V ss (for example, 0V) is applied to the bit line BL2, and a set voltage is applied to the source line SL.
  • a voltage V set (eg, 2V) is applied.
  • the read voltage V read is applied to the first resistance variable nonvolatile memory element 10 and the second resistance variable nonvolatile memory element 20, and the read voltage V read is applied from the memory cell MCij to the first resistance variable nonvolatile memory element 10 and the second resistance variable nonvolatile memory element 20.
  • the sum of the currents flowing through the variable resistance storage element 10 and the second variable resistance nonvolatile storage element 20 (that is, one product (w i x i ) is output.
  • the current output from the memory cell MCij flows to the source line SL (also the sum of the currents flowing to the bit lines BL1 and BL2), and is measured by the determination circuit 250 as the result of the sum-of-products operation ( ⁇ wi ⁇ x i ). Ru.
  • FIG. 12B is a diagram showing an example of voltages applied via the word lines WL1, WL2, bit line BL, and source line SL during writing and reading to the memory cell MCij shown in FIG. 10B.
  • setting increasing resistance
  • Examples of applied voltages are shown when reading data from the memory cell MCij and when reading from the memory cell MCij.
  • the pulse voltage V g_on For example, 2V
  • a pulse voltage V g_off for example, 0V
  • a reset voltage V H1 for example, 2V
  • a reference voltage Vss for example, 0V
  • a pulse voltage V g_off (for example, 0V) is supplied to the gate terminal
  • a pulse voltage V g_on (for example, 2V) that turns on the transistor Ti2 via the word line WL2 is supplied to the gate terminal
  • a reset voltage V H2 (for example, 1.4V (that is, 0.7 times VH1 )) is applied
  • a reference voltage Vss (for example, 0V) is applied to the source line SL.
  • writing is performed under different driving conditions. (In other words, writing is performed under the same driving conditions).
  • a pulse voltage V g_on (for example, 2V) is supplied to the gate terminal
  • a pulse voltage V g_off (for example, 0V) that turns off the transistor Ti2 is supplied to the gate terminal via the word line WL2
  • a reference voltage V ss (for example, 0V) is supplied to the bit line BL.
  • a set voltage V set (for example, 2V) is applied to the source line SL.
  • a pulse voltage V g_off (for example, 0V) is supplied to the gate terminal
  • a pulse voltage V g_on (for example, 2V) that turns on the transistor Ti2 via the word line WL2 is supplied to the gate terminal
  • a reference voltage V ss (for example, 0V) is supplied to the bit line BL.
  • a set voltage V set (for example, 2V) is applied to the source line SL.
  • the read voltage V read is applied to the first resistance variable nonvolatile memory element 10 and the second resistance variable nonvolatile memory element 20, and the read voltage V read is applied from the memory cell MCij to the first resistance variable nonvolatile memory element 10 and the second resistance variable nonvolatile memory element 20.
  • Currents flowing through the variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are output.
  • the current output from all the memory cells MCij constituting the product-sum calculation circuit 215 flows to the source line SL and the bit line BL, and is measured by the determination circuit 250 as the result of the product-sum calculation ( ⁇ w i ⁇ x i ). be done.
  • FIG. 13 is a flowchart showing an example of the operation of the control circuit 270 shown in FIG. 11.
  • the control circuit 270 determines whether the connection weighting coefficient setting process to be performed now is the first case in which the connection weighting coefficients are changed for initial setting, or the second case in which the connection weighting coefficients are changed in learning. (S30).
  • the first case includes firmware updates before and after shipment of the artificial intelligence processing device 200, learning model updates, periodic maintenance, and changes in the conductance of the second variable resistance nonvolatile memory element 20. At least one of the cases in which the weighting coefficients are insufficiently updated is included, and the second case includes a case in which the connection weighting coefficients are updated for learning after the artificial intelligence processing device 200 is shipped.
  • the control circuit 270 controls the column gate 240 or the word line selection circuit. 230 and the write circuit 260, the first variable resistance nonvolatile memory element 10 is selected for each of the memory cells MCij (S31), and the selected first variable resistance nonvolatile memory element 10 is On the other hand, by writing according to the drive conditions corresponding to mode 1 shown in FIG. 12A or 12B, the connection weighting coefficient derived in advance is set (S32). In other words, the control circuit 270 writes the conductance derived in advance to the first variable resistance nonvolatile memory element 10 (that is, in "mode 1") for each of the memory cells MCij (first rewriting). step).
  • step S30 determines whether the connection weighting coefficient setting process is updating the connection weighting coefficient by learning (that is, the second case) ("updating the connection weighting coefficient by learning" in S30).
  • the control circuit 270 performs inference using the connection weighting coefficients held in the current memory cell array 220 (S35), and after confirming the difference between the inference result and the teacher label (S36), each of the memory cells MCij , the amount of change in the connection weighting coefficient at the time of updating is calculated (S37).
  • the control circuit 270 selects the second variable resistance nonvolatile memory element 20 for each of the memory cells MCij by controlling the column gate 240 or the word line selection circuit 230 (S38), and By writing into the variable resistance non-volatile memory element 20 of No. 2 under the drive conditions corresponding to mode 2 shown in FIG. 12A or 12B, the current connection weight is changed by the amount of change in the calculated connection weight coefficient.
  • the connection weighting coefficients are updated so that the coefficients change (S39).
  • the control circuit 270 updates the conductance of the second variable resistance nonvolatile memory element 20 (that is, in "mode 2") by the amount of change for each of the memory cells MCij (the second rewrite step).
  • connection weighting coefficient setting initial setting
  • learning connection weighting coefficient updating
  • each step is executed by the control circuit 270, but some or all of these steps may be executed by a control circuit such as another processor placed outside the artificial intelligence processing device 200. It's okay.
  • the artificial intelligence processing device 200 includes one substrate 60, etc., and a first variable resistance non-volatile non-volatile device having the same structure that is mounted on one substrate 60, etc., and each retains conductance.
  • An arithmetic circuit such as a product-sum arithmetic circuit 215 including the variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 and a first voltage having a first voltage applied to the first variable resistance nonvolatile memory element 10.
  • the write circuit 260 rewrites the conductance of the second variable resistance nonvolatile memory element 20 by applying two voltage pulses.
  • the second voltage during the resistance increasing process is 0.71 times or less of the first voltage during the resistance increasing process.
  • the first variable resistance nonvolatile memory element 10 which has the characteristic that the conductance changes greatly by the first voltage pulse in the application of continuous voltage pulses, and the amount of change is small in the subsequent voltage pulses.
  • the second variable resistance nonvolatile memory element 20 which has a characteristic that the conductance gradually changes with successive voltage pulses, can be used for updating (learning) the coupling weighting coefficients.
  • a variable resistance non-volatile memory element that is capable of both highly accurate setting of coupling weighting coefficients (initial setting) at the time of product shipment, and highly efficient updating (learning) of coupling weighting coefficients after product shipment. An artificial intelligence processing device using this technology is realized.
  • the first variable resistance nonvolatile memory element 10 is different from the second variable resistance nonvolatile memory element 10.
  • the second variable resistance nonvolatile memory element 20 has better storage durability than the first variable resistance nonvolatile memory element 10. It will be held.
  • the arithmetic circuit performs a product-sum operation using a composite value of the conductance of the first variable resistance nonvolatile memory element 10 and the conductance of the second variable resistance nonvolatile memory element 20 as one weighting coefficient.
  • This is a product-sum calculation circuit 215. More specifically, the arithmetic circuit performs a product-sum operation on the sum of the current flowing through the first variable resistance nonvolatile memory element 10 and the current flowing through the second variable resistance nonvolatile memory element 20 as one product. I do.
  • one coupling weighting coefficient is configured by the conductance of the first variable resistance nonvolatile memory element 10 and the conductance of the second variable resistance nonvolatile memory element 20, and the conductance of the first variable resistance nonvolatile memory element 20 constitutes one coupling weighting coefficient. It becomes possible to make a memory cell including the element 10 and the second variable resistance nonvolatile memory element 20 correspond to one neuron.
  • first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 may be arranged in the same layer sandwiched between two wiring layers.
  • first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are structurally arranged in parallel, so the manufacturing process is faster than when they are arranged in different layers. is simplified.
  • first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are respectively arranged in a first layer sandwiched between two wiring layers and a first layer sandwiched between two wiring layers. Alternatively, it may be arranged in a second layer different from the first layer. As a result, the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 can be arranged to overlap when viewed from above with respect to the substrate, so that they are in the same layer.
  • the chip size of the artificial intelligence processing device 200 is reduced compared to the case where the artificial intelligence processing device 200 is arranged.
  • each of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 includes first electrodes 2 and 12, second electrodes 4 and 14, and first electrode 2 and 12 and the second electrodes 4 and 14 may include variable resistance layers 3 and 13 sandwiched between the electrodes 12 and the second electrodes 4 and 14.
  • the first electrodes 2 and 12 of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 may be noble metal electrodes.
  • the first electrodes 2 and 12 of the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 may contain any one of Ir and Pt. .
  • the weighting coefficient writing method of the artificial intelligence processing device 200 is a weighting coefficient writing method possessed by the artificial intelligence processing device 200, in which the artificial intelligence processing device 200 holds the weighting coefficient in the product-sum calculation as a conductance.
  • a first variable resistance nonvolatile memory element 10 and a second variable resistance nonvolatile memory element 20 having the same structure are provided, and a writing method is performed on the first variable resistance nonvolatile memory element 10.
  • a first rewriting step (S31 to S32) of rewriting the conductance of the first variable resistance nonvolatile memory element 10 by applying a first voltage pulse having a first voltage
  • a rewriting step (S38 to S39).
  • the second voltage during the resistance increasing process is 0.71 times or less of the first voltage during the resistance increasing process.
  • the first variable resistance nonvolatile memory element 10 which has the characteristic that the conductance changes greatly by the first voltage pulse in the application of continuous voltage pulses, and the amount of change is small in the subsequent voltage pulses.
  • the second variable resistance nonvolatile memory element 20 which has a characteristic that the conductance gradually changes with successive voltage pulses, can be used for updating (learning) the coupling weighting coefficients.
  • the first rewriting step is executed when the weighting coefficients are initially set for the artificial intelligence processing device 200, and the second rewriting step is made to be learned by the artificial intelligence processing device 200. This can be done when updating the weighting coefficients.
  • the first variable resistance nonvolatile memory element 10 constitutes a first artificial intelligence area for using existing weighting coefficients of artificial intelligence processing as they are in transfer learning or reinforcement learning
  • the non-volatile memory element 20 constitutes a second artificial intelligence area for performing new learning and updating weighting coefficients in transfer learning or reinforcement learning, thereby changing the first rewriting step to the first rewriting step. It can be executed when writing a weighting coefficient for one artificial intelligence area, and the second rewriting step can be executed when updating a weighting coefficient for a second artificial intelligence area.
  • the present disclosure is not limited to this embodiment. Unless departing from the gist of the present disclosure, various modifications to the present embodiment that those skilled in the art can think of, and other forms constructed by combining some of the components of the embodiments are also within the scope of the present disclosure. included.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 have a variable resistance layer made of tantalum oxide, but the variable resistance layer is not limited to such materials, and may be composed of a transition metal such as hafnium or an oxide of aluminum.
  • the resistance change layer of the first resistance change nonvolatile memory element 10 and the second resistance change nonvolatile memory element 20 is composed of the first tantalum oxide layer and the second tantalum oxide layer.
  • it has a laminated structure, it is not limited to such a laminated structure, and may be composed of a single layer such as a tantalum oxide layer.
  • one neuron is composed of one first variable resistance nonvolatile memory element 10 and one second variable resistance nonvolatile memory element 20, but at least one If the first variable resistance nonvolatile memory element 10 and at least one second variable resistance nonvolatile memory element 20 are provided, two or more first variable resistance nonvolatile memory elements 10 or Two or more second variable resistance nonvolatile memory elements 20 may be provided.
  • the artificial intelligence processing device 200 is a neural network having the structure shown in FIG. It may also be a neural network composed of neurons.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are used as weighting coefficients in the product-sum calculation circuit 215, but their uses are as follows. It is not limited to the product-sum operation circuit.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 hold variable values corresponding to conductance, and perform various operations such as four arithmetic operations using the variable values. It may also be used in an arithmetic circuit.
  • the first variable resistance nonvolatile memory element 10 and the second variable resistance nonvolatile memory element 20 are reset (“increased resistance”). Writing under different driving conditions was performed only when Alternatively, writing may be performed under different driving conditions.
  • the artificial intelligence processing device using the variable resistance non-volatile memory element of the present disclosure is capable of setting highly efficient and highly accurate coupling weight coefficients (initial setting) at the time of product shipment, etc., and setting highly efficient coupling weights after product shipment, etc. This makes it possible to update (learn) coefficients at the same time, and is particularly useful as an edge AI processing device for IoT.
  • Second electrode 10 1 resistance variable nonvolatile memory element 20 2nd resistance variable nonvolatile memory element 61a, 61b, 71a, 71b, 81a, 81b, 91a, 91b, 101a, 101b, diffusion region 62, 72, 82, 92, 102 Oxide film 63, 73, 83, 93, 103 Gate electrode (word line) 64a, 64b, 66, 68a, 68b, 74a, 74b, 76a, 76b, 76c, 78a, 78b, 84a, 84b, 86a, 86c, 88a, 88b, 88c, 88d, 94a, 94b, 96, 98a, 98b, 104a, 104b, 106, 108a

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Power Engineering (AREA)
  • Semiconductor Memories (AREA)

Abstract

人工知能処理装置（２００）は、１つの基板（６０）等と、１つの基板（６０）等に搭載され、それぞれがコンダクタンスを保持する、同一構造を有する第１の抵抗変化型不揮発性記憶素子（１０）と第２の抵抗変化型不揮発性記憶素子（２０）とを含む積和演算回路（２１５）等の演算回路と、第１の抵抗変化型不揮発性記憶素子（１０）に対して第１電圧を有する第１電圧パルスを印加することで第１の抵抗変化型不揮発性記憶素子（１０）のコンダクタンスを書き換え、第２の抵抗変化型不揮発性記憶素子（２０）に対して第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで第２の抵抗変化型不揮発性記憶素子（２０）のコンダクタンスを書き換える書き込み回路（２６０）とを備える。

Description

人工知能処理装置および人工知能処理装置の重み係数書き込み方法
　本開示は、人工知能処理装置およびその重み係数書き込み方法に関し、特に、与えられる電気的信号に応じてその抵抗値が変化する抵抗変化型不揮発性記憶素子を用いた人工知能処理装置に関する。
　情報通信技術の進展に伴い、あらゆるものがインターネットに繋がるＩｏＴ（Internetof Things）技術の到来が注目されている。ＩｏＴ技術において、様々な電子機器がインターネットに接続されることで、機器の高性能化が期待されているが、更なる高性能化を実現する技術として、電子機器自らが学習と判断を行う人工知能（AI:Artificial Intelligence）技術の研究開発が近年活発に行われている。
　人工知能技術において、人間の脳型情報処理を工学的に模倣したニューラルネットワーク技術が用いられており、ニューラルネットワーク演算を高速、低消費電力で実行する半導体集積回路の研究開発が盛んに行われている。
　特許文献１に、従来のニューラルネットワーク演算回路が開示されている。ニューラルネットワークは複数の入力が各々異なる結合重み係数を有するシナプスと呼ばれる結合で接続されたニューロンと呼ばれる（パーセプトロンと呼ばれる場合もある）基本素子から構成され、複数のニューロンが互いに接続されることで、画像認識や音声認識といった高度な演算処理を行うことができる。ニューロンでは各入力と各結合重み係数を乗算したものを全て加算した積和演算動作が行われる。積和演算回路は入力や結合重み係数を格納するメモリ回路とレジスタ回路、入力と結合重み係数を乗算する乗算回路、乗算結果を累積加算するアキュムレータ回路、及びこれらの回路ブロックの動作制御を行う制御回路で構成される。これからの回路ブロックは全てデジタル回路で構成される。
　特許文献２に、従来のニューラルネットワーク演算回路の別の例が開示されている。ニューラルネットワーク演算回路を多階調のアナログ抵抗値、あるいは、その逆数であるコンダクタンス（以下、単に「コンダクタンス」という）が設定可能な抵抗変化型不揮発性メモリを用いて構成するものであり、不揮発性メモリ素子に結合重み係数に相当するコンダクタンスを格納し、入力に相当する電圧値を不揮発性メモリ素子に印加し、このとき不揮発性メモリ素子に流れるアナログ電流値を利用する。ニューロンで行われる積和演算動作は、複数の結合重み係数を複数の不揮発性メモリ素子にコンダクタンスとして格納し、入力に相当する電圧値を複数の不揮発性メモリ素子に印加し、複数の不揮発性メモリ素子に流れる電流値を合算したアナログ電流値を積和演算の結果として得ることで行われる。ここで、不揮発性メモリにコンダクタンスを書き込む際の書き込み方法としては、事前に導出した結合重み係数から各不揮発性メモリに書き込むコンダクタンスを算出し、各不揮発性メモリにコンダクタンスを書き込む。
　非特許文献１に、従来のニューラルネットワーク演算回路のさらに別の例が開示されている。こちらにおいてもニューラルネットワーク演算回路をコンダクタンスが設定可能な抵抗変化型不揮発性メモリを用いて構成するものであり、不揮発性メモリ素子に結合重み係数に相当するコンダクタンスを格納し、入力に相当するアナログ電圧値を不揮発性メモリ素子に印加し、このとき不揮発性メモリ素子に流れるアナログ電流値を利用する点では同じである。ここで、不揮発性メモリにコンダクタンスを書き込む際の書き込み方法としては、書き込む前の時点でのコンダクタンスから書き込み後に設定されるコンダクタンスの間の変化量が初めに導出され、そのコンダクタンスの変化量に応じた書き込みが不揮発性メモリ素子に対して行われる。
　すなわち、特許文献２のようなニューラルネットワーク演算回路の例においては、一般的に不揮発性メモリに書き込まれるコンダクタンスそのものを基に書き込み動作が行われるのに対し、非特許文献１のようなニューラルネットワーク演算回路においては、一般的に不揮発性メモリに書き込まれるコンダクタンスの書き込み前後の変化量を基に書き込み動作が行われる点が異なる。特許文献２、非特許文献１に開示されている不揮発性メモリ素子を用いたニューラルネットワーク演算回路は、いずれも前述したデジタル回路で構成されるニューラルネットワーク演算回路と比べて低消費電力化が実現可能であり、コンダクタンスが設定可能な抵抗変化型不揮発性メモリのプロセス開発、デバイス開発、及び回路開発が近年盛んに行われている。
特開２００１－１８８７６７号公報 国際公開第２０１９／０４９７４１号
　しかしながら、前述した従来のニューラルネットワーク演算回路は以下に示す課題があった。
　すなわち、不揮発性メモリに書き込まれるコンダクタンスそのものを基に書き込み動作が行われるニューラルネットワーク演算回路は、事前に導出したコンダクタンスそのものを用いて書き込みを行うため、精度よくコンダクタンスを不揮発性メモリ素子に書き込むことができることから、製品出荷後（つまり、ニューラルネットワーク演算回路等の人工知能処理装置の出荷後）には主にニューラルネットワークでの積和演算のみを処理する「推論用人工知能処理装置」に適している。しかしながら、一般的にソフトウェアでの処理を前提としたニューラルネットワークにおいては、結合重み係数の更新、すなわち学習は結合重み係数の変化量を基に行われるため、製品出荷後にコンダクタンスの更新を頻繁に行う「学習用人工知能処理装置」においては、コンダクタンスそのものを基に書き込み動作が行われるニューラルネットワーク演算回路を用いると学習が効率的に行われないという点が課題である。
　図１Ａは、コンダクタンスそのものを基に書き込み動作が行われるニューラルネットワーク演算回路における学習時のプロセスを示す。このプロセスでは、各不揮発性メモリ素子の結合重み係数を用いて推論を実施し（Ｓ１０）、その推論結果と教師ラベルとの差を確認し（Ｓ１１）、各不揮発性メモリ素子について結合重み係数の更新時の変化量を算出し（Ｓ１２）、各不揮発性メモリ素子について現在の結合重み係数を読み出し（Ｓ１３）、読み出した結合重み係数に基づいて各不揮発性メモリ素子について更新後の結合重み係数を算出し（Ｓ１４）、算出した結合重み係数を各不揮発性メモリ素子に書き込む（Ｓ１５）。つまり、結合重み係数自体を書き込む場合には、６つのステップが必要となる。
　図１Ｂは、コンダクタンスの書き込み前後の変化量を基に書き込み動作が行われるニューラルネットワーク演算回路における学習時のプロセスを示す。このプロセスでは、各不揮発性メモリ素子の結合重み係数を用いて推論を実施し（Ｓ１０）、その推論結果と教師ラベルとの差を確認し（Ｓ１１）、各不揮発性メモリ素子について結合重み係数の更新時の変化量を算出し（Ｓ１２）、各不揮発性メモリ素子について、算出した結合重み係数の変化量だけ現在の結合重み係数が変化するように結合重み係数を更新する（Ｓ２０）。つまり、結合重み係数の変化量を書き込む場合には、４つのステップで済む。図１Ｂにおける学習プロセスは、ソフトウェアベースでニューラルネットワーク演算を行う場合と同じプロセスで実施することができ、図１Ａに示す学習プロセスよりも手順が少ないことが分かる。
　また、コンダクタンスの書き込み前後の変化量を基に書き込み動作が行われるニューラルネットワーク演算回路は、変化量を基に書き込み動作を行うことから、図１Ｂにおける学習プロセスでコンダクタンスを更新でき、製品出荷後にコンダクタンスの更新を頻繁に行う「学習用人工知能処理装置」に適している。しかしながら、図１Ｂに示される学習プロセスが実装されたニューラルネットワーク演算回路では、製品出荷前の「初期設定」時においては、事前に導出したコンダクタンスそのものを用いて書き込みを行うことができず、電圧パルスを複数回連続で打つことにより事前に導出した値にまでコンダクタンスを変化させることが必要となる。その際、書き込み特性にばらつきが生じ、初期設定を高効率・高精度に行えないという課題がある。
　本開示は上記課題を鑑みてなされたものであり、製品出荷時等における高精度の結合重み係数の設定（初期設定）と製品出荷後等における高効率な結合重み係数の更新（学習）の両立が可能な抵抗変化型不揮発性記憶素子を用いた人工知能処理装置およびその重み係数書き込み方法を提供することにある。
　本開示の一形態に係る人工知能処理装置は、１つの基板と、前記１つの基板に搭載され、それぞれがコンダクタンスを保持する、同一構造を有する第１の抵抗変化型不揮発性記憶素子と第２の抵抗変化型不揮発性記憶素子とを含む演算回路と、前記第１の抵抗変化型不揮発性記憶素子に対して第１電圧を有する第１電圧パルスを印加することで前記第１の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換え、前記第２の抵抗変化型不揮発性記憶素子に対して前記第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで前記第２の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換える書き込み回路とを備える。
　本開示の一形態に係る人工知能処理装置の重み係数書き込み方法は、人工知能処理装置が有する重み係数書き込み方法であって、前記人工知能処理装置は、積和演算における重み係数をコンダクタンスとして保持する、同一構造を有する第１の抵抗変化型不揮発性記憶素子と第２の抵抗変化型不揮発性記憶素子とを備え、前記書き込み方法は、前記第１の抵抗変化型不揮発性記憶素子に対して第１電圧を有する第１電圧パルスを印加することで前記第１の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換える第１の書き換えステップと、前記第２の抵抗変化型不揮発性記憶素子に対して、少なくとも高抵抗化過程において前記第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで前記第２の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換える第２の書き換えステップとを含む。
　本開示の抵抗変化型不揮発性記憶素子を用いた人工知能処理装置およびその重み係数書き込み方法によれば、製品出荷時等における高効率・高精度の結合重み係数の設定（初期設定）と製品出荷後等における高効率な結合重み係数の更新（学習）の両立が可能になる。
図１Ａは、コンダクタンスそのものを基に書き込み動作が行われるニューラルネットワーク演算回路における学習時のプロセスを示す図である。 図１Ｂは、コンダクタンスの書き込み前後の変化量を基に書き込み動作が行われるニューラルネットワーク演算回路における学習時のプロセスを示す図である。 図２Ａは、実施形態に係る第１の抵抗変化型不揮発性記憶素子の断面模式図である。 図２Ｂは、実施形態に係る第２の抵抗変化型不揮発性記憶素子の断面模式図である。 図３は、実施形態に係る第１の抵抗変化型不揮発性記憶素子を、同一極性、同一電圧の複数電圧パルスの連続印加により抵抗変化させた際のコンダクタンスの変化を示す図である。 図４は、実施形態に係る第２の抵抗変化型不揮発性記憶素子を、第１の抵抗変化型不揮発性記憶素子１０の場合とは電圧の大きさが異なる、同一極性、同一電圧の複数電圧パルスの連続印加により抵抗変化させた際のコンダクタンスの変化を示す図である。 図５Ａは、第１の抵抗変化型不揮発性記憶素子及び第２の抵抗変化型不揮発性記憶素子の定義を説明する図である。 図５Ｂは、第１の抵抗変化型不揮発性記憶素子及び第２の抵抗変化型不揮発性記憶素子の駆動条件を説明する図である。 図６Ａは、従来技術におけるメモリセルの回路図である。 図６Ｂは、従来技術におけるメモリセルの断面図である。 図７Ａは、実施形態に係るメモリセルの回路図である。 図７Ｂは、実施形態に係るメモリセルの一例を示す断面図である。 図７Ｃは、実施形態に係るメモリセルの、図７Ｂとは異なる一例を示す断面図である。 図８Ａは、別の実施形態に係るメモリセルの回路図である。 図８Ｂは、図８Ａに記載された第１の抵抗変化型不揮発性記憶素子が搭載された人工知能処理装置のメモリセルの断面図の一例を示した図である。 図８Ｃは、図８Ａに記載された、第２の抵抗変化型不揮発性記憶素子が搭載された人工知能処理装置のメモリセルの断面図の一例を示した図である。 図９Ａは、実施例に係る人工知能処理装置のモデルを示すブロック図である。 図９Ｂは、図９Ａに示されるニューロンの機能を示す図である。 図１０Ａは、図９Ｂに示されるニューロンを実現する回路例を示す図である。 図１０Ｂは、図９Ｂに示されるニューロンを実現する別の回路例を示す図である。 図１１は、図１０Ａに示されるニューロンからなる人工知能処理装置の全体の構成を示すブロック図である。 図１２Ａは、図１０Ａに示されるメモリセルに対する書き込みおよび読み出し時におけるワード線ＷＬ、ビット線ＢＬ１、ＢＬ２、および、ソース線ＳＬを介した印加電圧の例を示す図である。 図１２Ｂは、図１０Ｂに示されるメモリセルに対する書き込みおよび読み出し時におけるワード線ＷＬ１、ＷＬ２、ビット線ＢＬ、および、ソース線ＳＬを介した印加電圧の例を示す図である。 図１３は、図１１に示される制御回路の動作例を示すフローチャートである。
　以下、本開示に係る実施形態について図面を参照しながら説明する。なお、以下で説明する実施形態はいずれも実施の一具体例を示すものである。したがって、以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などはあくまで一例であり、本開示を限定する主旨ではない。本開示は請求の範囲だけによって限定される。
　以下の実施形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが採用し得る形態を構成するものとして説明される。
　本発明者は、抵抗変化型不揮発性記憶素子を用いた人工知能処理装置における製品出荷時等における高精度の結合重み係数の設定（初期設定）および製品出荷後等における高効率な結合重み係数の更新（学習）の動作効率を高めるべく鋭意検討を行った結果、以下のような知見を得た。
　本発明者らは、抵抗変化型不揮発性記憶素子を用いた人工知能処理装置において、同一構造の２つの抵抗変化型不揮発性記憶素子の両方を１つの基板上に搭載し、２つの抵抗変化型不揮発性記憶素子のそれぞれに対して異なる駆動条件（具体的には、異なる大きさの電圧）による同一極性かつ同一電圧の連続した電圧パルス印加により、片方の不揮発性記憶素子は少しずつコンダクタンスが変化し、もう一方の不揮発性記憶素子は１発目の電圧パルス印加によりコンダクタンスが大きく変化し２発目以降の電圧パルス印加によるコンダクタンス変化量が小さい構成とすることにより、従来課題であった抵抗変化型不揮発性記憶素子を用いた人工知能処理装置における製品出荷時等における高精度の結合重み係数の設定（初期設定）および製品出荷後等における高効率な結合重み係数の更新（学習）の動作効率化の両立が可能となることを見出した。
　なお、「同一構造」とは、実質的に同一の材料で、かつ、実質的に同一の構造で構成される意味であり、不純物等の微量の材料成分の含有率が違っていたり、同一の製造プロセスで生じる寸法のばらつきによる違いがあったりしても、「同一構造」に含まれる。典型的には、同一構造は、同一の製造プロセスで形成される。
　当該知見の詳細は、以下において、実施形態とともに適宜説明される。
　（実施形態）
　［抵抗変化型不揮発性記憶素子の構成］
　まず、実施形態に係る２種類の異なる駆動条件でコンダクタンスを変化させる対象となる抵抗変化型不揮発性記憶素子の一方を「第１の抵抗変化型不揮発性記憶素子」と呼び、他方を「第２の抵抗変化型不揮発性記憶素子」と呼び、それら第１の抵抗変化型不揮発性記憶素子及び第２の抵抗変化型不揮発性記憶素子の構成の一例について説明する。第１の抵抗変化型不揮発性記憶素子及び第２の抵抗変化型不揮発性記憶素子は、上述したように、異なる駆動条件で駆動されるが、同一構造を有する。
　なお、「第１の抵抗変化型不揮発性記憶素子及び第２の抵抗変化型不揮発性記憶素子が異なる駆動条件で駆動される」とは、あらゆる駆動条件について成り立つ必要はなく、本実施の形態では、少なくとも高抵抗化過程において成り立つ。
　図２Ａは、実施形態に係る第１の抵抗変化型不揮発性記憶素子１０の構成例を示す模式図である。第１の抵抗変化型不揮発性記憶素子１０は、後述する駆動条件によって定まる用途であるが、製品出荷時等における高精度の結合重み係数の設定（初期設定）の用途に用いられる抵抗変化型不揮発性記憶素子である。
　図２Ａに示すように、第１の抵抗変化型不揮発性記憶素子１０は、基板１と、基板１の上に形成された第１電極２と、第１電極２の上に金属酸化物層として形成された抵抗変化層３と、抵抗変化層３の上に形成された第２電極４とを備えている。第１電極２及び第２電極４は、抵抗変化層３と電気的に接続されている。すなわち、第１の抵抗変化型不揮発性記憶素子１０は、第１電極２と、第２電極４と、第１電極２と第２電極４との間に介在する抵抗変化層３とを備える。
　なお、第１電極２は、第２電極４と同等のサイズでもよく、また第１電極２、第２電極４及び抵抗変化層３の配置は、上下逆に配置してもよいし、横向けに配置してもよい。
　基板１は、例えばトランジスタ等の回路素子が形成されたシリコン基板により構成される。また、第１電極２あるいは第２電極４の少なくとも一方は、貴金属である金属、例えば、Ａｕ（金）、Ｐｔ（白金）、Ｉｒ（イリジウム）、Ｐｄ（パラジウム）、Ｒｕ（ルテニウム）などのうちの１つの材料を用いて構成される。例えば、第２タンタル酸化物層３ｂに接触する第２電極４が貴金属で構成され、第１電極２が貴金属または非貴金属で構成される。このような電極の特徴により、第１の抵抗変化型不揮発性記憶素子１０は、後述する図３に示される抵抗変化特性を有する。
　抵抗変化層３は、第１電極２及び第２電極４間に印加される電圧パルスに応じて抵抗（言い換えると、コンダクタンス）が変化する。抵抗変化層３は、金属酸化物で構成されており、第１タンタル酸化物層３ａと第２タンタル酸化物層３ｂとが積層されて構成されている。ここで、第２タンタル酸化物層３ｂの酸素含有率は、第１タンタル酸化物層３ａの酸素含有率よりも高くなっている。
　第１タンタル酸化物層３ａの組成をＴａＯｘとした場合に、０＜ｘ＜２．５であり、且つ、第２タンタル酸化物層３ｂの組成をＴａＯｙとした場合に、ｘ＜ｙであればよい。
　図２Ｂは、実施形態に係る第２の抵抗変化型不揮発性記憶素子２０の構成例を示す模式図である。第２の抵抗変化型不揮発性記憶素子２０は、後述する駆動条件によって定まる用途であるが、製品出荷後等における高効率な結合重み係数の更新（学習）の用途に用いられる抵抗変化型不揮発性記憶素子である。
　図２Ｂに示すように、第２の抵抗変化型不揮発性記憶素子２０は、第１の抵抗変化型不揮発性記憶素子１０と同一構造を有し、基板１１と、基板１１の上に形成された第１電極１２と、第１電極１２の上に金属酸化物層として形成された抵抗変化層１３と、抵抗変化層１３の上に形成された第２電極１４とを備えている。抵抗変化層１３は、金属酸化物で構成されており、第１タンタル酸化物層１３ａと第２タンタル酸化物層１３ｂとが積層されて構成されている。
　基板１１、第１電極１２、抵抗変化層１３、第２電極１４、第１タンタル酸化物層１３ａ及び第２タンタル酸化物層１３ｂは、それぞれ、第１の抵抗変化型不揮発性記憶素子１０の対応する構成要素と同じ材料で構成される。
　［抵抗変化型不揮発性記憶素子の製造方法］
　次に、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の製造方法の一例について、これらの製造方法は同じであるので、第１の抵抗変化型不揮発性記憶素子１０の製造方法の場合を用いて説明する。
　まず、基板１上に、スパッタリング法により、第１電極２を形成する。その後、Ｔａターゲットをアルゴンガス及び酸素ガス中でスパッタリングする所謂反応性スパッタリング法によって、第１電極２の上にタンタル酸化物層を形成する。ここで、タンタル酸化物層における酸素含有率は、アルゴンガスに対する酸素ガスの流量比を変えることにより容易に調整することができる。なお、基板温度は特に加熱することなく室温とすることができる。
　次に、上記のようにして形成されたタンタル酸化物層の最表面を酸化することによりその表面を改質する。あるいは、高濃度の酸素含有率を有するタンタル酸化物（例えばＴａ２Ｏ５）ターゲットを用いて、より酸素含有率の高い層をスパッタ法で形成する。これにより、先に形成されたタンタル酸化物層の表面に、当該タンタル酸化物層の酸化されなかった領域（第１領域）よりも酸素含有率の高い領域（第２領域）が形成される。
　これらの第１領域及び第２領域が第１タンタル酸化物層３ａ及び第２タンタル酸化物層３ｂにそれぞれ相当し、このようにして形成された第１タンタル酸化物層３ａ及び第２タンタル酸化物層３ｂによって抵抗変化層３が構成されることになる。
　次に、上記のようにして形成された抵抗変化層３の上に、スパッタリング法により、第２電極４を形成する。
　最後に、第１の抵抗変化型不揮発性記憶素子１０を形成するために、所望のマスクを用いて、第１電極２、酸素不足型の第１タンタル酸化物層３ａ、第２タンタル酸化物層３ｂおよび第２電極４をパターニングして、抵抗変化層３を第１電極２、第２電極４で挟持した第１の抵抗変化型不揮発性記憶素子１０を形成する。
　なお、第１の抵抗変化型不揮発性記憶素子１０を形成するに当たり、本工程では同じマスクを用いて一括してパターニングを行ったが、工程ごとに個別にパターニングを行ってもかまわない。
　なお、第１電極２及び第２電極４並びに抵抗変化層３の大きさ及び形状は、フォトマスク及びフォトリソグラフィによって調整することができる。本実施形態では、第２電極４及び抵抗変化層３の大きさを０．１μｍ×０．１μｍ（面積０．０１μｍ２）とし、第１電極２と抵抗変化層３とが接する部分の大きさも０．１μｍ×０．１μｍ（面積０．０１μｍ２）としたが、このような大きさ及び形状に限定されるものではなく、レイアウト設計によって適宜変更可能である。
　［抵抗変化型不揮発性記憶素子の動作方法と抵抗変化特性］
　次に、上述した製造方法により得られた第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の動作について説明する。
　以下では、抵抗変化層３の抵抗値が所定の高い値（例えば、３００ｋΩ）にある場合を高抵抗状態、同じく所定の低い値（例えば、１２ｋΩ）にある場合を低抵抗状態といい、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０のそれぞれに対して大きさが異なる同一極性、同一電圧の複数電圧パルス（例えば、第１の抵抗変化型不揮発性記憶素子１０に対しては第１電圧を有する第１電圧パルス、第２の抵抗変化型不揮発性記憶素子２０に対しては第１電圧とは異なる第２電圧を有する第２電圧パルス）の連続印加により、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスはその間を変化するものとする。
　なお、低抵抗化過程においては、必ずしも第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０に対して大きさが異なる同一極性、同一電圧の複数電圧パルスを連続印加する必要はない。つまり、低抵抗化過程においては、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０に対して大きさが同一の同一極性、同一電圧の複数電圧パルスを連続印加してもよい。
　また、以下では、負極性の書き込み電圧パルスを第１の抵抗変化型不揮発性記憶素子１０または第２の抵抗変化型不揮発性記憶素子２０の第１電極２及び第２電極４間に印加することにより、抵抗変化層３のコンダクタンスが増加し、抵抗変化層３が高抵抗状態から低抵抗状態へ変化する過程を低抵抗化（あるいは、「セット」ともいう）と称し、正極性の書き込み電圧パルスを第１電極２及び第２電極４間に印加することにより、抵抗変化層３のコンダクタンスが減少し、抵抗変化層３が低抵抗状態から高抵抗状態へ変化する過程を高抵抗化（あるいは、「リセット」ともいう）と称する。また、抵抗変化型不揮発性記憶素子の低抵抗化および高抵抗化を、コンダクタンスあるいは抵抗値の「書き込み」あるいは「書き換え」ともいう。
　このような書き込みを繰り返すことにより、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０が不揮発性記憶素子として動作する。
　ここで、初期過程について説明する。本実施形態では、第１回目の上記書き込みの前に、通常、一度だけ、初期過程を実行する。初期過程とは、その後の低抵抗化および高抵抗化において安定した抵抗変化動作を実現するための準備過程であり、「ブレイク」あるいは「フォーミング」とも呼ばれる。
　一般に、製造直後の第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０は通常抵抗変化時の高抵抗状態よりさらに高い初期抵抗値を有しており、その状態で通常動作時の低抵抗化電圧パルスあるいは高抵抗化電圧パルスを印加しても抵抗変化は起こらない。
　そこで、初期過程において、初期電圧パルスを第１電極２及び第２電極４間に印加する。
　以降は、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０のそれぞれに対する印加電圧の大きさ（つまり、駆動条件）が異なるが、高抵抗化あるいは低抵抗化における同一極性、同一電圧の複数電圧パルスの連続印加により、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスは高抵抗状態および低抵抗状態の間を変化することになる。
　つまり、初期過程は、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を製造した後にまだ電圧が印加されたことのない初期状態の第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０に対して行なわれる過程である。
　上述した初期過程を経ることにより、フィラメントと呼ばれる周囲の酸素不足度よりも大きい酸素不足度を持つ局所領域が抵抗変化層３内に形成される。
　なお、本実施形態では初期過程を経ることによりフィラメントを形成したが、必ずしも初期過程を経てフィラメントを形成する必要は無く、抵抗変化型不揮発性記憶素子の形成時に酸素不足度が０％よりも十分に大きい酸化物層を設けることで代用してもよい。
　次に、本実施形態に係る第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスの変化の態様について、説明する。図３は、本実施形態に係る第１の抵抗変化型不揮発性記憶素子１０において、同一極性、同一電圧の複数電圧パルス（つまり、第１電圧パルス）の連続印加により、第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスを高抵抗状態あるいは低抵抗状態に変化させた際の抵抗変化特性である。横軸は、電圧パルスの印加回数を示し、縦軸は、コンダクタンスを示す。図３に示すように、第１の抵抗変化型不揮発性記憶素子１０に同一極性、同一電圧の複数電圧パルスの連続印加を行い低抵抗化した際には、図３における矩形波形の上辺における黒丸のプロットに示されるように、１発目の電圧パルスでのコンダクタンスの変化量が大きく、１発目の電圧パルスにより高抵抗状態から低抵抗状態に近い状態にまでコンダクタンスが増加する。その後、連続して２発目、３発目とパルス印加を行っても、１発目の電圧パルスでのコンダクタンスの変化量と比べると非常に小さい変化量に留まる。同様に、第１の抵抗変化型不揮発性記憶素子１０に同一極性、同一電圧の複数電圧パルスの連続印加を行い高抵抗化した際には、図３における矩形波形の下辺における黒丸のプロットに示されるように、１発目の電圧パルスでのコンダクタンスの変化量が大きく、１発目の電圧パルスにより低抵抗状態から高抵抗状態に近い状態にまでコンダクタンスが減少する。その後、連続して２発目、３発目とパルス印加を行っても、１発目の電圧パルスでのコンダクタンスの変化量と比べると非常に小さい変化量に留まる。言い換えると、第１の抵抗変化型不揮発性記憶素子１０は、第２の抵抗変化型不揮発性記憶素子２０の場合とは異なる大きさの電圧をもつ第１電圧パルスの連続印加により、コンダクタンスが非連続的（あるいは、非線形的）に変化するという特徴を有する。
　このような抵抗変化特性を示す第１の抵抗変化型不揮発性記憶素子１０においては、素子と接続する電流制限回路により低抵抗状態におけるコンダクタンス自体（言い換えると、多階調のアナログ抵抗値）を調整することが可能である。つまり、第１の抵抗変化型不揮発性記憶素子１０は、連続する電圧パルスの印加における初回の電圧パルスによってコンダクタンスが大きく変化し、その後の電圧パルスでは変化量が小さいという特性を有する。そのため、第１の抵抗変化型不揮発性記憶素子１０は、製品出荷時等における高精度の結合重み係数の設定（初期設定）に好適な抵抗変化型不揮発性記憶素子であるといえる。つまり、第１の抵抗変化型不揮発性記憶素子１０と電流制限回路を用いることにより、抵抗変化型不揮発性記憶素子を用いた人工知能処理装置において、製品出荷前および製品出荷後のファームウェア更新、学習モデルの更新、定期メンテナンス、および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの変更では結合重み係数更新が不十分な時に、事前に各素子のコンダクタンス設定値を取得して各素子に書き込むことが可能となる。
　次に、本実施形態に係る第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの変化の態様について、説明する。図４は、本実施形態に係る第２の抵抗変化型不揮発性記憶素子２０において、第１の抵抗変化型不揮発性記憶素子１０の場合とは電圧の大きさが異なる、同一極性、同一電圧の複数電圧パルス（つまり、第２電圧パルス）の連続印加により、第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスを高抵抗状態あるいは低抵抗状態に変化させた際の抵抗変化特性である。横軸は、電圧パルスの印加回数を示し、縦軸は、コンダクタンスを示す。
　図４に示すように、第２の抵抗変化型不揮発性記憶素子２０に同一極性、同一電圧の複数電圧パルスの連続印加を行い低抵抗化した際には、図４における立ち上がり波形における黒丸のプロットに示されるように、１発目の電圧パルスでのコンダクタンスの変化の割合が第１の抵抗変化型不揮発性記憶素子１０における１発目の電圧パルスでのコンダクタンスの変化の割合よりも小さい。その後、連続して２発目、３発目とパルス印加を行った際には、引き続き低抵抗化方向へのコンダクタンスの変化が生じる。同様に、第２の抵抗変化型不揮発性記憶素子２０に同一極性、同一電圧の複数電圧パルスの連続印加を行い高抵抗化した際には、図４における立ち下がり波形における黒丸のプロットに示されるように、１発目の電圧パルスでのコンダクタンスの変化の割合が第１の抵抗変化型不揮発性記憶素子１０における１発目の電圧パルスでのコンダクタンスの変化の割合よりも小さい。その後、連続して２発目、３発目とパルス印加を行った際には、引き続き高抵抗化方向へのコンダクタンスの変化が生じる。
　このような抵抗変化特性を示す第２の抵抗変化型不揮発性記憶素子２０においては、パルス印加前のコンダクタンスによらず、低抵抗化方向の極性を持つ電圧パルスあるいは高抵抗化方向の極性を持つ電圧パルスを印加することにより一定量のコンダクタンスの増加（低抵抗化）あるいはコンダクタンスの減少（高抵抗化）を生じさせることが可能である。つまり、第２の抵抗変化型不揮発性記憶素子２０は、連続する電圧パルスによって徐々にコンダクタンスが変化する特性を有する。そのため、第２の抵抗変化型不揮発性記憶素子２０は、製品出荷後等における高効率な結合重み係数の更新（学習）に好適な抵抗変化型不揮発性記憶素子であるといえる。つまり、第２の抵抗変化型不揮発性記憶素子２０を用いることにより、抵抗変化型不揮発性記憶素子を用いた人工知能処理装置において、製品出荷後の学習のための結合重み係数の更新時に、各素子に対し直接的に一定量のコンダクタンスの増加あるいは減少させる書き込みが可能となる。同一極性かつ同一電圧の電圧パルスを複数回連続して印加されると、第２の抵抗変化型不揮発性記憶素子２０における１発目の電圧パルスでのコンダクタンスの変化量に対する２発目の電圧パルスでのコンダクタンスの変化量の比率は、第１の抵抗変化型不揮発性記憶素子１０における１発目の電圧パルスでのコンダクタンスの変化量に対する２発目の電圧パルスでのコンダクタンスの変化量の比率よりも大きい。言い換えると、第２の抵抗変化型不揮発性記憶素子２０は、第１の抵抗変化型不揮発性記憶素子１０の場合とは異なる大きさの電圧をもつ第２電圧パルスの連続印加により、コンダクタンスが連続的（あるいは、線形的）に変化するという特徴を有する。
　以上のように、駆動条件（つまり、印加する電圧パルスの大きさ）の相違によって生じる差ではあるが、単一の電圧パルスにより設定コンダクタンスに概ね到達する第１の抵抗変化型不揮発性記憶素子１０と、同一極性、同一電圧の複数電圧パルスの連続印加により徐々にコンダクタンスが変化する第２の抵抗変化型不揮発性記憶素子２０とを比較すると、単一の電圧パルスによりコンダクタンスが設定可能な第１の抵抗変化型不揮発性記憶素子１０はより強固に特定の抵抗状態を保っていると考えられることから、書き込み後のリテンション特性（つまり、保管耐性）は高いと考えられる。一方、同一極性、同一電圧の複数電圧パルスの連続印加により徐々にコンダクタンスが変化する第２の抵抗変化型不揮発性記憶素子２０は、緩やかにコンダクタンスを変化させることから、書き込み自体による素子劣化度合いが小さく、エンデュランス特性（つまり、書き込み特性）は高いと考えられる。
　［抵抗変化型不揮発性記憶素子の駆動条件］
　次に、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０それぞれに対する駆動条件について、図５Ａ及び図５Ｂを用いて、詳細に説明する。
　図５Ａは、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０の定義を説明する図である。ここでは、低抵抗化過程で同一極性かつ同一電圧の電圧パルスを２０回連続して印加し、その後に、高抵抗化過程で反対極性かつ同一電圧の電圧パルスを２０回連続して印加する１Ｓｕｐｅｒ－Ｃｙｃｌｅ（図５Ａにおける「ｎｔｈ＿Ｃｙｃｌｅ」）を５０回繰り返す駆動をした場合における電圧パルスの回数（横軸）とコンダクタンス（縦軸）との関係が示されている。
　図５Ａにおいて、０ｔｈ＿ＬＲ、１ｔｈ＿ＬＲ、Ｍａｘ＿ＬＲは、それぞれ、１Ｓｕｐｅｒ－Ｃｙｃｌｅでの低抵抗化過程における０回目の電圧パルス印加後（つまり、初期値として）のコンダクタンス、１回目の電圧パルス印加後のコンダクタンス、最大のコンダクタンスを示す。また、０ｔｈ＿ＨＲ、１ｔｈ＿ＨＲ、Ｍｉｎ＿ＨＲは、それぞれ、１Ｓｕｐｅｒ－Ｃｙｃｌｅでの高抵抗化過程における０回目の電圧パルス印加後（つまり、初期値として）のコンダクタンス、１回目の電圧パルス印加後のコンダクタンス、最小のコンダクタンスを示す。
　ここで、低抵抗化過程における１回目の電圧パルスによるコンダクタンスの変化率をＲａｔｉｏ＿ＬＲと呼び、Ｒａｔｉｏ＿ＬＲとして、以下の式１の通り、定義する。
　Ｒａｔｉｏ＿ＬＲ＝（１ｔｈ＿ＬＲ－０ｔｈ＿ＬＲ）／（Ｍａｘ＿ＬＲ－０ｔｈ＿ＬＲ）　　　（式１）
　また、高抵抗化過程における１回目の電圧パルスによるコンダクタンスの変化率をＲａｔｉｏ＿ＨＲと呼び、Ｒａｔｉｏ＿ＨＲとして、以下の式２の通り、定義する。
　Ｒａｔｉｏ＿ＨＲ＝（１ｔｈ＿ＨＲ－０ｔｈ＿ＨＲ）／（Ｍｉｎ＿ＨＲ－０ｔｈ＿ＨＲ）　　　（式２）
　なお、Ｒａｔｉｏ＿ＬＲ及びＲａｔｉｏ＿ＨＲについて、まとめて、単に、Ｒａｔｉｏと呼ぶ。
　以上の定義を用いて、本願明細書では、Ｒａｔｉｏ＞０．７となる駆動条件で駆動される抵抗変化型不揮発性記憶素子を、「第１の抵抗変化型不揮発性記憶素子」あるいはデジタルＲＡＮＤ（Resistive Analog Neuro Device）と呼んでいる。また、Ｒａｔｉｏ＜０．４となる駆動条件で駆動される抵抗変化型不揮発性記憶素子を、「第２の抵抗変化型不揮発性記憶素子」あるいはアナログＲＡＮＤと呼んでいる。
　なお、厳密には、「第２の抵抗変化型不揮発性記憶素子」あるいはアナログＲＡＮＤは、低抵抗化過程及び高抵抗化過程の両方において、必ずしも、同一の駆動条件（つまり、Ｒａｔｉｏ＿ＬＲ＜０．４及びＲａｔｉｏ＿ＨＲ＜０．４）で駆動される必要はなく、Ｒａｔｉｏ＿ＬＲ＜０．４及びＲａｔｉｏ＿ＨＲ＜０．４の少なくとも一方が満たされる駆動条件で駆動されてもよい。
　図５Ｂは、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０の駆動条件を説明する図である。ここでは、抵抗変化型不揮発性記憶素子をデジタルＲＡＮＤとして高抵抗化させるための電圧パルスの電圧を１．０として、現実に印加した電圧パルスの電圧比（ＨＲ－ｐｕｌｓｅ＿Ｖｏｌｔａｇｅ＿Ｒａｔｉｏ）を横軸にとり、その電圧パルスで得られたＲａｔｉｏを縦軸にとり、実験で得られた結果をプロットした図である。丸のプロットは、低抵抗化過程で得られた結果を示し、四角のプロットは、高抵抗化過程で得られた結果を示す。
　図５Ｂにおいて、「Ｒａｔｉｏ＞０．７」を満たす領域は、「Ｄｉｇｉｔａｌ的動作」と記載され、抵抗変化型不揮発性記憶素子が第１の抵抗変化型不揮発性記憶素子１０あるいはデジタルＲＡＮＤとして動作する領域である。また、「Ｒａｔｉｏ＜０．４」を満たす領域は、「Ａｎａｌｏｇ的動作」と記載され、抵抗変化型不揮発性記憶素子が第２の抵抗変化型不揮発性記憶素子２０あるいはアナログＲＡＮＤとして動作する領域である。
　なお、図５Ｂに示される特性を得る実験では、低抵抗化過程においては、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０に対して同一の駆動条件で駆動されている。
　図５Ｂから分かるように、以下の式３の駆動条件、つまり、抵抗変化型不揮発性記憶素子をデジタルＲＡＮＤとして高抵抗化させる電圧パルスの電圧の０．７１倍より小さい電圧の電圧パルスを抵抗変化型不揮発性記憶素子に印加することで、その抵抗変化型不揮発性記憶素子を、第２の抵抗変化型不揮発性記憶素子２０あるいはアナログＲＡＮＤとして動作させることができる。
　ＨＲ－ｐｕｌｓｅ＿Ｖｏｌｔａｇｅ＿Ｒａｔｉｏ＜０．７１　　　（式３）
　［抵抗変化型不揮発性記憶素子の配置］
　図６Ａおよび図６Ｂは、従来技術における抵抗変化型不揮発性記憶素子の回路図および断面図である。
　図６Ａは、従来の抵抗変化型不揮発性記憶素子が搭載された人工知能処理装置のメモリセルの回路図を示したものである。メモリセルＭＣは抵抗変化型不揮発性記憶素子ＲＰとセルトランジスタＴ０の直列接続されたもので構成され、１つのセルトランジスタＴ０と１つの抵抗変化型不揮発性記憶素子ＲＰから構成される『１Ｔ１Ｒ』型のメモリセルである。メモリセルＭＣのワード線ＷＬはセルトランジスタＴ０のゲート端子に接続され、ビット線ＢＬは抵抗変化型不揮発性記憶素子ＲＰに接続され、ソース線ＳＬはセルトランジスタＴ０のソース端子に接続される。
　図６Ｂは、従来の抵抗変化型不揮発性記憶素子ＲＰが搭載された人工知能処理装置のメモリセルの断面図を示したものである。基板６０上に拡散領域６１ａ、６１ｂが形成されており、拡散領域６１ａがセルトランジスタＴ０のソース端子として、拡散領域６１ｂがセルトランジスタのドレイン端子として作用する。拡散領域６１ａ、６１ｂ間がセルトランジスタＴ０のチャネル領域として作用し、このチャネル領域上に酸化膜６２、ポリシリコンで形成されるゲート電極６３が形成され、セルトランジスタＴ０として動作する。セルトランジスタＴ０のソース端子である拡散領域６１ａはビア６４ａを介して第１配線層６５ａであるソース線ＳＬに接続される。セルトランジスタＴ０のドレイン端子である拡散領域６１ｂはビア６４ｂを介して第１配線層６５ｂに接続される。さらに、第１配線層６５ｂはビア６６を介して第２配線層６７に接続され、第２配線層６７はビア６８ａを介して抵抗変化型不揮発性記憶素子ＲＰに接続される。抵抗変化型不揮発性記憶素子ＲＰは第１電極２、抵抗変化層３、第２電極４から構成される。抵抗変化型不揮発性記憶素子ＲＰはビア６８ｂを介して第３配線層６９であるビット線ＢＬに接続される。
　この構成においては、抵抗変化型不揮発性記憶素子ＲＰとしては、単一の電圧パルスにより設定コンダクタンスに概ね到達する実施形態に係る第１の抵抗変化型不揮発性記憶素子１０のみが人工知能処理装置に搭載される。そのため、製品出荷時等における高効率・高精度の結合重み係数の設定（初期設定）と製品出荷後等における高効率な結合重み係数の更新（学習）を両立することが困難である。
　図７Ａ～図７Ｃは、実施形態に係る抵抗変化型不揮発性記憶素子の回路図、断面図の例を示す図である。
　図７Ａは、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の両方が搭載された人工知能処理装置のメモリセルの回路図を示したものである。メモリセルＭＣは単一の電圧パルスによりコンダクタンスが設定可能な第１の抵抗変化型不揮発性記憶素子１０、上記式３を満たす同一極性、同一電圧の複数電圧パルスの連続印加により徐々にコンダクタンスが変化する第２の抵抗変化型不揮発性記憶素子２０とセルトランジスタＴ０が接続されたもので構成され、１つのセルトランジスタＴ０と２つの抵抗変化型不揮発性記憶素子から構成される『１Ｔ２Ｒ』型のメモリセルである。メモリセルＭＣのワード線ＷＬはセルトランジスタＴ０のゲート端子に接続され、ビット線ＢＬ１は第１の抵抗変化型不揮発性記憶素子１０に接続され、ビット線ＢＬ２は第２の抵抗変化型不揮発性記憶素子２０に接続され、ソース線ＳＬはセルトランジスタＴ０のソース端子に接続される。
　図７Ｂは、図７Ａに示される第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の両方が搭載された人工知能処理装置のメモリセルの断面図の一例を示したものである。ここでは、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０が、それぞれ、２つの配線層で挟まれた第１層、及び、２つの配線層で挟まれた、第１層とは異なる第２層に配置された構造例が図示されている。
　半導体の基板７０上に拡散領域７１ａ、７１ｂが形成されており、拡散領域７１ａがセルトランジスタＴ０のソース端子として、拡散領域７１ｂがセルトランジスタのドレイン端子として作用する。拡散領域７１ａ、７１ｂ間がセルトランジスタＴ０のチャネル領域として作用し、このチャネル領域上に酸化膜７２、ポリシリコンで形成されるゲート電極７３が形成され、セルトランジスタＴ０として動作する。セルトランジスタＴ０のソース端子である拡散領域７１ａはビア７４ａを介して第１配線層７５ａであるソース線ＳＬに接続される。セルトランジスタＴ０のドレイン端子である拡散領域７１ｂはビア７４ｂを介して第１配線層７５ｂに接続される。
　さらに、第１配線層７５ｂはビア７６ａを介して第２配線層７７に接続され、第２配線層７７はビア７８ａを介して第１の抵抗変化型不揮発性記憶素子１０に接続される。第１の抵抗変化型不揮発性記憶素子１０は第１電極２、抵抗変化層３、第２電極４から構成される。第１の抵抗変化型不揮発性記憶素子１０はビア７８ｂを介して第３配線層７９であるビット線ＢＬ１に接続される。
　また、同時に、第２配線層７７はビア７６ｃを介して第２の抵抗変化型不揮発性記憶素子２０に接続される。第２の抵抗変化型不揮発性記憶素子２０は第１電極１２、抵抗変化層１３、第２電極１４から構成される。第２の抵抗変化型不揮発性記憶素子２０はビア７６ｂを介して第１配線層７５ｃであるビット線ＢＬ２に接続される。この配置においては、基板平面と鉛直の方向から見て、第１の抵抗変化型不揮発性記憶素子１０の中心と第２の抵抗変化型不揮発性記憶素子２０の中心とが一致する配置となる。
　図７Ｃは、図７Ａに示される第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の両方が搭載された人工知能処理装置のメモリセルの断面図の、先ほど（つまり、図７Ｂに示される例）と異なる例を示したものである。ここでは、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０が、２つの配線層で挟まれた同一の層に配置された構造例が図示されている。
　半導体の基板８０上に拡散領域８１ａ、８１ｂが形成されており、拡散領域８１ａがセルトランジスタＴ０のソース端子として、拡散領域８１ｂがセルトランジスタのドレイン端子として作用する。拡散領域８１ａ、８１ｂ間がセルトランジスタＴ０のチャネル領域として作用し、このチャネル領域上に酸化膜８２、ポリシリコンで形成されるゲート電極８３が形成され、セルトランジスタＴ０として動作する。セルトランジスタＴ０のソース端子である拡散領域８１ａはビア８４ａを介して第１配線層８５ａであるソース線ＳＬに接続される。セルトランジスタＴ０のドレイン端子である拡散領域８１ｂはビア８４ｂを介して第１配線層８５ｂに接続される。
　さらに、第１配線層８５ｂはビア８６ｃを介して第２配線層８７ｂに接続され、第２配線層８７ｂはビア８８ａを介して第１の抵抗変化型不揮発性記憶素子１０に接続される。第１の抵抗変化型不揮発性記憶素子１０は第１電極２、抵抗変化層３、第２電極４から構成される。第１の抵抗変化型不揮発性記憶素子１０はビア８８ｂを介して第３配線層８９ｂであるビット線ＢＬ１に接続される。
　また、同時に、第１配線層８５ｂはビア８６ａを介して第２配線層８７ａに接続され、第２配線層８７ａはビア８８ｃを介して第２の抵抗変化型不揮発性記憶素子２０に接続される。第２の抵抗変化型不揮発性記憶素子２０は第１電極１２、抵抗変化層１３、第２電極１４から構成される。第２の抵抗変化型不揮発性記憶素子２０はビア８８ｄを介して第３配線層８９ａであるビット線ＢＬ２に接続される。この配置においては、基板平面と鉛直の方向から見て、第１の抵抗変化型不揮発性記憶素子１０の中心と第２の抵抗変化型不揮発性記憶素子２０の中心とが一致しない配置となる。
　なお、図７Ｂにおいては、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を第１配線層と第３配線層の間の異なる配線層間に配置したが、他の配線層間、例えば第２配線層と第４配線層の間の異なる配線層間に配置しても同様の効果が得られる。
　また、図７Ｃにおいては、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を第２配線層と第３配線層とで挟まれた層に配置したが、他の配線層間、例えば第１配線層と第２配線層とで挟まれた層に配置しても同様の効果が得られる。
　従来例として記載した図６Ａにおいては、ビット線ＢＬあるいはソース線ＳＬを流れる電流、すなわち抵抗変化型不揮発性記憶素子ＲＰを流れる電流がメモリセルＭＣを流れる電流として定義されるが、本実施形態にかかる図７Ａにおいては、メモリセルＭＣを流れる電流は、ビット線ＢＬ１とビット線ＢＬ２を流れる電流の合計、あるいはソース線ＳＬを流れる電流、すなわち、第１の抵抗変化型不揮発性記憶素子１０と第２の抵抗変化型不揮発性記憶素子２０を流れる電流の合計として定義される。
　図７Ａ～図７Ｃに示されるメモリセルＭＣでは、ワード線ＷＬにおける信号が１つのニューロンに入力される入力信号に相当し、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの合計が、その入力信号に対応する１つの結合重み係数に相当し、第１の抵抗変化型不揮発性記憶素子１０と第２の抵抗変化型不揮発性記憶素子２０を流れる電流の合計（つまり、ビット線ＢＬ１とビット線ＢＬ２を流れる電流の合計、あるいはソース線ＳＬを流れる電流）が入力信号と結合重み係数との積に相当する。
　図８Ａ～図８Ｃは、別の実施形態に係る抵抗変化型不揮発性記憶素子の回路図、断面図の例を示す図である。
　図８Ａは、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の両方が搭載された人工知能処理装置のメモリセルの回路図を示したものである。メモリセルＭＣ１は単一の電圧パルスによりコンダクタンスが設定可能な第１の抵抗変化型不揮発性記憶素子１０とセルトランジスタＴ１が接続されたもので構成され、メモリセルＭＣ２は上記式３を満たす同一極性、同一電圧の複数電圧パルスの連続印加により徐々にコンダクタンスが変化する第２の抵抗変化型不揮発性記憶素子２０とセルトランジスタＴ２が接続されたもので構成され、２つのセルトランジスタＴ１およびＴ２と２つの抵抗変化型不揮発性記憶素子から構成される『２Ｔ２Ｒ』型のメモリセルである。メモリセルＭＣ１のワード線ＷＬ１はセルトランジスタＴ１のゲート端子に接続され、メモリセルＭＣ２のワード線ＷＬ２はセルトランジスタＴ２のゲート端子に接続され、ビット線ＢＬは第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０に接続され、ソース線ＳＬはセルトランジスタＴ１およびＴ２のソース端子に接続される。
　図８Ｂは、図８Ａに記載された、第１の抵抗変化型不揮発性記憶素子１０が搭載された人工知能処理装置のメモリセルＭＣ１の断面図の一例を示したものである。半導体の基板９０上に拡散領域９１ａ、９１ｂが形成されており、拡散領域９１ａがセルトランジスタＴ１のソース端子として、拡散領域９１ｂがセルトランジスタＴ１のドレイン端子として作用する。拡散領域９１ａ、９１ｂ間がセルトランジスタＴ１のチャネル領域として作用し、このチャネル領域上に酸化膜９２、ポリシリコンで形成されるゲート電極９３が形成され、セルトランジスタＴ１として動作する。セルトランジスタＴ１のソース端子である拡散領域９１ａはビア９４ａを介して第１配線層９５ａであるソース線ＳＬに接続される。セルトランジスタＴ１のドレイン端子である拡散領域９１ｂはビア９４ｂを介して第１配線層９５ｂに接続される。
　さらに、第１配線層９５ｂはビア９６を介して第２配線層９７に接続され、第２配線層９７はビア９８ａを介して第１の抵抗変化型不揮発性記憶素子１０に接続される。第１の抵抗変化型不揮発性記憶素子１０は第１電極２、抵抗変化層３、第２電極４から構成される。第１の抵抗変化型不揮発性記憶素子１０はビア９８ｂを介して第３配線層９９であるビット線ＢＬに接続される。
　図８Ｃは、図８Ａに記載された、第２の抵抗変化型不揮発性記憶素子２０が搭載された人工知能処理装置のメモリセルＭＣ２の断面図の一例を示したものである。図８Ｂと共通の基板９０上に拡散領域１０１ａ、１０１ｂが形成されており、拡散領域１０１ａがセルトランジスタＴ２のソース端子として、拡散領域１０１ｂがセルトランジスタＴ２のドレイン端子として作用する。拡散領域１０１ａ、１０１ｂ間がセルトランジスタＴ２のチャネル領域として作用し、このチャネル領域上に酸化膜１０２、ポリシリコンで形成されるゲート電極１０３が形成され、セルトランジスタＴ２として動作する。セルトランジスタＴ２のソース端子である拡散領域１０１ａはビア１０４ａを介して図８Ｂと共通の第１配線層９５ａであるソース線ＳＬに接続される。セルトランジスタＴ２のドレイン端子である拡散領域１０１ｂはビア１０４ｂを介して第１配線層１０５に接続される。
　さらに、第１配線層１０５はビア１０６を介して第２配線層１０７に接続され、第２配線層１０７はビア１０８ａを介して第２の抵抗変化型不揮発性記憶素子２０に接続される。第２の抵抗変化型不揮発性記憶素子２０は第１電極１２、抵抗変化層１３、第２電極１４から構成される。第２の抵抗変化型不揮発性記憶素子２０はビア１０８ｂを介して図８Ｂと共通の第３配線層９９であるビット線ＢＬに接続される。
　なお、図８Ｂおよび図８Ｃにおいては、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を第２配線層と第３配線層とで挟まれた層に配置したが、他の配線層間、例えば第１配線層と第２配線層の間の異なる配線層間に配置しても同様の効果が得られる。
　また、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０がそれぞれ異なる配線層間に配置されていても同様の効果が得られる。
　従来例として記載した図６Ａにおいては、ビット線ＢＬあるいはソース線ＳＬを流れる電流、すなわち抵抗変化型不揮発性記憶素子ＲＰを流れる電流がメモリセルＭＣを流れる電流として定義されるが、本実施形態にかかる図８Ａにおいては、ビット線ＢＬあるいはソース線ＳＬを流れる電流は、メモリセルＭＣ１を流れる電流とメモリセルＭＣ２を流れる電流の合計、すなわち、第１の抵抗変化型不揮発性記憶素子１０と第２の抵抗変化型不揮発性記憶素子２０を流れる電流の合計として定義される。
　図８Ａ～図８Ｃに示されるメモリセルＭＣ１とメモリセルＭＣ２とを合わせたメモリセルに着目すると、ワード線ＷＬ１およびＷＬ２に共通に流れる信号が１つのニューロンに入力される入力信号に相当し、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの合計が、その入力信号に対応する１つの結合重み係数に相当し、第１の抵抗変化型不揮発性記憶素子１０と第２の抵抗変化型不揮発性記憶素子２０を流れる電流の合計（つまり、ビット線ＢＬを流れる電流、あるいはソース線ＳＬを流れる電流）が入力信号と結合重み係数との積に相当する。
　図７Ａ～図７Ｃおよび図８Ａ～図８Ｃで示されるように、単一の電圧パルスにより設定コンダクタンスに概ね到達する第１の抵抗変化型不揮発性記憶素子１０と、上記式３を満たす同一極性、同一電圧の複数電圧パルスの連続印加により徐々にコンダクタンスが変化する第２の抵抗変化型不揮発性記憶素子２０とを両方搭載した実施形態に係る人工知能処理装置においては、両方の素子が使用できるため、第１の抵抗変化型不揮発性記憶素子１０は、製品出荷前および製品出荷後のファームウェア更新、学習モデルの更新、定期メンテナンス、および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの変更では結合重み係数更新が不十分な時にコンダクタンスを変更し、第２の抵抗変化型不揮発性記憶素子２０は、製品出荷後の学習のための結合重み係数の更新時にコンダクタンスを変更するという使用方法を取ることにより、製品出荷時等における高効率・高精度の結合重み係数の設定（初期設定）と製品出荷後等における高効率な結合重み係数の更新（学習）の両立が可能になる。つまり、結合重み係数を変更する（つまり、書き込む）際には、その際の用途に応じて、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の一方だけに対してコンダクタンスを変更し、人工知能処理装置を使用して推論する（つまり、結合重み係数を読み出す）際には、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の両方に流れる電流の合計値を用いる。
　また、人工知能処理装置において、既存のニューラルネットワークの結合重み係数の設定を用いた転移学習あるいは強化学習に適用して既存のニューラルネットワークの結合重み係数設定をそのまま用いる第１のニューラルネットワーク領域と、新たに学習を行う第２のニューラルネットワーク領域とがある場合には、第１のニューラルネットワーク領域の結合重み係数の設定には第１の抵抗変化型不揮発性記憶素子１０に対してコンダクタンスを変更し、第２のニューラルネットワーク領域の結合重み係数の設定には第２の抵抗変化型不揮発性記憶素子２０に対してコンダクタンスを変更するという使用方法により、効率的に転移学習あるいは強化学習を行うことができる。
　［実施例］
　次に、本開示に係る人工知能処理装置の実施例について、説明する。
　図９Ａは、実施例に係る人工知能処理装置２００のモデルを示すブロック図である。人工知能処理装置２００は、入力層２０１、複数の隠れ層２０２および出力層２０３で構成されるニューラルネットワークである。各層（入力層２０１、隠れ層２０２、出力層２０３）は、複数のニューロン２１０で構成される。各ニューロン２１０には、前段の層を構成するニューロン２１０からの出力データがシナプス２１１を経て入力される。
　図９Ｂは、図９Ａに示されるニューロン２１０の機能を示す図である。ニューロン２１０は、前段の層を構成するニューロン２１０からの出力データを、シナプス２１１を経て入力データｘｉとして受け取り、受け取った入力データｘｉに、そのシナプス２１１に対応する結合重み係数ｗｉを乗じた積（ｗｉ・ｘｉ）を、全ての入力データｘｉについて加算する積和演算（Σｗｉ・ｘｉ）を行う。そして、ニューロン２１０は、積和演算の結果に対して、内部に有するバイアスｂを加算し、得られた結果（Σｗｉ・ｘｉ＋ｂ）を、内部に有するステップ関数等の活性化関数ｆに入力することで、出力データｙを生成し、次の段の層を構成する各ニューロン２１０に出力する。
　図１０Ａは、図９Ｂに示されるニューロン２１０を実現する回路例を示す図である。本図では、２次元上に配置されたメモリセルＭＣｉｊ（ｉ＝０～ｍ、ｊ＝０～ｎ）として、図７Ａに示される１Ｔ２Ｒ型のメモリセルＭＣが用いられた回路例が示されている。ニューロン２１０は、積和演算回路２１５、ワード線選択回路２３０、判定回路２５０、および、カラムゲート（トランジスタＹＴｉ１、ＹＴｉ２、トランジスタＤＴｉ）で構成される。
　積和演算回路２１５は、ニューロン２１０における積和演算を行う回路であり、図７Ａに示される１Ｔ２Ｒ型のメモリセルが、複数、列方向に並べられ、かつ、ビット線ＢＬｉ１、ＢＬｉ２、ソース線ＳＬｉのそれぞれを共通にするように、接続されている。各メモリセルから出力される電流が、それぞれ、入力データｘｉと結合重み係数ｗｉとの積（ｗｉ・ｘｉ）に相当し、それらの電流が合流し、ソース線ＳＬｉに流れる電流（あるいは、ビット線ＢＬｉ１およびＢＬｉ２に流れる電流の合計）が積和演算の結果Σｗｉ・ｘｉに相当する。この積和演算回路２１５では、入力データｘｉは、「１」または「０」であり、結合重み係数ｗｉは、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの合計に対応する。
　なお、本図には、図９Ａに示される全てのニューロン２１０に相当する複数の積和演算回路２１５が行方向に並べられて配置されており、それらのうち、１つの積和演算回路２１５が、１つのニューロン２１０における積和演算を行う。
　ワード線選択回路２３０は、積和演算回路２１５を構成するメモリセルＭＣｉ０～ＭＣｉｎに含まれるトランジスタＴｉのゲート端子に、ワード線ＷＬ０～ＷＬｎを介して、行単位で、メモリセルを選択または非選択にするための入力データｘ０～ｘｎを供給する回路である。
　判定回路２５０は、ニューロン２１０が有する活性化関数ｆを実行する回路であり、積和演算回路２１５から出力される積和演算の結果を示すソース線ＳＬｉに流れる電流、あるいは、ビット線ＢＬｉ１およびＢＬｉ２に流れる電流の合計（Σｗｉ・ｘｉ）に、内部に有するバイアスｂを加算した値（Σｗｉ・ｘｉ＋ｂ）と、所定の閾値とを比較して出力する。判定回路２５０は、行方向に並ぶ複数の積和演算回路２１５に対して、並列に処理を行うことができる。
　カラムゲートを構成するトランジスタＹＴｉ１、ＹＴｉ２は、メモリセルＭＣｉ０～ＭＣｉｎに対する書き込みおよび読み出し時において、ゲート端子に入力される信号に応じて、それぞれ、メモリセルＭＣｉ０～ＭＣｉｎのビット線ＢＬｉ１、ＢＬｉ２と、所定の電源電圧とを接続したり非接続にしたりする。また、トランジスタＤＴｉは、メモリセルＭＣｉ０～ＭＣｉｎに対する書き込みおよび読み出し時においてゲート端子に入力される信号に応じて、ソース線ＳＬｉと所定の電源電圧とを接続したり非接続にしたりする。
　図１０Ｂは、図９Ｂに示されるニューロン２１０を実現する別の回路例（ニューロン２１０ａ）を示す図である。本図では、２次元上に配置されたメモリセルＭＣｉｊ（ｉ＝０～ｍ、ｊ＝０～ｎ）として、図８Ａに示される２Ｔ２Ｒ型のメモリセルＭＣが複数、列方向に並べられ、かつ、ビット線ＢＬｉ、ソース線ＳＬｉのそれぞれを共通にするように、接続されている。ニューロン２１０ａは、積和演算回路２１５ａ、ワード線選択回路２３０ａ、判定回路２５０ａ、および、カラムゲート（トランジスタＹＴｉ、トランジスタＤＴｉ）で構成される。
　このニューロン２１０ａは、図１０Ａに示されるニューロン２１０と、基本的な機能は同じであるが、１Ｔ２Ｒ型のメモリセルＭＣｉｊで構成される図１０Ａのニューロン２１０と異なり、２Ｔ２Ｒ型のメモリセルＭＣｉｊに対応した接続構成となっている。ワード線選択回路２３０ａは、メモリセルＭＣｉ０～ＭＣｉｎのそれぞれに対して、２つのワード線ＷＬｊ１およびＷＬｊ２を出力する。判定回路２５０ａは、積和演算回路２１５ａから出力される積和演算の結果を示すビット線ＢＬｉ、あるいは、ソース線ＳＬｉに流れる電流（Σｗｉ・ｘｉ）に、内部に有するバイアスｂを加算した値（Σｗｉ・ｘｉ＋ｂ）と、所定の閾値とを比較して出力する。カラムゲートについては、各ビット線ＢＬｉついて、所定の電源電圧との接続および非接続を切り替える１個のトランジスタＹＴｉが設けられる。
　図１１は、図１０Ａに示されるニューロン２１０からなる人工知能処理装置２００の全体の構成を示すブロック図である。人工知能処理装置２００は、メモリセルアレイ２２０、ワード線選択回路２３０、カラムゲート２４０、判定回路２５０、書き込み回路２６０および制御回路２７０で構成される。
　メモリセルアレイ２２０は、図１０Ａに示されるメモリセルＭＣｉｊ（ｉ＝０～ｍ、ｊ＝０～ｎ）に相当する。ワード線選択回路２３０、カラムゲート２４０、判定回路２５０は、図１０Ａで説明されたものと同じである。
　書き込み回路２６０は、図１０Ａで説明された所定の電源電圧を供給する回路であり、メモリセルＭＣｉｊに対して所望のコンダクタンス（言い換えれば、多階調のアナログ抵抗値）を書き込むための電流制限回路を有する。
　より詳しくは、書き込み回路２６０は、制御回路２７０による制御の下で、第１の抵抗変化型不揮発性記憶素子１０に対して第１電圧を有する第１電圧パルスを印加することで第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスを書き換え、第２の抵抗変化型不揮発性記憶素子２０に対して第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスを書き換える。高抵抗化過程における第２電圧は、高抵抗化過程における第１電圧の０．７１倍以下であり、例えば、０．７倍の電圧、０．５倍の電圧、０．３倍の電圧、あるいは、０．７１倍以下の複数の電圧から指定された一つの電圧である。
　制御回路２７０は、人工知能処理装置２００の全体を制御することで、メモリセルＭＣｉｊに対する書き込みおよび読み出しを制御する回路であり、例えば、プログラムを格納したメモリおよびプロセッサ等で構成される。より詳しくは、制御回路２７０は、人工知能処理装置２００の結合重み係数を変更する（つまり、書き込む）際には、製品出荷時等における高精度の結合重み係数の設定（初期設定）か製品出荷後等における高効率な結合重み係数の更新（学習）かの用途に応じて、各メモリセルＭＣｉｊを構成する第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の一方だけに対してコンダクタンスを変更するように、人工知能処理装置２００を制御する。また、制御回路２７０は、人工知能処理装置２００を使用して（つまり、結合重み係数を用いて）推論を行う際には、各メモリセルＭＣｉｊを構成する第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０に流れる電流の合計値を用いるように、人工知能処理装置２００を制御する。
　なお、図１１は、図１０Ａに示されるニューロン２１０からなる人工知能処理装置２００の全体の構成を示すブロック図であるが、図１０Ｂに示されるニューロン２１０ａからなる人工知能処理装置２００の全体の構成を示すブロック図については、上述した接続配線等を除いて、図１１と同様であるので、図示及びその説明を省略する。
　図１２Ａは、図１０Ａに示されるメモリセルＭＣｉｊに対する書き込みおよび読み出し時におけるワード線ＷＬ、ビット線ＢＬ１、ＢＬ２、および、ソース線ＳＬを介した印加電圧の例を示す図である。ここでは、第ｉカラムのメモリセルＭＣｉｊを構成する第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０をリセット（高抵抗化）する場合、セット（低抵抗化）する場合、および、メモリセルＭＣｉｊから読み出す場合における印加電圧の例が示されている。図１２Ａにおいて、「モード１」は、第１の抵抗変化型不揮発性記憶素子１０へのコンダクタンスの書き込み（第１の書き換えステップ）を示し、「モード２」は、第２の抵抗変化型不揮発性記憶素子２０へのコンダクタンスの書き込み（第２の書き換えステップ）を示す。なお、「メモリセルＭＣｉｊに対する書き込み」とは、メモリセルＭＣｉｊに結合重み係数を設定または変更することを意味し、「メモリセルＭＣｉｊに対する読み出し」とは、メモリセルＭＣｉｊを流れる電流を計測することを意味する。
　（１）メモリセルＭＣｉｊに書き込む（結合重み係数を設定または変更する）場合
　本実施の形態では、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０をリセット（「高抵抗化」）する場合に、異なる駆動条件による書き込みを行っている。
　つまり、第１の抵抗変化型不揮発性記憶素子１０をリセット（「高抵抗化」）する場合には（「モード１」）、ワード線ＷＬを介してトランジスタＴｉをオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ビット線ＢＬ１にリセット電圧ＶＨ１（例えば、２Ｖ）が印加され、ビット線ＢＬ２に基準電圧Ｖｓｓ（例えば、０Ｖ）が印加され、ソース線ＳＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加される。これにより、第１の抵抗変化型不揮発性記憶素子１０だけに対して、第１の抵抗変化型不揮発性記憶素子１０の下方の端子を基準として上方の端子に正電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に高抵抗化される。
　また、第２の抵抗変化型不揮発性記憶素子２０をリセット（「高抵抗化」）する場合には（「モード２」）、ワード線ＷＬを介してトランジスタＴｉをオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ビット線ＢＬ１に基準電圧Ｖｓｓ（例えば、０Ｖ）が印加され、ビット線ＢＬ２にリセット電圧ＶＨ２（例えば、１．４Ｖ（つまり、ＶＨ１の０．７倍））が印加され、ソース線ＳＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加される。これにより、第２の抵抗変化型不揮発性記憶素子２０だけに対して、第２の抵抗変化型不揮発性記憶素子２０の下方の端子を基準として上方の端子に正電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に高抵抗化される。
　一方、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０をセット（「低抵抗化」）する場合には、本実施の形態では、異なる駆動条件による書き込みを行っていない（つまり、同一の駆動条件による書き込みをしている）。
　つまり、第１の抵抗変化型不揮発性記憶素子１０をセット（「低抵抗化」）する場合には（「モード１」）、ワード線ＷＬを介してトランジスタＴｉをオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ビット線ＢＬ１に基準電圧Ｖｓｓ（例えば、０Ｖ）が印加され、ビット線ＢＬ２にセット電圧Ｖｓｅｔ（例えば、２Ｖ）が印加され、ソース線ＳＬにセット電圧Ｖｓｅｔ（例えば、２Ｖ）が印加される。これにより、第１の抵抗変化型不揮発性記憶素子１０だけに対して、第１の抵抗変化型不揮発性記憶素子１０の下方の端子を基準として上方の端子に負電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に低抵抗化される。
　また、第２の抵抗変化型不揮発性記憶素子２０をセット（「低抵抗化」）する場合には（「モード２」）、ワード線ＷＬを介してトランジスタＴｉをオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ビット線ＢＬ１にセット電圧Ｖｓｅｔ（例えば、２Ｖ）が印加され、ビット線ＢＬ２に基準電圧Ｖｓｓ（例えば、０Ｖ）が印加され、ソース線ＳＬにセット電圧Ｖｓｅｔ（例えば、２Ｖ）が印加される。これにより、第２の抵抗変化型不揮発性記憶素子２０だけに対して、第２の抵抗変化型不揮発性記憶素子２０の下方の端子を基準として上方の端子に負電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に低抵抗化される。
　（２）メモリセルＭＣｉｊから読み出す場合（推論ステップ）
　第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を流れる電流の合計を計測する場合には（「読み出し」）、ワード線ＷＬを介してトランジスタＴｉをオンにする読み出し電圧Ｖｇ＿ｒｅａｄ（例えば、１Ｖ）がゲート端子に供給され、ビット線ＢＬ１およびＢＬ２に読み出し電圧Ｖｒｅａｄ（例えば、０．４Ｖ）が印加され、ソース線ＳＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加される。これにより、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０に対して、読み出し電圧Ｖｒｅａｄが印加され、メモリセルＭＣｉｊから、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を流れる電流の合計（つまり、一つの積（ｗｉ・ｘｉ）が出力される。よって、積和演算回路２１５を構成する全てのメモリセルＭＣｉｊから出力される電流がソース線ＳＬに流れ（ビット線ＢＬ１およびＢＬ２に流れる電流の合計でもある）、積和演算の結果（Σｗｉ・ｘｉ）として、判定回路２５０で計測される。
　図１２Ｂは、図１０Ｂに示されるメモリセルＭＣｉｊに対する書き込みおよび読み出し時におけるワード線ＷＬ１、ＷＬ２、ビット線ＢＬ、および、ソース線ＳＬを介した印加電圧の例を示す図である。ここでは、第ｉカラムのメモリセルＭＣｉｊを構成する第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０をリセット（高抵抗化）する場合、セット（低抵抗化）する場合、および、メモリセルＭＣｉｊから読み出す場合における印加電圧の例が示されている。
　（１）メモリセルＭＣｉｊに書き込む（結合重み係数を設定または変更する）場合
　本実施の形態では、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０をリセット（「高抵抗化」）する場合に、異なる駆動条件による書き込みを行っている。
　つまり、第１の抵抗変化型不揮発性記憶素子１０をリセット（「高抵抗化」）する場合には（「モード１」）、ワード線ＷＬ１を介してトランジスタＴｉ１をオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ワード線ＷＬ２を介してトランジスタＴｉ２をオフにするパルス電圧Ｖｇ＿ｏｆｆ（例えば、０Ｖ）がゲート端子に供給され、ビット線ＢＬにリセット電圧ＶＨ１（例えば、２Ｖ）が印加され、ソース線ＳＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加される。これにより、第１の抵抗変化型不揮発性記憶素子１０だけに対して、第１の抵抗変化型不揮発性記憶素子１０の下方の端子を基準として上方の端子に正電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に高抵抗化される。
　また、第２の抵抗変化型不揮発性記憶素子２０をリセット（「高抵抗化」）する場合には（「モード２」）、ワード線ＷＬ１を介してトランジスタＴｉ１をオフにするパルス電圧Ｖｇ＿ｏｆｆ（例えば、０Ｖ）がゲート端子に供給され、ワード線ＷＬ２を介してトランジスタＴｉ２をオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ビット線ＢＬにリセット電圧ＶＨ２（例えば、１．４Ｖ（つまり、ＶＨ１の０．７倍））が印加され、ソース線ＳＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加される。これにより、第２の抵抗変化型不揮発性記憶素子２０だけに対して、第２の抵抗変化型不揮発性記憶素子２０の下方の端子を基準として上方の端子に正電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に高抵抗化される。
　一方、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０をセット（「低抵抗化」）する場合には、本実施の形態では、異なる駆動条件による書き込みを行っていない（つまり、同一の駆動条件による書き込みをしている）。
　第１の抵抗変化型不揮発性記憶素子１０をセット（「低抵抗化」）する場合には（「モード１」）、ワード線ＷＬ１を介してトランジスタＴｉ１をオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ワード線ＷＬ２を介してトランジスタＴｉ２をオフにするパルス電圧Ｖｇ＿ｏｆｆ（例えば、０Ｖ）がゲート端子に供給され、ビット線ＢＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加され、ソース線ＳＬにセット電圧Ｖｓｅｔ（例えば、２Ｖ）が印加される。これにより、第１の抵抗変化型不揮発性記憶素子１０だけに対して、第１の抵抗変化型不揮発性記憶素子１０の下方の端子を基準として上方の端子に負電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に低抵抗化される。
　第２の抵抗変化型不揮発性記憶素子２０をセット（「低抵抗化」）する場合には（「モード２」）、ワード線ＷＬ１を介してトランジスタＴｉ１をオフにするパルス電圧Ｖｇ＿ｏｆｆ（例えば、０Ｖ）がゲート端子に供給され、ワード線ＷＬ２を介してトランジスタＴｉ２をオンにするパルス電圧Ｖｇ＿ｏｎ（例えば、２Ｖ）がゲート端子に供給され、ビット線ＢＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加され、ソース線ＳＬにセット電圧Ｖｓｅｔ（例えば、２Ｖ）が印加される。これにより、第２の抵抗変化型不揮発性記憶素子２０だけに対して、第２の抵抗変化型不揮発性記憶素子２０の下方の端子を基準として上方の端子に負電圧が印加され、書き込み回路２６０に内蔵される電流制限回路による制限電流に応じた抵抗値に低抵抗化される。
　（２）メモリセルＭＣｉｊから読み出す場合（推論ステップ）
　第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を流れる電流の合計を計測する場合には（「読み出し」）、ワード線ＷＬ１およびＷＬ２を介してトランジスタＴｉ１およびＴｉ２をオンにする読み出し電圧Ｖｇ＿ｒｅａｄ（例えば、１Ｖ）がゲート端子に供給され、ビット線ＢＬに読み出し電圧Ｖｒｅａｄ（例えば、０．４Ｖ）が印加され、ソース線ＳＬに基準電圧Ｖｓｓ（例えば、０Ｖ）が印加される。これにより、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０に対して、読み出し電圧Ｖｒｅａｄが印加され、メモリセルＭＣｉｊから、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０を流れる電流（その合計が一つの積（ｗｉ・ｘｉ）に相当する）が出力される。よって、積和演算回路２１５を構成する全てのメモリセルＭＣｉｊから出力される電流がソース線ＳＬおよびビット線ＢＬに流れ、積和演算の結果（Σｗｉ・ｘｉ）として、判定回路２５０で計測される。
　図１３は、図１１に示される制御回路２７０の動作例を示すフローチャートである。
　制御回路２７０は、今から行う結合重み係数の設定処理が、初期設定のために結合重み係数を変更する第１のケースであるか、学習において結合重み係数を変更する第２のケースであるかを判断する（Ｓ３０）。なお、第１のケースには、人工知能処理装置２００の出荷前および出荷後のファームウェア更新、学習モデルの更新、定期メンテナンス、および第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの変更では結合重み係数の更新が不十分な時のうちの少なくとも一つが含まれ、第２のケースには、人工知能処理装置２００の出荷後の学習のための結合重み係数の更新時が含まれる。
　その結果、結合重み係数の設定処理が初期設定（つまり、第１のケース）であると判断した場合には（Ｓ３０で「初期設定」）、制御回路２７０は、カラムゲート２４０またはワード線選択回路２３０及び書き込み回路２６０を制御することで、メモリセルＭＣｉｊのそれぞれについて、第１の抵抗変化型不揮発性記憶素子１０を選択し（Ｓ３１）、選択した第１の抵抗変化型不揮発性記憶素子１０に対して、図１２Ａ又は図１２Ｂに示されたモード１に対応する駆動条件による書き込みをすることで、事前に導出した結合重み係数を設定する（Ｓ３２）。つまり、制御回路２７０は、メモリセルＭＣｉｊのそれぞれについて、第１の抵抗変化型不揮発性記憶素子１０に対して（つまり、「モード１」で）、事前に導出したコンダクタンスを書き込む（第１の書き換えステップ）。
　一方、ステップＳ３０において、結合重み係数の設定処理が学習による結合重み係数の更新（つまり、第２のケース）であると判断した場合には（Ｓ３０で「学習による結合重み係数の更新」）、制御回路２７０は、現在のメモリセルアレイ２２０に保持された結合重み係数を用いて推論を実施し（Ｓ３５）、その推論結果と教師ラベルとの差を確認した後に（Ｓ３６）、メモリセルＭＣｉｊのそれぞれについて、更新時の結合重み係数の変化量を算出する（Ｓ３７）。そして、制御回路２７０は、カラムゲート２４０またはワード線選択回路２３０を制御することで、メモリセルＭＣｉｊのそれぞれについて、第２の抵抗変化型不揮発性記憶素子２０を選択し（Ｓ３８）、選択した第２の抵抗変化型不揮発性記憶素子２０に対して、図１２Ａ又は図１２Ｂに示されたモード２に対応する駆動条件による書き込みをすることで、算出した結合重み係数の変化量だけ現在の結合重み係数が変化するように結合重み係数を更新する（Ｓ３９）。つまり、制御回路２７０は、メモリセルＭＣｉｊのそれぞれについて、第２の抵抗変化型不揮発性記憶素子２０に対して（つまり、「モード２」で）、変化量の分だけコンダクタンスを更新する（第２の書き換えステップ）。
　これにより、初期設定か学習かの用途に応じて、その用途に適した第１の抵抗変化型不揮発性記憶素子１０または第２の抵抗変化型不揮発性記憶素子２０だけに対して書き込みが行われ、製品出荷時等における高精度の結合重み係数の設定（初期設定）と製品出荷後等における高効率な結合重み係数の更新（学習）の両立が実現される。
　なお、図１３では、各ステップは、制御回路２７０によって実行されたが、それらの一部または全部のステップが、人工知能処理装置２００の外部に置かれた別のプロセッサ等の制御回路によって実行されてもよい。
　以上のように、本開示に係る人工知能処理装置２００は、１つの基板６０等と、１つの基板６０等に搭載され、それぞれがコンダクタンスを保持する、同一構造を有する第１の抵抗変化型不揮発性記憶素子１０と第２の抵抗変化型不揮発性記憶素子２０とを含む積和演算回路２１５等の演算回路と、第１の抵抗変化型不揮発性記憶素子１０に対して第１電圧を有する第１電圧パルスを印加することで第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスを書き換え、第２の抵抗変化型不揮発性記憶素子２０に対して第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスを書き換える書き込み回路２６０とを備える。一例として、高抵抗化過程における第２電圧は、高抵抗化過程における第１電圧の０．７１倍以下である。
　これにより、同一構造を有する２つの抵抗変化型不揮発性記憶素子に対して、異なる電圧の電圧パルス（つまり、異なる駆動条件）による書き込みを行うことで、第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスを、第１電圧パルスが繰り返し印加された場合に、非連続的に変化させ、第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスを、第２電圧パルスが繰り返し印加された場合に、連続的に変化させることができる。
　よって、連続する電圧パルスの印加における初回の電圧パルスによってコンダクタンスが大きく変化し、その後の電圧パルスでは変化量が小さいという特性を有する第１の抵抗変化型不揮発性記憶素子１０を、結合重み係数の設定（初期設定）に用い、一方、連続する電圧パルスによって徐々にコンダクタンスが変化する特性を有する第２の抵抗変化型不揮発性記憶素子２０を、結合重み係数の更新（学習）に用いることができる。その結果、製品出荷時等における高精度の結合重み係数の設定（初期設定）と製品出荷後等における高効率な結合重み係数の更新（学習）の両立が可能な抵抗変化型不揮発性記憶素子を用いた人工知能処理装置が実現される。
　また、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスの変化の態様の違いから、第１の抵抗変化型不揮発性記憶素子１０は、第２の抵抗変化型不揮発性記憶素子２０よりも優れた保管耐性を有し、第２の抵抗変化型不揮発性記憶素子２０は、第１の抵抗変化型不揮発性記憶素子１０よりも優れた書き換え特性を有することとなる。
　ここで、演算回路は、第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスと第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスとの合成値を一つの重み係数として用いる積和演算を行う積和演算回路２１５である。より詳しくは、演算回路は、第１の抵抗変化型不揮発性記憶素子１０を流れる電流と第２の抵抗変化型不揮発性記憶素子２０を流れる電流との合計を、一つの積として、積和演算を行う。
　これにより、第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスと第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスとによって一つの結合重み係数が構成され、第１の抵抗変化型不揮発性記憶素子１０と第２の抵抗変化型不揮発性記憶素子２０とを含むメモリセルを一つのニューロンに対応させることが可能になる。
　また、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０は、２つの配線層で挟まれた同一の層に配置されていてもよい。これにより、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０が構造的に並列配置されるので、これらが異なる層に配置される場合に比べ、製造プロセスが簡素化される。
　また、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０は、それぞれ、２つの配線層で挟まれた第１層、及び、２つの配線層で挟まれた、第１層とは異なる第２層に配置されていてもよい。これにより、基板に対して平面視した場合に、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０が重なるように配置され得るので、これらが同一の層に配置される場合に比べ、人工知能処理装置２００のチップサイズが縮小化される。
　また、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０のそれぞれは、第１電極２及び１２、第２電極４及び１４、並びに、第１電極２及び１２と第２電極４及び１４との間に挟まれた抵抗変化層３及び１３を含んでもよい。このとき、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０の第１電極２及び１２は、貴金属電極であってもよい。具体的には、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０の第１電極２及び１２は、Ｉｒ、Ｐｔのうちいずれか１つを含んでもよい。
　これにより、同一構造を有する２つの抵抗変化型不揮発性記憶素子に対して、異なる電圧の電圧パルス（つまり、異なる駆動条件）による書き込みを行うことで、第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスは、第１電圧パルスが繰り返し印加された場合に、非連続的に変化し、第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスは、第２電圧パルスが繰り返し印加された場合に、連続的に変化することを実現できる。
　また、本開示に係る人工知能処理装置２００の重み係数書き込み方法は、人工知能処理装置２００が有する重み係数書き込み方法であって、人工知能処理装置２００は、積和演算における重み係数をコンダクタンスとして保持する、同一構造を有する第１の抵抗変化型不揮発性記憶素子１０と第２の抵抗変化型不揮発性記憶素子２０とを備え、書き込み方法は、第１の抵抗変化型不揮発性記憶素子１０に対して第１電圧を有する第１電圧パルスを印加することで第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスを書き換える第１の書き換えステップ（Ｓ３１～Ｓ３２）と、第２の抵抗変化型不揮発性記憶素子２０に対して少なくとも高抵抗化過程において第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスを書き換える第２の書き換えステップ（Ｓ３８～Ｓ３９）とを含む。一例として、高抵抗化過程における第２電圧は、高抵抗化過程における第１電圧の０．７１倍以下である。
　これにより、同一構造を有する２つの抵抗変化型不揮発性記憶素子に対して、異なる電圧の電圧パルス（つまり、異なる駆動条件）による書き込みを行うことで、第１の抵抗変化型不揮発性記憶素子１０のコンダクタンスを、第１電圧パルスが繰り返し印加された場合に、非連続的に変化させ、第２の抵抗変化型不揮発性記憶素子２０のコンダクタンスは、第２電圧パルスが繰り返し印加された場合に、連続的に変化させることができる。
　よって、連続する電圧パルスの印加における初回の電圧パルスによってコンダクタンスが大きく変化し、その後の電圧パルスでは変化量が小さいという特性を有する第１の抵抗変化型不揮発性記憶素子１０を、結合重み係数の設定（初期設定）に用い、一方、連続する電圧パルスによって徐々にコンダクタンスが変化する特性を有する第２の抵抗変化型不揮発性記憶素子２０を、結合重み係数の更新（学習）に用いることができる。その結果、第１の書き換えステップについては、人工知能処理装置２００に対して重み係数を初期設定する場合に、実行し、第２の書き換えステップについては、人工知能処理装置２００に対して学習させることで重み係数を更新する場合に、実行することができる。
　また、第１の抵抗変化型不揮発性記憶素子１０は、転移学習又は強化学習において、既にある人工知能処理の重み係数をそのまま用いるための第１人工知能領域を構成し、第２の抵抗変化型不揮発性記憶素子２０は、転移学習又は強化学習において、新たに学習を行って重み係数を更新していくための第２人工知能領域を構成し、これにより、上記第１の書き換えステップを、第１人工知能領域に対して重み係数を書き込む場合に、実行し、上記第２の書き換えステップを、第２人工知能領域に対して重み係数を更新していく場合に、実行することができる。
　以上、本開示に係る人工知能処理装置およびその重み係数書き込み方法について、実施形態に基づいて説明したが、本開示は、この実施形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施形態に施したものや、実施形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
　例えば、上記実施形態では、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０は、タンタル酸化物で構成される抵抗変化層を有したが、抵抗変化層は、このような材料に限られず、ハフニウム等の遷移金属またはアルミニウムの酸化物で構成されてもよい。
　また、上記実施形態では、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０の抵抗変化層は、第１タンタル酸化物層と第２タンタル酸化物層の積層構造で構成されたが、このような積層構造に限られず、タンタル酸化物層等の単一層で構成されてもよい。
　また、上記実施形態では、一つのニューロンは、１個の第１の抵抗変化型不揮発性記憶素子１０および１個の第２の抵抗変化型不揮発性記憶素子２０で構成されたが、少なくとも１個の第１の抵抗変化型不揮発性記憶素子１０および少なくとも１個の第２の抵抗変化型不揮発性記憶素子２０を備えるのであれば、２個以上の第１の抵抗変化型不揮発性記憶素子１０または２個以上の第２の抵抗変化型不揮発性記憶素子２０を備えてもよい。
　また、上記実施形態では、人工知能処理装置２００は、図９Ａに示される構造をもつニューラルネットワークであったが、この構造に限られず、所望の数の層で構成され、各層が所望の数のニューロンで構成されるニューラルネットワークであってもよい。
　また、上記実施形態では、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０は、積和演算回路２１５における重み係数として用いられたが、用途としては、積和演算回路に限られない。例えば、第１の抵抗変化型不揮発性記憶素子１０および第２の抵抗変化型不揮発性記憶素子２０は、コンダクタンスに対応する変数値を保持し、その変数値用いた四則演算等の各種演算を行う演算回路に用いられてもよい。
　また、上記実施形態では、図１２Ａ及び図１２Ｂに示されるように、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０をリセット（「高抵抗化」）する場合にだけ、異なる駆動条件による書き込みを行ったが、第１の抵抗変化型不揮発性記憶素子１０及び第２の抵抗変化型不揮発性記憶素子２０をセット（「低抵抗化」）する場合にも、異なる駆動条件による書き込みを行ってもよい。
　本開示の抵抗変化型不揮発性記憶素子を用いた人工知能処理装置は、製品出荷時等における高効率・高精度の結合重み係数の設定（初期設定）と製品出荷後等における高効率な結合重み係数の更新（学習）の両立が可能になるものであり、特に、ＩｏＴ向けエッジＡＩ処理装置などとして有用である。
　１、１１、６０、７０、８０、９０　　基板
　２、１２　　第１電極
　３、１３　　抵抗変化層
　３ａ、１３ａ　　第１タンタル酸化物層
　３ｂ、１３ｂ　　第２タンタル酸化物層
　４、１４　　第２電極
　１０　　第１の抵抗変化型不揮発性記憶素子
　２０　　第２の抵抗変化型不揮発性記憶素子
　６１ａ、６１ｂ、７１ａ、７１ｂ、８１ａ、８１ｂ、９１ａ、９１ｂ、１０１ａ、１０１ｂ、　　拡散領域
　６２、７２、８２、９２、１０２　　酸化膜
　６３、７３、８３、９３、１０３　　ゲート電極（ワード線）
　６４ａ、６４ｂ、６６、６８ａ、６８ｂ、７４ａ、７４ｂ、７６ａ、７６ｂ、７６ｃ、７８ａ、７８ｂ、８４ａ、８４ｂ、８６ａ、８６ｃ、８８ａ、８８ｂ、８８ｃ、８８ｄ、９４ａ、９４ｂ、９６、９８ａ、９８ｂ、１０４ａ、１０４ｂ、１０６、１０８ａ、１０８ｂ　　ビア
　６５ａ、６５ｂ、７５ａ、７５ｂ、７５ｃ、８５ａ、８５ｂ、９５ａ、９５ｂ、１０５　　第１配線層
　６７、７７、８７ａ、８７ｂ、９７、１０７　　第２配線層
　６９、７９、８９ａ、８９ｂ、９９　　第３配線層
　２００　　人工知能処理装置
　２０１　　入力層
　２０２　　隠れ層
　２０３　　出力層
　２１０、２１０ａ　　ニューロン
　２１１　　シナプス
　２１５、２１５ａ　　積和演算回路
　２２０　　メモリセルアレイ
　２３０、２３０ａ　　ワード線選択回路
　２４０　　カラムゲート
　２５０、２５０ａ　　判定回路
　２６０　　書き込み回路
　２７０　　制御回路
　ＭＣ、ＭＣ１、ＭＣ２、ＭＣｉｊ　メモリセル
　Ｔ０、Ｔ１、Ｔ２　セルトランジスタ
　ＷＬ、ＷＬ１、ＷＬ２　ワード線
　ＢＬ、ＢＬ１、ＢＬ２、ＢＬｉ１、ＢＬｉ２　ビット線
　ＳＬ、ＳＬｉ　ソース線

Claims (15)

  1. 　１つの基板と、
    　前記１つの基板に搭載され、それぞれがコンダクタンスを保持する、同一構造を有する第１の抵抗変化型不揮発性記憶素子と第２の抵抗変化型不揮発性記憶素子とを含む演算回路と、
    　前記第１の抵抗変化型不揮発性記憶素子に対して第１電圧を有する第１電圧パルスを印加することで前記第１の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換え、前記第２の抵抗変化型不揮発性記憶素子に対して前記第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで前記第２の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換える書き込み回路とを備える、
    　人工知能処理装置。
  2. 　前記演算回路は、前記第１の抵抗変化型不揮発性記憶素子のコンダクタンスと前記第２の抵抗変化型不揮発性記憶素子のコンダクタンスとの合成値を一つの重み係数として用いる積和演算を行う積和演算回路である、
    　請求項１記載の人工知能処理装置。
  3. 　前記演算回路は、前記第１の抵抗変化型不揮発性記憶素子を流れる電流と前記第２の抵抗変化型不揮発性記憶素子を流れる電流との合計を、一つの積として、前記積和演算を行う、
    　請求項２記載の人工知能処理装置。
  4. 　前記第１の抵抗変化型不揮発性記憶素子のコンダクタンスは、前記第１電圧パルスが繰り返し印加された場合に、非連続的に変化し、
    　前記第２の抵抗変化型不揮発性記憶素子のコンダクタンスは、前記第２電圧パルスが繰り返し印加された場合に、連続的に変化する、
    　請求項１～３のいずれか１項に記載の人工知能処理装置。
  5. 　前記第１の抵抗変化型不揮発性記憶素子は、前記第２の抵抗変化型不揮発性記憶素子よりも優れた保管耐性を有し、
    　前記第２の抵抗変化型不揮発性記憶素子は、前記第１の抵抗変化型不揮発性記憶素子よりも優れた書き換え特性を有する、
    　請求項１～４のいずれか１項に記載の人工知能処理装置。
  6. 　高抵抗化過程における前記第２電圧は、高抵抗化過程における前記第１電圧の０．７１倍以下である、
    　請求項１～５のいずれか１項に記載の人工知能処理装置。
  7. 　前記第１の抵抗変化型不揮発性記憶素子及び前記第２の抵抗変化型不揮発性記憶素子は、２つの配線層で挟まれた同一の層に配置されている、
    　請求項１～６のいずれか１項に記載の人工知能処理装置。
  8. 　前記第１の抵抗変化型不揮発性記憶素子及び前記第２の抵抗変化型不揮発性記憶素子は、それぞれ、２つの配線層で挟まれた第１層、及び、２つの配線層で挟まれた、第１層とは異なる第２層に配置されている、
    　請求項１～６のいずれか１項に記載の人工知能処理装置。
  9. 　前記第１の抵抗変化型不揮発性記憶素子及び前記第２の抵抗変化型不揮発性記憶素子のそれぞれは、第１電極、第２電極、及び前記第１電極と前記第２電極との間に挟まれた抵抗変化層を含む、
    　請求項１～８のいずれか１項に記載の人工知能処理装置。
  10. 　前記第１の抵抗変化型不揮発性記憶素子及び前記第２の抵抗変化型不揮発性記憶素子の前記第１電極は、貴金属電極である、
    　請求項９に記載の人工知能処理装置。
  11. 　前記第１の抵抗変化型不揮発性記憶素子及び前記第２の抵抗変化型不揮発性記憶素子の前記第１電極は、Ｉｒ、Ｐｔのうちいずれか１つを含む、
    　請求項１０に記載の人工知能処理装置。
  12. 　人工知能処理装置が有する重み係数書き込み方法であって、
    　前記人工知能処理装置は、積和演算における重み係数をコンダクタンスとして保持する、同一構造を有する第１の抵抗変化型不揮発性記憶素子と第２の抵抗変化型不揮発性記憶素子とを備え、
    　前記書き込み方法は、
    　前記第１の抵抗変化型不揮発性記憶素子に対して第１電圧を有する第１電圧パルスを印加することで前記第１の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換える第１の書き換えステップと、
    　前記第２の抵抗変化型不揮発性記憶素子に対して、少なくとも高抵抗化過程において前記第１電圧とは異なる第２電圧を有する第２電圧パルスを印加することで前記第２の抵抗変化型不揮発性記憶素子のコンダクタンスを書き換える第２の書き換えステップとを含む、
    　重み係数書き込み方法。
  13. 　前記第１の書き換えステップは、前記人工知能処理装置に対して前記重み係数を初期設定する場合に、実行され、
    　前記第２の書き換えステップは、前記人工知能処理装置に対して学習させることで前記重み係数を更新する場合に、実行される、
    　請求項１２記載の重み係数書き込み方法。
  14. 　前記第１の抵抗変化型不揮発性記憶素子は、転移学習又は強化学習において、既にある人工知能処理の重み係数をそのまま用いるための第１人工知能領域を構成し、
    　前記第２の抵抗変化型不揮発性記憶素子は、転移学習又は強化学習において、新たに学習を行って重み係数を更新していくための第２人工知能領域を構成し、
    　前記第１の書き換えステップは、前記第１人工知能領域に対して前記重み係数を書き込む場合に、実行され、
    　前記第２の書き換えステップは、前記第２人工知能領域に対して前記重み係数を更新していく場合に、実行される、
    　請求項１２記載の重み係数書き込み方法。
  15. 　高抵抗化過程における前記第２電圧は、高抵抗化過程における前記第１電圧の０．７１倍以下である、
    　請求項１２～１４のいずれか１項に記載の重み係数書き込み方法。
PCT/JP2023/031711 2022-09-02 2023-08-31 人工知能処理装置および人工知能処理装置の重み係数書き込み方法 Ceased WO2024048704A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024544553A JPWO2024048704A1 (ja) 2022-09-02 2023-08-31
CN202380062520.2A CN119790401A (zh) 2022-09-02 2023-08-31 人工智能处理装置及人工智能处理装置的权重系数写入方法
US19/050,821 US20250182837A1 (en) 2022-09-02 2025-02-11 Artificial intelligence processing device and weight coefficient writing method for artificial intelligence processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022140283 2022-09-02
JP2022-140283 2022-09-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/050,821 Continuation US20250182837A1 (en) 2022-09-02 2025-02-11 Artificial intelligence processing device and weight coefficient writing method for artificial intelligence processing device

Publications (1)

Publication Number Publication Date
WO2024048704A1 true WO2024048704A1 (ja) 2024-03-07

Family

ID=90099798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/031711 Ceased WO2024048704A1 (ja) 2022-09-02 2023-08-31 人工知能処理装置および人工知能処理装置の重み係数書き込み方法

Country Status (4)

Country Link
US (1) US20250182837A1 (ja)
JP (1) JPWO2024048704A1 (ja)
CN (1) CN119790401A (ja)
WO (1) WO2024048704A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135843A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 抵抗変化型不揮発性記憶装置及びその製造方法
JP2020068048A (ja) * 2018-10-18 2020-04-30 株式会社デンソー 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法
WO2023112674A1 (ja) * 2021-12-13 2023-06-22 ヌヴォトンテクノロジージャパン株式会社 人工知能処理装置および人工知能処理装置の学習推論方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011135843A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 抵抗変化型不揮発性記憶装置及びその製造方法
JP2020068048A (ja) * 2018-10-18 2020-04-30 株式会社デンソー 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法
WO2023112674A1 (ja) * 2021-12-13 2023-06-22 ヌヴォトンテクノロジージャパン株式会社 人工知能処理装置および人工知能処理装置の学習推論方法

Also Published As

Publication number Publication date
CN119790401A (zh) 2025-04-08
JPWO2024048704A1 (ja) 2024-03-07
US20250182837A1 (en) 2025-06-05

Similar Documents

Publication Publication Date Title
TWI674534B (zh) 使用非揮發性半導體記憶元件之類神經網路運算電路
US20220261624A1 (en) Neural network circuits having non-volatile synapse arrays
US11615299B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
CN110892480B (zh) 采用nvm矩阵电路以执行矩阵计算的非易失性(nv)存储器(nvm)矩阵电路
KR102567160B1 (ko) 비휘발성의 시냅스 배열을 가지는 신경망 회로
TWI754567B (zh) 神經形態裝置及其操作方法
CN111433792A (zh) 可编程可重置人工神经网络的基于计数器的电阻处理单元
TWI699711B (zh) 記憶體裝置及其製造方法
US20240304267A1 (en) Artificial intelligence processing device and training inference method for artificial intelligence processing device
WO2024021365A1 (zh) 存储器单元、阵列电路结构及数据处理方法
WO2024048704A1 (ja) 人工知能処理装置および人工知能処理装置の重み係数書き込み方法
KR20200024419A (ko) 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
CN113592081A (zh) 数据处理装置及数据处理方法
KR102656337B1 (ko) 삼항 정밀도 xor 논리 연산을 기반으로 하는 반도체 소자 및 이를 포함하는 뉴로모픽 컴퓨팅 시스템
WO2023171683A1 (ja) ニューラルネットワーク演算回路
Fernando Low Power, Dense Circuit Architectures and System Designs for Neural Networks using Emerging Memristors
TW202514438A (zh) 用於人工神經網路學習之三端突觸裝置、使用其之突觸陣列及操作其之方法
CN117808062A (zh) 计算装置、电子装置以及用于计算装置的操作方法
JPWO2024048704A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23860466

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024544553

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202380062520.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380062520.2

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23860466

Country of ref document: EP

Kind code of ref document: A1