[go: up one dir, main page]

CN105488565A - 加速深度神经网络算法的加速芯片的运算装置及方法 - Google Patents

加速深度神经网络算法的加速芯片的运算装置及方法 Download PDF

Info

Publication number
CN105488565A
CN105488565A CN201510792463.0A CN201510792463A CN105488565A CN 105488565 A CN105488565 A CN 105488565A CN 201510792463 A CN201510792463 A CN 201510792463A CN 105488565 A CN105488565 A CN 105488565A
Authority
CN
China
Prior art keywords
neural network
vector
deep neural
vectorial
network algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510792463.0A
Other languages
English (en)
Inventor
李震
刘少礼
张士锦
罗韬
钱诚
陈云霁
陈天石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201510792463.0A priority Critical patent/CN105488565A/zh
Publication of CN105488565A publication Critical patent/CN105488565A/zh
Priority to US15/770,457 priority patent/US11488000B2/en
Priority to PCT/CN2016/086098 priority patent/WO2017084330A1/zh
Priority to CN201610979814.3A priority patent/CN106529668B/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种加速深度神经网络算法的加速芯片的运算装置及方法，所述装置包括：向量加法处理器模块，进行向量的加法或减法、和/或深度神经网络算法中的pooling层算法的向量化的运算；向量函数值运算器模块，深度神经网络算法中的非线性求值的向量化运算；向量乘加器模块，进行向量的乘加运算；所述三个模块执行可编程指令，互相交互以计算神经网络的神经元值和网络输出结果、以及、代表输入层神经元对输出层神经元作用强度的突触权重变化量；所述三个模块中均设置有中间值存储区域，并对主存储器进行读取与写入操作。由此，能够减少对主存储器的中间值读取和写入次数，降低加速器芯片的能量消耗，避免数据处理过程中的数据缺失和替换问题。

Description

加速深度神经网络算法的加速芯片的运算装置及方法
技术领域
本发明属于神经网络算法领域和计算机硬件领域。更具体地，本发明涉及一种加速深度神经网络算法的加速芯片的运算装置及方法。
背景技术
人工神经网络算法，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。其具有自主学习功能，可通过训练慢慢学会识别和预测；联想存储功能，具有很高算法健壮性；并行度高，具有高速寻找优化解的能力，可针对大数据复杂问题快速找到优化解；可塑性强，可充分逼近任意复杂的非线性关系；具有很强的信息综合能力，能同时处理定量和定性的信息，适用于多信息融合和多媒体技术。
近年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在图像处理、模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多传统计算机方法难以解决的实际问题，表现出了良好的智能特性，推动着信息处理技术和人工智能不断地发展。
神经网络虽然已在诸多领域取得广泛的成功，然而现阶段，大部分神经网络算法是在软件算法层次进行优化，在通用CPU或GPU上搭建运行。鉴于通用处理器相对较低的性能功耗比，高效地实现神经网络算法的方式已成为大家的迫切需求。
专利文件1(公开号为CN101527010A)公开了一种人工神经网络算法的硬件实现方法及其系统，和现有的技术相比，克服以往软件实现中的串行方式来完成并行计算的尴尬，取代了软件实现的弊端；又由于进行了算法优化，节省了大量硬件资源，在FPGA平台上实现，成本较低，利用优化的算法，避开了SIGMOID函数用硬件难以实现的困境，又使用了累加方式，节省了硬件资源。但该专利仅仅通过FPGA平台实现人工神经网络算法。
在现代处理器设计中，异构多核处理器框架被认为是一种有前途的道路以实现该性能低能源计算的方法。已知的是，神经网络算法运算过程中，将产生一系列的中间值，所述中间值随后一次或多次被用于计算输出层神经元值或者计算突出权重的变化值。采用通用处理器的存储方式将所述中间值存储于主存中，将面临的一个重大问题是大量的中间值被生成并需要存储，从而所需主存空间增加。同时，这样的方法增加了将中间值存储到主存储器或者从主存储器读取中间值次数，芯片功耗增加，不符合前面所述的低功耗加速器芯片设计理念。
发明内容
本发明的目的在于，提供一种加速深度神经网络算法的加速芯片的运算装置及方法，能够减少对主存储器的中间值读取和写入次数，降低加速器芯片的能量消耗，避免数据处理过程中的数据缺失和替换问题。
本发明的加速深度神经网络算法的加速芯片的运算装置，包括：
向量加法处理器模块，用于进行向量的加法或减法、和/或深度神经网络算法中的pooling层算法的向量化的运算；
向量函数值运算器模块，用于深度神经网络算法中的非线性求值的向量化运算；
向量乘加器模块，用于进行向量的乘加运算；
被配置为执行可编程指令的所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块之间互相交互以计算神经网络的神经元值和网络输出结果、以及、代表输入层神经元对输出层神经元作用强度的突触权重变化量；
所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块中均设置有中间值存储区域，用于存储依照所述指令所计算的向量化的中间值，并对主存储器进行读取与写入操作。
本发明的加速深度神经网络算法的加速芯片的运算装置，其中，所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块生成输出值之后，存储于所述中间值存储区域内所述中间值将被丢弃。
本发明的加速深度神经网络算法的加速芯片的运算装置，其中，所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块的所述中间值存储区域被配置为随机存储器。
本发明的加速深度神经网络算法的加速芯片的运算装置，其中，所述随机存储器被配置为存储自身产生的来自于每个神经元、突出权重变化量的中间值。
本发明的加速深度神经网络算法的加速芯片的运算装置，其中，所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块通过一index访问所述中间值存储区域。
另外，本发明还提供一种加速深度神经网络算法的加速芯片的运算方法，该方法使用上述加速深度神经网络算法的加速芯片的运算装置进行运算，包括以下步骤：
向量加法处理运算步骤，在向量加法处理器模块依照指令进行向量的加法或减法、和/或深度神经网络算法中的pooling层算法的向量化的运算；
向量函数值运算步骤，在向量函数值运算器模块依照指令进行深度神经网络算法中的非线性求值的向量化运算；
向量乘加运算步骤，在向量乘加器模块依照指令进行向量的乘加运算；
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤互相交互以计算神经网络的神经元值和网络输出结果、以及、代表输入层神经元对输出层神经元作用强度的突触权重变化量；
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中所产生的向量化的中间值存储于所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块中的中间值存储区域，且所述中间值存储区域可对主存储器进行读取与写入操作。
本发明的加速深度神经网络算法的加速芯片的运算方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，生成输出值之后，存储于所述中间值存储区域内所述中间值将被丢弃。
本发明的加速深度神经网络算法的加速芯片的运算方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，通过一index访问所述中间值存储区域。
本发明的加速深度神经网络算法的加速芯片的运算方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，对所述中间值存储区内的、先前对所述index指定的存储块未写入的位置执行读取，则中间存储拒绝此读取请求，被拒绝的读取请求返回的表示读取成功的状态为无效。
本发明的加速深度神经网络算法的加速芯片的运算方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，对所述中间值存储区内的、先前对所述index指定的存储块已写入的位置执行写入，则中间存储拒绝此写入请求，被拒绝的写入请求返回的表示写入成功的状态为无效。
本发明的效果在于：
(1)与将中间值存储到所述功能部件外部的存储器相比，将数据存储到所述功能部件外部的存储器需要等待的时间更长。
(2)与将中间值存储到所述功能部件外部的存储器相比，将数据存储到所述功能部件外部的存储器消耗的能量更多。
(3)与将中间值存储到所述功能部件外部的存储器相比，将数据存储到所述功能部件外部的存储器大大增加了对所述功能部件外部存储器的访问次数，容易造成所述功能部件外部存储器的访问冲突。
(4)功能部件生成所述输出值之后，存储于功能部件内所述中间值将被丢弃，这有利于增加可利用中间值存储器可使用单元，从而提高中间值存储器利用率。
附图说明
图1为本发明的加速深度神经网络算法的加速芯片的运算装置各构成模块与主存之间的关系图。
图2为CNN神经网络算法MaxPooling流程图。
图3为CNN神经网络反向更新bias流程图。
图4为本发明的加速深度神经网络算法的加速芯片的运算方法的流程图。
图5为本发明的具有加速深度神经网络算法的加速芯片的运算装置的加速器芯片的简要结构图。
附图标记说明
1向量加法处理器模块
2向量函数值运算器模块
3向量乘加器模块
4数据总线
5主存储器
6、7、8中间值存储区域
10加速深度神经网络算法的加速芯片的运算装置
20神经网络算法的加速芯片
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明的加速深度神经网络算法的加速芯片的运算装置及方法进行进一步详细说明。
图1为本发明的加速深度神经网络算法的加速芯片的运算装置的各构成模块与主存之间的关系图，该装置包括主存储器5、向量加法处理器1、向量函数值运算器2和向量乘加器3。其中，向量加法处理器1、向量函数值运算器向量2和向量乘加器3都含有中间值存储区域6、7、8，同时可对主存储器5进行读取与写入操作。向量加法处理器1被配置为进行多个(不少于两个)向量的加法或减法、深度神经网络算法中的各种类型的pooling层算法向量化的运算；向量函数值运算器2被配置为深度神经网络算法中的非线性求值的向量化运算，包括计算输出神经元值时的函数值和反向BP算法时导数值等的计算。向量乘加器，3被配置为进行向量乘加，可先计算两个向量类似内积乘法各分量一一对应相乘，然后和第三个向量叠加或相减；或者反之，两个向量进行加法或减法运算，然后和第三个向量如前面所述相乘；其中，前面所述的三个功能模块被配置为执行可编程指令进行运算，个体之间互相交互以计算神经网络的神经元值、网络输出结果以及代表输入层神经元对输出层神经元作用强度的突触权重变化量等，交互内容为运算过程中产生的中间值。在所述计算过程中，所述的功能模块将产生大量的中间值被寄存与所述功能部件的中间值存储区域。
由于本发明的运算装置具备用于加速深度神经网络算法的加速芯片的运算部件的三个功能部件具有中间值存储区域，因而可以存储计算过程中生成的中间值，而无需将它们写回到主存储器内。
存储于所述功能部件的三个功能模块中的中间值存储区域内的中间值被功能模块它们自身或者其余两个功能模块所消耗，以便生成所希望的输出值。由于所述装置计算时基于向量化的神经元，从而所需的中间值存储区域为将相关部分神经元以及权重的存储量相当，因此所需的中间值存储区域所消耗的芯片面积、功耗保持在一个相对可承受的范围。
所述装置的输出值包括：神经元值、网络输出结果、以及、代表输入层神经元对输出层神经元作用强度的突触权重变化量。计算得出输出值后，与其相关的中间值被清除，以节省中间值存储区域存储单元，有利于提高中间值存储区域的利用率。
所述功能部件的功能模块的中间值存储区域的行为类似随机存储区，通过一个index值访问中间值存储区域。同时，为了避免数据冲突而导致算法正确性受损，中间值存储区域具有冲突检测机制，对所述中间值存储区内的、先前对所述index指定的存储块未写入的位置执行读取，则中间存储拒绝此读取请求，返回的表示数据读取成功的标志无效；对所述中间值存储区内的、先前对所述index指定的存储块已写入的位置执行写入，则中间存储拒绝此写入请求，返回的表示数据写入成功的标志无效。
在其他通用处理器实例中，神经网络算法的中间值被依次存储于被分配的主存储器区域中。在这些实例中，处理器和主存储器中间的Cache缓存可用于存储中间值，从而对主存储器的中间值读取和写入次数，降低了中间值读取的时间延迟和能量消耗。然而，此方法受限于所采用Cache块大小以及块关联机制，可能导致频繁的Cache块缺失和替换，造成较高的性能、功耗损失。
本发明将中间值存储于所述功能部件的三个功能模块的中间值存储区域，既减少了对主存储器的中间值读取和写入次数，又使中间值离使用它的功能模块距离更近，消耗的能量更低。而且，可避免前面提到的数据缺失和替换问题，提高了加速器芯片的加速性能。
本发明的中间值存储区域还针对深度神经网络算法的特性进行了一些优化设计，支持响应指令通过计数器对某个中间值存储器地址连续写入读取多次，这对诸如卷积神经网络中的Pooling层之类的计算有很大提升。
由于所述装置的三个功能模块之间互相交互的是计算产生的中间值，因而功能模块产生的中间值不仅被其自身所利用消耗，还可被其余的两个功能模块所使用。
图2是一个流程图，示意性的表示卷积神经网络算法(CNN)的MaxPooling(最大池化)层，本发明采用向量化的Pooling方式，每个向量各个分量为连续相邻的featuremap(特征映射)于同一位置的神经元。假设Poolingkenerl(池化核)大小为k×k。因此，每个Pooling输出层向量输出神经元计算需要k×k个输入层向量输入神经元，通过向量加法处理器1得出对应每个向量分量代表featuremap上Poolingkenerl中输入神经元最大值，然后再通过向量函数值运算器2计算输出神经元值。
此过程中，向量加法处理器1对同一中间值区域6某地址连续进行k×k-1次读取写入，最后一次写入的中间值被向量函数值运算器2利用计算输出层神经元值输出写入主存储器5。同时，存储所述中间值的中间值存储区域6该地址状态变化，可被再次写入一组中间值。
图3是另一个流程图，示意性的表示CNN神经网络算法反向训练bias偏置的过程。根据算法公式：
b＝η*delta+β*Δb'+Ω*b
其中，Δb'为上次训练bias修改值，delta是反向传播梯度。依据算法，反向传播梯度delta＝f'(ν)Σω*delta'，delta'为输出神经元的梯度值。
计算过程中，ω*delta'部分和已被其余功能部件计算，因此，先通过向量加法处理器1将部分和叠加得到部分和总和中间值，同时通过向量函数值运算器2计算η*f'，两组中间值分别存储于中间值存储区域6、7中，之后向量乘加器3计算出η*delta中间值，存储于中间值存储区域8。接下来，仍用向量乘加器3计算出η*delta+β*Δb'中间值并存储于中间值存储区域8同一位置，最后量乘加器3计算出η*delta+β*Δb'+Ω*b输出。此过程可通过编译器调节指令顺序使得其可流水线式完成，如此，既提高加速器芯片性能，又节省中间值存储区空间。
另外，本发明还提供一种加速深度神经网络算法的加速芯片的运算方法，该方法使用上述的装置进行运算，如图4所示，包括以下步骤：
向量加法处理运算步骤(步骤S1)，在向量加法处理器模块依照指令进行多个向量的加法或减法、和/或深度神经网络算法中的pooling层算法的向量化的运算；
向量函数值运算步骤(步骤S2)，在向量函数值运算器模块依照指令进行深度神经网络算法中的非线性求值的向量化运算；
向量乘加运算步骤(步骤S3)，在向量乘加器模块依照指令进行向量乘加运算；
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤互相交互以计算神经网络的神经元值、网络输出结果以及代表输入层神经元对输出层神经元作用强度的突触权重变化量；
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中所产生的向量化的中间值存储于所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块中的中间值存储区域，且所述中间值存储区域可对主存储器进行读取与写入操作。
本发明的提高神经网络算法的加速芯片的加速性能的方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，生成输出值之后，存储于所述中间值存储区域内所述中间值将被丢弃。
本发明的提高神经网络算法的加速芯片的加速性能的方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，通过一index访问所述中间值存储区域。
本发明的提高神经网络算法的加速芯片的加速性能的方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，对所述中间值存储区内的、先前对所述index指定的存储块未写入的位置执行读取，则中间存储拒绝此读取请求，被拒绝的读取请求返回的表示读取成功的状态为无效。
本发明的提高神经网络算法的加速芯片的加速性能的方法，其中，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，对所述中间值存储区内的、先前对所述index指定的存储块已写入的位置执行写入，则中间存储拒绝此写入请求，被拒绝的写入请求返回的表示写入成功的状态为无效。
图5为本发明的具有加速深度神经网络算法的加速芯片的运算装置的加速器芯片的简要结构图。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶合、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。
在本发明中，“模块”、“装置”、“系统”等等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。
而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外相同的要素。
而且，上文中的“和/或”表示本文既包含了“和”的关系，也包含了“或”的关系，其中，如果方案A与方案B是“和”的关系，则表示某实施例中可以同时包括方案A和方案B；如果方案A与方案B是“或”的关系，则表示某实施例中可以单独包括方案A，或者单独包括方案B。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应当理解可由计算机程序指令实现流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定的方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上对本发明所提供的加速深度神经网络算法的加速芯片的运算装置及方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限值。

Claims (10)

1.一种加速深度神经网络算法的加速芯片的运算装置，其特征在于，包括：
向量加法处理器模块，用于进行向量的加法或减法、和/或深度神经网络算法中的pooling层算法的向量化的运算；
向量函数值运算器模块，用于深度神经网络算法中的非线性求值的向量化运算；
向量乘加器模块，用于进行向量的乘加运算；
被配置为执行可编程指令的所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块之间互相交互以计算神经网络的神经元值和网络输出结果、以及、代表输入层神经元对输出层神经元作用强度的突触权重变化量；
所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块中均设置有中间值存储区域，用于存储依照所述指令所计算的向量化的中间值，并对主存储器进行读取与写入操作。
2.根据权利要求1所述的加速深度神经网络算法的加速芯片的运算装置，其特征在于，所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块生成输出值之后，存储于所述中间值存储区域内所述中间值将被丢弃。
3.根据权利要求1所述的加速深度神经网络算法的加速芯片的运算装置，其特征在于，所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块的所述中间值存储区域被配置为随机存储器。
4.根据权利要求3所述的加速深度神经网络算法的加速芯片的运算装置，其特征在于，所述随机存储器被配置为存储自身产生的来自于每个神经元、突出权重变化量的中间值。
5.根据权利要求1所述的加速深度神经网络算法的加速芯片的运算装置，其特征在于，所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块通过一index访问所述中间值存储区域。
6.一种使用权利要求1-5所述加速深度神经网络算法的加速芯片的运算装置进行运算的方法，其特征在于，包括以下步骤：
向量加法处理运算步骤，在向量加法处理器模块依照指令进行向量的加法或减法、和/或深度神经网络算法中的pooling层算法的向量化的运算；
向量函数值运算步骤，在向量函数值运算器模块依照指令进行深度神经网络算法中的非线性求值的向量化运算；
向量乘加运算步骤，在向量乘加器模块依照指令进行向量的乘加运算；
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤互相交互以计算神经网络的神经元值和网络输出结果、以及、代表输入层神经元对输出层神经元作用强度的突触权重变化量；
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中所产生的向量化的中间值存储于所述向量加法处理器模块、向量函数值运算器模块、和向量乘加器模块中的中间值存储区域，且所述中间值存储区域可对主存储器进行读取与写入操作。
7.根据权利要求6所述的加速深度神经网络算法的加速芯片的运算方法，其特征在于，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，生成输出值之后，存储于所述中间值存储区域内所述中间值将被丢弃。
8.根据权利要求6所述的加速深度神经网络算法的加速芯片的运算方法，其特征在于，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，通过一index访问所述中间值存储区域。
9.根据权利要求8所述的加速深度神经网络算法的加速芯片的运算方法，其特征在于，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，对所述中间值存储区内的、先前对所述index指定的存储块未写入的位置执行读取，则中间存储拒绝此读取请求，被拒绝的读取请求返回的表示读取成功的状态为无效。
10.根据权利要求8所述的加速深度神经网络算法的加速芯片的运算方法，其特征在于，
所述向量加法处理运算步骤、向量函数值运算步骤、和向量乘加运算步骤中，对所述中间值存储区内的、先前对所述index指定的存储块已写入的位置执行写入，则中间存储拒绝此写入请求，被拒绝的写入请求返回的表示写入成功的状态为无效。
CN201510792463.0A 2015-11-17 2015-11-17 加速深度神经网络算法的加速芯片的运算装置及方法 Pending CN105488565A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510792463.0A CN105488565A (zh) 2015-11-17 2015-11-17 加速深度神经网络算法的加速芯片的运算装置及方法
US15/770,457 US11488000B2 (en) 2015-11-17 2016-06-17 Operation apparatus and method for acceleration chip for accelerating deep neural network algorithm
PCT/CN2016/086098 WO2017084330A1 (zh) 2015-11-17 2016-06-17 加速深度神经网络算法的加速芯片的运算装置及方法
CN201610979814.3A CN106529668B (zh) 2015-11-17 2016-11-08 加速深度神经网络算法的加速芯片的运算装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510792463.0A CN105488565A (zh) 2015-11-17 2015-11-17 加速深度神经网络算法的加速芯片的运算装置及方法

Publications (1)

Publication Number Publication Date
CN105488565A true CN105488565A (zh) 2016-04-13

Family

ID=55675535

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510792463.0A Pending CN105488565A (zh) 2015-11-17 2015-11-17 加速深度神经网络算法的加速芯片的运算装置及方法
CN201610979814.3A Active CN106529668B (zh) 2015-11-17 2016-11-08 加速深度神经网络算法的加速芯片的运算装置及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610979814.3A Active CN106529668B (zh) 2015-11-17 2016-11-08 加速深度神经网络算法的加速芯片的运算装置及方法

Country Status (3)

Country Link
US (1) US11488000B2 (zh)
CN (2) CN105488565A (zh)
WO (1) WO2017084330A1 (zh)

Cited By (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930902A (zh) * 2016-04-18 2016-09-07 中国科学院计算技术研究所 一种神经网络的处理方法、系统
CN105956659A (zh) * 2016-05-11 2016-09-21 北京比特大陆科技有限公司 数据处理装置和系统、服务器
CN106355247A (zh) * 2016-08-16 2017-01-25 北京比特大陆科技有限公司 数据处理方法和装置、芯片和电子设备
CN106529679A (zh) * 2016-10-14 2017-03-22 腾讯科技（上海）有限公司 一种机器学习方法及系统
CN106650924A (zh) * 2016-10-27 2017-05-10 中国科学院计算技术研究所 一种基于时间维和空间维数据流压缩的处理器、设计方法
WO2017084330A1 (zh) * 2015-11-17 2017-05-26 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法
CN106875012A (zh) * 2017-02-09 2017-06-20 武汉魅瞳科技有限公司 一种基于fpga的深度卷积神经网络的流水化加速系统
CN106951961A (zh) * 2017-02-24 2017-07-14 清华大学 一种粗粒度可重构的卷积神经网络加速器及系统
CN106951962A (zh) * 2017-03-22 2017-07-14 北京地平线信息技术有限公司 用于神经网络的复合运算单元、方法和电子设备
CN107301456A (zh) * 2017-05-26 2017-10-27 中国人民解放军国防科学技术大学 基于向量处理器的深度神经网络多核加速实现方法
WO2017185336A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 用于执行pooling运算的装置和方法
WO2017185347A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 用于执行循环神经网络和lstm运算的装置和方法
CN107316078A (zh) * 2016-04-27 2017-11-03 北京中科寒武纪科技有限公司 用于执行人工神经网络自学习运算的装置和方法
CN107315571A (zh) * 2016-04-27 2017-11-03 北京中科寒武纪科技有限公司 一种用于执行全连接层神经网络正向运算的装置和方法
CN107329733A (zh) * 2016-04-29 2017-11-07 北京中科寒武纪科技有限公司 用于执行pooling运算的装置和方法
CN107329734A (zh) * 2016-04-29 2017-11-07 北京中科寒武纪科技有限公司 一种用于执行卷积神经网络正向运算的装置和方法
CN107341541A (zh) * 2016-04-29 2017-11-10 北京中科寒武纪科技有限公司 一种用于执行全连接层神经网络训练的装置和方法
CN107341542A (zh) * 2016-04-29 2017-11-10 北京中科寒武纪科技有限公司 用于执行循环神经网络和lstm运算的装置和方法
CN107369108A (zh) * 2016-05-11 2017-11-21 耐能有限公司 多层人造神经网络及其控制方法
CN107392308A (zh) * 2017-06-20 2017-11-24 中国科学院计算技术研究所 一种基于可编程器件的卷积神经网络加速方法与系统
CN107657263A (zh) * 2016-08-12 2018-02-02 北京深鉴科技有限公司 一种用于实现ann的深度处理单元
WO2018024232A1 (zh) * 2016-08-05 2018-02-08 上海寒武纪信息科技有限公司 用于执行神经网络运算的装置及方法
CN107704916A (zh) * 2016-08-12 2018-02-16 北京深鉴科技有限公司 一种基于fpga实现rnn神经网络的硬件加速器及方法
CN107862379A (zh) * 2017-07-21 2018-03-30 电子科技大学 神经网络fpga
CN107871163A (zh) * 2016-09-28 2018-04-03 爱思开海力士有限公司 用于卷积神经网络的操作装置及方法
CN107871159A (zh) * 2016-09-23 2018-04-03 三星电子株式会社 神经网络设备和操作神经网络设备的方法
CN108073983A (zh) * 2016-11-10 2018-05-25 谷歌有限责任公司 在硬件中执行核心跨越
CN108205704A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 一种神经网络芯片
CN108537330A (zh) * 2018-03-09 2018-09-14 中国科学院自动化研究所 应用于神经网络的卷积计算装置及方法
CN108639882A (zh) * 2018-05-03 2018-10-12 中国科学院计算技术研究所 基于lstm网络模型的处理芯片与包含其的运算装置
CN108647782A (zh) * 2018-05-21 2018-10-12 清华大学 一种降低神经网络芯片中eDRAM刷新能耗的方法及系统
CN108664266A (zh) * 2017-04-01 2018-10-16 深圳森若科技有限公司 一种便携式人工智能装置及其配置方法
CN108734281A (zh) * 2017-04-21 2018-11-02 上海寒武纪信息科技有限公司 处理装置、处理方法、芯片及电子装置
CN108846478A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 深度神经网络计算加速的方法和装置
CN109062607A (zh) * 2017-10-30 2018-12-21 上海寒武纪信息科技有限公司 机器学习处理器及使用处理器执行向量最小值指令的方法
CN109359732A (zh) * 2018-09-30 2019-02-19 阿里巴巴集团控股有限公司 一种芯片及基于其的数据处理方法
CN109389214A (zh) * 2017-08-11 2019-02-26 谷歌有限责任公司 具有驻留在芯片上的参数的神经网络加速器
WO2019041251A1 (zh) * 2017-08-31 2019-03-07 北京中科寒武纪科技有限公司 芯片装置及相关产品
US10241837B2 (en) 2016-12-09 2019-03-26 Beijing Horizon Information Technology Co., Ltd. Systems and methods for data management
CN109564637A (zh) * 2016-09-30 2019-04-02 国际商业机器公司 用于极端吞吐量神经网络的可扩展流突触超级计算机
CN109726805A (zh) * 2017-10-30 2019-05-07 上海寒武纪信息科技有限公司 利用黑盒模拟器进行神经网络处理器设计的方法
TWI662485B (zh) * 2016-12-31 2019-06-11 Via Alliance Semiconductor Co., Ltd. 裝置，運作裝置之方法與其電腦程式產品
CN109902812A (zh) * 2017-12-11 2019-06-18 北京中科寒武纪科技有限公司 板卡和神经网络运算方法
CN109901878A (zh) * 2019-02-25 2019-06-18 北京灵汐科技有限公司 一种类脑计算芯片及计算设备
US10338925B2 (en) 2017-05-24 2019-07-02 Microsoft Technology Licensing, Llc Tensor register files
CN109983479A (zh) * 2016-11-18 2019-07-05 罗伯特·博世有限公司 用于计算神经网络的输出的方法
CN110058883A (zh) * 2019-03-14 2019-07-26 成都恒创新星科技有限公司 一种基于opu的cnn加速方法及系统
CN110073370A (zh) * 2016-12-13 2019-07-30 高通股份有限公司 用于稀疏神经网络的低功率架构
US10372456B2 (en) 2017-05-24 2019-08-06 Microsoft Technology Licensing, Llc Tensor processor instruction set architecture
EP3531348A1 (en) * 2018-02-27 2019-08-28 STMicroelectronics International N.V. Aritmetic unit for deep learning acceleration
CN110188868A (zh) * 2018-02-22 2019-08-30 国际商业机器公司 人工神经网络的硬件实现的训练
CN110506282A (zh) * 2017-04-14 2019-11-26 国际商业机器公司 Rpu阵列的更新管理
CN110796244A (zh) * 2018-08-01 2020-02-14 南京天数智芯科技有限公司 用于人工智能设备的核心计算单元处理器及加速处理方法
CN110825311A (zh) * 2018-08-10 2020-02-21 北京百度网讯科技有限公司 用于存储数据的方法和装置
CN109328361B (zh) * 2016-06-14 2020-03-27 多伦多大学管理委员会 用于深度神经网络的加速器
CN111027018A (zh) * 2019-12-20 2020-04-17 支付宝(杭州)信息技术有限公司 加速计算设备建模的方法、装置、计算设备及介质
US10643124B2 (en) 2016-08-12 2020-05-05 Beijing Deephi Intelligent Technology Co., Ltd. Method and device for quantizing complex artificial neural network
CN111226230A (zh) * 2017-10-17 2020-06-02 赛灵思公司 具有多个处理器和神经网络加速器的神经网络处理系统
US10698657B2 (en) 2016-08-12 2020-06-30 Xilinx, Inc. Hardware accelerator for compressed RNN on FPGA
US10762426B2 (en) 2016-08-12 2020-09-01 Beijing Deephi Intelligent Technology Co., Ltd. Multi-iteration compression for deep neural networks
US10802992B2 (en) 2016-08-12 2020-10-13 Xilinx Technology Beijing Limited Combining CPU and special accelerator for implementing an artificial neural network
US10810484B2 (en) 2016-08-12 2020-10-20 Xilinx, Inc. Hardware accelerator for compressed GRU on FPGA
US10832123B2 (en) 2016-08-12 2020-11-10 Xilinx Technology Beijing Limited Compression of deep neural networks with proper use of mask
CN112074846A (zh) * 2018-05-04 2020-12-11 苹果公司 用于在神经网络处理器中分配任务的系统和方法
CN112396157A (zh) * 2019-08-12 2021-02-23 美光科技公司 神经网络计算中与数据存储装置通信的系统、方法及设备
US10936941B2 (en) 2016-08-12 2021-03-02 Xilinx, Inc. Efficient data access control device for neural network hardware acceleration system
US10977854B2 (en) 2018-02-27 2021-04-13 Stmicroelectronics International N.V. Data volume sculptor for deep learning acceleration
US10984308B2 (en) 2016-08-12 2021-04-20 Xilinx Technology Beijing Limited Compression method for deep neural networks with load balance
CN113902111A (zh) * 2021-12-09 2022-01-07 绍兴埃瓦科技有限公司 多芯片互连系统及神经网络加速处理方法
WO2022028232A1 (zh) * 2020-08-03 2022-02-10 乐鑫信息科技（上海）股份有限公司 执行lstm神经网络运算的装置和方法
CN114781602A (zh) * 2022-04-07 2022-07-22 苏州大学 基于激光器阵列的深度卷积神经网络系统及控制方法
US11507831B2 (en) 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
CN115409161A (zh) * 2022-04-28 2022-11-29 上海燧原科技有限公司 量化神经网络模型的片内执行方法、装置、设备及介质
TWI793225B (zh) * 2017-12-14 2023-02-21 大陸商中科寒武紀科技股份有限公司 神經網絡訓練方法及相關產品
US11687759B2 (en) 2018-05-01 2023-06-27 Semiconductor Components Industries, Llc Neural network accelerator
US11687762B2 (en) 2018-02-27 2023-06-27 Stmicroelectronics S.R.L. Acceleration unit for a deep learning engine
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US12288152B2 (en) 2020-03-12 2025-04-29 Semiconductor Components Industries, Llc Neural network weight encoding
US12361268B2 (en) 2021-08-30 2025-07-15 Stmicroelectronics International N.V. Neural network hardware accelerator circuit with requantization circuits
US12554991B2 (en) 2018-10-29 2026-02-17 Cambricon Technologies Corporation Limited Device and method for performing self-learning operations of an artificial neural network

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651204B (zh) * 2016-04-26 2024-04-05 中科寒武纪科技股份有限公司 一种用于执行向量最大值最小值运算的装置和方法
JP6773970B2 (ja) * 2016-09-09 2020-10-21 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法
CN107086910B (zh) * 2017-03-24 2018-08-10 中国科学院计算技术研究所 一种针对神经网络处理的权重加解密方法和系统
EP3637272A4 (en) * 2017-06-26 2020-09-02 Shanghai Cambricon Information Technology Co., Ltd DATA-SHARING SYSTEM AND RELATED DATA-SHARING PROCESS
CN107491809B (zh) * 2017-08-21 2020-10-16 苏州浪潮智能科技有限公司 一种fpga实现残差网络中激活函数的方法
CN107679622B (zh) * 2017-09-06 2020-08-14 清华大学 一种面向神经网络算法的模拟感知计算架构
CN107729984A (zh) * 2017-10-27 2018-02-23 中国科学院计算技术研究所 一种适用于神经网络激活函数的计算装置及方法
CN109726807B (zh) * 2017-10-31 2023-11-24 上海寒武纪信息科技有限公司 神经网络处理器、运算方法及存储介质
CN107817708B (zh) * 2017-11-15 2020-07-07 复旦大学 一种高兼容性可编程神经网络加速阵列
TW201926147A (zh) * 2017-12-01 2019-07-01 阿比特電子科技有限公司 電子裝置、加速器、適用於神經網路運算的加速方法及神經網路加速系統
CN109871949A (zh) * 2017-12-22 2019-06-11 泓图睿语（北京）科技有限公司 卷积神经网络加速器及加速方法
CN108182471B (zh) * 2018-01-24 2022-02-15 上海岳芯电子科技有限公司 一种卷积神经网络推理加速器及方法
US11568232B2 (en) 2018-02-08 2023-01-31 Quanta Computer Inc. Deep learning FPGA converter
CN108520297B (zh) * 2018-04-02 2020-09-04 周军 可编程深度神经网络处理器
EP3605401A1 (en) * 2018-07-31 2020-02-05 GrAl Matter Labs S.A.S. Data processing module, data processing system and data processing method
CN109117949A (zh) * 2018-08-01 2019-01-01 南京天数智芯科技有限公司 用于人工智能设备的灵活数据流处理器和处理方法
CN110874625B (zh) * 2018-08-31 2023-10-27 杭州海康威视数字技术股份有限公司 一种数据处理方法及装置
CN109447257B (zh) * 2018-09-18 2021-08-17 复旦大学 一种通道自组织的深度神经网络加速芯片的运算装置
CN112789627B (zh) * 2018-09-30 2023-08-22 华为技术有限公司 一种神经网络处理器、数据处理方法及相关设备
CN109492761A (zh) * 2018-10-30 2019-03-19 深圳灵图慧视科技有限公司 实现神经网络的fpga加速装置、方法和系统
CN109472353B (zh) * 2018-11-22 2020-11-03 浪潮集团有限公司 一种卷积神经网络量化电路及量化方法
US12393845B2 (en) 2018-12-06 2025-08-19 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
EP3756186A4 (en) * 2018-12-06 2021-06-02 Western Digital Technologies Inc. NON-VOLATILE STORAGE MATRIX WITH DEEP LEARNING NEURAL NETWORK
CN109740733B (zh) * 2018-12-27 2021-07-06 深圳云天励飞技术有限公司 深度学习网络模型优化方法、装置及相关设备
US11144282B2 (en) * 2019-01-16 2021-10-12 Mediatek Inc. Mathematical accelerator for artificial intelligence applications
CN111667046A (zh) * 2019-03-08 2020-09-15 富泰华工业（深圳）有限公司 深度学习加速方法及用户终端
CN110009021B (zh) * 2019-03-26 2021-06-15 深兰科技（上海）有限公司 一种目标识别方法及设备
CN112396169B (zh) * 2019-08-13 2024-04-02 上海寒武纪信息科技有限公司 运算方法、装置、计算机设备和存储介质
CN112085192B (zh) * 2019-06-12 2024-03-29 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
US12249189B2 (en) 2019-08-12 2025-03-11 Micron Technology, Inc. Predictive maintenance of automotive lighting
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US11042350B2 (en) 2019-08-21 2021-06-22 Micron Technology, Inc. Intelligent audio control in vehicles
US12497055B2 (en) 2019-08-21 2025-12-16 Micron Technology, Inc. Monitoring controller area network bus for vehicle control
US12210401B2 (en) 2019-09-05 2025-01-28 Micron Technology, Inc. Temperature based optimization of data storage operations
CN111027690B (zh) * 2019-11-26 2023-08-04 陈子祺 执行确定性推理的组合处理装置、芯片和方法
US11250648B2 (en) 2019-12-18 2022-02-15 Micron Technology, Inc. Predictive maintenance of automotive transmission
JP6931252B1 (ja) * 2020-08-07 2021-09-01 ＬｅａｐＭｉｎｄ株式会社 ニューラルネットワーク回路およびニューラルネットワーク回路の制御方法
US12412082B2 (en) * 2020-08-28 2025-09-09 Nvidia Corporation Fine-grained per-vector scaling for neural network quantization
US12547902B2 (en) 2020-09-28 2026-02-10 Cambricon Technologies Corporation Limited Device and method for neural network computing, and board and readable storage medium
CN112748998B (zh) * 2021-01-21 2023-10-03 中南大学 一种移动端的卷积神经网络任务调度方法及系统
CN116848531A (zh) * 2021-02-01 2023-10-03 微软技术许可有限责任公司 针对具有归一化或非线性的深度神经网络的半可编程和可重构协同加速器
CN114723034B (zh) * 2022-06-10 2022-10-04 之江实验室 一种可分离的图像处理神经网络加速器及加速方法
CN119416845B (zh) * 2024-11-01 2025-11-18 中国科学院计算技术研究所 基于斐波那契编码的存算一体神经网络加速方法及加速器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998022885A1 (en) * 1996-11-20 1998-05-28 Jannarone Robert J Multi-kernel neural network concurrent learning, monitoring, and forecasting system
EP1172763A2 (en) * 2000-07-13 2002-01-16 International Business Machines Corporation Method and circuits for associating a norm to each component of an input pattern presented to a neural network
CN1457021A (zh) * 2003-06-09 2003-11-19 王慧东 基于神经网络的信息识别处理方法
CN102868432A (zh) * 2012-09-07 2013-01-09 天津理工大学 一种双阶段神经网络下的盲波束形成装置及其形成方法
CN104133375A (zh) * 2014-08-14 2014-11-05 大连海事大学 一种多auv同步控制器结构及设计方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6523018B1 (en) * 1998-12-29 2003-02-18 International Business Machines Corporation Neural chip architecture and neural networks incorporated therein
GB9902115D0 (en) * 1999-02-01 1999-03-24 Axeon Limited Neural networks
KR100445264B1 (ko) * 2002-11-06 2004-08-21 학교법인 인하학원 재구성능력 및 확장능력을 가진 신경회로망 하드웨어
US8103606B2 (en) * 2006-12-08 2012-01-24 Medhat Moussa Architecture, system and method for artificial neural network implementation
CN101527010B (zh) 2008-03-06 2011-12-07 上海理工大学 人工神经网络算法的硬件实现方法及其系统
CN101299233B (zh) 2008-04-08 2010-11-10 西安交通大学 基于fpga实现的运动目标识别与跟踪方法
WO2012109407A1 (en) * 2011-02-09 2012-08-16 The Trustees Of Columbia University In The City Of New York Encoding and decoding machine with recurrent neural networks
GB2491156B (en) * 2011-05-25 2019-08-07 Advanced Risc Mach Ltd Processing pipeline control
US9978014B2 (en) * 2013-12-18 2018-05-22 Intel Corporation Reconfigurable processing unit
US9613001B2 (en) * 2013-12-20 2017-04-04 Intel Corporation Processing device for performing convolution operations
US9785565B2 (en) * 2014-06-30 2017-10-10 Microunity Systems Engineering, Inc. System and methods for expandably wide processor instructions
US10686869B2 (en) * 2014-09-29 2020-06-16 Microsoft Technology Licensing, Llc Tool for investigating the performance of a distributed processing system
US10540588B2 (en) * 2015-06-29 2020-01-21 Microsoft Technology Licensing, Llc Deep neural network processing on hardware accelerators with stacked memory
US11244225B2 (en) * 2015-07-10 2022-02-08 Samsung Electronics Co., Ltd. Neural network processor configurable using macro instructions
CN105488565A (zh) 2015-11-17 2016-04-13 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法
CN105468335B (zh) * 2015-11-24 2017-04-12 中国科学院计算技术研究所 流水级运算装置、数据处理方法及片上网络芯片

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998022885A1 (en) * 1996-11-20 1998-05-28 Jannarone Robert J Multi-kernel neural network concurrent learning, monitoring, and forecasting system
EP1172763A2 (en) * 2000-07-13 2002-01-16 International Business Machines Corporation Method and circuits for associating a norm to each component of an input pattern presented to a neural network
CN1457021A (zh) * 2003-06-09 2003-11-19 王慧东 基于神经网络的信息识别处理方法
CN102868432A (zh) * 2012-09-07 2013-01-09 天津理工大学 一种双阶段神经网络下的盲波束形成装置及其形成方法
CN104133375A (zh) * 2014-08-14 2014-11-05 大连海事大学 一种多auv同步控制器结构及设计方法

Cited By (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084330A1 (zh) * 2015-11-17 2017-05-26 中国科学院计算技术研究所 加速深度神经网络算法的加速芯片的运算装置及方法
US11488000B2 (en) 2015-11-17 2022-11-01 Intitute of Computing Technology, Chinese Academy of Sciences Operation apparatus and method for acceleration chip for accelerating deep neural network algorithm
CN108416436A (zh) * 2016-04-18 2018-08-17 中国科学院计算技术研究所 使用多核心处理模块进行神经网络划分的方法及其系统
CN108416437B (zh) * 2016-04-18 2021-08-03 中国科学院计算技术研究所 用于乘加运算的人工神经网络的处理系统及方法
CN105930902A (zh) * 2016-04-18 2016-09-07 中国科学院计算技术研究所 一种神经网络的处理方法、系统
CN108510064B (zh) * 2016-04-18 2021-12-10 中国科学院计算技术研究所 包括多个核心处理模块的人工神经网络的处理系统及方法
US11580367B2 (en) 2016-04-18 2023-02-14 Institute Of Computing Technology, Chinese Academy Of Sciences Method and system for processing neural network
CN108416437A (zh) * 2016-04-18 2018-08-17 中国科学院计算技术研究所 用于乘加运算的人工神经网络的处理系统及方法
CN108416436B (zh) * 2016-04-18 2021-06-01 中国科学院计算技术研究所 使用多核心处理模块进行神经网络划分的方法及其系统
WO2017181562A1 (zh) * 2016-04-18 2017-10-26 中国科学院计算技术研究所 一种神经网络的处理方法、系统
CN108510064A (zh) * 2016-04-18 2018-09-07 中国科学院计算技术研究所 包括多个核心处理模块的人工神经网络的处理系统及方法
CN107316078B (zh) * 2016-04-27 2021-05-07 中科寒武纪科技股份有限公司 用于执行人工神经网络自学习运算的装置和方法
CN111860811B (zh) * 2016-04-27 2024-01-16 中科寒武纪科技股份有限公司 一种用于执行人工神经网络全连接层正向运算的装置和方法
CN107316078A (zh) * 2016-04-27 2017-11-03 北京中科寒武纪科技有限公司 用于执行人工神经网络自学习运算的装置和方法
CN107315571A (zh) * 2016-04-27 2017-11-03 北京中科寒武纪科技有限公司 一种用于执行全连接层神经网络正向运算的装置和方法
CN109375951B (zh) * 2016-04-27 2020-10-09 中科寒武纪科技股份有限公司 一种用于执行全连接层神经网络正向运算的装置和方法
CN109375951A (zh) * 2016-04-27 2019-02-22 北京中科寒武纪科技有限公司 一种用于执行全连接层神经网络正向运算的装置和方法
US11373084B2 (en) 2016-04-27 2022-06-28 Cambricon Technologies Corporation Limited Apparatus and methods for forward propagation in fully connected layers of convolutional neural networks
CN111860811A (zh) * 2016-04-27 2020-10-30 中科寒武纪科技股份有限公司 一种用于执行人工神经网络全连接层正向运算的装置和方法
CN107704267A (zh) * 2016-04-29 2018-02-16 北京中科寒武纪科技有限公司 一种卷积神经网络运算指令及其方法
CN111860772B (zh) * 2016-04-29 2024-01-16 中科寒武纪科技股份有限公司 一种用于执行人工神经网络pooling运算的装置和方法
US11531860B2 (en) 2016-04-29 2022-12-20 Cambricon (Xi'an) Semiconductor Co., Ltd. Apparatus and method for executing recurrent neural network and LSTM computations
US10592801B2 (en) 2016-04-29 2020-03-17 Cambricon Technologies Corporation Limited Apparatus and methods for forward propagation in convolutional neural networks
CN109376861B (zh) * 2016-04-29 2020-04-24 中科寒武纪科技股份有限公司 一种用于执行全连接层神经网络训练的装置和方法
CN107341542A (zh) * 2016-04-29 2017-11-10 北京中科寒武纪科技有限公司 用于执行循环神经网络和lstm运算的装置和方法
CN109086877B (zh) * 2016-04-29 2020-05-08 中科寒武纪科技股份有限公司 一种用于执行卷积神经网络正向运算的装置和方法
CN107341541A (zh) * 2016-04-29 2017-11-10 北京中科寒武纪科技有限公司 一种用于执行全连接层神经网络训练的装置和方法
CN107704267B (zh) * 2016-04-29 2020-05-08 中科寒武纪科技股份有限公司 一种卷积神经网络运算指令及其方法
CN107329734A (zh) * 2016-04-29 2017-11-07 北京中科寒武纪科技有限公司 一种用于执行卷积神经网络正向运算的装置和方法
CN107329733B (zh) * 2016-04-29 2020-10-02 中科寒武纪科技股份有限公司 用于执行pooling运算的装置和方法
CN107329733A (zh) * 2016-04-29 2017-11-07 北京中科寒武纪科技有限公司 用于执行pooling运算的装置和方法
WO2017185347A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 用于执行循环神经网络和lstm运算的装置和方法
WO2017185336A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 用于执行pooling运算的装置和方法
US11727244B2 (en) 2016-04-29 2023-08-15 Cambricon Technologies Corporation Limited Apparatus and method for executing recurrent neural network and LSTM computations
CN107341542B (zh) * 2016-04-29 2021-06-11 中科寒武纪科技股份有限公司 用于执行循环神经网络和lstm运算的装置和方法
CN109376861A (zh) * 2016-04-29 2019-02-22 北京中科寒武纪科技有限公司 一种用于执行全连接层神经网络训练的装置和方法
US12423560B2 (en) 2016-04-29 2025-09-23 Cambricon Technologies Corporation Limited Apparatus and methods for forward propagation in convolutional neural networks
CN107341541B (zh) * 2016-04-29 2021-01-29 中科寒武纪科技股份有限公司 一种用于执行全连接层神经网络训练的装置和方法
CN111860813B (zh) * 2016-04-29 2024-01-16 中科寒武纪科技股份有限公司 一种用于执行卷积神经网络正向运算的装置和方法
CN111860813A (zh) * 2016-04-29 2020-10-30 中科寒武纪科技股份有限公司 一种用于执行卷积神经网络正向运算的装置和方法
CN111860772A (zh) * 2016-04-29 2020-10-30 中科寒武纪科技股份有限公司 一种用于执行人工神经网络pooling运算的装置和方法
CN109086877A (zh) * 2016-04-29 2018-12-25 北京中科寒武纪科技有限公司 一种用于执行卷积神经网络正向运算的装置和方法
CN109284825A (zh) * 2016-04-29 2019-01-29 北京中科寒武纪科技有限公司 用于执行lstm运算的装置和方法
US12205036B2 (en) 2016-04-29 2025-01-21 Cambricon Technologies Corporation Limited Apparatus and methods for training in fully connected layers of convolutional networks
CN107369108A (zh) * 2016-05-11 2017-11-21 耐能有限公司 多层人造神经网络及其控制方法
CN105956659A (zh) * 2016-05-11 2016-09-21 北京比特大陆科技有限公司 数据处理装置和系统、服务器
CN105956659B (zh) * 2016-05-11 2019-11-22 北京比特大陆科技有限公司 数据处理装置和系统、服务器
CN109328361B (zh) * 2016-06-14 2020-03-27 多伦多大学管理委员会 用于深度神经网络的加速器
CN111310893B (zh) * 2016-08-05 2023-11-21 中科寒武纪科技股份有限公司 一种用于执行神经网络运算的装置及方法
US11120331B2 (en) 2016-08-05 2021-09-14 Cambricon Technologies Corporation Limited Device and method for executing neural network operation
CN111310893A (zh) * 2016-08-05 2020-06-19 中科寒武纪科技股份有限公司 一种用于执行神经网络运算的装置及方法
TWI767925B (zh) * 2016-08-05 2022-06-21 大陸商上海寒武紀信息科技有限公司 一種用於執行神經網絡運算的裝置及方法
CN107688853A (zh) * 2016-08-05 2018-02-13 北京中科寒武纪科技有限公司 一种用于执行神经网络运算的装置及方法
WO2018024232A1 (zh) * 2016-08-05 2018-02-08 上海寒武纪信息科技有限公司 用于执行神经网络运算的装置及方法
US10762426B2 (en) 2016-08-12 2020-09-01 Beijing Deephi Intelligent Technology Co., Ltd. Multi-iteration compression for deep neural networks
US10984308B2 (en) 2016-08-12 2021-04-20 Xilinx Technology Beijing Limited Compression method for deep neural networks with load balance
US10643124B2 (en) 2016-08-12 2020-05-05 Beijing Deephi Intelligent Technology Co., Ltd. Method and device for quantizing complex artificial neural network
CN107657263A (zh) * 2016-08-12 2018-02-02 北京深鉴科技有限公司 一种用于实现ann的深度处理单元
US10810484B2 (en) 2016-08-12 2020-10-20 Xilinx, Inc. Hardware accelerator for compressed GRU on FPGA
CN107704916A (zh) * 2016-08-12 2018-02-16 北京深鉴科技有限公司 一种基于fpga实现rnn神经网络的硬件加速器及方法
US10802992B2 (en) 2016-08-12 2020-10-13 Xilinx Technology Beijing Limited Combining CPU and special accelerator for implementing an artificial neural network
US10832123B2 (en) 2016-08-12 2020-11-10 Xilinx Technology Beijing Limited Compression of deep neural networks with proper use of mask
US10936941B2 (en) 2016-08-12 2021-03-02 Xilinx, Inc. Efficient data access control device for neural network hardware acceleration system
US10621486B2 (en) 2016-08-12 2020-04-14 Beijing Deephi Intelligent Technology Co., Ltd. Method for optimizing an artificial neural network (ANN)
US10698657B2 (en) 2016-08-12 2020-06-30 Xilinx, Inc. Hardware accelerator for compressed RNN on FPGA
CN107704916B (zh) * 2016-08-12 2020-07-03 赛灵思公司 一种基于fpga实现rnn神经网络的硬件加速器及方法
CN106355247A (zh) * 2016-08-16 2017-01-25 北京比特大陆科技有限公司 数据处理方法和装置、芯片和电子设备
CN106355247B (zh) * 2016-08-16 2019-03-08 算丰科技（北京）有限公司 数据处理方法和装置、芯片和电子设备
CN107871159A (zh) * 2016-09-23 2018-04-03 三星电子株式会社 神经网络设备和操作神经网络设备的方法
CN107871159B (zh) * 2016-09-23 2023-12-15 三星电子株式会社 神经网络设备和操作神经网络设备的方法
US11449745B2 (en) 2016-09-28 2022-09-20 SK Hynix Inc. Operation apparatus and method for convolutional neural network
CN107871163B (zh) * 2016-09-28 2022-05-24 爱思开海力士有限公司 用于卷积神经网络的操作装置及方法
CN107871163A (zh) * 2016-09-28 2018-04-03 爱思开海力士有限公司 用于卷积神经网络的操作装置及方法
CN109564637A (zh) * 2016-09-30 2019-04-02 国际商业机器公司 用于极端吞吐量神经网络的可扩展流突触超级计算机
CN109564637B (zh) * 2016-09-30 2023-05-12 国际商业机器公司 用于可扩展流突触超级计算机的方法、系统和介质
CN106529679B (zh) * 2016-10-14 2020-01-14 腾讯科技（上海）有限公司 一种机器学习方法及系统
CN106529679A (zh) * 2016-10-14 2017-03-22 腾讯科技（上海）有限公司 一种机器学习方法及系统
CN106650924A (zh) * 2016-10-27 2017-05-10 中国科学院计算技术研究所 一种基于时间维和空间维数据流压缩的处理器、设计方法
CN106650924B (zh) * 2016-10-27 2019-05-14 中国科学院计算技术研究所 一种基于时间维和空间维数据流压缩的处理器、设计方法
CN108073983A (zh) * 2016-11-10 2018-05-25 谷歌有限责任公司 在硬件中执行核心跨越
US11816532B2 (en) 2016-11-10 2023-11-14 Google Llc Performing kernel striding in hardware
CN108073983B (zh) * 2016-11-10 2022-04-26 谷歌有限责任公司 在硬件中执行核心跨越
CN109983479A (zh) * 2016-11-18 2019-07-05 罗伯特·博世有限公司 用于计算神经网络的输出的方法
US11360819B2 (en) 2016-12-09 2022-06-14 Beijing Horizon Information Technology Co. Ltd Systems and methods for data management
US10241837B2 (en) 2016-12-09 2019-03-26 Beijing Horizon Information Technology Co., Ltd. Systems and methods for data management
US11360818B2 (en) 2016-12-09 2022-06-14 Beijing Horizon Information Technology Co., Ltd Systems and methods for data management
CN110073370A (zh) * 2016-12-13 2019-07-30 高通股份有限公司 用于稀疏神经网络的低功率架构
TWI662485B (zh) * 2016-12-31 2019-06-11 Via Alliance Semiconductor Co., Ltd. 裝置，運作裝置之方法與其電腦程式產品
CN106875012B (zh) * 2017-02-09 2019-09-20 武汉魅瞳科技有限公司 一种基于fpga的深度卷积神经网络的流水化加速系统
CN106875012A (zh) * 2017-02-09 2017-06-20 武汉魅瞳科技有限公司 一种基于fpga的深度卷积神经网络的流水化加速系统
CN106951961B (zh) * 2017-02-24 2019-11-26 清华大学 一种粗粒度可重构的卷积神经网络加速器及系统
CN106951961A (zh) * 2017-02-24 2017-07-14 清华大学 一种粗粒度可重构的卷积神经网络加速器及系统
CN106951962B (zh) * 2017-03-22 2020-09-01 南京地平线机器人技术有限公司 用于神经网络的复合运算单元、方法和电子设备
CN106951962A (zh) * 2017-03-22 2017-07-14 北京地平线信息技术有限公司 用于神经网络的复合运算单元、方法和电子设备
CN108664266B (zh) * 2017-04-01 2022-04-15 深圳森若科技有限公司 一种便携式人工智能装置及其配置方法
CN108664266A (zh) * 2017-04-01 2018-10-16 深圳森若科技有限公司 一种便携式人工智能装置及其配置方法
CN110506282A (zh) * 2017-04-14 2019-11-26 国际商业机器公司 Rpu阵列的更新管理
CN108734281A (zh) * 2017-04-21 2018-11-02 上海寒武纪信息科技有限公司 处理装置、处理方法、芯片及电子装置
US10372456B2 (en) 2017-05-24 2019-08-06 Microsoft Technology Licensing, Llc Tensor processor instruction set architecture
US10338925B2 (en) 2017-05-24 2019-07-02 Microsoft Technology Licensing, Llc Tensor register files
CN107301456A (zh) * 2017-05-26 2017-10-27 中国人民解放军国防科学技术大学 基于向量处理器的深度神经网络多核加速实现方法
CN107301456B (zh) * 2017-05-26 2020-05-12 中国人民解放军国防科学技术大学 基于向量处理器的深度神经网络多核加速实现方法
CN107392308B (zh) * 2017-06-20 2020-04-03 中国科学院计算技术研究所 一种基于可编程器件的卷积神经网络加速方法与系统
CN107392308A (zh) * 2017-06-20 2017-11-24 中国科学院计算技术研究所 一种基于可编程器件的卷积神经网络加速方法与系统
CN107862379A (zh) * 2017-07-21 2018-03-30 电子科技大学 神经网络fpga
US11501144B2 (en) 2017-08-11 2022-11-15 Google Llc Neural network accelerator with parameters resident on chip
CN109389214A (zh) * 2017-08-11 2019-02-26 谷歌有限责任公司 具有驻留在芯片上的参数的神经网络加速器
US11727259B2 (en) 2017-08-11 2023-08-15 Google Llc Neural network accelerator with parameters resident on chip
WO2019041251A1 (zh) * 2017-08-31 2019-03-07 北京中科寒武纪科技有限公司 芯片装置及相关产品
CN108205704B (zh) * 2017-09-27 2021-10-29 深圳市商汤科技有限公司 一种神经网络芯片
CN108205704A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 一种神经网络芯片
CN111226230B (zh) * 2017-10-17 2023-10-03 赛灵思公司 具有多个处理器和神经网络加速器的神经网络处理系统
CN111226230A (zh) * 2017-10-17 2020-06-02 赛灵思公司 具有多个处理器和神经网络加速器的神经网络处理系统
CN110610236A (zh) * 2017-10-30 2019-12-24 上海寒武纪信息科技有限公司 一种用于执行神经网络运算的装置
CN110084361A (zh) * 2017-10-30 2019-08-02 上海寒武纪信息科技有限公司 一种运算装置和方法
CN109062607B (zh) * 2017-10-30 2021-09-21 上海寒武纪信息科技有限公司 机器学习处理器及使用处理器执行向量最小值指令的方法
CN110689126B (zh) * 2017-10-30 2023-04-07 上海寒武纪信息科技有限公司 一种用于执行神经网络运算的装置
CN111160548B (zh) * 2017-10-30 2024-01-12 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN109726805A (zh) * 2017-10-30 2019-05-07 上海寒武纪信息科技有限公司 利用黑盒模拟器进行神经网络处理器设计的方法
US12050887B2 (en) 2017-10-30 2024-07-30 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11922132B2 (en) 2017-10-30 2024-03-05 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN110689126A (zh) * 2017-10-30 2020-01-14 上海寒武纪信息科技有限公司 一种用于执行神经网络运算的装置
CN111160548A (zh) * 2017-10-30 2020-05-15 上海寒武纪信息科技有限公司 计算装置以及计算方法
CN109062607A (zh) * 2017-10-30 2018-12-21 上海寒武纪信息科技有限公司 机器学习处理器及使用处理器执行向量最小值指令的方法
CN109726805B (zh) * 2017-10-30 2021-02-09 上海寒武纪信息科技有限公司 利用黑盒模拟器进行神经网络处理器设计的方法
US11762631B2 (en) 2017-10-30 2023-09-19 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US12461711B2 (en) 2017-10-30 2025-11-04 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11657258B2 (en) 2017-12-11 2023-05-23 Cambricon Technologies Corporation Limited Neural network calculation apparatus and method
CN109902812A (zh) * 2017-12-11 2019-06-18 北京中科寒武纪科技有限公司 板卡和神经网络运算方法
WO2019114649A1 (zh) * 2017-12-11 2019-06-20 北京中科寒武纪科技有限公司 神经网络运算设备和方法
US11803735B2 (en) 2017-12-11 2023-10-31 Cambricon Technologies Corporation Limited Neural network calculation apparatus and method
CN109902812B (zh) * 2017-12-11 2020-10-09 中科寒武纪科技股份有限公司 板卡和神经网络运算方法
US12099917B2 (en) 2017-12-11 2024-09-24 Cambricon Technologies Corporation Limited Neural network calculation apparatus and method
US12099918B2 (en) 2017-12-11 2024-09-24 Cambricon Technologies Corporation Limited Neural network calculation apparatus and method
TWI791569B (zh) * 2017-12-11 2023-02-11 大陸商中科寒武紀科技股份有限公司 神經網絡運算設備和方法
TWI775998B (zh) * 2017-12-11 2022-09-01 大陸商中科寒武紀科技股份有限公司 神經網絡運算設備和方法
TWI793225B (zh) * 2017-12-14 2023-02-21 大陸商中科寒武紀科技股份有限公司 神經網絡訓練方法及相關產品
CN110188868A (zh) * 2018-02-22 2019-08-30 国际商业机器公司 人工神经网络的硬件实现的训练
EP3531348A1 (en) * 2018-02-27 2019-08-28 STMicroelectronics International N.V. Aritmetic unit for deep learning acceleration
US12190243B2 (en) 2018-02-27 2025-01-07 Stmicroelectronics S.R.L. Arithmetic unit for deep learning acceleration
US11586907B2 (en) 2018-02-27 2023-02-21 Stmicroelectronics S.R.L. Arithmetic unit for deep learning acceleration
US11610362B2 (en) 2018-02-27 2023-03-21 Stmicroelectronics S.R.L. Data volume sculptor for deep learning acceleration
US11977971B2 (en) 2018-02-27 2024-05-07 Stmicroelectronics International N.V. Data volume sculptor for deep learning acceleration
US11687762B2 (en) 2018-02-27 2023-06-27 Stmicroelectronics S.R.L. Acceleration unit for a deep learning engine
US10977854B2 (en) 2018-02-27 2021-04-13 Stmicroelectronics International N.V. Data volume sculptor for deep learning acceleration
CN108537330A (zh) * 2018-03-09 2018-09-14 中国科学院自动化研究所 应用于神经网络的卷积计算装置及方法
US11687759B2 (en) 2018-05-01 2023-06-27 Semiconductor Components Industries, Llc Neural network accelerator
CN108639882A (zh) * 2018-05-03 2018-10-12 中国科学院计算技术研究所 基于lstm网络模型的处理芯片与包含其的运算装置
US12282838B2 (en) 2018-05-04 2025-04-22 Apple Inc. Systems and methods for assigning tasks in a neural network processor
CN112074846A (zh) * 2018-05-04 2020-12-11 苹果公司 用于在神经网络处理器中分配任务的系统和方法
CN108647782B (zh) * 2018-05-21 2021-10-19 清华大学 一种降低神经网络芯片中eDRAM刷新能耗的方法及系统
CN108647782A (zh) * 2018-05-21 2018-10-12 清华大学 一种降低神经网络芯片中eDRAM刷新能耗的方法及系统
CN108846478A (zh) * 2018-06-29 2018-11-20 北京百度网讯科技有限公司 深度神经网络计算加速的方法和装置
CN110796244A (zh) * 2018-08-01 2020-02-14 南京天数智芯科技有限公司 用于人工智能设备的核心计算单元处理器及加速处理方法
CN110796244B (zh) * 2018-08-01 2022-11-08 上海天数智芯半导体有限公司 用于人工智能设备的核心计算单元处理器及加速处理方法
CN110825311A (zh) * 2018-08-10 2020-02-21 北京百度网讯科技有限公司 用于存储数据的方法和装置
CN110825311B (zh) * 2018-08-10 2023-04-18 昆仑芯(北京)科技有限公司 用于存储数据的方法和装置
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US12057109B2 (en) 2018-09-13 2024-08-06 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US12094456B2 (en) 2018-09-13 2024-09-17 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and system
US12057110B2 (en) 2018-09-13 2024-08-06 Shanghai Cambricon Information Technology Co., Ltd. Voice recognition based on neural networks
US11996105B2 (en) 2018-09-13 2024-05-28 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN109359732A (zh) * 2018-09-30 2019-02-19 阿里巴巴集团控股有限公司 一种芯片及基于其的数据处理方法
US11361217B2 (en) 2018-09-30 2022-06-14 Advanced New Technologies Co., Ltd. Chip and chip-based data processing method
US11062201B2 (en) 2018-09-30 2021-07-13 Advanced New Technologies Co., Ltd. Chip and chip-based data processing method
US12554991B2 (en) 2018-10-29 2026-02-17 Cambricon Technologies Corporation Limited Device and method for performing self-learning operations of an artificial neural network
CN109901878A (zh) * 2019-02-25 2019-06-18 北京灵汐科技有限公司 一种类脑计算芯片及计算设备
US11461626B2 (en) 2019-02-25 2022-10-04 Lynxi Technologies Co., Ltd. Brain-like computing chip and computing device
CN110058883B (zh) * 2019-03-14 2023-06-16 梁磊 一种基于opu的cnn加速方法及系统
CN110058883A (zh) * 2019-03-14 2019-07-26 成都恒创新星科技有限公司 一种基于opu的cnn加速方法及系统
CN112396157A (zh) * 2019-08-12 2021-02-23 美光科技公司 神经网络计算中与数据存储装置通信的系统、方法及设备
CN111027018B (zh) * 2019-12-20 2023-03-31 支付宝(杭州)信息技术有限公司 加速计算设备建模的方法、装置、计算设备及介质
CN111027018A (zh) * 2019-12-20 2020-04-17 支付宝(杭州)信息技术有限公司 加速计算设备建模的方法、装置、计算设备及介质
US11507831B2 (en) 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
US11710032B2 (en) 2020-02-24 2023-07-25 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
US12288152B2 (en) 2020-03-12 2025-04-29 Semiconductor Components Industries, Llc Neural network weight encoding
WO2022028232A1 (zh) * 2020-08-03 2022-02-10 乐鑫信息科技（上海）股份有限公司 执行lstm神经网络运算的装置和方法
US12361268B2 (en) 2021-08-30 2025-07-15 Stmicroelectronics International N.V. Neural network hardware accelerator circuit with requantization circuits
CN113902111A (zh) * 2021-12-09 2022-01-07 绍兴埃瓦科技有限公司 多芯片互连系统及神经网络加速处理方法
CN114781602A (zh) * 2022-04-07 2022-07-22 苏州大学 基于激光器阵列的深度卷积神经网络系统及控制方法
CN115409161B (zh) * 2022-04-28 2025-08-01 上海燧原科技股份有限公司 量化神经网络模型的片内执行方法、装置、设备及介质
CN115409161A (zh) * 2022-04-28 2022-11-29 上海燧原科技有限公司 量化神经网络模型的片内执行方法、装置、设备及介质

Also Published As

Publication number Publication date
US11488000B2 (en) 2022-11-01
WO2017084330A1 (zh) 2017-05-26
US20180314928A1 (en) 2018-11-01
CN106529668A (zh) 2017-03-22
CN106529668B (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
CN105488565A (zh) 加速深度神经网络算法的加速芯片的运算装置及方法
Li et al. A high performance FPGA-based accelerator for large-scale convolutional neural networks
US11934826B2 (en) Vector reductions using shared scratchpad memory
CN111105023B (zh) 数据流重构方法及可重构数据流处理器
WO2022142479A1 (zh) 一种硬件加速器、数据处理方法、系统级芯片及介质
Yan et al. A survey on FPGA-based accelerator for ML models
Zhang et al. Edgenn: Efficient neural network inference for cpu-gpu integrated edge devices
CN108710943A (zh) 一种多层前馈神经网络并行加速器
CN116402091A (zh) 面向人工智能芯片的混合引擎智能计算方法和装置
CN112732638B (zh) 基于ctpn网络的异构加速系统及方法
CN112051981A (zh) 一种数据流水线计算路径结构及单线程数据流水线系统
Sun et al. Unicnn: A pipelined accelerator towards uniformed computing for cnns
CN116739054A (zh) 一种基于fpga的a3c深度强化学习算法加速器
Jin et al. Design of convolutional neural network accelerator based on RISC-V
Zu Deep learning parallel computing and evaluation for embedded system clustering architecture processor
Ngo et al. AlPicoSoC: A low-power RISC-V based system on chip for edge devices with a deep learning accelerator
El Zarif et al. Polara-Keras2c: Supporting Vectorized AI Models on RISC-V Edge Devices
JP7817316B2 (ja) 共有スクラッチパッドメモリを用いたベクトル縮小
Acar et al. Optimizing gnn-based multiple object tracking on a graphcore ipu
CN117475219B (zh) 一种基于轻量化网络模型的图像分类方法及搭载装置
Trinh et al. Feasibility and design trade-offs of neural network accelerators implemented on reconfigurable hardware
HK40105742A (zh) 使用共享便笺式存储器的向量简化
HK40081743B (zh) 使用共享便笺式存储器的向量简化
Zhao et al. Comparative study of DNN accelerators on FPGA
CN115437689A (zh) 一种深度学习加速核及基于其的深度学习片上系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160413