[go: up one dir, main page]

CN109146057B - 一种基于查表计算的高精度的神经网络工程化方法 - Google Patents

一种基于查表计算的高精度的神经网络工程化方法 Download PDF

Info

Publication number
CN109146057B
CN109146057B CN201810668569.3A CN201810668569A CN109146057B CN 109146057 B CN109146057 B CN 109146057B CN 201810668569 A CN201810668569 A CN 201810668569A CN 109146057 B CN109146057 B CN 109146057B
Authority
CN
China
Prior art keywords
neural network
precision
calculation
layer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810668569.3A
Other languages
English (en)
Other versions
CN109146057A (zh
Inventor
葛益军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinmai Microelectronics Co ltd
Original Assignee
Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiongmai Integrated Circuit Technology Co Ltd filed Critical Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority to CN201810668569.3A priority Critical patent/CN109146057B/zh
Publication of CN109146057A publication Critical patent/CN109146057A/zh
Application granted granted Critical
Publication of CN109146057B publication Critical patent/CN109146057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Complex Calculations (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开的是一种基于查表计算的高精度的神经网络工程化方法，属于于人工智能神经网络深度学习技术领域，该方法包括步骤：以输出精度作为评价指标，采用自适应搜索策略，对神经网络进行稀疏化；对神经网络的权值参数采用非线性量化，对数据进行索引量化；采用查表法来快速实现神经网络的前向计算，本发明通过稀疏率自动分配策略在达到设定稀疏率的情况下最大可能的保留的网络精度，使用权值参数非线性量化和数据索引量化策略，将量化宽度压缩到8bit及其以下的同时保存很高的计算精度，最后通过构造一个256x256的32bit高精度快速计算表，实现前向过程的加速并减少运算过程中的精度没有丢失，计算精度高、运算速度快。

Description

一种基于查表计算的高精度的神经网络工程化方法
技术领域
本发明涉及一种神经网络工程化方法，更具体一点说，涉及一种基于查表计算的高精度的神经网络工程化方法，属于人工智能神经网络深度学习技术领域。
背景技术
人工神经网络(Artificial Neural Network，即ANN)是一种运算模型，它是20世纪80年代以来人工智能领域兴起的研究热点，主要由大量的节点(称神经元相互联接构成，其中每个节点代表一种特定的输出函数，称为激励函数(activation function)，每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依赖网络的连接方式，权重值和激励函数的不同而不同。
典型的神经网络由输入层、隐藏层和输出层构成，而深度学习指的是含有多个隐藏层的神经网络结构，堆叠的隐藏层层数就是所谓的网络深度。研究发现网络模型深度越深，相应理解力就越强，现在的深度学习神经网络已经达到几百层至上千层的规模。深度神经网络中从输入层开始，根据输入数据和对应连接线上的权值参数，算出其后隐藏层的所有节点单元的输出值，在算完前一个隐藏层后，继续计算后一个隐藏层，这样从前往后逐渐一层一层的计算神经元节点值，直到最后一层输出层为止，也就是说，把网络正向的走一遍：输入层--->隐藏层--->输出层，计算每个结点，这个过程叫做前向计算。
深度学习网络模型的层数深、参数多、计算量大，往往需要借助于GPU才能够运行，所以在嵌入式终端设备上部署的时候，在存储空间、计算资源和内存消耗等多个方面都遇到瓶颈，要想让深度学习网络模型可以在嵌入式终端设备上落地，通常需要对网络模型进行稀疏化、量化、计算加速，这个过程叫做工程化。
工程化中的稀疏化是指把神经网络模型中绝对值值较小的元素置为零的操作。近年来，广泛的研究表明，通过训练得到的神经网络模型矩阵中，仅有部分权值较大的元素代表着重要连接，而其他权值较小的元素置为零(不参与计算)，对神经网络精度的影响比较小。
工程化中的量化是指把模型中的权值参数和节点数据从浮点转成定点的过程。基本步骤如下：首先，统计数据范围；其次，根据数据范围计算定点Qn，其中Q格式表示为Qm.n，表示数据用m比特表示整数部分，n比特表示小数部分，共需要m+n+1位来表示这个数据；再次，采用公式xq＝(int)x·2Q将浮点数据转成对应的定点数据。
工程化中的计算加速是指根据量化的定点数,对神经网络的进行前向计算的过程。
传统的工程化方案可以实现将深度学习网络模型设置在嵌入式终端设备上，但是传统的工程化方案存在以下问题：1)严重的网络精度损失，尤其是在浮点转定点的量化过程中，当位宽大于16bit的时候和浮点版本误差不大，效果尚可，但当位宽小于8bit时则和浮点版本相差误差已经较大，在效果上也下降明显；2)计算精度低和运算速度慢。
发明内容
本发明目的在于解决传统工程化过程中的网络精度损失的问题，提供具有计算精度高、运算速度快，并且在降低量化宽度的同时还可以保存较高的计算精度等技术特点的一种基于查表计算的高精度的神经网络工程化方法。
为了实现上述目的，本发明通过以下技术方案：
一种基于查表计算的高精度的神经网络工程化方法，该方法包括如下步骤：
S1:基于原始的浮点网络模型，选取部分样本数据作为测试集输入的神经网络，对该神经网络从输入层到隐藏层再到输出层前向计算一遍，并将输出层获得的精度作为基准精度，根据实际需要设定精度损失门限值A，并设定稀疏率B作为下降的搜索步长；
S2：采用步骤S1中设定的搜索步长，将作为测试集输入的神经网络从输入层到隐藏层再到输出层正向完成一次稀疏率下调，以完成一次稀疏率下调后的神经网络作为输入，从该神经网络的输入层到隐藏层再到输出层前向计算一遍，并从输出层获得稀疏精度，将所述稀疏精度与基准精度进行比较，若精度损失小于设定的精度损失门限值A，则重复上述步骤，直至精度损失大于设定的精度损失门限值A；
S3:将完成稀疏化处理后的神经网络的权值参数聚类成256个不同的权值质心，将256个权值质心构成一个长度为256的质心队列，并且将每一个权值参数用一个8bit的索引来表明其对应的质心队列中的位置，获得256个权值参数索引；
S4：基于原始的浮点网络模型，以步骤S1中作为测试集输入的神经网络作为输入，分别统计神经网络每一层数据的数据范围，获得神经网络每一层数据中的最大值fmax、最小值fmin，根据神经网络每一层数据中的最大值fmax、最小值fmin以及量化位宽计算出量化步长fstep，再通过神经网络每一层数据的量化步长fstep以及最大值fmax与最小值fmin间的浮点值fdata计算获得该浮点值fdata对应的量化索引index，其中所述神经网络每一层数据中量化位宽均为8bit，获得256个数据索引；
S5：通过对权值参数非线性量化以及神经网络每一层数据的量化索引，构造一个256x256快速计算的表，所述表中的水平方向0-255为步骤S4获得的数据索引，垂直方向0-255为步骤S3获得的权值参数索引，所述表中的值为数据索引和权值参数索引所对应的真实浮点值相乘计算后的结果，并采用浮点数保存计算结果以最大化的保留了精度；
S6：根据权值参数索引定位查找快速计算表中对应的值，根据数据索引定位查找计算表中对应的值，针对查找到的值进行累积获得累积值，对累积值进行量化以作为下一层神经网络层的输入数据，实现了基于查表计算的高精度的神经网络。
作为一种改进，所述精度损失门限值A为0.05％-0.5％，所述稀疏率B为1％。
作为一种改进，步骤S4中采用Kmeans聚类算法将权值参数聚类成256个不同的权值质心。
作为一种改进，将步骤S3中每一个权值质心均采用高精度浮点表示以最大化的保留权值参数的精度。
作为一种改进，所述量化步长fstep计算公式为fstep＝(fmax-fmin)/256，所述浮点值fdata对应的量化索引index计算公式为index＝(fdata-fmin)/fstep。
有益效果：通过稀疏率自动分配策略在达到设定稀疏率的情况下最大可能的保留的网络精度，使用权值参数非线性量化和数据索引量化策略，将量化宽度压缩到8比特及其以下的同时保存很高的计算精度，最后通过构造一个256x256的32bit高精度快速计算表，可以实现前向过程的加速并减少运算过程中的精度丢失，对最终网络精度的影响非常小，可以保存很高的计算精度和很快的运算速度。
附图说明
图1是本发明稀疏率自动分配流程图。
图2是本发明基于查表的快速计算流程图。
具体实施方式
以下结合说明书附图，对本发明作进一步说明，但本发明并不局限于以下实施例。
如图1-2所示为一种基于查表计算的高精度的神经网络工程化方法的具体实施例，该实施例一种基于查表计算的高精度的神经网络工程化方法，该方法包括如下步骤：
S1:基于原始的浮点网络模型，选取部分样本数据作为测试集输入的神经网络，对该神经网络从输入层到隐藏层再到输出层前向计算一遍，并将输出层获得的精度作为基准精度，根据实际需要设定精度损失门限值A，并设定稀疏率B作为下降的搜索步长，所述精度损失门限值A优选0.05％或0.5％或0.25％或0.35％，所述稀疏率B优选1％；
S2：采用步骤S1中设定的搜索步长，将作为测试集输入的神经网络从输入层到隐藏层再到输出层正向完成一次稀疏率下调，以完成一次稀疏率下调后的神经网络作为输入，从该神经网络的输入层到隐藏层再到输出层前向计算一遍，并从输出层获得稀疏精度，将所述稀疏精度与基准精度进行比较，若精度损失小于设定的精度损失门限值A，则重复上述步骤，直至精度损失大于设定的精度损失门限值A以实现稀疏率在神经网络层之间的自动分配；
S3:将完成稀疏化处理后的神经网络的权值参数聚类成256个不同的权值质心，将权值参数聚类成256个不同的权值质心是采用Kmeans聚类算法，将256个权值质心构成一个长度为256的质心队列，并且将每一个权值参数用一个8bit的索引来表明其对应的质心队列中的位置即获得256权值参数索引，其中每一个权值质心均采用高精度浮点表示以最大化的保留权值参数的精度；
S4：基于原始的浮点网络模型，以步骤S1中作为测试集输入的神经网络作为输入，分别统计神经网络每一层数据的数据范围，获得神经网络每一层数据中的最大值fmax、最小值fmin，根据神经网络每一层数据中的最大值fmax、最小值fmin以及量化位宽计算出量化步长fstep，量化步长fstep计算公式为fstep＝(fmax-fmin)/256，再通过神经网络每一层数据的量化步长fstep以及最大值fmax与最小值fmin间的浮点值fdata计算获得该浮点值fdata对应的量化索引index，浮点值fdata对应的量化索引index计算公式为index＝(fdata-fmin)/fstep，其中神经网络每一层数据中量化位宽均为8bit，最终获得256个数据索引；
S5：通过对权值参数非线性量化以及神经网络每一层数据的量化索引，构造一个256x256快速计算的表，所述表中的水平方向0-255为步骤S4获得的数据索引，垂直方向0-255为步骤S3获得的权值参数索引，所述表中的值为数据索引和权值参数索引所对应的真实浮点值fdata相乘计算后的结果，并采用浮点数保存计算结果以最大化的保留了精度，根据步骤S3、S4对权值参数和浮点值fdata进行量化，即采用8bit的索引来表示权值参数和浮点值fdata真实的浮点值，反向则可以通过8bit的索引知道权值参数和浮点值fdata对应的真实值，并将对应真实值的乘积放入到表中，则完成了快速计算的表构造；
S6：根据权值参数索引定位查找表中对应的值，根据数据索引定位查找表中对应的值，针对查找到的值进行累积获得累积值，对累积值进行量化以作为下一层神经网络层的输入数据，实现了基于查表计算的高精度的神经网络，传统神经网中的前向计算本质就是将每一个数据和对应的权值参数进行相乘，然后对结果再进行累加输出，公式如下：输出数据＝输入数据1*权值参数1+输入数据2*权值参数2+…+输入数据n*权值参数n，本发明在前向计算过程中，采用查表可以快速实现神经网络的前向计算，采用表来替换其中的数据和权值参数乘法操作实现了前向计算过程的加速，同时表中存的都是高精度浮点数，所以运算过程中的精度高。
以上仅是本发明的优选实施方式，本发明的保护范围并不限于上述实施例，凡属于本发明思路下的技术方案均属于本发明保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于查表计算的高精度的神经网络工程化方法，其特征在于该方法包括如下步骤：
S1:基于原始的浮点网络模型，选取部分样本数据作为测试集输入的神经网络，对该神经网络从输入层到隐藏层再到输出层前向计算一遍，并将输出层获得的精度作为基准精度，根据实际需要设定精度损失门限值A，并设定稀疏率B作为下降的搜索步长；
S2：采用步骤S1中设定的搜索步长，将作为测试集输入的神经网络从输入层到隐藏层再到输出层正向完成一次稀疏率下调，以完成一次稀疏率下调后的神经网络作为输入，从该神经网络的输入层到隐藏层再到输出层前向计算一遍，并从输出层获得稀疏精度，将所述稀疏精度与基准精度进行比较，若精度损失小于设定的精度损失门限值A，则重复上述步骤，直至精度损失大于设定的精度损失门限值A；
S3:将完成稀疏化处理后的神经网络的权值参数聚类成256个不同的权值质心，将256个权值质心构成一个长度为256的质心队列，并且将每一个权值参数用一个8bit的索引来表明其对应的质心队列中的位置，获得256个权值参数索引；
S4：基于原始的浮点网络模型，以步骤S1中作为测试集输入的神经网络作为输入，分别统计神经网络每一层数据的数据范围，获得神经网络每一层数据中的最大值fmax、最小值fmin，根据神经网络每一层数据中的最大值fmax、最小值fmin以及量化位宽计算出量化步长fstep，再通过神经网络每一层数据的量化步长fstep以及最大值fmax与最小值fmin间的浮点值fdata计算获得该浮点值fdata对应的量化索引index，其中所述神经网络每一层数据中量化位宽均为8bit，获得256个数据索引；
S5：通过对权值参数非线性量化以及神经网络每一层数据的量化索引，构造一个256x256快速计算的表，所述表中的水平方向0-255为步骤S4获得的数据索引，垂直方向0-255为步骤S3获得的权值参数索引，所述表中的值为数据索引和权值参数索引所对应的真实浮点值相乘计算后的结果，并采用浮点数保存计算结果以最大化的保留了精度；
S6：根据权值参数索引定位查找快速计算表中对应的值，根据数据索引定位查找计算表中对应的值，针对查找到的值进行累积获得累积值，对累积值进行量化以作为下一层神经网络层的输入数据，实现了基于查表计算的高精度的神经网络。
2.根据权利要求1所述的一种基于查表计算的高精度的神经网络工程化方法，其特征在于：所述精度损失门限值A为0.05％-0.5％，所述稀疏率B为1％。
3.根据权利要求1所述的一种基于查表计算的高精度的神经网络工程化方法，其特征在于：步骤S4中采用Kmeans聚类算法将权值参数聚类成256个不同的权值质心。
4.根据权利要求1所述的一种基于查表计算的高精度的神经网络工程化方法，其特征在于：将步骤S3中每一个权值质心均采用高精度浮点表示以最大化的保留权值参数的精度。
5.根据权利要求1所述的一种基于查表计算的高精度的神经网络工程化方法，其特征在于：所述量化步长fstep计算公式为fstep＝(fmax-fmin)/256，所述浮点值fdata对应的量化索引index计算公式为index＝(fdata-fmin)/fstep。
CN201810668569.3A 2018-06-26 2018-06-26 一种基于查表计算的高精度的神经网络工程化方法 Active CN109146057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810668569.3A CN109146057B (zh) 2018-06-26 2018-06-26 一种基于查表计算的高精度的神经网络工程化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810668569.3A CN109146057B (zh) 2018-06-26 2018-06-26 一种基于查表计算的高精度的神经网络工程化方法

Publications (2)

Publication Number Publication Date
CN109146057A CN109146057A (zh) 2019-01-04
CN109146057B true CN109146057B (zh) 2020-12-08

Family

ID=64802178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810668569.3A Active CN109146057B (zh) 2018-06-26 2018-06-26 一种基于查表计算的高精度的神经网络工程化方法

Country Status (1)

Country Link
CN (1) CN109146057B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11507370B2 (en) 2018-02-13 2022-11-22 Cambricon (Xi'an) Semiconductor Co., Ltd. Method and device for dynamically adjusting decimal point positions in neural network computations
CN110162162B (zh) 2018-02-14 2023-08-18 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
WO2020001438A1 (zh) 2018-06-27 2020-01-02 上海寒武纪信息科技有限公司 片上代码断点调试方法、片上处理器及芯片断点调试系统
CN110728364B (zh) 2018-07-17 2024-12-17 上海寒武纪信息科技有限公司 一种运算装置和运算方法
CN112085192B (zh) 2019-06-12 2024-03-29 上海寒武纪信息科技有限公司 一种神经网络的量化参数确定方法及相关产品
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
EP4020329A4 (en) 2019-08-23 2023-07-05 Anhui Cambricon Information Technology Co., Ltd. DATA PROCESSING METHOD AND EQUIPMENT, COMPUTER EQUIPMENT AND STORAGE MEDIA
JP7146954B2 (ja) 2019-08-23 2022-10-04 安徽寒武紀信息科技有限公司 データ処理方法、装置、コンピュータデバイス、及び記憶媒体
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium
CN112434781B (zh) 2019-08-26 2024-09-10 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
WO2021036905A1 (zh) 2019-08-27 2021-03-04 安徽寒武纪信息科技有限公司 数据处理方法、装置、计算机设备和存储介质
US11615301B2 (en) * 2019-09-03 2023-03-28 Microsoft Technology Licensing, Llc Lossless exponent and lossy mantissa weight compression for training deep neural networks
CN113298843B (zh) 2020-02-24 2024-05-14 中科寒武纪科技股份有限公司 数据量化处理方法、装置、电子设备和存储介质
CN113408717B (zh) 2020-03-17 2025-09-09 安徽寒武纪信息科技有限公司 计算装置、方法、板卡和计算机可读存储介质
CN111860095A (zh) * 2020-03-23 2020-10-30 北京嘀嘀无限科技发展有限公司 一种状态检测模型训练方法及装置、状态检测方法及装置
CN111831354B (zh) * 2020-07-09 2023-05-16 北京灵汐科技有限公司 数据精度配置方法、装置、芯片、芯片阵列、设备及介质
WO2023004800A1 (zh) * 2021-07-30 2023-02-02 华为技术有限公司 神经网络后处理方法、装置、芯片、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071412A (zh) * 2006-05-10 2007-11-14 何千军 一种基于自定义模型的神经网络分析系统及方法
CN106650922A (zh) * 2016-09-29 2017-05-10 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN107665364A (zh) * 2016-07-28 2018-02-06 三星电子株式会社 神经网络方法和设备
CN107679618A (zh) * 2017-07-28 2018-02-09 北京深鉴科技有限公司 一种静态策略定点化训练方法及装置
CN107832847A (zh) * 2017-10-26 2018-03-23 北京大学 一种基于稀疏化后向传播训练的神经网络模型压缩方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621486B2 (en) * 2016-08-12 2020-04-14 Beijing Deephi Intelligent Technology Co., Ltd. Method for optimizing an artificial neural network (ANN)
US11321609B2 (en) * 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071412A (zh) * 2006-05-10 2007-11-14 何千军 一种基于自定义模型的神经网络分析系统及方法
CN107665364A (zh) * 2016-07-28 2018-02-06 三星电子株式会社 神经网络方法和设备
CN106650922A (zh) * 2016-09-29 2017-05-10 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN107679618A (zh) * 2017-07-28 2018-02-09 北京深鉴科技有限公司 一种静态策略定点化训练方法及装置
CN107832847A (zh) * 2017-10-26 2018-03-23 北京大学 一种基于稀疏化后向传播训练的神经网络模型压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于位量化的深度神经网络加速与压缩研究;牟帅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第06期);I138-1290 *
神经网络模型压缩方法综述;曹文龙 等;《计算机应用研究》;20180417(第3期);649-656 *

Also Published As

Publication number Publication date
CN109146057A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109146057B (zh) 一种基于查表计算的高精度的神经网络工程化方法
CN109711532B (zh) 一种针对硬件实现稀疏化卷积神经网络推断的加速方法
CN109102064B (zh) 一种高精度的神经网络量化压缩方法
US10467528B2 (en) Accelerated TR-L-BFGS algorithm for neural network
CN111507521A (zh) 台区电力负荷预测方法及预测装置
TWI737228B (zh) 基於記憶體內運算電路架構之量化方法及其系統
CN109726799A (zh) 一种深度神经网络的压缩方法
CN114022812A (zh) 一种基于轻量化SSD的DeepSort水面漂浮物多目标跟踪方法
CN108074015B (zh) 一种风电功率超短期预测方法及系统
CN114648170A (zh) 基于混合深度学习模型的水库水位预测预警方法及系统
CN113176518B (zh) 一种锂电池健康状态估算方法
CN110059822A (zh) 一种基于通道分组低比特神经网络参数压缩量化方法
CN111814973A (zh) 一种适用于神经常微分方程网络计算的存内计算系统
CN112488313A (zh) 一种基于显式权重的卷积神经网络模型压缩方法
CN112465140A (zh) 一种基于分组通道融合的卷积神经网络模型压缩方法
CN114444686A (zh) 一种卷积神经网络的模型参数量化方法、装置及相关装置
CN115564987A (zh) 一种基于元学习的图像分类模型的训练方法及应用
CN111292124A (zh) 一种基于优化组合神经网络的需水预测方法
CN114708639B (zh) 一种基于异构脉冲神经网络的人脸识别的fpga芯片
CN110110852B (zh) 一种深度学习网络移植到fpag平台的方法
CN108647184A (zh) 一种高精度动态比特位卷积乘法快速实现方法
CN115409161A (zh) 量化神经网络模型的片内执行方法、装置、设备及介质
CN115511056A (zh) 一种深度学习处理器性能测试与评价方法
CN110503182A (zh) 深度神经网络中的网络层运算方法及装置
CN112488291B (zh) 一种神经网络8比特量化压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 311400 4th floor, building 9, Yinhu innovation center, No. 9, Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

Address before: 311422 four floor, 9 floor, Silver Lake innovation centre, 9 Fu Fu Road, Fuyang Lake District, Hangzhou, Zhejiang.

Applicant before: HANGZHOU XIONGMAI INTEGRATED CIRCUIT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 311422 4th floor, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Xinmai Microelectronics Co.,Ltd.

Address before: 311400 4th floor, building 9, Yinhu innovation center, No.9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

CP03 Change of name, title or address