[go: up one dir, main page]

CN115586161A - 一种近红外光谱的s-g平滑插值、模型转移方法及装置 - Google Patents

一种近红外光谱的s-g平滑插值、模型转移方法及装置 Download PDF

Info

Publication number
CN115586161A
CN115586161A CN202211041256.8A CN202211041256A CN115586161A CN 115586161 A CN115586161 A CN 115586161A CN 202211041256 A CN202211041256 A CN 202211041256A CN 115586161 A CN115586161 A CN 115586161A
Authority
CN
China
Prior art keywords
spectrum
interpolation
host
submachine
wavelength point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211041256.8A
Other languages
English (en)
Inventor
王迪
冯伟华
赵乐
刘惠民
王锐
郭军伟
宗国浩
刘绍锋
王永胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Tobacco Research Institute of CNTC
Original Assignee
Zhengzhou Tobacco Research Institute of CNTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Tobacco Research Institute of CNTC filed Critical Zhengzhou Tobacco Research Institute of CNTC
Priority to CN202211041256.8A priority Critical patent/CN115586161A/zh
Publication of CN115586161A publication Critical patent/CN115586161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及一种近红外光谱的S‑G平滑插值、模型转移方法及装置，属于数据处理技术领域。插值方法为：获取主机及子机光谱数据；以设定的窗口大小、步长和多项式阶次，对子机光谱数据进行S‑G平滑处理，获得关于光谱点位置与吸光度关系的平滑多项式；每平滑一个步长，寻找与窗口内中心点最邻近的主机光谱点及其在子机光谱上的插值位置，将插值位置带入对应的平滑多项式中，得到对齐的子机光谱数据。模型转移方法为：利用上述插值方法获得与主机光谱数据对齐的子机光谱数据，然后进行模型转移。插值装置和模型转移装置均包括处理器及存储器，处理器分别对应实现上述插值方法和模型转移方法。本发明的插值结果及预测结果误差小，模型转移效率高。

Description

一种近红外光谱的S-G平滑插值、模型转移方法及装置
技术领域
本发明属于光谱数据处理技术领域，具体涉及一种近红外光谱的S-G平滑插值、模型转移方法及装置。
背景技术
近红外光谱分析技术是一种结合仪器科学、化学计量学等学科对样品定性或定量的二次分析技术，以无损、快速、无污染等优点而受到越来越多研究人员的青睐，已经在食品、药物、石油、农业及烟草等领域得到了广泛的应用。
为了提高近红外预测模型的适用性，往往通过模型转移方法将主机模型应用到子机仪器上以避免重复建模，常用的模型转移算法如截距/斜率校正(S/B)、光谱空间变换(SST)、直接标准化(DS)等均需要主机光谱与子机光谱对齐才能够计算。在日常分析过程中发现，即使是相同品牌的傅里叶近红外光谱仪，在更新换代之后，由于激光器的变化，导致其光谱成像波数不一致，造成模型转移算法失效，而插值方法作为有效解决这一类似问题的方法之一，常被用在模型转移前处理过程中，使得子机光谱与主机光谱变换一致后再进行模型转移。
插值是离散函数逼近的重要方法，利用它可通过函数在已知的有限点处取值，估算出函数在其他点处的近似值。已有研究中常用Zero、Slinear、Quadratic、Cubic、Nearest等插值方式对残缺数据进行补齐，这些插值方式都是以相应的插值函数求解原则求得插值多项式，从而可以代入插值点对数据进行处理。但是，这些方法并不能很好的考虑在求解插值多项式的过程中数据变化趋势对插值点的影响，导致插值点与原始点的平滑度不够，而光谱的插值对数据整体平滑性要求较高，大多数现有的插值方法往往忽略了这一点，因此在实际系统中表现一般。
虽然现有技术中采用了Savitzky-Golay(简称S-G)平滑方法对光谱数据进行平滑处理，但是均是对光谱数据先插值再平滑处理，基于该处理方式得到的光谱数据与原始光谱数据差异显著，且模型转移预测结果误差较大。
发明内容
本发明的目的是提供一种近红外光谱的S-G平滑插值、模型转移方法及装置，以解决现有的近红外光谱插值结果与原始光谱数据差异显著，且模型转移预测结果误差较大的问题。
本发明为解决上述技术问题而提供的近红外光谱的S-G平滑插值方法的技术方案为：该方法包括以下步骤：
1)获取样品的主机光谱数据以及子机光谱数据；
2)按照设定的滑动窗口大小、平滑步长和多项式的阶次，对滑动窗口内的子机光谱数据进行Savitzky-Golay平滑处理，获得滑动窗口内子机光谱数据对应的平滑多项式；所述平滑多项式为光谱波长点的位置与吸光度的关系式；
3)每平滑一个步长，根据滑动窗口内中心位置的光谱波长点的对应数值、各主机光谱波长点的对应数值，寻找与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点；
4)根据滑动窗口内中心位置的光谱波长点的对应数值及其位置、最邻近的主机光谱波长点的对应数值，获得最邻近的主机光谱波长点在子机光谱上的插值位置，将所述插值位置带入滑动窗口内子机光谱数据对应的平滑多项式中，从而得到与主机光谱数据对齐的子机光谱数据。
本发明的有益效果是：本发明的Savitzky-Golay平滑插值方法可以更好、更高效、更深入的对光谱进行平滑插值处理，子机光谱平滑处理后再插值的光谱与原始光谱能相对重合，且在多个组分的预测效果优于现有的插值方法，组分预测误差相对较小，模型预测能力较好,且计算流程清晰，原理简单，能够将平滑处理与插值分析集为一体、同步运算，减少了预处理环节的分析误差，提高了模型转移的工作效率。
进一步地，步骤3)中寻找与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点的方法为：令滑动窗口内中心位置的光谱波长点的对应数值分别与各主机光谱波长点的对应数值作差，比较各个差值的绝对值，绝对值最小的差值所对应的主机光谱波长点即为与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点。
进一步地，所述最邻近的主机光谱波长点在子机光谱上的插值位置的计算公式为：
x＝x′·m
其中，x为最邻近的主机光谱波长点在子机光谱上的插值位置，x′为滑动窗口内中心位置的光谱波长点的位置，m为滑动窗口内中心位置的光谱波长点的对应数值与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点的对应数值的比值。
进一步地，获取样品的主机光谱数据以及子机光谱数据后，对主机光谱数据以及子机光谱数据分别进行多元散射校正预处理。
本发明为解决上述技术问题而提供的基于S-G平滑插值的近红外模型转移方法的技术方案为：利用上述的近红外光谱的S-G平滑插值方法的技术方案得到与主机建模光谱数据对齐的待转移的子机光谱数据，利用与主机建模光谱数据对齐的待转移的子机光谱数据进行近红外模型转移。
本发明的有益效果是：本发明基于Savitzky-Golay平滑插值的近红外模型转移方法可以更好、更高效、更深入的对光谱进行平滑插值处理，子机光谱平滑处理后再插值的光谱与原始光谱能相对重合，且在多个组分的预测效果优于现有的插值方法，组分预测误差相对较小，模型预测能力较好,且计算流程清晰，原理简单，能够将平滑处理与插值分析集为一体、同步运算，减少了预处理环节的分析误差，提高了模型转移的工作效率。
进一步地，将与主机建模光谱数据对齐的待转移的子机光谱数据，利用光谱空间变换法进行主机向子机的近红外模型转移。
本发明为解决上述技术问题而提供的近红外光谱的S-G平滑插值装置的技术方案为：该装置包括处理器及存储器，所述处理器用于执行存储器中存储的实现上述的近红外光谱的S-G平滑插值方法的计算机程序。
本发明的有益效果是：本发明的近红外光谱的S-G平滑插值装置可以更好、更高效、更深入的对光谱进行平滑插值处理，子机光谱平滑处理后再插值的光谱与原始光谱能相对重合，且在多个组分的预测效果优于现有的插值方法，组分预测误差相对较小，模型预测能力较好,且计算流程清晰，原理简单，能够将平滑处理与插值分析集为一体、同步运算，减少了预处理环节的分析误差，提高了模型转移的工作效率。
本发明为解决上述技术问题而提供的基于S-G平滑插值的近红外模型转移装置的技术方案为：该装置包括处理器及存储器，所述处理器用于执行存储器中存储的上述的基于S-G平滑插值的近红外模型转移方法的计算机程序。
本发明的有益效果是：本发明基于Savitzky-Golay平滑插值的近红外模型转移装置可以更好、更高效、更深入的对光谱进行平滑插值处理，子机光谱平滑处理后再插值的光谱与原始光谱能相对重合，且在多个组分的预测效果优于现有的插值方法，组分预测误差相对较小，模型预测能力较好,且计算流程清晰，原理简单，能够将平滑处理与插值分析集为一体、同步运算，减少了预处理环节的分析误差，提高了模型转移的工作效率。
附图说明
图1是本发明实施例的基于Savitzky-Golay的平滑插值方法原理图；
图2是本发明实施例的基于Savitzky-Golay的平滑插值方法与其他的插值方法的光谱对比图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步地说明。
本发明的近红外光谱的S-G平滑插值方法实施例。
本实施例的近红外光谱的S-G平滑插值方法的技术构思在于：当实现子机光谱数据与主机光谱数据对齐时，基于Savitzky-Golay(简称为S-G)平滑处理方法，对子机光谱数据先进行平滑处理，在对子机光谱数据的平滑处理过程中根据主机光谱数据进行子机光谱数据的插值处理，从而得到一种基于Savitzky-Golay平滑插值(简称SG-Inter)的处理方法。由于光谱的平滑过程已经对原始光谱数据进行降噪处理，所以插值方法能够在此基础上充分获取到数据点前后的变化趋势，更易于寻找插值函数多项式使子机光谱与主机光谱对齐，进而提高转移效果。而且，能够将平滑处理与插值分析集为一体、同步运算，减少了预处理环节的分析误差，提高了模型转移的工作效率。
近红外光谱的S-G平滑插值方法具体包括以下步骤：
1)获取样品的主机光谱数据以及子机光谱数据；
2)按照设定的滑动窗口大小、平滑步长和多项式的阶次，对滑动窗口内的子机光谱数据进行Savitzky-Golay平滑处理，获得滑动窗口内子机光谱数据对应的平滑多项式；所述平滑多项式为光谱波长点的位置与吸光度的关系式；
3)每平滑一个步长，根据滑动窗口内中心位置的光谱波长点的对应数值、各主机光谱波长点的对应数值，寻找与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点；
4)根据滑动窗口内中心位置的光谱波长点的对应数值及其位置、最邻近的主机光谱波长点的对应数值，获得最邻近的主机光谱波长点在子机光谱上的插值位置，将所述插值位置带入滑动窗口内子机光谱数据对应的平滑多项式中，从而得到与主机光谱数据对齐的子机光谱数据。
下面对上述各个步骤作进一步解释说明：
1、获取样品的主机光谱数据以及子机光谱数据。
对于获取到的样品，分别在主机、子机不同仪器上扫描得到近红外光谱，包含波长及对应的吸光度。所以，得到了主机的光谱数据和子机的光谱数据。其中样品类型可以为烟叶、大豆、玉米、小麦等等作物。
为了减少误差，在获得主机的光谱数据和子机光谱数据之后，对主机光谱数据和子机光谱数据分别进行预处理，当然作为其他实施方式也可以不进行预处理。
预处理过程包括以下步骤：
A)分别计算所有样品的主机和子机的近红外光谱的平均光谱，将其作为标准光谱，平均光谱的计算公式为：
Figure BDA0003820441210000061
其中，
Figure BDA0003820441210000062
为所有样品的平均光谱，Si,j为第i个样品的光谱，n为样品数量，i＝1,2,…,n。
B)将每个样品的子机和主机光谱都与各自对应的标准光谱进行一元线性回归运算，求得各光谱相对于标准光谱的回归系数与常数，线性回归计算公式为：
Figure BDA0003820441210000063
其中，mi、bi为回归系数。
C)利用该回归方程(2)对原始光谱进行多元散射校正，得到校正后光谱：
Figure BDA0003820441210000064
除了上述预处理方法外，可以采用其他预处理方式，如SNV(变量标准化)、OSC(正交信号校正)、WT(小波变换)。
2、对子机光谱数据进行Savitzky-Golay平滑插值处理，使其与主机光谱对齐。
首先，介绍一下Savitzky-Golay平滑方法。
a)平滑预处理方法Savitzky-Golay，其作为一种卷积滑动窗口的加权平均算法，设滑动窗口的宽度为w＝2i+1，窗口内数据点为p(x)，x的取值为[-i,…,0,…,i]，对于窗口内的数据，构造一个n阶多项式进行拟合得到F(x)表达式，如下：
Figure BDA0003820441210000071
其中，[cn0,cn1,cn2,…,cnn]T表示平滑多项式的系数，经过最小二乘拟合，得到残差E表达式，如下：
Figure BDA0003820441210000072
b)目标使残差E趋于最小，将上述表达式E中各项系数导数εz分别置为0，z＝(0,1,2,3...n)，得到表达式如下：
Figure BDA0003820441210000073
c)化简得到表达式如下：
Figure BDA0003820441210000074
其次，基于Savitzky-Golay平滑方法，对滑动窗口内的子机光谱数据进行Savitzky-Golay平滑处理，获得滑动窗口内中心位置的光谱波长点对应的平滑多项式的过程为：
设定好滑动窗口的大小w＝2i+1、平滑阶数及多项式阶数，然后将待拟合窗口内的数据[p(-i),…,p(0),…,p(i)]带入上述公式(7)中，可求得多项式系数列表[cn0,cn1,cn2,…,cnn]T，从而得到了窗口内的光谱数据对应的平滑多项式F(x)。其中p(0)为滑动窗口内的中心位置处的子机光谱波长点。
然后，寻找与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点。寻找与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点具有多种方式，如，令滑动窗口内中心位置的光谱波长点的对应数值分别与各主机光谱波长点的对应数值作差，比较各个差值的绝对值，绝对值最小的差值所对应的主机光谱波长点即为与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点。
或者，分别计算滑动窗口内中心位置的光谱波长点的对应数值与各个主机光谱波长点的对应数值的比值，比较各个比值，从各个比值中选择出最接近1的比值，将最接近1的比值对应的主机光谱波长点作为与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点。
接着，获得最邻近的主机光谱波长点在子机光谱上的插值位置，具体公式是：
x＝x′·m (8)
其中，x为最邻近的主机光谱波长点在子机光谱上的插值位置，x′为滑动窗口内中心位置的光谱波长点的位置，m为滑动窗口内中心位置的光谱波长点的对应数值与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点的对应数值的比值。
最后，将计算得到的最邻近的主机光谱波长点在子机光谱上的插值位置带入到上述计算得到的滑动窗口内子机光谱数据对应的平滑多项式F(x)中，计算出子机光谱上插值点的光谱数据。
如此，滑动窗口每平滑一次，进行一次Savitzky-Golay平滑处理，获得一个平滑多项式，进行一次插值处理，最终实现了子机光谱数据与主机光谱数据的对齐。所以，本实施例将Savitzky-Golay平滑过程与插值过程结合在一起，实现了边平滑边插值处理的同步运算，减少了预处理环节的分析误差。而且该Savitzky-Golay平滑插值过程计算流程清晰，原理简单，平滑插值后的子机光谱与原始光谱能相对重合，组分预测误差相对较小。
本发明的基于S-G平滑插值的近红外模型转移方法的实施例。
该方法包括以下步骤：
1)获取样品的主机建模光谱数据以及待转移的子机光谱数据；
2)按照设定的滑动窗口大小、平滑步长和多项式的阶次，对滑动窗口内的子机光谱数据进行Savitzky-Golay平滑处理，获得滑动窗口内子机光谱数据对应的平滑多项式；所述平滑多项式为光谱波长点的位置与吸光度的关系式；
3)每平滑一个步长，根据滑动窗口内中心位置的光谱波长点的对应数值、各主机建模光谱波长点的对应数值，寻找与滑动窗口内中心位置的光谱波长点最邻近的主机建模光谱波长点；
4)根据滑动窗口内中心位置的光谱波长点的对应数值及其位置、最邻近的主机建模光谱波长点的对应数值，获得最邻近的主机建模光谱波长点在子机光谱上的插值位置，将所述插值位置带入滑动窗口内子机光谱数据对应的平滑多项式中，从而得到与主机建模光谱数据对齐的待转移的子机光谱数据。
5)利用与主机建模光谱数据对齐的待转移的子机光谱数据进行近红外模型转移。
其中，步骤1)～4)中的优选的实施过程参见上述近红外光谱的S-G平滑插值方法实施例中第1、2两部分，这里不在详细说明。下面详细介绍将S-G平滑插值后的子机光谱数据进行模型转移及预测的具体实施过程。
本实施例优选光谱空间变换法(SST)进行模型转移及预测，当然还可以采用其他模型转移方法，如截距/斜率校正(S/B)、直接标准化(DS)、典型相关分析法(CCA)等。
利用光谱空间变换法(SST)进行模型转移及预测的实现过程包括以下步骤：
Ⅰ)将主机光谱与子机光谱进行奇异值分解(SVD)得到结果X，获取到光谱的有效化学数目基本信息与光谱噪声的响应因子。
Ⅱ)根据Beer-Lambert定律，利用浓度矩阵与光谱矩阵的相应关系，求得子机光谱在主机仪器上的对应光谱差值。
Ⅲ)利用主机近红外模型对子机光谱利用差值表达式变换到主机仪器上的光谱进行化学成分预测。
本发明的近红外光谱的S-G平滑插值装置实施例。
近红外光谱的S-G平滑插值装置包括处理器及存储器，所述处理器用于执行存储器中存储的实现近红外光谱的S-G平滑插值方法的计算机程序。近红外光谱的S-G平滑插值方法见上述的近红外光谱的S-G平滑插值方法实施例，这里不在详细说明。
本发明的基于S-G平滑插值的近红外模型转移装置
基于S-G平滑插值的近红外模型转移装置包括处理器及存储器，所述处理器用于执行存储器中存储的实现基于S-G平滑插值的近红外模型转移方法的计算机程序。基于S-G平滑插值的近红外模型转移方法见上述的基于S-G平滑插值的近红外模型转移方法实施例，这里不在详细说明。
下面以烟叶样品为例对本发明的SG-Inter方法及模型转移方法的技术方案作进一步说明。
一、光谱数据的采集。
利用主机MPA(1代)和子机TANGO(2代)光谱仪(德国Bruker公司)对全国各工业公司初烤烟叶样品200个代表性烟叶进行光谱扫描，获取得到主机建模光谱和子机待转移光谱数据。
二、主机建模光谱和子机待转移光谱数据按照多元散射校正方式进行预处理。
三、对预处理后的子机光谱数据进行S-G平滑插值处理(简称SG-Inter)。
根据Savitzky-Golay平滑方法，选定窗口大小后，确定多项式次数及导数阶数，求得窗口内的光谱数据平滑多项式并插值处理。如图1所示，假设平滑窗口w＝5，每次求解窗口内第w/2＝3位置处的平滑多项式(图1中实心圆点作为主机原始信号点，空心圆点作为子机待插值信号点，实心方点作为子机待插值信号点的最邻近的主机原始信号点)，随着卷积核窗口以步长为1向前平移，Savitzky-Golay平滑方法将重新拟合卷积核窗口平移后的平滑多项式，并求得窗口中心点所在位置的平滑后数值。
四、将平滑插值后的子机光谱数据进行空间变换，为模型转移做准备。
对同一组标准样品的主机光谱与子机光谱进行奇异值分解(SVD)处理，获取得到能够代表光谱主要信息的向量和仪器噪声响应因子。随后根据Beer-Lambert定律，将奇异值分解结果转化为所有化学成分的浓度与纯光谱矩阵表达式，从而可以得到主机与子机光谱数据差的矩阵表达式，最后利用主机模型对子机光谱进行化学成分预测。
五、对光谱插值后的形态变化分析与主要化学组分预测评估。
以MPA(1代)扫描的标准样品光谱为主机光谱，MPA(2代)扫描的标准样品光谱为子机光谱，将子机光谱进行平滑求导后插值处理，使得子机光谱波数与主机光谱波数对齐，处理后得到与原始光谱平滑后的光谱结果对比图，随后按照光谱空间变换方法(SST)将对齐后的子机光谱转移至主机光谱，通过调用主机模型预测转移后的子机光谱，最终得到待测化学组分的预测结果后进行统计。
下面将本发明的S-G平滑插值方法获得的子机光谱数据与其他方法处理后得到的子机光谱数据进行对比分析。
其他方法为：先将子机光谱数据经过SG平滑，然后分别利用Zero、Slinear、Quadratic、Cubic、Nearest五种插值方法对平滑后的子机光谱进行插值。
如图2所示，经过对比分析后发现，先S-G平滑再插值所得到的子机光谱与平滑后的子机原始光谱能够基本重合，所以，平滑后再插值可以解决子机光谱与主机光谱无法对齐而导致的模型转移问题。由于光谱的平滑过程已经对原始数据进行降噪处理，结合谱图变化，从光谱形态变化的角度分析后不难发现，插值方法能够在此基础上充分获取到数据点前后的变化趋势，更易于寻找插值函数多项式使子机光谱与主机光谱对齐。因此，先平滑再插值的效果要优于先插值再平滑的效果，并有效支撑模型转移及化学成分定量预测工作。
进一步分析发现，将光谱吸收峰的光谱局部放大后，经过Cubic、Quadratic及SG-Inter插值方法处理后的数据能够更好地与原始光谱相重合，而其他几类方法如Zero、Nearest等都存在较为明显的波动。
使用基于Savitzky-Golay平滑的插值方法(SG-Inter)对光谱处理后，对子机光谱进行模型转移及组分预测，为了更进一步的展示本发明在烟草近红外光谱不同仪器之间的模型转移效果的提升，本发明方法与日常研究中常用Zero、Slinear、Quadratic、Cubic、Nearest等插值方法处理后的模型转移效果进行比较，实验内容及实验结果如表1所示：
表1光谱平滑后再插值下的RMSE、R2、RPD对比表
Figure BDA0003820441210000121
Figure BDA0003820441210000131
从表1可以看出，对于总糖和氯2个组分，SG-Inter插值处理的光谱预测误差明显优于其他插值方法处理的光谱预测误差，对于总植物碱、总氮、钾、还原糖4个组分，无论是基于平滑后再Cubic、Quadratic等插值方法还是S-G平滑插值(SG-Inter)的模型转移预测误差RMSE都较低且差别不大，但基于Zero插值方法的6个组分模型转移预测结果相对不稳定且误差较大。综合来看，虽然与主机模型相比，这6个组分的子机模型预测RMSE均大于主机模型交叉验证的RMSE，外部验证误差稍大于主机模型内部交叉验证误差还是可以被理解，但仍然有提升的空间，而对于总植物碱、总糖、总氮、还原糖4个组分，SG-Inter插值和Nearest、Cubic、Quadratic等插值方法处理后的光谱整体上模型预测能力与主机模型相当且差距不大，都较为良好，但对于氯、钾2个组分，与主机模型的R2相比仍然存在一定较大，仍有进一步优化和改善的空间。对于指标RPD，通常认为,若RPD＜1.4，表明所建模型预测结果不可靠，若1.4＜RPD＜2.0，表明模型的预测结果可以接受，若RPD＞2.0，则表明模型的预测准确性很高,能够用于模型分析，从表1整体来看，基于Cubic、Quadratic等非线性插值方法处理后的各组分预测结果要比其他插值后预测效果要好，模型相对分析误差RPD均大于1.4，在可接受范围之内，但相对主机模型的预测性能仍有差距，还需进一步研究和完善。
综上所述，虽然使用插值方法能够在一定程度上解决子机光谱与主机光谱波数及波长点不一致而导致模型转移中主机模型失效的问题，子机光谱直接插值后与原始光谱能相对重合，但平滑处理后的光谱差异显著，且模型转移预测结果误差较大。然而，子机光谱平滑处理后再插值的光谱与原始光谱能相对重合，且模型转移预测效果良好。而且，Savitzky-Golay平滑插值方法(SG-Inter)在多个组分的预测效果略优于Cubic、Quadratic、Slinear等插值方法，组分预测误差相对较小，模型预测能力较好,且计算流程清晰，原理简单，能够将平滑处理与插值分析集为一体、同步运算，减少了预处理环节的分析误差，提高了模型转移的工作效率。

Claims (8)

1.一种近红外光谱的S-G平滑插值方法，其特征在于，该方法包括以下步骤：
1)获取样品的主机光谱数据以及子机光谱数据；
2)按照设定的滑动窗口大小、平滑步长和多项式的阶次，对滑动窗口内的子机光谱数据进行Savitzky-Golay平滑处理，获得滑动窗口内子机光谱数据对应的平滑多项式；所述平滑多项式为光谱波长点的位置与吸光度的关系式；
3)每平滑一个步长，根据滑动窗口内中心位置的光谱波长点的对应数值、各主机光谱波长点的对应数值，寻找与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点；
4)根据滑动窗口内中心位置的光谱波长点的对应数值及其位置、最邻近的主机光谱波长点的对应数值，获得最邻近的主机光谱波长点在子机光谱上的插值位置，将所述插值位置带入滑动窗口内子机光谱数据对应的平滑多项式中，从而得到与主机光谱数据对齐的子机光谱数据。
2.根据权利要求1所述的近红外光谱的S-G平滑插值方法，其特征在于，步骤3)中寻找与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点的方法为：令滑动窗口内中心位置的光谱波长点的对应数值分别与各主机光谱波长点的对应数值作差，比较各个差值的绝对值，绝对值最小的差值所对应的主机光谱波长点即为与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点。
3.根据权利要求1所述的近红外光谱的S-G平滑插值方法，其特征在于，所述最邻近的主机光谱波长点在子机光谱上的插值位置的计算公式为：
x＝x′·m
其中，x为最邻近的主机光谱波长点在子机光谱上的插值位置，x′为滑动窗口内中心位置的光谱波长点的位置，m为滑动窗口内中心位置的光谱波长点的对应数值与滑动窗口内中心位置的光谱波长点最邻近的主机光谱波长点的对应数值的比值。
4.根据权利要求1～3任意一项所述的近红外光谱的S-G平滑插值方法，其特征在于，步骤1)中，获取样品的主机光谱数据以及子机光谱数据后，对主机光谱数据以及子机光谱数据分别进行多元散射校正处理。
5.一种基于S-G平滑插值的近红外模型转移方法，其特征在于，该方法为：采用权利要求1～4任意一项所述的近红外光谱的S-G平滑插值方法得到与主机建模光谱数据对齐的待转移的子机光谱数据，利用与主机建模光谱数据对齐的待转移的子机光谱数据进行近红外模型转移。
6.根据权利要求5所述的基于S-G平滑插值的近红外模型转移方法，其特征在于，将与主机建模光谱数据对齐的待转移的子机光谱数据，利用光谱空间变换法进行主机向子机的近红外模型转移。
7.一种近红外光谱的S-G平滑插值装置，其特征在于，该装置包括处理器及存储器，所述处理器用于执行存储器中存储的实现权利要求1～4任意一项所述的近红外光谱的S-G平滑插值方法的计算机程序。
8.一种基于S-G平滑插值的近红外模型转移装置，其特征在于，该装置包括处理器及存储器，所述处理器用于执行存储器中存储的实现权利要求5或6所述的基于S-G平滑插值的近红外模型转移方法的计算机程序。
CN202211041256.8A 2022-08-29 2022-08-29 一种近红外光谱的s-g平滑插值、模型转移方法及装置 Pending CN115586161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211041256.8A CN115586161A (zh) 2022-08-29 2022-08-29 一种近红外光谱的s-g平滑插值、模型转移方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211041256.8A CN115586161A (zh) 2022-08-29 2022-08-29 一种近红外光谱的s-g平滑插值、模型转移方法及装置

Publications (1)

Publication Number Publication Date
CN115586161A true CN115586161A (zh) 2023-01-10

Family

ID=84772004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211041256.8A Pending CN115586161A (zh) 2022-08-29 2022-08-29 一种近红外光谱的s-g平滑插值、模型转移方法及装置

Country Status (1)

Country Link
CN (1) CN115586161A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012302A (zh) * 2023-07-26 2023-11-07 徐州光引科技发展有限公司 一种光谱模型传递方法、电子设备及可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105628645A (zh) * 2015-12-28 2016-06-01 贵州中烟工业有限责任公司 一种近红外分析模型的转移方法
CN109374575A (zh) * 2018-12-20 2019-02-22 中国烟草总公司郑州烟草研究院 一种基于近红外光谱分析技术的烤烟烟叶底色的鉴别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105628645A (zh) * 2015-12-28 2016-06-01 贵州中烟工业有限责任公司 一种近红外分析模型的转移方法
CN109374575A (zh) * 2018-12-20 2019-02-22 中国烟草总公司郑州烟草研究院 一种基于近红外光谱分析技术的烤烟烟叶底色的鉴别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王迪等: "基于Savitzky-Golay平滑插值的烟草近红外光谱模型转移", 《烟草科技》, vol. 55, no. 8, 20 August 2020 (2020-08-20), pages 41 - 48 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012302A (zh) * 2023-07-26 2023-11-07 徐州光引科技发展有限公司 一种光谱模型传递方法、电子设备及可读介质

Similar Documents

Publication Publication Date Title
CN105628645B (zh) 一种近红外分析模型的转移方法
CN104089911B (zh) 基于一元线性回归的光谱模型传递方法
CN101473197B (zh) 制造多维校准模型的方法
Tavakoli et al. Predicting key soil properties from Vis-NIR spectra by applying dual-wavelength indices transformations and stacking machine learning approaches
US12517045B2 (en) Systems and methods for predicting sample properties based on spectral measurements
CN105158200B (zh) 一种提高近红外光谱定性分析准确度的建模方法
CN111563436B (zh) 一种基于ct-cdd的红外光谱测量仪器标定迁移方法
CN102313712B (zh) 一种纤维类物料不同分光方式近红外光谱差异的校正方法
CN107389592B (zh) 一种复杂样品光谱信号选择性集成预处理建模方法
Stevens et al. Package ‘prospectr’
CN113762208A (zh) 一种近红外光谱与特征图谱的图谱转换方法及其应用
CN112903625A (zh) 基于偏最小二乘法分析药物中活性物质含量的集成参数优化建模方法
CN119354911A (zh) 基于红外光谱橡胶助剂成分分析与质量控制方法及其系统
Chen et al. Calibration transfer for near-infrared (NIR) spectroscopy based on neighborhood preserving embedding
CN115586161A (zh) 一种近红外光谱的s-g平滑插值、模型转移方法及装置
Zhou et al. A rapid determination of wheat flours components based on near infrared spectroscopy and chemometrics
CN120108578A (zh) 基于ai的化学材料检测信息库检索与标准谱比对系统
Tang et al. Estimation of SOC using VNIR and MIR hyperspectral data based on spectral-to-image transforming and multi-channel CNN
CN106018331A (zh) 多通道光谱系统的稳定性评价方法及预处理优化方法
CN113970531B (zh) 一种校正光谱的方法
CN114018856B (zh) 光谱校正方法
Tan et al. Calibration transfer between two near-infrared spectrometers based on a wavelet packet transform
CN114036456B (zh) 一种定量评估绝缘纸聚合度的光谱模型传递方法及系统
CN116011572B (zh) 具有更新机制的乌醋溶液中乌洛托品浓度预测方法
Kumar Discrete wavelet transform (DWT) assisted partial least square (PLS) analysis of excitation-emission matrix fluorescence (EEMF) spectroscopic data sets: Improving the quantification accuracy of EEMF technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20230110