[go: up one dir, main page]

CN108846314A - 一种基于深度学习的食材辨识系统和食材辨识方法 - Google Patents

一种基于深度学习的食材辨识系统和食材辨识方法 Download PDF

Info

Publication number
CN108846314A
CN108846314A CN201810432216.3A CN201810432216A CN108846314A CN 108846314 A CN108846314 A CN 108846314A CN 201810432216 A CN201810432216 A CN 201810432216A CN 108846314 A CN108846314 A CN 108846314A
Authority
CN
China
Prior art keywords
food materials
image
index
food
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810432216.3A
Other languages
English (en)
Inventor
高忠科
党伟东
常传泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Keyuan Technology Co ltd
Tianjin University
Original Assignee
Tianjin Keyuan Technology Co ltd
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Keyuan Technology Co ltd, Tianjin University filed Critical Tianjin Keyuan Technology Co ltd
Priority to CN201810432216.3A priority Critical patent/CN108846314A/zh
Publication of CN108846314A publication Critical patent/CN108846314A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的食材辨识系统和食材辨识方法，还涉及一种基于深度学习的食材图像识别模块的构建方法，其中所述食材图像识别模块的构建方法包括：获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库；构建初始深度学习网络模型，包括对网络结构以及网络参数的初始化；将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。本发明将基于深度学习的图像识别方法用于食材识别，采用深度学习算法对食材数据进行训练分析，能够实现尽可能精确的食材辨识。

Description

一种基于深度学习的食材辨识系统和食材辨识方法
技术领域
本发明涉及一种食材辨识系统和食材辨识方法，以及基于深度学习的食材图像识别模块的构建方法和所述食材图像识别模块在智能冰箱中的应用。
背景技术
深度学习作为一种新兴的机器学习方法，其特征在于模拟人脑关于认知的结构，不断提取样本特征，进而抽象出样本的属性特征。通过数据驱动，可找寻大量样本的内在联系，进而解决一类问题。其在语音识别、图像识别和自然语言处理三个领域中，对于图像的处理是深度学习最早尝试的领域。随着各机构组织研究人员的不懈努力和计算机处理数据能力的不断提高，深度学习算法的模型层次不断加深，结构日趋复杂，在图像识别上对识别效果的提升最为显著。从传统的CNN，到后来的DPM、RCNN，再到现如今AlexNet、GoogLeNet、ResNet等，许多网络结构都能在不同程度上实现对图像的准确识别。如今图像识别已经成为一项较为成熟的技术，在网络搜索、军事、医疗、安防、智能家居等领域均有广泛应用。
智能家居提高了人们的生活质量、工作效率，体现了科技性和人性化。作为智能家居系统中不可或缺的一部分，智能冰箱与人们的生活息息相关。在传统冰箱的使用中，食材管理成为一直困扰家家户户的问题，靠里面放置的食材时常因为用户看不到而变质，长此以往将很严重的浪费。通过智能冰箱实现对食材的自主识别，并搭建服务器实现食材管理，是实现健康饮食的关键一步。。
发明内容
针对现有技术问题中的一种或多种，在本发明的一个方面，本发明提供一种基于深度学习的食材图像识别模块的构建方法，包括：
(1)获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库；
(2)构建初始深度学习网络模型；
(3)将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。
根据本发明的一个方面，所述步骤(2)中，初始深度学习网络模型采用Mask RCNN网络模型，所述Mask RCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分，优选地，
所述VGG部分用于接受图像输入，通过卷积、池化过程产生特征图谱输出，其结构式如下：
input->[conv_1*α->max_pool]*β->[conv_1*λ->conv_2->max_pool]*γ->fmap式中，input表示输入，conv_1表示卷积层，卷积核大小为3*3，max_pool表示最大池化，conv_2表示卷积层，卷积核大小为1*1，fmap为VGG网络的特征图谱输出，其中α、β、λ和γ为特定结构的重复次数，均为整数，且满足：α>0，优选α＝2；β>0，优选β＝2；λ>0，优选λ＝2；γ>0，优选γ＝2；
所述RPN部分用于接受VGG产生的特征图谱，采用不同大小的滑窗生成特征向量，然后通过分类核、区域核产生分类图谱、区域界定图谱，用于后续内容分类与区域界定，结构式如下：
式中，a_box表示滑窗，可视为一种步长为1的卷积核，rpn_out表示输出的特征向量，cls_kernel表示分类核，reg_kernel表示区域核，二者本质上均为卷积核，cls_out为分类特征图谱，reg_out为区域界定特征图谱；
所述ROIAlign部分用于接受RPN部分的区域界定，利用双线性插值计算对应于原图的当前特征图中的像素点输出，计算公式如下：
式中，x1,y1为原图中像素点坐标，x2,y2为当前特征图中像素点坐标，X,Y为原图大小，x,y为当前特征图大小；
所述卷积输出部分包括卷积部分CONV和输出部分，所述卷积部分CONV包括FastRCNN模型和FCN模型，所述输出部分包括分类输出、区域界定输出和图像分割输出。
根据本发明的一个方面，所述步骤(2)中构建初始深度学习网络模型的方法为：获取公开的用于图像识别的已训练RPN模型和已训练Fast RCNN模型作为初始深度学习网络模型。
根据本发明的一个方面，所述步骤(3)具体操作方法为：
将所述食材图像数据库中的食材图像分为训练样本和测试样本，优选地，所述训练样本为所述食材图像数据库中食材图像的80％，其余20％食材图像作为测试样本；
将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练Fast RCNN模型再次进行训练，获得进一步训练的Fast RCNN模型，通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与bounding box，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，获得基于Mask RCNN网络模型的食材识别模块。
根据本发明的一个方面，所述训练过程中使用的损失函数表达式为：
L＝Lcls+Lreg+Lmask，
其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，
式中，
其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值，为groundtruth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；
其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量，R是Smooth L1函数，其计算公式为
图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：
Lmask(cls_k)＝Sigmoid(cls_k)
其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算。
根据本发明的一个方面，所述优化模型结构与参数的具体操作方法为：
确定模型结构中的超参数数量及其取值范围，构成参数空间；
在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；
把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置。
根据本发明的一个方面，所述细菌觅食优化算法的具体方法为：
初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；
计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中
J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))
其中，JCC(·)为趋化函数，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引，θi(·)代表第i个细菌在参数空间中的表示，P(·)代表除θi(·)外其余细菌在参数空间中的表示；
细菌按某方向向量移动：
其中，θi(·)是第i个细菌在参数空间中的表示，j,k,l分别是趋化索引、复制索引、消除扩散索引，C(i)是随机方向上的步长大小，△(i)表示参数空间θ中的随机方向向量；
计算移动后的适应值函数J(i,j+1,k,l)，判断Jlast与J(i,j+1,k,l)，做如下代换：
Jlast＝min{J(i,j+1,k,l),Jlast}
并将游动次数迭代值m加1，其中，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
细菌进行NS次游动后，切换至下一细菌游动，同时菌群判断数i加1；菌群全部完成游动后，菌群判断数i重置为0，并进行一次趋化，趋化计数值j加1，菌群进行下一组游动；趋化表示菌群中优良个体对其他个体的吸引及速度更新，该过程描述如下：
其中，Jcc(θ,P(j,k,l))表示趋化函数，S是细菌总数，p是该优化过程变量数量，表现在单个细菌中，有θ＝[θ1,θ2,...,θm,...,θp]T，是参数空间中一点，dattractant wattractant,hreprllant,wrepellant是描述系数，θ是细菌群中优良个体，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
菌群完成Nc次趋化后，趋化计数值j重置为0，并进行一次复制，复制计数值k加1，菌群进行下一组趋化；复制表示健康的细菌分裂成两个子细菌，停留在原来搜索空间位置；和
菌群完成Nre次复制后，复制计数值k重置为0，并进行一次消除扩散，消除扩散计数值l加1，菌群进行下一组复制；菌群完成Ned次消除扩散后算法结束，得到最优参数向量输出；消除扩散表示以消除扩散概率Ped去除细菌群中的某些细菌，达到选择作用，同时以消除扩散概率Ped把细菌群中的某些细菌分散到整个搜索空间中，避免陷入局部最优解。
根据本发明的一个方面，所述步骤(1)中，所述食材信息包括食材的颜色、类别、体积和数量。
在本发明的另一方面，提供一种基于深度学习的食材辨识系统，包括：
图像采集设备，用于获取食材图像；
食材图像识别模块，与所述图像采集设备连接，所述食材图像识别模块基于深度学习网络模型，用于根据所获取的食材图像进行食材识别，确定食材信息；和
用户界面，与所述食材图像识别模块连接，用于接收并显示食材图像识别模块所识别确定的食材信息。
根据本发明的一个方面，所述基于深度学习的食材辨识系统还包括与食材图像识别模块连接的食材数据库；优选地，所述食材数据库包括食材的热量和营养元素数据，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒中的一种或多种。
根据本发明的一个方面，所述食材图像识别模块包括基于深度学习的食材辨识应用程序接口。
根据本发明的一个方面，所述深度学习网络模型包括深度卷积神经网络模型及深度卷积神经网络模型的变形和改进、递归神经网络模型及递归神经网络模型的变形和改进、生成对抗网络模型及生成对抗网络模型的变形和改进。
根据本发明的一个方面，所述食材图像识别模块是基于Mask RCNN网络模型经训练而成，具体为：
获取大量食材图像，根据食材信息对所述食材图像设定标签，构建带标签的食材图像数据库，优选地，其中80％数据库作为训练样本，剩余20％数据库作为测试样本；
获取公开的用于图像识别的已训练RPN模型和已训练Fast RCNN模型作为初始深度学习网络模型；
将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练Fast RCNN模型再次进行训练，获得进一步训练的Fast RCNN模型，通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与bounding box，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，得到基于Mask RCNN网络模型的食材图像识别模块。
根据本发明的一个方面，所述训练过程中使用的损失函数表达式为：
L＝Lcls+Lreg+Lmask，
其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，
式中，
其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值，为groundtruth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；
其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量，R是Smooth L1函数，其计算公式为
图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：
Lmask(cls_k)＝Sigmoid(cls_k)
其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算。
根据本发明的一个方面，所述优化模型结构与参数的具体操作方法为：
确定模型结构中的超参数数量及其取值范围，构成参数空间；
在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；
把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置。
根据本发明的一个方面，所述细菌觅食优化算法的具体方法为：
初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；
计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中
J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))
其中，JCC(·)为趋化函数，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引，θi(·)代表第i个细菌在参数空间中的表示，P(·)代表除θi(·)外其余细菌在参数空间中的表示；
细菌按某方向向量移动：
其中，θi(·)是第i个细菌在参数空间中的表示，j,k,l分别是趋化索引、复制索引、消除扩散索引，C(i)是随机方向上的步长大小，△(i)表示参数空间θ中的随机方向向量；
计算移动后的适应值函数J(i,j+1,k,l)，判断Jlast与J(i,j+1,k,l)，做如下代换：
Jlast＝min{J(i,j+1,k,l),Jlast}
并将游动次数迭代值m加1，其中，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
细菌进行NS次游动后，切换至下一细菌游动，同时菌群判断数i加1；菌群全部完成游动后，菌群判断数i重置为0，并进行一次趋化，趋化计数值j加1，菌群进行下一组游动；趋化表示菌群中优良个体对其他个体的吸引及速度更新，该过程描述如下：
其中，Jcc(θ,P(j,k,l))表示趋化函数，S是细菌总数，p是该优化过程变量数量，表现在单个细菌中，有θ＝[θ1,θ2,...,θm,...,θp]T，是参数空间中一点，dattractant wattractant,hreprllant,wrepellant是描述系数，θ是细菌群中优良个体，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
菌群完成Nc次趋化后，趋化计数值j重置为0，并进行一次复制，复制计数值k加1，菌群进行下一组趋化；复制表示健康的细菌分裂成两个子细菌，停留在原来搜索空间位置；和
菌群完成Nre次复制后，复制计数值k重置为0，并进行一次消除扩散，消除扩散计数值l加1，菌群进行下一组复制；菌群完成Ned次消除扩散后算法结束，得到最优参数向量输出；消除扩散表示以消除扩散概率Ped去除细菌群中的某些细菌，达到选择作用，同时以消除扩散概率Ped把细菌群中的某些细菌分散到整个搜索空间中，避免陷入局部最优解。
在本发明的又一方面，提供一种基于深度学习的食材辨识方法，包括：
获取食材图像；
对获取的食材图像进行食材识别，确定食材信息；和
将所述食材信息反馈给用户。
根据本发明的一个方面，所述食材识别包括识别食材基本信息和/或识别食材扩展信息。
根据本发明的一个方面，所述识别食材基本信息通过食材图像识别模块完成，将所获取的食材图像输入食材图像识别模块，确定食材基本信息；优选地，所述图像识别模块制作成基于深度学习的食材辨识应用程序接口，通过调用基于深度学习的食材辨识应用程序接口对所获取食材图像进行识别，确定食材基本信息；优选地，所述食材基本信息包括食材的类别和/或数量、和/或颜色、和/或体积估计；和/或
所述识别食材扩展信息采用在食材图像识别模块上连接食材数据库，食材图像识别模块根据识别的食材基本信息调取数据库中数据，确定食材扩展信息；
优选地，所述食材扩展信息包括食材质量和/或食材热量和/或对食材含有的营养元素的评估；
进一步优选地，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒中的一种或多种。
根据本发明的一个方面，将所述食材信息反馈给用户的方法采用将食材图像识别模块接入至用户界面，所述食材基本信息和/或食材扩展信息呈现于用户界面。
在本发明的又一方面，本发明还提供一种智能冰箱中食材储备信息的管理系统，包括：
智能冰箱，
设置于智能冰箱储藏室中的图像采集设备，用于获取智能冰箱储藏室中的食材图像；
食材图像识别模块，用于识别所获取的食材图像；
数据库储存模块，用于储存食材信息；
云端服务器，用于所述食材图像识别模块和数据库储存模块的交互，以及图像采集设备与食材图像识别模块的交互；
设置于智能冰箱上的人机交互模块，与食材图像识别模块连接，用于用户与智能冰箱之间进行信息交互。
根据本发明的一个方面，所述食材信息包括食材类别信息、食材数量信息、食材颜色信息、食材营养成分信息、食材热量信息、食材质量信息、冰箱可用存储空间的信息；
优选地，所述食材颜色信息包括光泽度、颜色亮度、颜色均匀度中的部分或全部；
优选地，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒。
在本发明的又一方面，本发明还提供一种基于深度学习的食材辨识方法在智能冰箱中的应用，包括：
获取智能冰箱储存的食材图像；
将食材图像传输至云端服务器；
通过食材图像识别模块确定所述食材图像对应的食材信息；
将所述食材信息更新至数据库储存模块；
用户通过人机交互模块访问更新后的数据库储存模块获取食材储备信息。
根据本发明的一个方面，所述传输的方式包括wifi传输方式、lifi传输方式。
根据本发明的一个方面，所述的确定所述食材图像对应的食材信息，包括通过智能冰箱的食材采购信息和/或饮食历史记录信息进行佐证，确保食材识别的准确率。
根据本发明的一个方面，所述的确定所述食材图像对应的食材信息，包括通过食材附带的RFID标签进行辅助识别，确保食材识别的准确率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的一个实施例的基于深度学习的食材图像识别模块的构建方法流程图；
图2为本发明的一个实施例的Mask RCNN网络模型的结构；
图3为本发明的一个实施例的VGG部分结构示意图；
图4为本发明的一个实施例的RPN部分结构示意图；
图5为本发明的一个实施例的细菌觅食优化算法流程图；
图6为本发明的一个实施例的食材辨识方法流程图；
图7为本发明的一个实施例的智能冰箱食材储备信息管理系统的示意图；
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
在本发明的一个实施方式中，提供了一种基于深度学习的食材图像识别模块的构建方法，如图1所示，示出了本发明的一个实施例的基于深度学习的食材图像识别模块的构建方法，包括：
(1)获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库；
(2)构建初始深度学习网络模型；
(3)将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。
根据本发明的一个优选实施例，上述步骤(2)中，初始深度学习网络模型采用MaskRCNN网络模型，所述Mask RCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分，如图2所示，示出了本发明的一个实施例的Mask RCNN网络模型的结构，其中：
所述VGG部分用于接受图像输入，通过卷积、池化过程产生特征图谱输出，如图3所示，示出了本发明的一个实施例的VGG部分结构示意图，其结构式如下：
input->[conv_1*α->max_pool]*β->[conv_1*λ->conv_2->max_pool]*γ->fmap式中，input表示输入，conv_1表示卷积层，卷积核大小为3*3，max_pool表示最大池化，conv_2表示卷积层，卷积核大小为1*1，fmap为VGG网络的特征图谱输出，其中α、β、λ和γ为特定结构的重复次数，均为整数，且满足：α>0，优选α＝2；β>0，优选β＝2；λ>0，优选λ＝2；γ>0，优选γ＝2；
所述RPN部分用于接受VGG产生的特征图谱，采用不同大小的滑窗生成特征向量，然后通过分类核、区域核产生分类图谱、区域界定图谱，用于后续内容分类与区域界定，如图4所示，示出了本发明的一个实施例的RPN部分结构示意图，结构式如下：
式中，a_box表示滑窗，可视为一种步长为1的卷积核，rpn_out表示输出的特征向量，cls_kernel表示分类核，reg_kernel表示区域核，二者本质上均为卷积核，cls_out为分类特征图谱，reg_out为区域界定特征图谱；
所述ROIAlign部分用于接受RPN部分的区域界定，利用双线性插值计算对应于原图的当前特征图中的像素点输出，计算公式如下：
式中，x1,y1为原图中像素点坐标，x2,y2为当前特征图中像素点坐标，X,Y为原图大小，x,y为当前特征图大小；
所述卷积输出部分包括卷积部分CONV和输出部分，所述卷积部分CONV包括FastRCNN模型和FCN模型，所述输出部分包括分类输出、区域界定输出和图像分割输出。其中分类输出表明区域中图像所属类别；区域界定输出在整个图像中框定可分类对象；图像分割输出对可分类对象进行像素级别的分割。
根据本发明的一个优选实施例，上述步骤(2)中构建初始深度学习网络模型的方法为：获取公开的用于图像识别的已训练RPN模型和已训练Fast RCNN模型作为初始深度学习网络模型。
根据本发明的一个实施例，所述步骤(3)具体操作方法为：
将所述食材图像数据库中的食材图像分为训练样本和测试样本，优选地，所述训练样本为所述食材图像数据库中食材图像的80％，其余20％食材图像作为测试样本；
将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练Fast RCNN模型再次进行训练，获取进一步训练的Fast RCNN模型，通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与bounding box，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，获得基于Mask RCNN网络模型的食材识别模块。
其中所述Mask RCNN网络模型的特点为：Mask RCNN模型能够在原有RCNN系列目标检测的基础上，实现对目标像素级别的识别。Mask RCNN网络模型比较容易实现和训练，运算速度也较快，可以很方便地应用到其他领域。将Mask RCNN网络模型应用于智能冰箱的食材识别中，将更为精准快速的识别出食材种类、数量等，为食材管理与推荐奠定了基础。
根据本发明的一个优选实施例，上述步骤(3)中，所述训练过程中使用的损失函数表达式为：
L＝Lcls+Lreg+Lmask，
其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，
式中，
其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值，为groundtruth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；
其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量，R是Smooth L1函数，其计算公式为
图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：
Lmask(cls_k)＝Sigmoid(cls_k)
其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算。
根据本发明的一个优选实施例，所述优化模型结构与参数的具体操作方法为：
确定模型结构中的超参数数量及其取值范围，构成参数空间；
在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；和
把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置。
根据本发明的一个优选实施例，如图5所示，示出了本发明的一个实施例的细菌觅食优化算法的流程图，包括：
初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；
计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中
J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))
其中，JCC(·)为趋化函数，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引，θi(·)代表第i个细菌在参数空间中的表示，P(·)代表除θi(·)外其余细菌在参数空间中的表示；
细菌按某方向向量移动：
其中，θi(·)是第i个细菌在参数空间中的表示，j,k,l分别是趋化索引、复制索引、消除扩散索引，C(i)是随机方向上的步长大小，△(i)表示参数空间θ中的随机方向向量；
计算移动后的适应值函数J(i,j+1,k,l)，判断Jlast与J(i,j+1,k,l)，做如下代换：
Jlast＝min{J(i,j+1,k,l),Jlast}
并将游动次数迭代值m加1，其中，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
细菌进行NS次游动后，切换至下一细菌游动，同时菌群判断数i加1；菌群全部完成游动后，菌群判断数i重置为0，并进行一次趋化，趋化计数值j加1，菌群进行下一组游动；趋化表示菌群中优良个体对其他个体的吸引及速度更新，该过程描述如下：
其中，Jcc(θ,P(j,k,l))表示趋化函数，S是细菌总数，p是该优化过程变量数量，表现在单个细菌中，有θ＝[θ1,θ2,...,θm,...,θp]T，是参数空间中一点，dattractant wattractant,hreprllant,wrepellant是描述系数，θ是细菌群中优良个体，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
菌群完成Nc次趋化后，趋化计数值j重置为0，并进行一次复制，复制计数值k加1，菌群进行下一组趋化；复制表示健康的细菌分裂成两个子细菌，停留在原来搜索空间位置；和
菌群完成Nre次复制后，复制计数值k重置为0，并进行一次消除扩散，消除扩散计数值l加1，菌群进行下一组复制；菌群完成Ned次消除扩散后算法结束，得到最优参数向量输出；消除扩散表示以消除扩散概率Ped去除细菌群中的某些细菌，达到选择作用，同时以消除扩散概率Ped把细菌群中的某些细菌分散到整个搜索空间中，避免陷入局部最优解。
根据本发明的一个优选实施例，所述步骤(1)中，所述食材信息包括食材的颜色、类别、体积和数量。根据食材信息为食材图像数据库中的食材图像设定标签后，可以使用带有标签的食材图像数据库中的食材图像对初始深度学习网络模型进行训练，可得到能够确定食材颜色、类别、体积和数量的深度学习网络模型，然后通过识别得到的食材颜色、类别、体积、数量对食材的热量、包含营养元素、质量等进行估计，丰富食材信息，丰富的过程中需要连接互联网或者数据库，例如，通过查询一个苹果包含哪些营养元素，对识别到的n个苹果所包含的营养元素进行估计。
在本发明的另一实施方式中，提供一种基于深度学习的食材辨识系统，所述基于深度学习的食材辨识系统包括：
图像采集设备，用于获取食材图像；
食材图像识别模块，与所述图像采集设备连接，所述食材图像识别模块基于深度学习网络模型，用于根据所获取的食材图像进行食材识别，确定食材信息；和
用户界面，与所述食材图像识别模块连接，用于接收并显示食材图像识别模块所识别确定的食材信息。
根据本发明的一个优选实施例，所述基于深度学习的食材辨识系统还包括与食材图像识别模块连接的食材数据库；优选地，所述食材数据库包括食材的热量和营养元素数据，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷或硒中的一种或多种。
根据本发明的一个优选实施例，所述食材图像识别模块包括基于深度学习的食材辨识应用程序接口。
根据本发明的一个优选实施例，所述深度学习网络模型包括但不限于深度卷积神经网络模型及深度卷积神经网络模型的变形和改进、递归神经网络模型及递归神经网络模型的变形和改进、生成对抗网络模型及生成对抗网络模型的变形和改进。
根据本发明的一个优选实施例，所述食材图像识别模块是基于Mask RCNN网络模型经训练而成，具体为：
获取大量食材图像，根据食材信息对所述食材图像设定标签，构建带标签的食材图像数据库，优选地，其中80％数据库作为训练样本，剩余20％数据库作为测试样本；
获取公开的用于图像识别的已训练RPN模型和已训练Fast RCNN模型作为初始深度学习模型；
将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练Fast RCNN模型再次进行训练，获取进一步训练的Fast RCNN模型，通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与bounding box，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，得到基于Mask RCNN网络模型的食材图像识别模块。
根据本发明的一个优选实施例，上述训练过程中使用的损失函数表达式为：
L＝Lcls+Lreg+Lmask，
其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，
式中，
其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值，为groundtruth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；
其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量，R是Smooth L1函数，其计算公式为
图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：
Lmask(cls_k)＝Sigmoid(cls_k)
其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算。
根据本发明的一个优选实施例，所述优化模型结构与参数的具体操作方法为：
确定模型结构中的超参数数量及其取值范围，构成参数空间；
在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；
把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置。
根据本发明的一个优选实施例，如图5所示，示出了上述细菌觅食优化算法的流程图，包括：
初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；
计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中
J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))
其中，JCC(·)为趋化函数，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引，θi(·)代表第i个细菌在参数空间中的表示，P(·)代表除θi(·)外其余细菌在参数空间中的表示；
细菌按某方向向量移动：
其中，θi(·)是第i个细菌在参数空间中的表示，j,k,l分别是趋化索引、复制索引、消除扩散索引，C(i)是随机方向上的步长大小，△(i)表示参数空间θ中的随机方向向量；
计算移动后的适应值函数J(i,j+1,k,l)，判断Jlast与J(i,j+1,k,l)，做如下代换：
Jlast＝min{J(i,j+1,k,l),Jlast}
并将游动次数迭代值m加1，其中，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
细菌进行NS次游动后，切换至下一细菌游动，同时菌群判断数i加1；菌群全部完成游动后，菌群判断数i重置为0，并进行一次趋化，趋化计数值j加1，菌群进行下一组游动；趋化表示菌群中优良个体对其他个体的吸引及速度更新，该过程描述如下：
其中，Jcc(θ,P(j,k,l))表示趋化函数，S是细菌总数，p是该优化过程变量数量，表现在单个细菌中，有θ＝[θ1,θ2,...,θm,...,θp]T，是参数空间中一点，dattractant wattractant,hreprllant,wrepellant是描述系数，θ是细菌群中优良个体，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
菌群完成Nc次趋化后，趋化计数值j重置为0，并进行一次复制，复制计数值k加1，菌群进行下一组趋化；复制表示健康的细菌分裂成两个子细菌，停留在原来搜索空间位置；和
菌群完成Nre次复制后，复制计数值k重置为0，并进行一次消除扩散，消除扩散计数值l加1，菌群进行下一组复制；菌群完成Ned次消除扩散后算法结束，得到最优参数向量输出；消除扩散表示以消除扩散概率Ped去除细菌群中的某些细菌，达到选择作用，同时以消除扩散概率Ped把细菌群中的某些细菌分散到整个搜索空间中，避免陷入局部最优解。
在本发明的另一实施方式中，提供了一种基于深度学习的食材辨识方法，如图6所示，所述基于深度学习的食材辨识方法包括：
获取食材图像；
对获取的食材图像进行食材识别，确定食材信息；和
将所述食材信息反馈给用户。
根据本发明的一个优选实施例，所述食材识别包括识别食材基本信息和/或识别食材扩展信息。
根据本发明的一个优选实施例，所述识别食材基本信息通过食材图像识别模块完成，将所获取的食材图像输入食材图像识别模块，确定食材基本信息；优选地，所述图像识别模块制作成基于深度学习的食材辨识应用程序接口，通过调用基于深度学习的食材辨识应用程序接口对所获取食材图像进行识别，确定食材基本信息；优选地，所述食材基本信息包括食材的类别和/或数量、和/或颜色、和/或体积估计；和/或
所述识别食材扩展信息采用在食材图像识别模块上连接食材数据库，食材图像识别模块根据识别的食材基本信息调取数据库中数据，确定食材扩展信息。
根据本发明的一个优选实施例，所述食材扩展信息包括食材质量和/或食材热量和/或对食材含有的营养元素的评估。
根据本发明的一个优选实施例，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒中的一种或多种。
根据本发明的一个优选实施例，将所述食材信息反馈给用户的方法采用将食材图像识别模块接入至用户界面，所述食材基本信息和/或食材扩展信息呈现于用户界面。
在本发明的又一实施方式中，提供了一种智能冰箱中食材储备信息的管理系统，如图7所示，所述智能冰箱中食材储备信息的管理系统包括：
智能冰箱，
设置于智能冰箱储藏室中的图像采集设备，用于获取智能冰箱储藏室中的食材图像；
食材图像识别模块，用于识别所获取的食材图像；
数据库储存模块，用于储存食材信息；
云端服务器，用于所述食材图像识别模块和数据库储存模块的交互，以及图像采集设备与食材图像识别模块的交互；
设置于智能冰箱上的人机交互模块，与食材图像识别模块连接，用于用户与智能冰箱之间进行信息交互。
根据本发明的一个优选实施例，所述食材信息包括食材类别信息、食材数量信息、食材颜色信息、食材营养成分信息、食材热量信息、食材质量信息、冰箱可用存储空间的信息。
根据本发明的一个优选实施例，所述食材颜色信息包括光泽度、颜色亮度、颜色均匀度中的部分或全部。
根据本发明的一个优选实施例，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒。
在本发明的又一实施方式中，提供了一种基于深度学习的食材辨识方法在智能冰箱中的应用，包括：
获取智能冰箱储存的食材图像；
将食材图像传输至云端服务器；
通过食材图像识别模块确定所述食材图像对应的食材信息；
将所述食材信息更新至数据库储存模块；
用户通过人机交互模块访问更新后的数据库储存模块获取食材储备信息。
根据本发明的一个优选实施例，所述传输的方式包括wifi传输方式、lifi传输方式。
根据本发明的一个优选实施例，所述的确定所述食材图像对应的食材信息，包括通过智能冰箱的食材采购信息和/或饮食历史记录信息进行佐证，确保食材识别的准确率；和/或所述的确定所述食材图像对应的食材信息，包括通过食材附带的RFID标签进行辅助识别，确保食材识别的准确率。例如可以根据智能冰箱所记录的食材采购信息以及饮食历史记录信息来佐证智能冰箱中的食材识别的准确率，识别模块识别出未购买的食材，说明出现了错误；识别模块识别出已经食用了的食材，说明出现了错误。另外，还可以根据食材上附带的RFID标签来辅助识别智能冰箱的食材识别模块的准确率。
本发明将基于深度学习的图像识别方法用于食材识别，采用深度学习算法对食材数据进行训练分析，能够实现尽可能精确的食材辨识。将此项技术用于智能冰箱，将极大程度上方便用户对冰箱内食材进行管理，监管食材质量，避免因食材变质造成食材浪费以及危害用户身体健康。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的食材图像识别模块的构建方法，其特征在于：包括：
(1)获取大量食材图像，根据食材信息为所述食材图像分别设定标签，构建带标签的食材图像数据库，优选地，所述食材信息包括食材的颜色、类别、体积和数量；
(2)构建初始深度学习网络模型；
(3)将所述食材图像数据库中食材图像输入初始深度学习网络模型，训练获得食材图像识别模块。
2.如权利要求1所述的基于深度学习的食材图像识别模块的构建方法，其特征在于：所述步骤(2)中，初始深度学习网络模型采用Mask RCNN网络模型，所述Mask RCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分，
优选地，
所述VGG部分用于接受图像输入，通过卷积、池化过程产生特征图谱输出，其结构式如下：
input->[conv_1*α->max_pool]*β->[conv_1*λ->conv_2->max_pool]*γ->fmap式中，input表示输入，conv_1表示卷积层，卷积核大小为3*3，max_pool表示最大池化，conv_2表示卷积层，卷积核大小为1*1，fmap为VGG网络的特征图谱输出，其中α、β、λ和γ为特定结构的重复次数，均为整数，且满足：α>0，优选α＝2；β>0，优选β＝2；λ>0，优选λ＝2；γ>0，优选γ＝2；
所述RPN部分用于接受VGG产生的特征图谱，采用不同大小的滑窗生成特征向量，然后通过分类核、区域核产生分类图谱、区域界定图谱，用于后续内容分类与区域界定，结构式如下：
式中，a_box表示滑窗，可视为一种步长为1的卷积核，rpn_out表示输出的特征向量，cls_kernel表示分类核，reg_kernel表示区域核，二者本质上均为卷积核，cls_out为分类特征图谱，reg_out为区域界定特征图谱；
所述ROIAlign部分用于接受RPN部分的区域界定，利用双线性插值计算对应于原图的当前特征图中的像素点输出，计算公式如下：
式中，x1,y1为原图中像素点坐标，x2,y2为当前特征图中像素点坐标，X,Y为原图大小，x,y为当前特征图大小；
所述卷积输出部分包括卷积部分CONV和输出部分，所述卷积部分CONV包括Fast RCNN模型和FCN模型，所述输出部分包括分类输出、区域界定输出和图像分割输出；
和/或，所述步骤(2)中构建初始深度学习网络模型的方法为：获取公开的用于图像识别的已训练RPN模型和已训练Fast RCNN模型作为初始深度学习网络模型；
和/或，所述步骤(3)具体操作方法为：
将所述食材图像数据库中的食材图像分为训练样本和测试样本，优选地，所述训练样本为所述食材图像数据库中食材图像的80％，其余20％食材图像作为测试样本；
将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练Fast RCNN模型再次进行训练，获得进一步训练的Fast RCNN模型，通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与bounding box，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，获得基于Mask RCNN网络模型的食材识别模块；
优选地，所述优化模型结构与参数的具体操作方法为：
确定模型结构中的超参数数量及其取值范围，构成参数空间；
在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；和
把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置；
进一步优选地，所述细菌觅食优化算法的具体方法为：
初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；
计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中
J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))
其中，JCC(·)为趋化函数，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引，θi(·)代表第i个细菌在参数空间中的表示，P(·)代表除θi(·)外其余细菌在参数空间中的表示；
细菌按某方向向量移动：
其中θi(·)是第i个细菌在参数空间中的表示，j,k,l分别是趋化索引、复制索引、消除扩散索引，C(i)是随机方向上的步长大小，△(i)表示参数空间θ中的随机方向向量；
计算移动后的适应值函数J(i,j+1,k,l)，判断Jlast与J(i,j+1,k,l)，做如下代换：
Jlast＝min{J(i,j+1,k,l),Jlast}
并将游动次数迭代值m加1，其中i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
细菌进行NS次游动后，切换至下一细菌游动，同时菌群判断数i加1；菌群全部完成游动后，菌群判断数i重置为0，并进行一次趋化，趋化计数值j加1，菌群进行下一组游动；趋化表示菌群中优良个体对其他个体的吸引及速度更新，该过程描述如下：
其中，Jcc(θ,P(j,k,l))表示趋化函数，S是细菌总数，p是该优化过程变量数量，表现在单个细菌中，有θ＝[θ1,θ2,...,θm,...,θp]T，是参数空间中一点，dattractant wattractant,hreprllant,wrepellant是描述系数，θ是细菌群中优良个体，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
菌群完成Nc次趋化后，趋化计数值j重置为0，并进行一次复制，复制计数值k加1，菌群进行下一组趋化；复制表示健康的细菌分裂成两个子细菌，停留在原来搜索空间位置；和
菌群完成Nre次复制后，复制计数值k重置为0，并进行一次消除扩散，消除扩散计数值l加1，菌群进行下一组复制；菌群完成Ned次消除扩散后算法结束，得到最优参数向量输出；消除扩散表示以消除扩散概率Ped去除细菌群中的某些细菌，达到选择作用，同时以消除扩散概率Ped把细菌群中的某些细菌分散到整个搜索空间中，避免陷入局部最优解；
和/或，所述步骤(3)中，所述训练过程中使用的损失函数表达式为：
L＝Lcls+Lreg+Lmask，
其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，
式中，
其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；
其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量，R是Smooth L1函数，其计算公式为
图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：
Lmask(cls_k)＝Sigmoid(cls_k)
其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算。
3.一种基于深度学习的食材辨识系统，其特征在于，包括：
图像采集设备，用于获取食材图像；
食材图像识别模块，与所述图像采集设备连接，所述食材图像识别模块基于深度学习网络模型，用于根据所获取的食材图像进行食材识别，确定食材信息；和
用户界面，与所述食材图像识别模块连接，用于接收并显示食材图像识别模块所识别确定的食材信息。
4.如权利要求3所述的食材辨识系统，其特征在于，所述食材辨识系统还包括与所述食材图像识别模块连接的食材数据库；优选地，所述食材数据库包括食材的热量和营养元素数据，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒中的一种或多种；和/或，
所述食材图像识别模块包括基于深度学习的食材辨识应用程序接口；和/或，
所述深度学习网络模型包括深度卷积神经网络模型及深度卷积神经网络模型的变形和改进、递归神经网络模型及递归神经网络模型的变形和改进、生成对抗网络模型及生成对抗网络模型的变形和改进。
5.如权利要求3或4所述的食材辨识系统，其特征在于，所述食材图像识别模块是基于Mask RCNN网络模型经训练而成，具体为：
获取大量食材图像，根据食材信息对所述食材图像设定标签，构建带标签的食材图像数据库，优选地，其中80％数据库作为训练样本，剩余20％数据库作为测试样本；
获取公开的用于图像识别的已训练RPN模型和已训练Fast RCNN模型作为初始深度学习网络模型；
将所述训练样本输入所述初始深度学习模型，通过反向传播算法对所述已训练RPN模型进行参数更新，产生候选区域，利用训练样本对所述已训练Fast RCNN模型再次进行训练，获得进一步训练的Fast RCNN模型，通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征，得到输入图像的特征图，结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正，得到每个候选区域后对每个候选区域进行预测，得到待识别物体的类别与bounding box，同时使用FCN网络对每个候选区域进行实例分割，预测每个像素点所属类别，根据得到的图像分割结果优化模型结构与参数，得到基于Mask RCNN网络模型的食材图像识别模块；
优选地，所述训练过程中使用的损失函数表达式为：
L＝Lcls+Lreg+Lmask，
其中L为总损失函数，Lcls为分类损失函数，Lreg为区域界定损失函数，Lmask为图像分割损失函数，
式中，
其中Ncls表示分类层的归一化，pi为第i个anchor的目标预测概率值，为ground truth的标签值，当第i个anchor为正标签时为1，当第i个anchor为负标签时为0；
其中λ为平衡权重，Nreg表示回归层的归一化，ti为预测的bounding box参数化坐标(tx,ty,tw,th)的向量，为第i个anchor为正标签时对应的bounding box参数化坐标的向量，R是Smooth L1函数，其计算公式为
图像分割损失函数是对每一个像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵误差Lmask；对于每一个m×m大小的候选区域，当所有类别为K时，FCN层分支有一个K×m2维的输出，对于每个候选区域，如果检测到候选区域属于哪一类，则用哪一个分支的二值交叉熵作为误差值进行计算，满足以下表达式：
Lmask(cls_k)＝Sigmoid(cls_k)
其中cls_k为对应第k类的区域输出，Sigmoid表示平均二值交叉熵计算；
优选地，所述优化模型结构与参数的具体操作方法为：
确定模型结构中的超参数数量及其取值范围，构成参数空间；
在确定的参数空间下执行细菌觅食优化算法，以模型在参数向量下的准确率作为评价该向量的目标函数；
把所述细菌觅食优化算法获得的最优参数向量输出作为该模型的参数设置；
进一步优选地，所述细菌觅食优化算法的具体方法为：
初始化参数：给定算法中参数p,S,Ped,C(i)的初始值，设定趋化步数NC、复制次数Nre、消除分散次数Ned，游泳长度NS，其中参数p,S,Ped,C(i)分别代表：优化过程变量数量，细菌总数，消除扩散概率，随机方向上的步长大小；
计算当前细菌适应值函数J(i,j,k,l)并初始化Jlast＝J(i,j,k,l)，式中
J(i,j,k,l)＝J(i,j,k,l)+JCC(θi(j,k,l),P(j,k,l))
其中，JCC(·)为趋化函数，i、j、k、l分别代表：菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引，θi(·)代表第i个细菌在参数空间中的表示，P(·)代表除θi(·)外其余细菌在参数空间中的表示；
细菌按某方向向量移动：
其中，θi(·)是第i个细菌在参数空间中的表示，j,k,l分别是趋化索引、复制索引、消除扩散索引，C(i)是随机方向上的步长大小，△(i)表示参数空间θ中的随机方向向量；
计算移动后的适应值函数J(i,j+1,k,l)，判断Jlast与J(i,j+1,k,l)，做如下代换：
Jlast＝min{J(i,j+1,k,l),Jlast}
并将游动次数迭代值m加1，其中i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
细菌进行NS次游动后，切换至下一细菌游动，同时菌群判断数i加1；菌群全部完成游动后，菌群判断数i重置为0，并进行一次趋化，趋化计数值j加1，菌群进行下一组游动；趋化表示菌群中优良个体对其他个体的吸引及速度更新，该过程描述如下：
其中，Jcc(θ,P(j,k,l))表示趋化函数，S是细菌总数，p是该优化过程变量数量，表现在单个细菌中，有θ＝[θ1,θ2,...,θm,...,θp]T，是参数空间中一点，dattractant wattractant,hreprllant,wrepellant是描述系数，θ是细菌群中优良个体，i,j,k,l分别代表菌群数目判断环节、趋化环节、复制环节、消除扩散环节中的索引,简称判断索引、趋化索引、复制索引、消除扩散索引；
菌群完成Nc次趋化后，趋化计数值j重置为0，并进行一次复制，复制计数值k加1，菌群进行下一组趋化；复制表示健康的细菌分裂成两个子细菌，停留在原来搜索空间位置；和
菌群完成Nre次复制后，复制计数值k重置为0，并进行一次消除扩散，消除扩散计数值l加1，菌群进行下一组复制；菌群完成Ned次消除扩散后算法结束，得到最优参数向量输出；消除扩散表示以消除扩散概率Ped去除细菌群中的某些细菌，达到选择作用，同时以消除扩散概率Ped把细菌群中的某些细菌分散到整个搜索空间中，避免陷入局部最优解。
6.一种基于深度学习的食材辨识方法，其特征在于，包括：
获取食材图像；
对获取的食材图像进行食材识别，确定食材信息；和
将所述食材信息反馈给用户；
优选地，所述食材识别包括识别食材基本信息和/或识别食材扩展信息；
优选地，
所述识别食材基本信息通过食材图像识别模块完成，将所获取的食材图像输入食材图像识别模块，确定食材基本信息；优选地，所述图像识别模块制作成基于深度学习的食材辨识应用程序接口，通过调用基于深度学习的食材辨识应用程序接口对所获取食材图像进行识别，确定食材基本信息；优选地，所述食材基本信息包括食材的类别和/或数量、和/或颜色、和/或体积估计；和/或
所述识别食材扩展信息采用在食材图像识别模块上连接食材数据库，食材图像识别模块根据识别的食材基本信息调取数据库中数据，确定食材扩展信息；
优选地，所述食材扩展信息包括食材质量和/或食材热量和/或对食材含有的营养元素的评估；
进一步优选地，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒中的一种或多种；
优选地，将所述食材信息反馈给用户的方法采用将食材图像识别模块接入至用户界面，所述食材基本信息和/或食材扩展信息呈现于用户界面。
7.一种智能冰箱中食材储备信息的管理系统，其特征在于，包括：
智能冰箱，
设置于智能冰箱储藏室中的图像采集设备，用于获取智能冰箱储藏室中的食材图像；
食材图像识别模块，用于识别所获取的食材图像；
数据库储存模块，用于储存食材信息；
云端服务器，用于所述食材图像识别模块和数据库储存模块的交互，以及图像采集设备与食材图像识别模块的交互；
设置于智能冰箱上的人机交互模块，与食材图像识别模块连接，用于用户与智能冰箱之间进行信息交互。
8.如权利要求7所述的智能冰箱中食材储备信息的管理系统，其特征在于，所述食材信息包括食材类别信息、食材数量信息、食材颜色信息、食材营养成分信息、食材热量信息、食材质量信息、冰箱可用存储空间的信息；
优选地，所述食材颜色信息包括光泽度、颜色亮度、颜色均匀度中的部分或全部；
优选地，所述营养元素包括蛋白质、脂肪、糖类、膳食纤维、胆固醇、烟酸、维生素A、维生素B1、维生素B2、维生素E、维生素C、钙、镁、锌、铜、锰、铁、钾、磷、硒。
9.一种基于深度学习的食材辨识方法在智能冰箱中的应用，其特征在于，包括：
获取智能冰箱储存的食材图像；
将食材图像传输至云端服务器；
通过食材图像识别模块确定所述食材图像对应的食材信息；
将所述食材信息更新至数据库储存模块；
用户通过人机交互模块访问更新后的数据库储存模块获取食材储备信息。
10.如权利要求9所述的基于深度学习的食材辨识方法在智能冰箱中的应用，其特征在于，所述传输的方式包括wifi传输方式、lifi传输方式；和/或，
所述的确定所述食材图像对应的食材信息，包括通过智能冰箱的食材采购信息和/或饮食历史记录信息进行佐证，确保食材识别的准确率；和/或
所述的确定所述食材图像对应的食材信息，包括通过食材附带的RFID标签进行辅助识别，确保食材识别的准确率。
CN201810432216.3A 2018-05-08 2018-05-08 一种基于深度学习的食材辨识系统和食材辨识方法 Pending CN108846314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810432216.3A CN108846314A (zh) 2018-05-08 2018-05-08 一种基于深度学习的食材辨识系统和食材辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810432216.3A CN108846314A (zh) 2018-05-08 2018-05-08 一种基于深度学习的食材辨识系统和食材辨识方法

Publications (1)

Publication Number Publication Date
CN108846314A true CN108846314A (zh) 2018-11-20

Family

ID=64212787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810432216.3A Pending CN108846314A (zh) 2018-05-08 2018-05-08 一种基于深度学习的食材辨识系统和食材辨识方法

Country Status (1)

Country Link
CN (1) CN108846314A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886156A (zh) * 2019-01-30 2019-06-14 钟祥博谦信息科技有限公司 零售物品的识别方法及装置
CN109894383A (zh) * 2019-02-21 2019-06-18 南方科技大学 一种物品分拣方法、装置、存储介质及电子设备
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
CN109918986A (zh) * 2018-12-29 2019-06-21 山东财经大学 基于启发式混合细菌觅食算法的直线型结构物体检测方法
CN109960742A (zh) * 2019-02-18 2019-07-02 苏州科达科技股份有限公司 局部信息的搜索方法及装置
CN109993623A (zh) * 2018-11-30 2019-07-09 广州富港万嘉智能科技有限公司 基于图像识别的物品信息展示方法、系统及电子设备
CN110287824A (zh) * 2019-06-10 2019-09-27 秒针信息技术有限公司 识别食物的方法及装置
CN110414551A (zh) * 2019-06-14 2019-11-05 田洪涛 一种基于rcnn网络对医疗器械进行自动分类的方法及系统
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN110515403A (zh) * 2019-08-16 2019-11-29 行小膳科技(杭州)有限公司 一种藜麦代餐粉食材智能熟化控制系统
CN110674736A (zh) * 2019-09-23 2020-01-10 珠海格力电器股份有限公司 一种识别食材新鲜度的方法、装置、服务器及存储介质
CN110929788A (zh) * 2019-11-22 2020-03-27 珠海格力电器股份有限公司 食材识别方法、装置、存储介质及电子设备
CN111435455A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 图片的处理方法和装置
CN111696151A (zh) * 2019-03-15 2020-09-22 青岛海尔智能技术研发有限公司 烤箱中食材体积识别的方法、装置及计算机可读存储介质
CN111767961A (zh) * 2020-07-02 2020-10-13 宁波杜比医疗科技有限公司 一种生化分析检测系统及其检测方法
CN112102282A (zh) * 2020-09-11 2020-12-18 中北大学 一种基于Mask RCNN的医学图像中不同节数腰椎的自动识别方法
WO2021082285A1 (zh) * 2019-10-30 2021-05-06 青岛海尔智能技术研发有限公司 食材体积检测的方法及装置、厨电设备
CN113218880A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN114359299A (zh) * 2022-03-18 2022-04-15 天津九安医疗电子股份有限公司 一种饮食分割方法及慢病患者的饮食营养管理方法
CN115170800A (zh) * 2022-07-15 2022-10-11 浙江大学 一种基于社交媒体与深度学习的城市内涝积水深度识别方法
CN115713763A (zh) * 2022-11-25 2023-02-24 青海卓旺智慧信息科技有限公司 一种基于深度学习的土豆图像识别系统
CN116363642A (zh) * 2021-12-22 2023-06-30 海信集团控股股份有限公司 一种食材识别方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915960A (zh) * 2015-06-08 2015-09-16 哈尔滨工程大学 一种基于细菌觅食优化算法的pcnn文本图像分割方法
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN107798653A (zh) * 2017-09-20 2018-03-13 北京三快在线科技有限公司 一种图像处理的方法和一种装置
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915960A (zh) * 2015-06-08 2015-09-16 哈尔滨工程大学 一种基于细菌觅食优化算法的pcnn文本图像分割方法
CN107798277A (zh) * 2016-09-05 2018-03-13 合肥美的智能科技有限公司 食材识别系统和方法、食材模型训练方法、冰箱和服务器
CN106897661A (zh) * 2017-01-05 2017-06-27 合肥华凌股份有限公司 一种食材图像的智能化识别方法、系统和家用电器
CN107798653A (zh) * 2017-09-20 2018-03-13 北京三快在线科技有限公司 一种图像处理的方法和一种装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
K. SATHISH KUMAR，ET AL.: "Power system reconfiguration and loss minimization for an distribution systems using bacterial foraging optimization algorithm", 《ELECTRICAL POWER AND ENERGY SYSTEMS》 *
TOBE: "贝叶斯优化：一种更好的参数调优方式", 《知乎：HTTPS://ZHUANLAN.ZHIHU.COM/P/29779000》 *
梅舒欢，等.: "基于Faster R-CNN的食品图像检索和分类", 《南京信息工程大学学报（自然科学版）》 *
汤健，等著: "《基于频谱数据驱动的旋转机械设备负荷软测量》", 30 June 2015, 国防工业出版社 *
程春英，著: "《群体智能算法的研究及MATLAB实现》", 30 November 2015, 内蒙古科学技术出版社 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993623A (zh) * 2018-11-30 2019-07-09 广州富港万嘉智能科技有限公司 基于图像识别的物品信息展示方法、系统及电子设备
CN109918986A (zh) * 2018-12-29 2019-06-21 山东财经大学 基于启发式混合细菌觅食算法的直线型结构物体检测方法
CN109918986B (zh) * 2018-12-29 2021-06-22 山东财经大学 基于启发式混合细菌觅食算法的直线型结构物体检测方法
CN111435455A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 图片的处理方法和装置
CN109886156A (zh) * 2019-01-30 2019-06-14 钟祥博谦信息科技有限公司 零售物品的识别方法及装置
CN109960742A (zh) * 2019-02-18 2019-07-02 苏州科达科技股份有限公司 局部信息的搜索方法及装置
CN109894383A (zh) * 2019-02-21 2019-06-18 南方科技大学 一种物品分拣方法、装置、存储介质及电子设备
CN109903279A (zh) * 2019-02-25 2019-06-18 北京深度奇点科技有限公司 焊缝运动轨迹的自动示教方法和装置
CN111696151A (zh) * 2019-03-15 2020-09-22 青岛海尔智能技术研发有限公司 烤箱中食材体积识别的方法、装置及计算机可读存储介质
CN110287824A (zh) * 2019-06-10 2019-09-27 秒针信息技术有限公司 识别食物的方法及装置
CN110414551A (zh) * 2019-06-14 2019-11-05 田洪涛 一种基于rcnn网络对医疗器械进行自动分类的方法及系统
CN110515403B (zh) * 2019-08-16 2021-08-17 中食安泓(广东)健康产业有限公司 一种藜麦代餐粉食材智能熟化控制系统
CN110515403A (zh) * 2019-08-16 2019-11-29 行小膳科技(杭州)有限公司 一种藜麦代餐粉食材智能熟化控制系统
CN110490860A (zh) * 2019-08-21 2019-11-22 北京大恒普信医疗技术有限公司 糖尿病视网膜病变识别方法、装置及电子设备
CN110674736A (zh) * 2019-09-23 2020-01-10 珠海格力电器股份有限公司 一种识别食材新鲜度的方法、装置、服务器及存储介质
WO2021082285A1 (zh) * 2019-10-30 2021-05-06 青岛海尔智能技术研发有限公司 食材体积检测的方法及装置、厨电设备
CN110929788A (zh) * 2019-11-22 2020-03-27 珠海格力电器股份有限公司 食材识别方法、装置、存储介质及电子设备
CN113218880B (zh) * 2020-01-21 2023-05-16 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN113218880A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN111767961A (zh) * 2020-07-02 2020-10-13 宁波杜比医疗科技有限公司 一种生化分析检测系统及其检测方法
CN112102282A (zh) * 2020-09-11 2020-12-18 中北大学 一种基于Mask RCNN的医学图像中不同节数腰椎的自动识别方法
CN116363642A (zh) * 2021-12-22 2023-06-30 海信集团控股股份有限公司 一种食材识别方法、装置、设备和介质
CN114359299A (zh) * 2022-03-18 2022-04-15 天津九安医疗电子股份有限公司 一种饮食分割方法及慢病患者的饮食营养管理方法
CN114359299B (zh) * 2022-03-18 2022-09-30 天津九安医疗电子股份有限公司 一种饮食分割方法及慢病患者的饮食营养管理方法
CN115170800A (zh) * 2022-07-15 2022-10-11 浙江大学 一种基于社交媒体与深度学习的城市内涝积水深度识别方法
CN115713763A (zh) * 2022-11-25 2023-02-24 青海卓旺智慧信息科技有限公司 一种基于深度学习的土豆图像识别系统

Similar Documents

Publication Publication Date Title
CN108846314A (zh) 一种基于深度学习的食材辨识系统和食材辨识方法
Li et al. Cost-sensitive sequential three-way decision modeling using a deep neural network
CN107766447B (zh) 一种使用多层注意力网络机制解决视频问答的方法
CN113705597A (zh) 一种图像处理方法、装置、计算机设备以及可读存储介质
CN109614842A (zh) 用于识别候选视频插入对象类型的机器学习
CN109902912B (zh) 一种基于性格特征的个性化图像美学评价方法
CN111797321A (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN109657156A (zh) 一种基于循环生成对抗网络的个性化推荐方法
CN109684912A (zh) 一种基于信息损失函数的视频描述方法和系统
CN110399518A (zh) 一种基于图卷积的视觉问答增强方法
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN113239159A (zh) 基于关系推理网络的视频和文本的跨模态检索方法
CN109063719A (zh) 一种联合结构相似性和类信息的图像分类方法
CN112948710A (zh) 基于图神经网络的朋辈教育推荐方法、系统和存储介质
CN111400525A (zh) 基于视觉组合关系学习的时尚服装智能搭配与推荐方法
CN109146640A (zh) 一种线上商品搜索方法及系统
Hou et al. Face alignment recurrent network
Gao et al. Key nodes identification in complex networks based on subnetwork feature extraction
CN107492038A (zh) 一种基于神经网络的社区发现方法
CN109559576A (zh) 一种儿童伴学机器人及其早教系统自学习方法
CN114722893A (zh) 模型生成方法、图像标注方法、装置以及电子设备
CN120876481B (zh) 一种用于进行鱼类出血病检测的信息处理方法、装置、设备及介质
CN111046213B (zh) 一种基于图像识别的知识库构建方法
CN116994114A (zh) 一种基于改进YOLOv8的轻量化家居小目标检测模型构建方法
CN114943922B (zh) 一种基于深度学习的机考可疑行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120

RJ01 Rejection of invention patent application after publication