CN119206294A

CN119206294A - 图像分类方法、电子设备及计算机可读存储介质

Info

Publication number: CN119206294A
Application number: CN202411112237.9A
Authority: CN
Inventors: 张宇; 陈澍豪
Original assignee: Southern University of Science and Technology
Current assignee: Southern University of Science and Technology
Priority date: 2024-08-14
Filing date: 2024-08-14
Publication date: 2024-12-27

Abstract

本申请实施例提供了一种图像分类方法、电子设备及计算机可读存储介质，涉及人工智能技术领域。该方法包括：将第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述；为第一样本图像文本描述增加问题引导语，然后输入第一初始大语言模型进行类别预测，得到第一样本预测图像类别；基于真实图像类别和第一样本预测图像类别对初始大语言模型进行微调，得到第一目标大语言模型；将第一目标图像输入预训练视觉语言模型进行文本生成，得到第一目标图像文本描述；为第一目标图像文本描述增加问题引导语，然后输入第一目标大语言模型进行类别预测，得到第一目标预测图像类别。本申请提高了图像分类准确性。

Description

图像分类方法、电子设备及计算机可读存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种图像分类方法、电子设备及计算机可读存储介质。

背景技术

在计算机视觉的各种应用中，常常要面对训练域和测试域之间的分布差异(也称域偏移)带来的挑战。例如，自动驾驶汽车需要能够处理在训练阶段没有出现的恶劣天气条件，这对模型的泛化能力有很大的要求。为了缓解域偏移，跨域学习旨在提取源域和目标域之间的域不变知识。

目前，一些在大规模视觉语言模型方面的工作表明，通过从大量配对的图像-文本样本中学习，图像分类性能有了显著提升。然而，基于大规模视觉语言模型来学习域不变特征仍然面临着巨大的域偏移挑战，导致跨域性能不佳。另一方面，大语言模型在基于文本的任务中具有强大的零样本泛化能力。然而，由于模态和任务结构之间固有的差异，大语言模型的在文本上的成功并不能够直接延伸到纯视觉和视觉-语言任务。

综上，目前相关技术的图像分类的准确性较差。

发明内容

本申请实施例的主要目的在于提出图像分类方法、电子设备及计算机可读存储介质，提高了图像分类的准确性。

为实现上述目的，本申请实施例的第一方面提出了一种图像分类方法，所述方法包括：

获取第一样本图像和真实图像类别；

将所述第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述；

为所述第一样本图像文本描述增加问题引导语，生成第一样本引导文本；

将所述第一样本引导文本输入第一初始大语言模型进行类别预测，得到第一样本预测图像类别；

基于所述真实图像类别和所述第一样本预测图像类别对所述初始大语言模型进行微调，得到第一目标大语言模型；

获取第一目标图像，且将所述第一目标图像输入预训练视觉语言模型进行文本生成，得到第一目标图像文本描述；

为所述第一目标图像文本描述增加所述问题引导语，生成第一目标引导文本；

将所述第一目标引导文本输入所述第一目标大语言模型进行类别预测，得到第一目标预测图像类别。

可选地，所述问题引导语包括信息提供模板和类别问题模板；所述为所述第一样本图像文本描述增加问题引导语，生成第一样本引导文本，包括：

获取类别集；所述类别集包含多个类别，多个所述类别包含所述第一样本预测图像类别；

将所述第一样本图像文本描述嵌入所述信息提供模板，且将所述类别集嵌入所述类别问题模板，得到所述第一样本引导文本。

可选地，所述第一样本图像文本描述包括第一样本图像标签，所述预训练视觉语言模型包括图像标签模型；所述将所述第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述，包括：

获取标签集，所述标签集包括多个标签；

将每个所述标签嵌入预设的标签模板，生成标签文本；

将所述第一样本图像和所述标签文本输入所述图像标签模型进行相似度计算，得到第一图像标签相似度；

根据所述第一图像标签相似度对多个所述标签进行筛选，得到所述第一样本图像标签。

可选地，所述第一样本图像文本描述还包括第一样本图像属性，所述预训练视觉语言模型包括图像属性模型；所述将所述第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述，还包括：

将每个所述标签嵌入预设的属性引导模板，生成属性引导文本；

将每个所述属性引导文本输入预训练语言模型进行属性文本生成，得到候选属性文本；

将所述第一样本图像和所述候选属性文本输入所述图像属性模型进行相似度计算，得到第一图像属性相似度；

根据所述第一图像属性相似度对多个所述候选属性文本进行筛选，得到所述第一样本图像属性。

可选地，所述第一样本图像文本描述还包括第一样本图像字幕，所述预训练视觉语言模型包括图像字幕模型；所述将所述第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述，还包括：

将所述第一样本图像输入所述图像字幕模型进行字幕生成，得到所述第一样本图像字幕。

可选地，所述基于所述真实图像类别和所述第一样本预测图像类别对所述初始大语言模型进行微调，得到第一目标大语言模型，包括：

根据所述真实图像类别对多个所述第一样本预测图像类别进行筛选，得到第一样本目标预测类别，且将所述第一样本目标预测类别的预测概率作为第一预测概率；

对所述第一预测概率进行对数计算，得到第一对数；

对所述第一对数取反，得到第一损失数据；

根据所述第一损失数据对所述初始大语言模型进行参数调整，得到所述第一目标大语言模型。

可选地，在所述基于所述真实图像类别和所述第一样本预测图像类别对所述初始大语言模型进行微调，得到第一目标大语言模型之后，所述方法还包括：

获取第二样本图像；其中，所述第一样本图像与所述第二样本图像处于不同域；

利用所述第一目标大语言模型对所述第二样本图像输入进行类别预测，得到伪图像类别；

将所述第二样本图像输入所述预训练视觉语言模型进行文本生成，得到第二样本图像文本描述；

为所述第二样本图像文本描述增加问题引导语，生成第二样本引导文本；

将所述第二样本引导文本输入所述第一目标大语言模型进行类别预测，得到第二样本预测图像类别；

根据所述真实图像类别、所述第一样本预测图像类别、所述伪图像类别以及所述第二样本预测图像类别，对所述第一目标大语言模型进行微调，得到第二目标大语言模型；

获取第二目标图像，且将所述第二目标图像输入所述预训练视觉语言模型进行文本生成，得到第二目标图像文本描述；

为所述第二目标图像文本描述增加所述问题引导语，生成第二目标引导文本；

将所述第二目标引导文本输入所述第二目标大语言模型进行类别预测，得到第二目标预测图像类别。

可选地，根据所述真实图像类别、所述第一样本预测图像类别、所述伪图像类别以及所述第二样本预测图像类别，对所述第一目标大语言模型进行微调，得到第二目标大语言模型，包括：

对所述第一预测概率进行对数计算，得到第一对数，且对所述第一对数取反，得到第一损失数据；

根据所述伪图像类别对多个所述第二样本预测图像类别进行筛选，得到第二样本目标预测类别，且将所述第一样本目标预测类别的预测概率，作为第二预测概率；

对所述第二预测概率进行对数计算，得到第二对数，且对所述第二对数取反，得到第二损失数据；

根据所述第一损失数据和所述第二损失数据进行相加，得到目标损失数据；

根据所述目标损失数据对所述第一目标大语言模型进行参数调整，得到所述第二目标大语言模型。

为实现上述目的，本申请实施例的第二方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第三方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请提出的一种图像分类方法、电子设备及计算机可读存储介质，通过使用视觉语言模型提取图像模态的文本描述，并在大语言模型上针对设计的问题引导语进行微调，从而将大语言模型的泛化能力应用到图像模态上的跨域迁移学习问题，能够有效提高图像分类精度。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本申请实施例提供的图像分类方法的一个可选流程图；

图2是根据本申请实施例的图像分类方法的总体框架图；

图3是图1中步骤102的流程图；

图4是图1中步骤102的流程图；

图5是图1中步骤103的流程图；

图6是图1中步骤105的流程图；

图7是本申请另一实施例提供的图像分类方法的一个可选流程图；

图8是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

大语言模型(Large Language Model，LLM)：指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的重要途径。

反向传播：反向传播的大致原理为：将训练集数据输入到神经网络的输入层，经过神经网络的隐藏层，最后达到神经网络的输出层并输出结果；由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

目前已经有许多的域泛化和无监督域自适应方法通过在图像模态中学习域不变特征来缓解域偏移的问题。然而，这些方法仅利用图像模态进行跨域学习，对于文本模态利用的缺少限制了性能的进一步提高。

与仅使用图像模态不同，最近的一些在大规模视觉语言模型(VLMs)方面的工作表明，通过从大量配对的图像-文本样本中学习，图像分类性能有了显著提升。例如，CLIP由图像编码器和文本编码器组成，通过对比学习在4亿个图像-文本对上进行训练。然而，基于CLIP来学习域不变特征仍然面临着巨大的域偏移挑战，导致跨域性能不佳。

另一方面，大语言模型(LLM)在基于文本的任务中具有强大的零样本泛化能力。然而，由于模态和任务结构之间固有的差异，LLM的在文本上的成功并不能够直接延伸到纯视觉和视觉-语言任务。目前还没有将LLM与视觉跨域学习相结合的相关工作。

基于此，本申请提供一种图像分类方法，目的是通过大语言模型的内在泛化能力来缓解视觉的跨域学习中域偏移问题，进而达到更好的物体识别效果。

本申请实施例的图像分类方法可以单独由服务器执行，也可以是终端单独执行，还可以是终端和服务器共同执行。另外，本申请实施例提供的图像分类方法还可以是运行于服务器的软件。服务器可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现图像分类方法的应用等，但并不局限于以上形式。

本申请实施例提供图像分类方法、电子设备及计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的图像分类方法。

参阅图1，根据本申请一个实施例的图像分类方法包括：

步骤101，获取第一样本图像和真实图像类别；

步骤102，将第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述；

步骤103，为第一样本图像文本描述增加问题引导语，生成第一样本引导文本；

步骤104，将第一样本引导文本输入第一初始大语言模型进行类别预测，得到第一样本预测图像类别；

步骤105，基于真实图像类别和第一样本预测图像类别对初始大语言模型进行微调，得到第一目标大语言模型；

步骤106，获取第一目标图像，且将第一目标图像输入预训练视觉语言模型进行文本生成，得到第一目标图像文本描述；

步骤107，为第一目标图像文本描述增加问题引导语，生成第一目标引导文本；

步骤108，将第一目标引导文本输入第一目标大语言模型进行类别预测，得到第一目标预测图像类别。

参照图2，图2是根据本申请实施例的图像分类方法的总体框架图。

图2的左上侧是步骤101中的第一样本图像。第一样本图像是用于对模型进行训练的图像。事先为第一样本图像打上真实图像类别，用于指示第一样本图像所属的类别。例如，第一样本图像是一只狗的图像，则真实图像类别为“狗”。打真实图像类别可以采用人工标注的方式。

需要说明的是，图2所示的Trainable表示LLM模型需要微调,Frozen表示VLMs无需微调，DG表示域泛化任务，UDA表示无监督域自适应任务。对于域泛化任务，源域的第一样本图像通过VLMs转换为文本模态的描述，然后提取的描述被用来微调LLM。对于无监督域自适应任务，进一步使用带有伪图像类别的目标域的第二样本图像来微调LLM。

如图2所示，本申请提出了一种基于大语言模型面向视觉跨域学习的的分类框架(VLLaVO)。假设有数目为S的源域的集合其中的每个域具有训练数据和标签其中n_i代表着每个域的样本数目。我们让表示全部的源域训练数据，并期望模型在目标域T上具有更好的表现。在域泛化任务的设定中，许多工作假设存在一个全局的标签映射函数能够处理不同的域。首先，VLLaVO利用预训练的视觉语言模型(VLM)生成图像的文本描述。这些获得的文本描述仍然存在域偏移。因此，通过使用设计的问题引导语对大语言模型(LLM)进行微调，将这些描述和它们的类别标签结合起来。通过微调，LLM提高了对于问题引导语的遵循能力，并专注于与分类相关的域不变信息。下面具体描述微调过程。

在一例子中，第一样本图像通过以下方式获取：(1)从公共数据集中下载得到第一样本图像。(2)通过爬虫技术从互联网收集图像，得到第一样本图像。

在步骤102中，预训练视觉语言模型(Vision Language Models，VLM)是能够基于图像生成文本描述的模型。将第一样本图像输入预训练视觉语言模型进行文本生成，可以得到第一样本图像文本描述。例如，对于每一张第一样本图像x_i，利用预训练的VLM生成其对应的第一样本图像文本描述第一样本图像文本描述由三个部分组成，分别是第一样本图像标签(Tags)，第一样本图像属性(Attributes)，以及第一样本图像字幕(Captions)。

如图2所示，预训练视觉语言模型(VLMs)包括图像标签模型(VLM_Tag)、图像属性模型(VLM_Att)和图像字幕模型(VLM_Cap)。第一样本图像文本描述包括第一样本图像标签、第一样本图像属性以及第一样本图像字幕。

图像标签模型是能够基于图像生成标签的模型。比如，将真实图像类别为“house”的第一样本图像输入图像标签模型，得到第一图像标签包括“schoolhouse”、“birdhouse”等。

图像属性模型是能够基于图像生成属性的模型。比如，将真实图像类别为“house”的第一样本图像输入图像标签模型，得到第一图像属性包括“housewhich is a bulidingwith walls and a roof”、“residence which has windows”等。

图像字幕模型是能够基于图像生成字幕的模型。比如，将真实图像类别为“house”的第一样本图像输入图像标签模型，得到第一图像字幕包括“a picture of a house witha bird on the roof”、“a cartoon house with a lot of windows”等。

需要说明的是，图像标签模型和图像属性模型可以为基于对比学习的视觉语言模型(Contrastive Language-Image Pre-training，CLIP)，图像字幕模型可以为双语视觉语言模型(Bilingual Language-Image Pre-training，BLIP)。

在一实施例中，参照图3，步骤102包括：

步骤301，获取标签集，标签集包括多个标签；

步骤302，将每个标签嵌入预设的标签模板，生成标签文本；

步骤303，将第一样本图像和标签文本输入图像标签模型进行相似度计算，得到图像标签相似度；

步骤304，根据图像标签相似度对多个标签进行筛选，得到第一样本图像标签。

具体地，首先利用多种不同的数据集的标签构造了一个全面的标签词典，即标签集。之后，将每一个标签都嵌入到标准的标签模板，比如“A photo of{tag}”中，并利用预训练的CLIP模型获取每个标签嵌入模板后的标签特征。对于每一张图片，也使用CLIP模型获取其图像特征，通过图像特征和标签特征计算余弦相似度，基于每个标签对应的余弦相似度可以获取到和第一样本图像最贴近的K个标签。该实施例的益处在于，提高生成第一样本图像标签的准确性。

在一实施例中，参照图4，步骤102还包括：

步骤401，将每个标签嵌入预设的属性引导模板，生成属性引导文本；

步骤402，将每个属性引导文本输入预训练语言模型进行属性文本生成，得到候选属性文本；

步骤403，将第一样本图像和候选属性文本输入图像属性模型进行相似度计算，得到第一图像属性相似度；

步骤404，根据第一图像属性相似度对多个候选属性文本进行筛选，得到第一样本图像属性。

具体地，第一样本图像标签通常相对较短，以至于其无法包括全部的第一样本图像的细节描述。为此，使用预训练语言模型(比如GPT-3)来生成分辨每个标签需要的属性，得到第一候选属性文本。具体来说，通过输入第一属性引导文本为“What are the usefulfeatures for distinguishing a{tag}in a photo？”来提示GPT-3以生成用来分辨视觉特征的关键属性。和标签类似，对于每张第一样本图像，使用预训练的CLIP模型计算第一样本图像和第一候选属性文本的余弦相似度，获取到最贴近的M个第一样本图像属性。该实施例的益处在于，提高生成第一样本图像属性的准确性。

在一实施例中，步骤102还包括：将第一样本图像输入图像字幕模型进行字幕生成，得到第一样本图像字幕。

具体地，标签和属性都是对于图像概念层面的知识，缺少了对于图像的具体描述。因此需要进一步通过图像的字幕来扩充提取的图像信息。对于每张第一样本图像，使用图片字幕模型(BLIP)生成最贴近第一样本图像的N个第一样本图像字幕。

在得到第一样本图像标签、第一样本图像属性和第一样本图像字幕之后，第一样本图像文本描述可以表示如下：

在步骤103中，为第一样本图像文本描述增加问题引导语，生成第一样本引导文本。例如，问题引导语为“‘<第一样本图像文本描述>’,该文本描述对应的图像类别是什么”。在本实施例中，通过为第一样本图像文本描述增加问题引导语，使得在不需要标注数据的情况下，让第一样本引导文本更适合作为待识别出类别的文本，以便后续引导第一初始大语言模型输出更准确的类别。

在一实施例中，问题引导语包括信息提供模板和类别问题模板。参照图5，步骤103，包括：

步骤501，获取类别集；类别集包含多个类别，多个类别包含第一样本预测图像类别；

步骤502，将第一样本图像文本描述嵌入信息提供模板，且将类别集嵌入类别问题模板，得到第一样本引导文本。

例如，信息提供字段为“Give the information about an image:{}”，类别问题字段为“According to the infoimation,choose the most similar category from thegiven options:{}，###Answer：”。将第一样本图像文本描述嵌入信息提供模板，且将类别集(Category Set)嵌入类别问题模板之后，得到的第一样本引导文本为“Give theinformation about an image:”，“According to the infoimation,choose themost similar category from the given options:{Category Set}，###Answer：”。

本实施例通过将文本描述和类别嵌入设计出的模板，以作为语料来微调第一初始大语言模型。在微调第一初始大语言模型之后，能够提高其对于模板的跟随能力，同时让其关注分类相关的信息。

在得到第一样本图像文本描述之后，先在步骤104中，将第一样本引导文本输入第一初始大语言模型进行类别预测，得到第一样本预测图像类别。然后在步骤105中，基于真实图像类别和第一样本预测图像类别对初始大语言模型进行微调，得到第一目标大语言模型。

在一实施例中，参照图6，步骤105包括：

步骤601，根据真实图像类别对多个第一样本预测图像类别进行筛选，得到第一样本目标预测类别，且将第一样本目标预测类别的预测概率作为第一预测概率；

步骤602，对第一预测概率进行对数计算，得到第一对数；

步骤603，对第一对数取反，得到第一损失数据；

步骤604，根据第一损失数据对初始大语言模型进行参数调整，得到第一目标大语言模型。

通过使用问题引导语，跨域图像分类任务能够有效地转化为文本分类任务。一种简单的方法零样本微调LLM(下称ZS-LLM)将输入LLM，并计算每个类别中的每个token的对数似然之和，以应用rank classification选择具有最高对数似然的类别作为预测的类别。然而，ZS-LLM在跨域任务中表现不佳，因为：(1)文本描述的分布仍然在不同域之间存在差异。LLM容易受到描述中的无关上下文(例如，域特定词语)的影响，这可能对它们的分类准确性产生负面影响。(2)LLM的输出虽然与真实类别相关，但仍然不完全对齐。

为了解决上述问题并进一步利用LLM在基于文本描述进行样本分类方面的能力，本申请可以将分类问题形式化为一个问答问题其中y为x的类别标签，用一系列类别LLM的token来表示，并将其作为问题的真实答案。

在域泛化的设定中，许多工作假设存在一个全局的标签映射函数能够处理不同的域。跟随这一设置，可以使用全部的源域数据来指令微调大语言模型。由于大语言模型有上亿规模的参数，全微调大语言模型将有较高的计算复杂度，可采用参数高效微调方法LoRA来进行微调。第一损失数据的计算过程如下所示：

其中，θ代表着LoRA模块的参数，L_dg(θ)是指第一损失数据，是指第一预测概率，y是指真实图像类别，是指第一样本图像文本描述，x是指第一样本图像，D是指源域。

上述实施例的益处在于，通过第一损失数据对大语言模型进行参数调整，进一步提高了模型性能，从而提高了图像分类准确性。

在步骤106中，获取第一目标图像，且将第一目标图像输入预训练视觉语言模型进行文本生成，得到第一目标图像文本描述。

第一目标图像是模型训练之后待进行图像分类的图像。在一例子中，第一目标图像通过以下方式获取：(1)从终端的本地存储空间读取得到第一目标图像。(2)从其他终端或服务器接收第一目标图像。

将第一目标图像输入预训练视觉语言模型进行文本生成，可以得到第一目标图像文本描述。例如，对于每一张第一目标图像，利用预训练的VLMs生成其对应的第一目标图像文本描述。第一目标图像文本描述由三个部分组成，分别是第一目标图像标签，第一目标图像属性，以及第一目标图像字幕。

需要说明的是，生成第一目标图像文本描述的过程与上文中生成第一样本图像文本描述的过程类似，此处不再赘述。

在步骤107中，为第一目标图像文本描述增加问题引导语，生成第一目标引导文本。例如，获取类别集；类别集包含多个类别；将第一目标图像文本描述嵌入信息提供模板，且将类别集嵌入类别问题模板，得到第一目标引导文本。

在步骤108中，将第一目标引导文本输入第一目标大语言模型进行类别预测，得到第一目标预测图像类别。在微调得到第一目标大语言模型之后，第一目标大语言模型能够根据给定的类别集进行预测，体现其在视觉模态上的泛化能力。

在一实施例中，在步骤105之后，参照图7，图像分类方法还包括：

步骤701，获取第二样本图像；

步骤702，利用第一目标大语言模型对第二样本图像输入进行类别预测，得到伪图像类别；

步骤703，将第二样本图像输入预训练视觉语言模型进行文本生成，得到第二样本图像文本描述；

步骤704，为第二样本图像文本描述增加问题引导语，生成第二样本引导文本；

步骤705，将第二样本引导文本输入第一目标大语言模型进行类别预测，得到第二样本预测图像类别；

步骤706，根据真实图像类别、第一样本预测图像类别、伪图像类别以及第二样本预测图像类别，对第一目标大语言模型进行微调，得到第二目标大语言模型；

步骤707，获取第二目标图像，且将第二目标图像输入预训练视觉语言模型进行文本生成，得到第二目标图像文本描述；

步骤708，为第二目标图像文本描述增加问题引导语，生成第二目标引导文本；

步骤709，将第二目标引导文本输入第二目标大语言模型进行类别预测，得到第二目标预测图像类别。

图2的左下侧是步骤701中的第二样本图像。第二样本图像是用于对模型进行训练的图像。其中，第一样本图像与第二样本图像处于不同域。比如，第一样本图像处于源域，而第二样本图像处于目标域。

在一例子中，第二样本图像通过以下方式获取：(1)从公共数据集中下载得到第二样本图像。(2)通过爬虫技术从互联网收集图像，得到第二样本图像。

在步骤702中，不需要事先为第二样本图像打标注，而是通过第一目标大语言模型对第二样本图像输入进行类别预测，得到伪图像类别。

在步骤703，将第二样本图像输入预训练视觉语言模型进行文本生成，得到第二样本图像文本描述。例如，对于每一张第二样本图像x_i，利用预训练的VLMs生成其对应的第二样本图像文本描述第二样本图像文本描述由三个部分组成，分别是第二样本图像标签(Tags)，第二样本图像属性(Attributes)，以及第二样本图像字幕(Captions)。

在一实施例中，步骤703包括：获取标签集，标签集包括多个标签；将每个标签嵌入预设的标签模板，生成标签文本；将第二样本图像和标签文本输入图像标签模型进行相似度计算，得到第二图像标签相似度；根据第二图像标签相似度对多个标签进行筛选，得到第二样本图像标签。该实施例与上文中生成第一样本图像标签的过程类似，可以提高生成第二样本图像标签的准确性。

在一实施例中，步骤703还包括：将每个标签嵌入预设的属性引导模板，生成属性引导文本；将每个属性引导文本输入预训练语言模型进行属性文本生成，得到候选属性文本；将第二样本图像和候选属性文本输入图像属性模型进行相似度计算，得到第二图像属性相似度；根据第二图像属性相似度对多个候选属性文本进行筛选，得到第二样本图像属性。该实施例与上文中生成第一样本图像属性的过程类似，可以提高生成第二样本图像属性的准确性。

在一实施例中，步骤703还包括：将第二样本图像输入图像字幕模型进行字幕生成，得到第二样本图像字幕。

在一实施例中，步骤704包括：获取类别集；类别集包含多个类别，多个类别包含第二样本预测图像类别；将第二样本图像文本描述嵌入信息提供模板，且将类别集嵌入类别问题模板，得到第二样本引导文本。

在一实施例中，步骤706包括：

根据真实图像类别对多个第一样本预测图像类别进行筛选，得到第一样本目标预测类别，且将第一样本目标预测类别的预测概率，作为第一预测概率；

对第一预测概率进行对数计算，得到第一对数，且对第一对数取反，得到第一损失数据；

根据伪图像类别对多个第二样本预测图像类别进行筛选，得到第二样本目标预测类别，且将第一样本目标预测类别的预测概率，作为第二预测概率；

对第二预测概率进行对数计算，得到第二对数，且对第二对数取反，得到第二损失数据；

根据第一损失数据和第二损失数据进行相加，得到目标损失数据；

根据目标损失数据对第一目标大语言模型进行参数调整，得到第二目标大语言模型。

目标损失数据的计算过程如下所示：

其中，θ代表着LoRA模块的参数，L_uda(θ)是指目标损失数据，是指第一预测概率，是指第二预测概率，y是指真实图像类别，是指伪图像类别，D是指源域，T是指目标域。

在步骤707中，第二目标图像是模型训练之后待进行图像分类的图像。在一例子中，第二目标图像通过以下方式获取：(1)从终端的本地存储空间读取得到第二目标图像。(2)从其他终端或服务器接收第二目标图像。

将第二目标图像输入预训练视觉语言模型进行文本生成，可以得到第二目标图像文本描述。例如，对于每一张第二目标图像，利用预训练的VLMs生成其对应的第二目标图像文本描述。第二目标图像文本描述由三个部分组成，分别是第二目标图像标签，第二目标图像属性，以及第二目标图像字幕。

需要说明的是，生成第二目标图像文本描述的过程与上文中生成第一样本图像文本描述的过程类似，此处不再赘述。

在步骤708中，为第二目标图像文本描述增加问题引导语，生成第二目标引导文本。例如，获取类别集；类别集包含多个类别；将第二目标图像文本描述嵌入信息提供模板，且将类别集嵌入类别问题模板，得到第二目标引导文本。

在步骤709中，在微调得到第二目标大语言模型之后，第二目标大语言模型能够根据给定的类别集进行预测，体现其在视觉模态上的泛化能力。

上述实施例的益处在于，在微调之后，第二目标大语言模型能够根据给定的类别集进行预测，体现其在视觉模态上的泛化能力。

本申请通过使用视觉语言模型提取图像模态的文本描述，并在大语言模型上针对设计的问题引导语进行微调，从而将大语言模型的泛化能力应用到图像模态上的跨域迁移学习问题，能够有效提高分类精度。为了验证本申请模型(可称VLLaVO)的有效性，在域泛化设定下，在PACS，OfficeHome，DomainNet等数据集上测试了VLLaVO的表现，证明了所提出方法的有效性。

本申请实施例还提供了电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述图像分类方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图8，图8示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器801，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器802，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器802可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器802中，并由处理器801来调用执行本申请实施例的图像分类方法；

输入/输出接口803，用于实现信息输入及输出；

通信接口804，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线805，在设备的各个组件(例如处理器801、存储器802、输入/输出接口803和通信接口804)之间传输信息；

其中处理器801、存储器802、输入/输出接口803和通信接口804通过总线805实现彼此之间在设备内部的通信连接。

本申请实施例还提供了存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述图像分类方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims

1.一种图像分类方法，其特征在于，所述方法包括：

获取第一样本图像和真实图像类别；

2.根据权利要求1所述的方法，其特征在于，所述问题引导语包括信息提供模板和类别问题模板；

所述为所述第一样本图像文本描述增加问题引导语，生成第一样本引导文本，包括：

3.根据权利要求1所述的方法，其特征在于，所述第一样本图像文本描述包括第一样本图像标签，所述预训练视觉语言模型包括图像标签模型；

所述将所述第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述，包括：

获取标签集，所述标签集包括多个标签；

将每个所述标签嵌入预设的标签模板，生成标签文本；

4.根据权利要求3所述的方法，其特征在于，所述第一样本图像文本描述还包括第一样本图像属性，所述预训练视觉语言模型包括图像属性模型；

所述将所述第一样本图像输入预训练视觉语言模型进行文本生成，得到第一样本图像文本描述，还包括：

5.根据权利要求4所述的方法，其特征在于，所述第一样本图像文本描述还包括第一样本图像字幕，所述预训练视觉语言模型包括图像字幕模型；

6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述真实图像类别和所述第一样本预测图像类别对所述初始大语言模型进行微调，得到第一目标大语言模型，包括：

对所述第一预测概率进行对数计算，得到第一对数；

对所述第一对数取反，得到第一损失数据；

7.根据权利要求1至5任一项所述的方法，其特征在于，在所述基于所述真实图像类别和所述第一样本预测图像类别对所述初始大语言模型进行微调，得到第一目标大语言模型之后，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，根据所述真实图像类别、所述第一样本预测图像类别、所述伪图像类别以及所述第二样本预测图像类别，对所述第一目标大语言模型进行微调，得到第二目标大语言模型，包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法。