CN120876132B

CN120876132B - 基于多模态大模型的智能审计方法及系统

Info

Publication number: CN120876132B
Application number: CN202511403371.9A
Authority: CN
Inventors: 韩民杰
Original assignee: Zhejiang Weite Electronic Information Co ltd
Current assignee: Zhejiang Weite Electronic Information Co ltd
Priority date: 2025-09-29
Filing date: 2025-09-29
Publication date: 2025-12-02
Anticipated expiration: 2045-09-29
Also published as: CN120876132A

Abstract

本发明公开了基于多模态大模型的智能审计方法及系统，涉及人工智能领域，包括以下步骤：通过在LLaMA‑3架构中注入财会领域语料构建领域自适应模型，能够自动解析会计准则、政策法规并生成可执行的审计规则，系统采用多通道结构，同步完成关键实体提取、逻辑关系识别与歧义消解，确保规则的准确性与稳健性，通过构建财会知识图谱整合多源异构数据，并执行生成的SPARQL查询实现自动化审计测试，创新性地引入区块链锚定规则哈希与三维证据矩阵，实现了全流程可追溯、不可篡改的决策溯源。该方法显著提升了审计的效率、覆盖面和自动化水平，有效规避审计风险，为人机协同的智能审计提供了高度可信的解决方案。

Description

基于多模态大模型的智能审计方法及系统

技术领域

本发明涉及人工智能领域，具体为基于多模态大模型的智能审计方法及系统。

背景技术

传统的财会审计严重依赖基于静态规则库的自动化系统，这些系统通常由预定义的IF-THEN逻辑规则驱动，其构建和维护完全依赖于人工对会计准则的理解与翻译；

该方法存在固有缺陷：首先，规则库更新滞后，难以跟上会计准则（如新租赁准则ASC 842）的频繁变更，导致审计程序过时；

其次，规则库覆盖范围有限，无法有效处理收入确认、金融工具分类等复杂、依赖职业判断的场景，再者，传统系统仅能处理ERP中的结构化数据，对合同文本、票据影像等蕴含关键证据的非结构化数据无能为力，造成审计盲区；

最后，此类系统作为一个“黑箱”，缺乏清晰的决策溯源机制，生成的审计结论可解释性差，难以满足监管对审计底稿和质控的高要求。

发明内容

本发明的目的在于提供基于多模态大模型的智能审计方法及系统，能够动态适应准则变化、深度融合多模态数据并保障过程可审计性，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于多模态大模型的智能审计方法，包括以下步骤：

接收多模态审计输入数据，所述多模态审计输入数据包括结构化业务数据、非结构化文档数据以及实时监管公告文本数据；

将所述实时监管公告文本数据输入至经过财会领域语料训练且嵌入有准则条款到规则逻辑转换策略的大语言模型中，所述大语言模型执行多通道并行的解析策略从输入的文本数据中提取出包括有关键实体与逻辑关系的规则数据，利用提取的规则数据构建可执行的审计规则逻辑，且进行不可篡改的锚定；

将所述结构化业务数据与非结构化文档数据构建为财会知识图谱，并执行所述审计规则逻辑，对所述财会知识图谱进行查询与推理，输出审计结论；

生成并存储决策溯源的多维证据矩阵，所述多维证据矩阵包括数据来源、规则版本与置信度，所述审计结论与所依据的数据来源、所应用的审计规则版本的唯一标识符以及模型计算的置信度进行关联映射，实现审计过程的不可篡改与可验证性。

作为优选，所述执行多通道并行的解析策略包括第一通道与第二通道并行，所述第一通道提取文本数据中的关键实体，所述第二通道提取文本数据中的逻辑关系与条件语句，将所述关键实体作为节点，所述逻辑关系作为边，所述条件语句作为判断分支，生成抽象语法树，将所述抽象语法树转换为可被知识图谱引擎执行的SPARQL查询语句。

作为优选，所述执行多通道并行的解析策略还包括第三通道，所述第三通道实时对所述条件语句进行歧义分析，对存在歧义的条件语句调用搭建的修正知识库进行修正，实现潜在问题的风险规避。

作为优选，在构建可执行的所述审计规则逻辑后还包括实行规则冲突消解步骤，具体步骤包括：

当针对同一业务场景生成多条规则时，构建规则影响图来计算规则之间的冲突分数，所述冲突分数Conflict_Score = Σ(W_i * Sim(Rule_i, Rule_j))，其中W_i为规则权重，Sim为规则相似度函数；

基于强化学习算法，以规则应用的历史准确率与专家反馈作为奖励信号，从多条规则中选择最优规则链用于后续执行。

作为优选，所述不可篡改的锚定包括将所述生成的审计规则逻辑的密码学哈希值存入区块链网络，所述审计规则版本的唯一标识符为所述审计规则逻辑的密码学哈希值。

作为优选，所述置信度由所述大语言模型在执行规则生成和知识图谱查询推理过程中产生，根据置信度高低对输出的审计结论进行风险分级，其中包括：

对于置信度低于预设阈值的结论，自动标记并提交给人类审计师进行重点复核；

对于置信度高于预设阈值的结论，则生成自动化审计工作底稿。

作为优选，所述方法还包括审计规则验证：

响应于验证请求，接收待验证的审计规则；

计算该规则的哈希值并与区块链上存储的、在特定时间戳下的哈希值进行比对；

若一致，则输出该规则在该时间戳后未被篡改的验证结果，若不一致则不合格。

作为优选，所述非结构化文档数据构建为财会知识图谱的方法包括：利用所述大语言模型从非结构化文本中提取财会实体、属性及关系，并将其作为节点和边插入到所述财会知识图谱中。

作为优选，所述大语言模型基于LLaMA架构，并利用政府会计准则与具体解释、行政事业单位财务规则、各级财政政策、企业会计准则与具体解释、涉税法律规范与实施条例、国际会计准则全文及审计案例库进行领域自适应预训练和微调。

为解决上述技术问题，本发明还提供基于多模态大模型的智能审计系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时实现如上述任意一项所述基于多模态大模型的智能审计方法的步骤。

综上所述，本发明有益效果是：

本发明实现了从传统手工模式向现代数字智能化的范式转移，其核心优势在于通过领域自适应大模型自动生成实时、精准的审计规则，并利用财会知识图谱对多源异构数据进行深度关联分析与自动化测试，极大提升了审计效率和覆盖面。系统内置的歧义消解与冲突消解机制显著增强了结论的稳健性，有效规避审计风险，尤为关键的是通过区块链锚定规则哈希与三维证据矩阵，构建了全流程可追溯、不可篡改的审计线索，彻底解决了AI决策的黑箱问题，确保了极高的透明度和可审计性，为审计结论提供了强大的可信度与合规性保障，最终形成了人机协同、持续进化、风险导向的新一代智能审计范式。

本发明还提供基于多模态大模型的智能审计系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于多模态大模型的智能审计方法整体流程框架结构示意图；

图2为本发明基于多模态大模型的智能审计方法中大模型解析准则生成审计规则流程框架结构示意图；

图3为本发明基于多模态大模型的智能审计方法中构建财会知识图谱并执行审计的流程框架结构示意图：

图4为本发明基于多模态大模型的智能审计方法中生成溯源证据流程框架结构示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围，这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述，附图中给出了本发明的若干实施例，但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例，相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连，可以是至少两个元件内部的连通或至少两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合图1-图4对本发明进行详细说明，本发明提供的一种实施例：基于多模态大模型的智能审计方法，包括以下步骤：

第一步：预训练模型

基于LLaMA-3架构注入财会领域语料：

在预训练的LLaMA-3基础上，使用海量财会领域文本（如政府会计准则与企业会计准则全文、上市公司财报、审计法律规范、教科书、案例库、中国证监会公告等）进行继续预训练（Continual Pre-training），这让模型不仅拥有通用语言能力，更深刻掌握了财会领域的术语、概念和叙事逻辑；

同时使用精心构建的“准则条款-规则逻辑”配对数据对模型进行微调，将准则条款到规则逻辑转换策略植入到大语言模型中，例如，输入一段关于“收入确认”的准则原文，期望模型输出对应的逻辑判断步骤或代码片段。这个过程“教会”模型如何执行规则生成任务，例如，其中一种微调方法代码如下：

# 伪代码：准则条款到规则逻辑的转换

def rule_generation(policy_text):

embeddings = fintune_llm.encode(policy_text)

logic_tree = graph_neural_net(embeddings)# 生成AST抽象语法树

return SPARQL_convert(logic_tree)# 输出为知识图谱查询语句

将输入的会计准则文本（policy_text）进行编码，转化为高维的、富含语义信息的向量（Embeddings），将得到的语义向量，构建成一个结构化的逻辑表示——抽象语法树（Abstract Syntax Tree, AST）或类似的概念图，审计规则本质上是复杂的逻辑判断（条件、循环、布尔运算）。AST是一种树状数据结构，完美地表示了这种嵌套的逻辑关系。例如，“如果（IF）客户拥有对商品的控制权（Condition A），并且（AND）价格是固定的（ConditionB），那么（THEN）确认收入”可以被表示为一棵AST，最后将逻辑树（AST）转换为一种标准的、可执行的查询语言——SPARQL；

SPARQL是一种用于查询知识图谱（Knowledge Graph）的RDF数据库查询语言。这意味着您系统的输出不是为了直接生成代码，而是为了在一个预设的财会知识图谱上执行查询和推理。

同时系统中构建一个财会知识图谱，其中包含实体（如“客户A”、“合同B”、“设备C”）及其关系（“拥有”、“租赁”、“支付”）、属性（“价格：$100k”、“日期：2023-12-01”），生成的SPARQL语句会在这个知识图谱上运行，就像SQL查询数据库一样，查询结果就是一个审计判断（例如，“符合收入确认条件”或“不符合”），例如，SPARQL查询会去图谱里寻找“客户A对设备C的控制权”是否存在、“合同B的价格是否固定”等事实，然后返回答案。

第二步：动态审计规则引擎工作

首先在输入层接收多模态审计数据输入，其中多模态审计数据包括：

结构化业务数据（ERP数据库）：通过API或数据库连接器直接获取总账、明细账、固定资产模块、应收应付等结构化数据，为后续审计规则执行提供事实基础；

非结构化文档数据（扫描凭证/邮件/合同）：

扫描凭证/票据影像：通过OCR（光学字符识别）技术将其转换为机器可读的文本；

合同/邮件文本：直接通过自然语言处理（NLP）进行解析；

这些非结构化文本数据会被送入领域大模型进行关键信息提取（如合同金额、签约日期、特殊条款、交货条件等），并最终被结构化地存入财会知识图谱，成为可供SPARQL查询的事实节点；

实时监管公告文本数据（SEC/财政部公告）：通过网络爬虫或订阅RSS源，自动抓取监管机构发布的最新公告、解释函和案例，这些新文本会作为policy_text输入到规则生成层，触发新一轮的规则生成或更新，从而实现规则的自我进化。

训练好的大语言模型首先接收到实时监管公告文本数据，对其中出现变更的会计准则进行解析，采用多通道并行的解析策略从输入的文本数据中提取出包括有关键实体与逻辑关系的规则数据，利用提取的规则数据构建可执行的审计规则逻辑，将复杂的准则文本解析任务拆分成多个更专注的子任务；

其中就包括第一通道、第二通道与第三通道；

第一通道：提取文本数据中的关键实体，专门识别文本中的名词性成分。

输入：会计准则文本（如“企业应当在客户取得相关商品控制权时确认收入”）。

输出：关键实体列表，如 [企业，客户，商品，控制权]，这些实体将被映射到知识图谱的节点类型和属性上。

第二通道：提取文本数据中的逻辑关系与条件语句，这个通道专门识别文本中的动词性成分和逻辑连接词。

输入：同一段准则文本。

输出：动作、条件和逻辑运算符，如确认(动作)，当(时间条件)，取得(条件动作)，这些关系将构成逻辑树（AST）的枝干。

最终，这两个通道的输出会由一个融合模块进行整合，将所述关键实体作为节点，所述逻辑关系作为边，所述条件语句作为判断分支，生成抽象语法树，将所述抽象语法树转换为可被知识图谱引擎执行的SPARQL查询语句，（例如：IF (客户.取得(商品.控制权) ==TRUE) THEN (确认收入(交易))）

而第三通道：实时对所述条件语句进行歧义分析，对存在歧义的条件语句调用搭建的修正知识库进行修正，实现潜在问题的风险规避，这个通道并行于“实体提取”和“关系识别”通道运作，专门监视和分析前两个通道产生的初步结果，其核心任务是识别和消解自然语言会计准则中的模糊性和歧义。

接收来自前两个通道的原始输出：

来自第一通道的“关键实体”列表；

来自第二通道的“逻辑关系与条件语句”雏形（尚未形成完整AST的初步逻辑判断）。

模式识别：该通道内置一个“歧义模式库”，用于扫描逻辑关系中是否存在高风险的不确定项，这些模式包括但不限于：

模糊量化词：“重大”、“微小”、“很可能”、“偶尔”、“频繁”。（例如：“如果差异重大，则需调整。”）

主观判断词：“实质性的”、“控制”、“经济实质重于法律形式”。（例如：“评估租赁是否为实质性替换权。”）

多义词：同一术语在不同准则上下文中有不同含义。

条件缺失：规则逻辑链不完整，存在隐含条件。

风险标记：一旦检测到上述模式，该语句会被标记为“存在歧义”，并计算一个歧义风险评分。

对于被标记的歧义语句，系统不会直接生成规则，而是会启动修正流程。

修正知识库的构成：

官方释疑与指引：FASB、IASB、SEC等官方机构发布的准则应用指南、示例、问答函件。

权威案例库：历史上著名的审计案例、法院判决、SEC执法案例中对于相关条款的解释和应用。

专家规则库：由内部资深审计专家编写的、用于澄清常见歧义的明确规则，（例如：在本公司上下文中，“重大”一词在利润表中定义为“超过税前利润的5%”）。

修正过程：系统将歧义点（如“重大”）作为查询关键词，在修正知识库中进行向量相似性搜索，寻找最相关的官方解释和案例，随后，一个专门的微调模型会将这些解释“翻译”成可替代原模糊词语的、明确的可执行逻辑。

输出的是经过去歧义化的、明确的逻辑组件，反馈给中央融合模块，用于生成最终的安全、可靠的AST。

输入歧义句：“如果价格变动对成本的影响是重大的，则需重新计量。”

第三通道输出：IF (ABS(价格变动影响) > (总成本 * 0.05)) THEN [需重新计量] （假设知识库定义“重大”为超过总成本的5%）。

值得一提的是，在本实施例中，同一业务场景可能会生成多条不同甚至矛盾的规则（例如，新旧准则交替时），为此，实行规则冲突消解机制，当针对同一业务场景生成多条规则时，构建规则影响图来计算规则之间的冲突分数，构建一个图网络，节点是规则，边表示规则之间的关联（如冲突、依赖、强化）。

其中所述冲突分数Conflict_Score = Σ(W_i * Sim(Rule_i, Rule_j))，其中W_i为规则权重，可能来源于其权威性（如是否来自最新准则）、历史应用的准确率、影响的交易金额大小等；Sim为规则相似度函数，计算两条规则在语义上的相似度（例如，都关于“收入确认”）；

智能体（Agent）：就是规则选择器；

环境（Environment）：是当前的审计场景和数据；

动作（Action）：选择应用哪一条（或哪一组）规则；

奖励（Reward）：根据动作的结果给予奖励；

正向奖励：规则执行结果与知名审计案例一致、被审计师手动认可、导致高风险问题被发现。

负向奖励：规则执行结果相互矛盾、被审计师否决、导致误报。

通过不断尝试，RL智能体会学会在复杂的、存在潜在冲突的规则网络中，选择那条最权威、最适用、历史表现最好的规则链。

对生产的审计规则进行区块链锚定，每生产或者更新一条审计规则逻辑（即最终生成的SPARQL查询逻辑），都计算该规则字符串的加密哈希值（如使用SHA-256算法），这个哈希值如同该规则唯一的、不可篡改的“数字指纹”，随后，这个指纹被写入一个公认的、去中心化的区块链（如以太坊、Hyperledger Fabric或某个联盟链）网络中，写入区块链的不是规则本身（以避免隐私和成本问题），而是其哈希值，任何对规则的微小修改都会产生一个截然不同的哈希值，从而立即被检测出来，从而让审计规则具有如下优势：

不可篡改性与可信度（Immutability & Trust）：

一旦规则“上链”，任何人都无法在事后否认或篡改该规则。这提供了最高级别的证据完整性。在发生审计争议或监管审查时，会计师事务所可以向监管机构（如证监会、证券交易所）或客户证明：“我们在审计时所使用的规则就是这个版本，且自审计之日起从未被更改过”。这建立了对AI系统输出结果的终极信任。

独立验证（Independent Verification）：

任何第三方都可以进行验证，验证者只需将争议中的规则再次进行哈希计算，然后将得到的哈希值与区块链上记录的时间戳下的哈希值进行比对。若一致，则证明规则未被篡改；若不一致，则证明规则已被改动。这个过程完全独立，不需要依赖提供服务的会计师事务所的配合，极大地增强了公信力。

清晰的责任界定（Clear Accountability）：

区块链上的时间戳为每一条规则打上了明确的“出生证明”。如果某条规则后来被证明存在缺陷或源于一个有问题的准则解释，时间戳可以清晰地证明该规则是在哪个时间点被生成和使用的，从而为界定责任提供了客观技术证据。

在完成审计规则逻辑后，将所述结构化业务数据与非结构化文档数据构建为财会知识图谱，并执行所述审计规则逻辑，对所述财会知识图谱进行查询与推理，输出审计结论；

1.数据映射与实体识别：

结构化数据（ERP数据库）：数据库中的表（Table）和列（Column）会被映射为图谱中的实体类型和属性。

客户表——实体类型：客户；

客户ID, 客户名称——属性：id, name；

销售订单表——实体类型：销售订单；

订单ID, 客户ID, 订单金额，订单日期——属性：id, amount, date；关系：belongsTo (连接到客户实体)；

非结构化数据（合同/邮件/票据）：经由LLM和NLP技术处理，提取关键信息作为实体和关系，链接到已有的结构化数据上。

输入：一份销售合同文本（PDF）。

处理：大模型读取后识别出：“合同编号CT-1234”、“客户：ABC公司”、“特殊条款：产品需经客户验收后方可确认收入”。

输出：

新建一个合同实体，属性 id: CT-1234。

创建关系：合同 CT-1234——[涉及客户]——客户ABC公司；

创建关系：销售订单 SO-5678——[受限于合同]——合同CT-1234；

将“验收条款”作为合同CT-1234的一个属性收入确认条件： "客户验收" 存储。

2.图谱模式设计：

一个设计良好的财会知识图谱Schema是其成功的关键，它定义了实体类型、属性和关系的词汇表。

实体类型示例：客户，供应商，产品，销售订单，采购合同，发票，总账科目，银行账户，固定资产等；

关系类型示例：

客户——[下达了]——销售订单；

销售订单——[对应到]——发票；

发票——[记录了]——收入；

收入——[计入科目]——主营业务收入；

固定资产——[归属于]——成本中心；

采购合同——[包含]——租赁条款 (链接到另一个实体)；

得到了一个相互连接的巨大网络，其中包含了客户、合同、订单、交易、资产等所有信息，以及它们之间丰富的关系，这远非传统数据库的孤立表格可以比拟。

3.执行审计规则逻辑（查询与推理）

已消歧的规则逻辑（AST）在这个知识图谱上执行，进行自动化审计测试；

以一个具体的审计规则为例：“检查所有金额超过100万美元的收入确认，是否在客户取得商品控制权时发生。”

生成的规则逻辑：IF (收入.金额 > 1,000,000) AND NOT (已转移控制权) THENFlagForReview

转换后的SPARQL查询（伪代码）：

PREFIX audit: <http://www.ourcompany.com/audit#>

SELECT ？收入记录？客户？订单？金额

WHERE {

# 绑定收入记录实体及其属性

？收入记录 a audit：收入；

audit：金额？金额；

audit：计入订单？订单。

# 找到对应的客户

？订单 audit：由客户下达？客户。

# 查找控制权转移的证据（知识图谱中的关系）

OPTIONAL {

？订单 audit：已确认控制权转移？控制权转移证据。

}

# 核心审计逻辑：金额大于100万，且缺少“控制权转移”证据

FILTER (？金额 > 1000000)

FILTER (!BOUND(？控制权转移证据)) # 如果找不到可选绑定，则说明证据缺失

}

查询结果：图数据库返回所有同时满足“金额>100万”和“缺乏控制权转移证据”的收入记录及其相关上下文（客户是谁、订单号是多少）。

结论生成：

如果结果集为空，则审计程序通过，结论可自动记为：“对大额收入进行的控制权测试未发现例外情况。”

如果结果集不为空，则每一行结果都是一个审计发现。系统会自动生成一个审计底稿记录，结论为：“发现例外：订单[SO-xxxx]确认收入[金额]，但未找到客户控制权转移的证据，请执行进一步审计程序。”并将这些记录高亮标记，推送至审计师的复核工作台。

第三步：生成并存储决策溯源的多维证据矩阵

这是对每一个具体审计结论的深度注解，当系统对某一笔交易（如一笔收入确认）执行规则并得出结论时，它会自动生成并存储一个多维证据矩阵，其中包括：数据来源、规则版本与置信度。

数据来源：精确指向生成此结论所依赖的原始证据。这可以是结构化数据的ID（如SAP凭证号），也可以是非结构化数据的定位符（如合同文件的编号和具体条款），这实现了从“结论”到“源数据”的一键追溯。

规则版本：精确指向得出结论所使用的具体规则（通过其区块链哈希值唯一标识），这实现了从“结论”到“推理逻辑”的一键追溯。

置信度：由模型给出的，对此结论的确定性概率，它反映了模型在处理模糊信息时的“自知之明”，对于置信度低于预设阈值的结论，自动标记并提交给人类审计师进行重点复核；对于置信度高于预设阈值的结论，则生成自动化审计工作底稿。

这个矩阵彻底击碎了AI“黑箱”问题，人类审计师或监管者面对任何一个AI生成的审计结论，都可以轻松地回答三个核心问题：“你的依据是什么？”（数据来源）、“你的判断标准是什么？”（规则版本）、“你有多确定？”（置信度）。这满足了审计标准中关于工作底稿必须“清晰、详尽”的核心要求；

高级审计经理和合伙人在复核工作时，不再需要漫无目的地翻阅大量文件，他们可以根据置信度对结论进行排序，优先复核低置信度的项目，对于有疑问的结论，他们可以通过矩阵提供的信息直接、精准地定位到源数据和相关规则进行核查，复核效率提升数个数量级；

系统自动化地实现了风险分层，高置信度的常规交易可被快速放行，从而让宝贵的人力资源集中到那些低置信度、高风险、异常复杂的交易判断上，使得审计工作真正实现了以风险为导向。

其中一种多维证据矩阵的样例如下：

数据来源	规则版本	置信度
			SAP凭证ID:GL-2024-001234	Rev.2024-05(哈希：0x8a3e...c21d)	92.3%
合同编号CT-6789第5.2条	Rev.2024-05(哈希：0x8a3e...c21d)	85.1%
			客户银行流水号：BNK-20240901	Rev.2024-04	78.0%

其中根据置信度92.3%与85.1%，说明在验证“SAP凭证记录金额准确”时，因为数据清晰、规则明确，置信度非常高，在解读合同第5.2条关于“控制权转移”的条款时，可能因为条款语言存在一定的模糊性（例如，“验收后”一词的定义），导致置信度稍低。

而置信度78.0%则可能是在匹配银行流水和SAP凭证时，可能因为流水备注信息不完整（例如，汇款方名称与合同客户名称不完全一致），导致置信度最低。

具体运行实例，场景：合同审计

审计目标：自动判断一份租赁合同应被分类为“融资租赁”还是“经营租赁”，并自动执行相应的总账科目校验；

输入：一份融资租赁合同的PDF文件；

第1步：多模态数据输入与处理

系统动作：

系统通过OCR（光学字符识别）技术将PDF合同转换为机器可读的文本。

转换后的文本被送入领域大模型（已在财会语料上微调的LLaMA-3）进行关键信息提取（Key Information Extraction）。

具体过程：

模型阅读合同全文，识别出关键条款：

租赁期：5年；

租赁资产预计经济寿命：6年；

未担保残值：$10,000；

每年租金支付额：$50,000；

承租人增量借款利率：5%；

模型将这些提取出的信息结构化，并存入财会知识图谱中，创建新的实体和关系：

新建一个租赁合同实体，属性：合同ID: L-2024-001, 类型：设备租赁。

新建一个租赁资产实体，属性：资产ID: A-789, 预计经济寿命： 6年。

创建关系：合同 L-2024-001——[租赁了]——资产 A-789

将关键条款作为合同的属性：合同 L-2024-001.租赁期 = 5年，未担保残值 =10000。

第2步：动态规则生成与执行

A. 规则触发与生成

系统动作：系统感知到“租赁合同”实体被创建或更新，自动触发“租赁分类”审计规则生成程序。

具体过程：

查询相关准则：系统从知识库中调用最新的租赁会计准则（如ASC 842或IFRS16）全文。

多通道解析：

通道1（实体提取）：从准则文本中提取出关键实体：[租赁期，资产经济寿命，未担保残值，现值，所有权转移……]。

通道2（关系识别）：提取出逻辑关系：如果……大于..., 或..., 则分类为...。

通道3（歧义分析）：检查准则中的模糊点。例如，准则规定“租赁期占资产大部分经济寿命”即为融资租赁。模型识别到“大部分”是模糊词，随即调用修正知识库。知识库中SEC的指引明确：“‘大部分’通常指75%或以上”。因此，模型将“大部分”明确为“>=75%”。

生成可执行规则：融合三个通道的结果，生成一条明确的、无歧义的审计规则逻辑（AST），并最终转换为SPARQL查询。生成的规则逻辑如下所示（伪代码）：

# 动态生成的SPARQL查询核心逻辑

PREFIX aud: <http://www.ourfirm.com/audit#>

PREFIX le: <http://www.ourfirm.com/ontology/lease#>

INSERT {

?lease a le:FinanceLease. # 如果条件满足，则插入一个“融资租赁”类型断言

}

WHERE {

?lease a le:LeaseContract; # 找到一个租赁合同

le:leaseTerm ?leaseTerm; # 绑定它的租期

le:hasLeasedAsset ?asset. # 绑定它租赁的资产

?asset le:economicLife ?assetLife. # 绑定资产的经済寿命

# 计算租期占比

BIND ((?leaseTerm / ?assetLife) AS ?ratio)

# 审计规则逻辑：如果占比 >= 75%，则分类为融资租赁

FILTER (?ratio >= 0.75)

}

B. 规则执行与推理

系统动作：上述SPARQL查询会在财会知识图谱上执行。

具体过程：

系统从图谱中提取合同L-2024-001的数据：租赁期 = 5, 资产经济寿命 = 6。

计算比率：5 / 6 ≈ 83.3%。

执行过滤条件（FILTER）：83.3% > 75% → 条件为True。

输出审计结论：因此，该系统自动推断出结论：合同L-2024-001应分类为融资租赁。这个结论作为一个新的事实（合同L-2024-001 是融资租赁）被添加到知识图谱中。

第3步：自动执行总账科目校验

系统动作： “融资租赁”分类结论会触发下一组预定义的科目校验规则。

具体过程：

系统在知识图谱中查询与该合同相关的财务数据。

通过关系合同 L-2024-001 — [生成会计分录] -> 会计分录 J-456。

检查会计分录J-456的细节。

执行校验规则（同样通过SPARQL查询）：

规则1：“融资租赁必须确认使用权资产和租赁负债。”

查询：检查分录J-456中是否包含借记：使用权资产和贷记：租赁负债科目。（校验通过）

规则2：“租赁负债的初始计量金额，应等于未来租赁付款额的现值。”

查询：从合同中提取付款额（$50,000/年）、租期（5年）、利率（5%），计算现值PV。

公式：PV = $50,000 * (1 - (1+5%)^-5) / 5% ≈ $216,474

校验：检查分录J-456中租赁负债的金额是否等于（或非常接近）$216,474。

结果：如果系统发现分录中的金额是$250,000（直接按5*$50,000计入），则校验不通过。

输出审计结论：系统生成审计发现：“租赁负债初始计量错误。账面金额为$250,000，但根据合同条款计算出的正确现值应为$216,474。建议调整分录，差额计入损益。”此结论会被标记为高风险、低置信度，并立即推送至审计师的复核工作台。

第4步：可审计性保障（全程）

区块链锚定：本次审计所使用的租赁分类规则（SPARQL逻辑）的哈希值已被记录在区块链上，不可篡改。

三维证据矩阵：系统为“融资租赁”分类结论和“科目校验不通过”结论自动生成如下证据矩阵：

数据来源	规则版本	置信度
			合同ID: L-2024-001，第3.1条	Lease_Classification_Rule (哈希： 0x8a3e...)	98.5%
总账分录ID: J-456	Lease_Liability_Measurement_Rule (哈希： 0x5f2b...)	92.1%
			资产卡片ID: A-789	Lease_Classification_Rule (哈希： 0x8a3e...)	98.5%

综上所述，本发明的优势总结为：

1. 极致化的智能与自动化

自动规则生成：系统能够自动解析最新的会计准则（包括非结构化的监管公告），并将其转换为可执行的审计规则（SPARQL），彻底改变了依赖人工编写、更新滞后（Lagging）的静态规则库模式，实现了规则的实时、自适应生成与进化。

端到端自动化审计流程：从数据输入、规则生成、知识图谱构建到最终执行审计程序并生成底稿，实现了高度自动化。审计师的角色从执行大量重复性测试转变为监督、复核和处理例外情况，极大提升效率。

2. 前所未有的覆盖度与深度

多模态数据处理能力：系统能同时处理结构化数据（ERP数据库）和非结构化数据（合同、邮件、票据影像），打破了数据壁垒，构建了企业经济活动的全景视图，使得审计证据从未如此丰富和全面。

全面审计而非抽样审计：基于高效的知识图谱查询，可以对全量交易数据进行测试，从而发现那些通过传统抽样审计可能无法发现的零星但重大的错报，显著提升审计质量。

3. 强大的风险规避与稳健性

前瞻性歧义消解（第三通道）：主动识别并修正准则中的模糊表述（如“重大”、“实质性”），将其量化为明确的判断标准，在规则执行前就规避了因理解偏差导致的审计风险，体现了系统的“审慎性”思维。

智能冲突消解机制：通过规则影响图（RIG）和强化学习，能自主解决规则冲突，选择最优、最权威的规则链，确保了审计结论的一致性和可靠性。

置信度驱动的风险导向：系统能自我评估其结论的确定性，自动将低置信度、高风险的异常点推送给人类专家复核，实现了人机协同的最佳分工，将审计资源精准配置到风险最高的领域。

4. 无与伦比的可审计性与透明度

区块链锚定确保规则可信：利用区块链的不可篡改性，为每一条生成的审计规则建立“数字指纹”，提供了规则完整性和来源的可验证性，构建了终极信任。

三维证据矩阵实现决策全溯源：任何一个审计结论都附带完整的“证据包”（数据来源、规则版本、置信度），完美回答了“依据是什么？”、“标准是什么？”、“有多确定？”这三个核心问题，彻底击碎AI黑箱，满足最严格的监管底稿要求。

过程可重现：任何审计结论都可以通过重新执行SPARQL查询在知识图谱上复现，保证了审计过程的可验证性。

5. 持续的进化与知识沉淀

自我学习与迭代：系统在多个环节具备学习能力：强化学习机制优化规则选择、修正知识库随着新案例和解释函的加入而不断丰富。这使得系统越用越智能，能力持续增长。

组织知识资产化：修正知识库和微调后的领域大模型成为了企业宝贵的数字化知识资产，沉淀了资深审计专家的经验和智慧，避免了因人员流动造成的知识流失。

6. 增强的合规性与防御性

主动合规：系统实时监控监管动态并自动响应变更，确保审计工作始终处于合规前沿。

强大的防御能力：在面对监管质询或法律诉讼时，区块链存证的规则、三维证据矩阵和完整的可追溯性，为会计师事务所履行其勤勉尽责义务提供了极其强大、无可辩驳的技术证据，有效降低了职业风险。

上文详述了基于多模态大模型的智能审计方法对应的实施例，在此基础上本发明还公开了与上述方法对应的基于多模态大模型的智能审计系统。

基于多模态大模型的智能审计系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时能够实现前述任一实施例公开的基于多模态大模型的智能审计方法中的相关步骤。

其中，处理器可以包括一个或多个处理核心，比如核心处理器、核心处理器等。处理器可以采用数字信号处理DSP（Digital Signal Processing）、现场可编程门阵列FPGA（Field－Programmable Gate Array）、可编程逻辑阵列PLA（Programmable LogicArray）中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器CPU（CentralProcessing Unit）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在一些实施例中，处理器可以集成有图像处理器GPU（Graphics ProcessingUnit），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括人工智能AI（Artificial Intelligence）处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器可以包括一个或多个可读存储介质，该可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器至少用于存储以下计算机程序，其中，该计算机程序被处理器加载并执行之后，能够实现前述任一实施例公开的基于多模态大模型的智能审计方法中的相关步骤。另外，存储器所存储的资源还可以包括操作系统和数据等，存储方式可以是短暂存储或者永久存储。其中，操作系统可以为Windows。数据可以包括但不限于上述方法所涉及到的数据。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为发明的具体实施方式，但发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在发明的保护范围之内。因此，发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims

1.基于多模态大模型的智能审计方法，其特征在于：包括以下步骤：

将所述实时监管公告文本数据输入至经过财会领域语料训练且嵌入有准则条款到规则逻辑转换策略的大语言模型中，所述大语言模型执行多通道并行的解析策略从输入的文本数据中提取出包括有关键实体与逻辑关系的规则数据，利用提取的规则数据构建可执行的审计规则逻辑，且进行不可篡改的锚定，所述解析策略包括第一通道与第二通道并行，所述第一通道提取文本数据中的关键实体，所述第二通道提取文本数据中的逻辑关系与条件语句，将所述关键实体作为节点，所述逻辑关系作为边，所述条件语句作为判断分支，生成抽象语法树，将所述抽象语法树转换为可被知识图谱引擎执行的SPARQL查询语句；

2.根据权利要求1所述的基于多模态大模型的智能审计方法，其特征在于：所述执行多通道并行的解析策略还包括第三通道，所述第三通道实时对所述条件语句进行歧义分析，对存在歧义的条件语句调用搭建的修正知识库进行修正，实现潜在问题的风险规避。

3.根据权利要求2所述的基于多模态大模型的智能审计方法，其特征在于：在构建可执行的所述审计规则逻辑后还包括实行规则冲突消解步骤，具体步骤包括：

针对同一业务场景生成多条规则时，构建规则影响图来计算规则之间的冲突分数，所述冲突分数由规则权重与规则间语义相似度计算得出；

4.根据权利要求3所述的基于多模态大模型的智能审计方法，其特征在于：所述不可篡改的锚定包括将所述生成的审计规则逻辑的密码学哈希值存入区块链网络，所述审计规则版本的唯一标识符为所述审计规则逻辑的密码学哈希值。

5.根据权利要求1所述的基于多模态大模型的智能审计方法，其特征在于：所述置信度由所述大语言模型在执行规则生成和知识图谱查询推理过程中产生，根据置信度高低对输出的审计结论进行风险分级，其中包括：

6.根据权利要求5所述的基于多模态大模型的智能审计方法，其特征在于：还包括审计规则验证：

响应于验证请求，接收待验证的审计规则；

7.根据权利要求1所述的基于多模态大模型的智能审计方法，其特征在于：所述非结构化文档数据构建为财会知识图谱的方法包括：利用所述大语言模型从非结构化文本中提取财会实体、属性及关系，并将其作为节点和边插入到所述财会知识图谱中。

8.根据权利要求1所述的基于多模态大模型的智能审计方法，其特征在于：所述大语言模型基于LLaMA架构，并利用政府会计准则与具体解释、行政事业单位财务规则、各级财政政策、企业会计准则与具体解释、涉税法律规范与实施条例、国际会计准则全文及审计案例库进行领域自适应预训练和微调。

9.基于多模态大模型的智能审计系统，其特征在于：包括

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1—8中任意一项所述基于多模态大模型的智能审计方法的步骤。