[go: up one dir, main page]

CN111488875B - 基于图像识别的车险理赔核损方法、装置和电子设备 - Google Patents

基于图像识别的车险理赔核损方法、装置和电子设备 Download PDF

Info

Publication number
CN111488875B
CN111488875B CN202010585381.XA CN202010585381A CN111488875B CN 111488875 B CN111488875 B CN 111488875B CN 202010585381 A CN202010585381 A CN 202010585381A CN 111488875 B CN111488875 B CN 111488875B
Authority
CN
China
Prior art keywords
vehicle
picture
license plate
information
damage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010585381.XA
Other languages
English (en)
Other versions
CN111488875A (zh
Inventor
刘海龙
苏孝强
李新科
王尧
郭吉鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aibao Technology Co ltd
Original Assignee
Aibao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aibao Technology Co ltd filed Critical Aibao Technology Co ltd
Priority to CN202010585381.XA priority Critical patent/CN111488875B/zh
Publication of CN111488875A publication Critical patent/CN111488875A/zh
Application granted granted Critical
Publication of CN111488875B publication Critical patent/CN111488875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像识别的车险理赔核损方法、装置和电子设备，涉及车险理赔技术领域。该方法包括：获取定损案件信息，定损案件信息包括定损清单和定损图片集；识别每张定损图片中的车辆外观件信息，车辆外观件信息包括部件类别和部件掩膜位置；识别每张定损图片中的车辆损伤信息，车辆损伤信息包括损伤类别和损伤掩模位置；将部件掩膜和损伤掩膜进行匹配，以确定标准部件损伤列表；根据预设维修逻辑列表将标准部件损伤列表映射为标准部件换修列表；依据标准部件换修列表判断定损清单是否异常。通过自动识别每张定损图片中的车辆外观件信息和车辆损伤信息，有效检出定损中的渗漏虚增案件。

Description

基于图像识别的车险理赔核损方法、装置和电子设备
技术领域
本发明涉及车险理赔技术领域，特别涉及基于图像识别的车险理赔核损方法、装置和电子设备。
背景技术
保险公司目前的车险核损业务由核损专员人工处理，其中最重要的一个环节是要检查上传到保险公司信息系统的案件图片，逐项审核定损清单中的换修项目与图片中呈现的车辆损伤位置和程度是否相符。一个车险案件中的图片数量少则几十，多则几百张，定损清单中的项目众多，因此这项检查工作即使对于经验丰富的核损员来说也是非常费时费力的，为保证业务处理的时限要求，往往不能全面检查而不得不放弃对一些图片的核验,因此不能很好的管控定损中的虚增、扩损风险，而给保险公司理赔带来损失。
此外，车险案件图片中包含了事故现场照、车损照、人伤照、以及证件、单据图片各类内容，虽然各家保险公司都对查勘定损环节中拍摄图片的上传顺序有规范性的要求，但在实际生产实施中往往由于各种原因无法保证上传图片的规范性。这也导致核损环节中，工作人员面对的各类图片仍然是杂乱无序的，而在双车案件或多车案件中（其数量占案件总量60%以上），事故各方车辆的图片会混合在一起，这些都进一步加大了工作难度。
有鉴于此，在车险核损中需要引入机器辅助人工的方式来提升效率，机器对所有案件图片和定损换修项目进行全面的检查核对，提示风险，而工作人员只需重点关注和核实机器提示风险的案件和具体换修项目。
发明内容
为解决现有技术中存在的至少一个技术问题，本发明提供了一种基于图像识别的理赔核损方法，其通过针对含车图片进行车牌检测和识别以及计算每张含车图片的表征特征向量，自动按图像内容分类案件图片，拣选出每辆事故车的图片；通过自动识别每张定损图片中的车辆损伤信息和车辆外观件信息，向工作人员自动提示定损换修清单中可能为虚增的风险项目，并同时给出相应的图片证据供工作人员参考。
根据本发明的一个方面，一种基于图像识别的车险理赔核损方法，包括：获取定损案件的定损案件信息，所述定损案件信息包括定损清单和定损图片集；识别每张定损图片中的车辆外观件信息和车辆损伤信息，所述车辆外观件信息包括部件类别和部件掩膜位置，所述车辆损伤信息包括损伤类别和损伤掩模位置；将每张定损图片的所述部件掩膜和所述损伤掩膜进行匹配，以确定车辆的标准部件损伤列表，所述标准部件损伤列表包括损伤部件名称及相应损伤类型；根据预设维修逻辑列表将所述标准部件损伤列表映射为标准部件换修列表，所述标准部件换修列表包括损伤部件名称及相应换修信息；依据所述标准部件换修列表判断所述定损清单是否异常。
进一步可选的，在所述根据预设维修逻辑列表将所述标准部件损伤列表映射为标准部件换修列表之前，所述方法还包括：根据所述车辆外观件信息和预设部件邻接关系确定部件缺失列表；所述根据预设维修逻辑列表将所述标准部件损伤列表映射为标准部件换修列表为：根据预设维修逻辑列表将所述标准部件损伤列表和所述部件缺失列表映射为所述标准部件换修列表，所述标准部件损伤列表还包括缺失部件名称及相应缺失状态标记。
进一步可选的，所述识别每张定损图片中的车辆外观件信息的方法还包括：确定每张定损图片中车辆方向信息；根据所述车辆方向信息修正每张定损图片中识别出的的车辆外观件信息，所述车辆方向信息用于区分不同位置的相似车辆外观件。
进一步可选的，所述定损案件为双车或多车案件，所述定损图片集包括含车图片和不含车图片，所述含车图片包括含车牌图片和无车牌图片；所述识别每张定损图片中的车辆外观件信息和车辆损伤信息包括：从所述定损图片集中确定每辆车对应的车辆框图片集；利用每辆车对应的车辆框图片集，获取每辆车的车辆外观件信息和车辆损伤信息。
进一步可选的，所述从所述定损图片集中确定每辆车对应的车辆框图片集包括：依次对每张所述含车图片进行车牌检测和识别以及车辆框检测，以确定每张所述含车牌图片和车牌信息的对应关系；利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片和车牌信息的对应关系；依据每张所述含车牌图片和车牌信息的对应关系以及每张无车牌图片和车牌信息的对应关系确定每辆车对应的车辆框图片集。
进一步可选的，所述依次对每张所述含车牌图片进行车牌检测和识别以及车辆框检测，以确定每张所述含车牌图片的车辆框图片和车牌信息的对应关系之前，所述方法还包括：针对所述定损图片集进行图片分拣获得含车图片和不含车图片；依次判断每张所述含车图片是否为中远景图片；若是，则将所述含车图片标记为中远景图片；若否，则将所述含车图片标记为近景图片。
进一步可选的，依次对每张所述含车图片进行车牌检测和识别以及车辆框检测，以确定每张所述含车牌图片和车牌信息的对应关系的方法包括：依次对每张所述含车图片进行车牌检测，将所述含车图片分拣为含车牌图片和无车牌图片；依次对每张所述含车牌图片进行车辆框检测和车牌识别；所述车辆框检测为针对所述标记为所述中远景图片的所述含车牌图片进行车辆图像区域检测，通过剪裁形成车辆图像区域，针对所述标记为所述近景图片的所述含车牌图片直接形成车辆图像区域；将所述车辆图像区域与所述车牌检测的结果进行几何匹配获得至少一个第一车辆框图片和/或第二车辆框图片；依次对每张所述无含车牌图片进行车辆框检测；所述车辆框检测为针对所述标记为所述中远景图片的所述含车牌图片进行车辆图像区域检测，通过剪裁将车辆图像区域形成第二车辆框图片，针对所述标记为所述近景图片的所述含车牌图片直接形成第二车辆框图片。
进一步可选的，利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片的第二车辆框图片和车牌信息的对应关系包括：用预训练的神经网络提取每个车辆框图片的颜色车型表征向量；将所有车辆框图片上提取出的颜色车型表征向量进行相似度聚类；根据所述含车牌图片的第一车辆框图片上的车牌识别结果，建立车牌信息与颜色车型表征向量聚类组之间的对应关系；建立车牌信息与每个车辆框图片之间的对应关系。
进一步可选的，所述依次对每张所述含车牌图片进行车牌检测和识别还包括：识别所述含车牌图片中的车牌信息，所述车牌信息包括车牌区域信息和车牌号码；将所述车牌号码与所述定损案件信息中的真实车牌号进行比对校准。
根据本发明的另一个方面，一种基于图像识别的车险理赔核损装置，包括：获取模块，用于获取定损案件的定损案件信息，所述定损案件信息包括定损清单和定损图片集；车辆外观件信息识别模块，用于识别每张定损图片中的车辆外观件信息，所述车辆外观件信息包括部件类别和部件掩膜位置；车辆损伤信息识别模块，用于识别每张定损图片中的车辆损伤信息，所述车辆损伤信息包括损伤类别和损伤掩模位置；匹配模块，用于将每张定损图片的所述部件掩膜和所述损伤掩膜进行匹配，以确定车辆的标准部件损伤列表，所述标准部件损伤列表包括损伤部件名称及相应损伤类型；映射模块，用于根据预设维修逻辑列表将所述标准部件损伤列表映射为标准部件换修列表，所述标准部件换修列表包括损伤部件名称及相应换修信息；判定模块，用于依据所述标准部件换修列表判断所述定损清单是否异常。
进一步可选的，所述装置还包括：部件缺失识别模块，其用于根据所述车辆外观件信息和预设部件邻接关系确定部件缺失列表。
进一步可选的，所述车辆外观件信息识别模块还包括：车辆方向确定子模块，其用于确定每张定损图片中车辆方向信息；修正子模块，其用于根据所述车辆方向信息识别每张定损图片中的车辆损伤信息和车辆外观件信息，所述车辆方向信息用于区分不同位置的相似车辆外观件。
进一步可选的，所述装置还包括：车辆框识别模块，其用于从所述定损图片集中确定每辆车对应的车辆框图片集；获取信息模块，其用于利用每辆车对应的车辆框图片集，获取每辆车的车辆外观件信息和车辆损伤信息。
进一步可选的，所述车辆框识别模块还包括：含车图片分拣子模块，针对定损图片集进行图片分拣获得含车图片和不含车图片其用于含车牌图片；中近远景判断子模块：其用于对应关系确定子模块，其用于依次判断每张含车图片是否为中远景图片；若是，则将含车图片标记为中远景图片；若否，则将含车图片标记为近景图片。含车牌图片对应关系确定子模块，其用于依次对每张所述含车图片进行车牌检测和识别以及车辆框检测，以确定每张所述含车牌图片和车牌信息的对应关系；无车牌图片对应关系确定子模块，其用于利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片和车牌信息的对应关系；车辆框图片集生成模块，其用于依据每张所述含车牌图片和车牌信息的对应关系以及每张无车牌图片和车牌信息的对应关系确定每辆车对应的车辆框图片集。
进一步可选的，所述含车牌图片对应关系确定子模块还包括：车牌检测单元，其用于依次对每张含车图片进行车牌检测，将含车图片分拣为含车牌图片和无车牌图片；车辆框车牌识别检测单元，其用于依次对每张含车牌图片进行车辆框检测和车牌识别；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁形成车辆图像区域，针对标记为近景图片的含车牌图片直接形成车辆图像区域；将车辆图像区域与车牌检测的结果进行几何匹配获得至少一个第一车辆框图片和/或第二车辆框图片；识别含车牌图片中的车牌信息，车牌信息包括车牌区域信息和车牌号码；无车牌车辆框检测单元，其用于依次对每张无含车牌图片进行车辆框检测；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁将车辆图像区域形成第二车辆框图片，针对标记为近景图片的含车牌图片直接形成第二车辆框图片。
进一步可选的，所述无车牌图片对应关系确定子模块还包括：颜色车型表征向量计算单元，其用于用预训练的神经网络提取每个车辆框图片的颜色车型表征向量；聚类单元，其用于将所有车辆框图片上提取出的颜色车型表征向量进行相似度聚类；车牌信息对应关系建立单元，根据所述含车牌图片的第一车辆框图片上的车牌识别结果，建立车牌信息与颜色车型表征向量聚类组之间的对应关系；车辆框车牌对应关系建立单元，其用于建立车牌信息与每个车辆框图片之间的对应关系。
进一步可选的，所述含车牌图片对应关系确定子模块还包括：车牌识别子模块，其用于识别所述含车牌图片中的车牌信息，所述车牌信息包括车牌区域信息和车牌号码；比对校准子模块，其用于将所述车牌号码与所述定损案件信息中的真实车牌号进行比对校准。
根据本发明的另一个方面，一种电子设备，包括：至少一个处理器；以及
与所述至少一个处理器耦合连接的存储器；其中，所述存储器存储有计算机程序，所述计算机程序能够被所述至少一个处理器执行，以实现所述基于图像识别的车险理赔核损方法。
本发明的有益效果在于：
1.通过针对含车图片进行车牌检测和识别以及计算每张含车图片的表征特征向量，采用深度度量网络学习嵌入了车型和颜色信息的表征向量，对表征向量按相似度聚类，将案件中不同车辆的车辆框图片自动分开，自动按图像内容分类案件图片，有效提升核损环节工作效率。
2.通过自动识别每张定损图片中的车辆损伤信息和车辆外观件信息，训练部件识别和损伤识别两个实例分割模型，将部件识别和损伤识别的掩膜做几何映射得到损伤列表。向工作人员自动提示定损换修清单中可能为虚增的风险项目，有效检出定损中的渗漏虚增案件。
3.通过在车辆外观件信息的识别过程中引入方向信息进行修正，得到修正结果。进而提升车辆外观件信息识别的精确性。
4.利用车辆部件的固有邻接关系，判定图像中车辆部件缺失的信息，从而进一步提高车辆损伤信息识别的精确性。
附图说明
图1示出了本发明实施例中一种基于图像识别的车险理赔核损方法的流程图；
图2示出了本发明实施例中另一种基于图像识别的车险理赔核损方法流程图；
图3、图4、图5分别示出了图2中步骤202、步骤2023、步骤2024的一种实现方式的流程示意图；
图6示出了本发明实施例中另一种基于图像识别的车险理赔核损方法流程图；
图7示出了本发明另一种基于图像识别的车险理赔核损装置的功能结构示意图。
具体实施方式
现在将参照若干示例性实施例来论述本发明的内容。应当理解，论述了这些实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容，而不是暗示对本发明的范围的任何限制。
如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。术语“另一个实施例”要被解读为“至少一个其他实施例”。
实施例1：
如图1所示，本实施例提供了一种基于图像识别的车险理赔核损方法，其主要包括以下步骤：
101、获取定损案件的定损案件信息，定损案件信息包括定损清单和定损图片集；
在定损案件信息获取过程中，需要先对定损案件信息中的定损图片集进行分类，以加快核损流程，降低核损复杂度。
102、识别每张定损图片中的车辆外观件信息和车辆损伤信息，车辆外观件信息包括部件类别和部件掩膜位置，车辆损伤信息包括损伤类别和损伤掩模位置。
103、将每张定损图片的部件掩膜和损伤掩膜进行匹配，以确定车辆的标准部件损伤列表，标准部件损伤列表包括损伤部件名称及相应损伤类型。
104、根据预设维修逻辑列表将标准部件损伤列表映射为标准部件换修列表，标准部件换修列表包括损伤部件名称及相应换修信息。
105、依据标准部件换修列表判断定损清单是否异常。
本实施例所提出的技术方案其有益效果在于：通过自动识别每张定损图片中的车辆损伤信息和车辆外观件信息，训练部件识别和损伤识别两个实例分割模型，将部件识别和损伤识别的掩膜做几何映射得到损伤列表。向工作人员自动提示定损换修清单中可能为虚增的风险项目，有效提高定损渗漏虚增案件的检出率。
实施例2：
如图2所示，本实施例提供了一种基于图像识别的车险理赔核损方法，其主要包括以下步骤：
201、获取定损案件的定损案件信息，定损案件信息包括定损清单和定损图片集；
定损案件信息中的定损图片集包括事故现场图片（即远景图片）、车损图片（即中近景图片），车零件拆换图片、证件图片、单据图片等。
202、从定损图片集中确定每辆车对应的车辆框图片集；
一些实施例中，如图3所示，步骤202可以但不限于通过以下过程实现：
2021、针对定损图片集进行图片分拣获得含车图片和不含车图片；
2022、依次判断每张含车图片是否为中远景图片；若是，则将含车图片标记为中远景图片；若否，则将含车图片标记为近景图片。
2023、依次对每张含车图片进行车牌检测和识别以及车辆框检测，以确定每张含车牌图片和车牌信息的对应关系；
一些实施例中，如图4所示，步骤2023可以但不限于通过以下过程实现：
20231、依次对每张含车图片进行车牌检测，将含车图片分拣为含车牌图片和无车牌图片；
对每张含车牌图片进行车牌检测和识别的步骤包括：车牌检测可使用YOLO, SSD,Faster RCNN等检测模型，一旦某张图片上检测到了车牌区域，可将车牌区域裁切出来并旋转矫正为水平矩形。然后使用CRNN模型继续识别车牌号码。
20232、依次对每张含车牌图片进行车辆框检测和车牌识别；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁形成车辆图像区域，针对标记为近景图片的含车牌图片直接形成车辆图像区域；将车辆图像区域与车牌检测的结果进行几何匹配获得至少一个第一车辆框图片，也有可能获得第二车辆框图片；第一车辆框图片是车辆图像区域中含有车牌的车辆框图片，第二车辆框图片是车辆图像区域中不含有车牌的车辆框图片；识别含车牌图片中的车牌信息，车牌信息包括车牌区域信息和车牌号码。
在一个具体的实施例中出现了一张含车牌图片上出现两个车辆图像区域，这两个车辆图像区域中的一个含有车牌，另一个不含有车牌。在识别过程中，该张含车牌图片中能够识别出来一张第一车辆框图片和一张第二车辆框图片。在其他实施例中，亦存在仅识别出一张第一车辆框图片或识别出多张第一车辆框图片和多张第二车辆框图片的情况。
由于车牌区域可能存在不完整或者图像质量的问题导致车牌字符识别不完全正确，可将识别出来的车牌信息与定损案件信息中的各事故车的真实车牌号做比对，两者的字符串编辑距离小于阈值即认为匹配到案件中的该辆事故车。
记录每个车牌信息的识别结果Info_Plate =（I, Rect, Plate), I为车辆框BB所在的图像，Rect为车辆框图片在该待识别含车图片的矩形框位置。Plate为案件信息中某个事故车的车牌号码。
中远景图片上一般含有一个或多个车辆框，使用YOLO, SSD, Faster RCNN等检测模型检测车辆框并裁切。
其中，近景图片由于拍摄距离近，整张图片直接作为一个车辆框。为每个车辆框BB记录一组信息Info_BB =（I, Rect), I为车辆框BB所在的图像，Rect为车辆框在该待识别含车图片上的矩形框位置。
20233、依次对每张无含车牌图片进行车辆框检测；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁将车辆图像区域形成第二车辆框图片，针对标记为近景图片的含车牌图片直接形成第二车辆框图片；
20234、识别含车牌图片中的车牌信息，车牌信息包括车牌区域信息和车牌号码；
20235、将车牌号码与定损案件信息中的真实车牌号进行比对校准。
2024、利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片和车牌信息的对应关系；
一些实施例中，如图5所示，步骤2024可以但不限于通过以下过程实现：
20241、用预训练的神经网络提取每个车辆框图片的颜色车型表征向量；
在本实施例中，预训练的神经网络可以通过保险公司的历史定损案件信息进行训练。通过历史定损案件信息获取同一辆车在不同拍摄距离和角度上的大量图片，以此可构建出‘目标车图片’、‘同车图片’和‘异车图片’的三元组训练数据，用Triplet损失函数训练一个深度度量网络，得到车辆在语义空间中的表征特征向量，目标是使得同一车辆图片的表征向量在空间中尽量靠近，不同车辆图片的表征向量在空间中尽量分开，用构建的三元组训练数据学习出的表征向量，嵌入了对车辆的车型结构、车身颜色等信息的语义表达。在推理阶段，从每个车辆框BB的图像上都提取出一个颜色车型表征向量VBB。
20242、将所有车辆框图片上提取出的颜色车型表征向量进行相似度聚类；
在本实施例中，相似度的计算可以采用向量间余弦夹角大小，或者欧式距离的远近来衡量。在本实施例中，采用K-means聚类为n组(G1,G2,...Gn)，其中n对应定损案件信息中的涉案车辆数量。如n=1时为单车案件意味着无需聚类，n=2时为双车事故，以此类推。把颜色车型表征向量VBB和该向量的聚类归属G都加入车辆框信息，Info_BB =（I, Rect, VBB，G)。
20243、根据含车牌图片的第一车辆框图片上的车牌识别结果，建立车牌信息与颜色车型表征向量聚类组之间的对应关系；
根据车牌检测和识别得到的车牌信息，将上述聚类过程得到的结果与车牌信息对应的事故车辆进行对应，检查车牌信息与所在车辆框图片之间的几何包含关系，就可以为每一组车辆框图片聚类组G，对应一个事故车的车牌信息Plate。也即得到了案件中每辆事故车的车辆框图片集。
20244、建立车牌信息与每个车辆框图片之间的对应关系。
2025、依据每张含车牌图片和车牌信息的对应关系以及每张无车牌图片和车牌信息的对应关系确定每辆车对应的车辆框图片集。利用每辆车对应的车辆框图片集，执行下一步操作，获取每辆车的车辆损伤信息和车辆外观件信息。
203、利用每辆车对应的车辆框图片集，获取每辆车的车辆外观件信息和车辆损伤信息。车辆外观件信息包括部件类别和部件掩膜位置，车辆损伤信息包括损伤类别和损伤掩模位置；
对所有车辆框图片做图像分割得到一个或多个车辆损伤信息，结果包括各损伤类别、对应概率和损伤掩膜位置。预先定义的可识别损伤类别包括但不限于刮擦、变形（变形还有轻度、中度、重度程度区分）、撕裂、击穿、玻璃破损等常见损伤类别。损伤掩膜位置则用与图像宽高相同的二值图像来描述，其中归位于损伤掩膜位置轮廓内部的像素取1，其他像素取0。
对所有车辆框图片进行车辆外观件分割，得到该图片上的部件类别信息、对应的概率和部件掩膜位置。需要指出的是，本实施例中所提到的车辆外观件均指外观部件，包括但不限于车门壳、叶子板、引擎盖、行李箱盖、大灯、尾灯、车挡风玻璃等。同名不同方位的外观件在本发明中被视为不同的车辆外观件，如前大灯（左）和前大灯（右），前门壳（左）和前门壳（右）等。
204、确定每张定损图片中车辆方向信息；
根据图片内容对车辆拍摄方位进行判别。在本实施例中，优选地可以环绕车辆进行方向量化，分为k个方向方位。即当k=12时，对应方位包括前、左前、左前中、左中、左后中、左后、后、右后、右后中、右中、右前中、右前。每种方位对应了一定的车辆外观件组合，如“左前”方位图片通常对应于前保险杠、前叶子板（左），前大灯等部件的组合。
205、根据车辆方向信息修正定损图片中识别出的车辆外观件信息，车辆方向信息用于区分不同位置的相似车辆外观件。
206、将每张定损图片的部件掩膜和损伤掩膜进行匹配，以确定车辆的标准部件损伤列表，标准部件损伤列表包括损伤部件名称及相应损伤类型；
207、根据车辆外观件信息和预设部件邻接关系确定部件缺失列表；
208、根据预设维修逻辑列表将标准部件损伤列表映射为标准部件换修列表；即根据预设维修逻辑列表将标准部件损伤列表和部件缺失列表映射为标准部件换修列表，标准部件损伤列表还包括缺失部件名称及相应缺失状态标记。
209、依据标准部件换修列表判断定损清单是否异常。
需要说明的是，本发明实施例对上述各步骤的顺序及流转关系不做限定，本实施例仅示出了一种可能对实现方案，工程应用中，具体可以由本领域技术人员根据工程需要进行调整，此处不再赘述。
本实施例所提出的方案其有益效果在于：
1.通过针对含车图片进行车牌检测和识别以及计算每张含车图片的表征特征向量，采用深度度量网络学习嵌入了车系车型和颜色信息的表征向量，对表征向量按相似度聚类，将案件中不同车辆的车辆框图片自动分开，自动按图像内容分类案件图片，有效提升核损环节工作效率。
2.通过自动识别每张定损图片中的车辆外观件信息和车辆损伤信息，训练部件识别和损伤识别两个实例分割模型，将部件识别和损伤识别的掩膜做几何映射得到损伤列表。向工作人员自动提示定损换修清单中可能为虚增的风险项目，有效检出定损中的渗漏虚增案件。
3.通过在车辆外观件信息的识别过程中引入方向信息进行修正，得到修正结果。进而提升车辆外观件信息识别的精确性。
4.利用车辆部件的固有邻接关系，判定图像中的车辆部件缺失信息，从而进一步提高车辆损伤信息识别的精确性。
实施例3：
本实施例提供了一种基于图像识别的车险理赔核损方法，其主要包括以下步骤：
301、获取定损案件信息，定损案件信息包括定损清单和定损图片集；
定损案件信息中的定损图片集包括事故现场图片（即远景图片）、车损图片（即中近景图片），车零件拆换图片、证件图片、单据图片等。在具体应用之前，需要先进行训练。收集历史定损案件中的定损图片集，按上述类别进行标注并训练一个多分类网络，网络结构可以是ResNet、VGG、GoogleNet等。
302、从定损图片集中确定每辆车对应的车辆框图片集；
3021、针对定损图片集进行图片分拣获得含车图片和不含车图片；
3022、依次判断每张含车图片是否为中远景图片；若是，则将含车图片标记为中远景图片；若否，则将含车图片标记为近景图片。
3023、依次对每张含车图片进行车牌检测和识别以及车辆框检测，以确定每张含车牌图片和车牌信息的对应关系；
30231、依次对每张含车图片进行车牌检测，将含车图片分拣为含车牌图片和无车牌图片；
对每张含车牌图片进行车牌检测和识别的步骤包括：车牌检测可使用YOLO, SSD,Faster RCNN等检测模型，一旦某张图片上检测到了车牌区域，可将车牌区域裁切出来并旋转矫正为水平矩形。然后使用CRNN模型继续识别车牌号码。
30232、依次对每张含车牌图片进行车辆框检测和车牌识别；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁形成车辆图像区域，针对标记为近景图片的含车牌图片直接形成车辆图像区域；将车辆图像区域与车牌检测的结果进行几何匹配获得至少一个第一车辆框图片和/或第二车辆框图片；识别含车牌图片中的车牌信息，车牌信息包括车牌区域信息和车牌号码；
记录每个车牌信息的识别结果Info_Plate =（I, Rect, Plate), I为车辆框BB所在的图像，Rect为车辆框图片在该待识别含车图片的矩形框位置。Plate为案件信息中某个事故车的车牌号码。
中远景图片上一般含有一个或多个车辆框，使用YOLO, SSD, Faster RCNN等检测模型检测车辆框并裁切。
其中，近景图片由于拍摄距离近，整张图片直接作为一个车辆框。为每个车辆框BB记录一组信息Info_BB =（I, Rect), I为车辆框BB所在的图像，Rect为车辆框在该待识别含车图片上的矩形框位置。
30233、依次对每张无含车牌图片进行车辆框检测；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁将车辆图像区域形成第二车辆框图片，针对标记为近景图片的含车牌图片直接形成第二车辆框图片。
30234、识别所述含车牌图片中的车牌信息，所述车牌信息包括车牌区域信息和车牌号码；
30235、将所述车牌号码与所述定损案件信息中的真实车牌号进行比对校准。
由于车牌区域可能存在不完整或者图像质量的问题导致车牌字符识别不完全正确，可将识别出来的车牌信息与定损案件信息中的各事故车的真实车牌号做比对，两者的字符串编辑距离小于阈值即认为匹配到案件中的该辆事故车。
3024、利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片和车牌信息的对应关系；
30241、用预训练的神经网络提取每个车辆框图片的颜色车型表征向量；
在本实施例中，预训练的神经网络可以通过保险公司的历史定损案件信息进行训练。通过历史定损案件信息获取同一辆车在不同拍摄距离和角度上的大量图片，以此可构建出‘目标车图片’,‘同车图片’和‘异车图片’的三元组训练数据，用Triplet损失函数训练一个深度度量网络，得到车辆在语义空间中的表征特征向量，目标是使得同一车辆图片的表征向量在空间中尽量靠近，不同车辆图片的表征向量在空间中尽量分开，用构建的三元组训练数据学习出的表征向量，嵌入了对车辆的车型结构、车身颜色等信息的语义表达。在推理阶段，从每个车辆框BB的图像上都提取出一个颜色车型表征向量VBB。
30242、将所有车辆框图片上提取出的颜色车型表征向量进行相似度聚类；
在本实施例中，相似度的计算可以采用向量间余弦夹角大小，或者欧式距离的远近来衡量。在本实施例中，采用K-means聚类为n组(G1,G2,...Gn)，其中n对应定损案件信息中的涉案车辆数量。如n=1时为单车案件意味着无需聚类，n=2时为双车事故，以此类推。把颜色车型表征向量VBB和该向量的聚类归属G都加入车辆框信息，Info_BB =（I, Rect, VBB，G)。
30243、根据含车牌图片的第一车辆框图片上的车牌识别结果，建立车牌信息与颜色车型表征向量聚类组之间的对应关系；
根据车牌检测和识别得到的车牌信息，将上述聚类过程得到的结果与车牌信息对应的事故车辆进行对应，检查车牌信息与所在车辆框图片之间的几何包含关系，就可以为每一组车辆框图片聚类组G，对应一个事故车的车牌信息Plate。也即得到了案件中每辆事故车的车辆框图片集。
30244、建立车牌信息与每个车辆框图片之间的对应关系。
3025、依据每张所述含车牌图片的车辆框图片和车牌信息的对应关系以及每张无车牌图片的车辆框图片和车牌信息的对应关系确定每辆车对应的车辆框图片集。利用每辆车对应的车辆框图片集，执行下一步操作，获取每辆车的车辆损伤信息和车辆外观件信息。
303、识别每张定损图片的车辆框图片中的车辆外观件信息，车辆外观件信息包括部件类别和部件掩膜位置；
对所有车辆框图片进行车辆外观件分割，得到该图片上的部件类别信息、对应的概率和部件掩膜位置。需要指出的是，本实施例中所提到的车辆外观件均指外观部件，包括但不限于车门壳、叶子板、引擎盖、行李箱盖、大灯、尾灯、车挡风玻璃等。同名不同方位的外观件在本发明中被视为不同的车辆外观件，如前大灯（左）和前大灯（右），前门壳（左）和前门壳（右）等。
在本实施例中，一幅含车图片上某外观件的部件掩膜位置用与图像宽高相同的二值图像来描述，其中位于该部件掩膜轮廓内部的像素取1，其他像素取0。
在一个典型的实施例中，可收集历史定损案件信息中的图片,对其上所有车辆外观件信息中的部件类别和部件掩膜位置进行标注，并训练MaskRCNN等实例分割网络。在具体应用过程中，车辆外观件信息的部件类别、相应的部件概率和部件掩膜位置都能够被实例分割网络准确分割。为了保证输出结果的可信度，可对外观件识别出的概率进行阈值截取，超过一定的阈值才输出。
304、识别每张定损图片的车辆框图片中的车辆损伤信息，车辆损伤信息包括损伤类别和损伤掩模位置；
对所有车辆框图片做图像分割得到一个或多个车辆损伤信息，结果包括各损伤类别、对应概率和损伤掩膜位置。预先定义的可识别损伤类别包括但不限于刮擦、变形（变形还有轻度、中度、重度程度区分）、撕裂、击穿、玻璃破损等常见损伤类别。损伤掩膜位置则用与图像宽高相同的二值图像来描述，其中归位于损伤掩膜位置轮廓内部的像素取1，其他像素取0。
在一个典型的实施例中，可收集历史定损案件信息中的图片，对其中的车辆损伤类型和掩膜位置进行标注，以训练MaskRCNN等实例分割网络。在具体应用过程中，定损图片集中所有出现车辆损伤信息中的损伤类别、相应的损伤概率和损伤掩膜位置都能够被实例分割网络准确分割。为了保证输出结果的可信度，可对识别出的损伤概率进行阈值截取，超过一定的阈值才输出。
305、确定每张定损图片中车辆方向信息；
根据图片内容对车辆拍摄方位进行判别。在本实施例中，优选地可以环绕车辆进行方向量化，分为k个方向方位。即当k=12时，对应方位包括前、左前、左前中、左中、左后中、左后、后、右后、右后中、右中、右前中、右前。每种方位对应了一定的车辆外观件组合，如“左前”方位图片通常对应于前保险杠、前叶子板（左），前大灯等部件的组合。在一个典型的实施例中，可收集历史定损案件信息中的车辆图片，按上述方位类别进行标注，并训练ResNet、VGG、GoogleNet等分类网络。在具体应用过程中，获取每个车辆框图片属于上述各预定义方向类别的概率。
306、根据车辆方向信息修正每张定损图片中的车辆外观件信息，车辆方向信息用于区分不同位置的相似车辆外观。
由于车辆结构特点的原因，在步骤308的输出结果中，容易出现掩膜位置信息基本重叠，但类别不同的车辆外观件对，如前叶子板（左）与后叶子板（右），前门壳（左）与后门壳（右）,前风挡玻璃和后风挡玻璃等等。这些部件对需要结合考虑车辆整体方位和周边部件才能准确区分。
在本实施例中，预设这样的易混淆部件对的集合为CS。参照MaskRCNN模型内部对同一类别的分割输出结果进行非极大抑制（NMS）处理的方式，对易混淆类别部件的分割输出结果；也可在参照方位信息的情况下进行非极大抑制（NMS）合并。
一种具体的实现方式如下：在一张含车图片中，经过步骤308输出的车联外观件信息中，若存在部件掩膜位置交并比IOU_MASK大于一定阈值，且属于易混淆对集合CS的(Pi,Pj)部件对, 则：
（1）获得步骤309中的Pi和Pj部件所属车辆方向信息，及车辆方向信息所对应的概率wi 和 wj
（2）利用上述车辆方向信息对应的概率，对Pi对应的概率SCOREi及Pj对应的概率SCOREj进行加权处理。在本实施例中，选择加权处理后数值较大的车辆外观件信息的部件类别。在本实施例中，具体的加权方式为：若wi * SCOREi>wj * SCOREi ，则留下部件Pi而丢掉Pj，反之则留下部件Pj而丢掉Pi。
307、将每张定损图片的部件掩膜和损伤掩膜进行匹配，以确定车辆的标准部件损伤列表，标准部件损伤列表包括损伤部件名称及相应损伤类型。
对每一个损伤类别Di的损伤掩膜位置Mask_Di，将其与该含车图片上的各外观件Pj的部件掩膜位置Mask_Pj求取交集，并计算交集Mask_DiPj的面积。当交集面积占该损伤区域的面积大于一定阈值时，则认为该外观件Pj上存在该损伤类别Di，对整张图片的所有损伤区域处理完毕，可得到一个（部件名、损伤类型）二元组的列表，例如:
【（前挡风玻璃，玻璃破损），(引擎盖, 刮擦)，(引擎盖, 轻度变形)】
308、根据车辆外观件信息和预设部件邻接关系确定部件缺失列表；
实际中的车辆损伤除了刮擦、变形等，还有一类特殊损伤即部件完全缺失的情况，多见于倒车镜、前大灯、尾灯等部件。判定此类车辆损伤不适用步骤311中用部件掩膜和损伤掩膜相匹配的方法，因为损伤模型难以对部件缺失处的图像特征进行有效描述。
在本实施例中，转而采用利用预设部件邻接关系推理的方式判定缺失。在一个具体的实施例中，若外观件P的周围有m个相邻接外观件Q1, Q2,…Qm可完全将P于空间上包围。而经步骤311识别到图像中存在所有的外观件Q1, Q2,…Qm，，唯独没有识别到外观件P，则可较有把握的推定P缺失。
一组典型的实施例为：P - 倒车镜（左），Q – {引擎盖、前挡风玻璃、前门玻璃（左）、前叶子板（左）}。在本步骤中，一旦检测到部件缺失将输出一个（部件名、损伤类型）二元组的列表，例如：【(倒车镜（左），缺失)】。
309、根据预设维修逻辑列表将标准部件损伤列表和部件缺失列表映射为标准部件换修列表。
310、依据标准部件换修列表判断定损清单是否异常。
将步骤309输出的机器判定的标准部件修换列表与定损清单中的修换列表按部件名称逐项比较，如果某部件在人工定损清单中的维修等级高于机器判定的维修等级；或者某部件存在于人工定损清单，但不存在于机器判定的维修清单中，则可提示该车辆在该部件定损中存在渗漏虚增风险。
同时，还可将部件分割结果中含该部件的所有车辆框图像制成直观证据，提供给核损人员进一步核查。
本实施例所提出的技术方案其有益效果在于：
1.通过针对含车图片进行车牌检测和识别以及计算每张含车图片的表征特征向量，采用深度度量网络学习嵌入了车系车型和颜色信息的表征向量，对表征向量按相似度聚类，将案件中不同车辆的车辆框图片自动分开，自动按图像内容分类案件图片，有效提升核损环节工作效率。
2.通过自动识别每张定损图片中的车辆外观件信息和车辆损伤信息，训练部件识别和损伤识别两个实例分割模型，将部件识别和损伤识别的掩膜做几何映射得到损伤列表。向工作人员自动提示定损换修清单中可能为虚增的风险项目，有效提高定损渗漏虚增案件的检出率。
3.通过在车辆外观件信息的识别过程中引入方向信息进行修正，得到修正结果。进而提升车辆外观件信息识别的精确性。
4.利用车辆部件的固有邻接关系，判定图像中车辆部件缺失信息，从而进一步提高车辆损伤信息识别的精确性。
实施例4：
如图3所示，本实施例提供了一种基于图像识别的车险理赔核损装置，包括：
获取模块401，用于获取定损案件信息，定损案件信息包括定损清单和定损图片集。
车辆框识别模块402，其用于从定损图片集中确定每辆车对应的车辆框图片集；车辆框识别模块还包括：
含车图片分拣子模块4021，其用于针对定损图片集进行图片分拣获得含车图片和不含车图片；
中近远景判定子模块4022，其用于依次判断每张含车图片是否为中远景图片；若是，则将含车图片标记为中远景图片；若否，则将含车图片标记为近景图片。
含车牌图片对应关系确定子模块4023，其用于依次对每张含车图片进行车牌检测和识别以及车辆框检测，以确定每张含车牌图片和车牌信息的对应关系；含车牌图片对应关系确定子模块4023还包括：
车牌检测单元40231，其用于依次对每张含车图片进行车牌检测，将含车图片分拣为含车牌图片和无车牌图片；
车辆框车牌识别检测单元40232，其用于依次对每张含车牌图片进行车辆框检测和车牌识别；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁形成车辆图像区域，针对标记为近景图片的含车牌图片直接形成车辆图像区域；将车辆图像区域与车牌检测的结果进行几何匹配获得至少一个第一车辆框图片和/或第二车辆框图片；
无车牌车辆框检测单元40233，其用于依次对每张无含车牌图片进行车辆框检测；车辆框检测为针对标记为中远景图片的含车牌图片进行车辆图像区域检测，通过剪裁将车辆图像区域形成第二车辆框图片，针对标记为近景图片的含车牌图片直接形成第二车辆框图片。
车牌识别单元40234，其用于识别含车牌图片中的车牌信息，车牌信息包括车牌区域信息和车牌号码；
比对校准单元40235，其用于将车牌号码与定损案件信息中的真实车牌号进行比对校准。
无车牌图片对应关系确定子模块4024，其用于利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片和车牌信息的对应关系；无车牌图片对应关系确定子模块还包括：
颜色车型表征向量计算单元40241，其用于用预训练的神经网络提取每个车辆框图片的颜色车型表征向量；
聚类单元40242，其用于将所有车辆框图片上提取出的颜色车型表征向量进行相似度聚类；
车牌信息对应关系建立单元40243，根据含车牌图片的第一车辆框图片上的车牌识别结果，建立车牌信息与颜色车型表征向量聚类组之间的对应关系；
车辆框车牌对应关系建立单元40244，其用于建立车牌信息与每个车辆框图片之间的对应关系。
车辆框图片集生成子模块4025，其用于依据每张含车牌图片和车牌信息的对应关系以及每张无车牌图片和车牌信息的对应关系确定每辆车对应的车辆框图片集。
车辆外观件信息识别模块403，用于识别每张定损图片的车辆框图片中的车辆外观件信息，车辆外观件信息包括部件类别和部件掩膜位置；该车辆外观件信息识别模块403还包括：
车辆方向确定子模块4031，其用于确定每张定损图片的车辆框图片中车辆方向信息；
修正子模块4032，其用于根据车辆方向信息修正定损图片中识别出的车辆外观件信息，车辆方向信息用于区分不同位置的相似车辆外观件。
车辆损伤信息识别模块404，用于识别每张定损图片中的车辆损伤信息，车辆损伤信息包括损伤类别和损伤掩模位置；
匹配模块405，用于将每张定损图片的部件掩膜和损伤掩膜进行匹配，以确定车辆的标准部件损伤列表，标准部件损伤列表包括损伤部件名称及相应损伤类型；
部件缺失识别模块406，其用于根据车辆外观件信息和预设部件邻接关系确定部件缺失列表。
映射模块407，用于根据预设维修逻辑列表将标准部件损伤列表映射为标准部件换修列表，标准部件换修列表包括损伤部件名称及相应换修信息；判定模块，用于依据标准部件换修列表判断定损清单是否异常。
判定模块408，用于依据所述标准部件换修列表判断所述定损清单是否异常。
本实施例的有益效果在于：
1.通过针对含车图片进行车牌检测和识别以及计算每张含车图片的表征特征向量，采用深度度量网络学习嵌入了车系车型和颜色信息的表征向量，对表征向量按相似度聚类，将案件中不同车辆的车辆框图片自动分开，自动按图像内容分类案件图片，有效提升核损环节工作效率。
2.通过自动识别每张定损图片中的车辆外观件信息和车辆损伤信息，训练部件识别和损伤识别两个实例分割模型，将部件识别和损伤识别的掩膜做几何映射得到损伤列表。向工作人员自动提示定损换修清单中可能为虚增的风险项目，有效检出定损中的渗漏虚增案件。
3.通过在车辆外观件信息的识别过程中引入方向信息进行修正，得到修正结果。进而提升车辆外观件信息识别的精确性。
4.利用车辆部件的固有邻接关系，判定图像中的车辆部件缺失信息，从而进一步提高车辆损伤信息识别的精确性。
实施例5：
根据本发明的另一个方面，一种电子设备，包括：至少一个处理器；以及与至少一个处理器耦合连接的存储器；其中，存储器存储有计算机程序，计算机程序能够被至少一个处理器执行，以实现本发明的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

Claims (3)

1.一种基于图像识别的车险理赔核损方法，其特征在于，包括：
获取定损案件的定损案件信息，所述定损案件信息包括定损清单和定损图片集；
所述定损案件为双车或多车案件，所述定损图片集包括含车图片和不含车图片，所述含车图片包括含车牌图片和无车牌图片；针对所述定损图片集进行图片分拣获得含车图片和不含车图片；依次判断每张所述含车图片是否为中远景图片；若是，则将所述含车图片标记为中远景图片；若否，则将所述含车图片标记为近景图片；
依次对每张所述含车图片进行车牌检测和识别以及车辆框检测，以确定每张所述含车牌图片和车牌信息的对应关系，包括：依次对每张所述含车图片进行车牌检测，将所述含车图片分拣为含车牌图片和无车牌图片；依次对每张所述含车牌图片进行车辆框检测和车牌识别；所述车辆框检测为针对所述标记为所述中远景图片的所述含车牌图片进行车辆图像区域检测，通过剪裁形成车辆图像区域，针对所述标记为所述近景图片的所述含车牌图片直接形成车辆图像区域；将所述车辆图像区域与所述车牌识别的结果进行几何匹配获得至少一个第一车辆框图片和/或第二车辆框图片；依次对每张所述无车牌图片进行车辆框检测；所述车辆框检测为针对所述标记为所述中远景图片的所述含车牌图片进行车辆图像区域检测，通过剪裁将车辆图像区域形成第二车辆框图片，针对所述标记为所述近景图片的所述含车牌图片直接形成第二车辆框图片；
所述依次对每张所述含车牌图片进行车牌检测和识别还包括：
识别所述含车牌图片中的车牌信息，所述车牌信息包括车牌区域信息和车牌号码；将所述车牌号码与所述定损案件信息中的真实车牌号进行比对校准；
利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片和车牌信息的对应关系包括：用预训练的神经网络提取每个车辆框图片的颜色车型表征向量；将所有车辆框图片上提取出的颜色车型表征向量进行相似度聚类；根据所述含车牌图片的第一车辆框图片上的车牌识别结果，建立车牌信息与颜色车型表征向量聚类组之间的对应关系；建立车牌信息与每个车辆框图片之间的对应关系；
依据每张所述含车牌图片和车牌信息的对应关系以及每张无车牌图片和车牌信息的对应关系确定每辆车对应的车辆框图片集；
利用每辆车对应的车辆框图片集，获取每辆车的车辆外观件信息和车辆损伤信息；识别每张定损图片中的车辆外观件信息和车辆损伤信息，所述车辆外观件信息包括部件类别和部件掩膜位置，所述车辆损伤信息包括损伤类别和损伤掩膜 位置；确定每张定损图片中车辆方向信息；根据所述车辆方向信息修正每张定损图片中识别出的所述车辆外观件信息，所述车辆方向信息用于区分不同位置的相似车辆外观件；
将每张定损图片的所述部件掩膜位置和所述损伤掩膜位置进行匹配，以确定车辆的标准部件损伤列表，所述标准部件损伤列表包括损伤部件名称及相应损伤类型；根据所述车辆外观件信息和预设部件邻接关系确定部件缺失列表；
根据预设维修逻辑列表将所述标准部件损伤列表和所述部件缺失列表映射为标准部件换修列表，所述标准部件换修列表包括缺失部件名称及相应缺失状态标记，所述标准部件换修列表还包括损伤部件名称及相应换修信息；
依据所述标准部件换修列表判断所述定损清单是否异常。
2.一种基于图像识别的车险理赔核损装置，其特征在于，包括：
获取模块，用于获取定损案件的定损案件信息，所述定损案件信息包括定损清单和定损图片集；
车辆中远景识别模块，用于所述定损案件为双车或多车案件，所述定损图片集包括含车图片和不含车图片，所述含车图片包括含车牌图片和无车牌图片；针对所述定损图片集进行图片分拣获得含车图片和不含车图片；依次判断每张所述含车图片是否为中远景图片；若是，则将所述含车图片标记为中远景图片；若否，则将所述含车图片标记为近景图片；
车辆外观件信息识别模块，用于依次对每张所述含车图片进行车牌检测和识别以及车辆框检测，以确定每张所述含车牌图片和车牌信息的对应关系，包括：依次对每张所述含车图片进行车牌检测，将所述含车图片分拣为含车牌图片和无车牌图片；依次对每张所述含车牌图片进行车辆框检测和车牌识别；所述车辆框检测为针对所述标记为所述中远景图片的所述含车牌图片进行车辆图像区域检测，通过剪裁形成车辆图像区域，针对所述标记为所述近景图片的所述含车牌图片直接形成车辆图像区域；将所述车辆图像区域与所述车牌识别的结果进行几何匹配获得至少一个第一车辆框图片和/或第二车辆框图片；依次对每张所述无车牌图片进行车辆框检测；所述车辆框检测为针对所述标记为所述中远景图片的所述含车牌图片进行车辆图像区域检测，通过剪裁将车辆图像区域形成第二车辆框图片，针对所述标记为所述近景图片的所述含车牌图片直接形成第二车辆框图片；所述依次对每张所述含车牌图片进行车牌检测和识别还包括：识别所述含车牌图片中的车牌信息，所述车牌信息包括车牌区域信息和车牌号码；将所述车牌号码与所述定损案件信息中的真实车牌号进行比对校准；利用车身颜色信息和车型信息，通过深度学习网络依次确定每张无车牌图片和车牌信息的对应关系包括：用预训练的神经网络提取每个车辆框图片的颜色车型表征向量；将所有车辆框图片上提取出的颜色车型表征向量进行相似度聚类；根据所述含车牌图片的第一车辆框图片上的车牌识别结果，建立车牌信息与颜色车型表征向量聚类组之间的对应关系；建立车牌信息与每个车辆框图片之间的对应关系；依据每张所述含车牌图片和车牌信息的对应关系以及每张无车牌图片和车牌信息的对应关系确定每辆车对应的车辆框图片集；利用每辆车对应的车辆框图片集，获取每辆车的车辆外观件信息和车辆损伤信息；识别每张定损图片中的车辆外观件信息和车辆损伤信息，所述车辆外观件信息包括部件类别和部件掩膜位置，所述车辆损伤信息包括损伤类别和损伤掩膜 位置；确定每张定损图片中车辆方向信息；根据所述车辆方向信息修正每张定损图片中识别出的所述车辆外观件信息，所述车辆方向信息用于区分不同位置的相似车辆外观件；
匹配模块，用于将每张定损图片的所述部件掩膜位置和所述损伤掩膜位置进行匹配，以确定车辆的标准部件损伤列表，所述标准部件损伤列表包括损伤部件名称及相应损伤类型；根据所述车辆外观件信息和预设部件邻接关系确定部件缺失列表；
映射模块，用于根据预设维修逻辑列表将所述标准部件损伤列表和所述部件缺失列表映射为标准部件换修列表，所述标准部件换修列表包括缺失部件名称及相应缺失状态标记，所述标准部件换修列表还包括损伤部件名称及相应换修信息；
判定模块，用于依据所述标准部件换修列表判断所述定损清单是否异常。
3.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器耦合连接的存储器；其中，
所述存储器存储有计算机程序，所述计算机程序能够被所述至少一个处理器执行，以实现权利要求1所述基于图像识别的车险理赔核损方法。
CN202010585381.XA 2020-06-24 2020-06-24 基于图像识别的车险理赔核损方法、装置和电子设备 Active CN111488875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010585381.XA CN111488875B (zh) 2020-06-24 2020-06-24 基于图像识别的车险理赔核损方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010585381.XA CN111488875B (zh) 2020-06-24 2020-06-24 基于图像识别的车险理赔核损方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111488875A CN111488875A (zh) 2020-08-04
CN111488875B true CN111488875B (zh) 2021-04-13

Family

ID=71812056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010585381.XA Active CN111488875B (zh) 2020-06-24 2020-06-24 基于图像识别的车险理赔核损方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111488875B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505624A (zh) * 2020-03-23 2021-10-15 虹软科技股份有限公司 车辆定损方法、车辆定损装置及应用其的电子设备
CN111652200A (zh) * 2020-08-05 2020-09-11 爱保科技有限公司 车险案件中从图片区分多车的处理方法、装置及设备
CN112085610B (zh) * 2020-09-07 2023-08-22 中国平安财产保险股份有限公司 目标物定损方法、装置、电子设备及计算机可读存储介质
CN111931746B (zh) * 2020-10-09 2021-02-12 深圳壹账通智能科技有限公司 一种车损判定方法、装置、计算机设备及可读存储介质
CN112270609B (zh) * 2020-11-18 2024-03-01 德联易控科技(北京)有限公司 车险分析方法及装置、电子设备
CN112528887B (zh) * 2020-12-16 2022-10-28 蚂蚁胜信(上海)信息技术有限公司 审核方法及装置
CN112836831B (zh) * 2020-12-30 2022-04-12 邦邦汽车销售服务(北京)有限公司 汽车维修关联配件的数据处理方法和装置
CN112966730A (zh) * 2021-03-01 2021-06-15 创新奇智(上海)科技有限公司 车辆伤损识别方法、装置、设备及存储介质
CN113705351B (zh) * 2021-07-28 2024-05-14 中国银行保险信息技术管理有限公司 车辆定损方法、装置及设备
CN113538293B (zh) * 2021-08-20 2022-09-13 爱保科技有限公司 一种车损伤图像的增强方法和装置
CN113947690B (zh) * 2021-10-14 2025-01-14 中国平安财产保险股份有限公司 业务清单数据的生成方法、装置、设备及存储介质
CN114241398A (zh) * 2022-02-23 2022-03-25 深圳壹账通科技服务有限公司 基于人工智能的车辆定损方法、装置、设备及存储介质
CN114537562B (zh) * 2022-03-04 2022-11-11 广东省车汇莱再生物资回收有限公司 一种用于报废汽车拆解回收利用方法
CN114596439A (zh) * 2022-03-20 2022-06-07 邦邦汽车销售服务(北京)有限公司 一种基于图像的车险智能定损及核损方法、装置和电子设备
CN114862415A (zh) * 2022-04-02 2022-08-05 阿里云计算有限公司 一种服务处理方法、电子设备及存储介质
CN116468931A (zh) * 2023-03-22 2023-07-21 邦邦汽车销售服务(北京)有限公司 车辆部件检测方法、装置、终端及存储介质
CN116703622B (zh) * 2023-08-02 2023-10-03 凯泰铭科技（北京）有限公司 一种车辆损伤鉴定方法及系统
CN117333312B (zh) * 2023-10-25 2025-10-10 中国平安财产保险股份有限公司 车险定损评估方法、装置、计算机设备及存储介质
CN117422568B (zh) * 2023-11-03 2024-07-09 德联易控科技(北京)有限公司 一种车险理赔配件清单确定方法、装置、设备和可读介质
CN117670036B (zh) * 2023-11-14 2024-07-02 平安科技(上海)有限公司 定损机构的质量描述生成方法、装置、计算机设备及存储介质
CN119152437B (zh) * 2024-11-12 2025-09-09 广州格悦新能源科技有限公司 一种车辆定损提醒方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542991B2 (en) * 2003-05-12 2009-06-02 Ouzounian Gregory A Computerized hazardous material response tool
CN101242379A (zh) * 2008-03-18 2008-08-13 北京中车检信息技术有限公司 基于移动通讯终端或网络终端的车辆定损方法
CN105956667B (zh) * 2016-04-14 2018-09-25 平安科技（深圳）有限公司 车险定损理赔审核方法及系统
CN107358596B (zh) * 2017-04-11 2020-09-18 阿里巴巴集团控股有限公司 一种基于图像的车辆定损方法、装置、电子设备及系统
CN108769624B (zh) * 2018-07-09 2020-09-22 北京精友世纪软件技术有限公司 一种智能车险移动视频查勘系统
CN111311540A (zh) * 2020-01-13 2020-06-19 平安科技（深圳）有限公司 车辆定损方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111488875A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111488875B (zh) 基于图像识别的车险理赔核损方法、装置和电子设备
US12456303B2 (en) Automatic license plate recognition (ALPR) and vehicle identification profile methods and systems
Rashid et al. Automatic parking management system and parking fee collection based on number plate recognition
CN107292291B (zh) 一种车辆识别方法和系统
TWI384408B (zh) 影像辨識以及輸出方法與其系統
US20140355836A1 (en) Dynamic Adjustment of Automatic License Plate Recognition Processing Based on Vehicle Class Information
US20120128210A1 (en) Method for Traffic Sign Recognition
EP4217909A1 (en) Vehicle image analysis
Magnussen et al. A survey of the inadequacies in traffic sign recognition systems for autonomous vehicles
CN102708691A (zh) 基于车牌车型匹配的虚假车牌识别方法
US20220309809A1 (en) Vehicle identification profile methods and systems at the edge
CN115186303A (zh) 一种基于大数据云平台的金融签章安全管理方法及系统
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
CN112766273A (zh) 一种车牌识别方法
CN113408364B (zh) 一种临时车牌识别方法、系统、装置及存储介质
Xu et al. A machine learning approach to vehicle occupancy detection
Nooruddin et al. A bangladeshi license plate detection system based on extracted color features
CN111652200A (zh) 车险案件中从图片区分多车的处理方法、装置及设备
CN101882219B (zh) 图像辨识以及输出方法及其系统
CN110570317A (zh) 用于车辆核损的方法及装置
CN114596439A (zh) 一种基于图像的车险智能定损及核损方法、装置和电子设备
CN116524725B (zh) 一种智能驾驶的交通标志图像数据识别系统
CN115410105A (zh) 集装箱标记识别方法、装置、计算机设备和存储介质
CN112069971A (zh) 一种基于视频的高速公路标志标线识别方法及识别系统
CN111368816A (zh) 车牌识别方法、系统、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant