HK1240361B - 一种提供参考信息的方法及装置 - Google Patents

Description

一种提供参考信息的方法及装置

技术领域

本发明涉及电子技术领域，尤其涉及一种提供参考信息的方法及装置。

背景技术

随着人工智能的发展，越来越多的医院已经开始使用机器人为病患服务。例如，用于超声波扫描人体的机器人，通过对人体待扫描位置进行快速三维成像后，控制超声波探头进行自动扫描生成相应的病理图像。再由医生根据病理图像进行分析，进而得到相应的诊断结果。

虽然由医生作为诊断方出具的诊断结果更为权威可靠，但对于经验不算丰富的医生来说，仅依靠病理图像并不能够准确且快速地给出诊断结果，因此导致诊断时间无法确定。

因此，为了提高对病人的诊断效率，有必要提供一种能够为诊断方提供诊断参考的方案。

发明内容

本发明的目的在于提供一种提供参考信息的方法及装置，旨在提供一种能够为诊断方提供诊断参考的方案，以提高对病人的诊断效率。

本发明是这样实现的，一种提供参考信息的方法，用于在超声波扫描仪完成扫描后，为诊断方提供参考信息，所述参考信息获取方法包括：

获取对患处进行超声波扫描后生成的超声波扫描图像；

对所述超声波扫描图像进行图像处理，以得到对应的三维图像；

将所述三维图像与所述患处对应的核磁共振图像进行图像融合，以得到目标图像；

若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息。

对应的，本发明的另一目的在于提供一种提供参考信息的装置，用于在超声波扫描仪完成扫描后，为诊断方提供参考信息，所述参考信息获取装置包括：

获取单元，用于获取对患处进行超声波扫描后生成的超声波扫描图像；

三维图像生成单元，用于对所述超声波扫描图像进行图像处理，以得到对应的三维图像；

图像融合单元，用于将所述三维图像与所述患处对应的核磁共振图像进行图像融合，以得到目标图像；

第一执行单元，用于若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息。

上述方案中，通过获取对患处进行超声波扫描后生成的超声波扫描图像；对超声波扫描图像进行图像处理，以得到对应的三维图像；将三维图像与患处对应的核磁共振图像进行图像融合，以得到目标图像；若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息，实现了为诊断方在对病人进行诊断时，提供诊断参考，进而提高了对病人的诊断效率。

附图说明

图1是本发明实施例提供的一种提供参考信息的方法的流程图；

图2是本发明实施例提供的一种提供参考信息的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的目的在于提供一种提供参考信息的方法及装置，旨在提供一种能够为诊断方提供诊断参考的方案，以提高对病人的诊断效率。

在本发明的所有实施例中，提供的参考信息是在超声波扫描仪完成扫描后，为诊断方提供参考信息。即基于超声波扫描仪生成的超声波扫描图像，为诊断方提供相应的参考信息，以提高诊断效率。

以下结合具体附图对本发明的实现进行详细的描述：

图1示出了本发明实施例提供的一种提供参考信息的方法实现流程，为了便于说明，仅示出与本实施例相关的部分。

如图1所示，一种提供参考信息的方法包括：

S110：获取对患处进行超声波扫描后生成的超声波扫描图像。

在步骤S110中，超声波扫描图像为用于描述患处的病理图像。

需要说明的是，对患处进行超声波扫描，具体可以是：若患处已处于识别预设区域内，对所述患处进行三维轮廓扫描，以得到所述患处的外轮廓图像；控制所述超声波扫描仪根据所述外轮廓图像对所述患处进行超声波扫描。

可以理解的是，预设区域为三维扫描仪和超声波扫描仪工作时重叠的扫描区域，当病人患处区域处于扫描设备的预设区域内时，可确定其为待扫描体，进而控制三维扫描仪对其进行三维轮廓扫描。

其中，三维扫描仪中的每一台三维扫描仪都可以为3D扫描仪，通过对预设区域内的待扫描体同时投影或者光栅投射多条光线，进而采集待扫描体的的多个外表表面的图像，通过采集生物体的部分或全部区域的不同角度外表面的信息进而完成三维轮廓扫描。

进一步的，所述若所述病人患处已处于识别预设区域内，对所述病人患处进行三维轮廓扫描，以得到所述病人患处的外轮廓图像包括：获取由所述三维扫描仪扫描到的多组数据；对所述多组数据进行三维轮廓拼接以得到所述病人患处的外轮廓图像。

以待扫描体即病人患为人体头部为例，当人体头部处于预设区域内时，三维扫描仪对该人体头部进行三维轮廓扫描，通过获取由三维扫描仪扫描到的多组数据，根据人体建模对照模型库对多组数据进行三维轮廓拼接。其中，人体建模对照模型库可以包括人体各个部位或器官的准确的三维信息，通过该人体建模对照模型库可以生成完整的人体模型，即面片模型，再通过对面片模型进行参数化数字处理，可进一步得到人体头部的准确参数。

S120：对所述超声波扫描图像进行图像处理，以得到对应的三维图像。

在步骤S120中，图像增强便是为了改善图像的外观，使超声波扫描图像更适合于机器的分析处理，其实质是有选择地加强图像中的某些信息，同时抑制另一些信息，以增加图像的“可读性”。滤波去噪的目的是去除或降低图像中的噪声，如超声图像的斑点噪声、高斯噪声等，以减少超声图像中的斑点噪声对超声图像的影响。

图像分割和边缘轮廓提取是进行三维重建与显示的基础，分割的效果和轮廓的精度直接影响到三维重建后模型的精确性，分割和边缘轮廓提取可以帮助医生将感兴趣的物体病变组织等提取出来，使得诊断方能够对病变组织进行定性和定量的分析，从而提高诊断方诊断的准确性和科学性。

需要说明的是，步骤S120具体可以包括：对所述超声波扫描图像进行图像增强和图像滤波处理，以得到第一图像；对所述第一图像进行图像分割，以得到多个切片图像；对所述多个切片图像中的每个切片图像进行轮廓线标记；根据所述多个切片图像上的物体轮廓线将相邻的切片图像的轮廓线进行连接重组，得到所述对应的三维图像信息。

其中，对所述第一图像进行图像分割后，对所述多个切片图像中的每个切片图像进行轮廓线标记，即为对进行了图像增强和图像滤波的超声波扫描图像进行图像分割后对每个切片图像进行边缘轮廓提取。

S130：将所述三维图像与所述患处对应的核磁共振图像进行图像融合，以得到目标图像。

在步骤S130中，核磁共振图像与患处有关，与病患无关。即核磁共振图像为患处的预设核磁共振图像。

需要说明的是，图像融合是指对多个图像传感器获取到的关于同一场景或目标的多个源图像按照实际需求进行融合处理，从而获取在同一场景中需要的目标都清晰，且更加全面和可靠的图像信息，使之适合视觉感知或计算机的处理。

步骤S130具体可以包括：对所述核磁共振图像和/或所述三维图像进行格式转换，以将所述核磁共振图像与所述三维图像进行叠加；对所述核磁共振图像和/或所述三维图像进行方向或尺寸调整，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，进而得到目标图像。

需要说明的是，在对图像进行融合之前，先进行图像配准，图像配准包括刚性和非刚性配准，其中刚性配准是使源图像上的点映射到目标图像中的对应点。在进行图像配准处理中，还进行图像转换和图像定位，图像转换是对相同或不同影像设备的图像进行格式转换，三维方向调整、尺寸变换等。

可以理解的是，图像定位是根据图像内容进行重复定位，可以快速的实现图像配准。

S140：若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息。

在步骤S140中，对照模型库中包括不同病人的索引图像类和相应的诊断结果可以理解的是，从所述对照模型库中确定待载入的信息可以包含多个所述索引图像类的诊断信息。具体地，索引图像类为与目标图像相关的图像的集合。载入的诊断信息为索引图像类内的图像所对应的诊断信息。

进一步的，步骤S140具体可以包括：获取所述目标图像中的特征点；根据所述特征点从所述对照模型库中确定所述索引图像类；载入所述索引图像类的诊断信息。

需要说明的是，特征点用于表征目标图像的病理内容或患处，所述特征点可以是不同组织结构的扫描图像上的点。

例如，特征点包括骨骼上的特征点A与肿瘤组织上的特征点B，特征点所携带的信息可以为特征点A与特征点B之间的距离。

根据所述特征点从所述对照模型库中确定所述索引图像类，即根据特征点从对照模型库中筛选出与特征点相同的索引图像类。

再例如，特征点包括肿瘤组织上的特征点C与肿瘤组织上的特征点D，从对照模型库中筛选出与特征点相同的目标超声波扫描图像，即根据特征点C或特征点D，从对照模型库中的索引图像类中筛选出相应的超声波扫描图像上具有与特征点C或特征点D相同的索引图像类。

进一步的，在步骤S130之后还可以包括步骤：若对照模型库中不存在与所述目标图像相关的索引图像类，则将所述目标图像以及诊断方确定的诊断结果作为新的诊断信息存入所述对照模型库中。

通过若对照模型库中不存在与所述目标图像相关的索引图像类，则将所述目标图像以及诊断方确定的诊断结果作为新的诊断信息存入所述对照模型库中，丰富了对照模型库的内容。

上述方案中，通过获取对患处进行超声波扫描后生成的超声波扫描图像；对超声波扫描图像进行图像处理，以得到对应的三维图像；将三维图像与患处对应的核磁共振图像进行图像融合，以得到目标图像；若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息，实现了为诊断方在对病人进行诊断时，提供诊断参考，进而提高了对病人的诊断效率。

请继续参见图2，一种提供参考信息的装置100包括的各模块用于执行图1对应的实施例中的各步骤，具体请参阅图1以及图1对应的实施例中的相关描述，此处不赘述。

如图2所示，一种提供参考信息的装置100包括：获取单元10、三维图像生成单元20、图像融合单元30以及第一执行单元30。具体地：

获取单元10，用于获取对患处进行超声波扫描后生成的超声波扫描图像，并将超声波扫描图像发送给三维图像生成单元20。

例如，获取单元10获取对患处进行超声波扫描后生成的超声波扫描图像，并将超声波扫描图像发送给三维图像生成单元20。

三维图像生成单元20，用于接收获取单元10发送的超声波扫描图像，并对所述超声波扫描图像进行图像处理，以得到对应的三维图像，并将三维图像发送给图像融合单元30。

例如，三维图像生成单元20接收获取单元10发送的超声波扫描图像，并对所述超声波扫描图像进行图像处理，以得到对应的三维图像，并将三维图像发送给图像融合单元30。

进一步的，三维图像生成单元20包括：图像增强与滤波单元、图像分割单元、标记单元以及图像生成单元。具体地：

图像增强与滤波单元，用于对所述超声波扫描图像进行图像增强和图像滤波处理，以得到第一图像。

例如，图像增强与滤波单元对所述超声波扫描图像进行图像增强和图像滤波处理，以得到第一图像。

图像分割单元，用于对所述第一图像进行图像分割，以得到多个切片图像。

例如，图像分割单元对所述第一图像进行图像分割，以得到多个切片图像。

标记单元，用于对所述多个切片图像中的每个切片图像进行轮廓线标记。

例如，标记单元对所述多个切片图像中的每个切片图像进行轮廓线标记。

图像生成单元，用于根据所述多个切片图像上的物体轮廓线将相邻的切片图像的轮廓线进行连接重组，得到所述对应的三维图像信息。

例如，图像生成单元根据所述多个切片图像上的物体轮廓线将相邻的切片图像的轮廓线进行连接重组，得到所述对应的三维图像信息。

图像融合单元30，用于接收三维图像生成单元20发送的三维图像，并将所述三维图像与所述患处对应的核磁共振图像进行图像融合，以得到目标图像，且将目标图像发送给第一执行单元40。

例如，图像融合单元30接收三维图像生成单元20发送的三维图像，并将所述三维图像与所述患处对应的核磁共振图像进行图像融合，以得到目标图像，且将目标图像发送给第一执行单元40。

进一步的，图像融合单元30包括：格式转换单元和图像调整单元。具体的：

格式转换单元，用于对所述核磁共振图像和/或所述三维图像进行格式转换，以将所述核磁共振图像与所述三维图像进行叠加。

例如，格式转换单元对所述核磁共振图像和/或所述三维图像进行格式转换，以将所述核磁共振图像与所述三维图像进行叠加。

图像调整单元，用于对所述核磁共振图像和/或所述三维图像进行方向或尺寸调整，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，进而得到目标图像。

例如，图像调整单元对所述核磁共振图像和/或所述三维图像进行方向或尺寸调整，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，进而得到目标图像。

第一执行单元40，用于接收图像融合单元30发送的目标图像，并若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息。

例如，第一执行单元40接收图像融合单元30发送的目标图像，并若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息。

进一步的，第一执行单元包括：特征点获取单元、确定单元以及信息载入单元。具体地：

特征点获取单元，用于获取所述目标图像中的特征点。

例如，特征点获取单元获取所述目标图像中的特征点。

确定单元，用于根据所述特征点从所述对照模型库中确定所述索引图像类。

例如，确定单元根据所述特征点从所述对照模型库中确定所述索引图像类。

信息载入单元，用于载入所述索引图像类的诊断信息。

例如，信息载入单元载入所述索引图像类的诊断信息。

作为本发明一优选实施例，参考信息获取装置还包括：第二执行单元。

第二执行单元，用于若对照模型库中不存在与所述目标图像相关的索引图像类，则将所述目标图像以及诊断方确定的诊断结果作为新的诊断信息存入所述对照模型库中。

例如，第二执行单元若对照模型库中不存在与所述目标图像相关的索引图像类，则将所述目标图像以及诊断方确定的诊断结果作为新的诊断信息存入所述对照模型库中。

通过若对照模型库中不存在与所述目标图像相关的索引图像类，则将所述目标图像以及诊断方确定的诊断结果作为新的诊断信息存入所述对照模型库中，丰富了对照模型库的内容。

上述方案中，通过获取对患处进行超声波扫描后生成的超声波扫描图像；对超声波扫描图像进行图像处理，以得到对应的三维图像；将三维图像与患处对应的核磁共振图像进行图像融合，以得到目标图像；若对照模型库中存在与所述目标图像相关的索引图像类，则载入所述索引图像类的诊断信息，实现了为诊断方在对病人进行诊断时，提供诊断参考，进而提高了对病人的诊断效率。

本领域普通技术人员可以理解：实现上述方法实施例的步骤或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种提供参考信息的方法，用于在超声波扫描仪完成扫描后，为诊断方提供参考信息，其特征在于，所述参考信息获取方法包括：

获取对患处进行超声波扫描后生成的超声波扫描图像；

对所述超声波扫描图像进行图像处理，以得到对应的三维图像；

将所述三维图像与所述患处对应的核磁共振图像进行图像融合，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，以得到目标图像，所述目标图像包括至少一个特征点，所述特征点用于表征所述目标图像的病理内容或患处；

若对照模型库中存在与所述目标图像中的所述特征点相关的索引图像类，则载入所述索引图像类的诊断信息。

2.如权利要求1所述的方法，其特征在于，所述对所述超声波扫描图像进行图像处理，以得到对应的三维图像，包括：

对所述超声波扫描图像进行图像增强和图像滤波处理，以得到第一图像；

对所述第一图像进行图像分割，以得到多个切片图像；

对所述多个切片图像中的每个切片图像进行轮廓线标记；

根据所述多个切片图像上的物体轮廓线将相邻的切片图像的轮廓线进行连接重组，得到所述对应的三维图像信息。

3.如权利要求1所述的方法，其特征在于，所述将所述三维图像与所述患处对应的核磁共振图像进行图像融合，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，以得到目标图像，包括：

对所述核磁共振图像和/或所述三维图像进行格式转换，以将所述核磁共振图像与所述三维图像进行叠加；

对所述核磁共振图像和/或所述三维图像进行方向或尺寸调整，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，进而得到目标图像。

4.如权利要求1所述的方法，其特征在于，所述若对照模型库中存在与所述目标图像中的所述特征点相关的索引图像类，则载入所述索引图像类的诊断信息，包括：

获取所述目标图像中的特征点；

根据所述特征点从所述对照模型库中确定所述索引图像类；

载入所述索引图像类的诊断信息。

5.如权利要求1至4任一项所述的方法，其特征在于，所述将所述三维图像与所述患处对应的核磁共振图像进行图像融合，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，以得到目标图像的步骤之后，还包括：

若对照模型库中不存在与所述目标图像中的所述特征点相关的索引图像类，则将所述目标图像以及诊断方确定的诊断结果作为新的诊断信息存入所述对照模型库中。

6.一种提供参考信息的装置，用于在超声波扫描仪完成扫描后，为诊断方提供参考信息，其特征在于，所述参考信息获取装置包括：

获取单元，用于获取对患处进行超声波扫描后生成的超声波扫描图像；

三维图像生成单元，用于对所述超声波扫描图像进行图像处理，以得到对应的三维图像；

图像融合单元，用于将所述三维图像与所述患处对应的核磁共振图像进行图像融合，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，以得到目标图像，所述目标图像包括至少一个特征点，所述特征点用于表征所述目标图像的病理内容或患处；

第一执行单元，用于若对照模型库中存在与所述目标图像中的所述特征点相关的索引图像类，则载入所述索引图像类的诊断信息。

7.如权利要求6所述的装置，其特征在于，所述三维图像生成单元包括：

图像增强与滤波单元，用于对所述超声波扫描图像进行图像增强和图像滤波处理，以得到第一图像；

图像分割单元，用于对所述第一图像进行图像分割，以得到多个切片图像；

标记单元，用于对所述多个切片图像中的每个切片图像进行轮廓线标记；

图像生成单元，用于根据所述多个切片图像上的物体轮廓线将相邻的切片图像的轮廓线进行连接重组，得到所述对应的三维图像信息。

8.如权利要求6所述的装置，其特征在于，所述图像融合单元包括：

格式转换单元，用于对所述核磁共振图像和/或所述三维图像进行格式转换，以将所述核磁共振图像与所述三维图像进行叠加；

图像调整单元，用于对所述核磁共振图像和/或所述三维图像进行方向或尺寸调整，使得所述三维图像上的特征点与所述核磁共振图像上的特征点相互重合，进而得到目标图像。

9.如权利要求6所述的装置，其特征在于，所述第一执行单元包括：

特征点获取单元，用于获取所述目标图像中的特征点；

确定单元，用于根据所述特征点从所述对照模型库中确定所述索引图像类；

信息载入单元，用于载入所述索引图像类的诊断信息。

10.如权利要求6至9任一项所述的装置，其特征在于，所述参考信息获取装置还包括：

第二执行单元，用于若对照模型库中不存在与所述目标图像相关的索引图像类，则将所述目标图像以及诊断方确定的诊断结果作为新的诊断信息存入所述对照模型库中。