[go: up one dir, main page]

CN113168906A - 用于增强现实-增强现场维修支持的系统和方法 - Google Patents

用于增强现实-增强现场维修支持的系统和方法 Download PDF

Info

Publication number
CN113168906A
CN113168906A CN201980081185.4A CN201980081185A CN113168906A CN 113168906 A CN113168906 A CN 113168906A CN 201980081185 A CN201980081185 A CN 201980081185A CN 113168906 A CN113168906 A CN 113168906A
Authority
CN
China
Prior art keywords
data structures
content
query data
guidance
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081185.4A
Other languages
English (en)
Inventor
R·斯里尼瓦桑
O·F·法里
S·S·阿尔哈桑
T·R·阿罗拉
V·V·达特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN113168906A publication Critical patent/CN113168906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种非瞬态计算机可读介质存储指令，所述指令能由至少一个电子处理器(20)读取并运行以执行增强现实(AR)内容生成方法(100)。所述方法包括：利用AR设备(13)的相机(14)来采集医学成像或医学治疗设备(12)的部件的一幅或多幅图像；从所述AR设备的麦克风(15)接收触发音频片段；根据所述一幅或多幅图像和所述触发音频片段这两者来生成一个或多个查询数据结构；从数据库(26)中检索AR指导内容，所述AR指导内容与和所生成的一个或多个查询数据结构匹配的所述医学成像或医学治疗设备有关；并且以以下方式中的一种或多种来输出所述AR指导内容：(i)被叠加显示在由所述AR设备显示的视频上和/或(ii)被显示在所述AR设备的头戴式显示器上和/或(iii)经由所述AR设备的扬声器(27)被输出为音频内容。

Description

用于增强现实-增强现场维修支持的系统和方法
技术领域
下文总体上涉及现场维修领域，并且更具体地涉及医学成像设备和系统维修领域、增强视觉领域以及相关领域。
背景技术
医学成像设备包括非常复杂的系统，例如，磁共振成像(MRI)设备、透射计算机断层摄影(CT)成像设备、发射成像系统(例如，正电子发射断层摄影(PET)成像设备和用于单光子发射计算机断层摄影(SPECT)的伽马相机)、在单个设备中提供多种模态的混合式系统(例如，PET/CT成像设备或SPECT/CT成像设备)，以及被设计用于引导活检或其他介入医学流程的成像设备(通常被称为图像引导的治疗(iGT)设备)。这些仅仅是说明性示例。
从维护的角度来看，现代医学成像设备和系统提出了不同寻常的挑战。它们通常包括大量用于各种各样目的的子系统，例如：用于装载患者，将患者运输到成像检查区以及随后卸载患者的机械和机电系统；在CT成像设备的情况下，X射线管组件和X射线探测器阵列；再次在CT的情况下，旋转机架组件；在PET成像设备的情况下，辐射探测器模块的环形圈；在伽马相机的情况下，辐射探测器头和用于在患者周围操纵辐射探测器头的相关联的机器人硬件；在MRI的情况下，超导磁体和相关联的液氦罐和/或其他低温恒温器硬件；用户接口部件，例如，计算机化的控制器、控制按钮、开关、触敏显示器等。医学成像设备的维修通常必须在现场进行，也就是说，在部署有医学成像设备的医院或其他医学机构处进行。此外，非常希望最大限度地减少维修停机时间，因为医院和其他医学机构期望这些设备可以几乎连续使用，以便为患者提供成像或图像引导的治疗。
然而，从维修的角度来看，另一个困难是医学成像设备通常由制造商近乎持续地开发，并且以各种可选部件和部件包来销售，使得相同品牌/型号的医学成像设备的不同部署安装情况也可能具有不同的部件，其具体取决于它们的制造时间和客户选择购买的选项。
大多数医学仪器用户期望以最少的机器停机时间获得持续的客户支持和维修可用性。仪器制造商能够从技术和平台中受益，这些技术和平台将使得他们能够更好更快地为客户提供支持和维修。这将会使客户满意度的提高。从医疗保健的角度来看，当系统已经过载时，任何停机时间都是性命攸关的。高效的现场维修使得生产力提高、停机时间减少并且客户满意度提高。
医疗保健行业中的现场维修工程师(FSE)可能拥有各种各样的现场专业知识并且在FSE池内对某些医学设备的熟悉程度各不相同。如果在特定维修呼叫中发送的特定FSE对所维修的特定医学成像系统的熟悉程度有限，则这会对FSE能够向客户提供的支持的有效性产生负面影响，继而会导致客户不满。在客户位置处工作的FSE也可能在他/她的工作流程中具有最少(或没有)暂停以及最少的资源来审查/搜索解决问题的最佳方法。
下面公开了新的且改进的系统和方法。
发明内容
在一个公开的方面中，一种非瞬态计算机可读介质存储指令，所述指令能由至少一个电子处理器读取并运行以执行增强现实(AR)内容生成方法。所述方法包括：利用AR设备的相机来采集医学成像或医学治疗设备的部件的一幅或多幅图像；从所述AR设备的麦克风接收触发音频片段；根据所述一幅或多幅图像和所述触发音频片段这两者来生成一个或多个查询数据结构；从数据库中检索AR指导内容，所述AR指导内容与和所生成的一个或多个查询数据结构匹配的所述医学成像或医学治疗设备有关；并且以以下方式中的一种或多种来输出所述AR指导内容：(i)被叠加显示在由所述AR设备显示的视频上和/或(ii)被显示在所述AR设备的头戴式显示器上和/或(iii)经由所述AR设备的扬声器被输出为音频内容。
在另一公开的方面中，一种增强现实(AR)内容生成系统包括AR设备和至少一个电子处理器。所述AR设备包括相机、麦克风、显示器和扬声器。所述相机被配置为采集医学成像或医学治疗设备的部件的一幅或多幅图像。所述至少一个电子处理器被编程为：从所述麦克风接收触发音频片段；根据所述一幅或多幅图像和所述触发音频片段这两者来生成一个或多个查询数据结构；从数据库中检索AR指导内容，所述AR指导内容与和所生成的一个或多个查询数据结构匹配的所述医学成像或医学治疗设备有关；并且以以下方式中的一种或多种来输出所述AR指导内容：(i)被叠加显示在由所述AR设备显示的视频上和/或(ii)被显示在所述AR设备的头戴式显示器上和/或(iii)经由所述扬声器被输出为音频内容。
在另一公开的方面中，一种增强现实(AR)内容生成方法包括：利用AR设备的相机来采集医学成像或医学治疗设备的部件的一幅或多幅图像；从所述AR设备的麦克风接收触发音频片段；通过使用卷积神经网络(CNN)处理所述一幅或多幅图像并使用循环神经网络(RNN)处理所述触发音频片段来根据所述一幅或多幅图像和所述触发音频片段这两者生成一个或多个查询数据结构；从数据库中检索与所生成的一个或多个查询数据结构匹配的AR指导内容；并且以以下方式中的一种或多种来输出所述AR指导内容：(i)被叠加显示在由所述AR设备显示的视频上和/或(ii)被显示在所述AR设备的头戴式显示器上和/或(iii)经由所述AR设备的扬声器被输出为音频内容，视觉指令包括以下各项中的一项或多项：与所述部件有关的维修手册的相关章节，以及来自与所述部件有关的所述维修手册的注释。
一个优点在于为维修人员提供实时自动化辅助。
另一优点在于为维修人员提供增强现实(AR)内容的实时自动化检索。
另一优点在于提供AR内容的实时自动化检索和呈现，以辅助从维修人员的视角呈现的和与要执行的维修操作紧密集成的维修呼叫。
另一优点在于提供实时AR内容，从而利用实时视频和/或音频馈送来自动识别和检索适当的AR内容。
另一优点在于在AR设备的头戴式显示器上输出实时AR内容或者经由AR设备的扬声器将实时AR内容输出为音频内容。
给定的实施例可以提供前述优点中的零个、一个、两个、更多个或所有优点，并且/或者可以提供其他优点，本领域普通技术人员在阅读和理解了本公开内容后，这将变得显而易见。
附图说明
本公开内容可以采取各种部件和部件布置以及各个步骤和步骤安排的形式。附图仅用于说明优选实施例的目的并且不应被解释为限制本公开内容。
图1示意性地图示了根据一个方面的AR生成系统。
图2示出了图1的系统的示例性流程图操作。
图3和图4示出了图2的方法的示例性流程图操作。
具体实施方式
下文总体上涉及为执行对医学成像设备的维护的FSE(或更一般地，为维修工程师、维护技术人员、放射学实验室人员等)提供AR支持。
AR内容通常不像印刷的维修手册能够(例如使用目录表、主题→页面索引系统等)进行索引那样容易地进行索引。AR内容能够是多媒体内容、音频内容、视频内容、视场示意图叠加内容等，这些内容不易进行索引。可以有各种方式(例如按零件、模块、任务等)对用于辅助医学成像设备维修的AR内容进行索引。即使利用印刷的维修手册，也可能在不同手册的不同位置处找到内容，例如，如果为了访问零件X而必须移除零件Y，则可能会在零件Y下的索引内容中找到用于维修零件X的相关内容。此外，即使维修工程师知道需要哪项内容，深入研究维修手册的分层索引以定位相关内容也会很耗时。对于多媒体内容，这样的索引搜索尤其成问题，因为人们不一定能简单地翻到索引中引用的特定维修手册页面。对于医学成像设备的维修尤其如此，它能够包括数以万计的相互关联的零件和相应数量的模块、维修任务等。
在本文公开的实施例中，提供了用于识别和检索AR内容以供呈现的自动化方法。用户在通过AR眼镜、AR耳机等查看维修中的零件/模块时或者在将移动设备的相机指向正在维修的零件/模块以采集其视频，使用合适的关键词或关键短语(在本文中有时被称为触发音频片段)向系统寻求帮助。由AR眼镜、移动设备相机或其他类似设备捕获一幅或多幅查询图像，并且由具有转录功能的麦克风生成查询文本(例如从正在由AR眼镜或移动设备相机/麦克风设置记录的音频/视频的音频分量中提取触发音频片段)。图像/文本被公式化为联合图像/文本查询向量。这些操作是在客户现场处执行的，例如在维修呼叫期间是由FSE执行的。
来自维修手册的离线(即，在维修呼叫之前的某个时间的)图像和相关联的文本(例如，图名)被翻译成联合图像/文本AR内容向量，以用于对AR内容进行索引。AR内容向量是使用与用于生成查询向量的向量制定流程相同的向量制定流程来产生的。然后通过将查询向量与AR内容向量的数据库进行比较来识别相关的AR内容。因此，识别一个或多个候选AR内容向量，并且检索对应的AR内容(或者，在一些实施例中，通过使用自动编码器进行解码来根据AR内容向量重建对应的AR内容)。
在本文公开的实施例中，向量元素是使用神经网络从图像内容和文本内容中导出的。特别地，卷积神经网络(CNN)用于从图像内容中导出向量元素，而循环神经网络(RNN)用于从文本内容中导出向量元素。触发关键词或关键短语用作用于触发RNN的注意机制，并且在向量元素的生成中强调信息文本内容(例如，零件或模块的名称、命名症状等)。虽然预期一些实施例是有效和高效的，但是也可以替代地使用用于导出代表图像内容和文本内容的向量元素的其他方法。在另一个说明性的预想到的实施例中，单个CNN可以处理图像内容和文本内容这两者以生成联合图像/文本向量。
对于向量匹配，在说明性实施例中采用余弦相似性度量，但更一般地，可以使用另一向量相似性度量，例如，欧几里德距离或其他向量距离度量。
与单独使用图像相比，同时使用实时图像和实时文本能够更有效地准确识别AR内容。在本文公开的一些实施例中，使用自动编码器根据代表AR内容的代表性联合图像/文本向量来重建AR内容；然而，也可以将该向量链接到对应的存储的AR内容，然后检索该AR内容。可以以不同方式呈现检索到的(以及可选地解码的或重建的)AR内容，例如通过显示维修手册图像(或者，在更高级的实施例中，通过将从这些图像导出的注释叠加到由AR设备观察到的实时视频上)以及通过显示手册的相关联的文本和/或使用文本-语音转换以音频方式传达文本内容来呈现检索到的(以及可选地解码的或重建的)AR内容。
应当注意，使用向量作为用于格式化查询和用于与查询进行比较的AR内容的数据结构仅仅是说明性的。更一般地，能够使用任何选取的数据结构(例如，一维向量或二维矩阵或三维或更高维度的矩阵或不同长度的向量集合等)来格式化查询和比较性AR内容。采用单个向量来制定查询和比较性AR内容的说明性示例能够具有某些处理优点，因为这样的向量可以被更容易地输入到被设计为接收单个向量作为输入的神经网络，但更普遍的是任何类型的数据结构都可以用来代替说明性向量。
在本文公开的实施例中，AR眼镜(例如，谷歌眼镜)被用作用于采集图像和音频以及用于呈现AR内容的用户接口。在变型实施例中，移动设备(蜂窝电话或平板电脑)可以用作用户接口。在这种情况下，可以使用内置相机来获得实时查询图像，并且将AR内容显示在移动设备显示器上和/或显示为叠加在由移动设备的内置相机捕获的实时视频上的注释。
用于训练向量提取(例如，CNN和RNN)和(可选的)自动编码器的训练数据可以从训练手册中获得(可能有某种手动分割/勾画的章节等)和/或通过让用户通过AR眼镜查看相关零件/模块并同时说出适当的典型查询措辞来获得。优选以不同的观看角度、光照角度、照明水平等采集图像，并且/或者可以使用适当的图像处理技术(例如通过调节图像对比度曲线以模拟不同的光照条件)来合成这样的变体图像。类似地，能够通过具有不同口音、音调等的扬声器来生成音频内容，并且/或者可以通过音频处理来模拟不同这些口音、音调以执行音调调节等。还可以执行对训练数据的手动注释，例如手动勾画训练图像中的关键特征周围的边界框。用于监督训练的实际情况加标签可以从手册中获得(例如，如果手册肯定性标识了零件号等)和/或通过对图像/音频的手动加标签获得。
下面总体上公开了基于AR的现场维修支持。通常，FSE(或更一般地，维修工程师、维护技术人员、放射学实验室工作人员等)被提供有能够捕获实时视频和音频的AR眼镜。该系统处理音频和视频，并且尝试将变换后的像素和文本与正在对其检查故障的医学设备/仪器的维修手册内的经索引的指令和图像进行匹配。医学设备维修手册最初是通过对文本进行标记和解析并加上分割图像并将该图像中的识别出的零件映射到在文档中注明的对应标签来进行预处理的。通过使用自上而下(由CNN表示的图像特征以及注意机制和RNN表示与图像中的某些区域相关联的标签)或自下而上的方法(基于CNN选择图像中的重要区域和针对这些区域的标签的最大软分类)，该系统能够索引维修手册中存在的所有图像-文本链接。在该示例中，这构成了维修手册预处理模块。
搜索模型利用(a)语音到文本模型，其将来自AR眼镜的传入/输入的音频信号转换成词语序列；(b)预处理模块，其用于生成结果得到的文本和由AR眼镜捕获的视频/图像的联合向量表示；(c)算法，其设法将输入的图像和文本向量与已经进行索引的维修手册中的适当的图像-文本链接进行匹配。
如果存在匹配的图像-文本链接，则使用在维修手册中的所有图像-文本链接上训练的自动编码器架构来重建图像和文本/指令，使得FSE可以体验(与当前的设备上环境相比)视觉相似的图像以及易于解释的指令集来解决现有问题。这能够通过基于一些预定义的损失函数将一些约束添加到模型的解码部分中来实现，在给出维修手册中的匹配的图像-文本对的情况下，这将确保生成捕获问题的设备上视觉特性的(一幅或多幅)图像以及易于理解的指令集。然后将所重建的图像和指令显示在FSE的AR眼镜的视场中。如果没有匹配的图像-文本链接，则搜索管道会建议前2个最接近的图像-文本链接。通过自动编码器模型进行重建后，在AR视场中仅将该图像显示给FSE。FSE然后通过说话(“我选择图像A”)或“触摸”最佳选择来进行选择，并显示对应的指令。在该示例中，使用自动编码器对检索到的内容进行解码(即，重建)。在其他预想到的实施例中，原始AR内容通过已经进行索引的维修手册的图像-文本链接进行存储和索引，在这种情况下，不执行通过自动编码器或其他解码算法进行的重建(即，不进行解码)。
参考图1，图示了用于识别和检索(并且可选地解码)AR内容10的系统。系统10用于针对医学成像或医学治疗设备12(被示例性地示为PET成像设备)的维修呼叫。更一般地，医学成像或医学治疗设备12能够是任何合适类型的设备，例如，独立CT成像设备、混合式PET/CT成像设备、磁共振成像(MRI)设备、用于单光子发射计算机断层摄影(SPECT)成像的伽马相机、图像引导的治疗(iGT)设备等。甚至更一般地，所公开的基于AR的维修指导设备和方法可以应用于在现场执行的任何类型的系统或设备维修，例如可以应用于辐射治疗递送设备、研究设备(例如，磁体)、低温系统、工厂机器人系统、加工炉等。
系统10包括AR设备13。如图1所示，AR设备13能够包括一副AR眼镜(例如，谷歌眼镜)，该副AR眼镜(例如，谷歌眼镜)由FSE(或更一般地，维修工程师、维护技术人员、放射学实验室工作人员等)佩戴。在另一示例中，AR设备13能够包括移动蜂窝电话或平板电脑。AR设备13包括用于采集成像设备12的图像的相机14(例如，具有“左眼”相机和“右眼”相机的立体相机)和用于采集来自FSE的语音指令的麦克风15。AR设备13能够包括用于视觉输出内容的显示器16(例如，在谷歌眼镜的示例中的头戴式显示器)和/或用于音频输出内容的扬声器17。
相机14提供了“第一人称”的视点——如果AR设备13由执行(或参与执行)维修的维修人员佩戴，则维修呼叫的记录的视频有利地来自维修人员的视点或有利观察点。通过使用相机14，有利的是记录的视频本质上是双目的，并且能够提供用于提取三维(3D)信息的深度信息。然而，在替代实施例中，采用了单目相机——在这种情况下，计算机视觉通常能够基于通过相机的自然移动(由于维修人员在维修期间头部的移动)提供的不同有利观察点来提取3D信息。作为另一种预想到的变型，可以通过距离相机来增强常规的光学相机以提供深度信息。
通常，AR设备13被配置为将包括图像、文本、音频等中的一项或多项的AR内容叠加到以下各项中的任一项上：(i)(如在使用蜂窝电话时)由AR设备采集的实时视频或(ii)在头戴式显示器上。在一种方法中，头戴式AR眼镜、护目镜等具有透明镜片(例如，透明眼镜镜片)并且显示器16被设置在透明镜片的外围处或者被布置为将所显示的内容投影到透明镜片上或者使用构成镜片的透明显示器。
具有示例性的眼镜安装式相机14的AR设备13的困难在于，它可能为安装电子处理器提供有限的支撑结构——也就是说，可能难以将具有足够处理能力的微处理器或微控制器集成到眼镜上来处理视频生成和可选处理。这在说明性实施例中通过使AR设备13与工作站18进行无线通信来解决，该工作站18包括计算机或具有典型部件的其他电子数据处理设备，这些典型部件例如为至少一个电子处理器20、至少一个用户输入设备(例如、鼠标、键盘、轨迹球等)22和显示设备24。应当注意，这些部件能够被不同地分布。例如，电子处理器20可以包括由FSE携带的笔记本电脑的本地处理器和由工作站终端接入的服务器计算机的处理器。在另一种预想到的方法中，电子处理器20被实施为由AR设备13经由无线链路30(例如，3G或4G无线蜂窝通信链路、Wi-Fi链路等)访问的云计算资源或(一个或多个)其他远程服务器计算机。电子处理器20还包括或者可以访问存储AR内容的一个或多个数据库或非瞬态存储介质26以支持维修操作。作为非限制性说明性示例，非瞬态存储介质26可以包括以下各项中的一项或多项：磁盘、RAID或其他磁性存储介质；固态驱动器、闪存驱动器、电子可擦除只读存储器(EEROM)或其他电子存储器；光盘或其他光学存储装置；其各种组合等。显示设备24被配置为显示包括一个或多个字段的图形用户接口(GUI)28以从用户输入设备22接收用户输入。
应当理解，图1仅示出了一种说明性布置。如前所述，其他类型的眼镜或头饰(例如，护目镜、头带、头盔等)可以用作AR设备13的支撑结构，以便提供维修过程的第一人称视角；另外，正如已经提到的那样，可以用另一种类型的相机(例如，单目相机、相机加距离相机的组合等)来代替立体相机14。在其他实施例中，维修呼叫的记录视频可能不是来自维修人员的第一人称视角。例如，在替代实施例中，AR设备包括以下移动设备(未示出)：该移动设备的后置相机被布置在移动设备的背面，用作记录维修呼叫的相机。在这种情况下，有利观察点将不是第一人称，但是FSE能够握住移动设备以适当引导后置相机来记录要对其检索AR内容支持的零件、部件或组件的视频。
系统10被配置为执行AR内容识别和检索方法或流程100。非瞬态存储介质26存储指令，该指令能由工作站18的至少一个电子处理器20读取并运行以执行所公开的操作(包括执行AR内容生成方法或过程100)。在一些示例中，方法100可以至少部分地通过云处理来执行。为执行AR内容识别和检索方法或过程100而运行的指令可以被视为实施：(i)语音转文本或转录模块40和图像处理模块42，图像处理模块42被编程为分析由相机14捕获的图像43a和由麦克风15捕获的声音43b以生成对应的文本；(ii)图像-文本联合向量化模块44，其被编程为根据文本和图像(如前所述，更一般地预想到除了向量以外的数据结构，例如，2D、3D或更高维度的矩阵、向量集等)来生成图像-文本联合向量；(iii)图像文本链接匹配模块46，其被编程为基于图像-文本联合向量在非瞬态存储介质26中搜索医学成像或治疗设备12的相关维修手册数据47；(iv)视觉指令生成模块48，其被编程为基于检索到的手册数据来生成指导内容49并将指令显示在AR设备13的显示器16上(或者替代地，发出由AR设备的扬声器17输出的音频指令)。在一些实施例中，图像-文本联合向量化模块44能够包括一个或多个神经网络(NN)来处理来自对应的图像处理模块42和转录模块40的图像和文本。例如，图像-文本联合向量化模块44能够包括卷积NN(CNN)50和循环NN(RNN)52，该CNN 50被编程为处理由相机14捕获的一幅或多幅图像，该RNN 52被编程为处理由麦克风15捕获的触发音频片段(即，声音)。在其他实施例中，视觉指令生成模块48能够包括被编程为重建视觉(或音频)指令的自动编码器54。
参考图2，AR内容生成方法100的说明性实施例被图解性地示为流程图。方法100能够由工作站18的至少一个电子处理器20来运行。在102处，利用AR设备13的相机14来采集医学成像或医学治疗设备12的部件的一幅或多幅图像。在104处，从AR设备13的麦克风15接收触发音频片段。
在106处，根据一幅或多幅图像和触发音频片段这两者来生成一个或多个查询向量。在一些实施例中，可以使用另一向量相似性度量，例如，欧几里德距离度量或其他向量距离度量。在一个示例中，利用NN处理(例如，CNN 50)来处理图像。在另一示例中，利用NN(例如，RNN 52)来处理触发音频片段。
在108处，从数据库(例如，非瞬态存储介质26)中检索与所生成的查询向量相匹配的AR指导内容。为此，使用余弦相似性度量将所生成的查询向量与AR指导内容进行匹配。在一个实施例中，通过索引向量来对数据库26的内容进行索引，所述索引向量是使用与生成一个或多个查询向量的过程相同的过程生成的。匹配包括将一个或多个查询向量与索引检索到的AR指导内容的索引向量进行匹配。在另一实施例中，使用与用于生成一个或多个查询向量的过程相同的过程将数据库26的内容编码为向量。检索然后包括：从数据库26中检索经编码的AR指导内容，以及利用自动编码器54对经编码的AR指导内容进行解码。
在110处，将AR指导内容输出为以下各项中的一项或多项：(i)被叠加显示在由AR设备13的显示器16显示的视频上(例如，当AR设备包括蜂窝电话或电子平板电脑时)和/或(ii)被显示在AR设备的头戴式显示器16上(例如，当AR设备包括谷歌眼镜时)和/或(iii)经由AR设备的扬声器17被输出为音频内容。在一个示例中，将视觉指令输出为与部件有关的维修手册的相关章节。在另一示例中，将视觉指令输出为来自与部件有关的维修手册的注释。
参考图3，图解性地示出了图2的操作106(例如由图1的图像文本联合向量化模块44执行)的说明性实施例。在202处，分别由AR设备13的相机14捕获图像43b和/或通过对由AR设备13的麦克风15捕获的音频43a进行语音识别处理来生成文本。在204处，将所采集的文本43b连同来自维修数据手册数据47的文本输入到RNN 52并进行处理。在206处，将所采集的图像43a连同来自维修数据手册数据47的图像输入到CNN 50并进行处理。在208处，根据CNN 50和RNN 52的处理生成一个或多个查询向量(即，联合图像文本向量)。在210处，对数据库26进行索引以查找和选择与查询向量具有最小相似性距离的指导内容49。
参考图4，图解性地示出了图2的操作108(例如由图1的链路匹配模块46执行)的说明性实施例。在302处，将指导内容49输入到自动编码器54。在304处，对指导内容49进行解码以根据维修手册数据47来生成重建图像。在306处，将图像显示在AR设备13的显示器16上。在308处，AR设备13的麦克风15接收指示对所显示的图像中的一幅图像的选择的触发声音。在310处，将与所选择的图像相关联的维修手册数据47显示在显示器16上(或者，额外地或替代地，利用扬声器17来输出与所选择的图像相关联的维修手册数据47)。
已经参考优选实施例描述了本公开内容。其他人在阅读和理解了前面的详细描述后可能会想到修改和变更。本文旨在将本公开内容解释为包括所有这样的修改和变更，只要它们落入权利要求或其等同物的范围内即可。

Claims (20)

1.一种存储指令的非瞬态计算机可读介质，所述指令能由至少一个电子处理器(20)读取并运行以执行增强现实(AR)内容生成方法(100)，所述方法包括：
利用AR设备(13)的相机(14)来采集医学成像或医学治疗设备(12)的部件的一幅或多幅图像；
从所述AR设备的麦克风(15)接收触发音频片段；
根据所述一幅或多幅图像和所述触发音频片段这两者来生成一个或多个查询数据结构；
从数据库(26)中检索AR指导内容，所述AR指导内容与和所生成的一个或多个查询数据结构匹配的所述医学成像或医学治疗设备有关；并且
以以下方式中的一种或多种来输出所述AR指导内容：(i)被叠加显示在由所述AR设备显示的视频上和/或(ii)被显示在所述AR设备的头戴式显示器上和/或(iii)经由所述AR设备的扬声器(27)被输出为音频内容。
2.根据权利要求1所述的非瞬态计算机可读介质，其中，所述输出包括以下各项中的一项：
将所述AR指导内容叠加显示在由所述AR设备(13)显示的视频上，所述AR设备包括蜂窝电话或电子平板电脑；或者
将所述AR指导内容叠加显示在所述AR设备的头戴式显示器(16)上。
3.根据权利要求1和2中的任一项所述的非瞬态计算机可读介质，其中，所述数据库(26)的内容由索引数据结构来进行索引，所述索引数据结构是使用与用于生成所述一个或多个查询数据结构的过程相同的过程生成的，并且
所述匹配包括将所述一个或多个查询数据结构与对检索到的AR指导内容进行索引的所述索引数据结构进行匹配。
4.根据权利要求1和2中的任一项所述的非瞬态计算机可读介质，其中，使用与用于生成一个或多个查询向量的过程相同的过程将所述数据库(26)的内容编码为向量，并且所述检索包括：
从所述数据库中检索经编码的AR指导内容；并且
利用自动编码器(54)对经编码的AR指导内容进行解码。
5.根据权利要求1-4中的任一项所述的非瞬态计算机可读介质，其中，所述一个或多个查询数据结构的所述生成包括：
使用神经网络(NN)(50)来处理所述一幅或多幅图像。
6.根据权利要求5所述的非瞬态计算机可读介质，其中，处理所述一幅或多幅图像的所述NN(50)是卷积NN。
7.根据权利要求1-6中的任一项所述的非瞬态计算机可读介质，其中，所述一个或多个查询数据结构的所述生成包括：
使用NN(52)来处理所述触发音频片段。
8.根据权利要求7所述的非瞬态计算机可读介质，其中，处理所述触发音频片段的所述NN(52)是循环NN。
9.根据权利要求1-8中的任一项所述的非瞬态计算机可读介质，其中，所述检索使用余弦相似性度量来将所生成的一个或多个查询数据结构与所述AR指导内容进行匹配。
10.根据权利要求1-9中的任一项所述的非瞬态计算机可读介质，其中，输出所述视觉指令还包括以下各项中的一项或多项：
输出与所述部件有关的维修手册的相关章节；
输出来自与所述部件有关的所述维修手册的注释。
11.一种增强现实(AR)内容生成系统(10)，包括：
AR设备(13)，其包括相机(14)、麦克风(15)、显示器(16)和扬声器(17)，所述相机被配置为采集医学成像或医学治疗设备(12)的部件的一幅或多幅图像；
至少一个电子处理器(20)，其被编程为：
从所述麦克风接收触发音频片段；
根据所述一幅或多幅图像和所述触发音频片段这两者来生成一个或多个查询数据结构；
从数据库(26)中检索AR指导内容，所述AR指导内容与和所生成的一个或多个查询数据结构匹配的所述医学成像或医学治疗设备有关；并且
以以下方式中的一种或多种来输出所述AR指导内容：(i)被叠加显示在由所述AR设备显示的视频上和/或(ii)被显示在所述AR设备的头戴式显示器上和/或(iii)经由所述扬声器(27)被输出为音频内容。
12.根据权利要求11所述的系统(10)，其中，所述至少一个电子处理器(20)被编程为：
通过索引向量来对所述数据库(26)的内容进行索引，所述索引向量是使用与用于生成所述一个或多个查询数据结构的过程相同的过程生成的，并且
将所述一个或多个查询数据结构与对检索到的AR指导内容进行索引的所述索引向量进行匹配。
13.根据权利要求11所述的系统(10)，其中，所述至少一个电子处理器(20)被编程为：
使用与用于生成所述一个或多个查询数据结构的过程相同的过程将所述数据库(26)的内容编码为向量，
从所述数据库中检索经编码的AR指导内容；并且
利用自动编码器(54)对经编码的AR指导内容进行解码。
14.根据权利要求11-13中的任一项所述的系统(10)，其中，所述至少一个电子处理器(20)被编程为：
通过使用卷积神经网络(CNN)(50)处理所述一幅或多幅图像来生成所述一个或多个查询数据结构。
15.根据权利要求11-14中的任一项所述的系统(10)，其中，所述至少一个电子处理器(20)被编程为：
通过使用循环神经网络(RNN)(52)处理所述触发音频片段来生成所述一个或多个查询数据结构。
16.根据权利要求11-15中的任一项所述的系统(10)，其中，所述至少一个电子处理器(20)被编程为：
利用余弦相似性度量来检索所述AR指导内容以将所生成的一个或多个查询数据结构与所述AR指导内容进行匹配。
17.根据权利要求11-16中的任一项所述的系统(10)，其中，所述至少一个电子处理器(20)被编程为以以下方式中的一种或多种来输出视觉指令：
输出与所述部件有关的维修手册的相关章节；
输出来自与所述部件有关的所述维修手册的注释。
18.一种增强现实(AR)内容生成方法(100)，包括：
利用AR设备(13)的相机(14)来采集医学成像或医学治疗设备(12)的部件的一幅或多幅图像；
从所述AR设备的麦克风(15)接收触发音频片段；
通过使用卷积神经网络(CNN)(50)处理所述一幅或多幅图像并使用循环神经网络(RNN)(52)处理所述触发音频片段来根据所述一幅或多幅图像和所述触发音频片段这两者生成一个或多个查询数据结构；
从数据库(26)中检索与所生成的一个或多个查询数据结构匹配的AR指导内容；并且
以以下方式中的一种或多种来输出所述AR指导内容：(i)被叠加显示在由所述AR设备显示的视频上和/或(ii)被显示在所述AR设备的头戴式显示器上和/或(iii)经由所述AR设备的扬声器(27)被输出为音频内容，视觉指令包括以下各项中的一项或多项：与所述部件有关的维修手册的相关章节，以及来自与所述部件有关的所述维修手册的注释。
19.根据权利要求18所述的方法(100)，其中，所述数据库(26)的内容由索引向量来进行索引，所述索引向量是使用与用于生成所述一个或多个查询数据结构的过程相同的过程生成的，并且
所述匹配包括将所述一个或多个查询数据结构与对检索到的AR指导内容进行索引的所述索引向量进行匹配。
20.根据权利要求18所述的方法(100)，其中，使用与用于生成所述一个或多个查询数据结构的过程相同的过程将所述数据库(26)的内容编码为数据结构，并且所述检索包括：
从所述数据库中检索经编码的AR指导内容；并且
利用自动编码器(54)对经编码的AR指导内容进行解码。
CN201980081185.4A 2018-12-10 2019-12-02 用于增强现实-增强现场维修支持的系统和方法 Pending CN113168906A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862777278P 2018-12-10 2018-12-10
US62/777,278 2018-12-10
PCT/EP2019/083207 WO2020120180A1 (en) 2018-12-10 2019-12-02 Systems and methods for augmented reality-enhanced field services support

Publications (1)

Publication Number Publication Date
CN113168906A true CN113168906A (zh) 2021-07-23

Family

ID=68835162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081185.4A Pending CN113168906A (zh) 2018-12-10 2019-12-02 用于增强现实-增强现场维修支持的系统和方法

Country Status (4)

Country Link
US (1) US12002578B2 (zh)
EP (1) EP3895174A1 (zh)
CN (1) CN113168906A (zh)
WO (1) WO2020120180A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220019614A1 (en) * 2019-03-29 2022-01-20 Information System Engineering Inc. Information providing system
WO2023125998A1 (zh) * 2021-12-30 2023-07-06 上海联影医疗科技股份有限公司 医疗设备操作指导方法和系统
US12450900B2 (en) 2020-03-26 2025-10-21 Information System Engineering Inc. Information processing device and method for scene estimation and chunk estimation

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6647669B1 (ja) * 2019-03-29 2020-02-14 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
US11783807B2 (en) * 2020-07-24 2023-10-10 International Business Machines Corporation Voice response systems based on personalized vocabulary and user profiling—personalized linguistics AI engines
EP4248296A2 (en) * 2020-11-23 2023-09-27 Koninklijke Philips N.V. Automatic generation of educational content from usage of optimal/poorest user
EP4198978B1 (en) * 2021-12-16 2026-02-11 ATOS France Method, device and computer program for emotion recognition from a real-time audio signal
US20250200847A1 (en) * 2022-03-25 2025-06-19 Koninklijke Philips N.V. Ghost mode glasses for use in servicing medical devices and servicing workflows using same
EP4250193A1 (en) * 2022-03-25 2023-09-27 Koninklijke Philips N.V. Ghost mode glasses for use in servicing medical devices and servicing workflows using same
US11988841B2 (en) 2022-08-02 2024-05-21 Snap Inc. Voice input for AR wearable devices
US12254049B2 (en) * 2022-11-10 2025-03-18 Snap Inc. Searching augmented reality experiences using visual embeddings
EP4571772A1 (en) * 2023-12-14 2025-06-18 Koninklijke Philips N.V. Instruction method adjusted using subject data
CN118259756A (zh) * 2024-04-15 2024-06-28 纳欣科技有限公司 一种交互处理方法、装置与存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150325047A1 (en) * 2014-05-06 2015-11-12 Honeywell International Inc. Apparatus and method for providing augmented reality for maintenance applications
US20150332512A1 (en) * 2014-05-13 2015-11-19 Nant Vision, Inc. Augmented reality content rendering via albedo models, systems and methods
CN106440940A (zh) * 2016-04-05 2017-02-22 熊凌云 3d打印的石墨烯形vr.ar式智能安全生活工作用品
CN106791331A (zh) * 2017-01-13 2017-05-31 成都微晶景泰科技有限公司 基于透镜阵列成像的图像处理方法、装置及成像系统
US20170230675A1 (en) * 2016-02-05 2017-08-10 Google Inc. Compressing images using neural networks
US20180247023A1 (en) * 2017-02-24 2018-08-30 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1157315B1 (de) * 1999-03-02 2004-09-22 Siemens Aktiengesellschaft Augmented-reality-system mit einsatz mobiler geräte
JP2013535765A (ja) 2010-07-14 2013-09-12 コーニンクレッカ フィリップス エヌ ヴェ 光学要素のための取付要素を有するｌｅｄ照明アセンブリ
US20130010068A1 (en) * 2011-04-12 2013-01-10 Radiation Monitoring Devices, Inc. Augmented reality system
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US10074402B2 (en) * 2013-05-15 2018-09-11 Abb Research Ltd. Recording and providing for display images of events associated with power equipment
US9407861B2 (en) * 2013-08-16 2016-08-02 Siemens Healthcare Diagnostics Inc. User interface tool kit for mobile devices
DE102015217838B4 (de) * 2015-09-17 2018-02-08 Siemens Healthcare Gmbh Vorrichtung zur Unterstützung einer Wartung bei medizintechnischen Geräten
CN106096857A (zh) 2016-06-23 2016-11-09 中国人民解放军63908部队 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建
US11179200B2 (en) * 2017-12-15 2021-11-23 Medtronic, Inc. Augmented reality solution to disrupt, transform and enhance cardiovascular surgical and/or procedural mapping navigation and diagnostics

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150325047A1 (en) * 2014-05-06 2015-11-12 Honeywell International Inc. Apparatus and method for providing augmented reality for maintenance applications
US20150332512A1 (en) * 2014-05-13 2015-11-19 Nant Vision, Inc. Augmented reality content rendering via albedo models, systems and methods
CN106575450A (zh) * 2014-05-13 2017-04-19 河谷控股Ip有限责任公司 通过反照率模型、系统和方法的增强现实内容渲染
US20170230675A1 (en) * 2016-02-05 2017-08-10 Google Inc. Compressing images using neural networks
CN106440940A (zh) * 2016-04-05 2017-02-22 熊凌云 3d打印的石墨烯形vr.ar式智能安全生活工作用品
CN106791331A (zh) * 2017-01-13 2017-05-31 成都微晶景泰科技有限公司 基于透镜阵列成像的图像处理方法、装置及成像系统
US20180247023A1 (en) * 2017-02-24 2018-08-30 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220019614A1 (en) * 2019-03-29 2022-01-20 Information System Engineering Inc. Information providing system
US11651023B2 (en) 2019-03-29 2023-05-16 Information System Engineering Inc. Information providing system
US11934446B2 (en) * 2019-03-29 2024-03-19 Information System Engineering Inc. Information providing system
US12450900B2 (en) 2020-03-26 2025-10-21 Information System Engineering Inc. Information processing device and method for scene estimation and chunk estimation
WO2023125998A1 (zh) * 2021-12-30 2023-07-06 上海联影医疗科技股份有限公司 医疗设备操作指导方法和系统

Also Published As

Publication number Publication date
EP3895174A1 (en) 2021-10-20
WO2020120180A1 (en) 2020-06-18
US12002578B2 (en) 2024-06-04
US20220020482A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
US12002578B2 (en) Systems and methods for augmented reality-enhanced field services support
US11861898B2 (en) Self-expanding augmented reality-based service instructions library
US20180301217A1 (en) Enhanced pathology diagnosis
US20190156204A1 (en) Training a neural network model
US11361491B2 (en) System and method of generating facial expression of a user for virtual environment
KR102322773B1 (ko) 전극편의 버를 검출하기 위한 방법 및 장치
US20190117190A1 (en) Ultrasound imaging probe positioning
Maharjan et al. Enabling human–infrastructure interfaces for inspection using augmented reality
US20140006926A1 (en) Systems and methods for natural language processing to provide smart links in radiology reports
WO2021038399A1 (en) Automatic detection and replacement of identifying information in images using machine learning
CN109935294A (zh) 一种文本报告输出方法、装置、存储介质及终端
JP2019530048A (ja) 病理データ捕捉
KR20140024788A (ko) 고급 멀티미디어 구조화 리포트
EP2996058A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports
EP4343790A1 (en) Medical equipment operation guidance method and system
US11127494B2 (en) Context-specific vocabulary selection for image reporting
US20170004288A1 (en) Interactive and multimedia medical report system and method thereof
CN117316387A (zh) 一种多模态时序处理的抑郁状态数据处理方法、电子设备及介质
CN116843322A (zh) 用于处理工单的方法、装置、设备和存储介质
KR101925603B1 (ko) 병리 영상의 판독을 보조하는 방법 및 이를 이용한 장치
US20200168330A1 (en) System and method for automated multimodal summarization in controlled medical environments to improve information exchange for telemedicine
US20140344701A1 (en) Method and system for image report interaction for medical image software
CN108765413B (zh) 用于图像分类的方法、装置及计算机可读介质
CN105103109A (zh) 基于用户偏好在结构水平上的偏好视图生成
Tang et al. The implementation of an AR (augmented reality) approach to support mammographic interpretation training: an initial feasibility study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination