CN111403022B - 一种医疗用可移动分体式操控系统使用方法 - Google Patents

Abstract

本发明公开了一种医疗用可移动分体式操控系统使用方法，主要应用于医疗设备领域，该系统包含了：混合现实设备、增强现实设备、PC客户端、手持终端及服务器。是专为精准外科打造的全息影像信息系统，它以最前沿的混合现实技术为核心，将二维影像数据分析转化成三维影像或动画，并将其呈现到现实空间中，赋予外科医生“透视眼”，实现了影像数据的全息可视化，搭建起连接数字世界与物理世界之间的桥梁，为精准外科的发展提供强大助力。

Description

一种医疗用可移动分体式操控系统使用方法

技术领域

本发明涉及医疗设备领域，尤其涉及一种医疗用可移动分体式操控系统使用方法。

背景技术

医学外科临床的医生主要依据影像信息做手术决策，基于此，医生需要获得尽可能全面的信息。目前，医生获得信息的传统方式为二维胶片及现在的平面三维影像，上述技术帮助医生获得患者更多的身体信息，但也存在一些缺陷。如：二维胶片不能直观的显示医学影像的空间结构，需要依据医生的经验在脑海中去重构影像信息的空间关系。平面三维影像能够立体的呈现医学影像的空间关系，但是，仅依靠显示器，依然不是真正意义的三维。外科手术通常会有不同手术体位的需求，在不同体位下，判断术者能不能操作，具体怎么操作，是要根据空间定位关系进行深入探讨和研究的。而现在三维的信息呈现在屏幕上观看，医生需要不断的去通过想象改变患者的体位，大大影响最终判断结果，给手术或治疗带来不必要的麻烦，甚至危险。

随着计算机技术、医学影像信息技术的发展，混合现实技术的出现打破了虚拟空间与现实空间的界限，使医生能够深度挖掘影像信息，认知病灶不同组织间空间位置关系，但是它很难实现精细化的操作，也无法实现多终端的数据交互，也无法进行多方协同，因此，在实际应用中受到空间限制，不能实现远距离、多人员实时互动研讨，影响了会诊效率。

发明内容

有鉴于此，本发明提供一种医疗用可移动分体式操控系统及使用方法实现了，不同医者针对同一患者病灶的可视化三维影像，进行互动会诊。

为此目的，本发明由如下技术方案实施。

一种医疗用可移动分体式操控系统，包括：混合现实设备、增强现实设备、手持终端、PC客户端、服务器及网络；

所述混合现实设备与所述手持终端为一对一匹配使用，形成一组；其中，每组所述混合现实设备为头戴式智能设备，用于观看所述服务器发送的全息三维模型，并对用户显示全息三维模型与现实场景的叠加图像；

所述手持终端为人机交互设备，为混合现实设备提供的辅助工具，配合混合现实设备完成一些较为复杂的操作，并操控对应的混合现实设备快速带入、带出模型，模型操作等一系列动作。

所述混合现实设备、所述手持终端与所述增强现实设备、所述PC客户端及所述服务器通过所述网络实现数据实时交互和操作协同，也可与其他组实现实时数据交互及多方协同；

所述增强现实设备为三维模型转播设备，轻便化观看三维模型，实时记录、保存高清内容，支持对场景内的三维模型简单操作(旋转、移动、缩放)，同时实现三方转播，可实现远程直播。与所述混合现实设备、所述手持终端、所述PC客户端及所述服务器通过所述网络连接，并能实时同步观看到对模型的所有操作内容；

所述PC客户端可对所述服务器数据进行上传、编辑或修改、删除等管理；并能将患者病灶的DICOM影像数据进行空间三维重构，生成全息三维模型，并将三维模型发布到服务器；

所述服务器构架采用多服务解耦合，为多级部署服务，并支持大并发量；所述混合现实设备、所述手持终端、所述增强现实设备与所述服务器之间建立长连接。

进一步，所述混合现实设备为MR智能眼镜。

进一步，所述手持终端为便携式模型操作终端。

更进一步，所述手持终端配有触摸屏。

进一步，所述三维模型转播设备为便携式移动通信设备。

进一步，所述网络为内部局域网或互联网，数据为加密数据。

进一步，所述手持终端或所述混合现实设备至少一个带有音频模块，并与所述服务器连接，实现语音通话。

另一方面，本发明提供了上述医疗用可移动分体式操控系统的使用方法，具体步骤如下：

步骤1.登录所述PC客户端，上传患者病灶的DICOM影像数据至所述服务器，采用AI智能算法，对DICOM影像数据进行三维重构，生成三维模型，并发布到所述服务器5。

步骤2.所述混合现实设备、所述手持终端、所述增强现实设备和所述PC客户端均可访问所述服务器，同步更新已发布三维模型，并可查看已发布的三维模型。

步骤3.启动所述混合现实设备和所述手持终端，所述混合现实设备首先扫描设备所处的周围空间环境，扫描成功后，所述混合现实设备和所述手持终端分别登录相应客户端，在所述混合现实设备中的模型列表中，选择一个三维模型，点击进入模型操控界面，即可带入相匹配的所述手持终端进入同一三维模型的操控界面。

步骤4.可在所述混合现实设备正前方2米处出现该三维模型，并且可以使用所述混合现实设备和所述手持终端对该模型进行旋转、缩放、移动、标注、测量、消隐/显示等操作，所有操作在所述混合现实设备和所述手持终端中实时同步更新。

步骤5.退出所述手持终端的模型操控界面时，可带出所述混合现实设备同时退出该模型的操控页面。

步骤6.如果需要多人协同，启动所有所述混合现实设备和所述手持终端，所有所述混合现实设备首先扫描设备所处的周围空间环境，扫描成功后，所有所述混合现实设备和所述手持终端分别登录相应客户端，所述手持终端进入一个三维模型的操控界面，则可带入所有参与的所述混合现实设备和所述手持终端进入该模型的操控页面，同时观看该三维模型。

步骤7.参与的所有所述混合现实设备和所述手持终端均可对该三维模型进行旋转、缩放、移动、标注、测量、消隐/显示等操作，所有操作在参与的所有所述混合现实设备和所述手持终端中实时同步更新。

步骤8.所有参与的所述混合现实设备扫描同一个所述手持终端上的二维码，所有所述混合现实设备则可在同一位置观看同一个三维模型。

步骤9.退出所述手持终端的模型操控界面时，可带出所有参与的所述混合现实设备和所述手持终端同时退出该模型的操控界面。

步骤10.如果需要三维模型转播，则启动所述增强现实设备，登录相应客户端，并扫描所述增强现实设备所处的周围空间环境，扫描成功后进入模型列表页面。选择一个模型进入模型操控界面，模型加载完成后，会出现二维码，所有参与的所述混合现实设备扫描该二维码，则可进入同一三维模型，所有对此模型的操作，在所述混合现实设备、所述增强现实设备和所述手持终端中均可实时同步更新。

步骤11.可通过所述增强现实设备把三维模型的所有模型信息和操作信息进行转播。

更进一步，任一获得所述PC客户端在所述服务器授权的设备对所述三维影像数据模型的操作，包括：改变位姿信息、更新数据、发布指令信息，其他组设备会同步更新。

本发明具有如下优点：

本发明通过将多组混合现实设备通过网络实现互联，并传递演示信息，将二维影像数据分析转化成三维影像或动画，并将其呈现到现实空间中，实现了影像数据的全息可视化，使处于不同位置或地点的医生可以同时观看同一病例的二维影像和全息三维模型，并通过多终端的数据交互与多方协同，实现对全息三维模型进行精细化操作，加强了医生对患者病灶三维信息的了解、认识程度，提升了会诊效率。

附图说明

需要说明的是，附图中体现的系统所包含设备数量及位置，仅为方便演示关联关系，并不能理解为具体包含设备数量及分布位置，并以此为本发明限定。

图1为本发明基本构架图；

图2为本发明系统互联关系简图。

图中：

1-混合现实设备；2-增强现实设备；3-手持终端；4-PC客户端；5-服务器。

具体实施方式

需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“连接”或表明需要进行连接的设备，其“连接”含义应做广义理解，例如，可以是有线连接，也可以是通过WIFI或bluetooth模块进行无线连接。对于本领域技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面将结合附图，对本发明做进一步说明。

一种医疗用可移动分体式操控系统，包括：混合现实设备1、增强现实设备2、手持终端3、PC客户端4、服务器5及网络；

如图2所示，混合现实设备1与手持终端3为一对一匹配使用，形成一组；其中，每组混合现实设备1为头戴式智能设备；

优选设计为，混合现实设备1为MR智能眼镜，并集成有3D激光扫描模块及音频模块；

PC客户端4可对服务器5进行数据上传、编辑或修改、删除等操作；并可对患者病灶的DICOM影像数据进行空间三维重构生成三维模型并发布到服务器5。

混合现实设备1可将服务器5发送的的患者病灶三维模型呈现到现实空间中，实现影像数据的全息可视化。

手持终端3为人机交互设备，优选设计为，基于Android系统的触控平板电脑，其触摸显示器通过触摸手势对三维模型进行操作，主要包括：改变位姿信息、更新数据、发布指令信息，同时可选择带有音频模块，进一步实现多组设备间使用者语音交流。混合现实设备1、手持终端3与增强现实设备2、PC客户端4及服务器5通过网络实现数据实时交互和操作协同，也可与其他组实现实时数据交互及多方协同；

增强现实设备2为三维模型转播设备，其具有摄像及联网传输数据的功能，优选设计为便携式移动通信设备，可选用智能手机，实现轻便化观看三维模型，实时记录、保存高清内容，支持对场景内的三维模型简单操作(旋转、移动、缩放)，同时实现三方转播，可实现远程直播。与混合现实设备1、手持终端3、PC客户端4及服务器5通过网络连接，并能实时同步观看到对模型的所有操作内容；PC客户端4可对服务器5数据进行上传、编辑或修改；

服务器5构架采用多服务解耦合，为多级部署服务，并支持大并发量；混合现实设备1、手持终端3、增强现实设备2与服务器5之间建立长连接。

其中所使用网络为互联网，传递信息为加密数据传输，具体参照加密协议，起到保护患者隐私的作用。

本发明具体还提供上述医疗用可移动分体式操控系统的使用方法，具体步骤如下：

步骤1.登录PC客户端4，上传患者病灶的DICOM影像数据至服务器5，采用AI智能算法，对DICOM影像数据进行三维重构，生成三维模型，并发布到服务器5。

步骤2.混合现实设备1、手持终端3、增强现实设备2、PC客户端4均可访问服务器5同步更新已发布三维模型，并可查看已发布的三维模型。

步骤3.启动混合现实设备1和手持终端3，混合现实设备1首先扫描设备所处的周围空间环境，扫描成功后，混合现实设备1和手持终端3分别登录相应客户端，在混合现实设备1中的模型列表中，选择一个三维模型，点击进入模型操控界面，即可带入相匹配的手持终端3进入同一三维模型的操控界面。

步骤4.可在混合现实设备1正前方2米处出现该三维模型，并且可以使用混合现实设备1和手持终端3对该模型进行旋转、缩放、移动、标注、测量、消隐/显示等操作，所有操作在混合现实设备1和手持终端3中实时同步更新。

步骤5.退出手持终端3的模型操控界面时，可带出混合现实设备1同时退出该模型的操控页面。

步骤6.如果需要多人协同，启动所有混合现实设备1和手持终端3，所有混合现实设备1首先扫描设备所处的周围空间环境，扫描成功后，所有混合现实设备1和手持终端3分别登录相应客户端，手持终端3进入一个三维模型的操控界面，则可带入所有参与的混合现实设备1和手持终端3进入该模型的操控页面，同时观看该三维模型。

步骤7.参与的所有混合现实设备1和手持终端3均可对该三维模型进行旋转、缩放、移动、标注、测量、消隐/显示等操作，所有操作在参与的所有混合现实设备1和手持终端3中实时同步更新。

步骤8.所有参与的混合现实设备1扫描同一个手持终端3上的二维码，所有混合现实设备1则可在同一位置观看同一三维模型。

步骤9.退出手持终端3的模型操控界面时，可带出所有参与的混合现实设备1和手持终端3同时退出该模型的操控界面。

步骤10.如果需要三维模型转播，则启动增强现实设备2，登录相应客户端，并扫描增强现实设备2所处的周围空间环境，扫描成功后进入模型列表页面。选择一个模型进入模型操控界面，模型加载完成后，会出现二维码，所有参与的混合现实设备1扫描该二维码，则可进入同一三维模型，所有对此模型的操作，在混合现实设备1、增强现实设备2和手持终端3中均可实时同步更新。优选设计为，任一设备对三维影像数据模型的操作，包括：改变位姿信息、更新数据、发布指令信息，在实际演示操作中所有的混合现实设备1、手持终端3、增强现实设备2及PC客户端4上的该模型信息会实时同步更新。

步骤11.可通过增强现实设备2把三维模型的所有模型信息和操作信息进行转播。

优选设计为，上述方法步骤中，具体涉及多用户协同使用情况下，单一用户参与观看模型演示时使用的设备，需为PC客户端4在服务器5已授权的设备，同步更新内容包括：改变位姿信息、更新数据、发布指令等信息。

需要说明的是，步骤1-5为数据准备及单一使用者操作及使用方法，步骤6-9为基于前述步骤，针对多人协同时的操作及使用方法，步骤10-11为基于前述步骤进行网络转播的操作及使用方法。

以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种医疗用可移动分体式操控系统使用方法，其特征在于，系统包括：混合现实设备(1)、增强现实设备(2)、手持终端(3)、PC客户端(4)、服务器(5)及网络；

所述PC客户端(4)可对所述服务器(5)进行数据上传、编辑或修改、删除；并对患者病灶扫描影像数据进行空间三维重构生成三维模型并发布到服务器(5)；

所述混合现实设备(1)与所述手持终端(3)为一对一匹配使用，形成一组；其中，每组所述混合现实设备(1)为头戴式智能设备，将所述PC客户端(4)发布的三维模型，用全息立体的方式呈现到现实空间中，并能同时观看全息三维模型与二维影像，使用者通过手势可对全息模型进行缩放、旋转、移动、标注、测量操作；

所述手持终端(3)为人机交互设备，可对所述混合现实设备(1)全息显示的二维影像或三维模型进行缩放、旋转、移动、标注、测量、消隐/显示操作；

所述增强现实设备(2)为三维模型转播设备，可观看三维模型，实时记录、保存高清内容，支持对场景内的三维模型进行旋转、移动、缩放操作，同时进行三方转播，可远程直播；

所述混合现实设备(1)、所述增强现实设备(2)、所述手持终端(3)、所述PC客户端(4)及所述服务器(5)通过所述网络进行连接，并实时传递应用场景数据信息；

所述混合现实设备(1)、所述手持终端(3)、所述增强现实设备(2)均可对同一全息模型进行操作，同步更新三维模型的位姿信息、数据信息、指令信息等信息内容，实现多终端设备之间的数据实时交互和协同操作；

所述服务器(5)支持多个所述混合现实设备(1)和所述手持终端(3)同时浏览和操控同一全息三维模型；

所述服务器(5)架构采用多服务解耦合，为多级部署服务，并支持大并发量；所述混合现实设备(1)、所述手持终端(3)、所述增强现实设备(2)与所述服务器(5)之间建立长连接；

使用方法具体步骤如下：

步骤1.登录所述PC客户端(4)，上传患者病灶的DICOM影像数据至所述服务器(5)，采用AI智能算法，对DICOM影像数据进行三维重构，生成三维模型，并发布到所述服务器(5)；

步骤2.所述混合现实设备(1)、所述手持终端(3)、所述增强现实设备(2)所述PC客户端(4)均可访问所述服务器(5)，同步更新已发布三维模型，并可查看已发布的三维模型；

步骤3.启动所述混合现实设备(1)和所述手持终端(3)，所述混合现实设备(1)首先扫描设备所处的周围空间环境，扫描成功后，所述混合现实设备(1)和所述手持终端(3)分别登录相应客户端，在所述混合现实设备(1)中的模型列表中，选择一个三维模型，点击进入模型操控界面，即可带入相匹配的所述手持终端(3)进入同一三维模型的操控界面；

步骤4.可在所述混合现实设备(1)正前方2米处出现该三维模型，并且可以使用所述混合现实设备(1)和所述手持终端(3)对该模型进行旋转、缩放、移动、标注、测量、消隐/显示等操作，所有操作在所述混合现实设备(1)和所述手持终端(3)中实时同步更新；

步骤5.退出所述手持终端(3)的模型操控界面时，可带出所述混合现实设备(1)同时退出该模型的操控页面；

步骤6.如果需要多人协同，启动所有所述混合现实设备(1)和所述手持终端(3)，所有所述混合现实设备(1)首先扫描设备所处的周围空间环境，扫描成功后，所有所述混合现实设备(1)和所述手持终端(3)分别登录相应客户端，所述混合现实设备(1)进入一个三维模型的操控界面，则可带入所有参与的所述混合现实设备(1)和所述手持终端(3)进入该模型的操控页面，同时观看该三维模型；

步骤7.参与的所有所述混合现实设备(1)和所述手持终端(3)均可对该三维模型进行旋转、缩放、移动、标注、测量、消隐/显示等操作，所有操作在参与的所有所述混合现实设备(1)和所述手持终端(3)中实时同步更新；

步骤8.所有参与的所述混合现实设备(1)扫描同一个所述手持终端(3)上的二维码，所有所述混合现实设备(1)则可在同一位置观看同一三维模型；

步骤9.退出所述手持终端(3)的模型操控界面时，可带出所有参与的所述混合现实设备(1)和所述手持终端(3)同时退出该模型的操控界面；

步骤10.如果需要三维模型转播，则启动所述增强现实设备(2)，并扫描所述增强现实设备(2)所处的周围空间环境，扫描成功后进入模型列表页面，选择一个模型进入模型操控界面，模型加载完成后，会出现二维码，所有参与的所述混合现实设备(1)扫描该二维码，则可进入同一三维模型，所有对此模型的操作，在所述混合现实设备(1)、所述增强现实设备(2)和所述手持终端(3)中均可实时同步更新；

步骤11.可通过所述增强现实设备(2)把三维模型的所有模型信息和操作信息进行实时转播。

2.根据权利要求1所述的医疗用可移动分体式操控系统使用方法，其特征在于，任一获得所述PC客户端(4)在所述服务器(5)授权的设备对所述三维影像数据模型的操作，包括：改变位姿信息、更新数据、发布指令信息，其他组设备会同步更新。

Images