CN102186434B - 手术机器人的3d显示系统及其控制方法 - Google Patents

Abstract

公开了用于手术机器人的三维显示系统及其控制方法。所述三维显示系统包括：显示手术所需的三维视频信息的3D显示器，与三维显示系统联结的机器人臂，与机器人臂连接的手术机器人，以及包含在手术机器人中的控制器。控制器驱动机器人臂以将三维显示器移动到预定位置。在用于本发明的手术机器人的显示系统中，三维显示器装配在关节式机器人臂上，并且以手动或自动系统驱动机器人臂，以使得三维显示器追踪并移动到操作者眼睛的位置，由此即使在操作者要检查三维视频信息时也不需要改变其姿势，并且不需要在操作者的身体上放置单独的显示器。此外本发明为每个操作者预设三维显示器的位置，由此无论操作者和其姿势如何，都可以连续地提供准确的三维视频信息。

Description

手术机器人的3D显示系统及其控制方法

技术领域

本发明涉及一种手术机器人的3D显示系统及该3D显示系统的控制方法。

背景技术

在医学领域，手术是指使用医疗设备进行切割或切入或其它方式操作患者的皮肤、黏膜或其它组织，以处理病理状况的过程。诸如切开皮肤并且处理、重构或切除内部器官等的剖腹手术等的手术过程可能会存在失血、副作用、疼痛以及疤痕的问题，因此，机器人的使用目前被认为是一种受欢迎的替代方式。

当使用手术机器人进行机器人手术时，外科医生在观看3D显示器上三维图像形式的患者身体内部的同时进行手术操作。实现手术机器人系统的3D显示系统的一个例子是双目显示系统。

双目显示系统可以涉及在通过安装在手术机器人上的显微镜观察手术位置的同时进行机器人手术。这导致了存在进行长时间手术的外科医生的肩或颈部疼痛而不能集中精力于手术或可能不正确地移动机器人的风险。

第二个例子是头戴式显示(HMD，head mount display)系统，其中，使用者可以在通过戴在使用者头上的头盔形显示器观看三维图像的同时进行手术。然而，HMD系统中的头盔通常沉重且不方便，并且在手术期间使用者为了看其他东西必须脱掉头盔。

第三个例子是眼镜式偏振显示系统(glasses-type polarized displaysystem)。由于这种系统利用偏振光实现三维图像，因此图像通常较暗，并且在手术期间使用者为了看其他东西必须摘掉偏振眼镜。

发明人为了研发本发明，或者在研发本发明的过程中获得了上述背景技术中的信息。因此，应该理解，这些信息不必属于在本发明的专利申请日之前的公开领域。

发明内容

技术问题

本发明的一些方面包括，提供一种3D显示系统以及3D显示系统的控制方法，其中，在机器人手术过程中，根据操作员的位置移动3D显示器，从而使得操作员可以在方便地观看三维图像的同时进行机器人手术，而不需要改变姿势或佩戴显示设备。

从下面的描述中可以容易地理解本发明解决的其它技术问题。

技术方案

本发明的一个方面提供一种用于手术机器人的3D显示系统，包括：3D显示器，所述3D显示器用于显示从手术位置获得的三维图像信息；机器人臂，所述机器人臂与所述3D显示器联结；手术机器人，所述手术机器人与所述机器人臂连接；以及控制器，所述控制器包括在所述手术机器人中，其中，所述控制器驱动所述机器人臂，从而将所述3D显示器移动到特定位置。

所述图像信息可以是由插入手术患者的可视系统拍摄并且被处理为在所述3D显示器上可显示的一组图像信息。所述机器人臂可以包括多接头连杆，所述多接头连杆由所述控制器来驱动，从而将3D显示器移动到特定位置。所述机器人臂的一端可以固定到手术室中的一结构上，并且所述机器人臂与所述手术机器人电连接。

用于接收使用者的操作的控制台单元安装在所述手术机器人上，并且所述控制器被构造为根据使用者眼睛的位置移动所述3D显示器。在这种情况下，操作手柄可以安装在所述控制台单元上，并且所述控制器被构造为根据所述操作手柄上的用户操作移动所述3D显示器。

能够检测使用者眼睛的位置的传感器单元可以与所述控制器连接，并且所述控制器可以被构造为接收来自所述传感器单元的信号，以根据使用者眼睛的位置移动所述3D显示器。存储单元可以与所述控制器连接，所述存储单元可以存储根据每个使用者眼睛的位置移动所述3D显示器的位置的相关数据，并且所述控制器可以被构造为根据操作所述控制台单元的使用者装载存储在所述存储单元中的数据，以将所述3D显示器移动到预存储的位置。

本发明的另一方面提供一种3D显示器的控制方法，所述3D显示器与电连接到手术机器人的机器人臂联结。所述方法包括：获得使用所述手术机器人的使用者的相关信息；以及根据所获得的信息驱动所述机器人臂，以移动所述3D显示器。

所述3D显示器被构造为显示由插入手术患者体内的可视系统拍摄的一组图像信息。所述使用者的所述相关信息可以包括关于所述使用者眼睛的位置的信息。

获得使用所述手术机器人的使用者的相关信息的步骤可以包括：通过利用传感器感测使用者眼睛的位置；以及从所述传感器接收信号，以得到使用者的相关信息。预先以关于位置的数据的形式存储使用者的所述相关信息，以根据使用者眼睛的位置移动所述3D显示器，其中，获得所述信息的步骤可以包括装载所述数据。

从权利要求和以下的书面说明书中，处理上述之外的其它方面、特征和优点将显而易见。

有益效果

根据本发明的实施例，3D显示系统可以装配在多接头连杆机器人臂上，并且可以手动或自动地驱动所述机器人臂，以移动3D显示器，同时追踪操作者眼睛的位置，从而操作者不必为了观看三维图像而改变姿势或佩戴单独的显示装置。此外，通过为每个操作者预设3D显示器的位置，通常可以提供准确的三维图像信息，无论是哪个操作者或操作者处于什么姿势。

附图说明

图1是根据本发明实施例的用于手术机器人的3D显示系统的透视图；

图2是根据本发明实施例的用于手术机器人的3D显示系统的控制方法的流程图。

<主要组件的附图标记的说明>

1：手术机器人                    3：控制台单元

5：操作手柄                      10：3D显示器

12：机器人臂                     20：控制器

22：传感器单元                   24：存储单元

具体实施方式

由于本发明允许各种变型和多个实施例，因此将在附图中示出并在书面说明书中详细描述具体的实施例。然而，这不意在将本发明限制在具体的实施方式中，并且应该理解，所有不脱离本发明的精神和技术范围的变型、同等物和替换都包括在本发明中。

当描述一个组件与另一个组件“连接”或“访问”另一个组件时，应当理解为两个组件可以互相直接连接或直接访问，但是它们之间也可以包括一个或多个其它组件。反之，如果描述一个组件与另一个组件“直接连接”或“直接访问”另一个组件，则应该理解为在所述的两个组件之间没有其它组件。

在本说明书中使用的术语仅用于区分具体的实施例，并且不意在限制本发明。只要在上下文中可以清楚地分辨含义，单数表达就可以包括复数表达。在本说明书中，应该理解，诸如“包括”和“具有”之类的术语意在表示公开在说明书中的特征、数量、步骤、操作、组件、部分或其结合的存在，并且不排除存在或增加一个或多个不同的特征、数量、步骤、操作、组件、部分或其结合的可能。

而且，在给出涉及附图的描述时，在所有附图中使用相同的附图标记表示相同或相对应的组件，并且省略对相同组件的重复描述。在书面说明书中，当现有技术的某些详细说明被视为不必要地使本发明的实质不清楚时，省略这些详细说明。

图1是根据本发明实施例的用于手术机器人的3D显示系统的透视图。图1中示出了手术机器人1、控制台单元3、操作手柄5、3D显示器10、机器人臂12、控制器20、传感器单元22和存储单元24。

与显示三维图像的部分被固定在控制台或者被佩戴在使用者头上的显微镜系统或HMD系统不同，可以被称作“机器人臂3D显示器(关节式3D显示器)”的本实施例的特征是，将机器人臂12连接到3D显示器10上，从而使得3D显示器10可以自由地移动。

3D显示器可以指能够再现三维图像的任何系统，并且3D显示器是包括允许3D观看的软件技术和在其上可以将软件内容实际地实现为3D图像的硬件。由于人眼之间具有约65mm的间隔，因此为左眼和右眼提供稍微不同的图像(即，提供双目视差)可以使人感受到三维空间感，这是因为图像通过视觉神经传输到大脑，然后两个图像被大脑感知为一个图像。

因此，3D显示器是能够使使用者从二维显示硬件感受到立体的虚拟感觉的系统，其中，两个图像，即左侧图像和右侧图像，同时显示在二维显示设备上并且被提供给使用者的左眼和右眼，从而向使用者提供立体观感。

3D显示器的例子包括：偏振系统，其利用正交的偏振滤波器的组合使到左眼和右眼的图像不同；时分系统，在其中，在一个屏幕上以高速改变左通道和右通道的图像，同时也以高速使一对快门镜片等覆盖或不覆盖该屏幕，从而使来自一个方向的图像被分别提供给每个眼睛；HMD系统，在其中，使用者佩戴形成为头盔样的显示设备，并且在使用者的眼睛前直接设置一对屏幕，这样使用者可以利用透镜通过调焦来接收清晰的图像；以及互补式立体系统(anaglyph system)，在其中，利用一对典型的一侧为红色且另一侧为蓝绿色的2色镜片，可以使两个通道的图像的颜色不同，从而提供3D效果。

在本实施例中，如图1所示，利用上述各种系统中的任意一个为左侧和右侧提供单独的显示的3D显示器10可以实现为小型、轻型的模块。3D显示器10可以与具有一定自由度的机器人臂12联结，从而使得使用者可以按所需移动3D显示器10。

例如，3D显示器10可以通过追踪外科医生的姿势而按照外科医生的需要移动，这不仅发生在外科医生在坐着或站立进行机器人手术时，也可以在外科医生躺着进行手术时。3D显示器10可以移动到为使用者提供最大便利的位置，以及通过手动或自动地驱动机器人臂12可以到达的位置。

为此，根据本实施例的手术机器人的3D显示系统的基本结构包括与机器人臂12联结的3D显示器10，以及与手术机器人1连接的机器人臂12，同时由装配在手术机器人1中的控制器20控制的3D显示器10的移动。

3D显示器10是显示从诸如手术室等手术地点拍摄的三维图像信息的设备。可以通过应用上述各种系统，诸如偏振系统、时分系统、互补式立体系统等，来完成3D显示器10的实际结构，并且本文将不对此进行进一步的详细描述。

视觉系统用于在手术过程中提供所拍摄的图像信息，并且视觉系统可以包括诸如腹腔镜、内窥镜、显微镜、放大镜、反射镜等仪器。下面将利用实例描述采用腹腔镜的视觉系统。

经由3D显示器10显示的图像可以是由插入手术患者体内的腹腔镜所拍摄的图像。如果需要，可以对从腹腔镜等获得的图像信息进行图像处理，以产生可以在3D显示器10上显示为三维图像的数据。

如上所述，基于此实施例的3D显示器10可以与机器人臂12联结，以便使用者可以手动或自动地移动3D显示器10。如同稍后将要描述的，在根据从控制器20接收的电信号驱动机器人臂12的情况中，基于本实施例的机器人臂12可以被构造为多接头连杆组件。例如，如果利用具有3个自由度的机器人臂12将3D显示器10移动到空间中的特定点，则机器人臂12可以形成为由三个接头连接的连杆结构。

然而，基于本实施例的机器人臂12不需要必须形成为多接头连杆组件。显然的是，机器人臂12可以采用各种结构，只要3D显示器10可以通过这种结构根据从控制器20接收的信号自由地移动。

基于本实施例的机器人臂12可以被控制器20驱动。控制器20可以实现为各种形式，诸如嵌入手术机器人1中的微处理器、连接到手术机器人1的控制盒以及通过有线/无线通讯与手术机器人1连接的个人计算机等。

控制器20可以从来自使用者输入(对于手动系统来说)或者来自预存储数据或来自传感器的信号(对于自动系统来说)，确定3D显示器10将要移动到的最终位置。接着，如果3D显示器10将要从目前位置移动到最终位置，则控制器20可以计算机器人臂12将要被驱动的角度，然后可以产生并传输以所计算的角度驱动机器人臂12的信号。

如果机器人臂12被构造为如上所述的多接头连杆组件，则控制器20可以计算每个接头的转动角度并向每个接头传输信号，从而每个接头可以按照所计算的角度转动。

基于本实施例的机器人臂12可以与手术机器人1连接。就是说，如图1所示，一端与3D显示器10联结的机器人臂12的另一端可以与手术机器人1联结。与手术机器人1联结的机器人臂12还可以与手术机器人1电连接，以接收控制器20产生的驱动信号。

手术机器人1可以形成为主动和从动系统，该系统包括根据使用者的操作产生和传输所需信号的主动机器人，以及从主动机器人接收信号以实际上对患者进行手术所需的操作的独立的从动机器人，或者，手术机器人1可以形成为主动-从动一体系统，在该系统中，一体式手术机器人1接收使用者操作，并且安装在手术机器人1上的仪器相应地进行手术所需的操作。

基于本实施例的机器人臂12不需要必须与手术机器人1联结。例如，机器人臂12可以固定到手术室的天花板等上，但是通过缆线或通过有线/无线通讯与手术机器人1电连接，从而可以通过控制器20驱动机器人臂12。

以此方式通过3D显示器10与机器人臂12联结并且机器人臂12与手术机器人1电连接，3D显示器10可以移动到外科医生所需的位置，从而使外科医生可以采取任意的姿势。不仅是外科医生，助手或护士也可以自由地安置3D显示器10以观看三维图像。

如果用于输入使用者操作的控制台单元3安装在手术机器人1上，则可以通过根据使用者输入的手动操作或者通过根据预先配置或由传感器获得的数据的自动操作来移动3D显示器10。控制器20可以驱动机器人臂12，从而使3D显示器10位于使用者的眼睛前方。

就是说，基于本实施例的控制器20可以将驱动信号传输到机器人臂12，从而使得3D显示器10移动到使用者的眼睛所处的位置，同时可以通过使用者的操作、预先配置的数据、传感器的检测等确定使用者眼睛的位置。

在通过使用者的手动操作移动3D显示器10的情形中，控制台单元3可以包括操作手柄5。当使用者操作所述操作手柄5将3D显示器10置于使用者眼睛处时，控制器20可以根据操作手柄5的输入驱动机器人臂12并且将3D显示器10置于使用者的眼睛前方。

基于本实施例的操作手柄5可以是专门移动3D显示器10的手柄。或者，用于操作手术仪器的主手柄可以兼做用于移动3D显示器10的操作手柄5。在后者的情形中，主手柄可以额外地装配有选择按钮等。然后，当按下选择按钮时，主手柄在可以正常地用于操作所述仪器的同时，还可以用作基于本实施例的操作手柄5，由此操作所述手柄可以移动3D显示器10。

基于本实施例的操作手柄5还可以安装在3D显示器10上，从而使用者可以握住操作手柄5并且直接移动3D显示器10。

还可以感测使用者眼睛的位置并自动地将3D显示器10移动到使用者眼睛的前方。在这种情形中，检测使用者眼睛的传感器单元22可以连接到控制器20，并且由于传感器单元22感测使用者眼睛的位置并且传输相应的信号，因此控制器20可以接收所述信号并驱动机器人臂12。

传感器单元22可以包括用于检测使用者眼睛的传感器，以及用于传输信号的缆线，并且如果需要，还可以包括用于处理信号的处理器。例如，如果图像传感器用于确定使用者眼睛的位置，则处理器可以分析图像传感器所获得的图像，以计算使用者眼睛所处位置的坐标，并且计算出的坐标可以传输到控制器20，之后控制器20可以将3D显示器10移动到使用者眼睛的位置。

然而，基于本实施例的传感器单元22不需要必须感测使用者的眼睛。还可以通过检测使用者的面部或不同身体部分来确定使用者眼睛的位置，或者如果使用者佩戴特殊的装置，则可以通过检测所述装置来确定使用者眼睛的位置，然后将相应的信号传输到控制器20.

例如，使用者可以在其身体的特定位置佩戴标记的同时进行机器人手术，所述标记专门用于被传感器单元22检测。然后，传感器单元22可以检测所述标记，根据标记位置离计算使用者眼睛的位置，然后相应地产生和传输感应信号。

用这种方法，基于本实施例的3D显示系统可以检测使用者的位置或移动，以在追踪使用者眼睛的同时在特定的范围内自动地移动3D显示器10。

或者，可以为将操作基于本实施例的手术机器人1的每个使用者预设将要放置3D显示器10的位置，从而当其中一个使用者操作手术机器人1时可以相应地移动3D显示器10。

在这种情形中，包括预存储数据的存储单元24可以连接到控制器20，所述预存储信息是关于每个用户的3D显示器10的放置位置(例如眼睛的位置)的信息。然后，当使用者使用手术机器人1时，控制器20可以从存储单元24装载与使用者相关的数据，并且驱动机器人臂12，从而将3D显示器10置于使用者眼睛的前方。

为此，基于本实施例的手术机器人1可以额外地包括用于判断哪个用户正在使用手术机器人1的ID识别单元。ID识别单元可以是采用各种识别方法(诸如，利用ID卡等的手动识别方法，利用佩戴在使用者身体上的ID芯片等的自动识别方法，以及利用指纹扫描的识别方法)中的任意方法的装置。

当确定具体的使用者已使用手术机器人1时，控制器20可以从存储单元24取回所述用户的相关数据并根据对使用者所进行的定制放置3D显示器10。

如上所述，对于其数据未存储在存储单元24中的使用者来说，可以通过手动操作或感测来移动3D显示器10，之后这里使用的数据可以被加入存储单元24中作为新使用者的相关数据。

即使对于其数据已存储在存储单元24中的使用者来说，也可以在必要时更新与放置3D显示器10相关的数据，根据不同的姿势或移动等可以为同一使用者存储多种数据设置。在这种情形中，不仅可以识别使用者的ID信息，还可以识别姿势或移动等信息，之后控制器20可以为所述用户装载关于有关姿势等的预存储数据并将3D显示器10精确地移动到所需位置。

以此方法，基于本实施例的3D显示系统可以分别为具有不同身体状况等的每个用户存储3D显示器10的放置位置，从而可以优化使用手术机器人1的每个用户对3D显示器10的驱动。

由于无论是否采用用于操作手术仪器的从动机器人，都可以使用基于本实施例的3D显示系统，因此所述系统也可以用作主动-从动一体手术机器人1上的仪器，也被称作“智能仪器”。

图2是图示根据本发明实施例的用于手术机器人的3D显示系统的控制方法的流程图。下面将描述以上公开的3D显示系统的控制方法。

3D显示器10可以与手术机器人1电连接，同时控制器20可以被安装在手术机器人1上以控制与手术机器人1连接的3D显示器10的移动。

本实施例涉及通过将3D显示器10置于最适合使用者和使用者的姿势的位置从而移动3D显示器10以适应使用者使用手术机器人1的控制方法。为此，首先可以获得使用所述手术机器人1的使用者的相关信息(S10)。

使用者的相关信息可以对应于一组用于移动3D显示器10的输入信息。例如，如果3D显示器10被置于使用者眼睛的前方，则使用者的相关信息可以是使用者眼睛所处的位置的坐标。

显示在3D显示器10上的图像可以是由插入手术患者体内的腹腔镜所拍摄的图像，并且如前所述，如果需要可以对从腹腔镜等获得的图像信息进行图像处理，以产生可以在3D显示器10上被显示为三维图像的数据。

获得使用者相关信息的方法的例子包括：利用传感器感测使用者眼睛的位置(S12)，装载与使用者眼睛的位置相关的预存储数据(S16)，等等。

上面已经描述了用于感测使用者眼睛的位置的详细结构，因此这里不再重复。如果使用传感器感测使用者眼睛的位置，则所述传感器可以产生和传输特定信号，所述特定信号可以被基于本实施例的控制器20接收，以得到使用者的相关信息，诸如使用者眼睛的坐标(S14)。

在关于用户的信息被预存为当需要时被装载的数据的情形中，可以为每个使用者和每个使用者的不同姿势存储数据，如上所述，这些数据被存储为位置坐标的形式，所述位置为3D显示器10根据使用者眼睛的位置将要移动到的位置。上面已经描述了可以存储每个使用者和使用者的每个姿势信息的数据的形式以及存储和装载所述数据的详细布置，因此这里不再重复。

在感测使用者眼睛的位置(S12)或装载3D显示器10根据预存储数据将要移动到的位置(S16)之后，可以根据所获得的信息驱动机器人臂12，以移动3D显示器10(S20)。

因此，当特定的使用者使用基于本实施例的手术机器人1时，3D显示器10可以自动地移动到为使用者定制的优选位置。

在上文中，公开了作为一个具体实施例的根据本发明一个方面的用于手术机器人的3D显示系统。然而，本发明不限于所公开的实施例，并且包括3D显示器10和手术机器人1的不同的详细结构，机器人臂12和手术机器人1之间的不同的连接关系，或者控制器20的不同的详细操作等的布置也包含在本发明的范围内，只要全部过程和效果相同。这样，应该理解，在不脱离由所附的权利要求所限定的本发明的精神和范围的情况下，本领域技术人员可以对本发明进行各种变型和改进。

Claims (13)

1.一种用于手术机器人的3D显示系统，所述3D显示系统包括：

3D显示器，所述3D显示器被构造为显示从手术位置获得的三维图像信息；

机器人臂，所述机器人臂与所述3D显示器联结；

手术机器人，所述手术机器人具有与其连接的所述机器人臂；以及

控制器，所述控制器包括在所述手术机器人中，

其中，所述控制器被构造为驱动所述机器人臂，从而将所述3D显示器在三维空间中移动到特定位置。

2.根据权利要求1所述的3D显示系统，其中，所述图像信息是由插入手术患者的可视系统拍摄并且被处理为在所述3D显示器上显示的一组图像信息。

3.根据权利要求1所述的3D显示系统，其中，所述机器人臂包括多接头连杆，所述多接头连杆被构造为由所述控制器来驱动，从而将3D显示器移动到特定位置。

4.根据权利要求1所述的3D显示系统，其中，所述机器人臂的一端固定到手术室的一个结构上，并且所述机器人臂与所述手术机器人电连接。

5.根据权利要求1所述的3D显示系统，其中，控制台单元安装在所述手术机器人上，所述控制台单元被构造为接收使用者的操作，并且所述控制器被构造为根据使用者眼睛的位置移动所述3D显示器。

6.根据权利要求5所述的3D显示系统，其中，操作手柄安装在所述控制台单元上，并且所述控制器被构造为根据所述操作手柄上的用户操作移动所述3D显示器。

7.根据权利要求5所述的3D显示系统，其中，传感器单元与所述控制器连接，所述传感器单元被构造为检测使用者眼睛的位置，并且所述控制器被构造为接收来自所述传感器单元的信号，以根据使用者眼睛的位置移动所述3D显示器。

8.根据权利要求5所述的3D显示系统，其中，存储单元与所述控制器连接，所述存储单元被构造为存储关于位置的数据，用于根据每个使用者眼睛的位置移动所述3D显示器，并且所述控制器被构造为根据操作所述控制台单元的使用者装载存储在所述存储单元中的数据，以将所述3D显示器移动到预存储的位置。

9.一种3D显示器的控制方法，所述3D显示器与电连接到手术机器人的机器人臂联结，所述方法包括：

获得使用所述手术机器人的使用者的相关信息；以及

根据所获得的信息驱动所述机器人臂，以三维地移动所述3D显示器。

10.根据权利要求9所述的方法，其中，所述3D显示器被构造为显示由插入手术患者体内的可视系统拍摄的一组图像信息。

11.根据权利要求9所述的方法，其中，所述使用者的所述相关信息包括关于所述使用者眼睛的位置的信息。

12.根据权利要求9所述的方法，其中，获得所述信息的步骤包括：

通过传感器感测使用者眼睛的位置；以及

从所述传感器接收信号，以得到使用者的相关信息。

13.根据权利要求9所述的方法，其中，预先以关于位置的数据的形式存储使用者的所述相关信息，以根据使用者眼睛的位置移动所述3D显示器，

并且获得所述信息的步骤包括装载所述数据。

Images