KR101038417B1

KR101038417B1 - 수술 로봇 시스템 및 그 제어 방법

Info

Publication number: KR101038417B1
Application number: KR1020090011140A
Authority: KR
Inventors: 최승욱; 원종석; 이민규; 장배상; 이우정
Original assignee: 주식회사 이턴
Priority date: 2009-02-11
Filing date: 2009-02-11
Publication date: 2011-06-01
Anticipated expiration: 2029-02-11
Also published as: CN102438795A; CN102438795B; KR20100091784A; WO2010093152A3; US20110276058A1; WO2010093152A2

Abstract

수술 로봇 시스템 및 그 제어 방법이 개시된다. 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에 장착되는 인터페이스로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 화면 표시부와, 둘 이상의 로봇 암을 각각 제어하기 위해 구비되는 둘 이상의 암 조작부와, 사용자 조작에 따라 화상 이미지가 미리 지정된 방향으로 회전되어 디스플레이되도록 제어하고, 회전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 제어부를 포함하는 수술용 로봇의 마스터 인터페이스는 복강경 수술시 복강경용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있다.

복강경 수술, 제어, 방향, 회전

Description

수술 로봇 시스템 및 그 제어 방법{Surgical robot system and control method thereof}

본 발명은 수술에 관한 것으로서, 더욱 상세하게는 수술 로봇 및 그 제어 방법에 관한 것이다.

수술 로봇은 외과의사에 의해 시행되던 수술 행위를 대신할 수 있는 기능을 가지는 로봇을 말한다. 이러한 수술 로봇은 사람에 비하여 정확하고 정밀한 동작을 할 수 있으며 원격 수술이 가능하다는 장점을 가진다.

현재 전세계적으로 개발되고 있는 수술 로봇은 뼈 수술 로봇, 복강경(復腔鏡) 수술 로봇, 정위 수술 로봇 등이 있다. 여기서 복강경 수술 로봇은 복강경과 소형 수술도구를 이용하여 최소 침습적 수술을 시행하는 로봇이다.

복강경 수술은 배꼽 부위에 1cm 정도의 구멍을 뚫고 배 안을 들여다보는 내시경인 복강경을 집어넣은 후 수술하는 첨단 수술기법으로서 향후 많은 발전이 기대되는 분야이다.

최근의 복강경은 컴퓨터칩이 장착되어 육안으로 보는 것보다도 더 선명하면 서도 확대된 영상을 얻을 수 있으며, 또 모니터를 통해 화면을 보면서 특별히 고안된 복강경용 수술 기구들을 사용하면 어떠한 수술도 가능할 정도로 발전되었다.

더욱이 복강경 수술은 그 수술 범위가 개복 수술과 거의 같으면서도, 개복수술에 비해 합병증이 적고, 시술 후 훨씬 빠른 시간 안에 치료를 시작할 수 있으며, 수술 환자의 체력이나 면역기능을 유지시키는 능력이 우수한 이점이 있다. 이로 인해 미국과 유럽 등지에서는 대장암 치료 등에 있어서는 복강경 절제 수술이 점차 표준 수술로 인식되어 가는 추세이다.

그러나 복강경 수술은 시술 자체가 기존 개복수술법에 비해서 친숙하지 못한 복강경용 수술기구, 2차원적인 영상 및 미러 이미지(mirror image)와 더불어 직접 손으로 만져보며 수술할 수 없다는 점 등의 어려운 문제점이 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명은, 복강경 등의 수술시 수술용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있는 수술 로봇 시스템 및 그 제어 방법을 제공하는 것이다.

또한, 본 발명은 수술용 모니터를 통한 표시 화면의 제어에 부합하도록 로 봇 암이 함께 제어되도록 함으로써 수술자의 직관성 있고 원활한 수술 진행이 가능하도록 하는 수술 로봇 시스템 및 그 제어 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇에 장착되는 인터페이스(interface)로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 화면 표시부와, 둘 이상의 로봇 암을 각각 제어하기 위해 구비되는 둘 이상의 암 조작부와, 사용자 조작에 따라 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 제어부를 포함하는 수술용 로봇의 마스터 인터페이스가 제공된다.

수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상일 수 있다.

마스터 인터페이스는 암 조작부에 대한 사용자 조작에 따른 조작신호를 생성하여 슬레이브 로봇으로 전송하고, 제어 조건의 갱신을 위해 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하여 슬레이브 로봇으로 전송하는 조작신호 생성부를 더 포함할 수 있다.

조작신호 생성부는 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따른 암 조작부 변경을 수행할 수 있다. 여기서, 디스플레 이 기반 수술도구 제어는 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 조작신호를 생성할 수 있다.

조작신호 생성부는 위치 조정을 위한 사용자 조작에 대해 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성할 수 있다.

조작신호 생성부는 화상 이미지의 회전각에 부합하여 수술도구가 화상 이미지 내에서 회전 이동하여 위치하도록 하는 조작신호를 생성할 수 있다.

사용자 조작은 사용자 음성에 의한 조작일 수 있고, 제어부는 사용자 음성을 입력받아 인식 및 해석한 후 미리 지정된 방향으로 화상 이미지가 회전되도록 제어할 수 있다.

제어부는 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하고, 연산된 회전각에 부합하도록 화상 이미지가 회전되어 디스플레이되도록 제어할 수 있다. 수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 회전각을 연산하기 위한 것일 수 있다.

마스터 인터페이스는 화상 이미지가 미리 지정된 방향으로 회전하도록 하는 사용자 조작을 입력받기 위한 화면회전 조작부를 더 포함할 수 있다.

화상 이미지는 화면회전 조작부의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전하여 디스플레이될 수 있다.

화상 이미지는 화면회전 조작부의 지속적인 조작 유지 시간 동안 일정한 회전 속도로 미리 지정된 회전 방향으로 회전되어 디스플레이될 수 있다.

화면회전 조작부는 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나일 수 있다.

로봇 암의 복수 개소에 위치 감지 센서가 구비된 경우, 제어부는 각 위치 감지 센서에 의한 센싱값을 이용하여 로봇 암의 연장 방향을 인식하여 화상 이미지의 회전각을 연산할 수도 있다. 이 경우, 제어부는 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향(예를 들어 위쪽)을 향하여 위치되도록 하는 회전각을 연산할 수 있다.

제어부는 천정에 구비된 카메라에 의해 촬영된 이미지를 해석하여 인식된 로봇 암의 연장 방향을 이용하여 화상 이미지의 회전각을 연산할 수도 있다. 이 경우, 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포되는 것을 특징으로 할 수 있다.

회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전하도록 제어될 수 있다.

제어부는 화면 표시부를 통해 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 더 표시되도록 제어할 수 있다. 방향 지시자는 방향을 지시하는 하나 이상의 문자, 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 등 중 하나 이상으로 구성될 수 있다.

제어부는 화상 이미지가 반전되어 디스플레이되도록 제어하는 경우, 화면 표시부를 통해 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어할 수 있다. 화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나일 수 있고, 주의적 정보는 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지일 수 있다. 슬레이브 로봇과 마스터 로봇은 일체형으로 통합되어 구성될 수 있다.

본 발명의 다른 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계와, 화상 이미지의 회전 또는 반전을 지시하기 위한 조작명령을 입력받는 단계와, 조작명령에 따라 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 로봇 암의 제어 조건이 갱신되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법이 제공된다.

로봇 암의 제어 조건이 갱신되도록 제어하는 단계는, 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하는 단계와, 조작신호를 슬레이브 로봇으로 전송하는 단계를 포함할 수 있다.

암 조작부 변경은 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따라 수행할 수 있다.

디스플레이 기반 수술도구 제어는, 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 것일 수 있다.

위치 조정을 위한 사용자 조작에 대해 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성할 수 있다.

위치 조정은, 화상 이미지의 회전각에 부합하여 수술도구가 화상 이미지 내에서 회전 이동하여 위치하도록 하는 것일 수 있다.

조작명령의 입력 횟수에 비례하여 화상 이미지의 회전각이 결정될 수 있다. 또는 조작명령의 지속적인 입력 유지 시간에 비례하여 화상 이미지의 회전각이 결정될 수 있다.

조작명령을 입력받는 단계는, 사용자 음성을 입력받는 단계와, 입력된 사용자 음성을 인식 및 해석하여 조작명령을 생성하는 단계를 포함할 수 있다.

조작명령은 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나를 통해 입력될 수 있다.

조작명령을 입력받는 단계는, 둘 이상의 로봇 암의 복수 개소에 구비된 위 치 감지 센서로부터 센싱값을 각각 입력받는 단계와, 입력된 센싱값들을 이용하여 로봇 암들의 연장 방향을 인식하여 화상 이미지를 회전하거나 수술용 내시경을 회전하기 위한 회전각을 연산하는 단계와, 연산된 회전각을 상기 조작명령으로서 입력받는 단계를 포함할 수 있다. 여기서, 회전각은 하나 이상의 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향(예를 들어, 위쪽)을 향하여 위치되도록 하는 값으로 연산될 수 있다.

조작명령을 입력받는 단계는, 천정에 구비된 카메라에 의해 촬영된 이미지를 입력받는 단계와, 입력된 이미지를 해석하여 인식된 로봇 암들의 연장 방향을 이용하여 화상 이미지를 회전하거나 수술용 내시경을 회전하기 위한 회전각을 연산하는 단계와, 연산된 회전각을 조작명령으로서 입력받는 단계를 포함할 수 있다. 여기서, 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포될 수 있다.

회전각에 부합하여 회전된 화상 이미지가 디스플레이되도록 하기 위하여 수술용 내시경이 그 연장된 방향을 축으로 하여 회전될 수 있다.

제어하는 단계에서, 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 디스플레이되도록 제어될 수 있다.

방향 지시자는 방향을 지시하는 하나 이상의 문자, 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 중 하나 이상으로 구성될 수 있다.

화상 이미지가 미리 지정된 방향으로 반전되어 디스플레이되도록 제어하는 단계에서, 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어될 수 있다.

화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나일 수 있고, 주의적 정보는 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지일 수 있다.

본 발명의 또 다른 측면에 따르면, 수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서, 수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계와, 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하는 단계와, 연산된 회전각에 따라 화상 이미지가 회전하여 디스플레이되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법이 제공된다.

수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 회전각을 연산하기 위한 것일 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 수술시 수술용 모니터를 통한 표시 화면이 수술자의 의도에 적합하게 제어되어 수술 과정의 비직관성을 제거할 수 있다.

또한, 본 발명의 실시예에 따르면, 수술용 모니터를 통한 표시 화면의 제어에 부합하도록 로봇 암이 함께 제어되도록 함으로써 수술자의 직관성 있고 원활한 수술 진행이 가능하다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명의 실시예를 설명함에 있어 본 발명은 수술용 내시경(예를 들어, 복강경, 흉강경, 관절경, 비경 등)이 이용되는 수술들에 범용적으로 사용될 수 있는 기술적 사상이지만, 설명의 편의를 위해 복강경이 이용되는 경우를 예로 들어 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도이고, 도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도이다.

도 1 및 도 2를 참조하면, 복강경 수술용 로봇 시스템은 수술대에 누워있는 환자에게 수술을 행하는 슬레이브 로봇(2)과 슬레이브 로봇(2)을 수술자가 원격 조 종하는 마스터 로봇(1)을 포함하여 구성된다. 마스터 로봇(1)과 슬레이브 로봇(2)이 반드시 물리적으로 독립된 별도의 장치로 분리되어야 하는 것은 아니며, 하나로 통합되어 일체형으로 구성될 수 있으며, 이 경우 마스터 인터페이스(4)는 일체형 로봇의 인터페이스 부분에 상응될 수 있다.

마스터 로봇(1)의 마스터 인터페이스(4)는 모니터(6), 핸들(10) 및 표시 화면 제어 버튼을 포함한다. 표시 화면 제어 버튼은 클러치 버튼(14) 또는 페달(30)의 형태로 구현될 수 있으며, 클러치 버튼(14)과 페달(30)에 의해 동일한 기능이 수행되도록 구현된 경우 클러치 버튼(14) 및 페달(30) 중 어느 하나만이 마스터 인터페이스(4)에 포함될 수도 있다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.

마스터 인터페이스(4)는 수술자가 양손에 각각 파지되어 조작할 수 있도록 두 개의 핸들(10)의 구비하며, 수술자의 핸들(10) 조작에 따른 조작 신호가 슬레이브 로봇(2)으로 전송되어 로봇 암(3)이 제어된다.

마스터 인터페이스(4)의 모니터(6)에는 복강경(5)에 의해 입력되는 영상이 화상 이미지로 표시된다. 또한, 모니터(6)에는 예시된 바와 같이 환자의 심전도 그래프 등이 부가적으로 더 표시될 수도 있다.

모니터(6)에 표시되는 화상 이미지는 수술자에 의한 표시 화면 제어 버튼 조작에 의해 시계방향 또는 반시계 방향으로 지정된 회전 각도만큼 회전되어 표시되도록 제어될 수 있다. 이는 복강경(5)이 고정된 위치에서 영상을 입력받아 마스터 인터페이스(4)로 전송하는 경우, 수술 부위에 대한 수술자의 수술 방향과 화상 이미지가 동일한 방향을 지향하지 않아 수술자가 직관적이지 않는 화상 이미지를 참조하여 수술을 진행하는 불편함을 제거하기 위한 것이다. 물론, 복강경(5)이 핸들(10)에 구비되는 클러치 버튼(14) 등의 조작에 의해 그 위치가 조정 제어될 수 있는 경우에도, 모니터(6)에 표시되는 화상 이미지의 표시 형태가 일정하다면 페달(30)의 조작에 의해 그 표시 방향이 시계 방향 또는 반시계 방향으로 회전 제어되도록 할 수도 있을 것이다.

또한, 수술자의 표시 화면 제어 버튼 조작에 의해 모니터(6)에 표시되는 화상 이미지의 표시 형태가 변경된 경우, 이에 상응하도록 로봇 암(3)의 위치 또는 기능이 조정되도록 하여 수술자의 직관적인 수술 진행이 가능하도록 할 수 있다.

상술한 바와 같이, 본 실시예는 슬레이브 로봇(2)의 위치에 관계없이 수술자가 표시 화면 제어 버튼을 조작함으로써 화상 이미지가 원하는 표시 형태로 변형(예를 들어, 일정 각도만큼의 회전 등)되어 표시되도록 하는 특징을 가지고 있다. 아울러, 슬레이브 로봇(2)의 로봇 암(3)의 위치나 기능도 수술자가 직관적으로 인식할 수 있도록 조정되는 특징도 가지고 있다.

슬레이브 로봇(2)과 마스터 로봇(1)은 유선 통신망 또는 무선 통신망을 통해 상호 결합되어 조작 신호 등이 상대방으로 전송될 수 있다. 만일, 마스터 인터페이스(4)에 구비된 두 개의 핸들(10)에 의한 두 개의 조작신호 및/또는 복강경(5)의 위치 조정을 위한 조작신호가 동시에 및/또는 유사한 시점에서 전송될 필요가 있는 경우, 각 조작신호는 상호 독립적으로 슬레이브 로봇(2)으로 전송될 수 있다. 여기서 각 조작신호가 '독립적으로' 전송된다는 것은, 조작신호 간에 서로 간섭을 주지 않으며, 어느 하나의 조작신호가 다른 하나의 신호에 영향을 미치지 않음을 의미한다. 이처럼, 복수의 조작신호가 서로 독립적으로 전송되도록 하기 위해서는, 각 조작신호의 생성 단계에서 각 조작신호에 대한 헤더 정보를 부가하여 전송시키거나, 각 조작신호가 그 생성 순서에 따라 전송되도록 하거나, 또는 각 조작신호의 전송 순서에 관하여 미리 우선순위를 정해 놓고 그에 따라 전송되도록 하는 등 다양한 방식이 이용될 수 있다. 이 경우, 각 조작신호가 전송되는 전송 경로가 독립적으로 구비되도록 함으로써 각 조작신호간에 간섭이 근본적으로 방지되도록 할 수도 있을 것이다.

슬레이브 로봇(2)의 로봇 암(3)은 다자유도를 가지며 구동되도록 구현될 수 있다. 로봇 암(3)은 예를 들어 환자의 수술 부위에 삽입되는 수술기구, 수술기구를 수술 위치에 따라 요(yaw)방향으로 회전시키는 요동 구동부, 요동 구동부의 회전 구동과 직교하는 피치(pitch) 방향으로 수술기구를 회전시키는 피치 구동부, 수술기구를 길이 방향으로 이동시키는 이송 구동부와, 수술기구를 회전시키는 회전 구동부, 수술기구의 끝단에 설치되어 수술 병변을 절개 또는 절단하는 수술기구 구동부를 포함하여 구성될 수 있다. 다만, 로봇 암(3)의 구성이 이에 제한되지 않으며, 이러한 예시가 본 발명의 권리범위를 제한하지 않는 것으로 이해되어야 한다. 또한, 수술자가 핸들(10)을 조작함에 의해 로봇 암(3)이 상응하는 방향으로 회전, 이동하는 등의 실제적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.

슬레이브 로봇(2)은 환자를 수술하기 위하여 하나 이상으로 이용될 수 있으 며, 수술 부위가 모니터(6)를 통해 화상 이미지로 표시되도록 하기 위한 복강경(5)은 독립된 슬레이브 로봇(2)으로 구현될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도이고, 도 4a는 본 발명의 일 실시예에 따른 화상 이미지의 표시 형태 조정 과정을 나타낸 화면 표시의 예시도이다. 도 4b는 본 발명의 일 실시예에 따른 회전되지 않은 원(original) 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면이고, 도 4c 및 4d는 종래 기술에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 각각 예시한 도면이며, 도 4e는 본 발명의 일 실시예에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면이다.

도 3을 참조하면, 마스터 로봇(1)은 영상 입력부(310), 화면 표시부(320), 암 조작부(330), 조작신호 생성부(340), 화면회전 조작부(350) 및 제어부(360)를 포함한다. 슬레이브 로봇(2)은 로봇 암(3) 및 복강경(5)을 포함한다.

영상 입력부(310)는 슬레이브 로봇(2)의 복강경(5)에 구비된 카메라를 통해 입력된 영상을 유선 또는 무선 통신망을 통해 수신한다.

화면 표시부(320)는 영상 입력부(310)를 통해 수신된 영상에 상응하는 화상 이미지를 시각(視覺)적 정보로 출력한다. 화면 표시부(320)는 모니터(6) 등의 형태로 구현될 수 있으며, 수신된 영상이 화면 표시부(320)를 통해 화상 이미지로 출력되도록 하기 위한 영상 처리 프로세스가 제어부(360) 또는 영상 처리부(도시되지 않음)에 의해 수행될 수 있다.

암 조작부(330)는 슬레이브 로봇(2)의 로봇 암(3)의 위치 및 기능을 수술자가 조작할 수 있도록 하는 수단이다. 암 조작부(330)는 도 2에 예시된 바와 같이 핸들의 형상으로 형성될 수 있으나, 그 형상이 이에 제한되지 않으며 동일한 목적 달성을 위한 다양한 형상으로 변형 구현될 수 있다. 또한, 예를 들어 일부는 핸들 형상으로, 다른 일부는 클러치 버튼 등의 다른 형상으로 형성될 수도 있다.

상술한 바와 같이, 암 조작부(330)에는 클러치 버튼(14)이 구비될 수 있으며, 클러치 버튼(14)은 표시 화면 제어 버튼으로 기능하도록 설정될 수 있다. 또는, 복강경(5)이 영상을 입력받기 위해 특정 위치에 고정적으로 존재하지 않고, 그 위치 및/또는 영상 입력 각도가 수술자의 조정에 의해 이동되거나 변경될 수 있다면 클러치 버튼(14)은 복강경(5)의 위치 및/또는 영상 입력 각도의 조정을 위해 기능하도록 설정될 수도 있다.

조작신호 생성부(340)는 로봇 암(3) 및/또는 복강경(5)의 위치 이동 또는 수술을 위한 조작을 위해 수술부가 암 조작부(330)를 조작하는 경우 이에 상응하는 조작신호를 생성하여 슬레이브 로봇(2)으로 전송한다. 조작신호는 유선 또는 무선 통신망을 통해 송수신될 수 있음은 앞서 설명한 바와 같다.

화면회전 조작부(350)는 수술자가 화면 표시부(320)를 통해 출력되는 화상 이미지가 비직관적으로 표시되는 경우, 화상 이미지를 시계 방향 또는 반시계 방향으로 회전시키기 위한 명령을 수술자로부터 입력받는 수단이다.

도 4a에 예시된 바와 같이, 화면회전 조작부(350)의 조작 횟수에 따라 미리 지정된 회전각도(예를 들어, 15도, 90도, 180도 등) 만큼 회전된 화상 이미지가 화면 표시부(320)에 표시되도록 할 수 있다. 일반적으로, 수술자는 화상 이미지가 180도 단위로 회전(즉, 도 4a에 도시된 (a)와 (c)간의 회전)되도록 제어함이 일반적일 것이나, 화상 이미지를 회전하기 위한 회전각이 이에 제한되지 않음이 도 4a를 참조할 때 쉽게 이해될 수 있을 것이다.

이 경우, 화상 이미지가 회전되는 시점마다 로봇 암(3) 각각이 적절한 암 조작부(330)에 의해 제어되도록 로봇 암의 제어 조건이 자동 갱신될 수 있으나, 화상 이미지의 회전에 따른 로봇 암(3)과 암 조작부(330)간의 매칭 관계가 수술자에게 직관적으로 명확하지 않을 수 있으므로 수술자의 지정(예를 들어, 전환버튼의 클릭 등)에 제어 조건이 갱신되도록 할 수도 있다.

이외에도, 화면회전 조작부(350)에 대한 조작을 유지하는 시간동안(예를 들어, 페달(30)을 밟고 있는 시간동안) 미리 지정된 회전방향으로 화상 이미지가 지속적으로 회전하여 표시되도록 하고, 조작이 종료되면 그 시점까지 회전된 회전 각도의 화상 이미지가 화면 표시부(320)에 표시되도록 할 수도 있다.

화면회전 조작부(350)를 이용하여 수술자가 원하는 방향으로 화상 이미지의 표시 형태를 변경한 경우, 수술자의 직관적인 수술 진행이 가능하도록 로봇 암(3)의 위치나 기능은 상응하도록 조정될 수 있다.

예를 들어, 수술자가 화상 이미지의 표시 형태를 변경하도록 조작한 경우, 도 4a에 예시된 바와 같이 수술 부위 및 수술 도구가 함께 일정 회전각(예를 들어, 180도)만큼 회전되어 표시될 것이다. 이때, 수술 도구(410)는 수술자가 각 수술 도 구(410)를 제어하기 위한 암 조작부(330)가 어떤 것인지를 직관적으로 인식할 수 있도록 항상 일정한 위치(예를 들어, 도 4a의 (a)에 도시된 수술 도구의 위치)로 위치 조정될 수도 있을 것이다. 이는, 화면 표시부(320)에 표시되는 화상 이미지가 회전되는 각도에 부합하도록 로봇 암 또는/및 수술 도구(410)의 위치가 제어되도록 함으로써 표시 화면상의 오른쪽에 위치한 수술 도구(410)는 항상 수술자의 오른손으로 조작 가능하도록 할 수 있다.

만일, 화면회전 조작부(350)의 조작에 의해 화상 이미지가 180도씩 회전되도록 지정된 경우라면, 이전의 화상 이미지 표시 상태에서는 오른쪽에 위치한 수술 도구(410)로서 수술자의 오른손으로 조작한 수술도구가 현재의 화상 이미지 표시 상태에서는 왼쪽에 위치하여 비직관적인 수술이 이루어질 수도 있다. 이 경우, 표시된 화상 이미지를 기준하여 오른쪽과 왼쪽에 각각 위치한 수술 도구의 제어 권한이 변동되도록 함으로써 화상 이미지의 오른쪽에 위치한 수술도구는 항상 수술자의 오른손에 의해 조정될 수 있도록 설정할 수도 있다. 이 경우, 앞서 수술 도구가 화상 이미지의 회전각에 부합되도록 이동하도록 하는 방법과 비교할 때, 로봇 암(3)의 위치 제어의 필요 없이 각 로봇 암(3)에 대한 제어 권한 변동만으로 동일한 효과를 예측할 수 있게 된다.

화면회전 조작부(350)는 예를 들어, 클러치 버튼(14), 페달(30) 등의 형태로 구현될 수 있으나, 그 형태는 이에 제한되지 않는다. 예를 들어, 화면회전 조작부(350)는 수술자의 음성을 입력받아 입력된 음성을 해석하여 화상 이미지를 시계 방향 또는 반시계 방향으로 회전되어 표시되도록 할 수도 있다. 여기서, 수술자의 음성을 해석하기 위해 음성 인식 기술 등이 이용될 수 있을 것이다.

제어부(360)는 상술한 기능이 수행될 수 있도록 각 구성 요소들의 동작을 제어한다. 제어부(360)는 영상 입력부(310)를 통해 입력되는 영상이 화면 표시부(320)를 통해 표시될 화상 이미지로 변환하는 기능을 수행할 수도 있다. 또한, 제어부(360)는 화면회전 조작부(350)를 이용한 수술자의 조작이 입력되는 경우 화면 표시부(320)를 통해 입력되는 화상 이미지가 시계 방향 또는 반시계 방향으로 회전하여 표시되도록 제어한다. 이때, 제어부(360)는 수술자의 직관적 수술 진행이 유지되도록 로봇 암(3)의 위치를 제어하거나 각 로봇 암(3)의 제어 권한이 상호 교환되도록 제어할 수 있으며, 이에 부합되는 조작신호가 생성 및 전송되도록 조작신호 생성부(340)를 제어할 수 있다.

이하, 도 4b 내지 도 4e를 참조하여 화상 이미지의 회전 조작에 따른 암 조작부(330)의 조작 방법을 간단히 설명한다.

도 4b에는 회전되지 않은 원(original) 화상 이미지의 일 예와 암 조작부(330)의 조작에 따른 각 수술 도구(410a, 410b)의 동작 방향이 도시되어 있다. 또한 암 조작부(330)가 각 수술 도구(410a, 410b)의 동작을 개별적으로 제어하기 위한 두 개의 핸들을 포함하여 구성되고 각 핸들은 그 위치에 따라 핸들 L(Left)과 핸들 R(Right)로 구분되는 경우가 예시적으로 가정되었다.

핸들 L은 화상 이미지의 좌측에 위치한 수술 도구(410a)의 동작을 제어하고, 핸들 R은 화상 이미지의 우측에 위치한 수술 도구(410b)의 동작을 제어한다. 따라서, 420a 및 420b에 각각 도시된 바와 같이 핸들 L 또는 핸들 R을 앞쪽으로 밀 었을 때 상응하는 수술 도구는 화상 이미지의 상방향으로 이동하도록 제어된다.

그러나, 도 4c 내지 도 4e에 예시된 바와 같이 원 화상 이미지가 180도 회전되도록 제어된 경우, 각 수술 도구(410a 및 410b)의 배치 형태까지도 이전의 배치 형태와 180도 회전되어 디스플레이된다.

이러한 상태에서, 기존의 제어 조건과 동일하게 핸들 L 또는 핸들 R의 조작에 의해 각 수술 도구의 동작이 제어된다면, 수술자는 직관적인 수술 진행이 불가능해진다. 이는, 원 영상에서 우측에 위치하였던 수술 도구(410b)는 180도 회전된 화상 이미지에서는 좌측에 위치하게 되어, 수술자는 사용자 조작에 대해 반대의 결과를 미리 예상하여야 하기 때문이다. 따라서, 도 4c와 같이, 단지 화상 이미지만 180도 회전되어 표시된다면, 수술자는 현재 화상 이미지에서 우측에 위치한 수술도구(410a)를 표시 화면상 위쪽으로 이동시키고자 할 때 좌측에 위치한 핸들 L을 수술자의 몸 쪽으로 당기게 되어 직관적인 수술 진행이 불가능해진다.

또한 수술자에게 수술 진행상의 편의를 제공하기 위한 방안으로 종래의 수술 로봇 시스템은 스왑(swap) 기능을 보유하고 있다. 그러나, 스왑 기능을 이용하더라도 단지 표시 화면 상 우측에 배치된 수술 도구(410a)가 핸들 R에 의해 제어되고, 표시 화면상 좌측에 배치된 수술 도구(410b)가 핸들 L에 의해 제어되는 것에 불과하며, 그 이동이나 제어 방향까지 직관적으로 변경되지는 않는 한계가 있다. 즉, 도 4d에 예시된 바와 같이, 표시 화면상 우측에 배치된 수술 도구(410a)가 핸들 R에 의해 제어되지만, 해당 수술 도구(410a)를 표시 화면상 위쪽 방향으로 움직이고자 할 때 핸들 R은 수술자 쪽으로 당겨져야 하기 때문에 여전히 수술자는 비직 관적인 수술을 진행하여야 하는 문제점이 있다.

이에 비해, 본 발명의 실시예에 따른 수술 로봇 시스템은 도 4e에 예시된 바와 같이, 표시 화면상의 수술 도구 배치 방향에 부합하도록 제어 권한이 핸들 L 및 핸들 R에 각각 부여될 뿐 아니라, 수술 도구의 이동이나 조작 방향까지 수술자의 관점에서 직관적인 제어가 가능하도록 하는 장점이 있다.

도 4f 내지 도 4i는 본 발명의 각 실시예에 따른 화상 이미지의 회전에 따른 방향 지시자 표시 방법을 예시한 도면이다.

각 도면에 예시된 바와 같이, 화면 표시부(320)에 표시되는 화상 이미지의 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 등의 위치들 중 임의의 위치들에 방향 지시자가 표시되도록 할 수 있다.

도 4f에 예시된 바와 같이, 방향 지시자는 예를 들어, H(Head), F(Foot), L(Left), R(Right), A(Anterior), P(Posterior) 등과 같이 방향을 표시하는 하나 이상의 문자로 구성될 수 있다.

문자로 구성된 방향 지시자는 표시 화면(또는 화상 이미지)의 4개의 위치(예를 들어, 상, 하, 좌, 우) 또는 2개의 위치(예를 들어, 우, 하) 등에 표시되도록 할 수 있다.

도 4f에 예시된 바와 같이 4개의 방향 지시자(450a)가 각 위치에 표시되는 경우, 원 화상 이미지가 표시된 상태에서 방향 지시자는 상측에 H(Head), 하측에 F(Foot), 우측에 L(Left) 및 좌측에 R(Right)이 표시될 수 있다.

그러나 원 화상 이미지가 180도 회전하여 표시되는 180도 회전 화상 이미지에서 방향 지시자(450a)는 상측에 F(Foot), 하측에 H(Head), 좌측에 L(Left) 및 우측에 R(Right)이 표시될 수 있다.

또한, 도 4g 또는/및 도 4h에 예시된 바와 같이, 각 면에 방향 지시자가 기재된 육면체 형태(450b)가 회전하거나 또는 각 블록에 방향 지시자가 기재된 입체 도형의 전개도 형태(450c)로 화상 이미지의 회전 방향을 나타낼 수도 있다.

또한, 도 4i에 예시된 바와 같이, 방향 지시자는 기본 위치 대비 현재의 회전 방향 및/또는 회전각이 얼마나 되는지 표시하도록 나침반(450d) 등의 형태로 구성될 수도 있다.

물론, 방향 지시자의 표시 방법은 이에 제한되지 않도록 다양할 수 있으며, 수술자가 화면 표시부(320)에 표시되는 화상 이미지가 어느 방향으로 어느 회전각만큼 회전하였는지를 인식할 수 있는 형태이면 충분하다.

도 4j 내지 도 4k는 본 발명의 각 실시예에 따른 화상 이미지의 반전에 따른 주의 정보 표시 방법을 예시한 도면이다.

앞서 설명한 바와 같이, 화상 이미지는 일정 방향으로 회전되어 화면 표시부(320)에 표시될 수도 있으나, 수술자의 조작 또는 본 명세서에서 설명되는 자동 인식 방법에 의해 도 4j 및 도 4k에 예시된 바와 같이 상하 또는 좌우 반전되어 화면 표시부(320)에 표시될 수도 있다.

이 경우에도 표시된 화상 이미지 상에서 왼쪽에 위치된 수술 도구는 수술자 의 왼손(예를 들어, 수술자의 왼쪽에 위치한 암 조작부)에 의해 제어되고, 화상 이미지 상에서 오른쪽에 위치된 수술 도구는 수술자의 오른손(예를 들어, 수술자의 오른쪽에 위치한 암 조작부)에 의해 제어되도록 로봇 암(3) 제어가 이루어진다.

그러나, 영상 이미지의 회전과는 달리, 상하 또는 좌우 반전의 경우에는 실제 인체의 기하학적 배열(geometry)과 달라지므로 수술자가 혼동할 우려가 있다. 이를 방지하기 위해, 표시 화면상에 경고 메시지(470) 또는 주의적 정보가 표시되도록 함으로써 수술자에게 반전된 영상 이미지임을 통지할 필요가 있다.

도 4g 및 도 4h에는 주의적 정보의 일 예로서 특정한 색상의 테두리(480)가 영상의 주변에 표시되어 있다. 주의적 정보는 음향 정보 등으로 적용될 수도 있다.

이외에도, 화상 이미지의 반전에 대한 수술자의 명확한 인식 및 주의를 위해 방향 지시자(450a)가 함께 표시되도록 할 수도 있다.

상술한 경고 메시지(470) 및/또는 테두리(480)에 의해 수술 부위가 가려짐이 수술 진행에 나쁜 영향을 미칠 수도 있으므로, 경고 메시지(470) 및/또는 테두리(480)를 반투명 처리하는 등이 방법이 더 이용될 수 있다.

아울러, 경고 메시지(470)가 수술 부위의 상부에 중첩되어 표시되지 않고, 화면 표시부(320)의 표시 영역 중 수술용 내시경에 의해 촬영된 영상이 표시되는 영역 이외의 영역에 표시되도록 할 수 있다. 또한, 경고 메시지(470)는 수술자의 명확한 이미지 반전을 인식할 수 있도록 일정 주기로 점멸하는 형태로 표시될 수도 있다.

이상에서 구체적으로 설명한 바와 같이, 화면 표시 상태에 따라 수술자가 직관적인 수술 도구의 제어가 가능하도록 하는 제어 방식을 본 명세서에서 편의상 디스플레이 기반 수술 도구 제어(Display-based instrument control)라 칭할 수 있다.

디스플레이 기반 수술 도구 제어를 간략히 설명하면, 표시 화면상 화상 이미지의 표시 형태가 어떤 상태이든지(예를 들어, 회전된 상태이든지 반전된 상태이든지 등) 수술도구의 움직임은 표시 화면상에서의 배치와 일관성이 유지된다. 즉, 화상 이미지의 회전 또는 반전과 관계없이 수술자는 일관성있게 화면의 오른쪽에 보이는 수술 도구는 오른손으로 제어하고 화면의 왼쪽에 보이는 수술 도구는 왼손으로 제어할 수 있다.

도 5는 본 발명의 일 실시예에 따른 표시화면 제어 방법을 나타낸 순서도이다.

이하, 본 실시예에 따른 표시화면 제어 방법을 설명함에 있어 각 단계가 도 3을 참조하여 설명한 각 구성 요소에 의해 개별적으로 수행될 수도 있으나, 설명 및 이해의 편의를 위해 마스터 로봇(1)에서 수행되는 것으로 통칭하여 설명한다.

도 5를 참조하면, 마스터 로봇(1)은 단계 510에서 유선 또는 무선 통신망을 통해 복강경(5)으로부터 영상을 수신하고, 단계 520에서 수신한 영상에 상응하는 화상 이미지를 화면 표시부(320)를 통해 출력한다.

단계 530에서, 마스터 로봇(1)은 수술자로부터 화면회전 조작부(350)를 이용한 회전 조작명령이 입력되는지 여부를 판단한다.

회전 조작명령이 입력되지 않으면, 단계 520으로 다시 진행하며, 수술자는 화면 표시부(320)를 통해 표시되는 화상 이미지를 참조하여 수술 부위에 대한 수술을 진행할 것이다.

그러나, 회전 조작명령이 입력되면, 단계 540으로 진행하여 화면 표시부(320)를 통해 표시되는 화상 이미지가 임의의 회전각만큼 회전하여 표시되도록 화상 이미지가 회전되도록 제어한다. 이때, 마스터 로봇(1)은 화상 이미지의 회전에 부합되어 로봇 암(3)이 수술자에 의해 제어될 수 있도록 하기 위한 조작신호를 생성하여 슬레이브 로봇(2)으로 전송할 수 있다.

이하, 마스터 로봇(1)이 수술자의 화면회전 조작부(350)의 조작에 의해 화상 이미지의 회전 및 로봇 암(3)을 제어하는 과정을 간략히 설명한다.

먼저, 화면 표시부(320)를 통해 표시된 화상 이미지는 화면회전 조작부(350)의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전되어 화면 표시부(320)를 통해 표시되도록 제어될 수 있다.

이때, 상응하는 회전각만큼 수술 도구가 회전되어 위치되도록 제어될 수 있으며, 이와 같이 제어하기 위한 조작신호는 조작신호 생성부(340)에 의해 생성되어 슬레이브 로봇(2)으로 전송될 수 있다. 물론, 앞서 도 4 등을 참조하여 설명한 바와 같이 수술 도구는 현재의 위치로 유지될지라도 각 수술 도구의 제어 권한이 수술자가 직관적으로 인식할 수 있는 암 조작부로 상응하도록 이전되고, 로봇 암 또는/및 수술 도구의 이동 및 조작 방향이 암 조작부에 대한 수술자의 직관적인 조작 방향에 의해 제어될 수 있다. 이를 통해, 수술자는 직관적으로 인식될 수 있도록 회전된 화상 이미지 및 직관적인 방법에 의해 조작 제어되는 수술 도구를 이용하여 환자에 대한 수술을 진행할 수 있다.

이때 만일, 화면회전 조작부(350)의 조작 횟수에 비례하여 화상 이미지가 180도씩 회전하도록 설정되어 있다면, 화상 이미지가 180도 회전되어 표시된 경우 수술자의 오른손과 왼손에 의해 각각 조작되는 수술 도구가 좌우가 뒤바뀌어 표시될 수 있다. 이때, 제어부(360) 또는 조작신호 생성부(340)는 화상 이미지의 오른쪽에 위치한 수술도구(즉, 기존에 수술자의 왼손에 의해 조작되던 수술도구)가 수술자의 오른손에 의해 조작되도록 각 수술도구(즉, 로봇 암(3))의 제어 권한이 상호간에 교환되도록 하거나 제어 권한의 실질적 교환 없이 동일한 효과가 발생되도록 하는 조작신호(예를 들어, 수술자의 오른손 조작이 화상 이미지 상으로는 오른쪽에 위치하지만 실제적으로는 환자의 왼쪽에 위치한 암을 제어하도록 하는 조작 신호)를 생성하여 슬레이브 로봇(2)으로 전송할 수 있다. 이는, 회전 각도에 관계없이 회전되어 표시된 화상 이미지의 중심 세로선을 기준하여 좌측과 우측에 각각 수술도구가 위치하는 경우 동일하게 적용될 수 있을 것이다. 이를 통해, 실제적으로는 환자의 오른쪽 및 왼쪽에 수술 도구(즉, 로봇 암(3))가 각각 위치할지라도 현재 표시되는 화상 이미지를 기준하여 오른쪽에 위치한 수술도구는 항상 수술자의 오른손에 의해 조작되도록 할 수 있어 수술자의 직관적 인식에 따른 용이한 수술이 가능해진다.

다음으로, 화면 표시부(320)를 통해 표시된 화상 이미지는 화면회전 조작부(350)의 조작 유지 시간에 비례하여 일정한 회전속도로 화상 이미지가 회전되어 표시되도록 할 수 있으며, 조작을 중지하는 시점에서의 회전각만큼 회전된 화상 이미지가 화면 표시부(320)를 통해 표시되도록 제어될 수 있다. 이때, 화면회전 조작부(350)의 조작에 의해 화상 이미지가 소프트웨어적으로 회전 제어되지 않고, 일방향으로 연장된 수술용 내시경이 그 연장된 방향을 축으로 하여 기구적으로 회전되도록 함으로써 동일한 작용 효과가 획득될 수도 있다.

이 경우에도 앞서 설명한 바와 같이, 수술도구가 상응하는 회전각만큼 회전하도록 하거나, 화상 이미지의 중심선을 기준으로 좌측 및 우측에 각각 위치한 수술도구가 직관적으로 수술자의 왼손 및 오른손에 의해 각각 제어되도록 할 수도 있을 것이다.

상술한 바와 같이, 환자의 수술을 위해 슬레이브 로봇(2)을 원격 제어하는 수술자는 본 실시예에 의하여 직관적으로 인식되는 화상 이미지를 참조하여 원활한 수술을 진행할 수 있다.

이제까지 수술자가 화면회전 조작부(350)를 수동 조작하거나 음성 조작하여 화상 이미지가 회전하여 표시되도록 하고 이에 상응하도록 로봇 암(3)이 제어되도록 하는 방법을 중심으로 설명하였다.

그러나, 본 발명은 화상 이미지의 표시 조건 적용 및 로봇 암(3)의 제어가 자동으로 처리되도록 하는 실시예들로 더 구체화될 수도 있다.

즉, 화면 표시부(320)를 통해 표시되는 화상 이미지에서 수술 도구가 어떻게 배치되었는지를 인식하여 화상 이미지의 회전 각도가 자동 연산되어 적용되도록 할 수도 있다. 이때, 영상 입력부(310)를 통해 입력되어 처리된 화상 이미지를 해석하기 위한 영상 해석 기술이 적용될 수 있다. 이러한 화상 이미지 회전 기법을 편의상 수술 도구 기반 디스플레이 제어(Instrument-based display control)라 칭하기로 한다.

수술도구 기반 디스플레이 제어를 간단히 설명하면, 수술 도구의 위치를 파악하여 최적의 화면이 표시될 수 있도록 화상 이미지의 표시 형태를 변경(예를 들어, 회전)한다. 즉, 수술자가 수술 도구를 어떻게 조작하든지 표시 화면에 표시되는 화상 이미지가 이에 최적화되도록 변경되어 표시된다.

수술 도구 기반 디스플레이 제어에 의한 일 예를 설명하면, 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 화상 이미지가 회전되도록 할 수 있다.

또한, 로봇 암(3)의 복수의 개소(예를 들어, 로봇 암(3)의 구부러지는 관절부들 중 임의의 개소)에 위치 감지 센서를 각각 장착하고, 위치 감지 센서의 측정값들을 이용하여 로봇 암(3)의 연장방향을 인식하여 로봇 암(3)의 제어 조건이 자동으로 결정되도록(예를 들어, 인식된 연장 방향에서 오른쪽에 위치한 암이 수술자의 오른손에 의해 제어되도록)하고, 그에 연동하여 연장 방향의 앞쪽이 화면 표시부(320)의 상측에 위치하는 화상 이미지가 표시되도록 화상 표시 조건이 지정될 수도 있을 것이다.

이외에도, 수술실 천정에서 로봇 암을 촬영하고, 그 촬영된 이미지를 해석 하여 암의 연장 방향을 인식할 수도 있을 것이다. 이 경우, 촬영된 이미지의 해석을 용이하게 하기 위해 로봇 암 또는 로봇 암의 복수 개소에 일정 색상 또는/및 재질의 도료가 도포될 수도 있을 것이다.

이제까지, 본 명세서에서 본 발명의 실시예들을 참조하여 로봇 암, 수술 도구, 내시경 카메라 등이 그 위치를 유지하는 상태에서 수술자의 직관적 수술이 가능하도록 화상 이미지가 소프트웨어적으로 회전되어 표시되도록 하는 방법을 중심으로 설명하였다. 나아가, 로봇 암이 내시경 카메라를 그 연장된 방향을 축으로 하여 회전시키더라도 동등한 작용 효과를 획득할 수 있다. 이러한 경우에도 본 발명의 기술적 사상이 동일하게 적용될 수 있으므로, 이에 대한 구체적인 설명은 생략한다.

상술한 복강경 수술 로봇 시스템의 제어 방법은 소프트웨어 프로그램 등으로 구현될 수도 있다. 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명 의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 수술용 로봇의 전체구조를 나타낸 평면도.

도 2는 본 발명의 일 실시예에 따른 수술용 로봇의 마스터 인터페이스를 나타낸 개념도.

도 3은 본 발명의 일 실시예에 따른 마스터 로봇과 슬레이브 로봇의 구성을 개략적으로 나타낸 블록 구성도.

도 4a는 본 발명의 일 실시예에 따른 화상 이미지의 표시 형태 조정 과정을 나타낸 화면 표시의 예시도.

도 4b는 본 발명의 일 실시예에 따른 회전되지 않은 원(original) 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면.

도 4c 및 4d는 종래 기술에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 각각 예시한 도면.

도 4e는 본 발명의 일 실시예에 따른 180도 회전된 화상 이미지를 참조하여 수행되는 암 조작부의 조작 방법을 예시한 도면.

도 4f 내지 도 4i는 본 발명의 각 실시예에 따른 화상 이미지의 회전에 따른 방향 지시자 표시 방법을 예시한 도면.

도 4j 내지 도 4k는 본 발명의 각 실시예에 따른 화상 이미지의 반전에 따른 주의 정보 표시 방법을 예시한 도면.

도 5는 본 발명의 일 실시예에 따른 표시화면 제어 방법을 나타낸 순서도.

<도면의 주요 부분에 대한 부호의 설명>

1: 마스터 로봇 2: 슬레이브 로봇

3: 로봇 암 4: 마스터 인터페이스

5: 복강경 6: 모니터

10: 핸들 14: 클러치 버튼

30: 페달 310: 영상 입력부

320: 화면 표시부 330: 암 조작부

340: 조작신호 생성부 350: 화면회전 조작부

360: 제어부

Claims

수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브(slave) 로봇을 제어하는 마스터(master) 로봇에 장착되는 인터페이스(interface)로서,

수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 화면 표시부;

상기 둘 이상의 로봇 암을 각각 제어하기 위해 구비되는 둘 이상의 암 조작부; 및

사용자 조작에 따라 상기 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 상기 로봇 암의 제어 조건이 갱신되도록 제어하는 제어부를 포함하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 암 조작부에 대한 사용자 조작에 따른 조작신호를 생성하여 상기 슬레이브 로봇으로 전송하고, 상기 제어 조건의 갱신을 위해 로봇 암 및 수술도구 중 하나 이상에 대한 위치 조정과 로봇 암 각각에 대응되는 암 조작부 변경 중 하나 이상에 대한 조작신호를 생성하여 상기 슬레이브 로봇으로 전송하는 조작신호 생성부를 더 포함하는 수술용 로봇의 마스터 인터페이스.
제2항에 있어서,

상기 조작신호 생성부는 디스플레이 기반 수술도구 제어(Display-based Instrument control)에 따른 암 조작부 변경을 수행하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제3항에 있어서,

상기 디스플레이 기반 수술도구 제어는 상기 회전된 화상 이미지 내에서 우측에 위치한 수술도구가 수술자의 우측에 위치한 암 조작부에 의해 조작되고, 좌측에 위치한 수술도구가 수술자의 좌측에 위치한 암 조작부에 의해 조작되도록 갱신하는 조작신호를 생성하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제4항에 있어서,

상기 조작신호 생성부는 상기 위치 조정을 위한 사용자 조작에 대해 상기 화상 이미지의 회전 여부에 관계없이 일정한 방향으로 로봇 암 및 수술도구 중 하나 이상이 위치 조정되도록 하는 조작 신호를 생성하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제2항에 있어서,

상기 조작신호 생성부는 상기 화상 이미지의 회전각에 부합하여 상기 수술도구가 상기 화상 이미지 내에서 회전 이동하여 위치하도록 하는 조작신호를 생성하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 사용자 조작은 사용자 음성에 의한 조작이며,

상기 제어부는 상기 사용자 음성을 입력받아 인식 및 해석한 후 미리 지정된 방향으로 상기 화상 이미지가 회전되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 제어부는 수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의한 회전각을 연산하고, 상기 연산된 회전각에 부합하도록 상기 화상 이미지가 회전되어 디스플레이되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제8항에 있어서,

상기 수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 상기 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 화상 이미지가 미리 지정된 방향으로 회전하도록 하는 상기 사용자 조작을 입력받기 위한 화면회전 조작부를 더 포함하는 수술용 로봇의 마스터 인터페이스.
제10항에 있어서,

상기 화상 이미지는 상기 화면회전 조작부의 조작 횟수에 비례하여 미리 지정된 회전각만큼 회전하여 디스플레이되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제10항에 있어서,

상기 화상 이미지는 상기 화면회전 조작부의 지속적인 조작 유지 시간 동안 일정한 회전 속도로 미리 지정된 회전 방향으로 회전되어 디스플레이되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제10항에 있어서,

상기 화면회전 조작부는 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 로봇 암의 복수 개소에 위치 감지 센서가 구비되고, 상기 제어부는 각 위치 감지 센서에 의한 센싱값을 이용하여 상기 로봇 암의 연장 방향을 인식하여 상기 화상 이미지의 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제15항에 있어서,

상기 제어부는 상기 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향을 향하여 위치되도록 상기 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 제어부는 천정에 구비된 카메라에 의해 촬영된 이미지를 해석하여 인식된 상기 로봇 암의 연장 방향을 이용하여 상기 화상 이미지의 회전각을 연산하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제17항에 있어서,

상기 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제8항, 제9항, 제11항, 제15항 및 제17항 중 어느 한 항에 있어서,

상기 회전각에 부합하여 회전된 상기 화상 이미지가 디스플레이되도록 하기 위하여 상기 제어부는 상기 수술용 내시경을 그 연장된 방향을 축으로 하여 회전시키는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 제어부는 상기 화면 표시부를 통해 상기 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 더 표시되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제20항에 있어서,

상기 방향 지시자는 방향을 지시하는 하나 이상의 문자, 상기 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 중 하나 이상으로 구성되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 제어부는 상기 화상 이미지가 반전되어 디스플레이되도록 제어하는 경우, 상기 화면 표시부를 통해 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어하는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제22항에 있어서,

상기 화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제22항에 있어서,

상기 주의적 정보는 상기 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지인 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
제1항에 있어서,

상기 슬레이브 로봇과 상기 마스터 로봇은 일체형으로 통합되어 구성되는 것을 특징으로 하는 수술용 로봇의 마스터 인터페이스.
수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서,

수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계;

상기 화상 이미지의 회전 또는 반전을 지시하기 위한 조작명령을 입력받는 단계; 및

상기 조작명령에 따라 상기 화상 이미지가 미리 지정된 방향으로 회전 또는 반전되어 디스플레이되도록 제어하고, 회전 또는 반전된 화상 이미지에 부합하도록 상기 로봇 암의 제어 조건이 갱신되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법.
삭제
삭제
삭제
삭제
삭제
제26항에 있어서,

상기 조작명령의 입력 횟수에 비례하여 상기 화상 이미지의 회전각이 결정되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 조작명령의 지속적인 입력 유지 시간에 비례하여 상기 화상 이미지의 회전각이 결정되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 조작명령을 입력받는 단계는,

사용자 음성을 입력받는 단계; 및

상기 입력된 사용자 음성을 인식 및 해석하여 상기 조작명령을 생성하는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 조작명령은 페달, 클러치 버튼, 음성 인식 장치 중 어느 하나를 통해 입력되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 조작명령을 입력받는 단계는,

상기 둘 이상의 로봇 암의 복수 개소에 구비된 위치 감지 센서로부터 센싱 값을 각각 입력받는 단계;

상기 입력된 센싱값들을 이용하여 로봇 암들의 연장 방향을 인식하여 상기 화상 이미지를 회전하기 위한 회전각을 연산하는 단계; 및

상기 연산된 회전각을 상기 조작명령으로서 입력받는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제37항에 있어서,

상기 회전각은 하나 이상의 로봇 암의 연장 방향의 앞쪽이 표시 화면상 소정의 방향을 향하여 위치되도록 하는 값으로 연산되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 조작명령을 입력받는 단계는,

천정에 구비된 카메라에 의해 촬영된 이미지를 입력받는 단계;

상기 입력된 이미지를 해석하여 인식된 로봇 암들의 연장 방향을 이용하여 상기 화상 이미지를 회전하기 위한 회전각을 연산하는 단계; 및

상기 연산된 회전각을 상기 조작명령으로서 입력받는 단계를 포함하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제39항에 있어서,

상기 로봇 암의 전체 영역, 상부 영역 및 복수 개소 중 어느 하나에 미리 지정된 색상, 미리 지정된 재질 중 하나 이상의 도료가 도포되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제32항, 제33항, 제37항 및 제39항 중 어느 한 항에 있어서,

상기 회전각에 부합하여 회전된 상기 화상 이미지가 디스플레이되도록 하기 위하여 상기 수술용 내시경이 그 연장된 방향을 축으로 하여 회전되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 제어하는 단계에서,

상기 화상 이미지의 회전에 따른 정보를 나타내는 방향 지시자가 디스플레이되도록 제어되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제42항에 있어서,

상기 방향 지시자는 방향을 지시하는 하나 이상의 문자, 상기 화상 이미지의 회전에 부합하여 회전되는 입체 도형, 하나 이상의 블록을 포함하는 입체도형의 전개도, 나침반 중 하나 이상으로 구성되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항에 있어서,

상기 화상 이미지가 미리 지정된 방향으로 반전되어 디스플레이되도록 제어하는 단계에서, 방향 지시자, 경고 메시지, 주의적 정보 중 하나 이상이 더 표시되도록 제어되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제44항에 있어서,

상기 화상 이미지의 반전은 좌우 반전 또는 상하 반전 중 어느 하나인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제44항에 있어서,

상기 주의적 정보는 상기 화상 이미지에 대한 미리 지정된 색상의 테두리 이미지인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
수술도구가 각각 장착되는 둘 이상의 로봇 암을 포함하는 슬레이브 로봇을 제어하는 마스터 로봇에서 수행되는 수술 로봇 시스템의 제어 방법으로서,

수술용 내시경으로부터 입력되는 영상 신호에 상응하는 화상 이미지를 디스플레이하는 단계;

수술 도구 기반 디스플레이 제어(Instrument-based display control)에 의해 상기 화상 이미지의 회전각을 연산하는 단계; 및

상기 연산된 회전각에 따라 상기 화상 이미지가 회전하여 디스플레이되도록 제어하는 단계를 포함하는 수술 로봇 시스템의 제어 방법.
제47항에 있어서,

상기 수술 도구 기반 디스플레이 제어는 두 개의 수술 도구가 빗변이 되는 가상의 사다리꼴 또는 사각형을 형성한 후 사다리꼴 또는 사각형의 윗변 또는 아랫변이 표시 화면의 수평면과 오차 범위 이내에서 평행하도록 하는 상기 회전각을 연산하는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제47항에 있어서,

상기 수술용 내시경은 복강경, 흉강경, 관절경, 비경 중 하나 이상인 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제47항에 있어서,

상기 회전각에 부합하여 회전된 상기 화상 이미지가 디스플레이되도록 하기 위하여 상기 수술용 내시경이 그 연장된 방향을 축으로 하여 회전되는 것을 특징으로 하는 수술 로봇 시스템의 제어 방법.
제26항, 제32항 내지 제40항 및 제42항 내지 제50항 중 어느 한 항에 기재된 수술 로봇 시스템의 제어 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.