KR20110055062A

KR20110055062A - 로봇 시스템 및 그 제어 방법

Info

Publication number: KR20110055062A
Application number: KR1020090111930A
Authority: KR
Inventors: 황원준; 한우섭
Original assignee: 삼성전자주식회사
Priority date: 2009-11-19
Filing date: 2009-11-19
Publication date: 2011-05-25
Also published as: US20110118877A1

Abstract

본 발명은 사용자로부터 제스처를 입력받고, 사용자의 제스처가 제1제스처로 인식되면 제1제스처의 위치를 기준 위치로 설정하고, 사용자의 제스처가 제2제스처로 인식되면 기준 위치에서 제2제스처의 이동 방향을 판단하고, 판단된 이동 방향에 대응하는 로봇의 동작 명령을 인식한다.

본 발명은 로봇에게 명령을 지시하기 위해 사용자가 제스처를 취할 때 제1제스처 위치를 기준 위치로 설정하고, 이 기준 위치를 기준으로 제2제스처의 상대적 거리 및 방향을 판단하여 로봇의 이동 방향, 시점 변경, 이동 속도, 시점 변경 속도를 제어함으로써 로봇의 움직임을 미세하게 조정할 수 있다. 또한 사용자의 각 손은 적어도 두 개의 단순한 제스처를 취하여 로봇의 이동 및 시점 등의 모션을 제어할 수 있다. 이에 따라 다양한 제스처 종류를 모두 기억해야 하는 사용자의 어려움을 감소시킬 수 있고, 제스처 인식의 정확도를 높일 수 있고 나아가 로봇의 이동 및 시점 변경 등의 모션의 제어 정확도를 높일 수 있다.

Description

로봇 시스템 및 그 제어 방법{Robot system and method for controlling the same}

본 발명은 사용자로부터 인식된 동작을 기초로 신속하게 모션을 수행하여 사용자와의 원활한 인터페이스를 위한 로봇 시스템 및 그 제어 방법에 관한 것이다.

로봇은 사용자의 명령에 대응하여 이동 또는 모션을 수행하는 기계로, 산업, 군사용, 서비스 제공 로봇 등이 있다.

여기서 사용자의 명령 지시는, 키보드, 조이스틱이나 마우스 등의 입력장치를 이용하거나, 음성 또는 박수 소리와 같은 특정한 소리를 이용하거나, 또는 사용자의 제스처(gesture), 뇌파, 안전도 및 근전도 등을 이용한다.

로봇에 명령을 지시하기 위해 키보드, 조이스틱, 마우스 등의 입력장치를 이용하는 경우에는 사용자가 직접 입력장치를 조작해야 하기 때문에 불편함이 있고, 사용자가 명령을 위한 각종 명령어를 기억하고 있어야 하는 문제가 있다.

그리고 뇌파, 안전도 및 근전도를 이용하여 로봇에 명령을 지시하는 것은, 사용자가 뇌파, 안전도 및 근전도를 측정하기 위한 장비를 착용해야 하는 불편함이 있다. 즉, 뇌파를 측정하기 위한 전극을 사용자의 이마에 부착하거나, 안전도를 측 정하기 위한 안경이나 헬맷형 측정기를 착용하거나, 근전도 측정을 위한 쌍극전극을 사용자의 어깨나 목 근육에 부착해야 하는 불편함이 있다.

그리고 제스처를 이용하여 로봇에게 명령을 지시하는 것은, 사용자의 제스처를 촬영하고 촬영된 제스처를 인식하여 인식된 결과에 대응하는 명령을 인식하기 때문에 사용자가 입력장치를 직접 조작하거나 사용자가 불편한 장비를 착용하지 않아도 되어 사용자의 편의성이 증대되고, 사용자와 로봇 간의 인터페이스가 자연스런 상호 작용이 가능해진다.

이에 따라 사용자의 제스처(Gesture)를 이용하여 로봇에 명령을 지시하는 제스처 인식을 통한 명령 지시 방법이 로봇의 이동 및 모션을 제어할 수 있는 새로운 휴먼-로봇 인터페이스(Human-Robot Interface)가 각광받고 있는 실정이다.

하지만 사용자의 제스처(Gesture)를 이용하여 로봇에 명령을 지시하는 경우, 제스처의 종류가 많아 사용자가 제스처에 대응한 정확한 손의 모양 정보나 움직임 정보를 추출하는데 많은 오류가 발생하여 실질적으로 사용자의 제스처 인식 결과에 따른 로봇과의 인터페이스가 원활하지 못한 문제점이 있다.

또한 사용자가 각 제스처에 대응하는 로봇 제어 명령을 일일이 기억해야 하는 불편함이 있고, 사용자가 제스처를 잘못하면 사용자의 제스처가 로봇 제어와 직관적으로 연결되지 않아 로봇이 오동작을 하게 되는 문제점이 있다.

이에 따라 기존의 로봇 시스템의 구성을 크게 변경하지 않으면서 사용자의 제스처에 의한 명령을 용이하고 정확하게 인식할 수 있는 시스템이 요구된다.

일 측면에 따르면 사용자의 제스처를 입력받는 사용자 단말기; 입력된 제스처를 통해 기준 위치를 설정하는 제1제스처와, 로봇의 동작을 지시하는 제2제스처를 인식하고, 기준 위치에서 제2제스처의 이동방향에 대응하는 명령을 인식하는 서버; 명령에 대응하는 동작을 수행하는 로봇을 포함한다.

사용자의 한 손의 제1제스처 및 제2제스처는 로봇의 이동 방향을 지시하고, 사용자의 다른 한 손의 제1제스처 및 제2제스처는 로봇의 시점 변경을 지시한다.

서버는, 기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고, 판단된 거리에 기초하여 로봇의 이동 속도를 제어한다.

서버는, 기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고, 판단된 거리에 기초하여 로봇의 시점의 변경 속도를 제어한다.

서버는, 기준 위치에서 제2제스처의 이동 방향에 대응하여 로봇의 시점의 줌배율을 변경한다.

로봇은 주변 환경을 촬영하고, 사용자 단말기는 로봇의 주변 영상을 표시하고, 사용자는 로봇 주변 영상에 기초하여 로봇의 동작을 지시한다.

서버는, 제1제스처가 재인식되면 재인식된 제1제스처가 취해진 위치를 기준 위치로 재설정한다.

다른 측면에 따르면 사용자로부터 제스처를 입력받고, 사용자의 제스처가 제1제스처로 인식되면 제1제스처의 위치를 기준 위치로 설정하고, 사용자의 제스처가 제2제스처로 인식되면 기준 위치에서 제2제스처의 이동 방향을 판단하고, 판단된 이동 방향에 대응하는 로봇의 동작 명령을 인식한다.

로봇의 동작 명령을 로봇으로 전송하고, 명령에 기초하여 로봇의 동작 제어를 수행한다.

로봇을 통해 로봇 주변의 영상을 촬영하여 출력하고, 로봇의 주변 영상에 기초하여 제스처를 입력한다.

제1제스처와 제2제스처는, 로봇의 이동 제어를 지시하기 위한 사용자의 두 손 중 어느 하나의 손에 취해진 제1제스처 및 제2제스처와, 로봇의 시점 변경을 지시하기 위한 다른 하나의 손에 취해진 제1제스처 및 제2제스처를 가진다.

기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고, 판단된 거리에 기초하여 로봇의 이동 속도를 제어한다.

기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고, 판단된 거리에 기초하여 로봇의 시점의 변경 속도를 제어한다.

로봇의 변경을 지시하는 것은, 제2제스처의 이동 방향에 대응하여 줌배율의 변경을 지시하는 것을 포함한다.

제1제스처가 재인식되면 재인식된 제1제스처가 취해진 위치를 기준 위치로 재설정하는 것을 더 포함한다,

제스처를 입력받는 것은, 사용자가 추출되는지 판단하는 것을 더 포함한다.

일 측면에 따르면 로봇에게 명령을 지시하기 위해 사용자가 제스처를 취할 때 제1제스처의 위치를 기준 위치로 설정하고, 이 기준 위치를 기준으로 제2제스처의 상대적 방향 및 거리를 판단하여 로봇의 이동 방향, 시점 변경, 이동 속도, 시점 변경 속도를 제어함으로써 로봇의 움직임을 미세하게 조정할 수 있다.

다른 측면에 따르면 사용자의 두 손의 기능을 분리하여 어느 한 손을 통해 로봇의 이동을 제어하기 위한 명령을 지시하도록 하고 다른 한 손을 통해 로봇의 시점을 제어하기 위한 명령을 지시하도록 함으로써 사용자와 로봇 간의 직관(Intuitive)적인 인터페이스를 제공할 수 있다.

또한 각 손은 적어도 두 개의 단순한 제스처를 취함으로써 로봇의 이동 및 시점 등의 모션을 제어할 수 있어 다양한 제스처 종류를 모두 기억해야 하는 사용자의 어려움을 감소시킬 수 있고, 제스처 인식의 정확도를 높일 수 있고 나아가 로봇의 이동 및 시점 등의 모션 제어 정확도를 높일 수 있다.

또한 사용자가 별도의 장치를 장착하지 않고 제스처 만을 이용하여 원격에서 로봇의 동작을 제어할 수 있어 사용자의 편의성을 향상시킬 수 있다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.

도 1은 일 실시예에 따른 로봇 시스템의 구성도로서, 간단한 제스처를 이용하여 직관적으로 로봇의 동작을 제어하기 위한 로봇 시스템은 사용자 단말기(10), 서버(20) 및 로봇(30)을 포함한다.

사용자 단말기(10)는 로봇 주변의 영상을 출력하고, 사용자가 로봇 주변의 영상에 기초하여 제스처를 취하면 이 제스처를 입력받아 서버(20)로 전송한다. 이 를 구체적으로 설명하도록 한다.

사용자 단말기(10)는 입력부(11), 제1제어부(12), 표시부(13), 제1통신부(14)를 포함한다.

입력부(11)는 로봇의 동작을 제어하기 위한 사용자의 명령을 입력받는다.

이러한 입력부(11)는 로봇의 동작을 제어하기 위한 사용자의 명령으로 사용자의 제스처를 입력받는다. 즉, 입력부(11)는 제스처 인식이 가능한 제스처 인식 영역에 위치한 사용자를 촬영하여 제1제어부(12)로 전송한다.

여기서 제스처 인식 영역에 위치한 사용자를 촬영하는 입력부(11)는, 3차원 깊이(3D Depth) 및 2차원 픽셀 정보를 동시에 입력할 수 있는 전하 결합 소자(CCD) 카메라, 적외선(IR) 카메라, TOF 카메라, Z-Cam 중 어느 하나이다.

아울러 입력부(11)는 제스처 인식 영역에 위치한 사용자의 존재 여부를 판단하기 위해 인체 감지 센서를 더 포함하고, 이에 따라 인체 감지 센서에 의해 사용자의 존재가 감지되면 사용자 단말기의 각 구성부의 동작이 수행되도록 하는 것도 가능하다.

제1제어부(12)는 입력부(11)로부터 전송된 영상을 영상처리하고, 이때 3차원 깊이 맵(3D Depth Map)을 이용하여 사람 형상 추출을 수행함으로써 제스처 인식 영역에 위치한 사용자의 존재 여부를 판단한다.

제1제어부(12)는 얼굴 인식을 수행하여 추출된 사람이 등록된 사용자인지 판단하고, 추출된 사람이 등록된 사용자가 아니라고 판단되면 로봇(30)의 동작을 제어할 수 없음을 표시부(13)를 통해 표시되도록 제어하고, 추출된 사람이 등록된 사 용자라고 판단되면 입력부(11)로부터 전송된 영상을 서버(20)로 전송한다. 이때 제1제어부(12)는 로봇에게 명령을 지시하는 제스처 대상이 되는 부분을 검출하여 검출된 부분을 포함한 영상을 서버(20)로 전송하는 것이 가능하다.

아울러, 제1제어부(12)는 입력부(11)를 통해 복수의 사람이 촬영된 경우 복수 사람의 얼굴 인식을 통하여 등록된 사용자를 판단하는 것이 가능하고, 등록된 사용자가 적어도 둘 이상인 경우 등록된 사용자 간의 우선 순위에 기초하여 가장 우선 순위에 있는 사용자의 영상을 서버(20)로 전송하는 것이 가능하다. 이때 등록된 사용자에 따른 우선 순위가 미리 저장되어 있다.

여기서 로봇에게 명령을 지시하는 제스처 대상이 되는 부분을 검출하는 것은, 2차원 및 3차원 깊이 맵을 이용하여 손, 손목을 검출하고, 이때 얼굴도 함께 검출하여 제스처 대상 부분인 손과 사용자의 얼굴을 포함하는 사용자의 상체 영상을 서버(20)로 전송하는 것이 가능하다.

제1제어부(12)는 제1통신부(14)를 통해 수신된 로봇(30)의 주변 영상이 표시부(13)를 통해 표시되도록 표시부(13)의 동작을 제어한다.

표시부(13)는 제1제어부(12)의 지시에 따라 로봇(30)의 주변 영상을 출력하고, 로봇(30) 이동 시 로봇(30)의 이동에 따른 해당 주변의 영상을 출력한다. 아울러, 입력부(11)를 통해 추출된 사용자가 등록된 사용자가 아니면 제어부(12)의 지시에 따라 로봇(30)의 동작 제어를 수행할 수 없음을 표시한다.

여기서 표시부(13)는 텔레비전(TV), PC, 노트북 등의 모니터(Monitor), 휴대 단말기의 모바일 디스플레이(Mobile Display) 중 어느 하나인 것이 가능하다.

제1통신부(14)는 제1제어부(12)의 지시에 따라 입력부(11)를 통해 촬영된 영상을 서버(20)의 제2통신부(21)로 송신하고, 서버(20)의 제2통신부(21)로부터 로봇의 주변 영상을 수신하여 제1제어부(12)로 전송한다.

이때 제1통신부(14)와 서버(20)의 제2통신부(21)는 유선 또는 무선 통신으로 연결되어 있어, 이 유선 또는 무선 통신을 통해 사용자의 영상을 송수신 및 로봇 주변의 영상을 송수신한다.

서버(20)는 사용자 단말기(10)로부터 전송된 영상 중에서 사용자의 제스처를 인식하고, 인식된 제스처에 대응하는 명령을 인식하여 로봇(30)으로 전송한다. 이를 구체적으로 설명하도록 한다.

제2통신부(21)는 사용자 단말기(10)의 제1통신부(14)와 유무선 통신을 수행하여, 사용자 단말기(10)의 제1통신부(14)로부터 수신된 영상을 제2제어부(22)로 전송한다.

제2통신부(21)는 로봇(30)의 제3통신부(31)와 유무선 통신을 수행하여 제2제어부(22)의 지시에 따라 제스처에 대응하는 명령을 로봇(30)의 제3통신부(31)로 송신하고, 로봇(30)의 제3통신부(31)로부터 수신된 로봇 주변의 영상을 제1통신부(14)로 송신한다.

이러한 제2통신부(21)는 로봇(30)의 제3통신부(31)와 무선 통신이 가능하여, 로봇(30)과 사용자 단말기(10) 간의 원격 통신이 가능하고 또한 로봇(30)과 서버(20) 간의 원격 통신이 가능하여, 사용자가 원격에서 로봇을 제어하는 것이 가능하다.

제2제어부(22)는 2차원 및 3차원 깊이 맵을 이용하여 사용자의 손의 방향 및 모양을 인식한다. 즉, 사용자의 두 손 중 어느 손이 제1제스처를 취했는지 제2제스처를 취했는지 판단한다. 그리고 제2제어부(22)는 사용자의 상체 영상에서 제1제스처가 취해진 위치를 기준 위치로 설정하고, 설정된 기준 위치에서 제2제스처가 취해진 위치까지의 상대적 방향 및 거리를 산출하고, 산출된 방향 및 거리에 기초하여 로봇의 이동 방향, 시점 변경 방향, 이동 속도, 시점 변경 속도를 결정하고, 결정된 결과에 대응하는 로봇의 명령을 인식하여 로봇(30)으로 전송한다.

도 2 내지 도 7을 참조하여 좀 더 구체적으로 설명하도록 한다.

사용자의 두 손 중 왼 손은 로봇의 전후좌우 이동 방향을 지시하고, 오른 손은 로봇의 상하좌우 시점 변경 방향 및 로봇 시점의 줌배율을 지시하는 경우를 예를 들어 설명하도록 한다.

도 2는 사용자의 왼 손으로 제1제스처(즉, 주먹)를 취하면 제1제스처의 3차원 포인트를 기준 위치로 설정하고, 이 후 제2제스처(즉, 보)를 취하면 제2제스처가 취해진 위치의 방향을 로봇의 이동 방향으로 판단하고 이에 대한 명령을 인식한다. 즉, 왼손에 의한 제1제스처에서 제2제스처의 상대적인 방향이 로봇의 이동 방향이 되고, 이 방향으로의 이동에 대한 명령을 인식하여 로봇으로 전송한다.

좀 더 구체적으로 설명하면 사용자의 몸을 기준으로 좌우를 X축, 상하를 Y축, 앞뒤를 Z축이라 했을 때, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 앞인 Z축 방향으로 취해지면 로봇의 전진 이동 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 뒤인 Z축 방향으로 취해지면 로봇의 후진 이동 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 좌측인 X축 방향으로 취해지면 로봇의 좌 회전 및 이동 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 우측인 X축 방향으로 취해지면 로봇의 우 회전 및 이동 명령으로 인식한다.

그리고 사용자에 의해 제1제스처가 다시 취해지면 제1제스처가 다시 취해진 위치를 기준 위치로 재설정하고, 재설정된 기준 위치를 기준으로 제2제스처의 상대적 방향 및 거리에 대응하는 로봇의 이동 명령을 인식한다.

도 3은 사용자의 오른 손으로 제1제스처(즉, 주먹)가 취해진 위치를 기준 위치로 설정하고, 제2제스처(즉, 보)가 취해진 위치를 로봇의 시점 변경 방향으로 인식한다. 즉, 오른 손에 의한 제1제스처에서 제2제스처의 상대적인 방향은 로봇의 시점 변경 방향이 되고, 이 방향으로의 시점 변경에 대한 명령을 인식하여 로봇으로 전송한다.

사용자의 몸을 기준으로 좌우를 X축, 상하를 Y축, 앞뒤를 Z축이라 했을 때, 오른 손에 의해 제1제스처가 취해진 위치에서 제2 제스처가 사용자 앞인 Z축 방향으로 취해지면 로봇의 시점 확대 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 뒤인 Z축 방향으로 취해지면 로봇의 시점 축소 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 좌측인 X축 방향으로 취해지면 로봇의 시점 좌측 변경 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 우측인 X축 방향으로 취해지면 로봇의 시점 우측 변경 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 상측인 Y축 방향 으로 취해지면 로봇의 시점 상측 변경 명령으로 인식하고, 제1제스처가 취해진 위치에서 제2 제스처가 사용자 하측인 Y축 방향으로 취해지면 로봇의 시점 하측 변경 명령으로 인식한다.

사용자의 오른 손을 통해 제1제스처가 다시 취해지면 제1제스처가 다시 취해진 위치를 기준 위치로 재설정하고, 재설정된 기준 위치를 기준으로 제2제스처의 상대적 방향 및 거리에 대응하는 로봇 시점 변경 명령을 인식한다.

도 4에 도시된 바와 같이, 사용자의 왼 손의 제1제스처가 취해진 기준 위치(A)에서 제2제스처가 취해진 제1위치(B) 또는 제2위치(C)까지 이동시키는 것이 가능하다. 이때 기준 위치에서 제2제스처가 취해진 위치까지의 거리에 대응하는 속도로 로봇을 이동시킨다.

즉, 사용자의 왼 손의 제1제스처가 취해진 기준 위치(A)에서 제2제스처가 취해진 위치(B)까지의 거리에 대응하는 제1속도로 로봇을 이동시키고, 사용자의 왼 손의 제1제스처가 취해진 기준 위치(A)에서 제2제스처가 취해진 위치(C)까지의 거리에 대응하는 제2속도로 로봇을 이동시킨다. 이때 기준 위치(A)에서 위치(B)까지의 거리보다 기준 위치(A)에서 위치(C)까지의 거리가 더 멀기 때문에 제1속도보다 제2속도가 더 빠르게 설정되어 있다.

도 5에 도시된 바와 같이, 사용자의 왼 손의 제1제스처(즉, 주먹)가 취해진 기준 위치에서 앞으로 제2제스처(즉, 보)가 취해지면 로봇의 전진 이동 명령으로 인식하고, 로봇이 전진하고 있는 상태에서 제2제스처를 취한 손을 좌측 또는 우측으로 이동시켜 기준 위치로부터 제2제스처를 취한 손의 위치를 좌측 또는 우측으로 변경하면 로봇의 좌우 이동 방향 변경 명령으로 인식한다.

여기서 기준 위치를 기준으로 제2제스처의 좌우 이동 각도가 커지면 로봇의 좌우 회전 각도도 커진다.

도 6에 도시된 바와 같이 X축은 사용자의 오른쪽을 의미하고, Z축은 사용자의 앞을 의미하고, 이때 로봇이 정면 기준

만큼 좌 측으로 회전한 후 전진하게 된다.

이때 기준 위치를 기준으로 상대적 거리(a)는

에 의해 산출되고, 이때 산출된 거리(a)에 기초하여 로봇의 이동 속도를 결정하는 것이 가능하다.

도 7은 사용자의 오른 손의 제1제스처가 취해진 기준 위치(A)에서 제2제스처가 취해진 제1위치(B) 또는 제2위치(C)까지 이동시키는 것이 가능하다. 이때 기준 위치에서 제2제스처가 취해진 위치까지의 거리에 대응하는 속도로 로봇의 시점을 변경한다.

즉, 사용자의 오른 손의 제1제스처(즉, 주먹)가 취해진 기준 위치(A)에서 제2제스처(즉, 보)가 취해진 위치(B)까지의 거리에 대응하는 제1속도로 로봇의 시점을 변경하고, 사용자의 오른 손의 제1제스처가 취해진 기준 위치(A)에서 제2제스처가 취해진 위치(C)까지의 거리에 대응하는 제2속도로 로봇의 시점을 변경한다. 이때 기준 위치(A)에서 위치(B)까지의 거리보다 기준 위치(A)에서 위치(C)까지의 거 리가 더 멀기 때문에 제1속도보다 제2속도가 더 빠르게 설정되어 있다.

이와 같이 제1제스처와 제2제스처의 상대적 방향을 이용하여 로봇의 동작을 제어함으로써 로봇의 동작을 미세 조정할 수 있다. 또한 제1제스처와 제2제스처의 상대적 거리를 이용하여 로봇의 동작 제어 속도를 조절할 수 있다.

저장부(23)는 사용자의 두 손 중 어느 하나의 손의 제1제스처 및 제2제스처가 로봇의 전후좌우 이동 방향을 지시하는 제스처로 저장되어 있고, 다른 손의 제1제스처 및 제2제스처가 로봇의 상하좌우 시점 방향 지시 및 시점의 확대, 축소를 지시하는 제스처로 저장되어 있다.

그리고 저장부(23)는 하나의 손의 제1제스처가 취해진 위치에서 제2제스처가 취해진 위치까지의 거리에 대응하는 이동 속도가 미리 저장되어 있고, 다른 하나의 손의 제1제스처가 취해진 위치에서 제2제스처가 취해진 위치까지의 거리에 대응하는 시점 변경 속도가 미리 저장되어 있다.

또한 저장부(23)는 다른 하나의 손의 제1제스처가 취해진 위치에서 제2제스처가 취해진 위치까지의 거리에 대응하는 확대 또는 축소 배율이 미리 저장되어 있다.

아울러 저장부(23)는 메뉴 디스플레이를 지시하기 위한 어느 하나의 손의 제스처 및 로봇 시점에서 보이는 물체와의 상호작용 명령을 지시하기 위한 다른 하나의 손의 제스쳐가 더 저장되어 있다.

즉, 서버(20)의 제2제어부(22)는, 사용자의 제스처를 인식하고, 인식된 제스처가 사용자의 두 손 중 어느 손에 의해서 취해졌는지 판단한다. 이때 사용자의 왼 손에 의한 메뉴 디스플레이 제스처로 인식되면 메뉴 디스플레이 명령을 인식하여 메뉴 디스플레이를 지시하고, 오른 손에 의한 물체와의 상호작용 제스처로 인식되면 로봇 시점에서 보이는 물체와의 상호작용을 지시한다.

좀 더 구체적으로, 서버(20)의 제2제어부(22)는 왼손에 의한 흔들기 제스처가 인식되면 메뉴 디스플레이 명령을 인식하여 로봇 행동 메뉴가 출력되도록 하고, 왼손에 의한 상측 이동 제스처가 인식되면 메뉴 상측 명령을 인식하여 메뉴가 위로 이동되도록 하고, 왼손에 의한 하측 이동 제스처가 인식되면 메뉴 하측 명령을 인식하여 메뉴가 아래로 이동되도록 하고, 왼손에 의한 주먹과 보의 반복 제스처가 인식되면 메뉴 선택 명령을 인식하여 어느 하나의 메뉴가 선택되도록 한다. 이때 서버(20)의 제2제어부(22)는 로봇 행동 메뉴가 사용자 단말기(10)를 표시되도록 제어한다.

그리고 서버(20)의 제2제어부(22)는 오른 손에 의한 포인팅 제스처가 인식되면 포인팅 명령을 인식하여 로봇에 전송함으로써 로봇에서 촬영된 주변 영상 중 어느 하나의 물체를 지정하도록 하고, 잡기 제스처가 인식되면 잡기 명령을 인식하여 로봇에 전송함으로써 로봇의 손 구동부(36)의 구동에 의해 물체를 잡도록 하며, 놓기 제스처가 인식되면 놓기 명령을 인식하여 로봇에 전송함으로써 로봇의 손 구동부(36)의 구동에 의해 물체를 놓도록 하고, 던지기 제스처가 인식되면 던지기 명령을 로봇에 전송함으로써 로봇의 손 구동부(36)의 구동에 의해 쥐고 있는 물체를 던지도록 한다.

아울러, 서버(20)는 사용자 단말기(10)로부터 전송된 영상을 분석하여 제스 처 인식 영역의 사용자의 존재 여부 판단, 사용자의 등록 여부 판단, 사용자의 상체 추출을 수행하는 것도 가능하다. 이때 사용자 단말기(10)는 촬영된 영상만을 서버(20)로 전송한다.

또는 사용자 단말기(10)의 구성에 서버(20)가 포함되어 있어, 서버(20)에서 이루어지는 제스처 인식, 인식된 제스처에 대응하는 명령 인식이 사용자 단말기(10)에서 모두 수행되는 것이 가능하다. 이때, 사용자 단말기(10)를 통해 로봇(30)의 동작을 직접 제어하는 것도 가능하다.

로봇(30)은 서버(20)에서 전송된 명령에 기초하여 각 구동부를 구동시킴으로써 이동 및 시점을 변경시키고, 이동된 위치 및 변경된 시점의 영상을 촬영하여 서버(20)를 통해 사용자단말기(10)로 전송한다. 이를 구체적으로 설명하도록 한다.

제3통신부(31)는 서버(20)의 제2통신부(21)로부터 명령을 수신하여 제3제어부(32)로 전송하고, 제3제어부(32)의 지시에 따라 로봇 주변의 영상을 서버(20)의 제2통신부(21)를 통해 사용자단말기(10)로 전송한다.

제3제어부(32)는 제3통신부(31)를 통해 전송된 명령에 따라 다리 구동부(33), 머리 구동부(34), 손 구동부(36)의 동작을 제어하고 제3통신부(31)로 영상 수집부(35)에서 수집된 로봇 주변의 영상의 전송을 지시한다.

다리 구동부(33)는 제3제어부(32)의 지시에 따라 전후좌우 방향으로 전진하고, 머리 구동부(34)는 제3제어부(32)의 지시에 따라 팬틸트를 제어하여 시점을 상하좌우 방향으로 변경하고, 줌을 제어하여 시점의 배율을 확대 또는 축소 변경한다.

영상 수집부(35)는 로봇의 머리에 마련되어 있고, 로봇이 위치한 곳에서 로봇이 바라보는 시점에 대응하는 영상을 촬영하여 제3제어부(32)로 전송한다.

손 구동부(36)는 제3제어부(32)의 지시에 따라 로봇 손을 이용하여 물건을 집거나 던지는 등의 동작을 수행한다.

여기서 서버(20)에서 로봇(30)으로 명령을 전송하는 것은, 서버(20)에서 로봇(30)의 충전 스테이션(미도시)으로 명령을 전송한 후 충전 스테이션과 유무선 연결된 로봇(30)으로 전송하는 것도 가능하다.

이와 같이 사용자의 두 손의 기능을 분리하고, 또한 사용자의 각 손의 제1제스처에서 제2제스처의 상대적 방향 및 거리에 따라 로봇의 동작을 제어하는 로봇 시스템은, 3차원 FPS 게임의 아바타 제어에 적용하는 것도 가능하다.

도 8은 실시예에 따른 로봇 시스템의 제어 순서도로, 도 1 내지 도 7을 참조하여 설명하도록 한다.

사용자 단말기(10)의 표시부(13)를 통해 로봇 주변의 영상을 출력(101)하고, 이때 사용자 단말기(10)의 입력부(11)의 영상을 분석하여 제스처 인식 영역에 사용자가 존재하는지 판단한다. 즉, 사용자 단말기(10)의 영상을 3차원 깊이 맵(3D Depth Map)을 이용하여 영상처리 하고, 이때 사람 형상이 추출되지 않으면 제스처 인식 영역에 사용자가 없다고 판단하여 계속적으로 사용자 단말기(10)의 표시부(13)를 통해 로봇 주변의 영상을 출력하고, 사람 형상이 추출(102)되면 제스처 인식 영역에 사용자가 있다고 판단한다.

그리고 얼굴 인식을 수행하여 추출된 사람이 등록된 사용자인지 판단하고, 이때 추출된 사람이 등록된 사람이 아니라고 판단되면 로봇의 동작을 제어할 수 없음을 사용자 단말기(10)의 표시부(13)를 통해 표시하고, 추출된 사람이 등록된 사용자라고 판단되면 사용자 단말기(10)의 입력부(11)로부터 전송된 영상을 유무선 통신을 통해 서버(20)로 전송한다.

사용자 단말기(10)의 입력부(11)로부터 전송된 영상을 서버(20)로 전송 시, 로봇에게 명령을 지시하는 제스처를 취하는 부분을 검출하여 이 부분의 영상을 서버(20)로 전송하는 것이 가능하다.

여기서 로봇에게 명령을 지시하는 제스처를 취하는 부분을 검출하는 것은, 2차원 및 3차원 깊이 맵을 이용하여 손, 손목을 검출하고, 이때 얼굴도 함께 검출하여 제스처 대상 부분인 손과 사용자의 얼굴을 포함하는 사용자의 상체 영상을 서버(20)로 전송하는 것이 가능하다.

사용자는 사용자 단말기(10)의 표시부(13)를 통해 출력되는 로봇 주변의 영상에 기초하여 로봇에게 명령을 지시하는 제1 및 제 2제스처를 취하게 된다.

서버(20)는 사용자 단말기(10)로부터 전송된 영상 중에서 사용자 제스처를 인식하고, 인식된 제스처에 대응하는 명령을 유무선 통신을 통해 로봇(30)으로 전송한다. 이를 구체적으로 설명하도록 한다.

서버는 2차원 및 3차원 깊이 맵을 이용하여 손의 방향 및 모양을 인식(103)한다. 즉, 어느 손의 제1제스처가 취해졌는지, 제2제스처가 취해졌는지 인식(104)한다.

적어도 하나의 손을 통해 제1제스처가 취해진 경우, 제1제스처가 취해지면 제1제스처의 3차원 포인트를 기준 위치로 설정하고, 제2제스처가 취해지면 기준 위치에서 제2제스처가 취해진 위치까지의 상대적 방향 및 거리를 산출하고, 산출된 방향 및 거리에 기초하여 로봇의 이동 방향, 시점 방향, 이동 속도, 시점 변경 속도 또는 줌 배율을 결정하고, 결정된 결과에 대응하는 로봇의 명령을 인식(105)하여 인식된 명령을 로봇(30)으로 전송(106)한다.

여기서의 명령 인식을 구체적으로 설명하도록 한다.

사용자의 두 손 중 왼 손은 로봇의 전후좌우 이동 방향을 지시하고, 오른 손은 로봇의 상하좌우 시점 변경 및 로봇 시점의 줌배율 변경을 지시하는 경우를 예를 들어 설명하도록 한다.

도 2에 도시된 바와 같이, 사용자의 왼 손으로 제1제스처(즉, 주먹)를 취하면 3차원 포인트가 기준 위치로 설정되고, 제2제스처(즉, 보)를 취하면 그 위치의 방향이 로봇의 이동 방향 명령이다. 이때 왼 손에 의한 제1제스처에서 제2제스처의 상대적인 방향은 로봇의 이동 방향이 되고, 이 이동 방향을 로봇의 이동 방향 명령으로 인식한다.

도 3에 도시된 바와 같이, 사용자의 오른 손으로 제1제스처(즉, 주먹)를 취하면 3차원 포인트가 기준 위치로 설정되고, 제2제스처(즉, 보)를 취하면 그 위치의 방향이 로봇의 시점 변경 명령이 된다. 이때 오른 손에 의한 제1제스처에서 제2제스처의 상대적인 방향은 로봇의 시점 변경 방향이 되고, 이 시점 변경 방향을 로봇의 시점 변경 방향 명령으로 인식한다.

도 4에 도시된 바와 같이, 사용자의 왼 손의 제1제스처가 취해진 기준 위 치(A)에서 제2제스처가 취해진 제1위치(B) 또는 제2위치(C)까지의 이동이 인식되면, 이 때의 이동 거리에 대응하는 로봇의 이동 속도 명령을 인식한다. 즉, 제1제스처의 기준 위치에서 제2제스처의 위치까지의 거리가 멀수록 속도는 더 빠르게 설정되어 있다.

도 5에 도시된 바와 같이, 사용자의 왼 손의 제1제스처(즉, 주먹)가 취해진 기준 위치에서 앞으로 제2제스처(즉, 보)가 취해지면 로봇의 전진 이동 명령으로 인식하고, 로봇이 전진하고 있는 상태에서 제2제스처를 취한 손을 좌측 또는 우측으로 이동시켜 기준 위치로부터 제2제스처를 취한 손의 위치를 좌측 또는 우측으로 변경하면 로봇의 좌우 이동 방향 변경 명령으로 인식한다. 여기서 기준 위치를 기준으로 제2제스처의 좌우 이동 각도가 커지면 로봇의 좌우 회전 각도도 커진다.

도 6에 도시된 바와 같이 X축은 사용자의 우측을 의미하고, Z축은 사용자의 앞을 의미한다.

제1제스처의 기준 위치에서 제2제스처의 위치가 θ각도 만큼 이동하면 θ각도 대응하는 회전 명령을 인식하고, 이때 로봇은 정면 기준

만큼 좌측으로 회전한 후 전진한다.

그리고 기준 위치를 기준으로 상대적 거리(a)는

의해 산출되는데, 이때 산출된 거리(a)에 기초하여 로봇의 이동 속도를 결정하고, 결정된 속도를 로봇의 시점 변경 속도 명령으로 인식하는 것이 가능하다.

도 7에 도시된 바와 같이, 사용자의 오른 손의 제1제스처가 취해진 기준 위치(A)에서 제2제스처가 취해진 제1위치(B) 또는 제2위치(C)까지 이동시키면 기준 위치에서 제2제스처가 취해진 위치까지의 거리에 대응하는 속도로 로봇의 시점 변경 명령을 인식한다. 이때 기준 위치(A)에서 위치(B)까지의 거리보다 A에서 C까지의 거리가 더 멀기 때문에 제1속도보다 제2속도가 더 빠르게 설정되어 있다.

이와 같이 제1제스처에서 제2제스처의 상대적 방향을 이용하여 로봇의 동작을 제어함으로써 로봇의 동작을 미세 조정할 수 있다. 또한 제1제스처에서 제2제스처의 상대적 거리를 이용하여 로봇의 동작 제어 속도를 조절할 수 있다.

로봇(30)은 서버(20)에서 전송된 명령에 대응하여 모션을 제어(107)한다.

즉, 로봇(30)은 서버(20)로부터 전후좌우 이동 명령이 전송되면 전송된 명령에 대응하는 속도로 전후좌우 방향으로 다리 구동부(33)를 구동시켜 이동하고, 서버(20)로부터 상하좌우 시점 변경 명령 및 줌배율 변경 명령이 전송되면 전송된 명령에 대응하는 속도로 상하좌우 방향으로 머리 구동부(34)를 팬틸트 제어를 수행하여 시점을 변경하고 또는 줌 배율을 변경하여 시점을 축소 및 확대 등의 모션을 수행한다.

그리고, 이때의 위치 및 이 위치에서의 시점에 대응하는 영상을 촬영하여 서버(20)를 통해 사용자단말기(10)로 전송한다.

이와 같이 사용자의 두 손의 기능을 분리하고, 각 손의 제1제스처에서 제2제스처의 상대적 방향 및 거리에 대응하여 로봇의 동작을 제어하는 로봇 제어 방법은, 3차원 FPS 게임의 아바타 제어 방법에 적용하는 것도 가능하다.

도 1은 실시예에 따른 로봇 시스템의 구성도이다.

도 2 내지 도 7은 실시예에 로봇 시스템의 로봇 제어 예시도이다.

도 8은 실시예에 따른 로봇 시스템의 제어 순서도이다.

*도면의 주요부분에 대한 부호 설명*

10: 사용자 단말기 20: 서버

30: 로봇

Claims

사용자의 제스처를 입력받는 사용자 단말기;

상기 입력된 제스처를 통해 기준 위치를 설정하는 제1제스처와, 상기 로봇의 동작을 지시하는 제2제스처를 인식하고, 상기 기준 위치에서 상기 제2제스처의 이동 방향에 대응하는 명령을 인식하는 서버;

상기 명령에 대응하는 동작을 수행하는 로봇을 포함하는 로봇 시스템.
제 1 항에 있어서,

상기 사용자의 한 손의 제1제스처 및 제2제스처는 상기 로봇의 이동 방향을 지시하고,

상기 사용자의 다른 한 손의 제1제스처 및 제2제스처는 상기 로봇의 시점 변경을 지시하는 로봇 시스템.
제 2 항에 있어서, 상기 서버는,

상기 기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고,

상기 판단된 거리에 기초하여 상기 로봇의 이동 속도를 제어하는 로봇 시스템.
제 2 항에 있어서, 상기 서버는,

상기 기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고,

상기 판단된 거리에 기초하여 상기 로봇의 시점의 변경 속도를 제어하는 로봇 시스템.
제 2 항에 있어서, 상기 서버는,

상기 기준 위치에서 상기 제2제스처의 이동 방향에 대응하여 로봇의 시점의 줌배율을 변경하는 로봇 시스템.
제 1 항에 있어서,

상기 로봇은 주변 환경을 촬영하고,

상기 사용자 단말기는 상기 로봇의 주변 영상을 표시하고,

상기 사용자는 상기 로봇 주변 영상에 기초하여 상기 로봇의 동작을 지시하는 로봇 시스템.
제 1 항에 있어서, 상기 서버는,

상기 제1제스처가 재인식되면 재인식된 제1제스처가 취해진 위치를 기준 위치로 재설정하는 로봇 시스템.
사용자로부터 제스처를 입력받고,

상기 사용자의 제스처가 제1제스처로 인식되면 제1제스처의 위치를 기준 위 치로 설정하고,

상기 사용자의 제스처가 제2제스처로 인식되면 상기 기준 위치에서 상기 제2제스처의 이동 방향을 판단하고,

상기 판단된 이동 방향에 대응하는 로봇의 동작 명령을 인식하는 로봇 시스템의 제어 방법.
제 8 항에 있어서,

상기 로봇의 동작 명령을 상기 로봇으로 전송하고,

상기 명령에 기초하여 상기 로봇의 동작 제어를 수행하는 로봇 시스템의 제어 방법.
제 8 항에 있어서,

상기 로봇을 통해 로봇 주변의 영상을 촬영하여 출력하고,

상기 로봇의 주변 영상에 기초하여 상기 제스처를 입력하는 로봇 시스템의 제어 방법.
제 8 항에 있어서, 상기 제1제스처와 제2제스처는,

상기 로봇의 이동 제어를 지시하기 위한 상기 사용자의 두 손 중 어느 하나의 손에 취해진 제1제스처 및 제2제스처와,

상기 로봇의 시점 변경을 지시하기 위한 다른 하나의 손에 취해진 제1제스처 및 제2제스처를 가지는 로봇 시스템의 제어 방법.
제 11 항에 있어서,

상기 기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고,

상기 판단된 거리에 기초하여 상기 로봇의 이동 속도를 제어하는 로봇 시스템의 제어 방법.
제 11 항에 있어서,

상기 기준 위치에서 제2제스처가 취해진 위치까지의 거리를 판단하고,

상기 판단된 거리에 기초하여 상기 로봇의 시점의 변경 속도를 제어하는 로봇 시스템의 제어 방법.
제 11 항에 있어서, 상기 로봇의 변경을 지시하는 것은,

상기 제2제스처의 이동 방향에 대응하여 줌배율의 변경을 지시하는 것을 포함하는 로봇 시스템의 제어 방법.
제 8 항에 있어서,

상기 제1제스처가 재인식되면 재인식된 제1제스처가 취해진 위치를 기준 위치로 재설정하는 것을 더 포함하는 로봇 시스템의 제어 방법.
제 8 항에 있어서, 상기 제스처를 입력받는 것은,

상기 사용자가 추출되는지 판단하는 것을 더 포함하는 로봇 시스템의 제어 방법.